CN116503383B - 道路曲线检测方法、系统及介质 - Google Patents
道路曲线检测方法、系统及介质 Download PDFInfo
- Publication number
- CN116503383B CN116503383B CN202310727978.7A CN202310727978A CN116503383B CN 116503383 B CN116503383 B CN 116503383B CN 202310727978 A CN202310727978 A CN 202310727978A CN 116503383 B CN116503383 B CN 116503383B
- Authority
- CN
- China
- Prior art keywords
- curve
- road
- point cloud
- detection
- preset category
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 238
- 238000000605 extraction Methods 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims description 48
- 238000012549 training Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 9
- 230000008030 elimination Effects 0.000 claims description 6
- 238000003379 elimination reaction Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000008901 benefit Effects 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 238000000576 coating method Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 230000026676 system process Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 239000010426 asphalt Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Traffic Control Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本申请提供一种道路曲线检测方法、系统及介质。该方法可应用于港口、矿山、高速或园区等场景。该方法包括：获取车载雷达上传的原始点云数据，并对原始点云数据进行预处理，以得到自车坐标系下的目标点云数据；将目标点云数据输入至道路信息检测模型的点云特征提取模块中，以得到预设类别的道路信息特征图；将每一预设类别的道路信息特征图分别输入至道路信息检测模型的曲线检测模块中，以得到预设类别的道路曲线，预设类别的道路曲线包括车道线和道路边界线。本申请的方法，可以准确检测复杂路况下的道路曲线，提高道路曲线检测的鲁棒性。
Description
技术领域
本申请属于自动驾驶技术领域，尤其涉及一种道路曲线检测方法、系统及介质，可应用于港口、高速、物流、矿山、封闭园区、或城市交通等场景。
背景技术
在自动驾驶技术中，车道线、道路边界线等道路曲线的检测功能是各种高级辅助驾驶系统、自动驾驶系统的重要基础，能够帮助实现车辆的车道保持、驾驶决策等功能。
现有技术中检测道路曲线的基本原理是使用传感器采集道路及车辆的周边环境信息，并通过算法分析得出道路曲线的准确轮廓与位置。目前主要的道路曲线检测方法由可见光相机与激光雷达独立或结合完成。由于可见光图像的获取质量受光照、天气等外界影响因素很大，而三维激光雷达能实时精确地提供丰富的道路环境三维数据，具有扫描距离远、探测范围广、检测精度高等优点，因此激光雷达被广泛应用于智能车辆的道路环境感知。例如，现有技术公开了一种基于深度学习的激光点云车道印刷虚线块提取方法及系统，利用激光雷达获取车辆行驶过程中的点云数据，通过将点云数据投影为一张或多张图片的形式，利用检测和分割的算法对虚线块区域进行检测和定位，再反演至点云坐标，完成虚线块的提取工作，从而完成道路曲线的检测。
但是，这种利用传统点云处理方式进行道路曲线检测的方法，无法应对比较复杂的路况，鲁棒性较差。
发明内容
本申请提供一种道路曲线检测方法、系统及介质，用以解决现有的道路曲线检测方法无法应对比较复杂的路况，鲁棒性较差的技术问题。
第一方面，本申请提供一种道路曲线检测方法，包括：
获取车载雷达上传的原始点云数据，并对所述原始点云数据进行预处理，以得到自车坐标系下的目标点云数据；
将所述目标点云数据输入至道路信息检测模型的点云特征提取模块中，以得到预设类别的道路信息特征图；
将每一所述预设类别的道路信息特征图分别输入至所述道路信息检测模型的曲线检测模块中，以得到预设类别的道路曲线，所述预设类别的道路曲线包括车道线和道路边界线。
在本实施方式中，车辆驾驶系统可以接收车载雷达上传的原始点云数据，并对原始点云数据进行预处理以得到目标点云数据，以便于车辆驾驶系统之后根据自车坐标系下的目标点云数据进行道路曲线的检测。进一步的，在确定目标点云数据之后，首先利用道路信息检测模型的点云特征提取模块提取得到预设类别的道路信息特征图，可以准确提取得到包括道路曲线特征的道路信息特征图。之后，利用道路信息检测模型的曲线检测模块对道路信息特征图中的特征进行识别和检测，即可准确得到预设类别的道路曲线。通过这样的设置，在利用车载雷达采集到原始点云数据并对原始点云数据进行预处理之后，可以采用基于深度学习的道路信息检测模型对预处理得到的目标点云数据，依次进行特征提取和曲线检测操作，从而准确检测复杂路况下的道路曲线，提高了道路曲线检测的鲁棒性和准确性。
在一种可能的实施方式中，所述对所述原始点云数据进行预处理，以得到自车坐标系下的目标点云数据，具体包括：
确定每一所述原始点云数据对应的原始点云坐标以及反射强度，所述原始点云坐标为车载雷达坐标系下的坐标；
根据车载雷达坐标系与自车坐标系的对应关系，确定每一所述原始点云坐标对应的目标点云坐标，所述目标点云坐标为自车坐标系下的坐标；
根据每一所述原始点云坐标对应的目标点云坐标，以及每一所述原始点云坐标对应的反射强度，确定自车坐标系下的目标点云数据。
在本实施方式中，车载雷达获取到的原始点云数据对应的原始点云坐标，是车载雷达坐标系下的坐标，而车辆驾驶系统检测道路曲线时是以自车坐标系对点云数据进行处理的，因此，为了便于后续的道路曲线检测，需要对原始点云数据进行预处理，投影成自车坐标系下的目标点云数据。
在一种可能的实施方式中，所述将所述目标点云数据输入至道路信息检测模型的点云特征提取模块中，以得到预设类别的道路信息特征图，具体包括：
确定所述目标点云数据对应的坐标空间，并根据所述坐标空间的横轴方向和纵轴方向，将所述坐标空间划分为第一预设数目个子空间；
将每一子空间对应的目标点云数据输入至所述点云特征提取模块的点云检测子模块中，以使所述点云检测子模块对每一子空间对应的目标点云数据进行特征提取得到对应的初始点云特征，并根据每一所述初始点云特征得到第一特征图；
对所述第一特征图进行特征提取，以得到预设类别的道路信息特征图。
在本实施方式中，为了便于后续的道路曲线检测，需要将三维空间的目标点云数据转换提取为鸟瞰图视角下的特征图，因此可以根据坐标空间的横轴方向和纵轴方向，将坐标空间划分为第一预设数目个子空间。进一步的，利用点云特征提取模块，可以将目标点云数据处理成高维向量，从而准确提取得到对应的初始点云特征，使得根据初始点云特征得到的第一特征图可以准确表征道路曲线的特征，对第一特征图进行特征提取，即可准确得到预设类别的道路信息特征图。
在一种可能的实施方式中，所述对所述第一特征图进行特征提取，以得到预设类别的道路信息特征图，具体包括：
将所述第一特征图输入至所述点云特征提取模块的目标检测子模块中，以使所述目标检测子模块对所述第一特征图中的初始点云特征进行特征浓缩，以得到目标点云特征，并根据预设类别的特征分别对目标点云特征进行特征提取，以得到预设类别的道路信息特征图；
其中，所述预设类别的特征包括车道线特征和道路边界线特征，所述预设类别的道路信息特征图包括车道线特征图和道路边界线特征图。
在本实施方式中，在得到第一特征图之后，还可以利用目标检测子模块进行特征浓缩和目标特征的提取，通过特征浓缩可以得到更加聚敛的、整体的特征，从而更好地表征曲线的整体特性，通过目标特征的提取可以提取得到想要检测的道路曲线对应的特征图，以便于后续道路曲线的检测。
在一种可能的实施方式中，所述将每一所述预设类别的道路信息特征图分别输入至所述道路信息检测模型的曲线检测模块中，以得到预设类别的道路曲线，具体包括：
对于每一所述预设类别的道路信息特征图，
将所述预设类别的道路信息特征图输入至所述道路信息检测模型的曲线检测模块中，以得到第一检测结果矩阵，所述检测结果矩阵包括第一道路曲线数量、每一道路曲线对应的第一贝塞尔参数、每一道路曲线对应的第一置信度分数以及每一道路曲线对应的第一类别；
对于每一道路曲线，根据所述道路曲线对应的贝塞尔参数，确定所述道路曲线对应的贝赛尔曲线；
确定所述贝赛尔曲线上第二预设数目个的位置点，并根据所述位置点对应的坐标，确定所述位置点在所述预设类别的道路信息特征图中对应的目标特征；
将每一道路曲线对应的目标特征输入至所述曲线检测模块中，以对所述曲线检测模块进行回归训练，并得到第二检测结果矩阵；
根据所述第二检测结果矩阵，确定预设类别的道路曲线，所述第二检测结果矩阵包括第二道路曲线数量、每一道路曲线对应的第二贝塞尔参数、每一道路曲线对应的第二置信度分数以及每一道路曲线对应的第二类别。
在本实施方式中，在得到道路信息特征图之后，即可将道路信息特征图输入至曲线检测模块中，曲线检测模块会输出第一检测结果矩阵。根据第一检测结果矩阵中的贝塞尔参数，即可确定对应的贝赛尔曲线。之后，可以确定贝赛尔曲线上第二预设数目个的位置点，并根据位置点的坐标确定这些位置点在道路信息特征图中对应的目标特征。由于根据模型检测结果输出的贝赛尔曲线与实际的道路曲线可能存在误差，因此，可以利用位置点在预设类别的道路信息特征图中对应的目标特征对曲线检测模块进行回归训练，使得模型检测的结果更加准确，从而提升模型性能。进一步的，根据回归训练之后的模型输出的第二检测结果矩阵，可以准确确定预设类别的道路曲线，从而实现道路曲线的检测。由于最终输出的二次贝塞尔曲线可以以很高的精度描述绝大部分场景下的道路曲线形状，提高了道路曲线检测的准确性和鲁棒性。
在一种可能的实施方式中，所述贝塞尔参数包括曲线起点的横坐标、曲线起点的纵坐标、曲线终点的横坐标、第一控制参数、第二控制参数以及第三控制参数，相应的，所述根据所述道路曲线对应的贝塞尔参数，确定所述道路曲线对应的贝赛尔曲线，具体包括：
利用下列公式，确定所述道路曲线对应的贝赛尔曲线：
其中，所述表示所述道路曲线对应的贝赛尔曲线，所述/>表示曲线起点的坐标/>，所述/>表示曲线终点的坐标/>，所述/>表示曲线中间控制点的坐标，所述/>表示线段/>与线段/>之间的比例，所述曲线中间控制点的横坐标，所述/>表示第一控制参数，所述曲线中间控制点的纵坐标，所述/>表示第二控制参数，所述/>表示第三控制参数，所述曲线终点的纵坐标/>，/>。
在本实施方式中，现有基于先验锚点的道路曲线检测模型，多采用多角度直线作为预设锚点，但此类锚点设计计算量大，且无法很好的适应BEV投影下道路曲线的所有形状，特别的，本发明设计了基于贝塞尔曲线的先验锚线设计。虽然贝塞尔曲线也是一种参数化曲线，但其核心优势是关键参数都可以对应到实际空间中的点，同时使用较少的参数描述了完整道路曲线的内容，因此具备了整合基于点和基于参数检测的优势。同时，由于道路曲线直接在BEV投影的特征图进行输出，因此根据公路设计范式，二次贝塞尔曲线可以以很高的精度描述绝大部分场景下的道路曲线形状，提高了道路曲线检测的准确性和鲁棒性。
在一种可能的实施方式中，所述根据所述第二检测结果矩阵，确定预设类别的道路曲线，具体包括：
根据所述第二检测结果矩阵中的每一道路曲线对应的第二贝塞尔参数，确定每一道路曲线对应的贝赛尔曲线；
根据每一道路曲线对应的第二置信度分数，对每一道路曲线对应的贝赛尔曲线进行去重处理，以得到去重后的曲线；
对于每一去重后的曲线，根据道路信息特征图中的坐标与世界坐标系的坐标之间的对应关系，确定所述去重后的曲线上的位置点在世界坐标系下的坐标；
根据每一道路曲线对应的第二类别，确定每一去重后的曲线的类别；
根据每一去重后的曲线上的位置点在世界坐标系下的坐标，以及每一去重后的曲线的类别，确定预设类别的道路曲线。
在本实施方式中，在对曲线检测模块进行回归训练之后，可以得到更新后的第二检测结果矩阵，通过第二检测结果矩阵中的第二贝塞尔参数，即可确定对应的贝赛尔曲线，即道路曲线；根据第二置信度分数，可以对高度贴合的道路曲线进行去重处理；将去重后的曲线上的位置点投影至世界坐标系下，有利于后续道路曲线的输出和标识。
第二方面，本申请提供一种车辆驾驶系统，包括：
接收模块，用于获取车载雷达上传的原始点云数据，并对所述原始点云数据进行预处理，以得到自车坐标系下的目标点云数据；
处理模块，用于将所述目标点云数据输入至道路信息检测模型的点云特征提取模块中，以得到预设类别的道路信息特征图；将每一所述预设类别的道路信息特征图分别输入至所述道路信息检测模型的曲线检测模块中，以得到预设类别的道路曲线，所述预设类别的道路曲线包括车道线和道路边界线。
第三方面，本申请提供一种车辆驾驶系统，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现上述的方法。
第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现上述的方法。
第五方面，本申请提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的方法。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1为本申请一实施例的系统架构图；
图2为本申请一实施例的道路曲线检测方法的流程图；
图3为本申请另一实施例的道路曲线检测方法的流程图；
图4为本申请一实施例的先验贝塞尔曲线示意图；
图5为本申请一实施例的车辆驾驶系统的结构示意图；
图6为本申请一实施例的车辆驾驶系统的结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
本申请的道路曲线检测方法、系统及介质，可应用于港口、高速、物流、矿山、封闭园区、或城市交通等场景，或涉及车辆自动驾驶的场景，均可应用本申请的道路曲线检测方法。
现有技术中检测道路曲线的基本原理是使用传感器采集道路及车辆的周边环境信息，并通过算法分析得出道路曲线的准确轮廓与位置。目前主要的道路曲线检测方法由可见光相机与激光雷达独立或结合完成。
由于可见光图像的获取质量受光照、天气等外界影响因素很大，而三维激光雷达能实时精确地提供丰富的道路环境三维数据，具有扫描距离远、探测范围广、检测精度高等优点，因此激光雷达被广泛应用于智能车辆的道路环境感知。激光雷达的反射强度大小取决于激光的波长、介质材料以及介质表面的光滑程度。车道线一般会被刷上一层黄色或白色特性涂层，因此道路路面和车道线的反射强度会有较大差异。
现有的道路曲线的检测大致可以分为三类：
第一类是基于点的检测，即将道路曲线视为一系列点的组合，对每个点进行检测，进而将一组点连接为一条线。这种方式较为常见，其益处是神经网络对于直接学习特定位置特征的能力较强，精度较高，缺点是面对弯曲的道路曲线，需要较多描述一条道路曲线的点数，进而对推理速度带来负面影响。
第二类是基于分割的检测，即将地面像素分割为道路曲线/非道路曲线后，再对属于同一条道路曲线的像素进行聚类和拟合。这种方式的好处是，可以将道路曲线检测与其他分割任务整合在一个框架中，缺点是必须需要聚类来整合一条道路曲线的像素，带来了额外开销；同时无法监督神经网络学习不同道路曲线的内在逻辑。
第三类是基于参数的检测，例如将道路曲线转换为三次多项式，使用神经网络直接学习多项式参数。这种方式的好处是，一般的多项式参数数量较少。比如三次多项式只需要四个参数，进而减少了神经网络参数量，有利于推理速度；缺点是，目前的主流神经网络范式对显式位置的学习能力强于对抽象参数的学习能力，因此基于参数的网络常常无法达到基于点的检测精度。
例如，现有技术公开了一种基于深度学习的激光点云车道印刷虚线块提取方法及系统，利用激光雷达获取车辆行驶过程中的点云数据，通过将点云数据投影为一张或多张图片的形式，利用检测和分割的算法对虚线块区域进行检测和定位，再反演至点云坐标，完成虚线块的提取工作，从而完成道路曲线的检测。
但是，上述这些利用传统点云处理方式进行道路曲线检测的方法，无法应对比较复杂的路况，鲁棒性较差。
基于该技术问题，本申请的发明构思在于：如何提供一种能够准确检测复杂路况的道路曲线，鲁棒性高的道路曲线检测方法。
具体的，可以获取车载雷达上传的原始点云数据，并对原始点云数据进行预处理，以得到自车坐标系下的目标点云数据；将目标点云数据输入至道路信息检测模型的点云特征提取模块中，以得到预设类别的道路信息特征图；将每一预设类别的道路信息特征图分别输入至道路信息检测模型的曲线检测模块中，以得到预设类别的道路曲线，预设类别的道路曲线包括车道线和道路边界线。本申请的方法，车辆驾驶系统可以接收车载雷达上传的原始点云数据，并对原始点云数据进行预处理以得到目标点云数据，以便于车辆驾驶系统之后根据自车坐标系下的目标点云数据进行道路曲线的检测。进一步的，在确定目标点云数据之后，首先利用道路信息检测模型的点云特征提取模块提取得到预设类别的道路信息特征图，可以准确提取得到包括道路曲线特征的道路信息特征图。之后，利用道路信息检测模型的曲线检测模块对道路信息特征图中的特征进行识别和检测，即可准确得到预设类别的道路曲线。通过这样的设置，在利用车载雷达采集到原始点云数据并对原始点云数据进行预处理之后，可以采用基于深度学习的道路信息检测模型对预处理得到的目标点云数据，依次进行特征提取和曲线检测操作，从而准确检测复杂路况下的道路曲线，提高了道路曲线检测的鲁棒性和准确性。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
图1是本申请一实施例的系统架构图，如图1所示，1表示车载雷达，2表示车辆驾驶系统，21表示预处理模块，22表示道路信息检测模型，221表示点云特征提取模块，222表示曲线检测模块，A表示点云检测子模块，B表示目标检测子模块。车载雷达1在车辆驾驶过程中，可以实时采集与道路相关的原始点云数据，并将原始点云数据上传至车辆驾驶系统2。车辆驾驶系统2获取到车载雷达1上传的原始点云数据之后，利用预处理模块21对原始点云数据进行预处理，投影得到自车坐标系下的目标点云数据。之后，车辆驾驶系统2确定目标点云数据对应的坐标空间，将坐标空间划分为第一预设数目个子空间，并将每一子空间对应的将目标点云数据输入至道路信息检测模型22中。点云特征提取模块221的点云检测子模块A对每一子空间对应的目标点云数据进行特征提取得到对应的初始点云特征，并根据每一初始点云特征得到第一特征图。目标检测子模块B对第一特征图中的初始点云特征进行特征浓缩，以得到目标点云特征，并根据预设类别的特征分别对目标点云特征进行特征提取，以得到道路信息特征图。车辆驾驶系统2将道路信息特征图输入至道路信息检测模型22的曲线检测模块222中，以得到第一检测结果矩阵，并根据第一检测结果矩阵中的第一贝塞尔参数确定道路曲线对应的贝赛尔曲线。之后，车辆驾驶系统2确定贝赛尔曲线上第二预设数目个的位置点，并根据位置点对应的坐标，确定位置点在道路信息特征图中对应的目标特征。最后，车辆驾驶系统2将每一道路曲线对应的目标特征重新输入至曲线检测模块222中，以对曲线检测模块222进行回归训练，并得到第二检测结果矩阵，并根据第二检测结果矩阵，确定预设类别的道路曲线。
实施例一
图2为本申请一实施例的道路曲线检测方法的流程图，本实施例以执行主体为车辆驾驶系统对该道路曲线检测方法进行说明。如图2所示，该道路曲线检测方法可以包括以下步骤：
S101：获取车载雷达上传的原始点云数据，并对原始点云数据进行预处理，以得到自车坐标系下的目标点云数据。
在本实施例中，车载雷达在车辆驾驶过程中，可以实时采集与道路相关的原始点云数据，并将原始点云数据上传至车辆驾驶系统。
在一个可能的实施方式中，上述步骤S101中的对原始点云数据进行预处理，以得到自车坐标系下的目标点云数据，可以包括：
S1011：确定每一原始点云数据对应的原始点云坐标以及反射强度，原始点云坐标为车载雷达坐标系下的坐标。
S1012：根据车载雷达坐标系与自车坐标系的对应关系，确定每一原始点云坐标对应的目标点云坐标，目标点云坐标为自车坐标系下的坐标。
S1013：根据每一原始点云坐标对应的目标点云坐标，以及每一原始点云坐标对应的反射强度，确定自车坐标系下的目标点云数据。
在本实施方式中，原始点云数据可以包括原始点云坐标以及反射强度，原始点云坐标为点云车载雷达坐标系下的坐标。反射强度指的是，光（入射光）投向物体时，其表面反射光的强度，道路上不同材质的物体反射强度不同，因此可以利用反射强度进行道路曲线（车道线、道路边界线）的检测。
在本实施方式中，车载雷达获取到的原始点云数据对应的原始点云坐标，是车载雷达坐标系下的坐标，而车辆驾驶系统检测道路曲线时是以自车坐标系对点云数据进行处理的，因此，为了便于后续的道路曲线检测，需要对原始点云数据进行预处理，投影成自车坐标系下的目标点云数据。
S102：将目标点云数据输入至道路信息检测模型的点云特征提取模块中，以得到预设类别的道路信息特征图。
在本实施例中，预设类别可以是要检测的道路曲线的类别，例如，可以是车道线、道路边界线、护栏边界线中的一种或多种，或者其他类别，本领域技术人员可以灵活设置，在此不做任何限制。
在一个可能的实施方式中，上述步骤S102将目标点云数据输入至道路信息检测模型的点云特征提取模块中，以得到预设类别的道路信息特征图，可以包括：
S1021：确定目标点云数据对应的坐标空间，并根据坐标空间的横轴方向和纵轴方向，将坐标空间划分为第一预设数目个子空间。
S1022：将每一子空间对应的目标点云数据输入至点云特征提取模块的点云检测子模块中，以使点云检测子模块对每一子空间对应的目标点云数据进行特征提取得到对应的初始点云特征，并根据每一初始点云特征得到第一特征图。
S1023：对第一特征图进行特征提取，以得到预设类别的道路信息特征图。
在本实施方式中，目标点云数据对应的坐标空间指的是，各个目标点云数据的目标点云坐标（x、y、z坐标）所构成的三维立体空间。根据坐标空间的横轴方向和纵轴方向，将坐标空间划分为第一预设数目个子空间，可以是根据横轴方向和纵轴方向，将三维立体空间均匀划分为第一预设数目个子空间。例如，将三维立体空间均匀划分为多个600×600的子空间。第一预设数目本领域技术人员可以根据实际灵活设置，在此不做任何限制。
在本实施方式中，点云检测子模块可以是PointPillar网络模型，PointPillar网络模型可以通过网络编码等操作将每一子空间对应的目标点云数据处理成高维向量，该高维向量即为提取得到对应的初始点云特征，所有的初始点云特征做成了第一特征图。由于各子空间是根据坐标空间的横轴方向和纵轴方向划分的，因此，第一特征图可以是鸟瞰图视角下的特征图。
在本实施方式中，为了便于后续的道路曲线检测，需要将三维空间的目标点云数据转换提取为鸟瞰图视角下的特征图，因此可以根据坐标空间的横轴方向和纵轴方向，将坐标空间划分为第一预设数目个子空间。进一步的，利用PointPillar模型，可以将目标点云数据处理成高维向量，从而准确提取得到对应的初始点云特征，使得根据初始点云特征得到的第一特征图可以准确表征道路曲线的特征，对第一特征图进行特征提取，即可准确得到预设类别的道路信息特征图。
在一个可能的实施方式中，上述步骤S1023对第一特征图进行特征提取，以得到预设类别的道路信息特征图，可以包括：将第一特征图输入至点云特征提取模块的目标检测子模块中，以使目标检测子模块对第一特征图中的初始点云特征进行特征浓缩，以得到目标点云特征，并根据预设类别的特征分别对目标点云特征进行特征提取，以得到预设类别的道路信息特征图；其中，预设类别的特征包括车道线特征和道路边界线特征，预设类别的道路信息特征图包括车道线特征图和道路边界线特征图。
在本实施方式中，目标检测子模块可以是DarkNet网络模型，DarkNet网络模型可以对第一特征图中的初始点云特征进行特征浓缩，以得到更高维度的目标点云特征。第一特征图中的初始点云特征是比较分散的、区域的特征，经过特征浓缩之后得到的目标点云特征，可以是更加聚敛的、整体的特征，能够表征曲线的整体特性。
在本实施方式中，预设类别的特征可以包括车道线特征和道路边界线特征，车道线特征可以是车道线反射强度特征和道路边界线反射强度特征。车道线通常用白色或者黄色的涂层区分，而道路边界线通常为沥青，因此，可以利用道路上不同物的反射强度区分不同的曲线。
在本实施方式中，预设类别的道路信息特征图可以根据想要检测的道路曲线（预设类别的道路曲线）确定，若仅检测车道线，则预设类别的道路信息特征图可以是车道线特征图，若检测车道线和道路边界线，则预设类别的道路信息特征图可以是车道线特征图和道路边界线特征图。
在本实施方式中，依据对点云图像实际需求，可对特征图的输出大小进行自适应调节。
在本实施方式中，在得到第一特征图之后，还可以利用DarkNet网络模型等目标检测子模块进行特征浓缩和目标特征的提取，通过特征浓缩可以得到更加聚敛的、整体的特征，从而更好地表征曲线的整体特性，通过目标特征的提取可以提取得到想要检测的道路曲线对应的特征图，以便于后续道路曲线的检测。
S103：将每一预设类别的道路信息特征图分别输入至道路信息检测模型的曲线检测模块中，以得到预设类别的道路曲线，预设类别的道路曲线包括车道线和道路边界线。
在本实施例中，上述步骤S103将每一预设类别的道路信息特征图分别输入至道路信息检测模型的曲线检测模块中，以得到预设类别的道路曲线的具体实施方式，请详见实施例二。
在本实施例中，预设类别的道路曲线即为要检测的道路曲线的类别，例如，可以是车道线、道路边界线、护栏边界线中的一种或多种，或者其他道路曲线，本领域技术人员可以灵活设置，在此不做任何限制。
在本实施例中，车辆驾驶系统可以接收车载雷达上传的原始点云数据，并对原始点云数据进行预处理以得到目标点云数据，以便于车辆驾驶系统之后根据自车坐标系下的目标点云数据进行道路曲线的检测。进一步的，在确定目标点云数据之后，首先利用道路信息检测模型的点云特征提取模块提取得到预设类别的道路信息特征图，可以准确提取得到包括道路曲线特征的道路信息特征图。之后，利用道路信息检测模型的曲线检测模块对道路信息特征图中的特征进行识别和检测，即可准确得到预设类别的道路曲线。通过这样的设置，在利用车载雷达采集到原始点云数据并对原始点云数据进行预处理之后，可以采用基于深度学习的道路信息检测模型对预处理得到的目标点云数据，依次进行特征提取和曲线检测操作，从而准确检测复杂路况下的道路曲线，提高了道路曲线检测的鲁棒性和准确性。
下面以实施例二对上述实施例一的步骤S103将每一预设类别的道路信息特征图分别输入至道路信息检测模型的曲线检测模块中，以得到预设类别的道路曲线的具体实施方式，进行详细的阐述。
实施例二
图3为本申请另一实施例的道路曲线检测方法的流程图，本实施例以执行主体为车辆驾驶系统对该道路曲线检测方法进行说明。如图3所示，该道路曲线检测方法可以包括以下步骤：
S201：对于每一预设类别的道路信息特征图，将预设类别的道路信息特征图输入至道路信息检测模型的曲线检测模块中，以得到第一检测结果矩阵，检测结果矩阵包括第一道路曲线数量、每一道路曲线对应的第一贝塞尔参数、每一道路曲线对应的第一置信度分数以及每一道路曲线对应的第一类别。
在本实施例中，在得到道路信息特征图之后，可以将道路信息特征图输入至曲线检测模块中，曲线检测模块会输出第一检测结果矩阵。曲线检测模块可以采用CLRNet网络模型中的RoIGather注意力机制。
在本实施例中，第一检测结果矩阵可以是一个[N，6 +1+K]的矩阵，其中N为经过非极大值抑制（NMS）之后剩余的曲线数量（第一道路曲线数量），6代表每一道路曲线对应的第一贝塞尔参数（6个参数），1代表该曲线是否为一条道路曲线的置信度分数，K代表曲线类别（车道线还是道路边界线）的one-hot编码。
S202：对于每一道路曲线，根据道路曲线对应的贝塞尔参数，确定道路曲线对应的贝赛尔曲线。
在一个可能的实施方式中，贝塞尔参数可以包括曲线起点的横坐标、曲线起点的纵坐标、曲线终点的横坐标、第一控制参数、第二控制参数以及第三控制参数，相应的，上述步骤S202中的根据道路曲线对应的贝塞尔参数，确定道路曲线对应的贝赛尔曲线，可以包括：
利用下列公式，确定道路曲线对应的贝赛尔曲线：
其中，表示道路曲线对应的贝赛尔曲线，/>表示曲线起点的坐标/>，表示曲线终点的坐标/>，/>表示曲线中间控制点的坐标/>，/>表示线段/>与线段/>之间的比例，曲线中间控制点的横坐标/>，/>表示第一控制参数，曲线中间控制点的纵坐标/>，/>表示第二控制参数，/>表示第三控制参数，曲线终点的纵坐标/>，/>。
在本实施方式中，二次贝塞尔曲线的确定需要曲线起点、曲线中间控制点/>和曲线终点/>，中间控制点的实际坐标并不在曲线本身上面，因此基于网络特性和边界条件限制的考量，可以将贝塞尔参数设置为曲线起点的横坐标、曲线起点的纵坐标、曲线终点的横坐标、第一控制参数、第二控制参数以及第三控制参数，利用这6个贝塞尔参数确定贝塞尔曲线，并利用第一控制参数、第二控制参数以及第三控制参数对曲线中间控制点进行限制。
在本实施方式中，第一控制参数、第二控制参数以及第三控制参数本领域技术人员可以灵活设置，示例性的，通过对高速数据（实际驾驶场景，当然，也可以是其他数据）的充分分析，可以通过设置不同的控制参数预设128条先验锚线（贝塞尔曲线），将参数化的道路曲线与实际位置相结合，提高了模型速度与精度。在模型训练过程中，将训练预测值与锚线进行匹配时，可以记录不同锚线使用频率，并在模型实际应用时，采用高频锚线（对应的控制参数）进行计算，提高模型的曲线检测效率。在实际网络实现中，的范围可以使用softmax函数保证。
示例性的，图4为本申请一实施例的先验贝塞尔曲线示意图，通过设置不同的控制参数预设多条弯曲程度和弯曲方向不同的先验贝塞尔曲线。
在本实施方式中，现有基于先验锚点的道路曲线检测模型，多采用多角度直线作为预设锚点，但此类锚点设计计算量大，且无法很好的适应BEV投影下道路曲线的所有形状，特别的，本发明设计了基于贝塞尔曲线的先验锚线设计。虽然贝塞尔曲线也是一种参数化曲线，但其核心优势是关键参数都可以对应到实际空间中的点，同时使用较少的参数描述了完整道路曲线的内容，因此具备了整合基于点和基于参数检测的优势。同时，由于道路曲线直接在BEV投影的特征图进行输出，因此根据公路设计范式，二次贝塞尔曲线可以以很高的精度描述绝大部分场景下的道路曲线形状，提高了道路曲线检测的准确性和鲁棒性。
S203：确定贝赛尔曲线上第二预设数目个的位置点，并根据位置点对应的坐标，确定位置点在预设类别的道路信息特征图中对应的目标特征。
在本实施例中，第二预设数目本领域技术人员可以根据实际灵活设置，例如，第二预设数目可以是20，也可以是30，在此不做任何限制。
在本实施例中，可以随机确定贝赛尔曲线上第二预设数目个的位置点，也可以根据实际经验选择第二预设数目个的位置点。确定位置点之后，即可根据位置点的坐标，确定这些位置点在道路信息特征图中对应的目标特征。
S204：将每一道路曲线对应的目标特征输入至曲线检测模块中，以对曲线检测模块进行回归训练，并得到第二检测结果矩阵。
在本实施例中，由于根据模型检测结果输出的贝赛尔曲线与实际的道路曲线可能存在误差，因此，可以利用位置点在预设类别的道路信息特征图中对应的目标特征对曲线检测模块进行回归训练，使得模型检测的结果更加准确，提升模型性能。
在本实施例中，在对道路信息检测模型进行训练时，可以将多张道路图像的点云数据（包括点云坐标、反射强度）作为样本，并在图像中标注出想要检测的道路曲线上多个位置点的点云坐标，以及要检测的道路曲线的类别，对道路信息检测模型进行多次的迭代训练，使得道路信息检测模型的点云检测子模块可以学习到点云特征提取的能力，目标检测子模块可以学习到特征浓缩和目标特征提取的能力，曲线检测模块学习到道路曲线检测的能力。在模型的实际应用过程中，还可以根据目标检测子模块输出的道路信息特征图对曲线检测模块进行更新，从而对每个贝塞尔曲线自身的参数进行更新，从而得到更加准确的检测结果。
S205：根据第二检测结果矩阵，确定预设类别的道路曲线，第二检测结果矩阵包括第二道路曲线数量、每一道路曲线对应的第二贝塞尔参数、每一道路曲线对应的第二置信度分数以及每一道路曲线对应的第二类别。
在本实施例中，根据回归训练之后的模型输出的第二检测结果矩阵，可以准确确定预设类别的道路曲线，从而实现道路曲线的检测。
在本实施例中，在确定预设类别的道路曲线之后，可以直接输出得到的道路曲线的位置信息，当然，也可以融合地图上的定位边界信息一起输出，使得最后的道路曲线结果更加准确，避免误差。
在一个可能的实施方式中，上述步骤S205中的根据第二检测结果矩阵，确定预设类别的道路曲线，可以包括：根据第二检测结果矩阵中的每一道路曲线对应的第二贝塞尔参数，确定每一道路曲线对应的贝赛尔曲线；根据每一道路曲线对应的第二置信度分数，对每一道路曲线对应的贝赛尔曲线进行去重处理，以得到去重后的曲线；对于每一去重后的曲线，根据道路信息特征图中的坐标与世界坐标系的坐标之间的对应关系，确定去重后的曲线上的位置点在世界坐标系下的坐标；根据每一道路曲线对应的第二类别，确定每一去重后的曲线的类别；根据每一去重后的曲线上的位置点在世界坐标系下的坐标，以及每一去重后的曲线的类别，确定预设类别的道路曲线。
在本实施方式中，在对曲线检测模块进行回归训练之后，可以得到更新后的第二检测结果矩阵，通过第二检测结果矩阵中的第二贝塞尔参数，即可确定对应的贝赛尔曲线，即道路曲线；根据第二置信度分数，可以对高度贴合的道路曲线进行去重处理；将去重后的曲线上的位置点投影至世界坐标系下，有利于后续道路曲线的输出和标识。
在本实施例中，在得到道路信息特征图之后，即可将道路信息特征图输入至曲线检测模块中，曲线检测模块会输出第一检测结果矩阵。根据第一检测结果矩阵中的贝塞尔参数，即可确定对应的贝赛尔曲线。之后，可以确定贝赛尔曲线上第二预设数目个的位置点，并根据位置点的坐标确定这些位置点在道路信息特征图中对应的目标特征。由于根据模型检测结果输出的贝赛尔曲线与实际的道路曲线可能存在误差，因此，可以利用位置点在预设类别的道路信息特征图中对应的目标特征对曲线检测模块进行回归训练，使得模型检测的结果更加准确，从而提升模型性能。进一步的，根据回归训练之后的模型输出的第二检测结果矩阵，可以准确确定预设类别的道路曲线，从而实现道路曲线的检测。由于最终输出的二次贝塞尔曲线可以以很高的精度描述绝大部分场景下的道路曲线形状，提高了道路曲线检测的准确性和鲁棒性。
下面以一个具体的实施例对本申请的道路曲线检测方法进行阐述。
实施例三
在一个具体的实施例中，某车辆在车辆驾驶系统的实时引导下在高速公路上进行自动驾驶，为了安全驾驶并确定驾驶路线，车辆驾驶系统会实时检测车道线和道路边界线这两种道路曲线，具体的道路曲线检测过程如下：
第一步，车载雷达在车辆驾驶过程中，实时采集与道路相关的原始点云数据，并将原始点云数据上传至车辆驾驶系统。
第二步，车辆驾驶系统获取车载雷达上传的原始点云数据，确定每一原始点云数据对应的原始点云坐标以及反射强度，根据车载雷达坐标系与自车坐标系的对应关系，确定每一原始点云坐标对应的目标点云坐标，根据每一原始点云坐标对应的目标点云坐标，以及每一原始点云坐标对应的反射强度，确定自车坐标系下的目标点云数据。
第三步，车辆驾驶系统确定目标点云数据对应的坐标空间，并根据坐标空间的横轴方向和纵轴方向，将坐标空间划分为第一预设数目个子空间，将每一子空间对应的目标点云数据输入至点云特征提取模块的点云检测子模块中，以使点云检测子模块对每一子空间对应的目标点云数据进行特征提取得到对应的初始点云特征，并根据每一初始点云特征得到第一特征图。
第四步，车辆驾驶系统将第一特征图输入至点云特征提取模块的目标检测子模块中，以使目标检测子模块对第一特征图中的初始点云特征进行特征浓缩，以得到目标点云特征，并根据预设类别的特征分别对目标点云特征进行特征提取，以得到车道线特征图和道路边界线特征图。
第五步，车辆驾驶系统将车道线特征图和道路边界线特征图输入至道路信息检测模型的曲线检测模块中，以得到第一检测结果矩阵，根据第一检测结果矩阵中的第一贝塞尔参数确定道路曲线对应的贝赛尔曲线。
第六步，车辆驾驶系统确定贝赛尔曲线上第二预设数目个的位置点，并根据位置点对应的坐标，确定位置点在车道线特征图/道路边界线特征图中对应的目标特征。
第七步，车辆驾驶系统将每一道路曲线对应的目标特征输入至曲线检测模块中，以对曲线检测模块进行回归训练，得到第二检测结果矩阵，并根据第二检测结果矩阵，确定预设类别的道路曲线。
图5为本申请一实施例的车辆驾驶系统的结构示意图，如图5所示，该车辆驾驶系统包括：接收模块51，用于获取车载雷达上传的原始点云数据，并对原始点云数据进行预处理，以得到自车坐标系下的目标点云数据；处理模块52，用于将目标点云数据输入至道路信息检测模型的点云特征提取模块中，以得到预设类别的道路信息特征图；将每一预设类别的道路信息特征图分别输入至道路信息检测模型的曲线检测模块中，以得到预设类别的道路曲线，预设类别的道路曲线包括车道线和道路边界线。一个实施方式中，车辆驾驶系统具体实现功能的描述可以参见实施例一中的步骤S101-S103以及实施例二中的步骤S201-S205，在此不做赘述。
图6为本申请另一实施例的车辆驾驶系统的结构示意图，如图6所示，该车辆驾驶系统包括：处理器101，以及与处理器101通信连接的存储器102；存储器102存储计算机执行指令；处理器101执行存储器102存储的计算机执行指令，实现上述各方法实施例中道路曲线检测方法的步骤。
在上述车辆驾驶系统中，存储器102和处理器101之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可以通过一条或者多条通信总线或信号线实现电性连接，如可以通过总线连接。存储器102中存储有实现数据访问控制方法的计算机执行指令，包括至少一个可以软件或固件的形式存储于存储器102中的软件功能模块，处理器101通过运行存储在存储器102内的软件程序以及模块，从而执行各种功能应用以及数据处理。
存储器102可以是，但不限于，随机存取存储器(Random Access Memory，简称：RAM)，只读存储器(Read Only Memory，简称：ROM)，可编程只读存储器(ProgrammableRead-Only Memory，简称：PROM)，可擦除只读存储器(Erasable ProgrammableRead-OnlyMemory，简称：EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，简称：EEPROM)等。其中，存储器102用于存储程序，处理器101在接收到执行指令后，执行程序。进一步地，上述存储器102内的软件程序以及模块还可包括操作系统，其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通信，从而提供其他软件组件的运行环境。
处理器101可以是一种集成电路芯片，具有信号的处理能力。上述的处理器101可以是通用处理器，包括中央处理器(Central Processing Unit，简称：CPU)、网络处理器(Network Processor，简称：NP)等。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本申请的一实施例还提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现本申请各方法实施例的步骤。
本申请的一实施例还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本申请各方法实施例的步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围由所附的权利要求书指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。
Claims (9)
1.一种道路曲线检测方法，其特征在于，包括：
获取车载雷达上传的原始点云数据，并对所述原始点云数据进行预处理，以得到自车坐标系下的目标点云数据；
将所述目标点云数据输入至道路信息检测模型的点云特征提取模块中，以得到预设类别的道路信息特征图；
将每一所述预设类别的道路信息特征图分别输入至所述道路信息检测模型的曲线检测模块中，以得到预设类别的道路曲线，所述预设类别的道路曲线包括车道线和道路边界线；
所述将每一所述预设类别的道路信息特征图分别输入至所述道路信息检测模型的曲线检测模块中，以得到预设类别的道路曲线，具体包括：
对于每一所述预设类别的道路信息特征图，
将所述预设类别的道路信息特征图输入至所述道路信息检测模型的曲线检测模块中，以得到第一检测结果矩阵，所述检测结果矩阵包括第一道路曲线数量、每一道路曲线对应的第一贝塞尔参数、每一道路曲线对应的第一置信度分数以及每一道路曲线对应的第一类别；
对于每一道路曲线，根据所述道路曲线对应的贝塞尔参数，确定所述道路曲线对应的贝赛尔曲线；
确定所述贝赛尔曲线上第二预设数目个的位置点，并根据所述位置点对应的坐标，确定所述位置点在所述预设类别的道路信息特征图中对应的目标特征；
将每一道路曲线对应的目标特征输入至所述曲线检测模块中，以对所述曲线检测模块进行回归训练，并得到第二检测结果矩阵；
根据所述第二检测结果矩阵，确定预设类别的道路曲线，所述第二检测结果矩阵包括第二道路曲线数量、每一道路曲线对应的第二贝塞尔参数、每一道路曲线对应的第二置信度分数以及每一道路曲线对应的第二类别。
2.根据权利要求1所述的方法，其特征在于，所述对所述原始点云数据进行预处理，以得到自车坐标系下的目标点云数据，具体包括：
确定每一所述原始点云数据对应的原始点云坐标以及反射强度，所述原始点云坐标为车载雷达坐标系下的坐标；
根据车载雷达坐标系与自车坐标系的对应关系，确定每一所述原始点云坐标对应的目标点云坐标，所述目标点云坐标为自车坐标系下的坐标；
根据每一所述原始点云坐标对应的目标点云坐标，以及每一所述原始点云坐标对应的反射强度，确定自车坐标系下的目标点云数据。
3.根据权利要求2所述的方法，其特征在于，所述将所述目标点云数据输入至道路信息检测模型的点云特征提取模块中，以得到预设类别的道路信息特征图，具体包括：
确定所述目标点云数据对应的坐标空间，并根据所述坐标空间的横轴方向和纵轴方向，将所述坐标空间划分为第一预设数目个子空间；
将每一子空间对应的目标点云数据输入至所述点云特征提取模块的点云检测子模块中，以使所述点云检测子模块对每一子空间对应的目标点云数据进行特征提取得到对应的初始点云特征，并根据每一所述初始点云特征得到第一特征图；
对所述第一特征图进行特征提取，以得到预设类别的道路信息特征图。
4.根据权利要求3所述的方法，其特征在于，所述对所述第一特征图进行特征提取，以得到预设类别的道路信息特征图，具体包括：
将所述第一特征图输入至所述点云特征提取模块的目标检测子模块中，以使所述目标检测子模块对所述第一特征图中的初始点云特征进行特征浓缩，以得到目标点云特征，并根据预设类别的特征分别对目标点云特征进行特征提取，以得到预设类别的道路信息特征图；
其中，所述预设类别的特征包括车道线特征和道路边界线特征，所述预设类别的道路信息特征图包括车道线特征图和道路边界线特征图。
5.根据权利要求1所述的方法，其特征在于，所述贝塞尔参数包括曲线起点的横坐标、曲线起点的纵坐标、曲线终点的横坐标、第一控制参数、第二控制参数以及第三控制参数，相应的，所述根据所述道路曲线对应的贝塞尔参数，确定所述道路曲线对应的贝赛尔曲线，具体包括：
利用下列公式，确定所述道路曲线对应的贝赛尔曲线：
其中，所述/>表示所述道路曲线对应的贝赛尔曲线，所述/>表示曲线起点的坐标/>，所述/>表示曲线终点的坐标/>，所述/>表示曲线中间控制点的坐标/>，所述/>表示线段/>与线段之间的比例，所述曲线中间控制点的横坐标/>，所述/>表示第一控制参数，所述曲线中间控制点的纵坐标/>，所述/>表示第二控制参数，所述表示第三控制参数，所述曲线终点的纵坐标/>，/>。
6.根据权利要求1所述的方法，其特征在于，所述根据所述第二检测结果矩阵，确定预设类别的道路曲线，具体包括：
根据所述第二检测结果矩阵中的每一道路曲线对应的第二贝塞尔参数，确定每一道路曲线对应的贝赛尔曲线；
根据每一道路曲线对应的第二置信度分数，对每一道路曲线对应的贝赛尔曲线进行去重处理，以得到去重后的曲线；
对于每一去重后的曲线，根据道路信息特征图中的坐标与世界坐标系的坐标之间的对应关系，确定所述去重后的曲线上的位置点在世界坐标系下的坐标；
根据每一道路曲线对应的第二类别，确定每一去重后的曲线的类别；
根据每一去重后的曲线上的位置点在世界坐标系下的坐标，以及每一去重后的曲线的类别，确定预设类别的道路曲线。
7.一种车辆驾驶系统，其特征在于，包括：
接收模块，用于获取车载雷达上传的原始点云数据，并对所述原始点云数据进行预处理，以得到自车坐标系下的目标点云数据；
处理模块，用于将所述目标点云数据输入至道路信息检测模型的点云特征提取模块中，以得到预设类别的道路信息特征图；将每一所述预设类别的道路信息特征图分别输入至所述道路信息检测模型的曲线检测模块中，以得到预设类别的道路曲线，所述预设类别的道路曲线包括车道线和道路边界线；
所述处理模块，具体用于对于每一所述预设类别的道路信息特征图，将所述预设类别的道路信息特征图输入至所述道路信息检测模型的曲线检测模块中，以得到第一检测结果矩阵，所述检测结果矩阵包括第一道路曲线数量、每一道路曲线对应的第一贝塞尔参数、每一道路曲线对应的第一置信度分数以及每一道路曲线对应的第一类别；对于每一道路曲线，根据所述道路曲线对应的贝塞尔参数，确定所述道路曲线对应的贝赛尔曲线；确定所述贝赛尔曲线上第二预设数目个的位置点，并根据所述位置点对应的坐标，确定所述位置点在所述预设类别的道路信息特征图中对应的目标特征；将每一道路曲线对应的目标特征输入至所述曲线检测模块中，以对所述曲线检测模块进行回归训练，并得到第二检测结果矩阵；根据所述第二检测结果矩阵，确定预设类别的道路曲线，所述第二检测结果矩阵包括第二道路曲线数量、每一道路曲线对应的第二贝塞尔参数、每一道路曲线对应的第二置信度分数以及每一道路曲线对应的第二类别。
8.一种车辆驾驶系统，其特征在于，包括处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至6中任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310727978.7A CN116503383B (zh) | 2023-06-20 | 2023-06-20 | 道路曲线检测方法、系统及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310727978.7A CN116503383B (zh) | 2023-06-20 | 2023-06-20 | 道路曲线检测方法、系统及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116503383A CN116503383A (zh) | 2023-07-28 |
| CN116503383B true CN116503383B (zh) | 2023-09-12 |
Family
ID=87324966
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310727978.7A Active CN116503383B (zh) | 2023-06-20 | 2023-06-20 | 道路曲线检测方法、系统及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116503383B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102007032698B3 (de) * | 2007-07-13 | 2008-09-25 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Verfahren zur Ermittlung eines Anzeigebildes |
| US10829121B1 (en) * | 2018-08-02 | 2020-11-10 | GM Global Technology Operations LLC | Controlling an autonomous vehicle based upon computed lane boundaries |
| CN113449650A (zh) * | 2021-06-30 | 2021-09-28 | 南京航空航天大学 | 一种车道线检测系统及方法 |
| CN113989766A (zh) * | 2021-09-16 | 2022-01-28 | 森思泰克河北科技有限公司 | 道路边缘检测方法、应用于车辆的道路边缘检测设备 |
| CN114549286A (zh) * | 2022-01-26 | 2022-05-27 | 上海仙途智能科技有限公司 | 车道线生成方法及装置、计算机可读存储介质、终端 |
| CN114881241A (zh) * | 2022-03-17 | 2022-08-09 | 北京主线科技有限公司 | 基于深度学习的车道线检测方法、装置及自动驾驶方法 |
| CN115131759A (zh) * | 2022-07-01 | 2022-09-30 | 上海商汤临港智能科技有限公司 | 交通标线的识别方法、装置、计算机设备和存储介质 |
| WO2023042965A1 (en) * | 2021-09-17 | 2023-03-23 | Morai Inc. | Method for generating road topology information and system thereof |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114724108B (zh) * | 2022-03-22 | 2024-02-02 | 北京百度网讯科技有限公司 | 车道线处理方法及装置 |
-
2023
- 2023-06-20 CN CN202310727978.7A patent/CN116503383B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102007032698B3 (de) * | 2007-07-13 | 2008-09-25 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Verfahren zur Ermittlung eines Anzeigebildes |
| US10829121B1 (en) * | 2018-08-02 | 2020-11-10 | GM Global Technology Operations LLC | Controlling an autonomous vehicle based upon computed lane boundaries |
| CN113449650A (zh) * | 2021-06-30 | 2021-09-28 | 南京航空航天大学 | 一种车道线检测系统及方法 |
| CN113989766A (zh) * | 2021-09-16 | 2022-01-28 | 森思泰克河北科技有限公司 | 道路边缘检测方法、应用于车辆的道路边缘检测设备 |
| WO2023042965A1 (en) * | 2021-09-17 | 2023-03-23 | Morai Inc. | Method for generating road topology information and system thereof |
| CN114549286A (zh) * | 2022-01-26 | 2022-05-27 | 上海仙途智能科技有限公司 | 车道线生成方法及装置、计算机可读存储介质、终端 |
| CN114881241A (zh) * | 2022-03-17 | 2022-08-09 | 北京主线科技有限公司 | 基于深度学习的车道线检测方法、装置及自动驾驶方法 |
| CN115131759A (zh) * | 2022-07-01 | 2022-09-30 | 上海商汤临港智能科技有限公司 | 交通标线的识别方法、装置、计算机设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于单目视觉道路场景建模与智能车辆运动规划研究;闫睿;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》;第1-66页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116503383A (zh) | 2023-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112581612B (zh) | 基于激光雷达和环视摄像头融合的车载栅格地图生成方法及系统 | |
| US10074020B2 (en) | Vehicular lane line data processing method, apparatus, storage medium, and device | |
| US8611585B2 (en) | Clear path detection using patch approach | |
| US8699754B2 (en) | Clear path detection through road modeling | |
| US8452053B2 (en) | Pixel-based texture-rich clear path detection | |
| US20090295917A1 (en) | Pixel-based texture-less clear path detection | |
| US20100100268A1 (en) | Enhanced clear path detection in the presence of traffic infrastructure indicator | |
| CN114821526A (zh) | 基于4d毫米波雷达点云的障碍物三维边框检测方法 | |
| CN114841910A (zh) | 车载镜头遮挡识别方法及装置 | |
| CN114881241A (zh) | 基于深度学习的车道线检测方法、装置及自动驾驶方法 | |
| Song et al. | Automatic detection and classification of road, car, and pedestrian using binocular cameras in traffic scenes with a common framework | |
| Shan et al. | Unmanned aerial vehicle (UAV)-Based pavement image stitching without occlusion, crack semantic segmentation, and quantification | |
| CN113435232A (zh) | 一种物体的检测方法、装置、设备及存储介质 | |
| CN110909656A (zh) | 一种雷达与摄像机融合的行人检测方法和系统 | |
| CN113219472B (zh) | 一种测距系统和方法 | |
| Ji et al. | Lane line detection system based on improved Yolo V3 algorithm | |
| CN117671644A (zh) | 标识牌检测方法、装置以及车辆 | |
| CN117197019A (zh) | 一种车辆三维点云图像融合方法及系统 | |
| CN112529917A (zh) | 一种三维目标分割方法、装置、设备和存储介质 | |
| CN112509321A (zh) | 一种基于无人机的城市复杂交通情景的驾驶控制方法、系统及可读存储介质 | |
| CN116503383B (zh) | 道路曲线检测方法、系统及介质 | |
| CN115830555A (zh) | 基于雷达点云的目标识别方法、存储介质及设备 | |
| CN113611008B (zh) | 一种车辆行驶场景采集方法、装置、设备及介质 | |
| CN116343148A (zh) | 车道线检测方法、装置、车辆及存储介质 | |
| CN115618602A (zh) | 一种车道级场景仿真方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |