CN113591640B - 一种道路护栏的检测方法、装置及车辆 - Google Patents
一种道路护栏的检测方法、装置及车辆 Download PDFInfo
- Publication number
- CN113591640B CN113591640B CN202110821181.4A CN202110821181A CN113591640B CN 113591640 B CN113591640 B CN 113591640B CN 202110821181 A CN202110821181 A CN 202110821181A CN 113591640 B CN113591640 B CN 113591640B
- Authority
- CN
- China
- Prior art keywords
- guardrail
- image
- point cloud
- boundary
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 claims description 44
- 230000004888 barrier function Effects 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000005056 compaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种道路护栏的检测方法、装置及车辆，应用于车辆，道路护栏的检测方法包括：获取第一图像和第二图像；其中，所述第一图像和所述第二图像为分别由不同视角获得的图像；根据所述第一图像和所述第二图像，获得所述第一图像和所述第二图像的视差图；根据所述视差图，解算得到护栏的点云数据；其中，所述护栏的点云数据表示所述护栏外观表面的点数据；根据所述护栏的点云数据，确定所述护栏的边界点云；其中，所述护栏的边界为所述护栏靠近所述车辆的一边；以及根据所述边界点云，得到所述护栏的边界的位置信息。本申请可以解决和改善无法对护栏边缘进行定位的问题。
Description
技术领域
本申请涉及无人驾驶技术领域，具体涉及一种道路护栏的检测方法、装置及车辆。
背景技术
随着自动驾驶技术的逐步发展，工程车辆开启了无人化施工时代。我国的高速公路众多且养护量极大，无人化施工将成为趋势。护栏是高速公路上的常见标志物，护栏的位置信息对无人驾驶车辆的路线规划有着重要的参考意义，护栏的定位技术也成为了无人驾驶车辆开展贴边压实工作时的核心技术。现有技术中，大多通过超声波和激光雷达检测护栏的位置，但超声波和激光雷达检测方法只能对护栏整体定位，无法对护栏的边缘进行定位，导致护栏的定位精度低。
发明内容
为了解决或者改善上述技术问题，提出了本申请。本申请的实施例提供了一种道路护栏的检测方法、装置及车辆，可以解决或者改善无法对护栏边缘进行定位的问题。
根据本申请的一个方面，提供了一种道路护栏的检测方法，应用于车辆，所述道路护栏的检测方法包括：获取第一图像和第二图像；其中，所述第一图像和所述第二图像为分别由不同视角获得的图像；根据所述第一图像和所述第二图像，获得所述第一图像和所述第二图像的视差图；根据所述视差图，解算得到护栏的点云数据；其中，所述护栏的点云数据表示所述护栏外观表面的点数据；根据所述护栏的点云数据，确定所述护栏的边界点云；以及根据所述边界点云，得到所述护栏的边界的位置信息；其中，所述护栏的边界为所述护栏靠近所述车辆的一边。
在一实施例中，在所述获取第一图像和第二图像之后，所述道路护栏的检测方法还包括：将所述第一图像输入模型中进行识别，获得所述护栏的图像数据；以及根据所述护栏的图像数据，获得所述护栏的深度区域范围；其中，所述深度区域范围表示所述护栏在所述第一图像中的位置信息；其中，所述根据所述视差图，解算得到护栏的点云数据包括：根据所述视差图，解算出场景点云；其中，所述场景点云表示所述第一图像和所述第二图像中所有物体外观表面的点数据；以及根据所述深度区域范围和所述场景点云，解算得到所述护栏的点云数据。
在一实施例中，所述将所述第一图像输入模型中进行识别，获得所述护栏的图像数据包括：将所述第一图像输入模型中，提取所述护栏的边界框；其中，所述边界框由所述模型分析获得；根据所述边界框，获得所述护栏的图像数据；其中，所述护栏的图像数据包括所述护栏的中心点位和边界框值；所述中心点位包括所述护栏的中心点坐标。
在一实施例中，所述根据所述护栏的图像数据，获得所述护栏的深度区域范围包括：对所述第一图像进行相机标定，获得标定结果；根据所述护栏的图像数据和所述标定结果，获得所述护栏的位姿信息；其中，所述位姿信息用于确定护栏的空间位置；以及根据所述位姿信息，解算得到所述护栏的深度区域范围。
在一实施例中，所述根据所述护栏的点云数据，确定所述护栏的边界点云包括：将所述护栏的点云数据转换为竖直方向深度图；根据所述竖直方向深度图，确定所述护栏的边界点云。
在一实施例中，所述根据所述边界点云，得到所述护栏的边界的位置信息包括：拟合所述边界点云，得到所述护栏的边界的位置信息。
在一实施例中，所述根据所述视差图，解算得到护栏的点云数据之后，所述道路护栏的检测方法还包括：对所述护栏的点云数据进行下采样，得到采样后的点云数据；其中，所述根据所述护栏的点云数据，确定所述护栏的边界点云包括：根据所述采样后的点云数据，确定所述护栏的边界点云。
在一实施例中，所述根据所述边界点云，得到所述护栏的边界的位置信息之后，所述道路护栏的检测方法还包括：根据所述边界的位置信息，计算所述车辆与所述护栏的距离；根据所述车辆与所述护栏的距离，调整所述车辆的行进线路。
根据本申请的另一个方面，提供了一种道路护栏的检测装置，应用于车辆，包括：采集模块，用于获取第一图像和第二图像；其中，所述第一图像和所述第二图像为分别由不同视角获得的图像；计算模块，用于根据所述第一图像和所述第二图像，获得所述第一图像和所述第二图像的视差图；解算模块，用于根据所述视差图，解算得到护栏的点云数据；其中，所述护栏的点云数据为反映所述护栏外观表面的点数据；分割模块，用于根据所述护栏的点云数据，确定所述护栏的边界点云；其中，所述护栏的边界为所述护栏靠近所述车辆的一边；以及拟合模块，根据所述边界点云，得到所述护栏的边界的位置信息。
根据本申请的另一个方面，提供了一种车辆，包括：车辆本体；图像采集设备，所述图像采集设备安装在所述车辆本体上；如上述实施例所述的道路护栏的检测装置；所述道路护栏的检测装置与所述图像采集设备连接，所述道路护栏的检测装置安装在所述车辆本体上，所述采集模块用于获取所述图像采集设备生成的第一图像和第二图像。
本申请提供的一种道路护栏的检测方法、装置及车辆，首先通过获取护栏的两张不同视觉的图像，利用第一图像和第二图像的差异性，获取第一图像和第二图像的视差图。然后通过视差图可以解算得到护栏的点云数据，通过点云数据分割出护栏的边界点云。最后将边界点云进行处理，获得护栏的边界的位置信息。护栏的边界的位置信息可以作为车辆行驶时的参考信息，因此准确定位边界信息可以为车辆行驶提供重要的帮助。本申请利用不同视觉的两张图像计算出视差图，并根据视差图将护栏的三维几何信息转化为点云数据，然后从点云数据中分割出护栏边界，达到对护栏边界准确定位的效果，解决了无法准确定位护栏边界的问题。
根据本申请的另一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一实施例所述的道路护栏的检测方法。
根据本申请的另一个方面，提供了一种道路护栏检测电子设备，所述道路护栏检测电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行上述任一实施例所述的道路护栏的检测方法。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是本申请所适用的场景图。
图2是本申请一示例性实施例提供的道路护栏的检测方法的流程示意图。
图3是本申请另一示例性实施例提供的道路护栏的检测方法的流程示意图。
图4是本申请另一示例性实施例提供的道路护栏的检测方法的流程示意图。
图5是本申请另一示例性实施例提供的道路护栏的检测方法的流程示意图。
图6是本申请另一示例性实施例提供的道路护栏的检测方法的流程示意图。
图7是本申请另一示例性实施例提供的道路护栏的检测方法的流程示意图。
图8是本申请另一示例性实施例提供的道路护栏的检测方法的流程示意图。
图9是本申请另一示例性实施例提供的道路护栏的检测方法的流程示意图。
图10是本申请一示例性实施例提供的道路护栏的检测方法的原理示意图。
图11是本申请一示例性实施例提供的道路护栏的装置的结构示意图。
图12是本申请另一示例性实施例提供的道路护栏的装置的结构示意图。
图13是本申请一示例性实施例提供的电子设备的结构图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
示例性系统
图1是本申请所适用的场景图，如图1所示，图1包括了护栏5和一种车辆，该车辆包括：车辆本体2，图像采集设备3，图像采集设备3安装在车辆本体2上；道路护栏的检测装置4；道路护栏的检测装置4与图像采集设备3连接。道路护栏的检测装置4用于检测道路两侧的护栏5，根据车辆本体2与护栏5之间的距离可以调整车辆的前进线路，因此对护栏5进行准确定位可以为车辆提供参考信息。
本申请的技术方案可以应用于无人驾驶车辆，图像采集设备可以采用双目相机，双目相机用于拍摄无人驾驶车辆两侧的场景，也可以采用两个单目相机代替双目相机。双目相机的两个镜头或两个单目相机需要位于同一平面上，并且两个镜头或者两个单目相机的光轴互相平行。双目相机模拟人类的双眼，在拍摄同一场景时可以同时获得两张存在差异性的图像，并利用视差原理，计算两张图像之间对应点位的偏差值来恢复护栏的三维几何信息。
示例性方法
图2是本申请一示例性实施例提供的道路护栏的检测方法的流程示意图，如图2所示，该道路护栏的检测方法应用于车辆，该道路护栏的检测方法包括：
步骤100：获取第一图像和第二图像；其中，第一图像和第二图像为分别由不同视角获得的图像。
通过安装图像采集设备，模拟人的左眼和右眼对场景进行图像采集。通过不同视觉获取的两张图像有助于构建护栏的三维几何形象。
步骤200：根据第一图像和第二图像，获得第一图像和第二图像的视差图。
因为第一图像和第二图像由不同视角获得，不同的视角会产生视差，因此，利用不同视角产生视差的原理，可以对第一图像和第二图像中物体的位置进行还原。利用立体视觉匹配算法，可以计算出第一图像和第二图像的视差图，用于还原物体的形状和位置。
例如，可以采用立体视觉匹配算法计算视差值。立体视觉匹配算法就是已知其中一副图像的一个成像点，在另一副图像上找出该成像点的对应点。利用立体视觉匹配算法，对第一图像和第二图像进行极线约束，获得第一图像和第二图像的视差图。其中，可以通过全局能量最优策略匹配代价，获得视差值，计算视差图的公式为：
其中，E(D)表示全局能量；Dp表示：像素p邻域内出现的视差；Dq表示：像素q邻域内的视差；P1、P2表示：惩罚项(类似于权重)； 表示：像素p的邻域内出现与q的视差大于1的像素加入惩罚项P2；/>表示：对像素p的邻域内出现与q的视差相差1的像素加上一个惩罚项P1；∑pC(p,Dp)表示：C为匹配代价，当视差图为D时，所有像素匹配代价累加。
步骤300：根据视差图，解算得到护栏的点云数据。
其中，护栏的点云数据表示护栏外观表面的点数据。
通过立体视觉视差原理，可以获得视差图，从而解算出第一图像和第二图像中所有物体的点云，形成所有物体外表面点数据的集合。得到可以表示所有物体外观表面的点数据的场景点云后，可以利用护栏与其他物体之间的差异性，或者是提前计算护栏的深度区域范围，从场景点云中提取出护栏的点云数据。
步骤400：根据护栏的点云数据，确定护栏的边界点云；从护栏的点云数据中可以分割出护栏的边界点云。例如，利用点云与深度图之间可以互相转换的关系，提取出护栏的边界信息，从而分割出护栏的边界。
步骤500：根据边界点云，得到护栏的边界的位置信息。
其中，护栏的边界为护栏靠近车辆的一边。
上述步骤中获得的边界点云为散乱的边界点云，无法为定位边界提供精确的坐标。因此，对散乱的边界点云进行投影和拟合，获得边界线性结构，能够准确的表示护栏的三维坐标，从而方便进行精确的边界定位。
本申请提供的一种道路护栏的检测方法，首先通过获取护栏的两张不同视觉的图像，利用第一图像和第二图像的差异性，获取第一图像和第二图像的视差图。然后通过视差图可以解算得到护栏的点云数据，通过点云数据分割出护栏的边界点云。最后将边界点云进行处理，获得护栏的边界的位置信息。护栏的边界的位置信息可以作为车辆行驶时的参考信息，因此准确定位边界信息可以为车辆行驶提供重要的帮助。本申请利用不同视觉的两张图像计算出视差图，并根据视差图将护栏的三维几何信息转化为点云数据，然后从点云数据中分割出护栏边界，达到对护栏边界准确定位的效果，解决了无法准确定位护栏边界的问题。
图3是本申请另一示例性实施例提供的道路护栏的检测方法的流程示意图，如图3所示，在上述步骤100之后，道路护栏的检测方法还可以包括：
步骤600：将第一图像输入模型中进行识别，获得护栏的图像数据。
可以将由不同视角获得的图像中的任一张图像输入模型中，对图像中拍摄到的物体进行识别。用户可以预先训练模型识别护栏，将第一图像输入模型中识别出护栏后，输出模型分析的数据，也就是护栏的图像数据。
本申请以yolo模型为例，yolo模型中的每个格子输出B个bounding box(包含物体的矩形区域)信息，以及C个物体属于某种类别的概率信息。物体的类别数据库可以直接调用现有的数据库，也可以人为对现有的数据库进行更改和替换。bounding box信息包含5个数据值，分别是x，y，w，h,和confidence，其中，x，y是指当前格子预测得到的物体的bounding box的中心位置的坐标。w，h是bounding box的宽度和高度，confidence反映当前bounding box是否包含物体以及物体位置的准确性。所以，护栏的图像数据可以包括护栏的中心位置的坐标，以及护栏在第一图像中的宽度和高度。例如，将第一图像分成7×7个格子，护栏的视觉中心点落入到第四行、第三列的格子内，护栏占据格子3×3，那么(4，3)就是护栏中心位置的坐标，护栏的宽度和高度就是3和3，边界框值就是(3，3)。
步骤700：根据护栏的图像数据，获得护栏的深度区域范围。
其中，深度区域范围表示护栏在第一图像中的位置信息。
根据模型输出的护栏的图像数据，结合采集护栏图像的设备的各项参数，可以反向推算出根据第一图像得到的护栏的位置和姿态。根据护栏的位置和姿态可以解算得到护栏的深度区域范围。此时得到的护栏的位置和姿态只根据第一图像推算，因此只能对护栏进行初步定位，深度区域范围不能精确的表示护栏的真实位置和姿态。
其中，上述步骤300包括：
步骤310：根据视差图，解算出场景点云；其中，场景点云表示第一图像和第二图像中所有物体外观表面的点数据。
通过立体视觉视差原理，可以解算出第一图像和第二图像中所有物体的点云，形成所有物体外表面点数据的集合。
利用立体视觉视差原理解算场景点云，可以采用公式：其中，Z为深度值，b为采集第一图像和第二图像的两个设备之间的基线长度，f为焦距，xL-xR为第一图像和第二图像的视差值，xL表示成像点到左成像面的距离，xR表示成像点到右成像面的距离。解算得到多个深度值后，可以将深度值转化为场景点云，用来反映第一图像和第二图像中所有物体外观表面的点数据。
步骤320：根据深度区域范围和场景点云，解算得到护栏的点云数据。
可以根据深度区域范围对场景点云进行划分，划分出深度区域(Zi,Zj)，Zi,Zj为护栏在图像标定后的大致深度位置；获得初步定位的护栏在场景点云中的点云，提取初步定位出的护栏的点云数据，减少点云的计算量。但因为初步定位时划分出的护栏不够准确，存在偏差，因此从场景点云中提取的护栏的点云数据也不够准确，还会混合一些无法与护栏的点云数据划分开的其他场景点云。
图4是本申请另一示例性实施例提供的道路护栏的检测方法的流程示意图，如图4所示，上述步骤600可以包括：
步骤610：将第一图像输入模型中，提取护栏的边界框；其中，边界框由模型分析获得。
yolo模型通过训练可以输出护栏的边界框(包含物体的矩形区域)信息，并输出边界框包含的各项数据。
步骤620：根据边界框，获得护栏的图像数据，其中，护栏的图像数据包括护栏的中心点位和边界框值，中心点位包括护栏的中心点坐标。
根据提取的边界框，可以边界框中包含的护栏的中心点位坐标以及边界框值。
本申请中，护栏的中心点位和边界框值通过yolo模型分析获得。在yolo模型中输入护栏的图像，经过一次模型分析，就能获得图像中所有物体的位置和其所属类别及相应的置概率。yolo模型将输入的第一图像分成S×S个格子(S由用户预设)，每个格子负责检测落入该格子中的物体，若场景中某个物体的中心位置的坐标落入到某个格子，那么这个格子就负责检测出这个物体。例如，将第一图像分成7×7个格子，护栏的视觉中心点落入到第四行、第三列的格子内，那么第四行、第三列的格子负责检测第一图像中的护栏。
在使用yolo模型之前，需要先对yolo模型进行护栏数据集训练，以使yolo模型能够识别出护栏，然后输出边界框值以及坐标值。对yolo模型进行训练，输入已经标注好的样本图片，使yolo模型根据人为引入的标注类别数据库，识别护栏的图片并生成预测值，预测值可以包括边界框值以及坐标值。将模型的预测值与实际标注值作比较，实际标注值表示样本图片在网格中的实际位置，样本图片的实际位置是由标注的类别文件给定的，标注的类别文件来自人为引入的现有的标注类别数据库。计算预测值与实际标注值之间的差值。预测值与实际标注值的差值可以表示yolo模型实际输出与预测输出之间存在的误差。根据计算得到的误差，对yolo模型进行优化，通过缩小预测值与实际标注值之间的差值达到优化的目的。当预测值与实际标注值之间的差值小于训练模型的预设差值时，确定yolo模型训练完成，从而可以达到快速准确的检测是否有护栏存在的目的。
其中，计算预测值与实际标注值之间的差值，可以采用公式：
其中，xi、yi、ωi、Ci、pi表示预测值，表示实际标注值，其中，x和y可以表示护栏的坐标，ω和h可以反映护栏的大小，C表示目标存在的置信度，/>表示护栏落入格子i中，/>表示护栏落入格子i的第j个bounding box内。所以预测值与实际标注值之间的最终误差的计算方法为：Loss＝λcoord*坐标预测误差+(含object的boxconfidence预测误差+λnoobj*不含object的box confidence预测误差)+类别预测误差。其中，/> 表示定位误差，只有预测框包含护栏才计算定位误差，定位误差表示标注好的样本图片的坐标与模型预测的护栏坐标存在的误差；表示置信度误差，置信度是指护栏落在预测网格内的概率，因为包含护栏的格子与不包含护栏的格子对误差计算的影响不同，因此需要分开计算预测网格包含护栏的概率和预测网格不包含护栏的概率，表示在第i个网格中的第j个预测框包含护栏时的置信度误差，表示在第i个网格中的第j个预测框不包含护栏时的置信度误差；/> 中，pi(c)表示第i个网格中属于第c个类别的条件概率，只有护栏出现在第i个网格内，该网格才负责检测这个物体，才计算分类误差，分类误差表示标注好的样本图片的类别与模型预测的护栏的类别之间存在的误差。
图5是本申请另一示例性实施例提供的道路护栏的检测方法的流程示意图，如图5所示，上述步骤700可以包括：
步骤710：对第一图像进行相机标定，获得标定结果。
采用张正友标定法对第一图像进行相机标定，首先检测出第一图像中的特征点，求解理想无畸变情况下的拍摄第一图像的相机的内参数和外参数，并用极大似然估计提高精度；然后应用最小二乘求出实际的径向畸变系数；接着综合内参、外参和畸变系数，使用极大似然法，优化估计，提升估计精度；最后获得拍摄第一图像的相机的内参、外参和畸变系数。
步骤720：根据护栏的中心点位、边界框值和标定结果，获得护栏的位姿信息。
其中，位姿信息包括护栏在空间具有的六个自由度，位姿信息用于确定护栏在空间中的位置。
根据拍摄第一图像的相机的内参、外参和畸变系数，以及模型分析中获得的护栏的中心点坐标(x，y)和边框值(w，h)，解算得到护栏的位姿，护栏的位姿包括沿x、y、z三个直角坐标轴方向的移动自由度和绕这三个坐标轴的转动自由度。因此，要确定护栏的位置，就必须清楚这六个自由度。
步骤730：根据位姿信息，解算得到护栏的深度区域范围。
通过解算护栏的位姿，获取护栏的深度区域范围(Zi,j)，在第一图像中对护栏进行粗定位，深度区域范围可以表示护栏在第一图像中的位置信息。
图6是本申请另一示例性实施例提供的道路护栏的检测方法的流程示意图，如图6所示，上述步骤400可以包括：
步骤410：将护栏的点云数据转化为竖直方向深度图。
首先基于点云数据与深度图之间可以相互转换的关系，将点云数据转化为深度图。护栏与地面存在高度差异，因此护栏在竖直方向深度图中产生的变化非常大，将护栏的点云数据转化为竖直方向的深度图有利于提取护栏的点云。
步骤420：根据竖直方向深度图，确定护栏的边界点云。
将点云数据转化为竖直方向深度图后可以根据深度的变化将护栏点云提取出来。因为深度图可以反映深度图中每个像素点与图像采集设备之间的距离，因此可以获得护栏表面的每个点数据与图像采集设备之间的距离，根据每个点数据与图像采集设备之间的距离确定护栏的边界信息。
根据距离的不同提取出护栏的边界信息后，因为深度图经过坐标转换可以计算为点云数据，有规则及必要信息的点云数据也可以反算为深度图数据，因此，将深度图中对应的护栏边界经过坐标转换计算为边界点云，得到边界点云，边界点云为离散点云集。
将深度图中对应的护栏边界经过坐标转换，得到的边界点云的离散点云集满足其中，Zi表示深度值，zmax表示护栏的最大高度，zmin表示护栏的最小高度。
图7是本申请另一示例性实施例提供的道路护栏的检测方法的流程示意图，如图7所示，上述步骤500可以包括：
步骤510：拟合边界点云，得到护栏的边界的位置信息。
可以先将空间中的边界点云投影至水平面，形成平面点云，方便对点云进行直线拟合。然后将平面点云后进行霍夫直线拟合。如果边界点云能够构成一条直线，那么这些像素坐标值在参数空间对应的曲线一定相交于一个点。所以只需要将边界点云的坐标变换成参数空间的曲线，并在参数空间检测曲线交点就可以确定直线，从而获得护栏的边界线性位置信息。
图8是本申请另一示例性实施例提供的道路护栏的检测方法的流程示意图，如图8所示，上述步骤300之后，上述道路护栏的检测方法还可以包括：
步骤800：对护栏的点云数据进行下采样，得到采样后的点云数据。
本申请可以采用LMedS最小中值方差估计算法对点云数据进行下采样，LMedS最小中值方差估计算法可以不用实现设定阈值，迭代次数可以预先确定。因此采用LMedS最小中值方差估计算法来剔除错误点云可以对护栏的点云数据进行进一步的筛选，获得更准确的护栏点云。
利用最小中值方差估计算法对点云数据进行下采样，可以采用公式：θ＝argθminmedi∈Nri(xi,θ)。
其中，θ表示：拟合模型参数；ri表示：模型第i个点的残留误差。
对应的，上述步骤400的具体实施方式可以调整为：根据采样后的点云数据，确定护栏的边界点云。
图9是本申请另一示例性实施例提供的道路护栏的检测方法的流程示意图，如图9所示，上述步骤500之后，上述道路护栏的检测方法还可以包括：
步骤900：根据边界的位置信息，计算车辆与护栏的距离。
将边界点云进行分割后拟合出边界线性结构，可方便得到任意距离的护栏三维坐标。对护栏进行准确定位后可以计算车辆与护栏之间的距离。
步骤910：根据车辆与护栏的距离，调整车辆的行进线路。
护栏的位置信息对车辆驾驶的路线规划有着重要的参考意义。获得护栏的边界的位置信息，就可以得到自动驾驶时所需的三维信息，从而为贴边压实的自动驾驶车辆提供重要参考信息。将护栏作为参考物调整自动驾驶车辆的行进路线，可以使自动驾驶车辆的行进路线更为合理，不与护栏产生碰撞。
图10是本申请一示例性实施例提供的道路护栏的检测方法的原理示意图，如图10所示，在车辆行驶过程中，首先由固定基线的双目相机同时采集不同视角的两张图像(步骤31)，利用左相机进行护栏检测(步骤32)，判断左相机采集到的图像中是否存在护栏(步骤33)，如果不存在则继续由双目相机实时采集新的两张图像。如果左相机采集到的图像中存在护栏，则利用模型中分析得到的图像数据和张正友标定法标定的相机参数，解算得到护栏的深度区域范围，对护栏在图像中的位置进行初步定位，得到护栏的粗定位(步骤34)。
结束粗定位后，利用立体视觉匹配算法，对采集到的两张图像进行极限约束，并通过代价计算获得两张图像的视差值(步骤35)。根据视差值和双目相机的相机参数，可以解算出两张图像中拍摄到的场景的场景点云。
在场景点云中根据深度区域范围划分护栏的点云数据，减少点云的计算量，但根据深度区域范围划分出来的护栏的点云数据中还包含其他场景点云，因为深度区域范围只能对护栏做粗定位，无法完整分割出护栏的点云数据。对划分后的点云进行下采样(步骤36)，获取采样后的点云数据，进一步提高点云精度。
深度图经过坐标转换可以计算为点云数据，有规则和包含必要信息的点云数据也可以反算为深度图数据，因此，深度图和点云之间可以相互转换。对处理后的点云进行竖直方向深度图转换，由于护栏在竖直方向上与其他物体产生明显的差异，因此能够反映护栏位置信息的点云在竖直方向上的深度变化更大。通过竖直方向深度图提取护栏并分割出护栏的边界(步骤37)。提取出护栏的边界后，将深度图中对应护栏边界的信息转化为边界点云，分割出边界点云用以拟合边界(步骤38)。将边界点云投影到水平面上进行霍夫直线拟合，得到护栏检测与定位结果(步骤39)，也就是护栏的边界线性位置信息。将边界点云进行分割后拟合出边界线性结构，可方便得到任意距离的护栏三维坐标，方便进行精确定位。
本申请提供的一种道路护栏的检测方法，可以通过获取护栏的两张不同视觉的图像，经过一系列处理得到护栏的位置信息，并对护栏的边界进行定位。首先可以对两张图像中的其中一张进行识别，将第一图像输入到模型中，由训练好的模型对第一图像进行分析，输出护栏的图像数据。模型输出的图像数据可以用于计算护栏的深度区域范围，为后续选择点云提供参考。
接着利用第一图像和第二图像的差异性，获取第一图像和第二图像的视差值，利用视差值可以解算得到场景点云，也就是获得第一图像和第二图像中所有物体的表面点数据，用以反映出场景中所有物体的三维几何信息。然后根据求得的深度区域范围和场景点云，可以剔除场景中与护栏差异性较大的物体，对场景点云进行初步筛选，对护栏进行初步定位，获得护栏的点云数据，其中还残留一些无法与护栏的点云数据区分开的其他场景点云。将护栏的点云数据转化为竖直方向深度图，利用护栏在竖直方向产生的变化较大的特性，从竖直方向深度图中分割出护栏的边界。
最后将竖直方向深度图中分割出的边界经过转换和拟合，获得护栏的边界的位置信息。护栏的边界的位置信息可以作为车辆行驶时的参考信息，因此准确定位边界信息可以为车辆行驶提供重要的帮助。本申请利用模型提供的图像数据，以及点云与深度图之间的互相转换，从不同视觉的两张图像中准确分割出护栏边界，达到对护栏边界准确定位的效果。
示例性装置
图11是本申请一示例性实施例提供的道路护栏的装置的结构示意图，如图11所示，该道路护栏的检测装置7包括：采集模块71，用于获取第一图像和第二图像；其中，第一图像和第二图像为分别由不同视角获得的图像；计算模块72，用于根据第一图像和第二图像，获得第一图像和第二图像的视差图；解算模块73，用于根据视差图，解算得到护栏的点云数据；其中，护栏的点云数据为反映护栏外观表面的点数据；分割模块74，用于根据护栏的点云数据，确定护栏的边界点云；拟合模块75，根据边界点云，得到护栏的边界的位置信息；其中，边界为护栏靠近车辆的一边。
采集模块71与计算模块72通信连接，计算模块72与解算模块73通信连接，解算模块73与分割模块74通信连接，分割模块74与拟合模块75通信连接。其中，采集模块71用于获取图像采集设备生成的第一图像和第二图像。
本申请提供的一种道路护栏的检测方法，首先通过采集模块71获取由不同视觉获得的第一图像和第二图像，利用第一图像和第二图像的差异性，通过计算模块72获取第一图像和第二图像的视差图。然后通过解算模块73可以解算视差图从而得到护栏的点云数据，通过分割模块74从点云数据中分割出护栏的边界点云。最后通过拟合模块75对边界点云进行处理，获得护栏的边界的位置信息。护栏的边界的位置信息可以作为车辆行驶时的参考信息，因此准确定位边界信息可以为车辆行驶提供重要的帮助。本申请利用不同视觉的两张图像计算出视差图，并根据视差图将护栏的三维几何信息转化为点云数据，然后从点云数据中分割出护栏边界，达到对护栏边界准确定位的效果，解决了无法准确定位护栏边界的问题。
图12是本申请另一示例性实施例提供的道路护栏的装置的结构示意图，如图12所示，道路护栏的检测装置7还可以包括：识别模块76，用于将第一图像输入模型中进行识别，获得护栏的图像数据；范围获取模块77，用于根据护栏的图像数据，获得护栏的深度区域范围。识别模块76与拟合模块75通信连接。
在一实施例中，如图12所示，解算模块73可以包括：第一解算单元731，用于根据视差图，解算出场景点云；其中，场景点云表示第一图像和第二图像中所有物体外观表面的点数据；第二解算单元732，用于根据深度区域范围和场景点云，解算得到护栏的点云数据。第一解算单元731与第二解算单元732之间通信连接。
在一实施例中，如图12所示，识别模块76可以包括：提取单元761，用于将第一图像输入模型中，提取护栏的边界框；其中，边界框由模型分析获得；数据获取单元762，用于根据边界框，获得护栏的图像数据，其中，护栏的图像数据包括护栏的中心点位和边界框值。
在一实施例中，如图12所示，范围获取模块77可以包括：标定单元771，用于对第一图像进行相机标定，获得标定结果；获取位姿单元772，用于根据护栏的图像数据和标定结果，获得护栏的位姿信息；位姿解算单元773，用于根据位姿信息，解算得到护栏的深度区域范围。
标定单元771与获取位姿单元772之间通信连接，获取位姿单元772与位姿解算单元773之间通信连接。
在一实施例中，如图12所示，分割模块74可以包括：转化单元741，用于将护栏的点云数据转化为竖直方向深度图；确定单元742，用于根据竖直方向深度图，确定护栏的边界点云。
在一实施例中，如图12所示，拟合模块75可以包括：拟合直线单元751，用于拟合边界点云，得到护栏的边界的位置信息。
在一实施例中，如图12所示，道路护栏的检测装置7还可以包括：采样模块78，用于对护栏的点云数据进行下采样，得到采样后的点云数据。采样模块78与范围获取模块77通信连接。对应的，分割模块74还可以配置为：根据采样后的点云数据，确定护栏的边界点云。
在一实施例中，如图12所示，道路护栏的检测装置7还可以包括：距离计算模块79，根据边界的位置信息，计算车辆与护栏的距离；调整模块80，根据车辆与护栏的距离，调整车辆的行进线路。距离计算模块79与采样模块78通信连接，调整模块80与计算模块79通信连接。
示例性电子设备
下面，参考图13来描述根据本申请实施例的电子设备。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。
图13图示了根据本申请实施例的电子设备的框图。
如图13所示，电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的道路护栏的检测方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
在该电子设备是单机设备时，该输入装置13可以是通信网络连接器，用于从第一设备和第二设备接收所采集的输入信号。
此外，该输入装置13还可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图13中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (9)
1.一种道路护栏的检测方法，应用于车辆，其特征在于，所述道路护栏的检测方法包括：
获取第一图像和第二图像；其中，所述第一图像和所述第二图像为分别由不同视角获得的图像；
根据所述第一图像和所述第二图像，获得所述第一图像和所述第二图像的视差图；
根据所述视差图，解算得到护栏的点云数据；其中，所述护栏的点云数据表示所述护栏外观表面的点数据；
将所述护栏的点云数据转换为竖直方向深度图；
根据所述竖直方向深度图，确定所述护栏的边界点云；以及
根据所述边界点云，得到所述护栏的边界的位置信息；其中，所述护栏的边界为所述护栏靠近所述车辆的一边。
2.根据权利要求1所述的道路护栏的检测方法，其特征在于，在所述获取第一图像和第二图像之后，还包括：
将所述第一图像输入模型中进行识别，获得所述护栏的图像数据；以及
根据所述护栏的图像数据，获得所述护栏的深度区域范围；其中，所述深度区域范围表示所述护栏在所述第一图像中的位置信息；
其中，所述根据所述视差图，解算得到护栏的点云数据包括：
根据所述视差图，解算出场景点云；其中，所述场景点云表示所述第一图像和所述第二图像中所有物体外观表面的点数据；以及
根据所述深度区域范围和所述场景点云，解算得到所述护栏的点云数据。
3.根据权利要求2所述的道路护栏的检测方法，其特征在于，所述将所述第一图像输入模型中进行识别，获得所述护栏的图像数据包括：
将所述第一图像输入模型中，提取所述护栏的边界框；其中，所述边界框由所述模型分析获得；
根据所述边界框，获得所述护栏的图像数据；其中，所述护栏的图像数据包括所述护栏的中心点位和边界框值；所述中心点位包括所述护栏的中心点坐标。
4.根据权利要求2所述的道路护栏的检测方法，其特征在于，所述根据所述护栏的图像数据，获得所述护栏的深度区域范围包括：
对所述第一图像进行相机标定，获得标定结果；
根据所述护栏的图像数据和所述标定结果，获得所述护栏的位姿信息；其中，所述位姿信息用于确定护栏的空间位置；以及
根据所述位姿信息，解算得到所述护栏的深度区域范围。
5.根据权利要求1所述的道路护栏的检测方法，其特征在于，所述根据所述边界点云，得到所述护栏的边界的位置信息包括：
拟合所述边界点云，得到所述护栏的边界的位置信息。
6.根据权利要求1所述的道路护栏的检测方法，其特征在于，所述根据所述视差图，解算得到护栏的点云数据之后，还包括：
对所述护栏的点云数据进行下采样，得到采样后的点云数据；
其中，所述根据所述护栏的点云数据，确定所述护栏的边界点云包括：
根据所述采样后的点云数据，确定所述护栏的边界点云。
7.根据权利要求1所述的道路护栏的检测方法，其特征在于，所述根据所述边界点云，得到所述护栏的边界的位置信息之后，还包括：
根据所述边界的位置信息，计算所述车辆与所述护栏的距离；
根据所述车辆与所述护栏的距离，调整所述车辆的行进线路。
8.一种道路护栏的检测装置，应用于车辆，其特征在于，包括：
采集模块，用于获取第一图像和第二图像；其中，所述第一图像和所述第二图像为分别由不同视角获得的图像；
计算模块，用于根据所述第一图像和所述第二图像，获得所述第一图像和所述第二图像的视差图；
解算模块，用于根据所述视差图，解算得到护栏的点云数据；其中，所述护栏的点云数据表示所述护栏外观表面的点数据；
分割模块，用于将所述护栏的点云数据转换为竖直方向深度图，根据所述竖直方向深度图，确定所述护栏的边界点云；以及
拟合模块，根据所述边界点云，得到所述护栏的边界的位置信息；其中，所述护栏的边界为所述护栏靠近所述车辆的一边。
9.一种车辆，其特征在于，包括：
车辆本体；
图像采集设备，所述图像采集设备安装在所述车辆本体上；
如权利要求8所述的道路护栏的检测装置；所述道路护栏的检测装置与所述图像采集设备连接，所述道路护栏的检测装置安装在所述车辆本体上，所述采集模块用于获取所述图像采集设备生成的第一图像和第二图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110821181.4A CN113591640B (zh) | 2021-07-20 | 2021-07-20 | 一种道路护栏的检测方法、装置及车辆 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110821181.4A CN113591640B (zh) | 2021-07-20 | 2021-07-20 | 一种道路护栏的检测方法、装置及车辆 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113591640A CN113591640A (zh) | 2021-11-02 |
| CN113591640B true CN113591640B (zh) | 2023-11-17 |
Family
ID=78248571
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110821181.4A Active CN113591640B (zh) | 2021-07-20 | 2021-07-20 | 一种道路护栏的检测方法、装置及车辆 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113591640B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113837155B (zh) * | 2021-11-25 | 2022-02-08 | 腾讯科技（深圳）有限公司 | 图像处理、地图数据更新方法、装置和存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2674104A1 (en) * | 2008-07-25 | 2010-01-25 | Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry Through The Communications Research Centre Canada | Method and graphical user interface for modifying depth maps |
| CN103167306A (zh) * | 2013-03-22 | 2013-06-19 | 上海大学 | 一种基于图像匹配的高分辨率深度图实时提取装置及方法 |
| CN106485233A (zh) * | 2016-10-21 | 2017-03-08 | 深圳地平线机器人科技有限公司 | 可行驶区域检测方法、装置和电子设备 |
| CN110111603A (zh) * | 2019-05-10 | 2019-08-09 | 广州达泊智能科技有限公司 | 基于三维检测技术的停车辅助方法、装置及系统 |
| CN111462096A (zh) * | 2020-04-03 | 2020-07-28 | 浙江商汤科技开发有限公司 | 三维目标检测方法及装置 |
| CN112561808A (zh) * | 2020-11-27 | 2021-03-26 | 中央财经大学 | 一种基于车载激光点云和卫星影像的道路边界线复原方法 |
| CN112700552A (zh) * | 2020-12-31 | 2021-04-23 | 华为技术有限公司 | 三维物体检测方法、装置、电子设备及介质 |
| CN112801022A (zh) * | 2021-02-09 | 2021-05-14 | 青岛慧拓智能机器有限公司 | 一种无人驾驶矿卡作业区道路边界快速检测更新的方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200132468A (ko) * | 2019-05-17 | 2020-11-25 | 삼성전자주식회사 | 첨단 운전자 지원 장치 및 이의 객체를 검출하는 방법 |
-
2021
- 2021-07-20 CN CN202110821181.4A patent/CN113591640B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2674104A1 (en) * | 2008-07-25 | 2010-01-25 | Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry Through The Communications Research Centre Canada | Method and graphical user interface for modifying depth maps |
| CN103167306A (zh) * | 2013-03-22 | 2013-06-19 | 上海大学 | 一种基于图像匹配的高分辨率深度图实时提取装置及方法 |
| CN106485233A (zh) * | 2016-10-21 | 2017-03-08 | 深圳地平线机器人科技有限公司 | 可行驶区域检测方法、装置和电子设备 |
| CN110111603A (zh) * | 2019-05-10 | 2019-08-09 | 广州达泊智能科技有限公司 | 基于三维检测技术的停车辅助方法、装置及系统 |
| CN111462096A (zh) * | 2020-04-03 | 2020-07-28 | 浙江商汤科技开发有限公司 | 三维目标检测方法及装置 |
| CN112561808A (zh) * | 2020-11-27 | 2021-03-26 | 中央财经大学 | 一种基于车载激光点云和卫星影像的道路边界线复原方法 |
| CN112700552A (zh) * | 2020-12-31 | 2021-04-23 | 华为技术有限公司 | 三维物体检测方法、装置、电子设备及介质 |
| CN112801022A (zh) * | 2021-02-09 | 2021-05-14 | 青岛慧拓智能机器有限公司 | 一种无人驾驶矿卡作业区道路边界快速检测更新的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113591640A (zh) | 2021-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3581890B1 (en) | Method and device for positioning | |
| CN106599108B (zh) | 一种三维环境中多模态环境地图构建方法 | |
| US9846812B2 (en) | Image recognition system for a vehicle and corresponding method | |
| CN112444242B (zh) | 一种位姿优化方法及装置 | |
| CA2950791C (en) | Binocular visual navigation system and method based on power robot | |
| US8872925B2 (en) | Method and device for camera calibration | |
| Bensrhair et al. | Stereo vision-based feature extraction for vehicle detection | |
| CN103679707A (zh) | 基于双目相机视差图的道路障碍物检测系统及检测方法 | |
| CN108645375B (zh) | 一种用于车载双目系统快速车辆测距优化方法 | |
| CN115049700A (zh) | 一种目标检测方法及装置 | |
| CN111008660A (zh) | 语义地图的生成方法、装置、系统、存储介质及电子设备 | |
| CN113240734B (zh) | 一种基于鸟瞰图的车辆跨位判断方法、装置、设备及介质 | |
| CN114463303A (zh) | 一种基于双目相机和激光雷达融合的道路目标检测方法 | |
| CN114004894A (zh) | 基于三个标定板的激光雷达与双目相机空间关系确定方法 | |
| CN113591640B (zh) | 一种道路护栏的检测方法、装置及车辆 | |
| US20230221140A1 (en) | Roadmap generation system and method of using | |
| CN114428259A (zh) | 一种基于地图车采集的地库激光点云中车辆自动提取方法 | |
| Oskouie et al. | A data quality-driven framework for asset condition assessment using LiDAR and image data | |
| CN113536959A (zh) | 一种基于立体视觉的动态障碍物检测方法 | |
| CN117423089A (zh) | 基于图像分割与雷达点云的可行驶区域拟合方法及设备 | |
| CN114608522B (zh) | 一种基于视觉的障碍物识别与测距方法 | |
| CN111126363A (zh) | 自动驾驶车辆的物体识别和距离测量方法及装置 | |
| CN112146647B (zh) | 一种地面纹理的双目视觉定位方法及芯片 | |
| KR20220151572A (ko) | IPM 이미지와 정밀도로지도(HD Map) 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법 및 시스템 | |
| CN109784315B (zh) | 3d障碍物的跟踪检测方法、装置、系统及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |