CN117392423A - 基于激光雷达的目标物的真值数据预测方法、装置及设备 - Google Patents
基于激光雷达的目标物的真值数据预测方法、装置及设备 Download PDFInfo
- Publication number
- CN117392423A CN117392423A CN202311353137.0A CN202311353137A CN117392423A CN 117392423 A CN117392423 A CN 117392423A CN 202311353137 A CN202311353137 A CN 202311353137A CN 117392423 A CN117392423 A CN 117392423A
- Authority
- CN
- China
- Prior art keywords
- data
- target object
- camera
- point cloud
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 230000004927 fusion Effects 0.000 claims abstract description 133
- 238000012545 processing Methods 0.000 claims abstract description 39
- 238000007499 fusion processing Methods 0.000 claims abstract description 17
- 238000012216 screening Methods 0.000 claims description 49
- 239000011159 matrix material Substances 0.000 claims description 34
- 230000001502 supplementing effect Effects 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 abstract description 26
- 238000004422 calculation algorithm Methods 0.000 abstract description 10
- 230000008447 perception Effects 0.000 abstract description 8
- 238000011156 evaluation Methods 0.000 abstract description 4
- 238000007781 pre-processing Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/86—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using syntactic or structural representations of the image or video pattern, e.g. symbolic string recognition; using graph matching
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种基于激光雷达的目标物的真值数据预测方法，该方法通过将雷达点云数据投影至不同位置上的相机采集的图像数据上，以让每个相机采集的图像数据具有雷达点云数据的信息，得到每个相机的图像视锥数据，分别对每个相机的图像视锥数据中的点云数据进行聚类处理和融合处理，得到每个相机的图像视锥数据对应的目标物的目标物参数信息，融合每个相机的目标物参数信息和点云目标物推理结果，对所述目标物融合结果中的目标物进行真值数据预测处理，得到真值数据预测结果，也就是自动驾驶场景中的所有目标物在真实场景中的信息，提高了数据融合的准确性，获取了高质量的感知信息，从而提高了对自动驾驶相关场景中的目标检测算法的评测精度。
Description
技术领域
本申请涉及自动驾驶技术领域，特别涉及一种基于激光雷达的目标物的真值数据预测方法、装置及设备。
背景技术
自动驾驶技术是目前的一个热点研究方向，在自动驾驶车辆行驶过程中，其需要检测道路上出现的目标，如其他车辆、行人、自行车等，从而才可以避免发生碰撞等事故，保证其行驶的安全性。现有的无人驾驶探测方法中为了提高障碍物探测的准确性，常常基于深度学习的方法，将激光雷达点云与图像数据送入已经构造好的深度网络模型中，并根据标注好的三维标签值实现端到端的训练；或者采用组合不同的传感器来进行数据融合，获取高质量的感知信息，从而实现自动驾驶相关场景中的环境感知任务，包括物体目标的检测、分类、跟踪等。
现有技术中基于深度学习的方法，使用深度网络训练需要大量的数据来拟合，导致这类方法的训练数据的获取困难。采用组合不同的传感器进行数据融合的办法，将多传感器融合到同一坐标系时，会受到很多干扰因素，影响数据融合的准确性。
因此，为了助于车辆规避障碍与规划路径，提高目标检测算法的评测精度，亟需一种评测目标检测算法的方法。
发明内容
本申请提供了一种基于激光雷达的目标物的真值数据预测方法、装置及设备，感知预测无人驾驶场景下的目标物的真值数据，解决了自动驾驶中目标检测算法的评测精度受限的问题。
根据本申请的一方面，提出了一种基于激光雷达的目标物的真值数据预测方法，所述方法包括：
获取雷达点云数据以及不同位置上的相机采集的图像数据；
基于每个相机目标投影参数将所述雷达点云数据投影至每个相机采集的图像数据上，得到每个相机的图像视锥数据，所述目标投影参数为基于目标物和雷达之间的距离调整得到，所述距离为基于所述雷达点云数据确定得到；
分别对每个相机的图像视锥数据中的点云数据进行聚类处理和融合处理，得到目标物参数集合；
对点云目标物推理结果和所述目标物参数集合进行融合处理，得到目标物融合结果，所述点云目标物推理结果为对所述雷达点云数据进行推理得到；
对所述目标物融合结果中的目标物进行真值数据预测处理，得到真值数据预测结果。
在一种可能的实现方式中，在所述获取雷达点云数据以及不同位置上的相机采集的图像数据之后，所述方法还包括：
对每个相机采集的图像数据进行目标物识别，得到每个相机采集的图像数据对应的目标物识别区域。
在一种可能的实现方式中，所述对每个相机采集的图像数据进行目标物识别，得到每个相机采集的图像数据对应的目标物识别区域，包括：
对每个相机采集的图像数据进行目标物识别，得到每个相机的图像数据上的目标物的预测信息，基于所述预测信息对目标物进行区域标记，得到每个相机的图像数据对应的目标物识别区域。
在一种可能的实现方式中，在所述基于每个相机目标投影参数将所述雷达点云数据投影至每个相机采集的图像数据上之前，所述方法还包括：
从预设投影参数中获取对应距离以及每个相机的投影参数，得到与每个相机对应的目标投影参数，所述预设投影参数为基于差异信息更新样本点云投影图形与样本图像数据对应的预估投影矩阵得到，所述样本点云投影图像为将样本点云数据投影至样本图像数据上得到，所述差异信息为所述样本点云投影图像与所述样本图像数据之间的差异信息，所述预估投影矩阵为对雷达和每个相机进行标定得到。
在一种可能的实现方式中，所述预设投影参数的计算方法包括：
对雷达和每个相机进行标定，得到与预设距离和相机对应的预估投影矩阵，所述预设距离为标定板与雷达之间的距离；
根据所述预估投影矩阵，将所述雷达采集的样本点云数据投影到每个相机采集的样本图像数据的像素上，得到样本点云投影图像，所述样本点云数据为标记有样本目标物的雷达点云数据，所述样本图像数据为标记有样本目标物的图像数据；
对所述样本点云投影图像与所述样本图像数据进行样本目标物匹配，在目标物匹配不满足预设条件的情况下，确定所述样本点云投影图像与所述样本图像数据的差异信息，基于所述差异信息更新所述样本点云投影图像与所述样本图像数据对应的预估投影矩阵，直至样本目标物匹配满足预设条件时，得到所述预设投影参数。
在一种可能的实现方式中，所述分别对每个相机的图像视锥数据中的点云数据进行聚类处理和融合处理，得到目标物参数集合，包括：
分别对每个相机的图像视锥数据中的点云数据进行聚类处理，得到每个相机的图像视锥数据对应的目标物的目标物参数信息；
对每个相机的图像视锥数据对应的目标物的目标物参数信息进行融合处理，得到目标物参数集合。
在一种可能的实现方式中，每个相机的图像视锥数据包括至少两个目标物识别区域，
所述分别对每个相机的图像视锥数据中的点云数据进行聚类处理，得到每个相机的所述图像视锥数据对应的目标物的目标物参数信息，包括：
在每个相机的图像视锥数据中任意两个目标物识别区域存在重叠区域的情况下，将任意两个目标物识别区域除所述重叠区域外的区域确定为非重叠区域，计算两个非重叠区域与所述重叠区域的距离值，将所述重叠区域划分给候选非重叠区域，更新另一个非重叠区域对应的目标物识别区域，得到每个相机的图像视锥数据中更新后的目标物识别区域，所述候选非重叠区域与所述重叠区域的距离值小于所述另一个非重叠区域与所述重叠区域的距离值；
对每个相机的图像视锥数据更新后的目标物识别区域对应的点云数据进行聚类处理，得到每个相机的图像视锥数据的目标物的多个预估类簇，根据预估类簇的特征进行类簇筛选，得到每个相机的图像视锥数据的目标物的目标物视锥数据，基于所述目标物视锥数据得到每个相机的图像视锥数据的目标物的目标物参数信息。
在一种可能的实现方式中，所述对每个相机的图像视锥数据对应的目标物的目标物参数信息进行融合处理，得到目标物参数集合，包括：
对每两个相邻相机的图像视锥数据的重叠区域中的目标物参数信息进行匹配、融合，得到目标物参数融合结果；
将所述目标物参数融合结果集合和每个相机的图像视锥数据除了重叠区域外的目标物参数信息集合，进行合并，得到所述目标物参数集合。
在一种可能的实现方式中，所述对每两个相邻相机的图像视锥数据的重叠区域中的目标物参数信息进行匹配、融合，得到目标物参数融合结果，包括：
对每两个相邻相机的图像重叠区域中的目标物参数信息进行匹配，得到目标物参数的匹配结果，将所述匹配结果的图像视锥内点云数据进行合并，对合并结果进行聚类、类簇筛选，得到目标物参数融合结果。
在一种可能的实现方式中，所述将所述目标物参数融合结果集合和每个相机的图像视锥数据除了重叠区域外的目标物参数信息集合，进行合并，得到所述目标物参数集合，包括：
在每个相机的图像视锥数据存在重叠区域的情况下，对重叠区域的点云数据进行融合，并对重叠区域内融合后的点云数据进行聚类处理，更新重叠区域内的目标物的目标物参数信息，得到所述目标物参数融合结果；
将所述目标物参数融合结果和每个相机的图像视锥数据中除了重叠区域外的目标物参数信息整合，得到所述目标物参数集合。
在一种可能的实现方式中，所述对点云目标物推理结果和所述目标物参数集合进行融合处理，得到目标物融合结果，包括：
对所述雷达点云数据进行目标物的推理，得到目标物的推理点云视锥，根据所述推理点云视锥得到对应目标物的目标物参数信息，得到所述雷达点云目标物推理结果；
对所述雷达点云目标物推理结果和所述目标物参数集合求并集，得到初始目标物融合结果，对所述初始目标物融合结果中属于同一个目标物的点云数据进行聚类处理，得到所述目标物融合结果。
在一种可能的实现方式中，所述对所述初始目标物融合结果中属于同一个目标物的点云数据进行聚类处理，得到所述目标物融合结果，包括：
在所述初始目标物融合结果中存在多个目标物参数信息属于同一个目标物的情况下，对属于同一个目标物的多个目标物参数信息对应的点云数据进行聚类处理，得到匹配所述同一个目标物的点云特征的目标物视锥数据；
基于所述目标物视锥数据计算得到所述同一个目标物的目标物参数信息，将得到的所述同一个目标物的目标物参数信息作为所述初始目标物融合结果中对应所述同一个目标物的目标物参数信息，得到所述目标物融合结果。
在一种可能的实现方式中，所述对所述目标物融合结果中的目标物进行真值数据预测处理，得到真值数据预测结果，包括：
获取所述目标物融合结果的目标物中的地面对象对应的点云数据，从地面高度表中获取所述地面对象的点云数据对应的地面高度，得到所述地面对象的高度信息，其中，所述地面高度表表征点云与地面高度之间的映射关系；
基于所述高度信息对所述目标物融合结果中目标物的目标物参数信息进行筛选处理，得到目标物筛选结果，对所述目标物筛选结果进行信息补充，得到所述真值数据预测结果。
在一种可能的实现方式中，所述对所述目标物筛选结果进行信息补充，得到所述真值数据预测结果，包括：
所述目标物筛选结果对应的每个相机采集的图像数据的采集时间为当前时刻，对所述当前时刻的前一帧和后一帧的每个相机采集的图像数据对应的真值数据预测结果求并集，得到前后真值并集；
对所述前后真值并集与所述目标物筛选结果求交集，将所述前后真值并集中除去所述交集的目标物参数信息补充到所述目标物筛选结果中，得到所述真值数据预测结果。
另一方面，提供了一种基于激光雷达的目标物的真值数据预测装置，所述装置包括：
数据获取模块，用于获取雷达点云数据以及不同位置上的相机采集的图像数据；
点云投影模块，用于基于每个相机目标投影参数将所述雷达点云数据投影至每个相机采集的图像数据上，得到每个相机的图像视锥数据，所述目标投影参数为基于目标物和雷达之间的距离调整得到，所述距离为基于所述雷达点云数据确定得到；
图像视锥聚类融合模块，用于分别对每个相机的图像视锥数据中的点云数据进行聚类处理和融合处理，得到目标物参数集合；
信息融合模块，用于对点云目标物推理结果和所述目标物参数集合进行融合处理，得到目标物融合结果，所述点云目标物推理结果为对所述雷达点云数据进行推理得到；
真值预测模块，用于对所述目标物融合结果中的目标物进行真值数据预测处理，得到真值数据预测结果。
在一种可能的实现方式中，在所述获取雷达点云数据以及不同位置上的相机采集的图像数据之后，所述装置包括图像识别模块，用于：
对每个相机采集的图像数据进行目标物识别，得到每个相机的图像数据上的目标物的预测信息，基于所述预测信息对目标物进行区域标记，得到每个相机的图像数据对应的目标物识别区域。
在一种可能的实现方式中，在所述基于每个相机目标投影参数将所述雷达点云数据投影至每个相机采集的图像数据上之前，所述点云投影模块包括：
投影参数获取单元，从预设投影参数中获取对应距离以及每个相机的投影参数，得到与每个相机对应的目标投影参数，所述预设投影参数为基于差异信息更新样本点云投影图形与样本图像数据对应的预估投影矩阵得到，所述样本点云投影图像为将样本点云数据投影至样本图像数据上得到，所述差异信息为所述样本点云投影图像与所述样本图像数据之间的差异信息，所述预估投影矩阵为对雷达和每个相机进行标定得到。
在一种可能的实现方式中，所述点云投影模块包括预设投影参数计算单元，用于：
对雷达和每个相机进行标定，得到与预设距离和相机对应的预估投影矩阵，所述预设距离为标定板与雷达之间的距离；
根据所述预估投影矩阵，将所述雷达采集的样本点云数据投影到每个相机采集的样本图像数据的像素上，得到样本点云投影图像，所述样本点云数据为标记有样本目标物的雷达点云数据，所述样本图像数据为标记有样本目标物的图像数据；
对所述样本点云投影图像与所述样本图像数据进行样本目标物匹配，在目标物匹配不满足预设条件的情况下，确定所述样本点云投影图像与所述样本图像数据的差异信息，基于所述差异信息更新所述样本点云投影图像与所述样本图像数据对应的预估投影矩阵，直至样本目标物匹配满足预设条件时，得到所述预设投影参数。
在一种可能的实现方式中，所述图像视锥聚类融合模块包括：
图像视锥聚类单元，用于分别对每个相机的图像视锥数据中的点云数据进行聚类处理，得到每个相机的图像视锥数据对应的目标物的目标物参数信息；
图像视锥融合单元，用于对每个相机的图像视锥数据对应的目标物的目标物参数信息进行融合处理，得到目标物参数集合。
在一种可能的实现方式中，每个相机的图像视锥数据包括至少两个目标物识别区域，所述图像视锥聚类单元，用于：
在每个相机的图像视锥数据中任意两个目标物识别区域存在重叠区域的情况下，将任意两个目标物识别区域除所述重叠区域外的区域确定为非重叠区域，计算两个非重叠区域与所述重叠区域的距离值，将所述重叠区域划分给候选非重叠区域，更新另一个非重叠区域对应的目标物识别区域，得到每个相机的图像视锥数据中更新后的目标物识别区域，所述候选非重叠区域与所述重叠区域的距离值小于所述另一个非重叠区域与所述重叠区域的距离值；
对每个相机的图像视锥数据更新后的目标物识别区域对应的点云数据进行聚类处理，得到每个相机的图像视锥数据的目标物的多个预估类簇，根据预估类簇的特征进行类簇筛选，得到每个相机的图像视锥数据的目标物的目标物视锥数据，基于所述目标物视锥数据得到每个相机的图像视锥数据的目标物的目标物参数信息。
在一种可能的实现方式中，所述图像视锥融合单元，用于：
对每两个相邻相机的图像视锥数据的重叠区域中的目标物参数信息进行匹配、融合，得到目标物参数融合结果；
将所述目标物参数融合结果集合和每个相机的图像视锥数据除了重叠区域外的目标物参数信息集合，进行合并，得到所述目标物参数集合。
在一种可能的实现方式中，所述图像视锥融合单元，用于：
对每两个相邻相机的图像重叠区域中的目标物参数信息进行匹配，得到目标物参数的匹配结果，将所述匹配结果的图像视锥内点云数据进行合并，对合并结果进行聚类、类簇筛选，得到目标物参数融合结果。
在一种可能的实现方式中，所述图像视锥融合单元，用于：
在每个相机的图像视锥数据存在重叠区域的情况下，对重叠区域的点云数据进行融合，并对重叠区域内融合后的点云数据进行聚类处理，更新重叠区域内的目标物的目标物参数信息，得到所述目标物参数融合结果；
将所述目标物参数融合结果和每个相机的图像视锥数据中除了重叠区域外的目标物参数信息整合，得到所述目标物参数集合。
在一种可能的实现方式中，所述信息融合模块，用于：
对所述雷达点云数据进行目标物的推理，得到目标物的推理点云视锥，根据所述推理点云视锥得到所述雷达点云目标物推理结果；
对所述雷达点云目标物推理结果和所述目标物参数集合求并集，得到初始目标物融合结果，对所述初始目标物融合结果中属于同一个目标物的点云数据进行聚类处理，得到所述目标物融合结果。
在一种可能的实现方式中，所述信息融合模块，还用于：
在所述初始目标物融合结果中存在多个目标物参数信息属于同一个目标物的情况下，对属于同一个目标物的多个目标物参数信息对应的点云数据进行聚类处理，得到匹配所述同一个目标物的点云特征的目标物视锥数据；
基于匹配所述同一个目标物的点云特征的目标物视锥数据计算得到所述同一个目标物的目标物参数信息，将得到的所述同一个目标物的目标物参数信息作为所述初始目标物融合结果中对应所述同一个目标物的目标物参数信息，得到所述目标物融合结果。
在一种可能的实现方式中，所述真值预测模块，用于：
获取所述目标物融合结果的目标物中的地面对象对应的点云数据，从地面高度表中获取所述地面对象的点云数据对应的地面高度，得到所述地面对象的高度信息，其中，所述地面高度表表征点云与地面高度之间的映射关系；
基于所述高度信息对所述目标物融合结果中目标物的目标物参数信息进行筛选处理，得到目标物筛选结果，对所述目标物筛选结果进行信息补充，得到所述真值数据预测结果。
在一种可能的实现方式中，所述真值预测模块，还用于：
将所述目标物筛选结果对应的每个相机所采集的图像数据的采集时间确定为当前时刻；
对每个相机在前一时刻所采集的图像数据对应的真值数据预测结果，与每个相机在后一时刻所采集的图像数据对应的真值数据预测结果求并集，得到前后真值并集，所述前一时刻是当前时刻之前的时刻，所述后一时刻为当前时刻之后的时刻；
对所述前后真值并集与所述目标物筛选结果求交集，将所述前后真值并集中除去所述交集的目标物参数信息补充到所述目标物筛选结果中，得到所述真值数据预测结果。
另一方面，提供了一种电子设备，包括处理器和存储器，所述存储器中存储有至少一条指令或者至少一段程序，所述至少一条指令或者所述至少一段程序由所述处理器加载并执行以实现上述任一方面的基于激光雷达的目标物的真值数据预测方法。
另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或者至少一段程序，所述至少一条指令或者所述至少一段程序由处理器加载并执行以实现如上述任一方面的基于激光雷达的目标物的真值数据预测方法。
另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行上述任一方面的基于激光雷达的目标物的真值数据预测方法。
本申请实施例通过将雷达点云数据投影至不同位置上的相机采集的图像数据上，以让每个相机采集的图像数据具有雷达点云数据的信息，得到每个相机的图像视锥数据，分别对每个相机的图像视锥数据中的点云数据进行聚类处理和融合处理，得到每个相机的图像视锥数据对应的目标物的目标物参数信息，融合每个相机的图像视锥数据对应的目标物的目标物参数信息和点云目标物推理结果，对所述目标物融合结果中的目标物进行真值数据预测处理，得到真值数据预测结果，也就是自动驾驶场景中的所有目标物在真实场景中的信息，提高了数据融合的准确性，获取了高质量的感知信息，从而提高了对自动驾驶相关场景中的目标检测算法的评测精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种基于激光雷达的目标物的真值数据预测方法的流程示意图；
图2是本申请实施例提供的一种基于激光雷达的目标物的真值数据预测装置的结构框图；
图3是本申请实施例提供的另一种基于激光雷达的目标物的真值数据预测方法的流程示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供的一种基于激光雷达的目标物的真值数据预测方法，所述目标物是距离车辆200米内的所有对象，包含：本车道行驶区域、对向车道、辅道、路边停车、人行道内的行人、车道上的车辆等、信号灯等。所述真值数据是所有对象在真实场景中的信息，包括所有对象的位置信息、尺寸信息和航向角。参阅图1，所述基于激光雷达的目标物的真值数据预测方法包括步骤S101至步骤S109。
在步骤S101中，获取雷达点云数据以及不同位置上的相机采集的图像数据。具体地，所述雷达点云数据可以是多个激光雷达中的至少一个采集的点云数据，所述雷达点云数据可以是多个激光雷达采集的点云数据拼接得到。所述多个激光雷达包括主雷达和补盲雷达，所述激光雷达可以是16线、32线、64线或者其他线束的，所述激光雷达固定位于自动驾驶场景的车辆上。所述不同位置上的相机固定位于自动驾驶场景的车辆的不同位置上。所述相机的类型可以是不同的，包括前视短焦相机，前视长焦相机和环视相机等。
在该实现方式中，可以采用多个不同类型激光雷达和多个不同类型的相机进行组合，以达到对自动驾驶场景中处于自动驾驶状态的车辆周围的环境进行360度的全面检测，获取所有传感器的检测数据。
在步骤S103之前，在所述获取雷达点云数据以及不同位置上的相机采集的图像数据之后，对每个相机采集的图像数据进行目标物识别，得到每个相机采集的图像数据对应的目标物识别区域。
在一种可能的实现方式中，在对每个相机采集的图像数据进行目标物识别之前，采用每个相机的类型对应的预处理方式，对每个相机采集的图像数据进行预处理，预处理包括畸变校正、颜色调整、白平衡、对比度均衡和图像校准等。
在一种可能的实现方式中，所述对每个相机采集的图像数据进行目标物识别，得到每个相机采集的图像数据对应的目标物识别区域，包括：
对每个相机采集的图像数据进行目标物识别，得到每个相机的图像数据上的目标物的预测信息，基于所述预测信息对目标物进行区域标记，得到每个相机的图像数据对应的目标物识别区域。
在一种可能的实现方式中，对每个相机采集的图像数据进行目标物识别可以采用不同的识别算法。具体地，可以是基于深度学习的目标检测算法，包括SSD(Single ShotMultiBox Detector，单阶段多框目标检测)，YOLO(You Only Look Once，只浏览一次方法)和Anchor free(不依赖锚点的)框架下的检测算法等。
在一种可能的实现方式中，对每个相机采集的图像数据进行目标物识别，得到每个相机的图像数据上的目标物的预测信息，基于所述预测信息对目标物进行区域标记，得到每个相机的图像数据对应的目标物识别区域，具体地，所述目标物的预测信息包括目标物的识别结果和对应图像数据上的位置信息，基于目标物在每个相机的图像数据上的位置信息，在每个相机的图像数据上用框标记出来，所述目标物的识别结果为目标物所对应的自动驾驶场景中的对象，例如车辆、行人、地面等。
在该实现方式中，可以预先建立不同类型相机对应的预处理方式的分支处理结构，对不同类型的相机采集的图像数据进行预处理，对经过预处理的每个相机采集的图像数据进行目标物识别，得到对应自动驾驶场景中对象的目标物识别区域，使基于相机采集的图像数据的信息可以与其他传感器采集的数据相融合。
在步骤S103中，基于每个相机目标投影参数将所述雷达点云数据投影至每个相机采集的图像数据上，得到每个相机的图像视锥数据，所述目标投影参数为基于目标物和雷达之间的距离调整得到，所述距离为基于所述雷达点云数据确定得到。
在一种可能的实现方式中，所述目标物和雷达之间的距离是通过雷达采集的点云数据计算得到的，经过解析后的点云数据的格式文件主要是由笛卡尔坐标(x，y，z)和强度值(i)组成的列表，即每个点云都会附带独有的三维坐标系和能量反射强度。
在一种可能的实现方式中，在所述基于每个相机目标投影参数将所述雷达点云数据投影至每个相机采集的图像数据上之前，所述方法还包括：
从预设投影参数中获取对应距离以及每个相机的投影参数，得到与每个相机对应的目标投影参数，所述预设投影参数为基于差异信息更新样本点云投影图形与样本图像数据对应的预估投影矩阵得到，所述样本点云投影图像为将样本点云数据投影至样本图像数据上得到，所述差异信息为所述样本点云投影图像与所述样本图像数据之间的差异信息，所述预估投影矩阵为对雷达和每个相机进行标定得到。
在一种可能的实现方式中，所述预设投影参数可以是预先建立的不同类型相机对应的投影参数列表，从列表中选取对应的投影参数还需要根据点云数据计算得到的距离和相机的位置信息。具体地，将雷达点云数据投影至每个相机采集的图像数据之前，根据雷达点云数据得到的距离和相机的类型和位置，从投影参数列表中选取对应的投影参数，基于选取的投影参数，将雷达点云数据投影到每个相机采集的图像数据上。
在一种可能的实现方式中，所述预设投影参数的计算方法包括：
对雷达和每个相机进行标定，得到与预设距离和相机对应的预估投影矩阵，所述预设距离为标定板与雷达之间的距离；
根据所述预估投影矩阵，将所述雷达采集的样本点云数据投影到每个相机采集的样本图像数据的像素上，得到样本点云投影图像，所述样本点云数据为标记有样本目标物的雷达点云数据，所述样本图像数据为标记有样本目标物的图像数据；
对所述样本点云投影图像与所述样本图像数据进行样本目标物匹配，在目标物匹配不满足预设条件的情况下，确定所述样本点云投影图像与所述样本图像数据的差异信息，基于所述差异信息更新所述样本点云投影图像与所述样本图像数据对应的预估投影矩阵，直至样本目标物匹配满足预设条件时，得到所述预设投影参数。
在一种可能的实现方式中，对雷达和每个相机进行标定，得到与预设距离和相机对应的预估投影矩阵，所述预设距离为标定板与雷达之间的距离。所述对雷达和每个相机进行标定，就是找到雷达到相机的空间转换关系，在不同的坐标系之间转换需要旋转矩阵和平移矩阵，为后续的雷达和相机数据融合做准备。具体地，可以根据距离选取不同规格的标定板作为参照物，以保证参照物能被清晰识别。
在一种可能的实现方式中，所述预估投影矩阵是根据相机内参和雷达相机外参确定的，相机内参和雷达相机外参是对雷达和每个相机进行标定得到的。
在一种可能的实现方式中，根据所述预估投影矩阵，将所述雷达采集的样本点云数据投影到每个相机采集的样本图像数据的像素上，得到样本点云投影图像，所述样本点云数据为标记有样本目标物的雷达点云数据，所述样本图像数据为标记有样本目标物的图像数据；对所述样本点云投影图像与所述样本图像数据进行样本目标物匹配，在目标物匹配不满足预设条件的情况下，确定所述样本点云投影图像与所述样本图像数据的差异信息，基于所述差异信息更新所述样本点云投影图像与所述样本图像数据对应的预估投影矩阵，直至样本目标物匹配满足预设条件时，得到所述预设投影参数。具体地，将标定板放置于距离雷达不同距离的位置上，控制雷达采集标定板的点云数据并在点云数据上标记标定板的区域，以及控制每个相机采集标定板的图像数据并在图像数据上标记标定板的区域，基于所述预估投影矩阵，将标定板的点云数据投影到标定板的图像数据上，得到标定板的点云投影图像，所述标定板的点云投影图像上标记有点云数据得的标定板区域和图像数据得到的标定板区域，计算两个标定板区域之间的像素距离，在像素距离大于预设距离的情况下，根据像素距离调整所述预估投影矩阵，以缩短所述像素距离，得到能投影到准确像素位置上的投影矩阵。
在一种可能的实现方式中，所述预估投影矩阵有多个，对应不同的距离和相机，使用标定板调整得到多个。
在该实现方式中，可以预先建立的不同类型相机对应的投影参数列表，根据点云数据计算得到的距离和相机的位置信息从列表中选取对应的投影参数作为目标投影参数，基于目标投影参数将所述雷达点云数据投影至每个相机采集的图像数据上，得到每个相机的图像视锥数据，使基于相机采集的图像数据的信息与雷达采集的点云数据相融合，得到更丰富的三维信息。
在步骤S105中，分别对每个相机的图像视锥数据中的点云数据进行聚类处理和融合处理，得到目标物参数集合。
在一种可能的实现方式中，所述分别对每个相机的图像视锥数据中的点云数据进行聚类处理和融合处理，得到目标物参数集合，包括：
分别对每个相机的图像视锥数据中的点云数据进行聚类处理，得到每个相机的图像视锥数据对应的目标物的目标物参数信息；
对每个相机的图像视锥数据对应的目标物的目标物参数信息进行融合处理，得到目标物参数集合。
在一种可能的实现方式中，每个相机的图像视锥数据包括至少两个目标物识别区域，
所述分别对每个相机的图像视锥数据中的点云数据进行聚类处理，得到每个相机的所述图像视锥数据对应的目标物的目标物参数信息，包括：
在每个相机的图像视锥数据中任意两个目标物识别区域存在重叠区域的情况下，将任意两个目标物识别区域除所述重叠区域外的区域确定为非重叠区域，计算两个非重叠区域与所述重叠区域的距离值，将所述重叠区域划分给候选非重叠区域，更新另一个非重叠区域对应的目标物识别区域，得到每个相机的图像视锥数据中更新后的目标物识别区域，所述候选非重叠区域与所述重叠区域的距离值小于所述另一个非重叠区域与所述重叠区域的距离值；
对每个相机的图像视锥数据更新后的目标物识别区域对应的点云数据进行聚类处理，得到每个相机的图像视锥数据的目标物的多个预估类簇，根据预估类簇的特征进行类簇筛选，得到每个相机的图像视锥数据的目标物的目标物视锥数据，基于所述目标物视锥数据得到每个相机的图像视锥数据的目标物的目标物参数信息。
在一种可能的实现方式中，在每个相机的图像视锥数据中任意两个目标物识别区域存在重叠区域的情况下，将任意两个目标物识别区域除所述重叠区域外的区域确定为非重叠区域，计算两个非重叠区域与所述重叠区域的距离值，将所述重叠区域划分给候选非重叠区域，更新另一个非重叠区域对应的目标物识别区域，得到每个相机的图像视锥数据中更新后的目标物识别区域，所述候选非重叠区域与所述重叠区域的距离值小于所述另一个非重叠区域与所述重叠区域的距离值。具体地，在其中一个相机的图像视锥数据中识别出两个目标物，且标记两个目标物的目标框存在重叠区域，两个目标框去掉重叠区域后分别记为框A和框B，重叠区域为框C，计算框A对应的每个点云和框C对应的每个点云之间的平均距离，以及计算框B对应的每个点云和框C对应的每个点云之间的平均距离，比较两个平均距离的大小，平均距离小表明距离近。假设比较后表明框A与框C距离更近，则将框C和框C对应的点云划分给框A，更新两个目标物的目标识别区域，对应框A的目标物识别区域为框A和框C的区域，将对应框B的目标物识别区域更新为框B。
在一种可能的实现方式中，对每个相机的图像视锥数据更新后的目标物识别区域对应的点云数据进行聚类处理，得到每个相机的图像视锥数据的目标物的多个预估类簇，根据预估类簇的特征进行类簇筛选，得到每个相机的图像视锥数据的目标物的目标物视锥数据，基于所述目标物视锥数据得到每个相机的图像视锥数据的目标物的目标物参数信息。具体地，对其中一个相机的图像视锥数据更新后的目标物识别区域对应的点云数据进行聚类处理，得到目标物的多个预估类簇，根据目标物的点云特征(比如尺寸，形状等)，对多个预估类簇进行匹配程度排序，选择匹配程度最高的一个预估类簇作为目标物识别区域内的目标物的目标物视锥数据，根据目标物视锥数据可以得到目标物的参数信息，所述参数信息包括位置信息、尺寸信息和航向角，基于相机的图像视锥数据所有的目标物的目标物视锥数据，得到相机图像视锥数据的目标物的目标物参数信息。
在该实现方式中，分别对每个相机的图像视锥数据中的点云数据进行聚类处理，得到每个相机的图像视锥数据对应的目标物的目标物参数信息，在相机采集的图像数据的信息与雷达采集的点云数据融合后，根据每个相机采集的图像数据的三维信息得到目标物的具体信息，包括目标物的位置、尺寸和航向角。
在一种可能的实现方式中，所述对每个相机的图像视锥数据对应的目标物的目标物参数信息进行融合处理，得到目标物参数集合，包括：
对每两个相邻相机的图像视锥数据的重叠区域中的目标物参数信息进行匹配、融合，得到目标物参数融合结果；
将所述目标物参数融合结果集合和每个相机的图像视锥数据除了重叠区域外的目标物参数信息集合，进行合并，得到所述目标物参数集合。
在一种可能的实现方式中，所述对每两个相邻相机的图像视锥数据的重叠区域中的目标物参数信息进行匹配、融合，包括：
对每两个相邻相机的图像重叠区域中的目标物参数信息进行匹配，得到目标物参数的匹配结果，将所述匹配结果的图像视锥内点云数据进行合并，对合并结果进行聚类、类簇筛选，得到目标物参数融合结果。
在一种可能的实现方式中，所述将所述目标物参数融合结果集合和每个相机的图像视锥数据除了重叠区域外的目标物参数信息集合，进行合并，得到所述目标物参数集合，包括：
在每个相机的图像视锥数据存在重叠区域的情况下，对重叠区域的点云数据进行融合，并对重叠区域内融合后的点云数据进行聚类处理，更新重叠区域内的目标物的目标物参数信息，得到所述目标物参数融合结果；
将所述目标物参数融合结果和每个相机的图像视锥数据中除了重叠区域外的目标物参数信息整合，得到所述目标物参数集合。
在一种可能的实现方式中，所述对每个相机的图像视锥数据对应的目标物的目标物参数信息进行融合处理，是将自动驾驶状态下车辆的视场有重叠的不同相机采集的图像数据有重叠的部分对应的图像视锥数据进行融合，基于两个相机重叠部分的目标物的目标物参数信息，将两个相机重叠部分的目标物的目标物识别区域内的点云合并，并对合并后的目标物识别区域内的点云重新聚类处理，得到合并后的目标物的目标物参数信息。在对所有相机都经过重叠区域的目标物的重新聚类处理后，得到重叠区域的目标物的目标物参数信息，以及所有相机除了重叠区域以外的目标物的目标物参数信息，将重叠区域和非重叠区域的目标物的目标物参数信息合并，得到目标物参数集合。
在该实现方式中，将自动驾驶场景下车辆上的所有相机的图像视锥数据对应的目标物的目标物参数信息进行融合处理，得到目标物参数集合，即为根据每个相机采集的图像数据得到车辆360度范围内的所有目标物的具体信息，包括各个目标物的位置、尺寸和航向角。
在步骤S107中，对点云目标物推理结果和所述目标物参数集合进行融合处理，得到目标物融合结果，所述点云目标物推理结果为对所述雷达点云数据进行推理得到。
在一种可能的实现方式中，所述对点云目标物推理结果和所述目标物参数集合进行融合处理，得到目标物融合结果，包括：
对所述雷达点云数据进行目标物的推理，得到目标物的推理点云视锥，根据所述推理点云视锥得到所述雷达点云目标物推理结果；
对所述雷达点云目标物推理结果和所述目标物参数集合求并集，得到初始目标物融合结果，对所述初始目标物融合结果中属于同一个目标物的点云数据进行聚类处理，得到所述目标物融合结果。
在一种可能的实现方式中，所述对所述初始目标物融合结果中属于同一个目标物的点云数据进行聚类处理，得到所述目标物融合结果，包括：
在所述初始目标物融合结果中存在多个目标物参数信息属于同一个目标物的情况下，对属于同一个目标物的多个目标物参数信息对应的点云数据进行聚类处理，得到匹配所述同一个目标物的点云特征的目标物视锥数据；
基于匹配所述同一个目标物的点云特征的目标物视锥数据计算得到所述同一个目标物的目标物参数信息，将得到的所述同一个目标物的目标物参数信息作为所述初始目标物融合结果中对应所述同一个目标物的目标物参数信息，得到所述目标物融合结果。
在一种可能的实现方式中，对所述雷达点云数据进行目标物的推理，得到目标物的推理点云视锥，根据所述推理点云视锥得到对应目标物的目标物参数信息，得到所述雷达点云目标物推理结果。具体地，对雷达点云数据进行目标物推理，得到目标物的三维识别区域，根据三维识别区域输出目标物的目标物参数信息，包括各个目标物的位置、尺寸和航向角。具体地，还可以对雷达点云数据进行特征表达处理，得到对应的特征图，对特征图进行目标检测，得到目标检测结果。
在一种可能的实现方式中，对所述雷达点云目标物推理结果和所述目标物参数集合求并集，得到初始目标物融合结果，对所述初始目标物融合结果中属于同一个目标物的点云数据进行聚类处理，得到所述目标物融合结果。具体地，所述对所述雷达点云目标物推理结果和所述目标物参数集合求并集，可以是将雷达点云得到的目标物的目标物参数信息和相机采集的图像数据得到的目标物的目标物参数信息求并集，得到初始目标物融合结果，对初始融合结果做特征滤除处理，滤除由于隔离带、广告牌等遮挡目标物造成的同一个目标物被分割为多个目标物识别区域的情况，在所述初始目标物融合结果中存在多个目标物参数信息属于同一个目标物的情况下，对属于同一个目标物的多个目标物参数信息对应的点云数据进行聚类处理，得到匹配所述同一个目标物的点云特征的目标物视锥数据，基于所述目标物视锥数据计算得到所述同一个目标物的目标物参数信息，作为所述初始目标物融合结果中对应所述同一个目标物的目标物参数信息。
在该实现方式中，将自动驾驶场景下车辆上的所有相机采集的图像数据和所有雷达采集的点数数据分别得到车辆360度范围内的所有目标物的具体信息合并，得到更完整和细致的车辆周围的场景信息，以达到对车辆周围环境的感知。
在步骤S109中，对所述目标物融合结果中的目标物进行真值数据预测处理，得到真值数据预测结果。
在一种可能的实现方式中，所述对所述目标物融合结果中的目标物进行真值数据预测处理，得到真值数据预测结果，包括：
获取所述目标物融合结果的目标物中的地面对象对应的点云数据，从地面高度表中获取所述地面对象的点云数据对应的地面高度，得到所述地面对象的高度信息，其中，所述地面高度表表征点云与地面高度之间的映射关系；
基于所述高度信息对所述目标物融合结果中目标物的目标物参数信息进行筛选处理，得到目标物筛选结果，对所述目标物筛选结果进行信息补充，得到所述真值数据预测结果。
在一种可能的实现方式中，获取所述目标物融合结果的目标物中的地面对象对应的点云数据，从地面高度表中获取所述地面对象的点云数据对应的地面高度，得到所述地面对象的高度信息。具体地，场景中的地面高度是基于CSF(cloth simulation filtering，布料模拟滤波算法)模拟得到的，将点云倒置，再将曲面模型放置在倒置点云上，分析曲面节点的位置约束，模拟出地面形状，确定地面位置。具体地，可以选用1米乘以1米规格的网格，对地面点云进行划分，得到对应点云和地面高度的地面高度表。
在一种可能的实现方式中，基于所述高度信息对所述目标物融合结果中目标物的目标物参数信息进行筛选处理，得到目标物筛选结果。具体地，根据地面高度表获取目标物融合结果中的地面对象的高度信息，对比地面高度和目标物融合结果中其他目标物的距离，在距离显示为异常检测时，对所述其他目标物进行重新判断。例如，当对比发现车辆对象在距离地面对象两米以上的地方，确定车辆对象为识别错误，需要重新检测。
在一种可能的实现方式中，所述对所述目标物筛选结果进行信息补充，得到所述真值数据预测结果，包括：
将所述目标物筛选结果对应的每个相机所采集的图像数据的采集时间确定为当前时刻；
对每个相机在前一时刻所采集的图像数据对应的真值数据预测结果，与每个相机在后一时刻所采集的图像数据对应的真值数据预测结果求并集，得到前后真值并集，所述前一时刻是当前时刻之前的时刻，所述后一时刻为当前时刻之后的时刻；
对所述前后真值并集与所述目标物筛选结果求交集，将所述前后真值并集中除去所述交集的目标物参数信息补充到所述目标物筛选结果中，得到所述真值数据预测结果。
在一种可能的实现方式中，所述对所述目标物筛选结果进行信息补充，得到所述真值数据预测结果。具体地，在离线状态对目标物的目标物参数信息进行补充调整，所述目标物筛选结果对应相机采集的图像数据的采集时间，将此采集时间作为当前时刻，在所述当前时刻的前一帧和后一帧的相机采集的图像数据对应的真值数据预测结果中都有、且在当前时刻的所述目标物筛选结果中没有的目标物参数信息，判断为是当前时刻的漏检的目标物参数信息，将漏检的目标物参数信息补充到所述目标物筛选结果中，得到所述真值数据预测结果。
在该实现方式中，对上一步骤得到的完整和细致的车辆周围的场景信息进行筛选，过滤识别错误的结果，补充漏检的信息，以反应车辆周围环境的真实情况。
在一个示例性实施例中，如图3所示，包括步骤S301至S319。
S301，对每个相机采集的图像进行对应的预处理。
S303，将经过预处理的每个相机采集的图像输入图像目标检测模型得到目标检测结果，所述目标检测结果在图像上以2d(2维)框标出。
S305，选取每个相机对应的目标投影参数，将雷达点云投影到图像上。
S307，2d框的去重处理，对每个相机采集的图像上的至少两个有重叠区域的2d框进行重叠区域的点云划分，对每个2d框，将非重叠区域的点云与重叠区域的点云进行合并，计算点云平均距离，根据两个框各自得到的距离，将重叠区域归于距离值小，也就是距离近的那个框，其中，远距离的目标物重叠少，近距离的目标物重叠多。
S309，根据点云数量和高度信息对每个相机的去重后的图像2d框进行滤除，以避免由于遮挡造成的多个图像2d框对应一个目标物的情况。
S311，对每个相机的2d框内的点云进行聚类处理，所述聚类处理可以是欧式聚类、密度聚类等，对聚类处理后得到的多个类簇进行类簇选取，得到对应目标检测结果的图像3dbox(3维框)，基于匹配算法根据3dbox内的点云计算对应目标物的目标物参数信息，包括目标物的位置、尺寸和航向角，得到每个相机采集的图像对应的3dbox，将所有相机对应的3dbox进行拼接合并，得到相机的3dbox。
S313，基于点云模型得到雷达点云数据的预估3dbox，对雷达点云数据的预估3dbox进行滤框和补框处理，得到雷达点云数据的3dbox，避免多检测目标物和漏检测目标物的情况。
S315，对相机的3dbox和雷达点云数据的3dbox进行融合处理，在相机的3dbox和雷达点云数据的3dbox匹配上的情况下，对应目标物的3dbox以雷达点云数据的3dbox表示，反之以相机的3dbox表示，得到融合3dbox。
S317，基于当前时刻的3dbox对应图像的前后帧图像对应的3dbox，对当前时刻的3dbox进行补充，对前后帧图像对应的3dbox中包含、当前时刻的3dbox不包含的目标物的3dbox求均值，将均值补充到当前时刻的3dbox中，得到自动驾驶场景下车辆的预估感知真值。
S319，基于力学模型对预估感知点云中的地面进行检测，对检测到的点云根据网格进行划分，根据地面的高度信息对预估感知真值的多框数据进行滤除，以避免误检情况。最终得到自动驾驶场景下车辆的感知真值信息，所述感知真值信息可用于障碍物检测、可行驶区域判断和地图建图定位。
图2示出本申请实施例提供的一种基于激光雷达的目标物的真值数据预测装置200的结构示意图，该装置具有实现上述方法实施例中基于激光雷达的目标物的真值数据预测方法的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。如图2所示，该装置可以包括：
数据获取模块201，用于获取雷达点云数据以及不同位置上的相机采集的图像数据；
点云投影模块202，用于基于每个相机目标投影参数将所述雷达点云数据投影至每个相机采集的图像数据上，得到每个相机的图像视锥数据，所述目标投影参数为基于目标物和雷达之间的距离调整得到，所述距离为基于所述雷达点云数据确定得到的；
图像视锥聚类融合模块203，用于分别对每个相机的图像视锥数据中的点云数据进行聚类处理和融合处理，得到目标物参数集合；
信息融合模块204，用于对点云目标物推理结果和所述目标物参数集合进行融合处理，得到目标物融合结果，所述点云目标物推理结果为对所述雷达点云数据进行推理得到；
真值预测模块205，用于对所述目标物融合结果中的目标物进行真值数据预测处理，得到真值数据预测结果。
在一种可能的实现方式中，在所述获取雷达点云数据以及不同位置上的相机采集的图像数据之后，所述装置还包括图像识别模块用于：
对每个相机采集的图像数据进行目标物识别，得到每个相机采集的图像数据对应的目标物识别区域。
在一种可能的实现方式中，所述图像识别模块，用于：
对每个相机采集的图像数据进行目标物识别，得到每个相机的图像数据上的目标物的预测信息，基于所述预测信息对目标物进行区域标记，得到每个相机的图像数据对应的目标物识别区域。
在一种可能的实现方式中，在所述基于每个相机目标投影参数将所述雷达点云数据投影至每个相机采集的图像数据上之前，所述点云投影模块203包括：
投影参数获取单元，用于从预设投影参数中获取对应距离以及每个相机的投影参数，得到与每个相机对应的目标投影参数，所述预设投影参数为基于差异信息更新样本点云投影图形与样本图像数据对应的预估投影矩阵得到，所述样本点云投影图像为将样本点云数据投影至样本图像数据上得到，所述差异信息为所述样本点云投影图像与所述样本图像数据之间的差异信息，所述预估投影矩阵为对雷达和每个相机进行标定得到。
在一种可能的实现方式中，所述点云投影模块202包括预设投影参数计算单元，用于：
对雷达和每个相机进行标定，得到与预设距离和相机对应的预估投影矩阵，所述预设距离为标定板与雷达之间的距离；
根据所述预估投影矩阵，将所述雷达采集的样本点云数据投影到每个相机采集的样本图像数据的像素上，得到样本点云投影图像，所述样本点云数据为标记有样本目标物的雷达点云数据，所述样本图像数据为标记有样本目标物的图像数据；
对所述样本点云投影图像与所述样本图像数据进行样本目标物匹配，在目标物匹配不满足预设条件的情况下，确定所述样本点云投影图像与所述样本图像数据的差异信息，基于所述差异信息更新所述样本点云投影图像与所述样本图像数据对应的预估投影矩阵，直至样本目标物匹配满足预设条件时，得到所述预设投影参数。
在一种可能的实现方式中，所述图像视锥聚类融合模块203，包括：
图像视锥聚类单元，用于分别对每个相机的图像视锥数据中的点云数据进行聚类处理，得到每个相机的图像视锥数据对应的目标物的目标物参数信息；
图像视锥融合单元，用于对每个相机的图像视锥数据对应的目标物的目标物参数信息进行融合处理，得到目标物参数集合。
在一种可能的实现方式中，每个相机的图像视锥数据包括至少两个目标物识别区域，所述图像视锥聚类单元，用于：
在每个相机的图像视锥数据中任意两个目标物识别区域存在重叠区域的情况下，将任意两个目标物识别区域除所述重叠区域外的区域确定为非重叠区域，计算两个非重叠区域与所述重叠区域的距离值，将所述重叠区域划分给候选非重叠区域，更新另一个非重叠区域对应的目标物识别区域，得到每个相机的图像视锥数据中更新后的目标物识别区域，所述候选非重叠区域与所述重叠区域的距离值小于所述另一个非重叠区域与所述重叠区域的距离值；
对每个相机的图像视锥数据更新后的目标物识别区域对应的点云数据进行聚类处理，得到每个相机的图像视锥数据的目标物的多个预估类簇，根据预估类簇的特征进行类簇筛选，得到每个相机的图像视锥数据的目标物的目标物视锥数据，基于所述目标物视锥数据得到每个相机的图像视锥数据的目标物的目标物参数信息。
在一种可能的实现方式中，所述图像视锥融合单元，用于：
对每两个相邻相机的图像视锥数据的重叠区域中的目标物参数信息进行匹配、融合，得到目标物参数融合结果；
将所述目标物参数融合结果集合和每个相机的图像视锥数据除了重叠区域外的目标物参数信息集合，进行合并，得到所述目标物参数集合。
在一种可能的实现方式中，所述图像视锥融合单元，用于：
对每两个相邻相机的图像重叠区域中的目标物参数信息进行匹配，得到目标物参数的匹配结果，将所述匹配结果的图像视锥内点云数据进行合并，对合并结果进行聚类、类簇筛选，得到目标物参数融合结果。
在一种可能的实现方式中，所述图像视锥融合单元，还用于：
在每个相机的图像视锥数据存在重叠区域的情况下，对重叠区域的点云数据进行融合，并对重叠区域内融合后的点云数据进行聚类处理，更新重叠区域内的目标物的目标物参数信息，得到所述目标物参数融合结果；
将所述目标物参数融合结果和每个相机的图像视锥数据中除了重叠区域外的目标物参数信息整合，得到所述目标物参数集合。
在一种可能的实现方式中，所述信息融合模块204，用于：
对所述雷达点云数据进行目标物的推理，得到目标物的推理点云视锥，根据所述推理点云视锥得到所述雷达点云目标物推理结果；
对所述雷达点云目标物推理结果和所述目标物参数集合求并集，得到初始目标物融合结果，对所述初始目标物融合结果中属于同一个目标物的点云数据进行聚类处理，得到所述目标物融合结果。
在一种可能的实现方式中，所述信息融合模块204，还用于：
在所述初始目标物融合结果中存在多个目标物参数信息属于同一个目标物的情况下，对属于同一个目标物的多个目标物参数信息对应的点云数据进行聚类处理，得到匹配所述同一个目标物的点云特征的目标物视锥数据；
基于匹配所述同一个目标物的点云特征的目标物视锥数据计算得到所述同一个目标物的目标物参数信息，将得到的所述同一个目标物的目标物参数信息作为所述初始目标物融合结果中对应所述同一个目标物的目标物参数信息，得到所述目标物融合结果。
在一种可能的实现方式中，所述真值预测模块205，用于：
获取所述目标物融合结果的目标物中的地面对象对应的点云数据，从地面高度表中获取所述地面对象的点云数据对应的地面高度，得到所述地面对象的高度信息，其中，所述地面高度表表征点云与地面高度之间的映射关系；
基于所述高度信息对所述目标物融合结果中目标物的目标物参数信息进行筛选处理，得到目标物筛选结果，对所述目标物筛选结果进行信息补充，得到所述真值数据预测结果。
在一种可能的实现方式中，所述真值预测模块205，还用于：
将所述目标物筛选结果对应的每个相机所采集的图像数据的采集时间确定为当前时刻；
对每个相机在前一时刻所采集的图像数据对应的真值数据预测结果，与每个相机在后一时刻所采集的图像数据对应的真值数据预测结果求并集，得到前后真值并集，所述前一时刻是当前时刻之前的时刻，所述后一时刻为当前时刻之后的时刻；
对所述前后真值并集与所述目标物筛选结果求交集，将所述前后真值并集中除去所述交集的目标物参数信息补充到所述目标物筛选结果中，得到所述真值数据预测结果。
需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见基于激光雷达的目标物的真值数据预测方法实施例，这里不再赘述。
在一个示例性实施例中，基于激光雷达的目标物的真值数据预测装置200包括：1个360度64线主雷达、2个补盲雷达、1个前视短焦相机、1个前视长焦相机、1个后视相机、6个环视相机、1个控制器。其中，1个360度64线主雷达、2个补盲雷达分别与控制器相连，用于扫描无人驾驶场景下的点云数据，并保存与控制器中。1个前视短焦相机、1个前视长焦相机、1个后视相机、6个环视相机分别与控制器相连，用于抓拍自动驾驶场景下的图像数据，并保存与控制器中。控制器，实现目标物的真值数据预测方法。相机与多线激光雷达安装于同一高度、并且相机的视场角中心与激光雷达线束保持设定的角度，该角度满足相机视锥与激光雷达的线束垂直密集区域一致。为解决遮挡问题，采用10厘米高度的支架对相机和激光雷达进行抬高。
本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，该存储器中存储有至少一条指令或者至少一段程序，该至少一条指令或者该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的任意一种基于激光雷达的目标物的真值数据预测方法。
存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。
本申请的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质可设置于电子设备之中以保存用于实现一种基于激光雷达的目标物的真值数据预测方法相关的至少一条指令或者至少一段程序，该至少一条指令或者该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的任意一种基于激光雷达的目标物的真值数据预测方法。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (17)
1.一种基于激光雷达的目标物的真值数据预测方法，其特征在于，所述方法包括：
获取雷达点云数据以及不同位置上的相机采集的图像数据；
基于每个相机目标投影参数将所述雷达点云数据投影至每个相机采集的图像数据上，得到每个相机的图像视锥数据，所述目标投影参数为基于目标物和雷达之间的距离调整得到，所述距离为基于所述雷达点云数据确定得到；
分别对每个相机的图像视锥数据中的点云数据进行聚类处理和融合处理，得到目标物参数集合；
对点云目标物推理结果和所述目标物参数集合进行融合处理，得到目标物融合结果，所述点云目标物推理结果为对所述雷达点云数据进行推理得到；
对所述目标物融合结果中的目标物进行真值数据预测处理，得到真值数据预测结果。
2.根据权利要求1所述的基于激光雷达的目标物的真值数据预测方法，其特征在于，
在所述获取雷达点云数据以及不同位置上的相机采集的图像数据之后，所述方法还包括：
对每个相机采集的图像数据进行目标物识别，得到每个相机采集的图像数据对应的目标物识别区域。
3.根据权利要求2所述的基于激光雷达的目标物的真值数据预测方法，其特征在于，
所述对每个相机采集的图像数据进行目标物识别，得到每个相机采集的图像数据对应的目标物识别区域，包括：
对每个相机采集的图像数据进行目标物识别，得到每个相机的图像数据上的目标物的预测信息，基于所述预测信息对目标物进行区域标记，得到每个相机的图像数据对应的目标物识别区域。
4.根据权利要求1所述的基于激光雷达的目标物的真值数据预测方法，其特征在于，
在所述基于每个相机目标投影参数将所述雷达点云数据投影至每个相机采集的图像数据上之前，所述方法还包括：
从预设投影参数中获取对应距离以及每个相机的投影参数，得到与每个相机对应的目标投影参数，所述预设投影参数为基于差异信息更新样本点云投影图像与样本图像数据对应的预估投影矩阵得到，所述样本点云投影图像为将样本点云数据投影至样本图像数据上得到，所述差异信息为所述样本点云投影图像与所述样本图像数据之间的差异信息，所述预估投影矩阵为对雷达和每个相机进行标定得到。
5.根据权利要求4所述的基于激光雷达的目标物的真值数据预测方法，其特征在于，所述预设投影参数的计算方法包括：
对雷达和每个相机进行标定，得到与预设距离和相机对应的预估投影矩阵，所述预设距离为标定板与雷达之间的距离；
根据所述预估投影矩阵，将所述雷达采集的样本点云数据投影到每个相机采集的样本图像数据的像素上，得到样本点云投影图像，所述样本点云数据为标记有样本目标物的雷达点云数据，所述样本图像数据为标记有样本目标物的图像数据；
对所述样本点云投影图像与所述样本图像数据进行样本目标物匹配，在目标物匹配不满足预设条件的情况下，确定所述样本点云投影图像与所述样本图像数据的差异信息，基于所述差异信息更新所述样本点云投影图像与所述样本图像数据对应的预估投影矩阵，直至样本目标物匹配满足预设条件时，得到所述预设投影参数。
6.根据权利要求1所述的基于激光雷达的目标物的真值数据预测方法，其特征在于，
所述分别对每个相机的图像视锥数据中的点云数据进行聚类处理和融合处理，得到目标物参数集合，包括：
分别对每个相机的图像视锥数据中的点云数据进行聚类处理，得到每个相机的图像视锥数据对应的目标物的目标物参数信息；
对每个相机的图像视锥数据对应的目标物的目标物参数信息进行融合处理，得到目标物参数集合。
7.根据权利要求6所述的基于激光雷达的目标物的真值数据预测方法，其特征在于，每个相机的图像视锥数据包括至少两个目标物识别区域，
所述分别对每个相机的图像视锥数据中的点云数据进行聚类处理，得到每个相机的所述图像视锥数据对应的目标物的目标物参数信息，包括：
在每个相机的图像视锥数据中任意两个目标物识别区域存在重叠区域的情况下，将任意两个目标物识别区域除所述重叠区域外的区域确定为非重叠区域，计算两个非重叠区域与所述重叠区域的距离值，将所述重叠区域划分给候选非重叠区域，更新另一个非重叠区域对应的目标物识别区域，得到每个相机的图像视锥数据中更新后的目标物识别区域，所述候选非重叠区域与所述重叠区域的距离值小于所述另一个非重叠区域与所述重叠区域的距离值；
对每个相机的图像视锥数据更新后的目标物识别区域对应的点云数据进行聚类处理，得到每个相机的图像视锥数据的目标物的多个预估类簇，根据预估类簇的特征进行类簇筛选，得到每个相机的图像视锥数据的目标物的目标物视锥数据，基于所述目标物视锥数据得到每个相机的图像视锥数据的目标物的目标物参数信息。
8.根据权利要求6所述的基于激光雷达的目标物的真值数据预测方法，其特征在于，
所述对每个相机的图像视锥数据对应的目标物的目标物参数信息进行融合处理，得到目标物参数集合，包括：
对每两个相邻相机的图像视锥数据的重叠区域中的目标物参数信息进行匹配、融合，得到目标物参数融合结果；
将所述目标物参数融合结果集合和每个相机的图像视锥数据除了重叠区域外的目标物参数信息集合，进行合并，得到所述目标物参数集合。
9.根据权利要求8所述的基于激光雷达的目标物的真值数据预测方法，其特征在于，
所述对每两个相邻相机的图像视锥数据的重叠区域中的目标物参数信息进行匹配、融合，得到目标物参数融合结果，包括：
对每两个相邻相机的图像重叠区域中的目标物参数信息进行匹配，得到目标物参数的匹配结果，将所述匹配结果的图像视锥内点云数据进行合并，对合并结果进行聚类、类簇筛选，得到目标物参数融合结果。
10.根据权利要求8所述的基于激光雷达的目标物的真值数据预测方法，其特征在于，
所述将所述目标物参数融合结果集合和每个相机的图像视锥数据除了重叠区域外的目标物参数信息集合，进行合并，得到所述目标物参数集合，包括：
在每个相机的图像视锥数据存在重叠区域的情况下，对重叠区域的点云数据进行融合，并对重叠区域内融合后的点云数据进行聚类处理，更新重叠区域内的目标物的目标物参数信息，得到所述目标物参数融合结果；
将所述目标物参数融合结果和每个相机的图像视锥数据中除了重叠区域外的目标物参数信息整合，得到所述目标物参数集合。
11.根据权利要求1所述的基于激光雷达的目标物的真值数据预测方法，其特征在于，
所述对点云目标物推理结果和所述目标物参数集合进行融合处理，得到目标物融合结果，包括：
对所述雷达点云数据进行目标物的推理，得到目标物的推理点云视锥，根据所述推理点云视锥得到所述雷达点云目标物推理结果；
对所述雷达点云目标物推理结果和所述目标物参数集合求并集，得到初始目标物融合结果，对所述初始目标物融合结果中属于同一个目标物的点云数据进行聚类处理，得到所述目标物融合结果。
12.根据权利要求11所述的基于激光雷达的目标物的真值数据预测方法，其特征在于，
所述对所述初始目标物融合结果中属于同一个目标物的点云数据进行聚类处理，得到所述目标物融合结果，包括：
在所述初始目标物融合结果中存在多个目标物参数信息属于同一个目标物的情况下，对属于同一个目标物的多个目标物参数信息对应的点云数据进行聚类处理，得到匹配所述同一个目标物的点云特征的目标物视锥数据；
基于匹配所述同一个目标物的点云特征的目标物视锥数据计算得到所述同一个目标物的目标物参数信息，将得到的所述同一个目标物的目标物参数信息作为所述初始目标物融合结果中对应所述同一个目标物的目标物参数信息，得到所述目标物融合结果。
13.根据权利要求1所述的基于激光雷达的目标物的真值数据预测方法，其特征在于，
所述对所述目标物融合结果中的目标物进行真值数据预测处理，得到真值数据预测结果，包括：
获取所述目标物融合结果的目标物中的地面对象对应的点云数据，从地面高度表中获取所述地面对象的点云数据对应的地面高度，得到所述地面对象的高度信息，其中，所述地面高度表表征点云与地面高度之间的映射关系；
基于所述高度信息对所述目标物融合结果中目标物的目标物参数信息进行筛选处理，得到目标物筛选结果，对所述目标物筛选结果进行信息补充，得到所述真值数据预测结果。
14.根据权利要求13所述的基于激光雷达的目标物的真值数据预测方法，其特征在于，
所述对所述目标物筛选结果进行信息补充，得到所述真值数据预测结果，包括：
将所述目标物筛选结果对应的每个相机所采集的图像数据的采集时间确定为当前时刻；
对每个相机在前一时刻所采集的图像数据对应的真值数据预测结果，与每个相机在后一时刻所采集的图像数据对应的真值数据预测结果求并集，得到前后真值并集，所述前一时刻是当前时刻之前的时刻，所述后一时刻为当前时刻之后的时刻；
对所述前后真值并集与所述目标物筛选结果求交集，将所述前后真值并集中除去所述交集的目标物参数信息补充到所述目标物筛选结果中，得到所述真值数据预测结果。
15.一种基于激光雷达的目标物的真值数据预测装置，其特征在于，所述装置包括：
数据获取模块，用于获取雷达点云数据以及不同位置上的相机采集的图像数据；
点云投影模块，用于基于每个相机目标投影参数将所述雷达点云数据投影至每个相机采集的图像数据上，得到每个相机的图像视锥数据，所述目标投影参数为基于目标物和雷达之间的距离调整得到，所述距离为基于所述雷达点云数据确定得到；
图像视锥聚类融合模块，用于分别对每个相机的图像视锥数据中的点云数据进行聚类处理和融合处理，得到目标物参数集合；
信息融合模块，用于对点云目标物推理结果和所述目标物参数集合进行融合处理，得到目标物融合结果，所述点云目标物推理结果为对所述雷达点云数据进行推理得到；
真值预测模块，用于对所述目标物融合结果中的目标物进行真值数据预测处理，得到真值数据预测结果。
16.一种电子设备，其特征在于，包括处理器和存储器，所述存储器中存储有至少一条指令或者至少一段程序，所述至少一条指令或者所述至少一段程序由所述处理器加载并执行以实现如权利要求1至14中任一项所述的基于激光雷达的目标物的真值数据预测方法。
17.一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或者至少一段程序，所述至少一条指令或者所述至少一段程序由处理器加载并执行以实现如权利要求1至14中任一项所述的基于激光雷达的目标物的真值数据预测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311353137.0A CN117392423A (zh) | 2023-10-17 | 2023-10-17 | 基于激光雷达的目标物的真值数据预测方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311353137.0A CN117392423A (zh) | 2023-10-17 | 2023-10-17 | 基于激光雷达的目标物的真值数据预测方法、装置及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117392423A true CN117392423A (zh) | 2024-01-12 |
Family
ID=89438571
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311353137.0A Pending CN117392423A (zh) | 2023-10-17 | 2023-10-17 | 基于激光雷达的目标物的真值数据预测方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117392423A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118072360A (zh) * | 2024-04-19 | 2024-05-24 | 浙江华是科技股份有限公司 | 一种周界入侵单个人体完整识别方法及系统 |
-
2023
- 2023-10-17 CN CN202311353137.0A patent/CN117392423A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118072360A (zh) * | 2024-04-19 | 2024-05-24 | 浙江华是科技股份有限公司 | 一种周界入侵单个人体完整识别方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110059608B (zh) | 一种物体检测方法、装置、电子设备和存储介质 | |
| EP3610225B1 (en) | Systems and methods for updating highly automated driving maps | |
| CN106461774B (zh) | 基于雷达提示视觉成像的高级驾驶员辅助系统 | |
| US7321386B2 (en) | Robust stereo-driven video-based surveillance | |
| CN112270713A (zh) | 标定方法以及装置、存储介质、电子装置 | |
| CN110555407B (zh) | 路面车辆空间识别方法及电子设备 | |
| KR102491527B1 (ko) | 카메라 영상에서 대상의 감지 | |
| KR102167835B1 (ko) | 영상 처리 방법 및 장치 | |
| CN112172797B (zh) | 泊车控制方法、装置、设备和存储介质 | |
| CN117392423A (zh) | 基于激光雷达的目标物的真值数据预测方法、装置及设备 | |
| CN116245937A (zh) | 货物堆垛的堆高预测方法及装置、设备、存储介质 | |
| CN104917957A (zh) | 用于控制摄像机成像的设备及其系统 | |
| CN112802114B (zh) | 多视觉传感器融合装置及其方法和电子设备 | |
| CN113988197A (zh) | 基于多相机、多激光雷达的联合标定及目标融合检测方法 | |
| JPH1144533A (ja) | 先行車両検出装置 | |
| CN112990049A (zh) | 用于车辆自动驾驶的aeb紧急制动方法、装置 | |
| CN111862208B (zh) | 一种基于屏幕光通信的车辆定位方法、装置及服务器 | |
| Giosan et al. | Superpixel-based obstacle segmentation from dense stereo urban traffic scenarios using intensity, depth and optical flow information | |
| EP3660452B1 (en) | Positioning system and positioning method | |
| CN116381649A (zh) | 联合标定方法、设备和存储介质 | |
| CN112489240B (zh) | 一种商品陈列巡检方法、巡检机器人以及存储介质 | |
| CN112507887B (zh) | 一种路口标志牌提取及关联的方法及装置 | |
| CN110852278B (zh) | 地面标识线识别方法、设备及计算机可读存储介质 | |
| Rebut et al. | Road obstacles detection using a self-adaptive stereo vision sensor: a contribution to the ARCOS French project | |
| CN114155258A (zh) | 一种公路施工围封区域的检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |