CN118262322A - 车辆环境目标检测方法、装置、系统、车辆和存储介质 - Google Patents
车辆环境目标检测方法、装置、系统、车辆和存储介质 Download PDFInfo
- Publication number
- CN118262322A CN118262322A CN202211684646.7A CN202211684646A CN118262322A CN 118262322 A CN118262322 A CN 118262322A CN 202211684646 A CN202211684646 A CN 202211684646A CN 118262322 A CN118262322 A CN 118262322A
- Authority
- CN
- China
- Prior art keywords
- target
- point cloud
- data
- dimensional
- list
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 227
- 238000000034 method Methods 0.000 claims abstract description 55
- 230000004927 fusion Effects 0.000 claims abstract description 30
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 17
- 238000001914 filtration Methods 0.000 claims abstract description 11
- 239000013598 vector Substances 0.000 claims description 35
- 230000001133 acceleration Effects 0.000 claims description 23
- 230000007613 environmental effect Effects 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 230000004888 barrier function Effects 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 13
- 238000013135 deep learning Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种车辆环境目标检测方法、装置、系统、车辆和存储介质。该方法包括：获取双目图像数据；进行双目立体匹配，获得双目视差图；将双目视差图转换为三维点云数据；将第一目图像数据输入单目多任务卷积神经网络，获得车道线检测数据和三维目标检测数据；获得感兴趣区域；分割地面点云和目标点云；生成点云识别目标列表；对三维目标检测数据进行过滤，生成单目图像检测目标列表；匹配点云识别目标列表与单目图像检测目标列表，获得匹配成功的目标；对匹配成功的目标相对应的三维目标检测数据和点云识别数据进行融合，获得融合信息，并将其添加到车辆环境目标检测结果中。本发明降低了算力消耗并提高了识别精度。
Description
技术领域
本发明的实施方式总体上涉及自动驾驶技术领域，更具体地，涉及一种车辆环境目标检测方法、装置、系统、车辆和存储介质。
背景技术
自动驾驶功能使用过程中，需要实时感知自车周围的环境，往往自动驾驶的性能表现与环境感知的性能直接相关。很多自动驾驶事故的发生都是由于障碍物的误检和漏检导致。因此，提升自动驾驶感知的查全率和查准率是促进自动驾驶功能落地重要举措，本发明提出一套基于双目摄像头的实时目标检测方法和系统，用以提升障碍物的感知水平，降低由于障碍物漏检带来的危害。
目前在公知领域，自动驾驶的目标检测算法大部分是基于单目摄像头和激光雷达实现的，小部分是通过双目摄像头实现的。基于单目摄像头的解决方案往往是用卷积神经网络端到端的预测出可视范围内物体的3D信息，基于激光雷达的解决方案一般是用基于点云的3D物体检测算法。而基于双目摄像头的目标检测主要分三类，第一类是先用双目图像进行立体匹配，得到视差图，再换算为深度图与2D目标检测结果结合，给2D目标赋予深度信息；第二类同样是先得到视差图，再恢复为3D稠密点云做3D物体检测；第三类是用深度学习进行端到端的预测，输入双目图像，输出3D目标列表。
基于单目摄像头的目标检测，依赖于训练数据集的样本，对于在训练数据中未定义的障碍物则无法给出正确预测，比如侧翻的货车顶部，路面的石头等。
基于激光雷达的目标检测可以解决单目摄像头漏检的问题，但车规级的激光雷达往往成本较高。
基于双目摄像头的目标检测主要分三类：第一类的缺点是只能得到2D的包围框和深度信息，没办法预测目标的3D姿态；第二类的缺点是只用到了点云信息进行3D物体检测，没有用到双目相机的RGB信息，性能上有一定损失；第三类算法现在还在不断迭代，但基于深度学习的端到端神经网络可解释性差，同样也依赖数据集，有一定的漏检率。
发明内容
为了解决现有技术中的上述问题，在第一方面，本发明的实施方式提供了一种车辆环境目标检测方法，所述方法包括：获取由设置在车辆上的双目摄像头采集的双目图像数据，其中，所述双目摄像头包括第一目摄像头和第二目摄像头，所述双目图像数据包括第一目图像数据和第二目图像数据；对所述第一目图像数据和所述第二目图像数据进行双目立体匹配，获得双目视差图；将所述双目视差图转换为所述第一目摄像头的坐标系下的三维点云数据；将所述第一目图像数据输入单目多任务卷积神经网络，获得车道线检测数据和三维目标检测数据，其中所述三维目标检测数据包括检测到的目标的类别、置信度和状态向量；根据所述车道线检测数据获得由车道线约束的感兴趣区域；将所述三维点云数据中位于所述感兴趣区域内的三维点云数据分割为地面点云和目标点云；对所述目标点云进行聚类，生成点云识别目标列表，其中所述点云识别目标列表包括该列表中每个目标的点云识别数据，所述点云识别数据包括目标的状态向量；从所述三维目标检测数据中过滤掉所述感兴趣区域之外的目标，从而生成单目图像检测目标列表；将所述点云识别目标列表中的目标与所述单目图像检测目标列表中的目标进行匹配，获得匹配成功的目标；对所述匹配成功的目标相对应的三维目标检测数据和点云识别数据进行融合，获得所述匹配成功的目标的融合信息；将所述匹配成功的目标的融合信息添加到车辆环境目标检测结果中。
在一些实施方式中，所述方法还包括：对所述匹配成功的目标进行时序追踪，获得时序关联目标；根据所述匹配成功的目标及其时序关联目标的状态向量，计算所述匹配成功的目标的速度信息和/或加速度信息；将所述匹配成功的目标的速度信息和/或加速度信息以及所述匹配成功的目标的时序关联目标添加到所述车辆环境目标检测结果中。
在一些实施方式中，所述方法还包括：对于将所述点云识别目标列表中的目标与所述单目图像检测目标列表中的目标进行匹配时未匹配成功的目标：如果所述未匹配成功的目标来自于所述单目图像检测目标列表，则将该目标的信息添加到所述车辆环境目标检测结果中；如果所述未匹配成功的目标来自于所述点云识别目标列表，则将该未匹配成功的目标的类别设置为未定义障碍物，对该未匹配成功的目标进行图像特征点提取，生成二维特征点列表，将所述二维特征点列表添加到所述车辆环境目标检测结果中。
在一些实施方式中，所述方法还包括：对来自于所述单目图像检测目标列表的未匹配成功的目标进行时序追踪，获得所述未匹配成功的目标的时序关联目标；根据所述未匹配成功的目标及其时序关联目标的状态向量，计算该未匹配成功的目标的速度信息和/或加速度信息；将所述未匹配成功的目标的速度信息和/或加速度信息以及所述未匹配成功的目标的时序关联目标添加到所述车辆环境目标检测结果中。
在一些实施方式中，对该未匹配成功的目标进行图像特征点提取，生成二维特征点列表包括：将所述未匹配成功的目标的三维包围框投影到所述第一目图像数据的图像中，生成二维包围框；在所述二维包围框中进行特征点提取；计算每个提取到的特征点的描述子；将所述描述子添加到所述二维特征点列表中。
在一些实施方式中，所述方法还包括：将所述二维特征点列表中的目标与上一帧和/或下一帧图像的二维特征点列表进行描述子匹配，将不同帧中匹配代价小于匹配代价阈值的特征点列表对应的未定义障碍物进行关联，生成特征关联信息；根据所述特征关联信息以及所述未定义障碍物的向量状态，计算所述未定义障碍物的速度和/或加速度；将所述未定义障碍物的速度信息和/或加速度信息以及所述特征关联信息添加到所述车辆环境目标检测结果中。
在一些实施方式中，对所述第一目图像数据和所述第二目图像数据进行双目立体匹配，获得双目视差图包括：对所述第一目图像数据和所述第二目图像数据进行数据预处理，获得预处理第一目图像数据和预处理第二目图像数据，其中所述数据预处理包括畸变校正处理和/或立体校正处理；对所述预处理第一目图像数据和所述预处理第二目图像数据进行双目立体匹配，获得所述双目视差图。
在一些实施方式中，将所述第一目图像数据输入单目多任务卷积神经网络，获得车道线检测数据和三维目标检测数据包括：将所述预处理第一目图像数据输入单目多任务卷积神经网络，获得所述车道线检测数据和所述三维目标检测数据。
在一些实施方式中，对所述目标点云进行聚类，生成点云识别目标列表包括：对所述目标点云进行聚类，生成多个实例；估计所述多个实例的三维包围框；通过所述多个实例的三维包围框生成所述点云识别目标列表。
在一些实施方式中，将所述点云识别目标列表中的目标与所述单目图像检测目标列表中的目标进行匹配，获得匹配成功的目标包括：将所述点云识别目标列表中的目标与所述单目图像检测目标列表中的目标对应的三维包围框投影回相机平面进行二维匹配，从而获得所述匹配成功的目标。
在一些实施方式中，所述状态向量包括三维位置、尺寸和横摆角。
在第二方面，本发明的实施方式提出了一种车辆环境目标检测装置，所述装置包括：双目图像数据获取模块，配置用于获取由设置在车辆上的双目摄像头采集的双目图像数据，其中，所述双目摄像头包括第一目摄像头和第二目摄像头，所述双目图像数据包括第一目图像数据和第二目图像数据；双目立体匹配模块，配置用于对所述第一目图像数据和所述第二目图像数据进行双目立体匹配，获得双目视差图；三维点云转换模块，配置用于将所述双目视差图转换为所述第一目摄像头的坐标系下的三维点云数据；单目多任务卷积模块，配置用于将所述第一目图像数据输入单目多任务卷积神经网络，获得车道线检测数据和三维目标检测数据，其中所述三维目标检测数据包括检测到的目标的类别、置信度和状态向量；感兴趣区域确定模块，配置用于根据所述车道线检测数据获得由车道线约束的感兴趣区域；点云分割模块，配置用于将所述三维点云数据中位于所述感兴趣区域内的三维点云数据分割为地面点云和目标点云；点云聚类模块，配置用于对所述目标点云进行聚类，生成点云识别目标列表，其中所述点云识别目标列表包括该列表中每个目标的点云识别数据，所述点云识别数据包括目标的状态向量；单目图像检测目标列表生成模块，配置用于从所述三维目标检测数据中过滤掉所述感兴趣区域之外的目标，从而生成单目图像检测目标列表；目标匹配模块，配置用于将所述点云识别目标列表中的目标与所述单目图像检测目标列表中的目标进行匹配，获得匹配成功的目标；融合模块，配置用于对所述匹配成功的目标相对应的三维目标检测数据和点云识别数据进行融合，获得所述匹配成功的目标的融合信息；结果添加模块，配置用于将所述匹配成功的目标的融合信息添加到车辆环境目标检测结果中。
在第三方面，本发明的实施方式提出了一种车辆环境目标检测系统，所述系统包括双目摄像头和计算平台。其中，所述双目摄像头设置在车辆上，用于采集双目图像数据，其中，所述双目摄像头包括第一目摄像头和第二目摄像头，所述双目图像数据包括第一目图像数据和第二目图像数据。所述计算平台用于：获取所述双目图像数据；对所述第一目图像数据和所述第二目图像数据进行双目立体匹配，获得双目视差图；将所述双目视差图转换为所述第一目摄像头的坐标系下的三维点云数据；将所述第一目图像数据输入单目多任务卷积神经网络，获得车道线检测数据和三维目标检测数据，其中所述三维目标检测数据包括检测到的目标的类别、置信度和状态向量；根据所述车道线检测数据获得由车道线约束的感兴趣区域；将所述三维点云数据中位于所述感兴趣区域内的三维点云数据分割为地面点云和目标点云；对所述目标点云进行聚类，生成点云识别目标列表，其中所述点云识别目标列表包括该列表中每个目标的点云识别数据，所述点云识别数据包括目标的状态向量；从所述三维目标检测数据中过滤掉所述感兴趣区域之外的目标，从而生成单目图像检测目标列表；将所述点云识别目标列表中的目标与所述单目图像检测目标列表中的目标进行匹配，获得匹配成功的目标；对所述匹配成功的目标相对应的三维目标检测数据和点云识别数据进行融合，获得所述匹配成功的目标的融合信息；将所述匹配成功的目标的融合信息添加到车辆环境目标检测结果中。
在第四方面，本发明的实施方式提出了一种车辆，所述车辆装载有根据上述实施方式描述的车辆环境目标检测系统。
在第五方面，本发明的实施方式提出了一种存储介质，存储有计算机可读指令，当所述指令由处理器运行时，执行根据上述实施方式描述的车辆环境目标检测方法。
本发明的实施方式提出的车辆环境目标检测方法、系统、车辆、装置和存储介质提出了基于双目摄像头的实时目标检测方案，实现了从视频数据中识别自车前方目标，即输入双目摄像头的原始数据，输出在相机坐标系下的目标列表。本发明的实施方式提出的车辆环境目标检测技术方案采用了整个双目目标检测算法的管道，使用了双目点云检测结果与单目图像检测结果的组合判断；使用车道线检测结果作为ROI，缩小了匹配计算范围，降低算力消耗；通过地面点云分割和点云聚类，对稠密双目点云进行了处理，提高了识别精度。
附图说明
通过参考附图阅读下文的详细描述，本发明实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
图1示出了根据本发明的实施方式的车辆环境目标检测方法的流程图；
图2示出了根据本发明的实施方式的车辆环境目标检测方法的第一示例的示意图；
图3示出了根据本发明的实施方式的车辆环境目标检测方法的第二示例的示意图；
图4示出了根据本发明的实施方式的车辆环境目标检测方法的第三示例的示意图；
图5示出了根据本发明的实施方式的车辆环境目标检测方法的第四示例的示意图；
图6示出了根据本发明的实施方式的车辆环境目标检测系统的示例结构示意图；
图7示出了根据本发明的实施方式的车辆环境目标检测系统的安装位置示意图；
图8示出了根据本发明的实施方式的车辆环境目标检测装置的框图。
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。
在一个方面，本发明的实施方式提供了一种车辆环境目标检测方法。该方法旨在从视频数据中识别自车前方目标，即输入双目摄像头的原始数据，输出在相机坐标系下的目标列表。参考图1，其示出了根据本发明的实施方式的车辆环境目标检测方法100的流程图。如图1所示，该方法100包括步骤S101-S111。
在步骤S101中，获取由设置在车辆上的双目摄像头采集的双目图像数据，其中，双目摄像头包括第一目摄像头和第二目摄像头，双目图像数据包括第一目图像数据和第二目图像数据。
作为示例，双目摄像头可以包括横向左右放置的两个摄像头，例如第一目摄像头是左目摄像头，第二目摄像头是右目摄像头，或者，第一目摄像头是右目摄像头，第二目摄像头是左目摄像头。本发明的实施方式所描述的双目摄像头也可以是多目摄像头中的任意两个摄像头。本发明在此方面不做限制。
在步骤S102中，对第一目图像数据和第二目图像数据进行双目立体匹配，获得双目视差图。例如，可以通过半全局匹配算法，将左右目相机数据进行像素关联，得到双目相机的视差图。
在步骤S103中，将双目视差图转换为第一目摄像头的坐标系下的三维(3D)点云数据。例如，双目视差图经过几何换算恢复为双目摄像头中预先选定的单目(即第一目)M1的坐标系OM1下的3D点云，每个点包含该坐标系下的(x,y,z)信息。
在步骤S104中，将单目坐标系OM1下的第一目图像数据输入预先训练好的单目多任务卷积神经网络，获得车道线检测数据(如，车道线方程)和三维(3D)目标检测数据。作为示例，车道线方程可以使用3次多项式描述，输出多项式系数(a0,a1,a2,a3)；3D目标检测数据输出目标列表Lorigin，列表中的每条信息包括：目标的类别、置信度和状态向量，其中状态向量可以包括目标的3D位置(Px，Py，Pz)、尺寸(Sl，Sw，Sh)和横摆角(θ)。
在步骤S105中，根据车道线检测数据获得由车道线约束的感兴趣区域(Region ofInterest，ROI)。例如，根据车道线检测结果，将最左侧车道与最右侧车道在鸟瞰图下的中间区域定义了A1，将该区域A1设置为感兴趣区域(ROI)。
在步骤S106中，将三维点云数据中位于车道线约束的感兴趣区域(ROI)内的三维点云数据分割为地面点云{Pground}和目标点云{Pobject}。作为示例，该步骤可以通过以下过程来实现：将步骤S103中获得的3D点云转换到鸟瞰图，利用步骤S105中获得的ROI区域过滤掉ROI之外的点云，保留ROI内的点云子集{PROI}；在点云子集{PROI}内，通过随机采样一致性(RANSAC)算法拟合地面的平面方程；将拟合结果的内点标记为地面点云{Pground}，外点标记为目标点云{Pobject}。
在步骤S107中，对目标点云进行聚类，生成点云识别目标列表Lpoint，其中点云识别目标列表Lpoint包括该列表中每个目标的点云识别数据，点云识别数据包括目标的状态向量。
作为本发明的一个实施方式，本步骤可以包括：对目标点云{Pobject}进行聚类，生成N个实例；估计这些实例的三维(3D)包围框；通过多个实例的3D包围框生成点云识别目标列表Lpoint，列表中的每条信息包括：3D位置(Px，Py，Pz)、尺寸(Sl，Sw，Sh)、横摆角(θ)。
在步骤S108中，从三维目标检测数据中过滤掉感兴趣区域之外的目标，从而生成单目图像检测目标列表Lmono。例如，在目标列表Lorigin基础上，利用上文所述的ROI区域过滤掉ROI之外的目标，保留ROI内单目图像检测的目标列表Lmono。
在步骤S109中，将点云识别目标列表Lpoint中的目标与单目图像检测目标列表Lmono中的目标进行匹配，获得匹配成功的目标。
作为本发明的一个实施方式，可以通过以下方式进行匹配：将点云识别目标列表Lpoint中的目标与单目图像检测目标列表Lmono中的目标对应的3D包围框投影回相机平面∏M进行二维(2D)匹配，从而获得匹配成功的目标，生成匹配成功目标列表Lmatch。作为示例，该匹配可以使用匈牙利算法。
在步骤S110中，对匹配成功的目标相对应的三维目标检测数据和点云识别数据进行融合，获得匹配成功的目标的融合信息。
作为本发明的一个实施方式，可以利用扩展卡尔曼滤波EKF算法对匹配成功的目标列表Lmatch进行融合，例如，根据目标列表Lmatch中的每个匹配成功的目标的不同来源的协方差，根据协方差的导数对来自不同来源的目标信息进行加权平均，从而得到融合后的目标列表Lfusion。
在步骤S111中，将匹配成功的目标的融合信息添加到车辆环境目标检测结果中。车辆环境目标检测结果中包括多个目标信息，每个目标信息可以包含以下内容：目标ID、类别、置信度、状态向量X。其中状态向量X包含的信息有：3D位置(Px，Py，Pz)、尺寸(Sl，Sw，Sh)、横摆角(θ)、线速度(Vx，Vy)、角速度(ω)、加速度(Ax，Ay)。
本发明的实施方式提出的车辆环境目标检测方法是基于双目摄像头的实时目标检测方法，实现了从视频数据中识别自车前方目标，即输入双目摄像头的原始数据，输出在相机坐标系下的目标列表。本发明的实施方式提出的车辆环境目标检测方法采用了整个双目目标检测算法的管道，使用了双目点云检测结果与单目图像检测结果的组合判断；使用车道线检测结果作为ROI，缩小了匹配计算范围，降低算力消耗；通过地面点云分割和点云聚类，对稠密双目点云进行了处理，提高了识别精度。
参考图2，其示出了根据本发明的实施方式的车辆环境目标检测方法的第一示例的示意图。如图2所示，该第一示例包括如下过程：获取双目图像数据、数据预处理、双目立体匹配、单目多任务卷积、三维点云数据生成、点云分割、点云聚类、三维目标过滤、目标列表匹配、数据融合和目标检测结果添加。
在获取双目图像数据过程中，获取由设置在车辆上的双目摄像头采集的双目图像数据，其中，双目摄像头包括第一目摄像头和第二目摄像头，双目图像数据包括第一目图像数据和第二目图像数据。
在数据预处理过程中，对第一目图像数据和第二目图像数据进行数据预处理，获得预处理第一目图像数据和预处理第二目图像数据，其中，数据预处理可以包括畸变校正处理和/或立体校正处理。
在双目立体匹配过程中，对预处理第一目图像数据和预处理第二目图像数据进行双目立体匹配，获得双目视差图。例如，可以通过半全局匹配算法，将经预处理的左右目相机数据进行像素关联，得到双目相机的视差图。
在三维点云数据生成过程中，将双目视差图转换为第一目摄像头的坐标系下的三维(3D)点云数据。例如，双目视差图经过几何换算恢复为双目摄像头中预先选定的单目(即第一目)M1的坐标系OM1下的3D点云，每个点包含该坐标系下的(x,y,z)信息。
在单目多任务卷积过程中，将经预处理的单目坐标系OM1下的第一目图像数据输入预先训练好的单目多任务卷积神经网络，获得车道线检测数据(如，车道线方程)和三维(3D)目标检测数据。
继而，根据车道线检测数据获得由车道线约束的感兴趣区域(Region ofInterest，ROI)。
在点云分割过程中，将三维点云数据中位于车道线约束的感兴趣区域(ROI)内的三维点云数据分割为地面点云{Pground}和目标点云{Pobject}。
在点云聚类过程中，对目标点云进行聚类，生成点云识别目标列表Lpoint，其中点云识别目标列表Lpoint包括该列表中每个目标的点云识别数据，点云识别数据包括目标的状态向量。
在三维目标过滤过程中，从三维目标检测数据中过滤掉感兴趣区域之外的目标，从而生成单目图像检测目标列表Lmono。
在目标列表匹配过程中，将点云识别目标列表Lpoint中的目标与单目图像检测目标列表Lmono中的目标进行匹配，获得匹配成功的目标。
在数据融合过程中，对匹配成功的目标相对应的三维目标检测数据和点云识别数据进行融合，获得匹配成功的目标的融合信息。
在目标检测结果添加过程中，将匹配成功的目标的融合信息添加到车辆环境目标检测结果中。
图3示出了根据本发明的实施方式的车辆环境目标检测方法的第二示例的示意图。如图3所示，该第二示例包括如下过程：获取双目图像数据、双目立体匹配、单目多任务卷积、三维点云数据生成、点云分割、点云聚类、三维目标过滤、目标列表匹配、数据融合、时序追踪和目标检测结果添加。
在获取双目图像数据过程中，获取由设置在车辆上的双目摄像头采集的双目图像数据，其中，双目摄像头包括第一目摄像头和第二目摄像头，双目图像数据包括第一目图像数据和第二目图像数据。
在双目立体匹配过程中，对第一目图像数据和第二目图像数据进行双目立体匹配，获得双目视差图。例如，可以通过半全局匹配算法，将左右目相机数据进行像素关联，得到双目相机的视差图。
在三维点云数据生成过程中，将双目视差图转换为第一目摄像头的坐标系下的三维(3D)点云数据。例如，双目视差图经过几何换算恢复为双目摄像头中预先选定的单目(即第一目)M1的坐标系OM1下的3D点云，每个点包含该坐标系下的(x,y,z)信息。
在单目多任务卷积过程中，将单目坐标系OM1下的第一目图像数据输入预先训练好的单目多任务卷积神经网络，获得车道线检测数据(如，车道线方程)和三维(3D)目标检测数据。
继而，根据车道线检测数据获得由车道线约束的感兴趣区域(Region ofInterest，ROI)。
在点云分割过程中，将三维点云数据中位于车道线约束的感兴趣区域(ROI)内的三维点云数据分割为地面点云{Pground}和目标点云{Pobject}。
在点云聚类过程中，对目标点云进行聚类，生成点云识别目标列表Lpoint，其中点云识别目标列表Lpoint包括该列表中每个目标的点云识别数据，点云识别数据包括目标的状态向量。
在三维目标过滤过程中，从三维目标检测数据中过滤掉感兴趣区域之外的目标，从而生成单目图像检测目标列表Lmono。
在目标列表匹配过程中，将点云识别目标列表Lpoint中的目标与单目图像检测目标列表Lmono中的目标进行匹配，获得匹配成功的目标。
在数据融合过程中，对匹配成功的目标相对应的三维目标检测数据和点云识别数据进行融合，获得匹配成功的目标的融合信息。
在时序追踪过程中，对匹配成功的目标进行时序追踪，即，进行时序上的ID匹配，在上一帧图片和下一帧图片之间进行目标的数据关联，获得时序关联目标；根据匹配成功的目标及其时序关联目标的状态向量，计算匹配成功的目标的速度信息和/或加速度信息，即，通过时序信息估计目标的线速度(Vx，Vy)、角速度(ω)、加速度(Ax，Ay)。作为示例，可以使用Sort追踪算法进行时序追踪。
在目标检测结果添加过程中，将匹配成功的目标的融合信息、匹配成功的目标的速度信息和/或加速度信息以及匹配成功的目标的时序关联目标添加到车辆环境目标检测结果中。
图4示出了根据本发明的实施方式的车辆环境目标检测方法的第三示例的示意图。第三示例与第二示例的区别在于增加了对于未匹配障碍物的处理过程。通过逻辑判断“未定义障碍物”，并对其进行特征点提取和描述子计算。
具体地，对于将点云识别目标列表中的目标与单目图像检测目标列表中的目标进行匹配时未匹配成功的目标(例如通过遍历未匹配列表中所有未匹配的障碍物)：如果未匹配成功的目标来自于单目图像检测目标列表，则将该目标的信息添加到车辆环境目标检测结果中；如果未匹配成功的目标来自于点云识别目标列表，则将该未匹配成功的目标的类别设置为未定义障碍物，对该未匹配成功的目标进行图像特征点提取，生成二维特征点列表，将二维特征点列表添加到车辆环境目标检测结果中。
作为本发明的一个实施方式，对该未匹配成功的目标进行图像特征点提取，生成二维特征点列表可以包括：将未匹配成功的目标的三维包围框投影到第一目图像数据的图像中，生成二维包围框；在二维包围框中进行特征点提取；计算每个提取到的特征点的描述子；将描述子添加到二维特征点列表中。
换言之，若未匹配障碍物来自于单目多任务卷积神经网络，则直接输出该目标信息；若未匹配障碍物来自于双目点云聚类结果，则将其类别设置为“未定义障碍物(unknown)”。将其3D包围框投影到单目相机M1的图像中，生成2D包围框。在该包围框内进行特征点提取，并计算每个提取特征点的描述子，存于特征点列表Lfeature_point内；将所有的特征点列表组成一个二维特征点列表Lfeatures。
图5示出了根据本发明的实施方式的车辆环境目标检测方法的第四示例的示意图。该第四示例与第二示例的区别在于增加了对于未匹配障碍物的处理和时序追踪过程。
首先，通过逻辑判断“未定义障碍物”，并对其进行特征点提取和描述子计算。具体地，对于将点云识别目标列表中的目标与单目图像检测目标列表中的目标进行匹配时未匹配成功的目标(例如通过遍历未匹配列表中所有未匹配的障碍物)：如果未匹配成功的目标来自于单目图像检测目标列表，则将该目标的信息添加到车辆环境目标检测结果中；如果未匹配成功的目标来自于点云识别目标列表，则将该未匹配成功的目标的类别设置为未定义障碍物，对该未匹配成功的目标进行图像特征点提取，生成二维特征点列表，将二维特征点列表添加到车辆环境目标检测结果中。作为本发明的一个实施方式，对该未匹配成功的目标进行图像特征点提取，生成二维特征点列表可以包括：将未匹配成功的目标的三维包围框投影到第一目图像数据的图像中，生成二维包围框；在二维包围框中进行特征点提取；计算每个提取到的特征点的描述子；将描述子添加到二维特征点列表中。
继而，对来自于单目图像检测目标列表的未匹配成功的目标进行时序追踪，即，进行时序上的ID匹配，在上一帧图片和下一帧图片之间进行目标的数据关联，获得未匹配成功的目标的时序关联目标；根据未匹配成功的目标及其时序关联目标的状态向量，计算该未匹配成功的目标的速度信息和/或加速度信息；将未匹配成功的目标的速度信息和/或加速度信息以及未匹配成功的目标的时序关联目标添加到车辆环境目标检测结果中。
作为本发明的一个实施方式，将二维特征点列表中的目标与上一帧和/或下一帧图像的二维特征点列表进行描述子匹配，将不同帧中匹配代价小于匹配代价阈值T的特征点列表对应的未定义障碍物进行关联，即，置为同一ID，从而生成特征关联信息；根据特征关联信息以及未定义障碍物的向量状态，计算未定义障碍物的速度和/或加速度，即，通过时序信息估计目标的线速度(Vx，Vy)、角速度(ω)、加速度(Ax，Ay)；将未定义障碍物的速度信息和/或加速度信息以及特征关联信息添加到车辆环境目标检测结果中。
另外，与第二示例类似，对匹配成功的目标进行时序追踪，即，进行时序上的ID匹配，在上一帧图片和下一帧图片之间进行目标的数据关联，获得时序关联目标；根据匹配成功的目标及其时序关联目标的状态向量，计算匹配成功的目标的速度信息和/或加速度信息，即，通过时序信息估计目标的线速度(Vx，Vy)、角速度(ω)、加速度(Ax，Ay)。作为示例，可以使用Sort追踪算法进行时序追踪。
在另一方面，本发明的实施方式提出了一种车辆环境目标检测系统，参考图6，其示出了根据本发明的实施方式的车辆环境目标检测系统的示例结构示意图。该系统包括双目摄像头和计算平台。
双目摄像头设置在车辆上，用于采集双目图像数据，其中，双目摄像头包括第一目摄像头和第二目摄像头，双目图像数据包括第一目图像数据和第二目图像数据。
计算平台用于：获取双目图像数据；对第一目图像数据和第二目图像数据进行双目立体匹配，获得双目视差图；将双目视差图转换为第一目摄像头的坐标系下的三维点云数据；将第一目图像数据输入单目多任务卷积神经网络，获得车道线检测数据和三维目标检测数据，其中三维目标检测数据包括检测到的目标的类别、置信度和状态向量；根据车道线检测数据获得由车道线约束的感兴趣区域；将三维点云数据中位于感兴趣区域内的三维点云数据分割为地面点云和目标点云；对目标点云进行聚类，生成点云识别目标列表，其中点云识别目标列表包括该列表中每个目标的点云识别数据，点云识别数据包括目标的状态向量；从三维目标检测数据中过滤掉感兴趣区域之外的目标，从而生成单目图像检测目标列表；将点云识别目标列表中的目标与单目图像检测目标列表中的目标进行匹配，获得匹配成功的目标；对匹配成功的目标相对应的三维目标检测数据和点云识别数据进行融合，获得匹配成功的目标的融合信息；将匹配成功的目标的融合信息添加到车辆环境目标检测结果中。
如图6所示，作为示例，计算平台包括计算单元，双目摄像头与计算单元之间通过以太网(Ethernet)接口进行通信，计算单元通过控制器局域网络(Controller AreaNetwork，CAN)接口与车辆上的CAN总线控制进行通信。
在又一方面，本发明的实施方式提出了一种车辆，该车辆装载有根据上述实施方式描述的车辆环境目标检测系统。参考图7，其示出了根据本发明的实施方式的车辆环境目标检测系统的安装位置示意图。作为示例，如图7所示，双目摄像头可以安装在车辆的前挡风玻璃的上部中央位置，计算平台可以设置在车辆上的任何位置。
在又一方面，本发明的实施方式提出了一种车辆环境目标检测装置，参考图8，其示出了根据本发明的实施方式的车辆环境目标检测装置的框图。该装置包括模块801-811。
双目图像数据获取模块801，配置用于获取由设置在车辆上的双目摄像头采集的双目图像数据，其中，双目摄像头包括第一目摄像头和第二目摄像头，双目图像数据包括第一目图像数据和第二目图像数据；
双目立体匹配模块802，配置用于对第一目图像数据和第二目图像数据进行双目立体匹配，获得双目视差图；
三维点云转换模块803，配置用于将双目视差图转换为第一目摄像头的坐标系下的三维点云数据；
单目多任务卷积模块804，配置用于将第一目图像数据输入单目多任务卷积神经网络，获得车道线检测数据和三维目标检测数据，其中三维目标检测数据包括检测到的目标的类别、置信度和状态向量；
感兴趣区域确定模块805，配置用于根据车道线检测数据获得由车道线约束的感兴趣区域；
点云分割模块806，配置用于将三维点云数据中位于感兴趣区域内的三维点云数据分割为地面点云和目标点云；
点云聚类模块807，配置用于对目标点云进行聚类，生成点云识别目标列表，其中点云识别目标列表包括该列表中每个目标的点云识别数据，点云识别数据包括目标的状态向量；
单目图像检测目标列表生成模块808，配置用于从三维目标检测数据中过滤掉感兴趣区域之外的目标，从而生成单目图像检测目标列表；
目标匹配模块809，配置用于将点云识别目标列表中的目标与单目图像检测目标列表中的目标进行匹配，获得匹配成功的目标；
融合模块810，配置用于对匹配成功的目标相对应的三维目标检测数据和点云识别数据进行融合，获得匹配成功的目标的融合信息；
结果添加模块811，配置用于将匹配成功的目标的融合信息添加到车辆环境目标检测结果中。
需要注意，本发明的实施方式提出的车辆环境目标检测装置中的各个模块所实现的功能与上文描述的车辆环境目标检测方法的各个步骤相对应，其具体实施方式、示例和有益效果可参见对于车辆环境目标检测方法的描述，在此不再赘述。
在又一方面，本发明的实施方式还提出了一种存储介质，存储有计算机可读指令，当指令由处理器运行时，执行上述任何实施方式描述的车辆环境目标检测方法。
本发明的实施方式提出的车辆环境目标检测方案采用双目点云检测与单目目标检测结果组合判断的方法，能够识别出未定义障碍物、估计其3D包围框并对其进行跟踪，解决了单目摄像头针对未训练的目标出现的漏检问题。与现有的基于单目摄像头的目标检测方法相比，本发明的实施方式提出的车辆环境目标检测方案准确率更高。
相对于公知的基于激光雷达的目标检测方法，本发明成本低。本方法不需要在车上安装价格昂贵的激光雷达，只需要双目摄像头即可。
相对于公知的双目摄像头的目标检测方法，本发明同时使用了相机的RGB信息和3D点云信息，可靠性更强。同时算法只在单目多任务卷积神经网络模块内使用了深度学习技术，相比于双目端到端的深度学习目标检测算法可解释性更强。
出于示意的目的，已经给出了本发明的实施方式的前述说明，其并非是穷举性的也并非要将本发明限制为所公开的确切形式。本领域技术人员可以理解的是，在不偏离本发明的范围的情况下可以做出各种变化，并且可以将其中的元件替换为等同物。另外，在不偏离本发明的基本范围的情况下，可以进行很多修改以使得特定的情况或材料适应于本发明的教导。因此，本发明不试图限制于所公开的作为用于实现本发明所预期的最佳模式的特定实施方式，本发明将包括落入所附的权利要求的范围内的所有实施方式。
Claims (15)
1.一种车辆环境目标检测方法，其特征在于，所述方法包括：
获取由设置在车辆上的双目摄像头采集的双目图像数据，其中，所述双目摄像头包括第一目摄像头和第二目摄像头，所述双目图像数据包括第一目图像数据和第二目图像数据；
对所述第一目图像数据和所述第二目图像数据进行双目立体匹配，获得双目视差图；
将所述双目视差图转换为所述第一目摄像头的坐标系下的三维点云数据；
将所述第一目图像数据输入单目多任务卷积神经网络，获得车道线检测数据和三维目标检测数据，其中所述三维目标检测数据包括检测到的目标的类别、置信度和状态向量；
根据所述车道线检测数据获得由车道线约束的感兴趣区域；
将所述三维点云数据中位于所述感兴趣区域内的三维点云数据分割为地面点云和目标点云；
对所述目标点云进行聚类，生成点云识别目标列表，其中所述点云识别目标列表包括该列表中每个目标的点云识别数据，所述点云识别数据包括目标的状态向量；
从所述三维目标检测数据中过滤掉所述感兴趣区域之外的目标，从而生成单目图像检测目标列表；
将所述点云识别目标列表中的目标与所述单目图像检测目标列表中的目标进行匹配，获得匹配成功的目标；
对所述匹配成功的目标相对应的三维目标检测数据和点云识别数据进行融合，获得所述匹配成功的目标的融合信息；
将所述匹配成功的目标的融合信息添加到车辆环境目标检测结果中。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述匹配成功的目标进行时序追踪，获得时序关联目标；
根据所述匹配成功的目标及其时序关联目标的状态向量，计算所述匹配成功的目标的速度信息和/或加速度信息；
将所述匹配成功的目标的速度信息和/或加速度信息以及所述匹配成功的目标的时序关联目标添加到所述车辆环境目标检测结果中。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对于将所述点云识别目标列表中的目标与所述单目图像检测目标列表中的目标进行匹配时未匹配成功的目标：
如果所述未匹配成功的目标来自于所述单目图像检测目标列表，则将该目标的信息添加到所述车辆环境目标检测结果中；
如果所述未匹配成功的目标来自于所述点云识别目标列表，则将该未匹配成功的目标的类别设置为未定义障碍物，对该未匹配成功的目标进行图像特征点提取，生成二维特征点列表，将所述二维特征点列表添加到所述车辆环境目标检测结果中。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
对来自于所述单目图像检测目标列表的未匹配成功的目标进行时序追踪，获得所述未匹配成功的目标的时序关联目标；
根据所述未匹配成功的目标及其时序关联目标的状态向量，计算该未匹配成功的目标的速度信息和/或加速度信息；
将所述未匹配成功的目标的速度信息和/或加速度信息以及所述未匹配成功的目标的时序关联目标添加到所述车辆环境目标检测结果中。
5.根据权利要求3所述的方法，其特征在于，对该未匹配成功的目标进行图像特征点提取，生成二维特征点列表包括：
将所述未匹配成功的目标的三维包围框投影到所述第一目图像数据的图像中，生成二维包围框；
在所述二维包围框中进行特征点提取；
计算每个提取到的特征点的描述子；
将所述描述子添加到所述二维特征点列表中。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
将所述二维特征点列表中的目标与上一帧和/或下一帧图像的二维特征点列表进行描述子匹配，将不同帧中匹配代价小于匹配代价阈值的特征点列表对应的未定义障碍物进行关联，生成特征关联信息；
根据所述特征关联信息以及所述未定义障碍物的向量状态，计算所述未定义障碍物的速度和/或加速度；
将所述未定义障碍物的速度信息和/或加速度信息以及所述特征关联信息添加到所述车辆环境目标检测结果中。
7.根据权利要求1所述的方法，其特征在于，对所述第一目图像数据和所述第二目图像数据进行双目立体匹配，获得双目视差图包括：
对所述第一目图像数据和所述第二目图像数据进行数据预处理，获得预处理第一目图像数据和预处理第二目图像数据，其中所述数据预处理包括畸变校正处理和/或立体校正处理；
对所述预处理第一目图像数据和所述预处理第二目图像数据进行双目立体匹配，获得所述双目视差图。
8.根据权利要求7所述的方法，其特征在于，将所述第一目图像数据输入单目多任务卷积神经网络，获得车道线检测数据和三维目标检测数据包括：
将所述预处理第一目图像数据输入单目多任务卷积神经网络，获得所述车道线检测数据和所述三维目标检测数据。
9.根据权利要求1所述的方法，其特征在于，对所述目标点云进行聚类，生成点云识别目标列表包括：
对所述目标点云进行聚类，生成多个实例；
估计所述多个实例的三维包围框；
通过所述多个实例的三维包围框生成所述点云识别目标列表。
10.根据权利要求1所述的方法，其特征在于，将所述点云识别目标列表中的目标与所述单目图像检测目标列表中的目标进行匹配，获得匹配成功的目标包括：
将所述点云识别目标列表中的目标与所述单目图像检测目标列表中的目标对应的三维包围框投影回相机平面进行二维匹配，从而获得所述匹配成功的目标。
11.根据权利要求1所述的方法，其特征在于，所述状态向量包括三维位置、尺寸和横摆角。
12.一种车辆环境目标检测装置，其特征在于，所述装置包括：
双目图像数据获取模块，配置用于获取由设置在车辆上的双目摄像头采集的双目图像数据，其中，所述双目摄像头包括第一目摄像头和第二目摄像头，所述双目图像数据包括第一目图像数据和第二目图像数据；
双目立体匹配模块，配置用于对所述第一目图像数据和所述第二目图像数据进行双目立体匹配，获得双目视差图；
三维点云转换模块，配置用于将所述双目视差图转换为所述第一目摄像头的坐标系下的三维点云数据；
单目多任务卷积模块，配置用于将所述第一目图像数据输入单目多任务卷积神经网络，获得车道线检测数据和三维目标检测数据，其中所述三维目标检测数据包括检测到的目标的类别、置信度和状态向量；
感兴趣区域确定模块，配置用于根据所述车道线检测数据获得由车道线约束的感兴趣区域；
点云分割模块，配置用于将所述三维点云数据中位于所述感兴趣区域内的三维点云数据分割为地面点云和目标点云；
点云聚类模块，配置用于对所述目标点云进行聚类，生成点云识别目标列表，其中所述点云识别目标列表包括该列表中每个目标的点云识别数据，所述点云识别数据包括目标的状态向量；
单目图像检测目标列表生成模块，配置用于从所述三维目标检测数据中过滤掉所述感兴趣区域之外的目标，从而生成单目图像检测目标列表；
目标匹配模块，配置用于将所述点云识别目标列表中的目标与所述单目图像检测目标列表中的目标进行匹配，获得匹配成功的目标；
融合模块，配置用于对所述匹配成功的目标相对应的三维目标检测数据和点云识别数据进行融合，获得所述匹配成功的目标的融合信息；
结果添加模块，配置用于将所述匹配成功的目标的融合信息添加到车辆环境目标检测结果中。
13.一种车辆环境目标检测系统，其特征在于，所述系统包括双目摄像头和计算平台，其中，
所述双目摄像头设置在车辆上，用于采集双目图像数据，其中，所述双目摄像头包括第一目摄像头和第二目摄像头，所述双目图像数据包括第一目图像数据和第二目图像数据；
所述计算平台用于：
获取所述双目图像数据；
对所述第一目图像数据和所述第二目图像数据进行双目立体匹配，获得双目视差图；
将所述双目视差图转换为所述第一目摄像头的坐标系下的三维点云数据；
将所述第一目图像数据输入单目多任务卷积神经网络，获得车道线检测数据和三维目标检测数据，其中所述三维目标检测数据包括检测到的目标的类别、置信度和状态向量；
根据所述车道线检测数据获得由车道线约束的感兴趣区域；
将所述三维点云数据中位于所述感兴趣区域内的三维点云数据分割为地面点云和目标点云；
对所述目标点云进行聚类，生成点云识别目标列表，其中所述点云识别目标列表包括该列表中每个目标的点云识别数据，所述点云识别数据包括目标的状态向量；
从所述三维目标检测数据中过滤掉所述感兴趣区域之外的目标，从而生成单目图像检测目标列表；
将所述点云识别目标列表中的目标与所述单目图像检测目标列表中的目标进行匹配，获得匹配成功的目标；
对所述匹配成功的目标相对应的三维目标检测数据和点云识别数据进行融合，获得所述匹配成功的目标的融合信息；
将所述匹配成功的目标的融合信息添加到车辆环境目标检测结果中。
14.一种车辆，其特征在于，所述车辆装载有根据权利要求13所述的车辆环境目标检测系统。
15.一种存储介质，存储有计算机可读指令，当所述指令由处理器运行时，执行根据权利要求1-11中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211684646.7A CN118262322A (zh) | 2022-12-27 | 2022-12-27 | 车辆环境目标检测方法、装置、系统、车辆和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211684646.7A CN118262322A (zh) | 2022-12-27 | 2022-12-27 | 车辆环境目标检测方法、装置、系统、车辆和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118262322A true CN118262322A (zh) | 2024-06-28 |
Family
ID=91606224
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211684646.7A Pending CN118262322A (zh) | 2022-12-27 | 2022-12-27 | 车辆环境目标检测方法、装置、系统、车辆和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118262322A (zh) |
-
2022
- 2022-12-27 CN CN202211684646.7A patent/CN118262322A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112396650B (zh) | 一种基于图像和激光雷达融合的目标测距系统及方法 | |
| CN112292711B (zh) | 关联lidar数据和图像数据 | |
| CN110942449B (zh) | 一种基于激光与视觉融合的车辆检测方法 | |
| US9846812B2 (en) | Image recognition system for a vehicle and corresponding method | |
| CN110738121A (zh) | 一种前方车辆检测方法及检测系统 | |
| CN111611853B (zh) | 一种传感信息融合方法、装置及存储介质 | |
| KR101569919B1 (ko) | 차량의 위치 추정 장치 및 방법 | |
| Weon et al. | Object Recognition based interpolation with 3d lidar and vision for autonomous driving of an intelligent vehicle | |
| Labayrade et al. | In-vehicle obstacles detection and characterization by stereovision | |
| CN111563415A (zh) | 一种基于双目视觉的三维目标检测系统及方法 | |
| CN108645375B (zh) | 一种用于车载双目系统快速车辆测距优化方法 | |
| CN115049700A (zh) | 一种目标检测方法及装置 | |
| Pantilie et al. | Real-time obstacle detection using dense stereo vision and dense optical flow | |
| CN114495064A (zh) | 一种基于单目深度估计的车辆周围障碍物预警方法 | |
| US20220292747A1 (en) | Method and system for performing gtl with advanced sensor data and camera image | |
| CN111738033B (zh) | 基于平面分割的车辆行驶信息确定方法及装置、车载终端 | |
| CN115273034A (zh) | 一种基于车载多传感器融合的交通目标检测与跟踪方法 | |
| US11281916B2 (en) | Method of tracking objects in a scene | |
| CN110780287A (zh) | 基于单目相机的测距方法及测距系统 | |
| CN112241963A (zh) | 基于车载视频的车道线识别方法、系统和电子设备 | |
| CN112733678A (zh) | 测距方法、装置、计算机设备和存储介质 | |
| Yu et al. | An improved phase correlation method for stop detection of autonomous driving | |
| CN117011481A (zh) | 构建三维地图的方法、装置、电子设备及存储介质 | |
| CN118262322A (zh) | 车辆环境目标检测方法、装置、系统、车辆和存储介质 | |
| Ma et al. | Disparity estimation based on fusion of vision and LiDAR |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination |