CN115205391A - 一种三维激光雷达和视觉融合的目标预测方法 - Google Patents

一种三维激光雷达和视觉融合的目标预测方法 Download PDF

Info

Publication number
CN115205391A
CN115205391A CN202210550233.3A CN202210550233A CN115205391A CN 115205391 A CN115205391 A CN 115205391A CN 202210550233 A CN202210550233 A CN 202210550233A CN 115205391 A CN115205391 A CN 115205391A
Authority
CN
China
Prior art keywords
target
information
point cloud
image data
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210550233.3A
Other languages
English (en)
Inventor
魏晓旭
陈俊
张畅
秦天
韩雷
王永圣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN202210550233.3A priority Critical patent/CN115205391A/zh
Publication of CN115205391A publication Critical patent/CN115205391A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本申请公开了一种三维激光雷达和视觉融合的目标预测方法，包括：获取视觉摄像头和三维激光雷达的坐标系映射关系；获取图像数据，根据图像数据得到多个目标物体的视觉目标信息；获取点云数据，根据坐标系映射关系和点云数据得到多个目标物体的点云目标信息；将多个目标物体的视觉目标信息与点云目标信息进行匹配融合，得到多个目标物体的综合目标信息；根据目标物体的综合目标信息确定特定动态目标，并确定特定动态目标的预测运动轨迹。本发明通过对视觉信息和三维激光雷达点云信息进行融合处理，提高了特定动态目标的识别效率和准确度；通过对所述特定动态目标的轨迹预测，可以提前确定车辆周围的安全隐患，避免交通事故的发生。

Description

一种三维激光雷达和视觉融合的目标预测方法
技术领域
本发明涉及自动驾驶汽车的环境感知和检测领域，尤其涉及一种三维激光雷达和视觉融合的目标预测方法。
背景技术
随着自动驾驶技术的发展，无人驾驶汽车对周围动态障碍物信息的检测技术成为了重要的研究领域，通过此技术，无人驾驶汽车可以精确感知周围环境中存在的安全隐患，并及时采取相应措施来避免交通事故的发生，对无人驾驶汽车起到了十分重要的作用。
目前对于动态障碍物的检测识别可分为基于图像和基于激光雷达两大类。视觉摄像头能直接获取周围物体的图像信息，精确识别障碍物信息，但相机受环境光照强度的影响很大，在光照太强或太弱的环境中识别效果会变差。激光雷达不会受到光照的影响，可以输出目标障碍物三维位置信息，基于深度学习方法的点云目标检测虽然可以识别动态障碍物的类别，但是计算量巨大，目前无人驾驶汽车域控制器的算力无法支持此类方法的应用。此外，现有技术没有根据识别结果对动态障碍物的运动轨迹进行预测，不能为无人车辆的操控决策提供指导，来从而避免交通事故的发生。
因此，需要提供一种三维激光雷达和视觉融合的目标预测方法，将三维激光雷达和视觉摄像头获取的信息进行融合处理，提高车辆对动态障碍物的识别效率和识别准确度，并对动态障碍物的运动进行预测，使无人驾驶车辆能够提前感知周围环境中可能存在的安全隐患，及时采取相应的措施，避免发生交通事故。
发明内容
有鉴于此，有必要提供一种三维激光雷达和视觉融合的目标预测方法，用以解决现有技术中存在的特定动态目标识别效率低，且无法根据识别结果对特定动态进行轨迹预测从而进行驾驶操控决策的问题。
为了解决上述问题，本发明提供一种三维激光雷达和视觉融合的目标预测方法，包括：
获取视觉摄像头和三维激光雷达的坐标系映射关系；
利用所述视觉摄像头获取图像数据，根据所述图像数据得到多个目标物体的视觉目标信息；
利用所述三维激光雷达获取点云数据，根据所述坐标系映射关系和所述点云数据得到多个所述目标物体的点云目标信息；
将多个所述目标物体的视觉目标信息与点云目标信息进行匹配融合，得到多个所述目标物体的综合目标信息；
根据多个所述目标物体的综合目标信息确定特定动态目标，并确定所述特定动态目标的预测运动轨迹。
进一步地，获取视觉摄像头和三维激光雷达的坐标系映射关系，包括：
对所述视觉摄像头进行标定，利用标定后的视觉摄像头在不同角度采集预设棋盘格的图像数据；
利用所述三维激光雷达获取所述预设棋盘格的点云数据；
根据所述预设棋盘格的点云数据和图像数据对所述视觉摄像头和三维激光雷达进行联合标定，得到视觉摄像头和三维激光雷达的坐标系映射关系。
进一步地，利用所述视觉摄像头获取图像数据，根据所述图像数据得到目标物体的视觉目标信息，包括：
利用所述视觉摄像头获取至少两帧图像数据；
根据所述图像数据得到多帧所述图像数据中目标物体的尺寸信息和类别信息。
进一步地，根据所述图像数据得到多帧所述图像数据中目标物体的尺寸信息和类别信息，包括：
将所述图像数据输入到预设的目标检测模型中，得到二维目标框和所述二维目标框内物体的尺寸信息和类别信息；
利用预设的跟踪算法对所述二维目标框内的物体进行跟踪，对所述多帧图像数据中的同一个目标物体进行标记，确定所述目标物体的尺寸信息和类别信息。
进一步地，根据所述坐标系映射关系和所述点云数据得到目标物体的点云目标信息，包括；
根据所述坐标系映射关系，将所述点云数据投影到所述视觉摄像头的图像坐标系中，得到投影目标框；
将所述投影目标框内的物体进行聚类和特征提取，得到所述投影目标框内目标物体的位置信息、速度信息和方位信息。
进一步地，将所述目标物体的视觉目标信息与点云目标信息进行匹配融合，得到所述目标物体的综合目标信息，包括：
对所述二维目标框内和投影目标框进行匹配，得到所述二维目标框和所述投影目标框中的同一个目标物体；
对所述目标物体进行信息融合，得到所述目标物体的位置信息、方位信息、速度信息、尺寸信息和类别信息。
进一步地，根据多个所述目标物体的综合目标信息确定特定动态目标，并确定所述特定动态目标的预测运动轨迹，包括：
根据多个所述目标物体的位置信息、方位信息、速度信息、尺寸信息和类别信息，确定特定动态目标；
根据所述特定动态目标的位置信息、尺寸信息和预设的目标跟踪算法对所述特定动态目标的预测运动轨迹进行预测。
本发明还提供一种三维激光雷达和视觉融合的目标预测装置，包括：
标定模块，用于获取视觉摄像头和三维激光雷达的坐标系映射关系；
视觉目标信息获取模块，用于利用所述视觉摄像头获取图像数据，根据所述图像数据得到多个目标物体的视觉目标信息；
点云目标信息获取模块，用于利用所述三维激光雷达获取点云数据，根据所述坐标系映射关系和所述点云数据得到多个所述目标物体的点云目标信息；
融合模块，用于将多个所述目标物体的视觉目标信息与点云目标信息进行匹配融合，得到多个所述目标物体的综合目标信息；
预测模块，用于根据多个所述目标物体的综合目标信息确定特定动态目标，并确定所述特定动态目标的预测运动轨迹。
本发明还提供一种电子设备，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现上述技术方案任一所述的三维激光雷达和视觉融合的目标预测方法。
本发明还提供一种计算机可读存储介质，所述程序介质存储有计算机程序指令，当所述计算机程序指令被计算机执行时，使计算机执行上述技术方案任一所述的三维激光雷达和视觉融合的目标预测方法。
与现有技术相比，本发明的有益效果包括：首先，获取视觉摄像头和三维激光雷达的坐标系映射关系；其次，获取图像数据，根据所述图像数据得到目标物体的视觉目标信息；获取点云数据，根据所述坐标系映射关系和所述点云数据得到目标物体的点云目标信息；再次，将所述视觉目标信息与点云目标信息进行匹配融合，得到所述目标物体的综合目标信息；最后，根据所述目标物体的综合目标信息确定特定动态目标，并确定所述特定动态目标的预测运动轨迹。本发明通过对图像信息和三维激光雷达的点云信息进行融合处理，可以较为准确的获取无人驾驶车辆周围动态障碍物的综合信息，具有较高的识别效率和识别准确度；根据识别结果对动态物体的运动进行跟踪预测，有助于无人驾驶车辆提前确定周围环境可能存在的安全隐患，并及时采取相应措施，从而有效避免交通事故的发生。
附图说明
图1为本发明提供的一种三维激光雷达和视觉融合的目标预测方法一实施例的流程示意图；
图2为本发明提供的对视觉摄像头和三维激光雷达进行联合标定方法一实施例的流程示意图；
图3为本发明提供的一种三维激光雷达和视觉融合的目标预测装置一实施例的结构示意图；
图4为本发明提供的电子设备一实施例的结构框图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
本发明提供了一种三维激光雷达和视觉融合的目标预测方法，包括：
步骤S101：获取视觉摄像头和三维激光雷达的坐标系映射关系；
步骤S102：利用所述视觉摄像头获取图像数据，根据所述图像数据得到多个目标物体的视觉目标信息；
步骤S103：利用所述三维激光雷达获取点云数据，根据所述坐标系映射关系和所述点云数据得到多个所述目标物体的点云目标信息；
步骤S104：将多个所述目标物体的视觉目标信息与点云目标信息进行匹配融合，得到多个所述目标物体的综合目标信息；
步骤S105：根据多个所述目标物体的综合目标信息确定特定动态目标，并确定所述特定动态目标的预测运动轨迹。
本实施例提供的三维激光雷达和视觉融合的目标预测方法，首先，获取视觉摄像头和三维激光雷达的坐标系映射关系；其次，获取图像数据，根据所述图像数据得到目标物体的视觉目标信息；获取点云数据，根据所述坐标系映射关系和所述点云数据得到目标物体的点云目标信息；再次，将所述视觉目标信息与点云目标信息进行匹配融合，得到所述目标物体的综合目标信息；最后，根据所述目标物体的综合目标信息确定特定动态目标，并确定所述特定动态目标的预测运动轨迹。本实施例的方法通过对图像信息和三维激光雷达的点云信息进行融合处理，可以较为准确的获取无人驾驶车辆周围动态障碍物的综合信息，具有较高的识别效率和识别准确度；根据识别结果对动态障碍物的运动进行跟踪预测，有助于无人驾驶车辆提前确定周围环境可能存在的安全隐患，并及时采取相应措施，从而有效避免交通事故的发生。
为了通过视觉摄像头和三维激光雷达获取车辆周围环境的图像信息和三维雷达点云信息，并将视觉摄像头的图像坐标系和三维激光雷达的点云坐标系进行转换和映射，需要对视觉摄像头和三维激光雷达进行联合标定。
如图2所示，作为优选的实施例，在步骤S101中，获取视觉摄像头和三维激光雷达的坐标系映射关系，包括：
步骤S201：对所述视觉摄像头进行标定，利用标定后的视觉摄像头在不同角度采集预设棋盘格的图像数据；
步骤S202：利用所述三维激光雷达获取所述预设棋盘格的点云数据；
步骤S203：根据所述预设棋盘格的点云数据和图像数据对所述视觉摄像头和三维激光雷达进行联合标定，得到视觉摄像头和三维激光雷达的坐标系映射关系。
作为一个具体的实施例，在步骤S201之前，还包括：将视觉摄像头和三维激光雷达以轴线对称的形式安装在无人驾驶车辆上，使摄像头和车辆的中轴线重合，且雷达和摄像头的轴线对称，以保证标定的精度。
作为一个具体的实施例，对所述视觉摄像头进行标定包括：获取视觉摄像头的内部参数、外部参数、内参矩阵和畸变系数矩阵，对视觉摄像头获取的图像进行畸变矫正。
其中，内部参数包括：焦距、像主点坐标、像素与真实环境的大小比例；外部参数包括：旋转信息和平移信息。
作为一个具体的实施例，在步骤S202中，预设棋盘格为A0尺寸的硬纸板(841××1189mm)9行7列，棋盘格在摄像头下有6个站位。利用标定后的视觉摄像头在每个位置做相同的一组5个动作。5个动作分别为：正向、下俯、上仰、左偏、右偏。
作为一个具体的实施例，在步骤S203中，使用Calibration Tool Kit完成三维激光雷达与摄像头的联合标定，得到激光雷达相对于摄像头的旋转和平移矩阵，从而得到图像坐标系和三维激光雷达的点云坐标系的映射关系，并在获取的图像数据中同步激光雷达数据的时间戳。
作为优选的实施例，在步骤S102中，利用所述视觉摄像头获取图像数据，根据所述图像数据得到目标物体的视觉目标信息，包括：
利用所述视觉摄像头获取至少两帧图像数据；
根据所述图像数据得到多帧所述图像数据中目标物体的尺寸信息和类别信息。
作为优选的实施例，根据所述图像数据得到多帧所述图像数据中目标物体的尺寸信息和类别信息，包括：
将所述图像数据输入到预设的目标检测模型中，得到二维目标框和所述二维目标框内物体的尺寸信息和类别信息；
利用预设的跟踪算法对所述二维目标框内的物体进行跟踪，对所述多帧图像数据中的同一个目标物体进行标记，确定所述目标物体的尺寸信息和类别信息。
作为一个具体的实施例，所述预设的目标检测模型的创建方法包括：
创建初始目标检测模型；
获取样本图像数据，对所述样本图像数据进行标记，得到训练数据集；
将所述训练数据集输入到所述初始目标检测模型中进行迭代训练，得到所述预设的目标检测模型。
作为一个具体的实施例，所述初始目标检测模型基于CenterNet网络模型创建。CenterNet是以中心点为基础的检测模型，是端到端可训练的，并且相较于基于anchor的检测器，检测效率更高。由于CenterNet网络仅仅是个前向传播网络，不存在NMS这类后处理，能够节省物体识别的时间，提高物体识别效率。
CenterNet网络使用关键点检测的方式定位中心点，并且能够回归物体的其他属性，可采用标准监督学习对模型进行训练。作为一个具体的实施例，对基于CenterNet创建的初始目标检测模型的训练包括：
第一步，将视觉摄像头获取的图像样本进行2D特征标记，得到训练数据集。
第二步，将训练数据集输入到初始目标检测模型中进行迭代，计算模型的损失函数值，当损失函数的数值收敛时，得到训练完备的目标检测模型。
由于CenterNet网络是通过目标中心点来呈现目标，因此，对于图像RW×H×3，初始目标检测模型生成目标中心点，并得到关键点热力图：
Figure BDA0003654708650000081
其中，R是尺寸缩放比例；C是关键点类型数；W为宽度；H为高度。作为下采样因子,
Figure BDA0003654708650000082
表示检测到关键点,
Figure BDA0003654708650000083
表示背景。
将关键点热力图的高斯分布函数分散到热力图上，可用公式表示为：
Figure BDA0003654708650000084
其中，σP是标准方差；
Figure BDA0003654708650000085
为低分辨率图像中对应关键点的坐标。如果对于同一类有两个高斯函数发生重叠,则选择元素级最大的。
中心点的损失函数为：
Figure BDA0003654708650000091
其中，α和β是Focal Loss的超参数；
Figure BDA0003654708650000092
为式(2)高斯分布函数；N是图像的关键点数量,用于将所有的positive focal loss标准化为1。这个损失函数是Focal Loss的修改版,适用于CenterNet。在CenterNet中，每个中心点对应一个目标的位置，不需要进行重叠判断。在实际训练中,中心点周围其他点的损失是经过衰减后的损失，而目标的长和宽是经过对应当前中心点的长度和宽度回归得到的。
对于目标检测模型识别到的每一个中心点，额外采用偏置来补偿。所有类c的中心点共享同一个偏置预测,该偏置损失通过L1损失来训练，物体的偏置损失表示为：
Figure BDA0003654708650000093
其中，N表示关键点个数，
Figure BDA0003654708650000094
表示关键点局部偏移，R表示尺寸缩放比例，
Figure BDA0003654708650000095
表示关键点位置。
假设
Figure BDA0003654708650000096
为目标检测模型输出的目标k的预测框,则其中心点pk的位置为
Figure BDA0003654708650000097
用关键点估计
Figure BDA0003654708650000098
得到所有的中心点,之后对每个目标k的大小进行回归,最终回归得到的二位目标框为
Figure BDA0003654708650000101
该值是进行了下采样的长宽值。采用L1损失来监督长和宽的值，物体的尺寸损失为：
Figure BDA0003654708650000102
整体的损失函数为中心点损失、偏置损失和尺寸损失的总和，每个损失都有相应的权重，表示为：
Ldet＝Lk+λsizeLsize+λoffLoff
其中，λsize、λoff分别为尺寸损失和偏置损失的权重。
将CenterNet与其他目标检测算法：YOLOv3，RetinaNet等进行对比，在相同数据集上进行训练，实验结果证明CenterNet模型在目标检测识别的准确率上高于其他目标检测算法，因此将CenterNet目标检测算法用于后续的图像处理。同时，由于CenterNet使用关键点检测的方式定位中心点并回归物体的其他属性，并且仅仅是单个前向传播网络，不存在NMS这类后处理，以节省目标的识别时间，对于移动端的部署十分友好。
作为一个具体的实施例，所述预设的跟踪算法为Sort算法，用于对不同帧的图像数据中的相同物体赋予唯一的ID编号。
作为优选的实施例，在步骤S103中，根据所述坐标系映射关系和所述点云数据得到目标物体的点云目标信息，包括；
根据所述坐标系映射关系，将所述点云数据投影到所述视觉摄像头的图像坐标系中，得到投影目标框；
将所述投影目标框内的物体进行聚类和特征提取，得到所述投影目标框内目标物体的位置信息、速度信息和方位信息。
作为一个具体的实施例，对三维激光雷达获取的点云数据的处理过程包括：
第一步，利用地面平面拟合算法分割地面点云，沿着无人车的行进方向将空间分割成若干个子平面，对每个子平面使用地面平面拟合算法，得到能够处理陡坡的地面分割方法。对于给定的点云P,分割的最终结果为两个点云集合地面点云Pg和非地面点云Png。
第二步，采用欧式聚类算法聚类障碍物点云，对于非地面点云Png，通过欧式聚类近邻搜索算法找到k个离p点最近的点，将这些点中距离小于设定阈值的聚类到集合Q中。如果Q中元素的数目不在增加，整个聚类过程便结束；否则须在集合Q中选取p点以外的点，重复上述过程，直到Q中元素的数目不再增加为止，从而完成点云数据处理；
第三步，将经过欧式聚类后点云利用Graham扫描法求解障碍物点云最小凸包以构建障碍物点云最小包围框，从而完成对三维激光雷达的目标检测，获取障碍物的位置信息。
第四步，通过步骤S101中得到的坐标系转换矩阵以及视觉摄像头内部参数，将物体的三维点云坐标框投影到图像上。
第五步，重复第一步到第四步，完成车辆左、右、后的动态障碍物检测。
作为优选的实施例，在步骤S104中，将所述目标物体的视觉目标信息与点云目标信息进行匹配融合，得到所述目标物体的综合目标信息，包括：
对所述二维目标框内和投影目标框进行匹配，得到所述二维目标框和所述投影目标框中的同一个目标物体；
对所述目标物体进行信息融合，得到所述目标物体的位置信息、方位信息、速度信息、尺寸信息和类别信息。
作为一个具体的实施例，将视觉摄像头识别到的二维目标框和三维激光雷达投影得到的投影目标框进行IOU匹配，若IOU匹配值大于设定的阈值，则认为两个目标框是同一个目标，将点云检测到的距离信息传给视觉检测到的目标框；若小于阈值则认为两者不是同一个目标。经过匹配之后，得到具有位置信息、距离信息、速度信息和类别信息等融合信息的目标结果。
作为优选的实施例，在步骤S105中，根据多个所述目标物体的综合目标信息确定特定动态目标，并确定所述特定动态目标的预测运动轨迹，包括：
根据多个所述目标物体的位置信息、方位信息、速度信息、尺寸信息和类别信息，确定特定动态目标；
根据所述特定动态目标的位置信息、尺寸信息和预设的目标跟踪算法对所述特定动态目标的预测运动轨迹进行预测。
作为一个具体的实施例，选择距离车身最近的目标为特定动态目标，利用卡尔曼滤波对所述特定动态目标未来的运动轨迹进行预测，根据对离车身最近的动态目标运动轨迹进行预测，对车辆后续的操控方式进行决策。具体的预测过程包括：
第一步，使用(x,y,w,h)对物体的状态进行描述，其中(x,y)是检测框的中心坐标，w是宽度，h是高度，使用一个基于线性观测模型的标准卡尔曼滤波器进行目标运动状态的预测，预测结果为(x,y,w,h)。
第二步，根据卡尔曼滤波公式进行运动轨迹预测。
预测公式为：
Figure BDA0003654708650000121
其中，
Figure BDA0003654708650000122
为基于k-1时刻对k时刻状态的预测值，
Figure BDA0003654708650000123
为k-1时刻状态的最优结果，A为状态转移矩阵，B为控制输入矩阵，uk为k时刻对系统的控制量。
Figure BDA0003654708650000124
其中，
Figure BDA0003654708650000125
为基于k-1时刻的协方差计算k时刻协方差的预测值，Pk-1为k-1时刻协方差的最优结果，Q为系统过程噪声协方差。
通过公式(1)计算基于k-1时刻状态对k时刻系统状态的预测值，在初始时刻时将k-1时刻的测量值带入到
Figure BDA0003654708650000131
中即可得到对k时刻的预测值
Figure BDA0003654708650000132
通过公式(2)计算基于k-1时刻对k时刻的协方差的预测值。在初始时刻Pk-1和Q为已知量，通过公式(2)就可以算出k时刻的协方差预测值。
更新公式为：
Figure BDA0003654708650000133
其中，Kk为k时刻的卡尔曼增益，H为系统测量矩阵，R为测量噪声。
Figure BDA0003654708650000134
其中，zk为k时刻的测量值，
Figure BDA0003654708650000135
为k时刻系统状态的最优结果。
Figure BDA0003654708650000136
其中，Pk为k时刻系统最优结果对应的协方差。
通过公式(3)可以算出k时刻的卡尔曼增益。通过公式(4)计算k时刻系统状态最优值。通过公式(5)计算出k时刻系统最优结果对应的协方差。
通过第二步即可完成单步预测过程。对上述公式进行N次迭代，即可完成对未来的N步轨迹点的预测，将这些点画在图像中，就是物体未来一段时间的运动轨迹。
本发明还提供一种三维激光雷达和视觉融合的目标预测装置,其结构框图如图3所示，所述一种三维激光雷达和视觉融合的目标预测装置300，包括：
标定模块301，用于获取视觉摄像头和三维激光雷达的坐标系映射关系；
视觉目标信息获取模块302，用于利用所述视觉摄像头获取图像数据，根据所述图像数据得到多个目标物体的视觉目标信息；
点云目标信息获取模块303，用于利用所述三维激光雷达获取点云数据，根据所述坐标系映射关系和所述点云数据得到多个所述目标物体的点云目标信息；
融合模块304，用于将多个所述目标物体的视觉目标信息与点云目标信息进行匹配融合，得到多个所述目标物体的综合目标信息；
预测模块305，用于根据多个所述目标物体的综合目标信息确定特定动态目标，并确定所述特定动态目标的预测运动轨迹。
如图4所示，上述的一种三维激光雷达和视觉融合的目标预测方法，本发明还相应提供了一种电子设备400，该电子设备可以是移动终端、桌上型计算机、笔记本、掌上电脑及服务器等计算设备。该电子设备包括处理器401、存储器402及显示器403。
存储器402在一些实施例中可以是计算机设备的内部存储单元，例如计算机设备的硬盘或内存。存储器402在另一些实施例中也可以是计算机设备的外部存储设备，例如计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器402还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器402用于存储安装于计算机设备的应用软件及各类数据，例如安装计算机设备的程序代码等。存储器402还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器402上存储有一种三维激光雷达和视觉融合的目标预测方法程序404，该一种三维激光雷达和视觉融合的目标预测方法程序404可被处理器401所执行，从而实现本发明各实施例的一种三维激光雷达和视觉融合的目标预测方法。
处理器401在一些实施例中可以是一中央处理器(Central Processing Unit，CPU)，微处理器或其他数据处理芯片，用于运行存储器402中存储的程序代码或处理数据，例如执行一种三维激光雷达和视觉融合的目标预测方法程序等。
显示器403在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。显示器403用于显示在计算机设备的信息以及用于显示可视化的用户界面。计算机设备的部件401-403通过系统总线相互通信。
本实施例还提供了一种计算机可读存储介质，所述程序介质存储有计算机程序指令，当所述计算机程序指令被计算机执行时，使计算机执行上述技术方案任一所述的三维激光雷达和视觉融合的目标预测方法。
根据本发明上述实施例提供的计算机可读存储介质和计算设备，可以参照根据本发明实现如上所述的三维激光雷达和视觉融合的目标预测方法具体描述的内容实现，并具有与如上所述的一种三维激光雷达和视觉融合的目标预测方法类似的有益效果，在此不再赘述。
本发明公开的一种三维激光雷达和视觉融合的目标预测方法、装置、电子设备和计算机可读存储介质，首先，获取视觉摄像头和三维激光雷达的坐标系映射关系；其次，获取图像数据，根据所述图像数据得到目标物体的视觉目标信息；获取点云数据，根据所述坐标系映射关系和所述点云数据得到目标物体的点云目标信息；再次，将所述视觉目标信息与点云目标信息进行匹配融合，得到所述目标物体的综合目标信息；最后，根据所述目标物体的综合目标信息确定特定动态目标，并确定所述特定动态目标的预测运动轨迹。
本发明通过对图像信息和三维激光雷达的点云信息进行融合处理，可以较为准确的获取无人驾驶车辆周围动态障碍物的综合信息，具有较高的识别效率和识别准确度；根据识别结果对动态障碍物的运动进行跟踪预测，有助于无人驾驶车辆提前确定周围环境可能存在的安全隐患，并及时采取相应措施，从而有效避免交通事故的发生。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种三维激光雷达和视觉融合的目标预测方法，其特征在于，包括：
获取视觉摄像头和三维激光雷达的坐标系映射关系；
利用所述视觉摄像头获取图像数据，根据所述图像数据得到多个目标物体的视觉目标信息；
利用所述三维激光雷达获取点云数据，根据所述坐标系映射关系和所述点云数据得到多个所述目标物体的点云目标信息；
将多个所述目标物体的视觉目标信息与点云目标信息进行匹配融合，得到多个所述目标物体的综合目标信息；
根据多个所述目标物体的综合目标信息确定特定动态目标，并确定所述特定动态目标的预测运动轨迹。
2.根据权利要求1所述的三维激光雷达和视觉融合的目标预测方法，其特征在于，获取视觉摄像头和三维激光雷达的坐标系映射关系，包括：
对所述视觉摄像头进行标定，利用标定后的视觉摄像头在不同角度采集预设棋盘格的图像数据；
利用所述三维激光雷达获取所述预设棋盘格的点云数据；
根据所述预设棋盘格的点云数据和图像数据对所述视觉摄像头和三维激光雷达进行联合标定，得到视觉摄像头和三维激光雷达的坐标系映射关系。
3.根据权利要求1所述的三维激光雷达和视觉融合的目标预测方法，其特征在于，利用所述视觉摄像头获取图像数据，根据所述图像数据得到目标物体的视觉目标信息，包括：
利用所述视觉摄像头获取至少两帧图像数据；
根据所述图像数据得到多帧所述图像数据中目标物体的尺寸信息和类别信息。
4.根据权利要求3所述的三维激光雷达和视觉融合的目标预测方法，其特征在于，根据所述图像数据得到多帧所述图像数据中目标物体的尺寸信息和类别信息，包括：
将所述图像数据输入到预设的目标检测模型中，得到二维目标框和所述二维目标框内物体的尺寸信息和类别信息；
利用预设的跟踪算法对所述二维目标框内的物体进行跟踪，对所述多帧图像数据中的同一个目标物体进行标记，确定所述目标物体的尺寸信息和类别信息。
5.根据权利要求3所述的三维激光雷达和视觉融合的目标预测方法，其特征在于，根据所述坐标系映射关系和所述点云数据得到目标物体的点云目标信息，包括；
根据所述坐标系映射关系，将所述点云数据投影到所述视觉摄像头的图像坐标系中，得到投影目标框；
将所述投影目标框内的物体进行聚类和特征提取，得到所述投影目标框内目标物体的位置信息、速度信息和方位信息。
6.根据权利要求5所述的三维激光雷达和视觉融合的目标预测方法，其特征在于，将所述目标物体的视觉目标信息与点云目标信息进行匹配融合，得到所述目标物体的综合目标信息，包括：
对所述二维目标框内和投影目标框进行匹配，得到所述二维目标框和所述投影目标框中的同一个目标物体；
对所述目标物体进行信息融合，得到所述目标物体的位置信息、方位信息、速度信息、尺寸信息和类别信息。
7.根据权利要求6所述的三维激光雷达和视觉融合的目标预测方法，其特征在于，根据多个所述目标物体的综合目标信息确定特定动态目标，并确定所述特定动态目标的预测运动轨迹，包括：
根据多个所述目标物体的位置信息、方位信息、速度信息、尺寸信息和类别信息，确定特定动态目标；
根据所述特定动态目标的位置信息、尺寸信息和预设的目标跟踪算法对所述特定动态目标的预测运动轨迹进行预测。
8.一种三维激光雷达和视觉融合的目标预测装置，其特征在于，包括：
标定模块，用于获取视觉摄像头和三维激光雷达的坐标系映射关系；
视觉目标信息获取模块，用于利用所述视觉摄像头获取图像数据，根据所述图像数据得到多个目标物体的视觉目标信息；
点云目标信息获取模块，用于利用所述三维激光雷达获取点云数据，根据所述坐标系映射关系和所述点云数据得到多个所述目标物体的点云目标信息；
融合模块，用于将多个所述目标物体的视觉目标信息与点云目标信息进行匹配融合，得到多个所述目标物体的综合目标信息；
预测模块，用于根据多个所述目标物体的综合目标信息确定特定动态目标，并确定所述特定动态目标的预测运动轨迹。
9.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1-7任一所述的三维激光雷达和视觉融合的目标预测方法。
10.一种计算机可读存储介质，其特征在于，所述程序介质存储有计算机程序指令，当所述计算机程序指令被计算机执行时，使计算机执行根据权利要求1-7中任一所述的三维激光雷达和视觉融合的目标预测方法。
CN202210550233.3A 2022-05-20 2022-05-20 一种三维激光雷达和视觉融合的目标预测方法 Pending CN115205391A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210550233.3A CN115205391A (zh) 2022-05-20 2022-05-20 一种三维激光雷达和视觉融合的目标预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210550233.3A CN115205391A (zh) 2022-05-20 2022-05-20 一种三维激光雷达和视觉融合的目标预测方法

Publications (1)

Publication Number Publication Date
CN115205391A true CN115205391A (zh) 2022-10-18

Family

ID=83574582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210550233.3A Pending CN115205391A (zh) 2022-05-20 2022-05-20 一种三维激光雷达和视觉融合的目标预测方法

Country Status (1)

Country Link
CN (1) CN115205391A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116182831A (zh) * 2022-12-07 2023-05-30 北京斯年智驾科技有限公司 车辆定位方法、装置、设备、介质及车辆
CN116297495A (zh) * 2023-05-09 2023-06-23 武汉理工大学 一种基于结构光图像的管壁检测方法及管壁检测装置
CN116523970A (zh) * 2023-07-05 2023-08-01 之江实验室 基于二次隐式匹配的动态三维目标跟踪方法及装置
CN116902003A (zh) * 2023-07-31 2023-10-20 合肥海普微电子有限公司 基于激光雷达与摄像头混合模态的无人驾驶方法
CN117554949A (zh) * 2024-01-08 2024-02-13 中国电子科技集团公司第十五研究所 一种联动式目标接力跟踪方法和系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116182831A (zh) * 2022-12-07 2023-05-30 北京斯年智驾科技有限公司 车辆定位方法、装置、设备、介质及车辆
CN116297495A (zh) * 2023-05-09 2023-06-23 武汉理工大学 一种基于结构光图像的管壁检测方法及管壁检测装置
CN116523970A (zh) * 2023-07-05 2023-08-01 之江实验室 基于二次隐式匹配的动态三维目标跟踪方法及装置
CN116523970B (zh) * 2023-07-05 2023-10-20 之江实验室 基于二次隐式匹配的动态三维目标跟踪方法及装置
CN116902003A (zh) * 2023-07-31 2023-10-20 合肥海普微电子有限公司 基于激光雷达与摄像头混合模态的无人驾驶方法
CN116902003B (zh) * 2023-07-31 2024-02-06 合肥海普微电子有限公司 基于激光雷达与摄像头混合模态的无人驾驶方法
CN117554949A (zh) * 2024-01-08 2024-02-13 中国电子科技集团公司第十五研究所 一种联动式目标接力跟踪方法和系统
CN117554949B (zh) * 2024-01-08 2024-03-29 中国电子科技集团公司第十五研究所 一种联动式目标接力跟踪方法和系统

Similar Documents

Publication Publication Date Title
US20230260151A1 (en) Simultaneous Localization and Mapping Method, Device, System and Storage Medium
CN112417967B (zh) 障碍物检测方法、装置、计算机设备和存储介质
CN115205391A (zh) 一种三维激光雷达和视觉融合的目标预测方法
Rahman et al. Notice of violation of IEEE publication principles: Recent advances in 3D object detection in the era of deep neural networks: A survey
CN112212874B (zh) 车辆轨迹预测方法、装置、电子设备及计算机可读介质
Wu et al. Regional feature fusion for on-road detection of objects using camera and 3D-LiDAR in high-speed autonomous vehicles
US20190147320A1 (en) "Matching Adversarial Networks"
Siegemund et al. A temporal filter approach for detection and reconstruction of curbs and road surfaces based on conditional random fields
CN113865580A (zh) 构建地图的方法、装置、电子设备及计算机可读存储介质
CN113378760A (zh) 训练目标检测模型和检测目标的方法及装置
JP7224682B1 (ja) 自律走行のための３次元多重客体検出装置及び方法
CN110986945B (zh) 基于语义高度地图的局部导航方法和系统
CN110992424B (zh) 基于双目视觉的定位方法和系统
WO2021097087A1 (en) Generating depth from camera images and known depth data using neural networks
Jang et al. Road lane semantic segmentation for high definition map
CN114387576A (zh) 一种车道线识别方法、系统、介质、设备及信息处理终端
CN116664851A (zh) 一种基于人工智能的自动驾驶数据提取方法
Ahmed et al. Lane marking detection using LiDAR sensor
Tas et al. High-definition map update framework for intelligent autonomous transfer vehicles
CN113469045B (zh) 无人集卡的视觉定位方法、系统、电子设备和存储介质
Lee et al. Map Matching-Based Driving Lane Recognition for Low-Cost Precise Vehicle Positioning on Highways
Nowak et al. Vision-based positioning of electric buses for assisted docking to charging stations
Ma et al. Monocular 3D lane detection for Autonomous Driving: Recent Achievements, Challenges, and Outlooks
CN112747757A (zh) 用于提供雷达数据的方法和设备、计算机程序和计算机可读存储介质
Ma et al. FMCW Radar on LiDAR map localization in structural urban environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination