CN112233097B - 基于空时域多维融合的道路场景他车检测系统和方法 - Google Patents

基于空时域多维融合的道路场景他车检测系统和方法 Download PDF

Info

Publication number
CN112233097B
CN112233097B CN202011120818.9A CN202011120818A CN112233097B CN 112233097 B CN112233097 B CN 112233097B CN 202011120818 A CN202011120818 A CN 202011120818A CN 112233097 B CN112233097 B CN 112233097B
Authority
CN
China
Prior art keywords
detection
target
data
target detection
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011120818.9A
Other languages
English (en)
Other versions
CN112233097A (zh
Inventor
高洪波
黄逸飞
李智军
朱菊萍
何希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202011120818.9A priority Critical patent/CN112233097B/zh
Publication of CN112233097A publication Critical patent/CN112233097A/zh
Application granted granted Critical
Publication of CN112233097B publication Critical patent/CN112233097B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于空时域多维融合技术的道路场景他车检测系统和方法，利用相机、雷达的标定参数得到投影矩阵，根据距离远近以不同的色调，通过投影矩阵将雷达点云数据与相机图像数据融合，形成多维融合图像数据；采用两个YOLOv3模型分别对相机图像数据和多维融合图像数据进行检测，标定目标车辆的检测框，形成第一标注图片和第二标注图片后进行训练，得到第一目标检测模型和第二目标检测模型；对目标车辆的检测框进行跟踪和数据关联，筛选后输出检测结果。结合图像序列帧的时域信息通过数据关联实现目标追踪进行他车检测，更接近实际的道路场景，减少了因道路场景车辆的运动性而产生的对他车检测精度的影响，提高检测精确度，鲁棒性。

Description

基于空时域多维融合的道路场景他车检测系统和方法
技术领域
本发明涉及模式识别与人工智能技术领域，具体地，涉及一种基于空时域多维融合的道路场景他车检测系统和方法，尤其是一种结合了相机图像信息、雷达点云信息和目标跟踪信息的基于空时域多维融合技术的道路场景他车检测方法。
背景技术
在计算机技术不断发展的现在，深度学习技术在目标检测领域取得了巨大的进展，与此同时，汽车的保有量在不断提升，人们对代步工具的便利性与安全性有了日益增长的新要求。在目标检测中，车辆的目标检测是一大重要领域，能否快速安全地检测车辆，是无人驾驶技术的可行性与安全性的前提，具有较大的研究意义。
目前传统的目标检测算法多为对单帧RBG图像进行的目标检测。这样的检测方法有几个缺点，首先，在实际的道路场景中，自动驾驶车辆具有多种传感器，如激光雷达、彩色相机、GPS系统等，采取单一的图像目标检测方法不能充分地利用这些道路场景空域上的多维信息。第二，道路场景中图像的形式为一帧帧的连续视频序列，在这些序列中，图像的帧与帧之间存在大量的冗余信息以及关联信息，采取单一的图像目标检测方法不能充分地利用这些道路场景时域上的多维信息。第三，在运动的车辆上，相机采集到的图像往往具有遮挡，失焦，运动模糊，光照变化等问题，若采取单一的图像目标检测方法，不能充分地避免这些问题对目标检测算法精确度的影响，这给道路场景的目标检测带来了较大的难度。在现有的目标检测法越来越精确，快速的情况下，利用道路场景空域的多维信息以及时域信息的关联性，结合现有的目标检测方法，可以提高检测的性能。深度神经网络的研究为我们提供了检测的工具，其中YOLOv3网络对目标检测具有较高的准确性与实时性。相比单帧信息的目标检测方法，在道路场景中采取目标跟踪数据关联的方式结合多帧信息，可以进一步提高目标检测的准确率和鲁棒性。道路场景中车辆检测的准确度对后续无人驾驶技术的安全问题至关重要。
与本申请相关的专利文献CN110781927A，开了车路协同下基于深度学习的目标检测与分类方法，包括：获取目标的点云数据，并将所述目标的点云数据映射到矩阵中，对所述点云数据进行网格化；采用基于网格化与帧融合的密度聚类，判断空间中目标的邻域关系和密度；根据所述基于网格化与帧融合的密度聚类，通过权重共享卷积核提取所述点云数据的局部特征，对所述目标进行分类。基于深度学习对目标进行了准确的检测与分类，但是并不适用于多维道路场景检测。利用了交通系统中的监控设备，相比配备了监控设备的城市交通，在没有监控设备或缺少监控设备的乡村街道等道路场景，并不适用。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于空时域多维融合技术的道路场景他车检测系统和方法。
根据本发明提供的一种基于空时域多维融合技术的道路场景他车检测系统，包括：
数据预处理模块：利用相机、雷达的标定参数得到投影矩阵，根据距离远近以不同的色调，通过投影矩阵将雷达点云数据与相机图像数据融合，形成多维融合图像数据；
目标检测网络模块：采用两个YOLOv3模型分别对相机图像数据和多维融合图像数据进行检测，标定目标车辆的检测框，形成第一标注图片和第二标注图片，并对第一标注图片和第二标注图片进行训练，得到第一目标检测模型和第二目标检测模型；
数据关联追踪后处理模块：对目标车辆的检测框进行跟踪和数据关联，筛选后输出检测结果。
优选地，所述数据预处理模块包括：
KITTI数据集预处理模块：将KITTI目标跟踪数据集按视频序列分为训练集与测试集；训练集与测试集中忽略非车辆，保留车辆类别，用于他车检测，将标注信息格式转换为YOLOv3所用的格式；
图像数据融合处理模块：使用KITTI目标跟踪数据集给出的雷达点云与图像的配准关系，将雷达点云数据平移变换与相机图像数据对齐，以点阵形式投影在相机图像数据中，以冷暖色调表示远近的距离信息，得到多维融合图像数据。
优选地，所述目标检测网络模块包括：
标定检测框模块：使用darknet53网络结构对相机图像数据和多维融合图像数据进行特征提取，通过网格对背景前景划分，形成预测框；
训练检测模型模块：使用两个YOLOv3模型分别依据第一标注图片和第二标注图片进行训练和预测，得到第一目标检测模型和第二目标检测模型。
优选地，所述数据关联追踪后处理模块包括：
数据关联筛选模块：令第一目标检测模型和第二目标检测模型输出的检测框序列，进行两两数据关联，筛选出高置信度的检测框；
数据关联追踪模块：分别对两个目标检测网络在时间轴上相邻帧之间的检测框进行关联匹配，得到被追踪目标。
优选地，对使用数据关联区分后的检测框有选择的进行输出，检测框一共有四类，第一类为在两个目标检测网络所得到的检测框关联成功的交集；第二类为在相机图像目标检测网络中经过相邻帧的关联算法关联后被判定为被追踪目标的目标检测框；第三类为在雷达点云投影图像目标检测网络中经过相邻帧关联算法关联后被判定为追踪目标且上一帧与另一目标检测网络成功关联的目标检测框；第四类为在第一、第二、第三类之外的所有目标检测框。
根据本发明提供的一种基于空时域多维融合技术的道路场景他车检测方法，包括：
数据预处理步骤：利用相机、雷达的标定参数得到投影矩阵，根据距离远近以不同的色调，通过投影矩阵将雷达点云数据与相机图像数据融合，形成多维融合图像数据；
目标检测网络步骤：采用两个YOLOv3模型分别对相机图像数据和多维融合图像数据进行检测，标定目标车辆的检测框，形成第一标注图片和第二标注图片，并对第一标注图片和第二标注图片进行训练，得到第一目标检测模型和第二目标检测模型；
数据关联追踪后处理步骤：对目标车辆的检测框进行跟踪和数据关联，筛选后输出检测结果。
优选地，所述数据预处理步骤包括：
KITTI数据集预处理步骤：将KITTI目标跟踪数据集按视频序列分为训练集与测试集；训练集与测试集中忽略非车辆，保留车辆类别，用于他车检测，将标注信息格式转换为YOLOv3所用的格式；
图像数据融合处理步骤：使用KITTI目标跟踪数据集给出的雷达点云与图像的配准关系，将雷达点云数据平移变换与相机图像数据对齐，以点阵形式投影在相机图像数据中，以冷暖色调表示远近的距离信息，得到多维融合图像数据。
优选地，所述目标检测网络步骤包括：
标定检测框步骤：使用darknet53网络结构对相机图像数据和多维融合图像数据进行特征提取，通过网格对背景前景划分，形成预测框；
训练检测模型步骤：使用两个YOLOv3模型分别依据第一标注图片和第二标注图片进行训练和预测，得到第一目标检测模型和第二目标检测模型。
优选地，所述数据关联追踪后处理步骤包括：
数据关联筛选步骤：令第一目标检测模型和第二目标检测模型输出的检测框序列，进行两两数据关联，筛选出高置信度的检测框；
数据关联追踪步骤：分别对两个目标检测网络在时间轴上相邻帧之间的检测框进行关联匹配，得到被追踪目标。
与现有技术相比，本发明具有如下的有益效果：
1、本发明相对使用单帧空域信息的目标检测算法，结合图像序列帧的时域信息通过数据关联实现目标追踪进行他车检测，更接近实际的道路场景，减少了因道路场景车辆的运动性而产生的遮挡，运动模糊，失焦等问题对他车检测精度的影响，从而提高检测精确度，鲁棒性。
2、本发明相对使用相机图像的目标检测算法，结合雷达点云的深度信息进行他车检测，通过多传感器检测结果融合的方式，减少了因相机图像成像性质出现的光照变化，失焦，运动模糊等问题对他车检测精度的影响，从而提高检测精确度，鲁棒性。
3、本发明相对使用雷达点云信息的目标检测算法，结合相机图像信息进行他车检测，通过多传感器检测结果融合的方式，减少了激光雷达因稀疏性而产生的小物体，远处物体难以检测问题。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的总体结构示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明结合了车载摄像头以及车载激光雷达信息，并使用具有实时性的YOLOv3网络，在不同场景中对目标进行了实时性的检测与分类，并具有较高的准确性。
实施例1
如图1所示，一种基于空时域多维融合技术的道路场景他车检测系统，分为数据预处理模块、目标检测网络模块和数据关联追踪后处理模块三部分。数据预处理模块用于为目标检测网络模块提供多维融合的图像数据，相机采集到的图像为目标检测网络提供他车检测的主要数据，激光雷达采集到的点云信息投影在图像平面上，为目标检测网络提供他车检测的辅助数据，用于改善在目标检测中出现的错检，误检等情况。目标检测网络模块用于为后续后处理提供可靠的检测框。数据关联追踪后处理模块用于整个系统的输出，对目标检测网络输出的检测框进行数据关联与筛选，从而择优输出最佳的检测结果，解决目标检测网络中常出现的遮挡，模糊等问题，从而提高在道路场景中的他车检测精确度，鲁棒性。
本发明主要针对道路场景的他车检测问题，其网络特性能够使检测速度与传感器采样频率更加接近，并改善了因为遮挡，运动模糊等在道路场景中常常出现的问题而导致的检测错误，能够为后续的使用提供有效可靠的他车检测结果。
本发明的数据预处理模块、目标检测网络模块和数据关联追踪后处理模块三部分的具体结构和连接关系如下。
所述的数据预处理模块利用相机、雷达的标定参数得到投影矩阵，将雷达点云数据与相机图像数据融合，根据距离远近以不同的色调投影到图像上。
所述的目标检测网络模块，两个YOLOv3模型分别对相机图像与雷达点云投影图像独立检测出目标车辆的检测框，使两个目标检测网络满足道路场景中他车检测所需的多维融合需求。
所述的目标检测网络模块中，两个YOLOv3模型分别依据KITTI数据集的标注图片与雷达点云投影图像的标注图片进行训练和预测，从而获取目标检测模型。通过形成两个目标检测模型后，对于不同检测器与视频帧序列之间的检测结果，即检测框，根据一定特征进行两两配对，即关联，从而起到目标追踪以及检测结果融合的效果。从而得出四类不同层次的检测框，即不同检测器检测结果的交集目标检测框，第一个检测器检测结果中被跟踪的目标检测框，第二个检测器检测结果中被跟踪的目标检测框，未出现在交集且未被跟踪的目标检测框。输出结果即检测器之间检测结果的交集，选择二者中置信度较高的一项输出；检测器中被跟踪的对象，检测器中不被跟踪但置信度较高的检测结果。从而得到最终输出检测框。其中置信度由网络特征提取后生成的特征向量得到。
所述的数据关联追踪后处理系统，使用数据关联算法对两个目标检测网络所得到的检测框进行关联匹配。关联成功的目标检测框准确度最高，从而区分了不同检测框的准确度优先级，使道路场景的他车检测更加可靠。
所述的数据关联追踪后处理系统，使用数据关联算法分别对两个目标检测网络在时间轴上相邻帧之间的检测框进行关联匹配。关联成功的目标检测框即视为被追踪目标，被追踪目标的准确度相对较高，从而区分了不同检测框的准确度优先级。使道路场景的他车检测更加可靠。
所述的数据关联追踪后处理系统，对使用数据关联算法区分后的检测框有选择的进行输出，这些检测框一共有四类，第一类为在两个目标检测网络所得到的检测框关联成功的交集；第二类为在相机图像目标检测网络中经过相邻帧的关联算法关联后被判定为被追踪目标的目标检测框；第三类为在雷达点云投影图像目标检测网络中经过相邻帧关联算法关联后被判定为追踪目标且上一帧与另一目标检测网络成功关联的目标检测框；第四类为在第一、第二、第三类之外的所有目标检测框。后处理系统输出结果为第一、第二、第三类。通过对检测框分类后输出，筛选出可信度高的检测结果，从而提高了道路场景中他车检测的准确度，鲁棒性。
所述的数据关联追踪后处理系统，使用的数据关联算法为匈牙利算法，匈牙利算法是解决指派问题的高效经典算法，而检测框的两两匹配恰好可以当作是指派问题进行处理。从而起到了数据关联的作用。
下面结合附图对本发明作进一步详述。
一种基于空、时域多维融合技术的道路场景他车检测系统，分为数据预处理模块、目标检测网络模块和数据关联追踪后处理模块三部分。
数据预处理模块包括KITTI数据集预处理与雷达点云数据与RGB图像数据的融合。
所述的KITTI数据集预处理是将KITTI目标跟踪数据集按视频序列分为训练集与测试集；将非车辆类忽略，保留‘Car’轿车，‘Van’巴士，‘Truck’货车三种类别，用于他车检测；将标注信息格式转换为yolov3所用的格式。
所述的雷达点云数据与RGB图像数据融合是使用KITTI数据集给出的雷达点云与图像的配准关系，即相机，雷达的内外标定参数，有转换关系：x＝P0*Tr*X，其中P0为投影矩阵，Tr为变换矩阵，X为点云坐标，x为点云投影坐标，使得雷达点云平移变换与RGB图像对齐。对齐后，以点阵的形式投影在图像中，以冷暖色调来表示远近的距离信息。这使得雷达点云的空间分布信息得以与RGB图像融合，在原始RGB图像中潜在地包含了深度信息，提高了传统二维目标检测数据的维度。
所述的目标检测网络系统所使用的神经网络模型为YOLOv3网络模型，该网络模型使用darknet53对输入的图像进行特征提取。将输入图像分为N×N个cell网格，每一个cell网格通过生成预测框的方式对目标进行预测以及背景前景的划分，每个预测框预测五个参数(tx ty tw th to),这些参数将生成检测框的实际位置与大小(bx by bw bh)满足以下关系：
bx＝σ(tx)+cx
by＝σ(ty)+cy
Figure BDA0002731964090000071
Figure BDA0002731964090000072
其中σ(x)函数为sigmoid函数，将值约束在0到1之间，保证中心点在cell网格中，cxcy为cell网格左上角位置的偏移值，pwph为ancher box的长宽值。ancher box为预设的固定参考框，通过上述转换可得到预测的检测框。
预测框的置信度公式为Pr(object)*IOU(b,object)＝σ(to)，其中Pr(object)表示当有标记框(ground truth)落于cell网格上时取值为1，否则取值为0。IOU(b,object)表示预测框与标记框(ground truth)的交并比，二者乘积即表示预测框是否含有目标以及目标的置信度大小，其中标记框为数据集制作中人工标记的在图片中目标的标记框，起到与检测框进行比对的作用。
所述的YOLOv3模型从3个不同尺度进行特征提取，以416*416的图像为例，三个不同尺度分别为52*52，26*26，13*13，分别为原图像的1/8,1/16以及1/32，提取后输出得到若干维的特征向量，维度数目为分类数目加五，前四个维度表示候选的检测框的信息，下一个维度表示有无物体的概率，最后的维度表示不同类别的分类概率。在对这些候选的检测框进行非极大值抑制后得到输出的检测框。在不同尺度下的featuremap上每个cell网格分别预测三个预测框，相对于YOLOv2提高了检测框总数以及多尺度检测从而提升了对小目标的检测能力，对于道路场景他车检测来说，更容易识别出远处在相机图像中表现得相对较小的车辆。
所述的YOLOv3模型的损失函数计算为坐标均方差(包括中心点坐标，预测框长宽值)、置信度均方差以及分类均方差之和。
所述的目标检测网络系统使用两个YOLOv3模型分别依据KITTI数据集的标注图片与雷达点云投影图像的标注图片进行训练和预测，从而得到两个不同的目标检测模型，模型中保存着网络模型的权重信息，网络对图像进行特征提取后可得到目标检测检测框。两个不同的目标检测模块分别对相机图像数据以及融合数据进行目标检测。
所述的数据关联追踪后处理系统输入为两个目标检测模型输出的检测框序列，使用数据关联的方法对不同检测器与视频序列之间的检测结果，即检测框序列。进行两两配对，在这里配对的依据为检测框中心点之间的距离以及检测框的交并比，即相交部分面积与并合部分面积的比值。依据这些数据，得到代价矩阵，使用匈牙利算法进行两两配对。通过两两之间的数据关联筛选出置信度较高的一部分检测框，同时通过相邻帧之间的数据关联得到被追踪目标，在上一步基础上得到完整的检测结果。
所述的数据关联追踪后处理系统使用匈牙利数据关联算法对检测框进行数据关联，即对于不同检测器与视频帧序列之间的检测结果，即检测框，根据一定特征进行两两配对，从而起到目标追踪以及检测结果融合的效果。算法结构如下：
第一步：对两类检测框(目标检测网络1与目标检测网络2或当前帧与上一帧)的所有检测框计算两两之间的匹配代价值从而得到代价矩阵d：
Figure BDA0002731964090000081
即检测框之间的欧氏距离，(x1,y1)和(x2,y2)分别为两个检测框的坐标，在使用该代价矩阵进行数据关联后，相对于只使用欧氏距离进行数据关联，考虑到他车往往不会发生形变，检测框大小变化不大，对已关联的检测框计算交并比，即相交部分面积与并合部分面积的比值。若交并比过小，则取消关联关系。
第二步：分别找出代价矩阵中每一行以及每一列中的最小元素，并按每行每列减去对应的元素，得到新的代价矩阵。
第三步：在变换后的代价矩阵中确定独立的0元素。若独立已有n个得到最优解；若独立0元素少于n个，转第四步。确定方法如下：找到0元素最少的行或列，圈出其中一个0元素，划掉该行或该列的其他0元素，重复此步骤使得矩阵中所有0元素都被圈出或者划掉。
第四步：作最少的直线数K将所有0元素覆盖，继续变换代价矩阵，得到新的代价矩阵，返回第三步。变换方式如下：从未被覆盖数字中找到最小值n，直线相交处元素加上n，被直线覆盖没有相交的元素不变，从而得到新的代价矩阵。
匹配成功后，根据设置的阈值得到关联成功后的检测框。
所述的数据关联追踪后处理系统在数据关联后得到了四类置信度不同的检测框，第一类为在两个目标检测网络所得到的检测框关联成功的交集；第二类为在相机图像目标检测网络中经过相邻帧的关联算法关联后被判定为被追踪目标的目标检测框；第三类为在雷达点云投影图像目标检测网络中经过相邻帧关联算法关联后被判定为追踪目标且上一帧与另一目标检测网络成功关联的目标检测框；第四类为在第一、第二、第三类之外的所有目标检测框。后处理系统输出结果为第一、第二、第三类。通过对检测框分类后输出，筛选出可信度高的检测结果，即检测器之间检测结果的交集，选择二者中置信度较高的一项输出；检测器中被跟踪的对象，检测器中不被跟踪但置信度较高的检测结果。从而提高了道路场景中他车检测的准确度，鲁棒性。
实施例2
实施例2可以视为是实施例1的优选例。实施例2说明的基于空时域多维融合技术的道路场景他车检测方法，利用了实施例1说明的基于空时域多维融合技术的道路场景他车检测系统。
一种基于空时域多维融合技术的道路场景他车检测方法，包括：
数据预处理步骤：利用相机、雷达的标定参数得到投影矩阵，根据距离远近以不同的色调，通过投影矩阵将雷达点云数据与相机图像数据融合，形成多维融合图像数据；
目标检测网络步骤：采用两个YOLOv3模型分别对相机图像数据和多维融合图像数据进行检测，标定目标车辆的检测框，形成第一标注图片和第二标注图片，并对第一标注图片和第二标注图片进行训练，得到第一目标检测模型和第二目标检测模型，使两个目标检测网络满足道路场景中他车检测所需的多维融合需求。两个YOLOv3模型分别依据KITTI数据集的标注图片与雷达点云投影图像的标注图片进行训练和预测，从而获取目标检测模型；
数据关联追踪后处理步骤：对目标车辆的检测框进行跟踪和数据关联，筛选后输出检测结果，使用数据关联算法对两个目标检测网络所得到的检测框进行关联匹配。关联成功的目标检测框准确度最高，从而区分了不同检测框的准确度优先级，使道路场景的他车检测更加可靠。尤其是，使用数据关联算法分别对两个目标检测网络在时间轴上相邻帧之间的检测框进行关联匹配。关联成功的目标检测框即视为被追踪目标，被追踪目标的准确度相对较高，从而区分了不同检测框的准确度优先级。使道路场景的他车检测更加可靠。
所述数据预处理步骤包括：
KITTI数据集预处理步骤：将KITTI目标跟踪数据集按视频序列分为训练集与测试集；训练集与测试集中忽略非车辆，保留车辆类别，用于他车检测，将标注信息格式转换为YOLOv3所用的格式；
图像数据融合处理步骤：使用KITTI目标跟踪数据集给出的雷达点云与图像的配准关系，将雷达点云数据平移变换与相机图像数据对齐，以点阵形式投影在相机图像数据中，以冷暖色调表示远近的距离信息，得到多维融合图像数据。
所述目标检测网络步骤包括：
标定检测框步骤：使用darknet53网络结构对相机图像数据和多维融合图像数据进行特征提取，通过网格对背景前景划分，形成预测框；
训练检测模型步骤：使用两个YOLOv3模型分别依据第一标注图片和第二标注图片进行训练和预测，得到第一目标检测模型和第二目标检测模型。
所述数据关联追踪后处理步骤包括：
数据关联筛选步骤：令第一目标检测模型和第二目标检测模型输出的检测框序列，进行两两数据关联，筛选出高置信度的检测框；
数据关联追踪步骤：分别对两个目标检测网络在时间轴上相邻帧之间的检测框进行关联匹配，得到被追踪目标。
对使用数据关联区分后的检测框有选择的进行输出，检测框一共有四类，第一类为在两个目标检测网络所得到的检测框关联成功的交集；第二类为在相机图像目标检测网络中经过相邻帧的关联算法关联后被判定为被追踪目标的目标检测框；第三类为在雷达点云投影图像目标检测网络中经过相邻帧关联算法关联后被判定为追踪目标且上一帧与另一目标检测网络成功关联的目标检测框；第四类为在第一、第二、第三类之外的所有目标检测框。后处理系统输出结果为第一、第二、第三类。通过对检测框分类后输出，筛选出可信度高的检测结果，从而提高了道路场景中他车检测的准确度，鲁棒性。使用的数据关联算法为匈牙利算法，匈牙利算法是解决指派问题的高效经典算法，而检测框的两两匹配恰好可以当作是指派问题进行处理。从而起到了数据关联的作用。
本发明主要针对道路场景的他车检测问题，其网络特性能够使检测速度与传感器采样频率更加接近，并改善了因为遮挡，运动模糊等在道路场景中常常出现的问题而导致的检测错误，能够为后续的使用提供有效可靠的他车检测结果。
数据预处理为目标检测网络提供多维融合的图像数据，相机采集到的图像为目标检测网络提供他车检测的主要数据，激光雷达采集到的点云信息投影在图像平面上，为目标检测网络提供他车检测的辅助数据，用于改善在目标检测中出现的错检，误检等情况。目标检测网络用于为后续后处理提供可靠的检测框。数据关联追踪后处理对目标检测网络输出的检测框进行数据关联与筛选，从而择优输出最佳的检测结果，解决目标检测网络中常出现的遮挡，模糊等问题。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (8)

1.一种基于空时域多维融合技术的道路场景他车检测系统，其特征在于，包括：
数据预处理模块：利用相机、雷达的标定参数得到投影矩阵，根据距离远近以不同的色调，通过投影矩阵将雷达点云数据与相机图像数据融合，形成多维融合图像数据；
目标检测网络模块：采用两个YOLOv3模型分别对相机图像数据和多维融合图像数据进行检测，标定目标车辆的检测框，形成第一标注图片和第二标注图片，并利用第一标注图片和第二标注图片对模型进行训练，得到第一目标检测模型和第二目标检测模型；
数据关联追踪后处理模块：数据关联后对目标车辆的检测框进行跟踪，筛选后输出检测结果；
所述数据关联追踪后处理模块包括：
数据关联筛选模块：令第一目标检测模型和第二目标检测模型输出的检测框序列，进行两两数据关联，筛选出高置信度的检测框；
数据关联追踪模块：分别对两个目标检测网络在时间轴上相邻帧之间的检测框进行关联匹配，得到被追踪目标。
2.根据权利要求1所述的基于空时域多维融合技术的道路场景他车检测系统，其特征在于，所述数据预处理模块包括：
KITTI数据集预处理模块：将KITTI目标跟踪数据集按视频序列分为训练集与测试集；训练集与测试集中忽略非车辆，保留车辆类别，用于他车检测，将标注信息格式转换为YOLOv3所用的格式；
图像数据融合处理模块：使用KITTI目标跟踪数据集给出的雷达点云与图像的配准关系，将雷达点云数据平移变换与相机图像数据对齐，以点阵形式投影在相机图像数据中，以冷暖色调表示远近的距离信息，得到多维融合图像数据。
3.根据权利要求1所述的基于空时域多维融合技术的道路场景他车检测系统，其特征在于，所述目标检测网络模块包括：
标定检测框模块：使用darknet53网络结构对相机图像数据和多维融合图像数据进行特征提取，通过网格对背景前景划分，形成预测框；
训练检测模型模块：使用两个YOLOv3模型分别依据第一标注图片和第二标注图片进行训练和预测，得到第一目标检测模型和第二目标检测模型。
4.根据权利要求1所述的基于空时域多维融合技术的道路场景他车检测系统，其特征在于，对使用数据关联区分后的检测框有选择的进行输出，检测框一共有四类，第一类为在两个目标检测网络所得到的检测框关联成功的交集；第二类为在相机图像目标检测网络中经过相邻帧的关联算法关联后被判定为被追踪目标的目标检测框；第三类为在相机图像目标检测网络中经过相邻帧关联算法关联后被判定为追踪目标且上一帧与另一目标检测网络成功关联的目标检测框；第四类为在第一、第二、第三类之外的所有目标检测框。
5.一种基于空时域多维融合技术的道路场景他车检测方法，其特征在于，包括：
数据预处理步骤：利用相机、雷达的标定参数得到投影矩阵，根据距离远近以不同的色调，通过投影矩阵将雷达点云数据与相机图像数据融合，形成多维融合图像数据；
目标检测网络步骤：采用两个YOLOv3模型分别对相机图像数据和多维融合图像数据进行检测，标定目标车辆的检测框，形成第一标注图片和第二标注图片，并利用第一标注图片和第二标注图片对模型进行训练，得到第一目标检测模型和第二目标检测模型；
数据关联追踪后处理步骤：数据关联后对目标车辆的检测框进行跟踪，筛选后输出检测结果；
所述数据关联追踪后处理步骤包括：
数据关联筛选步骤：令第一目标检测模型和第二目标检测模型输出的检测框序列，进行两两数据关联，筛选出高置信度的检测框；
数据关联追踪步骤：分别对两个目标检测网络在时间轴上相邻帧之间的检测框进行关联匹配，得到被追踪目标。
6.根据权利要求5所述的基于空时域多维融合技术的道路场景他车检测方法，其特征在于，所述数据预处理步骤包括：
KITTI数据集预处理步骤：将KITTI目标跟踪数据集按视频序列分为训练集与测试集；训练集与测试集中忽略非车辆，保留车辆类别，用于他车检测，将标注信息格式转换为YOLOv3所用的格式；
图像数据融合处理步骤：使用KITTI目标跟踪数据集给出的雷达点云与图像的配准关系，将雷达点云数据平移变换与相机图像数据对齐，以点阵形式投影在相机图像数据中，以冷暖色调表示远近的距离信息，得到多维融合图像数据。
7.根据权利要求5所述的基于空时域多维融合技术的道路场景他车检测方法，其特征在于，所述目标检测网络步骤包括：
标定检测框步骤：使用darknet53网络结构对相机图像数据和多维融合图像数据进行特征提取，通过网格对背景前景划分，形成预测框；
训练检测模型步骤：使用两个YOLOv3模型分别依据第一标注图片和第二标注图片进行训练和预测，得到第一目标检测模型和第二目标检测模型。
8.根据权利要求5所述的基于空时域多维融合技术的道路场景他车检测方法，其特征在于，对使用数据关联区分后的检测框有选择的进行输出，检测框一共有四类，第一类为在两个目标检测网络所得到的检测框关联成功的交集；第二类为在相机图像目标检测网络中经过相邻帧的关联算法关联后被判定为被追踪目标的目标检测框；第三类为在相机图像目标检测网络中经过相邻帧关联算法关联后被判定为追踪目标且上一帧与另一目标检测网络成功关联的目标检测框；第四类为在第一、第二、第三类之外的所有目标检测框。
CN202011120818.9A 2020-10-19 2020-10-19 基于空时域多维融合的道路场景他车检测系统和方法 Active CN112233097B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011120818.9A CN112233097B (zh) 2020-10-19 2020-10-19 基于空时域多维融合的道路场景他车检测系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011120818.9A CN112233097B (zh) 2020-10-19 2020-10-19 基于空时域多维融合的道路场景他车检测系统和方法

Publications (2)

Publication Number Publication Date
CN112233097A CN112233097A (zh) 2021-01-15
CN112233097B true CN112233097B (zh) 2022-10-28

Family

ID=74118601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011120818.9A Active CN112233097B (zh) 2020-10-19 2020-10-19 基于空时域多维融合的道路场景他车检测系统和方法

Country Status (1)

Country Link
CN (1) CN112233097B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861711A (zh) * 2021-02-05 2021-05-28 深圳市安软科技股份有限公司 区域入侵检测方法、装置、电子设备及存储介质
CN113066124A (zh) * 2021-02-26 2021-07-02 华为技术有限公司 一种神经网络的训练方法以及相关设备
CN113221754A (zh) * 2021-05-14 2021-08-06 深圳前海百递网络有限公司 快递单图像检测方法、装置、计算机设备和存储介质
CN113902905A (zh) * 2021-10-11 2022-01-07 北京百度网讯科技有限公司 图像处理方法、装置和电子设备
CN113743385A (zh) * 2021-11-05 2021-12-03 陕西欧卡电子智能科技有限公司 一种无人船水面目标检测方法、装置及无人船
CN113780257B (zh) * 2021-11-12 2022-02-22 紫东信息科技(苏州)有限公司 多模态融合弱监督车辆目标检测方法及系统
CN114187328B (zh) * 2022-02-15 2022-07-05 智道网联科技(北京)有限公司 一种物体检测方法、装置和电子设备
CN114648559B (zh) * 2022-03-24 2024-08-27 重庆长安汽车股份有限公司 一种用于计算目标关联距离的方法
CN115100741B (zh) * 2022-06-16 2024-07-30 清华大学 一种点云行人距离风险检测方法、系统、设备和介质
CN115496923B (zh) * 2022-09-14 2023-10-20 北京化工大学 一种基于不确定性感知的多模态融合目标检测方法及装置
CN115359333B (zh) * 2022-10-24 2023-03-24 山东矩阵软件工程股份有限公司 基于多种类数据采集设备的多维度信息融合方法
CN117671320B (zh) * 2023-05-30 2024-10-15 北京辉羲智能信息技术有限公司 一种基于多模型融合的点云三维目标自动标注方法及系统
CN116977905B (zh) * 2023-09-22 2024-01-30 杭州爱芯元智科技有限公司 目标跟踪方法、装置、电子设备及存储介质
CN117252992B (zh) * 2023-11-13 2024-02-23 整数智能信息技术(杭州)有限责任公司 基于时序数据的4d道路场景标注方法及装置、电子设备
CN117611592B (zh) * 2024-01-24 2024-04-05 长沙隼眼软件科技有限公司 一种异物检测方法、装置、电子设备以及存储介质
CN117974954A (zh) * 2024-04-02 2024-05-03 吉林省净发数字科技有限公司 一种智慧城市管理系统的视频图像目标识别方法

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103093191A (zh) * 2012-12-28 2013-05-08 中电科信息产业有限公司 一种三维点云数据结合数字影像数据的物体识别方法
CN106407947A (zh) * 2016-09-29 2017-02-15 百度在线网络技术（北京）有限公司 用于无人驾驶车辆的目标物体识别方法和装置
CN106908783A (zh) * 2017-02-23 2017-06-30 苏州大学 基于多传感器信息融合的障碍物检测方法
CN107194962A (zh) * 2017-04-01 2017-09-22 深圳市速腾聚创科技有限公司 点云与平面图像融合方法及装置
CN107609522A (zh) * 2017-09-19 2018-01-19 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测系统
CN108489496A (zh) * 2018-04-28 2018-09-04 北京空间飞行器总体设计部 基于多源信息融合的非合作目标相对导航运动估计方法及系统
CN108509918A (zh) * 2018-04-03 2018-09-07 中国人民解放军国防科技大学 融合激光点云与图像的目标检测与跟踪方法
CN108519605A (zh) * 2018-04-09 2018-09-11 重庆邮电大学 基于激光雷达和摄像机的路沿检测方法
CN108932475A (zh) * 2018-05-31 2018-12-04 中国科学院西安光学精密机械研究所 一种基于激光雷达和单目视觉的三维目标识别系统及方法
CN109410282A (zh) * 2018-11-08 2019-03-01 上海木木聚枞机器人科技有限公司 一种输液杆的检测跟踪方法和装置
CN109829386A (zh) * 2019-01-04 2019-05-31 清华大学 基于多源信息融合的智能车辆可通行区域检测方法
CN110246159A (zh) * 2019-06-14 2019-09-17 湖南大学 基于视觉和雷达信息融合的3d目标运动分析方法
CN110675431A (zh) * 2019-10-08 2020-01-10 中国人民解放军军事科学院国防科技创新研究院 一种融合图像和激光点云的三维多目标跟踪方法
KR20200071959A (ko) * 2018-12-12 2020-06-22 충북대학교 산학협력단 레이더 센서 및 카메라를 이용한 객체 인식 방법 및 그를 위한 장치
CN111583337A (zh) * 2020-04-25 2020-08-25 华南理工大学 一种基于多传感器融合的全方位障碍物检测方法
CN111611853A (zh) * 2020-04-15 2020-09-01 宁波吉利汽车研究开发有限公司 一种传感信息融合方法、装置及存储介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103093191A (zh) * 2012-12-28 2013-05-08 中电科信息产业有限公司 一种三维点云数据结合数字影像数据的物体识别方法
CN106407947A (zh) * 2016-09-29 2017-02-15 百度在线网络技术（北京）有限公司 用于无人驾驶车辆的目标物体识别方法和装置
CN106908783A (zh) * 2017-02-23 2017-06-30 苏州大学 基于多传感器信息融合的障碍物检测方法
CN107194962A (zh) * 2017-04-01 2017-09-22 深圳市速腾聚创科技有限公司 点云与平面图像融合方法及装置
CN107609522A (zh) * 2017-09-19 2018-01-19 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测系统
CN108509918A (zh) * 2018-04-03 2018-09-07 中国人民解放军国防科技大学 融合激光点云与图像的目标检测与跟踪方法
CN108519605A (zh) * 2018-04-09 2018-09-11 重庆邮电大学 基于激光雷达和摄像机的路沿检测方法
CN108489496A (zh) * 2018-04-28 2018-09-04 北京空间飞行器总体设计部 基于多源信息融合的非合作目标相对导航运动估计方法及系统
CN108932475A (zh) * 2018-05-31 2018-12-04 中国科学院西安光学精密机械研究所 一种基于激光雷达和单目视觉的三维目标识别系统及方法
CN109410282A (zh) * 2018-11-08 2019-03-01 上海木木聚枞机器人科技有限公司 一种输液杆的检测跟踪方法和装置
KR20200071959A (ko) * 2018-12-12 2020-06-22 충북대학교 산학협력단 레이더 센서 및 카메라를 이용한 객체 인식 방법 및 그를 위한 장치
CN109829386A (zh) * 2019-01-04 2019-05-31 清华大学 基于多源信息融合的智能车辆可通行区域检测方法
CN110246159A (zh) * 2019-06-14 2019-09-17 湖南大学 基于视觉和雷达信息融合的3d目标运动分析方法
CN110675431A (zh) * 2019-10-08 2020-01-10 中国人民解放军军事科学院国防科技创新研究院 一种融合图像和激光点云的三维多目标跟踪方法
CN111611853A (zh) * 2020-04-15 2020-09-01 宁波吉利汽车研究开发有限公司 一种传感信息融合方法、装置及存储介质
CN111583337A (zh) * 2020-04-25 2020-08-25 华南理工大学 一种基于多传感器融合的全方位障碍物检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
《Fusion Strategy of Multi-sensor Based Object Detection for Self-driving Vehicles》;Yanqi Li等;《2020 International Wireless Communications and Mobile Computing (IWCMC)》;20200630;第1549-1554页 *
《Object Detection based on Fusing Monocular Camera and Lidar Data in Decision Level Using D-S Evidence Theory》;Qingzhu Wu等;《2020 16th IEEE International Conference on Automation Science and Engineering (CASE)》;20200821;第476-481页 *
《基于激光点云与图像信息融合的交通环境车辆检测》;郑少武等;《仪器仪表学报》;20191231;第40卷(第12期);第143-151页 *
《面向自动驾驶目标检测的深度多模态融合技术》;20200731;《智能系统学报》;20200731;第15卷(第4期);第758-771页 *

Also Published As

Publication number Publication date
CN112233097A (zh) 2021-01-15

Similar Documents

Publication Publication Date Title
CN112233097B (zh) 基于空时域多维融合的道路场景他车检测系统和方法
Zhang et al. Vehicle-damage-detection segmentation algorithm based on improved mask RCNN
CN108171112B (zh) 基于卷积神经网络的车辆识别与跟踪方法
CN107729801B (zh) 一种基于多任务深度卷积神经网络的车辆颜色识别系统
CN107563372B (zh) 一种基于深度学习ssd框架的车牌定位方法
Mi et al. Research on regional clustering and two-stage SVM method for container truck recognition
CN114022830A (zh) 一种目标确定方法以及目标确定装置
Dreher et al. Radar-based 2D car detection using deep neural networks
CN111461221B (zh) 一种面向自动驾驶的多源传感器融合目标检测方法和系统
CN108875754B (zh) 一种基于多深度特征融合网络的车辆再识别方法
CN110287798B (zh) 基于特征模块化和上下文融合的矢量网络行人检测方法
CN112488083B (zh) 基于heatmap提取关键点的交通信号灯的识别方法、装置、介质
CN108305260A (zh) 一种图像中角点的检测方法、装置及设备
Farag et al. Deep learning versus traditional methods for parking lots occupancy classification
CN111553280A (zh) 基于深度学习的目标部位识别方法
CN114332921A (zh) 基于改进聚类算法的Faster R-CNN网络的行人检测方法
CN115100741B (zh) 一种点云行人距离风险检测方法、系统、设备和介质
CN115424217A (zh) 基于ai视觉的车辆智能识别方法、装置和电子设备
CN110909656B (zh) 一种雷达与摄像机融合的行人检测方法和系统
Wael A comprehensive vehicle-detection-and-tracking technique for autonomous driving
Moseva et al. Development of a System for Fixing Road Markings in Real Time
CN117423077A (zh) Bev感知模型、构建方法、装置、设备、车辆及存储介质
CN110826468A (zh) 一种辅助驾驶的基于车道线检测的车辆检测测距方法
CN113420660B (zh) 一种红外图像目标检测模型构建方法、预测方法及系统
CN118397602B (zh) 一种智能路牌识别车载摄像头系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant