CN113888602B - 一种雷达车辆目标与视觉车辆目标的关联方法及装置 - Google Patents

一种雷达车辆目标与视觉车辆目标的关联方法及装置 Download PDF

Info

Publication number
CN113888602B
CN113888602B CN202111460755.6A CN202111460755A CN113888602B CN 113888602 B CN113888602 B CN 113888602B CN 202111460755 A CN202111460755 A CN 202111460755A CN 113888602 B CN113888602 B CN 113888602B
Authority
CN
China
Prior art keywords
vehicle target
radar
visual
vehicle
relative distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111460755.6A
Other languages
English (en)
Other versions
CN113888602A (zh
Inventor
杨京锟
刘国清
杨广
王启程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Youjia Innovation Technology Co.,Ltd.
Original Assignee
Shenzhen Minieye Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Minieye Innovation Technology Co Ltd filed Critical Shenzhen Minieye Innovation Technology Co Ltd
Priority to CN202111460755.6A priority Critical patent/CN113888602B/zh
Publication of CN113888602A publication Critical patent/CN113888602A/zh
Application granted granted Critical
Publication of CN113888602B publication Critical patent/CN113888602B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种雷达车辆目标与视觉车辆目标的关联方法及装置，所述方法包括：对由摄像装置所采集的图像进行车辆目标检测，获得各视觉车辆目标，继而计算各视觉车辆目标的相对距离以及车辆检测框尺度变化；计算由雷达检测到的各雷达车辆目标的相对距离以及纵向相对距离尺度变化；根据各视觉车辆目标的相对距离、车辆检测框尺度变化、各雷达车辆的相对距离以及纵向相对距离尺度变化，计算每一视觉车辆目标与每一雷达车辆目标的关联相似度；根据每一视觉车辆目标与每一雷达车辆目标的关联相似度，将各视觉车辆目标与各雷达车辆目标相关联。通过实施本发明能够提高车辆目标关联的准确性。

Description

一种雷达车辆目标与视觉车辆目标的关联方法及装置
技术领域
本发明涉及车辆目标检测技术领域，尤其涉及一种雷达车辆目标与视觉车辆目标的关联方法及装置。
背景技术
高级辅助驾驶系统的主要功能在于感知道路环境以及做出相应的决策，道路环境感知中车辆目标检测是高级辅助驾驶系统的核心模块。单一的视觉相机传感器对车辆识别精度不够高，检测纵向距离比较近，容易收到光线、天气等的影响；毫米波雷达受光照和天气因素影响比较小，稳定性高，测距测速精度高，但分辨率比较低，对金属比较敏感，且不能识别目标的特征信息，所以单一传感器不能解决道路上所有车辆感知问题，毫米波雷达和相机的融合是目前道路车辆感知模块的主流。
毫米波雷达和相机融合算法，主要步骤包括两个传感器所检测到的车辆目标的数据关联、运动状态更新，其中来自两个传感器车辆目标的数据关联是关键步骤。
在现有技术中对于雷达和相机所检测的车辆目标的数据关联，主要是利用相机和雷达检测到的目标的纵向距离、横向距离、纵向速度、横向速度，计算欧式距离和余弦相似度，构造匹配代价进行关联；采用这种方法，由于相机检测到的车辆目标的纵向距离、横向距离误差较大，纵向距离相对误差通常在15%以上，而毫米波雷达检测到的目标的纵向距离、横向距离误差在1米内，两者关联经常会出现错误的情况，例如拥堵路段，50米的目标，视觉会产生超过5米的误差，可能关联到45-55米内的某一个错误的雷达目标，导致融合后的目标产生错误的检测信息，准确性较低，此外由于视觉检测到目标的纵向速度误差较大，部分场景的误差甚至达到10米/秒，不容易区分静止或运动的目标，同时毫米波雷达无法区分静止的车辆目标和路边金属护栏。故存在将视觉的检测出的车辆目标结果关联到静止的路边金属护栏，导致融合后的目标产生错误的检测信息的问题，进一步降低了车辆目标关联的准确性。
发明内容
本发明实施例提供一种雷达车辆目标与视觉车辆目标的关联方法及装置，能降低雷达检测出的车辆目标与由摄像装置所检测出来的车辆目标进行关联时的误差，提高车辆目标关联的准确性。
本发明一实施例提供了一种雷达车辆目标与视觉车辆目标的关联方法，包括：对由摄像装置所采集的图像进行车辆目标检测，获得各视觉车辆目标，继而计算各视觉车辆目标的相对距离以及车辆检测框尺度变化；
计算由雷达检测到的各雷达车辆目标的相对距离以及纵向相对距离尺度变化；
根据各视觉车辆目标的相对距离、车辆检测框尺度变化、各雷达车辆的相对距离以及纵向相对距离尺度变化，计算每一视觉车辆目标与每一雷达车辆目标的关联相似度；
根据每一视觉车辆目标与每一雷达车辆目标的关联相似度，将各视觉车辆目标与各雷达车辆目标相关联。
进一步的，计算视觉车辆目标的车辆检测框尺度变化，具体包括：在视觉车辆目标的车辆检测框内提取特征点，并将所提取的特征点作为光流点通过光流法进行跟踪；根据所跟踪的光流点计算视觉车辆目标的车辆检测框从前一时刻到当前时刻的仿射变换矩阵；根据仿射变换矩阵计算视觉车辆目标的车辆检测框尺度变化。
进一步的，计算雷达车辆目标的纵向相对距离尺度变化，具体包括：根据雷达车辆目标在前一时刻的相对速度、在当前时刻的相对速度、在当前时刻的纵向相对距离，以及前一时刻至当前时刻的间隔时长，计算雷达车辆目标的纵向相对距离尺度变化。
进一步的，所述根据各视觉车辆目标的相对距离、车辆检测框尺度变化、各雷达车辆的相对距离以及纵向相对距离尺度变化，计算每一视觉车辆目标与每一雷达车辆目标的关联相似度，具体包括：根据各视觉车辆目标的横向相对距离、各视觉车辆目标的纵向相对距离、各视觉车辆目标的车辆检测框尺度变化、各雷达车辆目标的横向相对距离、各雷达车辆目标的纵向相对距离以及各雷达车辆目标的纵向相对距离尺度变化，计算每一视觉车辆目标与每一雷达车辆目标的马氏距离，获得每一视觉车辆目标与每一雷达车辆目标的关联相似度。
进一步的，所述根据每一视觉车辆目标与每一雷达车辆目标的关联相似度，将各视觉车辆目标与各雷达车辆目标相关联，具体包括：根据每一视觉车辆目标与每一雷达车辆目标的关联相似度构建关键代价矩阵；基于所述关键代价矩阵通过匈牙利算法确定各视觉车辆目标与各雷达车辆目标的匹配关系，根据各视觉车辆目标与各雷达车辆目标的匹配关系将各视觉车辆目标与各雷达车辆目标相关联。
在上述方法项实施例的基础上，本发明对应提供了一装置项实施例；
本发明一实施例提供了一种雷达车辆目标与视觉车辆目标的关联装置，包括视觉车辆目标计算模块、雷达车辆目标计算模块、相似度计算模块以及关联模块；
所述视觉车辆目标计算模块，用于对由摄像装置所采集的图像进行车辆目标检测，获得各视觉车辆目标，继而计算各视觉车辆目标的相对距离以及车辆检测框尺度变化；
所述雷达车辆目标计算模块，用于计算由雷达检测到的各雷达车辆目标的相对距离以及纵向相对距离尺度变化；
所述相似度计算模块，用于根据各视觉车辆目标的相对距离、车辆检测框尺度变化、各雷达车辆的相对距离以及纵向相对距离尺度变化，计算每一视觉车辆目标与每一雷达车辆目标的关联相似度；
所述关联模块，用于根据每一视觉车辆目标与每一雷达车辆目标的关联相似度，将各视觉车辆目标与各雷达车辆目标相关联。
进一步的，视觉车辆目标计算模块计算视觉车辆目标的车辆检测框尺度变化，具体包括：在视觉车辆目标的车辆检测框内提取特征点，并将所提取的特征点作为光流点通过光流法进行跟踪；根据所跟踪的光流点计算视觉车辆目标的车辆检测框从前一时刻到当前时刻的仿射变换矩阵；根据仿射变换矩阵计算视觉车辆目标的车辆检测框尺度变化。
进一步的，雷达车辆目标计算模块计算雷达车辆目标的纵向相对距离尺度变化，具体包括：根据雷达车辆目标在前一时刻的相对速度、在当前时刻的相对速度、在当前时刻的纵向相对距离，以及前一时刻至当前时刻的间隔时长，计算雷达车辆目标的纵向相对距离尺度变化。
进一步的，相似度计算模块根据各视觉车辆目标的相对距离、车辆检测框尺度变化、各雷达车辆的相对距离以及纵向相对距离尺度变化，计算每一视觉车辆目标与每一雷达车辆目标的关联相似度，具体包括：根据各视觉车辆目标的横向相对距离、各视觉车辆目标的纵向相对距离、各视觉车辆目标的车辆检测框尺度变化、各雷达车辆目标的横向相对距离、各雷达车辆目标的纵向相对距离以及各雷达车辆目标的纵向相对距离尺度变化，计算每一视觉车辆目标与每一雷达车辆目标的马氏距离，获得每一视觉车辆目标与每一雷达车辆目标的关联相似度。
进一步的，关联模块根据每一视觉车辆目标与每一雷达车辆目标的关联相似度，将各视觉车辆目标与各雷达车辆目标相关联，具体包括：根据每一视觉车辆目标与每一雷达车辆目标的关联相似度构建关键代价矩阵；基于所述关键代价矩阵通过匈牙利算法确定各视觉车辆目标与各雷达车辆目标的匹配关系，根据各视觉车辆目标与各雷达车辆目标的匹配关系将各视觉车辆目标与各雷达车辆目标相关联。
通过实施本发明实施例具有如下有益效果：
本发明实施例提供了一种雷达车辆目标与视觉车辆目标的关联方法和装置，所述方法，基于各视觉车辆目标的相对距离、车辆检测框尺度变化、各雷达车辆的相对距离以及纵向相对距离尺度变化，计算每一视觉车辆目标与每一雷达车辆目标的关联相似度；相比与现有技术，本发明结合雷达车辆目标的纵向距离尺度变化与车辆检测框尺度变换，共同参与构造关联相似度，同时结合相对距离进行关联，能有效减少由于视觉对目标测距测速误差大导致的关联错误；而且由于车辆检测框尺度变化内含车辆目标的相对速度和相对距离信息，弱化了视觉测距测速对关联的影响，在测距较差时也能关联上正确的雷达车辆目标，防止由摄像装置所检测出车辆目标关联上静止雷达目标的致命错误；有效提高了雷达车辆目标与视觉车辆目标关联的准确性。
附图说明
图1是本发明一实施例提供的一种雷达车辆目标与视觉车辆目标的关联方法的流程示意图。
图2是本发明一实施提供的一视觉车辆目标的车辆检测框尺度变化与其所对应的雷达车辆目标的纵向相对距离尺度变化的示意图。
图3是本发明一实施例提供的一雷达车辆目标与视觉车辆目标的关联装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明一实施例提供了一种雷达车辆目标与视觉车辆目标的关联方法，至少包括如下步骤：
步骤S101：对由摄像装置所采集的图像进行车辆目标检测，获得各视觉车辆目标，继而计算各视觉车辆目标的相对距离以及车辆检测框尺度变化。
步骤S102：计算由雷达检测到的各雷达车辆目标的相对距离以及纵向相对距离尺度变化。
步骤S103：根据各视觉车辆目标的相对距离、车辆检测框尺度变化、各雷达车辆的相对距离以及纵向相对距离尺度变化，计算每一视觉车辆目标与每一雷达车辆目标的关联相似度。
步骤S104：根据每一视觉车辆目标与每一雷达车辆目标的关联相似度，将各视觉车辆目标与各雷达车辆目标相关联。
对于步骤S101、首先在主车上设置前向摄像装置以及前向毫米波雷达并标定；在标定完成后，通过摄像装置进行图像采集，采集测试路段的图像；然后基于现有深度神经网络进行车辆目标检测，获得各车辆目标即上述各视觉车辆目标；
紧接着，计算各视觉车辆目标与主车的相对距离，获得上述各视觉车辆目标的相对距离；优选的上述相对距离，包括横向相对距离和纵向相对距离；
紧接着通过光流法计算各视觉车辆目标的车辆检测框尺度变化。在一个优选的实施例中，计算视觉车辆目标的车辆检测框尺度变化，具体包括：在视觉车辆目标的车辆检测框内提取特征点，并将所提取的特征点作为光流点通过光流法进行跟踪；根据所跟踪的光流点计算视觉车辆目标的车辆检测框从前一时刻到当前时刻的仿射变换矩阵；根据仿射变换矩阵计算视觉车辆目标的车辆检测框尺度变化。
具体的，针对每一视觉车辆目标以车尾为检测对象，构建车尾检测框作为上述车辆检测框，在前车车尾检测框内，采用FAST方法提取特征点，使用光流法对提取的特征点进行跟踪，根据前后时刻跟踪好的光流点，计算车尾检测 在前一时刻到当前时刻仿射变换矩阵，对仿射变换矩阵求行列式后开方，即可得到车尾检测框的尺度变化信息。
对于步骤S102、通过设置好的雷达对主车周围的车辆目标进行检测，获得上述各雷达车辆目标；紧接着计算所检测到的各雷达车辆目标与主车的相对距离（包括：横向相对距离以及纵向相对距离）；紧接着计算各雷达目标的纵向相对距离尺度变化；
在一个优选的实施例中，算雷达车辆目标的纵向相对距离尺度变化，具体包括：根据雷达车辆目标在前一时刻的相对速度、在当前时刻的相对速度、在当前时刻的纵向相对距离，以及前一时刻至当前时刻的间隔时长，计算雷达车辆目标的纵向相对距离尺度变化。
具体的，计算公式如下：
Figure DEST_PATH_IMAGE001
;
其中，
Figure 169640DEST_PATH_IMAGE002
为雷达车辆目标相对于主车的纵向相对距离尺度变化，
Figure 861652DEST_PATH_IMAGE003
为t-1时刻雷达目标相对于主车的速度（即上述雷达车辆目标在前一时刻的相对速度）；
Figure 966706DEST_PATH_IMAGE004
为t时刻雷达目标相对于主车的速度（即上述雷达车辆目标在当前时刻的相对速度）；
Figure 427774DEST_PATH_IMAGE005
为前一时刻至当前时刻的间隔时长；
Figure 795302DEST_PATH_IMAGE006
为t时刻雷达目标相对于主车的纵向相对距离（即上述雷达车辆目标在当前时刻的纵向相对距离）；
对于步骤S104，在一个优选的实施例中，根据各视觉车辆目标的相对距离、车辆检测框尺度变化、各雷达车辆的相对距离以及纵向相对距离尺度变化，计算每一视觉车辆目标与每一雷达车辆目标的关联相似度，具体包括：
根据各视觉车辆目标的横向相对距离、各视觉车辆目标的纵向相对距离、各视觉车辆目标的车辆检测框尺度变化、各雷达车辆目标的横向相对距离、各雷达车辆目标的纵向相对距离以及各雷达车辆目标的纵向相对距离尺度变化，计算每一视觉车辆目标与每一雷达车辆目标的马氏距离，获得每一视觉车辆目标与每一雷达车辆目标的关联相似度。
具体的，通过以下公式计算一视觉车辆目标与一雷达车辆目标的相似度：
Figure 473146DEST_PATH_IMAGE007
；
其中，
Figure 623635DEST_PATH_IMAGE008
为关联相似度；
Figure 204789DEST_PATH_IMAGE009
为雷达车辆目标的纵向相对距离；
Figure 913857DEST_PATH_IMAGE010
为视觉车辆目标的纵向相对距离；
Figure 377199DEST_PATH_IMAGE011
为预设的纵向相对距离阈值；
Figure 596959DEST_PATH_IMAGE012
为雷达车辆目标的横向相对距离；
Figure 531155DEST_PATH_IMAGE013
为视觉车辆目标的横向相对距离；
Figure 240485DEST_PATH_IMAGE014
为预设的横向相对距离阈值；
Figure 128807DEST_PATH_IMAGE015
为雷达车辆目标的纵向相对距离尺度变化；
Figure 391073DEST_PATH_IMAGE016
为视觉车辆目标的车辆检测框尺度变化；
Figure 681240DEST_PATH_IMAGE017
为预设的尺度变化阈值；
在一个优选的实施例中，上述预设的纵向相对距离阈值、预设的横向相对距离阈值以及预设的尺度变化阈值可以通过采集不同场景的数据计算得到，场景数据包括目标在不同位置、不同光照条件、城市道路、高速道路等；
在设定上述纵向相对距离阈值时，以雷达所检测出来的目标的纵向相对距离作为真实值，以摄像装置所检测出来的目标的纵向相对距离作为预测值，统计不在同场景下的真实值和预测值，然后计算均方根误差，获得上述预设的纵向相对距离阈值。
在设定上述尺度变化阈值时，以雷达所检测出来的目标的纵向距离尺度变化作为真实值，以摄像装置所检测出来的目标的车辆检测框尺度变化作为预测值，统计不在同场景下的真实值和预测值，然后计算均方根误差，获得上述预设的尺度变化阈值。
在设定上述横向相对距离阈值时，以摄像装置所检测出来的目标的横向相对距离作为真实值，以雷达所检测出来的目标的横向相对距离作为预测值，统计不在同场景下的真实值和预测值，然后计算均方根误差，获得上述预设的横向相对距离阈值。
如图2所示，对于同一车辆来说，其在不同距离下的车辆检测框尺度变化与由雷达检测出的纵向相对距离尺度变化非常接近，尺度变化相差大约在0.002范围内；而如果不是对应的雷达车辆目标，例如是与该车辆所对应雷达车辆目标，相对速度相差5米/秒的雷达目标，其纵向相对距离尺度变化与该车辆所对应车辆检测框尺度变化之间的尺度变化相差为：
Figure 732110DEST_PATH_IMAGE018
，远大于0.002；因此在本发明中将各视觉车辆目标的车辆检测框尺度变化与各雷达车辆的纵向相对距离尺度变化加入相似度计算中，能够更好的体现出视觉车辆目标与雷达车辆目标的对应关系，降低错误关联的概率。此外，车辆检测框尺度变化，综合考虑的检测框长、宽两个方向的信息，在车辆颠簸、转向等运行情况下均能稳定平滑，提高了算法的鲁棒性；其次，车辆检测框尺度变化内含目标的相对速度和相对距离信息，弱化了视觉测距测速对关联的影响，在测距较差时也能关联上正确的雷达，同时能较好地区分静止运动目标，防止运动目标关联上静止雷达的致命错误。
对于步骤S105、在一个优选的实施例中，所述根据每一视觉车辆目标与每一雷达车辆目标的关联相似度，将各视觉车辆目标与各雷达车辆目标相关联，具体包括：根据每一视觉车辆目标与每一雷达车辆目标的关联相似度构建关键代价矩阵；基于所述关键代价矩阵通过匈牙利算法确定各视觉车辆目标与各雷达车辆目标的匹配关系，根据各视觉车辆目标与各雷达车辆目标的匹配关系将各视觉车辆目标与各雷达车辆目标相关联。在这一实施例中根据上述各视觉车辆目标和各雷达车辆目标的关联相似度来构建关键代价矩阵，使用匈牙利算法进行最优分配，得到雷达车辆目标与视觉车辆目标最优的匹配关系（雷达车辆目标到视觉车辆目标代价最小的匹配关系为最优的配关系）。最后根据所确定的最优匹配关系，将各视觉车辆目标与各雷达车辆目标相关联，即将视觉车辆目标的数据（例如基于摄像装置所得到横向相对距离、纵向相对距离、相对速度等）与对应的雷达车辆目标的数据（例如基于雷达所得到的横向相对距离、纵向相对距离、相对速度等）相关联。
在上述方法项实施例的基础上，本发明对应提供了装置项实施例。
如图3所示，本发明一实施例提供了一种雷达车辆目标与视觉车辆目标的关联装置，包括视觉车辆目标计算模块、雷达车辆目标计算模块、相似度计算模块以及关联模块；
所述视觉车辆目标计算模块，用于对由摄像装置所采集的图像进行车辆目标检测，获得各视觉车辆目标，继而计算各视觉车辆目标的相对距离以及车辆检测框尺度变化；
所述雷达车辆目标计算模块，用于计算由雷达检测到的各雷达车辆目标的相对距离以及纵向相对距离尺度变化；
所述相似度计算模块，用于根据各视觉车辆目标的相对距离、车辆检测框尺度变化、各雷达车辆的相对距离以及纵向相对距离尺度变化，计算每一视觉车辆目标与每一雷达车辆目标的关联相似度；
所述关联模块，用于根据每一视觉车辆目标与每一雷达车辆目标的关联相似度，将各视觉车辆目标与各雷达车辆目标相关联。
在一个优选的实施例中，视觉车辆目标计算模块计算视觉车辆目标的车辆检测框尺度变化，具体包括：
在视觉车辆目标的车辆检测框内提取特征点，并将所提取的特征点作为光流点通过光流法进行跟踪；根据所跟踪的光流点计算视觉车辆目标的车辆检测框从前一时刻到当前时刻的仿射变换矩阵；根据仿射变换矩阵计算视觉车辆目标的车辆检测框尺度变化。
在一个优选的实施例中，雷达车辆目标计算模块计算雷达车辆目标的纵向相对距离尺度变化，具体包括：根据雷达车辆目标在前一时刻的相对速度、在当前时刻的相对速度、在当前时刻的纵向相对距离，以及前一时刻至当前时刻的间隔时长，计算雷达车辆目标的纵向相对距离尺度变化。
在一个优选的实施例中，相似度计算模块根据各视觉车辆目标的相对距离、车辆检测框尺度变化、各雷达车辆的相对距离以及纵向相对距离尺度变化，计算每一视觉车辆目标与每一雷达车辆目标的关联相似度，具体包括：根据各视觉车辆目标的横向相对距离、各视觉车辆目标的纵向相对距离、各视觉车辆目标的车辆检测框尺度变化、各雷达车辆目标的横向相对距离、各雷达车辆目标的纵向相对距离以及各雷达车辆目标的纵向相对距离尺度变化，计算每一视觉车辆目标与每一雷达车辆目标的马氏距离，获得每一视觉车辆目标与每一雷达车辆目标的关联相似度。
在一个优选的实施例中，关联模块根据每一视觉车辆目标与每一雷达车辆目标的关联相似度，将各视觉车辆目标与各雷达车辆目标相关联，具体包括：根据每一视觉车辆目标与每一雷达车辆目标的关联相似度构建关键代价矩阵；基于所述关键代价矩阵通过匈牙利算法确定各视觉车辆目标与各雷达车辆目标的匹配关系，根据各视觉车辆目标与各雷达车辆目标的匹配关系将各视觉车辆目标与各雷达车辆目标相关联。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种雷达车辆目标与视觉车辆目标的关联方法，其特征在于，包括：
对由摄像装置所采集的图像进行车辆目标检测，获得各视觉车辆目标，继而计算各视觉车辆目标的相对距离以及车辆检测框尺度变化；
计算由雷达检测到的各雷达车辆目标的相对距离以及纵向相对距离尺度变化；
根据各视觉车辆目标的相对距离、车辆检测框尺度变化、各雷达车辆的相对距离以及纵向相对距离尺度变化，计算每一视觉车辆目标与每一雷达车辆目标的关联相似度；
根据每一视觉车辆目标与每一雷达车辆目标的关联相似度，将各视觉车辆目标与各雷达车辆目标相关联。
2.如权利要求1所述的雷达车辆目标与视觉车辆目标的关联方法，其特征在于，计算视觉车辆目标的车辆检测框尺度变化，具体包括：
在视觉车辆目标的车辆检测框内提取特征点，并将所提取的特征点作为光流点，通过光流法进行跟踪；
根据所跟踪的光流点计算视觉车辆目标的车辆检测框从前一时刻到当前时刻的仿射变换矩阵；
根据仿射变换矩阵计算视觉车辆目标的车辆检测框尺度变化。
3.如权利要求1所述的雷达车辆目标与视觉车辆目标的关联方法，其特征在于，计算雷达车辆目标的纵向相对距离尺度变化，具体包括：
根据雷达车辆目标在前一时刻的相对速度、在当前时刻的相对速度、在当前时刻的纵向相对距离，以及前一时刻至当前时刻的间隔时长，计算雷达车辆目标的纵向相对距离尺度变化。
4.如权利要求1所述的雷达车辆目标与视觉车辆目标的关联方法，其特征在于，所述根据各视觉车辆目标的相对距离、车辆检测框尺度变化、各雷达车辆的相对距离以及纵向相对距离尺度变化，计算每一视觉车辆目标与每一雷达车辆目标的关联相似度，具体包括：
根据各视觉车辆目标的横向相对距离、各视觉车辆目标的纵向相对距离、各视觉车辆目标的车辆检测框尺度变化、各雷达车辆目标的横向相对距离、各雷达车辆目标的纵向相对距离以及各雷达车辆目标的纵向相对距离尺度变化，计算每一视觉车辆目标与每一雷达车辆目标的马氏距离，获得每一视觉车辆目标与每一雷达车辆目标的关联相似度。
5.如权利要求1所述的雷达车辆目标与视觉车辆目标的关联方法，其特征在于，所述根据每一视觉车辆目标与每一雷达车辆目标的关联相似度，将各视觉车辆目标与各雷达车辆目标相关联，具体包括：
根据每一视觉车辆目标与每一雷达车辆目标的关联相似度构建关键代价矩阵；
基于所述关键代价矩阵通过匈牙利算法确定各视觉车辆目标与各雷达车辆目标的匹配关系，根据各视觉车辆目标与各雷达车辆目标的匹配关系将各视觉车辆目标与各雷达车辆目标相关联。
6.一种雷达车辆目标与视觉车辆目标的关联装置，其特征在于，包括:视觉车辆目标计算模块、雷达车辆目标计算模块、相似度计算模块以及关联模块；
所述视觉车辆目标计算模块，用于对由摄像装置所采集的图像进行车辆目标检测，获得各视觉车辆目标，继而计算各视觉车辆目标的相对距离以及车辆检测框尺度变化；
所述雷达车辆目标计算模块，用于计算由雷达检测到的各雷达车辆目标的相对距离以及纵向相对距离尺度变化；
所述相似度计算模块，用于根据各视觉车辆目标的相对距离、车辆检测框尺度变化、各雷达车辆的相对距离以及纵向相对距离尺度变化，计算每一视觉车辆目标与每一雷达车辆目标的关联相似度；
所述关联模块，用于根据每一视觉车辆目标与每一雷达车辆目标的关联相似度，将各视觉车辆目标与各雷达车辆目标相关联。
7.如权利要求6所述的雷达车辆目标与视觉车辆目标的关联装置，其特征在于，视觉车辆目标计算模块计算视觉车辆目标的车辆检测框尺度变化，具体包括：
在视觉车辆目标的车辆检测框内提取特征点，并将所提取的特征点作为光流点通过光流法进行跟踪；
根据所跟踪的光流点计算视觉车辆目标的车辆检测框从前一时刻到当前时刻的仿射变换矩阵；
根据仿射变换矩阵计算视觉车辆目标的车辆检测框尺度变化。
8.如权利要求6所述的雷达车辆目标与视觉车辆目标的关联装置，其特征在于，雷达车辆目标计算模块计算雷达车辆目标的纵向相对距离尺度变化，具体包括：
根据雷达车辆目标在前一时刻的相对速度、在当前时刻的相对速度、在当前时刻的纵向相对距离，以及前一时刻至当前时刻的间隔时长，计算雷达车辆目标的纵向相对距离尺度变化。
9.如权利要求6所述的雷达车辆目标与视觉车辆目标的关联装置，其特征在于，相似度计算模块根据各视觉车辆目标的相对距离、车辆检测框尺度变化、各雷达车辆的相对距离以及纵向相对距离尺度变化，计算每一视觉车辆目标与每一雷达车辆目标的关联相似度，具体包括：
根据各视觉车辆目标的横向相对距离、各视觉车辆目标的纵向相对距离、各视觉车辆目标的车辆检测框尺度变化、各雷达车辆目标的横向相对距离、各雷达车辆目标的纵向相对距离以及各雷达车辆目标的纵向相对距离尺度变化，计算每一视觉车辆目标与每一雷达车辆目标的马氏距离，获得每一视觉车辆目标与每一雷达车辆目标的关联相似度。
10.如权利要求6所述的雷达车辆目标与视觉车辆目标的关联装置，其特征在于，关联模块根据每一视觉车辆目标与每一雷达车辆目标的关联相似度，将各视觉车辆目标与各雷达车辆目标相关联，具体包括：
根据每一视觉车辆目标与每一雷达车辆目标的关联相似度构建关键代价矩阵；
基于所述关键代价矩阵通过匈牙利算法确定各视觉车辆目标与各雷达车辆目标的匹配关系，根据各视觉车辆目标与各雷达车辆目标的匹配关系将各视觉车辆目标与各雷达车辆目标相关联。
CN202111460755.6A 2021-12-03 2021-12-03 一种雷达车辆目标与视觉车辆目标的关联方法及装置 Active CN113888602B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111460755.6A CN113888602B (zh) 2021-12-03 2021-12-03 一种雷达车辆目标与视觉车辆目标的关联方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111460755.6A CN113888602B (zh) 2021-12-03 2021-12-03 一种雷达车辆目标与视觉车辆目标的关联方法及装置

Publications (2)

Publication Number Publication Date
CN113888602A CN113888602A (zh) 2022-01-04
CN113888602B true CN113888602B (zh) 2022-04-05

Family

ID=79016284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111460755.6A Active CN113888602B (zh) 2021-12-03 2021-12-03 一种雷达车辆目标与视觉车辆目标的关联方法及装置

Country Status (1)

Country Link
CN (1) CN113888602B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414396A (zh) * 2019-07-19 2019-11-05 中国人民解放军海军工程大学 一种基于深度学习的无人艇感知融合算法
CN111368706A (zh) * 2020-03-02 2020-07-03 南京航空航天大学 基于毫米波雷达和机器视觉的数据融合动态车辆检测方法
CN112991391A (zh) * 2021-03-31 2021-06-18 武汉大学 一种基于雷达信号和视觉融合的车辆检测与跟踪方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816690A (zh) * 2018-12-25 2019-05-28 北京飞搜科技有限公司 基于深度特征的多目标追踪方法及系统
CN111505624B (zh) * 2020-04-30 2022-07-01 中国汽车工程研究院股份有限公司 一种基于机器视觉和毫米波雷达数据融合的环境感知方法
CN111862157B (zh) * 2020-07-20 2023-10-10 重庆大学 一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法
CN112505684B (zh) * 2020-11-17 2023-12-01 东南大学 恶劣环境路侧视角下雷达视觉融合的车辆多目标跟踪方法
CN113325415B (zh) * 2021-04-20 2023-10-13 武汉光庭信息技术股份有限公司 车辆雷达数据和相机数据的融合方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414396A (zh) * 2019-07-19 2019-11-05 中国人民解放军海军工程大学 一种基于深度学习的无人艇感知融合算法
CN111368706A (zh) * 2020-03-02 2020-07-03 南京航空航天大学 基于毫米波雷达和机器视觉的数据融合动态车辆检测方法
CN112991391A (zh) * 2021-03-31 2021-06-18 武汉大学 一种基于雷达信号和视觉融合的车辆检测与跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于视觉和激光数据融合的3D多目标跟踪;房建武 等;《无人系统技术》;20190930;第2卷(第5期);第24-29页 *

Also Published As

Publication number Publication date
CN113888602A (zh) 2022-01-04

Similar Documents

Publication Publication Date Title
CN104240536B (zh) 一种用于检测车行道上的车辆的车道位置的装置及方法
CN112433203B (zh) 一种基于毫米波雷达数据的车道线形检测方法
CN102208012B (zh) 风景匹配参考数据生成系统及位置测量系统
US8452103B2 (en) Scene matching reference data generation system and position measurement system
US20180137754A1 (en) Detection and documentation of tailgating and speeding violations
CN108573611B (zh) 一种限速标识融合方法以及限速标识融合系统
WO2023240805A1 (zh) 一种基于滤波校正的网联车超速预警方法及系统
JP2018077162A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
CN110018503B (zh) 车辆的定位方法及定位系统
CN108263389A (zh) 一种车辆前方虚假目标剔除装置及方法
CN115856872A (zh) 一种车辆运动轨迹连续跟踪方法
CN114495520B (zh) 一种车辆的计数方法、装置、终端和存储介质
CN110413942B (zh) 车道线方程筛选方法及其筛选模块
KR101544854B1 (ko) 차량 주변의 도로 교통 정보 제공 방법 및 이를 이용한 도로 교통 정보 시스템
CN113238209B (zh) 基于毫米波雷达的道路感知方法、系统、设备及存储介质
CN114820793A (zh) 基于无人机的目标检测及目标点定位方法及系统
CN105021573A (zh) 用于基于跟踪的视距估计的方法和设备
CN113888602B (zh) 一种雷达车辆目标与视觉车辆目标的关联方法及装置
CN115512542B (zh) 一种基于路侧激光雷达的考虑遮挡的轨迹复原方法及系统
JP3771729B2 (ja) 交通流計測システム
US20230394679A1 (en) Method for measuring the speed of a vehicle
JP7435429B2 (ja) 安全運転レベル評価装置
US12018946B2 (en) Apparatus, method, and computer program for identifying road being traveled
US20220307840A1 (en) Apparatus, method, and computer program for identifying road being traveled
WO2022099522A1 (en) Device and method for verifying estimated depth information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Floor 25, Block A, Zhongzhou Binhai Commercial Center Phase II, No. 9285, Binhe Boulevard, Shangsha Community, Shatou Street, Futian District, Shenzhen, Guangdong 518000

Patentee after: Shenzhen Youjia Innovation Technology Co.,Ltd.

Address before: 518051 401, building 1, Shenzhen new generation industrial park, No. 136, Zhongkang Road, Meidu community, Meilin street, Futian District, Shenzhen, Guangdong Province

Patentee before: SHENZHEN MINIEYE INNOVATION TECHNOLOGY Co.,Ltd.