CN114236528B - 一种基于毫米波雷达和视频融合的目标检测方法及系统 - Google Patents

一种基于毫米波雷达和视频融合的目标检测方法及系统 Download PDF

Info

Publication number
CN114236528B
CN114236528B CN202210165545.2A CN202210165545A CN114236528B CN 114236528 B CN114236528 B CN 114236528B CN 202210165545 A CN202210165545 A CN 202210165545A CN 114236528 B CN114236528 B CN 114236528B
Authority
CN
China
Prior art keywords
target
radar
detection
millimeter wave
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210165545.2A
Other languages
English (en)
Other versions
CN114236528A (zh
Inventor
王益维
谢晓辉
袁红叶
杜国宪
钟丹
董威
周甄
柳晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Gaoxin Technology Co Ltd
Original Assignee
Zhejiang Gaoxin Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Gaoxin Technology Co Ltd filed Critical Zhejiang Gaoxin Technology Co Ltd
Priority to CN202210165545.2A priority Critical patent/CN114236528B/zh
Publication of CN114236528A publication Critical patent/CN114236528A/zh
Application granted granted Critical
Publication of CN114236528B publication Critical patent/CN114236528B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本申请提出了基于毫米波雷达和视频融合的目标检测方法及系统，首先过滤毫米波雷达和摄像机所获取的无效目标，缩小检测目标范围；在确保毫米波雷达和摄像机空间同步的情况下，进行毫米波雷达和摄像机检测结果的目标匹配；计算目标检测交并比，根据目标检测交并比判断目标匹配的准确性，对于无法判断识别准确性的情况，进一步采用全局最近邻数据关联算法进行第二次目标匹配，从而实现毫米波雷达和摄像机的检测对象尽可能多的目标匹配，有助于降低目标对象的漏检率，同时保证了识别匹配的准确率。

Description

一种基于毫米波雷达和视频融合的目标检测方法及系统
技术领域
本发明涉及目标检测技术领域，具体涉及一种基于毫米波雷达和视频融合的目标检测方法及系统。
背景技术
目前智慧交通使用的环境感知设备主要有摄像机和毫米波雷达。毫米波雷达具有目标距离、速度、方位角度等检测能力，同时对特定入射角的目标反射能力定量测试，从毫米波雷达回波散射特性上给出目标尺寸估计。
摄像机往往采用多传感器进行信息融合，使用多传感器信息融合技术实现各传感器优势互补，最大程度准确采集目标的颜色、尺寸、大小、投影轮廓等维度信息，提升环境感知系统的全面性、准确性。
毫米波雷达与摄像机的视频检测数据如何实现底层融合，有效降低目标的漏检率和误检率一直是智慧交通研究重点。目前普遍方法是根据毫米波雷达检测结果在图像中生成假设目标区域，再利用视觉方法对假设目标区域进行检测，这类方法在一定程度上降低了毫米波雷达的误检率和视觉检测的运算量，但并未考虑毫米波雷达漏检等情况，在输出检测结果时，也没有对两种传感器进行更深一步的信息互补，融合的效果一般。
发明内容
为了解决上述技术问题，本申请提出了一种基于毫米波雷达和视频融合的目标检测方法及系统，首先过滤毫米波雷达和摄像机所获取的无效目标，缩小检测目标范围；在确保毫米波雷达和摄像机空间同步的情况下，进行毫米波雷达和摄像机检测结果的目标匹配；计算目标检测交并比，根据目标检测交并比判断目标匹配的准确性，对于无法判断识别准确性的情况，进一步采用全局最近邻数据关联算法进行第二次目标匹配，从而实现毫米波雷达和摄像机的检测对象尽可能多的目标匹配，有助于降低目标对象的漏检率，同时保证了识别匹配的准确率。
本发明是通过以下技术措施来实现的：一种基于毫米波雷达和视频融合的目标检测方法，通过毫米波雷达和摄像机检测同一场景下目标；
包括如下步骤：
从所述毫米波雷达获取雷达检测数据，从所述雷达检测数据中提取动态的雷达有效目标；从所述摄像机获取视频检测数据，从所述视频检测数据中提取动态的视频有效目标；
对所述毫米波雷达和摄像机的检测结果进行时空同步，将所述视频有效目标投影到雷达扫描平面，与所述雷达有效目标进行目标匹配，实现多传感器数据融合；
基于扩展卡尔曼滤波算法进行目标存在性验证；
通过融合目标决策，输出融合目标检测结果。
本申请还提出一种基于毫米波雷达和视频融合的目标检测系统，适用于所述的基于毫米波雷达和视频融合的目标检测方法，包括：雷达处理模块，用于从毫米波雷达获取雷达检测数据，从所述雷达检测数据中提取动态的雷达有效目标；视频处理模块，用于从摄像机获取视频检测数据，从所述视频检测数据中提取动态的视频有效目标；数据融合模块，用于对所述毫米波雷达和摄像机的检测结果进行时空同步，将所述视频有效目标投影到雷达扫描平面，与所述雷达有效目标进行目标匹配，实现多传感器数据融合；验证输出模块，用于基于扩展卡尔曼滤波算法进行目标存在性验证，并通过融合目标决策，输出融合目标检测结果。
作为优选，所述数据融合模块在进行目标匹配时，计算视频有效目标与雷达检测目标的目标检测交并比，根据目标检测交并比判断目标匹配的准确性，对于无法判断识别准确性的情况，进一步采用全局最近邻数据关联算法进行第二次目标匹配。
有益效果：本申请首先过滤毫米波雷达和摄像机所获取的无效目标，缩小检测目标范围；在确保毫米波雷达和摄像机空间同步的情况下，进行毫米波雷达和摄像机检测结果的目标匹配；计算目标检测交并比，根据目标检测交并比判断目标匹配的准确性，对于无法判断识别准确性的情况，进一步采用全局最近邻数据关联算法进行第二次目标匹配，从而实现毫米波雷达和摄像机的检测对象尽可能多的目标匹配，有助于降低目标对象的漏检率，同时保证了识别匹配的准确率。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为目标检测系统结构图；
图2为目标检测方法流程图；
图3为改进的YOLO v5算法结构图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
通过毫米波雷达和摄像机检测同一场景下出现的目标，借助基于毫米波雷达和视频融合的目标检测系统，采用基于毫米波雷达和视频融合的目标检测方法，检测并输出毫米波雷达和摄像机同时检测到的同一目标结果。本实施例以智慧交通领域对于行驶中的车辆进行检测为例，检测目标为车辆。
一种基于毫米波雷达和视频融合的目标检测系统，如图1所示，包括：雷达处理模块100，用于从毫米波雷达获取雷达检测数据，从所述雷达检测数据中提取动态的雷达有效目标；视频处理模块200，用于从摄像机获取视频检测数据，从所述视频检测数据中提取动态的视频有效目标；数据融合模块300，用于对所述毫米波雷达和摄像机的检测结果进行时空同步，将所述视频有效目标投影到雷达扫描平面，与所述雷达有效目标进行目标匹配，实现多传感器数据融合；验证输出模块400，用于基于扩展卡尔曼滤波算法进行目标存在性验证，并通过融合目标决策，输出融合目标检测结果。数据融合模块在进行目标匹配时，计算视频有效目标与雷达检测目标的目标检测交并比，根据目标检测交并比判断目标匹配的准确性，对于无法判断识别准确性的情况，进一步采用全局最近邻数据关联算法进行第二次目标匹配，具体的实现方法在下文中具体阐述。
基于毫米波雷达和视频融合的目标检测方法与目标检测系统相结合，用于输出待检目标的结果。如图2所示，目标检测方法包括如下步骤：
S1，从所述毫米波雷达获取雷达检测数据，从所述雷达检测数据中提取动态的雷达有效目标；从所述摄像机获取视频检测数据，从所述视频检测数据中提取动态的视频有效目标。
利用分层聚类算法对雷达检测数据进行处理，将速度为0的静止目标作为无效目标进行过滤，只对行驶中的动态目标-车辆进行后续处理。采用改进的YOLO v5算法从所述视频检测数据中提取动态的视频有效目标，改进的YOLO v5算法在传统特征金字塔网络FPN的基础上，增加了自适应注意力模块(AAM)和特征增强模块(FEM)，即AAM-FEM-FPN结构，如图3所示。AAM减少了特征通道，减少了高层特征图中上下文信息的丢失。FEM增强了特征金字塔的表示，提高了推理速度，同时实现了最先进的性能。输入图像通过多个卷积生成特征映射{C1, C2, C3, C4, C5}。C5通过AAM生成特征映射M6。M6与M5求和并通过自上而下的途径传播与较低层次的其他特征融合，通过扩展感受域每次融合后的有限元分析。PANet缩短了底层与顶层特征之间的信息路径。用AAM-FEM-FPN代替原来的FPN结构，提高了多尺度目标识别能力，在识别速度和精度之间进行了有效的权衡。改进的YOLO v5算法去除原网络中的Mosaic增强，根据自动学习数据增强策略使用最佳的数据增强方法来丰富数据集，提高训练效果。
S2，对所述毫米波雷达和摄像机的检测结果进行时空同步，将所述视频有效目标投影到雷达扫描平面，与所述雷达有效目标进行目标匹配，实现多传感器数据融合。
首先，对毫米波雷达与摄像机进行空间坐标系的转换，实现雷达有效目标和视频有效目标的时空同步，转换公式为
Figure 208309DEST_PATH_IMAGE001
，其中，
Figure 594291DEST_PATH_IMAGE002
表示点在摄像机坐标系下的纵坐标；(u，v)表示在像素坐标系下投影点的坐标；
Figure 780553DEST_PATH_IMAGE003
、
Figure 611981DEST_PATH_IMAGE004
表示像素点在图像坐标系下x轴和y轴上的单位长度；(
Figure 957511DEST_PATH_IMAGE005
）表示摄像机主点偏移量；f为焦距；R、t分别表示旋转矩阵和平移向量；M为投影矩阵。
其次，首先为每个雷达有效目标以检测点为中心，建立宽15m、高3m 的矩形包围框，对矩形包围框内的目标，根据目标检测交并比融合进行目标匹配，包括：
（1）用视觉检测框标注所述雷达扫描平面上的视频有效目标，以所述视觉检测框的底边中点作为目标位置点，获得视频有效目标的位置信息；
（2）用雷达检测框标注所述雷达扫描平面上的雷达有效目标，以所述雷达检测框的底边中点作为目标位置点，获得雷达有效目标的位置信息；
（3）设针对某一目标的雷达检测框和视觉检测框分别为
Figure 186499DEST_PATH_IMAGE006
、
Figure 984690DEST_PATH_IMAGE007
，交并比k1=（
Figure 855694DEST_PATH_IMAGE006
∩
Figure 196677DEST_PATH_IMAGE007
）/（
Figure 721199DEST_PATH_IMAGE006
∪
Figure 380588DEST_PATH_IMAGE007
），判断k1值是否处于k1∈[0.3，1]，若是，说明雷达和摄像机共同识别出该目标，得到匹配目标；否则，说明毫米波雷达和摄像机无法进行目标匹配，则进行第二次目标匹配。其中，[0.3，1]为经验值，k1在该范围内，可以保证目标识别的准确性，当k1不在该范围内时，无法判断识别的准确性，需要进行更深一层的目标识别和匹配。
本实施例中，采用全局最近邻数据关联算法进行第二次目标匹配，包括：
（1）设毫米波雷达和摄像机剩余有效目标个数分别为m和n，毫米波雷达和摄像机剩余有效目标到坐标原点的距离分别为
Figure 258546DEST_PATH_IMAGE008
、
Figure 618814DEST_PATH_IMAGE009
，将雷达检测值作为航迹i，摄像机检测值作为量测j。雷达测量值是点云雷达检测框，指的是上面的Dr，摄像机检测值是视觉检测框，指上面的Dc。
（2）设
Figure 251921DEST_PATH_IMAGE010
(k)为 k 时刻航迹i与量测j的残差，其计算公式为
Figure DEST_PATH_IMAGE011
，其中 H 表示状态转移矩阵，航迹i与量测j的归一化距离
Figure 103334DEST_PATH_IMAGE012
表示为
Figure 673730DEST_PATH_IMAGE013
其中：
Figure 487840DEST_PATH_IMAGE014
表示
Figure 495110DEST_PATH_IMAGE015
的协方差矩阵；设Gi表示航迹i的门限值，当满足
Figure 896136DEST_PATH_IMAGE012
≤ Gi时，认为量测j落入航迹 i的门限内，进行匹配，同时航迹和量测的匹配需满足以下约束条件：
Figure 506109DEST_PATH_IMAGE016
=
Figure 941769DEST_PATH_IMAGE017
Figure DEST_PATH_IMAGE018
即每个航迹最多匹配一个量测，每个量测对应一个航迹。
代价函数定义为
Figure 155494DEST_PATH_IMAGE019
其中
Figure 512657DEST_PATH_IMAGE020
表示代价，计算公式为
Figure 191900DEST_PATH_IMAGE021
；
通过上述公式可得出全局最近邻数据关联算法的代价函数，即可得到剩余毫米波雷达和摄像机的匹配目标，从而实现毫米波雷达和摄像机的检测对象尽可能多的目标匹配，有助于降低目标对象的漏检率，同时保证了识别匹配的准确率。
再次，对匹配成功的目标进行误差评估。
对所述匹配目的目标位置进行加权处理，将加权后的目标位置和毫米波雷达检测的其他信息综合后输出，加权策略为
Figure 216488DEST_PATH_IMAGE022
，其中δcx和δrx、δcy和δry分别表示视频有效目标的位置和雷达有效目标的位置在x、y方向的平均误差。
S3，基于扩展卡尔曼滤波算法进行目标存在性验证。
1）所述匹配目标的状态向量为
Figure DEST_PATH_IMAGE023
，其中x、y、vx、vy分别表示目标的纵向坐标、横向坐标、纵向速度和横向速度；
2）使用扩展卡尔曼滤波算法的状态方程和观测方程，其方程为
Figure 362298DEST_PATH_IMAGE024
，其中X(k)、X(k-1)分别表示目标在k、k-1时刻的状态向量；Z(k)表示目标在k时刻的观测向量；f、h表示状态转移矩阵；V(k)、W(k)表示高斯白噪声；
3）基于 k-1时刻的目标状态，预测出目标在k时刻的状态为
Figure DEST_PATH_IMAGE025
，其中
Figure 908555DEST_PATH_IMAGE026
(k|k-1)、
Figure DEST_PATH_IMAGE027
(k|k-1)分别表示状态预测值和预测误差协方差；F为f的雅克比矩阵，根据上述公式可以得到
Figure 532434DEST_PATH_IMAGE028
，其中
Figure DEST_PATH_IMAGE029
(k|k-1)、S(k)、K(k)分别表示测量预测值、新息协方差和增益；H为h 的雅克比矩阵；
4）更新得到目标的状态信息，所述目标信息为
Figure 113326DEST_PATH_IMAGE030
,其中
Figure 898879DEST_PATH_IMAGE026
(k|k)、
Figure DEST_PATH_IMAGE031
(k|k)分别表示目标的状态估计向量和协方差；I表示单位矩阵。
S4，通过融合目标决策，输出融合目标检测结果。
本实施例中列举了一种融合目标决策的方式，包括：
1）从所述匹配目标中选定目标A进行跟踪；
2）判断目标A在预设监测范围内的连续出现次数是否达到3次，若是，则输出目标A；若否，则转至3）；
3）继续跟踪目标A，判断目标A是否丢失，若是，则对目标A丢失次数累加1次；若否，转至2）；
4）判断目标A丢失次数是否达到5次，若是，则停止跟踪，丢失次数清零；若否，则转至2）。
由于雷达在检测过程中受到干扰、遮挡等情况影响，会出现目标对象在采样周期内未能连续出现的情况，融合目标决策的过程是为了获得连续出现预设次数的目标对象。当目标A连续出现次数不到3次时，继续跟踪，判断目标A是否丢失，如果目标A再次出现，则转至2）从再次出现这次开始统计出现次数；如果目标A没有再出现，则对目标A的丢失次数累加1次，判断目标A丢失次数是否达到5次，若已经达到，则不再跟踪目标A，否则则转至2）继续跟踪目标A，判断其出现次数。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (5)

1.一种基于毫米波雷达和视频融合的目标检测方法，其特征在于，通过毫米波雷达和摄像机检测同一场景下目标；
包括如下步骤：
从所述毫米波雷达获取雷达检测数据，从所述雷达检测数据中提取动态的雷达有效目标；从所述摄像机获取视频检测数据，从所述视频检测数据中提取动态的视频有效目标；
对所述毫米波雷达和摄像机的检测结果进行时空同步，将所述视频有效目标投影到雷达扫描平面，与所述雷达有效目标进行目标匹配，实现多传感器数据融合，转换公式为
Figure FDA0003795642670000011
其中，Zc表示点在摄像机坐标系下的纵坐标；(u，v)表示在像素坐标系下投影点的坐标；dx、dy表示像素点在图像坐标系下x轴和y轴上的单位长度；(u0，v0)表示摄像机主点偏移量；f为焦距；R、t分别表示旋转矩阵和平移向量；M为投影矩阵；
基于扩展卡尔曼滤波算法进行目标存在性验证；
通过融合目标决策，输出融合目标检测结果；
为每个雷达有效目标以检测点为中心，建立矩形包围框，对所述矩形包围框内的目标，
根据目标检测交并比融合进行所述目标匹配，包括：
用视觉检测框标注所述雷达扫描平面上的视频有效目标，以所述视觉检测框的底边中点作为目标位置点，获得视频有效目标的位置信息；
用雷达检测框标注所述雷达扫描平面上的雷达有效目标，以所述雷达检测框的底边中点作为目标位置点，获得雷达有效目标的位置信息；
设针对某一目标的雷达检测框和视觉检测框分别为Dr、Dc，交并比k1＝(Dr∩Dc)/(Dr∪Dc)，判断k1值是否处于k1∈[0.3，1]，若是，说明雷达和摄像机共同识别出该目标，得到匹配目标；否则，说明毫米波雷达和摄像机无法进行目标匹配，则进行第二次目标匹配；
采用全局最近邻数据关联算法进行第二次目标匹配，包括：
设毫米波雷达和摄像机剩余有效目标个数分别为m和n，毫米波雷达和摄像机剩余有效目标到坐标原点的距离分别为
Figure FDA0003795642670000025
将雷达检测值作为航迹i，摄像机检测值作为量测j；
设Vij(k)为k时刻航迹i与量测j的残差，其计算公式为Vij(k)＝Vj(k)-HRi(k)，其中H表示状态转移矩阵，航迹i与量测j的归一化距离
Figure FDA0003795642670000026
表示为
Figure FDA0003795642670000021
其中：
Figure FDA0003795642670000022
表示vij(k)的协方差矩阵；
设Gi表示航迹i的门限值，当满足
Figure FDA0003795642670000027
时，认为量测j落入航迹i的门限内，进行匹配，同时航迹和量测的匹配需满足以下约束条件：
Figure FDA0003795642670000023
即每个航迹最多匹配一个量测，每个量测对应一个航迹；
代价函数定义为
Figure FDA0003795642670000024
其中Cij表示代价，计算公式为
Figure FDA0003795642670000031
通过上述公式可得出全局最近邻数据关联算法的代价函数，即可得到剩余毫米波雷达和摄像机的匹配目标；
对所述匹配目标位置进行加权处理，将加权后的目标位置和毫米波雷达检测的其他信息综合后输出，加权策略为
Figure FDA0003795642670000032
其中δcx和δrx、δcy和δry分别表示视频有效目标的位置和雷达有效目标的位置在x、y方向的平均误差；
所述融合目标决策，包括：
1)从所述匹配目标中选定目标A进行跟踪；
2)判断目标A在预设监测范围内的连续出现次数是否达到第一阈值，若是，则输出目标A；若否，则转至3)；
3)继续跟踪目标A，判断目标A是否丢失，若是，则对目标A丢失次数累加1次；若否，则转至2)；
4)判断目标A丢失次数是否达到第二阈值，若是，则停止跟踪，丢失次数清零；若否，则转至2)。
2.根据权利要求1所述的一种基于毫米波雷达和视频融合的目标检测方法，其特征在于，所述基于扩展卡尔曼滤波算法进行目标存在性验证，包括：
所述匹配目标的状态向量为X＝(x,y,vx,vy)T，其中x、y、vx、vy分别表示目标的纵向坐标、横向坐标、纵向速度和横向速度；
使用扩展卡尔曼滤波算法的状态方程和观测方程，其方程为
Figure FDA0003795642670000033
其中X(k)、X(k-1)分别表示目标在k、k-1时刻的状态向量；Z(k)表示目标在k时刻的观测向量；f、h表示状态转移矩阵；V(k)、W(k)表示高斯白噪声；
基于k-1时刻的目标状态，预测出目标在k时刻的状态为
Figure FDA0003795642670000041
其中
Figure FDA0003795642670000042
分别表示状态预测值和预测误差协方差；F为f的雅克比矩阵，根据上述公式可以得到
Figure FDA0003795642670000043
其中
Figure FDA0003795642670000044
S(k)、K(k)分别表示测量预测值、新息协方差和增益；H为h的雅克比矩阵；
更新得到目标的状态信息，所述目标信息为
Figure FDA0003795642670000045
其中
Figure FDA0003795642670000046
分别表示目标的状态估计向量和协方差；I表示单位矩阵。
3.根据权利要求1所述的一种基于毫米波雷达和视频融合的目标检测方法，其特征在于，采用改进的YOLO v5算法从所述视频检测数据中提取动态的视频有效目标，改进的YOLOv5算法在传统特征金字塔网络FPN的基础上，增加了自适应注意力模块(AAM)和特征增强模块(FEM)，即AAM-FEM-FPN结构。
4.一种基于毫米波雷达和视频融合的目标检测系统，适用于权利要求1-3任一所述的基于毫米波雷达和视频融合的目标检测方法，其特征在于，包括：
雷达处理模块，用于从毫米波雷达获取雷达检测数据，从所述雷达检测数据中提取动态的雷达有效目标；
视频处理模块，用于从摄像机获取视频检测数据，从所述视频检测数据中提取动态的视频有效目标；
数据融合模块，用于对所述毫米波雷达和摄像机的检测结果进行时空同步，将所述视频有效目标投影到雷达扫描平面，与所述雷达有效目标进行目标匹配，实现多传感器数据融合；
验证输出模块，用于基于扩展卡尔曼滤波算法进行目标存在性验证，并通过融合目标决策，输出融合目标检测结果。
5.根据权利要求4所述的一种基于毫米波雷达和视频融合的目标检测系统，其特征在于，所述数据融合模块在进行目标匹配时，计算视频有效目标与雷达检测目标的目标检测交并比，根据目标检测交并比判断目标匹配的准确性，对于无法判断识别准确性的情况，进一步采用全局最近邻数据关联算法进行第二次目标匹配。
CN202210165545.2A 2022-02-23 2022-02-23 一种基于毫米波雷达和视频融合的目标检测方法及系统 Active CN114236528B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210165545.2A CN114236528B (zh) 2022-02-23 2022-02-23 一种基于毫米波雷达和视频融合的目标检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210165545.2A CN114236528B (zh) 2022-02-23 2022-02-23 一种基于毫米波雷达和视频融合的目标检测方法及系统

Publications (2)

Publication Number Publication Date
CN114236528A CN114236528A (zh) 2022-03-25
CN114236528B true CN114236528B (zh) 2022-11-01

Family

ID=80748009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210165545.2A Active CN114236528B (zh) 2022-02-23 2022-02-23 一种基于毫米波雷达和视频融合的目标检测方法及系统

Country Status (1)

Country Link
CN (1) CN114236528B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114708585B (zh) * 2022-04-15 2023-10-10 电子科技大学 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法
CN115113206B (zh) * 2022-06-23 2024-04-12 湘潭大学 井下有轨车辅助驾驶的行人与障碍物检测方法
CN115421136A (zh) * 2022-07-28 2022-12-02 广西北投信创科技投资集团有限公司 一种车辆检测系统及其检测方法
CN115346368B (zh) * 2022-07-30 2024-01-05 东南大学 一种基于远、近景多传感器一体融合的交通路侧感知系统及方法
CN115184917B (zh) * 2022-09-13 2023-03-10 湖南华诺星空电子技术有限公司 一种融合毫米波雷达与相机的区域目标跟踪方法
CN116363623B (zh) * 2023-01-28 2023-10-20 苏州飞搜科技有限公司 基于毫米波雷达与视觉融合的车辆检测方法
CN116148801B (zh) * 2023-04-18 2023-07-14 深圳市佰誉达科技有限公司 一种基于毫米波雷达的目标检测方法及系统
CN116704267B (zh) * 2023-08-01 2023-10-27 成都斐正能达科技有限责任公司 一种基于改进yolox算法的深度学习3d打印缺陷检测方法
CN117092631B (zh) * 2023-10-19 2024-04-19 江苏翰林正川工程技术有限公司 一种输电通道施工机械目标定位与测距方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113671480A (zh) * 2021-07-10 2021-11-19 亿太特(陕西)科技有限公司 雷达与视频融合交通目标跟踪方法、系统、设备、终端

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109490890B (zh) * 2018-11-29 2023-06-02 重庆邮电大学 一种面向智能车的毫米波雷达与单目相机信息融合方法
CN110726990B (zh) * 2019-09-23 2023-04-07 江苏大学 一种基于ds-gnn算法的多传感器融合方法
CN111123251B (zh) * 2019-12-18 2022-03-15 北京海兰信数据科技股份有限公司 一种雷达的目标对象检测方法及装置
CN111652097B (zh) * 2020-05-25 2023-04-18 南京莱斯电子设备有限公司 一种图像毫米波雷达融合目标检测方法
CN113156421A (zh) * 2021-04-07 2021-07-23 南京邮电大学 基于毫米波雷达和摄像头信息融合的障碍物检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113671480A (zh) * 2021-07-10 2021-11-19 亿太特(陕西)科技有限公司 雷达与视频融合交通目标跟踪方法、系统、设备、终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于毫米波雷达和机器视觉信息融合的障碍物检测;翟光耀等;《物联网学报》;20170930(第02期);第76-83页 *

Also Published As

Publication number Publication date
CN114236528A (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN114236528B (zh) 一种基于毫米波雷达和视频融合的目标检测方法及系统
Brodeski et al. Deep radar detector
US10867189B2 (en) Systems and methods for lane-marker detection
EP1329850B1 (en) Apparatus, program and method for detecting both stationary objects and moving objects in an image
US8588512B2 (en) Localization method for a moving robot
CN110427981B (zh) 基于深度神经网络的sar船舶检测系统及方法
CN108445480A (zh) 基于激光雷达的移动平台自适应扩展目标跟踪系统及方法
KR101569919B1 (ko) 차량의 위치 추정 장치 및 방법
US20210213962A1 (en) Method for Determining Position Data and/or Motion Data of a Vehicle
CN114022830A (zh) 一种目标确定方法以及目标确定装置
CN115909281A (zh) 匹配融合的障碍物检测方法、系统、电子设备及存储介质
CN110458019B (zh) 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法
CN111856445A (zh) 一种目标检测方法、装置、设备及系统
CN112766108B (zh) 基于上下文信息的sar图像目标检测方法
Jibrin et al. An object detection and classification method using radar and camera data fusion
CN113537170A (zh) 一种交通路况智能监测方法和计算机可读存储介质
CN117237851A (zh) 基于红外可见光联合探测的视频目标跟踪方法及系统
CN117115436A (zh) 舰船姿态检测方法、装置、电子设备及存储介质
CN111681266A (zh) 船舶跟踪方法、系统、设备及存储介质
CN111553474A (zh) 船只检测模型训练方法及基于无人机视频的船只跟踪方法
CN110969605A (zh) 一种基于空时显著图的运动小目标检测方法和系统
CN114973195A (zh) 基于多信息融合的车辆追踪方法、装置及系统
CN115423845A (zh) 融合毫米波雷达及相机的目标对象检测与跟踪方法
CN114898202A (zh) 基于多模型融合的水下视频目标尺度空间判别式跟踪系统及方法
CN113673105A (zh) 真值对比策略的设计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant