CN115166717A - 一种融合毫米波雷达与单目相机的轻量级目标跟踪方法 - Google Patents

一种融合毫米波雷达与单目相机的轻量级目标跟踪方法 Download PDF

Info

Publication number
CN115166717A
CN115166717A CN202210798905.2A CN202210798905A CN115166717A CN 115166717 A CN115166717 A CN 115166717A CN 202210798905 A CN202210798905 A CN 202210798905A CN 115166717 A CN115166717 A CN 115166717A
Authority
CN
China
Prior art keywords
target
millimeter wave
wave radar
monocular camera
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210798905.2A
Other languages
English (en)
Inventor
朱威
初君
张津
何德峰
郑雅羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202210798905.2A priority Critical patent/CN115166717A/zh
Publication of CN115166717A publication Critical patent/CN115166717A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Probability & Statistics with Applications (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种融合毫米波雷达与单目相机的轻量级目标跟踪方法，所述方法包括以下步骤：将毫米波雷达和单目相机进行联合标定；以运动参数为过滤基准，并通过欧几里德聚类算法筛选毫米波雷达检测到的当前帧的点云数据对单目相机采集当前图像并进行目标检测和车道线检测，并获取当前车道线内的目标点云数据；通过卡尔曼滤波进行目标稳定跟踪。本发明将聚类后的雷达数据点作为目标跟踪对象，在初始帧以及前方目标点的个数发生变化的情况下引入视觉的检测结果观测出前方目标点所属类；同时融合YOLOP网络对当前车道线的检测信息，实现对同车道内的前方目标点的轻量级跟踪。

Description

一种融合毫米波雷达与单目相机的轻量级目标跟踪方法
技术领域
本发明属于智能辅助驾驶领域，具体来说涉及一种融合毫米波雷达与单目相机的轻量级目标跟踪方法。
背景技术
随着传感器、车联网以及人工智能等技术的迅速发展，汽车智能化的升级和改造逐渐成为降低事故发生率的重要途径。特别的，鉴于工程车盲区多、制动差的特点，提高碰撞预警能力对降低工程车辆事故发生率的重要性不言而喻。
车辆通过各种传感器、智能算法和车联网来实现对前方目标的实时感知和精确定位，从而为辅助驾驶甚至自动驾驶提供安全决策。目标检测和跟踪作为系统感知环境部分的重要技术，同时也是提高碰撞预警能力的重要手段；而毫米波雷达和视觉相机是组成目标检测和跟踪技术中最常用的两种传感器。毫米波雷达环境适应性好，穿透能力强，能够准确地探测到目标的速度、方位、距离等信息，但是其受限于工作原理，存在探测噪声大、杂波干扰数据过多以及无法获取目标的几何和类别信息等问题。视觉相机的成本低，能获取的数据信息量丰富，被广泛用于目标的识别分类，但存在易受光照、天气等环境因素影响等问题。
申请号为202110351803.1的专利公开了一种基于雷达信号和视觉融合的车辆检测方法，主要采用毫米波雷达与单目摄像头两种传感器，融合在YOLOV3-MobileNet神经网络的基础上实现对车辆检测，并使用Deep-SORT跟踪算法实现对检测后的车辆进行跟踪。这类方法主要采用Deep-SORT等基于深度学习的跟踪算法，因为该类算法引入CNN提取被测目标的表面特征，因此增加网络对遗失和障碍的鲁棒性，但是正是由于外观特征等的引入，导致其无法在算力有限地嵌入式设备上达到实时检测与跟踪的需求。申请号为201911095047.X的专利公开了一种基于单目视觉融合毫米波的ADAS前车碰撞预警方法，主要通过单目摄像头计算出前方车辆的实际距离并与毫米波雷达得到的距离信息进行融合校正，进而利用融合后的信息进行预警提醒；但是该方法仅将两种传感器的融合用作测距，而忽略了对同一车辆的实时跟踪问题。
发明内容
为了解决汽车在行驶过程中对同车道内的前方目标的实时跟踪问题，本发明提出了一种融合毫米波雷达与单目相机的轻量级目标跟踪方法。
为实现上述目的，本发明提供技术方案如下：
一种融合毫米波雷达与单目相机的轻量级目标跟踪方法，所述方法包括以下步骤：将毫米波雷达和单目相机进行联合标定；以运动参数为过滤基准，并通过欧几里德聚类算法筛选毫米波雷达检测到的当前帧的点云数据；对单目相机采集当前图像并进行目标检测和车道线检测，并获取当前车道线内的目标点云数据；通过卡尔曼滤波进行目标稳定跟踪。
优选地，所述联合标定包括以下步骤：对单目相机进行标定，并得到世界坐标系和像素坐标系间的转换模型；将毫米波雷达坐标系转换到世界坐标系；同步毫米波雷达与单目相机的采样频率。
优选地，所述毫米波雷达检测到的点云数据包括若干扫描点信息，任一扫描点信息包括位置坐标(x，y)及相对速度v，所述筛选包括以下步骤：
计算每一扫描点的欧几里德距离D；
判断欧几里德距离D是否不大于经验阈值，若是，则保留，否则丢弃。
优选地，对单目相机采集当前图像并进行目标检测和车道线检测包括以下步骤：通过训练后的YOLOP网络模型得到目标类别和车道线语义分割图像；对车道线语义分割图像使用密度聚类算法解析各车道线，并提取出本车所在车道内的两条车道线。
优选地，所述获取当前车道线内的目标点云数据包括以下步骤将筛选后的点云数据、提取的两条车道线与当前图像进行数据融合；剔除非当前车道线区域内的点云数据；基于目标区域获取融合在当前图像中的目标点信息。
优选地，所述目标稳定跟踪包括以下步骤：
前置判定步骤，判断当前图像是否为初始图像，若是，为初始图像的目标点分配初始ID，并输出目标类别，否则执行一致性判定步骤；
一致性判定步骤，判定当前图像的当前目标点个数与上一帧图像的目标点个数是否相同，若是，执行相似度四配步骤，否则为当前目标点分配新的ID，并输出目标类别；
相似度匹配，通过卡尔曼滤波算法预测上一帧图像的目标点信息，计算预测结果与当前目标点信息的相似度，若相似度大于阈值，则ID不变，并更新卡尔曼状态方程，否则为当前目标点分配新的ID，并输出目标类别。
与现有技术相比，本发明的有益效果为：
本发明将聚类后的点云数据作为目标跟踪对象，在初始帧以及前方目标点的个数发生变化的情况下根据视觉的检测结果(目标检测网络)观测出确定出前方目标点所属类；同时通过车道线检测方法获取当前车道线的检测信息，实现对同车道内的前方目标点的跟踪。本发明融合YOLOP网络模型既包括目标检测又包括车道线检测，实现同车道内的前方目标点的轻量级跟踪。
附图说明
图1为本发明流程图。
图2为本发明实施例的流程图。
具体实施方式
下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明一种融合毫米波雷达与单目相机的轻量级目标跟踪方法的实现是基于RK1808嵌入式平台。嵌入式平台是由瑞芯微公司的AI边缘计算芯片RK1808作为主控制器，该芯片采用双核Cortex-A35架构，NPU峰值算力高达3.0，VPU支持1080P视频编解码，支持摄像头视频信号输入并具有内置ISP。单目相机采用威控ES-DC1080ADAS，相机的水平分辨率为1280、竖直分辨率为720。毫米波雷达采用承泰科技公司研发的中长距毫米波雷达产品CTLRR-320，该产品使用CAN总线作为数据交互通道，其刷新周期是50ms，波特率为500kbps。
参照图1和图2，一种融合毫米波雷达与单目相机的轻量级目标跟踪方法，所述方法具体包括以下4个步骤。
步骤1，将毫米波雷达和单目相机进行联合标定，以下3个子步骤。
对单目相机进行标定，并得到世界坐标系和像素坐标系间的转换模型；
(1-1)本发明使用张正友提出的棋盘格标定法对单目相机进行标定得到相机的内参矩阵和外参矩阵，然后按式(1)得出世界坐标系和像素坐标系的关系：
Figure BDA0003731897840000041
其中Z是相机主轴；(u，v)表示像素坐标系；(x，y)表示相机坐标系；(cx，cy)表示相机坐标系的中心点坐标；f表示焦距；R是旋转矩阵；t是平移矩阵；(Xw，Yw，Zw)表示世界坐标系。由
Figure BDA0003731897840000042
cx、cy以及畸变系数K共同组成相机内参矩阵，R和t组成外参矩阵。
(1-2)将毫米波雷达坐标系转换到世界坐标系。毫米波雷达检测扫射平面为二维平面，可以得到目标的坐标信息(x，y)，这里坐标信息不包括目标高度z。以雷达平面建立坐标系，可以将毫米波雷达坐标系Ot-XtYtZt到世界坐标系Ow-XwYwZw的转换。
(1-3)同步毫米波雷达与单目相机的采样频率。由于毫米波雷达与相机需要在时间范围内同步，在实际的应用时可知毫米波雷达的采样周期较相机慢，因此以毫米波雷达的采集频率为基准。举例来说，以通过毫米波雷达获取的雷达数据帧和通过相机获取的视觉帧中，开始记录之后第一个相同的时间戳为起点，雷达数据每隔1帧采样一次，视频图像数据每隔2帧采样一次，即可完成两传感器在时间上的同步。
步骤2，以运动参数为过滤基准，并通过欧几里德聚类算法筛选毫米波雷达检测到的当前帧的点云数据。
本发明步骤2中，毫米波雷达检测到的点云数据包括若干扫描点信息，任一扫描点信息包括位置坐标(x，y)及相对速度v，所述筛选包括以下步骤：
(2-1)计算每一扫描点的欧几里德距离
Figure BDA0003731897840000051
其中，(xα，yα，vα)表示第α个扫描点信息，α为扫描点索引，(x0，y0，v0)表示簇心的信息；
(2-2)判断欧几里德距离D是否不大于经验阈值th，若是，为当前帧内的对应扫描点进行归类，否则丢弃。
步骤3，通过训练后的YOLOP网络模型对单目相机采集的当前图像并进行目标检测和车道线检测，并获取当前车道线内的目标点云数据。本发明步骤3包括以下步骤：
(3-1)通过训练后的YOLOP网络模型得到目标类别和车道线语义分割图像。
(3-2)对车道线语义分割图像使用密度聚类算法解析各车道线，并提取出本车所在车道内的两条车道线。
YOLOP网络作为全景驾驶感知领域网络方案，可以并行处理目标检测、可驾驶区域分割以及车道线检测三个感知任务。需要说明的是，YOLOP网络模型的具体结构为本领域公知常识，这里不做赘述。通过使用BDD100K开源数据集中的图像和对应的车道线标签对YOLOP网络模型进行训练，将单目相机采集的每一帧图像作为训练后的YOLOP网络模型的输入，经目标检测网络分支得到目标类别，同时经车道线检测网络分支得到对应的车道线语义分割图像，该帧车道线语义分割图像中所有的车道线坐标进行MeanShift聚类操作，MeanShift聚类算法的向量形式如式(2)和(3)所示。
Figure BDA0003731897840000061
Figure BDA0003731897840000062
其中，p表示经过语义分割后中的车道线像素点坐标(x，y)，其灰度值为255，pi表示当前需要归类的离散点的坐标(x，y)，pj表示已在簇中的点坐标(x，y)；G(p)是一个单位的核函数；H是一个正定的对称d*d矩阵，称为带宽矩阵，其是一个对角阵。w(pi)≥0，w(pi)是每一个样本的权重。对角阵H的形式为
Figure BDA0003731897840000063
由于本发明是基于同车道内的点云数据跟踪，因此过滤非当前车道线内的其他点云数据，并使用最小二乘法拟合车道线坐标得到二次方程的系数(a，b，c)，将系数带入二次方程即可提取出本车所在车道内的两条车道线。
(3-3)将筛选后的点云数据、提取的两条车道线与当前图像进行数据融合；这里，将点云数据和当前图像进行数据融合为本领域的公知常识，本领域技术人员可根据实际情况自行设置，在此不做赘述。
(3-4)剔除非当前车道线区域内的点云数据。
(3-5)基于目标区域获取融合在当前图像中的目标点信息。
本发明中，两条车道线之间的区域为目标区域，映射在当前图像的目标区域内的扫描点为目标点，该扫描点信息即为目标点信息。
步骤4，通过卡尔曼滤波进行目标稳定跟踪，具体包括以下步骤。
(4-1)前置判定步骤，判断当前图像是否为初始图像，若是，为初始图像的目标点(x，y，v)分配初始ID，并输出目标类别，否则执行一致性判定步骤；这里输出的目标类别为通过训练后YOLOP网络模型中的目标检测分支输出的目标类别。
(4-2)一致性判定步骤，判定当前图像的当前目标点个数与上一帧图像的目标点个数是否一致，若是，执行相似度匹配步骤，否则为当前目标点分配新的ID，并输出目标类别。
(4-3)相似度匹配，通过卡尔曼滤波算法预测上一帧图像的目标点信息，计算预测结果与当前目标点信息的相似度，若相似度大于阈值，则ID不变，并更新卡尔曼状态方程，否则为当前目标点分配新的ID，并输出目标类别。
这里的″计算预测结果与当前目标点信息的相似度″如下式：
Figure BDA0003731897840000071
其中，(x1，y1，v1)标识当前目标点信息，(x2，y2，v2)表示预测结果。这里，D越大，说明相似度越低，若D＞5，则说明相似度不大于阈值，则需要为当前目标点分配新的ID，并输出相应的目标类别。
汽车在行驶过程中主要实现对前方目标的轻量级跟踪，并最终实现实时地安全距离预警，使用毫米波雷达与单目相机组合获取前方目标数据的方案。毫米波雷达负责扫描前方环境中的移动目标点，单目相机负责依据雷达的反馈点云数据进行融合与匹配，完成点云数据的所属类别(车、人等目标检测分类结果)的定义。将单目相机获取的图像经过网络进行目标检测与车道线检测后再和毫米波雷达的数据相融合，得到当前车道内的前方目标点信息。按照连续帧目标不会突变的原则，运用卡尔曼滤波算法对前述的目标点进行预测，将预测的结果与当前帧得到的目标点信息进行匹配计算，根据目标检测的结果确定跟踪的目标类别以及为其分配。本方案没有使用传统的跟踪算法以及基于深度的跟踪算法，而是对点云数据点进行跟踪，调用目标检测结果以及车道线语义分割结果实现了对本车道内目标的轻量级跟踪，提高了计算速度、减少了跟踪处理的时间。

Claims (6)

1.一种融合毫米波雷达与单目相机的轻量级目标跟踪方法，其特征在于，所述方法包括以下步骤：
将毫米波雷达和单目相机进行联合标定；
以运动参数为过滤基准，并通过欧几里德聚类算法筛选毫米波雷达检测到的当前帧的点云数据；
对单目相机采集当前图像并进行目标检测和车道线检测，并获取当前车道线内的目标点云数据；
通过卡尔曼滤波进行目标稳定跟踪。
2.如权利要求1所述的一种融合毫米波雷达与单目相机的轻量级目标跟踪方法，其特征在于，所述联合标定包括以下步骤：
对单目相机进行标定，并得到世界坐标系和像素坐标系间的转换模型；
将毫米波雷达坐标系转换到世界坐标系；
同步毫米波雷达与单目相机的采样频率。
3.如权利要求1所述的一种融合毫米波雷达与单目相机的轻量级目标跟踪方法，其特征在于，所述毫米波雷达检测到的点云数据包括若干扫描点信息，任一扫描点信息包括位置坐标(x，y)及相对速度v，所述筛选包括以下步骤：
计算每一扫描点的欧几里德距离D；
判断欧几里德距离D是否不大于经验阈值，若是，则保留，否则丢弃。
4.如权利要求1所述的一种融合毫米波雷达与单目相机的轻量级目标跟踪方法，其特征在于，对单目相机采集当前图像并进行目标检测和车道线检测包括以下步骤：
通过训练后的YOLOP网络模型得到目标类别和车道线语义分割图像；
对车道线语义分割图像使用密度聚类算法解析各车道线，并提取出本车所在车道内的两条车道线。
5.如权利要求4所述的一种融合毫米波雷达与单目相机的轻量级目标跟踪方法，其特征在于，所述获取当前车道线内的目标点云数据包括以下步骤：
将筛选后的点云数据、提取的两条车道线与当前图像进行数据融合；
剔除非当前车道线区域内的点云数据；
基于目标区域获取融合在当前图像中的目标点信息。
6.如权利要求1-5任一项所述的一种融合毫米波雷达与单目相机的轻量级目标跟踪方法，其特征在于，所述目标稳定跟踪包括以下步骤：
前置判定步骤，判断当前图像是否为初始图像，若是，为初始图像的目标点分配初始ID，并输出目标类别，否则执行一致性判定步骤；
一致性判定步骤，判定当前图像的当前目标点个数与上一帧图像的目标点个数是否相同，若是，执行相似度匹配步骤，否则为当前目标点分配新的ID，并输出目标类别；
相似度匹配，通过卡尔曼滤波算法预测上一帧图像的目标点信息，计算预测结果与当前目标点信息的相似度，若相似度大于阈值，则ID不变，并更新卡尔曼状态方程，否则为当前目标点分配新的ID，并输出目标类别。
CN202210798905.2A 2022-07-06 2022-07-06 一种融合毫米波雷达与单目相机的轻量级目标跟踪方法 Pending CN115166717A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210798905.2A CN115166717A (zh) 2022-07-06 2022-07-06 一种融合毫米波雷达与单目相机的轻量级目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210798905.2A CN115166717A (zh) 2022-07-06 2022-07-06 一种融合毫米波雷达与单目相机的轻量级目标跟踪方法

Publications (1)

Publication Number Publication Date
CN115166717A true CN115166717A (zh) 2022-10-11

Family

ID=83490933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210798905.2A Pending CN115166717A (zh) 2022-07-06 2022-07-06 一种融合毫米波雷达与单目相机的轻量级目标跟踪方法

Country Status (1)

Country Link
CN (1) CN115166717A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117630907A (zh) * 2023-11-29 2024-03-01 哈尔滨工业大学（威海） 一种红外成像与毫米波雷达融合的海面目标跟踪方法
CN117930224A (zh) * 2024-03-19 2024-04-26 山东科技大学 一种基于单目视觉深度估计的车辆测距方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117630907A (zh) * 2023-11-29 2024-03-01 哈尔滨工业大学（威海） 一种红外成像与毫米波雷达融合的海面目标跟踪方法
CN117630907B (zh) * 2023-11-29 2024-05-28 哈尔滨工业大学（威海） 一种红外成像与毫米波雷达融合的海面目标跟踪方法
CN117930224A (zh) * 2024-03-19 2024-04-26 山东科技大学 一种基于单目视觉深度估计的车辆测距方法

Similar Documents

Publication Publication Date Title
CN108983219B (zh) 一种交通场景的图像信息和雷达信息的融合方法及系统
CN111369541B (zh) 一种智能汽车恶劣天气条件下车辆检测方法
CN112215306B (zh) 一种基于单目视觉与毫米波雷达融合的目标检测方法
CN107506711B (zh) 基于卷积神经网络的双目视觉障碍物检测系统及方法
CN112800860B (zh) 一种事件相机和视觉相机协同的高速抛撒物检测方法和系统
CN101739551B (zh) 运动目标识别方法及系统
CN106128121B (zh) 基于局部特征分析的车辆排队长度快速检测算法
CN115166717A (zh) 一种融合毫米波雷达与单目相机的轻量级目标跟踪方法
CN110211101A (zh) 一种铁轨表面缺陷快速检测系统及方法
CN107133610B (zh) 一种复杂路况下行车流量视觉检测与计数方法
CN101383004A (zh) 一种红外和可见光图像相结合的乘客目标检测方法
CN102831617A (zh) 一种运动目标检测与跟踪的方法和系统
CN110633671A (zh) 基于深度图像的公交车客流实时统计方法
CN113822221A (zh) 一种基于对抗神经网络和多传感器融合的目标检测方法
CN111208479B (zh) 一种降低深度网络检测中虚警概率的方法
CN116486287A (zh) 基于环境自适应机器人视觉系统的目标检测方法及系统
CN106570885A (zh) 基于亮度和纹理融合阈值的背景建模方法
Su et al. A new local-main-gradient-orientation HOG and contour differences based algorithm for object classification
CN116978009A (zh) 基于4d毫米波雷达的动态物体滤除方法
CN115346197A (zh) 一种基于双向视频流的驾驶员分心行为识别方法
CN112419364A (zh) 基于图像特征匹配的目标跟踪方法及系统
CN110837769B (zh) 一种图像处理与深度学习的嵌入式远红外行人检测方法
CN115497073A (zh) 一种基于车载摄像头和激光雷达融合的障碍物相机实时检测方法
CN115690190B (zh) 基于光流图像和小孔成像的运动目标检测与定位方法
CN107169439A (zh) 一种行人车辆检测与分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination