CN112215306A - 一种基于单目视觉与毫米波雷达融合的目标检测方法 - Google Patents
一种基于单目视觉与毫米波雷达融合的目标检测方法 Download PDFInfo
- Publication number
- CN112215306A CN112215306A CN202011292047.1A CN202011292047A CN112215306A CN 112215306 A CN112215306 A CN 112215306A CN 202011292047 A CN202011292047 A CN 202011292047A CN 112215306 A CN112215306 A CN 112215306A
- Authority
- CN
- China
- Prior art keywords
- target
- millimeter wave
- wave radar
- image
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Radar Systems Or Details Thereof (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及一种基于单目视觉与毫米波雷达融合的目标检测方法,包括以下步骤:S1:获取视觉图像和毫米波雷达数据;S2:基于平均透射率对输入视觉图像进行去雾预处理;S3:根据毫米波雷达数据进行有效目标筛选;S4:基于坐标变换和时间配准将有效目标与视觉图像融合,并获取融合后视觉图像中的兴趣区域;S5:使用神经网络对兴趣区域进行目标识别,获取视觉识别结果,并根据毫米波雷达数据获取毫米波雷达识别结果;S6:对毫米波雷达识别结果和视觉识别结果进行加权信息决策,得到最终的目标检测结果,与现有技术相比,本发明具有提高目标识别准确性和可靠性等优点。
Description
技术领域
本发明涉及计算机视觉与模式识别领域,尤其是涉及一种基于单目视觉与毫米波雷达融合的目标检测方法。
背景技术
目标检测是自动驾驶环境感知系统中必不可少的组成部分,也是计算机视觉中的一项基础问题。道路交通目标检测可采用多种多样的感知方式,例如相机、毫米波雷达以及激光雷达等。对相机图像进行处理,通过人工智能和深度学习技术可以实现多类交通目标的识别;根据毫米波雷达回波信号和卡尔曼滤波技术可以得到目标的距离和速度信息;根据激光雷达的点云特征可以实现目标的定位和地图重建。这些技术目前已被广泛应用到高级辅助驾驶系统(Advanced Driving Assistance System,ADAS)领域中去,实现了车道保持、前碰撞预警和自适应巡航等辅助驾驶功能。
近年来,图像处理技术已取得巨大进展。与以往相比,摄像机价格更低、体积更小、质量更高。与此同时,计算能力获得了显著提高,这些硬件上的进步使面向道路交通目标检测的计算机视觉方法可实时运行。毫米波雷达在测量距离和速度与环境适应性方面存在优势,但是由于其获取环境信息量过少,因此通常在融合系统中作为辅助传感源,为其他传感源提供信息补充和支撑。但是单一传感源由于传感器自身原因存在缺陷和不足,检测目标的状态信息单一,因此基于传感器信息融合的目标检测和识别仍然是智能车外环境感知领域的研究重点。而现有技术中,没有有效将毫米波雷与视觉信息融合进行目标检测的方案,已有的融合措施也只是进行机械地结合,两者之间并没有有效结合,没有发挥传感器融合的优势,目标检测结果准确性和可靠性低。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种提高准确性和可靠性的基于单目视觉与毫米波雷达融合的目标检测方法,融合毫米波雷达与视觉信息,更加充分地获取环境信息,进而提高识别的准确率和可靠性。
本发明的目的可以通过以下技术方案来实现:
一种基于单目视觉与毫米波雷达融合的目标检测方法,包括以下步骤:
S1:获取视觉图像和毫米波雷达数据;
S2:基于平均透射率对输入视觉图像进行去雾预处理;
S3:根据毫米波雷达数据进行有效目标筛选;
S4:基于坐标变换和时间配准将有效目标与视觉图像融合,并获取融合后视觉图像中的兴趣区域;
S5:使用神经网络对兴趣区域进行目标识别,获取视觉识别结果,并根据毫米波雷达数据获取毫米波雷达识别结果;
S6:对毫米波雷达识别结果和视觉识别结果进行加权信息决策,得到最终的目标检测结果。
进一步地,所述的步骤S2具体包括:
S21:计算输入视觉图像的平均透射率;
S22:判断平均透射率的值是否低于透射阈值,若是,则执行步骤S23,否则直接执行步骤S3;
S23:根据去雾图像表达式对输入视觉图像进行去雾处理;
所述的平均透射率的计算式为:
所述的去雾图像表达式为:
其中,I为待去雾图像,J为去雾后图像,A为大气光,Ω为图像子区域,C为颜色通道。
进一步地,所述的步骤S3中,根据毫米波雷达数据的关键运动指标和统计特征进行有效目标筛选,具体为:若目标的绝对速度大于设定阈值,且散射截面积强度和目标宽度区间在设定范围内,则筛选该目标为有效目标。
更进一步地,所述的步骤S3还包括根据毫米波雷达数据进行无效目标剔除,具体包括以下步骤:
S31:判断目标是否满足有效目标筛选公式,若是,则筛选该目标为有效目标,否则保留该目标;
S32:判断目标是否满足无效目标剔除公式,若是,则将该目标剔除,否则保留该目标;
所述的有效目标筛选公式的表达式为:
所述的无效目标剔除公式的表达式为:
其中,V为目标相对速度,Vhost为自车速度,RCS为散射截面积强度,W为目标宽度区间。
优选地,所述的有效目标包括车辆、非机动车和行人。
进一步地,所述的步骤S4具体为:通过时间配准和目标映射公式,将雷达坐标变换至对应视觉图像中的一点,并以该点为中心选定设定大小的矩形区域作为兴趣区域。
更进一步地,所述的时间配准采用向低频数据兼容的时间配准方法,以低频毫米波雷达测量时间戳为基准,使高频视觉数据向下兼容;
所述的目标映射公式的表达式为:
其中,xr为雷达坐标的横坐标,yr为雷达坐标的纵坐标,u为图像坐标的横坐标,v为图像坐标的纵坐标,f为相机焦距,dx,dy分别表示相机传感器横纵方向的像素尺寸,(u0,v0)为图像物理坐标系中心Ou在图像像素坐标系中的坐标。Rc为3×3正交旋转矩阵,由相机相对车辆坐标系的横摆角俯仰角δ、侧倾角ξ共同决定,Tc为3×1的坐标平移矩阵,由相机的安装位置参数决定。Tr是毫米波雷达在车辆坐标系中的平移向量。
进一步地,所述的神经网络为改进的YOLO网络,所述的改进的YOLO网络最后一个卷积层的模板数量为50,网络层中类别数为5,并使用k-means算法进行模板框聚类。
进一步地,所述的毫米波雷达识别结果包括目标存在概率RCi以及位置速度信息M,所述的视觉识别结果包括目标类别置信度VCi和目标包围框BCi,所述的加权信息决策的表达式为:
FCi=γvVCi+γrRCi
γv+γr=1
其中,i_max为目标最终类别,Ci为第i种目标类别,FCi为目标属于类别Ci的概率,γv为视觉识别结果权重,γr为毫米波雷达识别结果权重。
更进一步地,当所述的目标最终类别i_max对应的融合识别置信度为FCi_max大于置信度阈值F0时,将位置速度信息M、目标包围框BCi和目标最终类别匹配,得到最终的目标检测结果。
与现有技术相比,本发明具有以下优点:
1)本发明方法通过加权信息融合目标决策算法,毫米波雷达与视觉的检测信息得到了互补,使得被视觉忽略的目标可能被雷达检测到,当二者信息发生冲突时也能得到合理协调,提高识别的准确率和可靠性;
2)本发明方法通过加权信息融合目标决策算法,毫米波雷达在位置和速度信息获取方面存在明显优势,视觉在目标包围框回归方面准确性明显较高,因此当目标确认存在时,可以将这些信息匹配给相应目标,丰富了检测目标的状态信息,最大程度发挥了传感器融合的优势;
3)本发明方法使用毫米波雷达预先筛选兴趣区域,雷达与图像识别结果加权决策的目标识别与检测方法,首先分别建立了毫米波雷达有效目标筛选方法和基于YOLO框架的改进网络目标识别算法,然后通过坐标变换和时间配准对毫米波雷达与相机数据进行时空信息融合,充分发挥了毫米波雷达与视觉识别的优势,能够更加充分地获取环境信息,检测目标的状态信息丰富,提高识别的准确率和可靠性;
4)本发明方法针对雾霾天气使用图像去雾预处理,并通过实验确定了是否进行去雾的透射阈值,有效提高网络识别的准确率;
5)本发明方法考虑不同类别目标尺寸和透视关系,利用毫米波雷达的目标距离信息,提出了更为精准的毫米波雷达兴趣区域筛选方法,避免了虚警和冗余计算,提高视觉算法的召回率并为视觉信息提供运动特征信息补充,提高识别的准确率和可靠性;
6)本发明方法以车辆坐标系作为纽带建立毫米波雷达坐标系至相机坐标系的坐标变换关系,采用向毫米波雷达数据兼容的方式,实现了毫米波雷达与相机的时间配准与时空信息融合,视觉图像与毫米波雷达数据的融合效果好,,提高识别的准确率。
附图说明
图1为本发明流程示意图;
图2为本发明整体流程原理示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。显然,所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都应属于本发明保护的范围。
实施例
如图1所示,本发明提供一种基于单目视觉与毫米波雷达融合的目标检测方法,包括以下步骤:
S1:获取视觉图像和毫米波雷达数据;
S2:基于平均透射率对输入视觉图像进行去雾预处理;
S3:根据毫米波雷达数据进行有效目标筛选;
S4:基于坐标变换和时间配准将有效目标与视觉图像融合,并获取融合后视觉图像中的兴趣区域;
S5:使用神经网络对兴趣区域进行目标识别,获取视觉识别结果,并根据毫米波雷达数据获取毫米波雷达识别结果;
S6:对毫米波雷达识别结果和视觉识别结果进行加权信息决策,得到最终的目标检测结果。
整体流程如下所示:
步骤1:输入视觉图像及毫米波雷达数据,对输入的视觉图像数据计算平均透射率,根据大气散射模型对雨雾天气下能见度低的图像进行去雾预处理,本实施例中,将透射阈值tmin设为0.35,当计算视觉图像的平均透射率小于0.35时,即对图像进行去雾预处理操作。
设I为待去雾图像,J为去雾后图像,t为图像透射率,A为大气光,根据先验知识,定义暗通道为:
式中Ω为图像子区域,C为颜色通道,根据大气散射模型:
I(x)=J(x)t(x)+A(1-t(x)) (1.2)
平均透射率表达式为:
去雾预处理操作根据下式获取投射率小于0.35图像的去雾后图像:
步骤2:结合毫米波雷达数据,生成非空信号列表。结合CAN总线通讯数据,每个测量周期内,ARS毫米波雷达可以获得96组新测量的目标信息,其中编号1~32对应近距离模式,33~96对应远距离模式。NoOfTargets代表新测量有效目标的个数。例如NoOfTargetsNear=2,NoOfTargetsFar=3时,尽管其他很多通道都有数据,但是只有目标1,2和33,34,35是有效的。最终的目标列表显示的是新测量目标与追踪目标的集合,列表最大容量为256个目标,由编号0~255表示。首先根据NoOfTargets提取新测量目标与追踪列表合并,生成最终的非空信号列表。
步骤3:在毫米波雷达中的非空信号列表中剔除无效信号,剔除探测范围外的异常值(满足式1.5)、极端异常值(满足式1.6)和跳变异常值(满足式1.7),
一35m/s≤V≤35m/s (1.6)
R为探测的径向距离,θ为角度,V为毫米波雷达的所测量的相对速度,中n代表当前采样帧,道路交通环境可取Rs=2m,θs=10°,Vs=1m/s。
步骤4:筛选毫米波雷达数据中的有效目标,本实施例中,设定车辆、非机动车和行人三类为关注目标,即有效目标,由分析可知关注目标相对于非关注目标存在运动属性,若目标的绝对速度大于设定阈值,且散射截面积强度RCS和目标宽度区间W在设定的合理范围内,即可以确定其为有效目标,假设目标相对速度为V,自车速度为Vhost,则可确定有效目标满足式1.8:
当目标满足式1.9时,则应为树木、护栏、电线杆和建筑物等不关注目标,即无效目标,应当被剔除:
由于车辆、非机动车和行人三类关注目标可能存在停止状态,因此为了防止目标误筛、提高算法召回率,保留不满足式1.8与式1.9的目标。
步骤5:对毫米波雷达数据和视觉数据进行坐标变换和时间配准融合。
雷达坐标(xr,yr)向图像坐标(u,v)的变换过程可以直接通过求解3×3待定仿射变换矩阵近似得出:
通过时间配准和式1.11可以将雷达坐标变换至对应图像中的一点,以该点为中心选定适当大小的矩形区域作为目标图像兴趣区域。
其中,xr为雷达坐标的横坐标,yr为雷达坐标的纵坐标,u为图像坐标的横坐标,v为图像坐标的纵坐标,f为相机焦距,dx,dy分别表示相机传感器横纵方向的像素尺寸,(u0,v0)为图像物理坐标系中心Ou在图像像素坐标系中的坐标。Rc为3×3正交旋转矩阵,由相机相对车辆坐标系的横摆角俯仰角δ、侧倾角ξ共同决定,Tc为3×1的坐标平移矩阵,由相机的安装位置参数决定。Tr是毫米波雷达在车辆坐标系中的平移向量。
接着以低频毫米波雷达测量时间戳为基准,使高频视觉数据时间向下兼容。由于在24ms的采集周期内相机所采集的图片差异性非常小,对融合算法基本没有影响,因此可以用距离基准时间最近的图片代替基准时间处的图片,完成相机与雷达的时间配准。
步骤6:利用毫米波雷达进行兴趣区域筛选。
首先根据目标的截面反射强度和目标宽度区间大致估计目标类别,然后根据目标估计类别定义矩形宽高比为:
α=w1/h (1.12)
其中,w1为矩形宽度,h为矩形高度,α为矩形宽高比,当目标估计为汽车时取1、当目标估计为非机动车和行人时取0.25。
然后根据目标与车辆距离xr确定矩形兴趣区域的宽度w2为:
w2=ρ(xr-3)+w3 (1.13)
其中,ρ与w3为标定参数,可根据标定物分别距车辆3m和80m时对应像素宽度计算得出。假设式1.13的坐标变换关系为g,则毫米波雷达所筛选的有效目标A(xr,yr)在对应图像的兴趣区域中心为g(xr,yr),宽高尺寸为(w2,w2/α)像素。
步骤7:视觉识别层通过改进YOLO网络对兴趣区域目标进行识别,获取目标类别置信度VCi和目标包围框BCi作为视觉识别结果。
YOLOv2网络适用于20种类别物体的识别,而本发明的关注目标包括车辆、非机动车和行人三大类,其中车辆包括包括公交车和轿车,非机动车包括自行车和摩托车,因此本发明关注目标具体分为公交车、轿车、自行车、摩托车和行人五类,因此需要对网路结构与维度进行调整。YOLO网络最终输出特征图与原图网格划分对应,每个网格对应5个模板框,每个模板框包含位置、长宽、置信度和五类目标类别概率这10维信息,因此最终特征图大小为13×13×50。因此在YOLO网络中将最后一个[convolution]层的模板数量filters设为50,[region]层中类别数classes设为5。
用k-means算法对训练集进行模板框聚类,得到5种不同长宽比的模板框。将网络[region]层中模板框个数num设为5,模板框长宽比anchors设为上述聚类结果。以此进行网络训练,将计算得到的目标类别置信度与位置包围框识别结果送人融合层。
步骤8:重点关注的目标类别为车辆C1、非机动车C2和行人C3。毫米波雷达关键特征信息包含目标存在概率RCi与位置速度信息M,同时通过YOLO改进网络也能够输出对应目标类别置信度VCi和目标包围框BCi。本发明采用加权信息融合目标决策算法进行最终决策,根据传感源识别能力和信息可靠性,令视觉识别结果权重为γv,毫米波雷达识别结果权重为γr,则信息融合后目标属于各类别的概率FCi(i=1,2,3)=γvVCi+γrRCi,其中γv+γr=1,且γv与γr在正常天气和雨雾天气下取值不同。则通过融合决策,目标最终类别i_max=argmaxiFCi,相应的融合识别置信度为FCi_max。当融合识别置信度大于置信度阈值F0时认为目标存在,并将位置速度信息M和目标包围框BCi与目标最终类别i_max,得到最终的目标检测结果。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的工作人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于单目视觉与毫米波雷达融合的目标检测方法,其特征在于,包括以下步骤:
S1:获取视觉图像和毫米波雷达数据;
S2:基于平均透射率对输入视觉图像进行去雾预处理;
S3:根据毫米波雷达数据进行有效目标筛选;
S4:基于坐标变换和时间配准将有效目标与视觉图像融合,并获取融合后视觉图像中的兴趣区域;
S5:使用神经网络对兴趣区域进行目标识别,获取视觉识别结果,并根据毫米波雷达数据获取毫米波雷达识别结果;
S6:对毫米波雷达识别结果和视觉识别结果进行加权信息决策,得到最终的目标检测结果。
3.根据权利要求1所述的一种基于单目视觉与毫米波雷达融合的目标检测方法,其特征在于,所述的步骤S3中,根据毫米波雷达数据的关键运动指标和统计特征进行有效目标筛选,具体为:若目标的绝对速度大于设定阈值,且散射截面积强度和目标宽度区间在设定范围内,则筛选该目标为有效目标。
5.根据权利要求1所述的一种基于单目视觉与毫米波雷达融合的目标检测方法,其特征在于,所述的有效目标包括车辆、非机动车和行人。
6.根据权利要求1所述的一种基于单目视觉与毫米波雷达融合的目标检测方法,其特征在于,所述的步骤S4具体为:通过时间配准和目标映射公式,将雷达坐标变换至对应视觉图像中的一点,并以该点为中心选定设定大小的矩形区域作为兴趣区域。
8.根据权利要求1所述的一种基于单目视觉与毫米波雷达融合的目标检测方法,其特征在于,所述的神经网络为改进的YOLO网络,所述的改进的YOLO网络最后一个卷积层的模板数量为50,网络层中类别数为5,并使用k-means算法进行模板框聚类。
10.根据权利要求9所述的一种基于单目视觉与毫米波雷达融合的目标检测方法,其特征在于,当所述的目标最终类别i_max对应的融合识别置信度为FCi_max大于置信度阈值F0时,将位置速度信息M、目标包围框BCi和目标最终类别匹配,得到最终的目标检测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011292047.1A CN112215306B (zh) | 2020-11-18 | 2020-11-18 | 一种基于单目视觉与毫米波雷达融合的目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011292047.1A CN112215306B (zh) | 2020-11-18 | 2020-11-18 | 一种基于单目视觉与毫米波雷达融合的目标检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112215306A true CN112215306A (zh) | 2021-01-12 |
CN112215306B CN112215306B (zh) | 2023-03-31 |
Family
ID=74067877
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011292047.1A Active CN112215306B (zh) | 2020-11-18 | 2020-11-18 | 一种基于单目视觉与毫米波雷达融合的目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112215306B (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112801928A (zh) * | 2021-03-16 | 2021-05-14 | 昆明理工大学 | 一种基于注意力机制的毫米波雷达与视觉传感器融合方法 |
CN112863183A (zh) * | 2021-01-14 | 2021-05-28 | 深圳尚桥信息技术有限公司 | 一种交通流数据融合方法及系统 |
CN113139428A (zh) * | 2021-03-16 | 2021-07-20 | 西安天和防务技术股份有限公司 | 目标识别方法、边缘设备、边防监控系统及可读存储介质 |
CN113189581A (zh) * | 2021-04-09 | 2021-07-30 | 同济大学 | 一种毫米波雷达与视觉融合透雾目标识别算法处理方法 |
CN113239948A (zh) * | 2021-03-12 | 2021-08-10 | 复旦大学 | 一种面向毫米波雷达与视频图像的数据融合方法及系统 |
CN113280829A (zh) * | 2021-06-24 | 2021-08-20 | 广东盈峰智能环卫科技有限公司 | 基于鱼眼视觉和毫米波雷达数据的目标检测方法及装置 |
CN113505732A (zh) * | 2021-07-26 | 2021-10-15 | 浙江大华技术股份有限公司 | 视觉目标的确定方法及装置、存储介质、电子装置 |
CN113625269A (zh) * | 2021-08-26 | 2021-11-09 | 长沙理工大学 | 一种基于毫米波雷达的高速铁路钢轨沉降检测方法和系统 |
CN114266724A (zh) * | 2021-11-16 | 2022-04-01 | 中国航空工业集团公司雷华电子技术研究所 | 基于雷达红外可见光图像融合的高压线检测方法 |
CN114814827A (zh) * | 2022-04-20 | 2022-07-29 | 江苏集萃深度感知技术研究所有限公司 | 基于4d毫米波雷达与视觉融合的行人分类方法及系统 |
CN115131423A (zh) * | 2021-03-17 | 2022-09-30 | 航天科工深圳(集团)有限公司 | 一种融合毫米波雷达和视觉的距离测量方法及装置 |
CN116148801A (zh) * | 2023-04-18 | 2023-05-23 | 深圳市佰誉达科技有限公司 | 一种基于毫米波雷达的目标检测方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107451966A (zh) * | 2017-07-25 | 2017-12-08 | 四川大学 | 一种采用灰度图引导滤波实现的实时视频去雾方法 |
CN108230393A (zh) * | 2016-12-14 | 2018-06-29 | 贵港市瑞成科技有限公司 | 一种智能车前方运动车辆的测距方法 |
CN111175730A (zh) * | 2020-01-08 | 2020-05-19 | 中国石油大学(华东) | 一种用于无人船的毫米波雷达目标点迹凝聚方法 |
CN111352112A (zh) * | 2020-05-08 | 2020-06-30 | 泉州装备制造研究所 | 基于视觉、激光雷达和毫米波雷达的目标检测方法 |
-
2020
- 2020-11-18 CN CN202011292047.1A patent/CN112215306B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108230393A (zh) * | 2016-12-14 | 2018-06-29 | 贵港市瑞成科技有限公司 | 一种智能车前方运动车辆的测距方法 |
CN107451966A (zh) * | 2017-07-25 | 2017-12-08 | 四川大学 | 一种采用灰度图引导滤波实现的实时视频去雾方法 |
CN111175730A (zh) * | 2020-01-08 | 2020-05-19 | 中国石油大学(华东) | 一种用于无人船的毫米波雷达目标点迹凝聚方法 |
CN111352112A (zh) * | 2020-05-08 | 2020-06-30 | 泉州装备制造研究所 | 基于视觉、激光雷达和毫米波雷达的目标检测方法 |
Non-Patent Citations (1)
Title |
---|
QIUYU JIANG ET AL.: "Target Detection Algorithm Based on MMW Radar and Camera Fusion", 《IEEE》 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112863183B (zh) * | 2021-01-14 | 2022-04-08 | 深圳尚桥信息技术有限公司 | 一种交通流数据融合方法及系统 |
CN112863183A (zh) * | 2021-01-14 | 2021-05-28 | 深圳尚桥信息技术有限公司 | 一种交通流数据融合方法及系统 |
CN113239948A (zh) * | 2021-03-12 | 2021-08-10 | 复旦大学 | 一种面向毫米波雷达与视频图像的数据融合方法及系统 |
CN113139428A (zh) * | 2021-03-16 | 2021-07-20 | 西安天和防务技术股份有限公司 | 目标识别方法、边缘设备、边防监控系统及可读存储介质 |
CN112801928A (zh) * | 2021-03-16 | 2021-05-14 | 昆明理工大学 | 一种基于注意力机制的毫米波雷达与视觉传感器融合方法 |
CN115131423A (zh) * | 2021-03-17 | 2022-09-30 | 航天科工深圳(集团)有限公司 | 一种融合毫米波雷达和视觉的距离测量方法及装置 |
CN113189581A (zh) * | 2021-04-09 | 2021-07-30 | 同济大学 | 一种毫米波雷达与视觉融合透雾目标识别算法处理方法 |
CN113280829A (zh) * | 2021-06-24 | 2021-08-20 | 广东盈峰智能环卫科技有限公司 | 基于鱼眼视觉和毫米波雷达数据的目标检测方法及装置 |
CN113505732A (zh) * | 2021-07-26 | 2021-10-15 | 浙江大华技术股份有限公司 | 视觉目标的确定方法及装置、存储介质、电子装置 |
CN113625269A (zh) * | 2021-08-26 | 2021-11-09 | 长沙理工大学 | 一种基于毫米波雷达的高速铁路钢轨沉降检测方法和系统 |
CN113625269B (zh) * | 2021-08-26 | 2024-03-01 | 长沙理工大学 | 一种基于毫米波雷达的高速铁路钢轨沉降检测方法和系统 |
CN114266724A (zh) * | 2021-11-16 | 2022-04-01 | 中国航空工业集团公司雷华电子技术研究所 | 基于雷达红外可见光图像融合的高压线检测方法 |
CN114814827A (zh) * | 2022-04-20 | 2022-07-29 | 江苏集萃深度感知技术研究所有限公司 | 基于4d毫米波雷达与视觉融合的行人分类方法及系统 |
CN116148801A (zh) * | 2023-04-18 | 2023-05-23 | 深圳市佰誉达科技有限公司 | 一种基于毫米波雷达的目标检测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112215306B (zh) | 2023-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112215306B (zh) | 一种基于单目视觉与毫米波雷达融合的目标检测方法 | |
CN108983219B (zh) | 一种交通场景的图像信息和雷达信息的融合方法及系统 | |
CN108960183B (zh) | 一种基于多传感器融合的弯道目标识别系统及方法 | |
CN111369541B (zh) | 一种智能汽车恶劣天气条件下车辆检测方法 | |
CN109703460B (zh) | 多摄像头的复杂场景自适应车辆碰撞预警装置及预警方法 | |
CN111274976A (zh) | 基于视觉与激光雷达多层次融合的车道检测方法及系统 | |
CN110738121A (zh) | 一种前方车辆检测方法及检测系统 | |
CN103176185B (zh) | 用于检测道路障碍物的方法及系统 | |
CN112396650A (zh) | 一种基于图像和激光雷达融合的目标测距系统及方法 | |
CN114359181B (zh) | 一种基于图像和点云的智慧交通目标融合检测方法及系统 | |
CN113820714B (zh) | 一种基于多传感器融合的尘雾天气道路环境感知系统 | |
JP2006184276A (ja) | 視覚検知による全天候障害物衝突防止装置とその方法 | |
Jiang et al. | Target detection algorithm based on MMW radar and camera fusion | |
CN111461088A (zh) | 一种基于图像处理与目标识别的轨道交通避障系统 | |
Yang et al. | Driving assistance system based on data fusion of multisource sensors for autonomous unmanned ground vehicles | |
Liu et al. | A novel multi-sensor fusion based object detection and recognition algorithm for intelligent assisted driving | |
CN114495064A (zh) | 一种基于单目深度估计的车辆周围障碍物预警方法 | |
CN117274749B (zh) | 一种基于4d毫米波雷达和图像的融合3d目标检测方法 | |
CN112597839B (zh) | 基于车载毫米波雷达的道路边界检测方法 | |
CN115876198A (zh) | 基于数据融合的目标检测及预警方法、设备、系统和介质 | |
CN117111055A (zh) | 一种基于雷视融合的车辆状态感知方法 | |
CN113189581A (zh) | 一种毫米波雷达与视觉融合透雾目标识别算法处理方法 | |
CN117334040A (zh) | 一种跨域路侧感知多车辆关联方法及系统 | |
CN116794650A (zh) | 一种毫米波雷达与摄像头数据融合的目标检测方法和装置 | |
CN113611008B (zh) | 一种车辆行驶场景采集方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |