CN111368706B - 基于毫米波雷达和机器视觉的数据融合动态车辆检测方法 - Google Patents

基于毫米波雷达和机器视觉的数据融合动态车辆检测方法 Download PDF

Info

Publication number
CN111368706B
CN111368706B CN202010133560.XA CN202010133560A CN111368706B CN 111368706 B CN111368706 B CN 111368706B CN 202010133560 A CN202010133560 A CN 202010133560A CN 111368706 B CN111368706 B CN 111368706B
Authority
CN
China
Prior art keywords
millimeter wave
wave radar
coordinate system
camera
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010133560.XA
Other languages
English (en)
Other versions
CN111368706A (zh
Inventor
李舜酩
王一博
陆建涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202010133560.XA priority Critical patent/CN111368706B/zh
Publication of CN111368706A publication Critical patent/CN111368706A/zh
Application granted granted Critical
Publication of CN111368706B publication Critical patent/CN111368706B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于毫米波雷达和机器视觉的数据融合动态车辆检测方法，包括：毫米波雷达数据处理模块、视觉图像处理模块和数据融合处理模块；首先通过传感器联合标定，得到毫米波雷达和视觉传感器的投影矩阵，建立雷达坐标系与图像坐标系之间的转换关系；然后将采集的毫米波雷达数据预处理并进行有效目标筛选，通过转换关系将雷达检测目标投影至视觉图像上，并根据投影目标位置得到目标感兴趣区域；根据从图像处理算法中得到的目标感兴趣区域与毫米波雷达检测的目标感兴趣区域的重叠情况，进行目标信息融合；最后基于图像处理算法对融合的感兴趣区域内是否有车辆进行验证。本发明能够有效地检测前方车辆，并具有较好的环境适应能力和稳定性。

Description

基于毫米波雷达和机器视觉的数据融合动态车辆检测方法
技术领域
本发明属于智能汽车车辆检测技术领域，特别涉及一种基于毫米波雷达和机器视觉的数据融合动态车辆检测方法。
背景技术
近几年，汽车智能化的技术已经日趋成熟，智能辅助驾驶模块更是为智能驾驶汽车市场带来了蓬勃发展。其中环境感知能力是智能辅助驾驶技术的基础，而对车辆前方障碍物的检测更是环境感知的重要组成部分。
现有的环境感知系统主要依赖单一传感器，如上海大学申请的专利“基于双目立体视觉的车辆检测系统和方法”(申请号：201510556400.5)；南京信息工程大学申请的专利“一种基于视觉的组合车辆检测方法”(申请号：201910664284.7)，但单一传感器很难适用全天候、全气候的交通环境，已不能满足对日趋复杂的周围环境感知任务的要求，因此研究重点转向了基于多传感器数据融合的车辆检测任务，如东华大学申请的专利“一种基于激光雷达和机器视觉的信息融合车辆检测系统”(申请号：201710848880.1)。其中单一视觉传感器的车辆检测方法在短距离检测效果非常精确，在目标检测方面具有天然优势，但是它的缺点是对光线和天气条件很敏感；基于激光雷达和视觉的车辆检测方法由于激光雷达处理数据实时性不足，不适合高速行驶的车辆检测。
相比激光雷达，毫米波雷达具有探测性能稳定、作用距离较长，穿透雾、烟、灰尘的能力强，具有全天候全天时的特点。因此将毫米波雷达和机器视觉相结合，在视觉传感器因光照天气条件影响时，毫米波雷达可以及时补充目标的位置运动信息，帮助视觉传感器对目标的检测，从而改善光照和天气对视觉传感器造成的影响，以提高感知环境的环境适应能力和检测系统的鲁棒性。
发明内容
本发明所要解决的技术问题是针对使用单一视觉传感器车辆检测中，容易受到光照和天气的影响，造成目标车辆误检和漏检情况。本发明提供一种基于毫米波雷达和机器视觉的数据融合动态车辆检测方法，毫米波雷达为视觉传感器提供辅助信息，以减小环境条件对车辆检测的影响，减少误检和漏检情况，提高前方车辆的识别准确率。
为实现上述目的，本发明采用的技术方案为：
一种基于毫米波雷达和机器视觉的数据融合动态车辆检测方法，包括以下步骤：
步骤1、对安装在车辆上的两种传感器毫米波雷达和摄像头进行联合标定，得到雷达坐标系与图像坐标系之间的转换关系，并根据毫米波雷达和摄像头的采样频率，确定两种传感器数据在空间与时间上的融合方案；
步骤2、对毫米波雷达采集的目标车辆信息进行预处理，排除虚假目标，确定有效目标；
步骤3、将毫米波雷达检测的有效目标信息通过投影转换至同一时刻采集到的图像中，并根据投影目标位置得到目标感兴趣区域ROI；
步骤4、根据从图像处理算法中得到的目标感兴趣区域与毫米波雷达检测的目标感兴趣区域的重叠情况，进一步进行目标信息融合；
步骤5、基于图像处理算法对信息融合后的感兴趣区域内是否有车辆进行验证。
进一步的，所述步骤1中确定两种传感器数据在空间与时间上的融合方案包括下述具体步骤：
步骤11、使毫米波雷达工作平面的法向量和摄像头的光轴方向分别与车辆纵向对称面平行，在此基础上建立毫米波雷达坐标系和摄像头坐标系；
步骤12、通过联合标定方法，确定毫米波雷达与摄像头之间的位置关系，其中：摄像头的俯仰角为θ，距离地面高度为Hc，毫米波雷达距离地面高度为Hr，且建立毫米波雷达和摄像头坐标系在地面上的投影坐标；
步骤13、根据步骤11和12中建立的坐标系之间的转换关系以及摄像机成像原理，最终获得毫米波雷达坐标系到图像像素坐标系的转换关系，从而确定两种传感器在空间上的融合方案；
步骤14、以图像采集时间为基准，利用插值法将毫米波雷达采集数据同步到图像采集数据的时间节点上，达到两种传感器数据的采样时间节点一致，从而确定两种传感器在时间上的融合方案。
进一步的，所述步骤13包括以下具体步骤：
步骤131、根据毫米波雷达坐标系和摄像头坐标系之间的关系，得到毫米波雷达坐标系和摄像头坐标系之间的转换关系为：
Figure BDA0002396517280000021
其中，xc、yc、zc是以摄像头光心为原点建立摄像头坐标系oc-xcyczc中的点坐标；xr、yr、zr是以毫米波雷达工作平面中心为原点建立毫米波雷达坐标系or-xryrzr中的点坐标；ΔL表示摄像头和毫米波雷达的安装位置在沿车辆前进方向上的距离；ΔH表示摄像头和毫米波雷达的安装位置在垂直方向上的距离；θ表示摄像头的俯仰角；
步骤132、根据相机呈像原理以及图像与像素坐标系的关系，分别有以下关系：
Figure BDA0002396517280000031
其中，xp、yp是图像坐标系op-xpopyp中的点坐标；u、v是以图像左上角为原点建立像素坐标系uOv中的点坐标；dx、dy分别为一个像素的长和宽；u0、v0分别表示图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数；
最终得到毫米波雷达坐标系到图像像素坐标系转换关系，从而确定两种传感器在空间上的融合方案：
Figure BDA0002396517280000032
其中：f为摄像头焦距，
Figure BDA0002396517280000033
分别称为x轴和y轴上的归一化焦距，fx、fy、u0、v0都为摄像头的内参数，通过摄像头标定得到。
进一步的，所述步骤2通过对毫米波雷达返回目标数据中的空值信号、反射率RCS值以及目标连续出现次数进行过滤筛选，从而确定有效目标。
进一步的，所述步骤3将毫米波雷达检测到有效目标车辆的中心点投影至图像上，并根据道路车辆的宽高比，建立一个随着目标纵向距离而变化的目标车辆感兴趣区域ROI。
进一步的，所述步骤4将两种传感器检测到的目标ROI信息进行融合包括下述具体步骤：
步骤41、视觉图像处理算法采用Faster-RCNN算法；
步骤42、从Faster-RCNN算法中的RPN网络得到视觉传感器检测的目标感兴趣区域ROI信息；
步骤43、根据道路车辆的宽高比，对RPN网络中的锚框参数进行修改，以适应车辆实际尺寸，获得更好的检测效果；
步骤44、计算毫米波雷达检测的ROI与视觉算法得到的目标ROI之间的IOU值，并通过设置阈值的方式将两种传感器检测到的目标ROI信息进行融合。
进一步的，所述步骤5采用改进后的Faster-RCNN算法对信息融合后的感兴趣区域内是否有车辆进行验证。
本发明与现有相比，具有以下有益效果：
本发明利用毫米波雷达具有全天时全气候的优势，采用毫米波雷达为视觉传感器提供辅助信息的多传感器融合方法，相比单一视觉传感器车辆检测方法，不但可以获得目标车辆的空间位置信息以及运动信息，而且即使在雨雪夜晚等环境条件差的场景中，也具有一定的目标车辆检测能力。本发明可以有效地改善误检和漏检情况，减小环境条件对车辆检测的影响，提升了前方车辆的识别准确率。
附图说明
图1是本发明的原理框架示意图；
图2是本发明中雷达与摄像头坐标系位置关系示意图；
图3是本发明中摄像头与图像坐标系以及图像与像素坐标系的关系示意图；
图4是本发明中时间融合示意图；
图5是本发明和现有技术在光照条件差场景中的车辆检测结果对比图，其中：(a)为现有技术根据单一视觉车辆检测算法，在光照条件差场景中的车辆检测结果图，(b)为本发明通过多传感器融合算法，在光照条件差场景中的车辆检测结果图；
图6是本发明和现有技术在雨天场景中的车辆检测结果对比图，其中：(a)为现有技术根据单一视觉车辆检测算法，在雨天场景中的车辆检测结果图，(b)为本发明通过多传感器融合算法，在雨天场景中的车辆检测结果图。
具体实施方式
下面结合实施例对本发明作更进一步的说明。
本发明提出一种基于毫米波雷达和机器视觉的数据融合动态车辆检测方法，如图1所示，该方法包括基于毫米波雷达的目标车辆信息获取和处理，基于机器视觉的车辆检测，基于毫米波雷达和机器视觉数据融合的车辆检测。具体步骤如下：
步骤1、对安装在车辆上的毫米波雷达和摄像头进行联合标定，得到雷达坐标系与图像坐标系之间的转换关系，并根据传感器采样频率，确定两种传感器数据在空间与时间上的融合方案。
使毫米波雷达工作平面的法向量和摄像头的光轴方向分别与车辆纵向对称面平行，在此基础上建立毫米波雷达坐标系和摄像头坐标系，如图2所示，实施例以摄像头光心为原点的oc-xcyczc为摄像头坐标系，oczc为摄像头的光轴方向，ocxc轴垂直车辆纵向对称面，坐标系沿ocxc轴顺时针旋转θ角，ocyc与竖直方向成θ角斜指向地面，且距离地面高度为Hc；or-xryrzr为毫米波雷达坐标系，原点为工作平面中心点，orxr轴垂直于雷达平面指向车辆前进方向，oryr轴垂直于车辆纵向对称面向左，orzr轴垂直于地面，且距离地面高度为Hr。另外，ocw-xcwycwzcw和orw-xrwyrwzrw分别为毫米波雷达和摄像头坐标系在地面上的投影坐标，它们是空间相互平行的2个坐标系，其间坐标转换关系只存在着平移。
根据毫米波雷达坐标系和摄像头坐标系之间的关系，可以得到毫米波雷达坐标系和摄像头坐标系之间的转换关系为：
Figure BDA0002396517280000051
其中，xc、yc、zc是以摄像头光心为原点建立摄像头坐标系oc-xcyczc中的点坐标；xr、yr、zr是以毫米波雷达工作平面中心为原点建立毫米波雷达坐标系or-xryrzr中的点坐标；ΔL表示摄像头和毫米波雷达的安装位置在沿车辆前进方向上的距离；ΔL表示摄像头和毫米波雷达的安装位置在沿车辆前进方向上的距离；ΔH表示摄像头和毫米波雷达的安装位置在垂直方向上的距离；θ表示摄像头的俯仰角。
如图3所示，图像坐标系xpopyp，其原点op过摄像头光轴反向延长线，xp轴和yp轴分别于xc轴、yc轴平行；而最终摄像头得到图像中的像素坐标系uOv，以图像左上角为原点O，点Op为图像的中心像素点。假设摄像头坐标系中有一点P(Xc,Yc,Zc)，P点在图像平面的投影点为P’(x,y)，且P点与P’点的连线交与点Oc，此处点Oc正是之前摄像头坐标系的原点Oc，图3的标题中也有提到该图例想表示的内容就有摄像头坐标系与图像坐标系的关系。根据相机呈像原理以及图像与像素坐标系的关系，分别有以下关系：
Figure BDA0002396517280000052
其中：xp、yp是图像坐标系op-xpopyp中的点坐标；u、v是以图像左上角为原点建立像素坐标系uOv中的点坐标；dx、dy分别为一个像素的长和宽；u0、v0分别表示图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数；
最终可以得到毫米波雷达坐标系到图像像素坐标系转换关系，从而确定两种传感器在空间上的融合方案：
Figure BDA0002396517280000061
其中：f为摄像头焦距，
Figure BDA0002396517280000062
分别称为x轴和y轴上的归一化焦距，fx、fy、u0、v0都为摄像头的内参数，可以通过摄像头标定得到。
实施例中将摄像头俯仰角θ调至5°，距离地面高度Hc为1433mm，毫米波雷达距离地面高度Hr为627mm，两个传感器的纵向距离为1775mm。
不同传感器的采样频率一般不同，考虑到毫米波雷达的作用是为图像提供辅助信息，且雷达的数据更为简单，连续性更强，因此以图像采集时间为基准，利用插值法将毫米波雷达采集数据同步到图像采集数据的时间节点上，达到两种传感器数据的采样时间节点一致。
实施例中机器视觉采样频率为30Hz，毫米波雷达采样频率为17Hz。如图4所示，假设摄像头在tc(j)时刻正好处于毫米波雷达的采集间隔期，没有与之相对应时刻的数据，而毫米波雷达在tr(i)和tr(i+1)时刻的数值为xr(i)和xr(i+1)，因此根据以下插值公式，可以获得在tc(j)时刻的毫米波雷数据xr(j)。
Figure BDA0002396517280000063
采用多线程控制方式确保从两个传感器在同一时刻开始采集，以及以上融合策略方法，保证后续数据在同一时间节点上，从而确定两种传感器在时间上的融合方案。
步骤2、对毫米波雷达采集的目标车辆信息进行预处理，排除虚假目标，确定有效目标。
当毫米波雷达检测到目标车辆时返回的数据中会有无用信号以及虚假目标噪声。
在雷达检测到的目标参数中，当有距离和方位角都为0时，即可认定该目标为空信号目标，然后将该目标过滤；
雷达检测目标既包括移动的车辆目标，也包括大量的静止目标，如车道两边的护栏、植物、交通指示牌以及隔音墙等干扰目标，这些噪声信号可以通过雷达RCS值进行过滤，实施例中设置RCS值小于8db的目标为静止目标；
异常信号目标的特征是存在时间短、无连续性、参数数据跳跃等，可以通过设置连续出现次数进行过滤，实施例中设置连续出现次数低于5次，即可认为该目标为异常信号。
步骤3、将毫米波雷达检测的有效目标信息通过投影转换至同一时刻采集到的图像中，并根据投影目标位置得到目标感兴趣区域ROI。
根据毫米波雷达获取前方目标的相对距离，通过空间坐标转换投影至图像上的像素坐标，但仅是将前方车辆的中心点投影至图像上，而对整个目标车辆位置的检测还需要确定一个感兴趣区域ROI。根据一般车辆的宽高比，设定固定比例的矩形框尺寸，建立一个可以随着目标纵向距离而变化的目标车辆感兴趣区域ROI。
实施例选取雷达投影目标ROI宽度为2.2米，高宽比系数α为1.3，则其ROI尺寸为：
Figure BDA0002396517280000071
其中，w、h分别为ROI的宽和高，(u1,v1)为ROI区域左上角在像素坐标中的位置，L为目标车辆纵向距离，fx为摄像头标定内参数，θ为相机的俯仰角。
步骤4、根据从图像处理算法中得到的目标感兴趣区域与毫米波雷达检测的目标感兴趣区域的重叠情况，进一步进行目标信息融合。
实施例中视觉图像处理算法采用Faster-RCNN算法，从Faster-RCNN算法中的RPN网络得到视觉传感器检测的目标感兴趣区域ROI信息。
根据一般道路车辆的宽高比，对RPN网络中的锚框参数进行修改，以适应车辆实际尺寸，获得更好的检测效果。实施例中将锚框尺寸参数改为(1、1.5、2)。
当两种传感器检测的目标车辆为同一目标时，两个目标的ROI区域会靠得非常近，造成重叠现象。通过计算毫米波雷达检测的ROI与视觉算法得到的目标ROI之间的IOU值，并通过设置阈值的方式将两种传感器检测到的目标ROI信息进行融合。
实施例中设置该阈值为0.7，即当两种传感器检测的目标ROI的IOU值大于0.7时，则删除该目标毫米波雷达的ROI信息，保留视觉传感器的ROI信息；相反若IOU值小于0.7时，则有可能两种传感器检测的不是同一目标，甚至当IOU值接近于0时，极有可能视觉传感器出现漏检情况，因此保留该目标毫米波雷达的ROI区域信息，这样即可完成两种传感器的目标区域融合。
步骤5、基于图像处理算法对信息融合后的感兴趣区域内是否有车辆进行验证。
实施例中采用改进的Faster R-CNN算法车辆检测模型，该模型特征提取的卷积层网络采用在ImageNet网络上的预训练模型，并修改源文件中的相关训练参数，其中：设置类别数为2，权重衰减为0.0005，学习率为0.001，其中RPN网络参数中，IOU阈值设置为0.7，NMS阈值设置为0.7，迭代总次数为40000次。
如图5和6所示，本实施例采用的多传感器数据融合的检测算法与单一视觉传感器检测算法进行试验结果对比。
从对比分析可得，单一视觉传感器车辆检测算法在路桥阴影场景和雨天干扰场景中，由于光照和天气的影响都出现了车辆漏检情况，但实施例采用的多传感器数据融合检测算法却可以很好的将漏检车辆重新检测出来。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于毫米波雷达和机器视觉的数据融合动态车辆检测方法，其特征在于，包括以下步骤：
步骤1、对安装在车辆上的两种传感器毫米波雷达和摄像头进行联合标定，得到雷达坐标系与图像坐标系之间的转换关系，并根据毫米波雷达和摄像头的采样频率，确定两种传感器数据在空间与时间上的融合方案；
步骤2、对毫米波雷达采集的目标车辆信息进行预处理，排除虚假目标，确定有效目标；
步骤3、将毫米波雷达检测的有效目标信息通过投影转换至同一时刻采集到的图像中，并根据投影目标位置得到目标感兴趣区域ROI；
步骤4、根据从图像处理算法中得到的目标感兴趣区域与毫米波雷达检测的目标感兴趣区域的重叠情况，进一步进行目标信息融合；
步骤5、基于图像处理算法对信息融合后的感兴趣区域内是否有车辆进行验证；
所述步骤1中确定两种传感器数据在空间与时间上的融合方案包括下述具体步骤：
步骤11、使毫米波雷达工作平面的法向量和摄像头的光轴方向分别与车辆纵向对称面平行，在此基础上建立毫米波雷达坐标系和摄像头坐标系；
步骤12、通过联合标定方法，确定毫米波雷达与摄像头之间的位置关系，其中：摄像头的俯仰角为θ，距离地面高度为Hc，毫米波雷达距离地面高度为Hr，且建立毫米波雷达和摄像头坐标系在地面上的投影坐标；
步骤13、根据步骤11和12中建立的坐标系之间的转换关系以及摄像机成像原理，最终获得毫米波雷达坐标系到图像像素坐标系的转换关系，从而确定两种传感器在空间上的融合方案；
步骤14、以图像采集时间为基准，利用插值法将毫米波雷达采集数据同步到图像采集数据的时间节点上，达到两种传感器数据的采样时间节点一致，从而确定两种传感器在时间上的融合方案。
2.根据权利要求1所述的基于毫米波雷达和机器视觉的数据融合动态车辆检测方法，其特征在于，所述步骤13包括以下具体步骤：
步骤131、根据毫米波雷达坐标系和摄像头坐标系之间的关系，得到毫米波雷达坐标系和摄像头坐标系之间的转换关系为：
Figure FDA0004053557850000011
其中，xc、yc、zc是以摄像头光心为原点建立摄像头坐标系oc-xcyczc中的点坐标；xr、yr、zr是以毫米波雷达工作平面中心为原点建立毫米波雷达坐标系or-xryrzr中的点坐标；ΔL表示摄像头和毫米波雷达的安装位置在沿车辆前进方向上的距离；ΔH表示摄像头和毫米波雷达的安装位置在垂直方向上的距离；θ表示摄像头的俯仰角；
步骤132、根据相机呈像原理以及图像与像素坐标系的关系，分别有以下关系：
Figure FDA0004053557850000021
其中，xp、yp是图像坐标系op-xpopyp中的点坐标；u、v是以图像左上角为原点建立像素坐标系uOv中的点坐标；dx、dy分别为一个像素的长和宽；u0、v0分别表示图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数；
最终得到毫米波雷达坐标系到图像像素坐标系转换关系，从而确定两种传感器在空间上的融合方案：
Figure FDA0004053557850000022
其中：f为摄像头焦距，
Figure FDA0004053557850000023
分别称为x轴和y轴上的归一化焦距，fx、fy、u0、v0都为摄像头的内参数，通过摄像头标定得到。
3.根据权利要求2所述的基于毫米波雷达和机器视觉的数据融合动态车辆检测方法，其特征在于，所述步骤2通过对毫米波雷达返回目标数据中的空值信号、反射率RCS值以及目标连续出现次数进行过滤筛选，从而确定有效目标。
4.根据权利要求3所述的基于毫米波雷达和机器视觉的数据融合动态车辆检测方法，其特征在于，所述步骤3将毫米波雷达检测到有效目标车辆的中心点投影至图像上，并根据道路车辆的宽高比，建立一个随着目标纵向距离而变化的目标车辆感兴趣区域ROI。
5.根据权利要求4所述的基于毫米波雷达和机器视觉的数据融合动态车辆检测方法，其特征在于，所述步骤4将两种传感器检测到的目标ROI信息进行融合包括下述具体步骤：
步骤41、视觉图像处理算法采用Faster-RCNN算法；
步骤42、从Faster-RCNN算法中的RPN网络得到视觉传感器检测的目标感兴趣区域ROI信息；
步骤43、根据道路车辆的宽高比，对RPN网络中的锚框参数进行修改，以适应车辆实际尺寸，获得更好的检测效果；
步骤44、计算毫米波雷达检测的ROI与视觉算法得到的目标ROI之间的IOU值，并通过设置阈值的方式将两种传感器检测到的目标ROI信息进行融合。
6.根据权利要求5所述的基于毫米波雷达和机器视觉的数据融合动态车辆检测方法，其特征在于，所述步骤5采用改进后的Faster-RCNN算法对信息融合后的感兴趣区域内是否有车辆进行验证。
CN202010133560.XA 2020-03-02 2020-03-02 基于毫米波雷达和机器视觉的数据融合动态车辆检测方法 Active CN111368706B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010133560.XA CN111368706B (zh) 2020-03-02 2020-03-02 基于毫米波雷达和机器视觉的数据融合动态车辆检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010133560.XA CN111368706B (zh) 2020-03-02 2020-03-02 基于毫米波雷达和机器视觉的数据融合动态车辆检测方法

Publications (2)

Publication Number Publication Date
CN111368706A CN111368706A (zh) 2020-07-03
CN111368706B true CN111368706B (zh) 2023-04-18

Family

ID=71210189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010133560.XA Active CN111368706B (zh) 2020-03-02 2020-03-02 基于毫米波雷达和机器视觉的数据融合动态车辆检测方法

Country Status (1)

Country Link
CN (1) CN111368706B (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022830A (zh) * 2020-07-17 2022-02-08 华为技术有限公司 一种目标确定方法以及目标确定装置
CN114067594B (zh) * 2020-08-05 2023-02-17 北京万集科技股份有限公司 行驶路径的规划方法、装置、计算机设备和存储介质
CN111931638B (zh) * 2020-08-07 2023-06-20 华南理工大学 一种基于行人重识别的局部复杂区域定位系统及方法
CN112115810A (zh) * 2020-08-31 2020-12-22 南京理工大学 基于信息融合的目标识别方法、系统、计算机设备和存储介质
CN112085952B (zh) * 2020-09-07 2022-06-03 平安科技（深圳）有限公司 监控车辆数据方法、装置、计算机设备及存储介质
CN112201040B (zh) * 2020-09-29 2022-12-16 同济大学 一种基于毫米波雷达数据的交通数据清洗方法及系统
CN112560580B (zh) * 2020-11-20 2022-01-28 腾讯科技（深圳）有限公司 障碍物识别方法、装置、系统、存储介质和电子设备
CN112558044A (zh) * 2020-11-26 2021-03-26 英博超算(南京)科技有限公司 一种车载激光雷达俯仰角自动矫正方法
CN112684250B (zh) * 2020-12-03 2022-03-18 华中科技大学 一种高功率毫米波强度测量系统标定方法
CN112672047B (zh) * 2020-12-20 2022-08-26 英特睿达(山东)电子科技有限公司 图像采集系统及图像处理方法
CN112541953B (zh) * 2020-12-29 2023-04-14 江苏航天大为科技股份有限公司 一种基于雷达信号和视频同步坐标映射的车辆检测方法
CN112767475B (zh) * 2020-12-30 2022-10-18 重庆邮电大学 一种基于c-v2x、雷达与视觉的智能路侧感知系统
CN112946627B (zh) * 2021-01-29 2024-03-22 中汽创智科技有限公司 基于视觉信息的毫米波雷达检测系统及检测方法
CN112924960B (zh) * 2021-01-29 2023-07-18 重庆长安汽车股份有限公司 目标尺寸实时检测方法、系统、车辆及存储介质
CN112906777A (zh) * 2021-02-05 2021-06-04 北京邮电大学 目标检测方法、装置、电子设备及存储介质
CN112946628A (zh) * 2021-02-08 2021-06-11 江苏中路工程技术研究院有限公司 一种基于雷达与视频融合的道路运行状态检测方法及系统
CN113239948B (zh) * 2021-03-12 2022-10-14 复旦大学 一种面向毫米波雷达与视频图像的数据融合方法及系统
CN113514803A (zh) * 2021-03-25 2021-10-19 武汉光庭信息技术股份有限公司 一种单目相机和毫米波雷达的联合标定方法
CN113011380A (zh) * 2021-04-09 2021-06-22 同济大学 一种毫米波雷达视觉前置融合装置及目标识别方法
CN113189583B (zh) * 2021-04-26 2022-07-01 天津大学 一种时-空同步的毫米波雷达和视觉信息融合方法
CN113313041B (zh) * 2021-06-08 2022-11-15 安徽工程大学 基于信息融合的前方车辆识别方法及系统
CN113253257B (zh) * 2021-06-22 2021-10-22 北京踏歌智行科技有限公司 一种基于多毫米波雷达和视觉的露天矿障碍物检测方法
CN113280829A (zh) * 2021-06-24 2021-08-20 广东盈峰智能环卫科技有限公司 基于鱼眼视觉和毫米波雷达数据的目标检测方法及装置
CN113449632B (zh) * 2021-06-28 2023-04-07 重庆长安汽车股份有限公司 一种基于融合感知的视觉与雷达感知算法优化方法、系统及汽车
CN113486775A (zh) * 2021-07-02 2021-10-08 北京一维大成科技有限公司 一种目标追踪方法、系统、电子设备及存储介质
CN113469130A (zh) * 2021-07-23 2021-10-01 浙江大华技术股份有限公司 一种遮挡目标检测方法、装置、存储介质及电子装置
CN114137511B (zh) * 2021-11-24 2023-11-14 中国民用航空总局第二研究所 一种基于多源异构传感器的机场跑道异物融合探测方法
CN113888602B (zh) * 2021-12-03 2022-04-05 深圳佑驾创新科技有限公司 一种雷达车辆目标与视觉车辆目标的关联方法及装置
CN114152942B (zh) * 2021-12-08 2022-08-05 北京理工大学 一种毫米波雷达与视觉二阶融合多分类目标检测方法
CN114814826B (zh) * 2022-04-08 2023-06-16 苏州大学 一种基于目标网格的雷达轨行区环境感知方法
CN116363623B (zh) * 2023-01-28 2023-10-20 苏州飞搜科技有限公司 基于毫米波雷达与视觉融合的车辆检测方法
CN116148801B (zh) * 2023-04-18 2023-07-14 深圳市佰誉达科技有限公司 一种基于毫米波雷达的目标检测方法及系统
CN116755081A (zh) * 2023-05-25 2023-09-15 东风柳州汽车有限公司 视觉与雷达融合的目标检测技术

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609522A (zh) * 2017-09-19 2018-01-19 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106908783B (zh) * 2017-02-23 2019-10-01 苏州大学 基于多传感器信息融合的障碍物检测方法
CN110135485A (zh) * 2019-05-05 2019-08-16 浙江大学 单目相机与毫米波雷达融合的物体识别与定位方法和系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609522A (zh) * 2017-09-19 2018-01-19 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测系统

Also Published As

Publication number Publication date
CN111368706A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
CN111368706B (zh) 基于毫米波雷达和机器视觉的数据融合动态车辆检测方法
CN111352112B (zh) 基于视觉、激光雷达和毫米波雷达的目标检测方法
WO2021259344A1 (zh) 车辆检测方法、装置、车辆和存储介质
CN106991389B (zh) 确定道路边沿的装置和方法
Bertozzi et al. Obstacle detection and classification fusing radar and vision
CN113359097B (zh) 一种毫米波雷达和相机联合标定的方法
CN112698302B (zh) 一种颠簸路况下的传感器融合目标检测方法
CN108509972A (zh) 一种基于毫米波和激光雷达的障碍物特征提取方法
CN112215306B (zh) 一种基于单目视觉与毫米波雷达融合的目标检测方法
CN110738121A (zh) 一种前方车辆检测方法及检测系统
CN113671480A (zh) 雷达与视频融合交通目标跟踪方法、系统、设备、终端
CN109615880B (zh) 一种基于雷达图像处理的车流量测量方法
CN112233188B (zh) 一种激光雷达和全景相机的数据融合系统的标定方法
CN113850102B (zh) 基于毫米波雷达辅助的车载视觉检测方法及系统
CN112991369A (zh) 基于双目视觉的行驶车辆外廓尺寸检测方法
CN114415171A (zh) 一种基于4d毫米波雷达的汽车可行驶区域检测方法
CN106056926B (zh) 基于动态虚拟线圈的视频车速检测方法
CN116699602A (zh) 一种基于毫米波雷达和相机融合的目标检测系统及方法
CN113734176A (zh) 智能驾驶车辆的环境感知系统、方法、车辆及存储介质
CN113947141A (zh) 一种城市路口场景的路侧灯塔感知系统
CN113189581A (zh) 一种毫米波雷达与视觉融合透雾目标识别算法处理方法
CN110865368A (zh) 一种基于人工智能的雷达视频数据融合方法
Yu et al. LiDAR target fusion and algorithm detection based on improved YOLO
CN116363623B (zh) 基于毫米波雷达与视觉融合的车辆检测方法
CN115421136A (zh) 一种车辆检测系统及其检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant