CN110532896B - 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法 - Google Patents

一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法 Download PDF

Info

Publication number
CN110532896B
CN110532896B CN201910723080.6A CN201910723080A CN110532896B CN 110532896 B CN110532896 B CN 110532896B CN 201910723080 A CN201910723080 A CN 201910723080A CN 110532896 B CN110532896 B CN 110532896B
Authority
CN
China
Prior art keywords
target
millimeter wave
wave radar
information
target vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910723080.6A
Other languages
English (en)
Other versions
CN110532896A (zh
Inventor
余贵珍
刘蓬菲
周彬
王章宇
郭雅馨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tage Idriver Technology Co Ltd
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201910723080.6A priority Critical patent/CN110532896B/zh
Publication of CN110532896A publication Critical patent/CN110532896A/zh
Application granted granted Critical
Publication of CN110532896B publication Critical patent/CN110532896B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/91—Radar or analogous systems specially adapted for specific applications for traffic control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/91—Radar or analogous systems specially adapted for specific applications for traffic control
    • G01S13/92—Radar or analogous systems specially adapted for specific applications for traffic control for velocity measurement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法，属于智能交通车路协同领域。首先将毫米波雷达和视觉传感器组成的融合设备进行标定获取投影矩阵。视觉传感器采集图像信息,输出目标车辆中心点的像素坐标和目标车辆的类别；毫米波雷达将采集的数据进行筛选和过滤。然后将毫米波雷达检测目标通过投影矩阵转换到视觉传感器所在的图像坐标系中,并与图像检测目标进行观测值匹配，匹配成功后将两个目标车辆的信息进行检测融合。最后根据图像亮度中值的变化判断实际环境的光线状况并切换不同目标输出策略。获取目标车辆全局行驶状态信息，并进一步提取交通流参数信息。本发明减少车载端数据处理量，检测精度更高。

Description

一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测 方法
技术领域
本发明属于智能交通车路协同领域，适用于获取各种道路状况下的交通流信息及全局环境感知信息，具体涉及一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法。
背景技术
随着汽车保有量的迅猛增长，城市交通问题日益凸显，而传统的交通管理系统已经难以满足现代化的运输需求，因此，越来越多的智能交通控制系统被应用在城市交通管理中。
交通信息采集技术能够提供基础数据，获取精确、全天候的交通流参数是了解城市交通运行状况、解决城市交通问题的基础和关键。除此之外随着智能网联车的发展，如何提高智能网联车环境感知能力成为研究的热点和难点。
现在的研究大部分集中在：通过车载端的多传感器融合来提高智能网联车的环境感知能力，但由于车载传感器安装高度的限制以及车辆行驶过程中出现颠簸或者在坡道行驶时，对传感器的识别精度以及识别范围具有很大的影响，路侧交通信息采集装置则可以弥补这一空白，从整体路网角度为智能网联车提供更加丰富的感知信息，并且由于传感器价格较高，通过路侧信息采集装置向智能网联车提供感知信息可以有效降低智能网联车成本。
现有的交通信息采集方法主要依赖单一的传感器，但在实际的车辆检测中单一传感器都存在各自的局限性，很难满足全天候、高精度的交通信息采集要求，因此研究重点转向了基于多传感器融合的车辆检测技术。多传感器融合是指按照一定的算法将多个传感器在时间空间上融合，从而完成对目标某些特征的检测，多传感器融合可以更好的解决单一传感器在信息获取时存在冗余和错误的情况，提高系统的鲁棒性和精确性。
目前常见的传感器中，毫米波雷达和视觉传感器已经成为国内外车辆检测领域研究的重点，但主要还是集中应用在车载端。如Chavez-Garcia等利用HOG和Boosting分类器进行车辆检测，但是这些方式需要人工提取特征，所以检测的精度很大程度上依赖于训练样本特征的提取质量，并且很容易出现过拟合现象。又如Tao Wang等采用三级融合策略完成毫米波雷达和视觉传感器融合，包括点对齐、区域搜索和目标检测识别，这种方法加速了视觉信息处理进程，有效减少了误检。文献1：专利CN109212521A提出了一种基于车载毫米波雷达和视频融合的车辆跟踪算法，弥补了单个传感器漏检、误检的情况，利用冗余信息的增加提高了车辆的行车安全性。文献2：专利CN106951879A提出了一种基于摄像头与毫米波雷达的多特征融合车辆检测方法，该方法先通过毫米波雷达检测结果在图像建立感兴趣区域，然后在感兴趣区域利用车辆水平直线特征、车辆底部阴影特征和灰度熵特征进行车辆特征识别。
以上融合系统主要用于车载端环境感知系统，针对路侧的交通信息采集装置则主要集中在单一视觉传感器和毫米波雷达，已经很难满足高精度、全天候的应用场景。毫米波雷达可以穿透烟雾等，在夜间以及极端天气下检测几乎不受影响，但是获取的目标信息较少。与毫米波雷达传感器相比，视觉传感器成本较低，技术相对成熟，采集的信息更加丰富，但是易受光线等环境的影响，在夜间以及雨雪雾天气基本失效。因此毫米波雷达和机器视觉融合可以实现优势互补，提高系统的环境适应能力以及检测系统的鲁棒性和准确性。
发明内容
为了获取全天候、更加精确、更加丰富的交通流信息以及为智能网联车提供全局环境感知信息，本发明提供了一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法，具有准确率高、鲁棒性强等优点。
具体包括以下步骤：
步骤一、将毫米波雷达和视觉传感器作为一套融合设备，安装在路侧龙门架、路灯及其他杆状设施的位置进行标定；
每两套融合设备之间的间隔距离根据环境人为设定。
步骤二、视觉传感器采集图像信息，并将图像划分为测试样本和训练样本，对样本中的车辆类别和位置信息进行标注，对标注后的数据进行训练获得SSD模型，利用检测模型对路侧视频流进行检测，输出目标车辆中心点的像素坐标、目标车辆的类别和车牌信息。
类别为汽车、公交车、卡车、货车、自行车、摩托车以及行人等，
步骤三、同时，毫米波雷达采集目标车辆的相关信息，筛选和过滤空信号和无效信号，同时利用卡尔曼滤波算法消除干扰和噪声。
当毫米波雷达检测到目标车辆时反馈目标车辆的数据，每帧数据包含若干目标车辆的信息，每个目标车辆的信息包括目标车辆的ID，目标车辆相对于毫米波雷达的纵向距离和横向距离，目标车辆相对于毫米波雷达的速度，目标车辆的移动标记movingflag，目标车辆的跟踪标记newflag，两个标记的取值均为0和1。
步骤四、将毫米波雷达检测得到的横纵向距离通过投影变换转换为图像坐标系中的图像像素坐标，在同一坐标系下实现毫米波雷达和视觉传感器空间统一；针对不同传感器采样帧率不同的问题，采用以速度慢的传感器为基准向下兼容的原则，实现毫米波雷达和视觉传感器的时间统一；
坐标转换通过标定矩阵完成，标定矩阵公式如下：
Figure BDA0002157925010000021
其中，(u,v)为目标车辆在图像坐标系下的坐标，dx和dy表示一个像素单位的物理长度，u0表示图像的主点与像素坐标系原点之间相差的横向像素数，v0表示图像的主点与像素坐标系原点之间相差的纵向像素数。f表示视觉传感器的焦距，R表示旋转矩阵，t表示平移矩阵，zc为图像坐标系的坐标，(Xw,Yw,Zw)为世界坐标系的坐标。
步骤五、针对同一时刻，将转换后的毫米波雷达检测目标车辆相关信息与视觉传感器得到的原始目标车辆信息进行观测值匹配，判断是否匹配成功，如果匹配成功，将两个目标车辆的信息进行检测融合；否则，分别将两个目标车辆的信息输入到目标序列库进行存储。
首先，在同一个坐标系的同一时刻下，计算每一帧转换的目标车辆与原始的图像目标车辆之间的欧氏距离。
然后，判断欧式距离是否小于阈值，如果是，采用最近邻算法进行观测值匹配，将与转换后的毫米波雷达检测目标相距最近的原始图像目标作为匹配目标。否则，将未成功匹配的目标车辆输入到目标序列中等待下一步处理。
具体融合过程如下：
首先，设毫米波雷达和视觉传感器的决策值ui为二元值，定义为：
Figure BDA0002157925010000031
根据毫米波雷达和视觉传感器的决策结果ui，i＝1,2做出最后判决：
将目标车辆相对于毫米波雷达的横纵向距离信息、坐标转换后得到的像素坐标、速度信息和跟踪标记，与视觉传感器输出的像素坐标和类别信息融合，并将图像检测得到的车牌信息替换毫米波雷达获取的ID。其中经过试验验证，毫米波雷达在目标检测结果中对于横向测距精度较差，纵向测距精度较高，图像检测则与之相反，因此采用将两者测距结果加权平均后的位置信息作为最终融合检测结果，将融合后的位置信息输入到GPS坐标转换模型中得到目标车辆的GPS坐标信息。
步骤六、根据图像亮度中值的变化判断实际环境的光线状况，如果光线良好，则将匹配成功目标与未匹配成功目标输出；否则，输出匹配成功目标，对于匹配不成功的目标车辆，再次进行判断并结束；
再次判断具体过程为：
如果毫米波雷达转换后的目标车辆未匹配成功，则将该目标车辆的信息输入到目标序列库并输出；
如果是视觉传感器的原始目标车辆未匹配成功，则将该目标车辆的信息进行删除。
步骤七、针对输出目标，结合该目标车辆的车牌信息或ID对车辆实现全局跟踪，获取车辆的行驶状态信息，并进一步提取交通流信息。
本发明的优点在于：
(1)一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法，将毫米波雷达和机器视觉融合应用在路侧车辆检测领域，相比于传统的微波检测雷达，能够有效区分各种类型车辆及非机动车从而获取更加精确的分类结果，将融合位置信息作为目标的位置信息，提高了对目标横向测距的精度，并且价格更加低廉。相比于视频检测器，融合检测系统能够获得目标车辆精确的行驶速度信息，在雨雪夜晚等环境较差的情况依然能够完成交通流检测的功能，解决了视觉传感器抗环境干扰能力较差的问题，提高了路侧检测装置的环境适应能力和准确性。
(2)一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法，采用路侧的毫米波雷达和机器视觉融合的方法除了获取传统的交通信息外，利用融合位置信息可以得到检测目标的高精度GPS坐标信息。
(3)一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法，利用光线评估模块，实现在不同光照条件下检测方式的切换，提高了感知系统的自适应能力。
(4)一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法，在融合过程中的图像处理部分采用了深度学习算法，相比于传统图像处理，实时性更好，检测精度更高。
(5)一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法，相对于车载端数据融合，利用路侧端的感知系统可以解放部分车载端感知系统计算能力，为行驶车辆提供更加精确和全面的环境信息。
附图说明
图1为本发明一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法的原理框架示意图；
图2为本发明一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法的流程图；
图3为本发明一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法传感器安装示意图；
图4为本发明一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法的时间融合示意图；
图5为本发明一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法在良好光线条件下的检测流程图；
图6为本发明一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法在光线较差条件下的检测流程图。
具体实施方式
下面结合实施例和附图，对本发明的实施方式做详细、清楚的描述。
本发明提出一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法，包括基于机器视觉的车辆检测，基于毫米波雷达的车辆信息获取和处理，基于毫米波雷达和机器视觉融合的道路车辆检测，以及光线评估；
(1)基于机器视觉的车辆检测是指：视觉传感器安装标定后采集图像信息，对部分图像进行标注以及SSD模型的训练，利用训练好的SSD模型进行检测，并输出目标信息如：目标中心点的像素坐标和目标类型等信息。
(2)基于毫米波雷达的车辆信息获取和处理是指：毫米波雷达安装标定后采集信息，对毫米波雷达目标进行筛选和过滤，保留运动目标，并利用卡尔曼滤波对毫米波雷达信息进行处理，然后输出目标的速度，跟踪标记以及相对毫米波雷达的横纵向距离。
(3)光线评估是指：利用图像亮度中值的变化情况来判断实际环境的光线状况，并将此作为检测方法切换的依据，光线良好的条件下采用毫米波雷达和机器视觉融合的道路车辆检测方法，光线较差时采用以毫米波雷达为主的检测方法。
(4)基于毫米波雷达和机器视觉融合的道路车辆检测是指：将毫米波雷达目标通过投影变换转换到图像坐标系中，使得两种传感器的检测信息统一到同一坐标系下。然后将毫米波雷达目标信息与视觉目标信息进行观测值匹配，得到不同传感器对于同一目标的检测信息，将同一目标的检测信息利用融合算法进行检测融合处理，最终输出融合目标信息。
原理框架如图1所示，视觉传感器与毫米波雷达各自获取信息后进行信息预处理，对于雷达信息过滤空信号、无效信号后保留运动目标信息，利用卡尔曼滤波获得运动状态的最优估计。对于图像信息，利用训练好的模型，采用SSD算法进行目标检测，并输出目标的中心点坐标和类别信息。将毫米波雷达坐标输入到搭建好的时空融合模型中，实现雷达和视觉传感器的时空统一，然后计算同一时刻对应的毫米波雷达目标和图像目标的欧式距离，一旦小于阈值，采用最近邻算法进行观测值匹配，将转换后的毫米波雷达目标车辆与原始的图像目标车辆中相距最近的目标作为匹配目标。否则，将未成功匹配的目标车辆输入到目标序列中等待下一步处理，根据光线情况选择不同的目标输出方式，最终利用输出结果进行全局环境感知和交通流信息的获取。
如图2所示，具体步骤如下：
步骤一、将毫米波雷达和视觉传感器作为一套融合设备，安装在路侧龙门架、路灯及其他杆状设施的位置进行标定；
如图3所示，每两套融合设备之间的间隔距离根据环境人为设定。用于检测车辆、行人等移动目标，由于毫米波雷达和视觉传感器的检测范围限制，本实施例选取间隔100米布设一套融合设备(视觉传感器+毫米波雷达)的方案。
步骤二、视觉传感器采集图像信息，并将图像划分为测试样本和训练样本，对样本中的车辆类别和位置信息进行标注，将标注后的样本输入SSD算法，输出目标车辆中心点的像素坐标和目标车辆的类别。
本实施例中的摄像头要求最远探测距离大于50米，采集的图像大小为640*480。
首先，收集大量的正负样本数据进行目标的标注，具体区分汽车、公交车、卡车、货车、自行车、摩托车以及行人等，标注完成后利用标注文件及原始图片进行模型的训练，获取车辆检测所需模型以及相关的文件；本发明采用SSD算法对视频进行检测，输出目标的检测框中心点像素坐标(u，v)以及目标类型信息(type)。除此之外进行车辆的车牌信息检测，作为ID_new输出。
步骤三、同时，毫米波雷达采集目标车辆的相关信息，筛选和过滤空信号和无效信号，同时利用卡尔曼滤波消除干扰和噪声。
本方法采用的毫米波雷达要求最远探测距离达到100米，能同时探测多个目标车辆。当毫米波雷达检测到目标车辆时，会反馈目标车辆信息，但是接收的原始数据是一列数组，从中无法直接得到有效的目标车辆信息，因此需要根据协议进行解算。
毫米波雷达每帧数据包含多个目标的信息，每个目标的信息包括ID，纵向距离，横向距离，相对速度。其中ID是为每一个目标分配的，当毫米波雷达扫描到目标车辆时能对其进行跟踪，并且在跟踪过程中ID保持不变。在检测过程中一旦检测到一个新的目标车辆并开始跟踪时，Newflag输出为1，否则输出为0。同时会根据目标车辆的速度，分为静止目标和移动目标，移动目标车辆Movingflag标记输出1，静止目标车辆输出为0。
在检测过程中，由于存在各种电磁波的干扰，毫米波雷达返回的数据存在空信号，即毫米波雷达返回的数据为默认值。另外，由于车辆经过时引起的震动会导致毫米波雷达检测到一些无效信号，这些信号在检测过程中没有意义，在进行融合之前将毫米波雷达信息进行筛选，滤掉空目标和无效目标。
由于毫米波雷达受到震动以及其他环境的干扰，在观测数据中含有噪声和干扰的影响，这些噪声和干扰会导致雷达进行目标车辆的跟踪时出现一定的误差，为了获得运动目标最优状态预测值，可以使用卡尔曼滤波，利用动态目标信息来消除干扰和噪声的影响。
假设车辆目标的系统状态是k，根据系统的模型，可以基于系统的上一周期的状态而预测出本周期的状态：
X(k|k-1)＝AX(k-1|k-1)+BU(k)
上式中，A和B为系统参数矩阵，X(k|k-1)是利用上一周期状态预测的结果，X(k-1|k-1)是k-1状态最优估计的结果，U(k)为控制量，若没有控制输入，可以设U(k)为0。
借助协方差矩阵P表示系统中每一个时刻的不确定性，另外由于预测模型本身并不是绝对准确，所以引入协方差矩阵Q来预测模型本身的噪声。
P(k|k-1)＝AP(k-1|k-1)A'+Q
上式中P(k|k-1)是X(k|k-1)对应的协方差，A'表示A的转置矩阵，Q是系统过程的协方差。另外还需要对观测值进行预测：
Z(k)＝HX(k)
其中H为观测矩阵。通过上式实现对系统的预测，当得到本周期状态的预测值后，可以得到状态k的最优化估计值X(k|k):
X(k|k)＝X(k|k-1)+Kg(k)[Z(k)-HX(k|k-1)]
其中Kg为卡尔曼滤波增益：
Kg(k)＝P(k|k-1)H'/(HP(k|k-1)H'+R)
R表示观测过程中不确定性的协方差矩阵。通过上式可以得到状态k下最优的估计值X(k|k)。但为了使滤波器能够持续进行直到结束，k状态下X(k|k)的协方差需要持续更新：
P(k|k)＝(I-Kg(k)H)P(k|k-1)
步骤四、将毫米波雷达检测得到的横纵向距离通过投影变换转换为视觉传感器所在的图像坐标系中的图像像素坐标，实现毫米波雷达和视觉传感器空间统一。
由于要将雷达检测结果与视觉传感器检测结果进行融合，首先需要进行传感器间的空间联合标定。在固定好视觉传感器雷达位置后，进行空间联合标定所得到的矩阵为：
Figure BDA0002157925010000071
其中，(u,v)为目标车辆在图像坐标系下的坐标，dx和dy表示一个像素单位的物理长度，u0表示图像的主点与像素坐标系原点之间相差的横向像素数，v0表示图像的主点与像素坐标系原点之间相差的纵向像素数。f表示视觉传感器的焦距，R表示旋转矩阵，t表示平移矩阵，zc为图像坐标系的坐标，(Xw,Yw,Zw)为世界坐标系的坐标。
通过标定矩阵将雷达坐标转换成图像坐标完成空间统一。
不同传感器的数据帧率一般不同，考虑雷达获取数据频率一般低于机器视觉信息处理频率，采用以雷达数据为基准向下兼容进行时间统一，具体过程如图4所示。
步骤五、针对同一时刻，将转换后的目标车辆相关信息与视觉传感器得到的原始目标车辆信息进行观测值匹配，并判断是否匹配成功，如果是，将两个目标车辆的信息进行检测融合；否则，分别将两个目标车辆的信息输入到目标序列库进行存储。
首先，在同一个坐标系的同一时刻下，计算每一帧转换的目标车辆与原始的图像目标车辆之间的欧氏距离。
经过空间融合和时间融合已经能够确保毫米波雷达和视觉传感器检测的目标处于同一坐标系，并且能够保证每一帧毫米波雷达信息和视觉传感器的信息对应同一时刻，接下来就需要确定两种传感器探测的目标是否属于同一个目标，本文通过计算两种传感器的目标坐标的欧式距离来进行观测值的匹配。
欧式距离又称欧几里得度量，通常用来进行距离的度量，指空间中任意两点的实际距离。二维空间欧氏距离公式：
Figure BDA0002157925010000081
其中，ρ为点(x1,y1)与点(x2,y2)之间的欧氏距离。
然后，判断欧式距离是否小于阈值，如果是，采用最近邻算法进行观测值匹配，将转换的目标车辆与原始的图像目标车辆中欧式距离相距最近的序列作为匹配目标。否则，将未成功匹配的目标车辆输入到目标序列中等待下一步处理。
毫米波雷达能够提供目标的横纵向距离、速度等信息，毫米波雷达信息的横纵向距离经过投影矩阵，转换为图像像素坐标。图像经过检测之后能够输出目标的像素坐标信息和类别信息，通过计算每一帧毫米波雷达目标与对应图像目标的欧氏距离，一旦小于一定阈值，采用最近邻算法进行观测值匹配，将欧式距离最近的毫米波雷达检测目标和图像检测目标作为匹配目标，若没有匹配成功则将信息输入到目标序列中等待下一步处理。
经过观测值匹配后，已经得到两种传感器对于同一目标的检测结果，然后按照融合规则，将检测结果融合，来获得目标最终的判断。
本次研究属于二元假设检验问题：
首先，设毫米波雷达和视觉传感器的决策值ui为二元值，定义为：
Figure BDA0002157925010000082
根据毫米波雷达和视觉传感器的决策结果ui，i＝1,2做出最后判决：
将目标车辆相对于毫米波雷达的横纵向距离信息、坐标转换后得到的像素坐标、速度信息和跟踪标记；与视觉传感器输出的像素坐标和类别信息融合，并将车牌信息替换毫米波雷达获取的ID。其中经过试验验证，毫米波雷达在目标检测结果中对于横向测距精度较差，纵向测距精度较高，图像检测则与之相反，采用将两者测距结果加权平均后的位置信息作为最终融合检测结果，将融合后的位置信息输入到GPS坐标转换模型中得到目标车辆的GPS坐标信息。
步骤六、根据图像亮度中值的变化判断实际环境的光线状况，如果光线良好，则将匹配成功目标与未匹配成功目标输出；否则，输出匹配成功目标，对于匹配不成功的目标车辆，再次进行判断并结束；
再次判断具体过程为：
如果毫米波雷达转换后的目标车辆未匹配成功，则将该目标车辆的信息输入到目标序列库并输出；
如果是视觉传感器的原始目标车辆未匹配成功，则将该目标车辆的信息进行删除。
昼间光线良好的条件下，图像检测能够正常工作，将融合成功的目标和未匹配的目标序列包括毫米波雷达检测目标和视觉传感器检测目标共同进行分析及处理，如图5所示。采用融合系统可以获得更加丰富、精确的信息，提高检测系统的鲁棒性和准确性。
但是在夜间，光线较差的情况下，视觉传感器检测精度降低，图像检测基本失效，为了提高系统检测的准确性，系统在夜间切换为以毫米波雷达检测为主，将未匹配的目标序列中删除视觉传感器检测目标，结合融合目标作为输出结果，如图6所示。
本发明方法以图像亮度中值变化为依据，通过设置了光线评估模块检测环境亮度的变化来进行检测算法的切换，从而实现全天候的道路车辆检测。
步骤七、针对观测值匹配成功的目标车辆，结合该目标车辆的车牌信息对车辆实现全局跟踪，获取车辆的行驶状态信息。
将融合后的结果进行处理，按照目标坐标与车道线的关系区分车道，利用融合后的类别信息区分车辆类型，最后利用跟踪标记Newflag进行流量统计，检测到Newflag为1则相应类型车辆的流量增加1，从而完成计数，同时获得各车道的车速信息等交通流信息，同时结合车辆的车牌信息可以对车辆实现全局跟踪，获取车辆在不同传感器的行驶状态信息。

Claims (1)

1.一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法，其特征在于，具体包括以下步骤：
步骤一、将毫米波雷达和视觉传感器作为一套融合设备，安装在路侧龙门架、路灯及其他杆状设施的位置进行标定；
步骤二、视觉传感器采集图像信息，并将图像划分为测试样本和训练样本，对样本中的车辆类别和位置信息进行标注，将标注后的样本输入SSD算法，输出目标车辆中心点的像素坐标和目标车辆的类别；
所述的目标车辆的类别为汽车、公交车、卡车、货车、自行车、摩托车以及行人；
步骤三、同时，毫米波雷达采集目标车辆的相关信息，筛选和过滤空信号和无效信号，同时利用卡尔曼滤波消除干扰和噪声；
具体为：
当毫米波雷达检测到目标车辆时反馈目标车辆的数据，每帧数据包含若干目标车辆的信息，每个目标车辆的信息包括目标车辆的ID，目标车辆相对于毫米波雷达的纵向距离和横向距离，目标车辆相对于毫米波雷达的速度，目标车辆的移动标记movingflag，新目标车辆的跟踪标记newflag，两个标记的取值均为0和1；
步骤四、将毫米波雷达检测得到的横纵向距离通过投影变换转换到视觉传感器所在的图像坐标系中转换为图像像素坐标，在同一坐标系下实现毫米波雷达和视觉传感器在时间和空间的统一；
坐标转换通过标定矩阵完成，标定矩阵公式如下：
Figure FDA0003325966580000011
其中，(u,v)为目标车辆在图像坐标系下的坐标，dx和dy表示一个像素单位的物理长度，u0表示图像的主点与像素坐标系原点之间相差的横向像素数，v0表示图像的主点与像素坐标系原点之间相差的纵向像素数；f表示视觉传感器的焦距，R表示旋转矩阵，t表示平移矩阵，zc为图像坐标系的坐标，(Xw,Yw,Zw)为世界坐标系的坐标；
步骤五、针对同一时刻，将转换后的目标车辆相关信息与视觉传感器得到的原始目标车辆信息进行观测值匹配，并判断是否匹配成功，如果是，将两个目标车辆的信息进行检测融合；否则，分别将两个目标车辆的信息输入到目标序列库进行存储；
首先，在同一个坐标系的同一时刻下，计算每一帧转换的目标车辆与原始的图像目标车辆之间的欧氏距离；
然后，判断欧式距离是否小于阈值，如果是，采用最近邻算法进行观测值匹配，将转换的目标车辆与原始的图像目标车辆中欧式距离相距最近的序列作为匹配目标；否则，将未成功匹配的目标车辆输入到目标序列中等待下一步处理；
所述的融合具体过程如下：
首先，设毫米波雷达和视觉传感器的决策值ui为二元值，定义为：
Figure FDA0003325966580000021
根据毫米波雷达和视觉传感器的决策结果ui，i＝1,2做出最后判决：
将目标车辆相对于毫米波雷达的横纵向距离信息、坐标转换后得到的像素坐标、速度信息和跟踪标记；与视觉传感器输出的像素坐标和类别信息融合，并将车牌信息替换毫米波雷达获取的ID；其中经过试验验证，毫米波雷达在目标检测结果中对于横向测距精度较差，纵向测距精度较高，图像检测则与之相反，采用将两者测距结果加权平均后的位置信息作为最终融合检测结果，将融合后的位置信息输入到GPS坐标转换模型中得到目标车辆的GPS坐标信息；
步骤六、根据图像亮度中值的变化判断实际环境的光线状况，如果光线良好，则按照观测值匹配结果进行处理；否则，将按照观测值匹配成功的结果进行处理，对于匹配不成功的目标车辆，再次进行判断并结束；
所述的再次判断具体过程为：
如果毫米波雷达转换后的目标车辆未匹配成功，则将该目标车辆的信息输入到目标序列库进行存储；
如果是视觉传感器的原始目标车辆未匹配成功，则将该目标车辆的信息进行删除；
步骤七、针对观测值匹配成功的目标车辆，结合该目标车辆的车牌信息对车辆实现全局跟踪，获取车辆该目标车辆在不同传感器的行驶状态信息。
CN201910723080.6A 2019-08-06 2019-08-06 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法 Active CN110532896B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910723080.6A CN110532896B (zh) 2019-08-06 2019-08-06 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910723080.6A CN110532896B (zh) 2019-08-06 2019-08-06 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法

Publications (2)

Publication Number Publication Date
CN110532896A CN110532896A (zh) 2019-12-03
CN110532896B true CN110532896B (zh) 2022-04-08

Family

ID=68661454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910723080.6A Active CN110532896B (zh) 2019-08-06 2019-08-06 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法

Country Status (1)

Country Link
CN (1) CN110532896B (zh)

Families Citing this family (106)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111077506B (zh) * 2019-12-12 2022-04-19 苏州智加科技有限公司 对毫米波雷达进行标定的方法、装置及系统
CN111191697B (zh) * 2019-12-21 2023-04-28 武汉光庭信息技术股份有限公司 基于传感器融合的adas道路测试验证优化方法和装置
CN111090095B (zh) * 2019-12-24 2023-03-14 上海汽车工业(集团)总公司 信息融合环境感知系统及其感知方法
CN111209956A (zh) * 2020-01-02 2020-05-29 北京汽车集团有限公司 传感器数据融合方法、车辆的环境地图生成方法及系统
CN111222568B (zh) * 2020-01-03 2024-06-11 北京汽车集团有限公司 一种车辆网联数据融合方法及装置
CN111060881B (zh) * 2020-01-10 2022-05-13 湖南大学 一种毫米波雷达外参数在线标定方法
CN111323771A (zh) * 2020-03-02 2020-06-23 南京理工大学 基于固定距离的毫米波雷达与视频数据融合方法
CN111369541B (zh) * 2020-03-06 2022-07-08 吉林大学 一种智能汽车恶劣天气条件下车辆检测方法
CN113433542A (zh) * 2020-03-18 2021-09-24 广州汽车集团股份有限公司 一种车辆定位方法、装置、路侧设备及存储介质
CN111090096B (zh) * 2020-03-19 2020-07-10 南京兆岳智能科技有限公司 夜间车辆检测方法、装置及系统
CN113449541A (zh) * 2020-03-24 2021-09-28 阿里巴巴集团控股有限公司 一种数据处理方法、设备及系统
CN113452952B (zh) * 2020-03-25 2023-08-18 阿里巴巴集团控股有限公司 一种路况监测方法及装置和系统
CN111554088B (zh) * 2020-04-13 2022-03-22 重庆邮电大学 一种多功能v2x智能路侧基站系统
CN111539278A (zh) * 2020-04-14 2020-08-14 浙江吉利汽车研究院有限公司 一种用于目标车辆的检测方法及系统
CN111583690B (zh) * 2020-04-15 2021-08-20 北京踏歌智行科技有限公司 一种基于5g的矿区无人运输系统的弯道协同感知方法
CN111582256B (zh) * 2020-04-26 2024-05-14 智慧互通科技股份有限公司 一种基于雷达和视觉信息的停车管理方法及装置
CN111505624B (zh) * 2020-04-30 2022-07-01 中国汽车工程研究院股份有限公司 一种基于机器视觉和毫米波雷达数据融合的环境感知方法
CN111582130B (zh) * 2020-04-30 2023-04-28 长安大学 一种基于多源异构信息的交通行为感知融合系统及方法
CN113689691A (zh) * 2020-05-18 2021-11-23 富士通株式会社 交通检测系统
CN111634290B (zh) * 2020-05-22 2023-08-11 华域汽车系统股份有限公司 高级驾驶辅助的前向融合系统及方法
CN111694010B (zh) * 2020-05-27 2022-03-25 东南大学 一种基于视觉与激光雷达融合的路侧车辆识别方法
CN113759363B (zh) * 2020-06-02 2023-09-19 杭州海康威视数字技术股份有限公司 目标定位方法、装置、监控系统和存储介质
CN111787481B (zh) * 2020-06-17 2021-06-29 北京航空航天大学 一种基于5g的路车协调高精度感知方法
CN111797741A (zh) * 2020-06-24 2020-10-20 中国第一汽车股份有限公司 车辆检测方法、装置、车辆和存储介质
CN113850102B (zh) * 2020-06-28 2024-03-22 哈尔滨工业大学（威海） 基于毫米波雷达辅助的车载视觉检测方法及系统
CN111754798A (zh) * 2020-07-02 2020-10-09 上海电科智能系统股份有限公司 融合路侧激光雷达和视频实现车辆和周边障碍物探知方法
CN111812649A (zh) * 2020-07-15 2020-10-23 西北工业大学 基于单目相机与毫米波雷达融合的障碍物识别与定位方法
CN111986232B (zh) * 2020-08-13 2021-09-14 上海高仙自动化科技发展有限公司 目标物体的检测方法、装置、机器人及存储介质
CN114167443A (zh) * 2020-08-19 2022-03-11 北京万集科技股份有限公司 信息补全方法、装置、计算机设备和存储介质
CN111983603A (zh) * 2020-08-31 2020-11-24 杭州海康威视数字技术股份有限公司 运动轨迹接力方法、系统、装置和中心端处理设备
CN112016496A (zh) * 2020-09-04 2020-12-01 华录易云科技有限公司 用于目标检测的方法、装置及设备
CN112085952B (zh) * 2020-09-07 2022-06-03 平安科技（深圳）有限公司 监控车辆数据方法、装置、计算机设备及存储介质
CN112130136B (zh) * 2020-09-11 2024-04-12 中国重汽集团济南动力有限公司 一种交通目标综合感知系统及方法
CN112083412B (zh) * 2020-09-15 2024-07-23 纳瓦电子（上海）有限公司 毫米波雷达与c-v2x系统的融合方法及其系统和电子设备
CN112379362B (zh) * 2020-10-23 2024-06-04 连云港杰瑞电子有限公司 一种基于多源数据融合的事件自适应采集设备及方法
CN112380927B (zh) * 2020-10-29 2023-06-30 中车株洲电力机车研究所有限公司 一种轨道识别方法及其装置
CN112116031B (zh) * 2020-10-29 2024-02-09 重庆长安汽车股份有限公司 基于路侧设备的目标融合方法、系统、车辆及存储介质
CN112363167A (zh) * 2020-11-02 2021-02-12 重庆邮电大学 一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法
CN112505684B (zh) * 2020-11-17 2023-12-01 东南大学 恶劣环境路侧视角下雷达视觉融合的车辆多目标跟踪方法
CN112462381B (zh) * 2020-11-19 2024-06-04 浙江吉利控股集团有限公司 一种基于车路协同的多激光雷达融合方法
CN112697066A (zh) * 2020-12-02 2021-04-23 王刚 车辆部件定位方法、装置及计算机存储介质
CN114624711B (zh) * 2020-12-11 2024-05-17 中寰卫星导航通信有限公司 一种不同雷达信息的融合方法、装置、存储介质及设备
CN112560972B (zh) * 2020-12-21 2021-10-08 北京航空航天大学 基于毫米波雷达先验定位和视觉特征融合的目标检测方法
CN112700647B (zh) * 2020-12-29 2022-09-16 杭州海康威视数字技术股份有限公司 监测车辆行驶信息的方法及装置
CN112767475B (zh) * 2020-12-30 2022-10-18 重庆邮电大学 一种基于c-v2x、雷达与视觉的智能路侧感知系统
CN112835030A (zh) * 2020-12-30 2021-05-25 深圳承泰科技有限公司 一种障碍物目标的数据融合方法、装置及智能汽车
WO2022141912A1 (zh) * 2021-01-01 2022-07-07 杜豫川 一种面向车路协同的感知信息融合表征及目标检测方法
CN112863183B (zh) * 2021-01-14 2022-04-08 深圳尚桥信息技术有限公司 一种交通流数据融合方法及系统
CN112836737A (zh) * 2021-01-29 2021-05-25 同济大学 一种基于车路数据融合的路侧组合感知设备在线标定方法
CN112906777A (zh) * 2021-02-05 2021-06-04 北京邮电大学 目标检测方法、装置、电子设备及存储介质
CN115605777A (zh) * 2021-03-01 2023-01-13 杜豫川（Cn） 一种基于路侧感知单元的动态目标点云快速识别及点云分割方法
CN113033340A (zh) * 2021-03-10 2021-06-25 郑景粲 一种基于深度信息的视觉盲区预警装置
CN115131423B (zh) * 2021-03-17 2024-07-16 航天科工深圳（集团）有限公司 一种融合毫米波雷达和视觉的距离测量方法及装置
GB2628517A (en) * 2021-04-01 2024-09-25 Univ Tongji Radar and video data fusion method for vehicle tracking based on deep learning and feature similarity
GB2628516A (en) * 2021-04-01 2024-09-25 Univ Tongji A method for multi-sensor multi-vehicle tracking based on image and motion feature matching
CN113552566B (zh) * 2021-05-31 2023-06-16 江铃汽车股份有限公司 一种智能驾驶的交互系统及车辆
CN113343849A (zh) * 2021-06-07 2021-09-03 西安恒盛安信智能技术有限公司 一种基于雷达和视频的融合感知设备
CN113283367A (zh) * 2021-06-08 2021-08-20 南通大学 一种低能见度环境地下车库视觉盲区安全检测方法
CN113486775A (zh) * 2021-07-02 2021-10-08 北京一维大成科技有限公司 一种目标追踪方法、系统、电子设备及存储介质
CN113688662A (zh) * 2021-07-05 2021-11-23 浙江大华技术股份有限公司 机动车过车警示方法、装置、电子装置和计算机设备
CN113505687B (zh) * 2021-07-08 2024-08-09 北京星云互联科技有限公司 设备测试方法、装置、电子设备、系统和存储介质
CN113591941B (zh) * 2021-07-12 2024-06-04 武汉科技大学 一种基于多传感器融合的智能限高警示系统及方法
CN113655494B (zh) * 2021-07-27 2024-05-10 上海智能网联汽车技术中心有限公司 路侧相机与4d毫米波融合的目标检测方法、设备及介质
CN113611112B (zh) * 2021-07-29 2022-11-08 中国第一汽车股份有限公司 一种目标关联方法、装置、设备及存储介质
CN113432615B (zh) * 2021-07-31 2024-02-13 重庆长安汽车股份有限公司 基于多传感器融合可驾驶区域的检测方法、系统和车辆
CN113658427A (zh) * 2021-08-06 2021-11-16 深圳英飞拓智能技术有限公司 基于视觉与雷达的路况监控方法及系统、设备
CN113791410B (zh) * 2021-08-20 2023-10-24 北京市公安局公安交通管理局 一种基于多传感器信息融合的道路环境综合认知方法
CN113848545B (zh) * 2021-09-01 2023-04-14 电子科技大学 一种基于视觉和毫米波雷达的融合目标检测和跟踪方法
CN113850995B (zh) * 2021-09-14 2022-12-27 华设设计集团股份有限公司 一种基于隧道雷视数据融合的事件检测方法、装置及系统
CN113682259B (zh) * 2021-09-22 2023-07-04 海南大学 一种车用开门预警防撞系统及控制方法
CN113627569B (zh) * 2021-09-27 2024-10-18 浙江高信技术股份有限公司 一种用于交通大场景的雷达视频一体机的数据融合方法及装置、存储介质
CN113900070B (zh) * 2021-10-08 2022-09-27 河北德冠隆电子科技有限公司 雷达车道自动绘制目标数据精准输出的方法、装置与系统
CN113807471B (zh) * 2021-11-18 2022-03-15 浙江宇视科技有限公司 雷达与视觉融合的车辆识别方法、装置、设备及介质
CN114137513A (zh) * 2021-11-30 2022-03-04 联陆智能交通科技(上海)有限公司 视觉辅助毫米波雷达进行目标检测装置、方法及系统
CN114333295B (zh) * 2021-11-30 2022-11-11 上海电科智能系统股份有限公司 基于全覆盖的多元多种唯一id探测与跟踪方法
CN114187365A (zh) * 2021-12-09 2022-03-15 联陆智能交通科技(上海)有限公司 路侧感知系统的相机与毫米波雷达联合标定方法及系统
CN114495520B (zh) * 2021-12-30 2023-10-03 北京万集科技股份有限公司 一种车辆的计数方法、装置、终端和存储介质
CN114332784A (zh) * 2021-12-30 2022-04-12 江苏集萃深度感知技术研究所有限公司 基于机器视觉以及雷达的港口船体识别方法
CN114065876B (zh) * 2022-01-11 2022-04-12 华砺智行(武汉)科技有限公司 基于路侧多传感器的数据融合方法、装置、系统及介质
CN114460598B (zh) * 2022-01-30 2024-10-18 中国第一汽车股份有限公司 一种目标识别方法、装置、设备及存储介质
CN114545385A (zh) * 2022-02-18 2022-05-27 华域汽车系统股份有限公司 一种基于车载前视摄像头和前向毫米波雷达的融合目标探测方法
CN114637003B (zh) * 2022-03-16 2024-10-18 中国第一汽车股份有限公司 一种车辆的目标识别方法、装置、汽车及存储介质
CN114814825B (zh) * 2022-03-23 2023-04-07 合肥工业大学 一种基于雷达和视频融合的车辆轨迹感知与状态提取方法
CN114842643B (zh) * 2022-04-20 2023-03-28 深圳市旗扬特种装备技术工程有限公司 视频车辆检测模型在线更新方法、装置及雷视融合系统
CN114550142A (zh) * 2022-04-25 2022-05-27 深圳佑驾创新科技有限公司 基于4d毫米波雷达和图像识别融合的车位检测方法
CN115079176A (zh) * 2022-06-07 2022-09-20 西安电子科技大学 一种联合交通雷达和4d毫米波雷达的道路车辆监测与高度预警系统
CN115206089B (zh) * 2022-06-07 2024-06-25 西安电子科技大学 一种基于4d毫米波雷达的可变车道分流系统
CN115019276B (zh) * 2022-06-30 2023-10-27 南京慧尔视智能科技有限公司 一种目标检测方法、系统及相关设备
CN115265630B (zh) * 2022-07-25 2023-04-07 科大国创合肥智能汽车科技有限公司 一种基于fdr对传感器识别静态物体信息进行筛选的方法
CN115421136A (zh) * 2022-07-28 2022-12-02 广西北投信创科技投资集团有限公司 一种车辆检测系统及其检测方法
CN115440056A (zh) * 2022-08-02 2022-12-06 天津光电聚能专用通信设备有限公司 基于毫米波雷达与视觉融合的智能安全防护系统
CN115327532B (zh) * 2022-08-04 2024-09-06 澳克诺(上海)汽车科技有限公司 一种用于传感器数据融合的方法和系统
CN115390054A (zh) * 2022-08-18 2022-11-25 珠海中科新微安全科技有限公司 一种具有动、静目标融合算法的相控阵雷达
CN115527364B (zh) * 2022-08-25 2023-11-21 西安电子科技大学广州研究院 一种基于雷视数据融合的交通事故溯源方法及系统
CN115457780B (zh) * 2022-09-06 2024-06-14 北京航空航天大学 一种基于先验知识集合的车流量流速自动测算方法及系统
CN115240430B (zh) * 2022-09-15 2023-01-03 湖南众天云科技有限公司 路侧设备信息分布式级联融合方法、系统及介质
CN115600158B (zh) * 2022-12-08 2023-04-18 奥特贝睿(天津)科技有限公司 一种无人车多传感器融合方法
CN116148801B (zh) * 2023-04-18 2023-07-14 深圳市佰誉达科技有限公司 一种基于毫米波雷达的目标检测方法及系统
CN116665152A (zh) * 2023-06-13 2023-08-29 北京市计量检测科学研究院 一种应用于交通目标探测的小目标雷视融合方法
CN116630765B (zh) * 2023-07-24 2023-09-26 济南卓伦智能交通技术有限公司 一种基于多元信息的单车融合感知系统
CN117238143B (zh) * 2023-09-15 2024-03-22 北京卓视智通科技有限责任公司 基于雷达双光谱相机的交通数据融合方法、系统和装置
CN117334080B (zh) * 2023-12-01 2024-02-02 江苏镭神激光智能系统有限公司 基于激光雷达和相机识别的车辆追踪方法及系统
CN117611638B (zh) * 2023-12-07 2024-05-17 北京擎锋精密科技有限公司 一种基于图像处理的车辆行人多目标跟踪方法
CN117784121B (zh) * 2024-02-23 2024-06-25 四川天府新区北理工创新装备研究院 一种路侧传感器联合标定方法、系统及电子设备
CN118433967A (zh) * 2024-07-05 2024-08-02 奥为科技(南京)有限公司 一种基于交通视觉的智慧照明控制方法及控制系统
CN118587905B (zh) * 2024-08-06 2024-10-18 深圳市易联联盟科技有限公司 一种基于毫米波测距雷达的车辆探测系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106908783A (zh) * 2017-02-23 2017-06-30 苏州大学 基于多传感器信息融合的障碍物检测方法
CN107609522A (zh) * 2017-09-19 2018-01-19 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测系统
CN108458746A (zh) * 2017-12-23 2018-08-28 天津国科嘉业医疗科技发展有限公司 一种基于多类型传感器自适应融合方法
CN108983219A (zh) * 2018-08-17 2018-12-11 北京航空航天大学 一种交通场景的图像信息和雷达信息的融合方法及系统
CN110068818A (zh) * 2019-05-05 2019-07-30 中国汽车工程研究院股份有限公司 通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106908783A (zh) * 2017-02-23 2017-06-30 苏州大学 基于多传感器信息融合的障碍物检测方法
CN107609522A (zh) * 2017-09-19 2018-01-19 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测系统
CN108458746A (zh) * 2017-12-23 2018-08-28 天津国科嘉业医疗科技发展有限公司 一种基于多类型传感器自适应融合方法
CN108983219A (zh) * 2018-08-17 2018-12-11 北京航空航天大学 一种交通场景的图像信息和雷达信息的融合方法及系统
CN110068818A (zh) * 2019-05-05 2019-07-30 中国汽车工程研究院股份有限公司 通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法

Also Published As

Publication number Publication date
CN110532896A (zh) 2019-12-03

Similar Documents

Publication Publication Date Title
CN110532896B (zh) 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法
CN106652468B (zh) 车辆道路前车违规检测和自车违规预警提醒装置及方法
CN111369541B (zh) 一种智能汽车恶劣天气条件下车辆检测方法
CN103176185B (zh) 用于检测道路障碍物的方法及系统
CN112700470B (zh) 一种基于交通视频流的目标检测和轨迹提取方法
CN1223964C (zh) 用于测量车辆队列长度的装置和方法
KR100201739B1 (ko) 물체 관측 방법 및 그 방법을 이용한 물체 관측장치와,이 장치를 이용한 교통흐름 계측장치 및 주차장 관측장치
CN115943439A (zh) 一种基于雷视融合的多目标车辆检测及重识别方法
CN112215306A (zh) 一种基于单目视觉与毫米波雷达融合的目标检测方法
CN109272482B (zh) 一种基于序列图像的城市路口车辆排队检测系统
CN105825185A (zh) 车辆防碰撞预警方法及装置
CN109905847B (zh) Gnss盲区智能车辅助定位系统累积误差的协同校正系统及方法
CN115205559A (zh) 一种跨域车辆重识别及连续轨迹构建方法
CN115690061B (zh) 一种基于视觉的集装箱码头集卡车检测方法
CN112241004B (zh) 物体识别装置
CN114926984B (zh) 一种实时交通冲突收集与道路安全评价方法
CN112130153A (zh) 基于毫米波雷达和摄像头实现无人驾驶汽车边缘检测方法
CN114814823A (zh) 基于毫米波雷达和相机融合的轨道车辆检测系统和方法
CN116413725A (zh) 一种基于摄像头与毫米波雷达数据融合的障碍物检测方法
Cheng et al. Semantic segmentation of road profiles for efficient sensing in autonomous driving
CN114818819A (zh) 一种基于毫米波雷达与视觉信号的道路障碍物检测方法
CN117334040A (zh) 一种跨域路侧感知多车辆关联方法及系统
CN117218576A (zh) 一种基于视频识别的毫米波雷达点云自动标注方法
CN117173666A (zh) 一种针对非结构化道路的自动驾驶目标识别方法及系统
CN115909285A (zh) 一种雷达和视频信号融合的车辆跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230630

Address after: 100176 901, 9th floor, building 2, yard 10, KEGU 1st Street, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Patentee after: BEIJING TAGE IDRIVER TECHNOLOGY CO.,LTD.

Address before: 100191 No. 37, Haidian District, Beijing, Xueyuan Road

Patentee before: BEIHANG University

TR01 Transfer of patent right