CN106908783B - 基于多传感器信息融合的障碍物检测方法 - Google Patents

基于多传感器信息融合的障碍物检测方法 Download PDF

Info

Publication number
CN106908783B
CN106908783B CN201710100068.0A CN201710100068A CN106908783B CN 106908783 B CN106908783 B CN 106908783B CN 201710100068 A CN201710100068 A CN 201710100068A CN 106908783 B CN106908783 B CN 106908783B
Authority
CN
China
Prior art keywords
radar
target
machine vision
detection
millimetre
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710100068.0A
Other languages
English (en)
Other versions
CN106908783A (zh
Inventor
陈蓉
翟光耀
吴澄
汪一鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN201710100068.0A priority Critical patent/CN106908783B/zh
Publication of CN106908783A publication Critical patent/CN106908783A/zh
Application granted granted Critical
Publication of CN106908783B publication Critical patent/CN106908783B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于多传感器信息融合的障碍物检测方法，所述方法包括：S1、获取毫米波雷达探测到的雷达数据和机器视觉探测到的图像数据，并对雷达数据和图像数据进行空间融合和时间融合；S2、基于毫米波雷达进行目标检测，筛选雷达数据，并根据毫米波雷达返回目标信号的位置动态规划感兴趣区域；S3、基于机器视觉进行运动目标检测，并计算毫米波雷达与机器视觉融合的目标重合度；S4、根据毫米波雷达和机器视觉的运动目标检测结果检测、追踪障碍物目标。本发明利用不同域信息的重合度来检测、追踪障碍物目标，提高了障碍物检测方法的可靠性，同时，该方法可实现障碍物分类，区分出目标是行人还是车辆。

Description

基于多传感器信息融合的障碍物检测方法
技术领域
本发明涉及障碍物检测技术领域，特别是涉及一种基于多传感器信息融合的障碍物检测方法。
背景技术
随着智慧城市建设的大力推进和智能交通行业的快速形成，卫星导航、高速公路信息化、城市智能交通、电子警察和道路监控这些智能交通的传统形式逐渐向电子车牌、智能停车、车联网、自动驾驶、智能驾驶安全辅助系统等新领域发展，而智能障碍物检测更是成为其中一个重要的研究方向。所谓智能障碍物检测，是指车辆能够借助传感器感知周边环境，并判断是否存在障碍物，从而避免发生碰撞，造成事故。
障碍物检测的方法通常有基于机器视觉的检测方法和基于雷达技术的检测方法。基于机器视觉的检测方法具有探测范围广、获取信息量大的优点。毫米波雷达则具有探测范围广，适应性好，可穿透雨雾，可以直接获得深度信息等优点。现有技术中，使用单传感器检测障碍物的方法有：申请号为CN201210143389.6的专利“一种基于单目视觉的前方车辆检测方法”，申请号为CN201410193393.2的专利“基于毫米波雷达的汽车主动防撞预警系统”，申请号为CN201510662223.9的专利“一种基于毫米波雷达的车载主动预警方法、系统及装置”等。
近年来，毫米波雷达和机器视觉的多传感器信息融合障碍物检测方法是研究的热点之一，如申请号为CN201510066989.0的专利申请中公开了一种基于毫米波雷达和机器视觉的夜间前方车辆检测方法。
基于单传感器的障碍物检测缺点在于：基于机器视觉的障碍物检测方法受天气、光照变化等因素影响大，且不易获取深度信息；基于激光雷达的障碍物检测方法一方面受天气影响较大，另一方面在获知障碍物的速度、距离等数据信息时，计算量较大；基于毫米波雷达的障碍物检测方法无法感知目标纹理、形状等特征。
现有的基于毫米波雷达和机器视觉融合的障碍物检测方法缺点在于：检测对象仅限于行车环境中的前方车辆；仅根据雷达扫描点在图像像素坐标系上的投影点建立感兴趣区域，继而利用图像处理方法检验感兴趣区域内是否存在车辆，一旦雷达遗漏目标，该方法则无法实现有效目标的检测。
因此，针对上述技术问题，有必要提供一种基于多传感器信息融合的障碍物检测方法。
发明内容
有鉴于此，本发明的目的在于提供一种基于多传感器信息融合的障碍物检测方法。
为了实现上述目的，本发明实施例提供的技术方案如下：
一种基于多传感器信息融合的障碍物检测方法，所述方法包括：
S1、获取毫米波雷达探测到的雷达数据和机器视觉探测到的图像数据，并对雷达数据和图像数据进行空间融合和时间融合；
S2、基于毫米波雷达进行目标检测，筛选雷达数据，并根据毫米波雷达返回目标信号的位置动态规划感兴趣区域；
S3、基于机器视觉进行运动目标检测，并计算毫米波雷达与机器视觉融合的目标重合度；
S4、根据毫米波雷达和机器视觉的运动目标检测结果检测、追踪障碍物目标。
作为本发明的进一步改进，所述步骤S1中的空间融合具体为：
雷达坐标系与世界坐标系的转换关系为：
其中，H为世界坐标系原点距地面高度，l和L分别为Ow与Or在Xr方向和Zr方向的偏移量；
根据雷达与摄像头的位置关系等条件得出世界坐标系与图像坐标系的转换关系 为：
其中，(Xp,Yp)为图像坐标系中投影点的坐标；dx、dy分别为每一个像素在x轴与y轴方向上的物理尺寸；(Xp0，Yp0)是摄像机主点偏移量；f为摄像机焦距；R是摄像机外部参数旋转矩阵；t为摄像机外部参数平移向量；M称为投影矩阵；
摄像机参数获取后，将雷达坐标转换为图像坐标，实现雷达目标位置在图像中的投影。
作为本发明的进一步改进，所述步骤S1中的时间融合具体为：
创建雷达线程，采集当前时刻雷达数据并加入缓存队列；
创建摄像机线程，采集当前时刻图像数据；
创建数据融合处理线程，在雷达数据缓存队列中获取与图像数据同一时刻的雷达数据进行数据融合处理。
作为本发明的进一步改进，所述步骤S2中“筛选雷达数据”包括：
对雷达数据进行预处理，滤除空目标信号、无效目标信号和静止目标信号；
对于雷达探测到的原始目标，只保留在检测区域之内的目标信号，剔除检测区域以外的目标。
作为本发明的进一步改进，所述步骤S2中的“感兴趣区域”为矩型区域，矩形区域为：
其中，Rratio为矩形宽高比，(Rx，Ry)为感兴趣区域左上角顶点坐标，Rwidth为矩形宽度，Rheight为矩形高度，(Xp1，Yp1)为目标底点像素坐标，(Xp2，Yp2)为目标顶点像素坐标。
作为本发明的进一步改进，所述步骤S2中的“感兴趣区域”为矩型区域内的“凸”型区域，“凸”型区域为：
其中，w为“凸”型区域的凸出部的宽度，h为“凸”型区域的凸出部高度。
作为本发明的进一步改进，所述步骤S3中“基于机器视觉进行运动目标检测”具体为：
利用图像处理方法检测障碍物，进而对比二者检测的结果，最终决策是否存在障碍物
作为本发明的进一步改进，所述步骤S3中毫米波雷达与机器视觉融合的目标重合度为：
其中，RROI为目标感兴趣区域，即雷达检测区域，Rcamera为机器视觉检测区域，Rintersection为雷达检测区域与视觉检测区域重合的部分，c为重合度。
作为本发明的进一步改进，所述步骤S4具体为：
判断雷达检测区域和机器视觉检测区域有无重合；
若雷达检测区域和机器视觉检测区域无重合，当只有机器视觉检测到目标，进行二级危险报警，当只有雷达检测到目标，进行一级危险报警；
雷达检测区域和机器视觉检测区域有重合，计算重合度，并进行一级危险报警。
本发明的有益效果是：
本发明利用不同域信息的重合度来检测、追踪障碍物目标，提高了障碍物检测方法的可靠性，同时，该方法可实现障碍物分类，区分出目标是行人还是车辆。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于多传感器信息融合的障碍物检测方法的流程示意图；
图2为本发明雷达、摄像机、三维世界和图像坐标系的示意图；
图3为本发明毫米波雷达与机器视觉时间融合的示意图；
图4为本发明中“凸”型区域的示意图；
图5为本发明中目标危险等级报警分析流程图；
图6为本发明一具体实施例中摄像机标定棋盘格的示意图；
图7为本发明一具体实施例中雷达和摄像机空间同步示意图；
图8为本发明一具体实施例中雷达数据与摄像机图像帧时间同步示意图；
图9a、9b为本发明一具体实施例中基于雷达的目标检测图；
图10a～10c为本发明一具体实施例中雷达目标感兴趣区域规划的示意图；
图11a～11e为本发明一具体实施例中基于机器视觉的目标检测图；
图12为本发明一具体实施例中不同距离处基于雷达和机器视觉的目标检测图；
图13a～13c为本发明一具体实施例中雷达与机器视觉分别检测到目标示意图；
图14为本发明一具体实施例中车辆和行人检测区域重合度分布图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本发明公开了一种基于多传感器信息融合的障碍物检测方法，基于毫米波雷达和机器视觉信息融合的障碍物检测方法，该方法利用不同域信息的重合度来检测、追踪障碍物目标，提高了障碍物检测方法的可靠性。同时，该方法可实现障碍物分类，区分出目标是行人还是车辆。
参图1所示，该方法包括：
S1、获取毫米波雷达探测到的雷达数据和机器视觉探测到的图像数据，并对雷达数据和图像数据进行空间融合和时间融合；
S2、基于毫米波雷达进行目标检测，筛选雷达数据，并根据毫米波雷达返回目标信号的位置动态规划感兴趣区域；
S3、基于机器视觉进行运动目标检测，并计算毫米波雷达与机器视觉融合的目标重合度；
S4、根据毫米波雷达和机器视觉的运动目标检测结果检测、追踪障碍物目标。
本发明主要包括毫米波雷达和摄像机的数据时空融合、毫米波雷达和机器视觉信息融合的数据处理、目标检测及分类三步，以下对各步骤进行详细说明。
毫米波雷达和摄像机的数据时空融合：
毫米波雷达和摄像机的数据时空融合包括时间融合和空间融合。
空间融合
毫米波雷达与摄像机的空间融合，可以实现毫米波雷达坐标系、摄像机坐标系、三维世界坐标系和图像坐标系的统一，从而将雷达获取的前方目标位置信息转换到摄像机获取的图像上，进而生成感兴趣区域。
图2所示描述了毫米波雷达坐标系、摄像机坐标系、三维世界坐标系和图像坐标系的位置关系。其中，设摄像机坐标系为Oc-XcYcZc，它以摄像头光心为原点，Xc轴指向地面，Yc轴指向车身右侧，Zc轴指向车辆前进方向。设雷达坐标系为Or-XrYrZr，它以雷达几何中心为原点，Xr指向雷达左侧，Yr垂直向上，Zr指向车辆前进方向。三维世界坐标系为Ow-XwYwZw，图像坐标系是二维平面坐标系，记为Op-XpYpZp。
雷达坐标系与世界坐标系的转换关系如公式(1)所示。
其中，H为世界坐标系原点距地面高度，l和L分别为Ow与Or在Xr方向和Zr方向的偏移量。
根据雷达与摄像头的位置关系等条件得出世界坐标系与图像坐标系的转换关系，如公式(2)所示。
其中，(Xp,Yp)为图像坐标系中投影点的坐标；dx,dy分别为每一个像素在x轴与y轴方向上的物理尺寸；(Xp0,Tp0)是摄像机主点偏移量；f为摄像机焦距；R是摄像机外部参数旋转矩阵，为3×3正交单位矩阵；t为摄像机外部参数平移向量；M称为投影矩阵。上述参数中，(dx,dy)、(Xp0,Yp0)、焦距f是摄像机内部参数，R和T是摄像机外部参数，它们均可通过摄像机标定方法离线获取。本发明使用张正友标定法实现摄像机标定。摄像机参数获取后，代入公式(1)、(2)即可将雷达坐标转换为图像坐标，实现雷达目标位置在图像中的投影。
时间融合
毫米波雷达与摄像机数据的时间融合是指两者在时间上的同步。由于两个传感器的数据采集频率不同，其中毫米波雷达的采集频率为20Hz，而摄像机的为10Hz，因此毫米波雷达与摄像机两者采集到的数据不是同一时刻的信息，造成了数据在时间上的偏差。本发明以采样频率低的摄像头数据为基准，采用多线程同步方式实现数据时间同步。在程序中创建雷达线程、摄像机线程和数据融合处理线程。其中雷达线程用来接收和处理雷达数据，摄像机线程用来接收和处理摄像机图像数据。当数据融合处理线程触发时，系统在雷达数据缓存队列中获取与图像数据同一时刻的雷达数据进行数据融合处理。毫米波雷达与机器视觉时间融合模型如图3所示。
毫米波雷达和机器视觉信息融合的数据处理：
雷达数据的筛选
由于毫米波雷达获取的所有信号中包含了一部分空目标信号、无效目标信号和静止目标信号。因此，要先对雷达探测到的目标信号进行预处理，滤除空目标信号、无效目标信号和静止目标信号。并且对于雷达探测到的原始目标，只保留在检测区域之内的目标信号，剔除检测区域以外的目标。
基于雷达目标的感兴趣区域动态规划
毫米波雷达以点的形式返回目标信号的位置，实际运用中需要根据该点的位置生成一个目标感兴趣区域。由于城市道路障碍物主要是行人和车辆，而人和车的实际尺寸可以根据先验知识获得。在图像中生成的感兴趣区域应能较好地包含人和车辆，综合二者实际尺寸，使用参考尺寸为高1.8m(一般行人高度)，宽1.65m(一般车辆宽度)的矩形框作为目标感兴趣区域。感兴趣区域生成方法具体描述如下：
雷达探测到某一目标距离为R，角度为α，根据前述假设其高度为1.8m,根据公式(1)和公式(2)可以得到该目标底点和顶点在图像中的坐标为：
其中，(Xp1，Yp1)为目标底点像素坐标，(Xp2，Yp2)为目标顶点像素坐标。
得到目标底点和顶点后，可知感兴趣区域的高度为|Yp2-Yp1|，于是可求得感兴趣区域参数如公式(4)所示。
其中，Rratio等于11/12，为矩形宽高比，(Rx，Ry)为感兴趣区域左上角顶点坐标，Rwidth为矩形宽度，Rheight为矩形高度。
实验发现，式(3)(4)设定的目标感兴趣区域并不完善。相对于人和车而言，感兴趣区域的左上角和右上角都是多余的区域，如图4a、4b所示。所以，去除这部分区域得到一种新的“凸”型区域，如图4c所示。
根据人的实际高度、宽度与车的实际高度、宽度的比例，该“凸”型区域具体参数选择如下：
在上述基于雷达目标的感兴趣区域求取过程中，由于加入了摄像机内外参数矩阵的引用，因此，感兴趣区域可以根据目标距离变化改变自身大小，能够较准确地在图像中框出包含目标的区域，具有较好的自适应性和稳定性。
基于机器视觉的运动目标检测
在规划雷达检测目标感兴趣区域的同时，还需利用图像处理方法检测障碍物，进而对比二者检测的结果，最终决策是否存在障碍物。
本发明所指障碍物大多具有运动特征，故采用图像差分法中的帧间差分法加以检测。首先，获取连续两帧图像，对其进行差分处理；对于差分后的二值图像，利用图像形态学运算进行增强，而后提取目标轮廓及轮廓质心，根据轮廓质心可拟合出一个基于机器视觉的矩形检测区域。
基于雷达与机器视觉融合的目标重合度计算
就同一帧图像而言，通过雷达可以得到目标感兴趣区域。同时，通过机器视觉也可以检测到目标矩形区域。对于重叠的区域，需要计算其重合度，即重合区域面积占目标感兴趣区域面积的百分比。重合度计算方法如公式(6)所示。
其中，RROI为目标感兴趣区域，即雷达检测区域，Rcamera为机器视觉检测区域，Rintersection为雷达检测区域与视觉检测区域重合的部分，c为重合度。
目标检测及分类：
雷达和机器视觉在检测障碍物的过程中存在各自的局限性，有时候会出现二者检测结果不一致的情况。例如，当目标距离超出毫米波雷达检测范围时，雷达无法检测到目标，而机器视觉仍然可以检测到目标。此时，认为该区域存在目标，由于目标距离较远，危险等级为二级。反之，机器视觉由于受天气、光照等因素影响，存在视觉未检测到目标，而雷达检测到目标的情况。此时，认为该区域存在目标，危险等级为一级。在某些场景中，这两种情况可能同时出现，某一目标只被机器视觉检测到，而另一目标只被雷达检测到，二者呈互补之势。
综合考虑两种传感器返回的信息，本发明提出的基于图像数据和雷达数据融合的检测分析流程如图5所示。
以下结合具体实施例对本发明作进一步说明。
毫米波雷达和摄像机的数据时空融合
本实施方式中首先采集不同位置，不同姿态下的标准棋盘图像，如图6所示。利用基于张正友标定原理的标定程序即可计算出摄像头内、外部参数。
摄像机参数获取如下：
内参数矩阵为：
外参数矩阵：
摄像机参数代入公式(2)即可将雷达坐标转换为图像坐标，实现雷达目标位置图像中的投影，如图7所示。
毫米波雷达与摄像机数据的时间融合是指两者在时间上的同步。由于两个传感器的数据采集频率不同，其中毫米波雷达的采集频率为20Hz，而摄像机的为10Hz，因此毫米波雷达与摄像机两者采集到的数据不是同一时刻的信息，造成了数据在时间上的偏差。本实施例以采样频率低的摄像头数据为基准，采用多线程同步方式实现数据时间同步。在如第100ms、200ms等时间节点，当每次摄像机接收图像帧时，获取对应图像当前时间的雷达数据，如图8所示。
毫米波雷达和机器视觉信息融合的数据处理
雷达数据的筛选
将雷达探测到的所有目标信号对应到图像上，生成包含雷达目标信号的图像，如图9a图所示。对毫米波雷达获取的所有信号进行预处理中，去掉其中包含的一部分空目标信号、无效目标信号和静止目标信号，只保留在检测区域之内的目标信号，剔除检测区域以外的目标。筛选出的最终潜在目标如图9b所示。
基于雷达目标的感兴趣区域动态规划
达探测到某一目标距离R为35.4米，角度α为-0.2度(雷达正前方左侧为负)，根据前述假设其高度为1.8m，如图10a所示。
根据公式(3)可以得到该目标底点在图像中的坐标(Xp1，Yp1)为(886，679)，目标顶点像素坐标(Xp2，Yp2)为(886，247)。得到目标底点和顶点后，可知感兴趣区域的高度为432，根据公式(4)可求得矩形感兴趣区域参数：感兴趣区域左上角顶点坐标(Rx，Ry)为(688，247)，矩形宽度为Rwidth为395，矩形高度为Rheight为432，如图10b所示。再根据公式(5)求得“凸”型感兴趣区域如图10c所示，其中w为132，h为72。
雷达目标感兴趣区域规划
基于机器视觉的运动目标检测
帧间差分法简单快捷，只对运动物体敏感，适应性较好，本发明采用该方法提取图像中的运动区域。获取连续两帧图像，如图11a、11b所示，差分后的二值图像如11c所示，再通过图像形态学运算增强后提取目标轮廓如11d所示，最后提取轮廓质心，拟合成一个基于机器视觉的矩形框如11e所示。
基于雷达与机器视觉融合的目标重合度计算
分别对行人和车辆在不同的距离处进行多组试验，如图12所示，其中凸型区域为雷达检测的目标区域，矩形区域为视觉检测的目标区域。
根据公式(6)计算目标重合度，结果如表1所示。
表1 基于“凸”型区域的雷达与机器视觉检测区域重合度计算结果
人/％ 车/％
40m 31.4±3 77.6±8
50m 30.9±3 75.8±8
60m 30.2±4 72.9±7
70m 29.9±3 70.0±6
80m 28.3±3 65.3±8
90m 27.5±3 64.7±7
100m 26.1±4 61.7±9
目标检测及分类
雷达和机器视觉在检测障碍物的过程中，都有各自的局限性，有时候会出现二者检测结果不一致的情况，如图13所示，其中凸13a为雷达检测到的目标区域，13b为视觉检测的目标区域，13c为二者结合。该场景下，左侧行人由于距离太远，雷达未检测到，而机器视觉检测到该区域发生了变化；右侧车辆由于车身颜色与背景较接近，机器视觉未能检测到变化，而雷达检测到了该目标。在这种场景中，根据图5所示流程对目标进行检测不会造成目标遗漏，体现出极强的优势。
雷达与机器视觉分别检测到目标(无重合度情况)
分别对人和车为目标进行检测，各获取50帧融合数据，计算各自检测区域重合度如图14所示。
车辆和行人检测区域重合度分布
凸14中上下两条折线分别为车和人的检测区域重合度折线图，由图14可以看出，车辆检测区域重合度在70％上下浮动，而行人检测区域重合度大部分在30％上下浮动，二者具有显著的差异，可以以此来区分车辆和行人。
由上述技术方案可以看出，本发明提出了一种毫米波雷达和机器视觉信息融合的方法来检测障碍物，先通过时间同步获取同一时刻的雷达数据和摄像机图像帧数据，再通过坐标转换将雷达探测到的障碍物位置信息投影到图像中，生成感兴趣区域。采用帧差法检测图像中的运动物体，最后计算目标区域重合度，以此来区分行人和车辆及其他情况。实验结果表明，该方法不仅能联合毫米波雷达和机器视觉信息较好地检测障碍物，降低目标漏检概率，并且可实现目标类型的初步分类。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (6)

1.一种基于多传感器信息融合的障碍物检测方法，其特征在于，所述方法包括：
S1、获取毫米波雷达探测到的雷达数据和机器视觉探测到的图像数据，并对雷达数据和图像数据进行空间融合和时间融合；
S2、基于毫米波雷达进行目标检测，筛选雷达数据，并根据毫米波雷达返回目标信号的位置动态规划感兴趣区域；
S3、基于机器视觉进行运动目标检测，并计算毫米波雷达与机器视觉融合的目标重合度；
S4、根据毫米波雷达和机器视觉的运动目标检测结果检测、追踪障碍物目标；
所述步骤S2中的“感兴趣区域”为矩型区域内的“凸”型区域，矩形区域为：
其中，Rratio为矩形宽高比，(Rx，Ry)为感兴趣区域左上角顶点坐标，Rwidth为矩形宽度，Rheight为矩形高度，(Xp1，Yp1)为目标底点像素坐标，(Xp2，Yp2)为目标顶点像素坐标
矩型区域内的“凸”型区域为：
其中，w为“凸”型区域的凸出部的宽度，h为“凸”型区域的凸出部高度；
所述步骤S3中毫米波雷达与机器视觉融合的目标重合度为：
其中，RROI为目标感兴趣区域，即雷达检测区域，Rcamera为机器视觉检测区域，Rintersection为雷达检测区域与视觉检测区域重合的部分，c为重合度。
2.根据权利要求1所述的基于多传感器信息融合的障碍物检测方法，其特征在于，所述步骤S1中的空间融合具体为：
雷达坐标系与世界坐标系的转换关系为：
其中，H为世界坐标系原点距地面高度，l和L分别为Ow与Or在Xr方向和Zr方向的偏移量；
根据雷达与摄像头的位置关系条件得出世界坐标系与图像坐标系的转换关系为：
其中，(Xp，Yp)为图像坐标系中投影点的坐标；dx、dy分别为每一个像素在x轴与y轴方向上的物理尺寸；(Xp0，Yp0)是摄像机主点偏移量；f为摄像机焦距；R是摄像机外部参数旋转矩阵；t为摄像机外部参数平移向量；M称为投影矩阵；
摄像机参数获取后，将雷达坐标转换为图像坐标，实现雷达目标位置在图像中的投影。
3.根据权利要求1所述的基于多传感器信息融合的障碍物检测方法，其特征在于，所述步骤S1中的时间融合具体为：
创建雷达线程，采集当前时刻雷达数据并加入缓存队列；
创建摄像机线程，采集当前时刻图像数据；
创建数据融合处理线程，在雷达数据缓存队列中获取与图像数据同一时刻的雷达数据进行数据融合处理。
4.根据权利要求1所述的基于多传感器信息融合的障碍物检测方法，其特征在于，所述步骤S2中“筛选雷达数据”包括：
对雷达数据进行预处理，滤除空目标信号、无效目标信号和静止目标信号；
对于雷达探测到的原始目标，只保留在检测区域之内的目标信号，剔除检测区域以外的目标。
5.根据权利要求1所述的基于多传感器信息融合的障碍物检测方法，其特征在于，所述步骤S3中“基于机器视觉进行运动目标检测”具体为：
利用图像处理方法检测障碍物，进而对比二者检测的结果，最终决策是否存在障碍物。
6.根据权利要求1所述的基于多传感器信息融合的障碍物检测方法，其特征在于，所述步骤S4具体为：
判断雷达检测区域和机器视觉检测区域有无重合；
若雷达检测区域和机器视觉检测区域无重合，当只有机器视觉检测到目标，进行二级危险报警，当只有雷达检测到目标，进行一级危险报警；
雷达检测区域和机器视觉检测区域有重合，计算重合度，并进行一级危险报警。
CN201710100068.0A 2017-02-23 2017-02-23 基于多传感器信息融合的障碍物检测方法 Active CN106908783B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710100068.0A CN106908783B (zh) 2017-02-23 2017-02-23 基于多传感器信息融合的障碍物检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710100068.0A CN106908783B (zh) 2017-02-23 2017-02-23 基于多传感器信息融合的障碍物检测方法

Publications (2)

Publication Number Publication Date
CN106908783A CN106908783A (zh) 2017-06-30
CN106908783B true CN106908783B (zh) 2019-10-01

Family

ID=59208081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710100068.0A Active CN106908783B (zh) 2017-02-23 2017-02-23 基于多传感器信息融合的障碍物检测方法

Country Status (1)

Country Link
CN (1) CN106908783B (zh)

Families Citing this family (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113466822B (zh) * 2017-07-04 2024-06-25 百度在线网络技术（北京）有限公司 用于检测障碍物的方法和装置
CN107590433A (zh) * 2017-08-04 2018-01-16 湖南星云智能科技有限公司 一种基于毫米波雷达和车载摄像头的行人检测方法
CN107609522B (zh) * 2017-09-19 2021-04-13 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测系统
US20190120934A1 (en) * 2017-10-19 2019-04-25 GM Global Technology Operations LLC Three-dimensional alignment of radar and camera sensors
CN107862287A (zh) * 2017-11-08 2018-03-30 吉林大学 一种前方小区域物体识别及车辆预警方法
CN107966700A (zh) * 2017-11-20 2018-04-27 天津大学 一种用于无人驾驶汽车的前方障碍物检测系统及方法
CN107991671A (zh) * 2017-11-23 2018-05-04 浙江东车智能科技有限公司 一种基于雷达数据和视频信号融合识别危险目标的方法
EP3737968A1 (en) * 2018-01-11 2020-11-18 Apple Inc. Architecture for vehicle automation and fail operational automation
CN108509972A (zh) * 2018-01-16 2018-09-07 天津大学 一种基于毫米波和激光雷达的障碍物特征提取方法
CN108319910B (zh) * 2018-01-30 2021-11-16 海信集团有限公司 一种车辆识别方法、装置及终端
CN108319982A (zh) * 2018-02-06 2018-07-24 贵州电网有限责任公司 一种电力巡线无人机多传感器数据融合障碍物检测方法
US11435752B2 (en) 2018-03-23 2022-09-06 Motional Ad Llc Data fusion system for a vehicle equipped with unsynchronized perception sensors
JP7190820B2 (ja) * 2018-04-02 2022-12-16 パナソニックホールディングス株式会社 侵入検知システムおよび侵入検知方法
JP7092540B2 (ja) 2018-04-04 2022-06-28 パナソニックホールディングス株式会社 交通監視システムおよび交通監視方法
CN108647579B (zh) * 2018-04-12 2022-02-25 海信集团有限公司 一种障碍物检测方法、装置及终端
CN108764108A (zh) * 2018-05-22 2018-11-06 湖北省专用汽车研究院 一种基于贝叶斯统计决策的前车检测方法
CN108847026A (zh) * 2018-05-31 2018-11-20 安徽四创电子股份有限公司 一种基于矩阵坐标转换实现数据叠加显示的方法
CN109035759B (zh) * 2018-06-13 2021-02-02 重庆邮电大学 一种护栏检测评估方法
CN109002800A (zh) * 2018-07-20 2018-12-14 苏州索亚机器人技术有限公司 基于多传感器融合的三维目标实时识别机构及识别方法
CN109143241A (zh) * 2018-07-26 2019-01-04 清华大学苏州汽车研究院（吴江） 雷达数据和图像数据的融合方法及系统
CN110969058B (zh) * 2018-09-30 2023-05-05 毫末智行科技有限公司 用于环境目标的融合方法及装置
CN112889070A (zh) * 2018-10-11 2021-06-01 宝马股份公司 用于训练道路模型的快照图像
WO2020073271A1 (en) * 2018-10-11 2020-04-16 Bayerische Motoren Werke Aktiengesellschaft Snapshot image of traffic scenario
CN109581345A (zh) * 2018-11-28 2019-04-05 深圳大学 基于毫米波雷达的目标检测与跟踪方法及系统
US11899099B2 (en) * 2018-11-30 2024-02-13 Qualcomm Incorporated Early fusion of camera and radar frames
CN111257866B (zh) * 2018-11-30 2022-02-11 杭州海康威视数字技术股份有限公司 车载摄像头和车载雷达联动的目标检测方法、装置及系统
CN109738904A (zh) * 2018-12-11 2019-05-10 北京百度网讯科技有限公司 一种障碍物检测的方法、装置、设备和计算机存储介质
FR3089671B1 (fr) * 2018-12-11 2020-11-06 Psa Automobiles Sa Procédé de détermination d’une valeur courante d’un paramètre d’occupation relatif à une portion d’un espace situé à proximité d’un véhicule terrestre à moteur
CN109444985B (zh) * 2018-12-14 2024-04-26 华诺星空技术股份有限公司 多传感融合的便携式隐匿物成像探测系统
CN111353510B (zh) * 2018-12-20 2023-07-18 长沙智能驾驶研究院有限公司 多传感器目标检测方法、装置、计算机设备和存储介质
CN111382768B (zh) 2018-12-29 2023-11-14 华为技术有限公司 多传感器数据融合方法和装置
CN109829386B (zh) * 2019-01-04 2020-12-11 清华大学 基于多源信息融合的智能车辆可通行区域检测方法
CN109814113B (zh) * 2019-01-15 2022-02-25 北京百度网讯科技有限公司 一种超声波雷达障碍物检测结果处理方法及系统
CN109816702A (zh) * 2019-01-18 2019-05-28 苏州矽典微智能科技有限公司 一种多目标跟踪装置和方法
CN109835441B (zh) * 2019-02-25 2020-07-03 浙江科技学院 水质监测智能小船的自动驾驶方法及其系统
CN109849790A (zh) * 2019-03-06 2019-06-07 武汉理工大学 一种多源信息融合的夜间行车场景视觉增强系统及方法
CN109885056A (zh) * 2019-03-07 2019-06-14 格陆博科技有限公司 一种基于单目摄像头和毫米波雷达融合的多场景挑选方法
CN110045365B (zh) * 2019-03-26 2023-03-14 西北工业大学 一种基于雷达信息的图像目标定位方法
CN113811788A (zh) * 2019-05-14 2021-12-17 三菱电机株式会社 车载用物体检测系统
CN110091875A (zh) * 2019-05-14 2019-08-06 长沙理工大学 基于物联网的深度学习型智能驾驶环境感知系统
CN110111018B (zh) * 2019-05-16 2023-07-28 北京百度网讯科技有限公司 评估车辆感测能力的方法、装置、电子设备及存储介质
CN110113581B (zh) * 2019-06-13 2020-11-06 重庆人为本科技发展有限公司 一种智慧城市监控系统及方法
CN110309741B (zh) * 2019-06-19 2022-03-08 百度在线网络技术（北京）有限公司 障碍物检测方法及装置
CN112208529B (zh) * 2019-07-09 2022-08-02 毫末智行科技有限公司 用于目标检测的感知系统、驾驶辅助方法和无人驾驶设备
CN110379178B (zh) * 2019-07-25 2021-11-02 电子科技大学 基于毫米波雷达成像的无人驾驶汽车智能泊车方法
CN110532896B (zh) * 2019-08-06 2022-04-08 北京航空航天大学 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法
CN112339768B (zh) * 2019-08-09 2021-12-17 顺丰科技有限公司 车辆底盘控制方法、装置以及存储介质
CN112526520A (zh) * 2019-08-29 2021-03-19 中车株洲电力机车研究所有限公司 一种行人及障碍物提示系统
CN112447058B (zh) * 2019-09-03 2022-09-06 比亚迪股份有限公司 泊车方法、装置、计算机设备及存储介质
CN110501699A (zh) * 2019-09-09 2019-11-26 中车南京浦镇车辆有限公司 一种屏蔽门与车体间的障碍物检测系统及检测方法
CN110568433A (zh) * 2019-09-09 2019-12-13 郑州天迈科技股份有限公司 基于毫米波雷达的高空抛物检测方法
CN110687929B (zh) * 2019-10-10 2022-08-12 辽宁科技大学 基于单目视觉与运动想象的飞行器三维空间目标搜索系统
CN110794397B (zh) * 2019-10-18 2022-05-24 北京全路通信信号研究设计院集团有限公司 一种基于相机和雷达的目标检测方法及系统
CN110794405B (zh) * 2019-10-18 2022-06-10 北京全路通信信号研究设计院集团有限公司 一种基于相机和雷达融合的目标检测方法及系统
CN110849331B (zh) * 2019-11-04 2021-10-29 上海航天控制技术研究所 基于三维点云数据库模型的单目视觉测量与地面试验方法
CN110850413A (zh) * 2019-11-26 2020-02-28 奇瑞汽车股份有限公司 一种汽车前方障碍物检测方法和系统
CN111028544A (zh) * 2019-12-06 2020-04-17 无锡物联网创新中心有限公司 一种v2v技术和车载多传感器融合的行人预警系统
CN111222568B (zh) * 2020-01-03 2024-06-11 北京汽车集团有限公司 一种车辆网联数据融合方法及装置
CN111368706B (zh) * 2020-03-02 2023-04-18 南京航空航天大学 基于毫米波雷达和机器视觉的数据融合动态车辆检测方法
CN111427038A (zh) * 2020-03-23 2020-07-17 厦门大学 车库环境下基于视觉与77GHz雷达的目标识别方法
CN111409070B (zh) * 2020-03-25 2021-07-30 上海高仙自动化科技发展有限公司 检测方法及装置、智能机器人及存储介质
CN111427355B (zh) * 2020-04-13 2023-05-02 京东科技信息技术有限公司 障碍物数据处理方法、装置、设备及存储介质
CN111505624B (zh) * 2020-04-30 2022-07-01 中国汽车工程研究院股份有限公司 一种基于机器视觉和毫米波雷达数据融合的环境感知方法
CN111352112B (zh) * 2020-05-08 2022-11-29 泉州装备制造研究所 基于视觉、激光雷达和毫米波雷达的目标检测方法
CN111611906B (zh) * 2020-05-18 2024-09-24 北京茵沃汽车科技有限公司 一种用于自动泊车的障碍物检测方法、系统及介质
CN113734207B (zh) * 2020-05-29 2023-06-13 比亚迪股份有限公司 车辆安全防护系统、方法及车辆
CN111797741A (zh) * 2020-06-24 2020-10-20 中国第一汽车股份有限公司 车辆检测方法、装置、车辆和存储介质
CN111959526B (zh) * 2020-06-30 2022-02-15 北京百度网讯科技有限公司 基于无人车的控制方法、装置、无人车和电子设备
CN111953934B (zh) * 2020-07-03 2022-06-10 北京航空航天大学杭州创新研究院 目标标示方法及装置
CN114167443A (zh) * 2020-08-19 2022-03-11 北京万集科技股份有限公司 信息补全方法、装置、计算机设备和存储介质
CN114076937A (zh) * 2020-08-20 2022-02-22 北京万集科技股份有限公司 激光雷达与相机联合标定方法和装置、服务器、计算机可读存储介质
CN112083441B (zh) * 2020-09-10 2023-04-21 湖南大学 激光雷达和毫米波雷达深度融合的障碍物检测方法及系统
CN114167404A (zh) * 2020-09-11 2022-03-11 华为技术有限公司 目标跟踪方法及装置
CN112033429B (zh) * 2020-09-14 2022-07-19 吉林大学 一种智能汽车的目标级多传感器融合方法
CN112200087B (zh) * 2020-10-10 2023-04-07 北京理工大学 一种用于车辆碰撞预警的障碍物图像自动标定装置
CN112233097B (zh) * 2020-10-19 2022-10-28 中国科学技术大学 基于空时域多维融合的道路场景他车检测系统和方法
CN112528771A (zh) * 2020-11-27 2021-03-19 深兰科技（上海）有限公司 障碍物检测方法、装置、电子设备及存储介质
CN112464812B (zh) * 2020-11-27 2023-11-24 西北工业大学 一种基于车辆的凹陷类障碍物检测方法
CN112766302B (zh) * 2020-12-17 2024-03-29 浙江大华技术股份有限公司 一种图像融合方法、装置、存储介质及电子装置
CN112684430A (zh) * 2020-12-23 2021-04-20 哈尔滨工业大学（威海） 一种室内老人行走健康检测方法、系统、存储介质、终端
WO2022135594A1 (zh) * 2020-12-25 2022-06-30 北京灵汐科技有限公司 目标物体的检测方法及装置、融合处理单元、介质
CN112622893A (zh) * 2020-12-25 2021-04-09 北京理工大学前沿技术研究院 一种多传感器融合的靶车自动驾驶避障方法及系统
CN112666550B (zh) * 2020-12-25 2024-01-16 北京灵汐科技有限公司 运动物体检测方法及装置、融合处理单元、介质
CN112835030A (zh) * 2020-12-30 2021-05-25 深圳承泰科技有限公司 一种障碍物目标的数据融合方法、装置及智能汽车
CN112883843B (zh) * 2021-02-02 2022-06-03 清华大学 驾驶员视觉显著区域检测方法、装置和计算机设备
CN112906777A (zh) * 2021-02-05 2021-06-04 北京邮电大学 目标检测方法、装置、电子设备及存储介质
CN113012469A (zh) * 2021-03-16 2021-06-22 浙江亚太机电股份有限公司 一种基于目标识别的智能交通预警系统
CN112801928B (zh) * 2021-03-16 2022-11-29 昆明理工大学 一种基于注意力机制的毫米波雷达与视觉传感器融合方法
CN112857360B (zh) * 2021-03-22 2022-06-17 哈尔滨工程大学 一种船舶航行多信息融合方法
CN113156421A (zh) * 2021-04-07 2021-07-23 南京邮电大学 基于毫米波雷达和摄像头信息融合的障碍物检测方法
CN113011380A (zh) * 2021-04-09 2021-06-22 同济大学 一种毫米波雷达视觉前置融合装置及目标识别方法
CN113111773A (zh) * 2021-04-10 2021-07-13 山东沂蒙交通发展集团有限公司 一种基于深度学习的路面障碍物智能识别设备
CN113570622A (zh) * 2021-07-26 2021-10-29 北京全路通信信号研究设计院集团有限公司 一种障碍物确定方法、装置、电子设备以及存储介质
CN114037972B (zh) * 2021-10-08 2024-08-13 岚图汽车科技有限公司 目标检测方法、装置、设备及可读存储介质
CN114137513A (zh) * 2021-11-30 2022-03-04 联陆智能交通科技(上海)有限公司 视觉辅助毫米波雷达进行目标检测装置、方法及系统
CN114419098A (zh) * 2022-01-18 2022-04-29 长沙慧联智能科技有限公司 基于视觉变换的运动目标轨迹预测方法及装置
CN114998790B (zh) * 2022-05-26 2024-09-24 武汉大学 一种基于毫米波雷达和机器视觉的路侧绿化监控方法
CN115346368B (zh) * 2022-07-30 2024-01-05 东南大学 一种基于远、近景多传感器一体融合的交通路侧感知系统及方法
CN116755081A (zh) * 2023-05-25 2023-09-15 东风柳州汽车有限公司 视觉与雷达融合的目标检测技术
CN117011830B (zh) * 2023-08-16 2024-04-26 微牌科技(浙江)有限公司 图像识别方法、装置、计算机设备、存储介质
CN118604817A (zh) * 2024-08-08 2024-09-06 华南师范大学 基于对象成像的多模态融合的桥梁防撞检测方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3230642B2 (ja) * 1995-05-29 2001-11-19 ダイハツ工業株式会社 先行車検出装置
CN202163431U (zh) * 2011-06-30 2012-03-14 中国汽车技术研究中心 基于多传感器信息融合的碰撞及偏离预警装置
CN104637059A (zh) * 2015-02-09 2015-05-20 吉林大学 基于毫米波雷达和机器视觉的夜间前方车辆检测方法
KR20160013736A (ko) * 2014-07-28 2016-02-05 현대모비스 주식회사 자동차의 통합센서 시스템
CN105574542A (zh) * 2015-12-15 2016-05-11 中国北方车辆研究所 基于多传感器融合的多视觉特征车辆检测方法
CN105893931A (zh) * 2015-02-16 2016-08-24 松下知识产权经营株式会社 物体检测装置和物体检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3230642B2 (ja) * 1995-05-29 2001-11-19 ダイハツ工業株式会社 先行車検出装置
CN202163431U (zh) * 2011-06-30 2012-03-14 中国汽车技术研究中心 基于多传感器信息融合的碰撞及偏离预警装置
KR20160013736A (ko) * 2014-07-28 2016-02-05 현대모비스 주식회사 자동차의 통합센서 시스템
CN104637059A (zh) * 2015-02-09 2015-05-20 吉林大学 基于毫米波雷达和机器视觉的夜间前方车辆检测方法
CN105893931A (zh) * 2015-02-16 2016-08-24 松下知识产权经营株式会社 物体检测装置和物体检测方法
CN105574542A (zh) * 2015-12-15 2016-05-11 中国北方车辆研究所 基于多传感器融合的多视觉特征车辆检测方法

Also Published As

Publication number Publication date
CN106908783A (zh) 2017-06-30

Similar Documents

Publication Publication Date Title
CN106908783B (zh) 基于多传感器信息融合的障碍物检测方法
CN107161141B (zh) 无人驾驶汽车系统及汽车
US11915470B2 (en) Target detection method based on fusion of vision, lidar, and millimeter wave radar
CN110065494B (zh) 一种基于车轮检测的车辆防碰撞方法
EP2993654B1 (en) Method and system for forward collision warning
US9064418B2 (en) Vehicle-mounted environment recognition apparatus and vehicle-mounted environment recognition system
JP3822515B2 (ja) 障害物検知装置及びその方法
CN108509972A (zh) 一种基于毫米波和激光雷达的障碍物特征提取方法
US20180068191A1 (en) Vehicle sensing system for detecting turn signal indicators
CN110077399A (zh) 一种基于道路标线、车轮检测融合的车辆防碰撞方法
CN113850102B (zh) 基于毫米波雷达辅助的车载视觉检测方法及系统
CN107031623A (zh) 一种基于车载盲区相机的道路预警方法
CN107886034B (zh) 行车提醒方法、装置及车辆
CN102792314A (zh) 交叉通行碰撞警报系统
US10853963B2 (en) Object detection device, device control system, and medium
JP2006184276A (ja) 視覚検知による全天候障害物衝突防止装置とその方法
CN111461088A (zh) 一种基于图像处理与目标识别的轨道交通避障系统
CN114898296A (zh) 基于毫米波雷达与视觉融合的公交车道占用检测方法
CN114118252A (zh) 一种基于传感器多元信息融合的车辆检测方法及检测装置
CN114415171A (zh) 一种基于4d毫米波雷达的汽车可行驶区域检测方法
Ponsa et al. On-board image-based vehicle detection and tracking
Yoneda et al. Simultaneous state recognition for multiple traffic signals on urban road
Nitsch et al. 3d ground point classification for automotive scenarios
Wang et al. An auxiliary parking method based on automotive millimeter wave SAR
CN114084129A (zh) 一种基于融合的车辆自动驾驶控制方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant