CN109541583B - 一种前车距离检测方法及系统 - Google Patents

一种前车距离检测方法及系统 Download PDF

Info

Publication number
CN109541583B
CN109541583B CN201811359075.3A CN201811359075A CN109541583B CN 109541583 B CN109541583 B CN 109541583B CN 201811359075 A CN201811359075 A CN 201811359075A CN 109541583 B CN109541583 B CN 109541583B
Authority
CN
China
Prior art keywords
vehicle
target
distance
frame
vehicles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811359075.3A
Other languages
English (en)
Other versions
CN109541583A (zh
Inventor
徐宝函
姜程程
周元笙
徐如均
陆璐
梅鵾
钱浩然
谢畅
王恒
孙谷飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zhongan Information Technology Service Co ltd
Original Assignee
Zhongan Information Technology Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongan Information Technology Service Co Ltd filed Critical Zhongan Information Technology Service Co Ltd
Priority to CN201811359075.3A priority Critical patent/CN109541583B/zh
Publication of CN109541583A publication Critical patent/CN109541583A/zh
Priority to SG11202010955SA priority patent/SG11202010955SA/en
Priority to JP2019563448A priority patent/JP6851505B2/ja
Priority to PCT/CN2019/095980 priority patent/WO2020098297A1/zh
Application granted granted Critical
Publication of CN109541583B publication Critical patent/CN109541583B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种前车距离检测方法及系统，解决了现有技术中的车距检测预警技术在测距精度和定位准确度上不能够同时兼得的问题。该方法包括：采集本车前方视角的RGB图像和深度图像；基于RGB图像识别其中的全部车辆，提取各车辆对应的宽高数据；建立坐标系，提取RGB图像中各车辆左上角对应的横纵坐标，将其与对应车辆的宽高数据匹配后绘制各车辆的约束框；基于各车辆的约束框面积和目标区域框面积，对应计算各车辆与目标区域的交并比，以及基于各车辆的宽高数据、约束框的中心点坐标和靶点坐标，对应计算各车辆与目标区域框的归一化距离；从各车辆对应的交并比和归一化距离数据中筛选锁定前车目标车辆，并结合深度图像得到前车目标车辆车距。

Description

一种前车距离检测方法及系统
技术领域
本发明涉及距离检测技术领域，尤其涉及一种前车距离检测方法及系统。
背景技术
随着经济的发展汽车的保有量也随之逐年增加，安全驾驶已成为一个不可忽视的问题，经统计分析汽车追尾事故占交通总事故的比例居高不下，而为了减少汽车追尾事故的发生，车距检测预警技术应运而生，其检测预警的原理是当车距过近触碰阈值时会对驾驶员进行碰撞提醒或者自动采取制动措施，以减少追尾事故的发生。
常用的车距检测预警技术包括两类，第一种为基于普通摄像头的视觉解决方案先进行目标识别，然后根据单目或双目测距算法得到前车距离并预警；第二种是通过毫米波雷达向前方区域发送电磁波并接收回波以测得前方物体的距离、速度和角度，得到前车距离并预警，这两种预警技术各有优劣，基于普通摄像头的解决方案成本较低，可以精准识别前车在视野中的位置，提供了更多的语义信息，但视觉解决方案的测距距离和测距精度远不如毫米波雷达，与之相反，毫米波雷达虽然测距精度高，但视野相对较窄，也不能返回任何语义信息，在二维空间中难以准确识别前车位置。可见，采用上述车距检测预警技术在测距精度和定位准确度上不能够同时兼得，已不能够满足日益发展的汽车技术的需要。
发明内容
本发明的目的在于提供一种前车距离检测方法及系统，解决了现有技术中的车距检测预警技术在测距精度和定位准确度上不能够同时兼得的问题。
为了实现上述目的，本发明的一方面提供一种前车距离检测方法，包括：
采集本车前方视角的RGB图像和深度图像；
基于RGB图像识别其中的全部车辆，提取各车辆对应的宽高数据；
建立坐标系，提取RGB图像中各车辆左上角对应的横纵坐标，将其与对应车辆的宽高数据匹配后绘制各车辆的约束框；
在RGB图像中预设一目标区域框，并在目标区域框中选择一固定点作为靶点；
基于各车辆的约束框面积和目标区域框面积，对应计算各车辆与目标区域的交并比，以及基于各车辆的宽高数据、约束框的中心点坐标和靶点坐标，对应计算各车辆与目标区域框的归一化距离；
从各车辆对应的交并比和归一化距离数据中筛选锁定前车目标车辆，并结合深度图像得到前车目标车辆车距。
可选地，采集本车前方视角的RGB图像和深度图像的方法包括：
利用安装在本车车头的深度摄像头同时采集前方视角的RGB图像和深度图像；或者，
利用安装在本车车头的2D摄像头采集前方视角的RGB图像，以及利用安装在本车车头的毫米波雷达/距离传感器采集前方视角的深度图像。
优选地，提取RGB图像中各车辆左上角对应的横纵坐标，将其与对应车辆的宽高数据匹配后绘制各车辆的约束框的方法包括：
以深度摄像头或者2D摄像头为原点在RGB图像中构建虚拟坐标系；
基于虚拟坐标系提取RGB图像中各车辆的左上角点坐标，并根据获取到对应车辆的宽高数据，在RGB图像中绘制包括所述车辆的矩形约束框。
较佳地，在RGB图像中预设一目标区域框，并在目标区域框中选择一固定点作为靶点的方法包括：
从RGB图像中选取深度摄像头或者2D摄像头的正前方梯形区域作为目标区域框；
选取目标区域框的中心点定义为靶点。
优选地，基于各车辆的约束框面积和目标区域框面积，对应计算各车辆与目标区域的交并比的方法为：
采用交并比公式
Figure BDA0001866828240000031
计算各车辆与目标区域的交并比IOU，其中，Car表示车辆的约束框面积，ROI表示目标区域框面积。
优选地，基于各车辆的宽高数据、约束框的中心点坐标和靶点坐标，对应计算各车辆与目标区域框的归一化距离的方法包括：
采用归一化距离公式
Figure BDA0001866828240000032
计算各车辆与目标区域框的归一化距离；
其中Car.x表示约束框的中心点的横坐标值，Car.y表示约束框的中心点的纵坐标值，Target.x表示靶点的横坐标值，Target.y表示靶点的纵坐标值，Car.width表示对应车辆的宽数据，Car.height表示对应车辆的高数据。
优选地，从各车辆对应的交并比和归一化距离数据中，筛选锁定前车目标车辆，并结合深度图像得到前车目标车辆车距的方法包括：
分别统计RGB图像中各车辆对应的交并比IOU和归一化距离Dist_norm；
从RGB图像中筛选第一目标车辆集合大于高通阈值或者归一化距离Dist_norm小于距离阈值的车辆，得到第一目标车辆集合；
从第一目标车辆集合中筛选出交并比IOU大于低通阈值的车辆，得到第二目标车辆集合；
从第二目标车辆集合中筛选出交并比IOU值最大的车辆输出为前车目标车辆，同时从深度图像中提取该车辆对应的车距输出为前车目标车辆车距。
进一步地，在筛选锁定前车目标车辆，并结合深度图像得到前车目标车辆车距之后还包括：
对输出的前车目标车辆依次进行中值滤波和异常窗口检测处理，去除误检漏检噪声；
对输出的前车目标车辆的车距进行卡尔曼滤波去除，输出优化后的前车目标车辆车距。
与现有技术相比，本发明提供的前车距离检测方法具有以下有益效果：
本发明提供的前车距离检测方法中，通过安装在本车车头的图像采集单元实时采集本车前方视角的RGB图像和深度图像，其中，RGB图像中包括当前视角拍摄的所有车辆，深度图像能够提取RGB图像中各车辆与本车的车距信息，接着采用车辆检测算法识别RGB图像中的全部车辆，并对应提取各车辆的宽高数据，然后通过建立坐标系，定位RGB图像中各车辆左上角对应的横纵坐标，并将其与对应车辆的宽高数据匹配后在RGB图像中绘制各车辆的约束框，另外，RGB图像中本身预设有目标区域框，且目标区域框中筛选一固定点作为靶点，其中，目标区域框的设定一般选在本车的正前方，表示前车可能出现的区域，靶点则代表前车约束框中心点出现的期望位置，之后，对上述获取的数据进行特征计算，即基于各车辆的约束框面积和目标区域框面积，对应计算各车辆与目标区域的交并比，以及基于各车辆的宽高数据、约束框的中心点坐标和靶点坐标，对应计算各车辆与目标区域框的归一化距离，统计分析后采用无监督前车筛选算法锁定前车目标车辆，并结合深度图像得到前车目标车辆车距。
可见，采用本发明提供的前车距离检测方法，采用的是RGB图像和深度图像相结合的方式能够准确定位RGB图像中各车辆的位置和距离，解决了现有技术中的车距检测预警技术在测距精度和定位准确度上不能够同时兼得的问题，另外，基于各车辆的交并比和归一化距离采用无监督前车筛选算法锁定前车目标车辆，同时结合深度图像输出前车目标车辆车距，实现了对前车距离的精准、快速检测。
本发明的另一方面提供一种前车距离检测系统，应用于上述技术方案所述的前车距离检测方法中，所述系统包括：
图像采集单元，用于采集本车前方视角的RGB图像和深度图像；
图像识别单元，用于基于RGB图像识别其中的全部车辆，提取各车辆对应的宽高数据；
约束框生成单元，用于建立坐标系，提取RGB图像中各车辆左上角对应的横纵坐标，将其与对应车辆的宽高数据匹配后绘制各车辆的约束框；
目标区域选定单元，用于在RGB图像中预设一目标区域框，并在目标区域框中选择一固定点作为靶点；
特征计算单元，用于基于各车辆的约束框面积和目标区域框面积，对应计算各车辆与目标区域的交并比，以及基于各车辆的宽高数据、约束框的中心点坐标和靶点坐标，对应计算各车辆与目标区域框的归一化距离；
筛选输出单元，用于从各车辆对应的交并比和归一化距离数据中筛选锁定前车目标车辆，并结合深度图像得到前车目标车辆车距。
优选地，还包括运动滤波单元；
所述运动滤波单元用于对输出的前车目标车辆依次进行中值滤波和异常窗口检测处理，去除误检漏检噪声；以及，
用于对输出的前车目标车辆的车距进行卡尔曼滤波去除，输出优化后的前车目标车辆车距。
与现有技术相比，本发明提供的前车距离检测系统的有益效果与上述技术方案提供的前车距离检测方法的有益效果相同，在此不做赘述。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例一中前车距离检测方法的流程示意图；
图2为本发明实施例二中前车距离检测系统的结构框图。
附图标记：
1-图像采集单元， 2-图像识别单元；
3-约束框生成单元， 4-目标区域选定单元；
5-特征计算单元， 6-筛选输出单元；
7-运动滤波单元。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，均属于本发明保护的范围。
实施例一
图1为本发明实施例一中前车距离检测方法的流程示意图。请参阅图1，本实施例提供一种前车距离检测方法，包括：
采集本车前方视角的RGB图像和深度图像；基于RGB图像识别其中的全部车辆，提取各车辆在图像中对应的宽高数据；建立坐标系，提取RGB图像中各车辆左上角对应的横纵坐标，将其与对应车辆的宽高数据匹配后绘制各车辆的约束框；在RGB图像中预设一目标区域框，并在目标区域框中选择一固定点作为靶点；基于各车辆的约束框面积和目标区域框面积，对应计算各车辆与目标区域的交并比，以及基于各车辆的宽高数据、约束框的中心点坐标和靶点坐标，对应计算各车辆与目标区域框的归一化距离；从各车辆对应的交并比和归一化距离数据中筛选锁定前车目标车辆，并结合深度图像得到前车目标车辆车距。
本实施例提供的前车距离检测方法中，通过安装在本车车头的图像采集单元实时采集本车前方视角的RGB图像和深度图像，其中，RGB图像中包括当前视角拍摄的所有车辆，深度图像能够提取RGB图像中各车辆与本车的车距信息，接着采用车辆检测算法识别RGB图像中的全部车辆，并对应提取各车辆的宽高数据，然后通过建立坐标系，定位RGB图像中各车辆左上角对应的横纵坐标，并将其与对应车辆的宽高数据匹配后在RGB图像中绘制各车辆的约束框，另外，RGB图像中本身预设有目标区域框，且目标区域框中筛选一固定点作为靶点，其中，目标区域框的设定一般选在本车的正前方，表示前车可能出现的区域，靶点则代表前车约束框中心点出现的期望位置，之后，对上述获取的数据进行特征计算，即基于各车辆的约束框面积和目标区域框面积，对应计算各车辆与目标区域的交并比，以及基于各车辆的宽高数据、约束框的中心点坐标和靶点坐标，对应计算各车辆与目标区域框的归一化距离，统计分析后采用无监督前车筛选算法锁定前车目标车辆，并结合深度图像得到前车目标车辆车距。
可见，采用本实施例提供的前车距离检测方法，采用的是RGB图像和深度图像相结合的方式能够准确定位RGB图像中各车辆的位置和距离，解决了现有技术中的车距检测预警技术在测距精度和定位准确度上不能够同时兼得的问题，另外，基于各车辆的交并比和归一化距离采用无监督前车筛选算法锁定前车目标车辆，同时结合深度图像输出前车目标车辆车距，实现了对前车距离的精准、快速检测。
具体地，上述实施例中采集本车前方视角的RGB图像和深度图像的方法包括：
利用安装在本车车头的深度摄像头同时采集前方视角的RGB图像和深度图像；或者，利用安装在本车车头的2D摄像头采集前方视角的RGB图像，以及利用安装在本车车头的毫米波雷达/距离传感器采集前方视角的深度图像。
在具体实施的过程中，若选择深度摄像头，则采集到的本车前方视角的RGB图像和深度图像已自动完成匹配，也即从深度图像中可直接提取各车辆的车距，无需在深度摄像头安装时对其再次匹配调整；若选择2D摄像头和毫米波雷达/距离传感器的组合方案，在安装2D摄像头和毫米波雷达/距离传感器时，需对其进行专业的匹配校正，使其输出的RGB图像和深度图像能够匹配对应。示例性地，深度摄像头为英特尔RealSense主动红外立体深度摄像头D435。
进一步地，上述实施例中建立坐标系，提取RGB图像中各车辆左上角对应的横纵坐标，将其与对应车辆的宽高数据匹配后绘制各车辆的约束框的方法包括：
以深度摄像头或者2D摄像头为原点在RGB图像中构建虚拟坐标系；基于虚拟坐标系提取RGB图像中各车辆的左上角点坐标，并根据获取到对应车辆的宽高数据，在RGB图像中绘制包括所述车辆的矩形约束框。具体实施时，由于车辆左上角点坐标是可以获取的，且车辆的宽高数据也是已知的，因此基于车辆左上角点，以车辆在图像中的宽作为矩形约束框的宽，以车辆在图像中的高作为矩形约束框的长，可快速的在RGB图像中绘制出车辆所对应的矩形约束框。
另外，上述实施例中基于RGB图像识别其中的全部车辆，提取各车辆对应的宽高数据的方法为：
采用预训练的车辆检测模型获取RGB图像中的全部车辆，并识别其中各车辆的宽高数据，其中，车辆检测模型采用的是现有的目标检测算法利用COCO数据集训练得到的，例如Faster RCNN、SSD、YOLO等目标检测算法，需要说明的是，由于本实施例采用的车辆检测模型为本领域公知的模型训练技术，本实施例在此不再对其进行赘述。
优选地，上述实施例中在RGB图像中预设一目标区域框，并在目标区域框中选择一固定点作为靶点的方法包括：从RGB图像中选取深度摄像头或者2D摄像头的正前方梯形区域作为目标区域框；选取目标区域框的中心点定义为靶点。当然在实际操作过程中，也可根据工程师的经验对目标区域框和靶点的设置进行微调，例如，当深度摄像头安装在车头左前方时，目标区域框和靶点可选择设置在RGB图像中部偏左的位置。
示例性地，上述实施例中基于各车辆的约束框面积和目标区域框面积，对应计算各车辆与目标区域的交并比的方法为：
采用交并比公式
Figure BDA0001866828240000081
计算各车辆与目标区域的交并比IOU，其中，Car表示车辆的约束框面积，ROI表示目标区域框面积。
基于各车辆的宽高数据、约束框的中心点坐标和靶点坐标，对应计算各车辆与目标区域框的归一化距离的方法包括：
采用归一化距离公式
Figure BDA0001866828240000091
计算各车辆与目标区域框的归一化距离；
其中Car.x表示约束框的中心点的横坐标值，Car.y表示约束框的中心点的纵坐标值，Target.x表示靶点的横坐标值，Target.y表示靶点的纵坐标值，Car.width表示对应车辆的宽数据，Car.height表示对应车辆的高数据。
具体实施时，通过交并比公式和归一化距离公式可分别计算出各车辆对应的交并比和归一化距离，进而可以从得到的这些数据中采用无监督前车筛选算法锁定前车目标车辆，并结合深度图像得到前车目标车辆车距。
上述实施例所述的无监督前车筛选算法如下：
分别统计RGB图像中各车辆对应的交并比IOU和归一化距离Dist_norm；
从RGB图像中筛选第一目标车辆集合大于高通阈值或者归一化距离Dist_norm小于距离阈值的车辆，得到第一目标车辆集合；
从第一目标车辆集合中筛选出交并比IOU大于低通阈值的车辆，得到第二目标车辆集合；
从第二目标车辆集合中筛选出交并比IOU值最大的车辆输出为前车目标车辆，同时从深度图像中提取该车辆对应的车距输出为前车目标车辆车距。
需要说明的是，上述实施例除了可以采用无监督前车筛选算法定位前车目标车辆，也可以采用神经网络前车筛选算法定位前车目标车辆，具体方法为：
通过事先训练生成带标注的训练样本集S＝{xi,yi}筛选前车目标车辆，其中，xi表示车辆特征，包括了三个维度向量，分别为交并比IOU、归一化距离Dist_norm和与本车的车距，yi表示前车目标车辆筛选结果，yi会根据xi中的三个维度向量值，自动输出识别结果，例如，当yi输出为1时则表示该车辆是前车目标车辆，当yi输出为0时则表示该车辆不是前车目标车辆，分类器可以选择不同的神经网络框架对样本集进行训练，神经网络框架可以为AlexNet、VGG等，由于基于神经网络前车筛选算法训练样本集为本领域技术人员常用的技术手段，故本实施例再次不对其进行赘述。
进一步地，上述实施例中在筛选锁定前车目标车辆，并结合深度图像得到前车目标车辆车距之后还包括：
对输出的前车目标车辆依次进行中值滤波和异常窗口检测处理，去除误检漏检噪声；对输出的前车目标车辆的车距进行卡尔曼滤波去除，输出优化后的前车目标车辆车距。
需要说明的是，由于目标检测算法的精度并非100％，会因一些前后帧跳变的孤立噪点导致一定的误检率，而孤立噪点可以利用中值滤波过滤平滑掉。其中，中值滤波是常用的时序滤波算法，因目标检测算法误检所造成的孤立噪声类似椒盐噪声，呈现出脉冲的特性，采用中值滤波可对其进行去除，即在以当前时刻为中心的长度为Tn的时间窗口中，对前车目标车辆车距排序后选择中位数作为当前时刻的滤波后距离，示例性地，Tn一般设为5效果比较好。
因相邻车道干扰等因素导致的筛选误差时有发生，现有通过阈值比较法对上述干扰因素进行过滤，会存在较大的误筛选概率，经过实验发现，该误筛选在检测结果中表现为一段维持时间为Te的孤立窗口(区别于中值滤波中的噪点)，同时该孤立窗口前后时刻的值近似连续。通过异常窗口检测对孤立窗口前后的前车目标车辆车距采用三阶多项式函数拟合，并用该函数的插值计算结果代替孤立窗口内的值，从而实现对上述干扰因素的精准过滤。
经过了中值滤波与异常窗口检测，由RGB图像识别所造成的视觉误差已经基本消除，而由深度图像测量导致的测量误差，本实施例采用卡尔曼滤波来消除。卡尔曼滤波是一种最优化自回归数据处理算法，在一个状态近似线性变化、测量结果受高斯噪声干扰的动态系统中，该回归数据处理算法在状态转移方程和测量方差均已知的情况下对测量值进行滤波，被广泛应用于机器人导航、控制、传感器数据融合、雷达导弹追踪、以及计算机图形处理领域。卡尔曼滤波的状态转移方程如下所示：
X(k)＝AX(k-1)+BU(k)+W(k)
X(k)表示k时刻系统的状态变量，即为本实施例中的前车目标车辆车距和前车目标车辆车速，A是状态转移矩阵，采用简单的一阶恒速度模型可得出，BU(k)表示外部控制项，W(k)是由于其他未知干扰而引起的状态变化，在没有更多信息的情况下，我们仍以已知方差的高斯噪声替代，方差设置的越大，代表我们对该状态方程的信心越小，即认为前车距离的运动随机程度较高。
具体实施时，误检和漏检所维持的时间窗口约为1-15帧，呈现出类似峰值噪声的性质，本实施例通过对输出的前车目标车辆依次进行中值滤波和异常窗口检测处理，能够去除误检漏检噪声，提高前车目标车辆筛选的准确度，对输出的前车目标车辆的车距进行卡尔曼滤波去除，输出优化后的前车目标车辆车距，能够保证输出的前车车距的测量精度。
实施例二
请参阅图1和图2，本实施例提供一种前车距离检测系统，包括：
图像采集单元1，用于采集本车前方视角的RGB图像和深度图像；
图像识别单元2，用于基于RGB图像识别其中的全部车辆，提取各车辆对应的宽高数据；
约束框生成单元3，用于建立坐标系，提取RGB图像中各车辆左上角对应的横纵坐标，将其与对应车辆的宽高数据匹配后绘制各车辆的约束框；
目标区域选定单元4，用于在RGB图像中预设一目标区域框，并在目标区域框中选择一固定点作为靶点；
特征计算单元5，用于基于各车辆的约束框面积和目标区域框面积，对应计算各车辆与目标区域的交并比，以及基于各车辆的宽高数据、约束框的中心点坐标和靶点坐标，对应计算各车辆与目标区域框的归一化距离；
筛选输出单元6，用于从各车辆对应的交并比和归一化距离数据中筛选锁定前车目标车辆，并结合深度图像得到前车目标车辆车距。
进一步地，还包括运动滤波单元7；
所述运动滤波单元用于对输出的前车目标车辆依次进行中值滤波和异常窗口检测处理，去除误检漏检噪声；以及，
用于对输出的前车目标车辆的车距进行卡尔曼滤波去除，输出优化后的前车目标车辆车距。
与现有技术相比，本发明实施例提供的前车距离检测系统的有益效果与上述实施例一提供的前车距离检测方法的有益效果相同，在此不做赘述。
本领域普通技术人员可以理解，实现上述发明方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，上述程序可以存储于计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种前车距离检测方法，其特征在于，包括：
采集本车前方视角的RGB图像和深度图像；
基于RGB图像识别其中的全部车辆，提取各车辆对应的宽高数据；
建立坐标系，提取RGB图像中各车辆左上角对应的横纵坐标，将其与对应车辆的宽高数据匹配后绘制各车辆的约束框；
在RGB图像中预设一目标区域框，并在目标区域框中选择一固定点作为靶点；
基于各车辆的约束框面积和目标区域框面积，对应计算各车辆与目标区域的交并比，以及基于各车辆的宽高数据、约束框的中心点坐标和靶点坐标，对应计算各车辆与目标区域框的归一化距离；
从各车辆对应的交并比和归一化距离数据中筛选锁定前车目标车辆，并结合深度图像得到前车目标车辆车距。
2.根据权利要求1所述的方法，其特征在于，采集本车前方视角的RGB图像和深度图像的方法包括：
利用安装在本车车头的深度摄像头同时采集前方视角的RGB图像和深度图像；或者，
利用安装在本车车头的2D摄像头采集前方视角的RGB图像，以及利用安装在本车车头的毫米波雷达/距离传感器采集前方视角的深度图像。
3.根据权利要求2所述的方法，其特征在于，建立坐标系，提取RGB图像中各车辆左上角对应的横纵坐标，将其与对应车辆的宽高数据匹配后绘制各车辆的约束框的方法包括：
以深度摄像头或者2D摄像头为原点在RGB图像中构建虚拟坐标系；
基于虚拟坐标系提取RGB图像中各车辆的左上角点坐标，并根据获取到对应车辆的宽高数据，在RGB图像中绘制包括所述车辆的矩形约束框。
4.根据权利要求2所述的方法，其特征在于，在RGB图像中预设一目标区域框，并在目标区域框中选择一固定点作为靶点的方法包括：
从RGB图像中选取深度摄像头或者2D摄像头的正前方梯形区域作为目标区域框；
选取目标区域框的中心点定义为靶点。
5.根据权利要求1所述的方法，其特征在于，基于各车辆的约束框面积和目标区域框面积，对应计算各车辆与目标区域的交并比的方法为：
采用交并比公式
Figure FDA0002410346230000021
计算各车辆与目标区域的交并比IOU，其中，Car表示车辆的约束框面积，ROI表示目标区域框面积。
6.根据权利要求5所述的方法，其特征在于，基于各车辆的宽高数据、约束框的中心点坐标和靶点坐标，对应计算各车辆与目标区域框的归一化距离的方法包括：
采用归一化距离公式
Figure FDA0002410346230000022
计算各车辆与目标区域框的归一化距离；
其中Car.x表示约束框的中心点的横坐标值，Car.y表示约束框的中心点的纵坐标值，Target.x表示靶点的横坐标值，Target.y表示靶点的纵坐标值，Car.width表示对应车辆的宽数据，Car.height表示对应车辆的高数据。
7.根据权利要求1所述的方法，其特征在于，从各车辆对应的交并比和归一化距离数据中，筛选锁定前车目标车辆，并结合深度图像得到前车目标车辆车距的方法包括：
分别统计RGB图像中各车辆对应的交并比IOU和归一化距离Dist_norm；
从RGB图像中筛选大于高通阈值或者归一化距离Dist_norm小于距离阈值的车辆，得到第一目标车辆集合；
从第一目标车辆集合中筛选出交并比IOU大于低通阈值的车辆，得到第二目标车辆集合；
从第二目标车辆集合中筛选出交并比IOU值最大的车辆输出为前车目标车辆，同时从深度图像中提取该车辆对应的车距输出为前车目标车辆车距。
8.根据权利要求1所述的方法，其特征在于，在筛选锁定前车目标车辆，并结合深度图像得到前车目标车辆车距之后还包括：
对输出的前车目标车辆依次进行中值滤波和异常窗口检测处理，去除误检漏检噪声；
对输出的前车目标车辆的车距进行卡尔曼滤波去除，输出优化后的前车目标车辆车距。
9.一种前车距离检测系统，其特征在于，包括：
图像采集单元，用于采集本车前方视角的RGB图像和深度图像；
图像识别单元，用于基于RGB图像识别其中的全部车辆，提取各车辆对应的宽高数据；
约束框生成单元，用于建立坐标系，提取RGB图像中各车辆左上角对应的横纵坐标，将其与对应车辆的宽高数据匹配后绘制各车辆的约束框；
目标区域选定单元，用于在RGB图像中预设一目标区域框，并在目标区域框中选择一固定点作为靶点；
特征计算单元，用于基于各车辆的约束框面积和目标区域框面积，对应计算各车辆与目标区域的交并比，以及基于各车辆的宽高数据、约束框的中心点坐标和靶点坐标，对应计算各车辆与目标区域框的归一化距离；
筛选输出单元，用于从各车辆对应的交并比和归一化距离数据中筛选锁定前车目标车辆，并结合深度图像得到前车目标车辆车距。
10.根据权利要求9所述的系统，其特征在于，还包括运动滤波单元；
所述运动滤波单元用于对输出的前车目标车辆依次进行中值滤波和异常窗口检测处理，去除误检漏检噪声；以及，
用于对输出的前车目标车辆的车距进行卡尔曼滤波去除，输出优化后的前车目标车辆车距。
CN201811359075.3A 2018-11-15 2018-11-15 一种前车距离检测方法及系统 Active CN109541583B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811359075.3A CN109541583B (zh) 2018-11-15 2018-11-15 一种前车距离检测方法及系统
SG11202010955SA SG11202010955SA (en) 2018-11-15 2019-07-15 Method and system for detecting distance to front vehicle
JP2019563448A JP6851505B2 (ja) 2018-11-15 2019-07-15 先行車との距離の検出方法及びシステム
PCT/CN2019/095980 WO2020098297A1 (zh) 2018-11-15 2019-07-15 一种前车距离检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811359075.3A CN109541583B (zh) 2018-11-15 2018-11-15 一种前车距离检测方法及系统

Publications (2)

Publication Number Publication Date
CN109541583A CN109541583A (zh) 2019-03-29
CN109541583B true CN109541583B (zh) 2020-05-01

Family

ID=65847562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811359075.3A Active CN109541583B (zh) 2018-11-15 2018-11-15 一种前车距离检测方法及系统

Country Status (4)

Country Link
JP (1) JP6851505B2 (zh)
CN (1) CN109541583B (zh)
SG (1) SG11202010955SA (zh)
WO (1) WO2020098297A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109541583B (zh) * 2018-11-15 2020-05-01 众安信息技术服务有限公司 一种前车距离检测方法及系统
JP7291505B2 (ja) * 2019-03-19 2023-06-15 株式会社Subaru 車外環境検出装置
CN110401786A (zh) * 2019-04-24 2019-11-01 解晗 数字设备开关控制机构
CN112580402A (zh) * 2019-09-30 2021-03-30 广州汽车集团股份有限公司 一种单目视觉行人测距方法及其系统、车辆、介质
CN110794397B (zh) * 2019-10-18 2022-05-24 北京全路通信信号研究设计院集团有限公司 一种基于相机和雷达的目标检测方法及系统
CN111009166B (zh) * 2019-12-04 2021-06-01 上海市城市建设设计研究总院（集团）有限公司 基于bim和驾驶模拟器的道路三维视距验算方法
CN111369824B (zh) * 2020-01-22 2020-12-15 星汉智能科技股份有限公司 一种基于图像识别定位的引导泊车方法及系统
CN111746545A (zh) * 2020-06-29 2020-10-09 中国联合网络通信集团有限公司 车距检测方法及装置，和车距提醒方法及装置
CN113781665A (zh) * 2020-07-28 2021-12-10 北京沃东天骏信息技术有限公司 一种标注信息的审核方法和装置
CN112396122B (zh) * 2020-09-17 2022-11-22 小视科技(江苏)股份有限公司 基于顶点距离与交并比多重优化目标检测器的方法与系统
CN112241717B (zh) * 2020-10-23 2021-11-16 北京嘀嘀无限科技发展有限公司 前车检测方法、前车检测模型的训练获取方法及装置
JP2023548879A (ja) * 2020-11-09 2023-11-21 馭勢（上海）汽車科技有限公司 交通流情報の決定方法、装置、電子機器及び記憶媒体
CN112949544A (zh) * 2021-03-17 2021-06-11 上海大学 一种基于3d卷积网络的动作时序检测方法
CN113421298A (zh) * 2021-06-17 2021-09-21 深圳市高格通讯技术有限公司 车辆测距方法、车辆控制装置、车辆及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1975327A (zh) * 2006-12-19 2007-06-06 北京中星微电子有限公司 一种车距检测方法及装置
CN104837007A (zh) * 2014-02-11 2015-08-12 阿里巴巴集团控股有限公司 一种数字图像质量分级的方法和装置
WO2016077026A1 (en) * 2014-11-12 2016-05-19 Nec Laboratories America, Inc. Near-online multi-target tracking with aggregated local flow descriptor (alfd)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4968369B2 (ja) * 2010-06-25 2012-07-04 アイシン・エィ・ダブリュ株式会社 車載装置及び車両認識方法
US9406145B2 (en) * 2014-01-31 2016-08-02 Applied Concepts, Inc. Mobile radar and visual tracking coordinate transformation
JP6591188B2 (ja) * 2015-03-30 2019-10-16 株式会社Ｓｕｂａｒｕ 車外環境認識装置
JP6236039B2 (ja) * 2015-06-26 2017-11-22 株式会社Ｓｕｂａｒｕ 車外環境認識装置
CN105469052B (zh) * 2015-11-25 2018-10-19 东方网力科技股份有限公司 一种车辆检测跟踪方法和装置
US10145951B2 (en) * 2016-03-30 2018-12-04 Aptiv Technologies Limited Object detection using radar and vision defined image detection zone
JP6427611B2 (ja) * 2017-02-28 2018-11-21 株式会社東芝 車両画像処理装置、及び、車両画像処理システム
CN107202983B (zh) * 2017-05-19 2020-11-13 深圳佑驾创新科技有限公司 基于图像识别和毫米波雷达融合的自动刹车方法和系统
CN107463890B (zh) * 2017-07-20 2019-11-29 浙江零跑科技有限公司 一种基于单目前视相机的前车检测与跟踪方法
CN108764108A (zh) * 2018-05-22 2018-11-06 湖北省专用汽车研究院 一种基于贝叶斯统计决策的前车检测方法
CN109541583B (zh) * 2018-11-15 2020-05-01 众安信息技术服务有限公司 一种前车距离检测方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1975327A (zh) * 2006-12-19 2007-06-06 北京中星微电子有限公司 一种车距检测方法及装置
CN104837007A (zh) * 2014-02-11 2015-08-12 阿里巴巴集团控股有限公司 一种数字图像质量分级的方法和装置
WO2016077026A1 (en) * 2014-11-12 2016-05-19 Nec Laboratories America, Inc. Near-online multi-target tracking with aggregated local flow descriptor (alfd)

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Multi-View 3D Object Detection Network for Autonomous Driving;Xiaozhi Chen等;《IEEE计算机视觉与模式识别会议2017年》;20171231;全文 *
Object Detection Based on Binocular Vision with Convolutional Neural Network;Zekun Luo等;《2017年第七届图像处理理论工具与应用国际会议》;20171231;全文 *
基于图像处理的车辆防偏防追尾预警系统研究;赵检群等;《计算技术与自动化》;20150331;全文 *

Also Published As

Publication number Publication date
CN109541583A (zh) 2019-03-29
WO2020098297A1 (zh) 2020-05-22
JP2021508387A (ja) 2021-03-04
JP6851505B2 (ja) 2021-03-31
SG11202010955SA (en) 2020-12-30

Similar Documents

Publication Publication Date Title
CN109541583B (zh) 一种前车距离检测方法及系统
CN108845574B (zh) 目标识别与追踪方法、装置、设备及介质
Sivaraman et al. A review of recent developments in vision-based vehicle detection
US7660436B2 (en) Stereo-vision based imminent collision detection
CN104573646B (zh) 基于激光雷达和双目相机的车前行人检测方法及系统
JP5297078B2 (ja) 車両の死角における移動物体を検知するための方法、および死角検知装置
JP5944781B2 (ja) 移動体認識システム、移動体認識プログラム、及び移動体認識方法
CN108638999B (zh) 一种基于360度环视输入的防碰撞预警系统及方法
WO2018058356A1 (zh) 基于双目立体视觉的汽车防碰撞预警方法和系统
US8406472B2 (en) Method and system for processing image data
Kuk et al. Fast lane detection & tracking based on Hough transform with reduced memory requirement
EP2960858A1 (en) Sensor system for determining distance information based on stereoscopic images
CN109284664A (zh) 驾驶员辅助系统和护栏检测方法
Kumtepe et al. Driver aggressiveness detection via multisensory data fusion
Ram et al. Vehicle detection in aerial images using multiscale structure enhancement and symmetry
El Jaafari et al. A novel approach for on-road vehicle detection and tracking
Romdhane et al. A generic obstacle detection method for collision avoidance
JP2013069045A (ja) 画像認識装置、画像認識方法および画像認識プログラム
CN114119729A (zh) 障碍物识别方法及装置
JP2001082954A (ja) 画像処理装置及び画像処理測距方法
Romdhane et al. Combined 2d/3d traffic signs recognition and distance estimation
Silar et al. Utilization of directional properties of optical flow for railway crossing occupancy monitoring
CN107256382A (zh) 基于图像识别的虚拟保险杠控制方法和系统
Ramirez et al. Go with the flow: Improving Multi-View vehicle detection with motion cues
Dhanasekaran et al. A survey on vehicle detection based on vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40003629

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240306

Address after: Room 1179, W Zone, 11th Floor, Building 1, No. 158 Shuanglian Road, Qingpu District, Shanghai, 201702

Patentee after: Shanghai Zhongan Information Technology Service Co.,Ltd.

Country or region after: China

Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Patentee before: ZHONGAN INFORMATION TECHNOLOGY SERVICE Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right

Effective date of registration: 20240415

Address after: Room 1179, W Zone, 11th Floor, Building 1, No. 158 Shuanglian Road, Qingpu District, Shanghai, 201702

Patentee after: Shanghai Zhongan Information Technology Service Co.,Ltd.

Country or region after: China

Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Patentee before: ZHONGAN INFORMATION TECHNOLOGY SERVICE Co.,Ltd.

Country or region before: China