CN109263637A - 一种碰撞预测的方法及装置 - Google Patents

一种碰撞预测的方法及装置 Download PDF

Info

Publication number
CN109263637A
CN109263637A CN201811190240.7A CN201811190240A CN109263637A CN 109263637 A CN109263637 A CN 109263637A CN 201811190240 A CN201811190240 A CN 201811190240A CN 109263637 A CN109263637 A CN 109263637A
Authority
CN
China
Prior art keywords
image
mobile object
vehicle
point
binocular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811190240.7A
Other languages
English (en)
Other versions
CN109263637B (zh
Inventor
伍宽
朱继玉
魏宇腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shuangjisha Technology Co Ltd
Original Assignee
Beijing Shuangjisha Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shuangjisha Technology Co Ltd filed Critical Beijing Shuangjisha Technology Co Ltd
Priority to CN201811190240.7A priority Critical patent/CN109263637B/zh
Publication of CN109263637A publication Critical patent/CN109263637A/zh
Application granted granted Critical
Publication of CN109263637B publication Critical patent/CN109263637B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0953—Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种碰撞预测的方法及装置，其中，该方法包括：连续获取双目图像，双目图像包括左目图像和右目图像；选取多个特征点，根据特征点在左目图像中的位置和在右目图像中的位置依次确定特征点的三维坐标；根据与移动物体相关的特征点的三维坐标的变化值确定移动物体的移动速度和移动方向，并确定本车的移动速度和移动方向；根据移动物体的移动速度和移动方向和本车的移动速度和移动方向预测移动物体与本车之间是否存在碰撞风险，并输出相应的预测结果。通过本发明实施例提供的碰撞预测的方法及装置，结合三维的移动速度参数和移动方向参数可以更加准确地预测碰撞风险，且适用于现实中多种行驶场景。

Description

一种碰撞预测的方法及装置
技术领域
本发明涉及碰撞检测技术领域，具体而言，涉及一种碰撞预测的方法及装置。
背景技术
目前，在安全驾驶和自动驾驶领域，精确实时的防碰撞预警具有重要的应用意义，可以实时准确地向驾驶员发出预警信号，可以有效降低车辆碰撞事故的发生频率。传统的碰撞预警系统大多采用激光雷达、毫米波雷达、单目相机等判断前方车辆的距离，从而对在安全距离之内的情况产生报警。
虽然基于激光雷达、毫米波雷达、单目相机的车辆碰撞预警系统在一定程度上提高了驾驶的安全性和智能性，但是该方法精度低，误报率高，而且车载雷达成本较高。
基于双目视觉的车辆碰撞预警系统很大程度上提高了驾驶的安全性和智能性，而且精度高，系统结构简单，成本低。但是目前的方案需要通过硬件来获取自身车辆的运动速度和方向，相对来说这就增加了系统的成本，而且通过硬件得到的数据精度不是很高。且现有的预警系统仅仅能预警前方车辆与本车距离小于预设的安全距离的情况，所适用的场景比较单一，不适合现实中复杂的场景。
发明内容
为解决上述问题，本发明实施例的目的在于提供一种碰撞预测的方法及装置。
第一方面，本发明实施例提供了一种碰撞预测的方法，包括：
连续获取双目图像，所述双目图像包括左目图像和右目图像；
选取多个特征点，根据所述特征点在所述左目图像中的位置和在所述右目图像中的位置依次确定所述特征点的三维坐标；
根据与移动物体相关的特征点的三维坐标的变化值确定移动物体的移动速度和移动方向，并确定本车的移动速度和移动方向；
根据所述移动物体的移动速度和移动方向和本车的移动速度和移动方向预测所述移动物体与本车之间是否存在碰撞风险，并输出相应的预测结果。
第二方面，本发明实施例还提供了一种碰撞预测的装置，包括：
获取模块，用于连续获取双目图像，所述双目图像包括左目图像和右目图像；
坐标确定模块，用于选取多个特征点，根据所述特征点在所述左目图像中的位置和在所述右目图像中的位置依次确定所述特征点的三维坐标；
移动参数确定模块，用于根据与移动物体相关的特征点的三维坐标的变化值确定移动物体的移动速度和移动方向，并确定本车的移动速度和移动方向；
碰撞预测模块，用于根据所述移动物体的移动速度和移动方向和本车的移动速度和移动方向预测所述移动物体与本车之间是否存在碰撞风险，并输出相应的预测结果。
本发明实施例上述第一方面和第二方面提供的方案中，结合左目图像和右目图像可以确定特征点的三维坐标，并根据三维坐标的变化可以确定移动物体的移动速度和移动方向，进而根据本体的移动速度和移动方向判断是否存在碰撞风险。该方式结合三维的移动速度参数和移动方向参数可以更加准确地预测碰撞风险，且适用于现实中多种行驶场景。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例所提供的一种碰撞预测方法的流程图；
图2示出了本发明实施例所提供的双目图像的示意图；
图3示出了本发明实施例所提供的原始双目图像的示意图；
图4示出了本发明实施例所提供的移动物体在同一坐标系下的运动分解图；
图5示出了本发明实施例所提供的碰撞预测模型示意图；
图6示出了本发明实施例所提供的碰撞预测时间交集示意图；
图7示出了本发明实施例所提供的一种碰撞预测装置的结构示意图。
具体实施方式
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
本发明实施例提供的一种碰撞预测的方法，参见图1所示，包括：
步骤101：连续获取双目图像，双目图像包括左目图像和右目图像。
本发明实施例中，本车上安装有双目相机，通过双目相机可以采集相应的左目图像和右目图像。该双目相机具体可以为双目立体相机，在使用双目立体相机之前首先需要对双目立体相机进行标定。双目立体相机的标定分为两步：安装之前标定双目立体相机内参和安装后标定双目立体相机外参。在安装之前对双目立体相机进行标定，得到双目立体相机的焦距、镜头畸变系数、左右镜头之间距离等仅与相机自身特性相关的内参数，即双目相机内参。将双目相机安装在车辆上之后，保持双目立体相机与车辆的相对位置不变，并开始对双目立体相机进行第二次标定，标定双目立体相机的外参，也就是双目立体相机与地面坐标系的位置关系，该位置关系具体可以用旋转矩阵和平移向量表示。双目相机采集到双目图像后，可以对采集的图像进行预处理(比如滤波、抑制噪声等)，获得最终可以进行碰撞预测的双目图像。
步骤102：选取多个特征点，根据特征点在左目图像中的位置和在右目图像中的位置依次确定特征点的三维坐标。
本发明实施例中，在得到左目图像和右目图像的立体图像后，可以选取其中的特征点，具体可以利用现有的图像立体匹配算法搜寻图像中的特征点(图像处理中，图像特征点指图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点，即两个边缘的交点)，也可采用其他方式选取特征点，本实施例对此不做限定。对于同一个特征点，左目图像和右目图像中均存在该特征点，则左目图像中的特征点和右目图像中的特征点可以建立特征点匹配点对，利用特征点的在左目图像和右目图像中的位置即可确定该特征点所对应的三维坐标。
参见图2所示，像点PL和像点PR分别是左目图像和右目图像中的特征点，同时二者也是同一世界点P在左目图像和右目图像中的像点，则像点PL和像点PR便是一对匹配点对。在确定特征点的三维坐标时，可以利用匹配点对的视差来进行计算。具体的，视差D＝xl-xr；xl表示特征点在左目图像中的横坐标，xr表示特征点在右图像中的横坐标；之后利用计算得到的视差以及先前标定好的双目相机内参，便可以求解出特征点的三维坐标，进而采用相同的方式可以确定所有特征点的三维坐标。特征点的三维坐标具体可以设在相机坐标系中。
步骤103：根据与移动物体相关的特征点的三维坐标的变化值确定移动物体的移动速度和移动方向，并确定本车的移动速度和移动方向。
本发明实施例中，由于连续采集双目图像，根据多个双目图像中同一事物对应的特征点的三维坐标的变化值，即可确定该事物的移动速度和移动方向，即可以确定双目相机所观察到的移动物体的移动速度和移动方向。同时，双目相机虽然不可以观察本车，但是也可通过观察地面固定物体相对于本车的相对移动速度和相对移动方向来间接确定本车的移动速度和移动方向；也可以采用其他方式或者结合其他方式来确定本车的移动速度和移动方向。
步骤104：根据移动物体的移动速度和移动方向和本车的移动速度和移动方向预测移动物体与本车之间是否存在碰撞风险，并输出相应的预测结果。
本发明实施例中，根据本车和移动物体的移动参数(包括移动速度和移动方向)即可确定二者是否可能会发生碰撞，在可能发生碰撞时，则存在碰撞风险，此时输出存在碰撞风险的预测结果，并提醒用户(比如本车司机)；若不会发生碰撞，则不存在碰撞风险，此时可以输出不存在碰撞风险的预测结果，或者输出为空(null)或者不输出，即此时输出的预测结果也可表示不存在碰撞风险。
本发明实施例提供的一种碰撞预测的方法，结合左目图像和右目图像可以确定特征点的三维坐标，并根据三维坐标的变化可以确定移动物体的移动速度和移动方向，进而根据本体的移动速度和移动方向判断是否存在碰撞风险。该方式结合三维的移动速度参数和移动方向参数可以更加准确地预测碰撞风险，且适用于现实中多种行驶场景。
在上述实施例的基础上，步骤101中获取双目图像时需要对双目图像进行校正，该获取双目图像的过程具体包括：
步骤A1：获取双目相机采集的原始双目图像，原始双目图像包括原始左目图像和原始右目图像。
步骤A2：对原始双目图像进行矫正处理，将校正后的原始左目图像作为最终获取的左目图像，将校正后的原始右目图像作为最终获取的右目图像，左目图像和右目图像共面，且同一特征点在左目图像中的位置和在右目图像中的位置在预设方向上对齐。
本发明实施例中，在提取到双目相机采集的原始双目图像后，对原始双目图像进行图像预处理。可以利用现有的图像滤波技术对图像进行滤波处理抑制噪声，提高信噪比；同时，双目立体相机中左目相机和右目相机得到的图像不共面、且没有对齐，所以在对图像进行滤波之后，需要利用标定好的双目相机内参对左目相机和右目相机得到的图像进行立体矫正，使左目相机和右目相机得到的图像平行共面，并且使左目相机和右目相机得到的图像对齐。
图3为双目相机采集的原始双目图像的示意图，图中点P是真实世界中某一点，在双目立体相机中左目图像和右目图像上所成像点分别为PL和PR。如图3所示，在进行图像立体矫正之前，左目图像和右目图像不在同一平面上，且二者没有按行对齐，即像点PL和PR的像素行坐标不相等；对左目图像和右目图像进行畸变矫正之后，左目图像和右目图像共面，且按行对齐(参见图2所示)，即像点PL和PR的像素行坐标相等，yl＝yr。利用校正后的双目图像才可更加精确地确定特征点的三维坐标。
在上述实施例的基础上，步骤103中“确定移动物体的移动速度和移动方向”具体包括：
步骤B1：选取地面特征点和与移动物体相关的非地面特征点，地面特征点为根据三维坐标所确定的高度低于地面的特征点。
本发明实施例中，在确定特征点的三维坐标后，根据双目相机外参(包括双目相机与地面坐标系的位置关系、或者双目相机距离地面的高度等)即可确定该特征点的是地面特征点，还是非地面特征点。具体的，根据标定好的双目立体相机外参可以将所有特征点的三维坐标转换到地面坐标系，如果特征点的高度高于地面，则将该点标记为非地面特征点，否则将其标记为地面特征点；然后，以地面特征点为参考，即可求解出本车和移动物体的移动速度和移动方向。
步骤B2：根据当前的双目图像确定地面特征点的当前三维坐标G2(xG2,yG2,zG2)和非地面特征点的当前三维坐标V2(xV2,yV2,zV2)，并根据历史的双目图像确定地面特征点的历史三维坐标G1(xG1,yG1,zG1)和非地面特征点的历史三维坐标V1(xV1,yV1,zV1)。
步骤B3：根据地面特征点的当前三维坐标G2、非地面特征点的当前三维坐标V2和地面特征点的历史三维坐标G1确定参考点V的三维坐标(xV,yV,zV)，且
确定移动物体的移动方向：
确定移动物体的移动速度：
其中，n为当前的双目图像与历史的双目图像之间的时间差的倒数。
本发明实施例中，双目相机一帧帧地采集双目图像，利用当前的双目图像和历史的双目图像来确定移动物体的移动速度和移动方向。参见图4所示，对于某个地面特征点，在当前的双目图像中，该地面特征点为图4中的G2(xG2,yG2,zG2)；在历史的双目图像(即之前的双目图像)中，该地面特征点为G1(xG1,yG1,zG1)。相应的，对于与移动物体相关的非地面特征点，该非地面特征点在当前的双目图像和历史的双目图像中分别为V2(xV2,yV2,zV2)和V1(xV1,yV1,zV1)。图4表示该移动物体在同一坐标系(比如相机坐标系)下的运动分解图，点G1和点G2同属于某个地面静止特征点，点V1和点V2同属于某个非地面移动特征点。
此时，向量为地面特征点在相机坐标系中的运动，向量为移动物体在相机坐标系中的运动。移动物体在相机坐标系中的运动是由移动物体自身的绝对运动和相机的绝对运动合成所得。假设，点V在相机坐标系中的坐标为(xV,yV,zV)，且G1V与G2V2平行且相等，即 所以向量便可以表示移动物体在真实世界中的绝对运动方向和距离。
由于可得：
进而可以确定移动物体的移动距离以及以向量形式表示的移动物体的移动方向：
同时，在确定当前的双目图像与历史的双目图像之间的时间差以及移动物体相应的移动距离后，即可确定移动物体的移动速度：
其中，n为当前的双目图像与历史的双目图像之间的时间差的倒数。若当前的双目图像和历史的双目图像为相邻的两帧图像，则n即为双目相机的帧率。
基于同样的方式，也可以确定本车的移动速度和移动方向。
在上述实施例的基础上，在得到本车及本车周边移动物体的移动速度和方向之后，便可以进一步预测二者是否会发生碰撞，上述步骤104“预测移动物体与本车之间是否存在碰撞风险”具体包括：
步骤C1：根据本车的当前位置(x1，y1，z1)和移动方向(u1，v1，w1)以及移动物体的当前位置(x2，y2，z2)和移动方向(u2，v2，w2)确定本车的运动轨迹和移动物体的运动轨迹，并确定两个运动轨迹的交点(x0，y0，z0)。
本发明实施例中，图5表示本车1与移动物体2的碰撞预测模型，由于移动物体2的形状和尺寸是未知的，所以在碰撞预测模型中将其简化为质点。如图5所示，图中虚线分别为二者运动轨迹的预测值，点A、E、C分别为移动物体2的运动轨迹与本车1运动时的交点，包括轨迹交点E和外围交点A和C，点B、D分别为本车与移动物体发生外围碰撞时本车车头和车尾所在位置，二者碰撞的临界区域为AC段和BD段表示的区域。
根据前述确定特征点三维坐标的过程，可以确定本车1和移动物体2在世界坐标系中的三维坐标分别为p1(x1，y1，z1)和p2(x2，y2，z2)，移动方向分别为(u1，v1，w1)和(u2，v2，w2)，此时基于点向式直线方程即可确定二者的运动轨迹方程：
tr1：
tr2：
其中，tr1即为本车的移动轨迹方程，tr2即为移动物体的移动轨迹方程。联立两个运动轨迹方程，即可求得tr1和tr2的交点为E(x0，y0，z0)。由于空间中的两条直线不一定相交，故本发明实施例中确定相交点E时可以基于与地平面平行的平面来确定交点E中的两个参数(比如x0和y0)，另外一个参数(比如z0)可以事先约定，或者与z1或z2相同。也可采用其他方式确定运动轨迹的交点，只需要保证两条运动轨迹存在交点即可。
步骤C2：确定本车与移动物体发生碰撞的碰撞区域，并确定本车到达碰撞区域的第一起始时间t10和完全通过碰撞区域的第一终止时间t11，确定移动物体到达碰撞区域的第二起始时间t20和完全通过碰撞区域的第二终止时间t21；
其中，d1表示本车的车宽，L1表示本车的车长，θ1表示本车的移动速度，θ2表示移动物体的移动速度，θ表示本车的移动方向与移动物体的移动方向之间的夹角。
本发明实施例中，由于不考虑移动物体的尺寸，在确定两个运动轨迹的交点后，即可确定碰撞区域，即AC段和BD段表示的区域。设θ表示本车的移动方向与移动物体的移动方向之间的夹角，则当θ≠0°或180°时：
有由于本车的移动速度θ1和移动物体的移动速度θ2均是已知的，则本车到达碰撞区域的第一起始时间即为本车车头从当前位置到达B点的时间，其为：
其中，
|Bp1|＝|Ep1|-|BE|；
故：
相应的，本车完全通过碰撞区域(即本车从当前位置至本车车尾运动到点D)的第一终止时间t11为：
对于移动物体，该移动物体到达A点即到达碰撞区域，则移动物体从当前位置到A点的第二起始时间为：
其中，
|Ap2|＝|Ep2|-|AE|
故：
同理，移动物体到达C点即表示移动物体完全通过碰撞区域，则该第二终止时间t21为：
步骤C3：对第一起始时间t10、第一终止时间t11、第二起始时间t20和第二终止时间t21进行调整，根据调整后的第一起始时间T10和调整后的第一终止时间T11确定本车经过碰撞区域的第一时间段，并根据调整后的第二起始时间T20和调整后的第二终止时间T21确定移动物体经过碰撞区域的第二时间段，当第一时间段与第二时间段之间存在交集时，确定移动物体与本车之间存在碰撞风险；且：
T10＝t10-τ1；T11＝t11+τ1；T20＝t20-τ2；T21＝t21+τ2；
其中，τ1和τ2为两个调整系数，且均为正数。
本发明实施例中，综合考虑移动物体的外形尺寸、误差、驾驶员反应时间等因素，需要对上述预测的四个时间进行调整，利用调整后的时间来判断是否存在碰撞风险。其中，τ1和τ2为两个调整系数，且均为正数，例如τ1＝3，τ2＝5，也可根据实际情况设定其他值。
根据本车和移动物体到达碰撞区域的时间和完全通过碰撞区域的时间是否有交集，可以预测本车和移动物体是否会发生碰撞。如果二者到达和完全通过碰撞区域的时间区间有交集，则预测二者可能会发生碰撞。如图6所示，图6中示出了可能会发生碰撞的五种情况。
需要说明的是，本发明实施例中根据本车和移动物体到达以及通过碰撞区域的时间交集来进行碰撞预测的前提是准确预判碰撞区域，即需要准确确定运动轨迹的交点E，但当二者的运动方向近似平行(即θ接近0或180°)时，由于误差的存在，此时所确定的E点的坐标可能存在较大的误差；为减少误差，θ取值不宜过小、也不宜过大，例如，θ∈[20°,160°]等。
本发明实施例提供的一种碰撞预测的方法，结合左目图像和右目图像可以确定特征点的三维坐标，并根据三维坐标的变化可以确定移动物体的移动速度和移动方向，进而根据本体的移动速度和移动方向判断是否存在碰撞风险。该方式结合三维的移动速度参数和移动方向参数可以更加准确地预测碰撞风险，且适用于现实中多种行驶场景。利用校正后的双目图像才可更加精确地确定特征点的三维坐标，且可以减少计算量。基于当前双目图像和历史双目图像二者之间的三维坐标变化值可以确定移动物体的移动速度和移动方向，不需要借助其他设备，成本低，且计算精度高。通过本车和移动物体到达碰撞区域的时间段来判断是否存在碰撞风险，计算简单、判断效率高，可快速准确地进行碰撞预测。
以上详细介绍了碰撞预测的方法流程，该方法也可以通过相应的装置实现，下面详细介绍该装置的结构和功能。
本发明实施例提供的一种碰撞预测的装置，参见图7所示，包括：
获取模块71，用于连续获取双目图像，双目图像包括左目图像和右目图像；
坐标确定模块72，用于选取多个特征点，根据特征点在左目图像中的位置和在右目图像中的位置依次确定特征点的三维坐标；
移动参数确定模块73，用于根据与移动物体相关的特征点的三维坐标的变化值确定移动物体的移动速度和移动方向，并确定本车的移动速度和移动方向；
碰撞预测模块74，用于根据移动物体的移动速度和移动方向和本车的移动速度和移动方向预测移动物体与本车之间是否存在碰撞风险，并输出相应的预测结果。
在上述实施例的基础上，获取模块71包括：
获取单元，用于获取双目相机采集的原始双目图像，原始双目图像包括原始左目图像和原始右目图像；
矫正单元，用于对原始双目图像进行矫正处理，将校正后的原始左目图像作为最终获取的左目图像，将校正后的原始右目图像作为最终获取的右目图像，左目图像和右目图像共面，且同一特征点在左目图像中的位置和在右目图像中的位置在预设方向上对齐。
在上述实施例的基础上，坐标确定模块72包括：
视差确定单元，用于根据特征点在左目图像中的位置和在右目图像中的位置确定特征点的视差D：
D＝xl-xr
其中，D表示视差，xl表示特征点在左目图像中的横坐标，xr表示特征点在右图像中的横坐标；
坐标确定单元，用于根据特征点的视差和双目相机内参确定特征点在相机坐标系中的三维坐标；双目相机内参包括双目相机的焦距、镜头畸变系数、双目相机左右镜头之间距离中的一项或多项。
在上述实施例的基础上，移动参数确定模块73包括：
选取单元，用于选取地面特征点和与移动物体相关的非地面特征点，地面特征点为根据三维坐标所确定的高度低于地面的特征点；根据当前的双目图像确定地面特征点的当前三维坐标G2(xG2,yG2,zG2)和非地面特征点的当前三维坐标V2(xV2,yV2,zV2)，并根据历史的双目图像确定地面特征点的历史三维坐标G1(xG1,yG1,zG1)和非地面特征点的历史三维坐标V1(xV1,yV1,zV1)；
移动参数确定单元，用于根据地面特征点的当前三维坐标G2、非地面特征点的当前三维坐标V2和地面特征点的历史三维坐标G1确定参考点V的三维坐标(xV,yV,zV)，且
确定移动物体的移动方向：
确定移动物体的移动速度：
其中，n为当前的双目图像与历史的双目图像之间的时间差的倒数。
在上述实施例的基础上，碰撞预测模块74包括：
交点确定单元，用于根据本车的当前位置(x1，y1，z1)和移动方向以及移动物体的当前位置(x2，y2，z2)和移动方向确定本车的运动轨迹和移动物体的运动轨迹，并确定两个运动轨迹的交点(x0，y0，z0)；
时间确定单元，用于确定本车与移动物体发生碰撞的碰撞区域，并确定本车到达碰撞区域的第一起始时间t10和完全通过碰撞区域的第一终止时间t11，确定移动物体到达碰撞区域的第二起始时间t20和完全通过碰撞区域的第二终止时间t21；
其中，d1表示本车的车宽，L1表示本车的车长，θ1表示本车的移动速度，θ2表示移动物体的移动速度，θ表示本车的移动方向与移动物体的移动方向之间的夹角；
碰撞预测单元，用于对第一起始时间t10、第一终止时间t11、第二起始时间t20和第二终止时间t21进行调整，根据调整后的第一起始时间T10和调整后的第一终止时间T11确定本车经过碰撞区域的第一时间段，并根据调整后的第二起始时间T20和调整后的第二终止时间T21确定移动物体经过碰撞区域的第二时间段，当第一时间段与第二时间段之间存在交集时，确定移动物体与本车之间存在碰撞风险；且：
T10＝t10-τ1；T11＝t11+τ1；T20＝t20-τ2；T21＝t21+τ2；
其中，τ1和τ2为两个调整系数，且均为正数。
本发明实施例提供的一种碰撞预测的装置，结合左目图像和右目图像可以确定特征点的三维坐标，并根据三维坐标的变化可以确定移动物体的移动速度和移动方向，进而根据本体的移动速度和移动方向判断是否存在碰撞风险。该方式结合三维的移动速度参数和移动方向参数可以更加准确地预测碰撞风险，且适用于现实中多种行驶场景。利用校正后的双目图像才可更加精确地确定特征点的三维坐标，且可以减少计算量。基于当前双目图像和历史双目图像二者之间的三维坐标变化值可以确定移动物体的移动速度和移动方向，不需要借助其他设备，成本低，且计算精度高。通过本车和移动物体到达碰撞区域的时间段来判断是否存在碰撞风险，计算简单、判断效率高，可快速准确地进行碰撞预测。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种碰撞预测的方法，其特征在于，包括：
连续获取双目图像，所述双目图像包括左目图像和右目图像；
选取多个特征点，根据所述特征点在所述左目图像中的位置和在所述右目图像中的位置依次确定所述特征点的三维坐标；
根据与移动物体相关的特征点的三维坐标的变化值确定移动物体的移动速度和移动方向，并确定本车的移动速度和移动方向；
根据所述移动物体的移动速度和移动方向和本车的移动速度和移动方向预测所述移动物体与本车之间是否存在碰撞风险，并输出相应的预测结果。
2.根据权利要求1所述的方法，其特征在于，所述获取双目图像包括：
获取双目相机采集的原始双目图像，所述原始双目图像包括原始左目图像和原始右目图像；
对所述原始双目图像进行矫正处理，将校正后的原始左目图像作为最终获取的左目图像，将校正后的原始右目图像作为最终获取的右目图像，所述左目图像和所述右目图像共面，且同一特征点在所述左目图像中的位置和在所述右目图像中的位置在预设方向上对齐。
3.根据权利要求1所述的方法，其特征在于，所述根据所述特征点在所述左目图像中的位置和在所述右目图像中的位置依次确定所述特征点的三维坐标包括：
根据特征点在所述左目图像中的位置和在所述右目图像中的位置确定所述特征点的视差D：
D＝xl-xr
其中，D表示视差，xl表示特征点在所述左目图像中的横坐标，xr表示特征点在所述右图像中的横坐标；
根据所述特征点的视差和双目相机内参确定所述特征点在相机坐标系中的三维坐标；所述双目相机内参包括双目相机的焦距、镜头畸变系数、双目相机左右镜头之间距离中的一项或多项。
4.根据权利要求1所述的方法，其特征在于，所述确定移动物体的移动速度和移动方向包括：
选取地面特征点和与移动物体相关的非地面特征点，所述地面特征点为根据三维坐标所确定的高度低于地面的特征点；
根据当前的双目图像确定所述地面特征点的当前三维坐标G2(xG2,yG2,zG2)和所述非地面特征点的当前三维坐标V2(xV2,yV2,zV2)，并根据历史的双目图像确定所述地面特征点的历史三维坐标G1(xG1,yG1,zG1)和所述非地面特征点的历史三维坐标V1(xV1,yV1,zV1)；
根据所述地面特征点的当前三维坐标G2、所述非地面特征点的当前三维坐标V2和所述地面特征点的历史三维坐标G1确定参考点V的三维坐标(xV,yV,zV)，且
确定所述移动物体的移动方向：
确定所述移动物体的移动速度：
其中，n为当前的双目图像与历史的双目图像之间的时间差的倒数。
5.根据权利要求1所述的方法，其特征在于，所述预测所述移动物体与本车之间是否存在碰撞风险包括：
根据本车的当前位置(x1，y1，z1)和移动方向以及移动物体的当前位置(x2，y2，z2)和移动方向确定本车的运动轨迹和移动物体的运动轨迹，并确定两个运动轨迹的交点(x0，y0，z0)；
确定本车与所述移动物体发生碰撞的碰撞区域，并确定本车到达所述碰撞区域的第一起始时间t10和完全通过所述碰撞区域的第一终止时间t11，确定所述移动物体到达所述碰撞区域的第二起始时间t20和完全通过所述碰撞区域的第二终止时间t21；
其中，d1表示本车的车宽，L1表示本车的车长，表示本车的移动速度，表示移动物体的移动速度，θ表示本车的移动方向与移动物体的移动方向之间的夹角；
对所述第一起始时间t10、所述第一终止时间t11、所述第二起始时间t20和所述第二终止时间t21进行调整，根据调整后的第一起始时间T10和调整后的第一终止时间T11确定本车经过所述碰撞区域的第一时间段，并根据调整后的第二起始时间T20和调整后的第二终止时间T21确定移动物体经过所述碰撞区域的第二时间段，当所述第一时间段与所述第二时间段之间存在交集时，确定所述移动物体与本车之间存在碰撞风险；且：
T10＝t10-τ1；T11＝t11+τ1；T20＝t20-τ2；T21＝t21+τ2；
其中，τ1和τ2为两个调整系数，且均为正数。
6.一种碰撞预测的装置，其特征在于，包括：
获取模块，用于连续获取双目图像，所述双目图像包括左目图像和右目图像；
坐标确定模块，用于选取多个特征点，根据所述特征点在所述左目图像中的位置和在所述右目图像中的位置依次确定所述特征点的三维坐标；
移动参数确定模块，用于根据与移动物体相关的特征点的三维坐标的变化值确定移动物体的移动速度和移动方向，并确定本车的移动速度和移动方向；
碰撞预测模块，用于根据所述移动物体的移动速度和移动方向和本车的移动速度和移动方向预测所述移动物体与本车之间是否存在碰撞风险，并输出相应的预测结果。
7.根据权利要求1所述的装置，其特征在于，所述获取模块包括：
获取单元，用于获取双目相机采集的原始双目图像，所述原始双目图像包括原始左目图像和原始右目图像；
矫正单元，用于对所述原始双目图像进行矫正处理，将校正后的原始左目图像作为最终获取的左目图像，将校正后的原始右目图像作为最终获取的右目图像，所述左目图像和所述右目图像共面，且同一特征点在所述左目图像中的位置和在所述右目图像中的位置在预设方向上对齐。
8.根据权利要求1所述的装置，其特征在于，所述坐标确定模块包括：
视差确定单元，用于根据特征点在所述左目图像中的位置和在所述右目图像中的位置确定所述特征点的视差D：
D＝xl-xr
其中，D表示视差，xl表示特征点在所述左目图像中的横坐标，xr表示特征点在所述右图像中的横坐标；
坐标确定单元，用于根据所述特征点的视差和双目相机内参确定所述特征点在相机坐标系中的三维坐标；所述双目相机内参包括双目相机的焦距、镜头畸变系数、双目相机左右镜头之间距离中的一项或多项。
9.根据权利要求1所述的装置，其特征在于，所述移动参数确定模块包括：
选取单元，用于选取地面特征点和与移动物体相关的非地面特征点，所述地面特征点为根据三维坐标所确定的高度低于地面的特征点；根据当前的双目图像确定所述地面特征点的当前三维坐标G2(xG2,yG2,zG2)和所述非地面特征点的当前三维坐标V2(xV2,yV2,zV2)，并根据历史的双目图像确定所述地面特征点的历史三维坐标G1(xG1,yG1,zG1)和所述非地面特征点的历史三维坐标V1(xV1,yV1,zV1)；
移动参数确定单元，用于根据所述地面特征点的当前三维坐标G2、所述非地面特征点的当前三维坐标V2和所述地面特征点的历史三维坐标G1确定参考点V的三维坐标(xV,yV,zV)，且
确定所述移动物体的移动方向：
确定所述移动物体的移动速度：
其中，n为当前的双目图像与历史的双目图像之间的时间差的倒数。
10.根据权利要求1所述的装置，其特征在于，所述碰撞预测模块包括：
交点确定单元，用于根据本车的当前位置(x1，y1，z1)和移动方向以及移动物体的当前位置(x2，y2，z2)和移动方向确定本车的运动轨迹和移动物体的运动轨迹，并确定两个运动轨迹的交点(x0，y0，z0)；
时间确定单元，用于确定本车与所述移动物体发生碰撞的碰撞区域，并确定本车到达所述碰撞区域的第一起始时间t10和完全通过所述碰撞区域的第一终止时间t11，确定所述移动物体到达所述碰撞区域的第二起始时间t20和完全通过所述碰撞区域的第二终止时间t21；
其中，d1表示本车的车宽，L1表示本车的车长，表示本车的移动速度，表示移动物体的移动速度，θ表示本车的移动方向与移动物体的移动方向之间的夹角；
碰撞预测单元，用于对所述第一起始时间t10、所述第一终止时间t11、所述第二起始时间t20和所述第二终止时间t21进行调整，根据调整后的第一起始时间T10和调整后的第一终止时间T11确定本车经过所述碰撞区域的第一时间段，并根据调整后的第二起始时间T20和调整后的第二终止时间T21确定移动物体经过所述碰撞区域的第二时间段，当所述第一时间段与所述第二时间段之间存在交集时，确定所述移动物体与本车之间存在碰撞风险；且：
T10＝t10-τ1；T11＝t11+τ1；T20＝t20-τ2；T21＝t21+τ2；
其中，τ1和τ2为两个调整系数，且均为正数。
CN201811190240.7A 2018-10-12 2018-10-12 一种碰撞预测的方法及装置 Active CN109263637B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811190240.7A CN109263637B (zh) 2018-10-12 2018-10-12 一种碰撞预测的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811190240.7A CN109263637B (zh) 2018-10-12 2018-10-12 一种碰撞预测的方法及装置

Publications (2)

Publication Number Publication Date
CN109263637A true CN109263637A (zh) 2019-01-25
CN109263637B CN109263637B (zh) 2020-11-10

Family

ID=65196542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811190240.7A Active CN109263637B (zh) 2018-10-12 2018-10-12 一种碰撞预测的方法及装置

Country Status (1)

Country Link
CN (1) CN109263637B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796118A (zh) * 2019-11-12 2020-02-14 深圳创维数字技术有限公司 获取运输设备的姿态调整参数方法、运输设备及存储介质
CN111813116A (zh) * 2020-07-09 2020-10-23 海南发控智慧环境建设集团有限公司 一种基于三维模型的避障辅助系统
CN112215198A (zh) * 2020-10-28 2021-01-12 郑小云 一种基于大数据的自适应人机交互系统与方法
CN111409631B (zh) * 2020-04-10 2022-01-11 新石器慧通（北京）科技有限公司 一种车辆行驶的控制方法、装置、车辆及存储介质
CN114078326A (zh) * 2020-08-19 2022-02-22 北京万集科技股份有限公司 碰撞检测方法、装置、视觉传感器和存储介质
CN114486292A (zh) * 2022-04-18 2022-05-13 中国汽车技术研究中心有限公司 碰撞测试中假人运动响应的测量方法、设备和存储介质
CN115472005A (zh) * 2022-08-09 2022-12-13 东软睿驰汽车技术（上海）有限公司 车辆碰撞预警方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002056494A (ja) * 2000-08-10 2002-02-22 Gen Tec:Kk 道路上を走行する車両のトラッキング方法及び該方法を実施するプログラムを記録した記録媒体
CN104200689A (zh) * 2014-08-28 2014-12-10 长城汽车股份有限公司 一种道路预警方法及装置
CN104318561A (zh) * 2014-10-22 2015-01-28 上海理工大学 基于双目立体视觉与光流融合的车辆运动信息检测方法
CN106023652A (zh) * 2016-07-29 2016-10-12 重庆长安汽车股份有限公司 车辆交叉口碰撞预警方法
CN108021899A (zh) * 2017-12-15 2018-05-11 郑州日产汽车有限公司 基于双目相机的车载智能前车防撞预警方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002056494A (ja) * 2000-08-10 2002-02-22 Gen Tec:Kk 道路上を走行する車両のトラッキング方法及び該方法を実施するプログラムを記録した記録媒体
CN104200689A (zh) * 2014-08-28 2014-12-10 长城汽车股份有限公司 一种道路预警方法及装置
CN104318561A (zh) * 2014-10-22 2015-01-28 上海理工大学 基于双目立体视觉与光流融合的车辆运动信息检测方法
CN106023652A (zh) * 2016-07-29 2016-10-12 重庆长安汽车股份有限公司 车辆交叉口碰撞预警方法
CN108021899A (zh) * 2017-12-15 2018-05-11 郑州日产汽车有限公司 基于双目相机的车载智能前车防撞预警方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796118A (zh) * 2019-11-12 2020-02-14 深圳创维数字技术有限公司 获取运输设备的姿态调整参数方法、运输设备及存储介质
CN110796118B (zh) * 2019-11-12 2022-06-10 深圳创维数字技术有限公司 获取运输设备的姿态调整参数方法、运输设备及存储介质
CN111409631B (zh) * 2020-04-10 2022-01-11 新石器慧通（北京）科技有限公司 一种车辆行驶的控制方法、装置、车辆及存储介质
CN111813116A (zh) * 2020-07-09 2020-10-23 海南发控智慧环境建设集团有限公司 一种基于三维模型的避障辅助系统
CN114078326A (zh) * 2020-08-19 2022-02-22 北京万集科技股份有限公司 碰撞检测方法、装置、视觉传感器和存储介质
CN112215198A (zh) * 2020-10-28 2021-01-12 郑小云 一种基于大数据的自适应人机交互系统与方法
CN114486292A (zh) * 2022-04-18 2022-05-13 中国汽车技术研究中心有限公司 碰撞测试中假人运动响应的测量方法、设备和存储介质
CN114486292B (zh) * 2022-04-18 2022-07-12 中国汽车技术研究中心有限公司 碰撞测试中假人运动响应的测量方法、设备和存储介质
US11544856B1 (en) 2022-04-18 2023-01-03 China Automotive Technology And Research Center Co. Ltd Method for measuring motion response of dummy in crash test, device and storage medium
CN115472005A (zh) * 2022-08-09 2022-12-13 东软睿驰汽车技术（上海）有限公司 车辆碰撞预警方法、装置、设备及存储介质
CN115472005B (zh) * 2022-08-09 2023-12-19 东软睿驰汽车技术（上海）有限公司 车辆碰撞预警方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN109263637B (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
CN109263637A (zh) 一种碰撞预测的方法及装置
CN110942449B (zh) 一种基于激光与视觉融合的车辆检测方法
CN104700414B (zh) 一种基于车载双目相机的前方道路行人快速测距方法
CN110207650A (zh) 基于双目视觉的车用公路限高架高度测量方法及装置
CN107567412B (zh) 利用汽车相机使用车辆运动数据的对象位置测量
KR100909741B1 (ko) 감시장치, 감시방법
CN104318561B (zh) 基于双目立体视觉与光流融合的车辆运动信息检测方法
EP3792660B1 (en) Method, apparatus and system for measuring distance
CN102806913B (zh) 一种车道线偏离检测方法及装置
CN102855774B (zh) 车辆周围监视装置
CN108647638A (zh) 一种车辆位置检测方法及装置
EP2372642B1 (en) Method and system for detecting moving objects
US20100315505A1 (en) Object motion detection system based on combining 3d warping techniques and a proper object motion detection
US20150235093A1 (en) Moving Object Recognition Apparatus
CN113850102B (zh) 基于毫米波雷达辅助的车载视觉检测方法及系统
Pantilie et al. Real-time obstacle detection using dense stereo vision and dense optical flow
CN112204614B (zh) 来自非固定相机的视频中的运动分割
CN106203381A (zh) 一种行车中障碍物检测方法与装置
KR101030317B1 (ko) 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법
GB2513703A (en) Method and apparatus for three-dimensional imaging of at least a partial region of a vehicle environment
CN103764485A (zh) 用于驾驶辅助系统的用于估算运输工具的未来路线并且与部件相关联的装置，所述未来路线包括根据相对于障碍物位置的不同外观
Burie et al. Detecting and localising obstacles in front of a moving vehicle using linear stereo vision
CN116385997A (zh) 一种车载障碍物精确感知方法、系统及存储介质
CN111798496B (zh) 一种视觉锁定方法和装置
Rasheed et al. Stabilization of 3D pavement images for pothole metrology using the Kalman filter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant