CN110488319B - 一种基于超声波和摄像头融合的碰撞距离计算方法及系统 - Google Patents

Abstract

本发明提供一种基于超声波和摄像头融合的碰撞距离计算方法及系统，其使用基于超声波和摄像头融合的障碍物探测，得到车辆和行人、纯超声波等不同类型的障碍物，根据车辆参数、转弯半径、车速及不同类型障碍物信息分别计算其碰撞距离，选取在不同行驶方向和转弯方向下的感兴趣区域，对感兴趣区域所有障碍物距离取最小值即得到融合后的碰撞距离。本发明使用目前车辆中现有的超声波传感器、环视CMOS摄像头，整合泊车控制器和环视控制器实现超声波和环视摄像头的融合探测，提高探测相对位置精度的同时，提升障碍物探测可靠性和探测距离，本发明具有具有探测可靠，精度高，场景适应性好，成本适中等特点，可有效提升低速辅助系统的适应性。

Description

一种基于超声波和摄像头融合的碰撞距离计算方法及系统

技术领域

本发明涉及低速辅助驾驶系统，具体涉及到用于低速自动紧急制动的基于超声波和摄像头融合的碰撞距离计算策略。

背景技术

低速驾驶辅助系统中自动紧急制动功能可在10km/h以下针对车辆和障碍物相对关系进行紧急制动，避免碰撞。该控制过程主要是距离控制，所以对距离的计算至关重要。距离计算不准会导致误触发制动，或触发制动太晚避免不了碰撞危险。目前解决该问题的主要方法是利用安装在汽车前后保险杠上的超声波传感器，实时发送超声波，当超声波被障碍物反射回来后，被相邻的传感器接收，即可根据三角定位原理计算出反射点和车辆的相对位置，得到障碍物和本车的相对位置。参考方向盘转角得到车辆的转弯半径，即可计算出障碍物是否在车辆的行驶路径内，根据障碍物位置和本车相对位置及转弯半径参数计算出车辆轮廓到障碍物的碰撞点，进而计算出两点间的弧长即为碰撞距离。车辆实际的批量生产、复杂应用场景等特点要求必须使用可靠、低成本的传感器和控制算法。

目前利用超声波传感器仅能探测到障碍物反射回波点的相对位置，但位置精度低，探测距离有限，探测结果不连续，同时无法获得障碍物具体的速度、类型和尺寸大小，易出现转弯时误触发，且超声波延时时间长，容易导致碰撞。毫米波雷达探测距离远，但对近距离的障碍物探测不准确，不适应于低速辅助。市场最近出现的近距离成像毫米波雷达，测量准确，但成本高，暂未大批量产应用。

现有技术中基于摄像机+多单线激光雷达+超声波传感器融合、双目测距+机载视觉处理器+超声波传感器或毫米波+激光雷达+摄像头+超声波雷达的方案及车辆障碍物避让方法，具有如下缺点：

1.基于双CCD摄像机+多单线激光雷达用于高速控制，实际超声波传感器未参与摄像头和激光雷达信息融合。

2.仅使用超声波雷达信息进行低速避撞保护，未能对障碍物类型识别，存在杂草误制动或行人漏制动的缺陷。

3.系统使用的激光雷达、双目测距传感器、CCD摄像机、处理器成本高，主要应用于小批量有限场地的运营，不利于大批量生产推广应用；

4.应用在如高速行驶、无人机等有限场景，未考虑实际车辆行驶的不同复杂场景（乡村早草、鹅卵石、交通拥堵、地上地下等不同光照影响对探测结果影响很大）。

5.高速的碰撞时间算法仅考虑了本车中心点与障碍物跟踪点两点间的碰撞，未考虑低速下可能出现的追尾、侧碰、斜碰等不同碰撞位置对控制的影响；

6.未考虑驾驶员操控对碰撞距离和碰撞时间的影响。

发明内容

本发明针对现有技术存在的不足，目的是提供一种基于超声波和摄像头融合的低速碰撞距离计算方法，使用目前车辆中现有的超声波传感器、环视CMOS摄像头，整合泊车控制器和环视控制器实现超声波和环视摄像头的融合探测，提高探测相对位置精度的同时，提升障碍物探测可靠性和探测距离，且可输出障碍物类型、速度和宽度，进而提升碰撞距离的精度和整个系统的可靠性。

本发明的技术方案如下：

本发明所述的一种基于超声波和摄像头融合的碰撞距离计算方法，包括如下步骤：

步骤1，障碍物探测：利用摄像头和超声波进行本车周围的障碍物探测。

步骤2，障碍物融合：基于超声波传感器和摄像头探测到的障碍物，结合本车速度、方向盘转向角、超声波传感器和摄像头延时时间信息，得到同一时刻两传感器得到的坐标，若两坐标的误差在设定范围，则融合为同一障碍物。

步骤3，车辆行人碰撞距离计算：当障碍物为车辆或行人时，计算车辆行人碰撞距离。

步骤4，纯超声波的碰撞距离计算：当障碍物不是车辆或行人时，则根据车辆方向盘角度计算得到车辆的转弯半径和行驶区域，结合超声波传感器的相对位置信息计算障碍物是否在行驶区域内，若其在行驶区域内，则计算当前转弯半径下车辆外围到障碍物的距离；

步骤5，碰撞距离融合：将纯超声波和车辆行人障碍物的碰撞距离融合得到最终的整车碰撞距离。

进一步，对于所述步骤1的障碍物探测，当探测到障碍物为车辆（四轮车、两轮车）或行人时，通过摄像头和超声波融合得到障碍物的类型、相对速度、相对位置、可信度（是基于摄像头的图像，由控制器进行图像识别得到的结果）、宽度，若障碍物不是车辆或行人，则使用超声波探测的相对位置。

进一步，对于所述步骤3的车辆行人碰撞距离计算，是基于与车辆或行人的相对速度和相对距离判断是否产生碰撞并计算出碰撞时间，然后基于当前本车速度得到障碍物为车辆或行人时的碰撞距离。

具体地，对于步骤3中的计算碰撞时间是使用相对位置和相对速度计算横向和纵向碰撞时间，再综合考虑横向碰撞和纵向碰撞的相对位置，得到碰撞时间。

进一步，对于所述步骤4的纯超声波的碰撞距离计算具体为：根据转向角度和车辆外围轮廓计算得到转弯半径和车辆的行驶区域，根据车辆和障碍物相对位置关系车辆转弯半径确定障碍物是否在行驶区域内；若其在行驶区域内，则根据转弯半径和和车辆外围轮廓计算其和车辆外围轮廓的碰撞点，进而根据转弯半径计算得到碰撞弧长，也即车辆的碰撞距离。

进一步，述步骤5的碰撞距离融合具体为：根据传感器输出的行驶方向、转向角度、障碍物类型分别计算每个区的碰撞距离，得到各种行驶方向、转向角度下的感兴趣区域，取感兴趣区域的最小值即为当前车辆融合后的碰撞距离。

进一步，本方法是将车辆周围根据传感器擅长的探测区域划分为n个区域，n≥8，每个区域同时输出一个障碍物，若无障碍物，则输出默认值，全车最大实现n个障碍物同时探测。

本发明还提出一种基于超声波和摄像头融合的碰撞距离计算系统，其包括障碍物探测模块、障碍物融合模块、车辆行人碰撞距离计算模块、纯超声波的碰撞距离计算模块和碰撞距离融合模块五部分。

所述障碍物探测模块用于利用摄像头和超声波传感器进行本车周围的障碍物探测，将得到的信息发送给障碍物融合模块。

所述障碍物融合模块基于超声波传感器和摄像头探测到的同一物体，结合本车速度、方向盘转向角、已知的传感器延时时间信息，得到同一时刻两传感器得到的坐标，若两坐标的误差在设定范围，则融合为同一物体。

所述车辆行人碰撞距离计算模块根据障碍物融合模块得到的物体信息，当障碍物为车辆或行人时，计算车辆行人碰撞距离。

所述纯超声波的碰撞距离计算模块根据障碍物融合模块得到的物体信息，当障碍物不是车辆或行人时，根据车辆方向盘角度计算得到车辆的转弯半径和行驶区域，结合超声波传感器的相对位置信息计算障碍物是否在行驶区域内，若其在行驶区域内，则计算当前转弯半径下车辆外围到障碍物的距离。

所述碰撞距离融合模块：将车辆行人碰撞距离计算模块和纯超声波的碰撞距离计算模块计算得到的车辆行人障碍物的碰撞距离融合，得到最终的整车碰撞距离。

本发明的技术方案的特点是，使用基于超声波传感器和摄像头融合的障碍物探测，得到车辆和行人、纯超声波等不同类型的障碍物，根据车辆参数、转弯半径、车速及不同类型障碍物信息分别计算其碰撞距离，选取在不同行驶方向和转弯方向下的感兴趣区域，对感兴趣区域所有障碍物距离取最小值即得到融合后的碰撞距离。

本发明具有使用现有的超声波传感器、环视摄像头，整合泊车控制器和环视控制器，对车辆和行人及其他障碍物进行探测，实现超声波传感器和环视摄像头的融合探测，提高探测相对位置精度的同时，提升障碍物探测可靠性和探测距离，且可输出障碍物类型、速度和宽度，进而提升碰撞距离的精度和整个系统的可靠性，具有探测可靠，精度高，场景适应性好，成本适中等特点，可有效提升低速辅助系统的适应性，利于批量推广应用。

附图说明

图1为本发明的一个具体实施例的车辆区域划分。

图2为本发明的一个具体实施例的计算流程框图。

图3为本发明中超声波和摄像头探测到同一物体的图示；

图4为本发明的超声波和摄像头的融合策略框图；

图5为本发明中纯超声波碰撞距离计算分析示意图。

图6为本发明的车辆行人碰撞距离分析示意图。

其中，1---20为车辆周围划分的20个区，21为本车，22为摄像头融合障碍物，23为超声波传感器，24为摄像头，25为纯超声波障碍物，26为车辆的行驶行驶区域边界，27为纵向碰撞距离，28为车辆行人障碍物当前位置,29为碰撞时障碍物的位置，30为障碍物的纵向相对速度，31为障碍物的横向相对速度，32为纵向相对距离，33为横向相对距离。

具体实施方式

下面结合附图对本发明作进一步说明。

以下为本发明的一个具体实施例：

参见图1，为本实施例中车辆区域划分。将本车21正前方和正后方从本车中心线左右每隔1米划分为6个6×1米的区，左右根据超声波探测区域划分为4个区域，其中8、9、18、19分别以前后轴中心和轴距中心划分。当车辆行驶方向为前，逆时针转向时，感兴趣区域为1---6和17---20，无转向时，感兴趣区域为1---6，顺时针转向时，感兴趣区域为1---10。同理，若后向行驶，逆时针转向时，感兴趣区域为7---16，不转向时，为11---16，顺时针转向时，为11---20。

参见图2，本实施例中，安装在车辆周围的12个超声波传感器和4个环视CMOS摄像头对车辆周围进行探测，将车辆周围根据传感器擅长的探测区域划分为20个区域，每个区域同时输出一个障碍物，若无障碍物，则输出默认值，全车最大实现20个障碍物同时探测。

针对每一个区根据其障碍物类型，当障碍物为车辆（四轮车、两轮车）或行人时，基于相对速度和相对距离判断是否产生碰撞并计算出碰撞时间，然后基于当前本车速度得到障碍物为车辆或行人时的碰撞距离。

当障碍物不是车辆或行人，则根据车辆方向盘角度计算得到车辆的转弯半径和行驶区域，结合超声波传感器的相对位置信息计算障碍物是否在行驶区域内，若其在行驶区域内，则计算当前转弯半径下车辆外围到障碍物的距离。

实际车辆行驶时，根据车辆行驶方向和转向方向，选取对应的感兴趣区域，如前进未转向时选取1---6区。对选取的区取最小值，即得到当前工况下的碰撞距离。

参见图3，为本实施例中超声波传感器和摄像头探测到同一物体的图示。同一物体摄像头24和超声波传感器25均可以探测到，本实施例中摄像头对物体的识别通过深度学习完成，超声波传感器对物体的探测基于三角定位确定，基于本车同一位置，即可得到两传感器不同的位置信息。

参见图4，为超声波传感器和摄像头的融合策略。超声波传感器根据不同传感器间的收发关系通过三角定位得到超声波的位置坐标（x1,y1），摄像头的图像也可以经专用的图像处理器处理后计算得到识别出的行人（或车辆）位置坐标和相对本车速度（x2,y2,Vx,Vy），摄像头和超声波两个传感器的处理计算时间不同，测试得到两传感器的延时时间t1、t2，，根据本车速度及转向角得到在同一时刻时超声波探测到的障碍物坐标（x1’,y1’），同理根据相对运动速度、摄像头的延时时间得到该时刻摄像头探测到的障碍物坐标（x2’,y2’），通过判断（x1’,y1’）与（x2’,y2’）的误差，若该位置误差在设定的容差范围内，则将该物体融合为同一障碍物。

参见图5，为超声波碰撞距离计算方法。根据当前方向盘转角和轴距得到本车21转弯半径和转向圆心，结合车辆外侧参数，得到车辆的最大最小转弯半径，也即车辆行驶区域26。计算障碍物25和转向圆心的距离，若该距离在最小和最大转弯半径区间内，则认为障碍物会和本车发生碰撞。

根据转向圆心、障碍物22到转向圆心的距离、本车21轮廓线得到障碍物和本车的碰撞点坐标，最后根据碰撞点坐标、障碍物坐标和障碍物到转向圆心的距离得到碰撞点到障碍物坐标点的车辆行驶弧长，也即纯超声波障碍物的碰撞距离27。

参见图6，为车辆行人碰撞距离分析。根据相对位置、障碍物宽度，确定障碍物28和本车21的相对位置关系（左前方、正前方、右前方）。根据相对速度和相对位置判断碰撞可能性，当障碍物在本车右前方时，根据横纵向相对速度30、31和相对距离32、33得到横纵向碰撞时间，考虑实际碰撞可能性（正向碰撞或侧向碰撞），取横纵向碰撞时间较大值为总的碰撞时间，乘以本车当前速度，便得到本车于障碍物的碰撞距离27。当障碍物在本车正前方时，碰撞时间为纵向碰撞时间，然后将碰撞时间转化为碰撞距离。障碍物在左前方或后向行驶时，计算方法类似，不再详述。

在进一步的实施例中，还提出一种基于超声波和摄像头融合的碰撞距离计算系统，其包括障碍物探测模块、障碍物融合模块、车辆行人碰撞距离计算模块、纯超声波的碰撞距离计算模块和碰撞距离融合模块五部分。

所述障碍物探测模块用于利用摄像头和超声波传感器进行本车周围的障碍物探测，将得到的信息发送给障碍物融合模块。

所述障碍物融合模块基于超声波传感器和摄像头探测到的同一物体，结合本车速度、方向盘转向角、已知的传感器延时时间信息，得到同一时刻两传感器得到的坐标，若两坐标的误差在设定范围，则融合为同一物体。

所述车辆行人碰撞距离计算模块根据障碍物融合模块得到的物体信息，当障碍物为车辆或行人时，计算车辆行人碰撞距离。

所述纯超声波的碰撞距离计算模块根据障碍物融合模块得到的物体信息，当障碍物不是车辆或行人时，根据车辆方向盘角度计算得到车辆的转弯半径和行驶区域，结合超声波传感器的相对位置信息计算障碍物是否在行驶区域内，若其在行驶区域内，则计算当前转弯半径下车辆外围到障碍物的距离。

所述碰撞距离融合模块：将车辆行人碰撞距离计算模块和纯超声波的碰撞距离计算模块计算得到的车辆行人障碍物的碰撞距离融合，得到最终的整车碰撞距离。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

Claims (10)

1.一种基于超声波和摄像头融合的碰撞距离计算方法，其特征在于，包括如下步骤：

步骤1，障碍物探测：利用摄像头和超声波传感器进行本车周围的障碍物探测；

步骤2，障碍物融合：基于超声波和摄像头探测到的障碍物，结合本车速度、方向盘转向角、超声波传感器和摄像头延时时间信息，得到同一时刻两传感器得到的坐标，若两坐标的误差在设定范围，则融合为同一障碍物；

步骤3，车辆行人碰撞距离计算：当障碍物为车辆或行人时，计算车辆行人碰撞距离；

步骤4，纯超声波的碰撞距离计算：当障碍物不是车辆或行人时，则根据车辆方向盘角度计算得到车辆的转弯半径和行驶区域，结合超声波传感器的相对位置信息计算障碍物是否在行驶区域内，若其在行驶区域内，则计算当前转弯半径下车辆外围到障碍物的距离；

步骤5，碰撞距离融合：将纯超声波和车辆行人障碍物的碰撞距离融合得到最终的整车碰撞距离。

2.根据权利要求1所述的基于超声波和摄像头融合的碰撞距离计算方法，其特征在于，所述步骤1的障碍物探测是，当探测到障碍物为车辆或行人时，通过摄像头和超声波传感器融合得到障碍物的类型、相对速度、相对位置、可信度和宽度，若障碍物不是车辆或行人，则使用超声波探测的相对位置。

3.根据权利要求1所述的基于超声波和摄像头融合的碰撞距离计算方法，其特征在于，所述步骤3的车辆行人碰撞距离计算，是基于与车辆或行人的相对速度和相对距离判断是否产生碰撞并计算出碰撞时间，然后基于当前本车速度得到障碍物为车辆或行人时的碰撞距离。

4.根据权利要求3所述的基于超声波和摄像头融合的碰撞距离计算方法，其特征在于，所述步骤3的计算碰撞时间是使用相对位置和相对速度计算横向和纵向碰撞时间，再综合考虑横向碰撞和纵向碰撞的相对位置，得到碰撞时间。

5.根据权利要求1所述的基于超声波和摄像头融合的碰撞距离计算方法，其特征在于，所述步骤4的纯超声波的碰撞距离计算具体为：根据转向角度和车辆外围轮廓计算得到转弯半径和车辆的行驶区域，根据车辆和障碍物相对位置关系车辆转弯半径确定障碍物是否在行驶区域内；若其在行驶区域内，则根据转弯半径和和车辆外围轮廓计算其和车辆外围轮廓的碰撞点，进而根据转弯半径计算得到碰撞弧长，也即车辆的碰撞距离。

6.根据权利要求1所述的基于超声波和摄像头融合的碰撞距离计算方法，其特征在于，

所述步骤5的碰撞距离融合具体为：根据传感器输出的行驶方向、转向角度、障碍物类型分别计算每个区的碰撞距离，得到各种行驶方向、转向角度下的感兴趣区域，取感兴趣区域的最小值即为当前车辆融合后的碰撞距离。

7.根据权利要求1-6任一项所述的基于超声波和摄像头融合的碰撞距离计算方法，其特征在于，本方法是将车辆周围根据传感器擅长的探测区域划分为n个区域，n≥8，每个区域同时输出一个障碍物，若无障碍物，则输出默认值，全车最大实现n个障碍物同时探测。

8.一种基于超声波和摄像头融合的碰撞距离计算系统，其特征在于，包括障碍物探测模块、障碍物融合模块、车辆行人碰撞距离计算模块、纯超声波的碰撞距离计算模块和碰撞距离融合模块五部分；

所述障碍物探测模块用于利用摄像头和超声波进行本车周围的障碍物探测，将得到的信息发送给障碍物融合模块；

所述障碍物融合模块基于超声波传感器和摄像头探测到的同一物体，结合本车速度、方向盘转向角和已知的传感器延时时间信息，得到同一时刻两传感器得到的坐标，若两坐标的误差在设定范围，则融合为同一物体；

所述车辆行人碰撞距离计算模块根据障碍物融合模块得到的物体信息，当障碍物为车辆或行人时，计算车辆行人碰撞距离；

所述纯超声波的碰撞距离计算模块根据障碍物融合模块得到的物体信息，当障碍物不是车辆或行人时，根据车辆方向盘角度计算得到车辆的转弯半径和行驶区域，结合超声波传感器的相对位置信息计算障碍物是否在行驶区域内，若其在行驶区域内，则计算当前转弯半径下车辆外围到障碍物的距离；

所述碰撞距离融合模块：将车辆行人碰撞距离计算模块和纯超声波的碰撞距离计算模块计算得到的车辆行人障碍物的碰撞距离融合，得到最终的整车碰撞距离。

9.根据权利要求8所述的基于超声波和摄像头融合的碰撞距离计算系统，其特征在于，所述车辆行人碰撞距离计算模块是基于与车辆或行人的相对速度和相对距离判断是否产生碰撞并计算出碰撞时间，然后基于当前本车速度得到障碍物为车辆或行人时的碰撞距离；计算碰撞时间是使用相对位置和相对速度计算横向和纵向碰撞时间，再综合考虑横向碰撞和纵向碰撞的相对位置，得到碰撞时间。

10.根据权利要求8所述的基于超声波和摄像头融合的碰撞距离计算系统，其特征在于，所述纯超声波的碰撞距离计算模块是根据转向角度和车辆外围轮廓计算得到转弯半径和车辆的行驶区域，根据车辆和障碍物相对位置关系车辆转弯半径确定障碍物是否在行驶区域内；若其在行驶区域内，则根据转弯半径和和车辆外围轮廓计算其和车辆外围轮廓的碰撞点，进而根据转弯半径计算得到碰撞弧长，也即车辆的碰撞距离。

Images