CN114734966B - 基于摄像头和云端实时地图的自动紧急制动系统及方法 - Google Patents

Abstract

本发明公开了一种基于摄像头和云端实时地图的自动紧急制动系统及方法，包括图像数据获取与处理模块(100)、云端地图数据获取与处理模块(200)、TTC阈值动态预测模块(300)和紧急制动执行模块(400)；获取由车载摄像头拍摄的车辆前方图像，计算本车辆与潜在危险车辆的TTC值；获取云端的众包地图；依据以往计算图像数据的时间以及云端数据传输的延迟，预测下一次图像计算时间和网络延迟，以动态设置两车的碰撞发生时间TTC阈值；计算得到的TTC值和动态设置的TTC阈值进行比较，自动采取分级的制动决策。与现有技术相比，本发明能够预测并动态设置碰撞发生时间TTC以使得车辆的紧急制动能力更强，使得车辆更加的安全。

Description

基于摄像头和云端实时地图的自动紧急制动系统及方法

技术领域

本发明涉及无人驾驶车辆自动紧急制动领域，特别是涉及一种基于云端实时地图的自动紧急制动系统及方法。

背景技术

自动紧急制动(AEB)系统主要借助传感器收集和感知环境信息，依据车辆运行状态，划分行车危险程度。AEB系统可以借助自动制动方式防止或减轻碰撞事故，属于ADAS体系。该系统能够利用激光雷达、毫米波雷达等传感器收集和感知目标信息，如结合相对距离、目标车速迅速计算行车的碰撞危险系数。若危险系数接近启动报警装置的临界值时，则说明汽车和目标的碰撞可能性极大，AEB系统会借助图像、声音等途径提醒驾驶员完成避撞操作，提升汽车制动能力。

现有自动紧急制动技术主要基于安全距离和碰撞发生时间(Time to Collision,TTC)。基于安全距离的AEB技术依靠传感器获取前方危险目标的车间距，根据行车间距的安全距离设置避撞方式，主要是计算车辆和目标车辆的安全距离，将距离长度设置为行车危险程度指标，比对紧急制动的安全距离、预警安全距离，进而及时指导AEB系统做出主动制动和预警避撞操作；基于TTC的AEB技术依靠传感器获取前后车的相对距离以及相对速度，通过相对距离与相对速度比值计算TTC数值，并设置TTC指标，判断行车危险系数，结合紧急制动和系统预计碰撞预警的TTC值进行对比，进而引导AEB系统实现主动制动、预警制动等操作。

现有自动紧急制动技术无论是依靠车间距进行危险等级划分，还是利用碰撞发生时间指标TTC判断车辆危险系数，只是可以达到发出报警提醒驾驶员进行制动，若碰撞无法避免则达到部分制动以减轻碰撞的程度，其紧急制动主要还是需要依靠驾驶员进行，只能达到减少追尾等交通事故的效果，无法完全避免碰撞的发生。同时传统紧急制动技术高度依托驾驶员反应特性以及驾驶员的认知和判断能力，依靠驾驶员的反应时间，认知和判断能力预设碰撞发生时间指标，若驾驶员反应不及时则发生碰撞的可能性大大增加。同时传统技术对于处于视觉盲区的危险目标的避免碰撞能力不足，由于无法检测到盲区目标，所以无法进行紧急制动，避免碰撞的发生。

自动紧急制动(AEB)技术需要适用于复杂的交通环境中，并不断优化系统的避撞性能，减少响应时间，制定先进的执行方案，提升辆运行和制动的安全性能。本发明主要解决在自动驾驶情况下，利用摄像头和云端的实时地图进行车辆的自动紧急制动，可以解决以下问题：

1)完全的紧急制动，在无人状态下实现车辆的紧急制动。

2)不用依托驾驶员的反应时间，判断和认知能力。

3)在存在视觉盲区并突然出现行人或其他障碍物时也可实现自动紧急制动。

发明内容

本发明旨在提出一种基于摄像头和云端实时地图的自动紧急制动系统及方法，通过预测碰撞发生时间来进行车辆制动分析决策，实现无人驾驶状态下的车辆的完全紧急制动，不依赖于驾驶员的反应与判断以及操作。

本发明采用以下的技术方案来实现：

一种基于摄像头和云端实时地图的自动紧急制动系统，该系统包括图像数据获取与处理模块100、云端地图数据获取与处理模块200、TTC阈值动态预测模块300和紧急制动自动决策分析模块400；其中：

所述图像数据获取与处理模块100，用于获取由车载摄像头拍摄的车辆前方图像，并对图像进行处理，依据图像对其中潜在的危险目标进行识别和检测，并计算本车辆与潜在危险车辆的碰撞发生时间TTC值，输入所述紧急制动模块；

所述云端地图数据获取与处理模块200，设置于云端服务器中，用于获取云端的众包地图，为车辆提供实时的地图，并计算车辆与潜在危险车辆的碰撞发生时间TTC值；

所述TTC阈值动态预测模块300，用于依据以往计算图像数据的时间以及云端数据传输的延迟，预测下一次图像计算时间和网络延迟，以动态设置两车的碰撞发生时间TTC阈值；

所述紧急制动自动决策分析模块400，根据所述图像数据获取与处理模块100或者云端地图数据获取与处理模块200计算所得到的碰撞发生时间TTC值和动态设置的TTC阈值进行比较，设置行车危险系数，自动采取分级的制动决策。

一种基于摄像头和云端实时地图的自动紧急制动方法，该方法包括以下步骤：

获取由车载摄像头拍摄的车辆前方图像，并对图像进行处理，依据图像对其中潜在的危险目标进行识别和检测，并计算本车辆与潜在危险车辆的TTC值；

获取云端的众包地图，为车辆提供实时的地图；该众包地图是大量车辆进行实时上传的图像数据以及各种动态目标检测分析数据，发送给车辆以备分析出具有潜在危险的目标；

依据以往计算图像数据的时间以及云端数据传输的延迟，预测下一次图像计算时间和网络延迟，以动态设置两车的碰撞发生时间TTC阈值；

计算得到的TTC值和动态设置的TTC阈值进行比较，以对此时行车的危险系数进行设置，自动采取分级的制动决策。

与现有技术相比，本发明一种基于摄像头和云端实时地图的自动紧急制动系统及方法所具有的优点如下：

1)能够预测并动态设置碰撞发生时间TTC以使得车辆的紧急制动能力更强，使得车辆更加的安全；

2)能够实现在视觉盲区忽然出现的行人或物体以避免碰撞的发生。

附图说明

图1为本发明的基于摄像头和云端实时地图的自动紧急制动系统架构示意图；

图2为图像数据获取与处理模块100的执行流程图；

图3为碰撞发生时间TTC的计算原理图；

图4为云端地图数据获取与处理模块200执行流程图；

图5TTC阈值动态预测模块300执行流程图；

图6为紧急制动自动决策分析模块400执行流程图。

具体实施方式

以下结合附图和具体实施例对本发明的技术方案进行详细说明。

如图1所示，为本发明的基于摄像头和云端实时地图的自动紧急制动系统架构示意图。该系统包括图像数据获取与处理模块100、云端地图数据获取与处理模块200、TTC阈值动态预测模块300、紧急制动自动决策分析模块400。其中:

所述图像数据获取与处理模块100，用于获取由车载摄像头拍摄的车辆前方的图像，并对图像进行处理，依据图像对其中潜在的危险目标进行识别和检测，并计算本车辆与潜在危险车辆的TTC值，输入所述紧急制动自动决策分析模块400；

所述云端地图数据获取与处理模块200，用于获取云端的众包地图，为车辆提供实时的地图；该众包地图是大量车辆进行实时上传的图像数据以及各种动态目标检测分析数据，发送给车辆以备分析出具有潜在危险的目标，并计算车辆与潜在危险车辆的碰撞发生时间TTC值；该模块存在于云端服务器中；

所述TTC阈值动态预测模块300，用于依据以往计算图像数据的时间以及云端数据传输的延迟，预测下一次图像计算时间和网络延迟，以动态设置两车的碰撞发生时间TTC阈值。

所述紧急制动自动决策分析模块400，根据所述图像数据获取与处理模块100计算得到的TTC值或者云端地图数据获取与处理模块200计算出的TTC值和动态设置的TTC阈值进行比较，以对此时行车的危险系数进行设置并采取相应行动。

如图2所示，为图像数据获取与处理模块100执行流程图。该流程具体包括以下步骤：

步骤1.1：获取摄像头数据；

步骤1.2：进行图像数据预处理：首先将图像进行裁剪，把图像中关于本车的部分进行裁剪，如引擎盖，这些部分会影响图像的识别，同时转化成Blob格式；

步骤1.3：给所使用的图像检测算法设置参数：本发明使用YOLOv3神经网络作为图像检测算法进行图像识别。YOLOv3神经网络借鉴了残差网络结构，形成更深的网络层次，以及实现多尺度检测。使用时设置过滤系数为0.7，以及神经网络层为420；

步骤1.4：将预处理好的图像数据图片输入到设置好的YOLOv3神经网络中进行计算；

步骤1.5：获取神经网络层输出并记录时间，获取YOLOv3神经网络输出的计算结果，记录神经网络的计算时间为步骤3.1进行预测提供数据；

步骤1.6：过滤低置信度：从YOLOv3神经网络的输出的所有的检测到目标中过滤掉其中的低置信度的目标，确保检测的精度；

步骤1.7：绘制目标：得到过滤的结果之后，在图像上进行绘制，标记出检测目标；

步骤1.8：计算两车的碰撞碰撞发生时间TTC，如下式所示：

其中，D为两车相对距离，V为辆车的相对速度。

如图3所示，为碰撞发生时间TTC的计算原理图。根据针孔相机模型，目标投影到像平面上具有比例关系根据比例关系、常速度模型就可以求得碰撞发生时间TTC。

常速度模型表达式为：

d(t+Δt)＝d(t)-v₀·Δt

其中，v₀为初速度，t为当前时刻，Δt为t时刻的时间增量。

比例关系表达式如下：

其中，h_n-1为物体在n-1时刻在相机上的投影图像大小，h_n为物体在n时刻在相机上的投影图像大小，F为相机焦距，H为物体高度，D_n-1为n-1时刻摄像头到物体的距离，D_n为n时刻摄像头到物体的距离；

由于图像的获取的速度非常快，在n-1时刻和n时刻获取的两帧图像的时间间隔非常短，再由常速度模型可得，

碰撞发生时间TTC表达式如下：

步骤1.9：输出碰撞发生时间TTC和图像计算时间：分别是将当前的TTC值即TTC_curr输出到步骤4.1中，将图像计算时间输出到步骤3.1中。

如图4所示，为云端地图数据获取与处理模块200执行流程图。具体包括以下步骤：

步骤2.1：车辆将各自的摄像头的图像数据上传至云端服务器，利用云端服务器对数据进行以下的计算；

步骤2.2：对上传的图像数据进行目标检测，检测出动态的目标物体，如行人、汽车；

步骤2.3：将检测的目标投影到3D世界中，对其进行位置标记，将其标记在地图点中；

步骤2.4：将各车辆上传数据中标记的目标物体，组合在地图中，并下发更新后的地图给行驶车辆，根据车辆位置关联附近目标并进行提醒，输出TTC_curr到步骤4.1中，以及输出网络传输延迟时间到步骤3.1中。

如图5所示，为TTC阈值动态预测模块300执行流程图。由于计算机的性能以及网络不稳定等原因，可能会导致车辆在进行紧急制动决策时发生延迟，来不及做出紧急制动，导致碰撞发生，所以需要动态设置碰撞发生时间TTC的阈值，在图像计算时间长或者网络延迟大时就设置大的碰撞发生时间TTC阈值，否则，设置小的碰撞发生时间TTC阈值，以保证由足够时间进行紧急制动。该流程包括以下步骤：

步骤3.1：从步骤1.9中获取图像数据的处理时间以及从步骤2.4中获取网络传输延迟时间/>

步骤3.2：设置好预测需要的初始化参数，包括平滑系数α₁＝0.6α₂＝0.6；

步骤3.3：计算预测值。这里使用一次指数平滑预测模型，为预测下次的图像处理时间和网络延迟。一次指数平滑预测的公式如下：

S_t＝α·y_t+(1-α)S_t-1

其中，S_t为第t期的预测值(或指数平滑值)，y_t为第t期的实际值，S_t-1为第t-1期的预测值(或指数平滑值)，α为平滑系数，其取值范围为(0,1)。

计算时间的预测值的计算公式如下：

其中，为第i期图像计算时间的预测值，/>为第i-1期图像计算时间的原始真实值；/>为第i-1期图像计算时间的预测值，/>为第i期网络传输延迟时间的预测值；/>为第i-1期网络传输延迟时间的原始真实值，/>为第i-1期网络传输延迟时间的预测值，α₁，α₂为步骤3.2设置的平滑系数，α₁＝0.6，α₂＝0.6；

步骤3.4：设置碰撞发生时间TTC阈值和制动距离阈值。由于在车辆运行时，由于各种原因导致计算性能不稳定，可能导致一段时间内，图像的处理时间过大，或者由于网络的波动导致网络延迟过大，这将使得紧急制动模块不能及时处理并制动，以保证行车安全。所以需要动态设置碰撞发生时间TTC阈值和制动距离阈值，在图像处理时间消耗过大或者网络延迟过大时，所设置的碰撞发生时间TTC阈值和制动距离阈值也将变大，当图像处理时间和网络传输延迟较小时，设置较小的TTC和距离阈值，计算如下：

TTC₁＝TTC₀+K

TTC₂＝TTC₁+K

其中，TTC₀为设置的一级TTC阈值，λ₁和λ₂分别为阈值设定的系数，TTC₁为设置的二级TTC阈值，是在TTC₀基础上加上一个常数K，TTC₂为设置的三级TTC阈值，是在TTC₁基础上加上一个常数K。

如图6所示，为紧急制动自动决策分析模块400执行流程图。进行紧急制动，由前三个模块提供数据进行制动决策分析。特别是，本模块设置了三级的TTC阈值，使得车辆更加平稳，避撞能力更强。

步骤4.1：获取实时碰撞发生时间TTC和预测碰撞发生时间TTC阈值，获取由步骤1.9和步骤2.4生成的TTC_curr，以及由步骤3.4生成的TTC阈值TTC_i，i∈{0,1,2}；

步骤4.2：依据刹车决策系数brake实现紧急制动控制决策分析，刹车决策系数brake表示刹车踏板踩下的程度，其取值范围为[0,1]，0表示完全松开刹车，1表示完全踩死刹车；

依据碰撞发生时间TTC采取三级制动控制：

①当TTC_curr＞TTC₂时，brake＝0，维持车速不变，此时危险等级最低；

②当TTC₁＜TTC_curr≤TTC₂时，进行部分制动，减速，brake＝0.7；

当TTC₀＜TTC_curr≤TTC₁时，再次进行部分制动，减速，brake＝0.5；

③当TTC_curr≤TTC₀，进行完全制动，brake＝1，使车辆完全停止，刹车踩死，避免碰撞发生，此时危险等级最高。

Claims (6)

1.一种基于摄像头和云端实时地图的自动紧急制动系统，其特征在于，该系统包括图像数据获取与处理模块(100)、云端地图数据获取与处理模块(200)、TTC阈值动态预测模块(300)和紧急制动自动决策分析模块(400)；其中：

所述图像数据获取与处理模块(100)，用于获取由车载摄像头拍摄的车辆前方图像，并对图像进行处理，依据图像对其中潜在的危险目标进行识别和检测，并计算本车辆与潜在危险车辆的碰撞发生时间TTC值，输入所述紧急制动模块；

所述云端地图数据获取与处理模块(200)，设置于云端服务器中，用于获取云端的众包地图，为车辆提供实时的地图，并计算车辆与潜在危险车辆的碰撞发生时间TTC值；

所述TTC阈值动态预测模块(300)，用于依据以往计算图像数据的时间以及云端数据传输的延迟，预测下一次图像计算时间和网络延迟，以动态设置两车的碰撞发生时间TTC阈值；

所述紧急制动自动决策分析模块(400)，根据所述图像数据获取与处理模块(100)或者云端地图数据获取与处理模块(200)计算所得到的碰撞发生时间TTC值和动态设置的TTC阈值进行比较，设置行车危险系数，自动采取分级的制动决策。

2.如权利要求1所述的基于摄像头和云端实时地图的自动紧急制动系统，其特征在于，所述图像数据获取与处理模块(100)具体包括以下执行流程：

步骤1.1：获取摄像头数据；

步骤1.2：进行图像数据预处理：首先将图像进行裁剪，从图像中裁剪本车的部分，同时转化成Blob格式；

步骤1.3：使用YOLOv3神经网络作为图像检测算法进行图像识别，设置过滤系数为0.7，神经网络层数为420；

步骤1.4：将预处理好的图像数据图片输入到设置好的YOLOv3神经网络中；

步骤1.5：获取神经网络层输出并记录时间，获取YOLOv3神经网络输出的计算结果，记录神经网络的计算时间为步骤3.1进行预测提供数据；

步骤1.6：从YOLOv3神经网络的输出的所有的检测到目标中过滤掉其中的低置信度的目标；

步骤1.7：得到过滤的结果之后，在图像上进行绘制，标记检测目标；

步骤1.8：计算两车的碰撞碰撞发生时间TTC，表达式如下：

其中，h_n-1为物体在n-1时刻在相机上的投影图像大小，h_n为物体在n时刻在相机上的投影图像大小，为相机焦距，H为物体高度，D_n-1为n-1时刻摄像头到物体的距离，D_n为n时刻摄像头到物体的距离；

步骤1.9：分别将当前时刻的TTC值即TTC_curr输出到步骤4.1中，将图像计算时间输出到步骤3.1中。

3.如权利要求1所述的一种基于摄像头和云端实时地图的自动紧急制动系统，其特征在于，所述云端地图数据获取与处理模块(200)具体包括以下执行流程：

步骤2.1：车辆将各自的摄像头的图像数据上传至云端服务器，利用云端服务器对数据进行以下的计算；

步骤2.2：对上传的图像数据进行目标检测，检测出动态的目标物体，如行人、汽车；

步骤2.3：将检测的目标投影到3D世界中，对其进行位置标记，将其标记在地图点中；

步骤2.4：将各车辆上传数据中标记的目标物体，组合在地图中，并下发更新后的地图给行驶车辆，根据车辆位置关联附近目标并进行提醒，输出TTC_curr到步骤4.1中，以及输出网络传输延迟时间到步骤3.1中。

4.如权利要求1所述的一种基于摄像头和云端实时地图的自动紧急制动系统，其特征在于，所述TTC阈值动态预测模块(300)具体包括以下执行流程：

步骤3.1：从步骤1.9中获取图像数据的处理时间以及从步骤2.4中获取网络传输延迟时间/>

步骤3.2：设置好预测需要的初始化参数，包括平滑系数α₁，α₂；

步骤3.3：计算预测值，表达式如下：

其中，为第i期图像计算时间的预测值，/>为第i-1期图像计算时间的原始真实值；/>为第i-1期图像计算时间的预测值，/>为第i期网络传输延迟时间的预测值；为第i-1期网络传输延迟时间的原始真实值，/>为第i-1期网络传输延迟时间的预测值，α₁，α₂为平滑系数；

步骤3.4：设置碰撞发生时间TTC阈值和制动距离阈值：

TTC₁＝TTC₀+K

TTC₂＝TTC₁+K

其中，TTC₀为设置的一级TTC阈值，λ₁和λ₂分别为阈值设定的系数，TTC₁为设置的二级TTC阈值，是在TTC₀基础上加上一个常数K，TTC₂为设置的三级TTC阈值，是在TTC₁基础上加上一个常数K。

5.如权利要求1所述的一种基于摄像头和云端实时地图的自动紧急制动系统，其特征在于，所述紧急制动自动决策分析模块(400)具体包括以下执行流程：

步骤4.1：获取实时碰撞发生时间TTC值和预测碰撞发生时间TTC阈值，获取由步骤1.9和步骤2.4生成的TTC_curr，以及由步骤3.4生成的TTC阈值TTC_i，i∈{0,1,2}；

步骤4.2：依据刹车决策系数brake实现紧急制动控制决策分析，刹车决策系数brake表示刹车踏板踩下的程度，其取值范围为[0,1]，0表示完全松开刹车，1表示完全踩死刹车；

依据碰撞发生时间TTC采取三级制动控制：

①当TTC_curr＞TTC₂时，brake＝0，维持车速不变，此时危险等级最低；

②当TTC₁＜TTC_curr≤TTC₂时，进行部分制动，减速，brake＝0.7；

当TTC₀＜TTC_curr≤TTC₁时，再次进行部分制动，减速，brake＝0.5；

③当TTC_curr≤TTC₀，进行完全制动，brake＝1，使车辆完全停止，刹车踩死，避免碰撞发生，此时危险等级最高。

6.基于权利要求1-5任意一项所述的一种基于摄像头和云端实时地图的自动紧急制动系统的一种基于摄像头和云端实时地图的自动紧急制动方法，其特征在于，该方法包括以下步骤：

获取由车载摄像头拍摄的车辆前方图像，并对图像进行处理，依据图像对其中潜在的危险目标进行识别和检测，并计算本车辆与潜在危险车辆的TTC值；

获取云端的众包地图，为车辆提供实时的地图；该众包地图是大量车辆进行实时上传的图像数据以及各种动态目标检测分析数据，发送给车辆以备分析出具有潜在危险的目标；

依据以往计算图像数据的时间以及云端数据传输的延迟，预测下一次图像计算时间和网络延迟，以动态设置两车的碰撞发生时间TTC阈值；

计算得到的TTC值和动态设置的TTC阈值进行比较，以对此时行车的危险系数进行设置，自动采取分级的制动决策。