CN114495066A - 一种辅助倒车的方法 - Google Patents

Abstract

本发明公开了一种辅助倒车的方法，包括：识别完整车位轮廓线，判断车位轮廓线内是否存在障碍物；若存在障碍物，则等待障碍物被移走或重新选择新的车位；否则利用车辆自带的倒车影像相机采集车辆后方地面视频流信息，进行自适应视频帧间隔抽样；对抽出的帧图像进行语义分割运算，提取帧图像中的车位轮廓线、行人以及其他车辆的轮廓信息；利用深度残差网络进行深度估计运算得到深度图；分析车辆自身与车位轮廓线的角度关系及停车位的宽度，调整车辆自身位姿，计算并规划倒车路径；获取在倒车地点附近出现的其他车辆、行人分别与自身车辆的距离，并根据估算的倒车路径，分析倒车的可能性，根据各种可能情况分析出最优倒车路径，及时调整倒车路线。

Description

一种辅助倒车的方法

技术领域

本发明涉及一种辅助倒车的方法，属于车辆倒车过程中的路径规划技术领域。

背景技术

随着基于深度学习的光流和单目深度估计方法的提出，人们可快速识别和检测视频流中的车辆信息。基于单目视觉的交通场景中车辆轨迹的提取方法是利用固定全景相机拍摄的视频流和场景中多个特征点的坐标信息，提取场景中车辆的速度和轨迹信息，实验表明该方法具有约束少、部署方便、恢复准确的优点，同时保证了一定的实时性，具有实际的工程意义。

基于视频分析的探测和目标识别技术已经从传统功能转变为深度学习。这些传统和直观的功能在这个阶段取得了很好的结果。然而，由于目标的多样性和角度变化等因素，传统的基于特征的目标检测遇到了难以克服的瓶颈。近年来，深度学习技术大大提高了在多个状态探测和识别目标的效率。在自动驾驶中需要确定和评估许多目标，包括行进路线上的车辆、行人、路标和辅助倒车等，使得目标识别环境复杂而难以实现。从对行人和车辆的识别角度分析，基于深度学习的方法显著优越于传统方法。由于其可以通过学习提取图像数据中的特征，具有更好的稳定性和准确性。

目前在倒车方面获取后方道路信息的方法一般是利用激光雷达、超声波雷达、双目摄像头来建立测量系统，首先获取到车辆后方位于驾驶员死角的道路图像并转化为3D点云数据，然后通过三角测距等方法计算出与障碍的距离，提供处理数据，通过摄像头目标识别确定目标的信息，计算自身与这些目标的距离，来获取整个道路的信息。

在一些专利和论文中涉及到了分析后方道路情况从而进行辅助倒车的方法，有些论文使用信息融合的雷达影像设计，如《信息融合的倒车雷达影像系统设计与实现》使用的是超声波倒车雷达与双目摄像头辅助，计算后方的障碍物与车辆的距离大小，只实现与后方障碍物距离的计算，不能分析路径信息，且分析停靠车位的信息计算量较大，复杂度高，耗费时间长；在另外一些论文中使用光流检测提取出车位中的障碍物信息，如仇小刚在论文《基于机器视觉的智能倒车辅助系统》中分析距离，通过Hough直线检测法检测到停车线，标明停车位置，这种方法的适用范围较窄，只能在特定的情况下才能取到良好效果，对于存在的障碍物识别的准确率低、分析效果较差，对于停车位旁边存在车辆时会判定车辆也为障碍物从而终止停车。

发明内容

本发明所要解决的技术问题是：提供一种辅助倒车的方法，解决了现有辅助倒车技术中计算量大、复杂度高、耗时长、对障碍物识别准确率低等问题，加强倒车环节的安全性、准确性和便捷性。

本发明为解决上述技术问题采用以下技术方案：

一种辅助倒车的方法，包括如下步骤：

步骤1，在车辆倒车并停入停车位的过程中，从车辆倒车开始识别车辆后方地面是否有完整的车位轮廓线，当识别到完整的车位轮廓线时，判断识别到的车位轮廓线内是否存在障碍物；

步骤2，若存在障碍物，则等待障碍物被移走或者重新选择一个新的车位并返回步骤1；否则进入步骤3；

步骤3，利用车辆自带的倒车影像相机采集车辆后方地面视频流信息，对视频流信息进行自适应视频帧间隔抽样；

步骤4，对步骤3抽出的帧图像进行语义分割运算，提取出帧图像中的车位轮廓线、帧图像中的行人以及其他车辆的轮廓信息；

步骤5，针对语义分割后的帧图像，利用深度残差网络进行深度估计运算，得到车辆后方地面的深度图像；

步骤6，根据步骤5得到的深度图像，分析车辆自身与车位轮廓线的角度关系以及停车位的宽度大小，调整车辆自身的位姿，计算并规划倒车路径；

步骤7，根据深度图像，获取在倒车地点附近出现的其他车辆、行人分别与自身车辆的距离，并根据在步骤6中估算的倒车路径，分析倒车的可能性，根据各种可能情况分析出最优倒车路径，及时调整倒车路线，让汽车能够安全停入停车位中。

作为本发明的一种优选方案，步骤3所述自适应视频帧间隔抽样中，根据当前车速以及深度残差网络的最大探测距离自适应调整当前抽样间隔时间，则抽样间隔时间具体为：

其中，V表示当前车速，T(V)表示车速V下的抽样间隔时间。

作为本发明的一种优选方案，所述步骤4中，利用语义分割网络detectron2对步骤3抽出的帧图像进行语义分割运算。

作为本发明的一种优选方案，所述步骤5中，在深度残差网络的解码器中使用拉普拉斯金字塔结构，利用金字塔的分解定义深度残差，且深度残差网络的激活函数选用Softplus激活函数，即：

Softplus(x)＝ln(1+exp(x))

其中，x表示Softplus激活函数的输入量；

计算车辆自带的倒车影像相机与实际距离的转换关系，从而得到车辆后方地面的深度图像，计算公式如下：

其中，(x_c,y_c,z_c)为深度估计得到的深度图内像素点P_c坐标，(x,y,z)为世界坐标系中坐标，k、l均为相机内参，f为相机外参，c_x为像素坐标系坐标x的偏置，c_y为像素坐标系坐标y的偏置。

作为本发明的一种优选方案，所述步骤6的具体过程如下：

步骤6.1，根据步骤5得到的深度图像内的车位轮廓线信息，确定停车位的宽度w，即：

w＝y₁-y₂

定义车位轮廓线中较长的两条轮廓线分别为左、右轮廓线，y₁为左轮廓线的纵坐标值，y₂为右轮廓线的纵坐标值；

步骤6.2，计算车辆自身与右轮廓线之间的角度：

步骤6.3，根据步骤6.2得到的角度θ得到车辆自身的位姿信息，即车辆相对于停车位的位置，并计算最优的倒车路线，具体为：

建立以车辆自带的倒车影像相机为原点，车头朝向为Y轴正方向的二维坐标系，则车身中点A在二维坐标系的坐标为(x_a,y_a,α_a)，车位中点B在二维坐标系的坐标为(x_b,y_b,α_b)，其中，α_a与角度θ大小相同，方向相反；α_b的大小为

方向为车头朝向；分别对车位中轴线中较短的那条中轴线以及车辆中轴线中较长的那条中轴线进行延长，找到两个延长线的交点D，求得交点D坐标(x_d,y_d)，利用距离公式求得BD两点之间的距离h，h即为倒车入库汽车的转弯半径R；根据转弯半径画一个圆，该圆的半径为转弯半径，且直线AD、BD均与该圆相切，该圆与直线AD的切点即为转弯地点C，进而求得转弯地点C坐标，根据转弯半径R以及B、C两点的坐标求得圆弧

的长度，即为转弯距离；

即车辆先倒车行驶到C点，再根据转弯半径与圆弧

长度，沿着圆弧倒车行驶到B点，即完成倒车并停入停车位的操作。

作为本发明的一种优选方案，所述步骤7的具体过程如下：

步骤7.1，若在倒车地点附近出现其他车辆、行人，则根据当前帧图像与前一帧图像确定其他车辆与自身车辆的距离、行人与自身车辆的距离、其他车辆的速度以及行人的速度；

步骤7.2，若当前帧图像中自身车辆后方出现其他车辆，则根据当前帧图像计算其他车辆与自身车辆的距离D_hm，自身车辆与停车位的距离D_d，当D_hm小于D_d时，判定无法到达停车位，停止倒车行驶，重新选择一个新的停车位并返回步骤1，当D_hm大于D_d时，判定能够倒车行驶，在倒车行驶过程中，根据以下判决公式继续判断能否倒车：

H＝K-h

其中，D_s为在倒车行驶过程中自身车辆与其他车辆的距离，v₁为步骤6计划行驶的倒车速度，v₂为其他车辆的行驶速度，H为安全车距，K为步骤6计划行驶的倒车距离，h为误差，T为步骤6计划行驶的倒车时间；

当H大于D_s时，判定其他车辆影响倒车行驶，停止倒车，待其他车辆离开后继续倒车，当H小于D_s时，判定其他车辆未影响倒车行驶；在倒车行驶过程中，若自身车辆后方出现行人，则进入步骤7.3，待步骤7.3完成后继续步骤7.2；

步骤7.3，若当前帧图像中自身车辆后方出现行人，记录行人的坐标(x_o,y_o,z_o)，计算行人与自身车辆的距离：

根据判决公式判断能否倒车：

F＝K+h

当L大于F时，判定行人未影响倒车行驶，当L小于F时，判定行人影响倒车行驶，停止倒车，待行人离开后继续倒车。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1、本发明利用深度残差网络来进行深度估计与三维图像重建，得到倒车过程中周围环境的实时信息(包括倒车路线上的障碍物、车辆、行人等)，结合实时情况规划出最优倒车路径。

2、相较于其他倒车方法，本发明将二维图像转化为三维图像，根据三维图像可以得到更准确的深度距离信息，提高了距离估计的准确性和倒车的安全性。

3、本发明采用单目摄像头，相较于双目摄像头，单目摄像头时效性更高，可以在更短时间内反映道路信息，单目摄像头安装方便且成本较低。

附图说明

图1是本发明一种辅助倒车的方法的流程图；

图2是本发明使用的深度残差网络结构图；

图3是本发明使用的深度估计算法的效果图；

图4是本发明的倒车入库规划图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本发明提出一种辅助倒车的方法，充分运用了编码良好特征目标的潜在特性来进行单目深度估计，本发明引入拉普拉斯金字塔模型，将图像以金字塔型结构作为网络输入，金字塔型结构的输入使得网络能够多尺度提取特征，将特征输入到不同的视频流中解码深度残差运算，以获取倒车过程中的道路信息(包括车辆及周边物体轮廓大小、坐标、距离、速度等)，用于合理规划倒车过程中的路径。

获取倒车的行车周围环境的深度图像是本发明的关键技术，基于深度学习对获取的图像信息进行深度估计是本发明的核心，本发明采用基于拉普拉斯金字塔结构的深度残差网络进行深度估计对道路情况进行预估做出判断。

如图1所示，为本发明一种辅助倒车的方法的流程图，具体步骤如下：

步骤一：在车场倒车并停入停车位的过程中，识别车辆后方地面是否有轮廓线，当识别到一个停车位的完整轮廓线时，检测该轮廓线内是否有障碍物。

步骤二：若有障碍物，则等待该障碍物被移走或者选择一个新的停车位，并再次识别和检测。当轮廓线内没有障碍物时，即选择的停车位没有障碍物，则被选定为倒车地点，进行倒车，进入下一步。

步骤三：使用车辆自带的倒车影像相机采集车辆后方地面视频流数据信息，并对视频流数据进行自适应视频帧间隔抽样。

对于当前的行车速度，要确保每一段行车间隔内都能有效地获取帧来确保网络模型的有效输入，防止堵塞导致延时响应，提高性能。默认深度残差网络最大探测距离为40-50米，当前车速为V，默认的间隔采样时间公式为：

步骤四：使用语义分割网络，对所抽出的帧图片进行分割运算，提取出倒车地点的停车线，倒车地点附近的行人、车辆的轮廓信息。

使用语义分割网络：利用detectron2的语义分割网络，对所抽出的帧图片进行分割运算，提取出倒车地点的车位轮廓线，倒车地点附近的行人、其他车辆的轮廓信息。

步骤五：针对语义分割后的帧图片进行深度估计运算，得到后方的深度图像。

步骤501、使用拉普拉斯金字塔结构构建深度残差卷积网络；图2是本发明使用的深度残差网络结构图；图3是本发明使用的深度估计算法的效果图。

在深度残差卷积网络的解码器中使用拉普拉斯金字塔结构，利用金字塔的分解定义深度残差。在解码端,设计了像素重组上采样模块，它使用像素重组，融合全局特征和金字塔的特征，并提高特征分辨率。其中，金字塔模块提取了各尺度的特征信息，像素重组提高特征的分辨率并保留了所有的特征信息。实验表明该方法增强了特征信息，提高了深度估计的精确度，能够精确估计道路情况内目标的深度边界和了解全局情况。

步骤502，激活函数修改

激活函数是用来将非线性组合与隐藏层变为线性。在本发明中激活函数选用Softplus，此激活函数函数定义为：

Softplus(x)＝ln(1+exp(x))

Softplus和Relu都更加接近脑神经元的激活模型，选择Softplus为激活函数，是因为Softplus函数比原有的Relu函数处理后的数据更平滑，也保持了Relu的单向抑制性。

步骤503，计算相机与实际距离的转换关系

由于使用相机的不同，深度估计所能反应的距离也不同，其中照片内像素对应实际距离的公式为：

其中，(x_c,y_c,z_c)为深度估计得到的深度图内像素点P_c坐标，(x,y,z)为世界坐标系中坐标，k、l均为相机内参，f为相机外参，c_x为像素坐标系坐标x的偏置，c_y为像素坐标系坐标y的偏置。

步骤六：分析车辆自身与停车线的角度关系与空位的宽度大小，调整车辆自身的位姿，计算并规划倒车路径。

步骤601、根据深度图内车位轮廓线信息，确定停车位宽度w，公式为：

w＝y₁-y₂

定义车位轮廓线中较长的两条轮廓线分别为左、右轮廓线，y₁为左轮廓线的纵坐标值，y₂为右轮廓线的纵坐标值；

步骤602、计算车身与倒车位置两侧停车线的角度：

其中，arccos为cos的反函数，θ为车辆与右轮廓线的角度。

步骤603、根据步骤602得到的θ能够得到车辆的自身位姿信息(即车辆相对于停车位的位置)，并计算最优的倒车路线如图4所示。建立以相机为原点，车头朝向为Y轴正方向的二维坐标系，车身中点A在二维平面的坐标(x_a,y_a,α_a)以及车位中点B在二维平面的坐标(x_b,y_b,α_b)，其中，α_a与θ大小相同，方向相反、α_b大小为π/2-θ，为车头朝向；在车头方向的延长线上找到两延长线的交点D，求得交点坐标D(x_d,y_d),利用距离公式求得BD两点之间的距离h，h即为倒车入库汽车的转弯半径R；利用转弯半径R、直线AD、直线BD均相切于半径R所在的圆，求得转弯地点坐标C，利用圆的半径R和B、C两点的坐标求得圆弧

的长度，即为转弯距离；

其中，

则车辆先倒车行驶到C点，再根据转弯半径与圆弧

长度，沿着圆弧倒车行驶到B点，即完成倒车并停入停车位的操作。

步骤七：根据后方的深度图像，获取在倒车地点附近出现的车辆、行人等的距离，并根据在步骤六中估算的倒车路径，分析倒车的可能性，根据各种可能情况分析出最优倒车路径，及时调整倒车路线，让汽车能够安全地倒车至规划地点。

步骤701、若在倒车地点附近出现其他车辆、行人等情况，则根据连续的两幅深度图像确定与车辆和行人距离和位置信息，采集间隔为10ms，以每10ms估算一次距其他障碍物的距离和需要的速度，并且取代上一次的速度和距离信息；

步骤702、在倒车行驶过程中对得到的后方物体的速度和距离进行判断，发现后方来车相距为D_hm、距离倒车行驶目的地即停车位的距离为D_d，当D_hm小于D_d时，系统判定为无法到达目的地，停止倒车行驶，重新规划路线，当D_hm大于D_d时，系统判定可以继续倒车行驶；当识别出后方有障碍或行人时，处理器执行停车等待命令，等待下一指令的发出；

其中判决公式如下：

H＝K-h

其中，v₁为原先计划行驶的倒车速度，v₂为后方道路线上车辆、行人、障碍物等的行驶速度；T为计划行驶的倒车时间，K为原先计划行驶的倒车距离，D_s为在时间T内自身车辆距后车的距离；h为误差，h取值范围通常为3～5m，H为安全车距。

当H大于D_s时，判断为后方道路车辆影响倒车行驶，不能倒车，当H小于D_s时，判断为后方道路车辆未影响倒车行驶，可以倒车；

步骤703，若倒车行驶过程中后方出现行人，记录行人的坐标(x_o,y_o,z_o)，利用公式：

其中L为行人与车辆的距离；依据判定函数F：

F＝K+h

当L大于F时，判定后方道路可以倒车行驶，当L小于F时，判定后方有行人，不能倒车行驶，则立即停止倒车行为。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (6)

1.一种辅助倒车的方法，其特征在于，包括如下步骤：

步骤1，在车辆倒车并停入停车位的过程中，从车辆倒车开始识别车辆后方地面是否有完整的车位轮廓线，当识别到完整的车位轮廓线时，判断识别到的车位轮廓线内是否存在障碍物；

步骤2，若存在障碍物，则等待障碍物被移走或者重新选择一个新的车位并返回步骤1；否则进入步骤3；

步骤3，利用车辆自带的倒车影像相机采集车辆后方地面视频流信息，对视频流信息进行自适应视频帧间隔抽样；

步骤4，对步骤3抽出的帧图像进行语义分割运算，提取出帧图像中的车位轮廓线、帧图像中的行人以及其他车辆的轮廓信息；

步骤5，针对语义分割后的帧图像，利用深度残差网络进行深度估计运算，得到车辆后方地面的深度图像；

步骤6，根据步骤5得到的深度图像，分析车辆自身与车位轮廓线的角度关系以及停车位的宽度大小，调整车辆自身的位姿，计算并规划倒车路径；

步骤7，根据深度图像，获取在倒车地点附近出现的其他车辆、行人分别与自身车辆的距离，并根据在步骤6中估算的倒车路径，分析倒车的可能性，根据各种可能情况分析出最优倒车路径，及时调整倒车路线，让汽车能够安全停入停车位中。

2.根据权利要求1所述的一种辅助倒车的方法，其特征在于，步骤3所述自适应视频帧间隔抽样中，根据当前车速以及深度残差网络的最大探测距离自适应调整当前抽样间隔时间，则抽样间隔时间具体为：

其中，V表示当前车速，T(V)表示车速V下的抽样间隔时间。

3.根据权利要求1所述的一种辅助倒车的方法，其特征在于，所述步骤4中，利用语义分割网络detectron2对步骤3抽出的帧图像进行语义分割运算。

4.根据权利要求1所述的一种辅助倒车的方法，其特征在于，所述步骤5中，在深度残差网络的解码器中使用拉普拉斯金字塔结构，利用金字塔的分解定义深度残差，且深度残差网络的激活函数选用Softplus激活函数，即：

Softplus(x)＝ln(1+exp(x))

其中，x表示Softplus激活函数的输入量；

计算车辆自带的倒车影像相机与实际距离的转换关系，从而得到车辆后方地面的深度图像，计算公式如下：

其中，(x_c,y_c,z_c)为深度估计得到的深度图内像素点P_c坐标，(x,y,z)为世界坐标系中坐标，k、l均为相机内参，f为相机外参，c_x为像素坐标系坐标x的偏置，c_y为像素坐标系坐标y的偏置。

5.根据权利要求1所述的一种辅助倒车的方法，其特征在于，所述步骤6的具体过程如下：

步骤6.1，根据步骤5得到的深度图像内的车位轮廓线信息，确定停车位的宽度w，即：

w＝y₁-y₂

定义车位轮廓线中较长的两条轮廓线分别为左、右轮廓线，y₁为左轮廓线的纵坐标值，y₂为右轮廓线的纵坐标值；

步骤6.2，计算车辆自身与右轮廓线之间的角度：

步骤6.3，根据步骤6.2得到的角度θ得到车辆自身的位姿信息，即车辆相对于停车位的位置，并计算最优的倒车路线，具体为：

建立以车辆自带的倒车影像相机为原点，车头朝向为Y轴正方向的二维坐标系，则车身中点A在二维坐标系的坐标为(x_a,y_a,α_a)，车位中点B在二维坐标系的坐标为(x_b,y_b,α_b)，其中，α_a与角度θ大小相同，方向相反；α_b的大小为

方向为车头朝向；分别对车位中轴线中较短的那条中轴线以及车辆中轴线中较长的那条中轴线进行延长，找到两个延长线的交点D，求得交点D坐标(x_d,y_d)，利用距离公式求得BD两点之间的距离h，h即为倒车入库汽车的转弯半径R；根据转弯半径画一个圆，该圆的半径为转弯半径，且直线AD、BD均与该圆相切，该圆与直线AD的切点即为转弯地点C，进而求得转弯地点C坐标，根据转弯半径R以及B、C两点的坐标求得圆弧

的长度，即为转弯距离；

即车辆先倒车行驶到C点，再根据转弯半径与圆弧

长度，沿着圆弧倒车行驶到B点，即完成倒车并停入停车位的操作。

6.根据权利要求1所述的一种辅助倒车的方法，其特征在于，所述步骤7的具体过程如下：

步骤7.1，若在倒车地点附近出现其他车辆、行人，则根据当前帧图像与前一帧图像确定其他车辆与自身车辆的距离、行人与自身车辆的距离、其他车辆的速度以及行人的速度；

步骤7.2，若当前帧图像中自身车辆后方出现其他车辆，则根据当前帧图像计算其他车辆与自身车辆的距离D_hm，自身车辆与停车位的距离D_d，当D_hm小于D_d时，判定无法到达停车位，停止倒车行驶，重新选择一个新的停车位并返回步骤1，当D_hm大于D_d时，判定能够倒车行驶，在倒车行驶过程中，根据以下判决公式继续判断能否倒车：

H＝K-h

其中，D_s为在倒车行驶过程中自身车辆与其他车辆的距离，v₁为步骤6计划行驶的倒车速度，v₂为其他车辆的行驶速度，H为安全车距，K为步骤6计划行驶的倒车距离，h为误差，T为步骤6计划行驶的倒车时间；

当H大于D_s时，判定其他车辆影响倒车行驶，停止倒车，待其他车辆离开后继续倒车，当H小于D_s时，判定其他车辆未影响倒车行驶；在倒车行驶过程中，若自身车辆后方出现行人，则进入步骤7.3，待步骤7.3完成后继续步骤7.2；

步骤7.3，若当前帧图像中自身车辆后方出现行人，记录行人的坐标(x_o,y_o,z_o)，计算行人与自身车辆的距离：

根据判决公式判断能否倒车：

F＝K+h

当L大于F时，判定行人未影响倒车行驶，当L小于F时，判定行人影响倒车行驶，停止倒车，待行人离开后继续倒车。

Images