CN113353071A - 一种基于深度学习的狭窄区域交汇车安全辅助方法和系统 - Google Patents

Abstract

本发明涉及汽车技术领域，特别涉及一种基于深度学习的狭窄区域交汇车安全辅助方法和系统。所述一种基于深度学习的狭窄区域交汇车安全辅助方法，包括步骤：对车道边缘进行识别，根据识别到的车道边缘计算车道宽度，根据所述车道宽度标记交汇点，记录交汇点相关信息并上传所述交汇点相关信息至云平台；当两车进行交汇时，从云平台获取交汇点相关信息；根据所述交汇点相关信息对两车汇车进行指导。通过以上方法，当两车交汇时，可以从云平台上面获取到合适的交汇点相关信息，进行安全交汇。

Description

一种基于深度学习的狭窄区域交汇车安全辅助方法和系统

技术领域

本发明涉及汽车技术领域，特别涉及一种基于深度学习的狭窄区域交汇车安全辅助方法和系统。

背景技术

目前在一些狭窄区域的汽车通行，在过这些区域的时候，目前主要依靠AVM(全景式监控影像系统)环视摄像头，在车机上显示360°全景影像来辅助通行。360°全景影像可以解决一定场景下的通行辅助。但是当双方车辆在交汇处车道过窄对于新手司机无法判断是否满足安全通行条件或者车道无法满足两辆车通行，需要选择交汇点时。此时对于司机来说是一个巨大的挑战，尤其是一些危险区域的交汇车，路边是悬崖或者深沟的。这种情况360°全景影像无法给予辅助，有效的引导交汇，存在极大的交通安全隐患。

发明内容

为此，需要提供一种基于深度学习的狭窄区域交汇车安全辅助方法，用以解决现有技术狭窄区域汇车时无法给司机好的辅助指导，存在交通安全隐患的问题。具体技术方案如下：

一种基于深度学习的狭窄区域交汇车安全辅助方法，包括步骤：

对车道边缘进行识别，根据识别到的车道边缘计算车道宽度，根据所述车道宽度标记交汇点，记录交汇点相关信息并上传所述交汇点相关信息至云平台，所述相关信息包括但不限于：交汇点位置信息、交汇点处的车道宽度；

当两车进行交汇时，从云平台获取交汇点相关信息；

根据所述交汇点相关信息对两车汇车进行指导。

进一步的，“根据所述交汇点相关信息对两车汇车进行指导”，具体还包括步骤：

计算车道宽度与双方车辆的宽度和的差值，若差值大于预设阈值，则发出引导信息引导两车至对应交汇点并进行汇车操作；

若差值小于预设阈值，则通过云平台获取其它的交汇点相关信息，计算得到一个合适的交汇点。

进一步的，所述“对车道边缘进行识别”，具体还包括步骤：

在无结构化道路行驶时，对车道边缘进行识别，根据识别到的车道边缘自行定位车道线，行驶过程中，判断车辆是否触碰到车道线，若触碰到，则发出预警提示。

进一步的，还包括步骤：

获取不同车辆的行驶轨迹，根据所述行驶轨迹对部分路段的边界进行重新定位，根据重新定位的结果判断是否有新的交汇点生成，若有，则对应添加交汇点相关信息至云平台。

进一步的，所述“则发出引导信息引导两车至交汇点并进行会车操作”，具体还包括步骤：

获取并计算对向来车的驾驶信息，所述驾驶信息包括但不限于：速度、加速度方向、角度、姿态；

根据所述驾驶信息预估对向来车预设时间内的行驶路径；

结合本车的驾驶信息与对向来车的预设时间内的行驶路径进行路径规划。

为解决上述技术问题，还提供一种基于深度学习的狭窄区域交汇车安全辅助系统，具体技术方案如下：

一种基于深度学习的狭窄区域交汇车安全辅助系统，包括：摄像装置和云平台，所述摄像装置设置于车上，所述摄像装置用于采集车辆周围图像，所述摄像装置通信连接所述云平台；

所述摄像装置发送采集的车辆周围图像数据至所述云平台；

所述云平台对车道边缘进行识别，根据识别到的车道边缘计算车道宽度，根据所述车道宽度标记交汇点，记录交汇点相关信息并上传所述交汇点相关信息至云平台，所述相关信息包括但不限于：交汇点位置信息、交汇点处的车道宽度；当两车进行交汇时，发送交汇点相关信息给对应车辆；根据所述交汇点相关信息对两车汇车进行指导。

进一步的，所述云平台还用于：“根据所述交汇点相关信息对两车汇车进行指导”，具体还包括步骤：

计算车道宽度与双方车辆的宽度和的差值，若差值大于预设阈值，则发出引导信息引导两车至对应交汇点并进行汇车操作；

若差值小于预设阈值，则通过云平台获取其它的交汇点相关信息，计算得到一个合适的交汇点。

进一步的，还包括：车身控制器，所述车身控制器连接所述摄像装置；

所述车身控制器获取摄像装置上传的图像数据；

所述车身控制器用于：在无结构化道路行驶时，对车道边缘进行识别，根据识别到的车道边缘自行定位车道线，行驶过程中，判断车辆是否触碰到车道线，若触碰到，则发出预警提示。

进一步的，所述云平台还用于：获取不同车辆的行驶轨迹，根据所述行驶轨迹对部分路段的边界进行重新定位，根据重新定位的结果判断是否有新的交汇点生成，若有，则对应添加交汇点相关信息至云平台。

进一步的，所述云平台还用于：获取并计算对向来车的驾驶信息，所述驾驶信息包括但不限于：速度、加速度方向、角度、姿态；

根据所述驾驶信息预估对向来车预设时间内的行驶路径；

结合本车的驾驶信息与对向来车的预设时间内的行驶路径进行路径规划。

本发明的有益效果是：对车道边缘进行识别，根据识别到的车道边缘计算车道宽度，根据所述车道宽度标记交汇点，记录交汇点相关信息并上传所述交汇点相关信息至云平台，所述相关信息包括但不限于：交汇点位置信息、交汇点处的车道宽度；当两车进行交汇时，从云平台获取交汇点相关信息；根据所述交汇点相关信息对两车汇车进行指导。通过以上方法，当两车交汇时，可以从云平台上面获取到合适的交汇点相关信息，进行安全交汇。

附图说明

图1为具体实施方式所述一种基于深度学习的狭窄区域交汇车安全辅助方法的流程图；

图2为具体实施方式所述计算目标车宽示意图；

图3为具体实施方式所述根据行车轨迹形成交汇点区域示意图；

图4为具体实施方式所述车辆和云平台的交互示意图；

图5为具体实施方式所述一种基于深度学习的狭窄区域交汇车安全辅助系统的模块示意图；

图6为具体实施方式所述计算交汇点的示意图。

附图标记说明：

500、一种基于深度学习的狭窄区域交汇车安全辅助系统，

501、摄像装置，

502、云平台。

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。

请参阅图1至图4，在本实施方式中，一种基于深度学习的狭窄区域交汇车安全辅助方法可应用在一种基于深度学习的狭窄区域交汇车安全辅助系统上，所述一种基于深度学习的狭窄区域交汇车安全辅助系统，包括：摄像装置和云平台，所述摄像装置设置于车上(具体位置不做限定，只要可以拍摄到车辆周围图像即可，优选为设置在车顶上)，所述摄像装置用于采集车辆周围图像，所述摄像装置通信连接所述云平台；所述摄像装置发送采集的车辆周围图像数据至所述云平台。所述云平台获取到这些数据后，会对这些数据进行深度学习，并将深度学习的结果反馈到车辆，车辆根据深度学习的结果来指导车主进行汇车等等操作。具体可如下：

步骤S101：对车道边缘进行识别。在本实施方式中，依靠设置在车上的摄像装置时刻采集前方图像，对图像进行处理识别车道边缘。目前的车道边缘检测有几种方式，通过颜色对比，将图像转为灰度(grayscale)。每个像素点的灰度数值在[0,255]区间，行车线的颜色通常与路面有较大差异，我们可以利用路面到行车线的颜色突变来进行检测。未能识别的部分。深度学习主要通过深度神经网络对采集的样本进行语义分割，将学习的结果反馈给车辆，增加识别类型。

步骤S102：根据识别到的车道边缘计算车道宽度，根据所述车道宽度标记交汇点。具体可如下：根据边缘识别得到边缘，对于采集到的图片做分割图。根据分割图获得几何图形，然后在一侧边缘线取足够数量的点，计算这些点到另一侧边缘的距离计算其宽度，如图6所示，同时根据不同的几何图形采取不同的几何算法，计算出是否是能容纳两车通行的交汇点。

步骤S103：记录交汇点相关信息并上传所述交汇点相关信息至云平台，所述相关信息包括但不限于：交汇点位置信息、交汇点处的车道宽度。具体可如下：车辆会通过车辆会通过摄像装置采集的数据，定位，车辆信息(方位角，姿态，速度等)，交汇点相关信息传给云平台，云平台根据这些数据信息，提炼出场景，地图，交汇点位置等有用的数据，存在云端，所有车辆可以共享这些信息，来获取交汇点相关信息。

步骤S104：当两车进行交汇时，从云平台获取交汇点相关信息。

步骤S105：根据所述交汇点相关信息对两车汇车进行指导。具体还包括步骤：

计算车道宽度与双方车辆的宽度和的差值，若差值大于预设阈值，则发出引导信息引导两车至对应交汇点并进行汇车操作；

若差值小于预设阈值，则通过云平台获取其它的交汇点相关信息，计算得到一个合适的交汇点。

其中如图2所示，目标车宽度算法：可以通过基于OpenCV使用双目摄像装置进行轮廓尺寸测量。摄像装置将识别的车辆通过算法进行取轮廓操作，获取其轮廓图，提取特征点(对多边形进行顶点提取)。根据双目摄像装置的标定参数(角度，焦距等)，获取顶点坐标，通过顶点计算获取最大宽度。通过机器测宽度，比人主观评估更客观，准确度高。

其中“则发出引导信息引导两车至交汇点并进行会车操作”，具体还包括步骤：

根据雷达和摄像装置获取并计算对向来车的驾驶信息，所述驾驶信息包括但不限于：速度、加速度方向、角度、姿态；

根据所述驾驶信息预估对向来车预设时间内的行驶路径；

结合本车的驾驶信息与对向来车的预设时间内的行驶路径进行路径规划。具体可如下：系统根据本车宽度，位置，速度，姿态等信息，规划一个短期行驶安全目标区域，目标安全区域可以满足双方车辆在这个车道的安全通行。路径就是通向这个目标区域的短距离导航。

根据前视摄像装置显示的实景画面会投影引导轨迹图。

如小于安全阀值，则会显示系统记录的简易车道地图，地图标注本车位置，以及交汇点位置和距离。若选择该交汇点，会形成实景轨迹，引导进入该交汇点完成交汇车。将车道检测的结果进行数字显示，让车主对能否通行有客观依据。

进一步的，在无结构化道路行驶时，所述“对车道边缘进行识别”，具体还包括步骤：在无结构化道路行驶时，对车道边缘进行识别，根据识别到的车道边缘自行定位车道线，行驶过程中，判断车辆是否触碰到车道线，若触碰到，则发出预警提示。在无结构化道路，虚拟出车道线，并将虚拟出的车道线是仪表上显示，而在车主行驶的过程中，摄像装置会时刻采集前方图像，根据识别出的车道线(车道边缘)，通过图像处理获得汽车在当前车道中的位置参数，当检测到汽车偏离车道时，传感器会及时收集车辆数据和驾驶员的操作状态，做出预警)，在一些狭窄区域，如悬崖边等通行起到很好的辅助作用。

进一步的，还包括步骤：

获取不同车辆的行驶轨迹，根据所述行驶轨迹对部分路段的边界进行重新定位，根据重新定位的结果判断是否有新的交汇点生成，若有，则对应添加交汇点相关信息至云平台。

以上步骤主要考虑到有些地段杂草丛生，摄像装置根本无法对其进行识别，那这个时候云平台就会获取在这个路段上所有行驶车辆的轨迹，根据车辆的轨迹来拓展交汇点，具体可如下：

对于不能识别的交汇点(无学习数据)，如杂草丛生，系统会根据摄像装置捕获来添加交汇点信息，具体方式，本车交汇时候进入未识别区域，系统根据行车轨迹，对原先的车道进行扩充，AVM，雷达和前视摄像装置捕获的数据传给云平台，作为学习样本。前视摄像装置捕获到视野内其他车辆穿越到规划的虚拟车道线外时，根据目标车辆的轨迹补充车道。车辆行驶过程，系统无法判断部分区域是否可通行，这部分区域在虚拟车道外边。车主会根据自己判断驶入该区域完成交汇，①当摄像装置监测到其他车辆进入到车道线外时候，会根据这辆车这个行驶过程(取靠近外边缘的几个点：摄像装置识别可绘制出车辆的外边框)的几个点的轨迹估算出新的边界点，然后和虚拟车道线匹配，将车道线沿着此轨迹重新绘制。②本车驶入虚拟车道线位置，系统可以根据车辆的信息(速度，姿态，定位等)，计算出轨迹，重新绘制车道线。(类似于游戏中的地图探测)未到达的地方边界外地图显示是黑的，有车进入就获取这部分地图，重绘边界处。如图3所示。有效的利用云平台，对数据进行分析优化，提高学习能力，同样随着数据的积累，数据准确性将趋于实际。整个方法步骤过程中车辆和云平台的交互示意图如图4所示。

请参阅图2至图5，在本实施方式中，一种基于深度学习的狭窄区域交汇车安全辅助系统500的具体实施方式如下：

一种基于深度学习的狭窄区域交汇车安全辅助系统500，包括：摄像装置501和云平台502，所述摄像装置501设置于车上，所述摄像装置501用于采集车辆周围图像，所述摄像装置501通信连接所述云平台502；

所述摄像装置501发送采集的车辆周围图像数据至所述云平台502；

所述云平台502对车道边缘进行识别，根据识别到的车道边缘计算车道宽度，根据所述车道宽度标记交汇点，记录交汇点相关信息并上传所述交汇点相关信息至云平台502，所述相关信息包括但不限于：交汇点位置信息、交汇点处的车道宽度；当两车进行交汇时，发送交汇点相关信息给对应车辆；根据所述交汇点相关信息对两车汇车进行指导。

目前的车道边缘检测有几种方式，通过颜色对比，将图像转为灰度(grayscale)。每个像素点的灰度数值在[0,255]区间，行车线的颜色通常与路面有较大差异，我们可以利用路面到行车线的颜色突变来进行检测。未能识别的部分。深度学习主要通过深度神经网络对采集的样本进行语义分割，将学习的结果反馈给车辆，增加识别类型。

进一步的，所述云平台502还用于：“根据所述交汇点相关信息对两车汇车进行指导”，具体还包括步骤：

计算车道宽度与双方车辆的宽度和的差值，若差值大于预设阈值，则发出引导信息引导两车至对应交汇点并进行汇车操作；

若差值小于预设阈值，则通过云平台502获取其它的交汇点相关信息，计算得到一个合适的交汇点。

其中如图2所示，目标车宽度算法：可以通过基于OpenCV使用双目摄像装置501进行轮廓尺寸测量。摄像装置501将识别的车辆通过算法进行取轮廓操作，获取其轮廓图，提取特征点(对多边形进行顶点提取)。根据双目摄像装置501的标定参数(角度，焦距等)，获取顶点坐标，通过顶点计算获取最大宽度。通过机器测宽度，比人主观评估更客观，准确度高。

进一步的，所述云平台502还用于：根据雷达和摄像装置501获取并计算对向来车的驾驶信息，所述驾驶信息包括但不限于：速度、加速度方向、角度、姿态；

根据所述驾驶信息预估对向来车预设时间内的行驶路径；

结合本车的驾驶信息与对向来车的预设时间内的行驶路径进行路径规划。具体可如下：系统根据本车宽度，位置，速度，姿态等信息，规划一个短期行驶安全目标区域，目标安全区域可以满足双方车辆在这个车道的安全通行。路径就是通向这个目标区域的短距离导航。

根据前视摄像装置501显示的实景画面会投影引导轨迹图。

如小于安全阀值，则会显示系统记录的简易车道地图，地图标注本车位置，以及交汇点位置和距离。若选择该交汇点，会形成实景轨迹，引导进入该交汇点完成交汇车。将车道检测的结果进行数字显示，让车主对能否通行有客观依据。

进一步的，还包括：车身控制器，所述车身控制器连接所述摄像装置501；

所述车身控制器获取摄像装置501上传的图像数据；

所述车身控制器用于：在无结构化道路行驶时，对车道边缘进行识别，根据识别到的车道边缘自行定位车道线，行驶过程中，判断车辆是否触碰到车道线，若触碰到，则发出预警提示。在无结构化道路，虚拟出车道线，并将虚拟出的车道线是仪表上显示，而在车主行驶的过程中，摄像装置501会时刻采集前方图像，根据识别出的车道线(车道边缘)，通过图像处理获得汽车在当前车道中的位置参数，当检测到汽车偏离车道时，传感器会及时收集车辆数据和驾驶员的操作状态，做出预警)，在一些狭窄区域，如悬崖边等通行起到很好的辅助作用。

进一步的，所述云平台502还用于：获取不同车辆的行驶轨迹，根据所述行驶轨迹对部分路段的边界进行重新定位，根据重新定位的结果判断是否有新的交汇点生成，若有，则对应添加交汇点相关信息至云平台502。

以上主要考虑到有些地段杂草丛生，摄像装置501根本无法对其进行识别，那这个时候云平台502就会获取在这个路段上所有行驶车辆的轨迹，根据车辆的轨迹来拓展交汇点，具体可如下：

对于不能识别的交汇点(无学习数据)，如杂草丛生，系统会根据摄像装置501捕获来添加交汇点信息，具体方式，本车交汇时候进入未识别区域，系统根据行车轨迹，对原先的车道进行扩充，AVM，雷达和前视摄像装置501捕获的数据传给云平台502，作为学习样本。前视摄像装置501捕获到视野内其他车辆穿越到规划的虚拟车道线外时，根据目标车辆的轨迹补充车道。车辆行驶过程，系统无法判断部分区域是否可通行，这部分区域在虚拟车道外边。车主会根据自己判断驶入该区域完成交汇，①当摄像装置501监测到其他车辆进入到车道线外时候，会根据这辆车这个行驶过程(取靠近外边缘的几个点：摄像装置501识别可绘制出车辆的外边框)的几个点的轨迹估算出新的边界点，然后和虚拟车道线匹配，将车道线沿着此轨迹重新绘制。②本车驶入虚拟车道线位置，系统可以根据车辆的信息(速度，姿态，定位等)，计算出轨迹，重新绘制车道线。(类似于游戏中的地图探测)未到达的地方边界外地图显示是黑的，有车进入就获取这部分地图，重绘边界处。如图3所示。有效的利用云平台502，对数据进行分析优化，提高学习能力，同样随着数据的积累，数据准确性将趋于实际。整个方法步骤过程中车辆和云平台502的交互示意图如图4所示。

需要说明的是，尽管在本文中已经对上述各实施例进行了描述，但并非因此限制本发明的专利保护范围。因此，基于本发明的创新理念，对本文所述实施例进行的变更和修改，或利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接地将以上技术方案运用在其他相关的技术领域，均包括在本发明的专利保护范围之内。

Claims (10)

1.一种基于深度学习的狭窄区域交汇车安全辅助方法，其特征在于，包括步骤：

对车道边缘进行识别，根据识别到的车道边缘计算车道宽度，根据所述车道宽度标记交汇点，记录交汇点相关信息并上传所述交汇点相关信息至云平台，所述相关信息包括但不限于：交汇点位置信息、交汇点处的车道宽度；

当两车进行交汇时，从云平台获取交汇点相关信息；

根据所述交汇点相关信息对两车汇车进行指导。

2.根据权利要求1所述的一种基于深度学习的狭窄区域交汇车安全辅助方法，其特征在于，“根据所述交汇点相关信息对两车汇车进行指导”，具体还包括步骤：

计算车道宽度与双方车辆的宽度和的差值，若差值大于预设阈值，则发出引导信息引导两车至对应交汇点并进行汇车操作；

若差值小于预设阈值，则通过云平台获取其它的交汇点相关信息，计算得到一个合适的交汇点。

3.根据权利要求1所述的一种基于深度学习的狭窄区域交汇车安全辅助方法，其特征在于，所述“对车道边缘进行识别”，具体还包括步骤：

在无结构化道路行驶时，对车道边缘进行识别，根据识别到的车道边缘自行定位车道线，行驶过程中，判断车辆是否触碰到车道线，若触碰到，则发出预警提示。

4.根据权利要求1所述的一种基于深度学习的狭窄区域交汇车安全辅助方法，其特征在于，还包括步骤：

获取不同车辆的行驶轨迹，根据所述行驶轨迹对部分路段的边界进行重新定位，根据重新定位的结果判断是否有新的交汇点生成，若有，则对应添加交汇点相关信息至云平台。

5.根据权利要求2所述的一种基于深度学习的狭窄区域交汇车安全辅助方法，其特征在于，所述“则发出引导信息引导两车至交汇点并进行会车操作”，具体还包括步骤：

获取并计算对向来车的驾驶信息，所述驾驶信息包括但不限于：速度、加速度方向、角度、姿态；

根据所述驾驶信息预估对向来车预设时间内的行驶路径；

结合本车的驾驶信息与对向来车的预设时间内的行驶路径进行路径规划。

6.一种基于深度学习的狭窄区域交汇车安全辅助系统，其特征在于，包括：摄像装置和云平台，所述摄像装置设置于车上，所述摄像装置用于采集车辆周围图像，所述摄像装置通信连接所述云平台；

所述摄像装置发送采集的车辆周围图像数据至所述云平台；

所述云平台对车道边缘进行识别，根据识别到的车道边缘计算车道宽度，根据所述车道宽度标记交汇点，记录交汇点相关信息并上传所述交汇点相关信息至云平台，所述相关信息包括但不限于：交汇点位置信息、交汇点处的车道宽度；当两车进行交汇时，发送交汇点相关信息给对应车辆；根据所述交汇点相关信息对两车汇车进行指导。

7.根据权利要求6所述的一种基于深度学习的狭窄区域交汇车安全辅助系统，其特征在于，

所述云平台还用于：“根据所述交汇点相关信息对两车汇车进行指导”，具体还包括步骤：

计算车道宽度与双方车辆的宽度和的差值，若差值大于预设阈值，则发出引导信息引导两车至对应交汇点并进行汇车操作；

若差值小于预设阈值，则通过云平台获取其它的交汇点相关信息，计算得到一个合适的交汇点。

8.根据权利要求6所述的一种基于深度学习的狭窄区域交汇车安全辅助系统，其特征在于，还包括：车身控制器，所述车身控制器连接所述摄像装置；

所述车身控制器获取摄像装置上传的图像数据；

所述车身控制器用于：在无结构化道路行驶时，对车道边缘进行识别，根据识别到的车道边缘自行定位车道线，行驶过程中，判断车辆是否触碰到车道线，若触碰到，则发出预警提示。

9.根据权利要求6所述的一种基于深度学习的狭窄区域交汇车安全辅助系统，其特征在于，所述云平台还用于：获取不同车辆的行驶轨迹，根据所述行驶轨迹对部分路段的边界进行重新定位，根据重新定位的结果判断是否有新的交汇点生成，若有，则对应添加交汇点相关信息至云平台。

10.根据权利要求7所述的一种基于深度学习的狭窄区域交汇车安全辅助系统，其特征在于，所述云平台还用于：获取并计算对向来车的驾驶信息，所述驾驶信息包括但不限于：速度、加速度方向、角度、姿态；

根据所述驾驶信息预估对向来车预设时间内的行驶路径；

结合本车的驾驶信息与对向来车的预设时间内的行驶路径进行路径规划。

Images