CN116811884B - 一种智能驾驶环境感知分析方法及系统 - Google Patents

Abstract

本发明公开了一种智能驾驶环境感知分析方法及系统，涉及智能驾驶技术领域，包括云计算平台、道路信息采集模块、三维图模块以及行驶决策模块；本发明通过采集需求车辆当前所在行驶道路的道路视频数据、道路图像数据以及道路交通信息，并设置多个特征采集点，进而获得当前所在行驶道路的点云数据，采用数据融合技术将道路视频数据与点云数据进行融合，根据数据融合的结果建立道路三维图，进而根据道路三维图以及道路交通信息制定行驶决策方案；本发明通过将需求车辆的道路视频数据与点云数据进行数据融合，进而建立道路三维图，并根据道路三维图与道路交通信息建立行驶决策方案，提高智能驾驶的安全性以及准确性。

Description

一种智能驾驶环境感知分析方法及系统

技术领域

本发明涉及智能驾驶技术领域，特别是一种智能驾驶环境感知分析方法及系统。

背景技术

智能驾驶是一种将汽车产业与人工智能、物联网、高性能计算等技术进行深度融合的新型科技产物；随着智能驾驶技术的不断发展与逐步成熟，其也成为了日常交通的重要组成部分，然而在实际道路上因交通信息千变万化，交通状况也瞬息万变，使得其难以精准的预测和应对突发状况；

目前市面上出现的智能驾驶车辆大多能够感知静态障碍物，但难以应对复杂环境下的动态障碍物或行驶车辆，且缺乏根据实际状况做出相应的智能化操作，为此提供一种智能驾驶环境感知分析方法及系统。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种智能驾驶环境感知分析系统。

为了实现上述目的，本发明提供如下技术方案：一种智能驾驶环境感知分析系统，包括云计算平台，所述云计算平台通信连接有道路信息采集模块、三维图模块以及行驶决策模块；

所述云计算平台设有多个移动边缘计算单元，每个移动边缘计算单元设有若干个路边单元和摄像头，且每条道路上设置有移动边缘计算单元，用于获取需求车辆当前所在行驶道路的道路交通信息；

所述道路信息采集模块用于采集需求车辆当前所在行驶道路的道路视频数据、道路图像数据，设置道路特征点，并根据道路图像数据获得若干个道路特征目标，进而采集对应道路特征目标的点云数据，并将所有点云数据进行合并得到点云数据集合，将道路视频数据、道路图像数据以及点云数据集合整合得到道路信息数据；

所述三维图模块包括道路信息数据分析单元、数据融合单元以及道路三维图单元，分别用于分析处理道路信息数据，根据分析结果获得道路特征目标的移动向量以及对应的行驶速度，进而建立道路三维图；

所述行驶决策模块用于根据道路三维图以及道路交通信息制定行驶决策方案。

进一步的，所述道路信息采集模块采集道路视频数据以及道路图像数据的过程包括：

道路信息采集模块设有激光雷达、毫米波雷达、第一类摄像头以及第二类摄像头，其中第一类摄像头位于需求车辆的前后位置，第二类摄像头位于需求车辆的左右位置，且第一类摄像头和第二类摄像头由多个微型摄像头组成；

当需求车辆行驶在道路上时，道路信息采集模块通过第一类摄像头获取需求车辆前后位置道路图像数据以及道路视频数据，通过第二类摄像头获取需求车辆的左右位置道路图像数据以及道路视频数据。

进一步的，所述道路信息采集模块采集点云数据的过程包括：

道路信息采集模块根据道路特征点在道路图像数据中标注道路特征目标，并对其设置编号，进而获得道路特征目标在图像数据中的大小占比；

设置占比阈值，根据道路特征目标在图像数据中占比与占比阈值的大小对比结果，采用毫米波雷达或激光雷达采集对应的点云数据；

将所有点云数据进行合并得到点云数据集合。

进一步的，所述三维图模块分析处理道路信息数据的过程包括：

三维图模块通过道路信息数据分析单元从道路信息数据中提取出道路视频数据和道路图像数据，将道路视频数据划分成若干个时长相等的子道路视频数据，并对其设置编号，并根据道路特征目标，在子道路视频数据进行标记并对其设置相同编号，进而得到道路特征目标的移动轨迹；

以需求车辆为坐标原点建立三维坐标系，根据道路特征目标的移动轨迹，将道路特征目标在各个子道路视频数据结尾时相对于需求车辆的位置映射至三维坐标系中，得到对应的道路特征目标的移动坐标（x_m，n，y_m，n，z_m，n），并建立道路特征目标的移动坐标集合A_m、B_m、C_m，其中A_m表示行驶车辆的移动坐标集合，B_m表示障碍物的移动坐标集合，C_m表示行人的移动坐标集合。

进一步的，所述道路特征目标的移动向量以及对应的行驶速度的获得过程包括：

三维图模块通过数据融合单元从道路信息数据中提取出点云数据集合，根据道路特征目标编号从点云数据集合中提取出对应的点云数据，并映射至三维坐标系中；

在三维坐标系中，若道路特征目标对应的移动坐标和点云坐标存在重合点位，则判断在实际场景中，激光雷达或毫米波雷达探测到的道路特征目标与道路视频数据中的道路特征目标之间误差距离小，若道路特征目标对应的移动坐标和点云坐标在三维坐标系中的距离远，则可判断实际场景中，激光雷达或毫米波雷达探测到的道路特征目标与道路视频数据中的道路特征目标之间误差距离远；

将重合的移动坐标进行整合得到对应的实际移动坐标集，根据实际移动坐标集中的实际移动坐标获取其在各个时间段的移动向量以及对应的移动速度。

进一步的，所述道路三维图的建立过程包括：

道路三维图单元从道路信息数据中获取道路特征目标对应的图像数据，并根据图像数据中各个道路特征目标的形状，建立对应的三维动画模型，并基于道路特征目标的移动向量以及对应的移动速度，建立以需求车辆为中心的道路三维图并发送至云计算平台。

进一步的，所述道路三维图中对各个道路特征目标标注有其当前的移动速度和当前移动方向，同时可通过点击道路三维图中道路特征目标的三维动画模型，查看对应的道路特征目标的历史移动轨迹。

进一步的，所述行驶决策方案包括跟车决策、变道决策、超车决策以及车辆速度调整决策。

进一步的，所述行驶决策方案的建立包括：

行驶决策模块根据道路三维图中各个道路特征目标当前的移动向量以及行驶速度，获得其相对于需求车辆的横向速度、纵向速度以及与需求车辆之间的距离；

根据道路三维图判断需求车辆与四周行驶车辆之间的距离以及对应行驶车辆的行驶速度，根据判断结果制定跟车决策、变道决策以及超车决策；

根据道路三维图预测需求车辆的前车速度变化趋势，根据预测结果制定辆速度调整决策。

进一步的，一种基于智能驾驶环境感知分析系统的环境感知分析方法，包括以下步骤：

步骤一，采集需求车辆当前所在行驶道路的道路视频数据、道路图像数据以及道路交通信息；

步骤二，设置若干个特征采集点，进而从道路图像数据中获得对应的道路特征目标；

步骤三，根据道路特征目标，通过激光雷达或毫米波雷达获得对应的点云数据；

步骤四，建立三维坐标系，将道路视频数据与点云数据映射至三维坐标系中，并进行匹配；

步骤五，将三维坐标系中匹配的坐标点进行集合，得到实际移动坐标集，进而获得道路特征目标在各个时间段的移动向量以及对应的行驶速度；

步骤六，根据道路特征目标在各个时间段的移动向量以及对应的行驶速度建立道路三维图；

步骤七，根据道路三维图以及道路交通建立行驶决策方案。

与现有技术相比，本发明的有益效果是：

本发明通过采集需求车辆当前所在行驶道路的道路图像数据以及道路视频数据，根据道路图像数据获取当前所在行驶道路的道路特征目标，进而通过激光雷达或毫米波雷达获取道路特征目标对应的点云数据，通过提前设置道路特征目标，提高了采集点云数据的准确性，为后续建立的道路三维图准确性提供了保障；

通过将道路视频数据以及点云数据映射至三维坐标系并进行数据融合，进而计算各个道路特征目标的移动向量以及对应的行驶速度，建立以需求车辆为中心的道路三维图，通过道路三维图以及道路交通信息建立行驶决策方案，通过结合道路三维图以及道路实际交通状况建立对应的行驶决策，提高了需求车辆在进行智能驾驶过程的安全性与变通性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明的原理图。

实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

如图1所示，一种智能驾驶环境感知分析系统，包括云计算平台，所述云计算平台通信连接有道路信息采集模块、三维图模块以及行驶决策模块；

所述云计算平台设有多个移动边缘计算单元，每个移动边缘计算单元设有若干个路边单元和摄像头，且每条道路上设置有移动边缘计算单元；

需要说明的是，需求车辆向云计算平台发送道路环境分析任务后，云计算平台根据道路环境分析任务向需求车辆所在道路的移动边缘计算单元发送获取道路交通信息任务；

移动边缘计算单元通过路边单元以及摄像头获得需求车辆所在的道路交通信息；

所述道路交通信息包括需求车辆当前所在行驶道路的车辆车牌号、最高限速V_max；

移动边缘计算单元将获得道路交通信息发送至云计算平台。

所述道路信息采集模块设有激光雷达、毫米波雷达、第一类摄像头以及第二类摄像头，其中第一类摄像头位于需求车辆的前后位置，第二类摄像头位于需求车辆的左右位置，且第一类摄像头和第二类摄像头由多个微型摄像头组成；

当需求车辆行驶在道路上时，道路信息采集模块通过第一类摄像头获取需求车辆前后位置道路图像数据以及道路视频数据，通过第二类摄像头获取需求车辆的左右位置道路图像数据以及道路视频数据；

设置道路特征点以及天气特征点，所述道路特征点包括道路障碍物、行人、行驶车辆；

道路信息采集模块根据道路特征点在道路图像数据标注道路特征目标，并对其设置编号，例如Q₁、Q₂、……、Q_m，进而获取标注的道路特征目标在图像数据中的大小占比，其中m为大于0的自然数；

设置占比阈值，若标注的道路特征目标在图像数据中占比大于占比阈值，则根据图像数据中标注的道路特征目标相对于需求车辆的方向，通过毫米波雷达获得其对应的点云数据a_m，并对其设置编号a₁、a₂、……、a_m；

若标注的道路特征目标在图像数据中占比小于或等于占比阈值，则根据图像数据中标注的道路特征目标相对于需求车辆的方向，通过激光雷达获得其对应的点云数据a_m；

需要说明的是，若道路信息采集模块根据天气特征点判断道路图像数据中道路的天气状况为雨天、雪天或雾天，则道路信息采集模块停用激光雷达，仅使用毫米波雷达获取标注的道路特征目标的点云数据a_m；

将所有点云数据a_m进行合并得到点云数据集合；

道路信息采集模块将道路视频数据、道路图像数据以及点云数据集合进行合并得到道路信息数据，并通过路边单元发送至移动边缘计算单元，移动边缘计算单元发送至云计算平台。

所述三维图模块用于分析处理道路信息数据，并建立道路三维图，包括道路信息数据分析单元、数据融合单元、道路三维图单元；

所述道路信息数据分析单元用于分析道路信息数据中的道路视频数据，获得道路视频数据中行驶车辆、障碍物以及行人的运动轨迹，并建立对应的移动坐标集合；

所述数据融合单元用于通过数据融合方法以及建立三维坐标系，将道路视频数据中道路特征目标所在位置与其对应的点云数据映射至三维坐标系进行数据融合，进而得到对应的实际移动坐标集；

所示道路三维图单元用于建立道路三维图；

下面通过实施例说明三维图模块建立道路三维图的具体过程：

三维图模块向云计算平台发送道路信息数据获取请求，云计算平台响应请求道路信息数据获取后，将道路信息数据发送至云计算平台；

三维图模块接收道路信息数据后将其发送至道路信息数据分析单元和数据融合单元；

道路信息数据分析单元从道路信息数据中提取出道路视频数据和道路图像数据，将道路视频数据划分成若干个时长为t的子道路视频数据，并对其设置编号，例如P₁、P₂、……、P_n，其中n为大于0的自然数，根据从道路图像数据提取的各个道路特征目标，在子道路视频数据进行标记并对其设置相同编号，例如Q₁、Q₂、……、Q_m，进而得到道路特征目标的移动轨迹；

以需求车辆为坐标原点建立三维坐标系，根据道路特征目标的移动轨迹，将道路特征目标在各个子道路视频数据结尾时相对于需求车辆的位置映射至三维坐标系中，得到对应的道路特征目标的移动坐标（x_m，n，y_m，n，z_m，n），并建立道路特征目标的移动坐标集合A_m、B_m、C_m，其中A_m表示行驶车辆的移动坐标集合，B_m表示障碍物的移动坐标集合，C_m表示行人的移动坐标集合，x_m，n、y_m，n、z_m，n表示编号为Q_m的道路特征目标在编号为P_n的子道路视频数据中的坐标位置；

数据融合单元从道路信息数据中提取出点云数据集合，根据道路特征目标编号从点云数据集合中提取出对应的点云数据，并映射至三维坐标系中；

在三维坐标系中，若编号为Q_m的道路特征目标对应的移动坐标和点云坐标存在重合点位，因道路特征目标的道路视频数据与点云数据采集时间只存在先后，且时间短，故判断在实际场景中，激光雷达或毫米波雷达探测到的道路特征目标与道路视频数据中的道路特征目标之间误差距离较小，若道路特征目标对应的移动坐标和点云坐标在三维坐标系中的距离较远，则可判断实际场景中，激光雷达或毫米波雷达探测到的道路特征目标与道路视频数据中的道路特征目标之间误差距离较远；

将重合的移动坐标进行整合得到对应的实际移动坐标集，根据实际移动坐标集中的实际移动坐标获取其各个时间段的移动向量MP以及对应的移动速度V；

其中移动向量的计算公式为：

其中i为大于1的自然数，且i小于n，表示编号为P_i的子视频数据中的道路特征目标的移动向量；

其中移动速度V的计算公式为：

其中V_i表示编号为P_i的子视频数据中的道路特征目标的移动速度；

道路三维图单元从道路信息数据中获取道路特征目标对应的图像数据，并根据图像数据中各个道路特征目标的形状，建立对应的三维动画模型，并基于数据融合单元所获得道路特征目标的移动向量以及对应的移动速度，建立以需求车辆为中心的道路三维图并发送至云计算平台；

所述道路三维图中对各个道路特征目标标注有其当前的移动速度和当前移动方向，同时可通过点击道路三维图中道路特征目标的三维动画模型，查看对应的道路特征目标的历史移动轨迹。

所述行驶决策模块用于根据道路三维图制定行驶决策方案，具体过程包括：

云计算平台将道路三维图以及需求车辆的所在道路的道路交通信息发送至行驶决策模块；

行驶决策模块根据道路三维图中各个道路特征目标当前的移动向量以及行驶速度V，获得其相对于需求车辆的横向速度V_横、纵向速度V_纵以及与需求车辆之间的距离；

跟车决策：行驶决策模块根据道路三维图判断需求车辆与四周行驶车辆之间的距离以及对应行驶车辆的行驶速度V，若判断需求车辆当前行驶车道的存在行驶车辆，其行驶速度V在0.85V_max以上，且二者之间距离在5-15米之间，同时需求车辆的左右行驶车道均存在行驶车辆，二者之间距离在15米之间，则需求车辆进行跟车操作；

变道决策：在跟车决策的基础上，若行驶决策模块根据道路三维图判断行驶车辆的左右行驶车道不存在行驶车辆，或行驶车辆与需求车辆之间的距离在15米以上，则需求车辆进行变道操作；

超车决策：若行驶决策模块根据道路三维图判断需求车辆的左右行驶车道不存在行驶车辆，或行驶车辆与需求车辆之间的距离在15米以上，且需求车辆当前行驶车道存在行驶车辆，行驶速度V在0.85V_max以下，且二者之间距离在5-15米之间，则需求车辆进行超车操作；

车辆速度调整决策：根据道路三维图预测需求车辆的前车速度变化趋势，若前车的速度变化趋势为减速，则需求车辆进行相对应的减速操作；若前车的速度变化趋势为加速，则需求车辆进行相对应的加速操作，直到前车不进行加速或此时需求车辆的行驶速度V达到最高限速V_max，则停止加速操作；

行驶决策模块将生成的行驶决策方案发送至云计算平台，云计算平台发送移动边缘计算单元后通过路边单元发送至需求车辆。

本发明还公开了一种智能驾驶环境感知分析方法，包括以下步骤：

步骤一，采集需求车辆当前所在行驶道路的道路视频数据、道路图像数据以及道路交通信息；

步骤二，设置若干个特征采集点，进而从道路图像数据中获得对应的道路特征目标；

步骤三，根据道路特征目标，通过激光雷达或毫米波雷达获得对应的点云数据；

步骤四，建立三维坐标系，将道路视频数据与点云数据映射至三维坐标系中，并进行匹配；

步骤五，将三维坐标系中匹配的坐标点进行集合，得到实际移动坐标集，进而获得道路特征目标在各个时间段的移动向量以及对应的行驶速度；

步骤六，根据道路特征目标在各个时间段的移动向量以及对应的行驶速度建立道路三维图；

步骤七，根据道路三维图以及道路交通建立行驶决策方案。

以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法的精神和范围。

Claims (2)

1.一种智能驾驶环境感知分析系统，包括云计算平台，其特征在于，所述云计算平台通信连接有道路信息采集模块、三维图模块以及行驶决策模块；

所述云计算平台设有多个移动边缘计算单元，每个移动边缘计算单元设有若干个路边单元和摄像头，且每条道路上设置有移动边缘计算单元，用于获取需求车辆当前所在行驶道路的道路交通信息；

所述道路信息采集模块用于采集需求车辆当前所在行驶道路的道路视频数据、道路图像数据，设置道路特征点，并根据道路图像数据获得若干个道路特征目标，进而采集对应道路特征目标的点云数据，并将所有点云数据进行合并得到点云数据集合，将道路视频数据、道路图像数据以及点云数据集合整合得到道路信息数据；

所述道路信息采集模块采集道路视频数据以及道路图像数据的过程包括：道路信息采集模块设置有激光雷达、毫米波雷达、第一类摄像头以及第二类摄像头，其中第一类摄像头位于需求车辆的前后位置，第二类摄像头位于需求车辆的左右位置，且第一类摄像头和第二类摄像头由多个微型摄像头组成；

当需求车辆行驶在道路上时，道路信息采集模块通过第一类摄像头获取需求车辆前后位置道路图像数据以及道路视频数据，通过第二类摄像头获取需求车辆的左右位置道路图像数据以及道路视频数据；

所述道路信息采集模块采集点云数据的过程包括：

道路信息采集模块根据道路特征点在道路图像数据中标注道路特征目标，并对其设置编号，进而获得道路特征目标在图像数据中的大小占比；

设置占比阈值，根据道路特征目标在图像数据中的占比与占比阈值的大小对比结果，采用毫米波雷达或激光雷达采集对应的点云数据；

将所有点云数据进行合并得到点云数据集合；

所述三维图模块包括道路信息数据分析单元、数据融合单元以及道路三维图单元，分别用于分析处理道路信息数据，根据分析结果获得道路特征目标的移动向量以及对应的行驶速度，进而建立道路三维图；

所述三维图模块分析处理道路信息数据的过程包括：三维图模块通过道路信息数据分析单元从道路信息数据中提取出道路视频数据和道路图像数据，将道路视频数据划分成若干个时长相等的子道路视频数据，并对其设置编号，根据道路特征目标在子道路视频数据进行标记并对其设置相同编号，进而得到道路特征目标的移动轨迹；

以需求车辆为坐标原点建立三维坐标系，根据道路特征目标的移动轨迹，将道路特征目标在各个子道路视频数据结尾时相对于需求车辆的位置映射至三维坐标系中，得到对应的道路特征目标的移动坐标（x_m，n，y_m，n，z_m，n），并建立道路特征目标的移动坐标集合A_m、B_m、C_m，其中A_m表示行驶车辆的移动坐标集合，B_m表示障碍物的移动坐标集合，C_m表示行人的移动坐标集合；

所述道路特征目标的移动向量以及对应的行驶速度的获得过程包括：

三维图模块通过数据融合单元从道路信息数据中提取出点云数据集合，根据道路特征目标编号从点云数据集合中提取出对应的点云数据，并映射至三维坐标系中；

在三维坐标系中，若道路特征目标对应的移动坐标和点云坐标存在重合点位，则判断在实际场景中，激光雷达或毫米波雷达探测到的道路特征目标与道路视频数据中的道路特征目标之间误差距离小，若道路特征目标对应的移动坐标和点云坐标在三维坐标系中的误差距离远，则判断实际场景中，激光雷达或毫米波雷达探测到的道路特征目标与道路视频数据中的道路特征目标之间误差距离远；

将重合的移动坐标进行整合得到对应的实际移动坐标集，根据实际移动坐标集中的实际移动坐标获取其在各个时间段的移动向量以及对应的移动速度；

所述道路三维图的建立过程包括：道路三维图单元从道路信息数据中获取道路特征目标对应的图像数据，并根据图像数据中各个道路特征目标的形状，建立对应的三维动画模型，并基于道路特征目标的移动向量以及对应的移动速度，建立以需求车辆为中心的道路三维图并发送至云计算平台；

所述行驶决策模块用于根据道路三维图以及道路交通信息制定行驶决策方案；

所述道路三维图中对各个道路特征目标标注有其当前的移动速度和当前移动方向，同时通过点击道路三维图中道路特征目标的三维动画模型，查看对应的道路特征目标的历史移动轨迹；

所述行驶决策方案的建立包括：行驶决策模块根据道路三维图中各个道路特征目标当前的移动向量以及行驶速度，获得其相对于需求车辆的横向速度、纵向速度以及与需求车辆之间的距离；

根据道路三维图判断需求车辆与四周行驶车辆之间的距离以及对应行驶车辆的行驶速度，根据判断结果制定跟车决策、变道决策以及超车决策；

根据道路三维图预测需求车辆的前车速度变化趋势，根据预测结果制定车辆速度调整决策。

2.根据权利要求1所述的一种智能驾驶环境感知分析系统的环境感知分析方法，其特征在于，包括如下步骤：

步骤一，采集行驶道路的道路视频数据、道路图像数据以及道路交通信息；

步骤二，设置若干个特征采集点，进而从道路图像数据中获得对应的道路特征目标；

步骤三，根据道路特征目标，通过激光雷达或毫米波雷达获得对应的点云数据；

步骤四，建立三维坐标系，将道路视频数据与点云数据映射至三维坐标系中，并进行匹配；

步骤五，将三维坐标系中匹配的坐标点进行集合，得到实际移动坐标集，进而获得道路特征目标在各个时间段的移动向量以及对应的行驶速度；

步骤六，根据道路特征目标在各个时间段的移动向量以及对应的行驶速度建立道路三维图；

步骤七，根据道路三维图以及道路交通建立行驶决策方案。