CN117870713B - 基于大数据车载影像的路径规划方法及系统 - Google Patents

Abstract

本发明涉及图像处理领域，更具体地，本发明涉及基于大数据车载影像的路径规划方法及系统。所述方法包括：标记历史车载影像拍摄的路况图像中的前景区域，构建路况数据集；通过预设的语义分割模型，获得待测的路况图像中每个前景区域的区域特征；计算预设路段同一位置的实时路况图像和最新存储路况图像之间的区域差异性，以获得目标路况图像；基于目标路况图像的区域特征计算路况拥堵程度、行驶混乱程度和路面平整程度；计算预设路段的行驶得分，基于预设的路径规划算法规划车辆的行驶路径。通过本发明的技术方案，能够根据当前道路状况进行动态调整，提高路径规划的合理性和准确性。

Description

基于大数据车载影像的路径规划方法及系统

技术领域

本发明一般地涉及图像处理领域。更具体地，本发明涉及基于大数据车载影像的路径规划方法及系统。

背景技术

近年来，随着城市交通密度的增加和交通状况的不确定性，传统的导航系统面临着各种挑战，传统导航系统主要基于地图数据进行路径规划，但有时地图数据可能不够准确或过时，随着智能交通系统的发展，车载影像设备的普及和应用日益广泛，通过车载摄像头采集的实时影像数据，可以对道路状况进行更精确的感知，从而提高路径规划的准确性。车载影像传感器可以实时捕捉车辆周围的道路环境，为车辆导航和路径规划提供重要的信息支持。传统的路径规划方法主要基于静态地图数据和车辆传感器的实时数据，但这些方法往往忽略了动态交通环境的变化性，导致路径规划结果不够准确和不够及时。

发明内容

为解决上述一个或多个技术问题，本发明提出基于大数据车载影像的路径规划方法及系统。

基于大数据车载影像的路径规划方法，包括以下步骤：标记历史车载影像在预设路段拍摄的路况图像中的前景区域，以构建路况数据集，其中，所述前景区域包括机动车区域、非机动车区域和行人区域，所述路况数据集包括所述路况图像和所述路况图像的标签；通过预设的语义分割模型，获得待测的所述路况图像中每个前景区域的区域特征，所述区域特征包括前景区域的位置特征、前景区域的数量特征和前景区域的大小特征；计算预设路段的实时路况图像和最新存储路况图像之间的区域差异性，所述实时路况图像为当前时刻车辆行驶至预设路段时车载影像拍摄的路况图像，所述最新存储路况图像为预设路段的边缘传输节点中存储的最新路况图像，所述区域差异性满足关系式：

其中，表示实时路况图像和最新存储路况图像之间的区域差异性，/>表示实时路况图像中第/>个像素点的像素值，/>表示最新存储路况图像中第/>个像素点的像素值。

比较所述区域差异性和预设阈值，获得目标路况图像；基于所述目标路况图像的所述区域特征分别计算路况拥堵程度、行驶混乱程度和路面平整程度；基于所述路况拥堵程度、所述行驶混乱程度和所述路面平整程度计算预设路段的行驶得分；基于预设的路径规划算法规划车辆的行驶路径。

在一个实施例中，通过预设的语义分割模型，获得待测的所述路况图像中每个前景区域的区域特征，包括：将所述路况数据集中的所述路况图像输入所述语义分割模型中，输出所述路况图像中每个像素点属于所述前景区域的类别概率。

在一个实施例中，所述语义分割模型为训练好的卷积网络模型，对卷积网络模型进行模型训练，模型训练过程包含正向传播与反向传播，在正向传播过程中根据输出的所述类别概率和所述标签之间的误差计算损失函数，在反向传播过程中使用梯度下降法更新权重；当所述卷积网络模型达到设定的最大训练次数或网络损失值小于设定损失值时，停止更新，得到训练好的卷积网络模型作为所述语义分割网络模型。

在一个实施例中，比较所述区域差异性和预设阈值，获得目标路况图像，包括：比较所述区域差异性和预设阈值的大小：响应于所述区域差异性大于预设阈值，将所述实时路况图像作为目标路况图像更新所述最新存储路况图像；响应于所述区域差异性不大于预设阈值，将所述最新存储路况图像作为目标路况图像。

在一个实施例中，所述路况拥堵程度满足关系式：

其中，表示路况拥堵程度，/>表示路况图像中的前景区域属于机动车区域的面积值，/>表示路况图像中的前景区域属于非机动车区域的面积值，/>表示路况图像中的前景区域属于行人区域的面积值，/>表示路况图像的总面积。

在一个实施例中，计算所述行驶混乱程度包括步骤：所述标签包括行人区域标签、机动车区域标签和非机动车区域标签；计算标签依赖矩阵不同位置的依赖值，所述依赖值满足关系式：

其中，表示依赖值，/>表示第/>个区域的标签，/>表示与第/>个区域的相邻区域的标签，/>表示矢性函数。

获得标签依赖矩阵每个位置的依赖值，完成标签依赖矩阵的构建，对所述标签依赖矩阵进行归一化；根据归一化后的所述标签依赖矩阵计算所述行驶混乱程度，所述行驶混乱程度满足关系式：

其中，表示行驶混乱程度，/>表示标签依赖矩阵中第/>行第/>列的依赖值，表示标签依赖矩阵中的行数，/>表示标签依赖矩阵中的列数。

在一个实施例中，计算所述路面平整程度包括步骤：所述前景区域还包括路面平整区域和路面坑洼区域；基于所述路面平整区域的大小特征、所述路面平整区域的数量特征、所述路面坑洼区域的大小特征和所述路面坑洼区域的数量特征计算所述路面平整程度，所述路面平整程度满足关系式：

其中，表示路面平整程度，/>表示路况图像中路面平整区域的面积，/>表示路况图像中路面坑洼区域的面积，/>表示路况图像中路面平整区域的个数，/>表示路况图像中路面坑洼区域的面积的个数。

在一个实施例中，所述基于预设的路径规划算法根据行驶得分获得车辆的行驶路径包括步骤：基于所述路况拥堵程度、所述行驶混乱程度和所述路面平整程度计算预设路段的行驶得分，所述行驶得分满足关系式：

其中，表示预设路段的行驶得分，/>表示路面平整程度，/>表示路况拥堵程度，/>表示行驶混乱程度。

遍历整条道路的所有边缘传输节点获得的所述目标路况图像，获得行驶得分序列，将所述行驶得分序列的均值作为整条道路的行驶得分；根据预设的路径规划算法根据整条道路的所述行驶得分为车辆规划行驶路径。

本发明具有以下技术效果：

1.本发明能够解决传统导航系统路径规划时存在的不够准确或过时的现象，基于大数据车载影像这些实时数据，路径规划系统可以根据当前道路状况进行动态调整，避免拥堵路段或者不平整路段，选择更优的行驶路径。

2.通过车载影像采集的道路图像和边缘传输节点最新存储图像进行比较，判断出预设路段的路况是否发生变化，如果变化则将其传输到云端服务器更新该位置的图像，将实时采集的图像输入到训练完毕的语义分割模型中，输出图像中的路面平整区域、路面坑洼区域、机动车区域、非机动车区域和行人区域，根据模型输出结果计算出图像对应的路况的拥堵度、行驶的混乱程度和路面的平整度，对道路进行路段划分，依据划分结果中每段路的平均路况拥堵度、平均行驶混乱程度和平均路面平整度计算出该路段的行驶得分，最后根据当前的位置、行驶目的地和每段路的行驶得分使用路径规划算法规划出最优路径。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：

图1是本发明实施例基于大数据车载影像的路径规划方法的流程图。

图2是本发明实施例基于大数据车载影像的路径规划系统的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当本发明的权利要求、说明书及附图使用术语“第一”、“第二”等时，其仅是用于区别不同对象，而不是用于描述特定顺序。本发明的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

本发明提供了基于大数据车载影像的路径规划方法。如图1所示，基于大数据车载影像的路径规划方法包括步骤S1-步骤S5，以下具体说明。

S1，标记历史车载影像拍摄的路况图像中的前景区域，构建路况数据集。

需要说明的是，本发明将两个红绿灯之间的道路划分为一整条道路，一整条道路中存在多个边缘传输节点，即存在多个预设路段，边缘传输节点与预设路段一一对应。

在一个实施例中，获得历史中车载影像在预设路段拍摄的路况图像，并对路况图像中的前景区域进行标注，一般来说，前景区域包括了行车环境、行车路况等，示例性的，本发明限定了前景区域包括机动车区域、非机动车区域、行人区域、路面平整区域和路面坑洼区域。对路况图像中的前景区域标注完成后，将图像和图像标注的前景区域构建为路况数据集。

S2，通过预设的语义分割模型，获得待测的路况图像中每个前景区域的区域特征。

在一个实施例中，建立语义分割模型，包括步骤：预设的语义分割模型为卷积网络模型，将路况数据集中的路况图像输入卷积网络模型中，输出路况图像中每个像素点属于前景区域的类别概率；训练过程包含正向传播与反向传播，在正向传播过程中根据输出的类别概率和标签之间的误差计算损失函数，在反向传播过程中使用梯度下降法更新权重；当卷积网络模型达到设定的最大训练次数或网络损失值小于设定损失值时，停止更新，得到训练好的语义分割网络模型，示例性的，网络损失值小于0.0001或者训练次数达到200次停止更新，得到训练好的卷积网络模型。多次训练模型，每次训练结束均会获得一个精确率，根据卷积网络模型评价指标中的精确率选择最优模型，即精确率最大的为最后的卷积网络模型。

示例性的，卷积网络模型可以为FCN（Fully Convolutional Network全卷积）网络、U-net网络、GCN（Graph Convolutional Network图卷积）网络、GAN（GenerativeAdversarial Network生成对抗）网络等。

S3，计算预设路段同一位置的实时路况图像和最新存储路况图像之间的区域差异性，以获得目标路况图像。

在一个实施例中，计算预设路段的实时路况图像和最新存储路况图像之间的区域差异性，其中，实时路况图像为当前时刻车辆行驶至预设路段时车载影像拍摄的路况图像，最新存储路况图像为预设路段的边缘传输节点中存储的最新路况图像，区域差异性满足关系式：

其中，表示实时路况图像和最新存储路况图像之间的区域差异性，/>表示实时路况图像中第/>个像素点的像素值，/>表示最新存储路况图像中第/>个像素点的像素值，/>为归一化函数。

比较区域差异性和预设阈值，响应于区域差异性大于预设阈值，将实时路况图像作为目标路况图像更新最新存储路况图像，响应于区域差异性不大于预设阈值，将最新存储路况图像作为目标路况图像，示例性的，本发明将预设阈值设置为0.7，具体数值可由本领域技术人员设置。

需要说明的是，若区域差异性不大于预设阈值，说明前后拍摄的位置的道路情况没有发生较大变化，若区域差异性大于预设阈值，说明前后拍摄的位置的道路情况发生较大变化，示例性的，道路情况包括道路出现拥堵、道路出现坑洼、短时间内出现大量行人等情况，此时需要更新预设路段对应的边缘传输节点中最新存储图像，用于对后续车辆的规划。

至此，能够获得目标路况图像。

S4，基于目标路况图像的区域特征计算路况拥堵程度、行驶混乱程度和路面平整程度。

在一个实施例中，根据前景区域的大小特征计算路况拥堵程度，路况拥堵程度满足关系式：

其中，表示路况拥堵程度，/>表示路况图像中的前景区域属于机动车区域的面积值，/>表示路况图像中的前景区域属于非机动车区域的面积值，/>表示路况图像中的前景区域属于行人区域的面积值，/>表示路况图像的总面积。

在一个实施例中，根据前景区域的位置特征计算行驶混乱程度：

标签包括行人区域标签、机动车区域标签和非机动车区域标签；计算标签依赖矩阵不同位置的依赖值，所述依赖值满足关系式：

其中，表示依赖值，/>表示第/>个区域的标签，/>表示与第/>个区域的相邻区域的标签，/>表示矢性函数。当第/>个区域的标签和相邻区域的标签一致时，矢性函数取值为0，当第/>个区域的标签和相邻区域的标签不一致时，矢性函数取值为1。

获得标签依赖矩阵每个位置的依赖值，完成标签依赖矩阵的构建，对标签依赖矩阵进行归一化；根据归一化后的标签依赖矩阵计算行驶混乱程度，行驶混乱程度满足关系式：

其中，表示行驶混乱程度，/>表示标签依赖矩阵中第/>行第/>列的依赖值，表示标签依赖矩阵中的行数，/>表示标签依赖矩阵中的列数。

在一个实施例中，前景区域还包括路面平整区域和路面坑洼区域，基于路面平整区域的大小特征、路面平整区域的数量特征、路面坑洼区域的大小特征和路面坑洼区域的数量特征计算路面平整程度，路面平整程度满足关系式：

其中，表示路面平整程度，/>表示路况图像中路面平整区域的面积，/>表示路况图像中路面坑洼区域的面积，/>表示路况图像中路面平整区域的个数，/>表示路况图像中路面坑洼区域的面积的个数。

S5，计算预设路段的行驶得分，基于预设的路径规划算法规划车辆的行驶路径。

在一个实施例中，基于路况拥堵程度、行驶混乱程度和路面平整程度计算预设路段的行驶得分，行驶得分满足关系式：

其中，表示预设路段的行驶得分，/>表示路面平整程度，/>表示路况拥堵程度，/>表示行驶混乱程度。路段的行驶得分越高，说明在该路段行驶更加舒适，路径规划时优先选择行驶得分高的路段。

遍历整条道路的所有边缘传输节点获得的目标路况图像，获得行驶得分序列，将行驶得分序列的均值作为整条道路的行驶得分；根据预设的路径规划算法根据整条道路的行驶得分为车辆规划行驶路径。示例性的，预设的路径规划算法包括Dijkstra（迪杰斯特拉算法）算法、AStar算法、人工势场法、RRT（随机快速探索树）、PRM（概率路线图）和启发式搜索算法等。

至此，完成基于大数据车载影像的路径规划方法及系统。

本发明实施例还公开基于大数据车载影像的路径规划系统，参照图2，包括处理器和存储器，存储器存储有计算机程序指令，当计算机程序指令被处理器执行时实现根据本发明的基于大数据车载影像的路径规划方法。

上述系统还包括通信总线和通信接口等本领域技术人员熟知的其他组件，其设置和功能为本领域中已知，因此在此不再赘述。

在本发明中，前述的存储器可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，计算机可读存储介质可以是任何适当的磁存储介质或者磁光存储介质，比如，阻变式存储器RRAM（Resistive RandomAccess Memory）、动态随机存取存储器DRAM（Dynamic Random Access Memory）、静态随机存取存储器SRAM（Static Random-Access Memory)、增强动态随机存取存储器EDRAM（Enhanced Dynamic Random Access Memory）、高带宽内存HBM（High-Bandwidth Memory）、混合存储立方HMC（Hybrid Memory Cube）等，或者可以用于存储所需信息并且可以由应用程序、模块或两者访问的任何其他介质。任何这样的计算机存储介质可以是设备的一部分或可访问或可连接到设备。

虽然本说明书已经示出和描述了本发明的多个实施例，但对于本领域技术人员显而易见的是，这样的实施例只是以示例的方式提供的。本领域技术人员会在不偏离本发明思想和精神的情况下想到许多更改、改变和替代的方式。应当理解的是在实践本发明的过程中，可以采用本文所描述的本发明实施例的各种替代方案。

以上均为本发明的较佳实施例，并非依此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。

Claims (7)

1.基于大数据车载影像的路径规划方法，其特征在于，包括以下步骤：

标记历史车载影像在预设路段拍摄的路况图像中的前景区域，以构建路况数据集，其中，所述前景区域包括机动车区域、非机动车区域和行人区域，所述路况数据集包括所述路况图像和所述路况图像的标签；

通过预设的语义分割模型，获得待测的所述路况图像中每个前景区域的区域特征，所述区域特征包括前景区域的位置特征、前景区域的数量特征和前景区域的大小特征；

计算预设路段的实时路况图像和最新存储路况图像之间的区域差异性，所述实时路况图像为当前时刻车辆行驶至预设路段时车载影像拍摄的路况图像，所述最新存储路况图像为预设路段的边缘传输节点中存储的最新路况图像，所述区域差异性满足关系式：

其中，表示实时路况图像和最新存储路况图像之间的区域差异性，/>表示实时路况图像中第/>个像素点的像素值，/>表示最新存储路况图像中第/>个像素点的像素值，tanh为归一化函数；

比较所述区域差异性和预设阈值，获得目标路况图像；

基于所述目标路况图像的所述区域特征分别计算路况拥堵程度、行驶混乱程度和路面平整程度；

基于所述路况拥堵程度、所述行驶混乱程度和所述路面平整程度计算预设路段的行驶得分；

基于预设的路径规划算法规划车辆的行驶路径；

通过预设的语义分割模型，获得待测的所述路况图像中每个前景区域的区域特征，包括：

将所述路况数据集中的所述路况图像输入所述语义分割模型中，输出所述路况图像中每个像素点属于所述前景区域的类别概率；

所述基于预设的路径规划算法根据行驶得分获得车辆的行驶路径包括步骤：

基于所述路况拥堵程度、所述行驶混乱程度和所述路面平整程度计算预设路段的行驶得分，所述行驶得分满足关系式：

其中，表示预设路段的行驶得分，/>表示路面平整程度，/>表示路况拥堵程度，表示行驶混乱程度；

遍历整条道路的所有边缘传输节点获得的所述目标路况图像，获得行驶得分序列，将所述行驶得分序列的均值作为整条道路的行驶得分；

根据预设的路径规划算法根据整条道路的所述行驶得分为车辆规划行驶路径。

2.根据权利要求1所述的基于大数据车载影像的路径规划方法，其特征在于，所述语义分割模型为训练好的卷积网络模型，对卷积网络模型进行模型训练，模型训练过程包含正向传播与反向传播，在正向传播过程中根据输出的所述类别概率和所述标签之间的误差计算损失函数，在反向传播过程中使用梯度下降法更新权重；

当所述卷积网络模型达到设定的最大训练次数或网络损失值小于设定损失值时，停止更新，得到训练好的卷积网络模型作为语义分割网络模型。

3.根据权利要求1所述的基于大数据车载影像的路径规划方法，其特征在于，比较所述区域差异性和预设阈值，获得目标路况图像，包括：

比较所述区域差异性和预设阈值的大小；

响应于所述区域差异性大于预设阈值，将所述实时路况图像作为目标路况图像更新所述最新存储路况图像；

响应于所述区域差异性不大于预设阈值，将所述最新存储路况图像作为目标路况图像。

4.根据权利要求1所述的基于大数据车载影像的路径规划方法，其特征在于，所述路况拥堵程度满足关系式：

其中，表示路况拥堵程度，/>表示路况图像中的前景区域属于机动车区域的面积值，/>表示路况图像中的前景区域属于非机动车区域的面积值，/>表示路况图像中的前景区域属于行人区域的面积值，/>表示路况图像的总面积。

5.根据权利要求1所述的基于大数据车载影像的路径规划方法，其特征在于，计算所述行驶混乱程度包括步骤：

所述标签包括行人区域标签、机动车区域标签和非机动车区域标签；

计算标签依赖矩阵不同位置的依赖值，所述依赖值满足关系式：

其中，表示依赖值，/>表示第/>个区域的标签，/>表示与第/>个区域的相邻区域的标签，/>表示矢性函数；

获得标签依赖矩阵每个位置的依赖值，完成标签依赖矩阵的构建，对所述标签依赖矩阵进行归一化；

根据归一化后的所述标签依赖矩阵计算所述行驶混乱程度，所述行驶混乱程度满足关系式：

其中，表示行驶混乱程度，/>表示标签依赖矩阵中第/>行第/>列的依赖值，/>表示标签依赖矩阵中的行数，/>表示标签依赖矩阵中的列数。

6.根据权利要求1所述的基于大数据车载影像的路径规划方法，其特征在于，计算所述路面平整程度包括步骤：

所述前景区域还包括路面平整区域和路面坑洼区域；

基于所述路面平整区域的大小特征、所述路面平整区域的数量特征、所述路面坑洼区域的大小特征和所述路面坑洼区域的数量特征计算所述路面平整程度，所述路面平整程度满足关系式：

其中，表示路面平整程度，/>表示路况图像中路面平整区域的面积，/>表示路况图像中路面坑洼区域的面积，/>表示路况图像中路面平整区域的个数，/>表示路况图像中路面坑洼区域的面积的个数。

7.基于大数据车载影像的路径规划系统，其特征在于，包括：

处理器；以及存储器，所述存储器存储有用于基于大数据车载影像的路径规划方法的计算机指令，当所述计算机指令由所述处理器运行时，使得设备执行根据权利要求1-6的任意一项所述的基于大数据车载影像的路径规划方法。