CN117218866A - 一种路况分析方法和装置 - Google Patents

Abstract

本发明提供了一种路况分析方法和装置，包括：将实时图像、车道行车方向指示图像以及道路信号灯图像按目标路口的按车道的进行拼接，得到对应的拼接图像，再对拼接图像按目标路口的各车道进行拆分，得到各车道对应的拆分图像；将目标路口对应的拼接图像输入训练好的车辆分类模型，输出第一分类结果图，将目标路口的各车道对应的拆分图像输入训练好的车辆分类模型，输出各车道对应的第二分类结果图；基于融合分类结果图获取目标路口的路况分析结果。该方案由于在模型处理过程中利用了拼接图像的全局特征和局部特征，提高了车辆分类的准确性，进而提高了路况分析的准确性，同时由于获取了车道级的车辆分类结果，因此可以进行车道级的路况分析。

Description

一种路况分析方法和装置

技术领域

本发明涉及地图导航技术领域，尤其涉及一种路况分析方法和装置。

背景技术

近几年来，随着汽车保有量的增长速度加快，各地道路的拥堵和安全问题也随之加重。因此，及时准确地获取各道路的交通状态对于交通管理者和出行者都具有非常重要的意义。

当下许多导航软件都会提供路况分析功能，以便为用户行车提供参考，躲避拥堵。这些导航软件大多依靠用户上报信息来进行车流量分析，进而预测路况，确定是否存在堵车情况。

但是，上述方式得到的路况分析结果往往并不准确，且不能提供车道级别的路况分析结果。那么，如何提高路况分析的准确性并提供车道级别的路况分析结果是亟需解决的问题。

发明内容

本发明提供一种路况分析方法及装置，用以解决现有技术中路况分析准确率低且不能提供车道级路况分析结果的问题。

一方面，本发明提供一种路况分析方法，包括：

获取当前车辆的位置信息，并基于位置信息确定当前车辆的预设范围内的至少一个目标路口；

获取每一目标路口的实时图像、车道行车方向指示图像以及道路信号灯图像，将实时图像、车道行车方向指示图像以及道路信号灯图像按目标路口的各车道的排布顺序和排布位置进行拼接，得到对应的拼接图像，再对拼接图像按目标路口的各车道进行拆分，得到各车道对应的拆分图像；

将目标路口对应的拼接图像输入训练好的车辆分类模型，输出第一分类结果图，将目标路口的各车道对应的拆分图像输入训练好的车辆分类模型，输出各车道对应的第二分类结果图，其中，第一分类结果图和第二分类结果图中都标注了对应的输入图中的特定类型车辆，特定类型车辆为预先确定的会造成路口拥堵的车辆；

对第一分类结果图和第二分类结果图进行融合，得到融合分类结果图，并基于融合分类结果图获取目标路口的路况分析结果。

根据本发明提供的一种路况分析方法，将实时图像、车道行车方向指示图像以及道路信号灯图像按目标路口的各车道的排布顺序和排布位置进行拼接，得到对应的拼接图像，包括：

对于车道行车方向指示图像和道路信号灯图像中的每一图像，对图像按车道进行拆分得到对应的第一车道信息子图；

将每一车道信息子图的宽度缩放至与实时图像中对应的车道的宽度一致得到第二车道信息子图；

将各第二车道信息子图在宽度方向按目标路口的各车道的排布顺序和排布位置与实时图像进行拼接，得到对应的拼接图像。

根据本发明提供的一种路况分析方法，第一分类结果图为通过第一标注框标注了特定类型车辆拼接图像，第二分类结果图为通过第二标注框标注了特定类型车辆的拆分图像；

对第一分类结果图和第二分类结果图进行融合，得到融合分类结果图，包括：

将各车道对应的第二分类结果图分别与第一分类结果图对应的车道重叠，并基于第一标注框和第二标注框获取第三标注框；

基于重叠后的图像和各第三标注框得到融合分类。

根据本发明提供的一种路况分析方法，第一标注框和第二标注框上还携带有对应的特定类型车辆的分类概率；

基于第一标注框和第二标注框获取第三标注框，包括：

将没有相互重合的第一标注框和第二标注框分别作为对应的第三标注框，并将没有相互重合的第一标注框和第二标注框所携带的分类概率作为对应的第三标注框携带的分类概率；

将相互重合的第一标注框和第二标注框取并集得到对应的第三标注框，并将相互重合的第一标注框和第二标注框所携带的分类概率按预设权重进行加权得到对应的第三标注框携带的分类概率。

根据本发明提供的一种路况分析方法，特定类型车辆包括以下至少一项：

行车车道错误车辆；

行车过缓车辆；

发生交通事故车辆。

根据本发明提供的一种路况分析方法，训练好的车辆分类模型通过如下方式获取：

获取预设数量的真实拼接图像，并将每一真实拼接图像中在向其他车道插队或转向灯与所在车道行车方向不符的车辆标注为行车车道错误车辆，将每一真实拼接图像中与前车距离超过预设距离的车辆标注为行车过缓车辆，将每一真实拼接图像中揩油双闪、车门未闭或车辆周围有人员的车辆标注为发生交通事故车辆，得到预设数量的拼接图像样本；

将预设数量的拼接图像样本按车道进行拆分，得到各车道对应的预设数量的拆分图像样本；

利用预设数量的拼接图像样本和各车道对应的预设数量的拆分图像样本，对初始车辆分类模型进行训练，得到训练好的车辆分类模型。

根据本发明提供的一种路况分析方法，每次训练过程包括：

将任一拼接图像样本输入初始车辆分类模型，得到对应第一损失值，并将任一拼接图像样本对应的各车道对应的拆分图像样本输入初始车辆分类模型，得到对应的第二损失值；

基于第二预设权重对第一损失值和各第二损失值进行加权，得到总损失值，并利用总损失值对初始车辆分类模型的网络参数进行调整。

第二方面，本发明还提供一种路况分析装置，包括：

目标路口确定模块，用于获取当前车辆的位置信息，并基于位置信息确定当前车辆的预设范围内的至少一个目标路口；

图像获取模块，用于获取每一目标路口的实时图像、车道行车方向指示图像以及道路信号灯图像，将实时图像、车道行车方向指示图像以及道路信号灯图像按目标路口的各车道的排布顺序和排布位置进行拼接，得到对应的拼接图像，再对拼接图像按目标路口的各车道进行拆分，得到各车道对应的拆分图像；

车辆分类模块，用于将目标路口对应的拼接图像输入训练好的车辆分类模型，输出第一分类结果图，将目标路口的各车道对应的拆分图像输入训练好的车辆分类模型，输出各车道对应的第二分类结果图，其中，第一分类结果图和第二分类结果图中都标注了对应的输入图中的特定类型车辆，特定类型车辆为预先确定的会造成路口拥堵的车辆；

路况分析结果获取模块，用于对第一分类结果图和第二分类结果图进行融合，得到融合分类结果图，并基于融合分类结果图获取目标路口的路况分析结果。

根据本发明还提供的一种路况分析装置，图像获取模块具体用于：

对于车道行车方向指示图像和道路信号灯图像中的每一图像，对图像按车道进行拆分得到对应的第一车道信息子图；

将每一车道信息子图的宽度缩放至与实时图像中对应的车道的宽度一致得到第二车道信息子图；

将各第二车道信息子图在宽度方向按目标路口的各车道的排布顺序和排布位置与实时图像进行拼接，得到对应的拼接图像。

根据本发明还提供的一种路况分析装置，第一分类结果图为通过第一标注框标注了特定类型车辆拼接图像，第二分类结果图为通过第二标注框标注了特定类型车辆的拆分图像；

路况分析结果获取模块具体用于：

将各车道对应的第二分类结果图分别与第一分类结果图对应的车道重叠，并基于第一标注框和第二标注框获取第三标注框；

基于重叠后的图像和各第三标注框得到融合分类。

根据本发明还提供的一种路况分析装置，第一标注框和第二标注框上还携带有对应的特定类型车辆的分类概率；

路况分析结果获取模块进一步用于：

将没有相互重合的第一标注框和第二标注框分别作为对应的第三标注框，并将没有相互重合的第一标注框和第二标注框所携带的分类概率作为对应的第三标注框携带的分类概率；

将相互重合的第一标注框和第二标注框取并集得到对应的第三标注框，并将相互重合的第一标注框和第二标注框所携带的分类概率按预设权重进行加权得到对应的第三标注框携带的分类概率。

根据本发明还提供的一种路况分析装置，特定类型车辆包括以下至少一项：

行车车道错误车辆；

行车过缓车辆；

发生交通事故车辆。

根据本发明还提供的一种路况分析装置，该装置还包括训练模块，用于：

获取预设数量的真实拼接图像，并将每一真实拼接图像中在向其他车道插队或转向灯与所在车道行车方向不符的车辆标注为行车车道错误车辆，将每一真实拼接图像中与前车距离超过预设距离的车辆标注为行车过缓车辆，将每一真实拼接图像中揩油双闪、车门未闭或车辆周围有人员的车辆标注为发生交通事故车辆，得到预设数量的拼接图像样本；

将预设数量的拼接图像样本按车道进行拆分，得到各车道对应的预设数量的拆分图像样本；

利用预设数量的拼接图像样本和各车道对应的预设数量的拆分图像样本，对初始车辆分类模型进行训练，得到训练好的车辆分类模型。

根据本发明还提供的一种路况分析装置，训练模块具体用于：

将任一拼接图像样本输入初始车辆分类模型，得到对应第一损失值，并将任一拼接图像样本对应的各车道对应的拆分图像样本输入初始车辆分类模型，得到对应的第二损失值；

基于第二预设权重对第一损失值和各第二损失值进行加权，得到总损失值，并利用总损失值对初始车辆分类模型的网络参数进行调整。

第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如上述任一种路况分析方法。

第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种路况分析方法。

第五方面，本发明还提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现如上述任一种路况分析方法。

本发明提供的一种路况分析方法和装置，通过对目标路口的实时图像、车道行车方向指示图像以及道路信号灯图像按车道进行拼接，得到对应的拼接图像，再按车道对拼接图像进行拆分，得到各车道对应的拆分图像。然后分别利用训练好的车辆分类模型去处理拼接图像和各车道的拆分图像，进而得到包含拼接图像中的特定类型车辆的第一分类结果图，以及包含各车道的拆分图像中的特定类型车辆的第二分类结果图，将两个分类结果图进行融合得到对应的融合分类结果图，并利用该融合结果图即可获取路况分析结果。该方案由于在模型处理过程中利用了拼接图像的全局特征和局部特征，提高了车辆分类的准确性，进而提高了路况分析的准确性，同时由于获取了车道级的车辆分类结果，因此可以进行车道级的路况分析。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种路况分析方法的流程示意图；

图2为本发明提供的一种路况分析装置的结构框图；

图3是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种路况分析方法实施所依赖的系统，该系统可以包括路况分析后台服务器、一个或多个车辆的车载终端。其中，车辆的车载终端（手机、车机等）上可以安装有提供路况分析服务的软件或应用程序，服务使用者（例如司机）可以通过使用该软件或应用程序获取路况分析服务。具体来说，服务使用者通过操作车载终端上的软件或应用程序触发路况分析请求，车载终端通过网络将路况分析请求发送至路况分析后台服务器，路况分析后台服务器接收到该路况分析请求后，首先会确定要进行路况分析的目标路口，然后从第三方平台（例如交通警务平台）获取该目标路口的相关信息（包括实时图像等），然后基于获取到的这些信息进行路况分析，并将得到的路况分析结果反馈至车载终端，并显示给服务使用者，服务使用者根据获取到的路况分析结果选择是否经过该路口行车，或者进一步地选择行车至该路口时从哪条车道行车。可以理解的是，上述路况分析后台服务器可以布置在车辆上，也可以布置在云端。

下面将对本发明实施例中的路况分析方法进行详细说明。

图1为本发明实施例提供的一种路况分析方法的流程示意图，该方法的执行主体可以是前述路况分析后台服务器，如图1所示，该方法可以包括：

S101，获取当前车辆的位置信息，并基于位置信息确定当前车辆的预设范围内的至少一个目标路口。

其中，当前车辆的位置信息可以包含于前述路况分析请求中，并由车载终端发送至路况分析服务器。路况分析服务器可以根据该位置信息，确定一个预设范围，例如可以确定一个以当前车辆的位置为圆心，五公里为半径的预设范围。由于当前车辆有可能走该预设范围内的任意路口，因此可以将该预设范围内的所有路口都确定为目标路口，目标路口即要进行路况分析的路口。需要说明的是，该目标路口需要有明确的车道划分，车道行车方向指示等信息。

进一步地，路况分析后台服务器在接收到路况分析请求后，还可以获取当前车辆的历史行车轨迹、当前行车目的地、当前行车规划路线等信息中的一种或多种用于确定目标路口。具体来说，路况分析后台服务器可以获取当前车辆的历史行车轨迹，并统计提取出当前车辆走预设范围内各个路口的频率，并将频率靠前的预设数量的路口都确定为目标路口，并按频率由高到低依次进行路况分析。路况分析后台服务器也可以根据当前行车目的地规划可能的行车路线，或直接通过当前行车规划路线获取可能的行车路线，并将可能的行车路线中所要经过的预设范围内的路口确定为目标路口，并按照与当前车辆距离由近及远依次进行路况分析。

通过上述目标路口的确认过程中预设范围的设定，可以提高路况分析的实时性，也可以避免分析过多的路口而导致算力的浪费。

S102，获取每一目标路口的实时图像、车道行车方向指示图像以及道路信号灯图像，将实时图像、车道行车方向指示图像以及道路信号灯图像按目标路口的各车道的排布顺序和排布位置进行拼接，得到对应的拼接图像，再对拼接图像按目标路口的各车道进行拆分，得到各车道对应的拆分图像。

其中，目标路口的实时图像中包含该目标路口的各个车道。具体来说，该实时图像为当前车辆行进至该目标路口时可能的行车方向一侧的道路上各车道的图像。为了取得更准确的路况分析效果，该实时图像可以包括所有车道一定长度范围内的车辆、车辆上的指示灯。该实时图像可以直接从某一第三方平台获取，也可以是由多个第三方平台的多幅图像融合得到，例如，可以是交通警务平台的高清摄像监控画面与其他个人或平台用户上传的车载拍摄画面的融合，具体可以将各车辆的灯光画面以贴图的形式融合至交通警务平台的高清摄像监控画面中对应的车辆，从而使得实时图像具体各车辆的实时灯光信息，有利于进一步提高后续路况分析的准确性。举例来说，后续确定车辆类型时，可以通过车辆的转向灯情况确定该车辆是否行驶在正确的道路上。

其中，车道行车方向指示图像用于指示目标路口各车道的正确行车方向（“左转”、“右转”、“直行”、“掉头”等），该车道行车方向指示图像可以是从市政地图中获取形成方向信息后生成，也可以是实时拍摄的行车方向指示牌图像。

其中，道路信号灯图像用于指示目标路口各车道的交通信号灯状况（“红灯”、“绿灯”、“黄灯”等），该道路信号灯图像可以是实时拍摄的道路信号灯图像。

具体地，在后续进行目标路口的车辆分类时，是对图像进行处理，获取路口交通信息，进而进行特定类型车辆分类（即确定出特定类型车辆）。该图像中需要至少包含有上述各车道的实时车辆分布信息、各车道的行车方向信息以及各车道的实时交通信号灯信息，因此本发明实施例中将目标路口的实时图像、车道行车方向指示图像以及道路信号灯图像按车道一一对应地进行拼接，得到对应的拼接图像。再将得到的拼接图像按车道进行拆分，得到各车道对应的拆分图像。

S103，将目标路口对应的拼接图像输入训练好的车辆分类模型，输出第一分类结果图，将目标路口的各车道对应的拆分图像输入训练好的车辆分类模型，输出各车道对应的第二分类结果图，其中，第一分类结果图和第二分类结果图中都标注了对应的输入图中的特定类型车辆，特定类型车辆为预先确定的会造成路口拥堵的车辆。

其中，车辆分类模型可以是现有的视觉Transformer，例如Swin、ViT等。

视觉Transformer是一种基于Transformer的深度学习模型，用于处理图像和视频数据。与传统的卷积神经网络（CNN）不同，视觉Transformer利用自注意力机制来提取图像中的关键特征，并且具有全局的感受野和并行计算的优势。

视觉Transformer的核心组件是编码器（Encoder）和解码器（Decoder），其中编码器将图像输入转换为一组向量，解码器则将这些向量转换回图像输出。在编码器中，每个层通过自注意力机制对输入图像进行变换和压缩，从而提取出更高级别的特征。在解码器中，每个层利用之前层输出的特征进行重建和恢复图像的细节信息。

视觉Transformer在图像分类、目标检测、图像生成等任务中都取得了显著的进展。例如，在图像分类任务中，ViT模型（Vision Transformer）利用自注意力机制对图像进行特征提取和分类，取得了与CNN相当的性能。在目标检测任务中，DETR模型（DetectionTransformer）利用Transformer进行目标检测，取得了优秀的性能和可扩展性。

其中，ViT（Vision Transformer）是一种基于Transformer的图像分类模型，用于处理图像和视频数据。与传统的卷积神经网络（CNN）不同，ViT利用自注意力机制来提取图像中的关键特征，并且具有全局的感受野和并行计算的优势。Swin可以理解为对ViT一种改进，Swin的核心设计是利用Shifted Windows（移动窗口）的方法将图像输入转换为一系列局部窗口的特征表示，然后通过Transformer的编码器进行特征提取和分类。具体来说，Swin将输入图像划分为多个重叠的局部窗口，每个窗口的大小和步长都可以根据实际情况进行调整。然后，将每个局部窗口的特征通过自注意力机制进行交互和融合，从而提取出更高级别的特征表示。

本发明实施例中车辆分类模型用于对图像中的对象进行分类，经过训练后，本发明实施例可以确定出输入图中车辆是否为特定类型车辆。

需要说明的是，本发明实施例中特定类型的车辆有很多种类，且都是对路口交通通行行车阻碍，造成堵车道车辆。例如，特定类型的车辆可以是行车车道错误车辆；行车过缓车辆；发生交通事故车辆等等。

具体地，在前一步骤中获取了目标路口对应的拼接图像，以及目标路口各车道对应的拆分图像。虽然可以通过训练好的车辆分类模型对拼接图像直接进行处理，获取目标路口的特定类型车辆，但是该方式只能利用拼接图像的全局特征。因此，为了提高路况分析的准确性，需要将各车道对应的拆分图像也都采用训练好的车辆分类模型进行处理，以利用拼接图像的局部特征。因此，本发明实施例中，将拼接图像输入训练好的车辆分类模型获取第一分类结果图，将各车道对应的拆分图像输入训练好的车辆分类模型获取对应的第二分类结果图。

进一步地，本发明实施例的方案还可以进一步将每个车道对应的拆分图像进一步进行拆分得到更多的拆分子图像，并利用训练好的车辆分类模型对这些拆分子图像进行处理，以获取对应的第三分类结果图，后续可以利用第三分类结果图替换第二分类结果图，以获取路况分析结果。该方式可以进一步提高对局部特征的利用率，从而提高路况分析的准确性。

进一步地，在获取第一分类结果图时，训练好的车辆分类模型的输入图可以是拼接图像，也可以是对应的拆分图像或拆分子图像（训练过程相对应即可）。这样该车辆分类模型可以理解为一个多任务模型，其一是根据拆分图像或拆分子图像获取第一分类结果图，其二是根据拆分图像或拆分子图像获取第二分类结果图或第三分类结果图。

S104，对路况分析第一分类结果图和路况分析第二分类结果图进行融合，得到融合分类结果图，并基于路况分析融合分类结果图获取路况分析目标路口的路况分析结果。

具体地，在获取的第一分类结果图中包含有利用全局特征获取的目标路口的各特定类型车辆，在获取的第二分类结果图中包含有利用局部特征获取的目标路口的各特定类型车辆，将两个结果图进行融合得到融合分类结果，进而根据融合分类结果即可获取路口分析结果。由于在处理过程中按车道进行的特定类型车辆的获取，因而路口分析结果除了包含目标车道是否拥堵，还可以包括目标路口的哪些车道拥堵。

本发明提供的方案，通过对目标路口的实时图像、车道行车方向指示图像以及道路信号灯图像按车道进行拼接，得到对应的拼接图像，再按车道对拼接图像进行拆分，得到各车道对应的拆分图像。然后分别利用训练好的车辆分类模型去处理拼接图像和各车道的拆分图像，进而得到包含拼接图像中的特定类型车辆的第一分类结果图，以及包含各车道的拆分图像中的特定类型车辆的第二分类结果图，将两个分类结果图进行融合得到对应的融合分类结果图，并利用该融合结果图即可获取路况分析结果。该方案由于在模型处理过程中利用了拼接图像的全局特征和局部特征，提高了车辆分类的准确性，进而提高了路况分析的准确性，同时由于获取了车道级的车辆分类结果，因此可以进行车道级的路况分析。

在本发明的一种可选实施例中，将实时图像、车道行车方向指示图像以及道路信号灯图像按目标路口的各车道的排布顺序和排布位置进行拼接，得到对应的拼接图像，包括：

对于车道行车方向指示图像和道路信号灯图像中的每一图像，对图像按车道进行拆分得到对应的第一车道信息子图；

将每一车道信息子图的宽度缩放至与实时图像中对应的车道的宽度一致得到第二车道信息子图；

将各第二车道信息子图在宽度方向按目标路口的各车道的排布顺序和排布位置与实时图像进行拼接，得到对应的拼接图像。

具体地，在拼接实时图像、车道行车方向指示图像以及道路信号灯图像时需要按照路口进行拼接，具体来说，需要按照目标路口中各车道的排布顺序和排布位置进行拼接，在尺寸不一致时需要对车道行车方向指示图像以及道路信号灯图像中各车道对应的部分进行缩放。

在本发明的一种可选实施例中，第一分类结果图为通过第一标注框标注了特定类型车辆拼接图像，第二分类结果图为通过第二标注框标注了特定类型车辆的拆分图像；

对第一分类结果图和第二分类结果图进行融合，得到融合分类结果图，包括：

将各车道对应的第二分类结果图分别与第一分类结果图对应的车道重叠，并基于第一标注框和第二标注框获取第三标注框；

基于重叠后的图像和各第三标注框得到融合分类结果图。

进一步地，第一标注框和第二标注框上还携带有对应的特定类型车辆的分类概率；

基于第一标注框和第二标注框获取第三标注框，包括：

将没有相互重合的第一标注框和第二标注框分别作为对应的第三标注框，并将没有相互重合的第一标注框和第二标注框所携带的分类概率作为对应的第三标注框携带的分类概率；

将相互重合的第一标注框和第二标注框取并集得到对应的第三标注框，并将相互重合的第一标注框和第二标注框所携带的分类概率按第一预设权重进行加权得到对应的第三标注框携带的分类概率。

具体地，在第一类分类结果图中标注有多个第一标注框，该第一标注框指示了特定类型车辆在拼接图像中的位置以及对应的分类概率，所谓分类概率即模型指出的该第一标注框中的车辆为特定类型车辆的概率。同样，第二分类结果图中标注有多个第二标注框，该第二标注框指示了特定类型车辆在拆分图像中的位置以及对应的分类概率。为了兼顾模型利用全局特征的分类结果和利用局部特征的分类结果，需要将各第二分类结果图与第一分类结果图进行融合。在融合过程中涉及到分类框的指示范围的融合以及分类概率的融合。

具体来说，第一分类结果图实际上就是在拼接图像上添加了多个第一标注框，第二分类结果图实际上就是在拆分图像上添加了多个第二标注框。那么，将各第一分类结果图按车道与第二分类结果图进行融合时，若第一标注框和第二标注框没有相交（即两者没有重合区域），则将其直接作为融合分类结果的第三标注框，并将其携带的分类概率直接作为对应的第三标注框的分类概率。若第一标注框和第二标注框重合，那么取第一标注框和第二标注框的覆盖范围的并集作为对应的第三标注框的覆盖范围（该范围可能包含多个特定类型车辆），并对两个标注框的分类概率进行加权，得到对应的第三标注框携带的分类概率。通过该方式可以避免漏掉部分特定类型车辆，提高后续路况分析的准确性。

在获取到了融合分类结果图之后，可以获取各第三标注框携带的分类概率，并将分类概率不小于预设数值的第三标注框所指示的车辆确定为会造成拥堵的车辆。进而可以确定出该目标路口是否拥堵，且哪些车道拥堵。

在本发明的一种可选实施例中，特定类型车辆包括以下至少一项：

行车车道错误车辆；

行车过缓车辆；

发生交通事故车辆。

具体地，行车车道错误车辆可以通过车辆的转向灯与车道行车方向是否一致进行判断，行车过缓车辆可以通过车辆与前车距离是否超过预设距离（该预设距离可以根据实际情况进行设定，例如设定为1.5米）进行判断，发生交通事故车辆可以通过车辆的车门是否关闭或车辆周围是否有人员出现进行判断。可以理解的是，特定类型的车辆还有很多种，可以根据实际交通经验进行增加，构建一个特定类型车辆数据库。

在本发明的一种可选实施例中，训练好的车辆分类模型通过如下方式获取：

获取预设数量的真实拼接图像，并将每一真实拼接图像中在向其他车道插队或转向灯与所在车道行车方向不符的车辆标注为行车车道错误车辆，将每一真实拼接图像中与前车距离超过预设距离的车辆标注为行车过缓车辆，将每一真实拼接图像中揩油双闪、车门未闭或车辆周围有人员的车辆标注为发生交通事故车辆，得到预设数量的拼接图像样本；

将预设数量的拼接图像样本按车道进行拆分，得到各车道对应的预设数量的拆分图像样本；

利用预设数量的拼接图像样本和各车道对应的预设数量的拆分图像样本，对初始车辆分类模型进行训练，得到训练好的车辆分类模型。

进一步地，每次训练过程包括：

将任一拼接图像样本输入初始车辆分类模型，得到对应第一损失值，并将任一拼接图像样本对应的各车道对应的拆分图像样本输入初始车辆分类模型，得到对应的第二损失值；

基于第二预设权重对第一损失值和各第二损失值进行加权，得到总损失值，并利用总损失值对初始车辆分类模型的网络参数进行调整。

具体地，在本发明实施例的模型训练过程中，由于模型使用了两种输入图，因此需要使用两种损失值，其一为利用全局特征进行车辆分类时的损失值，其二为利用局部特征进行车辆分类时的损失值，并对这两个损失值进行加权求和，进而利用得到的总损失值对模型参数进行调整，直至得到训练好的模型。

图2为本发明提供的一种路况分析装置的结构框图，如图2所示，该装置可以包括：目标路口确定模块201、图像获取模块202、车辆分类模块203以及路况分析结果获取模块204，其中：

目标路口确定模块201用于获取当前车辆的位置信息，并基于位置信息确定当前车辆的预设范围内的至少一个目标路口；

图像获取模块202用于获取每一目标路口的实时图像、车道行车方向指示图像以及道路信号灯图像，将实时图像、车道行车方向指示图像以及道路信号灯图像按目标路口的各车道的排布顺序和排布位置进行拼接，得到对应的拼接图像，再对拼接图像按目标路口的各车道进行拆分，得到各车道对应的拆分图像；

车辆分类模块203用于将目标路口对应的拼接图像输入训练好的车辆分类模型，输出第一分类结果图，将目标路口的各车道对应的拆分图像输入训练好的车辆分类模型，输出各车道对应的第二分类结果图，其中，第一分类结果图和第二分类结果图中都标注了对应的输入图中的特定类型车辆，特定类型车辆为预先确定的会造成路口拥堵的车辆；

路况分析结果获取模块204用于对第一分类结果图和第二分类结果图进行融合，得到融合分类结果图，并基于融合分类结果图获取目标路口的路况分析结果。

本发明提供的方案，通过对目标路口的实时图像、车道行车方向指示图像以及道路信号灯图像按车道进行拼接，得到对应的拼接图像，再按车道对拼接图像进行拆分，得到各车道对应的拆分图像。然后分别利用训练好的车辆分类模型去处理拼接图像和各车道的拆分图像，进而得到包含拼接图像中的特定类型车辆的第一分类结果图，以及包含各车道的拆分图像中的特定类型车辆的第二分类结果图，将两个分类结果图进行融合得到对应的融合分类结果图，并利用该融合结果图即可获取路况分析结果。该方案由于在模型处理过程中利用了拼接图像的全局特征和局部特征，提高了车辆分类的准确性，进而提高了路况分析的准确性，同时由于获取了车道级的车辆分类结果，因此可以进行车道级的路况分析。

根据本发明还提供的一种路况分析装置，图像获取模块具体用于：

对于车道行车方向指示图像和道路信号灯图像中的每一图像，对图像按车道进行拆分得到对应的第一车道信息子图；

将每一车道信息子图的宽度缩放至与实时图像中对应的车道的宽度一致得到第二车道信息子图；

将各第二车道信息子图在宽度方向按目标路口的各车道的排布顺序和排布位置与实时图像进行拼接，得到对应的拼接图像。

根据本发明还提供的一种路况分析装置，第一分类结果图为通过第一标注框标注了特定类型车辆拼接图像，第二分类结果图为通过第二标注框标注了特定类型车辆的拆分图像；

路况分析结果获取模块具体用于：

将各车道对应的第二分类结果图分别与第一分类结果图对应的车道重叠，并基于第一标注框和第二标注框获取第三标注框；

基于重叠后的图像和各第三标注框得到融合分类。

根据本发明还提供的一种路况分析装置，第一标注框和第二标注框上还携带有对应的特定类型车辆的分类概率；

路况分析结果获取模块进一步用于：

将没有相互重合的第一标注框和第二标注框分别作为对应的第三标注框，并将没有相互重合的第一标注框和第二标注框所携带的分类概率作为对应的第三标注框携带的分类概率；

将相互重合的第一标注框和第二标注框取并集得到对应的第三标注框，并将相互重合的第一标注框和第二标注框所携带的分类概率按预设权重进行加权得到对应的第三标注框携带的分类概率。

根据本发明还提供的一种路况分析装置，特定类型车辆包括以下至少一项：

行车车道错误车辆；

行车过缓车辆；

发生交通事故车辆。

根据本发明还提供的一种路况分析装置，该装置还包括训练模块，用于：

获取预设数量的真实拼接图像，并将每一真实拼接图像中在向其他车道插队或转向灯与所在车道行车方向不符的车辆标注为行车车道错误车辆，将每一真实拼接图像中与前车距离超过预设距离的车辆标注为行车过缓车辆，将每一真实拼接图像中揩油双闪、车门未闭或车辆周围有人员的车辆标注为发生交通事故车辆，得到预设数量的拼接图像样本；

将预设数量的拼接图像样本按车道进行拆分，得到各车道对应的预设数量的拆分图像样本；

利用预设数量的拼接图像样本和各车道对应的预设数量的拆分图像样本，对初始车辆分类模型进行训练，得到训练好的车辆分类模型。

根据本发明还提供的一种路况分析装置，训练模块具体用于：

将任一拼接图像样本输入初始车辆分类模型，得到对应第一损失值，并将任一拼接图像样本对应的各车道对应的拆分图像样本输入初始车辆分类模型，得到对应的第二损失值；

基于第二预设权重对第一损失值和各第二损失值进行加权，得到总损失值，并利用总损失值对初始车辆分类模型的网络参数进行调整。

图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行路况分析方法，该方法包括：获取当前车辆的位置信息，并基于位置信息确定当前车辆的预设范围内的至少一个目标路口；获取每一目标路口的实时图像、车道行车方向指示图像以及道路信号灯图像，将实时图像、车道行车方向指示图像以及道路信号灯图像按目标路口的各车道的排布顺序和排布位置进行拼接，得到对应的拼接图像，再对拼接图像按目标路口的各车道进行拆分，得到各车道对应的拆分图像；将目标路口对应的拼接图像输入训练好的车辆分类模型，输出第一分类结果图，将目标路口的各车道对应的拆分图像输入训练好的车辆分类模型，输出各车道对应的第二分类结果图，其中，第一分类结果图和第二分类结果图中都标注了对应的输入图中的特定类型车辆，特定类型车辆为预先确定的会造成路口拥堵的车辆；对第一分类结果图和第二分类结果图进行融合，得到融合分类结果图，并基于融合分类结果图获取目标路口的路况分析结果。

此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的路况分析方法，该方法包括：获取当前车辆的位置信息，并基于位置信息确定当前车辆的预设范围内的至少一个目标路口；获取每一目标路口的实时图像、车道行车方向指示图像以及道路信号灯图像，将实时图像、车道行车方向指示图像以及道路信号灯图像按目标路口的各车道的排布顺序和排布位置进行拼接，得到对应的拼接图像，再对拼接图像按目标路口的各车道进行拆分，得到各车道对应的拆分图像；将目标路口对应的拼接图像输入训练好的车辆分类模型，输出第一分类结果图，将目标路口的各车道对应的拆分图像输入训练好的车辆分类模型，输出各车道对应的第二分类结果图，其中，第一分类结果图和第二分类结果图中都标注了对应的输入图中的特定类型车辆，特定类型车辆为预先确定的会造成路口拥堵的车辆；对第一分类结果图和第二分类结果图进行融合，得到融合分类结果图，并基于融合分类结果图获取目标路口的路况分析结果。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的路况分析方法，该方法包括：获取当前车辆的位置信息，并基于位置信息确定当前车辆的预设范围内的至少一个目标路口；获取每一目标路口的实时图像、车道行车方向指示图像以及道路信号灯图像，将实时图像、车道行车方向指示图像以及道路信号灯图像按目标路口的各车道的排布顺序和排布位置进行拼接，得到对应的拼接图像，再对拼接图像按目标路口的各车道进行拆分，得到各车道对应的拆分图像；将目标路口对应的拼接图像输入训练好的车辆分类模型，输出第一分类结果图，将目标路口的各车道对应的拆分图像输入训练好的车辆分类模型，输出各车道对应的第二分类结果图，其中，第一分类结果图和第二分类结果图中都标注了对应的输入图中的特定类型车辆，特定类型车辆为预先确定的会造成路口拥堵的车辆；对第一分类结果图和第二分类结果图进行融合，得到融合分类结果图，并基于融合分类结果图获取目标路口的路况分析结果。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种路况分析方法，其特征在于，包括：

获取当前车辆的位置信息，并基于所述位置信息确定所述当前车辆的预设范围内的至少一个目标路口；

获取每一目标路口的实时图像、车道行车方向指示图像以及道路信号灯图像，将所述实时图像、所述车道行车方向指示图像以及所述道路信号灯图像按所述目标路口的各车道的排布顺序和排布位置进行拼接，得到对应的拼接图像，再对所述拼接图像按所述目标路口的各车道进行拆分，得到各车道对应的拆分图像；

将所述目标路口对应的拼接图像输入训练好的车辆分类模型，输出第一分类结果图，将所述目标路口的各车道对应的拆分图像输入所述训练好的车辆分类模型，输出各车道对应的第二分类结果图，其中，所述第一分类结果图和所述第二分类结果图中都标注了对应的输入图中的特定类型车辆，所述特定类型车辆为预先确定的会造成路口拥堵的车辆；

对所述第一分类结果图和所述第二分类结果图进行融合，得到融合分类结果图，并基于所述融合分类结果图获取所述目标路口的路况分析结果。

2.根据权利要求1所述的方法，其特征在于，所述将所述实时图像、所述车道行车方向指示图像以及所述道路信号灯图像按所述目标路口的各车道的排布顺序和排布位置进行拼接，得到对应的拼接图像，包括：

对于所述车道行车方向指示图像和所述道路信号灯图像中的每一图像，对所述图像按车道进行拆分得到对应的第一车道信息子图；

将每一车道信息子图的宽度缩放至与所述实时图像中对应的车道的宽度一致得到第二车道信息子图；

将各第二车道信息子图在宽度方向按所述目标路口的各车道的排布顺序和排布位置与所述实时图像进行拼接，得到对应的拼接图像。

3.根据权利要求1所述的方法，其特征在于，所述第一分类结果图为通过第一标注框标注了特定类型车辆拼接图像，所述第二分类结果图为通过第二标注框标注了特定类型车辆的拆分图像；

所述对所述第一分类结果图和所述第二分类结果图进行融合，得到融合分类结果图，包括：

将各车道对应的第二分类结果图分别与所述第一分类结果图对应的车道重叠，并基于所述第一标注框和所述第二标注框获取第三标注框；

基于所述重叠后的图像和各第三标注框得到所述融合分类结果图。

4.根据权利要求3所述的方法，其特征在于，所述第一标注框和第二标注框上还携带有对应的特定类型车辆的分类概率；

所述基于所述第一标注框和所述第二标注框获取第三标注框，包括：

将没有相互重合的第一标注框和第二标注框分别作为对应的第三标注框，并将没有相互重合的第一标注框和第二标注框所携带的分类概率作为对应的第三标注框携带的分类概率；

将相互重合的第一标注框和第二标注框取并集得到对应的第三标注框，并将相互重合的第一标注框和第二标注框所携带的分类概率按第一预设权重进行加权得到对应的第三标注框携带的分类概率。

5.根据权利要求1所述的方法，其特征在于，所述特定类型车辆包括以下至少一项：

行车车道错误车辆；

行车过缓车辆；

发生交通事故车辆。

6.根据权利要求5所述的方法，其特征在于，所述训练好的车辆分类模型通过如下方式获取：

获取预设数量的真实拼接图像，并将每一真实拼接图像中在向其他车道插队或转向灯与所在车道行车方向不符的车辆标注为所述行车车道错误车辆，将每一真实拼接图像中与前车距离超过预设距离的车辆标注为所述行车过缓车辆，将每一真实拼接图像中揩油双闪、车门未闭或车辆周围有人员的车辆标注为发生交通事故车辆，得到所述预设数量的拼接图像样本；

将所述预设数量的拼接图像样本按车道进行拆分，得到各车道对应的所述预设数量的拆分图像样本；

利用所述预设数量的拼接图像样本和各车道对应的所述预设数量的拆分图像样本，对初始车辆分类模型进行训练，得到所述训练好的车辆分类模型。

7.根据权利要求6所述的方法，其特征在于，每次训练过程包括：

将任一拼接图像样本输入所述初始车辆分类模型，得到对应第一损失值，并将所述任一拼接图像样本对应的各车道对应的拆分图像样本输入所述初始车辆分类模型，得到对应的第二损失值；

基于第二预设权重对所述第一损失值和各第二损失值进行加权，得到总损失值，并利用所述总损失值对所述初始车辆分类模型的网络参数进行调整。

8.一种路况分析装置，其特征在于，包括：

目标路口确定模块，用于获取当前车辆的位置信息，并基于所述位置信息确定所述当前车辆的预设范围内的至少一个目标路口；

图像获取模块，用于获取每一目标路口的实时图像、车道行车方向指示图像以及道路信号灯图像，将所述实时图像、所述车道行车方向指示图像以及所述道路信号灯图像按所述目标路口的各车道的排布顺序和排布位置进行拼接，得到对应的拼接图像，再对所述拼接图像按所述目标路口的各车道进行拆分，得到各车道对应的拆分图像；

车辆分类模块，用于将所述目标路口对应的拼接图像输入训练好的车辆分类模型，输出第一分类结果图，将所述目标路口的各车道对应的拆分图像输入所述训练好的车辆分类模型，输出各车道对应的第二分类结果图，其中，所述第一分类结果图和所述第二分类结果图中都标注了对应的输入图中的特定类型车辆，所述特定类型车辆为预先确定的会造成路口拥堵的车辆；

路况分析结果获取模块，用于对所述第一分类结果图和所述第二分类结果图进行融合，得到融合分类结果图，并基于所述融合分类结果图获取所述目标路口的路况分析结果。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。