CN114022853A - 行车道路的监控方法、系统和电子设备 - Google Patents

Abstract

本申请公开一种行车道路的监控方法、系统和电子设备。行车道路的监控方法，包括：获取行车道路图片；根据车道类型将所述行车道路图片分割为多个车道区域；检测所述行车道路图片上是否有车辆；若是，则获取目标车辆的位置，以及判断所述目标车辆的类型；当根据所述目标车辆的位置确定所述目标车辆位于目标车道区域时，判断所述目标车辆的类型与所述目标车道区域的车道类型是否匹配，其中，所述目标车道区域为多个车道区域中的一个车道区域；当所述目标车辆的类型与所述目标车道区域的车道类型不匹配时，提取并保存所述目标车辆的特征。本申请可以提高交警执勤效率，且减少交通事故。

Description

行车道路的监控方法、系统和电子设备

技术领域

本申请涉及图像处理技术领域，具体涉及一种行车道路的监控方法、系统和电子设备。

背景技术

由于不同车型的制动距离不同，大型汽车如果开得太快，刹车距离过长，存在安全隐患。普通的小型客车制动距离较好成绩一般在40～50米之间完成从100km/h到静止，实际情况下从反应到刹停基本可以控制在100米以内；但满载的客车或重载的货车制动距离会是小型车的几倍，而且有些拉着特殊钢材或设备的货车遇到突发情况时，实际情况并不允许急刹车，否则刹车导致的危险远比碰撞导致的危险更大。

因此，根据车辆类型的不同，将行车道路划分为不同类型的车道，使车辆在相应的车道上行驶，减少交通事故。然而，在现有技术中，通常需要依靠交警现场判断车辆的行驶道路与车辆的类型是否匹配，导致交警执勤效率较低，且容易存在交通事故。

发明内容

基于此，为了解决或改善现有技术的问题，本申请提供一种行车道路的监控方法、系统和电子设备，可以提高交警执勤效率，且减少交通事故。

第一方面，提供一种行车道路的监控方法，包括：

获取行车道路图片；

根据车道类型将所述行车道路图片分割为多个车道区域；检测行所述车道路图片上是否有车辆；

若是，则获取目标车辆的位置，以及判断所述目标车辆的类型；

当根据所述目标车辆的位置确定所述目标车辆位于的目标车道区域时，判断所述目标车辆的类型与所述目标车道区域的车道类型是否匹配，其中，所述目标车道区域为多个车道区域中的一个车道区域；

当所述目标车辆的类型与所述目标车道区域的车道类型不匹配时，提取并保存所述目标车辆的特征。

在其中一个实施方式中，所述根据车道类型将所述行车道路图片分割为多个车道区域包括：

通过车道区域分割模型将所述行车道路图片分割为多个车道区域；

根据各个所述车道区域之间的位置关系，确定各个所述车道区域对应的车道类型。

在其中一个实施方式中，所述在通过车道区域分割模型将行车道路图片分割为多个车道区域之前，还包括，通过分割训练集对车道区域分割模型进行训练；

其中，所述分割训练集至少包括第一分割训练图片，所述第一分割训练图片中的车道线部分被遮挡。

在其中一个实施方式中，检测行车道路图片上是否有车辆包括：

将所述行车道路图片进行图像增强处理；

通过将图像增强处理后的所述行车道路图片输入车辆检测模型中，判断所述行车道路图片内是否有车辆；

当检测到所述行车道路图片上有目标车辆时，输出所述目标车辆在所述行车道路图片中的坐标。

在其中一个实施方式中，图像增强处理包括：灰度化处理、对比度增强处理中的一种或两种。

在其中一个实施方式中，判断目标车辆的类型包括：

根据所述目标车辆在行车道路图片中的坐标，提取目标车辆图像；

将所述目标车辆图像输入车辆分类模型中，获得所述目标车辆的类型。

在其中一个实施方式中，所述车辆分类模型为采用车辆分类模型训练方法对车辆分类预设模型进行训练后得到的；

所述车辆分类模型训练方法包括：

获取车辆分类预设模型，所述车辆分类预设模型包括：第一卷积层，以及与所述第一卷积层连接的目标通道丢弃层；

获取车辆训练图片，并将所述车辆训练图片输入所述车辆分类预设模型中，对所述车辆分类预设模型进行训练，其中，所述目标通道丢弃层在所述训练的过程中按预设规则丢弃所述第一卷积层中的部分卷积通道；

所述训练完成后，去除所述目标通道丢弃层，得到车辆分类模型。

在其中一个实施方式中，所述目标通道丢弃层在所述训练的过程中丢弃所述第一卷积层中的部分卷积通道，包括：

获取目标信息，所述目标信息包括分别对应于多个预设车辆朝向角度范围的多个保留概率值，其中，所述多个保留概率值包括目标保留概率值，目标保留概率值为所述多个保留概率值中最大的保留概率值，所述目标保留概率值的预设车辆朝向角度范围与所述车辆训练图片中车辆的朝向角度相匹配；

所述目标通道丢弃层根据所述目标信息中的保留概率值丢弃所述第一卷积层中的部分卷积通道。

在其中一个实施方式中，所述目标信息还包括至少一个完全保留值，用于在所述训练时保留所述第一卷积层中对应的一个或多个卷积通道。

在其中一个实施方式中，获取所述目标车辆的位置之后，还包括：

当根据所述目标车辆的位置确定所述目标车辆位于车道线上时，提取并保存所述目标车辆的特征。

在其中一个实施方式中，所述提取并保存所述目标车辆的特征包括：

识别所述目标车辆的号牌；

将所述目标车辆的号牌作为所述目标车辆的特征进行保存。

第二方面，提供一种行车道路的监控系统，包括：摄像机、后台服务器、存储器；所述摄像机与所述后台服务器连接，所述后台服务器与所述存储器连接；所述摄像机用于获取行车道路图片，并将所述行车道路图片上传至所述后台服务器；所述后台服务器用于根据车道类型将所述行车道路图片分割为多个车道区域；检测所述行车道路图片上是否有车辆；若是，则获取所述目标车辆的位置，以及判断所述目标车辆的类型；当根据所述目标车辆的位置确定所述目标车辆位于所述目标车道区域时，判断所述目标车辆的类型与所述目标车道区域的车道类型是否匹配，其中，所述目标车道区域为多个车道区域中的一个车道区域；当所述目标车辆的类型与所述目标车道区域的车道类型不匹配时，提取所述目标车辆的特征；存储器用于保存所述目标车辆的特征。

第三方面，提供一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被处理器执行时，使得处理器执行如上所述的行车道路的监控方法的步骤。

上述行车道路的监控方法，能够将行车道路图片分割为多个车道区域，以及检测行车道路图片上是否有车辆并判断检测到的车辆的类型；当车辆的类型与所在的车道区域的车道类型不匹配时，自动提取并保存车辆的特征，有利于快速发现车辆类型与车道类型不匹配的车辆，并获取该车辆的特征信息，以减少交通事故的发生。因此，本申请可以提高交警执勤效率，且减少交通事故。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。应当理解的是，下面描述中的附图仅仅用以解释本发明，并不用于限定本发明。

图1为本申请一实施例中电子设备的内部结构示意图；

图2为本申请一实施例中行车道路的监控方法的流程示意图；

图3为本申请一实施例中行车道路的监控方法的应用场景示意图；

图4为本申请一实施例中行部分车道线被污水覆盖的示意图；

图5为本申请一实施例中行车道路的监控系统的连接关系示意图。

具体实施方式

下面结合附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而非全部实施例。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1为一个实施例中电子设备的内部结构示意图。如图1所示，该终端包括通过系统总线连接的处理器、存储器和网络接口。其中，该处理器用于获取计算和控制能力，支撑整个电子设备的运行。存储器用于存储数据、程序等，存储器上存储至少一个计算机程序，该计算机程序可被处理器执行，以实现本申请实施例中获取的适用于电子设备的无线网络通信方法。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所获取的一种监控场景中遗留物品提醒方法。内存储器为非易失性存储介质中的操作系统计算机程序获取高速缓存的运行环境。网络接口可以是以太网卡或无线网卡等，用于与外部的电子设备进行通信。

本申请中描述的电子设备可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、便捷式媒体播放器(Portable MediaPlayer，PMP)、导航装置、可穿戴设备、智能手环、计步器等移动终端，以及诸如数字TV、台式计算机等固定终端。

后续描述中将以移动终端为例进行说明，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本申请的实施方式的构造也能够应用于固定类型的终端。

请参阅图2，该行车道路的监控方法，包括步骤10至步骤60。

步骤10、获取行车道路图片；

步骤20、根据车道类型将行车道路图片分割为多个车道区域；

步骤30、检测行车道路图片上是否有车辆；

步骤40、若是，则获取目标车辆的位置，以及判断目标车辆的类型；

步骤50、当根据目标车辆的位置确定目标车辆位于目标车道区域时，判断目标车辆的类型与目标车道区域的车道类型是否匹配，其中，目标车道区域为多个车道区域中的一个车道区域；

步骤60、当目标车辆的类型与目标车道区域的车道类型不匹配时，提取并保存目标车辆的特征。

本实施例中行车道路的监控方法，能够将行车道路图片分割为多个车道区域，以及检测行车道路图片上是否有车辆并判断检测到的车辆的类型；当车辆的类型与所在的车道区域的车道类型不匹配时，自动提取并保存车辆的特征，有利于快速发现车辆类型与车道类型不匹配的车辆，并获取该车辆的特征信息，进而可以进行后续的究责追踪。

请参阅图3，在一个具体的应用场景中，行车道路划分为机动车区域807与非机动车道区域808，其中，机动车804行驶在机动车道区域807上，非机动车805行驶在非机动车道区域808上，即车辆类型要与车道的类型相匹配。本实施例行车道路的监控方法能够根据车道类型将行车道路图片分割为机动车车道区域807和非机动车车道区域808，再检测行车道路上是否有车辆以及车俩行驶的车道区域是否与车辆类型相匹配，当发现车辆处于不规范的行驶行为时，例如机动车804在非机动车道808时，提取并保存该机动车的特征。

在另一个具体的场景中，普通高速公路一般为三车道，由左到右的限速及适用的车型分别是这样排的左侧车道限速120km/h，供小型乘用客车使用(轿车、SUV、MPV以及尺寸达标的营运车如出租车)第二条车道限速100km/h，供中大型客车等使用；右侧车道限速80km/h，供重型货车使用；最右侧是应急车道社会车辆不允许占道行驶，除非有紧急情况或车辆故障。本实施例行车道路的监控方法能够根据车道类型将行车道路图片分割为左侧车道区域、第二条车道区域和右侧车道区域，再检测行车道路上是否有车辆以及车俩行驶的车道区域是否与车辆类型相匹配，当车辆类型与车道区域类型不匹配时，保存该机动车的特征。

步骤10中，行车道路图片可以通过摄像头等具有成像功能的设备进行拍摄获取。具体地，摄像头可以设置行车道路的上或附近，使摄像头的感知区域为行车道路中的部分区域或全部区域。

步骤20中，车道类型为预先设定用于行驶特定车辆的车道。例如，行车道路包括机动车道与非机动车道，其中，机动车道用于行驶机动车道，而非机动车道用于行驶非机动车。

根据车道类型将行车道路图片分割为多个车道区域，使得每种车道类型都至少有一个车道区域与之对应。也就是说，不同的车道区域分别对应于不同类型车道在行车道路图片中的区域。

在其中一个实施方式中，根据车道类型将行车道路图片分割为多个车道区域包括：

步骤201、通过车道区域分割模型将行车道路图片分割为多个车道区域；

步骤202、根据各个车道区域之间的位置关系，确定各个车道区域对应的车道类型。

在步骤201中，车道区域分割模型是一种神经网络模型，能够基于像素点的精确分割。举例地，分割模型是一种卷积神经网络的语义分割模型，具体地，分割模型残包括卷积模块、降采样模块、多路径网络模块和输出模块。

卷积模块用于将场景图片输入分割模型中卷积后获取特征图；降采样模块用于对特征图进行多种降样处理，得到多个不同分辨率的特征图；多路径网络模块用于通过上采样方式将不同分辨率的特征图融合，生成分割图片；输出模块用于根据分割图片输出场景图片中预设物体的轮廓的像素坐标。

多路径网络模块包括残差卷积单元、多分辨率融合单元、链式残差池化单元、输出卷积单元。其中，残差卷积单元用于调整预训练权重，每个差卷积单元包括一个ReLU层和一个卷积层；多分辨率融合单元，实现不同分辨率特征图的融合，具体包括一个卷积层、上采样层，通道结果求和层；链式残差池化，用于捕获背景上下文信息，具体包括一个残差结构、一个池化层和一个卷积层；输出卷积单元，用于处理结果的最终预测。

步骤202是建立每个车道区域与车道类型的对应关系。例如机动车道区域对应车辆类型为机动车，非机动车道区域对应车辆类型为非机动车。

在其中一个实施方式中，在通过车道区域分割模型将行车道路图片分割为多个车道区域之前，还包括：

步骤200、通过分割训练集对车道区域分割模型进行训练。

在步骤200中，通过分割训练集对车道区域分割模型进行训练，有利于优化车道区域分割模型，提高分割的准确性。其中，分割训练集由多张分割训练图片组成，每张分割训练图片均对应标注有标签。具体地，对分割训练集中每张分割训练图片中不同类型的车道区域的轮廓处的像素(车道线处的像素)进行了标注，有利于使训练得到的车道区域分割模型实现对行车道路图片进行像素级别的分割。

在其中一个实施方式中，分割训练集至少包括第一分割训练图片，第一分割训练图片中车道线部分被遮挡。通过第一分割训练图片有利于训练得到可以在车道线被遮挡时完成对行车道路图片的分割。

在一些场景中，如图4所示，车道线可能会被污水809部分遮挡。针对车道线可能会被车辆部分遮挡的情况，通过在分割训练集中增加部分车道线被遮挡的第一分割训练图片，并对第一分割训练图片中遮挡的部分车道线和未被遮挡的车道线进行标注。通常，车道线被遮挡的区域占整个车道线的1％～20％，有利于提高车道区域分割模型的鲁棒性。

分割训练集为采用pixel2pixel级别的道路分割数据集，像素级别的道路分割数据集，结合现实场景将道路划分为非机动车道、机动车道，有利于使训练得到的车道区域分割模型能够实现道路的精准分割。

步骤30中车辆是包括机动车与非机动车的交通工具。举例地，车辆可以为电动自行车、汽车、摩托车、新能源车等。

在其中一个实施方式中，检测行车道路图片上是否有车辆包括：

步骤301、将行车道路图片进行图像增强处理；

步骤302、通过将图像增强处理后的行车道路图片输入车辆检测模型中，判断行车道路图片内是否有车辆；

步骤303、当检测到行车道路图片上有目标车辆时，输出目标车辆在行车道路图片中的坐标。

步骤301中对行车道路图片进行预处理，目的是提高行车道路图片中车辆检测的准确性。在其中一个实施方式中，图像增强处理可以包括：灰度化处理、对比度增强处理中的一种或两种。具体地，可以利用equalize函数实现的灰度直方图归一化，图片的直方图的每个灰度值进行归一化处理，求每种灰度的累积分布，接着得到一个映射的灰度映射表，然后根据灰度映射表对应的灰度值来修正原图中的每个像素。

步骤302，车辆检测模型是一种用于检测车辆的神经网络模型。例如，车辆检测模型为基于yolov4神经网络的模型。

具体地，将608*608尺寸的图片输入到车辆检测模型，通过车辆检测模型输出38*38和76*76的最终特征图，可以加快车辆的检测速度。由于车辆在行车道路图片中为小目标，为准确锁定小目标，需要将行车道路图片转换为灰度图，增强图像对比度或者用直方图归一化，以提高车辆检测模型的召回率(训练出的车辆模型实际上是针对于灰度图的模型)。

在其中一个实施方式中，通过将图像增强处理后的行车道路图片输入车辆检测模型中，判断行车道路图片内是否有车辆。具体而言，将图像增强处理后的行车道路图片按照车道区域输入车辆检测模型，依次判断各个车道区域内是否有车辆。也即是，根据车道区域的位置，从图像增强处理后的行车道路图片中分别截取多个车道区域，将该多个车道区域输入车辆检测模型中，判断行车道路图片内是否有车辆。

步骤40是判断检测到的车辆的类型。在检测到目标车辆之后，在其中一个实施方式中，判断目标车辆的类型包括：

步骤401、根据目标车辆在行车道路图片中的坐标，提取目标车辆图像；

步骤402、将目标车辆图像输入车辆分类模型中，获得目标车辆的类型。

步骤401是根据目标车辆在灰度图上的位置，对应到原图(行车道路图片)上的位置，根据原图上位置提取(抠出)的目标车辆图像，之后通过步骤402送入车辆分类模型中，获得目标车辆的类型。其中，提取的目标车辆图像的是彩色图，而非灰度图。

可选地，车辆分类模型选用mobilenetv3(移动端网络v3)等轻量级的分类模型。通过不同类型车辆训练图片对mobilenetv3神经网络进行训练，可以获得车辆分类模型。不同类型车辆训练图片可以是不含其他背景的车辆图片，即训练图片仅是车辆的图像。在应用时，将目标车辆图像输入车辆分类模型中，可以确定目标车辆是否为电动车、机动车或是自行车等。

在其中一个实施方式中，车辆分类模型为采用车辆分类模型训练方法对车辆分类预设模型进行训练后得到的。进一步地，对训练的流程改进，在其中一个实施方式中，车辆分类模型训练方法包括：

步骤421、获取车辆分类预设模型，车辆分类预设模型包括：第一卷积层，以及与第一卷积层连接的目标通道丢弃层；

步骤422、获取车辆训练图片，并将车辆训练图片输入车辆分类预设模型中，对车辆分类预设模型进行训练，其中，目标通道丢弃层在训练的过程中按预设规则丢弃第一卷积层中的部分卷积通道；

步骤423、训练完成后，去除目标通道丢弃层，得到车辆分类模型。

本实施例中车辆分类预设模型中第一卷积层与目标通道丢弃层相连接，其中，目标通道丢弃层能够在训练时丢弃第一卷积层中的部分卷积通道，从而在训练过程中有利于车辆分类预设模型能够更好的适应从不同角度捕获的车辆图片，有助于对第一卷积层中基于卷积通道的不同进行专门化训练，从而有效提取能够区分车辆类型的关键特征。

步骤421中车辆分类预设模型的主干结构为基于mobilenetv3的结构，包括输入层、多个卷积层、特征层、输出层等，此外，车辆分类预设模型在主干结构的基础上还增加了一个或多个通道丢弃层(dropout层)，与多个卷积层中至少一个卷积层连接，用于在训练时丢弃第一卷积层中的部分卷积通道。例如，车辆分类预设模型包括：第一卷积层，以及与第一卷积层连接的目标通道丢弃层。可选地，目标通道丢弃层可以与第二卷积层连接，或直接与特征层连接。

步骤422中每一个卷积层包括多个通道，通过目标通道丢弃层在训练的过程中按预设规则丢弃第一卷积层中的部分卷积通道，保留第一卷积层剩下的卷积通道，能够使车辆分类预设模型在训练过程中更好的适应从不同角度捕获的车辆图片，从而有效提取能够区分车辆类型的关键特征。其中，丢弃第一卷积层中的部分卷积通道可以理解为目标通道丢弃层根据预设丢弃方法，丢弃第一卷积层中的部分卷积通道的特征，而保留第一卷积层中的剩余部分卷积通道的特征，并将保留的剩余部分卷积通道的特征输入至其他卷积层(如第二卷积层)或特征层中。

步骤423中，因为在车辆分类模型最终的部署使用阶段，无需使用通道丢弃层。因此，在使用阶段需要将通道丢弃层去掉，利用所有卷积通道协同推理得到一个推理结果。因此在上述训练结束后，在其中一个实施例中，可以加入一个微调的过程(finetune的过程)，即至少将目标通道丢弃层去掉，采用一个相对较小的学习率对模型进行训练微调。

在其中一个实施例中，通过引入目标信息对卷积层的通道进行有监督的丢弃。具体地，目标通道丢弃层在训练的过程中丢弃第一卷积层中的部分卷积通道，包括：

步骤431、获取目标信息，目标信息包括分别对应于多个预设车辆朝向角度范围的多个保留概率值，其中，多个保留概率值包括目标保留概率值，目标保留概率值为多个保留概率值中最大的保留概率值，目标保留概率值的预设车辆朝向角度范围与车辆训练图片中车辆的朝向角度相匹配；

步骤432、目标通道丢弃层根据目标信息中的保留概率值丢弃第一卷积层中的部分卷积通道。

本实施例中将预设车辆朝向角度范围与车辆训练图片中车辆的朝向角度相匹配的目标保留概率值是多个保留概率值中最大的保留概率值，有利于在丢弃第一卷积层中的部分卷积通道过程中保留与车辆训练图片中车辆的朝向角度相匹配的卷积层通道，从而有利于提高车辆分类模型的识别准确性。

可以理解的是，车辆朝向角度是指训练图片中车辆朝向与预设方向的角度关系。例如，对车辆训练图片的图像内容为车辆正面，预设方向为垂直训练图片的方向(由车辆训练图片内指向车辆训练图片外的方向)，即车辆朝向角度为处理训练图片中车辆的前后方向与预设方向方向的夹角。预设车辆朝向角度范围为预先对车辆朝向角度划定的角度范围。

步骤431中，保留概率值是与卷积层中一个或多个卷积通道相对应的，用于确定对应的一个或多个卷积通道保留的概率。一般而言，保留概率值越大，对应的一个或多个卷积通道在训练时越容易被保留，减少被丢弃的机会。

保留概率值的数量以及大小可以与车辆训练图片中车辆的朝向角度相关。根据车辆训练图片中车辆的朝向角度，将车辆训练图片进行分类，例如车辆正面训练图片、车辆后面(背面)训练图片、车辆侧面训练图片以及车辆俯视训练图片。需要在训练过程中，尽量保留与车辆训练图片类别相配的卷积通道，该卷积通道主要用于提取车辆训练图片类别中对应角度车辆特征信息。同时，为每个保留概率值分别设定一个预设方向，对应于根据车辆训练图片中车辆的朝向角度确定的车辆训练图片类别，也即是，将保留概率值根据预设方向进行分类。

可选地，车辆训练图片类别数量与保留概率值的数量相同。例如，目标保留概率值是多个保留概率值中最大的，相对来说目标保留概率值对应的一个或多个卷积通道更容易被保留。目标保留概率值的预设车辆朝向角度范围与车辆训练图片中车辆的朝向角度相匹配。可以理解为，车辆训练图片中车辆的朝向角度在目标保留概率值的预设车辆朝向角度范围之内，即目标保留概率值的类别与车辆训练图片类别相匹配。

具体地，保留概率值为0到1之间，其中，当保留概率值为1时，对应的一个或多个卷积通道将保留概率为1，即在步骤432中不会被丢弃。可选地，目标保留概率值为1，剩余的保留概率值均可以为0.5。

在其中一个实施方式中，目标信息还包括至少一个完全保留值，用于在训练时保留第一卷积层中对应的一个或多个卷积通道。在训练过程中，与完全保留值对应的一个或多个卷积通道将被保留，不会被丢弃。完全保留值具体可以为1。

在实际应用中，由于摄像头的角度和位置可能有较大的差异，所以为了提升车辆分类模型对从各个角度捕获的车辆图片的识别性能和提升车辆分类模型在不同场景下使用的稳定性，本实施例对车辆分类模型的训练流程进行改进，如：可将车辆训练集中的车辆训练图片分为公交车训练图片、轿车训练图片、货车训练图片、消防车训练图片、摩托车训练图片以及自行车训练图片；同时，每类车型训练图片应该包括车辆正面训练图片(包括从车辆前方对车辆拍摄并能看清正面的车牌的训练图片)、车辆后面训练图片(包括从车辆后方对车辆拍摄并能看清后面的车牌的训练图片)、车辆侧面训练图片(包括从车辆斜侧面对车辆拍摄的训练图片)和车辆俯视训练图片(包括从车辆上方对车辆拍摄的训练图片)，并将上述的车辆的角度信息作为目标信息引入训练过程。

例如，在训练车辆分类模型过程中，引入目标信息作为训练辅助，目标信息可以为车辆的角度信息。具体地，车辆分类模型包括主干模型(backbone)，将主干模型中的每个卷积层通道进行分组，每一个卷积层包含五个卷积通道组，每个组通道包含多个通道(即每个组通道包含n个通道)。

具体地，卷积层包含五个卷积通道组分别为正面卷积通道组(主要用于优化车辆正面特征的通道组)、后面卷积通道组(主要用于优化车辆后面特征的卷积通道组)、侧面卷积通道组(主要用于优化车辆侧面特征的卷积通道组)、俯视卷积通道组(主要用于优化车辆上面特征的卷积通道组)以及保留卷积通道组(可以为卷积层中除正面卷积通道组、后面卷积通道组、侧面卷积通道组以及俯视卷积通道组后剩余的卷积通道)。在实现卷积通道的丢弃过程中，并非是对卷积通道的随机丢弃，具体是通过引入了目标信息，并利用目标信息辅助在训练过程中对这五个卷积通道组进行丢弃，获得一种有监督的卷积通道丢弃方法。

在一些实施例中，采用目标信息制定的丢弃方法可以为：将车辆训练图片的车辆的角度通过矩阵的不同位置的二值数字表示。例如采用五个数字对应五组卷积通道，其中，第一个数字、第二个数字、第三个数字和第四个数字均为保留概率值，第五个数字为完全保留值，分别作为正面卷积通道组、后面卷积通道组、侧面卷积通道组、俯视卷积通道组以及保留卷积通道组的丢弃概率，第五个数字不对应方向意义，始终置1)，其中第一个数字、第二个数字、第三个数字和第四个数字的预设车辆朝向角度范围为正面角度、后面角度、侧面角度以及俯视角度。例如，目标信息具体如下所示：

[1，0，0，0，1]代表车辆正面训练图片的目标信息；

[0，1，0，0，1]代表车辆后面训练图片的目标信息；

[0，0，1，0，1]代表车辆侧面训练图片的目标信息；

[0，0，0，1，1]代表车辆俯视训练图片的目标信息。

其中，目标保留概率值的预设车辆朝向角度范围与车辆训练图片中车辆的朝向角度相匹配，如目标信息为[1，0，0，0，1]的车辆正面训练图片中，第一数字预设车辆朝向角度范围为正面角度，对应于车辆正面训练图片中车辆的角度为正面角度，即第一数字为目标保留概率值。

为了让车辆分类模型具有通用性，即每组通道在重点优化对应方向的车型特征时，也应对非优化方向建立起相关性，因此需要提高非优化方向基础的保留概率。如对于拍摄到正面具有正面标签的车，即车辆训练图片中车辆的朝向角度为正面角度，此时目标信息为：[1,0.5,0.5,0.5,1]，即对于正面卷积通道组，重点记录正面的车辆特征，此时100％进行保留，而对于后面卷积通道组、侧面卷积通道组和俯视卷积通道组保留下来的概率均是50％，对于最后一组卷积通道，要始终学习各个角度的车辆特征，被保留下来的概率是100％。同理，对于侧面标签的车：[0.5,0.5,1,0.5,1]。在训练过程中，可选地，中间部分的多个卷积层大约1/3卷积层添加通道丢弃层进行训练辅助，让特定的通道能够定向的优化预设车辆朝向角度范围的车型特征，提升模型在各种场景中的鲁棒性。

在其中的一个实施例中，也可以随着训练精度或者说权重更新次数的上升，逐渐调高每层保留下来的概率，将0.5根据精度映射到0.8、0.9等。

保留概率值P的计算公式为：

其中，p为本次训练的保留概率值；P₀为预设保留概率值；a为第一预设值或第一预设函数，用于控制保留概率值的变化速度，a＞1；n为权重更新次数。可以理解的是，在训练过程中，图像分类预设模型进行一次权重更新后，按照保留概率值P的计算公式进行一次更新取值。

在其中一个实施方式中，P₀与角度差θ成负相关，例如成反比，角度差θ为预设车辆朝向角度范围的中值与车辆训练图片中车辆的朝向角度的差值。例如：P₀＝c÷θ。其中，c为预设常数。

在其中一个实施方式中，当检测到行车道路图片上有目标车辆时，获取目标车辆的位置之后，还包括：

步骤70、当根据目标车辆的位置确定目标车辆位于车道线上时，提取并保存目标车辆的特征。

步骤70可以针对车辆压车道线的情况，及时提取车辆的相关信息并保存。其中，根据目标车辆的位置确定目标车辆位于车道线上具体可以根据车道线与目标车辆在行车道路图片中位置关系确定，具体地，分别获取车道线和目标车辆在行车道路图片中的坐标，当车道线在行车道路图片中的坐标和目标车辆在行车道路图片中的坐标部分重叠时，且重叠部分的面积大于预设面积，即判定目标车辆位于车道线上。

步骤60是提取车辆的特征，进行保存。其中，车辆的特征通常可以是车辆车牌号码(号牌)、车辆类型、车辆颜色等，用户可以根据车辆的特征对该车辆进行追踪。

在其中一个实施方式中，提取并保存目标车辆的特征包括：

步骤601、识别目标车辆的号牌；

步骤602、将目标车辆的号牌作为目标车辆的特征进行保存。

步骤601中，识别目标车辆的号牌可以通过号牌识别模型实现。其中，号牌识别模型是一种神经网络模型，能够识别输入图片中的车牌号码。步骤602可以按照目标车辆、号牌、车辆类型、时间、违规行为的顺序进行对应存储。

如图5所示，行车道路的监控系统包括：摄像机801、后台服务器802、存储器803；摄像机801与后台服务器802连接，后台服务器802与存储器803连接；摄像机801用于获取行车道路图片，并将行车道路图片上传至后台服务器802；后台服务器802用于根据车道类型将行车道路图片分割为多个车道区域；检测行车道路图片上是否有车辆；若是，获取目标车辆的位置，以及判断目标车辆的类型；当根据目标车辆的位置确定目标车辆位于的目标车道区域时，判断目标车辆的类型与目标车道区域的车道类型是否匹配，其中，目标车道区域为多个车道区域中的一个车道区域；当目标车辆的类型与目标车道区域的车道类型不匹配时，提取目标车辆的特征；存储器803用于保存目标车辆的特征。

行车道路的监控系统在运行时，能够将行车道路图片分割为多个车道区域，以及检测行车道路图片上是否有车辆并判断检测到的车辆的类型；当车辆的类型与所在的车道区域的车道类型不匹配时，自动提取并保存车辆的特征，有利于快速获取车辆的类型与所在的车道区域的车道类型不匹配的车辆信息，进而可以进行后续的究责追踪，同时也可以减少交通事故的发生。因此，本申请可以提高交警执勤效率，且减少交通事故。

在其中一个实施方式中，后台服务器802还用于通过车道区域分割模型将行车道路图片分割为多个车道区域；根据各个车道区域之间的位置关系，确定各个车道区域对应的车道类型。

在其中一个实施方式中，在通过车道区域分割模型将行车道路图片分割为多个车道区域之前，后台服务器802还用于通过分割训练集对车道区域分割模型进行训练；其中，分割训练集至少包括第一分割训练图片，第一分割训练图片中部分车道线被遮挡。

在其中一个实施方式中，后台服务器802还用于将行车道路图片进行图像增强处理；通过将图像增强处理后的行车道路图片输入车辆检测模型中，判断行车道路图片内是否有车辆；当检测到行车道路图片上有目标车辆时，输出目标车辆在行车道路图片中的坐标。

在其中一个实施方式中，后台服务器802还用于根据目标车辆在行车道路图片中的坐标，提取目标车辆图像；将目标车辆图像输入车辆分类模型中，获得目标车辆的类型。

在其中一个实施方式中，在当检测到行车道路图片上有目标车辆时，获取目标车辆的位置之后，后台服务器802还用于当根据目标车辆的位置确定目标车辆位于车道线上时，提取并保存目标车辆的特征。

在其中一个实施方式中，后台服务器802还用于识别目标车辆的号牌。

关于行车道路的监控系统的具体限定可以参见上文中对于行车道路的监控方法的限定，在此不再赘述。上述行车道路的监控系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器803中，以便于处理器调用执行以上各个模块对应的操作。

行车道路的监控系统可以设置安装至交通信号灯、路灯等较高的基础设施上，监测是否有不规范的驾驶行为发生，若行驶不规范(车辆类型与车道类型不匹配)，则记录该车辆号牌等特征，便于后续进行追责。本申请实施例中提供的行车道路的监控系统中的各个部件的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器803上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本实施例提供一种电子设备，包括存储器及处理器，存储器中储存有计算机程序，计算机程序被处理器执行时，使得处理器执行如上的行车道路的监控方法的步骤。

本实施例电子设备能够通过执行行车道路的监控方法，将行车道路图片分割为多个车道区域，以及检测行车道路图片上是否有车辆并判断检测到的车辆的类型；当车辆的类型与所在的车道区域的车道类型不匹配时，自动提取并保存车辆的特征，有利于快速发现车辆类型与车道类型不匹配的车辆，并获取该车辆的特征信息，进而可以进行后续的究责追踪，同时也可以减少交通事故的发生。因此，本申请可以提高交警执勤效率，且减少交通事故。

电子设备可以以各种形式来实施。例如，本申请中描述的电子设备可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、便捷式媒体播放器(Portable Media Player，PMP)、导航装置、可穿戴设备、智能手环、计步器等移动终端，以及诸如数字TV、台式计算机等固定终端。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种行车道路的监控方法，其特征在于，包括：

获取行车道路图片；

根据车道类型将所述行车道路图片分割为多个车道区域；

检测所述行车道路图片上是否有车辆；

若是，则获取目标车辆的位置，以及判断所述目标车辆的类型；

当根据所述目标车辆的位置确定所述目标车辆位于目标车道区域时，判断所述目标车辆的类型与所述目标车道区域的车道类型是否匹配，其中，所述目标车道区域为多个车道区域中的一个车道区域；

当所述目标车辆的类型与所述目标车道区域的车道类型不匹配时，提取并保存所述目标车辆的特征。

2.根据权利要求1所述的行车道路的监控方法，其特征在于，所述根据车道类型将所述行车道路图片分割为多个车道区域包括：

通过车道区域分割模型将所述行车道路图片分割为多个车道区域；

根据各个所述车道区域之间的位置关系，确定各个所述车道区域对应的车道类型。

3.根据权利要求1所述的行车道路的监控方法，其特征在于，所述检测行车道路图片上是否有车辆包括：

将所述行车道路图片进行图像增强处理；

通过将图像增强处理后的所述行车道路图片输入车辆检测模型中，判断所述行车道路图片内是否有车辆；

当检测到所述行车道路图片有目标车辆时，输出所述目标车辆在所述行车道路图片中的坐标。

4.根据权利要求3所述的行车道路的监控方法，其特征在于，所述判断所述目标车辆的类型包括：

根据所述目标车辆在所述行车道路图片中的坐标，提取目标车辆图像；

将所述目标车辆图像输入车辆分类模型中，获得所述目标车辆的类型。

5.根据权利要求4所述的行车道路的监控方法，其特征在于，所述车辆分类模型为采用车辆分类模型训练方法对车辆分类预设模型进行训练后得到的；

所述车辆分类模型训练方法包括：

获取车辆分类预设模型，所述车辆分类预设模型包括：第一卷积层，以及与所述第一卷积层连接的目标通道丢弃层；

获取车辆训练图片，并将所述车辆训练图片输入所述车辆分类预设模型中，对所述车辆分类预设模型进行训练，其中，所述目标通道丢弃层在所述训练的过程中按预设规则丢弃所述第一卷积层中的部分卷积通道；

所述训练完成后，去除所述目标通道丢弃层，得到所述车辆分类模型。

6.根据权利要求5所述的行车道路的监控方法，其特征在于，所述目标通道丢弃层在所述训练的过程中按预设规则丢弃所述第一卷积层中的部分卷积通道，包括：

获取目标信息，所述目标信息包括分别对应于多个预设车辆朝向角度范围的多个保留概率值，其中，所述多个保留概率值包括目标保留概率值，所述目标保留概率值为所述多个保留概率值中最大的保留概率值，所述目标保留概率值的预设车辆朝向角度范围与所述车辆训练图片中车辆的朝向角度相匹配；

所述目标通道丢弃层根据所述目标信息中的保留概率值丢弃所述第一卷积层中的部分卷积通道。

7.根据权利要求6所述的行车道路的监控方法，其特征在于，所述目标信息还包括至少一个完全保留值，用于在所述训练时保留所述第一卷积层中对应的一个或多个卷积通道。

8.根据权利要求1所述的行车道路的监控方法，其特征在于，所述获取所述目标车辆的位置之后，还包括：

当根据所述目标车辆的位置确定所述目标车辆位于车道线上时，提取并保存所述目标车辆的特征。

9.一种行车道路的监控系统，其特征在于，包括：摄像机、后台服务器、存储器；所述摄像机与所述后台服务器连接，所述后台服务器与所述存储器连接；

所述摄像机用于获取行车道路图片，并将所述行车道路图片上传至所述后台服务器；

所述后台服务器用于根据车道类型将所述行车道路图片分割为多个车道区域；检测所述行车道路图片上是否有车辆；若是，则获取所述目标车辆的位置，以及判断所述目标车辆的类型；当根据所述目标车辆的位置确定所述目标车辆位于的目标车道区域时，判断所述目标车辆的类型与所述目标车道区域的车道类型是否匹配，其中，所述目标车道区域为多个车道区域中的一个车道区域；当所述目标车辆的类型与所述目标车道区域的车道类型不匹配时，提取所述目标车辆的特征；

所述存储器用于保存所述目标车辆的特征。

10.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述的行车道路的监控方法的步骤。

Images