CN109740420A - 车辆违法识别方法及相关产品 - Google Patents

Abstract

本申请实施例提供了一种车辆违法识别方法及相关产品，方法包括：获取多帧视频图像；采用预设路面标线分割网络模型对多帧视频图像进行道路分割，得到路面分割图；对多帧视频图像进行目标识别，得到至少一个疑似违法车辆；对至少一个疑似违法车辆进行车牌识别，得到至少一个车牌号，每一疑似违法车辆对应一个车牌号；对至少一个疑似违法车辆中每一疑似违法车辆进行目标跟踪，得到至少一条行驶轨迹，每一疑似违法车辆对应一条行驶轨迹；根据至少一条行驶轨迹、路面分割图对至少一个疑似违法车辆进行违法识别，得到目标违法车辆，并输出目标违法车辆的违法信息，违法信息至少包括车牌号。采用本申请实施例，能够提高交通管理效率。

Description

车辆违法识别方法及相关产品

技术领域

本申请涉及图像处理技术领域，具体涉及一种车辆违法识别方法及相关产品。

背景技术

智能交通系统作为交通现代化建设的重要内容，是我国交通科技领域重点支持和发展的战略方向。目前主流使用电子警察相机对多种机动车违法行为进行自动抓拍，比如闯红灯、违法变道、逆行、压线、不按导向车道行驶等，为交警非现场执法带了很大的帮助，但是电子警察相机受限于前端计算能力有限，抓拍存在大量误报，使得交警处理违法行为仍然存在极大地工作量。如此，提升交通管理效率的问题亟待解决。

发明内容

本申请实施例提供了一种车辆违法识别方法及相关产品，能够提升交通管理效率。

本申请实施例第一方面提供了一种车辆违法识别方法，包括：

获取多帧视频图像，每一帧视频图像中包括至少一个车辆；

采用预设路面标线分割网络模型对所述多帧视频图像进行道路分割，得到路面分割图；

对所述多帧视频图像进行目标识别，得到至少一个疑似违法车辆；

对所述至少一个疑似违法车辆进行车牌识别，得到至少一个车牌号，每一疑似违法车辆对应一个车牌号；

对所述至少一个疑似违法车辆中每一疑似违法车辆进行目标跟踪，得到至少一条行驶轨迹，每一疑似违法车辆对应一条行驶轨迹；

根据所述至少一条行驶轨迹、所述路面分割图对所述至少一个疑似违法车辆进行违法识别，得到目标违法车辆，并输出所述目标违法车辆的违法信息，所述违法信息至少包括车牌号。

本申请实施例第二方面提供了一种车辆违法识别装置，包括:

获取单元，用于获取多帧视频图像，每一帧视频图像中包括至少一个车辆；

分割单元，用于采用预设路面标线分割网络模型对所述多帧视频图像进行道路分割，得到路面分割图；

识别单元，用于对所述多帧视频图像进行目标识别，得到至少一个疑似违法车辆；以及对所述至少一个疑似违法车辆进行车牌识别，得到至少一个车牌号，每一疑似违法车辆对应一个车牌号；

跟踪单元，用于对所述至少一个疑似违法车辆中每一疑似违法车辆进行目标跟踪，得到至少一条行驶轨迹，每一疑似违法车辆对应一条行驶轨迹；

输出单元，用于根据所述至少一条行驶轨迹、所述路面分割图对所述至少一个疑似违法车辆进行违法识别，得到目标违法车辆，并输出所述目标违法车辆的违法信息，所述违法信息至少包括车牌号。

第三方面，本申请实施例提供了一种电子设备，包括：处理器和存储器；以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置成由所述处理器执行，所述程序包括用于如第一方面中所描述的部分或全部步骤的指令。

第四方面，本申请实施例提供了一种计算机可读存储介质，其中，所述计算机可读存储介质用于存储计算机程序，其中，所述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤的指令。

第五方面，本申请实施例提供了一种计算机程序产品，其中，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

实施本申请实施例，具有如下有益效果：

采用上述本申请实施例提供的车辆违法识别方法，获取多帧视频图像，采用预设路面标线分割网络模型对多帧视频图像进行道路分割，得到路面分割图，对多帧视频图像进行目标识别，得到至少一个疑似违法车辆，对至少一个疑似违法车辆进行车牌识别，得到至少一个车牌号，每一疑似违法车辆对应一个车牌号，对至少一个疑似违法车辆中每一疑似违法车辆进行目标跟踪，得到至少一条行驶轨迹，每一疑似违法车辆对应一条行驶轨迹，根据至少一条行驶轨迹、路面分割图对至少一个疑似违法车辆进行违法识别，得到目标违法车辆，并输出目标违法车辆的违法信息，违法信息至少包括车牌号，如此，能够得到路面标线、车辆行驶轨迹，有助于快速确认车辆是否违法，提升了交通管理效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A是本申请实施例提供的一种车辆违法识别方法的实施例流程示意图；

图1B是本申请实施例提供的专用路面标线分割网络模块的结构示意图；

图1C是本申请实施例提供的路面标线的演示示意图；

图1D是本申请实施例提供的路面标线的又一演示示意图；

图2是本申请实施例提供的一种车辆违法识别装置的实施例结构示意图；

图3是本申请实施例提供的一种电子设备的实施例结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置展示该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例所描述电子设备可以包括智能手机(如Android手机、iOS手机、Windows Phone手机等)、平板电脑、视频矩阵、监控平台、车载设备、卫星、掌上电脑、笔记本电脑、移动互联网设备(MID，Mobile Internet Devices)或穿戴式设备等，上述仅是举例，而非穷举，包含但不限于上述装置，当然，上述电子设备还可以为服务器。

相关技术中，随着AI技术的快速发展，通过深度学习算法，构建通用的车辆违法识别系统，一种是对固定式电子警察执法设备产生的疑似违法数据进行后端识别判断；另一种是直接将识别算法移植到电子警察执法设备上，接收前端视频流，抓拍疑似违法数据。根据执法数据判别规则，对不符合执法要求的数据进行过滤删除。以降低人工检片量，提升工作效率，节省人力。并通过对废片产生原因进行统计分析，为管理单位提供废片原因分析数据，以优化前端设备，调整执法设备点位规则。帮助执法单位提升执法量。

因此，本申请实施例，想要解决的问题是由于路面标线导致的违法行为的通用识别方法，包括违法变道、逆行、压线、礼让行人、不按导向车道行驶等，各种违法行为需要根据规定的判别标准，以相应的逻辑判断是否存在违法行为。例如不按导向车道行驶，是指机动车通过有交通信号灯控制的交叉路口时，在划有导向车道的路口，不按所需行进方向驶入导向车道。

请参阅图1A，为本申请实施例提供的一种车辆违法识别方法的实施例流程示意图。本实施例中所描述的车辆违法识别方法，包括以下步骤：

101、获取多帧视频图像，每一帧视频图像中包括至少一个车辆。

其中，多帧视频图像可以为一个序列图像，每一帧视频图像中包括至少一个车辆。上述多帧视频图像可以由交警部门通过前端固定式电子警察执法设备(如十字路口的监控摄像头)实时抓拍得到。

具体实现中，多帧视频图像可以来源于电子警察执法设备或者相机，具体地，先前端电子警察执法设备对相机采集的视频流进行目标检测，获取场景中的行人、车辆、非标车等通用目标，同时通过专用路面标线分割网络，得到车道线、导向线、停止线、人行横道以及专用车道等禁止标线和指示标线，即可对场景建模为后续根据违法规则搜索违法车辆并抓拍提供目标和参照物。

102、采用预设路面标线分割网络模型对所述多帧视频图像进行道路分割，得到路面分割图。

其中，上述预设路面标线分割网络模型可以基于卷积神经网络实现。

可选地，所述预设路面标线分割网络模型包括专用路面标线分割网络模块和路面标线多级分块模块；上述步骤102，采用预设路面标线分割网络模型对所述多帧视频图像进行道路分割，得到路面分割图，可包括如下步骤：

21、采用所述专用路面标线分割网络模块对所述多帧视频图像进行处理，得到路面分割热图和路面分割嵌入图；

22、基于所述路面标线多级分块模块并结合所述路面分割嵌入图提供的组别号对所述路面分割热图进行处理，得到所述路面分割图。

其中，专用路面标线分割网络模块得到的分割实例还会存在不同程度实例粘连，路面标线多级分块模块可用于进一步将分割实例分块不同类别，合并相同类别。

可选地，所述专用路面标线分割网络模块基于MnasNet网络实现，其网络头部包括3个3×3卷积层，首尾各一次×2下采样，得到×4下采样特征图，其余部分重复使用四种不同的预激活深度分离卷积残差模块block，并分两次×2下采样，得到×16下采样特征图，然后将其上采样×2输出高级特征解码图，同时与×8下采样输出的低级特征编码图分支进行通道连接，最后经过卷积和一次×2上采样以使得后续处理得到路面标线分割热图和嵌入图。

具体实现中，专用路面标线分割网络模块利用图像空间卷积空间不变性，使用改进MnasNet主干网络来学习空间特征，实现准确率和实时性之间的均衡。首先使用三个3×3卷积，首尾各一次×2(即2倍)下采样，得到×4下采样特征图，这样下采样可以缩小计算量，接下来,其余部分重复使用四种不同的预激活深度分离卷积残差模块block，只改变滤波器尺寸和空间维度，如图1B，并分两次×2下采样，得到下采样×16的特征图，然后将其上采样×2输出高级特征解码图，同时与×8下采样输出的低级特征编码图分支进行通道连接，最后经过双线性插值上采样×2，输出一个嵌入图和一个热图，嵌入图代表着图像上每一个目标的组别，热图代表着目标的置信度，每个通道对应一个类别，其中一幅图像每个类别可能有多个目标，每个目标单独为一个组别。想要实现端到端的分组，只有通过构建一个损失函数来完成，首先，定义f_m是分割网络输出的预测特征图，是输入的真实标签对应的预测特征图处的平均值，其中n代表第n个目标，m代表该目标由m个像素点组成，f(x)是在x位置的标签值，假设有N个目标，x_nm是第n个目标的第m个像素点对应的位置，本申请实施例中的路面分割嵌入图的组别号，损失函数的第一项是预测特征图对应位置与真实标签对应的预测特征图处的平均值做L2范数求距离，使得预测特征图逼近真实标签；第二项真实标签与其他真实标签对应的预测特征图处的平均值做L1范数，并与1求差值，目的是让不同目标互斥。最后在数据标注进行了增强，考虑到网络图像输入和输出尺寸下采样×8倍，相应的将输入图像的像素级标记等比例转换为8×8的网格，保证像素级信息的完整性。

针对路面标线特点改进，原始架构中ASPP结构用来增大感受野，恢复目标的细节和空间维度，而在路面标线分割网络这个结构被去掉，提高了分割网络的速度，实际中并不会引起精度的下降，经过实验证明这部分核心结构使得模型准确率和实时性达到均衡。其次在原始架构中引入嵌入图，类似于NLP的词嵌入，嵌入值越相似越可能是属于同一个组的目标，越不相似越不可能是属于同一个组的目标，这样通过聚类就可以得到图像中每个独立的目标。整个专用路面标线分割网络所示，原始图像下采样16倍，而分割图像只上采样4倍，就已经能够保证实际中违法车辆判别规则的准确率。

可选地，上述步骤22，基于所述路面标线多级分块模块对所述路面分割热图进行处理，得到所述路面分割图，可包括如下步骤。

221、对所述路面分割热图中的每个通道求取最大值，得到至少一个最大值索引及其对应的通道号；

222、基于所述至少一个最大值索引及其对应的通道号对所述路面分割热图中的目标进行聚类处理，得到多个独立目标；

223、基于所述路面标线多级分块模块对所述多个独立目标中的点合并成团，得到多个团，并对所述多个团进行合并，得到多个小块，将所述多个小块合并成组，得到至少一个组，由所述至少一个组构成所述路面分割图。

其中，经过专用路面分割网络出来的路面分割热图，对每个通道求最大值，获取最大值索引及通道号，即可获得目标，并结合嵌入图的聚类后得到每个独立的目标，但是目标之间难免出现粘连导致同一区域不同目标类别，需要进一步精细化处理，即路面标线多级分块合并算法，就是为了进一步将目标分块，并合并邻近的相同类别区域或面积较小的杂质区域，其中多级分块合并算法的核心部分是第一级将点合并为团，第二级将团合并成小块，第三级将小块合并为大块，最后再将大块合并为组。

可选地，上述步骤223，基于所述路面标线多级分块模块对所述多个独立目标中的点合并成团，得到多个团，并对所述多个团进行合并，得到多个小块，将所述多个小块合并成组，得到至少一个组，由所述至少一个组构成所述路面分割图，可包括如下步骤：

A1、对所述多个独立目标进行逐行扫描，并将每一行连续的非零像素组成一个团，得到多个团，并记录每一团的起点、终点和所在行号；

A2、若团i不与该团上一行的所有团均没有重合区域，则将该团i作为单独的小块j，并给该小块j赋予新标签号，并记录该小块j的左上角坐标、以及所述路面分割嵌入图中对应的组号，所述团i为任一团但不为第一行中的团，若所述小块j与周围小块k之间的距离小于预设阈值，则将所述小块j和所述小块k的标签号计入等价对，以用于合并，所述小块k为所述小块j周围的任一小块；

A3、若所述团i仅与上一行中的一个团有重合，则将所述团i与所述一个团进行合并，得到小块m，将上一行的该一个团的标签号赋予给所述小块m，记录所述小块m的右下角坐标；

A4、若所述团i与上一行的多个团有重叠区域，将所述团i与所述多个团进行合并，得到小块n，将相连块的最小标号赋予给所述小块n，并将所述上一行的多个团和所述团i写入等价对；

A5、将等价对转换为等价序列，并依据对所述等价序列进行编号，并对编号后的等价序列内的点进行合并，具体为：左上、右下坐标集进行合并，每一序列对应一个相同的标签号；

A6、对合并后的等价序号对应的小块进行合并，得到合并后的多个小块；

A7、对合并后的多个小块进行合并，得到多个组，并将每个小块中的所有像素点计入相应的组中。

具体实现中，上述预设阈值可以由用户自行设置或者系统默认。

举例说明下，电子设备逐行扫描多个独立目标，把每一行连续的非零目标像素组成一个序列称为一个团，并记下它的起点、它的终点以及它所在的行号，对于除了第一行(第一次出现团的那一行称为第一行)外的所有行里的团，如果他与前一行的所有团都没有重合区域，则该团为独立的一个小块并赋给新的标签号，与此同时记下该新小块的左上角坐标，以及路面分割嵌入图中对应的组别号，然后判断新小块与四周小块的距离是否小于预设阈值，若小于则将两个小块的标签号计入等价对用于合并，如果它仅与上一行中的一个团有重合，则将上一行的那个团的标签号赋给它，同时记录该小块的右下角坐标；如果它与上一行的2个以上的块有重叠区域，则给当前小块赋给一个相连块的最小标号，并将上一行的这几个块写入等价对，说明它们属于一类小块。这一步最后将已经遍历的小块分别计入各自的点集中，称为一个组。将等价对转换为等价序列，每个序列需要给一相同的标签号，因为它们都是等价的。从1开始，给每个等价序列一个标签号。并对同一个等价序列内的点集，左上右下坐标集进行合并，第一次合并，遍历开始小块的标记，查找等价序列，给予它们新的标签号，此时变为大块，第二次合并相当于排错，对合并以后的大块再进行一次合并，满足块不同(其实可能是同一类块，但是在前期被分到不同的块了)、嵌入图的组别号相同、大块的点少于阈值，才合并，将每个块的所有像素的坐标点分别计入每个组中。例如，针对图1C的道路示例图，则采用本申请实施例方法，如图1D所示，则可以不仅可以对其进行分割，还可以对其进行标记，记录新的标签。

103、对所述多帧视频图像进行目标识别，得到至少一个疑似违法车辆。

其中，电子设备可以对多帧视频图像进行目标识别，得到多个车辆，当然，多个车辆中任一辆均有可能是疑似违法车辆，如，可以识别车牌，若某个车牌完全被遮挡，则将其视作疑似违法车辆。当然，也可以把识别到的所有车辆均视作疑似违法车辆。

具体实现中，可通过级联判别规则判别车辆属于哪一种违法，并触发车辆违法证据抓拍。支持常见的违法变道、逆行、压线、礼让行人、不按导向车道行驶等违法规则判别，还可根据执法部门防控管理需求增加级联判别功能，拓展方便，功能强大。

104、对所述至少一个疑似违法车辆进行车牌识别，得到至少一个车牌号，每一疑似违法车辆对应一个车牌号。

其中，电子设备可以对疑似违法车辆进行车牌识别，得到至少一个车牌号。例如，电子设备可首先对车辆的车牌进行检测，然后通过CNN(卷积神经网络)+LSTM(长短期记忆网络)+CTC(Connectionist temporal classification)字符识别框架完成车牌的识别。

105、对所述至少一个疑似违法车辆中每一疑似违法车辆进行目标跟踪，得到至少一条行驶轨迹，每一疑似违法车辆对应一条行驶轨迹。

其中，由于至少一个疑似违法车辆中每一疑似违法车辆在多帧视频图像中均有可能出现，因此，可以分别对每一帧视频图像进行跟踪，得到至少一个行驶轨迹，每一疑似违法车辆对应一条行驶轨迹。

具体实现中，目标跟踪可以基于全卷积网络实现，具体地，可以训练一个全卷积网络，待跟踪目标的第一帧为模板目标，后续跟踪是扩大搜索框的尺寸，以金字塔多尺度进行滑框搜索找到待跟踪的目标，模板目标只需要通过一次全卷积网络得到特征图，待跟踪的目标搜索滑框不停的进入全卷积网络得到特征图，最后两者特征进行相关操作，获得最高相似度目标。

106、根据所述至少一条行驶轨迹、所述路面分割图对所述至少一个疑似违法车辆进行违法识别，得到目标违法车辆，并输出所述目标违法车辆的违法信息，所述违法信息至少包括车牌号。

其中，上述违法信息可以包括以下至少一种：车牌号、车型、违法条例、违法惩罚措施、违法时间、违法地点等等，在此不再赘述。具体实现中，违法车辆信息输出。对视频流缓存帧进行搜索找出满足判别规则的违法车辆，抽取关键帧图像，合并输出违法信息。

采用上述本申请实施例提供的车辆违法识别方法，获取多帧视频图像；采用预设路面标线分割网络模型对多帧视频图像进行道路分割，得到路面分割图；对多帧视频图像进行目标识别，得到至少一个疑似违法车辆；对至少一个疑似违法车辆进行车牌识别，得到至少一个车牌号，每一疑似违法车辆对应一个车牌号；对至少一个疑似违法车辆中每一疑似违法车辆进行目标跟踪，得到至少一条行驶轨迹，每一疑似违法车辆对应一条行驶轨迹；根据至少一条行驶轨迹、路面分割图对至少一个疑似违法车辆进行违法识别，得到目标违法车辆，并输出目标违法车辆的违法信息，违法信息至少包括车牌号，如此，能够得到路面标线、车辆行驶轨迹，有助于快速确认车辆是否违法，提升了交通管理效率。

与上述一致地，以下为实施上述车辆违法识别方法的装置，具体如下：

请参阅图2，为本申请实施例提供的一种车辆违法识别装置的实施例结构示意图。本实施例中所描述的车辆违法识别装置，包括：获取单元201、分割单元202、识别单元203、跟踪单元204和输出单元205，具体如下：

获取单元201，用于获取多帧视频图像，每一帧视频图像中包括至少一个车辆；

分割单元202，用于采用预设路面标线分割网络模型对所述多帧视频图像进行道路分割，得到路面分割图；

识别单元203，用于对所述多帧视频图像进行目标识别，得到至少一个疑似违法车辆；以及对所述至少一个疑似违法车辆进行车牌识别，得到至少一个车牌号，每一疑似违法车辆对应一个车牌号；

跟踪单元204，用于对所述至少一个疑似违法车辆中每一疑似违法车辆进行目标跟踪，得到至少一条行驶轨迹，每一疑似违法车辆对应一条行驶轨迹；

输出单元205，用于根据所述至少一条行驶轨迹、所述路面分割图对所述至少一个疑似违法车辆进行违法识别，得到目标违法车辆，并输出所述目标违法车辆的违法信息，所述违法信息至少包括车牌号。

可选地，所述预设路面标线分割网络模型包括专用路面标线分割网络模块和路面标线多级分块模块；

在所述采用预设路面标线分割网络模型对所述多帧视频图像进行道路分割，得到路面分割图方面，所述分割单元202具体用于：

采用所述专用路面标线分割网络模块对所述多帧视频图像进行处理，得到路面分割热图；

基于所述路面标线多级分块模块并结合所述路面分割嵌入图提供的组别号对所述路面分割热图进行处理，得到所述路面分割图。

可选地，所述专用路面标线分割网络模块基于MnasNet网络实现，其网络头部包括3个3×3卷积层，首尾各一次×2下采样，得到×4下采样特征图，其余部分重复使用四种不同的预激活深度分离卷积残差模块block，并分两次×2下采样，得到×16下采样特征图，然后将其上采样×2输出高级特征解码图，同时与×8下采样输出的低级特征编码图分支进行通道连接，最后经过卷积和一次×2上采样以使得后续处理得到路面标线分割热图和嵌入图。

可选地，在所述基于所述路面标线多级分块模块对所述路面分割热图进行处理，得到所述路面分割图方面，所述分割单元202具体用于：

对所述路面分割热图中的每个通道求取最大值，得到至少一个最大值索引及其对应的通道号；

基于所述至少一个最大值索引及其对应的通道号对所述路面分割热图中的目标进行聚类处理，得到多个独立目标；

基于所述路面标线多级分块模块对所述多个独立目标中的点合并成团，得到多个团，并对所述多个团进行合并，得到多个小块，将所述多个小块合并成组，得到至少一个组，由所述至少一个组构成所述路面分割图。

可选地，所述基于所述路面标线多级分块模块对所述多个独立目标中的点合并成团，得到多个团，并对所述多个团进行合并，得到多个小块，将所述多个小块合并成组，得到至少一个组，由所述至少一个组构成所述路面分割图，上述分割单元202具体用于：

对所述多个独立目标进行逐行扫描，并将每一行连续的非零像素组成一个团，得到多个团，并记录每一团的起点、终点和所在行号；

若团i不与该团上一行的所有团均没有重合区域，则将该团i作为单独的小块j，并给该小块j赋予新标签号，并记录该小块j的左上角坐标、以及所述路面分割嵌入图中对应的组号，所述团i为任一团但不为第一行中的团，若所述小块j与周围小块k之间的距离小于预设阈值，则将所述小块j和所述小块k的标签号计入等价对，以用于合并，所述小块k为所述小块j周围的任一小块；

若所述团i仅与上一行中的一个团有重合，则将所述团i与所述一个团进行合并，得到小块m，将上一行的该一个团的标签号赋予给所述小块m，记录所述小块m的右下角坐标；

若所述团i与上一行的多个团有重叠区域，将所述团i与所述多个团进行合并，得到小块n，将相连块的最小标号赋予给所述小块n，并将所述上一行的多个团和所述团i写入等价对；

将等价对转换为等价序列，并依据对所述等价序列进行编号，并对编号后的等价序列内的点进行合并，具体为：左上、右下坐标集进行合并，每一序列对应一个相同的标签号；

对合并后的等价序号对应的小块进行合并，得到合并后的多个小块；

对合并后的多个小块进行合并，得到多个组，并将每个小块中的所有像素点计入相应的组中。

采用上述本申请实施例提供的车辆违法识别装置，获取多帧视频图像，采用预设路面标线分割网络模型对多帧视频图像进行道路分割，得到路面分割图，对多帧视频图像进行目标识别，得到至少一个疑似违法车辆，对至少一个疑似违法车辆进行车牌识别，得到至少一个车牌号，每一疑似违法车辆对应一个车牌号，对至少一个疑似违法车辆中每一疑似违法车辆进行目标跟踪，得到至少一条行驶轨迹，每一疑似违法车辆对应一条行驶轨迹，根据至少一条行驶轨迹、路面分割图对至少一个疑似违法车辆进行违法识别，得到目标违法车辆，并输出目标违法车辆的违法信息，违法信息至少包括车牌号，如此，能够得到路面标线、车辆行驶轨迹，有助于快速确认车辆是否违法，提升了交通管理效率。

与上述一致地，请参阅图3，为本申请实施例提供的一种电子设备的实施例结构示意图。本实施例中所描述的电子设备，包括：至少一个输入设备1000；至少一个输出设备2000；至少一个处理器3000，例如CPU；和存储器4000，上述输入设备1000、输出设备2000、处理器3000和存储器4000通过总线5000连接。

其中，上述输入设备1000具体可为触控面板、物理按键或者鼠标。

上述输出设备2000具体可为显示屏。

上述存储器4000可以是高速RAM存储器，也可为非易失存储器(non-volatilememory)，例如磁盘存储器。上述存储器4000用于存储一组程序代码，上述输入设备1000、输出设备2000和处理器3000用于调用存储器4000中存储的程序代码，执行如下操作：

上述处理器3000，用于：

获取多帧视频图像，每一帧视频图像中包括至少一个车辆；

采用预设路面标线分割网络模型对所述多帧视频图像进行道路分割，得到路面分割图；

对所述多帧视频图像进行目标识别，得到至少一个疑似违法车辆；

对所述至少一个疑似违法车辆进行车牌识别，得到至少一个车牌号，每一疑似违法车辆对应一个车牌号；

对所述至少一个疑似违法车辆中每一疑似违法车辆进行目标跟踪，得到至少一条行驶轨迹，每一疑似违法车辆对应一条行驶轨迹；

根据所述至少一条行驶轨迹、所述路面分割图对所述至少一个疑似违法车辆进行违法识别，得到目标违法车辆，并输出所述目标违法车辆的违法信息，所述违法信息至少包括车牌号。

采用上述本申请实施例提供的电子设备，获取多帧视频图像，采用预设路面标线分割网络模型对多帧视频图像进行道路分割，得到路面分割图，对多帧视频图像进行目标识别，得到至少一个疑似违法车辆，对至少一个疑似违法车辆进行车牌识别，得到至少一个车牌号，每一疑似违法车辆对应一个车牌号，对至少一个疑似违法车辆中每一疑似违法车辆进行目标跟踪，得到至少一条行驶轨迹，每一疑似违法车辆对应一条行驶轨迹，根据至少一条行驶轨迹、路面分割图对至少一个疑似违法车辆进行违法识别，得到目标违法车辆，并输出目标违法车辆的违法信息，违法信息至少包括车牌号，如此，能够得到路面标线、车辆行驶轨迹，有助于快速确认车辆是否违法，提升了交通管理效率。

可选地，所述预设路面标线分割网络模型包括专用路面标线分割网络模块和路面标线多级分块模块；

在所述采用预设路面标线分割网络模型对所述多帧视频图像进行道路分割，得到路面分割图方面，上述处理器3000具体用于：

采用所述专用路面标线分割网络模块对所述多帧视频图像进行处理，得到路面分割热图和路面分割嵌入图；

基于所述路面标线多级分块模块并结合所述路面分割嵌入图提供的组别号对所述路面分割热图进行处理，得到所述路面分割图。

可选地，所述专用路面标线分割网络模块基于MnasNet网络实现，其网络头部包括3个3×3卷积层，首尾各一次×2下采样，得到×4下采样特征图，其余部分重复使用四种不同的预激活深度分离卷积残差模块block，并分两次×2下采样，得到×16下采样特征图，然后将其上采样×2输出高级特征解码图，同时与×8下采样输出的低级特征编码图分支进行通道连接，最后经过卷积和一次×2上采样以使得后续处理得到路面标线分割热图和嵌入图。

可选地，所述基于所述路面标线多级分块模块对所述路面分割热图进行处理，得到所述路面分割图，上述处理器3000具体用于：

对所述路面分割热图中的每个通道求取最大值，得到至少一个最大值索引及其对应的通道号；

基于所述至少一个最大值索引及其对应的通道号对所述路面分割热图中的目标进行聚类处理，得到多个独立目标；

基于所述路面标线多级分块模块对所述多个独立目标中的点合并成团，得到多个团，并对所述多个团进行合并，得到多个小块，将所述多个小块合并成组，得到至少一个组，由所述至少一个组构成所述路面分割图。

可选地，所述基于所述路面标线多级分块模块对所述多个独立目标中的点合并成团，得到多个团，并对所述多个团进行合并，得到多个小块，将所述多个小块合并成组，得到至少一个组，由所述至少一个组构成所述路面分割图，上述处理器3000具体用于：

对所述多个独立目标进行逐行扫描，并将每一行连续的非零像素组成一个团，得到多个团，并记录每一团的起点、终点和所在行号；

若团i不与该团上一行的所有团均没有重合区域，则将该团i作为单独的小块j，并给该小块j赋予新标签号，并记录该小块j的左上角坐标、以及所述路面分割嵌入图中对应的组号，所述团i为任一团但不为第一行中的团，若所述小块j与周围小块k之间的距离小于预设阈值，则将所述小块j和所述小块k的标签号计入等价对，以用于合并，所述小块k为所述小块j周围的任一小块；

若所述团i仅与上一行中的一个团有重合，则将所述团i与所述一个团进行合并，得到小块m，将上一行的该一个团的标签号赋予给所述小块m，记录所述小块m的右下角坐标；

若所述团i与上一行的多个团有重叠区域，将所述团i与所述多个团进行合并，得到小块n，将相连块的最小标号赋予给所述小块n，并将所述上一行的多个团和所述团i写入等价对；

将等价对转换为等价序列，并依据对所述等价序列进行编号，并对编号后的等价序列内的点进行合并，具体为：左上、右下坐标集进行合并，每一序列对应一个相同的标签号；

对合并后的等价序号对应的小块进行合并，得到合并后的多个小块；

对合并后的多个小块进行合并，得到多个组，并将每个小块中的所有像素点计入相应的组中。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时包括上述方法实施例中记载的任何一种车辆违法识别方法的部分或全部步骤。

本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种车辆违法识别方法的部分或全部步骤。

尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。

本领域技术人员应明白，本申请的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机程序存储/分布在合适的介质中，与其它硬件一起提供或作为硬件的一部分，也可以采用其他分布形式，如通过Internet或其它有线或无线电信系统。

本申请是参照本申请实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程车牌定位设备的处理器以产生一个机器，使得通过计算机或其他可编程车牌定位设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程车牌定位设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程车牌定位设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管结合具体特征及其实施例对本申请进行了描述，显而易见的，在不脱离本申请的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明，且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种车辆违法识别方法，其特征在于，包括：

获取多帧视频图像，每一帧视频图像中包括至少一个车辆；

采用预设路面标线分割网络模型对所述多帧视频图像进行道路分割，得到路面分割图；

对所述多帧视频图像进行目标识别，得到至少一个疑似违法车辆；

对所述至少一个疑似违法车辆进行车牌识别，得到至少一个车牌号，每一疑似违法车辆对应一个车牌号；

对所述至少一个疑似违法车辆中每一疑似违法车辆进行目标跟踪，得到至少一条行驶轨迹，每一疑似违法车辆对应一条行驶轨迹；

根据所述至少一条行驶轨迹、所述路面分割图对所述至少一个疑似违法车辆进行违法识别，得到目标违法车辆，并输出所述目标违法车辆的违法信息，所述违法信息至少包括车牌号。

2.根据权利要求1所述的方法，其特征在于，所述预设路面标线分割网络模型包括专用路面标线分割网络模块和路面标线多级分块模块；

所述采用预设路面标线分割网络模型对所述多帧视频图像进行道路分割，得到路面分割图，包括：

采用所述专用路面标线分割网络模块对所述多帧视频图像进行处理，得到路面分割热图和路面分割嵌入图；

基于所述路面标线多级分块模块并结合所述路面分割嵌入图提供的组别号对所述路面分割热图进行处理，得到所述路面分割图。

3.根据权利要求2所述的方法，其特征在于，所述专用路面标线分割网络模块基于MnasNet网络实现，其网络头部包括3个3×3卷积层，首尾各一次×2下采样，得到×4下采样特征图，其余部分重复使用四种不同的预激活深度分离卷积残差模块block，并分两次×2下采样，得到×16下采样特征图，然后将其上采样×2输出高级特征解码图，同时与×8下采样输出的低级特征编码图分支进行通道连接，最后经过卷积和一次×2上采样以使得后续处理得到路面标线分割热图和嵌入图。

4.根据权利要求2所述的方法，其特征在于，所述基于所述路面标线多级分块模块对所述路面分割热图进行处理，得到所述路面分割图，包括：

对所述路面分割热图中的每个通道求取最大值，得到至少一个最大值索引及其对应的通道号；

基于所述至少一个最大值索引及其对应的通道号对所述路面分割热图中的目标进行聚类处理，得到多个独立目标；

基于所述路面标线多级分块模块对所述多个独立目标中的点合并成团，得到多个团，并对所述多个团进行合并，得到多个小块，将所述多个小块合并成组，得到至少一个组，由所述至少一个组构成所述路面分割图。

5.根据权利要求4所述的方法，其特征在于，所述基于所述路面标线多级分块模块对所述多个独立目标中的点合并成团，得到多个团，并对所述多个团进行合并，得到多个小块，将所述多个小块合并成组，得到至少一个组，由所述至少一个组构成所述路面分割图，包括：

对所述多个独立目标进行逐行扫描，并将每一行连续的非零像素组成一个团，得到多个团，并记录每一团的起点、终点和所在行号；

若团i不与该团上一行的所有团均没有重合区域，则将该团i作为单独的小块j，并给该小块j赋予新标签号，并记录该小块j的左上角坐标、以及所述路面分割嵌入图中对应的组号，所述团i为任一团但不为第一行中的团，若所述小块j与周围小块k之间的距离小于预设阈值，则将所述小块j和所述小块k的标签号计入等价对，以用于合并，所述小块k为所述小块j周围的任一小块；

若所述团i仅与上一行中的一个团有重合，则将所述团i与所述一个团进行合并，得到小块m，将上一行的该一个团的标签号赋予给所述小块m，记录所述小块m的右下角坐标；

若所述团i与上一行的多个团有重叠区域，将所述团i与所述多个团进行合并，得到小块n，将相连块的最小标号赋予给所述小块n，并将所述上一行的多个团和所述团i写入等价对；

将等价对转换为等价序列，并依据对所述等价序列进行编号，并对编号后的等价序列内的点进行合并，具体为：左上、右下坐标集进行合并，每一序列对应一个相同的标签号；

对合并后的等价序号对应的小块进行合并，得到合并后的多个小块；

对合并后的多个小块进行合并，得到多个组，并将每个小块中的所有像素点计入相应的组中。

6.一种车辆违法识别装置，其特征在于，包括:

获取单元，用于获取多帧视频图像，每一帧视频图像中包括至少一个车辆；

分割单元，用于采用预设路面标线分割网络模型对所述多帧视频图像进行道路分割，得到路面分割图；

识别单元，用于对所述多帧视频图像进行目标识别，得到至少一个疑似违法车辆；以及对所述至少一个疑似违法车辆进行车牌识别，得到至少一个车牌号，每一疑似违法车辆对应一个车牌号；

跟踪单元，用于对所述至少一个疑似违法车辆中每一疑似违法车辆进行目标跟踪，得到至少一条行驶轨迹，每一疑似违法车辆对应一条行驶轨迹；

输出单元，用于根据所述至少一条行驶轨迹、所述路面分割图对所述至少一个疑似违法车辆进行违法识别，得到目标违法车辆，并输出所述目标违法车辆的违法信息，所述违法信息至少包括车牌号。

7.根据权利要求6所述的装置，其特征在于，所述预设路面标线分割网络模型包括专用路面标线分割网络模块和路面标线多级分块模块；

在所述采用预设路面标线分割网络模型对所述多帧视频图像进行道路分割，得到路面分割图方面，所述分割单元具体用于：

采用所述专用路面标线分割网络模块对所述多帧视频图像进行处理，得到路面分割热图和路面分割嵌入图；

基于所述路面标线多级分块模块并结合所述路面分割嵌入图提供的组别号对所述路面分割热图进行处理，得到所述路面分割图。

8.根据权利要求7所述的装置，其特征在于，所述专用路面标线分割网络模块基于MnasNet网络实现，其网络头部包括3个3×3卷积层，首尾各一次×2下采样，得到×4下采样特征图，其余部分重复使用四种不同的预激活深度分离卷积残差模块block，并分两次×2下采样，得到×16下采样特征图，然后将其上采样×2输出高级特征解码图，同时与×8下采样输出的低级特征编码图分支进行通道连接，最后经过卷积和一次×2上采样以使得后续处理得到路面标线分割热图和嵌入图。

9.根据权利要求7所述的装置，其特征在于，在所述基于所述路面标线多级分块模块对所述路面分割热图进行处理，得到所述路面分割图方面，所述分割单元具体用于：

对所述路面分割热图中的每个通道求取最大值，得到至少一个最大值索引及其对应的通道号；

基于所述至少一个最大值索引及其对应的通道号对所述路面分割热图中的目标进行聚类处理，得到多个独立目标；

基于所述路面标线多级分块模块对所述多个独立目标中的点合并成团，得到多个团，并对所述多个团进行合并，得到多个小块，将所述多个小块合并成组，得到至少一个组，由所述至少一个组构成所述路面分割图。

10.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-5任一项所述的方法。