CN109949578A - 一种基于深度学习的车辆压线违法自动审核方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的车辆压线违法自动审核方法，包括以下步骤：获取摄像头的抓拍图片，对图片进行切割和排序；获取目标车辆车牌号码；采用基于深度学习的目标车辆检测模块，分别检测出各个排序图的目标车辆，获得目标车辆的检测框；采用基于深度学习的场景分割模块的对排序图做场景分割，获得分割出的实线像素；在每个排序图上，采用车辆压线违法判断模块计算实线拟合的直线与目标车辆检测框的下边框所在直线是否有交点；根据交点的位置判断该组排序图上的目标车辆是否压线违法，本方法适用于现实场景中交通摄像头拍摄的图片的违章审核。

Description

一种基于深度学习的车辆压线违法自动审核方法

技术领域

本发明涉及交通违法的人工智能判断技术领域，特别涉及到一种用于车辆压线违法审核的系统。

背景技术

随着社会经济的不断发展和人民生活水平的持续提高，交通管理局对于交通违章自动审核的需求越来越大。传统和违章审核主要是通过人工识别，该方法人工成本较高,效率较低,且长时间重复性校验操作容易产生疲劳，疏忽等不良状态，影响校验准确率。

如何准确、快速地对交通中的违法行为进行审核,同时避免人工识别成本高,易疲劳,易疏忽等弊端,是急需解决的技术问题。

发明内容

本发明的目的是：提出一种基于深度学习的车辆压线违法自动审核系统，自动审核压线违法行为，以满足如今对交通违法审核工作中效率、准确率的需求。

本发明采用的技术方案是：

一种基于深度学习的车辆压线违法自动审核系统，包括如下步骤：

S1、按行读取违章数据集信息表；每一行数据信息包括图片地址信息,设备号信息,车牌号码信息；根据图片地址信息读入多合一的图片，对图片进行切割并按切割的位置的依次顺序,获得一组排序图；

S2、采用基于深度学习的目标车辆检测模块，分别检测出该组排序图每个图像的目标车辆，获得目标车辆的检测框；

S3、采用基于深度学习的场景分割模块算法对该组排序图的每个图像做场景分割，获得分割出的车道线轮廓,停止线轮廓,导向线轮廓,和目标车辆的轮廓；

S4、该组排序图的各个图像之间,分别对车道线轮廓,停止线轮廓,导向线轮廓求几何学的并集；

S5、分别计算车道线轮廓，停止线轮廓，导向线轮廓的外接矩形，通过外接矩形的尺寸过滤掉较小的轮廓；

S6、分别计算车道线轮廓和拟合线段和停止线的拟合线段；若两个车道线轮廓之间的拟合线段满足重合判断条件，则认为这两个轮廓属于同一个车道线,将这两个轮廓进行轮廓合并，再对合并的轮廓拟合线段；若两个停止线轮廓之间的拟合直线重合，则认为这两个轮廓属于同一个车道线，将这两个轮廓进行轮廓合并，再对合并的轮廓拟合线段；

S7、每一个车道线和每一个导向线通过车道线和导向线位置关系算法判断是否接触；若接触判断车道线为误分割车道线，删除该车道线；

S8、若车道线拟合线段的个数大于等于2，计算出每两个车道线之间交点，这些交点通过灭点计算算法求解出灭点位置；计算灭点与车道线拟合线段的垂直距离,垂直距离若大于100像素，则认为该车道线是为误分割，删除该车道线；

S9、保留长度最大的停止线拟合线段，将车道线延长到停止线；

S10、在每个排序图上，通过车辆底盘底部轮廓拟合算法计算目标车辆轮廓的底部轮廓的拟合线段，计算底部轮廓的拟合线段左右端点与目标车辆检测框的间隙；间隙大的一侧目标车辆轮廓认为有可视的底盘侧轮廓，选取目标车辆轮廓中横向坐标位于该间隙内且纵向坐标位于目标车辆检测框下半检测框高度范围内的轮廓点做拟合线段，该拟合线段即为目标车辆的可视侧底盘轮廓拟合线段；间隙小的一侧端点认为是不可视底盘侧轮廓拟合线段下端点；

S11、计算可视侧轮廓拟合线段延长线和车道线灭点所在水平线的交点，该交点为目标车辆侧轮廓灭点；目标车辆侧轮廓灭点与不可视底盘侧轮廓拟合线段下端点连线为不可视的底盘侧轮廓拟合线段所在直线；过可视底盘侧轮廓拟合线段上端点做底盘下部轮廓拟合线段的平行线,该平行线和不可视底盘侧轮廓拟合线段所在直线的交点为不可视底盘侧轮廓拟合线段上端点；连接不可视底盘侧轮廓上下端点的线段即为不可视底盘侧轮廓线段,连接可视底盘侧轮廓线段上端点和不可视底盘侧轮廓线段上端点的线段即为目标车辆的底盘上部轮廓拟合线段,至此获得由目标车辆的底盘下部轮廓拟合线段,可视底盘侧轮廓拟合线段,底盘上部轮廓拟合线段,不可视底盘侧轮廓拟合线段组成的目标车辆底盘轮廓四边形；

S12、在每个排序图上，采用压线违法判断模块算法计算目标车辆底盘四边形与车道线拟合线段的是否有交点；若存在交点则判断该组排序图上的目标车辆压线违法,否则不违法；

进一步，所述的一种基于深度学习的车辆压线违法自动审核方法，所述的违章数据集信息表的数据来自客户,违章数据集信息表格式可以是txt,csv等格式；所述的多合一图片中子图的个数为1-4张,该多合一图片的子图拍摄的是同一场景下,目标车辆的不同行驶位置,同一场景中的车道线,停止线,导向线位置完全相同；

进一步，所述的一种基于深度学习的车辆压线违法自动审核方法，所述的基于深度学习的目标车辆检测模块包括车辆检测单元，车牌检测单元，车牌识别单元和车辆ReID单元，其检测步骤如下：

S31、采用基于深度学习的目标车辆检测模块的车辆检测单元，检测出改组排序图的所有车辆；采用基于深度学习的目标车辆检测模块的车牌检测单元，对第一和第二个排序图所检测出的车辆再做车牌检测；

S32、在第一张排序图上，采用基于深度学习的目标车辆检测模块的车牌识别单元进行车牌号码识别，若匹配上目标车辆号码，则确定第一个排序图的目标车辆检测框；

S33、若第一个目标车辆检测框存在，对第二个排序图做车牌识别；若没有匹配上目标车辆的车牌号码，采用基于深度学习的车辆ReID单元对第二张排序图做车辆重识别，确定目标车辆检测框；

S34、若存在第三张排序图，采用基于深度学习的车辆ReID单元对第三张排序图做车辆重识别，确定目标车辆检测框；根据以上步骤确定目标车辆在排序图的分别检测框；

进一步，所述的一种基于深度学习的车辆压线违法自动审核方法，所述基于深度学习的场景分割模块步骤如下：

S41、对排序图做场景分割，分别获得车道线,停止线,导向线,和目标车辆的像素分割图；车道线包括白色实线和黄色实线等；

S42、使用常规轮廓检测方法分别获得车道线,停止线,导向线,和目标车辆的轮廓,此处获得的轮廓是点位置集合；

进一步，所述的一种基于深度学习的车辆压线违法自动审核方法，所述的重合判断条件为：

S51、两条线段的夹角小于15度；

S52、一条线段上下端点到另一条线段的垂直距离平均值小于50个像素；

S53、另一条线段上下端点到该条线段的垂直距离平均值小于50个像素；

进一步，所述的一种基于深度学习的车辆压线违法自动审核方法，所述的轮廓合并即为两个轮廓点集求并集合并成一个轮廓点集；

进一步，所述的一种基于深度学习的车辆压线违法自动审核方法，所述的灭点为透视投影意义上的灭点，所述的计算算法步骤如下:

S71、计算每两个车道线拟合线段延长线的交点，求这线交点的横向坐标均值和纵向坐标均值作为中心点坐标；

S72、计算每个交点到中心点的距离,并记录距离最大的点坐标,若最大距离大于150像素,则删除距离最大的点,并重复S71和S72步骤；若最大距离小于等于150像素,该中心点即为灭点,结束计算；

进一步，要求1所述的一种基于深度学习的车辆压线违法自动审核方法，所述的压线违法判断模块算法步骤如下:

S81、在每一个排序图上,求每一个车道线拟合线段分别与目标车辆底盘轮廓四变形的四个边是否存在交点,若存在交点则判断压线；

S82、在每一个排序图上,通过常规的面积法求每一个车道线拟合线段的上下端点是否在目标车辆底盘轮廓四变形内,若位于目标车辆底盘轮廓四变形内,判断为违法,否则判断不违法；

进一步，所述的一种基于深度学习的车辆压线违法自动审核方法，所述的车道线和导向线位置关系算法步骤如下:

S91、将每个车道线拟合线段的两端点分别延长50个像素的长度,对延长后的拟合线段分别左右偏移50个像素,左偏移线段上下端点分别连接右偏移线段上下端点,构成平行四边形；

S92、计算每个导向线的轮廓点位于平行四边形内,若导向线的存在位于四边形内的轮廓点,判断为车道线和导向线接触,否则判断车道线和导向线不接触

进一步，所述的车辆ReID单元，采用GoogLenet Inception-V2网络结构提取车辆特征并跟踪车辆位置,步骤如下:

S101、在训练特征提取模块时，在网络最后一个256维全连接层接一个分类层，该层对不同款车型的进行分类，每一个类别拥有不同帧时刻采集的同一车，并对所有采集的车进行数据增强。当训练的损失值loss降低到最低时，裁剪掉分类层，取出上一个256维全连接层，此时获取的256维特征能够很好的表征该车辆的特征。

S102、对第一张图定位到的车辆输入到GoogLenet Inception-V2网络，在该网络的输入层，对输入的车辆进行padding，变成长宽一致的图像，多余的部分以0像素填充；然后对预处理后的图像进行上采样或下采样操作，统一resize成200＊200分辨率的图像，最后得到一个256维特征；

S103、对第二张图所有待匹配的车辆输入GoogLenet Inception-V2网络，同S31，得到若干256维特征；

S104、对第三张图所有待匹配的车辆输入GoogLenet Inception-V2网络，同S31，得到若干256维特征；

S105、用S31中一个256维特征和S32中若干个256维特征做余弦相似度，由于特征提取模块提取的256维特征已经能够很好的表征该车辆，所以采用余弦相似可以更显现出两辆车之间的差异度，最后取出得分最高所对应的256维特征；

S106、用S32中得分最高的256维特征和S33中若干个256维特征做余弦相似度，取出得分最高所对应的256维特征；

S107、由于第二张图和第三张图通过检测算法已经分别检测出若干辆车，用上述算法找到相似度得分最高的车，取出得分最高所对应的车辆索引号即为跟踪到的车辆。

本发明的有益效果是：本发明主要应用于交通违法中的压线违法审核，其实现了审核过程中的全自动检测，识别和判断。通过深度学习直接获得高精度的车辆检测框，以目标车辆检测框下半框和下边框作为主要判断依据，更符合摄像头拍摄的三维透视图特性，本方法适用于现实场景中交通摄像头拍摄图片的违章审核。

附图说明

图1是本发明的车辆压线违章检测流程图。

图2是本发明的结构示意图。

图3是本发明目标车辆检测模块的结构示意图。

图4是本发明场景分割模块的结构示意图。

图5是本发明压线违法判断模块的结构示意图。

具体实施方式

以下结合附图,对本发明做进一步说明。

本发明主要基于目标车辆检测模块、场景分割模块、压线违法判断模块。

如图2所示，目标车辆检测模块由包括车辆检测单元，车牌检测单元，车牌识别单元，车辆ReID单元和判断单元组成。

首先，对排序图使用车辆检测单元，获取排序图上的所有车辆检测框。然后将第一张排序图检测的车辆传入车牌检测单元，获得车牌检测框，再将车牌检测结果输入车牌识别单元识别车牌号码，

判断是否匹配上目标车辆车牌号。如果匹配成功，将第二张排序图的检测车辆传入车牌检测单元，获得车牌检测框，再将车牌检测结果输入车牌识别单元识别车牌号码，判断是否匹配上目标车辆车牌号码；若匹配不上，将第二张排序图的检测车辆传入车辆ReID单元，匹配第一张排序图的检测出的目标车辆。如果存在第三个排序图，再将其检测车辆传入车辆ReID单元，匹配第一个排序图的目标车辆。最后，确定目标车辆在每个排序图中的检测框，锁定了目标车辆在每个位置，有效地避免因车辆位置变化带来的误检影响,提高目标车辆定位检测的准确性。

如图3所示，场景分割模块包括场景分割单元和实线融合单元。首先，对排序图使用场景分割单元，获得车道线,导向线,停止线和目标车辆的分割特征图，分别计算改组排序图中每个图的车道线,导向线,停止线和目标车辆的轮廓；然后，将所有排序图的车道线,导向线,停止线的轮廓传入实线融合单元，在各个排序图之间,对车道线,导向线,停止线的轮廓做并集运算，如此融合因车辆和行人等遮挡而断开的实线，获得相对完整和连续的实线。

如图4所示，压线违法判断单元包括交点计算单元和判断单元。首先，将上述获得的每个排序图目标车辆底盘轮廓四边形和车道线拟合线段传入交点计算单元，求每一个车道线拟合线段分别与目标车辆底盘轮廓四变形的四个边是否存在交点,若存在交点则判断压线；若不存在交点,则通过常规的面积法求每一个车道线拟合线段的上下端点是否在目标车辆底盘轮廓四变形内,若位于目标车辆底盘轮廓四变形内,判断为违法,否则判断不违法。

本发明的实施具体流程如图1所示，一种基于深度学习的车辆压线违法自动审核系统，包括如下步骤：

S1、获取摄像头的抓拍图片，对图片进行切割和排序；获取目标车辆车牌号码；

S2、采用基于深度学习的目标车辆检测模块，分别检测出各个排序图的目标车辆，获得目标车辆的检测框；

S3、采用基于深度学习的场景分割模块的对排序图做场景分割，获得分割出的实线像素；

S4、在每个排序图上，采用车辆压线判断模块计算实线拟合的直线与目标车辆检测框的下边框所在直线是否有交点；根据交点的位置以及实线下端点的位置判断该组排序图上的目标车辆是否压线违法；

以上显示和描述了本方案的基本原理和主要特征和本方案的优点。本行业的技术人员应该了解，本方案不受上述实施例的限制，上述实施例和说明书中描述的只是说明本方案的原理，在不脱离本方案精神和范围的前提下，本方案还会有各种变化和改进,这些变化和改进都落入本专利保护范围。

Claims (10)

1.一种基于深度学习的车辆压线违法自动审核方法，包括以下步骤：

S1、读取违章数据集信息表；每一行数据信息包括图片地址信息,设备号信息,车牌号码信息；根据图片地址信息读入多合一的图片，对图片进行切割并按切割的位置的依次顺序,获得一组排序图；

S2、采用基于深度学习的目标车辆检测模块，分别检测出该组排序图每个图像的目标车辆，获得目标车辆的检测框；

S3、采用基于深度学习的场景分割模块算法对该组排序图的每个图像做场景分割，获得分割出的车道线轮廓,停止线轮廓,导向线轮廓,和目标车辆的轮廓；

S4、该组排序图的各个图像之间,分别对车道线轮廓,停止线轮廓,导向线轮廓求几何学的并集；

S5、分别计算车道线轮廓,停止线轮廓,导向线轮廓的外接矩形,通过外接矩形的尺寸过滤掉较小的轮廓；

S6、分别计算车道线轮廓和拟合线段和停止线的拟合线段；若两个车道线轮廓之间的拟合线段满足重合判断条件,则认为这两个轮廓属于同一个车道线,将这两个轮廓进行轮廓合并,再对合并的轮廓拟合线段；若两个停止线轮廓之间的拟合直线重合,则认为这两个轮廓属于同一个车道线,将这两个轮廓进行轮廓合并,再对合并的轮廓拟合线段；

S7、每一个车道线和每一个导向线通过车道线和导向线位置关系算法判断是否接触；若接触判断车道线为误分割车道线,删除该车道线；

S8、若车道线拟合线段的个数大于等于2,计算出每两个车道线之间交点,这些交点通过灭点计算算法求解出灭点位置；计算灭点与车道线拟合线段的垂直距离,垂直距离若大于100像素,则认为该车道线是为误分割,删除该车道线；

S9、保留长度最大的停止线拟合线段,将车道线延长到停止线；

S10、在每个排序图上,通过车辆底盘底部轮廓拟合算法计算目标车辆轮廓的底部轮廓的拟合线段,计算底部轮廓的拟合线段左右端点与目标车辆检测框的间隙；

间隙大的一侧目标车辆轮廓认为有可视的底盘侧轮廓,选取目标车辆轮廓中横向坐标位于该间隙内且纵向坐标位于目标车辆检测框下半检测框高度范围内的轮廓点做拟合线段,该拟合线段即为目标车辆的可视侧底盘轮廓拟合线段；

间隙小的一侧端点认为是不可视底盘侧轮廓拟合线段下端点；

S11、计算可视侧轮廓拟合线段延长线和车道线灭点所在水平线的交点,该交点为目标车辆侧轮廓灭点；目标车辆侧轮廓灭点与不可视底盘侧轮廓拟合线段下端点连线为不可视的底盘侧轮廓拟合线段所在直线；过可视底盘侧轮廓拟合线段上端点做底盘下部轮廓拟合线段的平行线,该平行线和不可视底盘侧轮廓拟合线段所在直线的交点为不可视底盘侧轮廓拟合线段上端点；连接不可视底盘侧轮廓上下端点的线段即为不可视底盘侧轮廓线段,连接可视底盘侧轮廓线段上端点和不可视底盘侧轮廓线段上端点的线段即为目标车辆的底盘上部轮廓拟合线段,至此获得由目标车辆的底盘下部轮廓拟合线段,可视底盘侧轮廓拟合线段,底盘上部轮廓拟合线段,不可视底盘侧轮廓拟合线段组成的目标车辆底盘轮廓四边形；

S12、在每个排序图上，采用压线违法判断模块算法计算目标车辆底盘四边形与车道线拟合线段的是否有交点；若存在交点则判断该组排序图上的目标车辆压线违法,否则不违法。

2.如权利要求1所述的一种基于深度学习的车辆压线违法自动审核方法，其特征在于，所述的违章数据集信息表的数据格式可以是txt,csv等格式；所述的多合一图片中子图的个数为1-4张,该多合一图片的子图拍摄的是同一场景下,目标车辆的不同行驶位置,同一场景中的车道线,停止线,导向线位置完全相同。

3.如权利要求1所述的一种基于深度学习的车辆压线违法自动审核方法，其特征在于，所述的基于深度学习的目标车辆检测模块包括车辆检测单元，车牌检测单元，车牌识别单元和车辆ReID单元，其检测步骤如下：

S21、采用基于深度学习的目标车辆检测模块的车辆检测单元，检测出该组排序图的所有车辆；采用基于深度学习的目标车辆检测模块的车牌检测单元，对该组排序图中第一和第二个排序图所检测出的车辆再做车牌检测；

S22、在第一张排序图上，采用基于深度学习的目标车辆检测模块的车牌识别单元进行车牌号码识别，若匹配上目标车辆号码，则确定第一个排序图的目标车辆检测框；

S23、若第一个目标车辆检测框存在，对第二个排序图做车牌识别；若没有匹配上目标车辆的车牌号码，采用基于深度学习的车辆ReID单元对第二张排序图做车辆重识别，确定目标车辆检测框；

S24、若存在第三张排序图，采用基于深度学习的车辆ReID单元对第三张排序图做车辆重识别，确定目标车辆检测框；根据以上步骤确定目标车辆在排序图的分别检测框。

4.如权利要求1所述的一种基于深度学习的车辆压线违法自动审核方法，其特征在于，所述S3中基于深度学习的场景分割模块步骤如下：

S31、对排序图做场景分割，分别获得车道线,停止线,导向线,和目标车辆的像素分割图；车道线包括白色实线和黄色实线等；

S32、使用常规轮廓检测方法分别获得车道线,停止线,导向线,和目标车辆的轮廓,此处获得的轮廓是点位置集合。

5.如权利要求1所述的一种基于深度学习的车辆压线违法自动审核方法，其特征在于，所述的重合判断条件为：

S51、两条线段的夹角小于15度；

S52、一条线段上下端点到另一条线段的垂直距离平均值小于50个像素；

S53、另一条线段上下端点到该条线段的垂直距离平均值小于50个像素。

6.如权利要求1所述的一种基于深度学习的车辆压线违法自动审核方法，其特征在于，所述的轮廓合并即为两个轮廓点集求并集合并成一个轮廓点集。

7.如权利要求1所述的一种基于深度学习的车辆压线违法自动审核方法，其特征在于，所述的灭点为透视投影意义上的灭点,所述的计算算法步骤如下:

S71、计算每两个车道线拟合线段延长线的交点,求这线交点的横向坐标均值和纵向坐标均值作为中心点坐标；

S72、计算每个交点到中心点的距离,并记录距离最大的点坐标,若最大距离大于150像素,则删除距离最大的点,并重复S71和S72步骤；若最大距离小于等于150像素,该中心点即为灭点,结束计算。

8.如权利要求1所述的一种基于深度学习的车辆压线违法自动审核方法，其特征在于，所述的压线违法判断模块算法步骤如下:

S81、在每一个排序图上，求每一个车道线拟合线段分别与目标车辆底盘轮廓四变形的四个边是否存在交点，若存在交点则判断压线；

S82、在每一个排序图上，通过常规的面积法求每一个车道线拟合线段的上下端点是否在目标车辆底盘轮廓四变形内，若位于目标车辆底盘轮廓四变形内，判断为违法,否则判断不违法。

9.如权利要求1所述的一种基于深度学习的车辆压线违法自动审核方法，其特征在于，所述的车道线和导向线位置关系算法步骤如下:

S91、将每个车道线拟合线段的两端点分别延长50个像素的长度，对延长后的拟合线段分别左右偏移50个像素，左偏移线段上下端点分别连接右偏移线段上下端点,构成平行四边形；

S92、计算每个导向线的轮廓点位于平行四边形内，若导向线的存在位于四边形内的轮廓点，判断为车道线和导向线接触，否则判断车道线和导向线不接触。

10.如权利要求3所述的一种基于深度学习的车辆压线违法自动审核方法，其特征在于，所述的车辆ReID单元采用GoogLenet Inception-V2网络结构提取车辆特征并跟踪车辆位置，步骤如下:

S101、在训练特征提取模块时，在网络最后一个256维全连接层接一个分类层，该层对不同款车型的进行分类，每一个类别拥有不同帧时刻采集的同一车，并对所有采集的车进行数据增强，当训练的损失值loss降低到最低时，裁剪掉分类层，取出上一个256维全连接层，此时获取的256维特征能够很好的表征该车辆的特征；

S102、对第一张图定位到的车辆输入到GoogLenet Inception-V2网络，在该网络的输入层，对输入的车辆进行padding，变成长宽一致的图像，多余的部分以0像素填充；然后对预处理后的图像进行上采样或下采样操作，统一resize成200＊200分辨率的图像，最后得到一个256维特征；

S103、对第二张图所有待匹配的车辆输入GoogLenet Inception-V2网络，同S102，得到若干256维特征；

S104、对第三张图所有待匹配的车辆输入GoogLenet Inception-V2网络，同S102，得到若干256维特征；

S105、用S31中一个256维特征和S32中若干个256维特征做余弦相似度，由于特征提取模块提取的256维特征已经能够很好的表征该车辆，所以采用余弦相似可以更显现出两辆车之间的差异度，最后取出得分最高所对应的256维特征；

S106、用S32中得分最高的256维特征和S33中若干个256维特征做余弦相似度，取出得分最高所对应的256维特征；

S107、由于第二张图和第三张图通过检测算法已经分别检测出若干辆车，用上述算法找到相似度得分最高的车，取出得分最高所对应的车辆索引号即为跟踪到的车辆。