CN111161543A - 一种基于图像识别的公交前车违章行为自动抓拍方法及系统 - Google Patents

Abstract

本发明公开了一种基于图像识别的公交前车违章行为自动抓拍方法及系统，其中该方法主要包括步骤1，获取公交车拍摄到的公交车正前方的实时图像，步骤2，对所述实时图像进行车道线检测和车辆检测，步骤3，占道、压线和变道等违章行为的判断，步骤4，车牌识别；实现了在不依赖于后台数据和人工介入的情况下，仅根据车载摄像头拍摄到的图像，在移动端直接实时判断前车是否存在占用公交车道，实线变道，骑压实线等违章行为，并进行违章行为的记录和/或上报。

Description

一种基于图像识别的公交前车违章行为自动抓拍方法及系统

技术领域

本发明涉及智能交通领域和图像识别领域，具体涉及一种基于图像识别的公交前车违章行为自动抓拍方法及系统。

背景技术

随着公共交通领域的发展，公交出行成为城市居民主要的出行方式，交通拥堵问题也日益凸显。很多城市都开辟了快速公交专用车道，专门供公交车行驶，从而来提高公交车的运营效率，缓解交通压力。在实现本发明过程中，发明人发现现有技术中至少存在如下问题：在实际的运营中，远未达到预定的目标，究其原因，非公交车占用公交车专用道的违章行为成为最主要的因素。在此背景下，对公交车专用道占道抓拍的需求日渐强烈，以此来遏制非法占用公交车道的违章行为的发生，同时可结合违章记录系统，进行协助违章行为的收集和上报。

发明内容

为了克服现有技术的不足，本公开实施例提供了一种基于图像识别的公交前车违章行为自动抓拍方法及系统，在不依赖于后台数据和人工介入的情况下，仅根据车载摄像头拍摄到的图像，在移动端直接实时判断前车是否存在占用公交车道，实线变道，骑压实线等违章行为，并进行违章行为的记录和/或上报。

为解决自动抓拍问题，通过将检测、判断、识别模块植入到车载终端内，通过数据线与摄像头直接连接，根据检测到的车辆和车道线信息，自动判断当前行使路段是否为公交专用路段，结合时间信息判断当前时段是否为公交专用车道限行时段，根据车辆位置及车型信息判断车辆是否占用公交专用车道，若占用，系统判断该车型是否为豁免车型如公交、警车、急救车、消防车等。若判断该车为违规占用公交专用车道，则从提取到的车牌位置中抓取出车牌图像，通过车牌识别模块识别出车牌信息，结合GPS信息和时间信息，生成违章记录，上报交管部门。具体技术方案如下。

第一方面，提供了一种基于图像识别的公交前车违章行为自动抓拍方法，所述方法包括如下步骤：

步骤1，获取公交车拍摄到的公交车正前方的实时图像。

步骤2，对所述实时图像进行车道线检测和车辆检测

通过车道线检测得到车道线位置信息和车道线类型，通过车辆检测得到前车车辆位置、车牌位置，及车型信息，并把车道线信息(车道线位置信息和车道线类型)和车辆信息(前车车辆位置、车牌位置，及车型信息)进行同步。

步骤3，占道、压线和变道等违章行为的判断

跟据步骤2中得到前车车辆位置、车型信息，车道线位置、车道线类型等信息，判断前车是否存在占道(占用公交车专用车道)、压线(压实线)和变道的违章行为。

步骤4，车牌识别

对存在违章行为的车辆，提取出所述车牌位置信息，通过车牌识别技术，采用简单分类网络，识别车牌上的文字信息,并进行违章行为记录和/或上报。

优选的，步骤2中的所述车道线检测，具体步骤如下：

(1)对所述实时图像进行图像增强

(2)对图像增强后的图像进行图像二值化处理，得到二值化图像

(3)提取车道线边缘点

(4)车道线拟合

(5)车道线分类。

进一步的，车道线检测详细流程如下：

(1)对所述实时图像进行图像增强

将原图转换为灰度图，由于进行车道线检测任务时，只需要灰度图即可，然后采用基于一阶微分的边缘检测的sobel算法对图像进行边缘增强，该方法运算量小，可以满足实时需求。

(2)对图像增强后的图像进行图像二值化处理，得到二值化图像

设置阈值进行图像二值化处理，将高于该阈值的像素部分置为最高灰度级，将低于该阈值的像素部分置为最低灰度级，图像二值化算法采用自适应二值化方法，优选的，所述阈值的确定采用基于图像直方图的大津算法，基于图像直方图的大津算法具有精度高的优点。

(3)提取车道线边缘点

在所述二值化图像中把车道线边缘部分凸显出来，为了正确确定车道线的边缘点，根据车道线特征规律筛选出车道线边缘点。所述车道线特征规律为：在二值化图像中，车道线外侧二值化图像灰度值接近于0，而车道线内侧灰度值接近于255，并且车道线内侧的横向距离具有等距性，根据这些特征，可以有效的选择出车道线的内边缘。

(4)车道线拟合

车道线拟合即采用拟合技术对所述车道线边缘点进行拟合，得到车道线位置信息，所述拟合技术采用两级hough变换技术，即首先采用第一级hough变换粗定位车道线极坐标位置，然后采用精定位技术精确定位车道线位置信息(车道线的极坐标)。采用两级hough变换技术可以极大降低hough变换过程中计算量和对系统存储空间的占用。

(5)车道线分类

根据拟合出的车道线位置信息，从原始图像中提取出实际的车道线图像，传入到车道线分类器内，得到具体的车道线类型，车道线类型包括实白线，实黄线，公交专用车道线，虚线，非车道线等。所述车道线分类器使用经过训练的卷积神经网络，因为分类任务相对简单，即使用shufflenetV2_0.5网络作为backbone网络，提取网络的前两个stage特征作为预训练特征，用实时采集到的车道线数据进行训练。最终分类进度达到99.7％。

优选的，步骤2中的所述车辆检测，具体方法如下：

(1)对所述实时图像进行图像增强，包括灰度直方图均衡，滤波去噪，伽马校正锐化图像。图像增强是为应对不同的天气，光照场景下摄像头成像的差异，需要将裁剪后的图像进行图像增强。

(2)车辆检测：基于MTCNN人脸检测网络和shufflenetV2物体分类网络,设计出MTCNN+shuffle车辆检测分类网络，车辆检测分类网络的输入为任意大小的图像，车辆检测分类网络的输出为前车车辆位置、车牌位置，及车型信息；在定位图像场景中车辆位置的同时，定位出该车辆的车牌位置，以及车型信息(图像过小的车辆将被过滤)。在网络训练过程中，车辆检测使用MTCNN网络的训练方式，若车辆图片上有车牌信息，则将车牌的4角坐标作为特征点信息标注，于此同时在mtcnn第三阶段将车型信息以shufflenet_v2的网络结构进行并行训练，在一个网络中集合车辆，车牌，车型的信息。通过采用MTCNN多层深度卷积网络，对其网络结构进行了调整优化，针对车辆检测场景进行专门的数据标注和样本生成方式，调整优化后的模型可以检测输出3条关键信息，包括车辆在图片上的位置，车辆类型，车牌位置，提高了车辆识别精度。

(3)车辆跟踪：对于已经检出的车辆，使用MTCNN-Shuffle网络的前半部分进行跟踪，持续更新其车辆的位置和车辆的车牌位置，可不进行车型识别计算。

进一步的，步骤2中的车辆检测方法中，所述图像增强之前还包括图像分割：

对实时图像进行分割，截取前车车辆所在实时图像中的可能存在的区域，作为有效的车辆检测区域。

一般情况下，实时图像上半部分为天空和较远处的路面，处理价值比较低，先根据安装位置，将图像进行分割，截取前车车辆可能存在的区域进行车辆检测，以减少检测时间，提高检测效率。优选的，所述截取前车车辆所在实时图像中的可能存在的区域，具体为：根据图像中车道线的交点位置确定地平线位置，再根据地平线位置在图片中向上平移一定比例后作为分割线，比如以地平线距离图片下边缘的距离H为基础，向上平移距离H的20％作为分割线，通过截取有效的车辆检测区域，大大提高了运算速率。

需要说明的是，车辆检测和车道线检测的顺序是可以互换的；

优选的，步骤2中的所述把车道线信息和车辆信息进行同步，具体方法如下：

因为计算时长存在差异，车道线提取的计算时间会小于车辆检测分类时间，以车辆检测和车辆跟踪使用的图像时间戳为基准，即基于同一帧图像，找到其对应的车道线检测信息，进行信息同步；只有同步后的信息可以用于占道、压线和变道判断。

优选的，步骤3中所述判断前车是否存在占道、压线和变道的违章行为，具体方法为：

判断前车是否占用公交车专用车道，具体步骤为：

(1)根据所述车道线类型信息，判断是否存在公交专用车道线，若存在，进入下一步，若否，则流程结束

(2)根据所述车辆类型信息，判断其前车是否为豁免车型，若是，结束流程，若否，进入下一步，所述豁免车辆为公交、警车、急救车、消防车等；

(3)根据所述车道线位置和所述前车车辆位置，计算其相对位置，判断该车是否在公交车专用车道上运行，若是，则进入步骤4车牌识别。

判断前车是否存在压实线的违章行为，具体步骤为：

(1)根据车道线类型信息，判断其是否为实线，若当前路段为实线，则进入下一步，若否，流程结束

(2)根据所述车辆类型信息，判断前车是否为豁免车型，若是，则流程结束，若否，则进入下一步

(3)根据所述车道线位置和所述前车车辆位置，计算车道线和前车的相对位置，若车道线和前车位置发生交叉，则该车存在压线违章的行为，则进入步骤4车牌识别。

判断前车是否存在变道的违章行为，具体步骤为：

根据时段内的车辆位置和车道线信息，计算时段内的车辆和车道线的相对位置，根据历史车辆及车道线相对位置信息，可判断车辆是否存在变道行为。

具体步骤为：

(1)根据车道线类型信息，判断其是否为实线，若历史时间段内车道线为实线，则进入下一步，若否，则流程结束

(2)根据所述车辆类型信息，判断前车是否为豁免车型，若是，则流程结束，若否，则进入下一步

(3)根据所述车道线位置和所述前车车辆位置，计算车道线和前车的相对位置，若车道线和前车的相对位置发生变化，则记录为实线变道行为，进入步骤4车牌识别。

优选的，步骤4中所述车牌识别，具体步骤如下：

根据车牌位置信息，从实时图像中分割出车辆车牌，得到车辆的车牌原始图片；

对于车牌原始图片中的字符分割，利用投影法和/或连通域法，将字符进行有效分割，得到车牌中每一个字符的独立的字符原始图片，并按照从上到下，从左到右记录字符的序列，对于左边第一个字符原始图片采用中文字符分类网络进行分类，其他字符原始图片采用数字字母分类网络进行识别，对于识别出的字符信息，按照顺序组合后，得到车牌号。

所述中文字符分类网络使用我国各省车牌图片上截取的汉字图片进行分类训练；所述数字字母分类网络使用从车牌上截取的0-9，A-Z字符进行训练。

第二方面，提供了一种基于图像识别的公交前车违章行为自动抓拍系统，该系统包括获取模块、车载终端、服务器，以上3个部件依次电连接，所述车载终端内部依次包括检测模块、判断模块、识别模块、通信模块，上述4模块依次电连接；

所述获取模块，用于执行任一项所述的一种基于图像识别的公交前车违章行为自动抓拍方法的步骤1的步骤；所述获取模块，为公交车安装的用于拍摄正前方实时图像的摄像头；摄像头可以安装在公交车操作台上，正对路面，也可以安装在公交车正前方车头上方。本摄像头不需要进行专业标定，也不需要获取内部参数，只需要确保摄像头正常成像，且画面水平即可。摄像头与车载终端通过数据线电连接，安装时可以通过终端预览，调整成像画面，且确保摄像头正常工作，摄像头实时的将拍摄到的车辆正前方的图片传给终端，摄像头采集到的图像为彩色图像。

所述检测模块，用于执行任一项所述的一种基于图像识别的公交前车违章行为自动抓拍方法的步骤2的步骤；为解决依赖数据库进行车型识别的问题，针对原本需要依赖数据库的识别项目进行优化，设计出检测模块，自动检测车辆信息及车道信息，从而自动作出违章判定，减少了数据库交互带来的计算成本，减少了建设及维护数据库需要的人力物力成本，并提升了该技术方案的泛用性。

所述判断模块，用于执行任一项所述的一种基于图像识别的公交前车违章行为自动抓拍方法的步骤3的步骤。

所述识别模块，用于执行任一项所述的一种基于图像识别的公交前车违章行为自动抓拍方法的步骤4的步骤，并将识别到的结果传输到服务器。

为解决网络部署问题，将检测模块、判断模块、识别模块移到车载终端内，消除了因网络不稳定问题，车载终端内有通信模块，定时将识别模块识别到的信息上传到服务器，上传的数据内容根据需求可以定制，只将违章信息及证据进行上传，从而节约数据传输成本，提高数据传输效率。

与现有技术相比，上述技术方案中的一个技术方案具有如下有益效果：

通过将检测、判断、识别模块植入到车载终端内，车载终端通过数据线与摄像头直接电连接，根据检测模块检测到的车辆和车道线信息，自动判断当前行使路段是否为公交专用路段，结合时间信息判断当前时段是否为公交专用车道限行时段，根据车辆位置及车型信息判断车辆是否占用公交专用车道，若占用，系统判断该车型是否为豁免车型如公交、警车、急救车、消防车等。若判断该车为违规占用公交专用车道，则从提取到的车牌位置中抓取出车牌图像，通过车牌识别模块识别出车牌信息，结合GPS信息和时间信息，生成违章记录，上报交管部门。实现了公交车移动场景的前车违章自动抓拍方法，能够全天候全路段的对占用公交车道，实线变道，骑压实线等违章行为进行自动判别，抓拍取证，上传报警；可以有效保证公交车的专用车道路权，缓解公共交通压力，提升公共交通运行效率，并形成移动的交通规范抓拍平台，对所有路段进行违章抓拍，可使公交车辆成为可移动的交通违法行为举报者，对交通违法者产生极大震慑作用，更能契合交通违法行为“全民执法”的理念，有效提升交通安全。

附图说明

图1为本公开实施例提供的一种基于图像识别的公交前车违章行为自动抓拍方法的流程图。

图2为本公开实施例提供的一种基于图像识别的公交前车违章行为自动抓拍系统的示意图。

图3为本公开实施例提供的图像分割示意图。

具体实施方式

为了阐明本发明的技术方案和工作原理，下面将结合附图对本公开实施方式做进一步的详细描述。

上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。

本申请的说明书和权利要求书及上述附图中的术语“步骤1”、“步骤2”、“步骤3”等类似描述(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。

第一方面：本公开实施例提供了一种基于图像识别的公交前车违章行为自动抓拍方法，附图1为本公开实施例提供的一种基于图像识别的公交前车违章行为自动抓拍方法的流程图，结合该图，主要包括以下步骤：

步骤1，获取公交车拍摄到的公交车正前方的实时图像

需要在公交头上安装前置摄像头用以获取需要的视频数据，摄像头可以安装在公交车操作台上，正对路面，也可以安装在公交车正前方车头上方。本摄像头不需要进行专业标定，也不需要获取内部参数，只需要确保摄像头正常成像，且画面水平即可。摄像头与计算终端通过数据线连接，安装时可以通过终端预览，调整成像画面，且确保摄像头正常工作，摄像头实时的将拍摄到的车辆正前方的图片传给终端，摄像头采集到的图像为彩色图像。

步骤2，对所述实时图像进行车道线检测和车辆检测

步骤21，车道线检测：对所述实时图像，进行车道线检测和车道线分类，得到车道线位置信息和车道线类型

具体步骤如下：

(1)对所述实时图像进行图像增强

将原图转换为灰度图(由于进行车道线检测任务时，只需要灰度图即可)，然后采用基于一阶微分的边缘检测的sobel算法对图像进行边缘增强，该方法运算量小，可以满足实时需求。

(2)对图像增强后的图像进行图像二值化处理，得到二值化图像

设置阈值进行图像二值化处理，将高于该阈值的像素部分置为最高灰度级，将低于该阈值的像素部分置为最低灰度级，图像二值化算法采用自适应二值化方法，优选的，所述阈值的确定采用基于图像直方图的大津算法，基于图像直方图的大津算法具有精度高的优点；图像二值化将边缘增强后的图像选择合适的阈值进行二值化，将高于该阈值的像素部分置为最高灰度级，将低于该阈值的像素部分置为最低灰度级。图像二值化的核心在于如何选择出合理的阈值；阈值的大小决定图像二值化的好坏；在车道线二值化算法中，采用自适应二值化方法；一般常用的自适应二值化选择方法为图像灰度均值法、最大熵法；采用一种基于图像直方图确定阈值的大津算法。

(3)提取车道线边缘点

在所述二值化图像中把车道线边缘部分凸显出来，为了正确确定车道线的边缘点，根据车道线特征规律筛选出车道线边缘点。所述车道线特征规律为：在二值化图像中，车道线外侧二值化图像灰度值接近于0，而车道线内侧灰度值接近于255，并且车道线内侧的横向距离具有等距性，根据这些特征，可以有效的选择出车道线的内边缘。

(4)车道线拟合

车道线拟合即采用拟合技术对所述车道线边缘点进行拟合，得到车道线位置信息，所述拟合技术采用两级hough变换技术，即首先采用第一级hough变换粗定位车道线极坐标位置，然后采用精定位技术精确定位车道线位置信息(车道线的极坐标)。采用两级hough变换技术可以极大降低hough变换过程中计算量和对系统存储空间的占用。

(5)车道线分类

根据拟合出的车道线位置信息，从原始图像中提取出实际的车道线图像，传入到车道线分类器内，得到具体的车道线类型，车道线类型包括实白线，实黄线，公交专用车道线，虚线，非车道线等。所述车道线分类器使用经过训练的卷积神经网络，因为分类任务相对简单，即使用shufflenetV2_0.5网络作为backbone网络，提取网络的前两个stage特征作为预训练特征，用实时采集到的车道线数据进行训练。最终分类进度达到99.7％。

步骤22，车辆检测：

对所述实时图像进行车辆检测，分别检测出前车车辆位置、车牌位置，及车型信息，具体步骤如下：

(1)图像分割；如附图3所示，

对实时图像进行分割，截取前车车辆所在实时图像中的可能存在的区域，作为有效的车辆检测区域；

正确安装的摄像头传输回来的图像上半区为天空和较远处的路面，处理价值比较低，先根据安装位置，将图像进行分割，截取前车车辆可能存在的区域进行车辆检测，以减少检测时间，提高检测效率。优选的，所述截取前车车辆可能存在的区域具体为：根据图像中车道线的交点位置确定地平线位置，再根据地平线位置在图片中向上平移一定比例后作为分割线，通过截取有效的车辆检测区域，大大提高了运算速率。

(2)图像增强：为应对不同的天气，光照场景下摄像头成像的差异，需要将裁剪后的图像进行图像增强，所述图像增强操作包括灰度直方图均衡，滤波去噪，伽马校正锐化图像。

(3)车辆检测：基于MTCNN人脸检测网络和shufflenetV2物体分类网络,设计出MTCNN+shuffle车辆检测分类网络，车辆检测分类网络的输入为任意大小的图像，车辆检测分类网络的输出为前车车辆位置、车牌位置，及车型信息；在定位图像场景中车辆位置的同时，定位出该车辆的车牌位置，以及车型信息(图像过小的车辆将被过滤)。在网络训练过程中，车辆检测使用MTCNN网络的训练方式，若车辆图片上有车牌信息，则将车牌的4角坐标作为特征点信息标注，于此同时在mtcnn第三阶段将车型信息以shufflenet_v2的网络结构进行并行训练，在一个网络中集合车辆，车牌，车型的信息。

(4)车辆跟踪：对于已经检出的车辆，使用MTCNN-Shuffle网络的前半部分进行跟踪，持续更新其车辆的位置和车辆的车牌位置，可不进行车型识别计算。

需要说明的是，步骤2.1和步骤2.2可以进行顺序互换；

步骤2.3，同步车道线与车辆信息：

因为计算时长存在差异，车道线提取的计算时间会小于车辆检测分类时间，以车辆检测和车辆跟踪使用的图像时间戳为基准，即基于同一帧图像，找到其对应的车道线检测信息，进行信息同步；只有同步后的信息可以用于占道、压线和变道判断。

步骤3，占道、压线和变道判断等违章信息的判断

跟据步骤2中得到前车车辆位置、车型信息，车道线位置、车道线类型等信息，判断前车是否占道(占用公交车专用车道)、压线(压实线)和变道。

优选的，占道、压线和变道判断等违章信息的判断，具体为：

判断前车是否占用公交车专用车道，具体步骤为：

(1)根据所述车道线类型信息，判断是否存在公交专用车道线，若存在，进入下一步，若否，则流程结束

(2)根据所述车辆类型信息，判断其前车是否为豁免车型，若是，结束流程，若否，进入下一步，所述豁免车辆为公交、警车、急救车、消防车等；

(3)根据所述车道线位置和所述前车车辆位置，计算其相对位置，判断该车是否在公交车专用车道上运行，若是，则进入步骤4车牌识别；

判断前车是否存在压实线的违章行为

(1)根据车道线类型信息，判断其是否为实线，若当前路段为实线，则进入下一步，若否，流程结束

(2)根据所述车辆类型信息，判断前车是否为豁免车型，若是，则流程结束，若否，则进入下一步

(3)根据所述车道线位置和所述前车车辆位置，计算车道线和前车的相对位置，若车道线和前车位置发生交叉，则该车存在压线违章的行为，则进入步骤4车牌识别

判断前车是否存在变道的违章行为

根据时段内的车辆位置和车道线信息，计算时段内的车辆和车道线的相对位置，根据历史车辆及车道线相对位置信息，可判断车辆是否存在变道行为。

具体步骤为：

(1)根据车道线类型信息，判断其是否为实线，若历史时间段内车道线为实线，则进入下一步，若否，则流程结束

(2)根据所述车辆类型信息，判断前车是否为豁免车型，若是，则流程结束，若否，则进入下一步

(3)根据所述车道线位置和所述前车车辆位置，计算车道线和前车的相对位置，若车道线和前车的相对位置发生变化，则记录为实线变道行为，进入步骤4车牌识别。

步骤4，车牌识别：

对存在违章行为的车辆，提取出所述车牌位置信息，通过车牌识别技术，采用简单分类网络，识别车牌上的文字信息,并进行违章行为记录和/或上报；

优选的，所述车牌识别，具体步骤如下：

根据车牌位置信息，从实时图像中分割出车辆车牌，得到车辆的车牌原始图片；

对于车牌原始图片中的字符分割，利用投影法和/或连通域法，将字符进行有效分割，得到车牌中每一个字符的独立的字符原始图片，并按照从上到下，从左到右记录字符的序列，对于左边第一个字符原始图片采用中文字符分类网络进行分类，其他字符原始图片采用数字字母分类网络进行识别，对于识别出的字符信息，按照顺序组合后，得到车牌号。

所述中文字符分类网络使用我国各省车牌图片上截取的汉字图片进行分类训练；所述数字字母分类网络使用从车牌上截取的0-9，A-Z字符进行训练。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述一种基于图像识别的公交前车违章行为自动抓拍方法的步骤，所述的存储介质，如：ROM/RAM、磁碟、光盘等。

第二方面，本公开实施例提供了一种基于图像识别的公交前车违章行为自动抓拍系统，基于相同的技术构思，图2示例性的示出了本发明的实施例提供的一种基于图像识别的公交前车违章行为自动抓拍系统原理图，该系统可以执行一种基于图像识别的公交前车违章行为自动抓拍方法的流程。

该系统包括获取模块、车载终端、服务器，以上3个部件依次电连接，所述车载终端内部依次包括检测模块、判断模块、识别模块、通信模块，上述4模块依次电连接；

所述获取模块，用于执行任一项所述的一种基于图像识别的公交前车违章行为自动抓拍方法的步骤1的步骤；所述获取模块，为公交车安装的用于拍摄正前方实时图像的摄像头；摄像头可以安装在公交车操作台上，正对路面，也可以安装在公交车正前方车头上方。本摄像头不需要进行专业标定，也不需要获取内部参数，只需要确保摄像头正常成像，且画面水平即可。摄像头与车载终端通过数据线电连接，安装时可以通过终端预览，调整成像画面，且确保摄像头正常工作，摄像头实时的将拍摄到的车辆正前方的图片传给终端，摄像头采集到的图像为彩色图像；

所述检测模块，用于执行任一项所述的一种基于图像识别的公交前车违章行为自动抓拍方法的步骤2的步骤；为解决依赖数据库进行车型识别的问题，针对原本需要依赖数据库的识别项目进行优化，设计出检测模块，自动检测车辆信息及车道信息，从而自动作出违章判定，减少了数据库交互带来的计算成本，减少了建设及维护数据库需要的人力物力成本，并提升了该技术方案的泛用性。

所述判断模块，用于执行任一项所述的一种基于图像识别的公交前车违章行为自动抓拍方法的步骤3的步骤；

所述识别模块，用于执行任一项所述的一种基于图像识别的公交前车违章行为自动抓拍方法的步骤4的步骤，并将识别到的结果传输到服务器

为解决网络部署问题，将检测模块、判断模块、识别模块移到车载终端内，消除了因网络不稳定问题，车载终端内有通信模块，定时将识别模块识别到的信息上传到服务器，上传的数据内容根据需求可以定制，只将违章信息及证据进行上传，从而节约数据传输成本，提高数据传输效率。

需要说明的是，上述实施例提供的基于图像识别的公交前车违章行为自动抓拍系统在执行基于图像识别的公交前车违章行为自动抓拍方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外上述实施例提供的基于图像识别的公交前车违章行为自动抓拍系统与基于图像识别的公交前车违章行为自动抓拍方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

以上结合附图对本发明进行了示例性描述，显然，本发明具体实现并不受上述方式的限制，凡是采用了本发明的方法构思和技术方案进行的各种非实质性的改进；或者未经改进、等同替换，将本发明的上述构思和技术方案直接应用于其他场合的，均在本发明的保护范围之内。

Claims (10)

1.一种基于图像识别的公交前车违章行为自动抓拍方法，其特征在于，所述方法包括如下步骤：

步骤1，获取公交车拍摄到的公交车正前方的实时图像

步骤2，对所述实时图像进行车道线检测和车辆检测

通过车道线检测得到车道线位置信息和车道线类型，通过车辆检测得到前车车辆位置、车牌位置，及车型信息，并把车道线信息和车辆信息进行同步；

步骤3，占道、压线和变道等违章行为的判断

跟据步骤2中得到前车车辆位置、车型信息，车道线位置、车道线类型信息，判断前车是否存在占道、压线和变道的违章行为；

步骤4，车牌识别

对存在违章行为的车辆，提取出所述车牌位置信息，通过车牌识别技术，采用简单分类网络，识别车牌上的文字信息，并进行违章行为记录和/或上报。

2.根据权利要求1所述的一种基于图像识别的公交前车违章行为自动抓拍方法，其特征在于，步骤2中的所述车道线检测，具体步骤如下：

(1)对所述实时图像进行图像增强

(2)对图像增强后的图像进行图像二值化处理，得到二值化图像

(3)提取车道线边缘点

(4)车道线拟合

(5)车道线分类。

3.根据权利要求2所述的一种基于图像识别的公交前车违章行为自动抓拍方法，其特征在于，步骤2中的所述车道线检测，详细流程如下：

(1)对所述实时图像进行图像增强

将原图转换为灰度图，然后采用基于一阶微分的边缘检测的sobel算法对图像进行边缘增强；

(2)对图像增强后的图像进行图像二值化处理，得到二值化图像

设置阈值进行图像二值化处理，将高于该阈值的像素部分置为最高灰度级，将低于该阈值的像素部分置为最低灰度级，图像二值化算法采用自适应二值化方法，优选的，所述阈值的确定采用基于图像直方图的大津算法；

(3)提取车道线边缘点

在所述二值化图像中把车道线边缘部分凸显出来，根据车道线特征规律筛选出车道线边缘点；所述车道线特征规律为：在二值化图像中，车道线外侧二值化图像灰度值接近于0，而车道线内侧灰度值接近于255，并且车道线内侧的横向距离具有等距性；

(4)车道线拟合

车道线拟合即采用拟合技术对所述车道线边缘点进行拟合，得到车道线位置信息，所述拟合技术采用两级hough变换技术，即首先采用第一级hough变换粗定位车道线极坐标位置，然后采用精定位技术精确定位车道线位置信息；

(5)车道线分类

根据拟合出的车道线位置信息，从原始图像中提取出实际的车道线图像，传入到车道线分类器内，得到具体的车道线类型，车道线类型包括实白线，实黄线，公交专用车道线，虚线，非车道线等；所述车道线分类器使用经过训练的卷积神经网络，即使用shufflenetV2_0.5网络作为backbone网络，提取网络的前两个stage特征作为预训练特征，用实时采集到的车道线数据进行训练。

4.根据权利要求1所述的一种基于图像识别的公交前车违章行为自动抓拍方法，其特征在于，步骤2中的所述车辆检测，具体方法如下：

(1)对所述实时图像进行图像增强，包括灰度直方图均衡，滤波去噪，伽马校正锐化图像；

(2)车辆检测：基于MTCNN人脸检测网络和shufflenetV2物体分类网络,设计出MTCNN+shuffle车辆检测分类网络，车辆检测分类网络的输入为任意大小的图像，车辆检测分类网络的输出为前车车辆位置、车牌位置，及车型信息；

(3)车辆跟踪：对于已经检出的车辆，使用MTCNN-Shuffle网络的前半部分进行跟踪，持续更新其车辆位置和车牌位置。

5.根据权利要求4所述的一种基于图像识别的公交前车违章行为自动抓拍方法，其特征在于，所述对所述实时图像进行图像增强之前还包括图像分割：

对实时图像进行分割，截取前车车辆所在实时图像中的可能存在的区域，作为有效的车辆检测区域。

6.根据权利要求5所述的一种基于图像识别的公交前车违章行为自动抓拍方法，其特征在于，所述截取前车车辆所在实时图像中的可能存在的区域，具体为：根据图像中车道线的交点位置确定地平线位置，再根据地平线位置在图片中向上平移一定比例后作为分割线。

7.根据权利要求1-6任一项所述的一种基于图像识别的公交前车违章行为自动抓拍方法，其特征在于，步骤2中的所述把车道线信息和车辆信息进行同步，具体方法如下：以车辆检测和车辆跟踪使用的图像时间戳为基准，即基于同一帧图像，找到其对应的车道线检测信息，进行信息同步。

8.根据权利要求1-6任一项所述的一种基于图像识别的公交前车违章行为自动抓拍方法，其特征在于，步骤3中所述判断前车是否存在占道、压线和变道的违章行为，具体方法为：

判断前车是否占用公交车专用车道，具体步骤为：

(1)根据所述车道线类型信息，判断是否存在公交专用车道线，若存在，进入下一步，若否，则流程结束

(2)根据所述车辆类型信息，判断其前车是否为豁免车型，若是，结束流程，若否，进入下一步，所述豁免车辆为公交、警车、急救车、消防车等；

(3)根据所述车道线位置和所述前车车辆位置，计算其相对位置，判断该车是否在公交车专用车道上运行，若是，则进入步骤4车牌识别；

判断前车是否存在压实线的违章行为，具体步骤为：

(1)根据车道线类型信息，判断其是否为实线，若当前路段为实线，则进入下一步，若否，流程结束

(2)根据所述车辆类型信息，判断前车是否为豁免车型，若是，则流程结束，若否，则进入下一步

(3)根据所述车道线位置和所述前车车辆位置，计算车道线和前车的相对位置，若车道线和前车位置发生交叉，则该车存在压线违章的行为，则进入步骤4车牌识别

判断前车是否存在变道的违章行为，具体步骤为：

(1)根据车道线类型信息，判断其是否为实线，若历史时间段内车道线为实线，则进入下一步，若否，则流程结束

(2)根据所述车辆类型信息，判断前车是否为豁免车型，若是，则流程结束，若否，则进入下一步

(3)根据所述车道线位置和所述前车车辆位置，计算车道线和前车的相对位置，若车道线和前车的相对位置发生变化，则记录为实线变道行为，进入步骤4车牌识别。

9.根据权利要求1-6任一项所述的一种基于图像识别的公交前车违章行为自动抓拍方法，其特征在于，步骤4中所述车牌识别，具体步骤如下：

对存在违章行为的车辆，根据车牌位置信息，从实时图像中分割出车辆车牌，得到车辆的车牌原始图片；对于车牌原始图片中的字符分割，利用投影法和/或连通域法，将字符进行有效分割，得到车牌中每一个字符的独立的字符原始图片，并按照从上到下，从左到右记录字符的序列，对于左边第一个字符原始图片采用中文字符分类网络进行分类，其他字符原始图片采用数字字母分类网络进行识别，对于识别出的字符信息，按照顺序组合后，得到车牌号，并进行违章行为记录和/或上报。

10.一种基于图像识别的公交前车违章行为自动抓拍系统，其特征在于，该系统包括获取模块、车载终端、服务器，以上3个部件依次电连接，所述车载终端内部依次包括检测模块、判断模块、识别模块、通信模块，上述4模块依次电连接；

所述获取模块，为公交车安装的用于拍摄正前方实时图像的摄像头，用于执行权利要求1-9任一项所述的一种基于图像识别的公交前车违章行为自动抓拍方法的步骤1的步骤；

所述检测模块，用于执行权利要求1-9任一项所述的一种基于图像识别的公交前车违章行为自动抓拍方法的步骤2的步骤；

所述判断模块，用于执行权利要求1-9任一项所述的一种基于图像识别的公交前车违章行为自动抓拍方法的步骤3的步骤；

所述识别模块，用于执行权利要求1-9任一项所述的一种基于图像识别的公交前车违章行为自动抓拍方法的步骤4的步骤。

Images