CN106530730A - 交通违规检测方法及系统 - Google Patents

Abstract

本发明提供一种交通违规检测方法及系统，该方法包括：采用深度学习网络建立基于交通违规的识别模型；其中，所述识别模型包括吸烟识别模型、未绑安全带识别模型与打电话识别模型；获取车辆行驶过程中抓取的驾驶室内的图像；检测图像中的驾驶员是否存在交通违规；当检测到驾驶员存在交通违规时，获取驾驶员所开车辆的位置信息与车牌号，将所述车辆对应的图像、车牌号与位置信息发送交警平台。从根本上解决了交通违规检测方式单一，无法检测到车辆内部状态，规范了驾驶员行为且起到了警示作用，同时，减少了人工成本，提高了交通违规检测的智能度，有效地减少了不良操作引起的交通事故。

Description

交通违规检测方法及系统

技术领域

本发明涉及图像识别技术领域，特别是涉及一种交通违规检测方法及系统。

背景技术

随着我国经济的发展，汽车保有量大大增加，交通事故也越来越频繁的发生。而多数交通事故是由于交通肇事造成的，尤其是闯红灯、违规变道、逆行等严重违规行为。危害人民的生命财产安全，使国家蒙受不必要的重大经济损失。因此对这些行为的监控有着重大的实际意义。

我国当前对这些交通违规行为的检测采用的是感应线圈技术，即在交通路口埋设感应线圈，通过感应线圈触发照相拍摄。这种系统有以下几个缺陷；一个是需要开挖道路埋设线圈，故障率高，需要定期开挖路面翻修；一个是线圈本身的寿命问题，一个是对逆行无法监控；一个是由于交通不可变道实线往往很长，距离路口长达30米，对违规实线变道控制埋设线圈的成本非常高。

然而，另外一种方法是通过视频对交通违规进行监测，既监测设备一端接入红绿灯信号，另一端接入摄像头。但该类技术有个缺陷，现有的交通违规检测系统只能对车辆的具体行为违规做出判断，却无法对驾驶室内驾驶员具体行为进行判断，往往驾驶员存在一些违规的驾驶习惯，如打手机、未绑安全带以及吸烟等场景进行识别，从而无法确认驾驶员是否交通违法，扩大了驾驶员的危险系数。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种交通违规检测方法及系统，用于解决现有技术中交通违规检测无法识别驾驶员在车内是否交通违规的问题。

为实现上述目的及其他相关目的，本发明提供一种交通违规检测方法，包括：

采用深度学习网络建立基于交通违规的识别模型；其中，所述识别模型包括吸烟识别模型、未绑安全带识别模型与打电话识别模型；

获取车辆行驶过程中抓取的驾驶室内的图像；

检测图像中的驾驶员是否存在交通违规；

当检测到驾驶员存在交通违规时，获取驾驶员所开车辆的位置信息与车牌号，将所述车辆对应的图像、车牌号与位置信息发送交警平台。

本发明的另一目的在于提供一种交通违规检测系统，包括：

识别模型，用于采用深度学习网络建立基于交通违规的识别模型；其中，所述识别模型包括吸烟识别模型、未绑安全带识别模型与打电话识别模型；

获取模块，用于获取车辆行驶过程中抓取的驾驶室内的图像；

检测模块，用于检测图像中的驾驶员是否存在交通违规；

违规模块，用于当检测到驾驶员存在交通违规时，获取驾驶员所开车辆的位置信息与车牌号，将所述车辆对应的图像、车牌号与位置信息发送交警平台。

如上所述，本发明的交通违规检测方法及系统，具有以下有益效果：

本发明以深度学习网络为基础，将预处理的图像按照其违反的交通规则类型标注，按标准训练图像分别得到吸烟识别模型、未绑安全带识别模型与打电话识别模型；当驾驶员在驾驶途中，摄像头通过在路上设置监控点，采集包含驾驶员行为动作的图像；依次调用识别模型检测所述图像中驾驶员是否存在交通违规，根据交通违规的时间将其对应的图像、位置信息以及车辆车牌号均发给交警平台。从根本上解决了交通违规检测方式单一，无法检测到车辆内部状态，规范了驾驶员行为且起到了警示作用，同时，减少了人工成本，提高了交通违规检测的智能度，有效地减少了不良操作引起的交通事故。

附图说明

图1显示为本发明提供一种的交通违规检测方法流程图；

图2显示为本发明提供一种的交通违规检测方法流程中步骤S1的详细流程图；

图3显示为本发明提供一种的交通违规检测方法流程中步骤S12的详细流程图；

图4显示为本发明提供一种的交通违规检测方法流程中步骤S3的详细流程图；

图5显示为本发明提供一种的交通违规检测系统结构框图；

图6显示为本发明提供一种的交通违规检测系统结构中识别模型1的结构框图；

图7显示为本发明提供一种的交通违规检测系统结构中识别单元12的结构框图；

图8显示为本发明提供一种的交通违规检测系统结构中检测模块3的结构框图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

请参阅图1，为本发明提供一种的交通违规检测方法流程图，包括：

步骤S1，采用深度学习网络建立基于交通违规的识别模型；其中，所述识别模型包括吸烟识别模型、未绑安全带识别模型与打电话识别模型；

其中，所述吸烟识别模型用于识别图像中驾驶员是否在吸烟；所述未绑定安全带识别模型用于识别图像中驾驶员是否绑定安全带；所述打电话识别模型用于识别图像中驾驶员是否在打电话。

步骤S2，获取车辆行驶过程中抓取的驾驶室内的图像；

其中，通过摄像头拍摄车辆在行驶途中图片/相片/图像，将所述摄像头拍摄的图片/相片/图像进行预处理，生成统一大小、规格的图像。

步骤S3，检测图像中的驾驶员是否存在交通违规；

其中，主要是预检测的图像输入至提前训练的吸烟识别模型、未绑安全带识别模型与打电话识别模型，检测驾驶员是否有交通违规；当驾驶员没有违规操作时，则不操作；当驾驶员出现违规操作继续执行步骤S4。

步骤S4，当检测到驾驶员存在交通违规时，获取驾驶员所开车辆的位置信息与车牌号，将所述车辆对应的图像、车牌号与位置信息发送交警平台。

具体地，当检测到驾驶员存在交通违规时，显示该交通违规对应的类型，且通过车辆图像获取到该车辆的车牌号以及根据拍摄该照片的摄像机确定车辆的位置信息，将驾驶员违规的图像、车辆的车牌号与位置信息发送至交警平台。

在本实施例，通过替换到人工检查驾驶室内的驾驶员在开车时，是否有出现一些不良驾驶习惯，如：开车不系安全带、开车抽烟或开车打电话等现象；严打了上述不良习惯，规范了驾驶员的开车习惯，提升了驾驶安全，同时，交通违规检测方式无需人工协助，提高了整个流程的智能化程度。

请参阅图2，为本发明提供一种的交通违规检测方法流程中步骤S1的详细流程图，包括：

步骤S11，采集驾驶室包含吸烟、未绑安全带、打电话中任意一种或几种的交通违规的图像；

具体地，图像的格式无限制，另外，将所述图像进行预处理得到预设规格的图像，将所述图像按照预设规格对其进行标记(标定)划分成不同类型的违反交通规则的图像，而且这些图像组成训练集。

步骤S12，按交通违规的类型标记所述图像，以深度学习平台为基础采用深度学习网络结构训练所述图像，分别得到吸烟识别模型、未绑安全带识别模型以及打电话识别模型，其中，所述深度学习平台包含Caffe、Cntk或Mxnet；所述深度学习网络结构包含Googlenet或Vgg。

具体地，所述深度学习平台与深度学习网络结构可任意组合，Googlenet结构相对于VGG而言，拥有较好的深度与宽度，在深度方面googlenet在不同深度处增加了两个loss来保证梯度回传消失的现象，避免了梯度消失的问题；在宽度方面，增加了多种核且还增加max pooling，降低了特征的厚度。

在本实施例中，吸烟识别模型首先在标定照片中具体特征时，首先，会选中驾驶员的嘴部特征与手上的烟特征；同理，未绑安全带识别模型会标定驾驶员胸前的安全带；打电话识别模型会标定驾驶员耳朵与电话特征。

具体地，优选采用CNN(卷积神经网络)，卷积神经网络的优点是利用了生物学中的局部感受视野的做法，同时，通过较少的参数和权值共享来实现，在识别过程中，首先是基于训练集的收集(即是采集的各种图像，并人为的对违章图像进行分类，比如打电话的图像为0，未系安全带的图像为1，抽烟的图像为2…),其次，采用googlenet和vgg以及resnet的网络模型进行网络构建，其输入通常为其上一层为卷积层的输出端，接着为pooling层，类似处理，最后一层界loss层，在loss层中，可以采用softmax，也可以采用triplet实现。如果采集的数据较少，设置网络结构在30至50层，如果采集数据较多，则采用100层以上的网络。最后，利用网络，选择合适的训练平台(caffe，cntk..)等实现训练，保存各个阶段生成的训练模型，并且对各个模型进行性能评估，在评估模型的选择上可以采用PLDA等方式得到一个性能最好的模型。

深度学习平台能够智能的学习到网络中的各个参数，并且适合于在海量数据中的运用场景，如果数据越多，网络越深，那么识别的结果将非常准确，这一点来自于神经网络的表现的稳定性，同时，它能够较好的反应出各个目标对象的特征。

请参阅图3，为本发明提供一种的交通违规检测方法流程中步骤S12的详细流程图，包括：

步骤S121，调用Caffe平台以Googlenet为结构，标记吸烟或打电话的图像时，分别计算烟与嘴的关键点距离、电话与耳朵的关键点距离，分别训练得到打电话识别模型与吸烟识别模型；

步骤S122，调用Caffe平台以Googlenet为结构，根据标记的未绑安全带图像检测驾驶员胸前是否有安全带，训练得到未绑安全带识别模型。

在本实施例中，均是在Caffe平台内以Googlenet为结构，对训练集内的图像进行预处理与训练，得到吸烟识别模型、未绑安全带识别模型以及打电话识别模型，专门对图像中驾驶员的行为动作进行识别分析，以确定其是否违反交通规则，提高了交通违规检测的智能化水平。

请参阅图4，为本发明提供一种的交通违规检测方法流程中步骤S3的详细流程图，包括：

步骤S401，依次采用吸烟识别模型、未绑安全带识别模型与打电话识别模型分别对待检测的图像；

具体地，所述图像输入至吸烟识别模型、未绑安全带识别模型或打电话识别模型没有任何先后顺序，图像均会被输入至各个识别模型。

步骤S402，当采用吸烟识别模型识别待检测的图像，计算所述图像中烟与嘴的关键点距离，当检测到烟与嘴的关键点距离低于预设第一距离时，则确定驾驶员开车时在吸烟；

具体地，计算图像中驾驶员手部上的烟与嘴之间的关键点距离，其中，烟与嘴之间中心位置的关键点坐标分别为(x₁,y₁)与(x₂,y₂)，其对应的关键点距离为：

当计算到对应烟与嘴之间的关键点距离低于第一距离时，可确定用户开车时在进行抽烟，其中，第一距离可为20～50cm等。

步骤S403，当采用打电话识别模型识别待检测的图像，计算所述图像中电话与耳朵中心位置的关键点距离，当检测到电话与耳朵的关键点距离低于预设第二距离时，则确定驾驶员开车时在打电话；

具体地，计算图像中驾驶员手中电话与耳朵之间的关键点你距离，按照上述公式即可计算得到，当其对应的关键点距离低于预设第二距离时，则确定驾驶员开车时在打电话，其中，第二距离优选为5cm等。

步骤S404，当采用未绑安全带识别模型识别待检测的图像，检测所述图像中驾驶员胸前是否存在安全带，当检测到驾驶员胸前无安全带时，则确定驾驶员开车时未绑安全带。

具体地，检测出图像中驾驶员的胸前是否有安全带特征，通过安全带特征有无确定驾驶员是否绑定安全带。

在本实施例中，通过将采集的图像均输入到吸烟识别模型、未绑安全带识别模型或打电话识别模型，对应检测出驾驶员开车时是否有吸烟、未绑安全带、打电话等危险性交通违规动作，可远距离检测驾驶员的行为规范，提高了交通违规检测的智能化程度与检测手段。

请参阅图5，为本发明提供一种的交通违规检测系统结构框图，包括：

识别模型1，用于采用深度学习网络建立基于交通违规的识别模型；其中，所述识别模型包括吸烟识别模型、未绑安全带识别模型与打电话识别模型；

获取模块2，用于获取车辆行驶过程中抓取的驾驶室内的图像；

检测模块3，用于检测图像中的驾驶员是否存在交通违规；

违规模块4，用于当检测到驾驶员存在交通违规时，获取驾驶员所开车辆的位置信息与车牌号，将所述车辆对应的图像、车牌号与位置信息发送交警平台。

具体地，当检测到驾驶员存在交通违规时，显示该交通违规对应的类型，且通过车辆图像获取到该车辆的车牌号以及根据拍摄该照片的摄像机确定车辆的位置信息，将驾驶员违规的图像、车辆的车牌号与位置信息发送至交警平台。

请参阅图6，为本发明提供一种的交通违规检测系统结构中识别模型1的结构框图，包括：

采集单元11，用于采集驾驶室包含吸烟、未绑安全带、打电话中任意一种或几种的交通违规的图像；

识别单元12，用于按交通违规的类型标记所述图像，以深度学习平台为基础采用深度学习网络结构训练所述图像，分别得到吸烟识别模型、未绑安全带识别模型以及打电话识别模型，其中，所述深度学习平台包含Caffe、Cntk或Mxnet；所述深度学习网络结构包含Googlenet或Vgg。

请参阅图7，为本发明提供一种的交通违规检测系统结构中识别单元12的结构框图，包括：

第一识别子单元121，用于调用Caffe平台以Googlenet为结构，标记吸烟或打电话的图像时，分别计算烟与嘴的关键点距离、电话与耳朵的关键点距离，分别训练得到打电话识别模型与吸烟识别模型；

第二识别子单元122，用于调用Caffe平台以Googlenet为结构，根据标记的未绑安全带图像检测驾驶员胸前是否有安全带，训练得到未绑安全带识别模型。

请参阅图8，为本发明提供一种的交通违规检测系统结构中检测模块3的结构框图，包括：

调用单元31，用于依次采用吸烟识别模型、未绑安全带识别模型与打电话识别模型分别对待检测的图像；

第一检测单32，用于当采用吸烟识别模型识别待检测的图像，计算所述图像中烟与嘴的关键点距离，当检测到烟与嘴的关键点距离低于预设第一距离时，则确定驾驶员开车时在吸烟；

第二检测单元33，用于当采用打电话识别模型识别待检测的图像，计算所述图像中电话与耳朵的关键点距离，当检测到电话与耳朵的关键点距离低于预设第二距离时，则确定驾驶员开车时在打电话；

第三检测单元34，用于当采用未绑安全带识别模型识别待检测的图像，检测所述图像中驾驶员胸前是否存在安全带，当检测到驾驶员胸前无安全带时，则确定驾驶员开车时未绑安全带。

综上所述，本发明以深度学习网络为基础，将预处理的图像按照其违反的交通规则类型标注，按标准训练图像分别得到吸烟识别模型、未绑安全带识别模型与打电话识别模型；当驾驶员在驾驶途中，摄像头通过在路上设置监控点，采集包含驾驶员行为动作的图像；依次调用识别模型检测所述图像中驾驶员是否存在交通违规，根据交通违规的时间将其对应的图像、位置信息以及车辆车牌号均发给交警平台。从根本上解决了交通违规检测方式单一，无法检测到车辆内部状态，规范了驾驶员行为且起到了警示作用，同时，减少了人工成本，提高了交通违规检测的智能度，有效地减少了不良操作引起的交通事故。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种交通违规检测方法，其特征在于，包括：

采用深度学习网络建立基于交通违规的识别模型；其中，所述识别模型包括吸烟识别模型、未绑安全带识别模型与打电话识别模型；

获取车辆行驶过程中抓取的驾驶室内的图像；

检测图像中的驾驶员是否存在交通违规；

当检测到驾驶员存在交通违规时，获取驾驶员所开车辆的位置信息与车牌号，将所述车辆对应的图像、车牌号与位置信息发送交警平台。

2.根据权利要求1所述的交通违规检测方法，其特征在于，所述采用深度学习网络建立基于交通违规的识别模型的步骤，包括：

采集驾驶室包含吸烟、未绑安全带、打电话中任意一种或几种的交通违规的图像；

按交通违规的类型标记所述图像，以深度学习平台为基础采用深度学习网络结构训练所述图像，分别得到吸烟识别模型、未绑安全带识别模型以及打电话识别模型，其中，所述深度学习平台包含Caffe、Cntk或Mxnet；所述深度学习网络结构包含Googlenet或Vgg。

3.根据权利要求2所述的交通违规检测方法，其特征在于，所述按交通违规的类型标记所述图像，以深度学习平台为基础采用深度学习网络结构训练所述图像，分别得到吸烟识别模型、未绑安全带识别模型以及打电话识别模型的步骤，包括：

调用Caffe平台以Googlenet为结构，标记吸烟或打电话的图像时，分别计算烟与嘴的关键点距离、电话与耳朵的关键点距离，分别训练得到打电话识别模型与吸烟识别模型；

调用Caffe平台以Googlenet为结构，根据标记的未绑安全带图像检测驾驶员胸前是否有安全带，训练得到未绑安全带识别模型。

4.根据权利要求1所述的交通违规检测方法，其特征在于，所述检测图像中驾驶员是否存在交通违规的步骤，包括：

依次采用吸烟识别模型、未绑安全带识别模型与打电话识别模型分别对待检测的图像；

当采用吸烟识别模型识别待检测的图像，计算所述图像中烟与嘴的关键点距离，当检测到烟与嘴的关键点距离低于预设第一距离时，则确定驾驶员开车时在吸烟；

当采用打电话识别模型识别待检测的图像，计算所述图像中电话与耳朵的关键点距离，当检测到电话与耳朵的关键点距离低于预设第二距离时，则确定驾驶员开车时在打电话；

当采用未绑安全带识别模型识别待检测的图像，检测驾驶员胸前是否存在安全带，当检测到驾驶员胸前无安全带时，则确定驾驶员开车时未绑安全带。

5.根据权利要求1所述的交通违规检测方法，其特征在于，所述当检测到驾驶员存在交通违规时，获取驾驶员所开车辆的位置信息与车牌号，将所述车辆对应的图像、车牌号与位置信息发送交警平台的步骤，包括：

当检测到驾驶员存在交通违规时，显示该交通违规对应的类型，且通过车辆图像获取到该车辆的车牌号以及根据拍摄该照片的摄像机确定车辆的位置信息，将驾驶员违规的图像、车辆的车牌号与位置信息发送至交警平台。

6.一种交通违规检测系统，其特征在于，包括：

识别模型，用于采用深度学习网络建立基于交通违规的识别模型；其中，所述识别模型包括吸烟识别模型、未绑安全带识别模型与打电话识别模型；

获取模块，用于获取车辆行驶过程中抓取的驾驶室内的图像；

检测模块，用于检测图像中的驾驶员是否存在交通违规；

违规模块，用于当检测到驾驶员存在交通违规时，获取驾驶员所开车辆的位置信息与车牌号，将所述车辆对应的图像、车牌号与位置信息发送交警平台。

7.根据权利要求6所述的交通违规检测系统，其特征在于，所述识别模型具体包括：

采集单元，用于采集驾驶室包含吸烟、未绑安全带、打电话中任意一种或几种的交通违规的图像；

识别单元，用于按交通违规的类型标记所述图像，以深度学习平台为基础采用深度学习网络结构训练所述图像，分别得到吸烟识别模型、未绑安全带识别模型以及打电话识别模型，其中，所述深度学习平台包含Caffe、Cntk或Mxnet；所述深度学习网络结构包含Googlenet或Vgg。

8.根据权利要求7所述的交通违规检测系统，其特征在于，所述识别单元包括：

第一识别子单元，用于调用Caffe平台以Googlenet为结构，标记吸烟或打电话的图像时，分别计算烟与嘴的关键点距离、电话与耳朵的关键点距离，分别训练得到打电话识别模型与吸烟识别模型；

第二识别子单元，用于调用Caffe平台以Googlenet为结构，根据标记的未绑安全带图像检测驾驶员胸前是否有安全带，训练得到未绑安全带识别模型。

9.根据权利要求6所述的交通违规检测系统，其特征在于，所述检测模块具体包括：

调用单元，用于依次采用吸烟识别模型、未绑安全带识别模型与打电话识别模型分别对待检测的图像；

第一检测单元，用于当采用吸烟识别模型识别待检测的图像，计算所述图像中烟与嘴的关键点距离，当检测到烟与嘴的关键点距离低于预设第一距离时，则确定驾驶员开车时在吸烟；

第二检测单元，用于当采用打电话识别模型识别待检测的图像，计算所述图像中电话与耳朵的关键点距离，当检测到电话与耳朵的关键点距离低于预设第二距离时，则确定驾驶员开车时在打电话；

第三检测单元，用于当采用未绑安全带识别模型识别待检测的图像，检测所述图像中驾驶员胸前是否存在安全带，当检测到驾驶员胸前无安全带时，则确定驾驶员开车时未绑安全带。

10.根据权利要求6所述的交通违规检测系统，其特征在于，所述违规模块具体包括：

当检测到驾驶员存在交通违规时，显示该交通违规对应的类型，且通过车辆图像获取到该车辆的车牌号以及根据拍摄该照片的摄像机确定车辆的位置信息，将驾驶员违规的图像、车辆的车牌号与位置信息发送至交警平台。