CN113516049A - 基于深度学习的安全带检测方法及装置 - Google Patents

Abstract

本发明涉及一种基于深度学习的安全带检测方法及装置，所述方法包括获取车辆图像；采用预设分割阈值对车辆图像进行分割处理，得到车辆粗定位图像；对车辆粗定位图像再次分割处理，得到驾驶员区域图像；将处理后的驾驶员区域图像输入预训练的分类网络中，分类网络对的处理后的驾驶员区域图像进行处理，输出是否系安全带驾驶员行为的分类结果。本发明通过对车辆图像处理，进行一次粗定位和一次细定位确定车窗位置，从而确定驾驶员区域，再对驾驶员区域进行分类处理，输出是否系安全带的分类结果，提高了安全带检测的正确率和鲁棒性，并且很大程度上减低了误报率和漏检率。

Description

基于深度学习的安全带检测方法及装置

技术领域

本发明属于安全驾驶技术领域，具体涉及一种基于深度学习的安全带检测方法及装置。

背景技术

近年来，随着国内汽车的不断增加，事故的案发量也与日俱增，据统计，当辆车相撞时，驾驶员不系安全带的死亡率为75％，而系安全带的生还率为95％。然而我国安全带佩戴率普遍较低，主要原因是成员安全意识不强，存在多种躲避安全到提示的不规范行为，比如：驾驶员上车前预先将安全带佩戴好，然后上车后直接坐在已经佩戴好安全带的座椅上，而不是将安全带正确佩戴在胸前；或者使用单独的带扣，导致车辆自带的安全带提示系统失效。因此，研究机动车内驾驶人员是否佩戴安全带的检测方法，对于提高驾驶员的遵守交通法规的意识和保障乘车人员人身安全具有十分重要的意义。

相关技术中，现有的安全带检测方法可分为两类：一是基于图像处理的传统方法，该方法包括驾驶区域定位模块和安全带检测模块，首先将一张图像进行预处理，即光纤补偿和图像去噪，然后将边缘检测和霍夫直线变化相结合，通过检测车窗边缘以进一步缩小安全带检测区域，再通过车辆、车窗和驾驶员的位置关系，以及检测安全带的两条长直线边缘，最终实现对安全带的检测。但是该方法受车身颜色、光照条件和拍摄角度的影响较大，缺乏鲁棒性，而且对图像的质量要求较高，因此较难推广。二是基于Adaboost的安全带检测系统，该方法通过Haar特征提取和模拟训练，先后对车窗部件、驾驶员部件和安全带部件训练不同的弱分类器，定位各部件的候选区域，然后用加权级联的方法把所有的弱分类器变成一个强分类器，最后经过高斯混合模型的后处理得到安全带的精确检测结果。虽然该方法与传统方法相比，检测精度和鲁棒性有了一定提升，但是其检测精度还达不到可推广应用的地步，对图像质量的要求仍较高，安全带检测的误报也较多。

因此，现有技术中检测安全带的方法存在鲁棒性低，误报率较高，准确率较低等不足的问题。

发明内容

有鉴于此，本发明的目的在于克服现有技术的不足，提供一种基于深度学习的安全带检测方法及装置，以解决现有技术中检测安全带的方法存在鲁棒性低，误报率较高，准确率较低等不足的问题。

为实现以上目的，本发明采用如下技术方案：一种基于深度学习的安全带检测方法，包括：

获取车辆图像；

采用预设分割阈值对所述车辆图像进行分割处理，得到车辆粗定位图像；对所述车辆粗定位图像再次分割处理，得到驾驶员区域图像；

将处理后的驾驶员区域图像输入预训练的分类网络中，所述分类网络对的所述处理后的驾驶员区域图像进行处理，输出是否系安全带驾驶员行为的分类结果。

进一步的，所述采用预设分割阈值对所述车辆图像进行分割处理，得到车辆粗定位图像，包括：

采用预设分割阈值对所述车辆图像的车窗位置进行粗定位标记，得到标记图像；

将所述标记图像进行灰度化处理，利用积分投影计算所述标记图像的灰度变化，得到积分计算结果；

利用边缘检测和积分计算结果定位车窗位置，根据车窗位置对所述标记图像进行分割处理，得到车辆粗定位图像。

进一步的，所述对所述车辆粗定位图像再次分割处理，得到驾驶员区域图像，包括：

通过OpenCV以图像长度的中点为分割点对所述车辆粗定位图进行再次分割成两半，确定驾驶员区域图像。

进一步的，在获取车辆图像之前，还包括：

构建具有多层网络结构的分类网络；所述分类网络是根据是否存在预设驾驶员行为的分类标签训练得到的；

所述分类网络，包括依次连接的第一卷积层、第一下采样层、第二卷积层、第二下采样层、第三卷积层、第四卷积层、第五卷积层、第三下采样层、第一全连接层、第二全连接层以及第三全连接层。

进一步的，所述第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层、第二全连接层均设有ReLU层；所述第一卷积层、第二卷积层还设有Norm层；所述第一全连接层、第二全连接层还设有Drop层。

进一步的，所述将处理后的驾驶员区域图像输入预训练的分类网络中，包括：

将所述驾驶员区域图像调整至预设尺寸，将所述调整为预设尺寸的驾驶员区域图像确定为处理后的驾驶员区域图像；

将所述处理后的驾驶员区域图像输入到预训练的分类网络中。

进一步的，所述输出是否系安全带驾驶员行为的分类结果，包括：

得到驾驶员系安全带的第一概率和驾驶员没系安全带的第二概率；

比较第一概率和第二概率，将第一概率和第二概率中较大的概率输出为分类结果。

进一步的，所述分类网络采用二元分类器进行分类。

进一步的，通过摄像头拍摄获取车辆图像。

本申请实施例提供一种基于深度学习的安全带检测装置，包括：

获取模块，用于获取车辆图像；

分割模块，用于采用预设分割阈值对所述车辆图像进行分割处理，得到车辆粗定位图像；对所述车辆粗定位图像再次分割处理，得到驾驶员区域图像；

输出模块，用于将处理后的驾驶员区域图像输入预训练的分类网络中，所述分类网络对的所述处理后的驾驶员区域图像进行处理，输出是否系安全带驾驶员行为的分类结果。

本发明采用以上技术方案，能够达到的有益效果包括：

本发明提供一种基于深度学习的安全带检测方法及装置，所述方法包括获取车辆图像；采用预设分割阈值对车辆图像进行分割处理，得到车辆粗定位图像；对车辆粗定位图像再次分割处理，得到驾驶员区域图像；将处理后的驾驶员区域图像输入预训练的分类网络中，分类网络对的处理后的驾驶员区域图像进行处理，输出是否系安全带驾驶员行为的分类结果。本发明通过对车辆图像处理，进行一次粗定位和一次细定位确定车窗位置，从而确定驾驶员区域，再对驾驶员区域进行分类处理，输出是否系安全带的分类结果，提高了安全带检测的正确率和鲁棒性，并且很大程度上减低了误报率和漏检率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于深度学习的安全带检测方法的步骤示意图；

图2为本发明第二次分割图像示意图；

图3为本发明分类网络的计算流程示意图；

图4为本发明基于深度学习的安全带检测装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

下面结合附图介绍本申请实施例中提供的一个具体的基于深度学习的安全带检测方法及装置。

如图1所示，本申请实施例中提供的基于深度学习的安全带检测方法包括：

S101，获取车辆图像；

优选的，通过摄像头拍摄获取车辆图像。

S102，采用预设分割阈值对所述车辆图像进行分割处理，得到车辆粗定位图像；对所述车辆粗定位图像再次分割处理，得到驾驶员区域图像；

本申请中采用两次分割处理，第一次进行粗定位车窗位置，第二次进行细定位确定驾驶员区域。

S103，将处理后的驾驶员区域图像输入预训练的分类网络中，所述分类网络对的所述处理后的驾驶员区域图像进行处理，输出是否系安全带驾驶员行为的分类结果。

分类网络具有多个层，每个层对上一层的输出结果进行处理，最终输出分类结果。

基于深度学习的安全带检测方法的工作原理为：本申请通过摄像头拍摄获取到交通视频帧图像，因为在交通视频帧图像中包含了大量来自于背景和车辆本身的告饶信息，例如道路上的指示线，车辆车头部分的车牌、车灯，车辆本身的边缘信息等。因此为了提高安全带检测的准确率需要对图像进行处理，获得驾驶员所在区域图像。由于大多摄像头所拍摄的是车辆车头部分图像，所以需要对车窗进行定位，车窗定位后即可确定驾驶员区域。因此，本申请中首先对车辆图像进行第一次分割处理，得到对驾驶员区域进行粗定位的车辆粗定位图像，然后对车辆粗定位图像中的车窗位置进行定位并进行第二次分割处理，得到对驾驶员区域进行细定位的驾驶员区域图像。对根据驾驶员区域图像进行处理后输入到预先构建的分类网络中，分类网络中的多层网络对待处理图像依次进行处理，得到最终的是否存在预设驾驶员行为的分类结果，也就是驾驶员系安全带和驾驶员没有系安全带。其中，本申请预先训练分类网络，具体为首先选择明显系安全带和未系安全带的驾驶区域图片作为训练数据对深度神经网络进行训练，得到分类标签是否存在预设驾驶员行为的分类网络，预设驾驶员行为包括是否系安全带，本申请中的深度神经网络采用AlexNet网络。

一些实施例中，所述采用预设分割阈值对所述车辆图像进行分割处理，得到车辆粗定位图像，包括：

采用预设分割阈值对所述车辆图像的车窗位置进行粗定位标记，得到标记图像；

将所述标记图像进行灰度化处理，利用积分投影计算所述标记图像的灰度变化，得到积分计算结果；

利用边缘检测和积分计算结果定位车窗位置，根据车窗位置对所述标记图像进行分割处理，得到车辆粗定位图像。

具体的，本申请预先根据车窗位置与车辆整体具有一定的比例关系来对相关数据进行统计，从而得到经验分割阈值对车辆图像进行粗定位并标记，得到标记图像，从而排除车头部分的干扰信息。然后将所述标记图像进行灰度化处理得到灰度图像，将灰度图像进行全局水平映射，计算标记图像的灰度变化，得到积分计算结果，利用边缘检测确定驾驶员区域，例如利用检测雨刷的位置确定车窗的边缘，然后连通边缘确定具体的车窗位置，从而根据具体的车窗位置对标记图像进行分割处理，得到车辆粗定位图像。需要说明的是，本申请中采用的积分计算方法、边缘检测方法均为现有技术，本申请不再赘述。

一些实施例中，所述对所述车辆粗定位图像再次分割处理，得到驾驶员区域图像，包括：

通过OpenCV以图像长度的中点为分割点对所述车辆粗定位图进行再次分割成两半，确定驾驶员区域图像。

如图2所示，具体第二次分割处理采用OpenCV中图像裁剪方法对车辆粗定位图像进行分割，即图像长度的中点为分割点将图像分割成两半，则右边部分为驾驶员位置图像。

一些实施例中，在获取车辆图像之前，还包括：

构建具有多层网络结构的分类网络；所述分类网络是根据是否存在预设驾驶员行为的分类标签训练得到的；

所述分类网络，包括依次连接的第一卷积层、第一下采样层、第二卷积层、第二下采样层、第三卷积层、第四卷积层、第五卷积层、第三下采样层、第一全连接层、第二全连接层以及第三全连接层。

优选的，所述分类网络采用二元分类器进行分类。

优选的，所述将处理后的驾驶员区域图像输入预训练的分类网络中，包括：

将所述驾驶员区域图像调整至预设尺寸，将所述调整为预设尺寸的驾驶员区域图像确定为处理后的驾驶员区域图像；

将所述处理后的驾驶员区域图像输入到预训练的分类网络中。

具体的，为了提高分类网络的准确性，对驾驶员区域图像进行预处理。将所有驾驶区域图像统一成256*256的大小。

一些实施例中，所述得到是否存在预设驾驶员行为的分类结果，包括：

得到驾驶员系安全带的第一概率和驾驶员没系安全带的第二概率；

比较第一概率和第二概率，将第一概率和第二概率中较大的概率输出为分类结果。

具体的，本申请通过多次分割图像得到驾驶员区域图像后，需要一个二元分类器对图像进行分类，判断驾驶员是否系安全带。本申请采用AlexNet深度卷积神经网络(结合Softmax的方法实现对安全带的判定。

具体的，如图3所示，AlexNet深度卷积神经网络的主干由输入层、卷积层、下采样层和Softmax层组成。具体流程为输入一张驾驶员区域图片，经过5个卷积层充分学习图片的局部特征，并辅以3个下采样层进行特征降维，然后经过三个全连接层学习图像的全局特征，其中最后一个全连接层的输出即为融合了标签的Softmax。我们在Softmax层只设置两个节点，输出分别代表原图属于“系安全带”和“没系安全带”的概率，最后把概率较大的节点标签作为分类结果。

优选的，所述第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层、第二全连接层均设有ReLU层；所述第一卷积层、第二卷积层还设有Norm层；所述第一全连接层、第二全连接层还设有Drop层。

卷积层还同时连接ReLU层和Norm层。ReLU层用于函数的激活，可大大缩短学习周期并提高效率。Norm层的作用是实现局部区域归一化，从而有助于模型的泛化。在全连接层中添加Drop层，它会在训练时随即关闭一般隐层神经元的输出，防止所有特征选择器共同作用，切断神经元之间的依赖性，终而避免一直放大或者缩小某些特征，可减少神经元之间的互适用性，及时样本数据较少时也能有效防止过拟合。

作为一个优选的实施方式，本申请选择明显系安全带和未系安全带的驾驶区域图片各8000张。为了提高分类器的准确性，对这16000张图片进行预处理。将所有驾驶区域图片统一成256*256的大小，最终挑选出系安全带和未系安全带的试验数据集6500张，并输入AlexNet网络和现有两种方法得到检测结果，然后对检测结果进行对比。对比结果如表1所示：

表1三种方法检测实验结果对比

由表1可见，本申请相比较现有方法具有更高的检出率，且误报率和漏检率较低。

如图4所示，本申请提供一种基于深度学习的安全带检测装置，包括：

获取模块401，用于获取车辆图像；

分割模块402，用于采用预设分割阈值对所述车辆图像进行分割处理，得到车辆粗定位图像；对所述车辆粗定位图像再次分割处理，得到驾驶员区域图像；

输出模块403，用于将处理后的驾驶员区域图像输入预训练的分类网络中，所述分类网络对的所述处理后的驾驶员区域图像进行处理，输出是否系安全带驾驶员行为的分类结果。

本申请提供的基于深度学习的安全带检测装置的工作原理为，获取模块401获取车辆图像；分割模块402采用预设分割阈值对所述车辆图像进行分割处理，得到车辆粗定位图像；对所述车辆粗定位图像再次分割处理，得到驾驶员区域图像；输出模块403将处理后的驾驶员区域图像输入预训练的分类网络中，所述分类网络对的所述处理后的驾驶员区域图像进行处理，输出是否系安全带驾驶员行为的分类结果。

本申请实施例提供一种计算机设备，包括处理器，以及与处理器连接的存储器；

存储器用于存储计算机程序，计算机程序用于执行上述任一实施例提供的基于深度学习的安全带检测方法；

处理器用于调用并执行存储器中的计算机程序。

综上所述，本发明提供一种基于深度学习的安全带检测方法及装置，所述方法包括获取车辆图像；采用预设分割阈值对车辆图像进行分割处理，得到车辆粗定位图像；对车辆粗定位图像再次分割处理，得到驾驶员区域图像；将处理后的驾驶员区域图像输入预训练的分类网络中，分类网络对的处理后的驾驶员区域图像进行处理，输出是否系安全带驾驶员行为的分类结果。本发明通过对车辆图像处理，进行一次粗定位和一次细定位确定车窗位置，从而确定驾驶员区域，再对驾驶员区域进行分类处理，输出是否系安全带的分类结果，提高了安全带检测的正确率和鲁棒性，并且很大程度上减低了误报率和漏检率。

可以理解的是，上述提供的方法实施例与上述的装置实施例对应，相应的具体内容可以相互参考，在此不再赘述。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令方法的制造品，该指令方法实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于深度学习的安全带检测方法，其特征在于，包括：

获取车辆图像；

采用预设分割阈值对所述车辆图像进行分割处理，得到车辆粗定位图像；对所述车辆粗定位图像再次分割处理，得到驾驶员区域图像；

将处理后的驾驶员区域图像输入预训练的分类网络中，所述分类网络对的所述处理后的驾驶员区域图像进行处理，输出是否系安全带驾驶员行为的分类结果。

2.根据权利要求1所述的方法，其特征在于，所述采用预设分割阈值对所述车辆图像进行分割处理，得到车辆粗定位图像，包括：

采用预设分割阈值对所述车辆图像的车窗位置进行粗定位标记，得到标记图像；

将所述标记图像进行灰度化处理，利用积分投影计算所述标记图像的灰度变化，得到积分计算结果；

利用边缘检测和积分计算结果定位车窗位置，根据车窗位置对所述标记图像进行分割处理，得到车辆粗定位图像。

3.根据权利要求2所述的方法，其特征在于，所述对所述车辆粗定位图像再次分割处理，得到驾驶员区域图像，包括：

通过OpenCV以图像长度的中点为分割点对所述车辆粗定位图进行再次分割成两半，确定驾驶员区域图像。

4.根据权利要求1所述的方法，其特征在于，在获取车辆图像之前，还包括：

构建具有多层网络结构的分类网络；所述分类网络是根据是否存在预设驾驶员行为的分类标签训练得到的；

所述分类网络，包括依次连接的第一卷积层、第一下采样层、第二卷积层、第二下采样层、第三卷积层、第四卷积层、第五卷积层、第三下采样层、第一全连接层、第二全连接层以及第三全连接层。

5.根据权利要求4所述的方法，其特征在于，

所述第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层、第二全连接层均设有ReLU层；所述第一卷积层、第二卷积层还设有Norm层；所述第一全连接层、第二全连接层还设有Drop层。

6.根据权利要求1所述的方法，其特征在于，所述将处理后的驾驶员区域图像输入预训练的分类网络中，包括：

将所述驾驶员区域图像调整至预设尺寸，将所述调整为预设尺寸的驾驶员区域图像确定为处理后的驾驶员区域图像；

将所述处理后的驾驶员区域图像输入到预训练的分类网络中。

7.根据权利要求1所述的方法，其特征在于，所述输出是否系安全带驾驶员行为的分类结果，包括：

得到驾驶员系安全带的第一概率和驾驶员没系安全带的第二概率；

比较第一概率和第二概率，将第一概率和第二概率中较大的概率输出为分类结果。

8.根据权利要求1所述的方法，其特征在于，

所述分类网络采用二元分类器进行分类。

9.根据权利要求1至8任一项所述的方法，其特征在于，

通过摄像头拍摄获取车辆图像。

10.一种基于深度学习的安全带检测装置，其特征在于，包括：

获取模块，用于获取车辆图像；

分割模块，用于采用预设分割阈值对所述车辆图像进行分割处理，得到车辆粗定位图像；对所述车辆粗定位图像再次分割处理，得到驾驶员区域图像；

输出模块，用于将处理后的驾驶员区域图像输入预训练的分类网络中，所述分类网络对的所述处理后的驾驶员区域图像进行处理，输出是否系安全带驾驶员行为的分类结果。

Images