CN115713751A - 疲劳驾驶检测方法、设备、存储介质及装置 - Google Patents

Abstract

本发明公开了一种疲劳驾驶检测方法、设备、存储介质及装置，该方法在车辆行驶过程中，采集驾驶员的实时图像；通过轻量化卷积神经网络模型对所述实时图像进行面部特征提取，获得面部疲劳特征；通过疲劳检测算法获取所述面部疲劳特征对应的疲劳特征数据；根据所述疲劳特征数据判断所述驾驶员的驾驶状态。本发明通过轻量化卷积神经网络对实时图像的面部特征进行提取，能够在保证精度的前提下快速的获取到面部疲劳特征从而准确、快速的确定驾驶员的驾驶状态。

Description

疲劳驾驶检测方法、设备、存储介质及装置

技术领域

本发明涉及检测技术领域，尤其涉及一种疲劳驾驶检测方法、设备、存储介质及装置。

背景技术

近年来，由于疲劳驾驶造成的交通事故屡见不鲜。频发的交通事故给国家和个人的生命财产安全带来了严重的损失。及时检测出驾驶员的疲劳驾驶状态并做出预警已成为降低此类安全事故的有效方法之一。

疲劳驾驶状态检测技术大致可分为基于传统特征检测模式和基于深度学习检测模式两种。基于传统特征检测模式的疲劳驾驶技术的检测速度较快，但检测精度较低；基于深度学习检测模式的疲劳驾驶检测技术的检测精度较高，但检测速度较低。其中基于深度学习检测模式中主要运用了卷积神经网络对图像进行特征提取与分类，但由于卷积神经网络多为深层网络，其计算量很大，导致整个检测模型检测速度降低。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种疲劳驾驶检测方法、设备、存储介质及装置，旨在解决现有技术中检测速度与检测精度不平衡的技术问题。

为实现上述目的，本发明提供一种疲劳驾驶检测方法，所述疲劳驾驶检测方法包括以下步骤：

在车辆行驶过程中，采集驾驶员的实时图像；

通过轻量化卷积神经网络模型对所述实时图像进行面部特征提取，获得面部疲劳特征；

通过疲劳检测算法获取所述面部疲劳特征对应的疲劳特征数据；

根据所述疲劳特征数据判断所述驾驶员的驾驶状态。

可选地，所述通过轻量化卷积神经网络模型对所述实时图像进行面部特征提取，获得面部疲劳特征的步骤之前，还包括：

通过轻量级特征提取网络替换初始卷积神经网络模型中的主干特征提取网络，获得替换卷积神经网络模型；

通过轻量级特征金字塔网络替换所述替换卷积神经网络模型中的多区域特征提取网络，获得待调整卷积神经网络模型；

对所述待调整卷积神经网络模型中的卷积通道系数进行调整，并对调整后的卷积神经网络模型进行训练，获得轻量化卷积神经网络模型。

可选地，所述对所述待调整卷积神经网络模型中的卷积通道系数进行调整，并对调整后的卷积神经网络模型进行训练，获得轻量化卷积神经网络模型的步骤包括：

对所述替换卷积神经网络模型中的卷积通道系数进行调整，得到调整后的卷积神经网络模型；

对所述调整后的卷积神经网络模型中的非极大值抑制状态进行调整，获得待训练卷积神经网络模型；

对所述待训练卷积神经网络模型进行训练，获得轻量化卷积神经网络模型。

可选地，所述对所述待训练卷积神经网络模型进行训练，获得轻量化卷积神经网络模型的步骤包括：

获取疲劳驾驶样本数据；

对所述疲劳驾驶样本数据进行数据增强，获取目标样本数据；

根据所述目标样本数据对所述待训练卷积神经网络模型进行训练，获得轻量化卷积神经网络模型。

可选地，所述根据所述目标样本数据对所述待训练卷积神经网络模型进行训练，获得轻量化卷积神经网络模型的步骤包括：

将所述目标样本数据划分为训练样本数据和检测样本数据；

通过所述训练样本数据对待训练卷积神经网络模型中的待训练区域进行训练，获得待检测卷积神经网络模型；

根据所述检测样本数据对所述待检测卷积神经网络模型进行检测，在所述待检测卷积神经网络模型的检测精度满足预设条件时，获得轻量化卷积神经网络模型。

可选地，所述通过轻量化卷积神经网络模型对所述实时图像进行面部特征提取，获得面部疲劳特征的步骤之前，还包括：

通过人脸检测分类算法对所述实时图像中的面部区域进行提取，获得面部检测区域；

对所述面部检测区域进行图像滤波，获得目标检测区域；

相应的，通过轻量化卷积神经网络模型对所述实时图像进行面部特征提取，获得面部疲劳特征的步骤包括：

通过轻量化卷积神经网络模型对所述目标检测区域进行面部特征提取，获得面部疲劳特征。

可选地，所述通过人脸检测分类算法对所述实时图像中的面部区域进行提取，获得面部检测区域的步骤包括：

通过人脸检测算法提取所述实时图像中的特征集合；

通过二分类决策树判断特征集合中的各特征是否为面部区域特征，并获得判断结果；

对所述判断结果进行校验，并根据校验结果确定各特征对应的最优弱分类器；

根据各特征对应的最优弱分类器获得对应的强分类器；

通过所述强分类器对所述实时图像中的面部区域进行提取，获得面部检测区域

此外，为实现上述目的，本发明还提出一种疲劳驾驶检测设备，所述疲劳驾驶检测设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的疲劳驾驶检测程序，所述疲劳驾驶检测程序配置为实现如上文所述的疲劳驾驶检测方法的步骤。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有疲劳驾驶检测程序，所述疲劳驾驶检测程序被处理器执行时实现如上文所述的疲劳驾驶检测方法的步骤。

此外，为实现上述目的，本发明还提出一种疲劳驾驶检测装置，所述疲劳驾驶检测装置包括：图像采集模块、特征提取模块、数据计算模块和状态确定模块；

所述图像采集模块，用于在车辆行驶过程中，采集驾驶员的实时图像；

所述特征提取模块，用于通过轻量化卷积神经网络模型对所述实时图像进行面部特征提取，获得面部疲劳特征；

所述数据计算模块，用于通过疲劳检测算法获取所述面部疲劳特征对应的疲劳特征数据；

所述状态确定模块，用于根据所述疲劳特征数据判断所述驾驶员的驾驶状态。

本发明中提供了一种疲劳驾驶检测方法、设备、存储介质及装置，该方法在车辆行驶过程中，采集驾驶员的实时图像；通过轻量化卷积神经网络模型对所述实时图像进行面部特征提取，获得面部疲劳特征；通过疲劳检测算法获取所述面部疲劳特征对应的疲劳特征数据；根据所述疲劳特征数据判断所述驾驶员的驾驶状态。本发明通过轻量化卷积神经网络对实时图像的面部特征进行提取，能够在保证精度的前提下快速的获取到面部疲劳特征从而准确、快速的确定驾驶员的驾驶状态。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的疲劳驾驶检测设备的结构示意图；

图2为本发明疲劳驾驶检测方法第一实施例的流程示意图；

图3为本发明疲劳驾驶检测方法第二实施例的流程示意图；

图4为本发明疲劳驾驶检测方法第二实施例的中深度可分离卷积结构示意图；

图5为本发明疲劳驾驶检测方法第二实施例的深度可分离卷积过程示意图；

图6为本发明疲劳驾驶检测方法第二实施例的轻量级的特征金字塔FPN-tiny示意图；

图7为本发明疲劳驾驶检测方法第三实施例的流程示意图；

图8为本发明疲劳驾驶检测装置第一实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的疲劳驾驶检测设备结构示意图。

如图1所示，该疲劳驾驶检测设备可以包括：处理器1001，例如STM32F103RCT6微控制器，控制板1002，用户接口1003，网络接口1004，存储器1005，摄像头1006。控制板1002可以是Jetson Xavier NX嵌入式AI边缘计算控制板，用户接口1003可以连接显示屏例如LCD液晶屏，语音播报模块等。可选用户接口1003还可以包括标准的有线接口、无线接口，对于用户接口1003的有线接口在本发明中可为USB接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，WI-FI)接口)，网络接口可以通过SIM与云端服务器连接，从而实现与客户端之间的连接。存储器1005可以是高速的随机存取存储器(Random Access Memory，RAM)，也可以是稳定的存储器(Non-volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。摄像头1006可以是将HF899-USB摄像头，用于对驾驶员的实时图像进行采集。

疲劳驾驶检测设备可以将摄像头接入控制板，利用控制板实时读取摄像头图像数据；将基于轻量化卷积神经网络的疲劳驾驶检测方法部署至控制板；将摄像头采集到的实时数据送入检测系统中检测，将处理结果编码后保存。处理器通过串口与控制板相连接，并且实时请求控制板的图像处理结果，将处理结果解码，实现疲劳驾驶状态的判定。在确定驾驶员处于疲劳驾驶状态时，利用处理器驱动LCD屏幕和语音播报模块。语音播报模块实现疲劳驾驶检测结果语音报警，语音报警内容为：“您已处于轻微疲劳驾驶状态，请注意休息！”等；处理器还可以通过网络接口1004，利用SIM模块实现将驾驶状态信息上传至云服务器，并通过云服务器将驾驶信息实时传送至客户端的微信小程序端，驾驶信息包括GPS位置信息、疲劳驾驶信息，在微信小程序端可根据驾驶员的驾驶状态发送“疲劳驾驶报警”和“停止疲劳驾驶报警”至处理器，并由语音播报模块播报相应语音；LCD屏幕实时显示各类数据指标，包括GPS位置信息、驾驶状态信息、客户端的微信小程序报警信息。

本领域技术人员可以理解，图1中示出的结构并不构成对疲劳驾驶检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，认定为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及疲劳驾驶检测程序。

在图1所示的疲劳驾驶检测设备中，网络接口1004主要用于连接后台服务器，与所述后台服务器进行数据通信；用户接口1003主要用于连接用户设备；所述疲劳驾驶检测设备通过处理器1001调用存储器1005中存储的疲劳驾驶检测程序，并执行本发明实施例提供的疲劳驾驶检测方法。

基于上述硬件结构，提出本发明疲劳驾驶检测方法的实施例。

参照图2，图2为本发明疲劳驾驶检测方法第一实施例的流程示意图，提出本发明疲劳驾驶检测方法第一实施例。

在第一实施例中，所述疲劳驾驶检测方法包括以下步骤：

步骤S10：在车辆行驶过程中，采集驾驶员的实时图像。

应理解的是，本实施例的执行主体是疲劳驾驶检测设备，所述疲劳驾驶检测设备可以是包括摄像头的车载电脑或者是包括图像采集功能的其他车载智能设备，在此不做具体限定。

需要说明的是，实时图像是指驾驶员在驾驶过程中对驾驶员的当前驾驶状态进行检测的图像。在车辆行驶过程中，驾驶员在一瞬间的注意力不集中可能会造成十分严重的后果，在驾驶员驾驶过程中，需要实时的对驾驶员的实时图像进行采集，以实时对驾驶员的驾驶状态进行检测。驾驶员的驾驶状态可以通过驾驶员在驾驶过程中的眼睛状态和嘴巴状态进行判断，例如驾驶员在驾驶过程中不断的眨眼睛或者不断的打哈欠，这时驾驶员必定处于疲劳驾驶状态。在对实时图像采集过程中，需要采集到的包括驾驶员的眼睛以及嘴巴的面部信息。

在具体实时中，在车辆行驶过程中，疲劳驾驶检测设备可以通过携带的摄像头或者车内与疲劳驾驶检测设备连接的摄像头对驾驶员的实时图像进行采集。

步骤S20：通过轻量化卷积神经网络模型对所述实时图像进行面部特征提取，获得面部疲劳特征。

需要说明的是，轻量化卷积神经网络模型是经过改进后的卷积神经网络模型。轻量化卷积神经网络模型可以是Yolo-V4网络结构进行改进后得到的神经网络模型。Yolo-V4网络结构是一种用于对目标检测的网络，目标检测任务包括确定图像中存在某些对象的位置，以及对这些对象进行分类等。轻量化卷积神经网络可以通过简单的算法便可以对实时图像进行检测。在对实时图像进行检测时，通过未经过改进的卷积神经网络模型中的深度算法进行检测，虽然可以增加检测的精度，但是会利用大量的时间，对图像检测的效率严重降低。轻量化卷积神经网络模型的检测精度在符合检测要求的情况下，虽然损失了部分精度，但是可以很大程度上提高图像检测的效率。面部疲劳特征是指驾驶员面部与展示疲劳具有一定关联的特征。在本实施例中，面部疲劳特征可以是眼睛和嘴巴相关的特征。

在具体实施中，疲劳驾驶检测设备可以将采集到的实时图像通过轻量化卷积神经网络模型，在保证精度的前提下对实时图像中的面部特征进行快速提取，获得驾驶员实时图像中的面部疲劳特征。

步骤S30：通过疲劳检测算法获取所述面部疲劳特征对应的疲劳特征数据。

需要说明的是，疲劳检测算法是用于根据驾驶员的面部疲劳特征对驾驶员的疲劳程度进行计算的算法。疲劳特征数据是用于体现驾驶员当前驾驶状态的数据。驾驶员的当前驾驶状态可以分为正常驾驶状态、轻微疲劳驾驶以及严重疲劳驾驶。疲劳驾驶算法可以是PERCLOS算法，通过该算法可以计算出驾驶员是否打哈欠或眨眼睛以及打哈欠的频率或闭眼的时间长度等疲劳特征数据。

在具体实施中，疲劳驾驶检测设备可以通过调用疲劳检测算法根据面部疲劳特征对疲劳特征数据进行计算，得到驾驶员当前对应的疲劳特征数据。该疲劳特征数据可以是眼睛闭合程度满足闭眼状态下维持的时间与检测时间的比值，当然疲劳特征数据还包括单位时间内驾驶员打哈欠的次数。

步骤S40：根据所述疲劳特征数据判断所述驾驶员的驾驶状态。

需要说明的是，根据疲劳特征数据判断驾驶员的驾驶状态可以预先设定用于比较的疲劳值，该疲劳值可以根据具体情况设定。例如驾驶员一分钟内打哈欠的次数超过10次，则认定驾驶员的当前驾驶状态为严重疲劳驾驶；一分钟内打哈欠数超过5次，则认定驾驶员的当前驾驶状态为轻微疲劳驾驶。预先设定的疲劳值同样包括闭眼维持时间以及单位时间内的打哈欠次数。

在具体实施中，疲劳驾驶检测设备可以根据得到的疲劳特征数据与驾驶员驾驶状态对应的预先设定的疲劳值进行比较，根据比较结果确定驾驶员的当前驾驶状态。根据眼睛闭合程度满足闭眼状态下维持的时间与检测时间的时间比值与单位分钟打哈欠次数将疲劳程度分为正常驾驶、轻微疲劳驾驶、严重疲劳驾驶三种状态。当时间比值小于0.25且单位分钟打哈欠次数为0时，判定为正常驾驶状态；当时间比值大于0.25且单位分钟打哈欠次数小于等于5时，判定为轻微疲劳驾驶；当时间比值大于0.25且单位分钟打哈欠次数小于等于10时，判定为严重疲劳驾驶。当然，考虑到打哈欠的时间一分钟内连续打哈欠超过十次的可能性并不大。在确定驾驶员处于轻微疲劳驾驶或严重疲劳驾驶状态时，可以通过相关的LCD显示屏或语音播报模块进行提醒，疲劳驾驶检测设备还可以将相关数据通过云服务器发送至客户端。

在本实施例中提供了一种疲劳驾驶检测方法，该方法在车辆行驶过程中，采集驾驶员的实时图像；通过轻量化卷积神经网络模型对所述实时图像进行面部特征提取，获得面部疲劳特征；通过疲劳检测算法获取所述面部疲劳特征对应的疲劳特征数据；根据所述疲劳特征数据判断所述驾驶员的驾驶状态。本实施例通过轻量化卷积神经网络对实时图像的面部特征进行提取，能够在保证精度的前提下快速的获取到面部疲劳特征从而准确、快速的确定驾驶员的驾驶状态。

参照图3，图3为本发明疲劳驾驶检测方法第二实施例的流程示意图，基于上述图2所示的第一实施例，提出本发明疲劳驾驶检测方法的第二实施例。

在第二实施例中，所述步骤S20之前包括：

步骤S21：通过轻量级特征提取网络替换初始卷积神经网络模型中的主干特征提取网络，获得替换卷积神经网络模型。

需要说明的是，初始卷积神经网络模型是未经过改进的卷积神经网络模型，该初始卷积神经网络模型的检测精度高，但是检测效率较低。初始卷积神经网络模型可以是包括Yolo-V4卷积神经网络结构的模型。主干特征提取网络是初始卷积神经网络模型中用于进行特征提取的网络。初始卷积神经网络模型中的主干特征提取网络可以是CSPDarknet53特征提取网络。轻量级特征提取网络是利用深度可分离卷积块代替普通卷积块的特征提取网络，深度可分离卷积块参照图4，其中包含两个部分，第一部分由维度为3×3的深度可分离卷积、BN层、ReLu激活函数组成；第二部分由维度为1×1的普通卷积、BN层、ReLu激活函数组成。其卷积过程如图5所示，首先进行深度卷积，其次进行逐点卷积。轻量级特征提取网络提取特征的效率明显大于初始卷积神经网络模型中的主干特征提取网络。轻量级特征提取网络可以是MobileNet-V2特征提取网络。替换卷积神经网络模型是指主干特征提取网络被替换后的卷积神经网络模型。

应理解的是，深度可分离卷积网络的卷积计算过程分为两步，第一步为深度卷积，第二步为逐点卷积，两次卷积的总计算量远小于普通卷积的计算总量。

在具体实施中，疲劳驾驶检测设备获取初始卷积神经网络模型，并利用轻量级特征提取网络替换初始卷积神经网络模型中的主干特征提取网络，从而对初始卷积神经网络模型进行修改，得到特征提取速率较快的替换卷积神经网络模型。

步骤S22：通过轻量级特征金字塔网络替换所述替换卷积神经网络模型中的多区域特征提取网络，获得待调整卷积神经网络模型。

需要说明的是，在对初始卷积神经网络进行主干特征提取网络替换之后，替换卷积神经网络模型的特征提取的准确度会有所降低，此时可以通过更换多区域特征提取网络对替换卷积神经网络模型的准确度进行补偿。轻量级特征金字塔网络是一种轻量级的可以高效提取图片中各维度特征的网络。多区域特征提取网络是初始卷积神经网络中用于对图像中的特征进行多区域提取的网络。该多区域特征提取网络可以是Yolo-V4卷积神经网络结构中的PANet(路径聚合网络，Path Aggregation Network)或者SPP(空间金字塔池化网络，Spatial Pyramid Pooling)。

在具体实施过程中，疲劳驾驶检测设备可以通过将替换卷积神经网络模型中的多区域特征提取网络替换为轻量级特征金字塔网络，例如将Yolo-V4网络中PANet、SPP替换为一种轻量级的特征金字塔FPN-tiny，如图6所示，将维度为26×26的有效特征层1和维度为13×13的有效特征层2输入值FPN-tiny结构体中，其中维度为26×26的有效特征层1进行堆叠与卷积后直接由尺度1输出；维度为13×13的有效特征层2首先进行卷积，然后进行卷积与上采样，最后进行堆叠和卷积操作后由尺度2输出。

步骤S23：对所述待调整卷积神经网络模型中的卷积通道系数进行调整，并对调整后的卷积神经网络模型进行训练，获得轻量化卷积神经网络模型。

需要说明的是，经过初始卷积神经网络经过上述替换之后，还需要对替换后的待调整卷积神经网络模型中的卷积通道系数进行调整，以提高待调整卷积神经网络模型的计算速率。当然，需要调整的参数调整完成后，完成该卷积神经网络模型的搭建，然后还需要对该卷积神经网络模型进行训练，在轻量化卷积神经网络模型提取特征的准确度满足条件时获取到轻量化卷积神经网络模型。

在具体实施中，疲劳驾驶检测设备需要对卷积通道系数进行调整，可以根据卷积通道系数具体值对计算速率的影响进行调整，例如可以将该卷积通道系数修改为0.5。然后对修改后的卷积神经网络模型进行训练，以得到轻量化卷积神经网络模型。

其中，所述步骤S23具体包括：

步骤S231：对所述替换卷积神经网络模型中的卷积通道系数进行调整，得到调整后的卷积神经网络模型。

步骤S232：对所述调整后的卷积神经网络模型中的非极大值抑制状态进行调整，获得待训练卷积神经网络模型。

需要说明的是，在对卷积通道系数进行调整时，还可以通过调整卷积神经网络模型中的非极大值抑制状态，对该卷积神经网络模型的准确性进行补偿。在具体实施中，可以将Yolo-V4网络中将非极大值抑制改进为柔性非极大值抑制，在目标检测时同时考虑目标框得分与目标框的重合度，可以更加准确的对面部疲劳特征进行提取。

步骤S233：对所述待训练卷积神经网络模型进行训练，获得轻量化卷积神经网络模型。

所述步骤S233包括：

步骤S24：获取疲劳驾驶样本数据；

需要说明的是，疲劳驾驶样本数据是包括疲劳驾驶样本图片的数据集。疲劳驾驶样本数据可以通过存储提取的方式获取，也可以通过服务器下载的方式获取，在此不做具体限定。

步骤S25：对所述疲劳驾驶样本数据进行数据增强，获取目标样本数据；

需要说明的是，数据增强是对疲劳驾驶样本数据的数目进行增强的方法。通常疲劳驾驶样本数据中的图像往往具有一定的数目限制，在实际获取过程中，需要对疲劳驾驶样本数据进行数据增强以得到大量的劳驾驶样本图片。数据增强可以是数据翻转、数据旋转、增加高斯噪声和颜色增强四种离线数据增强方法。目标样本数据是经过数据增强后得到的样本数据。目标样本数据中包括各种疲劳驾驶相关的图片数据。目标样本数据中包括白天和黑夜两个不同光线强度场景。

步骤S26：根据所述目标样本数据对所述待训练卷积神经网络模型进行训练，获得轻量化卷积神经网络模型。

在本实施例中，所述步骤S26包括：

步骤S261：将所述目标样本数据划分为训练样本数据和检测样本数据。

需要说明的是，训练样本数据是用对待训练卷积神经网络模型进行训练的样本数据。该训练样本数据仅仅用于对样本数据进行训练，并不考虑训练后的精度。检测样本数据是用于对经过训练样本数据训练后的待训练卷积神经网络模型的检测精度进行检测的数据。在对待训练卷积神经网络模型进行训练之前需要将训练样本数据和检测样本数据每一帧图像进行面部疲劳特征标注，以便顺利完成训练过程。

步骤S262：通过所述训练样本数据对待训练卷积神经网络模型中的待训练区域进行训练，获得待检测卷积神经网络模型。

应理解的是，在具体训练过程中为了加快训练速度，可以通过冻结训练法以及早停法加快训练速度。其中冻结训练法是在我们已有部分预训练权重，这部分预训练权重所应用的那部分网络是通用的，如骨干网络，那么我们可以先冻结这部分权重的训练，将更多的资源放在训练后面部分的网络参数，这样使得时间和资源利用都能得到很大改善。然后未冻结的网络参数训练一段时间之后再解冻这些被冻结的部分，这时再全部一起训练，增加训练速度。早停法是在训练中计算卷积神经网络模型模型在检测样本数据上的表现，当卷积神经网络模型模型在检测样本数据上的表现开始下降的时候，停止训练，这样就能避免继续训练导致过拟合的问题。在利用早停法具体训练时，在训练集上进行训练，并每个一个周期计算模型在验证集上的误差，例如，每15次训练进行一次检验，当模型在验证集上的误差比上一次训练结果差的时候停止训练使用上一次迭代结果中的参数作为模型的最终参数的轻量化卷积神经网络模型。

步骤S263：根据所述检测样本数据对所述待检测卷积神经网络模型进行检测，在所述待检测卷积神经网络模型的检测精度满足预设条件时，获得轻量化卷积神经网络模型。

需要说明的是，预设条件是指预先设定的用于对待检测卷积神经网络模型的精度进行检验的条件，当待检测卷积神经网络模型的精度达到该预设条件时，此时可认定该待检测卷积神经网络模型通过检测，得到轻量化卷积神经网络模型。在训练过程中，可以利用上述早停法，当然在早停法训练需要大量时间时，也可以检测精度满足预设条件时获取轻量化卷积神经网络模型。

在本实施例中提供了一种疲劳驾驶检测方法，该方法在车辆行驶过程中，采集驾驶员的实时图像；通过轻量化卷积神经网络模型对所述实时图像进行面部特征提取，获得面部疲劳特征；通过疲劳检测算法获取所述面部疲劳特征对应的疲劳特征数据；根据所述疲劳特征数据判断所述驾驶员的驾驶状态。本实施例首先进行网络替换以及参数调整，然后通过轻量化卷积神经网络对实时图像的面部特征进行提取，能够在保证精度的前提下快速的获取到面部疲劳特征从而准确、快速的确定驾驶员的驾驶状态。

参照图7，图7为本发明疲劳驾驶检测方法第三实施例的流程示意图，基于上述图2所示的第一实施例，提出本发明疲劳驾驶检测方法的第三实施例。

在第三实施例中，所述步骤S20之前，还包括：

步骤S201：通过人脸检测分类算法对所述实时图像中的面部区域进行提取，获得面部检测区域。

需要说明的是，人脸检测算法是用于对图像中人脸数据进行检测的算法。该人脸检测算法可以是基于哈尔特征的人脸检测分类算法。面部检测区域是指包括驾驶员面部特征的图像区域。

在具体实施中，可以通过基于哈尔特征的人脸检测分类算法对实时图像中的面部区域进行提取、检测与分类处理，并在处理结束后获得面部检测区域。

步骤S202：对所述面部检测区域进行图像滤波，获得目标检测区域。

需要说明的是，图像滤波是对实时图像中的噪音数据进行滤除的过程。经过图像滤波可以得到更加清晰易于进行面部疲劳特征提取的目标监测区域的图像。目标检测区域是用于进行面部疲劳特征提取的区域，通过提取该区域的疲劳特征，可以得到更加准确的面部疲劳特征。

相应的，步骤S20为步骤S20'：通过轻量化卷积神经网络模型对所述目标检测区域进行面部特征提取，获得面部疲劳特征。

其中，所述步骤S201包括：

步骤S2011：通过人脸检测算法提取所述实时图像中的特征集合。

需要说明的是，哈尔特征是用于物体识别的一种数字图像特征。在本实施中，特征集合是指实时图像中包括的所有特征对应的特征集合，例如眼睛、鼻子、嘴巴等面部特征与其他非面部特征组成的集合。在具体实施中，可以通过人脸检测算法对实时图像中的特征进行提取，并将提取到的特征进行结合获得特征集合。

步骤S2012：通过二分类决策树判断特征集合中的各特征是否为面部区域特征，并获得判断结果。

需要说明的是，分类决策树是一种十分常用的分类方法。它是一种监督学习，所谓监督学习就是给定一堆样本，每个样本都有一组属性和一个类别，这些类别是事先确定的，那么通过学习得到一个分类器，这个分类器能够对新出现的对象给出正确的分类。二分类决策树是根据一个标准将特征集合分为两类的分类决策树。在本实施例中，将特征集合中的特征是否属于面部特征进行分类，根据分类结果对各特征是否属于面部特征进行判断。当然分类标准是预先设定的，该分类决策可以通过程序代码进行设定。在具体实施过程中，可以利用二分类决策树对各特征进行分类，根据分类后得到的结果确定各特征是否数据面部区域特征，从而获取判断结果。

步骤S2013：对所述判断结果进行校验，并根据校验结果确定各特征对应的最优弱分类器。

需要说明的是，最优弱分类器是一种常用的特征分类器。一个特征的分类要求仅仅是它能够以稍低于50％的错误率来区分人脸和非人脸图像，因此上面提到只能在某个概率范围内准确地进行区分就已经完全足够。按照这个要求，可以把所有错误率低于50％的特征都找到，当然需要适当地选择阈值，对于固定的训练集，几乎所有的特征都可以满足上述要求。在具体实施中，对上述判断结果中的各个特征进行校验，在校验无误后，选取一个特征，获取该特征对应的所有弱分类器，选取分类效果最好的弱分类器作为最优分类器。

步骤S2014：根据各特征对应的最优弱分类器获得对应的强分类器。

需要说明的是，弱分类器与强分类器是相对概念，强分类器相对于弱分类器进行分类后的结果更加准确，按照一定的方法可以将多个弱分类器提升为一个强分类器。在本实施例中，可以将上述特征集合中的各特征对应的最优弱分类器按照一定的方法进行组合得到对应的强分类器。

步骤S2015：通过所述强分类器对所述实时图像中的面部区域进行提取，获得面部检测区域。

需要说明的是，在获取到该强分类器后，可以根据该强分类器对实时图像中的面部区域进行更加准确的提取，得到面部检测区域。

在本实施例中提供了一种疲劳驾驶检测方法，该方法在车辆行驶过程中，采集驾驶员的实时图像；通过轻量化卷积神经网络模型对所述实时图像进行面部特征提取，获得面部疲劳特征；通过疲劳检测算法获取所述面部疲劳特征对应的疲劳特征数据；根据所述疲劳特征数据判断所述驾驶员的驾驶状态。本实施例通过先对人脸检测算法对面部区域进行提取然后通过轻量化卷积神经网络对面部区域中的面部特征进行提取，能够在保证精度的前提下快速的获取到面部疲劳特征从而准确、快速的确定驾驶员的驾驶状态。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有疲劳驾驶检测程序，所述疲劳驾驶检测程序被处理器执行时实现如上文所述的疲劳驾驶检测方法的步骤。

此外，参照图8，本发明实施例还提出一种疲劳驾驶检测装置，所述疲劳驾驶检测装置包括：图像采集模块10、特征提取模块20、数据计算模块30和状态确定模块40；

所述图像采集模块10，用于在车辆行驶过程中，采集驾驶员的实时图像；

所述特征提取模块20，用于通过轻量化卷积神经网络模型对所述实时图像进行面部特征提取，获得面部疲劳特征；

所述数据计算模块30，用于通过疲劳检测算法获取所述面部疲劳特征对应的疲劳特征数据；

所述状态确定模块40，用于根据所述疲劳特征数据判断所述驾驶员的驾驶状态。

在本实施例中提供了一种疲劳驾驶检测装置，该装置的图像采集模块10车辆行驶过程中，采集驾驶员的实时图像；特征提取模块20通过轻量化卷积神经网络模型对所述实时图像进行面部特征提取，获得面部疲劳特征；数据计算模块30通过疲劳检测算法获取所述面部疲劳特征对应的疲劳特征数据；状态确定模块40根据所述疲劳特征数据判断所述驾驶员的驾驶状态。本实施例通过轻量化卷积神经网络对实时图像的面部特征进行提取，能够在确定精度的前提下快速的对获取到面部疲劳特征从而准确、快速的确定驾驶员的驾驶状态。

在一实施例中，所述疲劳驾驶检测装置还包括：模型构建模块；

所述模型构建模块，用于通过轻量级特征提取网络替换初始卷积神经网络模型中的主干特征提取网络，获得替换卷积神经网络模型；通过轻量级特征金字塔网络替换所述替换卷积神经网络模型中的多区域特征提取网络，获得待调整卷积神经网络模型；对所述待调整卷积神经网络模型中的卷积通道系数进行调整，并对调整后的卷积神经网络模型进行训练，获得轻量化卷积神经网络模型。

在一实施例中，所述模型构建模块，还用于对所述替换卷积神经网络模型中的卷积通道系数进行调整，得到调整后的卷积神经网络模型；对所述调整后的卷积神经网络模型中的非极大值抑制状态进行调整，获得待训练卷积神经网络模型；对所述待训练卷积神经网络模型进行训练，获得轻量化卷积神经网络模型。

在一实施例中，所述模型构建模块，还用于获取疲劳驾驶样本数据；对所述疲劳驾驶样本数据进行数据增强，获取目标样本数据；根据所述目标样本数据对所述待训练卷积神经网络模型进行训练，获得轻量化卷积神经网络模型。

在一实施例中，所述模型构建模块，还用于将所述目标样本数据划分为训练样本数据和检测样本数据；通过所述训练样本数据对待训练卷积神经网络模型中的待训练区域进行训练，获得待检测卷积神经网络模型；根据所述检测样本数据对所述待检测卷积神经网络模型进行检测，在所述待检测卷积神经网络模型的检测精度满足预设条件时，获得轻量化卷积神经网络模型。

在一实施例中，所述疲劳驾驶检测装置还包括：图像预处理模块；

所述图像预处理模块，用于通过人脸检测分类算法对所述实时图像中的面部区域进行提取，获得面部检测区域；对所述面部检测区域进行图像滤波，获得目标检测区域；相应的所述特征提取模块还用于通过轻量化卷积神经网络模型对所述目标检测区域进行面部特征提取，获得面部疲劳特征。

在一实施例中，所述图像预处理模块，还用于通过人脸检测算法提取所述实时图像中的特征集合；通过二分类决策树判断特征集合中的各特征是否为面部区域特征，并获得判断结果；对所述判断结果进行校验，并根据校验结果确定各特征对应的最优弱分类器；根据各特征对应的最优弱分类器获得对应的强分类器；通过所述强分类器对所述实时图像中的面部区域进行提取，获得面部检测区域。

本发明所述疲劳驾驶检测装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为名称。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器镜像(Read Only Memory image，ROM)/随机存取存储器(Random AccessMemory，RAM)、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种疲劳驾驶检测方法，其特征在于，所述疲劳驾驶检测方法包括：

在车辆行驶过程中，采集驾驶员的实时图像；

通过轻量化卷积神经网络模型对所述实时图像进行面部特征提取，获得面部疲劳特征；

通过疲劳检测算法获取所述面部疲劳特征对应的疲劳特征数据；

根据所述疲劳特征数据判断所述驾驶员的驾驶状态。

2.如权利要求1所述的方法，其特征在于，所述通过轻量化卷积神经网络模型对所述实时图像进行面部特征提取，获得面部疲劳特征的步骤之前，还包括：

通过轻量级特征提取网络替换初始卷积神经网络模型中的主干特征提取网络，获得替换卷积神经网络模型；

通过轻量级特征金字塔网络替换所述替换卷积神经网络模型中的多区域特征提取网络，获得待调整卷积神经网络模型；

对所述待调整卷积神经网络模型中的卷积通道系数进行调整，并对调整后的卷积神经网络模型进行训练，获得轻量化卷积神经网络模型。

3.如权利要求2所述的方法，其特征在于，所述对所述待调整卷积神经网络模型中的卷积通道系数进行调整，并对调整后的卷积神经网络模型进行训练，获得轻量化卷积神经网络模型的步骤包括：

对所述替换卷积神经网络模型中的卷积通道系数进行调整，得到调整后的卷积神经网络模型；

对所述调整后的卷积神经网络模型中的非极大值抑制状态进行调整，获得待训练卷积神经网络模型；

对所述待训练卷积神经网络模型进行训练，获得轻量化卷积神经网络模型。

4.如权利要求3所述的方法，其特征在于，所述对所述待训练卷积神经网络模型进行训练，获得轻量化卷积神经网络模型的步骤包括：

获取疲劳驾驶样本数据；

对所述疲劳驾驶样本数据进行数据增强，获取目标样本数据；

根据所述目标样本数据对所述待训练卷积神经网络模型进行训练，获得轻量化卷积神经网络模型。

5.如权利要求4所述的方法，其特征在于，所述根据所述目标样本数据对所述待训练卷积神经网络模型进行训练，获得轻量化卷积神经网络模型的步骤包括：

将所述目标样本数据划分为训练样本数据和检测样本数据；

通过所述训练样本数据对待训练卷积神经网络模型中的待训练区域进行训练，获得待检测卷积神经网络模型；

根据所述检测样本数据对所述待检测卷积神经网络模型进行检测，在所述待检测卷积神经网络模型的检测精度满足预设条件时，获得轻量化卷积神经网络模型。

6.如权利要求1所述的方法，其特征在于，所述通过轻量化卷积神经网络模型对所述实时图像进行面部特征提取，获得面部疲劳特征的步骤之前，还包括：

通过人脸检测分类算法对所述实时图像中的面部区域进行提取，获得面部检测区域；

对所述面部检测区域进行图像滤波，获得目标检测区域；

相应的，通过轻量化卷积神经网络模型对所述实时图像进行面部特征提取，获得面部疲劳特征的步骤包括：

通过轻量化卷积神经网络模型对所述目标检测区域进行面部特征提取，获得面部疲劳特征。

7.如权利要求6所述的方法，其特征在于，所述通过人脸检测分类算法对所述实时图像中的面部区域进行提取，获得面部检测区域的步骤包括：

通过人脸检测算法提取所述实时图像中的特征集合；

通过二分类决策树判断特征集合中的各特征是否为面部区域特征，并获得判断结果；

对所述判断结果进行校验，并根据校验结果确定各特征对应的最优弱分类器；

根据各特征对应的最优弱分类器获得对应的强分类器；

通过所述强分类器对所述实时图像中的面部区域进行提取，获得面部检测区域。

8.一种疲劳驾驶检测设备，其特征在于，所述疲劳驾驶检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的疲劳驾驶检测程序，所述疲劳驾驶检测程序被所述处理器执行时实现如权利要求1至7中任一项所述的疲劳驾驶检测方法的步骤。

9.一种存储介质，其特征在于，所述存储介质上存储有疲劳驾驶检测程序，所述疲劳驾驶检测程序被处理器执行时实现如权利要求1至7中任一项所述的疲劳驾驶检测方法的步骤。

10.一种疲劳驾驶检测装置，其特征在于，所述疲劳驾驶检测装置包括：图像采集模块、特征提取模块、数据计算模块和状态确定模块；

所述图像采集模块，用于在车辆行驶过程中，采集驾驶员的实时图像；

所述特征提取模块，用于通过轻量化卷积神经网络模型对所述实时图像进行面部特征提取，获得面部疲劳特征；

所述数据计算模块，用于通过疲劳检测算法获取所述面部疲劳特征对应的疲劳特征数据；

所述状态确定模块，用于根据所述疲劳特征数据判断所述驾驶员的驾驶状态。

Images