CN115871679A - 驾驶员疲劳检测方法、装置、电子设备及介质 - Google Patents
驾驶员疲劳检测方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN115871679A CN115871679A CN202211724513.8A CN202211724513A CN115871679A CN 115871679 A CN115871679 A CN 115871679A CN 202211724513 A CN202211724513 A CN 202211724513A CN 115871679 A CN115871679 A CN 115871679A
- Authority
- CN
- China
- Prior art keywords
- driver
- fatigue
- facial features
- vehicle
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 99
- 230000001815 facial effect Effects 0.000 claims abstract description 85
- 238000000034 method Methods 0.000 claims abstract description 58
- 230000006399 behavior Effects 0.000 claims description 34
- 230000004927 fusion Effects 0.000 claims description 31
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000007499 fusion processing Methods 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 230000007547 defect Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 210000000697 sensory organ Anatomy 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种驾驶员疲劳检测方法、装置、电子设备及介质，包括：基于环境亮度传感器，采集车环境亮度信息；当环境亮度信息满足第一亮度阈值时，提取驾驶员的图像对应的面部特征，根据面部特征进行驾驶员疲劳检测，得到驾驶员当前时刻对应的第一疲劳驾驶结果；当环境亮度信息满足第二亮度阈值时，提取驾驶员对应的驾驶行为信息以及车辆行为信息作为车辆特征，根据车辆特征进行驾驶员疲劳检测，得到驾驶员当前时刻对应的第二疲劳驾驶结果。本申请在不增加驾驶员任何负重的情况下有效提高了驾驶疲劳检测识别准确率。
Description
技术领域
本发明主要涉及车辆驾驶疲劳检测技术领域，特别涉及驾驶员疲劳检测方法、装置、电子设备及介质。
背景技术
在车辆行驶过程中，司机常常由于长时间驾驶，甚至疲劳驾驶，极易导致安全事故的发生。为解决这一问题，依托于高级辅助驾驶系统对车辆信息的监测，驾驶员疲劳预警系统应运而生。比如，现有技术提出基于深度学习与熵结合的疲劳驾驶检测方法，该方法通过检测一段时间内驾驶员的鼻尖，瞳孔以及嘴角的移动轨迹从而进行驾驶员疲劳检测。该方法虽然可以一定程度上简化算法的复杂性，但是其检测基于纯视觉方法，容易受到环境光照变化影响，比如隧道内弱光，日落时的强光等。除此之外，该方法基于有大量的阈值判断逻辑，为人为规定的先验知识，并不适用于所有场景，可扩展性差，检测识别准确率低。又如，现有技术还提出基于个性化音乐推荐器的驾驶疲劳检测缓解系统及方法，通过采集脑电波以及个性化音乐推荐器的疲劳驾驶检测，该方法虽然可以避免视觉的光照影响，但是其需要额外佩戴脑电波采集设备，大大增加驾驶员负担。
发明内容
本申请的目的在于提供驾驶员疲劳检测方法、装置、电子设备及介质，在不增加驾驶员任何负重的情况下有效提高了驾驶疲劳检测识别准确率。
第一方面，本申请提供了一种驾驶员疲劳检测方法，包括：基于环境亮度传感器，采集车环境亮度信息；当环境亮度信息满足第一亮度阈值时，提取驾驶员的图像对应的面部特征，根据面部特征进行驾驶员疲劳检测，得到驾驶员当前时刻对应的第一疲劳驾驶结果；当环境亮度信息满足第二亮度阈值时，提取驾驶员对应的驾驶行为信息以及车辆行为信息作为车辆特征，根据车辆特征进行驾驶员疲劳检测，得到驾驶员当前时刻对应的第二疲劳驾驶结果。
在第一方面的一种实现方式中，提取驾驶员的图像对应的面部特征，包括：基于时间序列，采集驾驶员对应的若干历史时刻图像以及当前时刻图像；提取若干历史时刻图像分别对应的面部特征以及当前时刻图像对应的面部特征。
在第一方面的一种实现方式中，提取若干历史时刻图像分别对应的面部特征以及当前时刻图像对应的面部特征，包括：基于ResNet网络的编码器，分别提取若干历史时刻图像分别对应的全脸特征以及当前时刻图像对应的全脸特征。
在第一方面的一种实现方式中，提取若干历史时刻图像分别对应的面部特征以及当前时刻图像对应的面部特征，包括：将若干历史时刻图像分别对应的面部特征以及当前时刻图像对应的面部特征进行特征融合处理，得到融合特征；根据融合特征进行驾驶员疲劳检测，得到驾驶员当前时刻对应的第一疲劳驾驶结果。
在第一方面的一种实现方式中，将若干历史时刻图像分别对应的面部特征以及当前时刻图像对应的面部特征进行特征融合处理，得到融合特征，包括：基于ResNet网络的解码器，获取与当前时刻图像对应的面部特征相对应的若干个预测特征；将若干个预测特征进行加权组合，得到预测结果加权特征；将预测结果加权特征与若干历史时刻图像分别对应的面部特征进行特征融合，得到融合特征。
在第一方面的一种实现方式中，将若干历史时刻图像分别对应的面部特征以及当前时刻图像对应的面部特征进行特征融合处理，得到融合特征，包括：基于时间周期，保存时间周期内若干历史帧的特征，若干历史帧的特征为若干历史时刻图像分别对应的面部特征；利用transformer架构的解码器中的交叉注意力机制融合若干历史帧的特征。
在第一方面的一种实现方式中，根据面部特征进行驾驶员疲劳检测，得到驾驶员当前时刻对应的第一疲劳驾驶结果，包括：基于分类器，将面部特征输入分类器中，通过分类器输出驾驶员当前时刻对应的第一疲劳驾驶结果；和/或；根据车辆特征进行驾驶员疲劳检测，得到驾驶员当前时刻对应的第二疲劳驾驶结果，包括：基于神经网络，根据车辆特征进行驾驶员疲劳检测，得到驾驶员当前时刻对应的第二疲劳驾驶结果。
在第一方面的一种实现方式中，驾驶员对应的驾驶行为信息包括方向盘转动角度，方向盘握力，刹车油门的感应值；车辆行为信息包括车道内车辆偏离度、速度变化率。
第二方面，本申请提供驾驶员疲劳检测装置，包括：信息采集模块，用于基于环境亮度传感器，采集车环境亮度信息；第一检测模块，用于当环境亮度信息满足第一亮度阈值时，提取驾驶员的图像对应的面部特征，根据面部特征进行驾驶员疲劳检测，得到驾驶员当前时刻对应的第一疲劳驾驶结果；第二检测模块，用于当环境亮度信息满足第二亮度阈值时，提取驾驶员对应的驾驶行为信息以及车辆行为信息作为车辆特征，根据车辆特征进行驾驶员疲劳检测，得到驾驶员当前时刻对应的第二疲劳驾驶结果。
第三方面，本申请提供了一种电子设备，电子设备包括：存储器，存储器存储有多条指令；处理器，处理器从存储器中加载指令，以执行如上述任一种驾驶员疲劳检测方法中的步骤。
第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被电子设备执行时实现上述任一种驾驶员疲劳检测方法中的步骤。
本申请克服了环境光的极端场景下，视觉方法不可用的弊端。另外，本申请克服了人为的加入大量的先验知识，直接使用数据迭代，端到端的输出判断结果，极大的改善了检测方法的泛化性。本申请使用了基于时间序列的视觉检测方法，相比于传统的单帧检测方法，该基于时间序列的视频片段的检测方法更准确。而且本申请避免了传统方法专门提取眼睛等其他五官的步骤，直接使用神经网络提取整张脸的特征。更丰富的特征更有助于准确性的提高。本申请使用的transformer方法相比于传统的CNN方法，具有全局注意力的特征，能够更好的捕捉到全脸特征，本申请新增车辆速度变化率等作为特征，能够更好的描述疲劳驾驶的特征，提高了驾驶员疲劳驾驶检测准确率。
附图说明
图1为本申请一实施例的应用场景示意图。
图2为本申请一实施例的驾驶员疲劳检测方法流程示意图。
图3为本申请一实施例的驾驶员疲劳检测装置示意图。
图4为本申请一实施例的电子设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，遂图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本申请以下实施例提供了驾驶员疲劳检测方法、装置、电子设备及介质，其中，驾驶员疲劳检测装置具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、或者个人电脑(PersonalComputer，PC)等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。
在一些实施例中，驾驶员疲劳检测装置还可以集成在多个电子设备中，比如，该驾驶员疲劳检测装置可以集成在多个服务器中，由多个服务器来实现本申请的该驾驶员疲劳检测方法。
在一些实施例中，服务器也可以以终端的形式来实现。
例如，图1为本申请一实施例的应用场景示意图，该应用场景中可以包括车辆10，环境亮度传感器11、视觉传感器12、存储终端13和服务器14等。环境亮度传感器11可以采集车环境亮度信息等。视觉传感器12可以基于时间序列，采集驾驶员对应的若干历史时刻图像以及当前时刻图像等。环境亮度传感器11、视觉传感器12、存储终端13和服务器14之间相互通信连接，在此不再赘述。
其中，服务器14可以基于环境亮度传感器，采集车环境亮度信息；当环境亮度信息满足第一亮度阈值时，提取驾驶员的图像对应的面部特征，根据面部特征进行驾驶员疲劳检测，得到驾驶员当前时刻对应的第一疲劳驾驶结果；当环境亮度信息满足第二亮度阈值时，提取驾驶员对应的驾驶行为信息以及车辆行为信息作为车辆特征，根据车辆特征进行驾驶员疲劳检测，得到驾驶员当前时刻对应的第二疲劳驾驶结果等。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行详细描述。
如图2所示，以服务器14为执行主体，本实施例提供一种驾驶员疲劳检测方法，包括步骤S210至步骤S230，如下：
S210、服务器14基于环境亮度传感器，采集车环境亮度信息。
本实施例中，使用车端安装的环境亮度传感器，可以采集车环境亮度信息，车环境亮度信息可以包括亮度等。
S220、服务器14判断当环境亮度信息满足第一亮度阈值时，提取驾驶员的图像对应的面部特征，根据面部特征进行驾驶员疲劳检测，得到驾驶员当前时刻对应的第一疲劳驾驶结果。
在第一方面的一种实现方式中，提取驾驶员的图像对应的面部特征，包括：基于时间序列，采集驾驶员对应的若干历史时刻图像以及当前时刻图像；提取若干历史时刻图像分别对应的面部特征以及当前时刻图像对应的面部特征。
本实施例基于时间序列，可以采集驾驶员对应的若干历史时刻图像以及当前时刻图像。本实施例可以根据时间序列得到视频图像帧，历史时刻为当前时刻之前的时刻，本申请能够通过视觉传感器12采集驾驶员对应的若干历史时刻图像以及当前时刻图像。比如，本申请基于时间序列得到了k张图像，k为正整数，则按照时间顺序，第一张图像至第k-1张图像为历史时刻图像，第k张图像为当前时刻图像。
本实施例中，使用车端安装的环境亮度传感器，即环境光照亮度检测器检测当前条件下是否适合使用基于视觉的疲劳检测方法，如果亮度正常，拍摄的图像也比较清楚，可以提取若干历史时刻图像分别对应的面部特征以及当前时刻图像对应的面部特征。具体地，本实施例还可以根据拍摄图像的像素判断图像是否清晰，当图像的像素满足一定像素阈值时，记录该图像对应的环境拍摄亮度值，进行多组图像数据的判断，可以得到环境拍摄亮度值的范围，当环境亮度信息满足环境拍摄亮度值的范围时，提取若干历史时刻图像分别对应的面部特征以及当前时刻图像对应的面部特征。
在一实施例中，提取若干历史时刻图像分别对应的面部特征以及当前时刻图像对应的面部特征，包括：基于ResNet网络的编码器，分别提取若干历史时刻图像分别对应的全脸特征以及当前时刻图像对应的全脸特征。
ResNet网络包括transformer架构，transformer架构分为编码器和解码器两部分。编码器：有N个堆叠的相同层，其中N可以是超参数。编码器细分为两部分，即多头机制和位置前馈网络。对于来自位置编码的每个堆叠层输入向量并行通过多头和快捷连接，多头的输出与快捷连接相加，然后进行层归一化。然后输出将通过一个前馈网络，该网络分别且相同地应用于每个位置。每个子层都引入了残差网络，以便在反向传播时容易收敛。
解码器：也是N个堆叠的相同层，其中N可以是超参数。解码器细分为3部分，即掩蔽多头机制、2D多头机制和位置前馈网络。对于来自位置编码的每个堆叠层，输入向量并行通过MaskedMulti-head和shortcutconnection，Maskedmulti-head的输出添加有shortcutconnection，然后进行层归一化。然后输出将通过下一个多头注意力，其中还引入了编码器层的输出。然后输出将通过前馈网络，该网络分别且相同地应用于每个位置。每个子层都引入了残差网络，以便在反向传播时容易收敛。
本实施例中，使用ResNet网络作为主干网络提取驾驶员的面部特征。通过ResNet网络中transformer架构中的encoder(编码器)进行特征提取，加强上下文特征的相关性，该步骤直接提取全脸特征，避免了人为规定提取眼睛、鼻子或嘴巴的步骤，可以显著提高模型的适用性。
在一种实施例中，提取若干历史时刻图像分别对应的面部特征以及当前时刻图像对应的面部特征，包括：将若干历史时刻图像分别对应的面部特征以及当前时刻图像对应的面部特征进行特征融合处理，得到融合特征；根据融合特征进行驾驶员疲劳检测，得到驾驶员当前时刻对应的第一疲劳驾驶结果。
在一种实施例中，将若干历史时刻图像分别对应的面部特征以及当前时刻图像对应的面部特征进行特征融合处理，得到融合特征，包括：基于ResNet网络的解码器，获取与当前时刻图像对应的面部特征相对应的若干个预测特征；将若干个预测特征进行加权组合，得到预测结果加权特征；将预测结果加权特征与若干历史时刻图像分别对应的面部特征进行特征融合，得到融合特征。
在一种实施例中，将若干历史时刻图像分别对应的面部特征以及当前时刻图像对应的面部特征进行特征融合处理，得到融合特征，包括：基于时间周期，保存时间周期内若干历史帧的特征，若干历史帧的特征为若干历史时刻图像分别对应的面部特征；利用transformer架构的解码器中的交叉注意力机制融合若干历史帧的特征。
具体地，本实施例中可以以每秒5帧为单位，使用memory模块保存历史10帧特征，用transformer的decoder中的交叉注意力机制融合历史帧的特征。该步骤相比于其他单帧方法，在空间特征以外加入了时间序列的信息流。以每秒5帧为单位，使用transformer架构中的注意力机制融合历史10帧的所有特征。
在一种实施例中，根据面部特征进行驾驶员疲劳检测，得到驾驶员当前时刻对应的第一疲劳驾驶结果，包括：基于分类器，将面部特征输入分类器中，通过分类器输出驾驶员当前时刻对应的第一疲劳驾驶结果；和/或；根据车辆特征进行驾驶员疲劳检测，得到驾驶员当前时刻对应的第二疲劳驾驶结果，包括：基于神经网络，根据车辆特征进行驾驶员疲劳检测，得到驾驶员当前时刻对应的第二疲劳驾驶结果。
本实施例中，使用transformer架构中的decoder(解码器)输出当前时刻图像面部特征相对应的若干个预测特征，比如人脸、面部landmark、头部姿态等。然后若干个预测特征进行加权组合，得到预测结果加权特征，再将预测结果加权特征与若干历史时刻图像分别对应的面部特征进行特征融合，得到融合特征，接着经过一个分类器对疲劳状态进行分类，比如分类结果可以为疲劳或非疲劳状态。本申请通过ResNet网络进行端到端的输出结果，使用大量数据进行驱动，避免了人为加入先验知识的步骤，提高了模型的泛化性。
另外，本实施例还可以提取驾驶员对应的驾驶行为信息以及车辆行为信息；将驾驶员对应的驾驶行为信息以及车辆行为信息作为车辆特征；将车辆特征与融合特征再次进行融合，得到第二融合特征，将第二融合特征输入分类器中，通过分类器输出驾驶员当前时刻对应的疲劳驾驶结果。本实施例中，当环境亮度正常时，即环境亮度满足第一亮度阈值时，可以提取驾驶员面部特征的同时，还可以考虑到驾驶员对应的驾驶行为信息以及车辆行为信息，从而有效提高了驾驶疲劳检测识别准确率。
S230、服务器判断当环境亮度信息满足第二亮度阈值时，提取驾驶员对应的驾驶行为信息以及车辆行为信息作为车辆特征，根据车辆特征进行驾驶员疲劳检测，得到驾驶员当前时刻对应的第二疲劳驾驶结果。
本实施例中，基于视觉的疲劳检测方法在正常光照条件下具有高可用性的特征，但是在其他极端条件下并不适用，为了克服纯视觉检测不适用于强光或者弱光的场景，本申请还可以在环境亮度信息满足第二亮度阈值时，通过提取驾驶员对应的驾驶行为信息以及车辆行为信息作为车辆特征；然后基于神经网络，接着根据车辆特征进行驾驶员疲劳检测，得到驾驶员当前时刻对应的第二疲劳驾驶结果。本实施例中，神经网络可以采用多层感知机MLP。
在一实施例中，驾驶员对应的驾驶行为信息包括方向盘转动角度，方向盘握力，刹车油门的感应值；车辆行为信息包括车道内车辆偏离度、速度变化率。
本实施例可以基于环境亮度传感器，采集车环境亮度信息；当环境亮度信息满足第一亮度阈值时，提取驾驶员的图像对应的面部特征，根据面部特征进行驾驶员疲劳检测，得到驾驶员当前时刻对应的第一疲劳驾驶结果；当环境亮度信息满足第二亮度阈值时，提取驾驶员对应的驾驶行为信息以及车辆行为信息作为车辆特征，根据车辆特征进行驾驶员疲劳检测，得到驾驶员当前时刻对应的第二疲劳驾驶结果。本申请在不增加驾驶员任何负重的情况下有效提高了驾驶疲劳检测识别准确率。本申请克服了环境光的极端场景下，视觉方法不可用的弊端。另外，本申请克服了人为的加入大量的先验知识，直接使用数据迭代，端到端的输出判断结果，极大的改善了检测方法的泛化性。本申请使用了基于时间序列的视觉检测方法，相比于传统的单帧检测方法，该基于时间序列的视频片段的检测方法更准确。而且本申请避免了传统方法专门提取眼睛等其他五官的步骤，直接使用神经网络提取整张脸的特征。更丰富的特征更有助于准确性的提高。本申请使用的transformer方法相比于传统的CNN方法，具有全局注意力的特征，能够更好的捕捉到全脸特征，本申请新增车辆速度变化率等作为特征，能够更好的描述疲劳驾驶的特征，提高了驾驶员疲劳驾驶检测准确率。
本申请实施例的驾驶员疲劳检测方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本申请的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本申请的保护范围内。
本申请实施例还提供一种驾驶员疲劳检测装置，驾驶员疲劳检测装置可以实现本申请的驾驶员疲劳检测方法，但本申请的驾驶员疲劳检测方法的实现装置包括但不限于本实施例列举的驾驶员疲劳检测装置的结构，凡是根据本申请的原理所做的现有技术的结构变形和替换，都包括在本申请的保护范围内。
如图3所示，本申请还提供了驾驶员疲劳检测装置，包括信息采集模块310、第一检测模块320以及第二检测模块330。其中，图像采集模310，被配置于基于环境亮度传感器，采集车环境亮度信息；第一检测模块320，被配置于当环境亮度信息满足第一亮度阈值时，提取驾驶员的图像对应的面部特征，根据面部特征进行驾驶员疲劳检测，得到驾驶员当前时刻对应的第一疲劳驾驶结果；第二检测模块330，被配置于当环境亮度信息满足第二亮度阈值时，提取驾驶员对应的驾驶行为信息以及车辆行为信息作为车辆特征，根据车辆特征进行驾驶员疲劳检测，得到驾驶员当前时刻对应的第二疲劳驾驶结果。
在一实施例中，第一检测模块320包括特征提取模块，特征提取模块被配置于：基于时间序列，采集驾驶员对应的若干历史时刻图像以及当前时刻图像；提取若干历史时刻图像分别对应的面部特征以及当前时刻图像对应的面部特征。
在一实施例中，特征提取模块包括特征提取子模块，特征提取子模块被配置于：基于ResNet网络的编码器，分别提取若干历史时刻图像分别对应的全脸特征以及当前时刻图像对应的全脸特征。
在一实施例中，特征提取子模块包括特征融合模块，特征融合模块被配置于：将若干历史时刻图像分别对应的面部特征以及当前时刻图像对应的面部特征进行特征融合处理，得到融合特征；根据融合特征进行驾驶员疲劳检测，得到驾驶员当前时刻对应的第一疲劳驾驶结果。
在一实施例中，特征融合模块包括加权模块，加权模块被配置于：包括：基于ResNet网络的解码器，获取与当前时刻图像对应的面部特征相对应的若干个预测特征；将若干个预测特征进行加权组合，得到预测结果加权特征；将预测结果加权特征与若干历史时刻图像分别对应的面部特征进行特征融合，得到融合特征。
在一实施例中，特征融合模块包括特征融合子模块，特征融合子模块被配置于：基于时间周期，保存时间周期内若干历史帧的特征，若干历史帧的特征为若干历史时刻图像分别对应的面部特征；利用transformer架构的解码器中的交叉注意力机制融合若干历史帧的特征。
在一实施例中，第一检测模块320还可以包括分类模块，分类模块被配置于：基于分类器，将面部特征输入分类器中，通过分类器输出驾驶员当前时刻对应的第一疲劳驾驶结果。
在一实施例中，第二检测模块330还可以包括第二检测子模块，第二检测子模块被配置于：基于神经网络，根据车辆特征进行驾驶员疲劳检测，得到驾驶员当前时刻对应的第二疲劳驾驶结果。
本实施例中，基于视觉的疲劳检测方法在正常光照条件下具有高可用性的特征，但是在其他极端条件下并不适用，为了克服纯视觉检测不适用于强光或者弱光的场景，本申请还能够通过提取驾驶员对应的驾驶行为信息以及车辆行为信息作为车辆特征；然后基于神经网络，接着根据车辆特征进行驾驶员疲劳检测，得到驾驶员当前时刻对应的第二疲劳驾驶结果。在一实施例中，驾驶员对应的驾驶行为信息包括方向盘转动角度，方向盘握力，刹车油门的感应值；车辆行为信息包括车道内车辆偏离度、速度变化率。
具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块的具体实施可参见前面的方法实施例，在此不再赘述。
由上可知，本申请克服了环境光的极端场景下，视觉方法不可用的弊端。另外，本申请克服了人为的加入大量的先验知识，直接使用数据迭代，端到端的输出判断结果，极大的改善了检测方法的泛化性。本申请使用了基于时间序列的视觉检测方法，相比于传统的单帧检测方法，该基于时间序列的视频片段的检测方法更准确。而且本申请避免了传统方法专门提取眼睛等其他五官的步骤，直接使用神经网络提取整张脸的特征。更丰富的特征更有助于准确性的提高。本申请使用的transformer方法相比于传统的CNN方法，具有全局注意力的特征，能够更好的捕捉到全脸特征，本申请新增速度变化率作为特征，能够更好的描述疲劳驾驶的特征，提高了驾驶员疲劳驾驶检测准确率。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置或方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅是示意性的，例如，模块/单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或单元可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块/单元可以是或者也可以不是物理上分开的，作为模块/单元显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块/单元来实现本申请实施例的目的。例如，在本申请各个实施例中的各功能模块/单元可以集成在一个处理模块中，也可以是各个模块/单元单独物理存在，也可以两个或两个以上模块/单元集成在一个模块/单元中。
本领域普通技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例还提供一种电子设备，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑，等等；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群，等等。
在一些实施例中，本申请提供的驾驶员疲劳检测装置还可以集成在多个电子设备中，比如，驾驶员疲劳检测装置可以集成在多个服务器中，由多个服务器来实现本申请的驾驶员疲劳检测方法。
在本实施例中，将以本实施例的电子设备是服务器为例进行详细描述，比如，如图4所示，其示出了本申请实施例所涉及的服务器的结构示意图，具体来讲：
该服务器可以包括一个或者一个以上处理核心的处理器410、一个或一个以上计算机可读存储介质的存储器420、电源430、输入模块440以及通信模块450等部件。本领域技术人员可以理解，图4中示出的服务器结构并不构成对服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器410是该服务器的控制中心，利用各种接口和线路连接整个服务器的各个部分，通过运行或执行存储在存储器420内的软件程序和/或模块，以及调用存储在存储器420内的数据，执行服务器的各种功能和处理数据，从而对服务器进行整体监控。在一些实施例中，处理器410可包括一个或多个处理核心；在一些实施例中，处理器410可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器410中。
存储器420可用于存储软件程序以及模块，处理器410通过运行存储在存储器420的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器420还可以包括存储器控制器，以提供处理器410对存储器420的访问。
服务器还包括给各个部件供电的电源430，在一些实施例中，电源430可以通过电源管理系统与处理器410逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源430还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该服务器还可包括输入模块440，该输入模块440可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
该服务器还可包括通信模块450，在一些实施例中通信模块450可以包括无线模块，服务器可以通过该通信模块450的无线模块进行短距离无线传输，从而为用户提供了无线的宽带互联网访问。比如，该通信模块450可以用于帮助用户收发电子邮件、浏览网页和访问流式媒体等。
尽管未示出，服务器还可以包括显示单元等，在此不再赘述。具体在本实施例中，服务器中的处理器410会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器420中，并由处理器410来运行存储在存储器420中的应用程序，从而实现驾驶员疲劳检测装置的各种功能。
在一些实施例中，本申请还提供了一种计算机可读存储介质。本领域普通技术人员可以理解实现上述实施例的方法中的全部或部分步骤是可以通过程序来指令处理器完成，的程序可以存储于计算机可读存储介质中，存储介质是非短暂性(non-transitory)介质，例如随机存取存储器，只读存储器，快闪存储器，硬盘，固态硬盘，磁带(magnetictape)，软盘(floppy disk)，光盘(optical disc)及其任意组合。上述存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本申请实施例还可以提供一种计算机程序产品，计算机程序产品包括一个或多个计算机指令。在计算设备上加载和执行计算机指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机或数据中心进行传输。
计算机程序产品被计算机执行时，计算机执行前述方法实施例的方法。该计算机程序产品可以为一个软件安装包，在需要使用前述方法的情况下，可以下载该计算机程序产品并在计算机上执行该计算机程序产品。
上述各个附图对应的流程或结构的描述各有侧重，某个流程或结构中没有详述的部分，可以参见其他流程或结构的相关描述。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。
Claims (11)
1.一种驾驶员疲劳检测方法，其特征在于，包括：
基于环境亮度传感器，采集车环境亮度信息；
当所述环境亮度信息满足第一亮度阈值时，提取所述驾驶员的图像对应的面部特征，根据所述面部特征进行驾驶员疲劳检测，得到所述驾驶员当前时刻对应的第一疲劳驾驶结果；
当所述环境亮度信息满足第二亮度阈值时，提取所述驾驶员对应的驾驶行为信息以及车辆行为信息作为车辆特征，根据所述车辆特征进行驾驶员疲劳检测，得到所述驾驶员当前时刻对应的第二疲劳驾驶结果。
2.根据权利要求1所述的方法，其特征在于，所述提取所述驾驶员的图像对应的面部特征，包括：
基于时间序列，采集所述驾驶员对应的若干历史时刻图像以及当前时刻图像；
提取所述若干历史时刻图像分别对应的面部特征以及所述当前时刻图像对应的面部特征。
3.根据权利要求2所述的方法，其特征在于，所述提取所述若干历史时刻图像分别对应的面部特征以及所述当前时刻图像对应的面部特征，包括：
基于ResNet网络的编码器，分别提取所述若干历史时刻图像分别对应的全脸特征以及所述当前时刻图像对应的全脸特征。
4.根据权利要求2所述的方法，其特征在于，所述提取所述若干历史时刻图像分别对应的面部特征以及所述当前时刻图像对应的面部特征，包括：
将所述若干历史时刻图像分别对应的面部特征以及所述当前时刻图像对应的面部特征进行特征融合处理，得到融合特征；
根据所述融合特征进行驾驶员疲劳检测，得到所述驾驶员当前时刻对应的第一疲劳驾驶结果。
5.根据权利要求4所述的方法，其特征在于，所述将所述若干历史时刻图像分别对应的面部特征以及所述当前时刻图像对应的面部特征进行特征融合处理，得到融合特征，包括：
基于ResNet网络的解码器，获取与所述当前时刻图像对应的面部特征相对应的若干个预测特征；
将所述若干个预测特征进行加权组合，得到预测结果加权特征；
将所述预测结果加权特征与所述若干历史时刻图像分别对应的面部特征进行特征融合，得到融合特征。
6.根据权利要求5所述的方法，其特征在于，所述将所述若干历史时刻图像分别对应的面部特征以及所述当前时刻图像对应的面部特征进行特征融合处理，得到融合特征，包括：
基于时间周期，保存所述时间周期内若干历史帧的特征，所述若干历史帧的特征为若干历史时刻图像分别对应的面部特征；
利用transformer架构的解码器中的交叉注意力机制融合所述若干历史帧的特征。
7.根据权利要求1所述的方法，其特征在于，所述根据所述面部特征进行驾驶员疲劳检测，得到所述驾驶员当前时刻对应的第一疲劳驾驶结果，包括：
基于分类器，将所述面部特征输入所述分类器中，通过所述分类器输出所述驾驶员当前时刻对应的第一疲劳驾驶结果；和/或；
根据所述车辆特征进行驾驶员疲劳检测，得到所述驾驶员当前时刻对应的第二疲劳驾驶结果，包括：基于神经网络，根据所述车辆特征进行驾驶员疲劳检测，得到所述驾驶员当前时刻对应的第二疲劳驾驶结果。
8.根据权利要求1所述的方法，其特征在于，所述驾驶员对应的驾驶行为信息包括方向盘转动角度，方向盘握力，刹车油门的感应值；所述车辆行为信息包括车道内车辆偏离度、速度变化率。
9.一种驾驶员疲劳检测装置，其特征在于，包括：
信息采集模块，用于基于环境亮度传感器，采集车环境亮度信息；
第一检测模块，用于当所述环境亮度信息满足第一亮度阈值时，提取所述驾驶员的图像对应的面部特征，根据所述面部特征进行驾驶员疲劳检测，得到所述驾驶员当前时刻对应的第一疲劳驾驶结果；
第二检测模块，用于当所述环境亮度信息满足第二亮度阈值时，提取所述驾驶员对应的驾驶行为信息以及车辆行为信息作为车辆特征，根据所述车辆特征进行驾驶员疲劳检测，得到所述驾驶员当前时刻对应的第二疲劳驾驶结果。
10.一种电子设备，其特征在于，所述电子设备包括：
存储器，所述存储器存储有多条指令；
处理器，所述处理器从所述存储器中加载指令，以执行如权利要求1～8任一种所述的驾驶员疲劳检测方法中的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被电子设备执行时实现权利要求1～8任一种所述的驾驶员疲劳检测方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211724513.8A CN115871679A (zh) | 2022-12-30 | 2022-12-30 | 驾驶员疲劳检测方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211724513.8A CN115871679A (zh) | 2022-12-30 | 2022-12-30 | 驾驶员疲劳检测方法、装置、电子设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115871679A true CN115871679A (zh) | 2023-03-31 |
Family
ID=85757536
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211724513.8A Pending CN115871679A (zh) | 2022-12-30 | 2022-12-30 | 驾驶员疲劳检测方法、装置、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115871679A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117079255A (zh) * | 2023-10-17 | 2023-11-17 | 江西开放大学 | 一种基于人脸识别和语音交互的疲劳驾驶检测方法 |
-
2022
- 2022-12-30 CN CN202211724513.8A patent/CN115871679A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117079255A (zh) * | 2023-10-17 | 2023-11-17 | 江西开放大学 | 一种基于人脸识别和语音交互的疲劳驾驶检测方法 |
| CN117079255B (zh) * | 2023-10-17 | 2024-01-05 | 江西开放大学 | 一种基于人脸识别和语音交互的疲劳驾驶检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109154976B (zh) | 通过机器学习训练对象分类器的系统和方法 | |
| AU2019343959B2 (en) | Region proposal with tracker feedback | |
| CA3077517A1 (en) | Method and system for classifying an object-of-interest using an artificial neural network | |
| EP4042318A1 (en) | System and method of generating a video dataset with varying fatigue levels by transfer learning | |
| EP3555815A1 (en) | Unsupervised learning techniques for temporal difference models | |
| JP7525990B2 (ja) | 主被写体判定装置、撮像装置、主被写体判定方法、及びプログラム | |
| US11113838B2 (en) | Deep learning based tattoo detection system with optimized data labeling for offline and real-time processing | |
| JP2021530823A (ja) | ニューラルネットワークのトレーニング方法、視線追跡方法及び装置並びに電子機器 | |
| CN114093022A (zh) | 活动检测装置、活动检测系统及活动检测方法 | |
| CN112149615A (zh) | 人脸活体检测方法、装置、介质及电子设备 | |
| WO2022103753A1 (en) | Video domain adaptation via contrastive learning | |
| CN115871679A (zh) | 驾驶员疲劳检测方法、装置、电子设备及介质 | |
| CN108985221A (zh) | 视频片段检测方法、装置、设备和存储介质 | |
| Venkatesvara Rao et al. | Real-time video object detection and classification using hybrid texture feature extraction | |
| CN108289201A (zh) | 视频数据处理方法、装置和电子设备 | |
| CN113269111B (zh) | 一种基于视频监控的电梯异常行为检测方法及系统 | |
| KR102110375B1 (ko) | 학습 전이 기반의 비디오 감시 방법 | |
| CN112579824A (zh) | 视频数据分类方法、装置、电子设备及存储介质 | |
| US11068718B2 (en) | Attribute classifiers for image classification | |
| CN113728355A (zh) | 一种图像处理方法和装置 | |
| CN112633496B (zh) | 一种检测模型的处理方法及装置 | |
| WO2022115178A1 (en) | Methods and systems for recognizing video stream hijacking on edge devices | |
| CN111062479A (zh) | 基于神经网络的模型快速升级方法及装置 | |
| CN118101862B (zh) | 图像处理方法、装置、设备及存储介质 | |
| US20220301403A1 (en) | Clustering and active learning for teach-by-example |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240912 Address after: 201203 Shanghai Pudong New Area China (Shanghai) Pilot Free Trade Zone, No. 366 Shangke Road and No. 10, Lane 55, Chuanhe Road Applicant after: ZONGMU TECHNOLOGY (SHANGHAI) Co.,Ltd. Country or region after: China Address before: 102300 room a-4653, building 20, Yong'an Road, Shilong Economic Development Zone, Mentougou District, Beijing Applicant before: BEIJING ZONGMU ANCHI INTELLIGENT TECHNOLOGY CO.,LTD. Country or region before: China |
|
| TA01 | Transfer of patent application right |