CN113537115A - 驾驶员的驾驶状态获取方法、装置及电子设备 - Google Patents

驾驶员的驾驶状态获取方法、装置及电子设备 Download PDF

Info

Publication number
CN113537115A
CN113537115A CN202110848727.5A CN202110848727A CN113537115A CN 113537115 A CN113537115 A CN 113537115A CN 202110848727 A CN202110848727 A CN 202110848727A CN 113537115 A CN113537115 A CN 113537115A
Authority
CN
China
Prior art keywords
face
driver
loss
driving state
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110848727.5A
Other languages
English (en)
Inventor
周伟杰
刘威
袁淮
吕晋
周婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Reach Automotive Technology Shenyang Co Ltd
Original Assignee
Neusoft Reach Automotive Technology Shenyang Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Reach Automotive Technology Shenyang Co Ltd filed Critical Neusoft Reach Automotive Technology Shenyang Co Ltd
Priority to CN202110848727.5A priority Critical patent/CN113537115A/zh
Publication of CN113537115A publication Critical patent/CN113537115A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种驾驶员的驾驶状态获取方法、装置及电子设备，涉及人脸识别技术领域，该方法首先需要实时获取驾驶员的人脸图像；然后将人脸图像中输入至已完成训练的特征提取模型进行特征检测；其中，特征提取模型包括：人脸关键点检测单元以及人脸欧拉角检测单元；人脸关键点检测单元根据人脸图像确定驾驶员的五官状态；人脸欧拉角检测单元根据人脸图像确定驾驶员的面部朝向，再根据驾驶员的五官状态以及面部朝向最终确定驾驶员的驾驶状态。该方法通过单一模型同时对面部朝向和关键点进行检测，节省车载设备的计算资源，有利于提高驾驶状态的获取速度，进一步提升驾驶员疲劳监测的效果。

Description

驾驶员的驾驶状态获取方法、装置及电子设备
技术领域
本发明涉及人脸识别技术领域，尤其是涉及一种驾驶员的驾驶状态获取方法、装置及电子设备。
背景技术
现有驾驶员疲劳监测过程中，需要通过驾驶员的面部朝向及人脸关键特征分别获取驾驶员的头部姿势以及五官状态，从而获取驾驶员是否处于疲劳驾驶状态。现有技术在处理面部朝向和人脸关键点检测的过程是采用分开处理的方式，即采用一个神经网络模型获取头部姿势，另一个神经网络模型获取人脸关键点，两种模型分别进行识别。但这种方式过度消耗车载设备的计算资源，识别速度较低。
发明内容
有鉴于此，本发明的目的在于提供一种驾驶员的驾驶状态获取方法、装置及电子设备，利用包含人脸关键点检测单元以及人脸欧拉角检测单元的特征提取模型对驾驶员的驾驶状态进行获取，通过单一模型同时对面部朝向和关键点进行检测，节省了车载设备的计算资源，有利于提高驾驶员的驾驶状态识别的速度，进一步提升驾驶员疲劳监测的效果。
第一方面，本发明实施例提供了一种驾驶员的驾驶状态获取方法，该方法用于驾驶员疲劳监测，包括：
实时获取驾驶员的人脸图像；
将人脸图像中输入至已完成训练的特征提取模型进行特征检测；其中，特征提取模型包括：人脸关键点检测单元以及人脸欧拉角检测单元；人脸关键点检测单元根据人脸图像确定驾驶员的五官状态；人脸欧拉角检测单元根据人脸图像确定驾驶员的面部朝向；
根据驾驶员的五官状态以及驾驶员的面部朝向确定驾驶员的驾驶状态。
在一些实施方式中，上述根据驾驶员的五官状态以及驾驶员的面部朝向确定驾驶员的驾驶状态的步骤，包括：
同时获取驾驶员的五官状态中的人脸关键点坐标以及驾驶员的面部朝向中的人脸欧拉角度；
通过人脸关键点坐标，确定驾驶员的第一驾驶状态识别结果；
通过人脸欧拉角度，确定驾驶员的第二驾驶状态识别结果；
根据第一驾驶状态识别结果以及第二驾驶状态识别结果，确定驾驶员的驾驶状态。
在一些实施方式中，上述特征提取模型的训练过程，包括：
获取样本图像；其中，样本图像包括人脸图像；
将样本图像输入至已初始化的卷积神经网络模型中进行训练；卷积神经网络模型包含共享参数层，其中，共享参数层至少包括：用于人脸关键点检测的第一共享参数层以及用于面部朝向检测的第二共享参数层；
根据预设的联合损失函数计算卷积神经网络模型的损失值；其中，联合损失函数用于对第一共享参数层的损失值及第二共享参数层的损失值进行计算；
当损失值满足预设期望阈值时停止训练，得到特征提取模型。
在一些实施方式中，上述联合损失函数为：
loss_total＝θ*loss_euler+λ*loss_point
其中，loss_point为第一共享参数层的损失函数；loss_euler为第二共享参数层的损失函数；loss_total为联合损失函数的输出值；λ为第一共享参数层的超参数；θ为第二共享参数层的超参数。
在一些实施方式中，上述第二共享参数层的损失函数为：
loss_enler＝ξ(σ*centerloss+α*Lsoftmax)+β*L_regression
其中，loss_enler为第二共享参数层的损失函数；Lsoftmax为分类损失函数，用于计算同一类别角度范围损失值；L_regression为角度回归损失函数，用于计算欧拉角的损失值；centerloss为中心损失函数，用于辅助所述分类损失函数学习面部角度的数据分布；α为所述分类损失函数的超参数；β为所述角度回归损失函数的超参数；σ为所述中心损失函数的超参数；ξ为所述分类损失与中心损失函数的超参数。
在一些实施方式中，上述第一共享参数层以及第二共享参数层的超参数，通过损失函数产生的梯度值来进行动态更新，包括：
利用预设的梯度损失函数，计算损失函数产生的梯度值；梯度损失函数为：
loss_grad＝(G(t)-G(t)_aver)*2
其中，t为迭代次数；G(t)为第一共享参数层以及第二共享参数层产生的梯度值；G(t)_aver为第一共享参数层以及第二共享参数层的平均梯度值；loss_grad为梯度损失值；
利用卷积神经网络模型中的优化器，对梯度损失值进行优化，并更新第一共享参数层以及第二共享参数层的超参数。
在一些实施方式中，上述人脸图像，包括：数字图像、包含关键点的热图、人脸热图上述一种或多种图像。
第二方面，本发明实施例提供了一种驾驶员的驾驶状态获取装置，该装置用于驾驶员疲劳监测，包括：
人脸获取单元，用于实时获取驾驶员的人脸图像；
特征检测单元，用于将人脸图像中输入至已完成训练的特征提取模型进行特征检测；其中，特征提取模型包括：人脸关键点检测单元以及人脸欧拉角检测单元；人脸关键点检测单元根据人脸图像确定驾驶员的五官状态；人脸欧拉角检测单元根据人脸图像确定驾驶员的面部朝向；
驾驶状态获取单元，用于根据驾驶员的五官状态以及驾驶员的面部朝向确定驾驶员的驾驶状态。
第三方面，本发明实施例还提供一种电子设备，包括存储器、处理器，存储器中存储有可在处理器上运行的计算机程序，其中，处理器执行计算机程序时实现上述第一方面的驾驶员的驾驶状态获取方法的步骤。
第四方面，本发明实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，其中，程序代码使处理器执行上述第一方面的驾驶员的驾驶状态获取方法的步骤。
本发明实施例带来了以下有益效果：
本发明提供了一种驾驶员的驾驶状态获取方法、装置及电子设备，应用于驾驶员疲劳监测，首先需要实时获取驾驶员的人脸图像；然后将人脸图像中输入至已完成训练的特征提取模型进行特征检测；其中，特征提取模型包括：人脸关键点检测单元以及人脸欧拉角检测单元；人脸关键点检测单元根据人脸图像确定驾驶员的五官状态；人脸欧拉角检测单元根据人脸图像确定驾驶员的面部朝向，再根据驾驶员的五官状态以及驾驶员的面部朝向最终确定驾驶员的驾驶状态。该方法利用包含人脸关键点检测单元以及人脸欧拉角检测单元的特征提取模型对驾驶员的驾驶状态进行获取，通过单一模型同时对面部朝向和关键点进行检测，节省车载设备的计算资源，有利于提高驶员的驾驶状态识别的速度，进一步提升驾驶员疲劳监测的效果。
本发明的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义的确定，或者通过实施本发明的上述技术即可得知。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施方式，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种驾驶员的驾驶状态获取方法的流程图；
图2为本发明实施例提供的驾驶员的驾驶状态获取方法中步骤S103的流程图；
图3为本发明实施例提供的驾驶员的驾驶状态获取方法中特征提取模型的训练流程图；
图4为本发明实施例提供的利用驾驶员的驾驶状态获取方法进行驾驶状态检测的示意图；
图5为本发明实施例提供的一种驾驶员的驾驶状态获取装置的结构示意图；
图6为本发明实施例提供的一种电子设备的结构示意图。
图标：
510-人脸获取单元；520-特征检测单元；530-驾驶状态获取单元；101-处理器；102-存储器；103-总线；104-通信接口。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
驾驶员疲劳监测系统是利用车内相机实时监视驾驶员的头部，通过面部朝向以及五官信息分别获取驾驶员的头部姿势以及五官状态，进而判断驾驶员是否处于疲劳驾驶。面部朝向用于判断驾驶员是否目视前方、是否频繁点头，从而进一步判断出驾驶员是否注意力集中。五官信息用于判断驾驶员是否产生疲劳，如通过眼睛判断驾驶员是否睡着；通过五官表情判断驾驶员是否打哈欠，进一步判断驾驶员是否疲劳驾驶。可见，面部朝向以及五官信息是驾驶员疲劳监测的关键环节。
现有技术在处理面部朝向和人脸关键点检测的过程是采用分开处理的方式，即采用一个神经网络模型获取头部姿势，另一个神经网络模型获取人脸关键点，两种模型分别进行识别。但这种方式过度消耗车载设备的计算资源，识别速度较低。
基于此，本发明实施例提供的一种驾驶员的驾驶状态获取方法、装置及电子设备，利用包含人脸关键点检测单元以及人脸欧拉角检测单元的特征提取模型对驾驶员的驾驶状态进行获取，通过单一模型同时对面部朝向和关键点进行检测，节省了车载设备的计算资源，有利于提高驾驶员的驾驶状态识别的速度，进一步提升驾驶员疲劳监测的效果。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种驾驶员的驾驶状态获取方法进行详细介绍。
参见图1所示的一种驾驶员的驾驶状态获取方法的流程图，该方法用于驾驶员疲劳监测，具体包括：
步骤S101，实时获取驾驶员的人脸图像。
驾驶员疲劳监测过程需要结合特定的监测系统才能实现，此类监测系统中至少包括一个实时获取驾驶员头部照片的相机，该相机一般设置在驾驶员正前方，用来对驾驶员进行实时拍摄。该监测系统中也可布置多个相机，分别拍摄驾驶员头部的不同区域，有利于提高头部图像的有效区域。头部图像还可以通过相机实时录制的视频流中进行获取，即通过视频帧来获取头部图像。
在获取驾驶员头部图像后，需要对其进行人脸识别，最终实时获得驾驶员的人脸图像；人脸识别可利用现有技术中的各类人脸识别算法，在此不再赘述。
步骤S102，将人脸图像中输入至已完成训练的特征提取模型进行特征检测；其中，特征提取模型包括：人脸关键点检测单元以及人脸欧拉角检测单元；人脸关键点检测单元根据人脸图像确定驾驶员的五官状态；人脸欧拉角检测单元根据人脸图像确定驾驶员的面部朝向。
该步骤中的特征提取模型已完成训练并部署在车载设备中，步骤S101获取的人脸图像输入至特征提取模型中进行特征检测，检测结果以特征点及其属性数据的形式进行输出。该特征提取模型包括两个单元，即人脸关键点检测单元和人脸欧拉角检测单元。
人脸关键点检测是指能够得到人脸特征的一些点位，通过这些关键点可表征出人脸的五官。如这些人脸关键点分布在眼睛、鼻子、嘴巴等区域，通过这些关键点进行简单连接形成闭合区域，而这些闭合区域能够表征出人脸的五官，从而得到人脸的面部姿态。
人脸欧拉角包含三个角度，即人脸的偏航角、俯仰角、翻滚角。这三个角度可理解为三个坐标轴，能够表征人脸的面部朝向。具体的说，人脸关键点检测单元最终确定的是驾驶员的五官状态；人脸欧拉角检测单元最终确定的是驾驶员的面部朝向。
步骤S103，根据驾驶员的五官状态以及驾驶员的面部朝向确定驾驶员的驾驶状态。
通过人脸关键点检测单元输出驾驶员的面部特征，该面部特征通过人脸关键点进行表征。例如，通过驾驶员面部特征的关键点来获取驾驶员的面部信息，进一步获取驾驶员的是否处于疲劳状态；如通过眼皮闭合时间判断驾驶员是否睡着、通过表情判断驾驶员是否频繁打哈欠、通过五官位置判断驾驶员是否频繁点头，从而通过驾驶员的面部特征判断驾驶员的驾驶状态。
通过人脸欧拉角检测单元输出驾驶员的面部朝向，该面部朝向的输出结果可以人脸欧拉角度的结果来表示。通过人脸的偏航角、俯仰角以及翻滚角度来获取驾驶员的面部朝向，从而通过驾驶员的面部朝向判断驾驶员的驾驶状态。
通过上述实施例中的驾驶员的驾驶状态获取方法可知，该方法利用包含人脸关键点检测单元以及人脸欧拉角检测单元的特征提取模型对驾驶员的驾驶状态进行获取，通过单一模型同时对面部朝向和关键点进行检测，节省了车载设备的计算资源，有利于提高驾驶员的驾驶状态识别的速度，进一步提升驾驶员疲劳监测的效果。
在一些实施方式中，上述根据驾驶员的五官状态以及驾驶员的面部朝向确定驾驶员的驾驶状态的步骤S103，如图2所示，包括：
步骤S201，同时获取驾驶员的五官状态中的人脸关键点坐标以及驾驶员的面部朝向中的人脸欧拉角度。
驾驶员的五官状态的数据中包含各类人脸的关键点及其属性参数，该步骤中将人脸关键点坐标作为驾驶员的驾驶状态的第一数据源；类似的，面部朝向中包含人脸的朝向数据，如人脸对应的欧拉角度，该步骤将人脸欧拉角度作为驾驶员的驾驶状态的第二数据源。
步骤S202，通过人脸关键点坐标，确定驾驶员的第一驾驶状态识别结果。
具体实施过程中，人脸关键点通过特征提取模型中的人脸关键点检测单元获取，如利用DAN神经网络输出68个人脸关键点，这68个人脸关键点包含人脸的轮廓、眼睛区域、鼻子区域以及嘴巴区域，这些关键点能够表征人脸的面部信息，进一步可获取人脸的表情、心情、甚至性别、年龄等。可见获取的人脸关键点坐标能够作为驾驶员疲劳监测数据源，因此该步骤将人脸关键点坐标作为第一驾驶状态识别结果。
步骤S203，通过人脸欧拉角度，确定驾驶员的第二驾驶状态识别结果。
具体实施过程中，人脸欧拉角度通过特征提取模型中的人脸欧拉角检测单元获取，如利用相关面部朝向算法得到人脸的欧拉角(roll、pitch、yaw)，所涉及的x轴为水平横轴；y轴为竖直纵轴；z轴为垂直竖轴。其中，pitch为俯仰角，围绕x轴旋转；yaw为偏航角，围绕y轴旋转；roll为翻滚角，围绕z轴旋转。通过人脸欧拉角度的结果，能够获取驾驶员的面部朝向，因此将人脸欧拉角度作为第二驾驶状态识别结果。
需注意的是，步骤S202与步骤S203是并列关系，即第一驾驶状态识别结果和第二驾驶状态识别结果的获取过程是同时进行的。
步骤S204，根据第一驾驶状态识别结果以及第二驾驶状态识别结果，确定驾驶员的驾驶状态。
驾驶员的驾驶状态包含了人脸面部朝向以及人脸面部特征，从两个层面上对驾驶员的疲劳监测状态进行识别。识别过程所用的特征提取模型为单一的模型结构，该模型能够实现将人脸关键点检测以及人脸欧拉角检测融合到一个神经网络模型中，可降低模型出现过度拟合的风险。
在一些实施方式中，上述特征提取模型的训练过程，如图3所示，包括：
步骤S301，获取样本图像；其中，样本图像包括人脸图像。
模型训练过程中所用的样本图像，其图像尺寸尽可能的与监控图像相同，如果尺寸不同也可通过剪裁的方式使其二者相同。样本图像中包括不同人脸的图像，一些样本图像中也可不包含人脸图像，样本图像的多样化有助于模型训练过程中提升模型的性能。
步骤S302，将样本图像输入至已初始化的卷积神经网络模型中进行训练；卷积神经网络模型包含共享参数层，其中，共享参数层至少包括：用于人脸关键点检测的第一共享参数层以及用于面部朝向检测的第二共享参数层。
除了卷积神经网络本身存在的卷积层、池化层等，该卷积神经网络还包括一个共享参数层，共享参数层包含了两个分支，一个分支为关键点分支；另一个分支为欧拉角分支。该卷积神经网络将人脸关键点获取和人脸朝向融合到一起，实现了两个识别任务的结合，可降低现有技术中两类模型训练时出现过度拟合的风险。
步骤S303，根据预设的联合损失函数计算卷积神经网络模型的损失值；其中，联合损失函数用于对第一共享参数层的损失值及第二共享参数层的损失值进行计算。
预设的损失函数包含人脸关键点检测以及面部朝向检测两类因素，在具体实施过程中，上述联合损失函数为：
loss_total＝θ*loss_euler+λ*loss_point
其中，loss_point为第一共享参数层的损失函数；loss_euler为第二共享参数层的损失函数；loss_total为联合损失函数的输出值；λ为第一共享参数层的超参数；θ为第二共享参数层的超参数。
步骤S304，当损失值满足预设期望阈值时停止训练，得到特征提取模型。
模型的损失值作为模型是否完成训练的条件，当损失值满足预设期望阈值时停止训练，从而得到特征提取模型。该期望阈值的设置需结合实际情况而定，例如期望阈值越大，表示模型需要更高的精度，但训练的时间就会加长；与之对应的，期望阈值越小，表示模型精度需求较低，但训练的时间就会减少。
由于欧拉角度的数据分布是离散的，提取的特征不能紧密围绕在样本中心，因此在第二共享参数层的损失函数中引入中心损失函数，具体的上述第二共享参数层的损失函数为：
loss_enler＝ξ(σ*centerloss+α*Lsoftmax)+β*L_regression
其中，loss_enler为第二共享参数层的损失函数；Lsoftmax为分类损失函数，用于计算同一类别角度范围损失值；L_regression为角度回归损失函数，用于计算欧拉角的损失值；centerloss为中心损失函数，用于辅助所述分类损失函数学习面部角度的数据分布；α为所述分类损失函数的超参数；β为所述角度回归损失函数的超参数；σ为所述中心损失函数的超参数；ξ为所述分类损失与中心损失函数的超参数。此时的联合损失函数为：
loss_total＝θ*(ξ(σ*centerloss+α*Lsoftmax)+β*L_regression)+λ*loss_point
具体实施过程中，可将头部姿势相差五度之内(但不限于五度)的图像记为同一个类别，Lsoftmax和centerloss损失函数是同时使用的。centerloss是对于同一类别内的特征分布限制在一个很小的范围内，这样有助于提升模型对图像分类精度。
特征提取模型的训练过程受到四个结果监督：分类损失、定位损失、中心损失以及关键点位置损失，在较多的监督状态下能够有助于提升模型的整体性能。
损失函数的超参数为权重系数，在模型训练的时候需要联合调解，以此调节欧拉角度损失和关键点损失的权重比。在一些实施方式中，上述第一共享参数层以及第二共享参数层的超参数，通过损失函数产生的梯度值来进行动态更新，包括：
利用预设的梯度损失函数，计算损失函数产生的梯度值；梯度损失函数为：
loss_grad＝(G(t)-G(t)_aver)*2
其中，t为迭代次数；G(t)为第一共享参数层以及第二共享参数层产生的梯度值；G(t)_aver为第一共享参数层以及第二共享参数层的平均梯度值；loss_grad为梯度损失值；
利用卷积神经网络模型中的优化器，对梯度损失值进行优化，并改变第一共享参数层以及第二共享参数层的超参数，实现了对欧拉角度损失和关键点损失的动态调整。由于模型处理多任务时，在共享参数层容易出现梯度不均匀的情况从而影响模型效果，通过在参数共享层进行梯度归一化，使得不同任务在反向传播时梯度均衡，意味着模型不同任务对权重更新的量级接近，进而提升模型的表达效果。
在一些实施方式中，上述人脸图像，包括：数字图像、包含关键点的热图、人脸热图上述一种或多种图像。
在网络的损失函数设计上，关键点部分的损失函数可以是采用L2-loss的损失函数，也可以是其他关键点检测算法的损失函数；梯度损失函数设计上，可以引入更新速度与更新步长限制等情况。共享参数层可以是已有的一些网络，比如基于MobilenetV1或者MobilenetV2网络等，也可以是基于上述这些网络做出一些网络层修改的网络。
如图4所示的利用驾驶员的驾驶状态获取方法进行驾驶状态检测的示意图可知，该方法人脸图像为一个黑白人脸图，经过特征提取模型的关键点分支以及欧拉角分支后，输出一个同时包含人脸关键点以及人脸欧拉角度结果的驾驶员人脸图，并最终将其用于驾驶员疲劳监测系统中。
通过上述实施例中的驾驶员的驾驶状态获取方法可知，该方法利用包含人脸关键点检测单元以及人脸欧拉角检测单元的特征提取模型进行驾驶员的驾驶状态的获取，将面部朝向以及面部特征的融合到一个神经网络模型中，提升了计算性能；同时，在面部朝向任务中增加了中心损失函数，进一步提升面部朝向的识别速度。该方法节省了车载设备的计算资源，有利于提高驾驶员驾驶状态获取的速度，进一步提升驾驶员疲劳监测的效果。
对应于上述方法实施例，本发明实施例还提供了一种驾驶员的驾驶状态获取装置，该装置用于驾驶员疲劳监测，其结构示意图如图5所示，包括：
人脸获取单元510，用于实时获取驾驶员的人脸图像；
特征检测单元520，用于将人脸图像中输入至已完成训练的特征提取模型进行特征检测；其中，特征提取模型包括：人脸关键点检测单元以及人脸欧拉角检测单元；人脸关键点检测单元根据人脸图像确定驾驶员的五官状态；人脸欧拉角检测单元根据人脸图像确定驾驶员的面部朝向；
驾驶状态获取单元530，用于根据驾驶员的五官状态以及驾驶员的面部朝向确定驾驶员的驾驶状态。
本发明实施例提供的驾驶员的驾驶状态获取装置，与上述实施例提供的驾驶员的驾驶状态获取方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。为简要描述，实施例部分未提及之处，可参考前述驾驶员的驾驶状态获取方法实施例中相应内容。
本实施例还提供一种电子设备，为该电子设备的结构示意图如图6所示，该设备包括处理器101和存储器102；其中，存储器102用于存储一条或多条计算机指令，一条或多条计算机指令被处理器执行，以实现上述驾驶员的驾驶状态获取方法。
图6所示的电子设备还包括总线103和通信接口104，处理器101、通信接口104和存储器102通过总线103连接。
其中，存储器102可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。总线103可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
通信接口104用于通过网络接口与至少一个用户终端及其它网络单元连接，将封装好的IPv4报文或IPv4报文通过网络接口发送至用户终端。
处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本公开实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本公开实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器102，处理器101读取存储器102中的信息，结合其硬件完成前述实施例的方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行前述实施例的方法的步骤。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、设备和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，设备或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以用软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种驾驶员的驾驶状态获取方法，其特征在于，所述方法用于驾驶员疲劳监测，所述方法包括：
实时获取驾驶员的人脸图像；
将所述人脸图像中输入至已完成训练的特征提取模型进行特征检测；其中，所述特征提取模型包括：人脸关键点检测单元以及人脸欧拉角检测单元；所述人脸关键点检测单元根据所述人脸图像确定所述驾驶员的五官状态；所述人脸欧拉角检测单元根据所述人脸图像确定所述驾驶员的面部朝向；
根据所述驾驶员的五官状态以及所述驾驶员的面部朝向确定所述驾驶员的驾驶状态。
2.根据权利要求1所述的驾驶员的驾驶状态获取方法，其特征在于，根据所述驾驶员的五官状态以及所述驾驶员的面部朝向确定所述驾驶员的驾驶状态的步骤，包括：
同时获取所述驾驶员的五官状态中的人脸关键点坐标以及所述驾驶员的面部朝向中的人脸欧拉角度；
通过所述人脸关键点坐标，确定所述驾驶员的第一驾驶状态识别结果；
通过所述人脸欧拉角度，确定所述驾驶员的第二驾驶状态识别结果；
根据所述第一驾驶状态识别结果以及所述第二驾驶状态识别结果，确定所述驾驶员的驾驶状态。
3.根据权利要求1所述的驾驶员的驾驶状态获取方法，其特征在于，所述特征提取模型的训练过程，包括：
获取样本图像；其中，所述样本图像包括人脸图像；
将所述样本图像输入至已初始化的卷积神经网络模型中进行训练；所述卷积神经网络模型包含共享参数层，其中，所述共享参数层至少包括：用于人脸关键点检测的第一共享参数层以及用于面部朝向检测的第二共享参数层；
根据预设的联合损失函数计算所述卷积神经网络模型的损失值；其中，所述联合损失函数用于对所述第一共享参数层的损失值及所述第二共享参数层的损失值进行计算；
当所述损失值满足预设期望阈值时停止训练，得到所述特征提取模型。
4.根据权利要求3所述的驾驶员的驾驶状态获取方法，其特征在于，所述联合损失函数为：
loss_total＝θ*loss_euler+λ*loss_point
其中，loss_point为所述第一共享参数层的损失函数；loss_euler为所述第二共享参数层的损失函数；loss_total为所述联合损失函数的输出值；λ为所述第一共享参数层的超参数；θ为所述第二共享参数层的超参数。
5.根据权利要求4所述的驾驶员的驾驶状态获取方法，其特征在于，所述第二共享参数层的损失函数为：
loss_enler＝ξ(σ*centerloss+α*Lsoftmax)+β*L_regression
其中，loss_enler为第二共享参数层的损失函数；Lsoftmax为分类损失函数，用于计算同一类别角度范围损失值；L_regression为角度回归损失函数，用于计算欧拉角的损失值；centerloss为中心损失函数，用于辅助所述分类损失函数学习面部角度的数据分布；α为所述分类损失函数的超参数；β为所述角度回归损失函数的超参数；σ为所述中心损失函数的超参数；ξ为所述分类损失与中心损失函数的超参数。
6.根据权利要求5所述的驾驶员的驾驶状态获取方法，其特征在于，所述第一共享参数层以及所述第二共享参数层的超参数，通过所述损失函数产生的梯度值来进行动态更新，包括：
利用预设的梯度损失函数，计算所述损失函数产生的梯度值；所述梯度损失函数为：
loss_grad＝(G(t)-G(t)_aver)*2
其中，t为迭代次数；G(t)为所述第一共享参数层以及所述第二共享参数层产生的梯度值；G(t)_aver为所述第一共享参数层以及所述第二共享参数层的平均梯度值；loss_grad为梯度损失值；
利用所述卷积神经网络模型中的优化器，对所述梯度损失值进行优化，并更新所述第一共享参数层以及所述第二共享参数层的超参数。
7.根据权利要求1所述的驾驶员的驾驶状态获取方法，其特征在于，所述人脸图像，包括：数字图像、包含关键点的热图、人脸热图上述一种或多种图像。
8.一种驾驶员的驾驶状态获取装置，其特征在于，所述装置用于驾驶员疲劳监测，所述装置包括：
人脸获取单元，用于实时获取驾驶员的人脸图像；
特征检测单元，用于将所述人脸图像中输入至已完成训练的特征提取模型进行特征检测；其中，所述特征提取模型包括：人脸关键点检测单元以及人脸欧拉角检测单元；所述人脸关键点检测单元根据所述人脸图像确定所述驾驶员的五官状态；所述人脸欧拉角检测单元根据所述人脸图像确定所述驾驶员的面部朝向；
驾驶状态获取单元，用于根据所述驾驶员的五官状态以及所述驾驶员的面部朝向确定所述驾驶员的驾驶状态。
9.一种电子设备，其特征在于，包括：处理器和存储装置；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时实现如权利要求1至7任一项所述的驾驶员的驾驶状态获取方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时实现上述权利要求1至7任一项所述的驾驶员的驾驶状态获取方法的步骤。
CN202110848727.5A 2021-07-26 2021-07-26 驾驶员的驾驶状态获取方法、装置及电子设备 Pending CN113537115A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110848727.5A CN113537115A (zh) 2021-07-26 2021-07-26 驾驶员的驾驶状态获取方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110848727.5A CN113537115A (zh) 2021-07-26 2021-07-26 驾驶员的驾驶状态获取方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN113537115A true CN113537115A (zh) 2021-10-22

Family

ID=78089106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110848727.5A Pending CN113537115A (zh) 2021-07-26 2021-07-26 驾驶员的驾驶状态获取方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN113537115A (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109508654A (zh) * 2018-10-26 2019-03-22 中国地质大学（武汉） 融合多任务和多尺度卷积神经网络的人脸分析方法及系统
US20190130275A1 (en) * 2017-10-26 2019-05-02 Magic Leap, Inc. Gradient normalization systems and methods for adaptive loss balancing in deep multitask networks
CN110096965A (zh) * 2019-04-09 2019-08-06 华东师范大学 一种基于头部姿态的人脸识别方法
CN110334600A (zh) * 2019-06-03 2019-10-15 武汉工程大学 一种多特征融合驾驶员异常表情识别方法
CN110674701A (zh) * 2019-09-02 2020-01-10 东南大学 一种基于深度学习的驾驶员疲劳状态快速检测方法
CN110807352A (zh) * 2019-08-29 2020-02-18 浙江零跑科技有限公司 一种用于危险驾驶行为预警的车内外场景视觉分析方法
CN110837815A (zh) * 2019-11-15 2020-02-25 济宁学院 一种基于卷积神经网络的驾驶员状态监测方法
CN112016429A (zh) * 2020-08-21 2020-12-01 高新兴科技集团股份有限公司 基于火车驾驶室场景下疲劳驾驶检测方法
CN112183482A (zh) * 2020-10-29 2021-01-05 苏州市职业大学 危险驾驶行为识别方法、装置、系统及可读存储介质
US20210004619A1 (en) * 2018-10-19 2021-01-07 Shanghai Sensetime Intelligent Technology Co., Ltd. Driving state analysis method and apparatus, driver monitoring system and vehicle
US20210004618A1 (en) * 2018-10-19 2021-01-07 Shanghai Sensetime Intelligent Technology Co., Ltd. Driving state detection method and apparatus, driver monitoring system and vehicle
CN112287855A (zh) * 2020-11-02 2021-01-29 东软睿驰汽车技术（沈阳）有限公司 基于多任务神经网络的驾驶行为检测方法和装置
CN112347896A (zh) * 2020-11-02 2021-02-09 东软睿驰汽车技术（沈阳）有限公司 基于多任务神经网络的头部数据处理方法及装置
CN112766186A (zh) * 2021-01-22 2021-05-07 北京工业大学 一种基于多任务学习的实时人脸检测及头部姿态估计方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190130275A1 (en) * 2017-10-26 2019-05-02 Magic Leap, Inc. Gradient normalization systems and methods for adaptive loss balancing in deep multitask networks
US20210004619A1 (en) * 2018-10-19 2021-01-07 Shanghai Sensetime Intelligent Technology Co., Ltd. Driving state analysis method and apparatus, driver monitoring system and vehicle
US20210004618A1 (en) * 2018-10-19 2021-01-07 Shanghai Sensetime Intelligent Technology Co., Ltd. Driving state detection method and apparatus, driver monitoring system and vehicle
CN109508654A (zh) * 2018-10-26 2019-03-22 中国地质大学（武汉） 融合多任务和多尺度卷积神经网络的人脸分析方法及系统
CN110096965A (zh) * 2019-04-09 2019-08-06 华东师范大学 一种基于头部姿态的人脸识别方法
CN110334600A (zh) * 2019-06-03 2019-10-15 武汉工程大学 一种多特征融合驾驶员异常表情识别方法
CN110807352A (zh) * 2019-08-29 2020-02-18 浙江零跑科技有限公司 一种用于危险驾驶行为预警的车内外场景视觉分析方法
CN110674701A (zh) * 2019-09-02 2020-01-10 东南大学 一种基于深度学习的驾驶员疲劳状态快速检测方法
CN110837815A (zh) * 2019-11-15 2020-02-25 济宁学院 一种基于卷积神经网络的驾驶员状态监测方法
CN112016429A (zh) * 2020-08-21 2020-12-01 高新兴科技集团股份有限公司 基于火车驾驶室场景下疲劳驾驶检测方法
CN112183482A (zh) * 2020-10-29 2021-01-05 苏州市职业大学 危险驾驶行为识别方法、装置、系统及可读存储介质
CN112287855A (zh) * 2020-11-02 2021-01-29 东软睿驰汽车技术（沈阳）有限公司 基于多任务神经网络的驾驶行为检测方法和装置
CN112347896A (zh) * 2020-11-02 2021-02-09 东软睿驰汽车技术（沈阳）有限公司 基于多任务神经网络的头部数据处理方法及装置
CN112766186A (zh) * 2021-01-22 2021-05-07 北京工业大学 一种基于多任务学习的实时人脸检测及头部姿态估计方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LEON_WINTER: "GradNorm：Gradient Normalization for Adaptive Loss Balancing in Deep Multitask Network，梯度归一化", pages 1 - 2, Retrieved from the Internet <URL:《https://blog.csdn.net/Leon_winter/article/details/105014677》> *
NATANIEL RUIZ 等: "Fine-Grained Head Pose Estimation Without Keypoints", 《ARXIV:1710.00925V5》, pages 1 - 10 *
力拔山兮气盖世: "人脸识别损失函数(Center-Loss、A-Softmax、AM-Softmax、ArcFace)", pages 1 - 2, Retrieved from the Internet <URL:《https://zhuanlan.zhihu.com/p/62680658》> *

Similar Documents

Publication Publication Date Title
KR102459221B1 (ko) 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
CN109829448B (zh) 人脸识别方法、装置及存储介质
CN112084856A (zh) 一种人脸姿态检测方法、装置、终端设备及存储介质
WO2020199611A1 (zh) 活体检测方法和装置、电子设备及存储介质
CN111340195B (zh) 网络模型的训练方法及装置、图像处理方法及存储介质
WO2019238072A1 (zh) 深度神经网络的归一化方法和装置、设备、存储介质
CN110580466A (zh) 婴儿踢被子行为识别方法、装置、计算机设备及存储介质
CN106709404A (zh) 图像处理装置及图像处理方法
US20220198836A1 (en) Gesture recognition method, electronic device, computer-readable storage medium, and chip
US10733481B2 (en) Cloud device, terminal device, and method for classifying images
US11335128B2 (en) Methods and systems for evaluating a face recognition system using a face mountable device
US11222439B2 (en) Image processing apparatus with learners for detecting orientation and position of feature points of a facial image
CN111767867A (zh) 文本检测方法、模型训练方法及对应装置
CN111860056B (zh) 基于眨眼的活体检测方法、装置、可读存储介质及设备
CN109298783B (zh) 基于表情识别的标注监控方法、装置及电子设备
KR101961462B1 (ko) 객체 인식 방법 및 장치
CN113635896A (zh) 一种驾驶行为确定方法及其相关设备
CN113158971A (zh) 一种事件检测模型训练方法及事件分类方法、系统
CN113537115A (zh) 驾驶员的驾驶状态获取方法、装置及电子设备
KR102601135B1 (ko) 전자 장치 및 이의 제어 방법
CN114187465A (zh) 分类模型的训练方法、装置、电子设备及存储介质
KR102170416B1 (ko) 컴퓨터와 크라우드 소싱을 이용한 비디오 사전 처리 방법
CN116245915A (zh) 一种基于视频的目标跟踪方法
CN116434303A (zh) 基于多尺度特征融合的人脸表情捕捉方法、装置及介质
CN116710974A (zh) 在合成数据系统和应用程序中使用域对抗学习的域适应

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination