CN111310617B - 分神驾驶检测方法、装置及存储介质 - Google Patents

分神驾驶检测方法、装置及存储介质 Download PDF

Info

Publication number
CN111310617B
CN111310617B CN202010079063.6A CN202010079063A CN111310617B CN 111310617 B CN111310617 B CN 111310617B CN 202010079063 A CN202010079063 A CN 202010079063A CN 111310617 B CN111310617 B CN 111310617B
Authority
CN
China
Prior art keywords
face
current image
angle
euler
adjustment amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010079063.6A
Other languages
English (en)
Other versions
CN111310617A (zh
Inventor
钟学贤
黄玉辉
姚万超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Fabu Technology Co Ltd
Original Assignee
Hangzhou Fabu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Fabu Technology Co Ltd filed Critical Hangzhou Fabu Technology Co Ltd
Priority to CN202010079063.6A priority Critical patent/CN111310617B/zh
Publication of CN111310617A publication Critical patent/CN111310617A/zh
Application granted granted Critical
Publication of CN111310617B publication Critical patent/CN111310617B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种分神驾驶检测方法、装置及计算机存储介质。该方法包括：在检测时间内获取当前图像中的人脸的关键点；根据当前图像中的人脸的关键点和标准人脸模型，确定当前图像中的人脸的欧拉角；根据当前图像中的人脸的欧拉角和当前图像的欧拉角调整量，得到当前图像中的人脸的欧拉角的调整量；根据当前图像中的人脸的欧拉角的调整量和预设的欧拉角阈值，确定当前图像对应的检测结果；根据当前图像的检测结果和检测时间内在当前图像之前的其他图像的检测结果，确定是否进行专注力警告，并输出专注力警告信号。本发明的方法，通过对人脸欧拉角的动态调整提高了分神驾驶检测装置的准确度。

Description

分神驾驶检测方法、装置及存储介质
技术领域
本发明涉及安全驾驶技术领域，尤其涉及一种分神驾驶检测方法、装置及存储介质。
背景技术
我国道路交通安全形势已经十分严峻，不仅事故多、而且危害大，但当前发生交通事故的主要原因是由于疲劳驾驶所引发的，因而驾驶行为智能分析预警系统具有重要的应用价值。
现有技术中对于驾驶员的驾驶行为监测大部分采用人工智能技术，通过检测司机人脸，进而将估算得到人脸的欧拉角与固定的阈值进行对比，判断为司机的驾驶行为是否符合要求。
然而，现有技术中检测驾驶员驾驶行为的方案，存在由于检测器安装角度不同，驾驶员人脸和检测器的相对位置也会因此不同，如果检测器将人脸的欧拉角与一个固定的阈值进行比较，会导致检测结果不准确。
发明内容
本发明提供一种分神驾驶检测方法、装置及存储介质，用以解决了现有技术中驾驶员分神检测系统检测结果不准确的问题。
第一方面，本发明提供一种分神驾驶检测方法，包括：
在检测时间内获取当前图像，所述当前图像中包括驾驶室内驾驶人员的人脸；
获取所述当前图像中的人脸的关键点；
根据所述当前图像中的人脸的关键点和标准人脸模型，确定所述当前图像中的人脸的欧拉角；
对所述当前图像中的人脸的欧拉角和与所述当前图像相邻的前一帧图像的欧拉角调整量进行计算，得到计算结果，所述欧拉角调整量用于调整图像中的人脸的欧拉角；
根据所述计算结果和预设的欧拉角阈值，确定所述当前图像对应的检测结果，所述检测结果用于表示所述当前图片中的人脸是否发生分神行为；
根据所述当前图像的检测结果和所述检测时间内在所述当前图像之前的其他图像的检测结果，确定是否进行专注力警告；
当确定进行专注力警告时，输出专注力警告信号。
可选的，所述根据所述当前图像的检测结果和所述检测时间内在所述当前图像之前的其他图像的检测结果，确定是否进行专注力警告，包括：
当所述当前图像的检测结果表示所述当前图片中的人脸发生分神行为时，将所述检测时间内的累计分神次数加1，所述累计分神次数是根据所述当前图像之前的其他图像的检测结果累计得到的；
根据所述累计分神次数和预设次数，确定是否进行专注力警告。
可选的，所述获取所述当前图像中的人脸的关键点，包括：
通过人脸检测模型对所述当前图像进行人脸检测，得到所述当前图像中的人脸区域；
根据所述人脸区域确定人脸关键区域，所述人脸关键区域包括所述人脸区域；
将所述人脸关键区域输入人脸关键点检测模型，得到所述当前图像中的人脸的关键点。
可选的，所述根据所述人脸区域确定人脸关键区域，包括：
提取所述人脸区域的高度和宽度；
根据所述人脸区域的高度和宽度确定所述人脸关键区域的长度；
以所述人脸区域的中心点为所述人脸关键区域的中点，根据所述人脸区域的长度对所述当前图像进行截取，得到所述人脸关键区域。
可选的，当确定不进行专注力警告时，输出提示信息，所述提示信息用于提示用户不要分神。
可选的，所述根据所述当前图像中的人脸的欧拉角和与所述当前图像相邻的前一帧图像的欧拉角调整量，确定所述当前图像的欧拉角调整量，包括：
若所述当前图像为所述检测时间内的第一帧图像时，获取初始欧拉角调整量，所述初始欧拉角调整量用于表征采集所述第一帧图像的人脸采集装置与驾驶人员的相对角度；
根据所述初始欧拉角调整量和所述第一帧图像的欧拉角，计算所述第一帧图像的欧拉角调整量。
可选的，若检测结果表明当前图片中的人脸未发生分神行为，根据所述当前图像中的人脸的欧拉角和与所述当前图像相邻的前一帧图像的欧拉角调整量，确定所述当前图像的欧拉角调整量；
对所述欧拉角调整量调整和所述当前图像相邻的后一帧图像中的人脸的欧拉角进行计算，得到计算结果；
根据所述计算结果和预设的欧拉角阈值，确定所述当前图像相邻的后一帧图像对应的检测结果。
可选的，所述欧拉角包括俯仰角、偏航角和翻滚角，所述欧拉角阈值包括俯仰角阈值、偏航角阈值和翻滚角阈值；
所述对所述当前图像中的人脸的欧拉角和与所述当前图像相邻的前一帧图像的欧拉角调整量进行计算，得到计算结果，包括：
根据所述当前图像中的人脸的俯仰角、偏航角和翻滚角，与所述前一帧图像的欧拉角调整量，确定所述当前图像的人脸的俯仰角、偏航角和翻滚角的调整量；
所述根据所述当前图像中的人脸俯仰角、偏航角和翻滚角的调整量和预设的欧拉角阈值，确定所述当前图像对应的检测结果和预设的欧拉角阈值，确定所述当前图像对应的检测结果，包括：
比较所述当前图像中的人脸的俯仰角的调整量和所述俯仰角阈值、比较所述当前图像中的人脸的偏航角的调整量和所述偏航角阈值以及比较所述当前图像中的人脸的翻滚角的调整量和所述翻滚角阈值；
当所述当前图像中的人脸的俯仰角的调整量大于所述俯仰角阈值，所述当前图像中的人脸的偏航角的调整量大于所述偏航角阈值，所述当前图像中的人脸的翻滚角的调整量大于所述翻滚角阈值时，确定所述当前图片中的人脸发生分神行为；
所述当前图像的人脸的俯仰角的调整量、偏航角的调整量和翻滚角的调整量中一个或者多个大于对应阈值时，确定所述当前图片中的人脸发生分神行为。
第二方面，本发明提供一种分神驾驶检测装置，所述检测装置包括：
获取模块，用于在检测时间内获取当前图像，所述当前图像中包括驾驶室内驾驶人员的人脸；
所述获取模块，还用于获取所述当前图像中的人脸的关键点；
确定模块，用于根据所述当前图像中的人脸的关键点和标准人脸模型，确定所述当前图像中的人脸的欧拉角；
计算模块，用于对所述当前图像中的人脸的欧拉角和与所述当前图像相邻的前一帧图像的欧拉角调整量进行计算，得到计算结果；
判断模块，用于根据计算结果和预设的欧拉角阈值，确定所述当前图像对应的检测结果，所述检测结果用于表示所述当前图片中的人脸是否发生分神行为；
所述确定模块，还用于根据所述当前图像的检测结果和所述检测时间内在所述当前图像之前的其他图像的检测结果，确定是否进行专注力警告；
处理模块，用于当确定进行专注力警告时，输出专注力警告信号。
本发明第三方面提供了一种分神驾驶检测装置，所述检测装置包括：处理器、存储器和收发器，
所述收发器用于实现所述处理器与所述存储器之间的通信连接；
所述处理器用于执行存储器中存储的分神驾驶检测方法的指令，以使所述装置执行如前述第一方面任一项所述的分神驾驶检测方法。
本发明第四方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当所述指令被执行时，使得计算机执行如前述第一方面任一项所述的分神驾驶检测方法。
本发明的实施例中所提供的分神驾驶检测方法，通过检测的设备通过确定当前图像的人脸关键区域的欧拉角，并不断地对当前图像欧拉角进行调整，根据当前图像中的人脸的欧拉角的调整量和预设欧拉角阈值进行比较，确定当前图像中的人脸是否发生分神行为，进而根据检测时间内当前图像的检测结果和检测时间内在当前图像之前的其他图像的检测结果，确定是否进行专注力警告，解决了现有技术中驾驶员分神检测装置检测结果不准确的问题，提高了分神驾驶检测装置的准确度。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1为实现本发明各个实施例的一种分神驾驶检测方法的流程示意图；
图2为本发明实施例提供的人脸的欧拉角的示意图；
图3为本发明实施例提供的另一种分神驾驶检测方法的流程示意图；
图4为本发明实施例中人脸关键点示意图；
图5为本发明实施例提供的一种分神驾驶检测装置的结构示意图；
图6为本发明实施例提供的又一种分神驾驶检测装置的结构示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
首先对本发明所涉及的名词进行解释：
神经网络模型：是指以神经元的数学模型为基础来描述的人工神经网络(Artificial Nuearl Newtokrs)，是对人类大脑系统的一阶特性的一种描述。简单地讲,它是一个数学模型。神经网络模型由网络拓扑、节点特点和学习规则来表示。
深度学习：是指是一类模式分析方法的统称，就具体研究内容而言，主要涉及三类方法：(1)基于卷积运算的神经网络系统，即卷积神经网络(CNN)；(2)基于多层神经元的自编码神经网络，包括自编码(Auto encoder)以及近年来受到广泛关注的稀疏编码两类(Sparse Coding)；(3)以多层自编码神经网络的方式进行预训练，进而结合鉴别信息进一步优化神经网络权值的深度置信网络(DBN)。通过多层处理，逐渐将初始的“低层”特征表示转化为“高层”特征表示后，用“简单模型”即可完成复杂的分类等学习任务。由此可将深度学习理解为进行“特征学习”(feature learning)或“表示学习”(representationlearning)。
欧拉角：是指确定定点转动刚体位置的3个一组独立角参量，欧拉角包括：俯仰角、偏航角和翻滚角。
俯仰角：是指机体坐标系x轴与水平面的夹角。当机体坐标系的x轴在惯性坐标系XOY平面上方时，俯仰角为正，否则为负。即平行于机身轴线并指向飞行器前方的向量与地面的夹角。
偏航角：是指偏航角是机体轴xt在水平面上的投影与地轴xd之间的夹角；
翻滚角：是指机体坐标系zt轴与通过机体xt轴的铅垂面间的夹角，机体向右滚为正，反之为负。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明的实施例提供了一种分神驾驶检测方法，应用于检测设备，该检测设备安装于车辆内部，该检测设备的安装位置需要能够拍摄到驾驶室内驾驶人员的人脸。参照图1所示，该方法包括以下步骤：
步骤101：在检测时间内获取当前图像，当前图像中包括驾驶室内驾驶人员的人脸。
本发明实施例中，驾驶员驾驶的车辆中安装有检测设备，用于实时检测驾驶室内驾驶员的驾驶行为；其中，驾驶行为包括：目视前方、看手机、打电话、找东西、视线转移、与乘客交谈、打瞌睡、喝水和触摸眼睛。需要说明的是，这里所说的驾驶行为包括但不限定于上述行为，本实施例对此不做具体限定。检测设备上安装有摄像头，用于拍摄驾驶室内驾驶人员，检测设备拍摄到的当前图像中至少包括驾驶室内驾驶人员的人脸，还可以包括驾驶人员的脖子和安全带。
步骤102：获取当前图像中的人脸的关键点。
获取到当前图像后，需要先对当前图像进行人脸识别，在识别到人脸后，进一步获取当前图像中的人脸的关键点。
可选的，检测设备可以通过人脸检测模型对当前图像进行人脸检测，以检测当前图像中是否存在人脸，该人脸检测模型为预先训练得到的深度学习模型。如果当前图像中存在人脸，进一步可以标注出人脸区域，人脸区域可以通过一个矩形框框定。进而，根据人脸区域确定人脸关键区域，人脸关键区域包括人脸区域，将人脸关键区域输入人脸关键点检测模型，得到当前图像中的人脸的关键点。
本发明实施例中，人脸的关键点包括眉毛、眼睛、鼻子、嘴巴和脸型轮廓等。检测设备基于驾驶室内驾驶人员的人脸图像，定位出人脸面部的关键点。人脸关键点检测模型需要一组标有n个特征点的N幅人脸图像(包括多个人的不同表情和姿态)作为训练数据训练得到，该人脸关键点检测模型为深度学习模型。特征点可以标记在脸的外部轮廓和器官的边缘，需要注意的是各个标定点的顺序在训练集中的各张照片需要一致。
示例性的，检测设备将人脸图像送入关键点检测深度学习模型，定位出当前图像中的人脸的68个关键点。这里，人脸的关键点个数取值范围为[5，108]。
步骤103：根据当前图像中的人脸的关键点和标准人脸模型，确定当前图像中的人脸的欧拉角。
本发明实施例中，标准人脸模型是在对驾驶员人脸数据采集，包括正脸、左侧脸、右侧脸、抬头和低头姿态数据的采集，并基于上述数据，计算出标准人脸模型；检测设备基于人脸数据信息训练样本，生成标准脸模型；检测设备基于采集到的驾驶员人脸信息，进行关键部位的标注，并进一步处理得到人脸的关键区域，对关键区域的人脸进行关键点标注，将关键点送入深度学习模型中，得到人脸的68个关键点；人脸的68个关键点形成的图形；检测设备根据当前图像中的人脸关键点和标准人脸模型进行计算，确定出当前图像中的人脸欧拉角；其中，欧拉角包括人脸的俯仰角、偏航角和翻滚角。
步骤104：对所述当前图像中的人脸的欧拉角和与所述当前图像相邻的前一帧图像的欧拉角调整量进行计算，得到计算结果，欧拉角调整量用于调整图像中的人脸的欧拉角。
本发明实施例中，检测可以在检测时间内按照预设周期拍摄图像，也可以在检测时间内进行视频拍摄，可以理解，视频由多帧图像组成，在对视频处理时，也可以按照视频帧图像的先后顺序，一帧一帧图像进行处理。当当前图像为检测时间内的第一帧图像时，当前图像的相邻的前一帧图像的欧拉角调整量为初始欧拉角调整量，该初始欧拉角调整量用于表征采集第一帧图像的人脸采集装置与驾驶人员的相对角度。当当前图像不是检测时间内的第一帧图像时，当前图像相邻的前一帧图像的欧拉角调整量为前一帧图像的实际欧拉角调整量。
每对一帧图像进行检测时，检测设备都会更新该帧图像的欧拉角调整量，将该帧图像的欧拉角调整量作为下一帧图像的前一帧图像的欧拉角调整量。
本发明实施例中，当前图像中的人脸的欧拉角包括人脸的俯仰角(俯仰角对应pitch)、偏航角(偏航角对应yaw)和翻滚角(翻滚角对应roll)三个参数，如图2所示，那么，对应的，当前图像的欧拉角调整量也包括当前图像的俯仰角调整量、偏航角调整量和翻滚角调整量三个参数；检测设备在确定出当前图像的欧拉角的调整量后，对当前图像的进行动态调整，并基于如公式(1)计算当前图像中的人脸的欧拉角的调整量：
newbias＝a*oldbias+(1-a)*anglenow (1)
可选的，对当前图像的欧拉角和当前图像的欧拉角调整量进行归一化处理，得到当前图像中的人脸的欧拉角的调整量；其中，newbias用于表征当前图像中的人脸的欧拉角的调整量、a为一个常量，一般为一个近于1的值，从而保证调整后的欧拉角的稳定性，不会出现跳变的情况、oldbias用于表征当前图像的前一帧的欧拉角调整量、anglenow用于表征当前图像的欧拉角的值。进一步的，基于上述方式不断循环，检测设备会将每一帧图像中的人脸的调整后的欧拉角作为下一帧图像的欧拉角调整的因素，按照视频帧图像的先后顺序对每一帧图像以相同方式的处理，得到每一帧图像的人脸调整后的欧拉角。
本发明实施例中，检测设备对获取到的当前图像的欧拉角和与当前图像相邻的前一帧图像的欧拉角调整量进行做差计算，并对差值求绝对值，将该差值的绝对值称为当前图像的欧拉角的调整量。需要说明的是，图像的欧拉角包括俯仰角、翻滚角和偏航角，那么，对应的图像的欧拉角的调整量包括：俯仰角的调整量、翻滚角的调整量和偏航角调整量。
步骤105：根据计算结果和预设的欧拉角阈值，确定当前图像对应的检测结果，检测结果用于表示当前图片中的人脸是否发生分神行为。
本发明实施例中，预设的欧拉角阈值指的是人脸采集装置安装位置能够采集到的驾驶室内驾驶人员人脸的相对角度的最大值；同时，预设的欧拉角阈值包括：预设的俯仰角阈值、预设的偏航角阈值和预设的翻滚角阈值三个不同维度的人脸采集装置安装位置能够采集到的驾驶室内驾驶人员人脸的相对角度。检测设备获取当前图像中的人脸的欧拉角的调整量和预设的欧拉角的阈值，确定出当前图像中的人脸的欧拉角的调整量和预设的欧拉角的阈值之间的大小关系，根据当前图像中的人脸的欧拉角的调整量和预设的欧拉角的阈值之间的大小关系得到当前图像的检测结果。
步骤106：根据当前图像的检测结果和检测时间内在当前图像之前的其他图像的检测结果，确定是否进行专注力警告。
本发明实施例中，专注力警告是用于对驾驶员不规范的驾驶行为的一种提示信号；这里，专注力警告方式包括：语音提示和警示灯报警。
一种示例性的方式中，在检测时间内设定一个累计分神次数，累计分神次数是根据当前图像之前的其他图像的检测结果累计得到的，每次检测到一帧图像对应的检测结果为当前图片中的人脸发生分神行为，则将累计分神次数加1。当当前图像的检测结果表示当前图片中的人脸发生分神行为时，将累计分神次数加1，然后，根据累计分神次数和预设次数，确定是否进行专注力警告。如果累计分神次数大于该预设次数，则进行专注力警告，如果累计分神次数小于或者等于该预设次数，则可以不进行专注力警告。
另一种示例性的方式中，检测设备根据当前图像的检测结果和检测时间内在当前图像之前的其他图像的检测结果，判断连续N帧图像的检测结果是否均为发生分神行为，如果连续N帧图像的检测结果均为发生分神行为，则确定进行专注力警告。N的取值大于或等于2，例如N的取值为5或者6。
步骤107：当确定进行专注力警告时，输出专注力警告信号。
该专注力警告信号，可以为语音信号或者和/或警示灯信号，例如，当确定进行专注力警告时，检测设备输出如“请驾驶员谨慎驾驶”或“请注意安全”的语音信号和/或“报警红灯闪烁”的信号。
可选的，当确定不进行专注力警告时，可以输出提示信息，该提示信息用于提示用户不要分神。该提示信息例如“驾驶员行为良好”或“请继续保持”的语音信号和/或“安全提示绿灯闪烁”的信号。
本发明的实施例中所提供的分神驾驶检测方法，通过检测的设备通过确定当前图像的人脸关键区域的欧拉角，并不断地对当前图像欧拉角进行调整，根据当前图像中的人脸的欧拉角的调整量和预设欧拉角阈值进行比较，确定当前图像中的人脸是否发生分神行为，进而根据检测时间内当前图像的检测结果和检测时间内在当前图像之前的其他图像的检测结果，确定是否进行专注力警告，解决了现有技术中驾驶员分神检测结果不准确的问题，提高了分神驾驶检测装置的准确度。
基于前述实施例，本发明的实施例提供一种分神驾驶检测方法，应用于检测设备，该检测设备安装于车辆内部，该检测设备的安装位置需要能够拍摄到驾驶室内驾驶人员的人脸。参照图3所示，该方法包括以下步骤：
步骤201、在检测时间内获取当前图像，当前图像中包括驾驶室内驾驶人员的人脸。
步骤202、通过人脸检测模型对当前图像进行人脸检测，得到当前图像中的人脸区域。
本发明实施例中，人脸区域是指包括人面部五官中的“眉、眼、耳、鼻、口”的区域；检测设备基于采集到的人脸图像数据，将当前帧的人脸图像数据送入人脸检测模型中，得到当前图像的人脸区域。
步骤203、根据人脸区域确定人脸关键区域，人脸关键区域包括人脸区域。
本发明实施例中，步骤203中根据人脸区域确定人脸关键区域，可以通过如下步骤实现：
步骤203a、提取人脸区域的高度和宽度。
检测设备利用神经网络模型检测出人脸，得到人脸图像，进而对当期图像进行解析，得到当前图像的中包含人面部五官的人脸区域，人脸区域可以为包括人面部五官在内的矩形区域，该矩形的宽为人脸的高度，该矩形的长为人脸的宽度。
步骤203b、根据人脸区域的高度和宽度确定人脸关键区域的长度。
本发明实施例中，人脸关键区是指包括人脸五官的人脸区域且大于人脸区域的区域。可选的，检测设备根据人脸区域的高度和宽度，提取出人脸宽度和高度值较大的一个目标值，基于目标值乘以缩放因子得出人脸关键区域的长度，该缩放因子大于1，例如，该缩放因子为1.4、1.5等。
步骤203c、以人脸区域的中心点为人脸关键区域的中点，根据人脸区域的长度对当前图像进行截取，得到人脸关键区域。
本发明实施例中，检测设备基于人脸关键区域的长度，得到一个以人脸关键区域的长度为边长的正方形区域，然后，以人脸框的中心点为中心，进而对当前图像进行截取得到人脸关键区域，并且人脸关键区域的尺寸固定该尺寸。
步骤204、将人脸关键区域输入人脸关键点检测模型，得到当前图像中的人脸的关键点。
本发明实施例中，人脸关键点是将给定人脸的关键区域送入人脸关键点检测模型中进行处理，得到的能够表征人脸图像面部的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓的多个点。
可选的，检测设备将固定尺寸的人脸关键区域送入关键点检测深度学习模型中，从而定位出人脸的68个关键点，各关键点的位置以及排列方式如图4所示。
步骤205、根据当前图像中的人脸的关键点和标准人脸模型，确定当前图像中的人脸的欧拉角。
步骤206、对当前图像中的人脸的欧拉角和与当前图像相邻的前一帧图像的欧拉角调整量进行计算，得到计算结果。
其中，欧拉角调整量用于调整图像中的人脸的欧拉角。
本发明实施例中，步骤206中对当前图像中的人脸的欧拉角和与当前图像相邻的前一帧图像的欧拉角调整量进行计算，得到计算结果，可以通过如下步骤实现：
步骤206a、若当前图像为检测时间内的第一帧图像时，获取初始欧拉角调整量，初始欧拉角调整量用于表征采集第一帧图像的人脸采集装置与驾驶人员的相对角度。
本发明实施例中，第一帧图像是指对检测时间内的视频图像进行处理得到多帧图像中的第一帧。
可选的，检测设备在进行驾驶室内的驾驶图像检测之前，获取人脸采集装置与驾驶人员的相对角度作为初始欧拉角调整量。这里，初始欧拉角调整量包括人脸采集装置与驾驶人员的俯仰角的相对角度作为初始俯仰角调整量、人脸采集装置与驾驶人员的偏航角的相对角度作为初始偏航角调整量和人脸采集装置与驾驶人员的翻滚角的相对角度作为初始翻滚角调整量。
步骤206b、对初始欧拉角调整量和第一帧图像的欧拉角进行计算，得到计算结果。
本发明实施例中，初始欧拉角包括：初始俯仰角调整量、初始偏航角调整量和初始翻滚角调整量；相应的，第一帧图像的欧拉角包括：第一帧图像的俯仰角、第一帧图像的偏航角和第一帧图像的翻滚角；检测设备根据上述公式(1)，计算得到第一帧图像俯仰角调整量、第一针图像的偏航角调整量和第一针图像的翻滚角调整量。
步骤207、根据计算结果和预设的欧拉角阈值，确定当前图像对应的检测结果，检测结果用于表示当前图片中的人脸是否发生分神行为。
本发明实施例中，步骤207根据当前图像中的人脸的欧拉角的调整量和预设的欧拉角阈值，确定当前图像对应的检测结果，检测结果用于表示当前图片中的人脸是否发生分神行为，可以通过如下步骤实现：
步骤208a、根据当前图像中的人脸的俯仰角、偏航角和翻滚角，与前一帧图像的欧拉角调整量，确定当前图像的人脸的俯仰角、偏航角和翻滚角的调整量。
本发明实施例中，检测设备在获取到检测时间内驾驶室的人脸想视频后，基于接收的时间顺序对人脸图像视频进行处理，得到多帧人脸图像数据，其中，每一帧人脸图像都带有编码，编码用于标记每一帧图像的时间。
可选的，若当前的人脸图像的编码为3，即当前人脸图像为第3帧人脸图像，那么前一帧图像为第2帧人脸图像；这里，欧拉角阈值对应包括俯仰角调整量、偏航角调整量和翻滚角调整量；检测设备根据当前图像的人脸的俯仰角、偏航角和翻滚角，与前一帧图像对应的俯仰角调整量、偏航角调整量和翻滚角调整量，基于上述公式(1)分别确定出当前图像中人脸的俯仰角调整量、偏航角调整量和翻滚角调整量当前图像。
步骤208b、比较当前图像中的人脸的俯仰角的调整量和俯仰角阈值、比较当前图像中的人脸的偏航角的调整量和偏航角阈值以及比较当前图像中的人脸的翻滚角的调整量和翻滚角阈值。
本发明实施例中，预设的欧拉角阈值包括：俯仰角阈值、偏航角阈值和翻滚角阈值；检测设备分别比较检测时间内每一帧图像的俯仰角的调整量和俯仰角阈值，比较偏航角的调整量和偏航角阈值，比较翻滚角的调整量和翻滚角阈值。
步骤208c、当当前图像中的人脸的俯仰角的调整量大于俯仰角阈值，当前图像中的人脸的偏航角的调整量大于偏航角阈值，当前图像中的人脸的翻滚角的调整量大于翻滚角阈值时，确定所述当前图片中的人脸发生分神行为。
本发明实施例中，检测设备基于如下公式(2)，确定当前图片中的人脸是否发生分神行为：
|Ai-Bm|＞Cn (2)
其中，Ai表示当前图像的欧拉角，Bm表示当前图像前一帧图像的欧拉角调整量，Cn表示预设的欧拉角阈值，|Ai-Bm|的计算结果为当前图像中的人脸的欧拉角调整量。其中，欧拉角的调整量包括：俯仰角的调整量、偏航角的调整量和翻滚角的调整量。检测设备基于比较确定当前图像中的人脸的俯仰角的调整量大于俯仰角阈值，和/或偏航角调整量大于偏航角阈值，和/或翻滚角的调整量大于翻滚角阈值时，确定当前图片中的人脸发生分神行为。
可选的，检测设备将当前图像的欧拉角与当前图像的欧拉角的调整量做差，得到差值的绝对值，进而比较差值的绝对值与预设的欧拉角阈值大小关系，若差值的绝对值大于预设的欧拉角阈值，则表明当前图像的人脸发生分神行为。由于欧拉角包括：俯仰角、偏航角和翻滚角，因此，检测设备分别将当前图像的俯仰角与当前图像的俯仰角的调整量、偏航角与偏航角的调整量以及翻滚角与翻滚角的调整量做差，分别得到的差值绝对值与对应的阈值进行比较，确定当前图像的人脸是否发生分神行为。
步骤208d、当前图像的人脸的俯仰角的调整量、偏航角的调整量和翻滚角的调整量中一个或者多个大于对应阈值时，确定当前图片中的人脸发生分神行为。
本发明实施例中，检测设备将当前图像的人脸的俯仰角的调整量、偏航角的调整量和翻滚角的调整量与对应的俯仰角阈值、偏航角阈值和翻滚角阈值进行比较，确定出其中某一个大于对应的阈值时，确定当前图片中的人脸发生分神行为。
可选的，若检测设备确定当前图像的人脸的俯仰角的调整量大于俯仰角阈值时，即使偏航角的调整量小于或等于偏航角阈值或翻滚角的调整量小于或等于翻滚角阈值，也只能确定当前图片中的人脸发生分神行为；或者，若检测设备确定俯仰角的调整量大于俯仰角阈值时，偏航角的调整量大于偏航角阈值，即使翻滚角的调整量小于或等于翻滚角阈值，也只能确定当前图片中的人脸发生分神行为；也就是说，当前图像的人脸的俯仰角的调整量、偏航角的调整量和翻滚角的调整量中一个或者多个大于对应阈值时，确定当前图片中的人脸发生分神行为。
本发明实施例中，若检测结果表示当前图片中的人脸未发生分神行为，根据当前图像中的人脸的欧拉角和与当前图像相邻的前一帧图像的欧拉角调整量，确定当前图像的欧拉角调整量；对欧拉角调整量调整和当前图像相邻的后一帧图像中的人脸的欧拉角进行计算，得到计算结果；根据计算结果和预设的欧拉角阈值，确定当前图像相邻的后一帧图像对应的检测结果。
可选的，若检测设备确定当前图像的人脸的俯仰角的调整量小于或等于俯仰角阈值时，偏航角的调整量小于或等于偏航角阈值且翻滚角的调整量小于或等于翻滚角阈值，则检测设备确定当前图片中的人脸未发生分神行为。进一步的，检测设备将当前图像中的人脸的欧拉角调整量应用于当前图像相邻的后一帧图像欧拉角的调整量的计算，并确定当前图像相邻的后一帧图像是否发生分神行为。
步骤209、根据当前图像的检测结果和检测时间内在当前图像之前的其他图像的检测结果，确定是否进行专注力警告。
本发明实施例中，步骤209根据当前图像的检测结果和检测时间内在当前图像之前的其他图像的检测结果，确定是否进行专注力警告，可以通过如下步骤实现：
步骤209a、当当前图像的检测结果表示当前图片中的人脸发生分神行为时，将检测时间内的累计分神次数加1，累计分神次数是根据当前图像之前的其他图像的检测结果累计得到的。
本发明实施例中，检测设备在对每一帧图像进行检测时，若图像的人脸的俯仰角的调整量、偏航角的调整量和翻滚角的调整量中一个或者多个大于对应阈值时，确定图片中的人脸发生分神行为确定图像中的人脸发射分神行为，此时，检测设备的计数模块将分神次数加1。这里，检测设备开始对驾驶室内的人脸图像进行检测前，自动将分神计数器的数值进行清零操作，若判断出某一帧图像的人脸发生分神行为时，分神计数器执行计数加1操作。
步骤209b、根据累计分神次数和预设次数，确定是否进行专注力警告。
本发明实施例中，累计计分神次数是指检测时间所确定的每一帧图像中的人脸发生分神次数的累计和；预设次数是在检测时间内所允许分神行为发生次数的最大次数，检测设备根据分神计数器在检测时间内确定图像中的人脸的累计分神次数和预设次数进行比较，若累计分神次数大于预设次数，确定进行专注力警告。
示例性的，检测设备检测时间内累计分神次数为10，预设次数为8，此时，检测设备确定进行专注力警告。若检测设备检测时间内累计分神次数为5，预设次数为8，次数检测设备不进行专注力警告。
步骤210、当确定进行专注力警告时，输出专注力警告信号。
本发明实施例中，检测设备确定累计分神次数大于预设次数，确定进行专注力警告，输出专注力警告信号。
本发明实施例中步骤210当确定进行专注力警告时，输出专注力警告信号，还可以通过如下方式实现：
当确定不进行专注力警告时，输出提示信息，提示信息用于提示用户不要分神。
本发明实施例中，检测设备确定累计分神次数小于或等于预设次数，检测设备确定驾驶员的驾驶行为符合标准；即，检测设备确定累计分神次数小于或等于预设次数时，输出提示语音信息如“驾驶符合要求”或“继续保持专注驾驶”或者，输出“绿灯闪烁”提示用户不要分神，这种基于检测时间内累计分神次数去判断驾驶行为的方案能够减少短时间内对驾驶行为误判的情况。
本发明的实施例中所提供的分神驾驶检测方法，通过检测的设备通过确定当前图像的人脸关键区域的欧拉角，并不断地对当前图像欧拉角进行调整，根据当前图像中的人脸的欧拉角的调整量和预设欧拉角阈值进行比较，确定当前图像中的人脸是否发生分神行为，进而根据检测时间内当前图像的检测结果和检测时间内在当前图像之前的其他图像的检测结果，确定是否进行专注力警告，解决了现有技术中驾驶员分神检测结果不准确的问题，提高了分神驾驶检测装置的准确度。
基于前述实施例，发明实施例提供了一种分神驾驶检测装置，参照图5所示，图5为检测装置3，上述检测装置3包括：获取模块31、确定模块32、计算模块33、判断模块34和处理模块35，其中：
获取模块31，用于在检测时间内获取当前图像，当前图像中包括驾驶室内驾驶人员的人脸；
获取模块31，还用于获取当前图像中的人脸的关键点；
确定模块32，用于根据当前图像中的人脸的关键点和标准人脸模型，确定当前图像中的人脸的欧拉角；
计算模块33，用于对当前图像中的人脸的欧拉角和与当前图像相邻的前一帧图像的欧拉角调整量进行计算，得到计算结果；
判断模块34，用于根据当前图像中的人脸的欧拉角和当前图像的欧拉角调整量，得到当前图像中的人脸的欧拉角的调整量；
确定模块32，还用于根据当前图像的检测结果和检测时间内在当前图像之前的其他图像的检测结果，确定是否进行专注力警告；
处理模块35，用于当确定进行专注力警告时，输出专注力警告信号。
在其他实施例中，检测装置3还包括计数模块，其中：
计数模块，用于当前图像的检测结果表示当前图片中的人脸发生分神行为时，将检测时间内的累计分神次数加1，累计分神次数是根据当前图像之前的其他图像的检测结果累计得到的；
确定模块32，还用于根据累计分神次数和预设次数，确定是否进行专注力警告。
在其他实施例中，检测装置3还包括解析模块，其中：
解析模块，用于通过人脸检测模型对当前图像进行人脸检测，得到当前图像中的人脸区域；
确定模块32，还用于根据人脸区域确定人脸关键区域，人脸关键区域包括人脸区域；
确定模块32，还用于将人脸关键区域输入人脸关键点检测模型，得到当前图像中的人脸的关键点。
在其他实施例中，检测装置3还包括提取模块，其中：
提取模块，用于提取人脸区域的高度和宽度；
确定模块32，还用于根据人脸区域的高度和宽度确定人脸关键区域的长度；
确定模块32，还用于以人脸区域的中心点为人脸关键区域的中点，根据人脸区域的长度对当前图像进行截取，得到人脸关键区域。
在其他实施例中，检测装置3还包括输出模块，其中：
输出模块，用于当确定不进行专注力警告时，输出提示信息，提示信息用于提示用户不要分神。
在其他实施例中，检测装置3中的计算模块，具体用于若当前图像为检测时间内的第一帧图像时，获取初始欧拉角调整量，初始欧拉角调整量用于表征采集第一帧图像的人脸采集装置与驾驶人员的相对角度；
计算模块33，还用于根据初始欧拉角调整量和第一帧图像的欧拉角，计算第一帧图像的欧拉角调整量。
在其他实施例中，检测装置3确定模块32还用于以下过程，其中：
确定模块32，还用于若检测结果表明当前图片中的人脸未发生分神行为，根据当前图像中的人脸的欧拉角和与当前图像相邻的前一帧图像的欧拉角调整量，确定当前图像的欧拉角调整量；
计算模块33，还用于对欧拉角调整量调整和当前图像相邻的后一帧图像中的人脸的欧拉角进行计算，得到计算结果；
确定模块32，还用于根据计算结果和预设的欧拉角阈值，确定当前图像相邻的后一帧图像对应的检测结果。
在其他实施例中，检测装置3还包括比较模块，其中：
计算模块33，还用于根据当前图像中的人脸的俯仰角、偏航角和翻滚角，与前一帧图像的欧拉角调整量，确定当前图像的人脸的俯仰角、偏航角和翻滚角的调整量；
比较模块，用于比较当前图像中的人脸的俯仰角的调整量和俯仰角阈值、比较当前图像中的人脸的偏航角的调整量和偏航角阈值以及比较当前图像中的人脸的翻滚角的调整量和翻滚角阈值；
确定模块32，还用于当当前图像中的人脸的俯仰角的调整量大于俯仰角阈值，当前图像中的人脸的偏航角的调整量大于偏航角阈值，当前图像中的人脸的翻滚角的调整量大于翻滚角阈值时，确定当前图片中的人脸发生分神行为；
确定模块32，还用于当前图像的人脸的俯仰角的调整量、偏航角的调整量和翻滚角的调整量中一个或者多个大于对应阈值时，确定当前图片中的人脸发生分神行为。
本发明的实施例提供的检测装置4，该检测装置4可以应用于图1-2对应的实施例提供的分神驾驶方法中，参照图6所示，该检测装置4可以包括：处理器41、存储器42、收发器43和通信总线44，其中：
存储器42用于存储分神驾驶方法的指令；收发器43用于和其他设备通信；处理器41用于执行存储器42中存储的指令，以使检测装置执行如上述实施例1至2中任一实施例中的分神驾驶检测方法。
基于前述实施例，本发明的实施例提供一种计算机存储介质，计算机存储介质存储有计算机指令，当所述指令被执行时，使得计算机执行如上述实施例1至2中任一实施例中的分神驾驶检测方法。
需要说明的是，上述计算机可读存储介质可以是只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory，FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory，CD-ROM)等存储器；也可以是包括上述存储器之一或任意组合的各种电子设备，如移动电话、计算机、平板设备、个人数字助理等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所描述的方法。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种分神驾驶检测方法，其特征在于，所述方法包括：
在检测时间内获取当前图像，所述当前图像中包括驾驶室内驾驶人员的人脸；
获取所述当前图像中的人脸的关键点；
根据所述当前图像中的人脸的关键点和标准人脸模型，确定所述当前图像中的人脸的欧拉角；
对所述当前图像中的人脸的欧拉角和与所述当前图像相邻的前一帧图像的欧拉角调整量进行计算，得到计算结果；所述欧拉角调整量用于调整图像中的人脸的欧拉角；
根据所述计算结果和预设的欧拉角阈值，确定所述当前图像对应的检测结果，所述检测结果用于表示所述当前图片中的人脸是否发生分神行为；
根据所述当前图像的检测结果和所述检测时间内在所述当前图像之前的其他图像的检测结果，确定是否进行专注力警告；
当确定进行专注力警告时，输出专注力警告信号；
所述欧拉角包括俯仰角、偏航角和翻滚角，所述欧拉角阈值包括俯仰角阈值、偏航角阈值和翻滚角阈值；
所述对所述当前图像中的人脸的欧拉角和与所述当前图像相邻的前一帧图像的欧拉角调整量进行计算，得到计算结果，包括：
根据所述当前图像中的人脸的俯仰角、偏航角和翻滚角，与所述前一帧图像的欧拉角调整量，确定所述当前图像的人脸的俯仰角、偏航角和翻滚角的调整量；
所述根据所述计算结果和预设的欧拉角阈值，确定所述当前图像对应的检测结果，包括：
比较所述当前图像中的人脸的俯仰角的调整量和所述俯仰角阈值、比较所述当前图像中的人脸的偏航角的调整量和所述偏航角阈值以及比较所述当前图像中的人脸的翻滚角的调整量和所述翻滚角阈值；
当所述当前图像中的人脸的俯仰角的调整量大于所述俯仰角阈值，所述当前图像中的人脸的偏航角的调整量大于所述偏航角阈值，所述当前图像中的人脸的翻滚角的调整量大于所述翻滚角阈值时，确定所述当前图片中的人脸发生分神行为；
所述当前图像的人脸的俯仰角的调整量、偏航角的调整量和翻滚角的调整量中一个或者多个大于对应阈值时，确定所述当前图片中的人脸发生分神行为。
2.根据权利要求1所述的方法，其特征在于，所述根据所述当前图像的检测结果和所述检测时间内在所述当前图像之前的其他图像的检测结果，确定是否进行专注力警告，包括：
当所述当前图像的检测结果表示所述当前图片中的人脸发生分神行为时，将所述检测时间内的累计分神次数加1，所述累计分神次数是根据所述当前图像之前的其他图像的检测结果累计得到的；
根据所述累计分神次数和预设次数，确定是否进行专注力警告。
3.根据权利要求1或2所述的方法，其特征在于，所述获取所述当前图像中的人脸的关键点，包括：
通过人脸检测模型对所述当前图像进行人脸检测，得到所述当前图像中的人脸区域；
根据所述人脸区域确定人脸关键区域，所述人脸关键区域包括所述人脸区域；
将所述人脸关键区域输入人脸关键点检测模型，得到所述当前图像中的人脸的关键点。
4.根据权利要求3所述的方法，其特征在于，所述根据所述人脸区域确定人脸关键区域，包括：
提取所述人脸区域的高度和宽度；
根据所述人脸区域的高度和宽度确定所述人脸关键区域的长度；
以所述人脸区域的中心点为所述人脸关键区域的中点，根据所述人脸区域的长度对所述当前图像进行截取，得到所述人脸关键区域。
5.根据权利要求1所述的方法，其特征在于，还包括：
当确定不进行专注力警告时，输出提示信息，所述提示信息用于提示用户不要分神。
6.根据权利要求1所述的方法，其特征在于，所述对所述当前图像中的人脸的欧拉角和与所述当前图像相邻的前一帧图像的欧拉角调整量进行计算，得到计算结果，包括：
若所述当前图像为所述检测时间内的第一帧图像时，获取初始欧拉角调整量，所述初始欧拉角调整量用于表征采集所述第一帧图像的人脸采集装置与驾驶人员的相对角度；
根据所述初始欧拉角调整量和所述第一帧图像的欧拉角，计算所述第一帧图像的欧拉角调整量。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若检测结果表明当前图片中的人脸未发生分神行为，根据所述当前图像中的人脸的欧拉角和与所述当前图像相邻的前一帧图像的欧拉角调整量，确定所述当前图像的欧拉角调整量；
对所述欧拉角调整量调整和所述当前图像相邻的后一帧图像中的人脸的欧拉角进行计算，得到计算结果；
根据所述计算结果和预设的欧拉角阈值，确定所述当前图像相邻的后一帧图像对应的检测结果。
8.一种分神驾驶检测装置，其特征在于，包括：
获取模块，用于在检测时间内获取当前图像，所述当前图像中包括驾驶室内驾驶人员的人脸；
所述获取模块，还用于获取所述当前图像中的人脸的关键点；
确定模块，用于根据所述当前图像中的人脸的关键点和标准人脸模型，确定所述当前图像中的人脸的欧拉角；
计算模块，用于对所述当前图像中的人脸的欧拉角和与所述当前图像相邻的前一帧图像的欧拉角调整量进行计算，得到计算结果；
判断模块，用于根据所述计算结果和预设的欧拉角阈值，确定所述当前图像对应的检测结果，所述检测结果用于表示所述当前图片中的人脸是否发生分神行为；
所述确定模块，还用于根据所述当前图像的检测结果和所述检测时间内在所述当前图像之前的其他图像的检测结果，确定是否进行专注力警告；
处理模块，用于当确定进行专注力警告时，输出专注力警告信号；
所述欧拉角包括俯仰角、偏航角和翻滚角，所述欧拉角阈值包括俯仰角阈值、偏航角阈值和翻滚角阈值；
所述计算模块，具体用于根据所述当前图像中的人脸的俯仰角、偏航角和翻滚角，与所述前一帧图像的欧拉角调整量，确定所述当前图像的人脸的俯仰角、偏航角和翻滚角的调整量；
比较模块，用于比较所述当前图像中的人脸的俯仰角的调整量和所述俯仰角阈值、比较所述当前图像中的人脸的偏航角的调整量和所述偏航角阈值以及比较所述当前图像中的人脸的翻滚角的调整量和所述翻滚角阈值；
所述确定模块，还用于当所述当前图像中的人脸的俯仰角的调整量大于所述俯仰角阈值，所述当前图像中的人脸的偏航角的调整量大于所述偏航角阈值，所述当前图像中的人脸的翻滚角的调整量大于所述翻滚角阈值时，确定所述当前图片中的人脸发生分神行为；
所述确定模块，还用于所述当前图像的人脸的俯仰角的调整量、偏航角的调整量和翻滚角的调整量中一个或者多个大于对应阈值时，确定所述当前图片中的人脸发生分神行为。
9.一种分神驾驶检测装置，其特征在于，所述装置包括：包括处理器、存储器和收发器，所述存储器用于存储指令，所述收发器用于和其他设备通信，所述处理器用于执行所述存储器中存储的指令，以使所述装置执行如权利要求1至7中任一项所述的分神驾驶检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当所述指令被执行时，使得计算机执行如权利要求1至7中任一项所述的分神驾驶检测方法。
CN202010079063.6A 2020-02-03 2020-02-03 分神驾驶检测方法、装置及存储介质 Active CN111310617B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010079063.6A CN111310617B (zh) 2020-02-03 2020-02-03 分神驾驶检测方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010079063.6A CN111310617B (zh) 2020-02-03 2020-02-03 分神驾驶检测方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111310617A CN111310617A (zh) 2020-06-19
CN111310617B true CN111310617B (zh) 2023-07-14

Family

ID=71148810

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010079063.6A Active CN111310617B (zh) 2020-02-03 2020-02-03 分神驾驶检测方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111310617B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614892A (zh) * 2018-11-26 2019-04-12 青岛小鸟看看科技有限公司 一种疲劳驾驶检测方法、装置和电子设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013022705A (ja) * 2011-07-25 2013-02-04 Sony Corp ロボット装置及びロボット装置の制御方法、コンピューター・プログラム、並びにロボット・システム
CN105205462A (zh) * 2015-09-18 2015-12-30 北京百度网讯科技有限公司 一种拍照提示方法及装置
CN105539293B (zh) * 2016-02-03 2018-01-09 北京中科慧眼科技有限公司 车道偏离预警方法和装置及汽车驾驶辅助系统
CN108447090B (zh) * 2016-12-09 2021-12-21 株式会社理光 对象姿态估计的方法、装置及电子设备
CN109360375A (zh) * 2018-11-26 2019-02-19 青岛小鸟看看科技有限公司 一种提高疲劳驾驶检测准确度的方法和系统
CN109919049A (zh) * 2019-02-21 2019-06-21 北京以萨技术股份有限公司 基于深度学习人脸姿态估计的疲劳检测方法
CN110532887A (zh) * 2019-07-31 2019-12-03 郑州大学 一种基于面部特征融合的疲劳驾驶检测方法及系统
CN110647811A (zh) * 2019-08-15 2020-01-03 中国平安人寿保险股份有限公司 人脸姿态检测方法、装置及计算机可读存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614892A (zh) * 2018-11-26 2019-04-12 青岛小鸟看看科技有限公司 一种疲劳驾驶检测方法、装置和电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于SDM的疲劳驾驶状态检测方法研究";文芳;《中国硕士论文全文库信息技术辑》;全文 *

Also Published As

Publication number Publication date
CN111310617A (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
CN108053427B (zh) 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置
CN108009473B (zh) 基于目标行为属性视频结构化处理方法、系统及存储装置
CN112389448B (zh) 一种基于车辆状态和驾驶员状态的异常驾驶行为识别方法
CN108052859B (zh) 一种基于聚类光流特征的异常行为检测方法、系统及装置
US20230017759A1 (en) Safety belt detection method, apparatus, computer device and storage medium
CN109584507A (zh) 驾驶行为监测方法、装置、系统、交通工具和存储介质
CN107358152B (zh) 一种活体识别方法和系统
CN104361332B (zh) 一种用于疲劳驾驶检测的人脸眼睛区域定位方法
CN106965675A (zh) 一种货车集群智能安全作业系统
CN111434553B (zh) 制动系统、方法、装置、疲劳驾驶模型的训练方法和装置
CN108108651B (zh) 基于视频人脸分析的驾驶员非专心驾驶检测方法及系统
CN111626272A (zh) 一种基于深度学习的驾驶员疲劳监测系统
CN106881716A (zh) 基于3d摄像头机器人的人体跟随方法及系统
CN110557628A (zh) 一种检测摄像头遮挡的方法、装置及电子设备
WO2022161139A1 (zh) 行驶朝向检测方法、装置、计算机设备及存储介质
CN112633387A (zh) 一种安全提醒方法、装置、设备、系统及存储介质
CN111079675A (zh) 基于目标检测与目标跟踪的行驶行为分析方法
CN107705577A (zh) 一种基于车道线标定车辆违章变道的实时检测方法及系统
CN115937830A (zh) 一种面向特种车辆的驾驶员疲劳检测方法
US20230020385A1 (en) Safety belt detection method, apparatus, computer device, and storage medium
CN111310617B (zh) 分神驾驶检测方法、装置及存储介质
CN111383248A (zh) 一种行人闯红灯判断方法、装置和电子设备
CN105989328A (zh) 检测人员使用手持装置的方法及装置
WO2024001617A1 (zh) 玩手机行为识别方法及装置
Foedisch et al. Adaptive road detection through continuous environment learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant