CN111488855A - 疲劳驾驶检测方法、装置、计算机设备和存储介质 - Google Patents

疲劳驾驶检测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111488855A
CN111488855A CN202010331803.0A CN202010331803A CN111488855A CN 111488855 A CN111488855 A CN 111488855A CN 202010331803 A CN202010331803 A CN 202010331803A CN 111488855 A CN111488855 A CN 111488855A
Authority
CN
China
Prior art keywords
fatigue driving
driving state
target
face key
fatigue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010331803.0A
Other languages
English (en)
Inventor
周康明
候凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eye Control Technology Co Ltd
Original Assignee
Shanghai Eye Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eye Control Technology Co Ltd filed Critical Shanghai Eye Control Technology Co Ltd
Priority to CN202010331803.0A priority Critical patent/CN111488855A/zh
Publication of CN111488855A publication Critical patent/CN111488855A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及计算机技术领域，特别是涉及一种疲劳驾驶检测方法、装置、计算机设备和存储介质。所述方法包括：获取待处理视频，并从待处理视频中提取各帧图像；分别对各帧图像中的检测对象进行人脸关键点信息的提取，得到对应各帧图像的人脸关键点信息；基于提取的人脸关键点信息，进行疲劳驾驶状态的检测，得到对应疲劳驾驶状态的初始检测结果；根据各初始检测结果，确定检测对象的目标疲劳参考值，并判断目标疲劳参考值是否大于预设阈值；当目标疲劳参考值大于预设阈值时，则生成检测对象处于疲劳驾驶状态的最终检测结果。采用本方法能够提升疲劳驾驶检测准确性。

Description

疲劳驾驶检测方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种疲劳驾驶检测方法、装置、计算机设备和存储介质。
背景技术
随着社会经济飞速发展，城市道路的大规模建设，机动车保有量呈指数增加。机动车保有量呈指数增加的同时，交通事故的发生率日益增高。同时随着现代人生活节奏加快，熬夜现象严重、缺乏锻炼、饮食不规律等因素造成了现代人容易疲劳，精力差，随之出现的疲劳驾驶成为造成交通事故的主要原因之一。
在现有方式中，通常基于脑电信号(Electroencephalogram，EEG)的睡眠检测模型对清醒状态和睡眠状态进行检测，以确定是否处于疲劳驾驶状态。
但是，脑电信号EEG容易受到噪音的干扰，并且难以收集，使得进行疲劳驾驶检测的检测准确性较低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提升疲劳驾驶检测准确性的疲劳驾驶检测方法、装置、计算机设备和存储介质。
一种疲劳驾驶检测方法，所述方法包括：
获取待处理视频，并从待处理视频中提取各帧图像；
分别对各帧图像中的检测对象进行人脸关键点信息的提取，得到对应各帧图像的人脸关键点信息；
基于提取的人脸关键点信息，进行疲劳驾驶状态的检测，得到对应疲劳驾驶状态的初始检测结果；
根据初始检测结果，确定检测对象的目标疲劳参考值，并判断目标疲劳参考值是否大于预设阈值；
当目标疲劳参考值大于预设阈值时，则生成检测对象处于疲劳驾驶状态的最终检测结果。
在其中一个实施例中，分别对各帧图像中的检测对象进行人脸关键点信息的提取，得到对应各帧图像的人脸关键点信息，包括：
分别对各帧图像进行人脸区域的检测，得到对应各帧图像的人脸区域图像；
分别对各人脸区域图像进行人脸关键点信息的提取，得到对应各帧图像的人脸关键点信息。
在其中一个实施例中，基于提取的人脸关键点信息，进行疲劳驾驶状态的检测，得到对应疲劳驾驶状态的初始检测结果，包括：
从提取的人脸关键点信息中，提取各人脸关键部位对应的多个目标人脸关键点信息；
根据各人脸关键部位的多个目标人脸关键点信息，检测各人脸关键部位的状态是否处于疲劳驾驶状态，并生成对应的初始检测结果。
在其中一个实施例中，根据各人脸关键部位的多个目标人脸关键点信息，检测各人脸关键部位的状态是否处于疲劳驾驶状态，并生成对应的初始检测结果，包括：
根据人脸关键部位的多个目标人脸关键点信息，计算多个目标人脸关键点信息对应的多个目标人脸关键点之间的目标距离；
判断目标距离是否大于预设距离；
当目标距离大于预设距离时，则确定人脸关键部位的状态处于疲劳驾驶状态，并生成处于疲劳驾驶状态的初始检测结果；
当目标距离小于或等于预设距离时，则确定人脸关键部位的状态未处于疲劳驾驶状态，并生成未处于疲劳驾驶状态的初始检测结果。
在其中一个实施例中，进行疲劳驾驶状态的检测，得到对应疲劳驾驶状态的初始检测结果，包括：
进行多种不同表现形式的疲劳驾驶状态的检测，得到对应多种不同表现形式的疲劳驾驶状态的初始检测结果；
根据初始检测结果，确定检测对象的目标疲劳参考值，包括：
基于各表现形式的疲劳驾驶状态的初始检测结果，确定检测时间内各表现形式的疲劳驾驶状态被检测到的次数；
根据各表现形式的疲劳驾驶状态被检测到的次数，以及在检测时间内帧图像的数量，确定各表现形式的疲劳驾驶状态的占比；
基于预先设置的各表现形式的疲劳驾驶状态的权重以及各表现形式的疲劳驾驶状态的占比，生成检测对象的目标疲劳参考值。
在其中一个实施例中，上述方法还包括：
当目标疲劳参考值小于或等于预设阈值时，判断检测时间内的最后一帧图像是否为待处理视频的最后一帧图像；
当检测时间内的最后一帧图像为待处理视频的最后一帧图像时，则生成检测对象未处于疲劳驾驶状态的最终检测结果；
当检测时间内的最后一帧图像不是待处理视频的最后一帧图像时，则获取待处理视频中下一检测时间内的各帧图像，并继续对检测对象是否处于疲劳驾驶状态进行检测。
在其中一个实施例中，对各帧图像中的检测对象进行人脸关键点信息的提取是通过预先训练的检测模型进行的，检测模型的训练方式包括：
获取训练集图像；
通过标注框对训练集图像中的人脸关键点分别进行标注，分别得到训练集图像中人脸关键点的信息；
对标注后的训练集图像进行归一化处理，得到与预设尺寸一致的训练集图像；
将训练集图像输入构建的初始检测模型，对训练集图像进行特征提取，得到特征图像；
对特征图像进行回归预测，得到人脸关键点的预测结果；
基于标注框以及预测结果，确定模型的损失值，并通过损失值更新模型参数；
对初始检测模型进行迭代处理，得到训练后的检测模型。
一种疲劳驾驶检测装置，所述装置包括：
获取模块，用于获取待处理视频，并从待处理视频中提取各帧图像；
提取模块，用于分别对各帧图像中的检测对象进行人脸关键点信息的提取，得到对应各帧图像的人脸关键点信息；
检测模块，用于基于提取的人脸关键点信息，进行疲劳驾驶状态的检测，得到对应疲劳驾驶状态的初始检测结果；
第一判断模块，用于根据初始检测结果，确定检测对象的目标疲劳参考值，并判断目标疲劳参考值是否大于预设阈值；
第一结果生成模块，用于当目标疲劳参考值大于预设阈值时，则生成检测对象处于疲劳驾驶状态的最终检测结果。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
上述疲劳驾驶检测方法、装置、计算机设备和存储介质，通过获取待处理视频，并从待处理视频中提取各帧图像，然后分别对各帧图像中的检测对象进行人脸关键点信息的提取，得到对应各帧图像的人脸关键点信息，并基于提取的人脸关键点信息，进行疲劳驾驶状态的检测，得到对应疲劳驾驶状态的初始检测结果，进一步根据初始检测结果，确定检测对象的目标疲劳参考值，并进行判断，生成对应的最终检测结果。从而，可以直接对待处理视频中的各帧图像进行人脸关键点信息的提取，以及疲劳驾驶状态的检测判定，即可确定检测对象的目标疲劳参考值，相比于通过EEG进行检测，不用接收外界的干扰，帧图像也易于收集，进而可以提升疲劳驾驶检测的准确性。
附图说明
图1为一个实施例中疲劳驾驶检测方法的应用场景图；
图2为一个实施例中疲劳驾驶检测方法的流程示意图；
图3为另一个实施例中疲劳驾驶检测方法的流程示意图；
图4为一个实施例中人脸关键点信息提取步骤的流程示意图；
图5为一个实施例中人脸区域检测步骤的流程示意图；
图6为一个实施例中人脸关键点部位关键点的示意图；
图7为一个实施例中疲劳驾驶检测装置的结构框图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的疲劳驾驶检测方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102用于采集待处理视频，并通过网络发送至服务器104。服务器104在获取终端102发送的待处理视频后，可以从待处理视频中提取各帧图像，然后分别对各帧图像中的检测对象进行人脸关键点信息的提取，得到对应各帧图像的人脸关键点信息。进一步，服务器104可以基于提取的人脸关键点信息，进行疲劳驾驶状态的检测，得到对应疲劳驾驶状态的初始检测结果，并根据初始检测结果，确定检测对象的目标疲劳参考值，并判断目标疲劳参考值是否大于预设阈值。最后，当服务器104确定目标疲劳参考值大于预设阈值时，则生成检测对象处于疲劳驾驶状态的最终检测结果。其中，终端102可以但不限于是各种带有视频采集功能以及网络传输功能的各种照相机、摄像机、录像机、个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种疲劳驾驶检测方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤S202，获取待处理视频，并从待处理视频中提取各帧图像。
其中，待处理视频是指由终端采集的，用于对视频中检测对象的状态进行检测处理的视频，待处理视频可以包括多帧图像。检测对象是指车辆驾驶的驾驶员。
具体地，终端可以进行待处理视频的采集，并发送至服务器。服务器在接收到待处理视频后，可以逐帧对待处理视频进行帧图像的提取，得到待处理视频中的各帧图像。
步骤S204，分别对各帧图像中的检测对象进行人脸关键点信息的提取，得到对应各帧图像的人脸关键点信息。
其中，人脸关键点信息是指识别人脸目标的信息，例如，68个人脸关键点的信息等。具体地，68个人脸关键点中可以包括人脸的眼睛、嘴唇、鼻子、眉毛以及外轮廓的关键点。
具体地，服务器可以通过多种不同的检测算法对人脸关键点进行提取，例如，神经网络模型或者其他的人脸关键点检测算法等对各帧图像进行提取，以得到人脸的关键点信息。
步骤S206，基于提取的人脸关键点信息，进行疲劳驾驶状态的检测，得到对应疲劳驾驶状态的初始检测结果。
其中，疲劳驾驶状态是指人处于疲劳时的面部表情状态，例如，可以包括但不限于打哈欠、闭眼或者打盹等。
具体地，服务器可以根据提取的人脸关键点信息，分别对不同表现形式的疲劳驾驶状态进行检测，即分别对打哈欠、闭眼或者打盹等进行检测，以得到各疲劳驾驶状态初始检测结果。
步骤S208，根据初始检测结果，确定检测对象的目标疲劳参考值，并判断目标疲劳参考值是否大于预设阈值。
其中，目标疲劳参考值是指对检测对象是否处于疲劳驾驶状态进行判定的指标值，例如，可以是检测对象的疲劳值等。
具体地，服务器可以根据各初始检测结果，对检测对象的目标疲劳参考值进行计算，并基于计算得到的目标疲劳参考值以及预设阈值，对检测对象是否处于疲劳驾驶状态进行判定。
步骤S210，当目标疲劳参考值大于预设阈值时，则生成检测对象处于疲劳驾驶状态的最终检测结果。
如前所述，服务器基于得到的目标疲劳参考值以及预设阈值，对检测对象是否处于疲劳驾驶状态进行判定。
具体地，当服务器判定得到的目标疲劳参考值大于预设阈值时，可以确定检测对象处于疲劳驾驶状态，则可以生成检测对象处于疲劳驾驶状态的最终检测结果。
上述疲劳驾驶检测方法中，通过获取待处理视频，并从待处理视频中提取各帧图像，然后分别对各帧图像中的检测对象进行人脸关键点信息的提取，得到对应各帧图像的人脸关键点信息，并基于提取的人脸关键点信息，进行疲劳驾驶状态的检测，得到对应疲劳驾驶状态的初始检测结果，进一步根据初始检测结果，确定检测对象的目标疲劳参考值，并进行判断，生成对应的最终检测结果。从而，可以直接对待处理视频中的各帧图像进行人脸关键点信息的提取，以及疲劳驾驶状态的检测判定，即可确定检测对象的目标疲劳参考值，相比于通过EEG进行检测，不用接收外界的干扰，帧图像也易于收集，进而可以提升疲劳驾驶检测的准确性。
在其中一个实施例中，参考图3，服务器分别对各帧图像中的检测对象进行人脸关键点信息的提取，得到对应各帧图像的人脸关键点信息，可以包括：分别对各帧图像进行人脸区域的检测，得到对应各帧图像的人脸区域图像；分别对各人脸区域图像进行人脸关键点信息的提取，得到对应各帧图像的人脸关键点信息。
其中，人脸区域是指帧图像中人脸所在的区域，人脸区域可以包括检测对象的所有人脸信息，即包括检测对象的68个人脸关键点。具体地，人脸区域图像是指仅包含人脸区域的图像。
在本实施例中，服务器对各帧图像进行人脸区域的检测可以是通过预先训练的神经网络模型进行的，例如，可以采用多尺度目标检测框架(Single Shot Multi BoxDetector，SSD)，基础网络用MobileNetV2，SSD网络对帧图像进行人脸区域的处理过程可以参考图4所示。
其中，VGG是指分类网络进行分类，conv layers是指多个卷积层进行卷积处理，Avg pooling是指平均池化处理，detector&classifier是指预测分类处理，fast Non-Maximum Suppression是指快速非极大值抑制处理。
具体地，服务器通过SSD网络帧图像进行多次下采样处理，进行多尺度的特征的提取，以得到多个尺度的特征图像。然后分别对提取的特征图像进行回归预测，以及相邻层特征图像的融合，以及非极大值抑制处理处理后，得到人脸区域的预测框。进一步，通过预测框对人脸区域进行拆分，得到人脸区域图像。
在本实施例中，服务器对人脸区域图像进行人脸关键点信息的提取可以是通过预先训练的人脸关键点检测模型进行的，例如，可以是SeNet-10。其中，SeNet-10的网络处理流程可以参考图5所示。
具体地，服务器可以将人脸区域图像X输入检测模型，人脸区域图像X的特征通道数为c1。然后服务器通过网络模型对人脸区域图像X进行一系列卷积后，得到特征通道数为c2的特征图。然后对得到的特征分别进行Squeeze操作(即Fsq)、Excitation操作(即Fex)以及Reweight的操作(Fscale)后，输出人脸关键点信息。
其中，Squeeze(压缩)操作是指顺着空间维度来进行特征压缩，将每个二维的特征通道变成一个实数，这个实数某种程度上具有全局的感受野，并且输出的维度和输入的特征通道数相匹配；Excitation(激励)操作是一个类似于循环神经网络中门的机制，通过参数w来为每个特征通道生成权重；Reweight(重标定)的操作，将Excitation的输出的权重看做是经过特征选择后的每个特征通道的重要性，然后通过乘法逐通道加权到得到的特征图上，完成在通道维度上的对特征图的重标定。
上述实施例中，通过分别对各帧图像进行人脸区域的检测，得到对应各帧图像的人脸区域图像，然后对各人脸区域图像进行人脸关键点信息的提取，得到对应各帧图像的人脸关键点信息，相比于直接对帧图像进行人脸关键点信息的提取，缩小信息提取的范围，可以提升人脸关键点信息提取的准确性，进而可以提升疲劳驾驶检测的准确性。
在其中一个实施例中，基于提取的人脸关键点信息，进行疲劳驾驶状态的检测，得到对应疲劳驾驶状态的初始检测结果，可以包括：从提取的人脸关键点信息中，提取各人脸关键部位对应的多个目标人脸关键点信息；根据各人脸关键部位的多个目标人脸关键点信息，检测各人脸关键部位的状态是否处于疲劳驾驶状态，并生成对应的初始检测结果。
具体地，参考图6，人脸包括多个人脸关键部位，例如，嘴唇、眼睛、鼻子、眉毛以及人脸轮廓等，人脸关键点信息中包括对应各人脸关键部位的信息，如，对应嘴唇的多个目标人脸关键点信息、对应眼睛的多个目标人脸关键点信息等。
在本实施例中，服务器可以根据提取的人脸关键点信息，从中提取出对应各人脸关键部位的多个目标人脸关键点信息，例如，可以根据SeNet-10网络的功能，对各人脸关键部分的目标人脸关键点信息进行提取等。
进一步，服务器可以根据各人脸关键部位的多个目标人脸关键点信息，对各人脸关键部位的状态是否处于疲劳驾驶状态进行检测判定，例如，根据嘴唇的多个目标人脸关键点信息，确定是否在打哈欠，根据眼睛的多个目标人脸关键点信息，确定是否闭眼，根据整个面部轮廓的多个目标人脸关键点信息，确定是否在打盹等。
上述实施例中，通过分别提取各人脸关键部位对应的多个目标人脸关键点信息，并可以基于各人脸关键部位对应的多个目标人脸关键点信息对各人脸关键部位的状态进行检测，可以提升检测的准确性。
在其中一个实施例中，根据各人脸关键部位的多个目标人脸关键点信息，检测各人脸关键部位的状态是否处于疲劳驾驶状态，并生成对应的初始检测结果，可以包括：根据人脸关键部位的多个目标人脸关键点信息，计算多个目标人脸关键点信息对应的多个目标人脸关键点之间的目标距离；判断目标距离是否大于预设距离；当目标距离大于预设距离时，则确定人脸关键部位的状态处于疲劳驾驶状态，并生成处于疲劳驾驶状态的初始检测结果；当目标距离小于或等于预设距离时，则确定人脸关键部位的状态未处于疲劳驾驶状态，并生成未处于疲劳驾驶状态的初始检测结果。
具体的，继续参考图6，对于某一人脸关键部位，例如嘴唇，在常态情况时，其对应的多个目标人脸关键点之间的距离是固定的，当处于打哈欠状态时，嘴唇的多个目标人脸关键点之间的距离将会发生显著的变换。
在本实施例中，服务器可以对得到人脸关键部位的多个目标人脸关键点信息，对目标关键点之间的目标距离进行计算，例如，可以是分别对相邻两个目标关键点之间的目标距离进行计算等，以得到相邻两个目标关键点目标距离。
进一步，服务器可以基于预设阈值对目标关键点之间的目标距离进行判定，当判定目标距离大于预设距离时，则服务器可以确定人脸关键部位的状态处于疲劳驾驶状态，并生成处于疲劳驾驶状态的初始检测结果。当服务器判定目标距离小于或等于预设距离时，则确定人脸关键部位的状态未处于疲劳驾驶状态，并生成未处于疲劳驾驶状态的初始检测结果。
可选地，服务器可以分别对各相邻目标关键点之间的目标距离进行计算，并分别基于各预设距离对各目标距离进行判定，然后对目标距离大于预设距离的数量进行统计，在基于预设数量对统计的数量进行进一步的判定，以确定人脸关键部位的状态是否处于疲劳驾驶状态。
上述实施例中，通过各脸关键部位的多个目标人脸关键点信息，计算多个目标人脸关键点之间的目标距离，从而，可以基于具体数值对人脸关键部位的状态进行判定，可以使处理过程更加简洁，提升服务器的处理效率。
在其中一个实施例中，进行疲劳驾驶状态的检测，得到对应疲劳驾驶状态的初始检测结果，可以包括：进行多种不同表现形式的疲劳驾驶状态的检测，得到对应多种不同表现形式的疲劳驾驶状态的初始检测结果。
如前所述，疲劳驾驶状态可以有多种不同的表现形式，如打哈欠、闭眼或者打盹等。
在本实施例中，服务器可以多种不同表现形式的疲劳驾驶状态的检测，即分别进行打哈欠、闭眼以及打盹等疲劳驾驶状态的检测，并生成对应各表现形式的疲劳驾驶状态的初始检测结果，即对应打哈欠的初始检测结果、对应闭眼的初始检测结果、以及对应打盹的初始检测结果等。
在本实施例中，根据各初始检测结果，确定检测对象的目标疲劳参考值，可以包括：基于各表现形式的疲劳驾驶状态的初始检测结果，确定检测时间内各表现形式的疲劳驾驶状态被检测到的次数；根据各表现形式的疲劳驾驶状态被检测到的次数，以及在检测时间内帧图像的数量，确定各表现形式的疲劳驾驶状态的占比；基于预先设置的各表现形式的疲劳驾驶状态的权重以及各表现形式的疲劳驾驶状态的占比，生成检测对象的目标疲劳参考值。
具体地，继续参考图3，服务器可以根据各表现形式的疲劳驾驶状态的初始检测结果，即在各帧图像中，检测对象是在闭眼、打哈欠或者打盹等，对在检测时间内，各种表现形式的疲劳驾驶状态被检测到的次数进行统计，例如，统计各种表现形式的疲劳驾驶状态的帧数。
进一步，服务器根据各表现形式的疲劳驾驶状态被检测到的次数以及在检测时间内帧图像的总的数量，分别对闭眼、打哈欠以及打盹的占比进行计算，如计算百分比，计算公式如下：
Figure BDA0002465204980000111
Figure BDA0002465204980000112
Figure BDA0002465204980000113
其中，公式(1)为闭眼的占比计算公式，公式(2)为打哈欠的占比计算公式，公式(3)为打盹的占比计算公式，feye为闭眼的百分比，teye为闭眼被检测到的帧数，fmouth为打哈欠的百分比，tmouth为打哈欠被检测到的帧数，fmouth为打盹的百分比，tmouth为打盹被检测到的帧数。
进一步，服务器可以基于预先设置的各表现形式的疲劳驾驶状态的权重，对检测对象的目标疲劳参考值，例如，计算检测对象的疲劳值。具体地，目标疲劳参考值的计算如公式(4)所示：
F＝ω1feye+ω2fmouth+ω3fbrain (4)
其中，ω1为闭眼的权重、ω2为打哈欠的权重、ω3为打盹的权重。
上述实施例中，通过计算在检测时间内各表现形式的疲劳驾驶状态的占比，以及基于各表现形式的疲劳驾驶状态的权重以及各表现形式的疲劳驾驶状态的占比，生成检测对象的目标疲劳参考值，使得目标疲劳参考值基于多种表现形式的疲劳驾驶状态的检测结果综合生成，可以提升生成的目标疲劳参考值的准确性，进而可以提升疲劳驾驶状态检测的准确性。
在其中一个实施例中，上述方法还可以包括：当目标疲劳参考值小于或等于预设阈值时，判断检测时间内的最后一帧图像是否为待处理视频的最后一帧图像；当检测时间内的最后一帧图像为待处理视频的最后一帧图像时，则生成检测对象未处于疲劳驾驶状态的最终检测结果；当检测时间内的最后一帧图像不是待处理视频的最后一帧图像时，则获取待处理视频中下一检测时间内的各帧图像，并继续对检测对象是否处于疲劳驾驶状态进行检测。
如前所述，服务器可以将得到的目标疲劳参考值与预设阈值进行比较判定，确定判断目标疲劳参考值是否大于预设阈值。
具体地，继续参考图3，当目标疲劳参考值大于预设阈值时，则服务器生成检测对象处于疲劳驾驶状态的最终检测结果，当目标疲劳参考值小于或等于预设阈值时，则服务器可以对该检测时间内的最后一帧图像是否为待处理视频的最后一帧图像进行判断。
在本实施例中，当该检测时间内的最后一帧图像为待处理视频的最后一帧图像时，则服务器可以生成检测对象未处于疲劳驾驶状态的最终检测结果。
可选地，当该检测时间内的最后一帧图像不是待处理视频的最后一帧图像时，则服务器可以获取待处理视频中下一检测时间内的各帧图像，并继续对检测对象是否处于疲劳驾驶状态进行检测。
在本实施例中，服务器在某一检测时间内，确定目标疲劳参考值大于预设阈值时，则可以停止继续进行检测，并输出该检测对象处于疲劳驾驶状态的最终检测结果，若服务器对待处理视频的最后一帧图像进行检测后，得到的目标疲劳参考值均为小于或者等于预设阈值，则可以输出检测对象未处于疲劳驾驶状态的最终检测结果。
上述实施例中，通过对待处理视频的多个检测时间分别进行检测，当某一检测时间检测到检测对象处于疲劳驾驶状态即可停止继续检测，相比于对整个待处理视频，可以减少检测的数据量，从而可以节约检测资源，降低资源的耗费。并且，分检测时间进行检测，使得服务器处理的数据量较小，可以提升服务器的处理效率。
在其中一个实施例中，对各帧图像中的检测对象进行人脸关键点信息的提取是通过预先训练的检测模型进行的，检测模型的训练方式可以包括：获取训练集图像；通过标注框对训练集图像中的人脸关键点分别进行标注，分别得到训练集图像中人脸关键点的信息；对标注后的训练集图像进行归一化处理，得到与预设尺寸一致的训练集图像；将训练集图像输入构建的初始检测模型，对训练集图像进行特征提取，得到特征图像；对特征图像进行回归预测，得到人脸关键点的预测结果；基于标注框以及预测结果，确定模型的损失值，并通过损失值更新模型参数；对初始检测模型进行迭代处理，得到训练后的检测模型。
具体地，服务器可以获取历史检测视频，并从历史检测视频中获取各帧图像，以此作为训练集图像。
然后，服务器可以通过标注工具对训练集图像中的每一个检测对象的人脸关键点信息进行标注，例如，可以通过LabelImg分别标注人脸的68个关键点等，得到训练集图像中检测对象的人脸关键信息。
进一步，服务器可以根据检测模型的输入尺寸的要求，对训练集图像进行图像填充以及图像缩放处理，得到与检测模型要求的输入尺寸一致的训练集图像。
进一步，服务器将缩放后的训练集图像输入检测模型，通过检测模型对各训练集图像分别进行特征的提取，以生成特征图像，进而对生成的特征图像进行回归预测，得到人脸关键点的预测结果。
进一步，服务器标注框以及模型对人脸关键点的预测结果，进行损失值的计算。其中，进行损失计算的损失函数可以是L1损失函数和/或L2损失函数，或者也可以其他的损失函数，对此不作限制。
然后，服务器根据得到的损失值对模型参数进行更新，并根据预先设置的学习率，对模型进行迭代处理，以得到训练完成的检测模型。
上述实施例中，通过训练后的检测模型进行人脸关键点的识别，可以提升人脸关键点信息识别的准确性，进而可以提升疲劳驾驶状态检测的准确性。
应该理解的是，虽然图2-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种疲劳驾驶检测装置，包括：获取模块100、提取模块200、检测模块300、第一判断模块400和第一结果生成模块500，其中：
获取模块100，用于获取待处理视频，并从待处理视频中提取各帧图像。
提取模块200，用于分别对各帧图像中的检测对象进行人脸关键点信息的提取，得到对应各帧图像的人脸关键点信息。
检测模块300，用于基于提取的人脸关键点信息，进行疲劳驾驶状态的检测，得到对应疲劳驾驶状态的初始检测结果。
第一判断模块400，用于根据初始检测结果，确定检测对象的目标疲劳参考值，并判断目标疲劳参考值是否大于预设阈值。
第一结果生成模块500，用于当目标疲劳参考值大于预设阈值时，则生成检测对象处于疲劳驾驶状态的最终检测结果。
在其中一个实施例中，提取模块200可以包括：
第一检测子模块，用于分别对各帧图像进行人脸区域的检测，得到对应各帧图像的人脸区域图像。
第一提取子模块，用于分别对各人脸区域图像进行人脸关键点信息的提取，得到对应各帧图像的人脸关键点信息。
在其中一个实施例中，检测模块300可以包括：
第二提取子模块，用于从提取的人脸关键点信息中，提取各人脸关键部位对应的多个目标人脸关键点信息。
第二检测子模块，用于根据各人脸关键部位的多个目标人脸关键点信息，检测各人脸关键部位的状态是否处于疲劳驾驶状态，并生成对应的初始检测结果。
在其中一个实施例中，第二检测子模块可以包括：
目标距离计算单元，用于根据人脸关键部位的多个目标人脸关键点信息，计算多个目标人脸关键点信息对应的多个目标人脸关键点之间的目标距离。
判断单元，用于判断目标距离是否大于预设距离。
第一初始检测结果生成单元，用于当目标距离大于预设距离时，则确定人脸关键部位的状态处于疲劳驾驶状态，并生成处于疲劳驾驶状态的初始检测结果。
第二初始检测结果生成单元，用于当目标距离小于或等于预设距离时，则确定人脸关键部位的状态未处于疲劳驾驶状态，并生成未处于疲劳驾驶状态的初始检测结果。
在其中一个实施例中，检测模块300用于进行多种不同表现形式的疲劳驾驶状态的检测，得到对应多种不同表现形式的疲劳驾驶状态的初始检测结果。
在本实施例中，第一判断模块400可以包括：
次数确定子模块，用于基于各表现形式的疲劳驾驶状态的初始检测结果，确定检测时间内各表现形式的疲劳驾驶状态被检测到的次数。
占比确定子模块，用于根据各表现形式的疲劳驾驶状态被检测到的次数，以及在检测时间内帧图像的数量，确定各表现形式的疲劳驾驶状态的占比。
值生成子模块，用于基于预先设置的各表现形式的疲劳驾驶状态的权重以及各表现形式的疲劳驾驶状态的占比，生成检测对象的目标疲劳参考值。
在其中一个实施例中，上述装置还可以包括：
第二判断模块，用于当目标疲劳参考值小于或等于预设阈值时，判断检测时间内的最后一帧图像是否为待处理视频的最后一帧图像。
第二结果生成模块，用于当检测时间内的最后一帧图像为待处理视频的最后一帧图像时，则生成检测对象未处于疲劳驾驶状态的最终检测结果。
循环处理模块，用于当检测时间内的最后一帧图像不是待处理视频的最后一帧图像时，则获取待处理视频中下一检测时间内的各帧图像，并继续对检测对象是否处于疲劳驾驶状态进行检测。
在其中一个实施例中，提取模块200对各帧图像中的检测对象进行人脸关键点信息的提取是通过训练模块预先训练的检测模型进行的，训练模块可以包括：
训练集图像获取子模块，获取训练集图像。
标注子模块，通过标注框对训练集图像中的人脸关键点分别进行标注，分别得到训练集图像中人脸关键点的信息。
归一化处理模块，对标注后的训练集图像进行归一化处理，得到与预设尺寸一致的训练集图像。
特征提取子模块，将训练集图像输入构建的初始检测模型，对训练集图像进行特征提取，得到特征图像。
特征融合子模块，对特征图像进行回归预测，得到人脸关键点的预测结果。
损失处理子模块，基于标注框以及预测结果，确定模型的损失值，并通过损失值更新模型参数。
迭代处理模块，对初始检测模型进行迭代处理，得到训练后的检测模型。
关于疲劳驾驶检测装置的具体限定可以参见上文中对于疲劳驾驶检测方法的限定，在此不再赘述。上述疲劳驾驶检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储待处理视频、帧图像、初始检测结果以及最终检测结果等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种疲劳驾驶检测方法。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取待处理视频，并从待处理视频中提取各帧图像；分别对各帧图像中的检测对象进行人脸关键点信息的提取，得到对应各帧图像的人脸关键点信息；基于提取的人脸关键点信息，进行疲劳驾驶状态的检测，得到对应疲劳驾驶状态的初始检测结果；根据初始检测结果，确定检测对象的目标疲劳参考值，并判断目标疲劳参考值是否大于预设阈值；当目标疲劳参考值大于预设阈值时，则生成检测对象处于疲劳驾驶状态的最终检测结果。
在其中一个实施例中，处理器执行计算机程序时实现分别对各帧图像中的检测对象进行人脸关键点信息的提取，得到对应各帧图像的人脸关键点信息，可以包括：分别对各帧图像进行人脸区域的检测，得到对应各帧图像的人脸区域图像；分别对各人脸区域图像进行人脸关键点信息的提取，得到对应各帧图像的人脸关键点信息。
在其中一个实施例中，处理器执行计算机程序时实现基于提取的人脸关键点信息，进行疲劳驾驶状态的检测，得到对应疲劳驾驶状态的初始检测结果，可以包括：从提取的人脸关键点信息中，提取各人脸关键部位对应的多个目标人脸关键点信息；根据各人脸关键部位的多个目标人脸关键点信息，检测各人脸关键部位的状态是否处于疲劳驾驶状态，并生成对应的初始检测结果。
在其中一个实施例中，处理器执行计算机程序时实现根据各人脸关键部位的多个目标人脸关键点信息，检测各人脸关键部位的状态是否处于疲劳驾驶状态，并生成对应的初始检测结果，可以包括：根据人脸关键部位的多个目标人脸关键点信息，计算多个目标人脸关键点信息对应的多个目标人脸关键点之间的目标距离；判断目标距离是否大于预设距离；当目标距离大于预设距离时，则确定人脸关键部位的状态处于疲劳驾驶状态，并生成处于疲劳驾驶状态的初始检测结果；当目标距离小于或等于预设距离时，则确定人脸关键部位的状态未处于疲劳驾驶状态，并生成未处于疲劳驾驶状态的初始检测结果。
在其中一个实施例中，处理器执行计算机程序时实现进行疲劳驾驶状态的检测，得到对应疲劳驾驶状态的初始检测结果，可以包括：进行多种不同表现形式的疲劳驾驶状态的检测，得到对应多种不同表现形式的疲劳驾驶状态的初始检测结果。处理器执行计算机程序时实现根据初始检测结果，确定检测对象的目标疲劳参考值，可以包括：基于各表现形式的疲劳驾驶状态的初始检测结果，确定检测时间内各表现形式的疲劳驾驶状态被检测到的次数；根据各表现形式的疲劳驾驶状态被检测到的次数，以及在检测时间内帧图像的数量，确定各表现形式的疲劳驾驶状态的占比；基于预先设置的各表现形式的疲劳驾驶状态的权重以及各表现形式的疲劳驾驶状态的占比，生成检测对象的目标疲劳参考值。
在其中一个实施例中，处理器执行计算机程序时还可以实现如下步骤：当目标疲劳参考值小于或等于预设阈值时，判断检测时间内的最后一帧图像是否为待处理视频的最后一帧图像；当检测时间内的最后一帧图像为待处理视频的最后一帧图像时，则生成检测对象未处于疲劳驾驶状态的最终检测结果；当检测时间内的最后一帧图像不是待处理视频的最后一帧图像时，则获取待处理视频中下一检测时间内的各帧图像，并继续对检测对象是否处于疲劳驾驶状态进行检测。
在其中一个实施例中，处理器执行计算机程序时实现对各帧图像中的检测对象进行人脸关键点信息的提取是通过预先训练的检测模型进行的，检测模型的训练方式可以包括：获取训练集图像；通过标注框对训练集图像中的人脸关键点分别进行标注，分别得到训练集图像中人脸关键点的信息；对标注后的训练集图像进行归一化处理，得到与预设尺寸一致的训练集图像；将训练集图像输入构建的初始检测模型，对训练集图像进行特征提取，得到特征图像；对特征图像进行回归预测，得到人脸关键点的预测结果；基于标注框以及预测结果，确定模型的损失值，并通过损失值更新模型参数；对初始检测模型进行迭代处理，得到训练后的检测模型。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取待处理视频，并从待处理视频中提取各帧图像；分别对各帧图像中的检测对象进行人脸关键点信息的提取，得到对应各帧图像的人脸关键点信息；基于提取的人脸关键点信息，进行疲劳驾驶状态的检测，得到对应疲劳驾驶状态的初始检测结果；根据初始检测结果，确定检测对象的目标疲劳参考值，并判断目标疲劳参考值是否大于预设阈值；当目标疲劳参考值大于预设阈值时，则生成检测对象处于疲劳驾驶状态的最终检测结果。
在其中一个实施例中，计算机程序被处理器执行时实现分别对各帧图像中的检测对象进行人脸关键点信息的提取，得到对应各帧图像的人脸关键点信息，可以包括：分别对各帧图像进行人脸区域的检测，得到对应各帧图像的人脸区域图像；分别对各人脸区域图像进行人脸关键点信息的提取，得到对应各帧图像的人脸关键点信息。
在其中一个实施例中，计算机程序被处理器执行时实现基于提取的人脸关键点信息，进行疲劳驾驶状态的检测，得到对应疲劳驾驶状态的初始检测结果，可以包括：从提取的人脸关键点信息中，提取各人脸关键部位对应的多个目标人脸关键点信息；根据各人脸关键部位的多个目标人脸关键点信息，检测各人脸关键部位的状态是否处于疲劳驾驶状态，并生成对应的初始检测结果。
在其中一个实施例中，计算机程序被处理器执行时实现根据各人脸关键部位的多个目标人脸关键点信息，检测各人脸关键部位的状态是否处于疲劳驾驶状态，并生成对应的初始检测结果，可以包括：根据人脸关键部位的多个目标人脸关键点信息，计算多个目标人脸关键点信息对应的多个目标人脸关键点之间的目标距离；判断目标距离是否大于预设距离；当目标距离大于预设距离时，则确定人脸关键部位的状态处于疲劳驾驶状态，并生成处于疲劳驾驶状态的初始检测结果；当目标距离小于或等于预设距离时，则确定人脸关键部位的状态未处于疲劳驾驶状态，并生成未处于疲劳驾驶状态的初始检测结果。
在其中一个实施例中，计算机程序被处理器执行时实现进行疲劳驾驶状态的检测，得到对应疲劳驾驶状态的初始检测结果，可以包括：进行多种不同表现形式的疲劳驾驶状态的检测，得到对应多种不同表现形式的疲劳驾驶状态的初始检测结果。计算机程序被处理器执行时实现根据初始检测结果，确定检测对象的目标疲劳参考值，可以包括：基于各表现形式的疲劳驾驶状态的初始检测结果，确定检测时间内各表现形式的疲劳驾驶状态被检测到的次数；根据各表现形式的疲劳驾驶状态被检测到的次数，以及在检测时间内帧图像的数量，确定各表现形式的疲劳驾驶状态的占比；基于预先设置的各表现形式的疲劳驾驶状态的权重以及各表现形式的疲劳驾驶状态的占比，生成检测对象的目标疲劳参考值。
在其中一个实施例中，计算机程序被处理器执行时还可以实现如下步骤：当目标疲劳参考值小于或等于预设阈值时，判断检测时间内的最后一帧图像是否为待处理视频的最后一帧图像；当检测时间内的最后一帧图像为待处理视频的最后一帧图像时，则生成检测对象未处于疲劳驾驶状态的最终检测结果；当检测时间内的最后一帧图像不是待处理视频的最后一帧图像时，则获取待处理视频中下一检测时间内的各帧图像，并继续对检测对象是否处于疲劳驾驶状态进行检测。
在其中一个实施例中，计算机程序被处理器执行时实现对各帧图像中的检测对象进行人脸关键点信息的提取是通过预先训练的检测模型进行的，检测模型的训练方式可以包括：获取训练集图像；通过标注框对训练集图像中的人脸关键点分别进行标注，分别得到训练集图像中人脸关键点的信息；对标注后的训练集图像进行归一化处理，得到与预设尺寸一致的训练集图像；将训练集图像输入构建的初始检测模型，对训练集图像进行特征提取，得到特征图像；对特征图像进行回归预测，得到人脸关键点的预测结果；基于标注框以及预测结果，确定模型的损失值，并通过损失值更新模型参数；对初始检测模型进行迭代处理，得到训练后的检测模型。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种疲劳驾驶检测方法，其特征在于，所述方法包括：
获取待处理视频，并从所述待处理视频中提取各帧图像；
分别对各所述帧图像中的检测对象进行人脸关键点信息的提取，得到对应各帧图像的人脸关键点信息；
基于提取的所述人脸关键点信息，进行疲劳驾驶状态的检测，得到对应所述疲劳驾驶状态的初始检测结果；
根据所述初始检测结果，确定所述检测对象的目标疲劳参考值，并判断所述目标疲劳参考值是否大于预设阈值；
当所述目标疲劳参考值大于所述预设阈值时，则生成所述检测对象处于疲劳驾驶状态的最终检测结果。
2.根据权利要求1所述的方法，其特征在于，所述分别对各所述帧图像中的检测对象进行人脸关键点信息的提取，得到对应各帧图像的人脸关键点信息，包括：
分别对各所述帧图像进行人脸区域的检测，得到对应各所述帧图像的人脸区域图像；
分别对各所述人脸区域图像进行人脸关键点信息的提取，得到对应各帧图像的人脸关键点信息。
3.根据权利要求1所述的方法，其特征在于，所述基于提取的所述人脸关键点信息，进行疲劳驾驶状态的检测，得到对应所述疲劳驾驶状态的初始检测结果，包括：
从提取的所述人脸关键点信息中，提取各人脸关键部位对应的多个目标人脸关键点信息；
根据各所述人脸关键部位的多个目标人脸关键点信息，检测各所述人脸关键部位的状态是否处于疲劳驾驶状态，并生成对应的初始检测结果。
4.根据权利要求3所述的方法，其特征在于，所述根据各所述人脸关键部位的多个目标人脸关键点信息，检测各所述人脸关键部位的状态是否处于疲劳驾驶状态，并生成对应的初始检测结果，包括：
根据所述人脸关键部位的多个目标人脸关键点信息，计算所述多个目标人脸关键点信息对应的多个目标人脸关键点之间的目标距离；
判断所述目标距离是否大于预设距离；
当所述目标距离大于所述预设距离时，则确定所述人脸关键部位的状态处于疲劳驾驶状态，并生成处于疲劳驾驶状态的初始检测结果；
当所述目标距离小于或等于所述预设距离时，则确定所述人脸关键部位的状态未处于疲劳驾驶状态，并生成未处于疲劳驾驶状态的初始检测结果。
5.根据权利要求1所述的方法，其特征在于，所述进行疲劳驾驶状态的检测，得到对应所述疲劳驾驶状态的初始检测结果，包括：
进行多种不同表现形式的疲劳驾驶状态的检测，得到对应所述多种不同表现形式的疲劳驾驶状态的初始检测结果；
所述根据所述初始检测结果，确定所述检测对象的目标疲劳参考值，包括：
基于各所述表现形式对应的疲劳驾驶状态的初始检测结果，确定检测时间内各所述表现形式对应的疲劳驾驶状态被检测到的次数；
根据各所述表现形式对应的疲劳驾驶状态被检测到的次数，以及在所述检测时间内所述帧图像的数量，确定各所述表现形式对应的疲劳驾驶状态的占比；
基于预先设置的各表现形式对应的疲劳驾驶状态的权重以及各表现形式对应的疲劳驾驶状态的占比，生成所述检测对象的目标疲劳参考值。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
当所述目标疲劳参考值小于或等于所述预设阈值时，判断所述检测时间内的最后一帧图像是否为所述待处理视频的最后一帧图像；
当所述检测时间内的最后一帧图像为所述待处理视频的最后一帧图像时，则生成所述检测对象未处于疲劳驾驶状态的最终检测结果；
当所述检测时间内的最后一帧图像不是所述待处理视频的最后一帧图像时，则获取所述待处理视频中下一检测时间内的各帧图像，并继续对所述检测对象是否处于疲劳驾驶状态进行检测。
7.根据权利要求1所述的方法，其特征在于，所述对各所述帧图像中的检测对象进行人脸关键点信息的提取是通过预先训练的检测模型进行的，所述检测模型的训练方式包括：
获取训练集图像；
通过标注框对所述训练集图像中的人脸关键点分别进行标注，分别得到所述训练集图像中人脸关键点的信息；
对标注后的所述训练集图像进行归一化处理，得到与预设尺寸一致的训练集图像；
将所述训练集图像输入构建的初始检测模型，对所述训练集图像进行特征提取，得到特征图像；
对所述特征图像进行回归预测，得到所述人脸关键点的预测结果；
基于所述标注框以及所述预测结果，确定模型的损失值，并通过所述损失值更新模型参数；
对所述初始检测模型进行迭代处理，得到训练后的检测模型。
8.一种疲劳驾驶检测装置，其特征在于，所述装置包括：
获取模块，用于获取待处理视频，并从所述待处理视频中提取各帧图像；
提取模块，用于分别对各所述帧图像中的检测对象进行人脸关键点信息的提取，得到对应各帧图像的人脸关键点信息；
检测模块，用于基于提取的所述人脸关键点信息，进行疲劳驾驶状态的检测，得到对应各所述疲劳驾驶状态的初始检测结果；
第一判断模块，用于根据所述初始检测结果，确定所述检测对象的目标疲劳参考值，并判断所述目标疲劳参考值是否大于预设阈值；
第一结果生成模块，用于当所述目标疲劳参考值大于所述预设阈值时，则生成所述检测对象处于疲劳驾驶状态的最终检测结果。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202010331803.0A 2020-04-24 2020-04-24 疲劳驾驶检测方法、装置、计算机设备和存储介质 Withdrawn CN111488855A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010331803.0A CN111488855A (zh) 2020-04-24 2020-04-24 疲劳驾驶检测方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010331803.0A CN111488855A (zh) 2020-04-24 2020-04-24 疲劳驾驶检测方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN111488855A true CN111488855A (zh) 2020-08-04

Family

ID=71800241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010331803.0A Withdrawn CN111488855A (zh) 2020-04-24 2020-04-24 疲劳驾驶检测方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111488855A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232175A (zh) * 2020-10-13 2021-01-15 南京领行科技股份有限公司 一种操作对象状态识别方法及装置
CN112287795A (zh) * 2020-10-22 2021-01-29 北京百度网讯科技有限公司 异常驾驶姿态检测方法、装置、设备、车辆和介质
CN112528792A (zh) * 2020-12-03 2021-03-19 深圳地平线机器人科技有限公司 疲劳状态检测方法、装置、介质及电子设备
CN112990069A (zh) * 2021-03-31 2021-06-18 新疆爱华盈通信息技术有限公司 异常驾驶行为检测方法、装置、终端及介质
CN113435362A (zh) * 2021-06-30 2021-09-24 平安科技（深圳）有限公司 异常行为检测方法、装置、计算机设备及存储介质
CN115359132A (zh) * 2022-10-21 2022-11-18 小米汽车科技有限公司 用于车辆的相机标定方法、装置、电子设备及存储介质
CN117079255A (zh) * 2023-10-17 2023-11-17 江西开放大学 一种基于人脸识别和语音交互的疲劳驾驶检测方法
CN112528792B (zh) * 2020-12-03 2024-05-31 深圳地平线机器人科技有限公司 疲劳状态检测方法、装置、介质及电子设备

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232175A (zh) * 2020-10-13 2021-01-15 南京领行科技股份有限公司 一种操作对象状态识别方法及装置
CN112232175B (zh) * 2020-10-13 2022-06-07 南京领行科技股份有限公司 一种操作对象状态识别方法及装置
CN112287795A (zh) * 2020-10-22 2021-01-29 北京百度网讯科技有限公司 异常驾驶姿态检测方法、装置、设备、车辆和介质
CN112287795B (zh) * 2020-10-22 2023-09-01 北京百度网讯科技有限公司 异常驾驶姿态检测方法、装置、设备、车辆和介质
CN112528792A (zh) * 2020-12-03 2021-03-19 深圳地平线机器人科技有限公司 疲劳状态检测方法、装置、介质及电子设备
CN112528792B (zh) * 2020-12-03 2024-05-31 深圳地平线机器人科技有限公司 疲劳状态检测方法、装置、介质及电子设备
CN112990069A (zh) * 2021-03-31 2021-06-18 新疆爱华盈通信息技术有限公司 异常驾驶行为检测方法、装置、终端及介质
CN113435362A (zh) * 2021-06-30 2021-09-24 平安科技（深圳）有限公司 异常行为检测方法、装置、计算机设备及存储介质
CN115359132A (zh) * 2022-10-21 2022-11-18 小米汽车科技有限公司 用于车辆的相机标定方法、装置、电子设备及存储介质
CN115359132B (zh) * 2022-10-21 2023-03-24 小米汽车科技有限公司 用于车辆的相机标定方法、装置、电子设备及存储介质
CN117079255A (zh) * 2023-10-17 2023-11-17 江西开放大学 一种基于人脸识别和语音交互的疲劳驾驶检测方法
CN117079255B (zh) * 2023-10-17 2024-01-05 江西开放大学 一种基于人脸识别和语音交互的疲劳驾驶检测方法

Similar Documents

Publication Publication Date Title
CN110807385B (zh) 目标检测方法、装置、电子设备及存储介质
CN111488855A (zh) 疲劳驾驶检测方法、装置、计算机设备和存储介质
US20220392234A1 (en) Training neural networks for vehicle re-identification
Wang et al. Depth pooling based large-scale 3-d action recognition with convolutional neural networks
Omerustaoglu et al. Distracted driver detection by combining in-vehicle and image data using deep learning
CN111126258B (zh) 图像识别方法及相关装置
WO2019237846A1 (zh) 图像处理方法、人脸识别方法、装置和计算机设备
CN109241842B (zh) 疲劳驾驶检测方法、装置、计算机设备及存储介质
CN110620905A (zh) 视频监控方法、装置、计算机设备和存储介质
CN110765860A (zh) 摔倒判定方法、装置、计算机设备及存储介质
CN109766755B (zh) 人脸识别方法及相关产品
CN105160318A (zh) 基于面部表情的测谎方法及系统
CN111368672A (zh) 一种用于遗传病面部识别模型的构建方法及装置
CN111563480A (zh) 冲突行为检测方法、装置、计算机设备和存储介质
CN111199212B (zh) 基于注意力模型的行人属性识别方法
CN113255557B (zh) 一种基于深度学习的视频人群情绪分析方法及系统
WO2021031704A1 (zh) 对象追踪方法、装置、计算机设备和存储介质
CN112001932A (zh) 人脸识别方法、装置、计算机设备和存储介质
WO2021135138A1 (zh) 一种目标运动轨迹构建方法、设备以及计算机存储介质
CN113139403A (zh) 违规行为识别方法、装置、计算机设备和存储介质
CN111401196A (zh) 受限空间内自适应人脸聚类的方法、计算机装置及计算机可读存储介质
US11113838B2 (en) Deep learning based tattoo detection system with optimized data labeling for offline and real-time processing
CN111177460B (zh) 提取关键帧的方法及装置
CN113435432B (zh) 视频异常检测模型训练方法、视频异常检测方法和装置
CN117237867A (zh) 基于特征融合的自适应场面监视视频目标检测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200804

WW01 Invention patent application withdrawn after publication