CN112016347B - 一种基于眼睑特征信息的人员状态检测方法及装置 - Google Patents

一种基于眼睑特征信息的人员状态检测方法及装置 Download PDF

Info

Publication number
CN112016347B
CN112016347B CN201910457032.7A CN201910457032A CN112016347B CN 112016347 B CN112016347 B CN 112016347B CN 201910457032 A CN201910457032 A CN 201910457032A CN 112016347 B CN112016347 B CN 112016347B
Authority
CN
China
Prior art keywords
eyelid
image
point
face
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910457032.7A
Other languages
English (en)
Other versions
CN112016347A (zh
Inventor
李源
王晋玮
侯喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Momenta Suzhou Technology Co Ltd
Original Assignee
Momenta Suzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Momenta Suzhou Technology Co Ltd filed Critical Momenta Suzhou Technology Co Ltd
Priority to CN201910457032.7A priority Critical patent/CN112016347B/zh
Priority to PCT/CN2019/108074 priority patent/WO2020237941A1/zh
Publication of CN112016347A publication Critical patent/CN112016347A/zh
Application granted granted Critical
Publication of CN112016347B publication Critical patent/CN112016347B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开一种基于眼睑特征信息的人员状态检测方法及装置，该方法包括：获得包含目标人员面部的人脸图像；从人脸图像中检测出人脸特征点的二维位置信息；结合预设的三维人脸模型，构建目标三维人脸模型；进而结合投影矩阵，确定指定位置处的眼睑空间点在人脸图像中的投影位置信息；基于人脸图像中指定位置对应的位置处的眼睑特征点的二维位置信息、指定位置处的眼睑空间点的三维位置信息以及投影位置信息，确定上下眼睑的当前开闭长度；基于当前开闭长度，确定出目标人员的当前状态，以实现确定人眼的眼睑特征信息，利用眼睑特征信息，实现对人眼开闭状态的检测结果的准确性的提高，提高对人员的当前状态的检测结果的准确性。

Description

一种基于眼睑特征信息的人员状态检测方法及装置
技术领域
本发明涉及视频监控技术领域，具体而言，涉及一种基于眼睑特征信息的人员状态检测方法及装置。
背景技术
人员在疲劳的状态下，易出现操作错误的情况，例如：驾驶员在疲劳驾驶时，易出现车祸。为了在一定程度上降低因人员疲劳而导致的危险情况的发生，可以对人员的当前状态进行检测。相关的人员的当前状态检测方法，一般可以通过对人眼的状态的检测，来确定人员的当前状态，其过程一般为：获得针对目标人员采集的人脸图像，通过预先训练的人眼状态检测模型，对人脸图像进行检测，检测出目标人员的眼睛的开闭状态，即检测目标人员的眼睛是否处于闭合的状态；根据检测结果，确定目标人员是否出现疲劳，其中，若检测到目标人员的眼睛处于闭合的状态，则确定目标人员出现疲劳，并进行告警，其中，该预先训练的人眼状态检测模型为：基于标注有处于闭合状态的人眼和处于睁开状态的人眼的样本图像训练所得的神经网络模型。
上述人员的当前状态检测过程中，在训练模型之前，对样本图像进行标注时，对样本图像中的眼睛的闭合状态和睁开状态的标注标准无法统一，如对于半睁开的眼睛有的标注人员标注为睁开状态，有的标注人员标注为闭合状态，导致预先训练的人眼状态检测模型对图像中人眼的闭合状态和睁开状态的检测边界模糊，进而导致检测结果不够准确。
发明内容
本发明提供了一种基于眼睑特征信息的人员状态检测方法及装置，以实现确定出人眼的眼睑特征信息，利用人眼的眼睑特征信息，实现对人眼的开闭状态的检测结果的准确性的提高，并提高对人员的当前状态的检测结果的准确性。具体的技术方案如下：
第一方面，本发明实施例提供了一种基于眼睑特征信息的人员状态检测方法，包括：
获得包含目标人员面部的人脸图像；
从所述人脸图像中检测出人脸特征点的二维位置信息，其中，所述人脸特征点包括人眼的上下眼睑的眼睑特征点；
基于所述人脸图像的人脸特征点的二维位置信息以及预设的三维人脸模型，构建所述目标人员对应的目标三维人脸模型，其中，所述目标三维人脸模型包括：基于所述眼睑特征点构建的所述人眼的上下眼睑；
基于所述目标三维人脸模型中所述人眼的上下眼睑指定位置处的眼睑空间点的三维位置信息以及预设的投影矩阵，确定出所述指定位置处的眼睑空间点在所述人脸图像中的投影点的投影位置信息；
基于所述人脸图像中所述指定位置对应的位置处的眼睑特征点的二维位置信息、所述指定位置处的眼睑空间点的三维位置信息以及所述投影位置信息，确定所述上下眼睑之间的当前开闭长度；
基于所述当前开闭长度，确定出所述目标人员的当前状态。
可选的，所述指定位置对应的位置处的眼睑特征点包括：所述人脸图像中上眼睑的中心位置处的第一中心点以及下眼睑的中心位置处的第一中心点；所述指定位置的眼睑空间点包括：所述目标三维人脸模型中上眼睑的中心位置处的第三中心点以及下眼睑的中心位置处的第四中心点；
所述基于所述上下眼睑的所述指定位置对应的位置处的眼睑特征点的二维位置信息、所述指定位置处的眼睑空间点的三维位置信息以及所述投影位置信息，确定所述上下眼睑之间的当前开闭长度的步骤，包括：
基于所述第一中心点的二维位置信息以及所述第二中心点的二维位置信息，确定所述第一中心点与所述第二中心点之间的距离，作为第一距离；
基于所述第三中心点的三维位置信息以及所述第四中心点的三维位置信息，确定所述第三中心点和所述第四中心点之间的距离，作为第二距离；
基于第一投影点的投影位置信息以及第二投影点的投影位置信息，确定所述第一投影点与所述第二投影点之间的距离，作为第三距离，其中，所述第一投影点为所述第三中心点在所述人脸图像中的投影点，所述第二投影点为所述第四中心点在所述人脸图像中的投影点；
计算所述第一距离与所述第三距离的比值，作为第一比值；
将所述第二距离与第一比值的乘积，确定为所述上下眼睑之间的当前开闭长度。
可选的，所述从所述人脸图像中检测出人脸特征点的二维位置信息的步骤，包括：
基于预设的面部特征点检测模型，从所述人脸图像中检测出面部特征点的二维位置信息，其中，所述预设的面部特征点检测模型为：基于标注有人脸的各部位的面部特征点的第一样本图像训练所得的模型；
基于所述面部特征点的二维位置信息，从所述人脸图像中确定并截取出所述目标人员的人眼所在区域，作为人眼图像；
利用预设的眼睑特征点检测模型，从所述人眼图像中检测出所述人眼的上下眼睑的眼睑特征点，其中，所述预设的眼睑特征点检测模型为：基于标注有人眼的上下眼睑的眼睑特征点的第二样本图像训练所得的模型。
可选的，所述人眼图像包括左眼图像和右眼图像；
在所述利用预设的眼睑特征点检测模型，从所述人眼图像中检测出所述人眼的上下眼睑的眼睑特征点的步骤之前，所述方法还包括：
对所述左眼图像或所述右眼图像进行镜像处理，得到镜像图像；
对所述镜像图像以及未进行镜像的图像进行拼接，得到拼接图像其中，若对所述左眼图像进行镜像处理，所述未进行镜像的图像为所述右眼图像；若对所述右眼图像进行镜像处理，所述未进行镜像的图像为所述左眼图像；
所述利用预设的眼睑特征点检测模型，从所述人眼图像中检测出所述人眼的上下眼睑的眼睑特征点的步骤，包括：
利用预设的眼睑特征点检测模型，从所述拼接图像中，检测出所述镜像图像中人眼的上下眼睑的眼睑特征点，以及所述未进行镜像的图像中人眼的上下眼睑的眼睑特征点；
对所述镜像图像中人眼的上下眼睑的眼睑特征点进行镜像处理，得到镜像后的眼睑特征点，以得到所述人眼图像中的人眼的上下眼睑的眼睑特征点。
可选的，在所述对所述左眼图像或所述右眼图像进行镜像处理，得到镜像图像的步骤之前，所述方法还包括：
对待处理图像进行转正处理，得到转正后的待处理图像，其中，所述转正处理为：使得待处理图像中的两个眼角点的连线与预设图像坐标系的坐标轴平行，所述待处理图像为所述左眼图像和所述右眼图像；
所述对所述左眼图像或所述右眼图像进行镜像处理，得到镜像图像的步骤，包括：
对转正后的待处理图像进行镜像处理，得到镜像图像。
可选的，所述基于所述人脸图像的人脸特征点的二维位置信息以及预设的三维人脸模型，构建所述目标人员对应的目标三维人脸模型的步骤，包括：
从所述预设的三维人脸模型中，确定出预设人脸位置处的空间点，作为待处理空间点，其中，所述待处理空间点与人脸特征点存在对应关系；
利用弱透视投影矩阵，将每一待处理空间点投影至所述人脸图像，确定每一待处理空间点在所述人脸图像中的投影点的投影位置信息；
基于每一待处理空间点的投影点的投影位置信息及每一待处理空间点对应的人脸特征点的二维位置信息，构建所述目标人员对应的目标三维人脸模型。
可选的，所述基于所述当前开闭长度，确定出所述目标人员的当前状态的步骤，包括：
获得在预设时长内所确定出的所述目标人员的人眼的历史开闭长度；
将每一开闭长度与预设长度阈值进行比较，获得比较结果，其中，所述开闭长度包括所述当前开闭长度以及所述历史开闭长度；
统计得到表征开闭长度小于所述预设长度阈值的比较结果的第一结果数量；
基于所述当前开闭长度以及所述历史开闭长度的总数量和所述第一结果数量，确定出所述目标人员的当前状态。
可选的，所述基于所述当前开闭长度以及所述历史开闭长度的总数量和所述第一结果数量，确定出所述目标人员的当前状态的步骤，可以通过如下实现方式中的任一实现方式实现：
第一种实现方式：
计算所述第一结果数量和所述总数量的比值，作为第二比值；
判断所述第二比值是否大于预设比值；
若所述第二比值大于所述预设比值，确定所述目标人员的当前状态为疲劳状态；
若所述第二比值不大于所述预设比值，确定所述目标人员的当前状态为非疲劳状态；
第二种实现方式：
计算所述总数量和所述第一结果数量的差值；
若所述差值大于预设差值，确定所述目标人员的当前状态为非疲劳状态；
若所述差值不大于所述预设差值，确定所述目标人员的当前状态为疲劳状态。
可选的，在所述基于所述当前开闭长度，确定出所述目标人员的当前状态的步骤之后，所述方法还包括：
若确定出所述目标人员的当前状态为疲劳状态，生成并发送告警信息。
第二方面，本发明实施例提供了一种基于眼睑特征信息的人员状态检测装置，包括：
获得模块，被配置为获得包含目标人员面部的人脸图像；
检测模块，被配置为从所述人脸图像中检测出人脸特征点的二维位置信息，其中，所述人脸特征点包括人眼的上下眼睑的眼睑特征点；
构建模块，被配置为基于所述人脸图像的人脸特征点的二维位置信息以及预设的三维人脸模型，构建所述目标人员对应的目标三维人脸模型，其中，所述目标三维人脸模型包括：基于所述眼睑特征点构建的所述人眼的上下眼睑；
第一确定模块，被配置为基于所述目标三维人脸模型中所述人眼的上下眼睑指定位置处的眼睑空间点的三维位置信息以及预设的投影矩阵，确定出所述指定位置处的眼睑空间点在所述人脸图像中的投影点的投影位置信息；
第二确定模块，被配置为基于所述人脸图像中所述指定位置对应的位置处的眼睑特征点的二维位置信息、所述指定位置处的眼睑空间点的三维位置信息以及所述投影位置信息，确定所述上下眼睑之间的当前开闭长度；
第三确定模块，被配置为基于所述当前开闭长度，确定出所述目标人员的当前状态。
可选的，所述指定位置对应的位置处的眼睑特征点包括：所述人脸图像中上眼睑的中心位置处的第一中心点以及下眼睑的中心位置处的第一中心点；所述指定位置的眼睑空间点包括：所述目标三维人脸模型中上眼睑的中心位置处的第三中心点以及下眼睑的中心位置处的第四中心点；
所述第二确定模块，被具体配置为
基于所述第一中心点的二维位置信息以及所述第二中心点的二维位置信息，确定所述第一中心点与所述第二中心点之间的距离，作为第一距离；
基于所述第三中心点的三维位置信息以及所述第四中心点的三维位置信息，确定所述第三中心点和所述第四中心点之间的距离，作为第二距离；
基于第一投影点的投影位置信息以及第二投影点的投影位置信息，确定所述第一投影点与所述第二投影点之间的距离，作为第三距离，其中，所述第一投影点为所述第三中心点在所述人脸图像中的投影点，所述第二投影点为所述第四中心点在所述人脸图像中的投影点；
计算所述第一距离与所述第三距离的比值，作为第一比值；
将所述第二距离与第一比值的乘积，确定为所述上下眼睑之间的当前开闭长度。
可选的，所述检测模块，包括：
第一检测单元，被配置为基于预设的面部特征点检测模型，从所述人脸图像中检测出面部特征点的二维位置信息，其中，所述预设的面部特征点检测模型为：基于标注有人脸的各部位的面部特征点的第一样本图像训练所得的模型；
确定截取单元，被配置为基于所述面部特征点的二维位置信息，从所述人脸图像中确定并截取出所述目标人员的人眼所在区域，作为人眼图像；
第二检测单元，被配置为利用预设的眼睑特征点检测模型，从所述人眼图像中检测出所述人眼的上下眼睑的眼睑特征点，其中，所述预设的眼睑特征点检测模型为：基于标注有人眼的上下眼睑的眼睑特征点的第二样本图像训练所得的模型。
可选的，所述人眼图像包括左眼图像和右眼图像；
所述检测模块还包括：
镜像单元，被配置为在所述利用预设的眼睑特征点检测模型，从所述人眼图像中检测出所述人眼的上下眼睑的眼睑特征点之前，对所述左眼图像或所述右眼图像进行镜像处理，得到镜像图像；
拼接单元，被配置为对所述镜像图像以及未进行镜像的图像进行拼接，得到拼接图像其中，若对所述左眼图像进行镜像处理，所述未进行镜像的图像为所述右眼图像；若对所述右眼图像进行镜像处理，所述未进行镜像的图像为所述左眼图像；
所述第二检测单元，被具体配置为：
利用预设的眼睑特征点检测模型，从所述拼接图像中，检测出所述镜像图像中人眼的上下眼睑的眼睑特征点，以及所述未进行镜像的图像中人眼的上下眼睑的眼睑特征点；
对所述镜像图像中人眼的上下眼睑的眼睑特征点进行镜像处理，得到镜像后的眼睑特征点，以得到所述人眼图像中的人眼的上下眼睑的眼睑特征点。
可选的，所述第一检测模块还包括：
转正单元，被配置为在所述对所述左眼图像或所述右眼图像进行镜像处理，得到镜像图像之前，对待处理图像进行转正处理，得到转正后的待处理图像，其中，所述转正处理为：使得待处理图像中的两个眼角点的连线与预设图像坐标系的坐标轴平行，所述待处理图像为所述左眼图像和所述右眼图像；
所述镜像单元，被具体配置为：对转正后的待处理图像进行镜像处理，得到镜像图像。
可选的，所述构建模块，被具体配置为：
从所述预设的三维人脸模型中，确定出预设人脸位置处的空间点，作为待处理空间点，其中，所述待处理空间点与人脸特征点存在对应关系；
利用弱透视投影矩阵，将每一待处理空间点投影至所述人脸图像，确定每一待处理空间点在所述人脸图像中的投影点的投影位置信息；
基于每一待处理空间点的投影点的投影位置信息及每一待处理空间点对应的人脸特征点的二维位置信息，构建所述目标人员对应的目标三维人脸模型。
可选的，所述第三确定模块，包括：
获得单元，被配置为获得在预设时长内所确定出的所述目标人员的人眼的历史开闭长度；
比较获得单元，被配置为将每一开闭长度与预设长度阈值进行比较，获得比较结果，其中，所述开闭长度包括所述当前开闭长度以及所述历史开闭长度；
统计单元，被配置为统计得到表征开闭长度小于所述预设长度阈值的比较结果的第一结果数量；
确定单元，被配置为基于所述当前开闭长度以及所述历史开闭长度的总数量和所述第一结果数量，确定出所述目标人员的当前状态。
可选的，所述确定单元，被具体配置为：
计算所述第一结果数量和所述总数量的比值，作为第二比值；
判断所述第二比值是否大于预设比值；
若所述第二比值大于所述预设比值，确定所述目标人员的当前状态为疲劳状态；
若所述第二比值不大于所述预设比值，确定所述目标人员的当前状态为非疲劳状态；
或，被具体配置为：
计算所述总数量和所述第一结果数量的差值；
若所述差值大于预设差值，确定所述目标人员的当前状态为非疲劳状态；
若所述差值不大于所述预设差值，确定所述目标人员的当前状态为疲劳状态。
可选的，所述装置还包括：
生成发送模块，被配置为在所述基于所述当前开闭长度，确定出所述目标人员的当
前状态之后，若确定出所述目标人员的当前状态为疲劳状态，生成并发送告警信息。
由上述内容可知，本发明实施例提供的一种基于眼睑特征信息的人员状态检测方法及装置，可以获得包含目标人员面部的人脸图像；从人脸图像中检测出人脸特征点的二维位置信息，其中，人脸特征点包括人眼的上下眼睑的眼睑特征点；基于人脸图像的人脸特征点的二维位置信息以及预设的三维人脸模型，构建目标人员对应的目标三维人脸模型，其中，目标三维人脸模型包括：基于眼睑特征点构建的人眼的上下眼睑；基于目标三维人脸模型中人眼的上下眼睑指定位置处的眼睑空间点的三维位置信息以及预设的投影矩阵，确定出指定位置处的眼睑空间点在人脸图像中的投影点的投影位置信息；基于人脸图像中指定位置对应的位置处的二维位置信息、指定位置处的眼睑空间点的三维位置信息以及投影位置信息，确定上下眼睑之间的当前开闭长度；基于当前开闭长度，确定出目标人员的当前状态。
应用本发明实施例，可以从人脸图像中检测出包含人眼的上下眼睑的眼睑特征点的人脸特征点的二维位置信息，并基于包含目标人员面部的人脸图像中的人脸特征点和预设的三维人脸模型，构建出目标人员对应的包括目标人员的人眼的上下眼睑的目标三维人脸模型，即构建出了目标人员的人眼的空间信息；进而确定出目标三维人脸模型中上下眼睑指定位置处的眼睑空间点在人脸图像中的投影点的投影位置信息，基于人眼的空间信息，即目标人员的上下眼睑指定位置处的眼睑空间点的三维位置信息、以及人脸图像中指定位置对应的位置处的眼睑特征点的二维位置信息以及相应的投影位置信息，确定上下眼睑的开闭长度，可以实现结合人眼的上下眼睑的三维信息以及二维信息，共同确定出准确性更高的人眼的上下眼睑之间的空间距离，即人眼的开闭状态，进而，基于准确性更高的人眼的上下眼睑之间的空间距离，可以更加准确地确定出目标人员的当前状态。其中，结合人眼的上下眼睑的三维信息以及二维信息，可以分化人眼的上下眼睑的三维信息以及二维信息中的任一信息的误差，在一定程度上可以更好的提高当前开闭长度的准确性，进而提高对人员的当前状态的检测结果的准确性。
本发明实施例中不再仅依赖通过预先训练的人眼状态检测模型，对二维图像中人眼的开闭状态的检测结果，对目标人员的状态进行确定，避免了预先训练的人眼状态检测模型对图像中人眼的闭合状态和睁开状态的检测边界模糊，进而导致检测结果不够准确的情况的发生。实现确定出人眼的眼睑特征信息，利用眼睑特征信息，实现对人眼开闭状态的检测结果的准确性的提高，提高对人员的当前状态的检测结果的准确性。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
本发明实施例的创新点包括：
1、可以从人脸图像中检测出包含人眼的上下眼睑的眼睑特征点的人脸特征点的二维位置信息，并基于包含目标人员面部的人脸图像中的人脸特征点和预设的三维人脸模型，构建出目标人员对应的包括目标人员的人眼的上下眼睑的目标三维人脸模型，即构建出了目标人员的人眼的空间信息；进而确定出目标三维人脸模型中上下眼睑指定位置处的眼睑空间点在人脸图像中的投影点的投影位置信息，基于人眼的空间信息，即目标人员的上下眼睑指定位置处的眼睑空间点的三维位置信息、以及人脸图像中指定位置对应的位置处的眼睑特征点的二维位置信息以及相应的投影位置信息，确定上下眼睑的开闭长度，可以实现结合人眼的上下眼睑的三维信息以及二维信息，共同确定出准确性更高的人眼的上下眼睑之间的空间距离，即人眼的开闭状态，进而，基于准确性更高的人眼的上下眼睑之间的空间距离，可以更加准确地确定出目标人员的当前状态。其中，结合人眼的上下眼睑的三维信息以及二维信息，可以分化人眼的上下眼睑的三维信息以及二维信息中的任一信息的误差，在一定程度上可以更好的提高当前开闭长度的准确性，进而提高对人员的当前状态的检测结果的准确性。本发明实施例中不再仅依赖通过预先训练的人眼状态检测模型，对二维图像中人眼的开闭状态的检测结果，对目标人员的状态进行确定，避免了预先训练的人眼状态检测模型对图像中人眼的闭合状态和睁开状态的检测边界模糊，进而导致检测结果不够准确的情况的发生。实现确定出人眼的眼睑特征信息，利用眼睑特征信息，实现对人眼开闭状态的检测结果的准确性的提高，提高对人员的当前状态的检测结果的准确性。
2、基于人脸图像中第一中心点的二维位置信息以及第二中心点的二维位置信息，确定出第一距离；并基于目标三维人脸模型中第三中心点的三维位置信息，与第四中心点的三维位置信息，确定第二距离，并确定出第三中心点在人脸图像中的第一投影点的二维位置信息，和第四中心点在人脸图像中的第二投影点的二维位置信息，进而，计算出第一投影点和第二投影点之间的第三距离，以及第一距离与第三距离的第一比值，进而将第一比值和第一距离的乘积作为人眼的上下眼睑之间的当前开闭长度，结合二维的人脸图像中眼睑的中心点之间的距离和目标三维人脸模型中人眼的上下眼睑的中心点之间的距离，共同确定当前开闭长度，在一定程度上可以降低构建目标三维人脸模型中人眼眼睑时出现的误差，对上下眼睑之间的当前开闭长度的影响，更好的提高当前开闭长度的准确性，进而提高对人员的当前状态的检测结果的准确性。
3、基于预设的面部特征点检测模型，从人脸图像中检测出面部特征点的二维位置信息，并基于面部特征点的二维位置信息，从人脸图像中截取出面部中人眼所在区域，即人眼图像，进而利用预设的眼睑特征点检测模型，从人眼图像中检测出人眼的上下眼睑的眼睑特征点，可以提高所检测出的眼睑特征点的准确性，进而可以提高基于该眼睑特征点所构建的目标三维人脸模型中人眼的上下眼睑的准确性，以更好地提高对目标人员的状态的检测结果的准确性。
4、对左眼图像或右眼图像进行镜像处理得到镜像图像，进而对镜像图像以及未进行镜像的图像进行拼接，得到拼接图像；后续的可以利用预设的眼睑特征点检测模型，同时对该拼接图像中的两只人眼中的眼睑特征点进行检测过程，即通过一次检测则可检测出该拼接图像中两只人眼的上下眼睑的眼睑特征点，简化了利用预设的眼睑特征点检测模型，对眼睑特征点的检测过程。
5、对左眼图像和右眼图像进行转正处理，得到转正后的左眼图像和转正后的右眼图像，进而对转正后的左眼图像或转正后的右眼图像进行后续的处理，使得在一定程度上可以减轻预设的眼睑特征点检测模型的检测负担，并在一定程度上提高对眼睑特征点的检测结果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于眼睑特征信息的人员状态检测方法的一种流程示意图；
图2为本发明实施例提供的确定人眼的上下眼睑之间的当前开闭长度的一种流程示意图；
图3为本发明实施例提供的基于眼睑特征信息的人员状态检测装置的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明提供了一种基于眼睑特征信息的人员状态检测方法及装置，以实现确定人眼的眼睑特征信息，利用眼睑特征信息，实现对人眼开闭状态的检测结果的准确性的提高，提高对人员的当前状态的检测结果的准确性。下面对本发明实施例进行详细说明。
图1为本发明实施例提供的基于眼睑特征信息的人员状态检测方法的一种流程示意图。该方法可以包括以下步骤：
S101：获得包含目标人员面部的人脸图像。
本发明实施例中，该基于眼睑特征信息的人员状态检测方法，可以应用于任意类型的基于计算能力的电子设备。一种情况中，该电子设备可以为图像采集设备，该图像采集设备可以在获得自身采集的包含目标人员面部的人脸图像之后，执行本发明实施例所提供的后续的基于眼睑特征信息的人员状态检测流程。另一种情况，该电子设备可以为非图像采集设备，相应的，该电子设备可以与1个或多个图像采集设备进行通信连接。若电子设备与多个图像采集设备进行通信连接，电子设备可以获得每一通信连接的图像采集设备所采集的人脸图像，进而针对每一图像采集设备采集的人脸图像，执行本发明实施例所提供的基于眼睑特征信息的人员状态检测流程，其中，不同的图像采集设备可以针对不同的人员进行拍摄，以得到人脸图像。
一种实现中，图像采集设备可以设置于车辆内，相应的，该目标人员为该车辆的驾驶员，图像采集设备可以实时针对车辆内的驾驶员的面部进行拍摄，采集得到包含该驾驶员的面部的图像，进而发送至电子设备，电子设备获得包含该驾驶员面部的图像，其中，该获得的图像中可以仅包含驾驶员的面部，此时，电子设备可以直接将该获得的图像作为人脸图像；另外，该获得的图像中在包含驾驶员的面部的同时还可以包括车辆的车座或驾驶员的身体等信息，此时，电子设备获得图像采集设备采集的图像之后，可以基于预设的人脸检测算法，从该图像中检测出人脸所在区域的图像，将该人脸所在区域的图像，从该图像截取出，得到包含该驾驶员面部的人脸图像。其中，该预设的人脸检测算法可以为：特征脸方法(Eigenface)以及基于神经网络模型的人脸检测算法，基于神经网络模型的人脸检测算法可以为：Faster R-CNN(Faster Region-Convolutional Neural Networks，快速的区域-卷积神经网络)检测算法，这都是可以的。本发明实施例并不对预设的人脸检测算法的具体类型进行限定。该车辆可以为私家车、卡车以及公交车等，本发明实施例并不对车辆的车辆类型进行限定。
另一种实现中，图像采集设备也可以实时针对道路中过往的车辆进行监控，相应的，该目标人员可以为目标驾驶员，电子设备可以获得多个图像采集设备针对该目标驾驶员进行拍摄所采集到的包含目标驾驶员的面部的图像。一种情况中，电子设备获得图像采集设备采集的包含目标驾驶员的面部的图像之后，直接将该图像作为人脸图像，进而，执行后续的眼睑特征信息的人员状态检测流程。另一种情况中，电子设备获得图像采集设备采集的包含目标驾驶员的面部的图像之后，基于预设的人脸检测算法，从该图像中检测出目标驾驶员的面部所在区域图像，并将该目标驾驶员的面部所在区域图像从该图像中截取出，，得到仅包含目标驾驶员的面部的人脸图像。
另一种实现中，图像采集设备可以实时针对室内的居家人员进行监控，相应的，该目标人员可以为目标居家人员，电子设备可以获得图像采集设备针对目标居家人员进行拍摄所采集到的包含目标居家人员的面部的人脸图像。
S102：从人脸图像中检测出人脸特征点的二维位置信息。
其中，该人脸特征点包括人眼的上下眼睑的眼睑特征点，并且还可以包括表征目标人员的面部的各个部位所在位置的面部特征点。该面部的各个部位可以包括鼻子、嘴唇、眉毛、人眼、下颌、脸颊以及耳朵等部位。该面部的各个部位的面部特征点可以分别包括：面部中表征出鼻子所在位置的各特征点，如鼻翼、鼻梁以及鼻尖等特征点；还可以包括表征出嘴唇所在位置的各特征点，如嘴唇的唇线边缘的各特征点；还可以包括表征出眉毛所在位置的各特征点，如眉毛边缘的各特征点；还可以包括表征出人眼所在位置的各特征点，如眼角特征点、眼窝特征点以及瞳孔特征点等等；还可以包括表征出下颌所在位置的各特征点，如下颌轮廓上的各特征点，即下巴轮廓上的各特征点等；还可以包括表征出耳朵所在位置的各特征点，如耳朵的各轮廓上的各特征点等。
本步骤中，可以利用任一人脸特征点检测算法，从人脸图像中检测出目标人员面部的人脸特征点，并从人脸图像中确定出人脸特征点的二维位置信息。其中，上述人脸特征点检测算法可以为基于模型的ASM(Active Shape Model)和AAM(Active AppearnceModel)算法，基于级联形状回归CPR(Cascaded pose regression)算法以及基于深度学习的算法，等等。本发明实施例可以应用相关技术中任一可以从人脸图像的面部检测出人脸特征点的算法，实现对目标人员面部的人脸特征点的检测。
S103：基于人脸图像的人脸特征点的二维位置信息以及预设的三维人脸模型，构建目标人员对应的目标三维人脸模型。
其中，目标三维人脸模型包括：基于眼睑特征点构建的人眼的上下眼睑。
本步骤中，电子设备本地或所连接的存储设备中，预存有预设的三维人脸模型，电子设备确定出人脸图像中面部的人脸特征点之后，可以基于预设的三维人脸模型以及人脸特征点的二维位置信息，构建目标人员对应的目标三维人脸模型。其中，可以通过3DMM(3DMorphable Models，三维形变模型)技术，基于预设的三维人脸模型以及人脸特征点的二维位置信息，构建目标人员对应的目标三维人脸模型。
在一种实现方式中，所述S103，可以包括：
从预设的三维人脸模型中，确定出预设人脸位置处的空间点，作为待处理空间点，其中，待处理空间点与人脸特征点存在对应关系；
利用弱透视投影矩阵，将每一待处理空间点投影至人脸图像，确定每一待处理空间点在人脸图像中的投影点的投影位置信息；
基于每一待处理空间点的投影点的投影位置信息及每一待处理空间点对应的人脸特征点的二维位置信息，构建所述目标人员对应的目标三维人脸模型。
一种实现方式中，电子设备可以接收用户选取指令，其中，该用户选取指令携带所需选取的空间点的预设人脸位置，电子设备可以基于该用户选取指令所携带的预设人脸位置，从预设的三维人脸模型中，确定出该预设人脸位置处的空间点，作为待处理空间点。
另一种实现方式中，电子设备可以预存有该预设人脸位置，进而电子设备可以从相应的存储位置处读取得到该预设人脸位置，进而，从预设的三维人脸模型中，确定出该预设人脸位置处的空间点，作为待处理空间点。
其中，待处理空间点与人脸特征点存在对应关系，该待处理空间点与人脸特征点的对应关系为：一一对应的关系。一种情况，该预设人脸位置可以基于上述第一样本图像中所包含人脸的人脸特征点的位置进行设置。
一种情况中，该预设的三维人脸模型可以通过如下公式(1)表示：
Figure BDA0002076901750000121
其中，S表示该预设的三维人脸模型，
Figure BDA0002076901750000122
表示预设的平均脸，Aid表示人的人脸的形状信息，Aexp表示人的人脸的表情信息，αid表示人的人脸的形状信息的权重，可以称为形状权重，αexp表示人的人脸的表情信息的权重，可以称为表情权重。
电子设备可以基于上述公式(1)绘制出所表征的三维人脸模型，该三维人脸模型由点云组成。电子设备可以从该绘制的三维人脸模型中，确定出预设人脸位置处的空间点，作为待处理空间点，进而，可以继续获得待处理空间点的空间位置信息，即三维位置信息。
电子设备确定出待处理空间点之后，可以基于预设的弱透视投影矩阵，将每一待处理空间点投影至该人脸图像中，即利用弱透视投影矩阵以及每一待处理空间点的空间位置信息，确定每一待处理空间点在人脸图像中的投影点的投影位置信息。基于每一待处理空间点的投影点的投影位置信息以及每一待处理空间点对应的人脸特征点的二维位置信息，构建目标人员对应的目标三维人脸模型。
其中，上述基于每一待处理空间点的投影点的投影位置信息以及每一待处理空间点对应的人脸特征点的二维位置信息，构建目标人员对应的目标三维人脸模型的过程，可以是：基于每一待处理空间点的投影点的投影位置信息以及每一待处理空间点对应的人脸特征点的二维位置信息，确定每一待处理空间点及其对应的人脸特征点的距离误差，基于最小二乘法原理以及每一待处理空间点及其对应的人脸特征点的距离误差，构建目标函数。求解使得该目标函数的函数值达到最小时，该目标函数中的相应未知量的解，基于该解得到目标人员对应的目标三维人脸模型。
一种情况中，该预设的弱透视投影矩阵可以通过如下公式(2)表示：
si2d＝fPR(α,β,γ)(Si+t3d)； (2)
其中，si2d表示第i个待处理空间点的投影点的投影位置信息，其中，i可以取[1，n]中的整数，该n表示待处理空间点的数量，f表示比例因子，R(α,β,γ)表示3*3的旋转矩阵，α表示该预设的三维人脸模型在预设空间直角坐标系下的横轴下的旋转角度，β表示该预设的三维人脸模型在预设空间直角坐标系下的纵轴下的旋转角度，γ表示该预设的三维人脸模型在预设空间直角坐标系下的竖轴下的旋转角度，该t3d表示平移向量；Si表示第i个待处理空间点的空间位置信息，该旋转矩阵和平移向量用于：将该预设的三维人脸模型从其所在的预设空间直角坐标系下，转换至图像采集设备的设备坐标系下。
目标函数可以通过如下公式(3)表示：
Figure BDA0002076901750000131
其中，si2dt表示第i个待处理空间点对应的人脸特征点的二维位置信息，‖·‖表示求向量的模，该向量表示：第i个待处理空间点对应的人脸特征点的二维位置信息和第i个待处理空间点的投影点的投影位置信息之间的距离误差。
本发明实施例中，可以通过迭代的方法，不断调整f,R(α,β,γ),t3d,αid,αexp的具体取值，以使得P达到最小或使得P满足预设约束条件，该预设约束条件可以为P不大于预设距离误差阈值。获得P达到最小或使得P满足预设约束条件时，f,R(α,β,γ),t3d,αid,αexp的具体取值，作为最终的取值，将,αid,αexp的最终的取值，代入公式(1)中，得到目标人员对应的目标三维人脸模型。
S104：基于目标三维人脸模型中人眼的上下眼睑指定位置处的眼睑空间点的三维位置信息以及预设的投影矩阵，确定出指定位置处的眼睑空间点在人脸图像中的投影点的投影位置信息。
其中，该预设的投影矩阵为：采集得到包含目标人员面部的人脸图像的图像采集设备的投影矩阵，可以将目标三维人脸模型中人眼的上下眼睑中的各眼睑空间点，投影至人脸图像中，得到目标三维人脸模型中人眼的上下眼睑中的各眼睑空间点在人脸图像中的投影点的投影位置信息。一种情况，该预设的投影矩阵可以为上述预设的弱透视投影矩阵。
该指定位置处的眼睑空间点可以包括：该目标三维人脸模型中人眼的上下眼睑的所有的眼睑空间点；或者可以包括：目标三维人脸模型中上眼睑的中心位置处的眼睑空间点，作为第一中心点，以及下眼睑的中心位置处的眼睑空间点，作为第二中心点；或者可以包括：目标三维人脸模型中上眼睑的任一目标等分点位置处的眼睑空间点以及下眼睑的该目标等分点位置处的眼睑空间点，等。
电子设备在确定出目标三维人脸模型之后，可以确定目标三维人脸模型中人眼的上下眼睑中的各眼睑空间点的三维位置信息，进而，确定出人眼的上下眼睑指定位置处的眼睑空间点的三维位置信息；基于目标三维人脸模型中人眼的上下眼睑指定位置处的眼睑空间点的三维位置信息以及预设的投影矩阵，确定出目标三维人脸模型中指定位置处的眼睑空间点在人脸图像中的投影点的投影位置信息。
在一种实现方式中，可以直接基于目标三维人脸模型中人眼的上眼睑的处于中心位置的眼睑特征点的三维位置信息，和下眼睑的处于中心位置的眼睑特征点的三维位置信息以及预设的投影矩阵，确定出所述目标三维人脸模型中人眼的上眼睑的处于中心位置的眼睑特征点和下眼睑的处于中心位置的眼睑特征点，分别在人脸图像中的投影点的投影位置信息。以用于后续的人眼的上下眼睑点之间的当前开闭长度的计算，以在一定程度上降低计算量。
S105：基于人脸图像中指定位置对应的位置处的眼睑特征点的二维位置信息、指定位置处的眼睑空间点的三维位置信息以及投影位置信息，确定上下眼睑之间的当前开闭长度。
本步骤中，通过人脸图像中指定位置对应的位置处的眼睑特征点的二维位置信息，即人脸图像中人眼的上下眼睑指定位置对应的位置处的眼睑特征点的二维位置信息，确定出人脸图像中人眼的上下眼睑之间二维距离，作为第一二维距离。
通过投影位置信息，即目标三维人脸模型中指定位置处的眼睑空间点在人脸图像中的投影点的投影位置信息，确定出目标三维人脸模型中指定位置处的眼睑空间点投影至人脸图像中时，指定位置处的眼睑空间点对应的投影点之间的二维距离，作为第二二维距离。
通过目标三维人脸模型中指定位置处的眼睑空间点的三维位置信息，可以确定出目标三维人脸模型中人眼的上下眼睑之间的三维距离。
基于上述第一二维距离、第二二维距离以及三维距离，确定出人眼的上下眼睑之间的当前开闭长度。以在一定程度上，可以更加提高所确定的人眼的上下眼睑之间的开闭长度的准确性。同时基于目标三维人脸模型中人眼的眼睑空间点之间的距离，和二维的人脸图像中人眼的眼睑特征点点之间的距离，共同确定该人眼的上下眼睑之间的开闭长度，可以分化人眼的上下眼睑的三维信息以及二维信息中的任一信息的误差，在一定程度上可以更好的提高当前开闭长度的准确性，进而提高对人员的当前状态的检测结果的准确性。
在一种实现方式中，该指定位置对应的位置处的眼睑特征点包括：人脸图像中上眼睑的中心位置处的第一中心点以及下眼睑的中心位置处的第二中心点；该指定位置的眼睑空间点包括：目标三维人脸模型中上眼睑的中心位置处的第三中心点以及下眼睑的中心位置处的第四中心点；
如图2所示，S105可以包括：
S201：基于第一中心点的二维位置信息以及第二中心点的二维位置信息，确定第一中心点与第二中心点之间的距离，作为第一距离。
S202：基于第三中心点的三维位置信息以及第四中心点的三维位置信息，确定第三中心点和第四中心点之间的距离，作为第二距离。
S203：基于第一投影点的投影位置信息以及第二投影点的投影位置信息，确定第一投影点与第二投影点之间的距离，作为第三距离。
其中，第一投影点为第三中心点在人脸图像中的投影点，第二投影点为第四中心点在人脸图像中的投影点。
S204：计算第一距离与第三距离的比值，作为第一比值。
S205：将第二距离与第一比值的乘积，确定为上下眼睑之间的当前开闭长度。
处于上下眼睑的中心位置处的眼睑点，在一定程度上可以更好的表示出人眼的开闭状态，即上下眼睑的中心位置处的眼睑点之间的距离可以更好的表示出上下眼睑之间的距离。
本实现方式中，基于人脸图像人眼的上眼睑的中心位置处的第一中心点的二维位置信息与下眼睑的中心位置处的第二中心点的二维位置信息，确定第一中心点与第二中心点之间的距离，作为第一距离。具体的，第一中心点和第二中心点之间的距离可以表示为：
Figure BDA0002076901750000151
其中，d表示第一距离，(u1，v1)表示第一中心点的二位置信息，(u2，v2)表示第二中心点的二维位置信息。
基于目标三维人脸模型中上眼睑的中心位置处的第三中心点的三维位置信息以及下眼睑的中心位置处的第二中心点的三维位置信息，确定第三中心点与第四中心点之间的距离，作为第二距离。具体的，第三中心点和第四中心点之间的距离可以表示为：
Figure BDA0002076901750000152
其中，(x1，y1，z1)表示第三中心点的三维位置信息，(x2，y2，z2)表示第四中心点的三维位置信息。
基于第一投影点在人脸图像中的二维的投影位置信息，以及第二投影点在人脸图像中的二维的投影位置信息，确定第一投影点和第二投影点之间的距离，作为第三距离。
计算第二距离和第三距离的比值，作为第一比值；进而将第一比值和第一距离的乘积作为人眼的上下眼睑之间的当前开闭长度。
S106：基于当前开闭长度，确定出目标人员的当前状态。
其中，人员的人眼的开闭的状态，即人眼状态，在一定程度上可以表征出人员的疲劳程度，而人眼的开闭的状态可以通过人眼的上下眼睑之间的开闭长度标识。一般人员在疲劳状态下，人眼的上下眼睑之间的距离会相对较小，而人员处于非疲劳状态下，人眼的上下眼睑之间的距离会相对较大，本发明实施例中，可以基于当前开闭长度，确定出目标人员的当前状态。其中，当前状态可以包括疲劳状态和非疲劳状态。
一种情况，可以是针对目标人员的任一人眼的上下眼睑的眼睑特征信息，如左眼的上下眼睑的眼睑特征信息或右眼的上下眼睑的眼睑特征信息，确定上下眼睑之间的当前开闭长度，进而，确定出目标人员的当前状态。该眼睑特征信息可以包括目标三维人脸模型中人眼的上下眼睑的三维位置信息、人脸图像中人眼的上下眼睑的二维位置信息以及人脸图像中目标三维人脸模型中人眼的上下眼睑的投影点的投影位置信息。
另一种情况，可以是：针对目标人员的两只人眼的上下眼睑的眼睑特征信息，如左眼和右眼的上下眼睑的眼睑特征信息，确定上下眼睑之间的当前开闭长度，进而，确定出目标人员的当前状态。其中，可以是分别针对目标人员的每一人眼的上下眼睑的眼睑特征信息确定每一人眼的上下眼睑之间的开闭长度，进而计算两只眼的上下眼睑之间的开闭长度的平均值，作为上下眼睑之间的当前开闭长度，进而确定出目标人员的当前状态。
应用本发明实施例，可以从人脸图像中检测出包含人眼的上下眼睑的眼睑特征点的人脸特征点的二维位置信息，并基于包含目标人员面部的人脸图像中的人脸特征点和预设的三维人脸模型，构建出目标人员对应的包括目标人员的人眼的上下眼睑的目标三维人脸模型，即构建出了目标人员的人眼的空间信息；进而确定出目标三维人脸模型中上下眼睑指定位置处的眼睑空间点在人脸图像中的投影点的投影位置信息，基于人眼的空间信息，即目标人员的上下眼睑指定位置处的眼睑空间点的三维位置信息、以及人脸图像中指定位置对应的位置处的眼睑特征点的二维位置信息以及相应的投影位置信息，确定上下眼睑的开闭长度，可以实现结合人眼的上下眼睑的三维信息以及二维信息，共同确定出准确性更高的人眼的上下眼睑之间的空间距离，即人眼的开闭状态，进而，基于准确性更高的人眼的上下眼睑之间的空间距离，可以更加准确地确定出目标人员的当前状态。其中，结合人眼的上下眼睑的三维信息以及二维信息，可以分化人眼的上下眼睑的三维信息以及二维信息中的任一信息的误差，在一定程度上可以更好的提高当前开闭长度的准确性，进而提高对人员的当前状态的检测结果的准确性。本发明实施例中不再仅依赖通过预先训练的人眼状态检测模型，对二维图像中人眼的开闭状态的检测结果，对目标人员的状态进行确定，避免了预先训练的人眼状态检测模型对图像中人眼的闭合状态和睁开状态的检测边界模糊，进而导致检测结果不够准确的情况的发生。实现确定出人眼的眼睑特征信息，利用眼睑特征信息，实现对人眼开闭状态的检测结果的准确性的提高，提高对人员的当前状态的检测结果的准确性。
在本发明的另一实施例中，为了更准确的检测出人脸图像中人眼的上下眼睑的眼睑特征点，可以首先从人脸图像中，检测出人眼所在区域，并从人脸图像中将人眼所在区域截取出，进而，对截取出的人眼所在区域图像，即人眼图像进行上下眼睑的眼睑特征点的检测。鉴于此，所述S102可以包括：
基于预设的面部特征点检测模型，从人脸图像中检测出面部特征点的二维位置信息，其中，预设的面部特征点检测模型为：基于标注有人脸的各部位的面部特征点的第一样本图像训练所得的模型。
基于面部特征点的二维位置信息，从人脸图像中确定并截取出目标人员的人眼所在区域，作为人眼图像。
利用预设的眼睑特征点检测模型，从人眼图像中检测出人眼的上下眼睑的眼睑特征点，其中，预设的眼睑特征点检测模型为：基于标注有人眼的上下眼睑的眼睑特征点的第二样本图像训练所得的模型。
本实现方式中，该预设的面部特征点检测模型为：基于标注有人脸的各部位的面部特征点的第一样本图像训练所得的神经网络模型。
在一种情况中，本发明实施例还可以包括训练得到预设的面部特征点检测模型的过程，具体的：电子设备可以先获得初始的面部特征点检测模型，该初始的面部特征点检测模型特征提取层和特征分类层；获得第一样本图像，每一第一样本图像包括人脸；获得每一第一样本图像对应的标定信息，其中，该标定信息包括第一样本图像中所包含人脸的面部特征点的标定位置信息，该标定特征点包括：表征面部的各个部位所在位置的面部特征点。
电子设备将每一第一样本图像输入初始的面部特征点检测模型的特征提取层，得到每一第一样本图像的图像特征；将每一第一样本图像的图像特征，输入初始的面部特征点检测模型的特征分类层，得到每一第一样本图像中面部特征点的当前位置信息；将每一第一样本图像中面部特征点的当前位置信息与其对应的标定位置信息进行匹配；若匹配成功，则确定初始的面部特征点检测模型收敛，得到包含特征提取层和特征分类层的初始的面部特征点检测模型，即得到预设的面部特征点检测模型；若匹配不成功，则调整特征提取层和特征分类层参数，返回执行该将每一第一样本图像输入初始的面部特征点检测模型的特征提取层，得到每一第一样本图像的图像特征的步骤；直至匹配成功，则得到包含特征提取层和特征分类层的初始的面部特征点检测模型，为预设的面部特征点检测模型。
其中，上述将每一第一样本图像中面部特征点的当前位置信息与其对应的标定位置信息进行匹配的过程，可以是：利用预设的损失函数，计算每一面部特征点的当前位置信息与其对应的标定位置信息之间的第一损失值，判断该第一损失值是否小于第一预设损失阈值；若判断该第一损失值小于第一预设损失阈值，则确定匹配成功，此时可以确定该初始的面部特征点检测模型收敛，即确定该初始的面部特征点检测模型训练完成，得到该预设的面部特征点检测模型；若判断该第一损失值不小于第一预设损失阈值，则确定匹配不成功。
其中，每一第一样本图像与面部特征点的当前位置信息存在对应关系，且每一第一样本图像与标定信息中的面部特征点的标定位置信息存在对应关系，则面部特征点的当前位置信息与标定信息中的面部特征点的标定位置信息存在对应关系。
训练得到预设的面部特征点检测模型之后，电子设备则可以基于预设的面部特征点检测模型，对所获得的人脸图像进行检测，检测得到该人脸图像中面部的面部特征点。
进而，基于面部特征点中表征人眼所在位置的各特征点的二维位置信息，从人脸图像中，确定并截取出目标人员的人眼所在区域，作为人眼图像。其中，可以是基于面部特征点中表征人眼所在位置的各特征点的二维位置信息，确定出最小的包含该目标人员的人眼的矩形区域，将该矩形区域作为人眼所在区域，并截取出，得到人眼图像。可以是分别针对目标人员的两只眼睛分别截取出其所在区域的图像，得到人眼图像。
后续的，基于上述预设的眼睑特征点检测模型，从人眼图像中检测出人眼的上下眼睑的眼睑特征点。其中，上述预设的眼睑特征点检测模型：基于标注有人眼的上下眼睑的眼睑特征点的第二样本图像训练所得的神经网络模型。该预设的眼睑特征点检测模型的训练过程，可以参见上述预设的面部特征点检测模型的训练过程。
其中，区别于预设的面部特征点检测模型的第一样本图像，该第二样本图像为标注有人眼的上下眼睑的眼睑特征点的图像，且第二样本图像对应的标定信息包含该的人眼的上下眼睑的眼睑特征点的标定位置信息。其中，该第二样本图像标注的人眼的上下眼睑的眼睑特征点，可以是人工标定或通过特定标定程序标定的眼睑特征点。
在另一种实现方式中，上述预设的面部特征点检测模型和预设的眼睑特征点检测模型可以为一个功能合并的模型。相应的，训练得到该功能合并的模型所需的第三样本图像为包含人脸的图像，第三样本图像对应的标定信息中包含有人眼的上下眼睑的眼睑特征点的标定位置信息以及面部特征点的标定位置信息。
在本发明的另一实施例中，该人眼图像包括左眼图像和右眼图像；
在所述利用预设的眼睑特征点检测模型，从人眼图像中检测出人眼的上下眼睑的眼睑特征点(S102)的步骤之前，所述方法还可以包括：
对左眼图像或右眼图像进行镜像处理，得到镜像图像；
对镜像图像以及未进行镜像的图像进行拼接，得到拼接图像其中，若对左眼图像进行镜像处理，未进行镜像的图像为右眼图像；若对右眼图像进行镜像处理，未进行镜像的图像为左眼图像；
所述S102，可以包括：
利用预设的眼睑特征点检测模型，从拼接图像中，检测出镜像图像中人眼的上下眼睑的眼睑特征点，以及未进行镜像的图像中人眼的上下眼睑的眼睑特征点；
对镜像图像中人眼的上下眼睑的眼睑特征点进行镜像处理，得到镜像后的眼睑特征点，以得到人眼图像中的人眼的上下眼睑的眼睑特征点。
其中，人眼图像包括：包含目标人员左眼的图像，称为左眼图像；和包含目标人员的右眼的图像，称为右眼图像。为了在一定程度上降低利用预设的眼睑特征点检测模型，检测得到目标人员的眼睑特征点的复杂度，并缩短利用预设的眼睑特征点检测模型，检测得到目标人员的眼睑特征点所需的检测时间。本实施例中，可以对左眼图像或右眼图像进行镜像处理，得到镜像图像。进而对镜像图像以及未进行镜像的图像进行拼接，得到拼接图像；将拼接图像输入预设的眼睑特征点检测模型，以利用预设的眼睑特征点检测模型，从拼接图像中，检测出镜像图像中人眼的上下眼睑的眼睑特征点，以及未进行镜像的图像中人眼的上下眼睑的眼睑特征点。使得预设的眼睑特征点检测模型可以同时对镜像图像和未进行镜像的图像进行检测，可以缩短利用预设的眼睑特征点检测模型，检测得到目标人员的眼睑特征点所需的检测时间。
其中，若对右眼图像进行镜像处理，上述未进行镜像的图像为左眼图像；若对左眼图像进行镜像处理，上述未进行镜像的图像为右眼图像。
对左眼图像或右眼图像进行镜像处理，可以使得左眼图像镜像为该左眼图像对应的右眼图像，或使得右眼图像镜像为该右眼图像对应的左眼图像，在一定程度上降低利用预设的眼睑特征点检测模型，检测得到目标人员的眼睑特征点的复杂度。
可以理解的是，在训练得到上述预设的眼睑特征点检测模型，所需的第二样本图像中，可以包含样本人员的左眼图像及该样本人员的右眼图像镜像所得的左眼图像，或包含样本人员的右眼图像及该样本人员的左眼图像镜像所得的右眼图像。若训练得到上述预设的眼睑特征点检测模型所需的第二样本图像中，包含样本人员的左眼图像及该样本人员的右眼图像镜像所得的左眼图像，后续的，在检测过程中，对目标人员的右眼图像进行镜像处理。若训练得到上述预设的眼睑特征点检测模型所需的第二样本图像中，包含样本人员的右眼图像及该样本人员的左眼图像镜像所得的右眼图像，后续的，在检测过程中，对目标人员的左眼图像进行镜像处理。
在训练得到上述预设的眼睑特征点检测模型时，对样本人员的右眼图像或左眼图像进行镜像处理，在一定程度上还可以增加训练得到上述预设的眼睑特征点检测模型所需的第二样本图像的数量。
上述对镜像图像以及未进行镜像的图像进行拼接，得到拼接图像的过程，可以是：对镜像图像以及未进行镜像的图像进行空间维度的拼接或者通道维度的拼接，其中，该空间维度的拼接可以为：将镜像图像以及未进行镜像的图像进行左右拼接或上下拼接。左右拼接可以是：镜像图像的右侧边与未进行镜像的图像的左侧边进行拼接，镜像图像的左侧边与未进行镜像的图像的右侧边进行拼接。上下拼接可以是：镜像图像的上侧边与未进行镜像的图像的下侧边进行拼接，镜像图像的下侧边与未进行镜像的图像的上侧边进行拼接。
在本发明的另一实施例中，在所述对左眼图像或右眼图像进行镜像处理，得到镜像图像的步骤之前，所述方法还可以包括：
对待处理图像进行转正处理，得到转正后的待处理图像，其中，转正处理为：使得待处理图像中的两个眼角点的连线与预设图像坐标系的坐标轴平行，待处理图像为左眼图像和右眼图像；
所述对左眼图像或右眼图像进行镜像处理，得到镜像图像的步骤，可以包括：
对转正后的待处理图像进行镜像处理，得到镜像图像。
在一种情况中，目标人员的头部可能会出现倾斜的情况，本实施例中，为了提高对眼睑特征点的检测结果的准确性，在对左眼图像和右眼图像进行镜像处理之前，可以首先对左眼图像和右眼图像进行转正处理，即使得左眼图像的两个眼角点的连线与预设图像坐标系的横轴平行，且使得右眼图像的两个眼角点的连线与预设图像坐标系的横轴平行；或，使得左眼图像的两个眼角点的连线与预设图像坐标系的纵轴平行，且使得右眼图像的两个眼角点的连线与预设图像坐标系的纵轴平行，这都是可以的。
后续的，可以对转正后左眼图像或转正后的右眼图像进行镜像处理，得到镜像图像。
其中，该预设图像坐标系可以为该图像采集设备的图像坐标系。
在本发明的另一实施例中，所述S106，可以包括：
获得在预设时长内所确定出的目标人员的人眼的历史开闭长度；
将每一开闭长度与预设长度阈值进行比较，获得比较结果，其中，开闭长度包括当前开闭长度以及历史开闭长度；
统计得到表征开闭长度小于预设长度阈值的比较结果的第一结果数量；
基于当前开闭长度以及历史开闭长度的总数量和第一结果数量，确定出目标人员的当前状态。
本实施例中，在确定目标人员的人眼的上下眼睑之间的当前开闭长度之后，可以结合时间维度信息，即该人眼的历史开闭长度，确定目标人员的当前状态。
其中，为了保证所确定出的目标人员的状态的及时性，电子设备可以获得图像采集设备在当前时刻采集的包含目标人员面部的人脸图像。该预设时长可以是用户预先设置的时长，也可以是电子设备自主设置的时长，都是可以的。其中，在预设时长内所确定出的目标人员的人眼的历史开闭长度可以包括：当前时刻向前的预设时长内所确定出的目标人员的人眼的历史开闭长度，即与当前时刻最近的预设时长内所确定出的目标人员的人眼的历史开闭长度。
一种情况中，电子设备本地或所连接的存储设备中，可以存储有目标人员的人眼的历史开闭长度，在计算得到人眼的当前开闭长度之后，电子设备可以从相应的存储位置处获得目标人员的人眼的历史开闭长度。其中，目标人员的人眼的历史开闭长度为：基于该图像采集设备针对目标人员进行拍摄所采集到的该人脸图像之前的人脸图像确定的。该目标人员的人眼的历史开闭长度的确定过程，与确定目标人员的人眼的当前开闭长度的确定过程相似，在此不再赘述。
本发明实施例中，通过眼睑的眼睑特征信息，可以确定出更加准确的人眼的开闭长度，即人眼开闭的物理长度，进而，结合时间维度，可以更加灵活、准确地监控得到目标人员的当前状态。
电子设备可以获得预先设置的预设长度阈值，并将每一开闭长度，即当前开闭长度以及历史开闭长度分别与预设长度阈值进行比较，以比较每一开闭长度与预设长度阈值的大小，得到比较结果；进而，统计得到表征开闭长度小于预设长度阈值的比较结果的数量，作为第一结果数量；后续的，基于当前开闭长度以及历史开闭长度的总数量和第一结果数量，确定目标人员的当前状态。
在本发明的一种实现方式中，所述基于当前开闭长度以及历史开闭长度的总数量和第一结果数量，确定出目标人员的当前状态的步骤，可以通过如下实现方式中的任一实现方式实现：
第一种实现方式：
计算第一结果数量和总数量的比值，作为第二比值；
判断第二比值是否大于预设比值；
若第二比值大于预设比值，确定目标人员的当前状态为疲劳状态；
若第二比值不大于预设比值，确定目标人员的当前状态为非疲劳状态；
第二种实现方式：
计算总数量和第一结果数量的差值；
若差值大于预设差值，确定目标人员的当前状态为非疲劳状态；
若差值不大于预设差值，确定目标人员的当前状态为疲劳状态。
其中，该预设比值和该预设差值可以是工作人员根据经验值设置的。
另一种实现方式中，在统计得到表征开闭长度小于预设长度阈值的比较结果的第一结果数量之后，可以直接将该第一数量与预设数量进行比较，若该第一结果数量大于该预设数量，则确定目标人员的当前状态为疲劳状态；若该第一结果数量不大于该预设数量，则确定目标人员的当前状态为非疲劳状态。
例如：在预设时长内所确定出的目标人员的人眼的历史开闭长度为99个；即当前开闭长度和历史开闭长度共100个，若统计得到表征开闭长度小于预设长度阈值的比较结果的第一结果数量为80，此时，可以确定目标人员的当前状态为疲劳状态。
在本发明的另一实施例中，在所述基于当前开闭长度，确定目标人员的当前状态的步骤之后，所述方法还可以包括：
若确定出目标人员的当前状态为疲劳状态，生成并发送告警信息。
本发明实施例中，若目标人员为驾驶员，为了在一定程度上减少因疲劳驾驶所导致的车祸的情况的发生，在确定出目标人员的当前状态为疲劳状态的情况下，可以生成告警信息，以提示用户该目标人员处于疲劳的状态，以便用户可以针对该种情况采取相应措施，以在一定程度上减少因疲劳驾驶所导致的车祸的情况的发生。
另一种情况中，若目标人员为驾驶员，还可以提示驾驶员进入自动驾驶模式，或发出行驶模式控制信号，以控制车辆自动进入自动驾驶模式，以在一定程度上减少因疲劳驾驶所导致的车祸的情况的发生。
在本发明的另一实施例中，若目标人员为居家人员，可以生成并发送家居设备的家居控制信号，该家居控制信号可以是控制电视机的播放音量降低或关闭电视机；可以是：控制空调的当前设置温度在预设温度范围内，等等。
相应于上述方法实施例，本发明实施例提供了一种基于眼睑特征信息的人员状态检测装置，如图3所示，可以包括：
获得模块310，被配置为获得包含目标人员面部的人脸图像；
检测模块320，被配置为从所述人脸图像中检测出人脸特征点的二维位置信息，其中，所述人脸特征点包括人眼的上下眼睑的眼睑特征点；
构建模块330，被配置为基于所述人脸图像的人脸特征点的二维位置信息以及预设的三维人脸模型，构建所述目标人员对应的目标三维人脸模型，其中，所述目标三维人脸模型包括：基于所述眼睑特征点构建的所述人眼的上下眼睑；
第一确定模块340，被配置为基于所述目标三维人脸模型中所述人眼的上下眼睑指定位置处的眼睑空间点的三维位置信息以及预设的投影矩阵，确定出所述指定位置处的眼睑空间点在所述人脸图像中的投影点的投影位置信息；
第二确定模块350，被配置为基于所述人脸图像中所述指定位置对应的位置处的眼睑特征点的二维位置信息、所述指定位置处的眼睑空间点的三维位置信息以及所述投影位置信息，确定所述上下眼睑之间的当前开闭长度；
第三确定模块360，被配置为基于所述当前开闭长度，确定出所述目标人员的当前状态。
应用本发明实施例，可以从人脸图像中检测出包含人眼的上下眼睑的眼睑特征点的人脸特征点的二维位置信息，并基于包含目标人员面部的人脸图像中的人脸特征点和预设的三维人脸模型，构建出目标人员对应的包括目标人员的人眼的上下眼睑的目标三维人脸模型，即构建出了目标人员的人眼的空间信息；进而确定出目标三维人脸模型中上下眼睑指定位置处的眼睑空间点在人脸图像中的投影点的投影位置信息，基于人眼的空间信息，即目标人员的上下眼睑指定位置处的眼睑空间点的三维位置信息、以及人脸图像中指定位置对应的位置处的眼睑特征点的二维位置信息以及相应的投影位置信息，确定上下眼睑的开闭长度，可以实现结合人眼的上下眼睑的三维信息以及二维信息，共同确定出准确性更高的人眼的上下眼睑之间的空间距离，即人眼的开闭状态，进而，基于准确性更高的人眼的上下眼睑之间的空间距离，可以更加准确地确定出目标人员的当前状态。其中，结合人眼的上下眼睑的三维信息以及二维信息，可以分化人眼的上下眼睑的三维信息以及二维信息中的任一信息的误差，在一定程度上可以更好的提高当前开闭长度的准确性，进而提高对人员的当前状态的检测结果的准确性。本发明实施例中不再仅依赖通过预先训练的人眼状态检测模型，对二维图像中人眼的开闭状态的检测结果，对目标人员的状态进行确定，避免了预先训练的人眼状态检测模型对图像中人眼的闭合状态和睁开状态的检测边界模糊，进而导致检测结果不够准确的情况的发生。实现确定出人眼的眼睑特征信息，利用眼睑特征信息，实现对人眼开闭状态的检测结果的准确性的提高，提高对人员的当前状态的检测结果的准确性。
在本发明的另一实施例中，所述指定位置对应的位置处的眼睑特征点包括：所述人脸图像中上眼睑的中心位置处的第一中心点以及下眼睑的中心位置处的第一中心点；所述指定位置的眼睑空间点包括：所述目标三维人脸模型中上眼睑的中心位置处的第三中心点以及下眼睑的中心位置处的第四中心点；
所述第二确定模块350，被具体配置为
基于所述第一中心点的二维位置信息以及所述第二中心点的二维位置信息，确定所述第一中心点与所述第二中心点之间的距离，作为第一距离；
基于所述第三中心点的三维位置信息以及所述第四中心点的三维位置信息，确定所述第三中心点和所述第四中心点之间的距离，作为第二距离；
基于第一投影点的投影位置信息以及第二投影点的投影位置信息，确定所述第一投影点与所述第二投影点之间的距离，作为第三距离，其中，所述第一投影点为所述第三中心点在所述人脸图像中的投影点，所述第二投影点为所述第四中心点在所述人脸图像中的投影点；
计算所述第一距离与所述第三距离的比值，作为第一比值；
将所述第二距离与第一比值的乘积，确定为所述上下眼睑之间的当前开闭长度。
在本发明的另一实施例中，所述检测模块320，包括：
第一检测单元(图中未示出)，被配置为基于预设的面部特征点检测模型，从所述人脸图像中检测出面部特征点的二维位置信息，其中，所述预设的面部特征点检测模型为：基于标注有人脸的各部位的面部特征点的第一样本图像训练所得的模型；
确定截取单元(图中未示出)，被配置为基于所述面部特征点的二维位置信息，从所述人脸图像中确定并截取出所述目标人员的人眼所在区域，作为人眼图像；
第二检测单元(图中未示出)，被配置为利用预设的眼睑特征点检测模型，从所述人眼图像中检测出所述人眼的上下眼睑的眼睑特征点，其中，所述预设的眼睑特征点检测模型为：基于标注有人眼的上下眼睑的眼睑特征点的第二样本图像训练所得的模型。
在本发明的另一实施例中，所述人眼图像包括左眼图像和右眼图像；
所述检测模块320还包括：
镜像单元(图中未示出)，被配置为在所述利用预设的眼睑特征点检测模型，从所述人眼图像中检测出所述人眼的上下眼睑的眼睑特征点之前，对所述左眼图像或所述右眼图像进行镜像处理，得到镜像图像；
拼接单元(图中未示出)，被配置为对所述镜像图像以及未进行镜像的图像进行拼接，得到拼接图像其中，若对所述左眼图像进行镜像处理，所述未进行镜像的图像为所述右眼图像；若对所述右眼图像进行镜像处理，所述未进行镜像的图像为所述左眼图像；
所述第二检测单元(图中未示出)，被具体配置为：
利用预设的眼睑特征点检测模型，从所述拼接图像中，检测出所述镜像图像中人眼的上下眼睑的眼睑特征点，以及所述未进行镜像的图像中人眼的上下眼睑的眼睑特征点；
对所述镜像图像中人眼的上下眼睑的眼睑特征点进行镜像处理，得到镜像后的眼睑特征点，以得到所述人眼图像中的人眼的上下眼睑的眼睑特征点。
在本发明的另一实施例中，所述第一检测模块320还包括：
转正单元(图中未示出)，被配置为在所述对所述左眼图像或所述右眼图像进行镜像处理，得到镜像图像之前，对待处理图像进行转正处理，得到转正后的待处理图像，其中，所述转正处理为：使得待处理图像中的两个眼角点的连线与预设图像坐标系的坐标轴平行，所述待处理图像为所述左眼图像和所述右眼图像；
所述镜像单元(图中未示出)，被具体配置为：对转正后的待处理图像进行镜像处理，得到镜像图像。
在本发明的另一实施例中，所述构建模块330，被具体配置为：
从所述预设的三维人脸模型中，确定出预设人脸位置处的空间点，作为待处理空间点，其中，所述待处理空间点与人脸特征点存在对应关系；
利用弱透视投影矩阵，将每一待处理空间点投影至所述人脸图像，确定每一待处理空间点在所述人脸图像中的投影点的投影位置信息；
基于每一待处理空间点的投影点的投影位置信息及每一待处理空间点对应的人脸特征点的二维位置信息，构建所述目标人员对应的目标三维人脸模型。
在本发明的另一实施例中，所述第三确定模块360，包括：
获得单元(图中未示出)，被配置为获得在预设时长内所确定出的所述目标人员的人眼的历史开闭长度；
比较获得单元(图中未示出)，被配置为将每一开闭长度与预设长度阈值进行比较，获得比较结果，其中，所述开闭长度包括所述当前开闭长度以及所述历史开闭长度；
统计单元(图中未示出)，被配置为统计得到表征开闭长度小于所述预设长度阈值的比较结果的第一结果数量；
确定单元(图中未示出)，被配置为基于所述当前开闭长度以及所述历史开闭长度的总数量和所述第一结果数量，确定出所述目标人员的当前状态。
在本发明的另一实施例中，所述确定单元，被具体配置为：
计算所述第一结果数量和所述总数量的比值，作为第二比值；
判断所述第二比值是否大于预设比值；
若所述第二比值大于所述预设比值，确定所述目标人员的当前状态为疲劳状态；
若所述第二比值不大于所述预设比值，确定所述目标人员的当前状态为非疲劳状态；
或，被具体配置为：
计算所述总数量和所述第一结果数量的差值；
若所述差值大于预设差值，确定所述目标人员的当前状态为非疲劳状态；
若所述差值不大于所述预设差值，确定所述目标人员的当前状态为疲劳状态。
在本发明的另一实施例中，所述装置还包括：
生成发送模块(图中未示出)，被配置为在所述基于所述当前开闭长度，确定出所述目标人员的当前状态之后，若确定出所述目标人员的当前状态为疲劳状态，生成并发送告警信息。
上述装置实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (9)

1.一种基于眼睑特征信息的人员状态检测方法，其特征在于，包括：
获得包含目标人员面部的人脸图像；
从所述人脸图像中检测出人脸特征点的二维位置信息，其中，所述人脸特征点包括人眼的上下眼睑的眼睑特征点；
基于所述人脸图像的人脸特征点的二维位置信息以及预设的三维人脸模型，构建所述目标人员对应的目标三维人脸模型，其中，所述目标三维人脸模型包括：基于所述眼睑特征点构建的所述人眼的上下眼睑；
基于所述目标三维人脸模型中所述人眼的上下眼睑指定位置处的眼睑空间点的三维位置信息以及预设的投影矩阵，确定出所述指定位置处的眼睑空间点在所述人脸图像中的投影点的投影位置信息；
基于所述人脸图像中所述指定位置对应的位置处的眼睑特征点的二维位置信息、所述指定位置处的眼睑空间点的三维位置信息以及所述投影位置信息，确定所述上下眼睑之间的当前开闭长度；
基于所述当前开闭长度，确定出所述目标人员的当前状态；
所述指定位置对应的位置处的眼睑特征点包括：所述人脸图像中上眼睑的中心位置处的第一中心点以及下眼睑的中心位置处的第二中心点；所述指定位置的眼睑空间点包括：所述目标三维人脸模型中上眼睑的中心位置处的第三中心点以及下眼睑的中心位置处的第四中心点；
所述基于所述人脸图像中所述指定位置对应的位置处的眼睑特征点的二维位置信息、所述指定位置处的眼睑空间点的三维位置信息以及所述投影位置信息，确定所述上下眼睑之间的当前开闭长度的步骤，包括：
基于所述第一中心点的二维位置信息以及所述第二中心点的二维位置信息，确定所述第一中心点与所述第二中心点之间的距离，作为第一距离；
基于所述第三中心点的三维位置信息以及所述第四中心点的三维位置信息，确定所述第三中心点和所述第四中心点之间的距离，作为第二距离；
基于第一投影点的投影位置信息以及第二投影点的投影位置信息，确定所述第一投影点与所述第二投影点之间的距离，作为第三距离，其中，所述第一投影点为所述第三中心点在所述人脸图像中的投影点，所述第二投影点为所述第四中心点在所述人脸图像中的投影点；
计算所述第一距离与所述第三距离的比值，作为第一比值；
将所述第二距离与第一比值的乘积，确定为所述上下眼睑之间的当前开闭长度。
2.如权利要求1所述的方法，其特征在于，所述从所述人脸图像中检测出人脸特征点的二维位置信息的步骤，包括：
基于预设的面部特征点检测模型，从所述人脸图像中检测出面部特征点的二维位置信息，其中，所述预设的面部特征点检测模型为：基于标注有人脸的各部位的面部特征点的第一样本图像训练所得的模型；
基于所述面部特征点的二维位置信息，从所述人脸图像中确定并截取出所述目标人员的人眼所在区域，作为人眼图像；
利用预设的眼睑特征点检测模型，从所述人眼图像中检测出所述人眼的上下眼睑的眼睑特征点，其中，所述预设的眼睑特征点检测模型为：基于标注有人眼的上下眼睑的眼睑特征点的第二样本图像训练所得的模型。
3.如权利要求2所述的方法，其特征在于，所述人眼图像包括左眼图像和右眼图像；
在所述利用预设的眼睑特征点检测模型，从所述人眼图像中检测出所述人眼的上下眼睑的眼睑特征点的步骤之前，所述方法还包括：
对所述左眼图像或所述右眼图像进行镜像处理，得到镜像图像；
对所述镜像图像以及未进行镜像的图像进行拼接，得到拼接图像，其中，若对所述左眼图像进行镜像处理，所述未进行镜像的图像为所述右眼图像；若对所述右眼图像进行镜像处理，所述未进行镜像的图像为所述左眼图像；
所述利用预设的眼睑特征点检测模型，从所述人眼图像中检测出所述人眼的上下眼睑的眼睑特征点的步骤，包括：
利用预设的眼睑特征点检测模型，从所述拼接图像中，检测出所述镜像图像中人眼的上下眼睑的眼睑特征点，以及所述未进行镜像的图像中人眼的上下眼睑的眼睑特征点；
对所述镜像图像中人眼的上下眼睑的眼睑特征点进行镜像处理，得到镜像后的眼睑特征点，以得到所述人眼图像中的人眼的上下眼睑的眼睑特征点。
4.如权利要求3所述的方法，其特征在于，在所述对所述左眼图像或所述右眼图像进行镜像处理，得到镜像图像的步骤之前，所述方法还包括：
对待处理图像进行转正处理，得到转正后的待处理图像，其中，所述转正处理为：使得待处理图像中的两个眼角点的连线与预设图像坐标系的坐标轴平行，所述待处理图像为所述左眼图像和所述右眼图像；
所述对所述左眼图像或所述右眼图像进行镜像处理，得到镜像图像的步骤，包括：
对转正后的待处理图像进行镜像处理，得到镜像图像。
5.如权利要求1所述的方法，其特征在于，所述基于所述人脸图像的人脸特征点的二维位置信息以及预设的三维人脸模型，构建所述目标人员对应的目标三维人脸模型的步骤，包括：
从所述预设的三维人脸模型中，确定出预设人脸位置处的空间点，作为待处理空间点，其中，所述待处理空间点与人脸特征点存在对应关系；
利用弱透视投影矩阵，将每一待处理空间点投影至所述人脸图像，确定每一待处理空间点在所述人脸图像中的投影点的投影位置信息；
基于每一待处理空间点的投影点的投影位置信息及每一待处理空间点对应的人脸特征点的二维位置信息，构建所述目标人员对应的目标三维人脸模型。
6.如权利要求1-5任一项所述的方法，其特征在于，所述基于所述当前开闭长度，确定出所述目标人员的当前状态的步骤，包括：
获得在预设时长内所确定出的所述目标人员的人眼的历史开闭长度；
将每一开闭长度与预设长度阈值进行比较，获得比较结果，其中，所述开闭长度包括所述当前开闭长度以及所述历史开闭长度；
统计得到表征开闭长度小于所述预设长度阈值的比较结果的第一结果数量；
基于所述当前开闭长度以及所述历史开闭长度的总数量和所述第一结果数量，确定出所述目标人员的当前状态。
7.如权利要求6所述的方法，其特征在于，所述基于所述当前开闭长度以及所述历史开闭长度的总数量和所述第一结果数量，确定出所述目标人员的当前状态的步骤，可以通过如下实现方式中的任一实现方式实现：
第一种实现方式：
计算所述第一结果数量和所述总数量的比值，作为第二比值；
判断所述第二比值是否大于预设比值；
若所述第二比值大于所述预设比值，确定所述目标人员的当前状态为疲劳状态；
若所述第二比值不大于所述预设比值，确定所述目标人员的当前状态为非疲劳状态；
第二种实现方式：
计算所述总数量和所述第一结果数量的差值；
若所述差值大于预设差值，确定所述目标人员的当前状态为非疲劳状态；
若所述差值不大于所述预设差值，确定所述目标人员的当前状态为疲劳状态。
8.如权利要求1所述的方法，其特征在于，在所述基于所述当前开闭长度，确定出所述目标人员的当前状态的步骤之后，所述方法还包括：
若确定出所述目标人员的当前状态为疲劳状态，生成并发送告警信息。
9.一种基于眼睑特征信息的人员状态检测装置，其特征在于，包括：
第一获得模块，被配置为获得包含目标人员面部的人脸图像；
第一检测模块，被配置为从所述人脸图像中检测出人脸特征点的二维位置信息，其中，所述人脸特征点包括人眼的上下眼睑的眼睑特征点；
构建模块，被配置为基于所述人脸图像的人脸特征点的二维位置信息以及预设的三维人脸模型，构建所述目标人员对应的目标三维人脸模型，其中，所述目标三维人脸模型包括：基于所述眼睑特征点构建的所述人眼的上下眼睑；
第一确定模块，被配置为基于所述目标三维人脸模型中所述人眼的上下眼睑指定位置处的眼睑空间点的三维位置信息以及预设的投影矩阵，确定出所述指定位置处的眼睑空间点在所述人脸图像中的投影点的投影位置信息；
第二确定模块，被配置为基于所述人脸图像中所述指定位置对应的位置处的眼睑特征点的二维位置信息、所述指定位置处的眼睑空间点的三维位置信息以及所述投影位置信息，确定所述上下眼睑之间的当前开闭长度；
第三确定模块，被配置为基于所述当前开闭长度，确定出所述目标人员的当前状态；
所述指定位置对应的位置处的眼睑特征点包括：所述人脸图像中上眼睑的中心位置处的第一中心点以及下眼睑的中心位置处的第二中心点；所述指定位置的眼睑空间点包括：所述目标三维人脸模型中上眼睑的中心位置处的第三中心点以及下眼睑的中心位置处的第四中心点；
所述第二确定模块，被具体配置为
基于所述第一中心点的二维位置信息以及所述第二中心点的二维位置信息，确定所述第一中心点与所述第二中心点之间的距离，作为第一距离；
基于所述第三中心点的三维位置信息以及所述第四中心点的三维位置信息，确定所述第三中心点和所述第四中心点之间的距离，作为第二距离；
基于第一投影点的投影位置信息以及第二投影点的投影位置信息，确定所述第一投影点与所述第二投影点之间的距离，作为第三距离，其中，所述第一投影点为所述第三中心点在所述人脸图像中的投影点，所述第二投影点为所述第四中心点在所述人脸图像中的投影点；
计算所述第一距离与所述第三距离的比值，作为第一比值；
将所述第二距离与第一比值的乘积，确定为所述上下眼睑之间的当前开闭长度。
CN201910457032.7A 2019-05-29 2019-05-29 一种基于眼睑特征信息的人员状态检测方法及装置 Active CN112016347B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910457032.7A CN112016347B (zh) 2019-05-29 2019-05-29 一种基于眼睑特征信息的人员状态检测方法及装置
PCT/CN2019/108074 WO2020237941A1 (zh) 2019-05-29 2019-09-26 一种基于眼睑特征信息的人员状态检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910457032.7A CN112016347B (zh) 2019-05-29 2019-05-29 一种基于眼睑特征信息的人员状态检测方法及装置

Publications (2)

Publication Number Publication Date
CN112016347A CN112016347A (zh) 2020-12-01
CN112016347B true CN112016347B (zh) 2022-06-24

Family

ID=73500863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910457032.7A Active CN112016347B (zh) 2019-05-29 2019-05-29 一种基于眼睑特征信息的人员状态检测方法及装置

Country Status (2)

Country Link
CN (1) CN112016347B (zh)
WO (1) WO2020237941A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256586A (zh) * 2021-05-28 2021-08-13 深圳数联天下智能科技有限公司 人脸图像的模糊判断方法、装置、设备和介质
CN116115878A (zh) * 2023-02-22 2023-05-16 王华虎 一种情景式营造犯困氛围的智能化快速催眠方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104091150A (zh) * 2014-06-26 2014-10-08 浙江捷尚视觉科技股份有限公司 一种基于回归的人眼状态判断方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4137969B2 (ja) * 2006-12-04 2008-08-20 アイシン精機株式会社 眼部検出装置、眼部検出方法及びプログラム
US8570176B2 (en) * 2008-05-28 2013-10-29 7352867 Canada Inc. Method and device for the detection of microsleep events
CN105701445A (zh) * 2014-12-15 2016-06-22 爱信精机株式会社 判定装置及判定方法
CN104881955B (zh) * 2015-06-16 2017-07-18 华中科技大学 一种驾驶员疲劳驾驶检测方法及系统
CN108460345A (zh) * 2018-02-08 2018-08-28 电子科技大学 一种基于人脸关键点定位的面部疲劳检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104091150A (zh) * 2014-06-26 2014-10-08 浙江捷尚视觉科技股份有限公司 一种基于回归的人眼状态判断方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于三维可变形模板的眼睛特征提取;黄万军等;《计算机研究与发展》;20020415(第04期);全文 *
基于人脸关键点的疲劳驾驶检测研究;黄家才等;《南京工程学院学报(自然科学版)》;20171215(第04期);全文 *

Also Published As

Publication number Publication date
WO2020237941A1 (zh) 2020-12-03
CN112016347A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN110956068B (zh) 一种基于人眼状态识别的疲劳检测方法及装置
CN108427503B (zh) 人眼追踪方法及人眼追踪装置
CN104951808B (zh) 一种用于机器人交互对象检测的3d视线方向估计方法
CN104616438B (zh) 一种用于疲劳驾驶检测的打哈欠动作检测方法
CN107392120B (zh) 一种基于视线估计的注意力智能监督方法
CN110807364B (zh) 三维人脸与眼球运动的建模与捕获方法及系统
WO2020125499A1 (zh) 一种操作提示方法及眼镜
KR20210104107A (ko) 주시 영역 검출 방법, 장치 및 전자 디바이스
CN112016347B (zh) 一种基于眼睑特征信息的人员状态检测方法及装置
WO2020252969A1 (zh) 眼部关键点的标注及其检测模型的训练方法和装置
CN108596087B (zh) 一种基于双网络结果的驾驶疲劳程度检测回归模型
WO2020020022A1 (zh) 视觉识别方法及其系统
CN104850842B (zh) 移动终端虹膜识别的人机交互方法
US20230041573A1 (en) Image processing method and apparatus, computer device and storage medium
CN112036217B (zh) 一种基于嘴部信息的人员状态检测方法及装置
CN110341617A (zh) 眼球追踪方法、装置、车辆和存储介质
CN109934207A (zh) 基于面部表情疲劳驾驶检测算法的一种驾驶员面部的特征距离修正方法
CN114894337B (zh) 一种用于室外人脸识别测温方法及装置
CN111854620A (zh) 基于单目相机的实际瞳距测定方法、装置以及设备
CN110148092A (zh) 基于机器视觉的青少年坐姿及情绪状态的分析方法
CN112084820B (zh) 一种基于头部信息的人员状态检测方法及装置
CN112084821B (zh) 一种基于多面部信息的人员状态检测方法及装置
CN116453198B (zh) 一种基于头部姿态差异的视线校准方法和装置
CN113971841A (zh) 一种活体检测方法、装置、计算机设备及存储介质
CN112926364B (zh) 头部姿态的识别方法及系统、行车记录仪和智能座舱

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211125

Address after: 215100 floor 23, Tiancheng Times Business Plaza, No. 58, qinglonggang Road, high speed rail new town, Xiangcheng District, Suzhou, Jiangsu Province

Applicant after: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

Address before: Room 601-a32, Tiancheng information building, No. 88, South Tiancheng Road, high speed rail new town, Xiangcheng District, Suzhou, Jiangsu 215131

Applicant before: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant