CN110956068B - 一种基于人眼状态识别的疲劳检测方法及装置 - Google Patents
一种基于人眼状态识别的疲劳检测方法及装置 Download PDFInfo
- Publication number
- CN110956068B CN110956068B CN201910456538.6A CN201910456538A CN110956068B CN 110956068 B CN110956068 B CN 110956068B CN 201910456538 A CN201910456538 A CN 201910456538A CN 110956068 B CN110956068 B CN 110956068B
- Authority
- CN
- China
- Prior art keywords
- image
- eyelid
- face
- point
- position information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
Abstract
本发明实施例公开一种基于人眼状态识别的疲劳检测方法及装置，该方法包括：获得图像采集设备针对目标人员进行拍摄时，采集到的包含目标人员的面部的人脸图像；对人脸图像进行检测，得到面部特征点以及面部中人眼的上下眼睑的眼睑特征点；基于预设的三维人脸模型、面部特征点以及眼睑特征点，构建目标人员对应的目标三维人脸模型，其中，目标三维人脸模型包括：基于眼睑特征点构建的人眼的上下眼睑；基于目标三维人脸模型中人眼的上下眼睑，确定人眼的上下眼睑之间的当前开闭长度；基于当前开闭长度，确定出目标人员的当前疲劳程度，以实现确定出人眼的空间信息，提高对人眼状态的检测结果的准确性，进而提高对目标人员的疲劳程度的检测结果的准确性。
Description
技术领域
本发明涉及视频监控技术领域，具体而言，涉及一种基于人眼状态识别的疲劳检测方法及装置。
背景技术
人员在疲劳的状态下，易出现操作错误的情况，例如：驾驶员在疲劳驾驶时，易出现车祸。为了在一定程度上降低因人员疲劳而导致的危险情况的发生，一般会对人员进行疲劳检测。相关的疲劳检测的过程，一般为：获得针对目标人员采集的人脸图像，通过预先训练的人眼状态检测模型，对人脸图像进行检测，检测出目标人员的眼睛的开闭状态，即检测目标人员的眼睛是否处于闭合的状态，根据检测结果，确定目标人员是否出现疲劳，其中，若检测到目标人员的眼睛处于闭合的状态，则确定目标人员出现疲劳，并进行告警，其中，该预先训练的人眼状态检测模型为：基于标注有处于闭合状态的人眼和处于睁开状态的人眼的样本图像训练所得的神经网络模型。
上述疲劳检测的过程中，在训练模型之前，对样本图像进行标注时，对样本图像中的眼睛的闭合状态和睁开状态的标注标准无法统一，如对于半睁开的眼睛有的标注人员标注为睁开状态，有的标注人员标注为闭合状态，导致预先训练的人眼状态检测模型对图像中人眼的闭合状态和睁开状态的检测边界模糊，进而导致检测结果不够准确。
发明内容
本发明提供了一种基于人眼状态识别的疲劳检测方法及装置，以实现确定出人眼的空间信息，提高对人眼的状态的检测结果的准确性，进而提高对目标人员的疲劳程度的检测结果的准确性。具体的技术方案如下：
第一方面，本发明实施例提供了一种基于人眼状态识别的疲劳检测方法，包括：
获得图像采集设备针对目标人员进行拍摄所采集到的包含所述目标人员的面部的人脸图像；
对所述人脸图像进行检测，检测得到所述人脸图像中面部的面部特征点以及所述面部中人眼的上下眼睑的眼睑特征点，其中，所述面部特征点为：用于表征所述人脸图像中面部各个部位的特征点；
基于预设的三维人脸模型、所述面部特征点以及所述眼睑特征点，构建所述目标人员对应的目标三维人脸模型，其中，所述目标三维人脸模型包括：基于所述眼睑特征点构建的所述人眼的上下眼睑；
基于所述目标三维人脸模型中所述人眼的上下眼睑的三维位置信息，确定所述人眼的上下眼睑之间的当前开闭长度；
基于所述当前开闭长度，确定出所述目标人员的当前疲劳程度。
可选的，所述对所述人脸图像进行检测，检测得到所述人脸图像中面部的面部特征点以及所述面部中人眼的上下眼睑的眼睑特征点的步骤，包括：
对所述人脸图像进行检测，检测得到所述人脸图像中面部的面部特征点；
基于所述面部特征点，从所述人脸图像中确定并截取出所述面部中人眼所在区域，作为人眼图像；
利用预设的眼睑特征点检测模型，从所述人眼图像中检测出所述人眼的上下眼睑的眼睑特征点，其中，所述预设的眼睑特征点检测模型为：基于标注有人眼的上下眼睑的眼睑特征点的样本图像训练所得的模型。
可选的，所述人眼图像包括左眼图像和右眼图像；
在所述利用预设的眼睑特征点检测模型，从所述人眼图像中检测出所述人眼的上下眼睑的眼睑特征点的步骤之前，所述方法还包括：
对第一图像进行镜像处理，得到镜像图像，其中，所述第一图像为所述左眼图像或所述右眼图像；
对所述镜像图像以及所述人眼图像中未进行镜像处理的图像进行拼接，得到拼接图像；
所述利用预设的眼睑特征点检测模型，从所述人眼图像中检测出所述人眼的上下眼睑的眼睑特征点的步骤，包括：
利用预设的眼睑特征点检测模型，从所述拼接图像中，检测出所述镜像图像中人眼的上下眼睑的眼睑特征点，以及所述未进行镜像处理的图像中人眼的上下眼睑的眼睑特征点；
对所述镜像图像中人眼的上下眼睑的眼睑特征点进行镜像处理，得到镜像后的眼睑特征点，以得到所述人眼图像中的人眼的上下眼睑的眼睑特征点。
可选的，在所述对第一图像进行镜像处理，得到镜像图像的步骤之前，所述方法还包括：
对所述左眼图像和所述右眼图像进行转正处理，得到转正后的左眼图像和转正后的右眼图像，其中，所述转正处理为：使得待处理图像中的两个眼角点的连线与预设图像坐标系的坐标轴平行，所述待处理图像为所述左眼图像和所述右眼图像；
所述对第一图像进行镜像处理，得到镜像图像的步骤，包括：
对转正后的第一图像进行镜像处理，得到镜像图像。
可选的，所述基于预设的三维人脸模型、所述人脸特征点以及所述眼睑特征点，构建所述目标人员对应的目标三维人脸模型的步骤，包括：
从所述预设的三维人脸模型中，确定出预设面部位置处的空间点的空间位置信息，作为待处理空间点的空间位置信息，其中，所述待处理空间点与图像特征点存在对应关系，所述图像特征点为：所述面部特征点和所述眼睑特征点；
利用弱透视投影矩阵以及每一待处理空间点的空间位置信息，确定每一待处理空间点在所述人脸图像中的投影点的投影位置信息；
基于每一待处理空间点的投影点的投影位置信息及每一待处理空间点对应的图像特征点的成像位置信息，构建所述目标人员对应的目标三维人脸模型。
可选的，所述基于所述目标三维人脸模型中所述人眼的上下眼睑的三维位置信息，确定所述人眼的上下眼睑之间的当前开闭长度的步骤，通过以下两种实现方式中任一实现方式中实现：
第一种实现方式：
从所述目标三维人脸模型中，检测得到所述人眼的上眼睑的第一中心点的三维位置信息和下眼睑的第二中心点的三维位置信息；
基于所述第一中心点的三维位置信息以及所述第二中心点的三维位置信息，确定所述第一中心点和所述第二中心点之间的距离，作为所述人眼的上下眼睑之间的当前开闭长度；
第二种实现方式：
从所述目标三维人脸模型中，确定出所述人眼对应的人眼空间点的三维位置信息；
基于所述人眼空间点的三维位置信息，进行球面拟合，得到表征所述人眼的球体模型；
从所述目标三维人脸模型中，检测得到所述人眼的上眼睑的第一中心点的三维位置信息和下眼睑的第二中心点的三维位置信息；
基于所述第一中心点的三维位置信息和所述第二中心点的三维位置信息，从所述球体模型中，确定出所述第一中心点对应的第一球面点的三维位置信息和所述第二中心点对应的第二球面点的三维位置信息；
基于所述第一球面点的三维位置信息和所述第二球面点的三维位置信息，确定所述第一球面点和第二球面点之间的距离，作为所述人眼的上下眼睑之间的当前开闭长度。
可选的，所述基于所述当前开闭长度，确定出所述目标人员的当前疲劳程度的步骤，包括：
获得在预设时长内所确定出的所述目标人员的人眼的历史开闭长度；
基于所述当前开闭长度以及所述历史开闭长度，确定出所述目标人员的当前疲劳程度。
可选的，所述基于所述当前开闭长度以及所述历史开闭长度，确定出所述目标人员的当前疲劳程度的步骤，包括：
将每一开闭长度与预设长度阈值进行比较，获得比较结果，其中，所述开闭长度包括所述当前开闭长度以及所述历史开闭长度；
统计得到表征开闭长度小于所述预设长度阈值的比较结果的第一结果数量；
基于所述当前开闭长度以及所述历史开闭长度的总数量和所述第一结果数量，确定所述目标人员的当前疲劳程度。
可选的，在所述基于所述当前开闭长度，确定出所述目标人员的当前疲劳程度的步骤之后，所述方法还包括：
若确定出所述目标人员的当前疲劳程度为疲劳，生成并发送告警信息。
第二方面，本发明实施例提供了一种基于人眼状态识别的疲劳检测装置，包括：
第一获得模块，被配置为获得图像采集设备针对目标人员进行拍摄所采集到的包含所述目标人员的面部的人脸图像；
检测模块，被配置为对所述人脸图像进行检测，检测得到所述人脸图像中面部的面部特征点以及所述面部中人眼的上下眼睑的眼睑特征点，其中，所述面部特征点为：用于表征所述人脸图像中面部各个部位的特征点；
构建模块，被配置为基于预设的三维人脸模型、所述面部特征点以及所述眼睑特征点，构建所述目标人员对应的目标三维人脸模型，其中，所述目标三维人脸模型包括：基于所述眼睑特征点构建的所述人眼的上下眼睑；
第一确定模块，被配置为基于所述目标三维人脸模型中所述人眼的上下眼睑的三维位置信息，确定所述人眼的上下眼睑之间的当前开闭长度；
第二确定模块，被配置为基于所述当前开闭长度，确定出所述目标人员的当前疲劳程度。
可选的，所述检测模块，包括：
第一检测单元，被配置为对所述人脸图像进行检测，检测得到所述人脸图像中面部的面部特征点；
确定截取单元，被配置为基于所述面部特征点，从所述人脸图像中确定并截取出所述面部中人眼所在区域，作为人眼图像；
第二检测单元，被配置为利用预设的眼睑特征点检测模型，从所述人眼图像中检测出所述人眼的上下眼睑的眼睑特征点，其中，所述预设的眼睑特征点检测模型为：基于标注有人眼的上下眼睑的眼睑特征点的样本图像训练所得的模型。
可选的，所述人眼图像包括左眼图像和右眼图像；所述装置还可以包括：
镜像模块，被配置为在所述利用预设的眼睑特征点检测模型，从所述人眼图像中检测出所述人眼的上下眼睑的眼睑特征点之前，对第一图像进行镜像处理，得到镜像图像，其中，所述第一图像为所述左眼图像或所述右眼图像；
拼接模块，被配置为对所述镜像图像以及所述人眼图像中未进行镜像处理的图像进行拼接，得到拼接图像；
所述第二检测单元，被具体配置为：利用预设的眼睑特征点检测模型，从所述拼接图像中，检测出所述镜像图像中人眼的上下眼睑的眼睑特征点，以及所述未进行镜像处理的图像中人眼的上下眼睑的眼睑特征点；对所述镜像图像中人眼的上下眼睑的眼睑特征点进行镜像处理，得到镜像后的眼睑特征点，以得到所述人眼图像中的人眼的上下眼睑的眼睑特征点。
可选的，所述检测模块还包括：
转正单元，被配置为在所述对第一图像进行镜像处理，得到镜像图像之前，对所述左眼图像和所述右眼图像进行转正处理，得到转正后的左眼图像和转正后的右眼图像，其中，所述转正处理为：使得待处理图像中的两个眼角点的连线与预设图像坐标系的坐标轴平行，所述待处理图像为所述左眼图像和所述右眼图像；
所述镜像单元，被具体配置为：对转正后的第一图像进行镜像处理，得到镜像图像。
可选的，所述构建模块，被具体配置为从所述预设的三维人脸模型中，确定出预设面部位置处的空间点的空间位置信息，作为待处理空间点的空间位置信息，其中，所述待处理空间点与图像特征点存在对应关系，所述图像特征点为：所述面部特征点和所述眼睑特征点；利用弱透视投影矩阵以及每一待处理空间点的空间位置信息，确定每一待处理空间点在所述人脸图像中的投影点的投影位置信息；基于每一待处理空间点的投影点的投影位置信息及每一待处理空间点对应的图像特征点的成像位置信息，构建所述目标人员对应的目标三维人脸模型。
可选的，所述第一确定模块，被具体配置为：从所述目标三维人脸模型中，检测得到所述人眼的上眼睑的第一中心点的三维位置信息和下眼睑的第二中心点的三维位置信息；基于所述第一中心点的三维位置信息以及所述第二中心点的三维位置信息，确定所述第一中心点和所述第二中心点之间的距离，作为所述人眼的上下眼睑之间的当前开闭长度。
可选的，所述第一确定模块，被具体配置为：从所述目标三维人脸模型中，确定出所述人眼对应的人眼空间点的三维位置信息；基于所述人眼空间点的三维位置信息，进行球面拟合，得到表征所述人眼的球体模型；从所述目标三维人脸模型中，检测得到所述人眼的上眼睑的第一中心点的三维位置信息和下眼睑的第二中心点的三维位置信息；基于所述第一中心点的三维位置信息和所述第二中心点的三维位置信息，从所述球体模型中，确定出所述第一中心点对应的第一球面点的三维位置信息和所述第二中心点对应的第二球面点的三维位置信息；基于所述第一球面点的三维位置信息和所述第二球面点的三维位置信息，确定所述第一球面点和第二球面点之间的距离，作为所述人眼的上下眼睑之间的当前开闭长度。
可选的，所述第二确定模块，包括：
获得单元，被配置为获得在预设时长内所确定出的所述目标人员的人眼的历史开闭长度；
确定单元，被配置为基于所述当前开闭长度以及所述历史开闭长度，确定出所述目标人员的当前疲劳程度。
可选的，所述确定单元，被具体配置为将每一开闭长度与预设长度阈值进行比较，获得比较结果，其中，所述开闭长度包括所述当前开闭长度以及所述历史开闭长度；
统计得到表征开闭长度小于所述预设长度阈值的比较结果的第一结果数量；
基于所述当前开闭长度以及所述历史开闭长度的总数量和所述第一结果数量，确定所述目标人员的当前疲劳程度。
可选的，所述装置还可以包括：
生成发送模块，被配置为在所述基于所述当前开闭长度，确定出所述目标人员的当前疲劳程度之后，若确定出所述目标人员的当前疲劳程度为疲劳，生成并发送告警信息。
由上述内容可知，本发明实施例提供的一种基于人眼状态识别的疲劳检测方法及装置，可以获得图像采集设备针对目标人员进行拍摄所采集到的包含目标人员的面部的人脸图像；对人脸图像进行检测，检测得到人脸图像中面部的面部特征点以及面部中人眼的上下眼睑的眼睑特征点，其中，面部特征点为：用于表征人脸图像中面部各个部位的特征点；基于预设的三维人脸模型、面部特征点以及眼睑特征点，构建目标人员对应的目标三维人脸模型，其中，目标三维人脸模型包括：基于眼睑特征点构建的人眼的上下眼睑；基于目标三维人脸模型中人眼的上下眼睑的三维位置信息，确定人眼的上下眼睑之间的当前开闭长度；基于当前开闭长度，确定出目标人员的当前疲劳程度。
应用本发明实施例，可以基于包含目标人员的面部的人脸图像中的面部特征点和眼睑特征点和预设的三维人脸模型，构建出目标人员对应的包括目标人员的人眼的上下眼睑目标三维人脸模型，即构建出了目标人员的人眼的空间信息，基于该空间信息，可以确定出准确性更高的人眼的上下眼睑之间的空间距离，即人眼的开闭状态，进而，基于准确性更高的人眼的上下眼睑之间的空间距离，可以更加准确地确定出目标人员的当前疲劳程度。本发明实施例中不再仅依赖利用预先训练的人眼状态检测模型对二维图像中人眼的开闭状态的检测结果，实现度目标人员的疲劳程度的确定，避免了预先训练的人眼状态检测模型对图像中人眼的闭合状态和睁开状态的检测边界模糊，进而导致检测结果不够准确的情况的发生。实现确定出人眼的空间信息，进而提高人眼状态的检测结果的准确性，以及提高对目标人员的当前疲劳程度的检测结果的准确性。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
本发明实施例的创新点包括：
1、基于包含目标人员的面部的人脸图像中的面部特征点和眼睑特征点和预设的三维人脸模型，构建出目标人员对应的包括目标人员的人眼的上下眼睑目标三维人脸模型，即构建出了目标人员的人眼的空间信息，基于该空间信息，可以确定出准确性更高的人眼的上下眼睑之间的空间距离，即人眼的开闭状态，进而，基于准确性更高的人眼的上下眼睑之间的空间距离，可以更加准确地确定出目标人员的当前疲劳程度。本发明实施例中不再仅依赖利用预先训练的人眼状态检测模型对二维图像中人眼的开闭状态的检测结果，实现度目标人员的疲劳程度的确定，避免了预先训练的人眼状态检测模型对图像中人眼的闭合状态和睁开状态的检测边界模糊，进而导致检测结果不够准确的情况的发生。实现确定出人眼的空间信息，进而提高人眼的状态的检测结果的准确性，以及提高对目标人员的当前疲劳程度的检测结果的准确性。
2、从人脸图像中截取出面部中人眼所在区域，即人眼图像，进而利用预设的眼睑特征点检测模型，从人眼图像中检测出人眼的上下眼睑的眼睑特征点，可以提高所检测出的眼睑特征点的准确性，进而可以提高基于该眼睑特征点所构建的目标三维人脸模型中人眼的上下眼睑的准确性，以更好地提高对目标人员的疲劳程度的检测结果的准确性。
3、对第一图像，即左眼图像或右眼图像进行镜像处理得到镜像图像，进而对镜像图像以及人眼图像中未进行镜像处理的图像进行拼接，得到拼接图像；后续的可以利用预设的眼睑特征点检测模型，同时对该拼接图像中的两只人眼中的眼睑特征点进行检测过程，即通过一次检测则可检测出该拼接图像中两只人眼的上下眼睑的眼睑特征点，简化了利用预设的眼睑特征点检测模型，对眼睑特征点的检测过程。
4、对左眼图像和右眼图像进行转正处理，得到转正后的左眼图像和转正后的右眼图像，进而对转正后的左眼图像或转正后的右眼图像进行后续的处理，使得在一定程度上可以减轻预设的眼睑特征点检测模型的检测负担，并在一定程度上提高对眼睑特征点的检测结果。
5、在计算人眼的上下眼睑之间的当前开闭长度时，第一种实现方式，将目标三维人脸模型中人眼的上眼睑的第一中心点的三维位置信息，以及下眼睑的第二中心点的三维位置信息，所确定出的上下眼睑的三维距离，作为人眼的上下眼睑之间的当前开闭长度，在保证所确定的上下眼睑之间的当前开闭长度的准确性的同时，简化计算流程。第二种实现方式，考虑到实际的人眼为球型，对从目标三维人脸模型中，确定出的人眼对应的人眼空间点的三维位置信息，并进行球面拟合，得到能够更加准确的表征真实的人眼的球体模型，将球体模型中上眼睑的第一中心点对应的第一球面点，以及下眼睑的第二中心点对应的第二球面点之间的距离，确定为人眼的上下眼睑之间的当前开闭长度，更好地提高当前开闭长度的准确性，进而提高对疲劳程度的检测结果的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于人眼状态识别的疲劳检测方法的一种流程示意图；
图2A为本发明实施例提供的确定人眼的上下眼睑之间的当前开闭长度的一种流程示意图；
图2 B为本发明实施例提供的确定人眼的上下眼睑之间的当前开闭长度的另一种流程示意图；
图3为本发明实施例提供的基于人眼状态识别的疲劳检测装置的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明提供了一种基于人眼状态识别的疲劳检测方法及装置，以实现确定出人眼的空间信息，进而提高对人眼状态的检测结果的准确性，并提高对目标人员的疲劳程度的检测结果的准确性。下面对本发明实施例进行详细说明。
图1为本发明实施例提供的基于人眼状态识别的疲劳检测方法的一种流程示意图。该方法可以包括以下步骤：
S101：获得图像采集设备针对目标人员进行拍摄所采集到的包含目标人员的面部的人脸图像。
本发明实施例中，该方法可以应用于任意类型的电子设备，其中，该电子设备可以为服务器或者终端设备。一种情况中，该电子设备可以为图像采集设备，相应的，电子设备可以直接获得自身所采集的包括目标人员的面部的人脸图像，进而针对该人脸图像执行本发明实施例所提供的基于人眼状态识别的疲劳检测流程。另一种情况，电子设备可以为非图像采集设备，相应的，该电子设备可以与针对目标人员进行拍摄的图像采集设备进行通信连接。其中，电子设备可以与一个或多个图像采集设备进行通信连接，进而获得一个或多个图像采集设备采集的人脸图像，进而针对每一图像采集设备采集的人脸图像，执行本发明实施例所提供的基于人眼状态识别的疲劳检测流程，其中，不同图像采集设备针对的目标人员可以不同。
一种实现中，图像采集设备可以设置于车辆内，相应的，该目标人员为该车辆的驾驶员，图像采集设备可以实时针对车辆内的驾驶员的面部进行拍摄，电子设备可以获得图像采集设备针对驾驶员进行拍摄所采集到的包含驾驶员的面部的人脸图像。一种情况中，图像采集设备可以直接采集得到仅包含驾驶员的面部的人脸图像，进而发送至电子设备。另一种情况中，图像采集设备所采集的图像中除包含驾驶员的面部外还可以包含车辆的车座或驾驶员的身体等信息，电子设备获得图像采集设备采集的图像之后，可以直接将所获得的图像作为人脸图像进行后续流程；也可以基于预设的人脸检测算法，从所获得的图像中检测出人脸所在区域的图像，将该人脸所在区域图像，从所获得的图像中截取出，得到仅包含驾驶员面部的人脸图像，以便提高后续的面部特征点以及眼睑特征点的检测精度，并在一定程度上降低检测计算量。其中，该预设的人脸检测算法可以为：特征脸方法(Eigenface)以及基于神经网络模型的人脸检测算法，基于神经网络模型的人脸检测算法可以为：Faster R-CNN(Faster Region-Convolutional Neural Networks，快速的区域-卷积神经网络)检测算法，这都是可以的。本发明实施例并不对预设的人脸检测算法的具体类型进行限定。该车辆可以为私家车、卡车以及公交车等，本发明实施例并不对车辆的车辆类型进行限定。
另一种实现中，图像采集设备也可以实时针对道路中过往的车辆进行监控，相应的，该目标人员可以为目标驾驶员，电子设备可以获得多个图像采集设备针对该目标驾驶员进行拍摄所采集到的包含该目标驾驶员的面部的人脸图像。一种情况中，图像采集设备可以直接采集得到仅包含目标驾驶员的面部的人脸图像，进而发送至电子设备。另一种情况中，图像采集设备所采集的图像中除包含目标驾驶员的面部外还可以包含车辆的车窗以及车头等信息，电子设备获得图像采集设备采集的图像之后，可以直接将所获得的图像作为人脸图像进行后续流程；也可以基于预设的人脸检测算法，从该图像中检测出人脸所在区域的图像，将该人脸所在区域的图像从该图像截取出，得到仅包含目标驾驶员的面部的人脸图像。
另一种实现中，图像采集设备可以实时针对室内的居家人员进行监控，相应的，该目标人员可以为目标居家人员，电子设备可以获得图像采集设备针对目标居家人员进行拍摄所采集到的包含目标居家人员的面部的人脸图像。
S102：对人脸图像进行检测，检测得到人脸图像中面部的面部特征点以及面部中人眼的上下眼睑的眼睑特征点。
其中，面部特征点为：用于表征人脸图像中面部各个部位的特征点。
本步骤中，可以利用预先建立的第一特征点检测模型，对人脸图像进行检测，检测得到人脸图像中面部的面部特征点以及面部中人眼的上下眼睑的眼睑特征点。一种情况，该预先建立的第一特征点检测模型为：基于标定有面部特征点以及眼睑特征点的第一样本图像，训练所得的神经网络模型。
在一种情况中，本发明实施例还可以包括训练得到预先建立的第一特征点检测模型的过程，具体的：电子设备可以先获得初始的第一特征点检测模型，该初始的第一特征点检测模型包括特征提取层和特征分类层；获得第一样本图像，每一第一样本图像包括人脸；获得每一第一样本图像对应的标定信息，其中，该标定信息包括第一样本图像中所包含人脸的标定特征点的标定位置信息，该标定特征点包括：表征该人脸的各个部位的面部特征点以及人眼的上下眼睑中的眼睑特征点。
该各个部位的面部特征点可以包括：该人脸中表征出鼻子所在位置的各特征点，如鼻翼、鼻梁以及鼻尖等特征点；还可以包括表征出嘴唇所在位置的各特征点，如嘴唇的唇线边缘的各特征点；还可以包括表征出眉毛所在位置的各特征点，如眉毛边缘的各特征点；还可以包括表征出人眼所在位置的各特征点，如眼角特征点、眼窝特征点以及瞳孔特征点等等；还可以包括表征出下颌所在位置的各特征点，如下颌轮廓上的各特征点，即下巴轮廓上的各特征点等；还可以包括表征出耳朵所在位置的各特征点，如耳朵的各轮廓上的各特征点等。该标定信息可以为人工标定也可以是通过特定标定程序标定。
电子设备将每一第一样本图像输入初始的第一特征点检测模型的特征提取层，得到每一第一样本图像的图像特征；将每一第一样本图像的图像特征，输入初始的第一特征点检测模型的特征分类层，得到每一第一样本图像中标定特征点的当前位置信息；将每一第一样本图像中标定特征点的当前位置信息与其对应的标定位置信息进行匹配；若匹配成功，则得到包含特征提取层和特征分类层的第一特征点检测模型，即得到预先建立的第一特征点检测模型；若匹配不成功，则调整特征提取层和特征分类层参数，返回执行该将每一第一样本图像输入初始的特征点检测模型的特征提取层，得到每一第一样本图像的图像特征的步骤；直至匹配成功，则得到包含特征提取层和特征分类层的第一特征点检测模型。
其中，上述将每一第一样本图像中标定特征点的当前位置信息与其对应的标定位置信息进行匹配的过程，可以是：利用预设的损失函数，计算每一标定特征点的当前位置信息与其对应的标定位置信息之间的第一损失值，判断该第一损失值是否小于第一预设损失阈值；若判断该第一损失值小于第一预设损失阈值，则确定匹配成功，此时可以确定该初始的特征点检测模型收敛，即确定该初始的特征点检测模型训练完成，得到该预先建立的特征点检测模型；若判断该第一损失值不小于第一预设损失阈值，则确定匹配不成功。
其中，每一第一样本图像与标定特征点的当前位置信息存在对应关系，且每一第一样本图像与标定信息中的标定特征点的标定位置信息存在对应关系，则标定特征点的当前位置信息与标定信息中的标定特征点的标定位置信息存在对应关系。
训练得到预先建立的第一特征点检测模型之后，电子设备则可以基于预先建立的第一特征点检测模型，对所获得的人脸图像进行检测，检测得到该人脸图像中面部的面部特征点以及面部中人眼的上下眼睑的眼睑特征点。
S103：基于预设的三维人脸模型、面部特征点以及眼睑特征点，构建目标人员对应的目标三维人脸模型。
其中，目标三维人脸模型包括：基于眼睑特征点构建的人眼的上下眼睑。
本步骤中，电子设备本地或所连接的存储设备中，预存有预设的三维人脸模型，电子设备确定出人脸图像中面部的面部特征点以及所述面部中人眼的上下眼睑的眼睑特征点之后，可以基于预设的三维人脸模型、面部特征点以及眼睑特征点，构建目标人员对应的目标三维人脸模型。其中，可以通过3DMM(3D Morphable Models，三维形变模型)技术，基于预设的三维人脸模型、面部特征点以及眼睑特征点，构建目标人员对应的目标三维人脸模型。
在一种实现方式中，所述S103，可以包括：
从预设的三维人脸模型中，确定出预设面部位置处的空间点的空间位置信息，作为待处理空间点的空间位置信息，其中，待处理空间点与图像特征点存在对应关系，图像特征点为：面部特征点和眼睑特征点；
利用弱透视投影矩阵以及每一待处理空间点的空间位置信息，确定每一待处理空间点在所述人脸图像中的投影点的投影位置信息；
基于每一待处理空间点的投影点的投影位置信息及每一待处理空间点对应的图像特征点的成像位置信息，构建目标人员对应的目标三维人脸模型。
一种实现方式中，电子设备可以接收用户选取指令，其中，该用户选取指令携带所需选取的空间点的预设面部位置，电子设备可以基于该用户选取指令所携带的预设面部位置，从预设的三维人脸模型中，确定出该预设面部位置处的空间点的空间位置信息，作为待处理空间点的空间位置信息。另一种实现方式中，电子设备可以预存有该预设面部位置，进而电子设备可以从相应的存储位置处读取得到该预设面部位置，进而从预设的三维人脸模型中，确定出该预设面部位置处的空间点的空间位置信息，作为待处理空间点的空间位置信息。
其中，待处理空间点与图像特征点存在对应关系，图像特征点为：面部特征点和眼睑特征点，该待处理空间点与图像特征点存在一一对应的关系。一种情况，该预设面部位置可以基于上述第一样本图像中所包含人脸的标定特征点的位置进行设置。
一种情况中，该预设的三维人脸模型可以通过如下公式(1)表示：
其中，S表示该预设的三维人脸模型，
表示预设的平均脸，Aid表示人的人脸的形状信息，Aexp表示人的人脸的表情信息，αid表示人的人脸的形状信息的权重，可以称为形状权重，αexp表示人的人脸的表情信息的权重，可以称为表情权重。
电子设备可以基于上述公式(1)绘制出其所表征的三维人脸模型，该三维人脸模型由点云组成。电子设备可以从该绘制的三维人脸模型中，确定出预设面部位置处的空间点，作为待处理空间点，并获得待处理空间点的空间位置信息。
电子设备确定出待处理空间点的空间位置信息之后，可以基于预设的弱透视投影矩阵，将每一待处理空间点投影至该人脸图像中，即利用弱透视投影矩阵以及每一待处理空间点的空间位置信息，确定每一待处理空间点在人脸图像中的投影点的投影位置信息。基于每一待处理空间点的投影点的投影位置信息以及每一待处理空间点对应的图像特征点的成像位置信息，构建目标人员对应的目标三维人脸模型。其中，上述图像特征点的成像位置信息为图像特征点在人脸图像中的位置信息。
其中，上述基于每一待处理空间点的投影点的投影位置信息以及每一待处理空间点对应的图像特征点的成像位置信息，构建目标人员对应的目标三维人脸模型的过程，可以是：基于每一待处理空间点的投影点的投影位置信息以及每一待处理空间点对应的图像特征点的成像位置信息，确定每一待处理空间点及其对应的图像特征点的距离误差，基于最小二乘法原理以及每一待处理空间点及其对应的图像特征点的距离误差，构建目标函数。求解使得该目标函数的函数值达到最小或满足预设约束条件时，该目标函数中的相应未知量的解，基于该解得到目标人员对应的目标三维人脸模型。
一种情况中，该预设的弱透视投影矩阵可以通过如下公式(2)表示：
si2d＝fPR(α,β,γ)(Si+t3d)； (2)
其中，si2d表示第i个待处理空间点的投影点的投影位置信息，其中，i可以取[1，n]中的整数，该n表示待处理空间点的数量，f表示比例因子，R(α,β,γ)表示3*3的旋转矩阵，α表示该预设的三维人脸模型在预设空间直角坐标系下的横轴下的旋转角度，β表示该预设的三维人脸模型在预设空间直角坐标系下的纵轴下的旋转角度，γ表示该预设的三维人脸模型在预设空间直角坐标系下的竖轴下的旋转角度，该t3d表示平移向量；Si表示第i个待处理空间点的空间位置信息，该旋转矩阵和平移向量用于：将该预设的三维人脸模型从其所在的预设空间直角坐标系下，转换至图像采集设备的设备坐标系下。
目标函数可以通过如下公式(3)表示：
其中，P表示目标函数的函数值，si2dt表示第i个待处理空间点对应的图像特征点的成像位置信息，‖·‖表示求向量的模，该向量表示：第i个待处理空间点对应的图像特征点的成像位置信息和第i个待处理空间点的投影点的投影位置信息之间的距离误差。
本发明实施例中，可以通过迭代的方法，不断调整f,R(α,β,γ),t3d,αid,αexp的具体取值，以使得P达到最小或使得P满足预设约束条件，该预设约束条件可以为P不大于预设距离误差阈值。获得P达到最小或使得P满足预设约束条件时，f,R(α,β,γ),t3d,αid,αexp的具体取值，作为最终的取值，将,αid,αexp的最终的取值，代入公式(1)中，得到目标人员对应的目标三维人脸模型。
S104：基于目标三维人脸模型中人眼的上下眼睑的三维位置信息，确定人眼的上下眼睑之间的当前开闭长度。
S105：基于当前开闭长度，确定出目标人员的当前疲劳程度。
其中，人员的人眼的开闭的状态，即人眼状态，在一定程度上可以表征出人员的疲劳程度，而人眼的开闭的状态可以通过人眼的上下眼睑之间的开闭长度标识。其中，一般人员在疲劳状态下，人眼的上下眼睑之间的距离会相对较小，而人员在非疲劳状态下，人眼的上下眼睑之间的距离会相对较大。本发明实施例中，目标三维人脸模型包含目标人员的人眼的上下眼睑，通过目标三维人脸模型中的上下眼睑，可以确定得到上下眼睑之间的三维距离，作为当前开闭长度，进而基于当前开闭长度，确定出目标人员的当前疲劳程度。
一种情况，可以是针对目标三维人脸模型中任一只人眼的上下眼睑的三维位置信息，如左眼的上下眼睑的三维位置信息或右眼的上下眼睑的三维位置信息，确定上下眼睑之间的当前开闭长度，进而，确定出目标人员的当前状态。
另一种情况，可以是：针对目标人员的两只人眼的上下眼睑的三维位置信息，如左眼和右眼的上下眼睑的三维位置信息，确定上下眼睑之间的当前开闭长度，进而，确定出目标人员的当前状态。其中，可以是分别针对目标人员的每一人眼的上下眼睑的三维位置信息，确定每一人眼的上下眼睑之间的开闭长度，进而计算两只眼的上下眼睑之间的开闭长度的平均值，作为上下眼睑之间的当前开闭长度，进而确定出目标人员的当前状态。
应用本发明实施例，可以基于包含目标人员的面部的人脸图像中的面部特征点和眼睑特征点和预设的三维人脸模型，构建出目标人员对应的包括目标人员的人眼的上下眼睑目标三维人脸模型，即构建出了目标人员的人眼的空间信息，基于该空间信息，可以确定出准确性更高的人眼的上下眼睑之间的空间距离，即人眼的开闭状态，进而，基于准确性更高的人眼的上下眼睑之间的空间距离，可以更加准确地确定出目标人员的当前疲劳程度。本发明实施例中不再仅依赖利用预先训练的人眼状态检测模型对二维图像中人眼的闭合状态的检测结果，实现度目标人员的疲劳程度的确定，避免了预先训练的人眼状态检测模型对图像中人眼的闭合状态和睁开状态的检测边界模糊，进而导致检测结果不够准确的情况的发生。实现确定出人眼的空间信息，进而提高人眼状态的检测结果的准确性，以及提高对目标人员的当前疲劳程度的检测结果的准确性。
在本发明的另一实施例中，所述S102，可以包括：
对人脸图像进行检测，检测得到人脸图像中面部的面部特征点；
基于面部特征点，从人脸图像中确定并截取出面部中人眼所在区域，作为人眼图像；
利用预设的眼睑特征点检测模型，从人眼图像中检测出人眼的上下眼睑的眼睑特征点。其中，预设的眼睑特征点检测模型为：基于标注有人眼的上下眼睑的眼睑特征点的样本图像训练所得的模型。
人脸图像中包含目标人员的整个面部的特征，直接在人脸图像中检测人眼眼睑的眼睑点，难免出现检测不够准确的情况。本实施例中，可以先对人脸图像进行检测，检测得到人脸图像中可以表征目标人员面部的各个部位的面部特征点，进而，基于该面部特征点，从人脸图像中确定出面部中人眼所在区域，作为人眼图像，并从该人脸图像中截取出该人眼图像。进而基于预设的眼睑特征点检测模型，从包含人眼的人眼图像中检测出人眼的上下眼睑的眼睑特征点。以在一定程度上提高所检测出的人眼的眼睑特征点的准确性。
其中，该预设的眼睑特征点检测模型为：基于标注有人眼的上下眼睑的眼睑特征点的样本图像训练所得的模型。该预设的眼睑特征点检测模型可以为神经网络模型。该预设的眼睑特征点检测模型的训练过程，可以参见上述预先建立的第一特征点检测模型的训练过程。可以理解的是，为了布局清楚，该预设的眼睑特征点检测模型所需的样本图像，可以称为第二样本图像，区别于预先建立的第一特征点检测模型的第一样本图像，该第二样本图像为标注有人眼的上下眼睑的眼睑特征点的图像，且第二样本图像对应的标定信息包含该的人眼的上下眼睑的眼睑特征点的标定位置信息。其中，该第二样本图像标注的人眼的上下眼睑的眼睑特征点，可以是人工标定或通过特定标定程序标定的眼睑特征点。
上述对人脸图像进行检测，检测得到人脸图像中可以表征目标人员面部的各个部位的面部特征点，可以是：基于预先建立的第二特征点检测模型，对人脸图像进行检测，检测得到人脸图像中可以表征目标人员面部的各个部位的面部特征点，该预先建立的第二特征点检测模型为：基于标注有可表征面部各部位的面部特征点的第三样本图像训练所得的神经网络模型。该预先建立的第二特征点检测模型的训练过程，可以参见上述预先建立的第一特征点检测模型的训练过程。区别于预先建立的第一特征点检测模型的第一样本图像，预先建立的第二特征点检测模型所需的第三样本图像为标注有可表征面部各部位的面部特征点的图像，且第三样本图像对应的标定信息包含可表征面部各部位的面部特征点的标定位置信息。
进而，基于面部特征点中表征人眼所在位置的各特征点的二维位置信息，从人脸图像中，确定并截取出目标人员的人眼所在区域，作为人眼图像。其中，可以是基于面部特征点中表征人眼所在位置的各特征点的二维位置信息，确定出最小的包含该目标人员的人眼的矩形区域，将该矩形区域作为人眼所在区域，并截取出，得到人眼图像。可以是分别针对目标人员的两只眼睛分别截取出其所在区域的图像，得到人眼图像。
在本发明的另一实施例中，该人眼图像包括左眼图像和右眼图像；
在所述利用预设的眼睑特征点检测模型，从人眼图像中检测出人眼的上下眼睑的眼睑特征点(S102)的步骤之前，所述方法还可以包括：
对第一图像进行镜像处理，得到镜像图像，其中，第一图像为左眼图像或右眼图像；
对镜像图像以及人眼图像中未进行镜像处理的图像进行拼接，得到拼接图像；
所述S102，可以包括：
利用预设的眼睑特征点检测模型，从拼接图像中，检测出镜像图像中人眼的上下眼睑的眼睑特征点，以及未进行镜像处理的图像中人眼的上下眼睑的眼睑特征点；
对镜像图像中人眼的上下眼睑的眼睑特征点进行镜像处理，得到镜像后的眼睑特征点，以得到人眼图像中的人眼的上下眼睑的眼睑特征点。
其中，人眼图像包括：包含目标人员左眼的图像，可称为左眼图像；和包含目标人员的右眼的图像，可称为右眼图像。为了在一定程度上降低利用预设的眼睑特征点检测模型，检测得到目标人员的眼睑特征点的复杂度，并缩短利用预设的眼睑特征点检测模型，检测得到目标人员的眼睑特征点所需的检测时间。本实施例中，可以对第一图像进行镜像处理，得到镜像图像，即对左眼图像或右眼图像进行镜像处理，得到镜像图像。进而对镜像图像以及人眼图像中未进行镜像处理的图像进行拼接，得到拼接图像；将拼接图像输入预设的眼睑特征点检测模型，以利用预设的眼睑特征点检测模型，从拼接图像中，检测出镜像图像中人眼的上下眼睑的眼睑特征点，以及未进行镜像处理的图像中人眼的上下眼睑的眼睑特征点。使得预设的眼睑特征点检测模型可以同时对镜像图像和未进行镜像处理的图像进行检测，可以缩短利用预设的眼睑特征点检测模型，检测得到目标人员的眼睑特征点所需的检测时间。
其中，若对右眼图像进行镜像处理，上述未进行镜像处理的图像为左眼图像；若对左眼图像进行镜像处理，上述未进行镜像处理的图像为右眼图像。
对左眼图像或右眼图像进行镜像处理，可以使得左眼图像镜像为该左眼图像对应的右眼图像，或使得右眼图像镜像为该右眼图像对应的左眼图像，在一定程度上降低利用预设的眼睑特征点检测模型，检测得到目标人员的眼睑特征点的复杂度。
可以理解的是，在训练得到上述预设的眼睑特征点检测模型，所需的第二样本图像中，可以包含样本人员的左眼图像及该样本人员的右眼图像镜像所得的左眼图像，或包含样本人员的右眼图像及该样本人员的左眼图像镜像所得的右眼图像。若训练得到上述预设的眼睑特征点检测模型所需的第二样本图像中，包含样本人员的左眼图像及该样本人员的右眼图像镜像所得的左眼图像，后续的，在检测过程中，该第一图像为目标人员的右眼图像，即需要对目标人员的右眼图像进行镜像处理。若训练得到上述预设的眼睑特征点检测模型所需的第二样本图像中，包含样本人员的右眼图像及该样本人员的左眼图像镜像所得的右眼图像，后续的，在检测过程中，该第一图像为目标人员的左眼图像，即需要对目标人员的左眼图像进行镜像处理。
在训练得到上述预设的眼睑特征点检测模型时，对样本人员的右眼图像或左眼图像进行镜像处理，在一定程度上还可以增加训练得到上述预设的眼睑特征点检测模型所需的第二样本图像的数量。
上述对镜像图像以及人眼图像中未进行镜像处理的图像进行拼接，得到拼接图像的过程，可以是：对镜像图像以及人眼图像中未进行镜像处理的图像进行空间维度的拼接或者通道维度的拼接，其中，该空间维度的拼接可以为：将镜像图像以及人眼图像中未进行镜像处理的图像进行左右拼接或上下拼接。左右拼接可以是：镜像图像的右侧边与人眼图像中未进行镜像处理的图像的左侧边进行拼接，镜像图像的左侧边与人眼图像中未进行镜像处理的图像的右侧边进行拼接。上下拼接可以是：镜像图像的上侧边与人眼图像中未进行镜像处理的图像的下侧边进行拼接，镜像图像的下侧边与人眼图像中未进行镜像处理的图像的上侧边进行拼接。
在本发明的另一实施例中，在所述对第一图像进行镜像处理，得到镜像图像的步骤之前，所述方法还可以包括：
对左眼图像和右眼图像进行转正处理，得到转正后的左眼图像和转正后的右眼图像，其中，转正处理为：使得待处理图像中的两个眼角点的连线与预设图像坐标系的坐标轴平行，待处理图像为左眼图像和右眼图像；
所述对第一图像进行镜像处理，得到镜像图像的步骤，可以包括：
对转正后的第一图像进行镜像处理，得到镜像图像。
在一种情况中，目标人员的头部可能会出现倾斜的情况，本实施例中，为了提高对眼睑特征点的检测结果的准确性，在对左眼图像和右眼图像进行镜像处理之前，可以首先对左眼图像和右眼图像进行转正处理，即使得左眼图像的两个眼角点的连线与预设图像坐标系的横轴平行，且使得右眼图像的两个眼角点的连线与预设图像坐标系的横轴平行；或，使得左眼图像的两个眼角点的连线与预设图像坐标系的纵轴平行，且使得右眼图像的两个眼角点的连线与预设图像坐标系的纵轴平行，这都是可以的。
后续的，可以对转正后左眼图像或转正后的右眼图像进行镜像处理，得到镜像图像。
其中，该预设图像坐标系可以为该图像采集设备的图像坐标系。
在本发明的另一实施例中，如图2A所示，所述S104可以包括如下步骤：
S201A：从目标三维人脸模型中，检测得到人眼的上眼睑的第一中心点的三维位置信息和下眼睑的第二中心点的三维位置信息。
S202A：基于第一中心点的三维位置信息以及第二中心点的三维位置信息，确定第一中心点和第二中心点之间的距离，作为人眼的上下眼睑之间的当前开闭长度。
本实施例中，为了在保证所确定的人眼的上下眼睑之间的开闭长度的准确性的同时，降低电子设备的计算负担，可以直接从目标三维人脸模型中，检测得到人眼的上眼睑的第一中心点和下眼睑的第二中心点，即检测得到人眼的上眼睑的2等分点和下眼睑的2等分点；进而，得到第一中心点的空间位置信息以及第二中心点的空间位置信息，即第一中心点的三维位置信息和下眼睑的第二中心点的三维位置信息。基于该第一中心点的三维位置信息和下眼睑的第二中心点的三维位置信息，确定出第一中心点和第二中心点之间的距离，作为人眼的上下眼睑之间的当前开闭长度。具体的，第一中心点和第二中心点之间的距离可以表示为：
其中，(x1，y1，z1)表示第一中心点的三维位置信息，(x2，y2，z2)表示第二中心点的三维位置信息。
在本发明的另一实施例中，如图2B所示，所述S104可以包括如下步骤：
S201B：从目标三维人脸模型中，确定出人眼对应的人眼空间点的三维位置信息。
S202B：基于人眼空间点的三维位置信息，进行球面拟合，得到表征人眼的球体模型。
S203B：从目标三维人脸模型中，检测得到人眼的上眼睑的第一中心点的三维位置信息和下眼睑的第二中心点的三维位置信息。
S204B：基于第一中心点的三维位置信息和第二中心点的三维位置信息，从球体模型中，确定出第一中心点对应的第一球面点的三维位置信息和第二中心点对应的第二球面点的三维位置信息。
S205B：基于第一球面点的三维位置信息和第二球面点的三维位置信息，确定第一球面点和第二球面点之间的距离，作为人眼的上下眼睑之间的当前开闭长度。
本实施例中，鉴于对人眼的眼球的实际形状的考虑，为了更加提高所确定的人眼的上下眼睑之间的开闭长度的准确性，可以首先从目标三维人脸模型中，确定出人眼对应的人眼空间点，例如：表征眼球的眼球空间点；基于目标三维人脸模型中的人眼空间点的三维位置信息，进行球面拟合，得到表征人眼的球体模型。进而，基于第一中心点的三维位置信息和第二中心点的三维位置信息，从球体模型中，确定出第一中心点对应的第一球面点的三维位置信息和第二中心点对应的第二球面点的三维位置信息，基于该第一球面点的的三维位置信息和第二球面点的三维位置信息，确定第一球面点和第二球面点之间的距离，作为人眼的上下眼睑之间的当前开闭长度。
在一种情况中，上述基于第一中心点的三维位置信息和第二中心点的三维位置信息，从球体模型中，确定出第一中心点对应的第一球面点的三维位置信息和第二中心点对应的第二球面点的三维位置信息的过程，可以是：基于第一中心点的三维位置信息和像采集设备的光心的位置信息，作图像采集设备的光心和第一中心点之间的连线，将该连线与球体模型的两个交点中，距离第一中心点最近的交点，作为第一中心点对应的第一球面点，并基于球体模型确定出第一球面点的三维位置信息；基于第二中心点的三维位置信息和像采集设备的光心的位置信息，作图像采集设备的光心和第二中心点之间的连线，将该连线与球体模型的两个交点中，距离第二中心点最近的交点，作为第二中心点对应的第二球面点，并基于球体模型确定出第二球面点的三维位置信息。
本实施例中，将目标三维人脸模型中人眼的空间点进行球面拟合，得到表征人眼的球体模型，使得所得到的人眼的形状更接近于真实人眼的形状，进而基于球体模型中第一球面点的三维位置信息和第二球面点的三维位置信息，可以所确定出准确性更高的人眼的上下眼睑之间的开闭长度。
在本发明的另一实施例中，所述S105，可以包括：
获得在预设时长内所确定出的目标人员的人眼的历史开闭长度；
基于当前开闭长度以及历史开闭长度，确定出目标人员的当前疲劳程度。
本实施例中，在确定目标人员的人眼的上下眼睑之间的当前开闭长度之后，可以结合时间维度信息，即该人眼的历史开闭长度，确定目标人员的当前疲劳程度。
其中，为了保证所确定出的目标人员的疲劳程度的及时性，电子设备可以获得图像采集设备针对目标人员进行拍摄时，在当前时刻采集到的包含目标人员的面部的人脸图像。该预设时长可以是用户预先设置的时长，也可以是电子设备自主设置的时长，都是可以的。其中，在预设时长内所确定出的目标人员的人眼的历史开闭长度可以包括：当前时刻向前的预设时长内所确定出的目标人员的人眼的历史开闭长度，即与当前时刻最近的预设时长内所确定出的目标人员的人眼的历史开闭长度。
一种情况中，电子设备本地或所连接的存储设备中，可以存储有目标人员的人眼的历史开闭长度，在计算得到人眼的当前开闭长度之后，电子设备可以从相应的存储位置处获得目标人员的人眼的历史开闭长度。其中，目标人员的人眼的历史开闭长度为：基于该图像采集设备针对目标人员进行拍摄时，所采集到的该人脸图像之前的人脸图像确定的。该目标人员的人眼的历史开闭长度的确定过程，与确定目标人员的人眼的当前开闭长度的确定过程相似，在此不再赘述。
本发明实施例中，通过目标三维人脸模型，可以确定出更加准确的人眼的开闭长度，即人眼开闭的物理长度，进而，结合时间维度，可以更加灵活、准确地监控得到目标人员的疲劳程度。
在本发明的另一实施例中，所述基于当前开闭长度以及历史开闭长度，确定目标人员的当前疲劳程度的步骤，可以包括：
将每一开闭长度与预设长度阈值进行比较，获得比较结果，其中，开闭长度包括所述当前开闭长度以及所述历史开闭长度；
统计得到表征开闭长度小于预设长度阈值的比较结果的第一结果数量；
基于当前开闭长度以及历史开闭长度的总数量和第一结果数量，确定目标人员的当前疲劳程度。
本实施例中，电子设备可以获得预先设置的预设长度阈值，并将每一开闭长度，即当前开闭长度以及历史开闭长度分别与预设长度阈值进行比较，以比较每一开闭长度与预设长度阈值的大小，得到比较结果；进而，统计得到表征开闭长度小于预设长度阈值的比较结果的数量，作为第一结果数量；后续的，基于当前开闭长度以及历史开闭长度的总数量和第一结果数量，确定目标人员的当前疲劳程度。其中，该基于当前开闭长度以及历史开闭长度的总数量和第一结果数量，确定目标人员的当前疲劳程度的过程，可以是：计算第一结果数量和总数量的比值，若该比值大于预设比值，则确定目标人员的当前疲劳程度为疲劳；若该比值不大于预设比值，则确定目标人员的当前疲劳程度为不疲劳。也可以是：计算总数量和第一结果数量的差值，若该差值小于预设差值，则确定目标人员的当前疲劳程度为疲劳；若该差值不小于预设差值，则确定目标人员的当前疲劳程度为不疲劳。
例如：在预设时长内所确定出的目标人员的人眼的历史开闭长度为99个；即当前开闭长度和历史开闭长度共100个，若统计得到表征开闭长度小于预设长度阈值的比较结果的第一结果数量为80，此时，可以确定目标人员的当前疲劳程度为疲劳。
另一种实现方式中，在统计得到表征开闭长度小于预设长度阈值的比较结果的第一结果数量之后，可以直接将该第一数量与预设数量进行比较，若该第一结果数量大于该预设数量，则确定目标人员的当前疲劳程度为疲劳；若该第一结果数量不大于该预设数量，则确定目标人员的当前疲劳程度为不疲劳。
在本发明的另一实施例中，在所述基于当前开闭长度，确定目标人员的当前疲劳程度的步骤之后，所述方法还可以包括：
若确定出目标人员的当前疲劳程度为疲劳，生成并发送告警信息。
本发明实施例中，若目标人员为驾驶员，为了在一定程度上减少因疲劳驾驶所导致的车祸的情况的发生，在确定出目标人员的疲劳程度为疲劳的情况下，可以生成告警信息，以提示用户该目标人员处于疲劳的状态，以便用户可以针对该种情况采取相应措施，以在一定程度上减少因疲劳驾驶所导致的车祸的情况的发生。
另一种情况中，若目标人员为驾驶员，还可以提示驾驶员进入自动驾驶模式，或发出行驶模式控制信号，以控制车辆自动进入自动驾驶模式，以在一定程度上减少因疲劳驾驶所导致的车祸的情况的发生。
在本发明的另一实施例中，若目标人员为居家人员，可以生成并发送家居设备的家居控制信号，该家居控制信号可以是控制电视机的播放音量降低或关闭电视机；可以是：控制空调的当前设置温度在预设温度范围内，等等。
相应于上述方法实施例，本发明实施例提供了一种基于人眼状态识别的疲劳检测装置，如图3所示，可以包括：
第一获得模块310，被配置为获得图像采集设备针对目标人员进行拍摄所采集到的包含所述目标人员的面部的人脸图像；
检测模块320，被配置为对所述人脸图像进行检测，检测得到所述人脸图像中面部的面部特征点以及所述面部中人眼的上下眼睑的眼睑特征点，其中，所述面部特征点为：用于表征所述人脸图像中面部各个部位的特征点；
构建模块330，被配置为基于预设的三维人脸模型、所述面部特征点以及所述眼睑特征点，构建所述目标人员对应的目标三维人脸模型，其中，所述目标三维人脸模型包括：基于所述眼睑特征点构建的所述人眼的上下眼睑；
第一确定模块340，被配置为基于所述目标三维人脸模型中所述人眼的上下眼睑的三维位置信息，确定所述人眼的上下眼睑之间的当前开闭长度；
第二确定模块350，被配置为基于所述当前开闭长度，确定出所述目标人员的当前疲劳程度。
应用本发明实施例，可以基于包含目标人员的面部的人脸图像中的面部特征点和眼睑特征点和预设的三维人脸模型，构建出目标人员对应的包括目标人员的人眼的上下眼睑目标三维人脸模型，即构建出了目标人员的人眼的空间信息，基于该空间信息，可以确定出准确性更高的人眼的上下眼睑之间的空间距离，即人眼的开闭状态，进而，基于准确性更高的人眼的上下眼睑之间的空间距离，可以更加准确地确定出目标人员的当前疲劳程度。本发明实施例中不再仅依赖利用预先训练的人眼状态检测模型对二维图像中人眼的闭合状态的检测结果，实现度目标人员的疲劳程度的确定，避免了预先训练的人眼状态检测模型对图像中人眼的闭合状态和睁开状态的检测边界模糊，进而导致检测结果不够准确的情况的发生。实现确定出人眼的空间信息，进而提高人眼状态的检测结果的准确性，以及提高对目标人员的当前疲劳程度的检测结果的准确性。
在本发明的另一实施例中，所述检测模块320，包括：
第一检测单元，被配置为对所述人脸图像进行检测，检测得到所述人脸图像中面部的面部特征点；
确定截取单元，被配置为基于所述面部特征点，从所述人脸图像中确定并截取出所述面部中人眼所在区域，作为人眼图像；
第二检测单元，被配置为利用预设的眼睑特征点检测模型，从所述人眼图像中检测出所述人眼的上下眼睑的眼睑特征点，其中，所述预设的眼睑特征点检测模型为：基于标注有人眼的上下眼睑的眼睑特征点的样本图像训练所得的模型。
在本发明的另一实施例中，所述人眼图像包括左眼图像和右眼图像；所述装置还可以包括：
镜像模块(图中未示出)，被配置为在所述利用预设的眼睑特征点检测模型，从所述人眼图像中检测出所述人眼的上下眼睑的眼睑特征点之前，对第一图像进行镜像处理，得到镜像图像，其中，所述第一图像为所述左眼图像或所述右眼图像；
拼接模块(图中未示出)，被配置为对所述镜像图像以及所述人眼图像中未进行镜像处理的图像进行拼接，得到拼接图像；
所述第二检测单元，被具体配置为：利用预设的眼睑特征点检测模型，从所述拼接图像中，检测出所述镜像图像中人眼的上下眼睑的眼睑特征点，以及所述未进行镜像处理的图像中人眼的上下眼睑的眼睑特征点；对所述镜像图像中人眼的上下眼睑的眼睑特征点进行镜像处理，得到镜像后的眼睑特征点，以得到所述人眼图像中的人眼的上下眼睑的眼睑特征点。
在本发明的另一实施例中，所述检测模块320还可以包括：
转正单元，被配置为在所述对第一图像进行镜像处理，得到镜像图像之前，对所述左眼图像和所述右眼图像进行转正处理，得到转正后的左眼图像和转正后的右眼图像，其中，所述转正处理为：使得待处理图像中的两个眼角点的连线与预设图像坐标系的坐标轴平行，所述待处理图像为所述左眼图像和所述右眼图像；
所述镜像单元，被具体配置为：对转正后的第一图像进行镜像处理，得到镜像图像。
在本发明的另一实施例中，所述构建模块330，被具体配置为从所述预设的三维人脸模型中，确定出预设面部位置处的空间点的空间位置信息，作为待处理空间点的空间位置信息，其中，所述待处理空间点与图像特征点存在对应关系，所述图像特征点为：所述面部特征点和所述眼睑特征点；利用弱透视投影矩阵以及每一待处理空间点的空间位置信息，确定每一待处理空间点在所述人脸图像中的投影点的投影位置信息；基于每一待处理空间点的投影点的投影位置信息及每一待处理空间点对应的图像特征点的成像位置信息，确定每一待处理空间点及其对应的图像特征点的距离误差；判断所述距离误差是否小于预设误差；若小于，得到所述目标人员对应的目标三维人脸模型；若不小于，调整所述预设的三维人脸模型中待处理空间点的空间位置信息；返回执行所述利用弱透视投影矩阵以及每一待处理空间点的空间位置信息，确定每一待处理空间点在所述人脸图像中的投影点的投影位置信息。
在本发明的另一实施例中，所述第一确定模块340，被具体配置为：从所述目标三维人脸模型中，检测得到所述人眼的上眼睑的第一中心点的三维位置信息和下眼睑的第二中心点的三维位置信息；基于所述第一中心点的三维位置信息以及所述第二中心点的三维位置信息，确定所述第一中心点和所述第二中心点之间的距离，作为所述人眼的上下眼睑之间的当前开闭长度。
在本发明的另一实施例中，所述第一确定模块340，被具体配置为：从所述目标三维人脸模型中，确定出所述人眼对应的人眼空间点的三维位置信息；基于所述人眼空间点的三维位置信息，进行球面拟合，得到表征所述人眼的球体模型；从所述目标三维人脸模型中，检测得到所述人眼的上眼睑的第一中心点的三维位置信息和下眼睑的第二中心点的三维位置信息；基于所述第一中心点的三维位置信息和所述第二中心点的三维位置信息，从所述球体模型中，确定出所述第一中心点对应的第一球面点的三维位置信息和所述第二中心点对应的第二球面点的三维位置信息；基于所述第一球面点的三维位置信息和所述第二球面点的三维位置信息，确定所述第一球面点和第二球面点之间的距离，作为所述人眼的上下眼睑之间的当前开闭长度。
在本发明的另一实施例中，所述第二确定模块350，包括：
获得单元，被配置为获得在预设时长内所确定出的所述目标人员的人眼的历史开闭长度；
确定单元，被配置为基于所述当前开闭长度以及所述历史开闭长度，确定出所述目标人员的当前疲劳程度。
在本发明的另一实施例中，所述确定单元，被具体配置为
将每一开闭长度与预设长度阈值进行比较，获得比较结果，其中，所述开闭长度包括所述当前开闭长度以及所述历史开闭长度；
统计得到表征开闭长度小于所述预设长度阈值的比较结果的第一结果数量；
基于所述当前开闭长度以及所述历史开闭长度的总数量和所述第一结果数量，确定所述目标人员的当前疲劳程度。
在本发明的另一实施例中，所述装置还可以包括：
生成发送模块(图中未示出)，被配置为在所述基于所述当前开闭长度，确定出所述目标人员的当前疲劳程度之后，若确定出所述目标人员的当前疲劳程度为疲劳，生成并发送告警信息。
上述装置实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。
Claims (9)
1.一种基于人眼状态识别的疲劳检测方法，其特征在于，包括：
获得图像采集设备针对目标人员进行拍摄所采集到的包含所述目标人员的面部的人脸图像；
对所述人脸图像进行检测，检测得到所述人脸图像中面部的面部特征点以及所述面部中人眼的上下眼睑的眼睑特征点，其中，所述面部特征点为：用于表征所述人脸图像中面部各个部位的特征点；
基于预设的三维人脸模型、所述面部特征点以及所述眼睑特征点，构建所述目标人员对应的目标三维人脸模型，其中，所述目标三维人脸模型包括：基于所述眼睑特征点构建的所述人眼的上下眼睑；
基于所述目标三维人脸模型中所述人眼的上下眼睑的三维位置信息，确定所述人眼的上下眼睑之间的当前开闭长度；
基于所述当前开闭长度，确定出所述目标人员的当前疲劳程度；
所述基于预设的三维人脸模型、所述人脸特征点以及所述眼睑特征点，构建所述目标人员对应的目标三维人脸模型的步骤，包括：
从所述预设的三维人脸模型中，确定出预设面部位置处的空间点的空间位置信息，作为待处理空间点的空间位置信息，其中，所述待处理空间点与图像特征点存在对应关系，所述图像特征点为：所述面部特征点和所述眼睑特征点；
利用弱透视投影矩阵以及每一待处理空间点的空间位置信息，确定每一待处理空间点在所述人脸图像中的投影点的投影位置信息；
基于每一待处理空间点的投影点的投影位置信息及每一待处理空间点对应的图像特征点的成像位置信息，构建所述目标人员对应的目标三维人脸模型。
2.如权利要求1所述的方法，其特征在于，所述对所述人脸图像进行检测，检测得到所述人脸图像中面部的面部特征点以及所述面部中人眼的上下眼睑的眼睑特征点的步骤，包括：
对所述人脸图像进行检测，检测得到所述人脸图像中面部的面部特征点；
基于所述面部特征点，从所述人脸图像中确定并截取出所述面部中人眼所在区域，作为人眼图像；
利用预设的眼睑特征点检测模型，从所述人眼图像中检测出所述人眼的上下眼睑的眼睑特征点，其中，所述预设的眼睑特征点检测模型为：基于标注有人眼的上下眼睑的眼睑特征点的样本图像训练所得的模型。
3.如权利要求2所述的方法，其特征在于，所述人眼图像包括左眼图像和右眼图像；
在所述利用预设的眼睑特征点检测模型，从所述人眼图像中检测出所述人眼的上下眼睑的眼睑特征点的步骤之前，所述方法还包括：
对第一图像进行镜像处理，得到镜像图像，其中，所述第一图像为所述左眼图像或所述右眼图像；
对所述镜像图像以及所述人眼图像中未进行镜像处理的图像进行拼接，得到拼接图像；
所述利用预设的眼睑特征点检测模型，从所述人眼图像中检测出所述人眼的上下眼睑的眼睑特征点的步骤，包括：
利用预设的眼睑特征点检测模型，从所述拼接图像中，检测出所述镜像图像中人眼的上下眼睑的眼睑特征点，以及所述未进行镜像处理的图像中人眼的上下眼睑的眼睑特征点；
对所述镜像图像中人眼的上下眼睑的眼睑特征点进行镜像处理，得到镜像后的眼睑特征点，以得到所述人眼图像中的人眼的上下眼睑的眼睑特征点。
4.如权利要求3所述的方法，其特征在于，在所述对第一图像进行镜像处理，得到镜像图像的步骤之前，所述方法还包括：
对所述左眼图像和所述右眼图像进行转正处理，得到转正后的左眼图像和转正后的右眼图像，其中，所述转正处理为：使得待处理图像中的两个眼角点的连线与预设图像坐标系的坐标轴平行，所述待处理图像为所述左眼图像和所述右眼图像；
所述对第一图像进行镜像处理，得到镜像图像的步骤，包括：
对转正后的第一图像进行镜像处理，得到镜像图像。
5.如权利要求1所述的方法，其特征在于，所述基于所述目标三维人脸模型中所述人眼的上下眼睑的三维位置信息，确定所述人眼的上下眼睑之间的当前开闭长度的步骤，通过以下两种实现方式中任一实现方式中实现：
第一种实现方式：
从所述目标三维人脸模型中，检测得到所述人眼的上眼睑的第一中心点的三维位置信息和下眼睑的第二中心点的三维位置信息；
基于所述第一中心点的三维位置信息以及所述第二中心点的三维位置信息，确定所述第一中心点和所述第二中心点之间的距离，作为所述人眼的上下眼睑之间的当前开闭长度；
第二种实现方式：
从所述目标三维人脸模型中，确定出所述人眼对应的人眼空间点的三维位置信息；
基于所述人眼空间点的三维位置信息，进行球面拟合，得到表征所述人眼的球体模型；
从所述目标三维人脸模型中，检测得到所述人眼的上眼睑的第一中心点的三维位置信息和下眼睑的第二中心点的三维位置信息；
基于所述第一中心点的三维位置信息和所述第二中心点的三维位置信息，从所述球体模型中，确定出所述第一中心点对应的第一球面点的三维位置信息和所述第二中心点对应的第二球面点的三维位置信息；
基于所述第一球面点的三维位置信息和所述第二球面点的三维位置信息，确定所述第一球面点和第二球面点之间的距离，作为所述人眼的上下眼睑之间的当前开闭长度。
6.如权利要求1所述的方法，其特征在于，所述基于所述当前开闭长度，确定出所述目标人员的当前疲劳程度的步骤，包括：
获得在预设时长内所确定出的所述目标人员的人眼的历史开闭长度；
基于所述当前开闭长度以及所述历史开闭长度，确定出所述目标人员的当前疲劳程度。
7.如权利要求6所述的方法，其特征在于，所述基于所述当前开闭长度以及所述历史开闭长度，确定出所述目标人员的当前疲劳程度的步骤，包括：
将每一开闭长度与预设长度阈值进行比较，获得比较结果，其中，所述开闭长度包括所述当前开闭长度以及所述历史开闭长度；
统计得到表征开闭长度小于所述预设长度阈值的比较结果的第一结果数量；
基于所述当前开闭长度以及所述历史开闭长度的总数量和所述第一结果数量，确定所述目标人员的当前疲劳程度。
8.如权利要求1-7任一项所述的方法，其特征在于，在所述基于所述当前开闭长度，确定出所述目标人员的当前疲劳程度的步骤之后，所述方法还包括：
若确定出所述目标人员的当前疲劳程度为疲劳，生成并发送告警信息。
9.一种基于人眼状态识别的疲劳检测装置，其特征在于，包括：
第一获得模块，被配置为获得图像采集设备针对目标人员进行拍摄所采集到的包含所述目标人员的面部的人脸图像；
检测模块，被配置为对所述人脸图像进行检测，检测得到所述人脸图像中面部的面部特征点以及所述面部中人眼的上下眼睑的眼睑特征点，其中，所述面部特征点为：用于表征所述人脸图像中面部各个部位的特征点；
构建模块，被配置为基于预设的三维人脸模型、所述面部特征点以及所述眼睑特征点，构建所述目标人员对应的目标三维人脸模型，其中，所述目标三维人脸模型包括：基于所述眼睑特征点构建的所述人眼的上下眼睑；
第一确定模块，被配置为基于所述目标三维人脸模型中所述人眼的上下眼睑的三维位置信息，确定所述人眼的上下眼睑之间的当前开闭长度；
第二确定模块，被配置为基于所述当前开闭长度，确定出所述目标人员的当前疲劳程度；
所述构建模块，被具体配置为从所述预设的三维人脸模型中，确定出预设面部位置处的空间点的空间位置信息，作为待处理空间点的空间位置信息，其中，所述待处理空间点与图像特征点存在对应关系，所述图像特征点为：所述面部特征点和所述眼睑特征点；利用弱透视投影矩阵以及每一待处理空间点的空间位置信息，确定每一待处理空间点在所述人脸图像中的投影点的投影位置信息；基于每一待处理空间点的投影点的投影位置信息及每一待处理空间点对应的图像特征点的成像位置信息，构建所述目标人员对应的目标三维人脸模型。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910456538.6A CN110956068B (zh) | 2019-05-29 | 2019-05-29 | 一种基于人眼状态识别的疲劳检测方法及装置 |
| PCT/CN2019/108073 WO2020237940A1 (zh) | 2019-05-29 | 2019-09-26 | 一种基于人眼状态识别的疲劳检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910456538.6A CN110956068B (zh) | 2019-05-29 | 2019-05-29 | 一种基于人眼状态识别的疲劳检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110956068A CN110956068A (zh) | 2020-04-03 |
| CN110956068B true CN110956068B (zh) | 2022-06-10 |
Family
ID=69975513
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910456538.6A Active CN110956068B (zh) | 2019-05-29 | 2019-05-29 | 一种基于人眼状态识别的疲劳检测方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110956068B (zh) |
| WO (1) | WO2020237940A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112220450B (zh) * | 2020-08-21 | 2023-08-15 | 上海交通大学医学院附属第九人民医院 | 基于三维模型的眼眶病筛查方法、系统以及终端 |
| CN113747057B (zh) * | 2021-07-26 | 2022-09-30 | 荣耀终端有限公司 | 一种图像处理方法、电子设备、芯片系统和存储介质 |
| CN113591682A (zh) * | 2021-07-28 | 2021-11-02 | 地平线(上海)人工智能技术有限公司 | 疲劳状态检测方法、装置、可读存储介质以及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102073857A (zh) * | 2011-01-24 | 2011-05-25 | 沈阳工业大学 | 多模态驾驶员疲劳检测方法及其专用设备 |
| CN108135469A (zh) * | 2015-08-21 | 2018-06-08 | 奇跃公司 | 使用眼睛姿态测量的眼睑形状估计 |
| CN108460345A (zh) * | 2018-02-08 | 2018-08-28 | 电子科技大学 | 一种基于人脸关键点定位的面部疲劳检测方法 |
| CN109496309A (zh) * | 2018-08-07 | 2019-03-19 | 深圳市汇顶科技股份有限公司 | 疲劳状态的检测方法、装置及设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10318831B2 (en) * | 2016-07-21 | 2019-06-11 | Gestigon Gmbh | Method and system for monitoring the status of the driver of a vehicle |
-
2019
- 2019-05-29 CN CN201910456538.6A patent/CN110956068B/zh active Active
- 2019-09-26 WO PCT/CN2019/108073 patent/WO2020237940A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102073857A (zh) * | 2011-01-24 | 2011-05-25 | 沈阳工业大学 | 多模态驾驶员疲劳检测方法及其专用设备 |
| CN108135469A (zh) * | 2015-08-21 | 2018-06-08 | 奇跃公司 | 使用眼睛姿态测量的眼睑形状估计 |
| CN108460345A (zh) * | 2018-02-08 | 2018-08-28 | 电子科技大学 | 一种基于人脸关键点定位的面部疲劳检测方法 |
| CN109496309A (zh) * | 2018-08-07 | 2019-03-19 | 深圳市汇顶科技股份有限公司 | 疲劳状态的检测方法、装置及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020237940A1 (zh) | 2020-12-03 |
| CN110956068A (zh) | 2020-04-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110956068B (zh) | 一种基于人眼状态识别的疲劳检测方法及装置 | |
| CN107392120B (zh) | 一种基于视线估计的注意力智能监督方法 | |
| CN103558910B (zh) | 一种自动跟踪头部姿态的智能显示器系统 | |
| WO2019137065A1 (zh) | 图像处理方法、装置、车载抬头显示系统及车辆 | |
| CN104951808A (zh) | 一种用于机器人交互对象检测的3d视线方向估计方法 | |
| CN109690553A (zh) | 执行眼睛注视跟踪的系统和方法 | |
| WO2020125499A1 (zh) | 一种操作提示方法及眼镜 | |
| CN107122744A (zh) | 一种基于人脸识别的活体检测系统及方法 | |
| CN107890337A (zh) | 用于确定受试者的眼睛的几何参数的方法 | |
| JP2016173313A (ja) | 視線方向推定システム、視線方向推定方法及び視線方向推定プログラム | |
| WO2020252969A1 (zh) | 眼部关键点的标注及其检测模型的训练方法和装置 | |
| CN105022999A (zh) | 一种人码伴随实时采集系统 | |
| CN110341617A (zh) | 眼球追踪方法、装置、车辆和存储介质 | |
| US11313759B2 (en) | Method and device for measuring the local refractive power and/or the refractive power distribution of a spectacle lens | |
| CN111854620A (zh) | 基于单目相机的实际瞳距测定方法、装置以及设备 | |
| CN111860292A (zh) | 基于单目相机的人眼定位方法、装置以及设备 | |
| EP3635478A1 (de) | Verfahren, vorrichtungen und computerprogramm zum bestimmen eines nah-durchblickpunktes | |
| CN112016347B (zh) | 一种基于眼睑特征信息的人员状态检测方法及装置 | |
| CN114894337A (zh) | 一种用于室外人脸识别测温方法及装置 | |
| CN112084820B (zh) | 一种基于头部信息的人员状态检测方法及装置 | |
| CN112036217B (zh) | 一种基于嘴部信息的人员状态检测方法及装置 | |
| CN112099622B (zh) | 一种视线追踪方法及装置 | |
| CN109034108A (zh) | 一种视线估计的方法、装置和系统 | |
| CN116453198B (zh) | 一种基于头部姿态差异的视线校准方法和装置 | |
| CN112084821B (zh) | 一种基于多面部信息的人员状态检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20211123 Address after: 215100 floor 23, Tiancheng Times Business Plaza, No. 58, qinglonggang Road, high speed rail new town, Xiangcheng District, Suzhou, Jiangsu Province Applicant after: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd. Address before: Room 601-a32, Tiancheng information building, No. 88, South Tiancheng Road, high speed rail new town, Xiangcheng District, Suzhou City, Jiangsu Province Applicant before: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |