CN110956067B - 一种人眼眼睑曲线的构建方法及装置 - Google Patents

一种人眼眼睑曲线的构建方法及装置 Download PDF

Info

Publication number
CN110956067B
CN110956067B CN201910443046.3A CN201910443046A CN110956067B CN 110956067 B CN110956067 B CN 110956067B CN 201910443046 A CN201910443046 A CN 201910443046A CN 110956067 B CN110956067 B CN 110956067B
Authority
CN
China
Prior art keywords
eyelid
position information
constraint
point
human eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910443046.3A
Other languages
English (en)
Other versions
CN110956067A (zh
Inventor
李源
王晋玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Momenta Suzhou Technology Co Ltd
Original Assignee
Momenta Suzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Momenta Suzhou Technology Co Ltd filed Critical Momenta Suzhou Technology Co Ltd
Priority to CN201910443046.3A priority Critical patent/CN110956067B/zh
Priority to PCT/CN2019/108072 priority patent/WO2020237939A1/zh
Publication of CN110956067A publication Critical patent/CN110956067A/zh
Application granted granted Critical
Publication of CN110956067B publication Critical patent/CN110956067B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开一种人眼眼睑曲线的构建方法及装置，该方法包括：从每一图像采集设备在同一时刻采集的人眼图像中，识别人眼的第一眼角点的第一位置信息、第二眼角点的第二位置信息以及眼睑点的第三位置信息；基于每一图像采集设备的位姿信息和内参信息、第一位置信息以及第二位置信息，确定出第一眼角点和第二眼角点对应的三维位置信息；基于上述三维位置信息、预设的曲线方程、第一数值以及第二数值，构建第一眼角约束和第二眼角约束；再结合每一眼睑点的第三位置信息，构建眼睑点对应的重投影误差约束；基于上述三个约束，构建用于表征人眼的上眼睑和\或下眼睑的眼睑空间曲线方程，以实现对人眼眼睑曲线的构建，得到人眼眼睑的空间信息。

Description

一种人眼眼睑曲线的构建方法及装置
技术领域
本发明涉及智能交通技术领域，具体而言，涉及一种人眼眼睑曲线的构建方法及装置。
背景技术
疲劳驾驶是导致车祸的原因之一，为了在一定程度上避免疲劳驾驶所导致的车祸的发生，相关的疲劳驾驶检测技术应运而生。利用相关的疲劳驾驶检测技术进行疲劳驾驶检测的过程，一般为：监控驾驶员的眼睛的开闭状态，进而根据驾驶员的眼睛的开闭状态，确定驾驶员是否出现疲劳驾驶，在确定出驾驶员出现疲劳驾驶的情况下，进行告警。
可见，上述疲劳驾驶检测的过程中，对驾驶员的眼睛的开闭状态的检测至关重要，而对驾驶员的眼睛的开闭状态的检测，大多依赖于对驾驶员的眼睛的上下眼睑之间的距离的计算，而实现对驾驶员的眼睛的上下眼睑之间的距离的计算，对驾驶员的眼睛的上下眼睑曲线的重建至关重要，那么如何重建出驾驶员的上下眼睑曲线成为亟待解决的问题。
发明内容
本发明提供了一种人眼眼睑曲线的构建方法及装置，以实现对人眼眼睑曲线的构建，得到人眼眼睑的空间信息。具体的技术方案如下：
第一方面，本发明实施例提供了一种人眼眼睑曲线的构建方法，包括：
从每一图像采集设备在同一时刻采集的每一人眼图像中，识别出该人眼图像中人眼的第一眼角点的第一位置信息、第二眼角点的第二位置信息以及眼睑点的第三位置信息，其中，所述眼睑点包括：第一数量个上眼睑点和\或第二数量个下眼睑点；
基于每一图像采集设备的位姿信息和内参信息、所述第一位置信息以及所述第二位置信息，确定出所述第一眼角点对应的第一三维位置信息和所述第二眼角点对应的第二三维位置信息；
基于所述第一三维位置信息、所述第二三维位置信息以及预设的曲线方程，构建第一眼角约束；
基于第一数值、第二数值以及所述第一眼角约束，构建第二眼角约束，其中，所述第一数值和所述第二数值用于约束所述第一眼角约束中自变量的取值范围；
基于所述曲线方程、每一眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，构建眼睑点对应的重投影误差约束；
基于所述第一眼角约束、所述第二眼角约束以及所述重投影误差约束，构建用于表征所述人眼的上眼睑和\或下眼睑的眼睑空间曲线方程。
可选的，在所述基于所述第一眼角约束、所述第二眼角约束以及所述重投影误差约束，构建用于表征所述人眼的上眼睑和\或下眼睑的眼睑空间曲线方程的步骤之前，所述方法还包括：
基于每一人眼图像中眼睑点的有序性，针对每一人眼图像中眼睑点，构建有序性约束；
所述基于所述第一眼角约束、所述第二眼角约束以及所述重投影误差约束，构建用于表征所述人眼的上眼睑和\或下眼睑的眼睑空间曲线方程的步骤，包括：
基于所述第一眼角约束、所述第二眼角约束、所述重投影误差约束以及所述有序性约束，构建用于表征所述人眼的上眼睑和\或下眼睑的眼睑空间曲线方程。
可选的，所述基于所述曲线方程、每一眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，构建眼睑点对应的重投影误差约束的步骤，包括：
利用所述曲线方程，构建每一眼睑点对应的第三三维位置信息；
基于每一眼睑点对应的第三三维位置信息、每一眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，构建眼睑点对应的重投影误差约束。
可选的，所述基于每一眼睑点对应的第三三维位置信息、每一眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，构建眼睑点对应的重投影误差约束的步骤，包括：
基于每一图像采集设备的位姿信息和内参信息，确定每两个图像采集设备的设备坐标系之间的转换关系；
针对每一人眼图像，基于该人眼图像中的每一眼睑点对应的第三三维位置信息以及每两个图像采集设备的设备坐标系之间的转换关系，确定出该人眼图像中每一眼睑点对应的空间点在该人眼图像中的投影点的第四位置信息；
基于每一人眼图像中每一眼睑点的第三位置信息，和该眼睑点对应的空间点在该眼睑点所在人眼图像中的投影点的第四位置信息，确定出眼睑点对应的重投影误差约束。
可选的，在所述从每一图像采集设备在同一时刻采集的每一人眼图像中，识别出该人眼图像中人眼的第一眼角点的第一位置信息、第二眼角点的第二位置信息以及眼睑点的第三位置信息的步骤之前，所述方法还包括：
获得多个图像采集设备在同一时刻采集的人脸图像；
基于预先建立的人脸特征点检测模型，从每一图像采集设备采集的每一人脸图像中，检测出每一人脸图像中人眼所在区域，得到人眼图像，其中，所述预先建立的人脸特征点检测模型为：基于标定有人脸特征点的样本图像训练所得的模型。
可选的，在所述基于所述第一眼角约束、所述第二眼角约束以及所述重投影误差约束，构建用于表征所述人眼的上眼睑和\或下眼睑的眼睑空间曲线方程的步骤之后，所述方法还包括：
基于用于表征所述上眼睑的眼睑空间曲线方程和用于表征所述下眼睑的眼睑空间曲线方程，确定出所述人眼的当前开闭长度；
获得在预设时长内所确定出的所述人眼的历史开闭长度；
基于所述当前开闭长度以及所述历史开闭长度，确定得到所述人眼对应的人员的疲劳程度。
可选的，所述基于用于表征所述上眼睑的空间眼睑曲线方程和用于表征所述下眼睑的空间眼睑曲线方程，确定出所述人眼的当前开闭长度的步骤，包括：
计算得到用于表征所述上眼睑的空间眼睑曲线方程和用于表征所述下眼睑的空间眼睑曲线方程之间的最大距离；
将所述最大距离，作为所述人眼的当前开闭长度。
可选的，所述基于所述当前开闭长度以及所述历史开闭长度，确定得到所述人眼对应的人员的疲劳程度的步骤，包括：
将每一开闭长度与预设长度阈值进行比较，获得比较结果，其中，所述开闭长度包括所述当前开闭长度以及所述历史开闭长度；
统计得到表征开闭长度小于所述预设长度阈值的比较结果的第一结果数量；
基于所述当前开闭长度以及所述历史开闭长度的总数量和所述第一结果数量，确定得到所述人眼对应的人员的疲劳程度。
第二方面，本发明实施例提供了一种人眼眼睑曲线的构建装置，包括：
识别模块，被配置为从每一图像采集设备在同一时刻采集的每一人眼图像中，识别出该人眼图像中人眼的第一眼角点的第一位置信息、第二眼角点的第二位置信息以及眼睑点的第三位置信息，其中，所述眼睑点包括：第一数量个上眼睑点和\或第二数量个下眼睑点；
第一确定模块，被配置为基于每一图像采集设备的位姿信息和内参信息、所述第一位置信息以及所述第二位置信息，确定出所述第一眼角点对应的第一三维位置信息和所述第二眼角点对应的第二三维位置信息；
第一构建模块，被配置为基于所述第一三维位置信息、所述第二三维位置信息以及预设的曲线方程，构建第一眼角约束；
第二构建模块，被配置为基于第一数值、第二数值以及所述第一眼角约束，构建第二眼角约束，其中，所述第一数值和所述第二数值用于约束所述第一眼角约束中自变量的取值范围；
第三构建模块，被配置为基于所述曲线方程、每一眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，构建眼睑点对应的重投影误差约束；
第四构建模块，被配置为基于所述第一眼角约束、所述第二眼角约束以及所述重投影误差约束，构建用于表征所述人眼的上眼睑和\或下眼睑的眼睑空间曲线方程。
可选的，所述装置还包括：
第五构建模块，被配置为在所述基于所述第一眼角约束、所述第二眼角约束以及所述重投影误差约束，构建用于表征所述人眼的上眼睑和\或下眼睑的眼睑空间曲线方程之前，基于每一人眼图像中眼睑点的有序性，针对每一人眼图像中眼睑点，构建有序性约束；
所述第四构建模块，被具体配置为：基于所述第一眼角约束、所述第二眼角约束、所述重投影误差约束以及所述有序性约束，构建用于表征所述人眼的上眼睑和\或下眼睑的眼睑空间曲线方程。
可选的，所述第三构建模块，包括：第一构建单元，被配置为利用所述曲线方程，构建每一眼睑点对应的第三三维位置信息；第二构建单元，被配置为基于每一眼睑点对应的第三三维位置信息、每一眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，构建眼睑点对应的重投影误差约束。
可选的，所述第二构建单元，被具体配置为基于每一图像采集设备的位姿信息和内参信息，确定每两个图像采集设备的设备坐标系之间的转换关系；针对每一人眼图像，基于该人眼图像中的每一眼睑点对应的第三三维位置信息以及每两个图像采集设备的设备坐标系之间的转换关系，确定出该人眼图像中每一眼睑点对应的空间点在该人眼图像中的投影点的第四位置信息；基于每一人眼图像中每一眼睑点的第三位置信息，和该眼睑点对应的空间点在该眼睑点所在人眼图像中的投影点的第四位置信息，确定出眼睑点对应的重投影误差约束。
可选的，所述装置还包括：第一获得模块，被配置为在所述从每一图像采集设备在同一时刻采集的每一人眼图像中，识别出该人眼图像中人眼的第一眼角点的第一位置信息、第二眼角点的第二位置信息以及眼睑点的第三位置信息之前，获得多个图像采集设备在同一时刻采集的人脸图像；检测模块，被配置为基于预先建立的人脸特征点检测模型，从每一图像采集设备采集的每一人脸图像中，检测出每一人脸图像中人眼所在区域，得到人眼图像，其中，所述预先建立的人脸特征点检测模型为：基于标定有人脸特征点的样本图像训练所得的模型。
可选的，所述装置还包括：第二确定模块，被配置为在所述基于所述第一眼角约束、所述第二眼角约束以及所述重投影误差约束，构建用于表征所述人眼的上眼睑和\或下眼睑的眼睑空间曲线方程之后，基于用于表征所述上眼睑的眼睑空间曲线方程和用于表征所述下眼睑的眼睑空间曲线方程，确定出所述人眼的当前开闭长度；第二获得模块，被配置为获得在预设时长内所确定出的所述人眼的历史开闭长度；第三确定模块，被配置为基于所述当前开闭长度以及所述历史开闭长度，确定得到所述人眼对应的人员的疲劳程度。
可选的，所述第二确定模块，被具体配置为：计算得到用于表征所述上眼睑的空间眼睑曲线方程和用于表征所述下眼睑的空间眼睑曲线方程之间的最大距离；将所述最大距离，作为所述人眼的当前开闭长度。
可选的，所述第三确定模块，被具体配置为：将每一开闭长度与预设长度阈值进行比较，获得比较结果，其中，所述开闭长度包括所述当前开闭长度以及所述历史开闭长度；统计得到表征开闭长度小于所述预设长度阈值的比较结果的第一结果数量；基于所述当前开闭长度以及所述历史开闭长度的总数量和所述第一结果数量，确定得到所述人眼对应的人员的疲劳程度。
由上述内容可知，本发明实施例提供的一种人眼眼睑曲线的构建方法及装置，可以从每一图像采集设备在同一时刻采集的每一人眼图像中，识别出该人眼图像中人眼的第一眼角点的第一位置信息、第二眼角点的第二位置信息以及眼睑点的第三位置信息，其中，眼睑点包括：第一数量个上眼睑点和\或第二数量个下眼睑点；基于每一图像采集设备的位姿信息和内参信息、第一位置信息以及第二位置信息，确定出第一眼角点对应的第一三维位置信息和第二眼角点对应的第二三维位置信息；基于第一三维位置信息、第二三维位置信息以及预设的曲线方程，构建第一眼角约束；基于第一数值、第二数值以及第一眼角约束，构建第二眼角约束，其中，第一数值和第二数值用于约束第一眼角约束中自变量的取值范围；基于曲线方程、每一眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，构建眼睑点对应的重投影误差约束；基于第一眼角约束、第二眼角约束以及重投影误差约束，构建用于表征人眼的上眼睑和\或下眼睑的眼睑空间曲线方程。
应用本发明实施例，可以基于多个图像采集设备的位姿信息和内参信息，构建得到人眼图像中人眼的第一眼角点对应的第一三维位置信息和第二眼角点对应的第二三维位置信息，即通过多个图像采集设备针对同一人员的人眼进行监控，得到人眼图像，基于多个图像采集设备采集的人眼图像，可以准确地得到人眼中具有明显语义特征的眼角的三维位置信息，进而，基于第一三维位置信息、第二三维位置信息以及预设的曲线方程，构建第一眼角约束；基于第一预设数值、第二预设数值以及第一眼角约束，构建第二眼角约束；并利用曲线方程、每一眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，确定眼睑点对应的重投影误差约束，通过多约束条件，可以构建得到精确度较高的用于表征人眼的上眼睑和\或下眼睑的眼睑空间曲线方程，实现对人眼眼睑曲线的构建，得到人眼眼睑的空间信息，为后续的人眼对应的人员的疲劳程度的确定提供基础。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
本发明实施例的创新点包括：
1、通过多个图像采集设备针对同一人员的人眼进行监控，得到人眼图像，基于该多个图像采集设备采集的人眼图像，可以准确地得到人眼中具有明显语义特征的眼角的三维位置信息，进而，基于第一三维位置信息、第二三维位置信息以及预设的曲线方程，构建第一眼角约束；基于第一预设数值、第二预设数值以及第一眼角约束，构建第二眼角约束；并利用曲线方程、每一眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，确定眼睑点对应的重投影误差约束，通过多约束条件，可以构建得到精确度较高的用于表征人眼的上眼睑和\或下眼睑的眼睑空间曲线方程，实现对人眼眼睑曲线的构建，得到人眼眼睑的空间信息，为后续的人眼对应的人员的疲劳程度的确定提供基础。
2、考虑到每一人眼图像中眼睑点的有序性，针对每一人眼图像中眼睑点，构建有序性约束，结合第一眼角约束、第二眼角约束、重投影误差约束以及有序性约束，构建出准确性更高的用于表征人眼的上眼睑和\或下眼睑的眼睑空间曲线方程。
3、基于用于表征上眼睑的眼睑空间曲线方程和用于表征下眼睑的眼睑空间曲线方程，可以方便、精确地确定出确定出人眼的当前开闭长度，进而结合时间维度，即在预设时长内所确定出的人眼的历史开闭长度，可以更加灵活、准确地监控出人眼对应的人员是否出现疲劳驾驶。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A为本发明实施例提供的人眼眼睑曲线的构建方法的一种流程示意图；
图1B为所获得的人眼图像的一种示意图；
图2为本发明实施例提供的人眼眼睑曲线的构建方法的另一种流程示意图；
图3为本发明实施例提供的人眼眼睑曲线的构建方法的一种流程示意图；
图4为本发明实施例提供的人眼眼睑曲线的构建装置的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明提供了一种人眼眼睑曲线的构建方法及装置，以实现对人眼眼睑曲线的构建，得到人眼眼睑的空间信息。下面对本发明实施例进行详细说明。
图1A为本发明实施例提供的人眼眼睑曲线的构建方法的一种流程示意图。该方法可以包括以下步骤：
S101：从每一图像采集设备在同一时刻采集的每一人眼图像中，识别出该人眼图像中人眼的第一眼角点的第一位置信息、第二眼角点的第二位置信息以及眼睑点的第三位置信息。
其中，该眼睑点包括：第一数量个上眼睑点和\或第二数量个下眼睑点。
本发明实施例所提供的人眼眼睑曲线的构建方法，可以应用于任意类型的电子设备，该电子设备可以为服务器或者终端设备。该电子设备与多个图像采集设备进行连接，可以获得多个图像采集设备所采集的图像和\或该图像采集设备从其所采集的图像中所识别出的图像识别结果。其中，该多个图像采集设备的图像采集区域存在重合区域，即该多个图像采集设备可以同时针对同一目标进行监控。该图像采集设备可以为摄像头以及相机等。
在一种实现方式中，多个图像采集设备可以同时针对同一目标进行监控，即针对该同一目标采集图像，其中，图像采集设备所采集的图像中包含同一目标，该目标为人脸；后续的，图像采集设备可以直接从其所采集的图像中，识别出其中所包含人脸的人眼所在区域的图像，并进行截取，相应的，每一图像采集设备获得其所采集的人眼图像，进而，每一图像采集设备将在同一时刻内采集的所获得的人眼图像，发送至电子设备。该电子设备获得每一图像采集设备在同一时刻所采集的人眼图像；并基于人眼眼睑识别模型，对每一人眼图像进行识别，从每一图像采集设备在同一时刻采集的每一人眼图像中，识别出该人眼图像中人眼的第一眼角点的第一位置信息、第二眼角点的第二位置信息以及眼睑点的第三位置信息。
可以理解的是，不同图像采集设备采集图像的图像采集周期之间可能存在时间差上述所述的在同一时刻内采集的所获得的人眼图像，可以指在多个图像采集设备在同一采集周期内采集的所获得的人眼图像。该多个图像采集设备所采集的人眼图像为针对同一人眼所采集的图像。
电子设备可以基于人眼眼睑识别模型从每一人眼图像中识别出人眼眼睑所在位置，其中，人眼眼睑中具有明显语义特征的眼睑点，为人眼的左右眼角点；电子设备可以直接基于人眼眼睑识别模型从每一人眼图像中，识别出该人眼图像所包含的第一眼角点的第一位置信息和第二眼角点的第二位置信息。进而电子设备可以获得预先设定的所需识别出的上眼睑点的第一数量，和\或下眼睑点的第二数量，进而电子设备可以基于该第一数量，在所识别出的上眼睑上，取等分点或不等分点，以得到第一数量个上眼睑点，进而得到第一数量个上眼睑点的第三位置信息；和\或基于该第二数量，在所识别出的下眼睑上，取等分点或不等分点，以得到第二数量个下眼睑点，进而得到第二数量个下眼睑点的第三位置信息。
其中，该上眼睑点为人眼图像中人眼的上眼睑上的特征点，该下眼睑点为人眼图像中人眼的下眼睑上的特征点。该第一数量和第二数量为预先设定的数量，其两者可以相等，也可以不等。每一图像采集设备可以对应一组第一数量和第二数量，不同图像采集设备所对应的第一数量可以相等也可以不等，且图像采集设备所对应的第二数量可以相等也可以不等。该第一数量的第二数量的数值越大，所确定出的用于表征人眼的上眼睑和\或下眼睑的眼睑空间曲线方程的精确度越高。
其中，该人眼眼睑识别模型可以是基于标定有人眼眼睑的第一样本图像，训练得到的神经网络模型，也可以是目前相关的基于几何特征的算法以及局部特征分析算法等用于识别人脸各部位所在区域的算法，这都是可以的。该神经网络模型可以为卷积神经网络模型、或Discriminative Locality Alignment(DLA)模型等。
在一种情况中，本发明实施例还可以包括训练得到该人眼眼睑识别模型的过程，具体的：可以先获得初始的人眼眼睑识别模型，该初始的人眼眼睑识别模型包括特征提取层和特征分类层；获得第一样本图像，每一第一样本图像包括人眼；获得对每一第一样本图像对应的标定信息，其中，该标定信息包括第一样本图像中所包含人眼的上下眼睑所在区域的标定位置信息，还可以包括人眼的眼角点所在区域的标定位置信息，该标定信息可以为人工标定也可以是通过特定标定程序标定；将每一第一样本图像输入初始的人眼眼睑识别模型的特征提取层，得到每一第一样本图像中人眼的上眼睑所在区域的图像特征和下眼睑所在区域的图像特征；将每一第一样本图像中人眼的上眼睑所在区域的图像特征和下眼睑所在区域的图像特征，输入初始的人眼眼睑识别模型的特征分类层，得到每一第一样本图像中人眼的上眼睑所在区域的当前位置信息，以及下眼睑所在区域的当前位置信息；将每一第一样本图像中人眼的上眼睑所在区域的当前位置信息与其对应的上眼睑所在区域的标定位置信息进行匹配，并将每一第一样本图像中人眼的下眼睑所在区域的当前位置信息与其对应的下眼睑所在区域的标定位置信息进行匹配；若匹配成功，则得到包含特征提取层和特征分类层的人眼眼睑识别模型；若匹配不成功，则调整特征提取层和特征分类层参数，返回执行该将每一第一样本图像输入初始的人眼眼睑识别模型的特征提取层，得到每一第一样本图像中人眼的上眼睑所在区域的图像特征和下眼睑所在区域的图像特征的步骤；直至匹配成功，则得到包含特征提取层和特征分类层的人眼眼睑识别模型。
其中，上述将每一第一样本图像中人眼的上眼睑所在区域的当前位置信息与其对应的上眼睑所在区域的标定位置信息进行匹配，并将每一第一样本图像中人眼的下眼睑所在区域的当前位置信息与其对应的下眼睑所在区域的标定位置信息进行匹配的过程，可以是：利用预设的损失函数，计算每一上眼睑所在区域的当前位置信息与其对应的标定位置信息之间的第一损失值，并计算每一下眼睑所在区域的当前位置信息与其对应的标定位置信息之间的第二损失值，判断该第一损失值是否小于第一预设损失阈值，且判断该第二损失值是否小于第二预设损失阈值；若判断该第一损失值小于第一预设损失阈值，且该第二损失值小于第二预设损失阈值，则确定匹配成功，此时可以确定该初始的人眼眼睑识别模型收敛，即确定该初始的人眼眼睑识别模型训练完成，得到人眼眼睑识别模型；若判断该第一损失值不小于第一预设损失阈值，和\或该第二损失值不小于第二预设损失阈值，则确定匹配不成功。
其中，每一第一样本图像与上眼睑所在区域的当前位置信息存在对应关系，且每一第一样本图像与标定信息中的上眼睑所在区域的标定位置信息存在对应关系，则上眼睑所在区域的当前位置信息与标定信息中的上眼睑所在区域的标定位置信息存在对应关系。
训练得到人眼眼睑识别模型之后，电子设备则可以基于人眼眼睑识别模型识别得到每一人眼图像中的第一眼角点的第一位置信息、第二眼角点的第二位置信息以及眼睑点的第三位置信息。
一种情况中，为了更准确的确定出图像中人眼的眼角所在区域，每一第一样本图像对应的标定信息还可以包括人眼的眼角所在区域的标定位置信息，以基于第一样本图像以及该人眼的眼角所在区域的标定位置信息，训练出可以准确识别出图像中人眼的眼角所在位置的人眼眼睑识别模型。
在另一种实现方式中，在所述S101之前，所述方法还可以包括：
获得多个图像采集设备在同一时刻采集的人脸图像；基于预先建立的人脸特征点检测模型，从每一图像采集设备采集的每一人脸图像中，检测出每一人脸图像中人眼所在区域，得到人眼图像。其中，该预先建立的人脸特征点检测模型为：基于标定有人脸特征点的样本图像训练所得的模型。
在一种情况中，该多个图像采集设备可以为针对道路中的行驶车辆进行监控的图像采集设备，图像采集设备可以获得包含同一人脸的人脸图像，每一图像采集设备将采集得到的人脸图像直接发送至电子设备，电子设备获得每一图像采集设备在同一时刻采集的人脸图像之后，可以基于预先建立的人脸特征点检测模型，从每一图像采集设备采集的每一人脸图像中，检测出每一人脸图像中人眼所在区域，进而对每一人脸图像进行截取，以将所检测出的每一人脸图像中人眼所在区域，从人脸图像中截取出，得到仅人眼所在区域的人眼图像。以可以减少图像中的无用信息，减轻后续的人眼眼睑曲线的构建流程的计算负担。
其中，上述预先建立的人脸特征点检测模型为：基于标定有人脸特征点的样本图像训练所得的神经网络模型。其中，该预先建立的人脸特征点检测模型的训练过程，可以参照上述人眼眼睑识别模型的训练过程，在此不再进行赘述，其中，该预先建立的人脸特征点检测模型所需的样本图像中包含人脸，其对应的标定信息中包含人脸中各人脸特征点的标定位置信息，其中，该人脸特征点可以包括人眼的眼角点，也可以基于该眼角点所在位置确定出人眼所在区域，该人脸特征点还可以包括鼻子的各特征点，如鼻翼、鼻梁等特征点，还可以包括嘴唇的各特征点，如嘴唇的唇线边缘的各特征点等等。通过该预先建立的人脸特征点检测模型可以将人脸图像中人脸的各个部位均识别出，该各个部位包括人脸中嘴唇、鼻子、眉毛以及眼睛等。
在另一种情况中，该多个图像采集设备针对道路中的行驶车辆进行监控时，所采集得到的图像中除包含人脸之外，还包括其他信息，如包括车辆的车窗或车头等。相应的，电子设备可以从该类图像中通过预设的人脸检测模型，从图像中检测出人脸所在区域，进而从图像中截取出仅包含人脸所在区域的人脸图像，以获得人脸图像，进而执行本发明实施例所提供的后续的人眼眼睑曲线的构建流程，这也是可以的。该多个图像采集设备可以为至少两个图像采集设备。
如图1B所示，为所获得的人眼图像中的一种示意图。其中，该多个图像采集设备为3个图像采集设备，电子设备可以获得3个图像采集设备采集得到的人眼图像，如：共获得3个图像采集设备采集得到的三帧人眼图像，分别如图1B所示。
S102：基于每一图像采集设备的位姿信息和内参信息、第一位置信息以及第二位置信息，确定出第一眼角点对应的第一三维位置信息和第二眼角点对应的第二三维位置信息。
本步骤中，基于每一图像采集设备的位姿信息、内参信息以及第一位置信息，可以确定出第一眼角点对应的第一三维位置信息，即该第一眼角点对应的眼角空间点的第一三维位置信息；基于每一图像采集设备的位姿信息、内参信息以及第二位置信息，可以确定出第二眼角点对应的第二三维位置信息，即第二眼角点对应的眼角空间点的第二三维位置信息。
在一种情况中，该第一三维位置信息和第二三维位置信息可以为该多个图像采集设备中指定的图像采集设备o0的设备坐标系下的位置信息，该指定的图像采集设备o0为该多个图像采集设备中的任一图像采集设备。例如：获得3个图像采集设备所采集的人眼图像，该3个图像采集设备分别为图像采集设备1、图像采集设备2以及图像采集设备3，该第一三维位置信息和第二三维位置信息可以为图像采集设备1的设备坐标系下的位置信息，即该图像采集设备1为指定的图像采集设备o0；该第一三维位置信息和第二三维位置信息也可以为图像采集设备2的设备坐标系下的位置信息，即该图像采集设备2为指定的图像采集设备o0；该第一三维位置信息和第二三维位置信息也可以为图像采集设备3的设备坐标系下的位置信息，即该图像采集设备3为指定的图像采集设备o0。在另一种情况中，该第一三维位置信息和第二三维位置信息也可以为世界坐标系下的位置信息。
其中，以该第一三维位置信息和第二三维位置信息为该多个图像采集设备中图像采集设备o0的设备坐标系下的位置信息为例，对上述基于每一图像采集设备的位姿信息、内参信息以及第一位置信息，确定出第一眼角点对应的第一三维位置信息的过程，进行说明：电子设备可以首先获得每一图像采集设备采集得到相应的人眼图像时的位姿信息，以及每一图像采集设备的内参信息，其中，该内参信息可以包括图像采集设备的横轴方向上每个像素点的长度，纵轴方向上的每个像素点的长度，焦距，像主点的位置信息以及缩放因数等，像主点为光轴与像平面的交点；位姿信息可以包括：图像采集设备的位置和姿态；基于每一图像采集设备的位姿信息和内参信息，可以确定得到多个图像采集设备两两之间的旋转平移关系，即该多个图像采集设备中每两个图像采集设备的设备坐标系之间的转换关系，其中，该多个图像采集设备两两之间的旋转平移关系包括：该多个图像采集设备中除图像采集设备o0外的其他图像采集设备oq，分别与图像采集设备o0之间旋转平移关系，其中，q表示该其他图像采集设备中的第q个其他图像采集设备，q可以取[1，g-1]，g表示多个图像采集设备的数量，可以与人眼图像的数量n相等；基于多个图像采集设备两两之间的旋转平移关系，对每一图像采集设备所采集的人眼图像进行特征点匹配，确定出匹配的特征点对，其中，该特征点对中包括每一图像采集设备采集的人眼图像中的第一眼角点对；进而基于该特征点对在图像中的位置信息以及每一图像采集设备的设备坐标系与世界坐标系之间的转换关系，确定出特征点对对应的三维位置信息，其中，包括第一眼角点对应的第一三维位置信息。
上述基于每一图像采集设备的位姿信息、内参信息以及第二位置信息，确定出第二眼角点对应的第二三维位置信息的过程，与上述确定出第一眼角点对应的第一三维位置信息的过程相似，不再进行赘述。
一种情况，该多个图像采集设备的位姿可以是固定的，相应的，每一图像采集设备的位姿信息和内参信息可以预先通过标定算法标定得到，该标定算法可以为张正友标定法。
另一种情况，该多个图像采集设备的位姿可以是非固定的，相应的，每一图像采集设备的内参信息以及初始的位姿信息可以预先通过标定算法标定得到，该标定算法可以为张正友标定法。后续的，图像采集设备的后续的位姿信息可以通过初始的位姿信息以及图像采集设备对应的IMU(Inertial measurement unit，惯性测量单元)采集的IMU数据确定得到。其中，该IMU为用于测量所对应图像采集设备的位姿变化的器件。
S103：基于第一三维位置信息、第二三维位置信息以及预设的曲线方程，构建第一眼角约束。
可以理解的是，可以分别针对上下眼睑，预先设置曲线方程，其中，构建用于表征人眼的上眼睑的眼睑空间曲线方程和下眼睑的眼睑空间曲线方程的过程相似，后续的，以构建用于表征人眼的上眼睑的眼睑空间曲线方程的过程为例进行说明。
本步骤中，针对人眼的上眼睑，所预设的曲线方程可以表示为公式(1)：
Figure BDA0002072705620000121
其中，该a1、a2、a3、b1、b2、b3、c1、c2、和c3分别为所需求得的系数，t为自变量，(x，y，z)表示曲线上的点的空间坐标，即曲线上的点的三维位置信息，即人眼的上眼睑上的上眼睑点的空间坐标。
将第一三维位置信息和第二三维位置信息代入预设的曲线方程中，可以构建出第一眼角约束，其中，该第一眼角约束可以为：在图像采集设备o0的设备坐标系下的约束；
该第一眼角约束可以表示为公式(2)：
Figure BDA0002072705620000122
其中，(x0，y0，z0)表示第一三维位置信息，(x1，y1，z1)表示第二三维位置信息。
其中，第一眼角点和第二眼角点均既存在于人眼图像中的上眼睑又存在于人眼图像中的下眼睑，且该第一眼角点对应的眼角空间点和第二眼角点对应的眼角空间点既存在于人眼的上眼睑又存在于人眼的下眼睑。通过第一眼角约束可以同时约束人眼的上眼睑曲线又可以约束下眼睑曲线，即后续提到的用于表征人眼的上眼睑的眼睑空间曲线方程和用于表征人眼的下眼睑的眼睑空间曲线方程。同理的，后续提到的第二眼睑约束也可以同时约束人眼的上眼睑曲线又可以约束下眼睑曲线。
S104：基于第一数值、第二数值以及第一眼角约束，构建第二眼角约束。
其中，第一数值和第二数值用于约束第一眼角约束中自变量的取值范围。
本步骤中，将第一数值和第二数值分别代入第一眼角约束，构建出第二眼角约束。
其中，第二眼角约束可以表示为公式(3)：
Figure BDA0002072705620000131
该t01表示第一眼角点对应的自变量t的取值，为第一数值，该t02表示第二眼角点对应的自变量t的取值，为第二数值。该t01和t02不相等。一种情况中，t01可以小于t02。
为了便于后续的人眼眼睑曲线的构建流程的计算，在一种实现方式中，上述t01可以取值为0，上述t02可以取1。
相应的，第二眼角约束可以表示为公式(4)：
Figure BDA0002072705620000132
可以变形为公式(5)：
Figure BDA0002072705620000133
限定t01取值为0，t02取值为1，可以将所需求解的自变量从9个减少为3个，即从a1、a2、a3、b1、b2、b3、c1、c2、和c39个自变量，减少为a1、a2和a33个自变量，减少了所需求解的自变量个数，在一定程度上可以降低后续的人眼眼睑曲线的构建流程的计算量。在限定t01取值为0，t02取1的情况下，也可以称该第二眼角约束为01约束。
S105：基于曲线方程、每一眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，构建眼睑点对应的重投影误差约束。
本发明实施例中，基于曲线方程可以构建出每一眼睑点的三维位置信息，进而，基于每一上眼睑点的三维位置信息、每一上眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，构建上眼睑点对应的重投影误差约束；和\或基于每一下眼睑点的三维位置信息、每一下眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，构建下眼睑点对应的重投影误差约束，其中，该上眼睑点包括从每一人眼图像中所识别出的上眼睑点，该下眼睑点包括从每一人眼图像中识别出的下眼睑点。在一种实现方式中，所述S105，可以包括：
利用曲线方程，构建每一眼睑点对应的第三三维位置信息；
基于每一眼睑点对应的第三三维位置信息、每一眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，构建眼睑点对应的重投影误差约束。
以构建用于表征人眼的上眼睑的眼睑空间曲线方程的过程为例进行说明，可以通过tji表示第j个人眼图像中的第i个上眼睑点，其中，i可以取[1，Mj]中的正整数，Mj表示第j个人眼图像中的上眼睑点的第一数量，j可以取[1，n]中的正整数，n表示人眼图像的数量。利用曲线方程，构建得到的每一上眼睑点对应的第三三维位置信息，可以表示为公式(6)：
Figure BDA0002072705620000141
其中，
Figure BDA0002072705620000142
表示上眼睑点tji对应的第三三维位置信息。
若该第一三维位置信息和第二三维位置信息可以为该多个图像采集设备中指定的图像采集设备o0的设备坐标系下的位置信息，上眼睑点tji对应的第三三维位置信息为图像采集设备o0的设备坐标系下的位置信息。
在一种实现方式中，所述基于每一眼睑点对应的第三三维位置信息、每一眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，构建眼睑点对应的重投影误差约束的步骤，包括：
基于每一图像采集设备的位姿信息和内参信息，确定每两个图像采集设备的设备坐标系之间的转换关系；
针对每一人眼图像，基于该人眼图像中的每一眼睑点对应的第三三维位置信息以及每两个图像采集设备的设备坐标系之间的转换关系，确定出该人眼图像中每一眼睑点对应的空间点在该人眼图像中的投影点的第四位置信息；
基于每一人眼图像中每一眼睑点的第三位置信息，和该眼睑点对应的空间点在该眼睑点所在人眼图像中的投影点的第四位置信息，确定出眼睑点对应的重投影误差约束。
本实现方式中，基于每一图像采集设备的位姿信息和内参信息，确定每两个图像采集设备的设备坐标系之间的转换关系；通过该转换关系，可以将某一预设的空间点在该转换关系中一个图像采集设备的设备坐标系下的位置信息，转换至该转换关系中另一图像采集设备的设备坐标系下的位置信息。
以构建用于表征人眼的上眼睑的眼睑空间曲线方程的过程为例进行说明，在确定出每两个图像采集设备的设备坐标系之间的转换关系之后，可以针对每一人眼图像，基于该人眼图像中的每一上眼睑点对应的第三三维位置信息以及每两个图像采集设备的设备坐标系之间的转换关系，确定出该人眼图像中每一上眼睑点对应的空间点在每一人眼图像中的投影点的第四位置信息。
具体的，可以是：针对指定的图像采集设备o0而言，每一上眼睑点对应的第三三维位置信息为：在该图像采集设备o0的设备坐标系下的位置信息，可以直接基于图像采集设备o0的内参信息，构建图像采集设备o0的设备坐标系与图像坐标系之间的映射关系，作为第一映射关系；进而基于该第一映射关系，将该指定的图像采集设备o0所采集的人眼图像中的每一上眼睑点对应的第三三维位置信息，转换至图像采集设备o0的图像坐标系下，得到该指定的图像采集设备o0所采集的人眼图像中的每一上眼睑点对应的空间点，在图像采集设备o0所采集的人眼图像中的投影点的第四位置信息。
针对其他图像采集设备oq而言，可以首先从每两个图像采集设备的设备坐标系之间的转换关系中，确定该其他图像采集设备oq的设备坐标系与图像采集设备o0的设备坐标系之间的转换关系，作为待利用转换关系；基于该待利用转换关系，将该其他图像采集设备oq所采集的人眼图像中的每一上眼睑点对应的第三三维位置信息，从图像采集设备o0的设备坐标系下，转换至该其他图像采集设备oq的设备坐标系下，得到该其他图像采集设备oq所采集的人眼图像中的每一上眼睑点对应的第四三维位置信息；进而，基于该其他图像采集设备oq的内参信息，构建该其他图像采集设备oq的设备坐标系与图像坐标系之间的映射关系，作为该其他图像采集设备oq对应的映射关系；基于该其他图像采集设备oq对应的映射关系，将该其他图像采集设备oq所采集的人眼图像中的每一上眼睑点对应的第四三维位置信息，转换至该其他图像采集设备oq的图像坐标系下，得到该其他图像采集设备oq所采集的人眼图像中的每一上眼睑点对应的空间点，在该其他图像采集设备oq所采集的人眼图像中的投影点的第四位置信息。
后续的，可以基于每一人眼图像每一上眼睑点对应的空间点在该人眼图像中的投影点的第四位置信息以及该眼睑点得第三位置信息，构建上眼睑点对应的重投影误差约束。其中，该上眼睑点对应的重投影误差约束，可以表示为公式(7)：
Figure BDA0002072705620000151
其中，Mj表示第j个人眼图像对应的第一数值，(uji，vji)表示第j个人眼图像中第i个上眼睑点的第三位置信息；(u′ji，v′ji)表示第j个人眼图像中第i个上眼睑点对应的空间点，在该第j个人眼图像中的投影点的第四位置信息。
S106：基于第一眼角约束、第二眼角约束以及重投影误差约束，构建用于表征人眼的上眼睑和\或下眼睑的眼睑空间曲线方程。
本步骤中，电子设备可以基于第一眼角约束、第二眼角约束以及人眼的上眼睑点对应的重投影误差约束，构建用于表征人眼的上眼睑的眼睑空间曲线方程，即得到表征人眼的上眼睑的眼睑空间曲线；和\或可以基于第一眼角约束、第二眼角约束以及人眼的下眼睑点对应的重投影误差约束，构建用于表征人眼的下眼睑的眼睑空间曲线方程，即得到表征人眼的下眼睑的眼睑空间曲线。
后续的，可以基于该表征人眼的上下眼睑的眼睑空间曲线可以绘制出该人眼的上下眼睑。
以构建用于表征人眼的上眼睑的眼睑空间曲线方程的过程为例进行说明。联立并求解公式(2)、(3)和(7)，以求解得到用于表征人眼的上眼睑的眼睑空间曲线方程中的系数，即a1、a2、a3、b1、b2、b3、c1、c2、和c3。在一种情况中，为了便利计算，可以联立公式(2)、(5)和(7)以求解得到用于表征人眼的上眼睑的眼睑空间曲线方程中的系数，即a1、a2和a3。
其中，在上述联并求解立公式，求解得到用于表征人眼的上眼睑的眼睑空间曲线方程中的系数的过程中，可以将求解上述联立的公式的问题，转化为非线性最小二乘法的优化问题，可以设置约束条件：上眼睑点对应的重投影误差不大于预设误差阈值；基于该约束条件，求解上述联立的公式，以求解得到用于表征人眼的上眼睑的眼睑空间曲线方程中的系数，构建出用于表征人眼的上眼睑的眼睑空间曲线方程。
对于求解得到用于表征人眼的下眼睑的眼睑空间曲线方程的过程，可以参见上述求解得到用于表征人眼的上眼睑的眼睑空间曲线方程的过程，在此不再赘述。
应用本发明实施例，可以基于多个图像采集设备的位姿信息和内参信息，构建得到人眼图像中人眼的第一眼角点对应的第一三维位置信息和第二眼角点对应的第二三维位置信息，即通过多个图像采集设备针对同一人员的人眼进行监控，得到人眼图像，基于多个图像采集设备采集的人眼图像，可以准确地得到人眼中具有明显语义特征的眼角的三维位置信息，进而，基于第一三维位置信息、第二三维位置信息以及预设的曲线方程，构建第一眼角约束；基于第一预设数值、第二预设数值以及第一眼角约束，构建第二眼角约束；并利用曲线方程、每一眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，确定眼睑点对应的重投影误差约束，通过多约束条件，可以构建得到精确度较高的用于表征人眼的上眼睑和\或下眼睑的眼睑空间曲线方程，实现对人眼眼睑曲线的构建，得到人眼眼睑的空间信息，为后续的人眼对应的人员的疲劳程度的确定提供基础。
在本发明的另一实施例中，如图2所示，所述方法可以包括如下步骤：
S201：从每一图像采集设备在同一时刻采集的每一人眼图像中，识别出该人眼图像中人眼的第一眼角点的第一位置信息、第二眼角点的第二位置信息以及眼睑点的第三位置信息。
其中，眼睑点可以包括：第一数量个上眼睑点和\或第二数量个下眼睑点。
S202：基于每一图像采集设备的位姿信息和内参信息、第一位置信息以及第二位置信息，确定出第一眼角点对应的第一三维位置信息和第二眼角点对应的第二三维位置信息。
S203：基于第一三维位置信息、第二三维位置信息以及预设的曲线方程，构建第一眼角约束。
S204：基于第一数值、第二数值以及第一眼角约束，构建第二眼角约束。
其中，第一数值和第二数值用于约束第一眼角约束中自变量的取值范围。
S205：基于曲线方程、每一眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，构建眼睑点对应的重投影误差约束。
S206：基于每一人眼图像中眼睑点的有序性，针对每一人眼图像中眼睑点，构建有序性约束。
S207：基于第一眼角约束、第二眼角约束、重投影误差约束以及有序性约束，构建用于表征人眼的上眼睑和\或下眼睑的眼睑空间曲线方程。
其中，该S201与图1中所示的S101相同，该S202与图1中所示的S102相同，该S203与图1中所示的S103相同，该S204与图1中所示的S104相同，该S205与图1中所示的S105相同，在此不再赘述。
可以理解的是，在人眼图像中，所识别出的眼睑点均存在有序性，其中，在人眼图像中所识别出的上眼睑点之间存在有序性，在人眼图像中所识别出的下眼睑点之间存在有序性。本实施例中，为了确定出准确性更高的用于表征人眼的上眼睑和\或下眼睑的眼睑空间曲线方程。可以在基于第一眼角约束、第二眼角约束、重投影误差约束，构建用于表征人眼的上眼睑和\或下眼睑的眼睑空间曲线方程的前提下，继续结合所构建的有序性约束，共同构建用于表征人眼的上眼睑和\或下眼睑的眼睑空间曲线方程。
以构建用于表征人眼的上眼睑的眼睑空间曲线方程的过程为例进行说明。第j个人眼图像中的人眼的上眼睑点之间的有序性约束可以表示为：
Figure BDA0002072705620000171
Figure BDA0002072705620000172
后续的，联立并求解公式(2)、(3)、(7)和(8)，以求解得到用于表征人眼的上眼睑的眼睑空间曲线方程中的系数。
其中，当t01＝0，且t02＝1时，公式(8)可以变形为：
Figure BDA0002072705620000173
Figure BDA0002072705620000174
后续的，联立并求解公式(2)、(5)、(7)和(9)，以求解得到用于表征人眼的上眼睑的眼睑空间曲线方程中的系数。
在本发明的另一实施例中，如图3所示，所述方法可以包括如下步骤：
S301：从每一图像采集设备在同一时刻采集的每一人眼图像中，识别出该人眼图像中人眼的第一眼角点的第一位置信息、第二眼角点的第二位置信息以及眼睑点的第三位置信息。
其中，眼睑点可以包括：第一数量个上眼睑点和\或第二数量个下眼睑点。
S302：基于每一图像采集设备的位姿信息和内参信息、第一位置信息以及第二位置信息，确定出第一眼角点对应的第一三维位置信息和第二眼角点对应的第二三维位置信息。
S303：基于第一三维位置信息、第二三维位置信息以及预设的曲线方程，构建第一眼角约束。
S304：基于第一数值、第二数值以及第一眼角约束，构建第二眼角约束。
其中，第一数值和第二数值用于约束第一眼角约束中自变量的取值范围。
S305：基于曲线方程、每一眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，构建眼睑点对应的重投影误差约束。
S306：基于第一眼角约束、第二眼角约束以及重投影误差约束，构建用于表征人眼的上眼睑和\或下眼睑的眼睑空间曲线方程。
S307：基于用于表征上眼睑的眼睑空间曲线方程和用于表征下眼睑的眼睑空间曲线方程，确定出人眼的当前开闭长度；
S308：获得在预设时长内所确定出的人眼的历史开闭长度；
S309：基于当前开闭长度以及历史开闭长度，确定得到人眼对应的人员的疲劳程度。
其中，该S301与图1中所示的S101相同，该S302与图1中所示的S102相同，该S303与图1中所示的S103相同，该S304与图1中所示的S104相同，该S305与图1中所示的S105相同，该S306与图1中所示的S106相同，在此不再赘述。
本实施例中，在构建出用于表征人眼的上眼睑的眼睑空间曲线方程和下眼睑的眼睑空间曲线方程之后，可以基于该用于表征人眼的上眼睑的眼睑空间曲线方程和下眼睑的眼睑空间曲线方程，计算得到人眼的当前开闭长度，进而，结合时间维度信息，即该人眼的历史开闭长度，确定人眼对应的人员的疲劳程度。
其中，为了保证所确定出的该人眼对应的人员的疲劳程度的及时性，电子设备可以获得多个图像采集设备在当前时刻采集的人眼图像，即该人眼图像为各图像采集设备在当前时刻所采集的人眼图像。
可以理解的是，电子设备本地或所连接的存储设备中，可以存储有该人眼的历史开闭长度，在计算得到人眼的当前开闭长度之后，电子设备可以从相应的存储位置处获得该人眼的历史开闭长度。其中，该人眼的历史开闭长度为：基于该多个图像采集设备所采集的该人眼图像之前的人眼图像，所确定得到的该人眼的开闭长度。
本发明实施例中，通过用于表征上眼睑的眼睑空间曲线方程和用于表征下眼睑的眼睑空间曲线方程，可以确定出更加准确的人眼的开闭长度，即人眼开闭的物理长度，进而，结合时间维度，可以更加灵活、准确地监控得到人眼对应人眼的疲劳程度。
在本发明的一种可选的实现方式中，所述基于用于表征上眼睑的空间眼睑曲线方程和用于表征下眼睑的空间眼睑曲线方程，确定出人眼的当前开闭长度的步骤，可以包括：
计算得到用于表征上眼睑的空间眼睑曲线方程和用于表征下眼睑的空间眼睑曲线方程之间的最大距离；
将最大距离，作为人眼的当前开闭长度。
本实现方式中，可以是电子设备分别基于用于表征上眼睑的空间眼睑曲线方程和用于表征下眼睑的空间眼睑曲线方程，分别从用于表征上眼睑的空间眼睑曲线和用于表征下眼睑的空间眼睑曲线中，选取出所对应横轴坐标值相同，且所对应纵轴坐标值相等的点对，针对每一点对，计算该两点之间的距离，确定出所计算距离最大的点对，作为目标点对，将该目标点对之间的距离作为该最大距离，作为人眼的当前开闭长度。
也可以是：从用于表征上眼睑的空间眼睑曲线中选取二等分点，即该用于表征上眼睑的空间眼睑曲线的中心点，作为第一中心点；并从用于表征下眼睑的空间眼睑曲线方程中选取二等分点，即该用于表征下眼睑的空间眼睑曲线的中心点，作为第二中心点；计算第一中心点和第二中心点之间的距离，作为最大距离，作为人眼的当前开闭长度。等。
在本发明的一种可选的实现方式中，所述基于当前开闭长度以及历史开闭长度，确定得到人眼对应的人员的疲劳程度的步骤，可以包括：
将每一开闭长度与预设长度阈值进行比较，获得比较结果，其中，开闭长度包括当前开闭长度以及历史开闭长度；
统计得到表征开闭长度小于预设长度阈值的比较结果的第一结果数量；
基于当前开闭长度以及历史开闭长度的总数量和第一结果数量，确定得到人眼对应的人员的疲劳程度。
本实现方式中，电子设备可以获得预先设置的预设长度阈值，并将每一开闭长度与预设长度阈值进行比较，以比较每一开闭长度与预设长度阈值的大小，得到比较结果；进而，统计得到表征开闭长度小于预设长度阈值的比较结果的数量，作为第一结果数量；后续的，基于当前开闭长度以及历史开闭长度的总数量和第一结果数量，确定得到人眼对应的人员的疲劳程度。其中，该基于当前开闭长度以及历史开闭长度的总数量和第一结果数量，确定得到人眼对应的人员的疲劳程度的过程，可以是：计算第一结果数量和总数量的比值，若该比值大于预设比值，则确定该人眼对应的人员的疲劳程度为疲劳；若该比值不大于预设比值，则确定该人眼对应的人员的疲劳程度为不疲劳。也可以是：计算总数量和第一结果数量的差值，若该差值小于预设差值，则确定该人眼对应的人员的疲劳程度为疲劳；若该差值不小于预设差值，则确定该人眼对应的人员的疲劳程度为不疲劳。
另一种实现方式中，在统计得到表征开闭长度小于预设长度阈值的比较结果的第一结果数量之后，可以直接将该第一数量与预设数量进行比较，若该第一结果数量大于该预设数量，则确定该人眼对应的人员的疲劳程度为疲劳；若该第一结果数量不大于该预设数量，则确定该人眼对应的人员的疲劳程度为不疲劳。
本发明实施例中，为了在一定程度上减少因疲劳驾驶所导致的车祸的情况的发生，在确定出人眼对应的人员的疲劳程度为疲劳的情况下，可以生成告警信息，以提示用户人眼对应的人员处于疲劳状态，以便用户可以针对该种情况采取相应措施，以在一定程度上减少因疲劳驾驶所导致的车祸的情况的发生。
相应于上述方法实施例，本发明实施例提供了一种人眼眼睑曲线的构建装置，如图4所示，可以包括：
识别模块410，被配置为从每一图像采集设备在同一时刻采集的每一人眼图像中，识别出该人眼图像中人眼的第一眼角点的第一位置信息、第二眼角点的第二位置信息以及眼睑点的第三位置信息，其中，所述眼睑点包括：第一数量个上眼睑点和\或第二数量个下眼睑点；
第一确定模块420，被配置为基于每一图像采集设备的位姿信息和内参信息、所述第一位置信息以及所述第二位置信息，确定出所述第一眼角点对应的第一三维位置信息和所述第二眼角点对应的第二三维位置信息；
第一构建模块430，被配置为基于所述第一三维位置信息、所述第二三维位置信息以及预设的曲线方程，构建第一眼角约束；
第二构建模块440，被配置为基于第一数值、第二数值以及所述第一眼角约束，构建第二眼角约束，其中，所述第一数值和所述第二数值用于约束所述第一眼角约束中自变量的取值范围；
第三构建模块450，被配置为基于所述曲线方程、每一眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，构建眼睑点对应的重投影误差约束；
第四构建模块460，被配置为基于所述第一眼角约束、所述第二眼角约束以及所述重投影误差约束，构建用于表征所述人眼的上眼睑和\或下眼睑的眼睑空间曲线方程。
应用本发明实施例，可以基于多个图像采集设备的位姿信息和内参信息，构建得到人眼图像中人眼的第一眼角点对应的第一三维位置信息和第二眼角点对应的第二三维位置信息，即通过多个图像采集设备针对同一人员的人眼进行监控，得到人眼图像，基于多个图像采集设备采集的人眼图像，可以准确地得到人眼中具有明显语义特征的眼角的三维位置信息，进而，基于第一三维位置信息、第二三维位置信息以及预设的曲线方程，构建第一眼角约束；基于第一预设数值、第二预设数值以及第一眼角约束，构建第二眼角约束；并利用曲线方程、每一眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，确定眼睑点对应的重投影误差约束，通过多约束条件，可以构建得到精确度较高的用于表征人眼的上眼睑和\或下眼睑的眼睑空间曲线方程，实现对人眼眼睑曲线的构建，得到人眼眼睑的空间信息，为后续的人眼对应的人员的疲劳程度的确定提供基础。
在本发明的另一实施例中，所述装置还可以包括：
第五构建模块，被配置为在所述基于所述第一眼角约束、所述第二眼角约束以及所述重投影误差约束，构建用于表征所述人眼的上眼睑和\或下眼睑的眼睑空间曲线方程之前，基于每一人眼图像中眼睑点的有序性，针对每一人眼图像中眼睑点，构建有序性约束；
所述第四构建模块460，被具体配置为：基于所述第一眼角约束、所述第二眼角约束、所述重投影误差约束以及所述有序性约束，构建用于表征所述人眼的上眼睑和\或下眼睑的眼睑空间曲线方程。
在本发明的另一实施例中，所述第三构建模块450，包括：第一构建单元，被配置为利用所述曲线方程，构建每一眼睑点对应的第三三维位置信息；第二构建单元，被配置为基于每一眼睑点对应的第三三维位置信息、每一眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，构建眼睑点对应的重投影误差约束。
在本发明的另一实施例中，所述第二构建单元，被具体配置为基于每一图像采集设备的位姿信息和内参信息，确定每两个图像采集设备的设备坐标系之间的转换关系；针对每一人眼图像，基于该人眼图像中的每一眼睑点对应的第三三维位置信息以及每两个图像采集设备的设备坐标系之间的转换关系，确定出该人眼图像中每一眼睑点对应的空间点在该人眼图像中的投影点的第四位置信息；基于每一人眼图像中每一眼睑点的第三位置信息，和该眼睑点对应的空间点在该眼睑点所在人眼图像中的投影点的第四位置信息，确定出眼睑点对应的重投影误差约束。
在本发明的另一实施例中，所述装置还可以包括：第一获得模块，被配置为在所述从每一图像采集设备在同一时刻采集的每一人眼图像中，识别出该人眼图像中人眼的第一眼角点的第一位置信息、第二眼角点的第二位置信息以及眼睑点的第三位置信息之前，获得多个图像采集设备在同一时刻采集的人脸图像；检测模块，被配置为基于预先建立的人脸特征点检测模型，从每一图像采集设备采集的每一人脸图像中，检测出每一人脸图像中人眼所在区域，得到人眼图像，其中，所述预先建立的人脸特征点检测模型为：基于标定有人脸特征点的样本图像训练所得的模型。
在本发明的另一实施例中，所述装置还可以包括：第二确定模块，被配置为在所述基于所述第一眼角约束、所述第二眼角约束以及所述重投影误差约束，构建用于表征所述人眼的上眼睑和\或下眼睑的眼睑空间曲线方程之后，基于用于表征所述上眼睑的眼睑空间曲线方程和用于表征所述下眼睑的眼睑空间曲线方程，确定出所述人眼的当前开闭长度；第二获得模块，被配置为获得在预设时长内所确定出的所述人眼的历史开闭长度；第三确定模块，被配置为基于所述当前开闭长度以及所述历史开闭长度，确定得到所述人眼对应的人员的疲劳程度。
在本发明的另一实施例中，所述第二确定模块，被具体配置为：计算得到用于表征所述上眼睑的空间眼睑曲线方程和用于表征所述下眼睑的空间眼睑曲线方程之间的最大距离；将所述最大距离，作为所述人眼的当前开闭长度。
在本发明的另一实施例中，所述第三确定模块，被具体配置为：将每一开闭长度与预设长度阈值进行比较，获得比较结果，其中，所述开闭长度包括所述当前开闭长度以及所述历史开闭长度；统计得到表征开闭长度小于所述预设长度阈值的比较结果的第一结果数量；基于所述当前开闭长度以及所述历史开闭长度的总数量和所述第一结果数量，确定得到所述人眼对应的人员的疲劳程度。
上述装置实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种人眼眼睑曲线的构建方法，其特征在于，包括：
从每一图像采集设备在同一时刻采集的每一人眼图像中，识别出该人眼图像中人眼的第一眼角点的第一位置信息、第二眼角点的第二位置信息以及眼睑点的第三位置信息，其中，所述眼睑点包括：第一数量个上眼睑点和\或第二数量个下眼睑点；
基于每一图像采集设备的位姿信息和内参信息、所述第一位置信息以及所述第二位置信息，确定出所述第一眼角点对应的第一三维位置信息和所述第二眼角点对应的第二三维位置信息；
基于所述第一三维位置信息、所述第二三维位置信息以及预设的曲线方程，构建第一眼角约束；
基于第一数值、第二数值以及所述第一眼角约束，构建第二眼角约束，其中，所述第一数值和所述第二数值用于约束所述第一眼角约束中自变量的取值范围；
基于所述曲线方程、每一眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，构建眼睑点对应的重投影误差约束；
基于所述第一眼角约束、所述第二眼角约束以及所述重投影误差约束，构建用于表征所述人眼的上眼睑和\或下眼睑的眼睑空间曲线方程。
2.如权利要求1所述的方法，其特征在于，在所述基于所述第一眼角约束、所述第二眼角约束以及所述重投影误差约束，构建用于表征所述人眼的上眼睑和\或下眼睑的眼睑空间曲线方程的步骤之前，所述方法还包括：
基于每一人眼图像中眼睑点的有序性，针对每一人眼图像中眼睑点，构建有序性约束；
所述基于所述第一眼角约束、所述第二眼角约束以及所述重投影误差约束，构建用于表征所述人眼的上眼睑和\或下眼睑的眼睑空间曲线方程的步骤，包括：
基于所述第一眼角约束、所述第二眼角约束、所述重投影误差约束以及所述有序性约束，构建用于表征所述人眼的上眼睑和\或下眼睑的眼睑空间曲线方程。
3.如权利要求1-2任一项所述的方法，其特征在于，所述基于所述曲线方程、每一眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，构建眼睑点对应的重投影误差约束的步骤，包括：
利用所述曲线方程，构建每一眼睑点对应的第三三维位置信息；
基于每一眼睑点对应的第三三维位置信息、每一眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，构建眼睑点对应的重投影误差约束。
4.如权利要求3所述的方法，其特征在于，所述基于每一眼睑点对应的第三三维位置信息、每一眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，构建眼睑点对应的重投影误差约束的步骤，包括：
基于每一图像采集设备的位姿信息和内参信息，确定每两个图像采集设备的设备坐标系之间的转换关系；
针对每一人眼图像，基于该人眼图像中的每一眼睑点对应的第三三维位置信息以及每两个图像采集设备的设备坐标系之间的转换关系，确定出该人眼图像中每一眼睑点对应的空间点在该人眼图像中的投影点的第四位置信息；
基于每一人眼图像中每一眼睑点的第三位置信息，和该眼睑点对应的空间点在该眼睑点所在人眼图像中的投影点的第四位置信息，确定出眼睑点对应的重投影误差约束。
5.如权利要求1所述的方法，其特征在于，在所述从每一图像采集设备在同一时刻采集的每一人眼图像中，识别出该人眼图像中人眼的第一眼角点的第一位置信息、第二眼角点的第二位置信息以及眼睑点的第三位置信息的步骤之前，所述方法还包括：
获得多个图像采集设备在同一时刻采集的人脸图像；
基于预先建立的人脸特征点检测模型，从每一图像采集设备采集的每一人脸图像中，检测出每一人脸图像中人眼所在区域，得到人眼图像，其中，所述预先建立的人脸特征点检测模型为：基于标定有人脸特征点的样本图像训练所得的模型。
6.如权利要求1-5任一项所述的方法，其特征在于，在所述基于所述第一眼角约束、所述第二眼角约束以及所述重投影误差约束，构建用于表征所述人眼的上眼睑和\或下眼睑的眼睑空间曲线方程的步骤之后，所述方法还包括：
基于用于表征所述上眼睑的眼睑空间曲线方程和用于表征所述下眼睑的眼睑空间曲线方程，确定出所述人眼的当前开闭长度；
获得在预设时长内所确定出的所述人眼的历史开闭长度；
基于所述当前开闭长度以及所述历史开闭长度，确定得到所述人眼对应的人员的疲劳程度。
7.如权利要求6所述的方法，其特征在于，所述基于用于表征所述上眼睑的空间眼睑曲线方程和用于表征所述下眼睑的空间眼睑曲线方程，确定出所述人眼的当前开闭长度的步骤，包括：
计算得到用于表征所述上眼睑的空间眼睑曲线方程和用于表征所述下眼睑的空间眼睑曲线方程之间的最大距离；
将所述最大距离，作为所述人眼的当前开闭长度。
8.如权利要求6所述的方法，其特征在于，所述基于所述当前开闭长度以及所述历史开闭长度，确定得到所述人眼对应的人员的疲劳程度的步骤，包括：
将每一开闭长度与预设长度阈值进行比较，获得比较结果，其中，所述开闭长度包括所述当前开闭长度以及所述历史开闭长度；
统计得到表征开闭长度小于所述预设长度阈值的比较结果的第一结果数量；
基于所述当前开闭长度以及所述历史开闭长度的总数量和所述第一结果数量，确定得到所述人眼对应的人员的疲劳程度。
9.一种人眼眼睑曲线的构建装置，其特征在于，包括：
识别模块，被配置为从每一图像采集设备在同一时刻采集的每一人眼图像中，识别出该人眼图像中人眼的第一眼角点的第一位置信息、第二眼角点的第二位置信息以及眼睑点的第三位置信息，其中，所述眼睑点包括：第一数量个上眼睑点和\或第二数量个下眼睑点；
第一确定模块，被配置为基于每一图像采集设备的位姿信息和内参信息、所述第一位置信息以及所述第二位置信息，确定出所述第一眼角点对应的第一三维位置信息和所述第二眼角点对应的第二三维位置信息；
第一构建模块，被配置为基于所述第一三维位置信息、所述第二三维位置信息以及预设的曲线方程，构建第一眼角约束；
第二构建模块，被配置为基于第一数值、第二数值以及所述第一眼角约束，构建第二眼角约束，其中，所述第一数值和所述第二数值用于约束所述第一眼角约束中自变量的取值范围；
第三构建模块，被配置为基于所述曲线方程、每一眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，构建眼睑点对应的重投影误差约束；
第四构建模块，被配置为基于所述第一眼角约束、所述第二眼角约束以及所述重投影误差约束，构建用于表征所述人眼的上眼睑和\或下眼睑的眼睑空间曲线方程。
10.如权利要求9所述的装置，其特征在于，所述装置还包括：
第五构建模块，被配置为在所述基于所述第一眼角约束、所述第二眼角约束以及所述重投影误差约束，构建用于表征所述人眼的上眼睑和\或下眼睑的眼睑空间曲线方程之前，基于每一人眼图像中眼睑点的有序性，针对每一人眼图像中眼睑点，构建有序性约束；
所述第四构建模块，被具体配置为
基于所述第一眼角约束、所述第二眼角约束、所述重投影误差约束以及所述有序性约束，构建用于表征所述人眼的上眼睑和\或下眼睑的眼睑空间曲线方程。
CN201910443046.3A 2019-05-26 2019-05-26 一种人眼眼睑曲线的构建方法及装置 Active CN110956067B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910443046.3A CN110956067B (zh) 2019-05-26 2019-05-26 一种人眼眼睑曲线的构建方法及装置
PCT/CN2019/108072 WO2020237939A1 (zh) 2019-05-26 2019-09-26 一种人眼眼睑曲线的构建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910443046.3A CN110956067B (zh) 2019-05-26 2019-05-26 一种人眼眼睑曲线的构建方法及装置

Publications (2)

Publication Number Publication Date
CN110956067A CN110956067A (zh) 2020-04-03
CN110956067B true CN110956067B (zh) 2022-05-17

Family

ID=69975435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910443046.3A Active CN110956067B (zh) 2019-05-26 2019-05-26 一种人眼眼睑曲线的构建方法及装置

Country Status (2)

Country Link
CN (1) CN110956067B (zh)
WO (1) WO2020237939A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221599B (zh) * 2020-01-21 2022-06-10 魔门塔(苏州)科技有限公司 一种眼睑曲线的构建方法及装置
CN113516705B (zh) * 2020-04-10 2024-04-02 魔门塔(苏州)科技有限公司 一种手部关键点的标定方法及装置
EP4066749A4 (en) * 2021-02-05 2022-11-30 Shenzhen Institutes of Advanced Technology Chinese Academy of Sciences SOFT DEVICE FOR OPENING EYELIDS AND METHOD THEREOF
CN112971877B (zh) * 2021-02-05 2022-05-27 中国科学院深圳先进技术研究院 一种用于眼睑翻开的软体装置及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102362291A (zh) * 2009-04-02 2012-02-22 爱信精机株式会社 脸部特征点检测装置及程序
CN104091150A (zh) * 2014-06-26 2014-10-08 浙江捷尚视觉科技股份有限公司 一种基于回归的人眼状态判断方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281646A (zh) * 2008-05-09 2008-10-08 山东大学 基于视觉的驾驶员疲劳实时检测方法
CN101375796B (zh) * 2008-09-18 2010-06-02 浙江工业大学 疲劳驾驶实时检测系统
CN104036299B (zh) * 2014-06-10 2018-06-19 电子科技大学 一种基于局部纹理aam的人眼轮廓跟踪方法
DE102015200697A1 (de) * 2015-01-19 2016-07-21 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen von Sekundenschlaf eines Fahrers eines Fahrzeugs
CN109271875B (zh) * 2018-08-24 2019-06-14 中国人民解放军火箭军工程大学 一种基于眉部和眼部关键点信息的疲劳检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102362291A (zh) * 2009-04-02 2012-02-22 爱信精机株式会社 脸部特征点检测装置及程序
CN104091150A (zh) * 2014-06-26 2014-10-08 浙江捷尚视觉科技股份有限公司 一种基于回归的人眼状态判断方法

Also Published As

Publication number Publication date
WO2020237939A1 (zh) 2020-12-03
CN110956067A (zh) 2020-04-03

Similar Documents

Publication Publication Date Title
CN110956067B (zh) 一种人眼眼睑曲线的构建方法及装置
WO2021047232A1 (zh) 交互行为识别方法、装置、计算机设备和存储介质
RU2730687C1 (ru) Стереоскопическая система обнаружения пешеходов с двухпоточной нейронной сетью с глубоким обучением и способы ее применения
CN109670441A (zh) 一种实现安全帽穿戴识别的方法、系统、终端以及计算机可读存储介质
JP6786762B2 (ja) 画像収集部及び距離測定部を有する装置を制御する方法、及び装置
CN102629320B (zh) 基于特征层定序测量统计描述的人脸识别方法
CN109284674A (zh) 一种确定车道线的方法及装置
CN111259706B (zh) 一种车辆的车道线压线判断方法和系统
CN105243386A (zh) 人脸活体判断方法以及系统
JP6159189B2 (ja) ハイパースペクトル画像のシグネチャーのマッチングの信頼度を評価する方法
CN113065576A (zh) 一种特征提取的方法以及装置
CN107578021A (zh) 基于深度学习网络的行人检测方法、装置及系统
CN106570440A (zh) 基于图像分析的人数统计方法和人数统计装置
CN112434545A (zh) 一种智能场所管理方法及系统
CN111160220A (zh) 一种基于深度学习的包裹检测方法、装置、存储介质
CN111950440A (zh) 一种识别与定位门的方法、装置及存储介质
US20140334694A1 (en) Method for determining eye location on a frontal face digital image to validate the frontal face and determine points of reference
CN112488042A (zh) 一种基于视频分析的行人通行瓶颈判别方法及系统
CN105718896A (zh) 一种具有目标识别功能的智能机器人
CN113591722B (zh) 一种移动机器人的目标人员跟随控制方法及系统
CN113008380B (zh) 一种智慧ai体温预警方法、系统及存储介质
CN114067271A (zh) 基于aiot和人员轨迹分析的安全风险预警方法
CN113221599B (zh) 一种眼睑曲线的构建方法及装置
CN104063689B (zh) 一种基于双目立体视觉的人脸图像识别方法
CN113569594A (zh) 一种人脸关键点的标注方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211125

Address after: 215100 floor 23, Tiancheng Times Business Plaza, No. 58, qinglonggang Road, high speed rail new town, Xiangcheng District, Suzhou, Jiangsu Province

Applicant after: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

Address before: Room 601-a32, Tiancheng information building, No. 88, South Tiancheng Road, high speed rail new town, Xiangcheng District, Suzhou City, Jiangsu Province

Applicant before: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant