CN113221599A - 一种眼睑曲线的构建方法及装置 - Google Patents

一种眼睑曲线的构建方法及装置 Download PDF

Info

Publication number
CN113221599A
CN113221599A CN202010069906.4A CN202010069906A CN113221599A CN 113221599 A CN113221599 A CN 113221599A CN 202010069906 A CN202010069906 A CN 202010069906A CN 113221599 A CN113221599 A CN 113221599A
Authority
CN
China
Prior art keywords
eyelid
point
eye
position information
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010069906.4A
Other languages
English (en)
Other versions
CN113221599B (zh
Inventor
李源
王晋玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Momenta Suzhou Technology Co Ltd
Original Assignee
Momenta Suzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Momenta Suzhou Technology Co Ltd filed Critical Momenta Suzhou Technology Co Ltd
Priority to CN202010069906.4A priority Critical patent/CN113221599B/zh
Priority to DE112020003169.1T priority patent/DE112020003169T5/de
Priority to PCT/CN2020/121379 priority patent/WO2021147392A1/zh
Publication of CN113221599A publication Critical patent/CN113221599A/zh
Application granted granted Critical
Publication of CN113221599B publication Critical patent/CN113221599B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30—Polynomial surface description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Educational Technology (AREA)
  • Veterinary Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Ophthalmology & Optometry (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开一种眼睑曲线的构建方法及装置，该方法包括：从多个图像采集设备同时拍摄所得的脸部图像中，检测出其中目标眼睛的第一眼角点的第一位置信息、第二眼角点的第二位置信息及眼睑点的第三位置信息；基于每一图像采集设备的相关信息、第一位置信息及第二位置信息，确定出第一眼角点对应的第一三维位置信息和第二眼角点对应的第二三维位置信息；基于上述三维位置信息、第一数值、第二数值及三次参数曲线方程，构建第一眼角约束；基于三次参数曲线方程、每一图像采集设备的相关信息及第三位置信息，构建眼睑对应的重投影误差约束；基于重投影误差约束及第一眼角约束，构建眼睑曲线，以实现对眼睑的眼睑曲线的构建。

Description

一种眼睑曲线的构建方法及装置
技术领域
本发明涉及计算机技术领域，具体而言，涉及一种眼睑曲线的构建方法及装置。
背景技术
随着科学技术的发展，人脸面部相关的检测技术得到越来越广泛的应用，尤其是对面部各个部位的准确检测至关重要，例如眼睛、嘴巴、鼻子以及面部轮廓等部位的检测。其中，对眼睛及其状态的检测在智能交通技术领域中起着重要作用，通过对人脸面部的眼睛及其状态的准确检测，可以为人员的分心驾驶以及疲劳驾驶等行为的准确检测提供检测基础，而人员的分心驾驶以及疲劳驾驶等行为的准确检测，可以有效减少分心驾驶以及疲劳驾驶等造成的交通事故。
相关的分心驾驶以及疲劳驾驶检测技术中，首先需要通过针对待检测人员面部进行监控时所采集的面部图像，确定出待检测人员的眼睛所在区域图像，进而基于眼睛所在区域图像确定出眼睛的开闭状态，相关技术中，对眼睛的开闭状态的检测，大多依赖于对眼睛的上下眼睑之间的距离的计算，而实现对眼睛的上下眼睑之间的距离的计算，如何构建出眼睛的上下眼睑的眼睑曲线成至关重要。
发明内容
本发明提供了一种眼睑曲线的构建方法及装置，以实现对眼睛的上下眼睑的眼睑曲线的构建。具体的技术方案如下：
第一方面，本发明实施例提供了一种眼睑曲线的构建方法，所述方法包括：
从多个图像采集设备在同一时刻针对目标对象进行拍摄时所得的每一脸部图像中，检测出该脸部图像中目标眼睛的第一眼角点的第一位置信息、第二眼角点的第二位置信息及眼睑点的第三位置信息，其中，所述眼睑点包括：多个上眼睑点和\或多个下眼睑点，所述目标眼睛为所述目标对象的左眼或右眼；
基于每一所述图像采集设备的位姿信息和内参信息、所述第一位置信息及所述第二位置信息，确定出所述第一眼角点对应的第一眼角空间点的第一三维位置信息和所述第二眼角点对应的第二眼角空间点的第二三维位置信息；
基于所述第一三维位置信息、所述第二三维位置信息、第一数值、第二数值以及三次参数曲线方程，构建第一眼角约束，其中，所述第一数值和所述第二数值用于约束所述第一眼角约束中自变量的取值范围；
基于所述三次参数曲线方程、每一图像采集设备的位姿信息和内参信息以及所述上眼睑点和/或所述下眼睑点的第三位置信息，构建上眼睑和/或下眼睑对应的重投影误差约束；基于所述重投影误差约束及所述第一眼角约束，构建用于表征所述目标眼睛的上眼睑和\或下眼睑的眼睑曲线。
可选的，所述基于所述重投影误差约束和所述第一眼角约束，构建用于表征所述目标眼睛的上眼睑和\或下眼睑的眼睑曲线的步骤，包括：
获得预设眼角空间点与眼睑空间点的距离约束；
基于所述重投影误差约束、所述第一眼角约束及所述预设眼角空间点与眼睑空间点的距离约束，构建用于表征所述目标眼睛的上眼睑和\或下眼睑的眼睑曲线。
可选的，所述预设眼角空间点与眼睑空间点的距离约束，包括：目标眼睛的眼角空间点的中点到眼睑空间点的距离，不大于二分之一倍的该目标眼睛的眼角空间点之间的距离；所述目标眼睛的眼角空间点包括：所述第一眼角空间点和所述第二眼角空间点。
可选的，在所述基于所述重投影误差约束及所述第一眼角约束，构建用于表征所述目标眼睛的上眼睑和\或下眼睑的眼睑曲线的步骤之前，所述方法还包括：
基于每一脸部图像中目标眼睛的上眼睑点的有序性，针对每一脸部图像中目标眼睛的上眼睑点，构建第一有序性约束；和/或基于每一脸部图像中目标眼睛的下眼睑点的有序性，针对每一脸部图像中目标眼睛的下眼睑点，构建第二有序性约束；
所述基于所述重投影误差约束及所述第一眼角约束，构建用于表征所述目标眼睛的上眼睑和\或下眼睑的眼睑曲线的步骤，包括：
基于所述第一有序性约束和/或所述第二有序性约束、所述重投影误差约束及所述第一眼角约束，构建用于表征所述目标眼睛的上眼睑和\或下眼睑的眼睑曲线。
可选的，所述基于所述三次参数曲线方程、每一图像采集设备的位姿信息和内参信息以及所述上眼睑点和/或所述下眼睑点的第三位置信息，构建上眼睑和/或下眼睑对应的重投影误差约束的步骤，包括：
利用所述三次参数曲线方程以及所述上眼睑点和/或所述下眼睑点的第三位置信息，构建所述上眼睑点和/或所述下眼睑点对应的第三三维位置信息；
基于所述上眼睑点和/或所述下眼睑点对应的第三三维位置信息、所述上眼睑点和/或所述下眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，构建上眼睑和/或下眼睑对应的重投影误差约束。
可选的，所述基于所述上眼睑点和/或所述下眼睑点对应的第三三维位置信息、所述上眼睑点和/或所述下眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，构建上眼睑和/或下眼睑对应的重投影误差约束的步骤，通过如下两种实现方式中的任一种方式实现：
第一种实现方式：
基于每一图像采集设备的位姿信息和内参信息，确定每两个图像采集设备的设备坐标系之间的转换关系；
针对每一脸部图像，基于该脸部图像中目标眼睛的每一上眼睑点对应的第三三维位置信息以及每两个图像采集设备的设备坐标系之间的转换关系，确定出所述目标眼睛的每一上眼睑点所对应空间点在该脸部图像中的投影点的第四位置信息；并基于所述目标眼睛的每一上眼睑点的第三位置信息，和该上眼睑点所对应空间点在该上眼睑点所在脸部图像中的投影点的第四位置信息，确定出上眼睑对应的重投影误差约束；和/或
针对每一脸部图像，基于该脸部图像中目标眼睛的每一下眼睑点对应的第三三维位置信息以及每两个图像采集设备的设备坐标系之间的转换关系，确定出所述目标眼睛的每一下眼睑点所对应空间点在该脸部图像中的投影点的第五位置信息；并基于所述目标眼睛的每一下眼睑点的第三位置信息，和该下眼睑点所对应空间点在该下眼睑点所在脸部图像中的投影点的第五位置信息，确定出下眼睑对应的重投影误差约束；
第二种实现方式：
基于每一图像采集设备的位姿信息，确定每一图像采集设备与世界坐标系之间的位置转换关系；
针对每一脸部图像，基于该脸部图像中目标眼睛的每一上眼睑点对应的第三三维位置信息以及该脸部图像对应的图像采集设备的位置转换关系和内参信息，确定出所述目标眼睛的每一上眼睑点所对应空间点在该脸部图像中的投影点的第四位置信息；并基于所述目标眼睛的每一上眼睑点的第三位置信息，和该上眼睑点所对应空间点在该上眼睑点所在脸部图像中的投影点的第四位置信息，确定出上眼睑对应的重投影误差约束；
和/或针对每一脸部图像，基于该脸部图像中的目标眼睛的每一下眼睑点对应的第三三维位置信息以及该脸部图像对应的图像采集设备的位置转换关系和内参信息，确定出所述目标眼睛的每一下眼睑点所对应空间点在该脸部图像中的投影点的第五位置信息；并基于所述目标眼睛的每一下眼睑点的第三位置信息，和该下眼睑点所对应空间点在该下眼睑点所在脸部图像中的投影点的第五位置信息，确定出下眼睑对应的重投影误差约束。
可选的，在所述基于所述重投影误差约束、所述第一眼角约束以及预设眼角空间点与眼睑空间点的距离约束，构建用于表征所述目标眼睛的上眼睑和\或下眼睑的眼睑曲线的步骤之后，所述方法还包括：
基于用于表征所述目标眼睛的上眼睑的眼睑曲线和用于表征所述目标眼睛的下眼睑的眼睑曲线，确定出所述目标眼睛的当前开闭长度。
可选的，在所述基于用于表征所述目标眼睛的上眼睑的眼睑曲线和用于表征所述目标眼睛的下眼睑的眼睑曲线，确定出所述目标眼睛的当前开闭长度的步骤之后，所述方法还包括：
获得在预设时长内所确定出的所述目标眼睛的历史开闭长度以及所述目标对象的另一眼睛的当前开闭长度和历史开闭长度；
基于所述目标眼睛的所述当前开闭长度和所述历史开闭长度，以及所述目标对象的另一眼睛的当前开闭长度和历史开闭长度，确定得到所述目标眼睛对应的人员的疲劳程度。
第二方面，本发明实施例提供了一种眼睑曲线的构建装置，所述装置包括：
识别模块，被配置为从多个图像采集设备在同一时刻针对目标对象进行拍摄时所得的每一脸部图像中，检测出该脸部图像中目标眼睛的第一眼角点的第一位置信息、第二眼角点的第二位置信息及眼睑点的第三位置信息，其中，所述眼睑点包括：多个上眼睑点和\或多个下眼睑点，所述目标眼睛为所述目标对象的左眼或右眼；
第一确定模块，被配置为基于每一所述图像采集设备的位姿信息和内参信息、所述第一位置信息及所述第二位置信息，确定出所述第一眼角点对应的第一眼角空间点的第一三维位置信息和所述第二眼角点对应的第二眼角空间点的第二三维位置信息；
第一构建模块，被配置为基于所述第一三维位置信息、所述第二三维位置信息、第一数值、第二数值以及三次参数曲线方程，构建第一眼角约束，其中，所述第一数值和所述第二数值用于约束所述第一眼角约束中自变量的取值范围；
第二构建模块，被配置为基于所述三次参数曲线方程、每一图像采集设备的位姿信息和内参信息以及所述上眼睑点和/或所述下眼睑点的第三位置信息，构建上眼睑和/或下眼睑对应的重投影误差约束；
第三构建模块，被配置为基于所述重投影误差约束及所述第一眼角约束，构建用于表征所述目标眼睛的上眼睑和\或下眼睑的眼睑曲线。
由上述内容可知，本发明实施例提供的一种眼睑曲线的构建方法及装置，从多个图像采集设备在同一时刻针对目标对象进行拍摄时得到的每一脸部图像中，检测出该脸部图像中目标眼睛的第一眼角点的第一位置信息、第二眼角点的第二位置信息及眼睑点的第三位置信息，其中，眼睑点包括：多个上眼睑点和\或多个下眼睑点，目标眼睛为目标对象的左眼或右眼；基于每一图像采集设备的位姿信息和内参信息、第一位置信息及第二位置信息，确定出第一眼角点对应的第一眼角空间点的第一三维位置信息和第二眼角点对应的第二眼角空间点的第二三维位置信息；基于第一三维位置信息、第二三维位置信息、第一数值、第二数值以及三次参数曲线方程，构建第一眼角约束，其中，第一数值和第二数值用于约束第一眼角约束中自变量的取值范围；基于三次参数曲线方程、每一图像采集设备的位姿信息和内参信息以及上眼睑点和/或下眼睑点的第三位置信息，构建上眼睑和/或下眼睑对应的重投影误差约束；基于重投影误差约束及第一眼角约束，构建用于表征眼睛的上眼睑和\或下眼睑的眼睑曲线。
应用本发明实施例，通过多个图像采集设备同时针对目标对象拍摄得到包含目标对象的目标眼睛的脸部图像，从每一脸部图像中检测出其中目标眼睛的第一眼角点、第二眼角点和眼睑点的位置信息；基于每一脸部图像中目标眼睛的第一眼角点、第二眼角点和眼睑点的位置信息，以及图像采集设备的位姿信息和内参信息，可以准确地得到目标眼睛中具有明显语义特征的眼角点的三维位置信息，进而，基于第一三维位置信息、第二三维位置信息、第一数值、第二数值以及三次参数曲线方程，构建第一眼角约束；并利用三次参数曲线方程、每一眼睑点的第三位置信息及每一图像采集设备的位姿信息和内参信息，确定眼睑点对应的重投影误差约束，结合第一眼角约束和眼睑点对应的重投影误差约束，通过多约束条件，构建得到精确度较高的用于表征目标眼睛的上眼睑和\或下眼睑的眼睑曲线，实现对眼睛眼睑曲线的构建。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
本发明实施例的创新点包括：
1、通过多个图像采集设备同时针对目标对象拍摄得到包含目标对象的目标眼睛的脸部图像，从每一脸部图像中检测出其中目标眼睛的第一眼角点、第二眼角点和眼睑点的位置信息；基于每一脸部图像中目标眼睛的第一眼角点、第二眼角点和眼睑点的位置信息，以及图像采集设备的位姿信息和内参信息，可以准确地得到目标眼睛中具有明显语义特征的眼角点的三维位置信息，进而，基于第一三维位置信息、第二三维位置信息、第一数值、第二数值以及三次参数曲线方程，构建第一眼角约束；并利用三次参数曲线方程、每一眼睑点的第三位置信息及每一图像采集设备的位姿信息和内参信息，确定眼睑点对应的重投影误差约束，结合第一眼角约束和眼睑点对应的重投影误差约束，通过多约束条件，构建得到精确度较高的用于表征目标眼睛的上眼睑和\或下眼睑的眼睑曲线，实现对眼睛眼睑曲线的构建。
2、在目标眼睛的第一眼角约束和眼睑点对应的重投影误差约束的基础上，再结合基于眼睛结构所设置的预设眼角空间点与眼睑空间点的距离约束，构建用于表征眼睛的上眼睑和\或下眼睑的眼睑曲线，以在一定程度上有效的减少眼睑曲线构建过程中的异常情况，提高所构建眼睑曲线的准确性。
3、考虑到每一脸部图像中目标眼睛的眼睑点的有序性，针对每一脸部图像中目标眼睛的眼睑点，构建有序性约束，结合有序性约束、第一眼角约束及重投影误差约束，构建出准确性更高的用于表征目标眼睛的上眼睑和\或下眼睑的眼睑曲线。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的眼睑曲线的构建方法的一种流程示意图；
图2为所获得的脸部图像中包含的目标眼睛的一种示意图；
图3为本发明实施例提供的眼睑曲线的构建方法的另一种流程示意图；
图4为本发明实施例提供的眼睑曲线的构建装置的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明提供了一种眼睑曲线的构建方法及装置，以实现对眼睛的上下眼睑的眼睑曲线的构建。下面对本发明实施例进行详细说明。
图1为本发明实施例提供的眼睑曲线的构建方法的一种流程示意图。该方法可以包括以下步骤：
S101：从多个图像采集设备在同一时刻针对目标对象进行拍摄时所得的每一脸部图像中，识别出该脸部图像中目标眼睛的第一眼角点的第一位置信息、第二眼角点的第二位置信息及眼睑点的第三位置信息。其中，该眼睑点包括：多个上眼睑点和\或多个下眼睑点，目标眼睛为目标对象的左眼或右眼。
本发明实施例所提供的眼睑曲线的构建方法，可以应用于任意类型的电子设备，该电子设备可以为服务器或者终端设备。该电子设备与多个图像采集设备进行连接，可以获得多个图像采集设备所采集的图像和\或该图像采集设备从其所采集的图像中所识别出的图像识别结果。其中，该多个图像采集设备的图像采集区域存在重合区域，即该多个图像采集设备可以同时针对同一目标对象进行监控。该图像采集设备可以为摄像头以及相机等。该目标对象为包括眼睛的对象，例如人员。
在一种实现方式中，多个图像采集设备可以同时针对同一目标对象的脸部进行拍摄，即针对该同一目标对象的脸部采集图像，并将所采集的脸部图像发送至电子设备，其中，该脸部图像中包括目标对象的目标眼睛，该目标眼睛可以为目标对象的左眼或者右眼。该电子设备获得每一图像采集设备在同一时刻针对同一目标对象进行拍摄时所得的脸部图像；并对每一脸部图像进行检测，从每一脸部图像中，检测出该脸部图像中目标眼睛的第一眼角点的第一位置信息、第二眼角点的第二位置信息以及眼睑点的第三位置信息。
可以理解的是，不同图像采集设备采集图像的图像采集周期之间可能存在时间差，上述所述的在同一时刻针对目标对象进行拍摄时所得的脸部图像，可以指在多个图像采集设备在同一采集周期内进行拍摄时所得的脸部图像。该脸部图像可以为包含目标对象的左眼的脸部图像，也可以为包含目标对象右眼的脸部图像；在针对眼睛构建眼睑曲线时，可以利用包含目标对象的左眼的脸部图像，对目标对象的左眼构建眼睑曲线；并可以利用所获得的包含目标对象的右眼的脸部图像，对目标对象的右眼构建眼睑曲线。其中，本发明实施例中针对左眼构建眼睑曲线和针对右眼构建眼睑曲线的过程相同。后续描述的对目标眼睛的上眼睑和\或下眼睑的眼睑曲线的构建过程，既可以实现对左眼的眼睑曲线的构建，又可以实现对右眼的眼睑曲线的构建。
本步骤中，电子设备可以从每一脸部图像中识别出目标眼睛的各特征点所在位置，其中，目标眼睛中具有明显语义特征的特征点包括目标眼睛的左右眼角点；电子设备可以直接基于眼睛检测模型从每一脸部图像中，检测出该脸部图像中目标眼睛的第一眼角点的第一位置信息和第二眼角点的第二位置信息；进而，基于目标眼睛的第一位置信息和第二位置信息，从该目标眼睛的上眼睑取等分点或不等分点，得到多个上眼睑点及其第三位置信息；从该目标眼睛的下眼睑取等分点或不等分点，得到多个下眼睑点及其第三位置信息。
可以理解的是，眼睛中具有明显语义特征的特征点除了包括眼睛的左右眼角点，还包括眼睛的上下眼睑的等分眼睑点，而利用眼睛的上下眼睑的等分眼睑点，可以更好地构建出较准确的眼睛的上下眼睑的眼睑曲线。在一种情况中，从脸部图像中确定出目标眼睛的上下眼睑的等分眼睑点的方式，可以是：基于脸部图像的眼角点，以及人员手动随机标注的眼睑点，从确定出脸部图像中确定出目标眼睛的上下眼睑的等分眼睑点，具体的：
获得多个脸部图像；针对每一脸部图像，基于该脸部图像中目标眼睛的眼角点以及人员手动标注的上眼睑的眼睑点和三次样条差值算法，拟合出脸部图像中目标眼睛的上眼睑的第一曲线，并基于该脸部图像中目标眼睛的眼角点以及人员手动标注的下眼睑的眼睑点和三次样条差值算法，拟合出脸部图像中目标眼睛的下眼睑的第二曲线；针对每一脸部图像中目标眼睛，基于数据积分原理，对该脸部图像中目标眼睛的第一曲线进行积分，确定出第一曲线的曲线长度，作为第一曲线长度；对该脸部图像中目标眼睛的第二曲线进行积分，确定出第二的曲线长度，作为第二曲线长度；在该第一曲线和第二曲线密集取点，得到多个待利用眼睑点。
进而，利用第一曲线长度以及预设等分点数，确定出所需要标注的每相邻的两个等分上眼睑点之间的距离，其中，该每相邻的两个等分上眼睑点之间的距离等于第一曲线长度与预设等分点数的比值。后续的，从某一个眼角点处开始计算该眼角点与待利用眼睑点之间的距离，当确定出该眼角点某一待利用眼睑点之间的距离，为每相邻的两个等分上眼睑点之间的距离的整数倍，则可以确定该待利用眼睑点为等分上眼睑点。该整数倍可以是1倍到预设等分点数减1倍。或者，可以从某一个眼角点处开始计算该眼角点与待利用眼睑点之间的距离，当确定出该某一待利用眼睑点与该眼角点之间的距离为每相邻的两个等分上眼睑点之间的距离，则确定该待利用眼睑点为第一个等分上眼睑点，进而，以该第一个等分上眼睑点为起始位置，依次遍历该第一个等分上眼睑点之后的待利用眼睑点，在确定出某一待利用眼睑点与该第一个等分上眼睑点之间的距离为每相邻的两个等分上眼睑点之间的距离，则确定该待利用眼睑点为第二个等分上眼睑点，以此类推，确定出预设等分点数减1个等分上眼睑点。
同理的，利用第二曲线长度以及预设等分点数，确定出所需要标注的每相邻的两个等分下眼睑点之间的距离，其中，该每相邻的两个等分下眼睑点之间的距离等于第二曲线长度与预设等分点数的比值。后续的，可以从某一个眼角点处开始计算该眼角点与待利用眼睑点之间的距离，当确定出该眼角点某一待利用眼睑点之间的距离，为每相邻的两个等分下眼睑点之间的距离的整数倍，则可以确定该待利用眼睑点为等分下眼睑点。该整数倍可以是1倍到预设等分点数减1倍。或者，可以从某一个眼角点处开始计算该眼角点与待利用眼睑点之间的距离，当确定出该某一待利用眼睑点与该眼角点之间的距离为每相邻的两个等分下眼睑点之间的距离，则确定该待利用眼睑点为第一个等分下眼睑点，进而，以该第一个等分下眼睑点为起始位置，依次遍历该第一个等分下眼睑点之后的待利用眼睑点，在确定出某一待利用眼睑点与该第一个等分下眼睑点之间的距离为每相邻的两个等分下眼睑点之间的距离，则确定该待利用眼睑点为第二个等分下眼睑点，以此类推，确定出预设等分点数减1个等分下眼睑点，以得到每一脸部图像中目标眼睛的第一眼角点的第一位置信息、第二眼角点的第二位置信息及等分眼睑点的第三位置信息。
在另一种情况中，可以基于眼睛检测模型，从脸部图像中检测出目标眼睛的上下眼睑中的等分眼睑点，其中，训练得到该眼睛检测模型的过程，可以是：利用上述标注脸部图像中目标眼睛的上下眼睑的等分眼睑点的方式，标注样本人脸图像中眼睛的上下眼睑的等分眼睑点；进而，针对每一样本人脸图像，基于该样本人脸图像中眼睛的等分眼睑点和眼角点，从该人脸图像中截取出眼睛所在区域图像，得到标注有等分眼睑点和眼角点的样本眼睛图像；利用样本眼睛图像及其对应的标定信息，训练初始的眼睛检测模型，以得到上述眼睛检测模型，其中，标定信息包括所对应样本眼睛图像中的等分眼睑点和眼角点的位置信息。进而，利用该眼睛检测模型，从脸部图像中检测出目标眼睛的上下眼睑中的等分眼睑点。
上述利用样本眼睛图像及其对应的标定信息，训练初始的眼睛检测模型，以得到上述眼睛检测模型的过程中，可以首先对每一样本眼睛图像进行转正处理，得到转正图像，并对转正图像中包含左眼或右眼的转正图像进行镜像处理，得到镜像图像；对镜像图像以及未进行镜像的图像进行拼接，得到拼接图像，其中，转正处理为：使得该样本眼睛图像中的眼角点的位置信息中的纵坐标均相同的处理；基于每一镜像图像中等分眼睑点和眼角点的位置信息，更新每一镜像图像对应的标定信息包括的等分眼睑点和眼角点的位置信息；将每一拼接图像以及每一拼接图像对应的标定信息包括的等分眼睑点和标注眼角点的位置信息，输入初始的眼睛检测模型，以得到上述眼睛检测模型。
上述将每一拼接图像以及每一拼接图像对应的标定信息包括的等分眼睑点和标注眼角点的位置信息，输入初始的眼睛检测模型，以得到上述眼睛检测模型的过程，可以是：将每一拼接图像，以及每一拼接图像对应的标定信息包括的等分眼睑点和眼角点的位置信息及拼接图像对应的样本眼睛图像对应的实测偏差，输入初始的眼睛检测模型，以得到上述眼睛检测模型，其中，眼睛检测模型用于检测图像中眼睛的上下眼睑中的等分眼睑点和眼角点，并检测图像对应的实测偏差。
其中，上述眼睛检测模型可以直接从脸部图像中检测出合适数量的眼睛的上下眼睑中的等分眼睑点以及眼角点，例如50个上眼睑的等分眼睑点以及50个下眼睑的等分眼睑点。或者，上述预先训练的等分眼睑点检测模型可以从脸部图像中检测出小于合适数量的眼睛的上下眼睑中的等分眼睑点，进而，电子设备可以利用三次样条差值算法基于该小于合适数量的眼睛的上下眼睑中的等分眼睑点，拟合出眼睛的上下眼睑的曲线，进而，利用数据积分原理从眼睛的上下眼睑的曲线，确定出合适数量的眼睛的上下眼睑中的等分眼睑点，具体参见上述基于脸部图像中目标眼睛的眼角点，以及人员手动随机标注的眼睑点，从确定出脸部图像中确定出目标眼睛的上下眼睑的等分眼睑点的过程，在此不再赘述。
在一种情况中，电子设备中可以预先存储有所需检测出的上眼睑点的第一数量以及下眼睑点的第二数量。进而，电子设备检测出第一数量的上眼睑点和/或第二数据量的下眼睑点。
其中，该上眼睑点为脸部图像中目标眼睛的上眼睑上的特征点，该下眼睑点为脸部图像中目标眼睛的下眼睑上的特征点。该第一数量和第二数量可以相等，也可以不等。每一图像采集设备可以对应一组第一数量和第二数量，不同图像采集设备所对应的第一数量可以相等也可以不等，且图像采集设备所对应的第二数量可以相等也可以不等。该第一数量的第二数量的数值越大，所确定出的用于表征眼睛的上眼睑和\或下眼睑的眼睑曲线的精确度越高。
一种情况中，该眼睛检测模型可以为卷积神经网络模型、或DiscriminativeLocality Alignment(DLA)模型等。该眼睛检测模型的训练过程，可以参见相关技术中神经网络模型的训练过程，在此不再赘述。
在一种情况中，该多个图像采集设备可以为设置于车辆内部的图像采集设备，或针对道路中的行驶车辆进行监控的图像采集设备，这都是可以的。图像采集设备可以获得包含同一脸部的脸部图像，每一图像采集设备将采集得到的脸部图像直接发送至电子设备，电子设备获得每一图像采集设备在同一时刻采集的脸部图像之后，执行本发明实施例所提供的眼睑曲线的构建流程。
如图2所示，为所获得的脸部图像中目标眼睛的一种示意图。其中，该多个图像采集设备为3个图像采集设备，电子设备可以获得3个图像采集设备采集得到的脸部图像，如：共获得3个图像采集设备采集得到的三帧脸部图像中的目标眼睛，分别如图2所示。
S102：基于每一图像采集设备的位姿信息和内参信息、第一位置信息及第二位置信息，确定出第一眼角点对应的第一眼角空间点的第一三维位置信息和第二眼角点对应的第二眼角空间点的第二三维位置信息。
本步骤中，基于每一图像采集设备的位姿信息、内参信息以及各脸部图像中第一眼角点的第一位置信息，可以确定出第一眼角点对应的第一眼角空间点的第一三维位置信息；基于每一图像采集设备的位姿信息、内参信息以及各脸部图像中第二眼角点的第二位置信息，可以确定出第二眼角点对应的第二眼角空间点的第二三维位置信息。
在一种情况中，该第一眼角空间点的第一三维位置信息和第二眼角空间点的第二三维位置信息可以为：该多个图像采集设备中指定的图像采集设备o0的设备坐标系下的位置信息，也可以为世界坐标系下的位置信息，这都是可以的。
其中，上述指定的图像采集设备o0为该多个图像采集设备中的任一图像采集设备。例如：获得3个图像采集设备在同一时刻针对目标对象进行拍摄时所得的脸部图像，该3个图像采集设备分别为图像采集设备1、图像采集设备2以及图像采集设备3，该第一三维位置信息和第二三维位置信息可以为图像采集设备1的设备坐标系下的位置信息，即该图像采集设备1为指定的图像采集设备o0；该第一三维位置信息和第二三维位置信息也可以为图像采集设备2的设备坐标系下的位置信息，即该图像采集设备2为指定的图像采集设备o0；该第一三维位置信息和第二三维位置信息也可以为图像采集设备3的设备坐标系下的位置信息，即该图像采集设备3为指定的图像采集设备o0。
其中，图像采集设备的内参信息可以包括但不限于：图像采集设备的横轴方向上每个像素点的长度，纵轴方向上的每个像素点的长度，焦距，像主点的位置信息以及缩放因数等，像主点为光轴与像平面的交点。图像采集设备的位姿信息可以包括：图像采集设备采集到的脸部图像时的位置和姿态。
一种情况，该多个图像采集设备的位姿可以是固定的，该多个图像采集设备的位姿信息以及内参信息可以预先通过标定算法标定得到，该标定算法可以为张正友标定法。另一种情况，该多个图像采集设备的位姿可以是非固定的，相应的，每一图像采集设备的内参信息以及初始的位姿信息可以预先通过标定算法标定得到，该标定算法可以为张正友标定法。后续的，图像采集设备的后续的位姿信息可以通过初始的位姿信息以及图像采集设备对应的定位传感器所采集的定位传感器数据确定得到。该定位传感器包括但不限于：IMU(Inertial measurement unit，惯性测量单元)、惯性导航系统以及轮速传感器等。
S103：基于第一三维位置信息、第二三维位置信息、第一数值、第二数值以及三次参数曲线方程，构建第一眼角约束。其中，第一数值和第二数值用于约束第一眼角约束中自变量的取值范围。第一数值小于第二数值。
可以理解的是，可以分别针对目标对象的目标眼睛的上下眼睑，预先设置用于表征目标眼睛的上眼睑的三次参数曲线方程和用于表征目标眼睛的下眼睑的三次参数曲线方程，其中，构建用于表征目标眼睛的上眼睑的眼睑曲线和目标眼睛的下眼睑的眼睑曲线的过程相似，后续的，以构建用于表征目标眼睛的上眼睑的眼睑曲线的过程为例进行说明。
本步骤中，针对目标眼睛的上眼睑，所设置的三次参数曲线方程可以表示为公式(1)：
Figure BDA0002376954770000121
其中，该a1、a2、a3、a4、b1、b2、b3、b4、c1、c2、c3和c4分别为所需求得的系数，t为自变量，(x，y，z)表示三次曲线上的点的空间坐标，即曲线上的点的三维位置信息，即目标眼睛的上眼睑上的上眼睑点的空间坐标。
将第一三维位置信息和第二三维位置信息代入预设的曲线方程中，可以构建出如下约束；
具体的，可以表示为公式(2)：
Figure BDA0002376954770000122
其中，(x0，y0，z0)表示目标眼睛的第一眼角点对应的第一眼角空间点的第一三维位置信息，(x1，y1，z1)表示目标眼睛的第二眼角点对应的第二眼角空间点的第二三维位置信息。
可以理解的是，目标眼睛的第一眼角点和第二眼角点均既存在于脸部图像中目标眼睛的上眼睑又存在于目标眼睛的下眼睑。通过上述约束即公式(2)所表示的约束可以同时约束目标眼睛的上眼睑曲线又可以约束目标眼睛的下眼睑曲线。
通过上述公式(2)为可以表示出目标眼睛的上眼睑的眼睑曲线对应的曲线方程，只需要求解出上述a1、a2、a3、a4、b1、b2、b3、b4、c1、c2、c3和c4十二个系数，以及从脸部图像中所检测出目标眼睛的上眼睑点对应的自变量等待求解参数的具体取值，即可得到表征目标眼睛的上眼睑的眼睑曲线。为了便于求解上述待求解参数，可以预先设置公式(2)的自变量的取值范围，例如公式(2)的自变量的取值范围可以设置最小为第一数值，最大为第二数值。鉴于眼睛的上眼睑点均位于眼睛的第一眼角点和第二眼角点之间，且眼睛的下眼睑点均位于眼睛的第一眼角点和第二眼角点之间，可以设置眼睛的第一眼角点对应的曲线方程中的自变量t的取值为第一数值t01，眼睛的第二眼角点对应的曲线方程中的自变量t的取值为第二数值t02。
相应的，第一眼角约束可以通过如下公式(3)表示：
Figure BDA0002376954770000123
在一种情况中，为了便于计算，可以设置上述第一数值t01为0，上述第二数值t02为1。相应的，将t01＝0，且t02＝1代入公式(3)，得到如下公式(4)，即第一眼角约束可以通过如下公式(4)表示；
Figure BDA0002376954770000131
相应的，公式(4)变形为(5)：
Figure BDA0002376954770000132
限定t01取值为0，t02取值为1，可以将上述待求解参数中的系数从12个减少为6个，即从a1、a2、a3、a4、b1、b2、b3、b4、c1、c2、c3和c412个系数，减少为a1、a2、b1、b2、c1和c26个系数，减少了上述待求解参数中所需求解的系数的个数，在一定程度上可以降低后续的眼睛的眼睑曲线的构建流程的计算量。其中，通过上述公式(5)可以确定：每一系数均可以通过目标眼睛的第一眼角点对应的第一眼角空间点的第一三维位置信息，和/或目标眼睛的第二眼角点对应的第二眼角空间点的第二三维位置信息表示。
S104：基于三次参数曲线方程、每一图像采集设备的位姿信息和内参信息以及上眼睑点和/或下眼睑点的第三位置信息，构建上眼睑和/或下眼睑对应的重投影误差约束。
本发明实施例中，基于三次参数曲线方程可以构建出每一眼睑点的三维位置信息，进而，基于每一上眼睑点的三维位置信息以及每一图像采集设备的位姿信息和内参信息，可以构建上眼睑点对应的重投影误差约束；和/或，基于每一下眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，可以构建上眼睑点对应的重投影误差约束。具体的在一种实现方式中，所述S104，可以包括步骤01-02：
01：利用三次参数曲线方程以及上眼睑点和/或下眼睑点的第三位置信息，构建上眼睑点和/或下眼睑点对应的第三三维位置信息。
02：基于上眼睑点和/或下眼睑点对应的第三三维位置信息、上眼睑点和/或下眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，构建上眼睑和/或下眼睑对应的重投影误差约束。
以构建用于表征目标眼睛的上眼睑的眼睑曲线的过程为例进行说明，可以通过tji表示第j个脸部图像中目标眼睛的第i个上眼睑点，其中，i可以取[1，Mj]中的正整数，Mj表示第j个脸部图像中目标眼睛的上眼睑点的第一数量，j可以取[1，n]中的正整数，n表示脸部图像的数量。利用三次参数曲线方程，构建得到的目标眼睛的每一上眼睑点对应的上眼睑空间点的第三三维位置信息，可以表示为公式(6)：
Figure BDA0002376954770000141
其中，
Figure BDA0002376954770000142
表示目标眼睛的上眼睑点tj,i对应的上眼睑空间点的第三三维位置信息。
若该第一三维位置信息和第二三维位置信息为该多个图像采集设备中指定的图像采集设备o0的设备坐标系下的位置信息，上眼睑点tj,i对应的上眼睑空间点的第三三维位置信息为图像采集设备o0的设备坐标系下的位置信息。若第一三维位置信息和第二三维位置信息为世界坐标系下的位置信息，上眼睑点tj,i对应的上眼睑空间点的第三三维位置信息为世界坐标系下的位置信息。
在一种实现方式中，该02，可以包括如下步骤：
基于每一图像采集设备的位姿信息和内参信息，确定每两个图像采集设备的设备坐标系之间的转换关系；
针对每一脸部图像，基于该脸部图像中目标眼睛的每一上眼睑点对应的第三三维位置信息以及每两个图像采集设备的设备坐标系之间的转换关系，确定出目标眼睛的每一上眼睑点所对应空间点在该脸部图像中的投影点的第四位置信息；并基于目标眼睛的每一上眼睑点的第三位置信息，和该上眼睑点所对应空间点在该上眼睑点所在脸部图像中的投影点的第四位置信息，确定出上眼睑对应的重投影误差约束；和/或
针对每一脸部图像，基于该脸部图像中目标眼睛的每一下眼睑点对应的第三三维位置信息以及每两个图像采集设备的设备坐标系之间的转换关系，确定出目标眼睛的每一下眼睑点所对应空间点在该脸部图像中的投影点的第五位置信息；并基于目标眼睛的每一下眼睑点的第三位置信息，和该下眼睑点所对应空间点在该下眼睑点所在脸部图像中的投影点的第五位置信息，确定出下眼睑对应的重投影误差约束；
或者，该02，可以包括如下步骤：
基于每一图像采集设备的位姿信息，确定每一图像采集设备与世界坐标系之间的位置转换关系；
针对每一脸部图像，基于该脸部图像中目标眼睛的每一上眼睑点对应的第三三维位置信息以及该脸部图像对应的图像采集设备的位置转换关系和内参信息，确定出目标眼睛的每一上眼睑点所对应空间点在该脸部图像中的投影点的第四位置信息；并基于目标眼睛的每一上眼睑点的第三位置信息，和该上眼睑点所对应空间点在该上眼睑点所在脸部图像中的投影点的第四位置信息，确定出上眼睑对应的重投影误差约束；和/或
针对每一脸部图像，基于该脸部图像中的目标眼睛的每一下眼睑点对应的第三三维位置信息以及该脸部图像对应的图像采集设备的位置转换关系和内参信息，确定出目标眼睛的每一下眼睑点所对应空间点在该脸部图像中的投影点的第五位置信息；并基于目标眼睛的每一下眼睑点的第三位置信息，和该下眼睑点所对应空间点在该下眼睑点所在脸部图像中的投影点的第五位置信息，确定出下眼睑对应的重投影误差约束。
以构建用于表征目标眼睛的上眼睑的眼睑曲线的过程为例进行说明，在确定出每两个图像采集设备的设备坐标系之间的转换关系之后，可以针对每一脸部图像，基于该脸部图像中目标眼睛的每一上眼睑点对应的上眼睑空间点的第三三维位置信息，以及每两个图像采集设备的设备坐标系之间的转换关系，确定出该脸部图像中目标眼睛的每一上眼睑点对应的上眼睑空间点在每一脸部图像中的投影点的第四位置信息。
具体的，可以是：针对指定的图像采集设备o0而言，眼睛的每一上眼睑点对应的上眼睑空间点的第三三维位置信息为：在该图像采集设备o0的设备坐标系下的位置信息，可以直接基于图像采集设备o0的内参信息，构建图像采集设备o0的设备坐标系与图像坐标系之间的映射关系，作为第一映射关系；进而基于该第一映射关系，将该指定的图像采集设备o0所采集的脸部图像中目标眼睛的每一上眼睑点对应的第三三维位置信息，转换至图像采集设备o0的图像坐标系下，得到该指定的图像采集设备o0所采集的脸部图像中目标眼睛的每一上眼睑点对应的空间点，在图像采集设备o0所采集的脸部图像中的投影点的第四位置信息。
针对其他图像采集设备oq而言，可以首先从每两个图像采集设备的设备坐标系之间的转换关系中，确定该其他图像采集设备oq的设备坐标系与图像采集设备o0的设备坐标系之间的转换关系，作为待利用转换关系；基于该待利用转换关系，将该其他图像采集设备oq所采集的脸部图像中目标眼睛的每一上眼睑点对应的第三三维位置信息，从图像采集设备o0的设备坐标系下，转换至该其他图像采集设备oq的设备坐标系下，得到该其他图像采集设备oq所采集的脸部图像中目标眼睛的每一上眼睑点对应的第四三维位置信息；进而，基于该其他图像采集设备oq的内参信息，构建该其他图像采集设备oq的设备坐标系与图像坐标系之间的映射关系，作为该其他图像采集设备oq对应的映射关系；基于该其他图像采集设备oq对应的映射关系，将该其他图像采集设备oq所采集的脸部图像中目标眼睛的每一上眼睑点对应的第四三维位置信息，转换至该其他图像采集设备oq的图像坐标系下，得到该其他图像采集设备oq所采集的脸部图像中目标眼睛的每一上眼睑点对应的上眼睑点空间点，在该其他图像采集设备oq所采集的脸部图像中目标眼睛的投影点的第四位置信息。其中，q表示该其他图像采集设备中的第q个其他图像采集设备，q可以取[1，g-1]，g表示多个图像采集设备的数量。
后续的，可以基于每一脸部图像中目标眼睛的每一上眼睑点对应的上眼睑点空间点在该脸部图像中的投影点的第四位置信息以及该上眼睑点的第三位置信息，构建上眼睑点对应的重投影误差约束。
以构建用于表征目标眼睛的上眼睑的眼睑曲线的过程为例进行说明，第一眼角空间点和第二眼角空间点所在的坐标系为世界坐标系的情况下，电子设备可以基于每一图像采集设备的位姿信息，确定每一图像采集设备与世界坐标系之间的位置转换关系；进而，针对每一脸部图像，基于该脸部图像中目标眼睛的每一上眼睑点对应的第三三维位置信息以及该脸部图像对应的图像采集设备的位置转换关系，将目标眼睛的每一上眼睑点对应的空间点从世界坐标系，转换至该脸部图像对应的图像采集设备的设备坐标系下，进而，结合该脸部图像对应的图像采集设备的内参信息，确定出目标眼睛的每一上眼睑点所对应空间点在该脸部图像中的投影点的第四位置信息；进一步计算目标眼睛的上眼睑对应的重投影误差约束。
相应的，在构建用于表征目标眼睛的下眼睑的眼睑曲线的过程中，电子设备可以基于每一图像采集设备的位姿信息，确定每一图像采集设备与世界坐标系之间的位置转换关系；进而，针对每一脸部图像，基于该脸部图像中目标眼睛的每一下眼睑点对应的第三三维位置信息以及该脸部图像对应的图像采集设备的位置转换关系，将目标眼睛的每一下眼睑点对应的空间点从世界坐标系，转换至该脸部图像对应的图像采集设备的设备坐标系下，进而，结合该脸部图像对应的图像采集设备的内参信息，确定出目标眼睛的每一下眼睑点所对应空间点在该脸部图像中的投影点的第四位置信息；进一步计算目标眼睛的下眼睑对应的重投影误差约束。
以构建用于表征目标眼睛的上眼睑的眼睑曲线的过程为例进行说明，该上眼睑点对应的重投影误差约束，可以表示为公式(7)：
Figure BDA0002376954770000161
其中，Mj表示第j个脸部图像中目标眼睛的上眼睑点的第一数量，(uj,i，vj,i)表示第j个脸部图像中目标眼睛的第i个上眼睑点的第三位置信息；(u′j,i，v′j,i)表示第j个脸部图像中目标眼睛的第i个上眼睑点对应的上眼睑点空间点，在该第j个脸部图像中的投影点的第四位置信息，可以通过采集得到第j个脸部图像的图像采集设备的位姿信息和内参信息以及
Figure BDA0002376954770000162
计算得到。
S105：基于重投影误差约束及第一眼角约束，构建用于表征目标眼睛的上眼睑和\或下眼睑的眼睑曲线。
本步骤中，电子设备可以基于目标眼睛的上眼睑点对应的重投影误差约束及第一眼角约束，构建用于表征目标眼睛的上眼睑的眼睑曲线；和\或可以基于目标眼睛的下眼睑点对应的重投影误差约束及第一眼角约束，构建用于表征目标眼睛的下眼睑的眼睑曲线。
后续的，可以基于该表征目标眼睛的上下眼睑的眼睑曲线可以绘制出该目标眼睛的上下眼睑。
以构建用于表征目标眼睛的上眼睑的眼睑曲线的过程为例进行说明。通过公式(5)、(6)和(7)，可以构建出a1、a2、b1、b2、c1和c2，以及从脸部图像中所检测出的目标眼睛的上眼睑点所对应自变量tj,i待求解参数的最小二乘问题的第一优化目标方程，其中，该第一优化目标方程可以通过如下公式(8)表示：
Figure BDA0002376954770000171
其中，P1表示第一优化目标方程的值，k表示a1、a2、b1、b2、c1和c2，以及从脸部图像中所检测出的目标眼睛的上眼睑点所对应自变量tj,i待求解参数，f1j,i表示第j个脸部图像中目标眼睛的第i个上眼睑点对应的重投影误差，可以通过如下公式(9)表示：
Figure BDA0002376954770000172
利用预设非线性优化算法，求解使得上述公式(8)达到预设收敛条件时，a1、a2、b1、b2、c1和c2，以及从脸部图像中所检测出的眼睛的上眼睑点所对应自变量tj,i等待求解参数的具体取值，得到从脸部图像中所检测出的目标眼睛的上眼睑点对应的眼睑空间点的三维位置信息，进而，基于目标眼睛的上眼睑点对应的眼睑空间点的三维位置信息，以及该目标眼睛的第一眼角空间点的第一三维位置信息和第二眼角空间点的第二三维位置信息，得到目标眼睛的上眼睑的眼睑曲线。
其中，预设收敛条件可以为：上眼睑点对应的重投影误差约束的值不大于预设误差阈值。上述预设非线性优化算法可以包括但不限于：线搜索方法(Line Search Methods)和信任域方法(Trust Region Methods)，其中，信任域方法中使用的最典型的算法可以为Levenberg-Marquardt。
对于求解得到用于表征目标眼睛的下眼睑的眼睑曲线的过程，可以参见上述求解得到用于表征目标眼睛的上眼睑的眼睑曲线的过程，在此不再赘述。相应的，解决得到用于表征目标眼睛的下眼睑的眼睑曲线的过程中，上述预设收敛条件可以为：下眼睑点对应的重投影误差约束的值不大于预设误差阈值。
可以理解的是，电子设备在针对目标对象的目标眼睛构建眼睑曲线的过程中，可以串行针对目标对象的左眼的上下眼睑以及右眼的上下眼睑构建其眼睑曲线；举例而言：电子设备可以首先基于上述流程，针对包含目标对象的左眼的每一脸部图像进行检测，得到包含目标对象的左眼的每一脸部图像中左眼的第一眼角点的第一位置信息、第二眼角点的第二位置信息及眼睑点的第三位置信息，进而，基于第一眼角点的第一位置信息、第二眼角点的第二位置信息以及上眼睑的眼睑点的第三位置信息，针对左眼的上眼睑构建其眼睑曲线；再基于第一眼角点的第一位置信息、第二眼角点的第二位置信息以及下眼睑的眼睑点的第三位置信息，针对左眼的下眼睑构建其眼睑曲线。之后，电子设备可以首先基于上述流程，针对包含目标对象的右眼的每一脸部图像进行检测，得到包含目标对象的右眼的每一脸部图像中左眼的第一眼角点的第一位置信息、第二眼角点的第二位置信息及眼睑点的第三位置信息；进而基于第一眼角点的第一位置信息、第二眼角点的第二位置信息以及上眼睑的眼睑点的第三位置信息，针对目标对象的右眼的上眼睑构建其眼睑曲线，再基于第一眼角点的第一位置信息、第二眼角点的第二位置信息以及下眼睑的眼睑点的第三位置信息，针对目标对象的右眼的下眼睑构建其眼睑曲线。上述仅作为串行针对包含目标对象的眼睛的上眼睑或下眼睑，构建其对应的眼睑曲线的示例，本发明实施例并不限定对包含目标对象的左右眼的上下眼睑的眼睑曲线的构建的具体顺序。
另一种情况，电子设备可以基于上述流程，并行针对包含目标对象的目标眼睛的上眼睑或下眼睑，构建其对应的眼睑曲线；例如：电子设备通过其包含的处理器1基于上述流程针对包含目标对象的左眼的上眼睑构建其眼睑曲线；同时，通过其包含的处理器2基于上述流程针对包含目标对象的左眼的下眼睑构建其眼睑曲线；同时，通过其包含的处理器3基于上述流程针对包含目标对象的右眼的上眼睑构建其眼睑曲线；同时，通过其包含的处理器4基于上述流程针对包含目标对象的右眼的下眼睑构建其眼睑曲线。其中，处理器1、处理器2、处理器3和处理器4分别为电子设备包括的不同的处理器。
应用本发明实施例，通过多个图像采集设备同时针对目标对象拍摄得到包含目标对象的目标眼睛的脸部图像，从每一脸部图像中检测出其中目标眼睛的第一眼角点、第二眼角点和眼睑点的位置信息；基于每一脸部图像中目标眼睛的第一眼角点、第二眼角点和眼睑点的位置信息，以及图像采集设备的位姿信息和内参信息，可以准确地得到目标眼睛中具有明显语义特征的眼角点的三维位置信息，进而，基于第一三维位置信息、第二三维位置信息、第一数值、第二数值以及三次参数曲线方程，构建第一眼角约束；并利用三次参数曲线方程、每一眼睑点的第三位置信息及每一图像采集设备的位姿信息和内参信息，确定眼睑点对应的重投影误差约束，结合第一眼角约束和眼睑点对应的重投影误差约束，通过多约束条件，构建得到精确度较高的用于表征目标眼睛的上眼睑和\或下眼睑的眼睑曲线，实现对眼睛眼睑曲线的构建。
并且，本发明实施例中，利用三次参数曲线方程构建眼睛的上下眼睑的眼睑曲线可以实现在保证不引入巨大计算量的同时，可以更加细腻地抽象出眼睛的空间形态，即可以更加准确的表征出眼睛的上下眼睑的形状。
在本发明的另一实施例中，所述S105，可以包括如下步骤：获得预设眼角空间点与眼睑空间点的距离约束；基于重投影误差约束、第一眼角约束及预设眼角空间点与眼睑空间点的距离约束，构建用于表征目标眼睛的上眼睑和\或下眼睑的眼睑曲线。
其中，上述预设眼角空间点与眼睑空间点的距离约束为：用于限定目标眼睛的第一眼角空间点、第二眼角空间点与眼睑空间点之间的位置关系的约束条件。在一种实现方式中，参照眼睛结构，该预设眼角空间点与眼睑空间点的距离约束，可以包括：目标眼睛的眼角空间点的中点到眼睑空间点的距离，不大于二分之一倍的该目标眼睛的眼角空间点之间的距离的约束；目标眼睛的眼角空间点包括：第一眼角空间点和第二眼角空间点。在一种情况中，以构建用于表征目标眼睛的上眼睑的眼睑曲线的过程为例进行说明，该预设眼角空间点与眼睑空间点的距离约束可以通过如下公式(10)表示：
Figure BDA0002376954770000191
其中，(x0，y0，z0)表示目标眼睛的第一眼角点对应的第一眼角空间点的第一三维位置信息，(x1，y1，z1)表示目标眼睛的第二眼角点对应的第二眼角空间点的第二三维位置信息，(x2，y2，z2)表示目标眼睛的第一眼角空间点与第二眼角空间点的中点的三维位置信息，其中，
Figure BDA0002376954770000192
Figure BDA0002376954770000193
Figure BDA0002376954770000194
表示目标眼睛的上眼睑点tj,i对应的上眼睑空间点的第三三维位置信息。
以构建用于表征目标眼睛的上眼睑的眼睑曲线的过程为例进行说明。通过公式(5)、(6)、(7)和(10)，可以构建出a1、a2、b1、b2、c1和c2，以及从脸部图像中所检测出的目标眼睛的上眼睑点所对应自变量tj,i待求解参数的最小二乘问题的第二优化目标方程，其中，该第二优化目标方程可以通过如下公式(11)表示：
Figure BDA0002376954770000195
其中，P2表示第二优化目标方程的值，f1j,i与公式(8)中的f1j,i相同，k与公式(8)中的k相同；f2j,i(a1,a2,b1,b2,c1,c2,tj,i)表示第j个脸部图像中目标眼睛的第i个上眼睑点对应的距离约束的表达，可以通过如下公式(12)表示：
Figure BDA0002376954770000196
其中，dj,i表示二分之一倍的目标眼睛的第一眼角空间点和第二眼角空间点的距离，可以表示为
Figure BDA0002376954770000197
rj,i表示目标眼睛的眼角空间点的中点到目标眼睛的上眼睑点tji对应的上眼睑空间点的距离，可以表示为
Figure BDA0002376954770000198
利用预设非线性优化算法，求解使得上述公式(11)达到预设收敛条件时，a1、a2、b1、b2、c1和c2，以及从脸部图像中所检测出的眼睛的上眼睑点所对应自变量tj,i等待求解参数的具体取值，得到从脸部图像中所检测出的目标眼睛的上眼睑点对应的眼睑空间点的三维位置信息，进而，基于目标眼睛的上眼睑点对应的眼睑空间点的三维位置信息，以及该目标眼睛的第一眼角空间点的第一三维位置信息和第二眼角空间点的第二三维位置信息，得到目标眼睛的上眼睑的眼睑曲线。
在本发明的另一实施例中，在S105之前，所述方法还可以包括：
基于每一脸部图像中上眼睑点的有序性，针对每一脸部图像中上眼睑点，构建第一有序性约束；和/或基于每一脸部图像中下眼睑点的有序性，针对每一脸部图像中下眼睑点，构建第二有序性约束；
相应的，所述S105，具体包括：基于第一有序性约束和/或第二有序性约束、重投影误差约束及第一眼角约束，构建用于表征眼睛的上眼睑和\或下眼睑的眼睑曲线。
可以理解的是，在脸部图像中，所识别出的目标眼睛的眼睑点均存在有序性，其中，在脸部图像中所识别出的目标眼睛的上眼睑点之间存在有序性，在脸部图像中所识别出的目标眼睛的下眼睑点之间存在有序性。本实施例中，为了确定出准确性更高的用于表征目标眼睛的上眼睑和\或下眼睑的眼睑曲线。可以在基于上眼睑和/或下眼睑对应的重投影误差约束、第一眼角约束以及预设眼角空间点与眼睑空间点的距离约束，构建用于表征目标眼睛的上眼睑和\或下眼睑的眼睑曲线的前提下，继续结合所构建的有序性约束，共同构建用于表征目标眼睛的上眼睑和\或下眼睑的眼睑曲线。
以构建用于表征目标眼睛的上眼睑的眼睑曲线的过程为例进行说明。第j个脸部图像中的目标眼睛的上眼睑点之间的有序性约束可以表示为：
Figure BDA0002376954770000201
Figure BDA0002376954770000202
其中，当t01＝0，且t02＝1时，公式(13)可以变形为：
Figure BDA0002376954770000203
Figure BDA0002376954770000204
以构建用于表征目标眼睛的上眼睑的眼睑曲线的过程为例进行说明。通过公式(5)、(6)、(7)和(14)，可以构建出a1、a2、b1、b2、c1和c2，以及从脸部图像中所检测出的目标眼睛的上眼睑点所对应自变量tj,i待求解参数的最小二乘问题的第三优化目标方程，其中，该第三优化目标方程可以通过如下公式(15)表示：
Figure BDA0002376954770000205
其中，P3表示第三优化目标方程的值，k与公式(8)中的k相同，f1j,i与公式(8)中的f1j,i相同。f3j,i为第j个脸部图像中目标眼睛的第i个上眼睑点对应的有序性的表达，可以通过如下公式(16)表示：
Figure BDA0002376954770000206
其中，tj,i-1表示第j个脸部图像中目标眼睛的第i个上眼睑点的前一个上眼睑点对应的自变量。
利用预设非线性优化算法，求解使得上述公式(15)达到预设收敛条件时，a1、a2、b1、b2、c1和c2，以及从脸部图像中所检测出的眼睛的上眼睑点所对应自变量tj,i等待求解参数的具体取值，得到从脸部图像中所检测出的目标眼睛的上眼睑点对应的眼睑空间点的三维位置信息，进而，基于目标眼睛的上眼睑点对应的眼睑空间点的三维位置信息，以及该目标眼睛的第一眼角空间点的第一三维位置信息和第二眼角空间点的第二三维位置信息，得到目标眼睛的上眼睑的眼睑曲线。
在本发明的另一实施例中，如图3所示，所述方法可以包括如下步骤：
S301：从多个图像采集设备在同一时刻针对同一目标对象进行拍摄时所得的每一脸部图像中，检测出该脸部图像中目标眼睛的第一眼角点的第一位置信息、第二眼角点的第二位置信息及眼睑点的第三位置信息。
其中，该眼睑点包括：多个上眼睑点和\或多个下眼睑点，目标眼睛为目标对象的左眼或右眼。
S302：基于每一图像采集设备的位姿信息和内参信息、第一位置信息及第二位置信息，确定出第一眼角点对应的第一眼角空间点的第一三维位置信息和第二眼角点对应的第二眼角空间点的第二三维位置信息。
S303：基于第一三维位置信息、第二三维位置信息、第一数值、第二数值以及三次参数曲线方程，构建第一眼角约束。
其中，第一数值和第二数值用于约束第一眼角约束中自变量的取值范围。
S304：基于三次参数曲线方程、每一图像采集设备的位姿信息和内参信息以及上眼睑点和/或下眼睑点的第三位置信息，构建上眼睑和/或下眼睑对应的重投影误差约束。
S305：基于每一脸部图像中目标眼睛的上眼睑点的有序性，针对每一脸部图像中目标眼睛的上眼睑点，构建第一有序性约束；
S306：基于每一脸部图像中目标眼睛的下眼睑点的有序性，针对每一脸部图像中目标眼睛的下眼睑点，构建第二有序性约束；
S307：获得预设眼角空间点与眼睑空间点的距离约束。
S307：基于第一有序性约束、第二有序性约束、重投影误差约束、第一眼角约束以及预设眼角空间点与眼睑空间点的距离约束，构建用于表征目标眼睛的上眼睑和下眼睑的眼睑曲线。
其中，该S301与图1中所示的S101相同，该S302与图1中所示的S102相同，该S303与图1中所示的S103相同，该S304与图1中所示的S104相同，在此不再赘述。
本发明实施例中，可以结合第一有序性约束、第二有序性约束、重投影误差约束、第一眼角约束以及预设眼角空间点与眼睑空间点的距离约束，共同构建用于表征目标眼睛的上眼睑和下眼睑的眼睑曲线，以提高用于表征目标眼睛的上眼睑和下眼睑的眼睑曲线的准确性。
以构建用于表征目标眼睛的上眼睑的眼睑曲线的过程为例进行说明。通过公式(5)、(6)、(7)、(10)和(14)，可以构建出a1、a2、b1、b2、c1和c2，以及从脸部图像中所检测出的目标眼睛的上眼睑点所对应自变量tj,i待求解参数的最小二乘问题的第四优化目标方程，其中，该第四优化目标方程可以通过如下公式(17)表示：
Figure BDA0002376954770000221
其中，P4表示第四优化目标方程的值，k与公式(8)中的k相同，f1j,i公式(8)中的f1j,i相同，f2j,i与公式(8)中的f2j,i相同，f3j,i与公式(15)中的f3j,i相同。
利用预设非线性优化算法，求解使得上述公式(17)达到预设收敛条件时，a1、a2、b1、b2、c1和c2，以及从脸部图像中所检测出的眼睛的上眼睑点所对应自变量tj,i等待求解参数的具体取值，得到从脸部图像中所检测出的目标眼睛的上眼睑点对应的眼睑空间点的三维位置信息，进而，基于目标眼睛的上眼睑点对应的眼睑空间点的三维位置信息，以及该目标眼睛的第一眼角空间点的第一三维位置信息和第二眼角空间点的第二三维位置信息，得到目标眼睛的上眼睑的眼睑曲线。
在另一种实现方式中，所述方法可以包括如上步骤S301-S305、S307以及S309，其中，S309具体为基于第一有序性约束、重投影误差约束、第一眼角约束以及预设眼角空间点与眼睑空间点的距离约束，构建用于表征眼睛的上眼睑的眼睑曲线。在另一种实现方式中，所述方法可以包括如上步骤S301-S304、S306、S307以及S310，其中，S310具体为基于第二有序性约束、重投影误差约束、第一眼角约束以及预设眼角空间点与眼睑空间点的距离约束，构建用于表征眼睛的下眼睑的眼睑曲线。
在本发明的另一实施例中，在确定出用于表征目标眼睛的上眼睑的眼睑曲线和用于表征目标眼睛的下眼睑的眼睑曲线之后，可以基于该确定出的用于表征目标眼睛的上眼睑的眼睑曲线和用于表征目标眼睛的下眼睑的眼睑曲线，确定出该目标眼睛的上下眼睑之间的距离，进而确定出该目标眼睛的开闭距离。具体的，在所述S105之后，所述方法还可以包括如下步骤021：
021：基于用于表征目标眼睛的上眼睑的眼睑曲线和用于表征目标眼睛的下眼睑的眼睑曲线，确定出目标眼睛的当前开闭长度。
一种情况中，该计算目标眼睛的当前开闭长度的过程中，可以是：将用于表征目标眼睛的上眼睑的眼睑曲线和用于表征目标眼睛的下眼睑的眼睑曲线之间的最大距离；作为目标眼睛的当前开闭长度。具体的，可以是：分别从用于表征目标眼睛的上眼睑的眼睑曲线和用于表征目标眼睛的下眼睑的眼睑曲线中，选取出所对应横轴坐标值相同，且所对应纵轴坐标值相等的点对，针对每一点对，计算该两点之间的距离，确定出所计算距离最大的点对，作为目标点对，将该目标点对之间的距离作为该最大距离，作为目标眼睛的当前开闭长度。或者可以是：基于该用于表征目标眼睛的上眼睑的眼睑曲线和下眼睑的眼睑曲线，积分得到上眼睑和下眼睑的眼睑长度，基于上眼睑和下眼睑的眼睑长度，确定得到上眼睑的二等分点以及下眼睑的二等分点，即该用于表征目标眼睛的上眼睑的空间眼睑曲线的中心点，作为第一中心点；并从用于表征目标眼睛的下眼睑的眼睑曲线方程中选取二等分点，即该用于表征目标眼睛的下眼睑的空间眼睑曲线的中心点，作为第二中心点；计算第一中心点和第二中心点之间的距离，作为最大距离，作为目标眼睛的当前开闭长度，等。
后续的，考虑到人员处于疲劳状态时，一般会闭眼，或眼睛的开闭长度即眼睛的上下眼睑之间的距离小于一定阈值。鉴于此，基于该用于表征眼睛的上眼睑的眼睑曲线和下眼睑的眼睑曲线，确定眼睛的开闭长度，可以为后续的对人员的疲劳状态的确定提供基础。通过用于表征上眼睑的眼睑曲线和用于表征下眼睑的眼睑曲线，可以确定出更加准确的眼睛的开闭长度，即眼睛开闭的物理长度，进而，结合时间维度，可以更加灵活、准确地监控得到眼睛对应眼睛的疲劳程度。相应的，该眼睑曲线的构建流程可以应用于智能交通领域的疲劳驾驶检测技术中。
在本发明的另一实施例中，在所述021之后，所述方法还可以包括如下步骤022和023：022：获得在预设时长内所确定出的目标眼睛的历史开闭长度以及目标对象的另一眼睛的当前开闭长度和历史开闭长度；
023：基于目标眼睛的当前开闭长度和历史开闭长度以及所述目标对象的另一眼睛的当前开闭长度和历史开闭长度，确定得到目标眼睛对应的人员的疲劳程度。
本实施例中，在确定出目标对象的目标眼睛和另一眼睛的当前开闭距离之后，可以结合时间维度信息，即该目标对象的双眼的历史开闭长度，确定目标对象的疲劳程度。
其中，为了保证所确定出的目标对象的疲劳程度的及时性，电子设备可以获得多个图像采集设备在当前时刻采集的脸部图像，即该脸部图像为各图像采集设备在当前时刻所采集的脸部图像。
可以理解的是，电子设备本地或所连接的存储设备中，可以存储有该目标眼睛的历史开闭长度以及目标对象的另一眼睛的当前开闭长度和历史开闭长度，在计算得到双眼的当前开闭长度之后，电子设备可以从相应的存储位置处获得该眼睛的历史开闭长度。其中，该目标眼睛的历史开闭长度为：基于该多个图像采集设备所采集的该脸部图像之前的脸部图像，所确定得到的该目标眼睛的开闭长度。
在一种情况中，确定得到目标对象的疲劳程度的过程，可以是：针对目标对象的每一眼睛，将该眼睛的每一开闭长度与预设长度阈值进行比较，获得比较结果，其中，开闭长度包括当前开闭长度以及历史开闭长度；统计得到表征开闭长度小于预设长度阈值的比较结果的第一结果数量；基于每一眼睛的当前开闭长度以及历史开闭长度的总数量和第一结果数量，确定得到目标对象的疲劳程度。
具体的，电子设备获得预先设置的预设长度阈值，并将每一开闭长度与预设长度阈值进行比较，以比较每一开闭长度与预设长度阈值的大小，得到比较结果；进而，统计得到表征开闭长度小于预设长度阈值的比较结果的数量，作为第一结果数量；后续的，基于目标对象的双眼的当前开闭长度以及历史开闭长度的总数量和第一结果数量，确定得到目标对象的疲劳程度。其中，该基于每一眼睛的当前开闭长度以及历史开闭长度的总数量和第一结果数量，确定得到目标对象的疲劳程度的过程，可以是：计算每一眼睛对应的第一结果数量和总数量的比值，若至少一只眼睛的比值大于预设比值，则确定目标对象的疲劳程度为疲劳；若两只眼睛的比值均不大于预设比值，则确定目标对象的疲劳程度为不疲劳；或若两只眼睛的比值大于预设比值，则确定目标对象的疲劳程度为疲劳；若至少一只眼睛的比值均不大于预设比值，则确定目标对象的疲劳程度为不疲劳。也可以是：计算每一眼睛对应的总数量和第一结果数量的差值，若至少一只眼睛的该差值小于预设差值，则确定目标对象的疲劳程度为疲劳；若两只眼睛的该差值不小于预设差值，则确定目标对象的疲劳程度为不疲劳；或若两只眼睛的该差值小于预设差值，则确定目标对象的疲劳程度为疲劳；若至少一只眼睛的该差值不小于预设差值，则确定目标对象的疲劳程度为不疲劳。
另一种实现方式中，在统计得到每一眼睛的表征开闭长度小于预设长度阈值的比较结果的第一结果数量之后，可以直接将该第一数量与预设数量进行比较，若至少一只眼睛的该第一结果数量大于该预设数量，则确定目标对象的疲劳程度为疲劳；若两只眼睛的该第一结果数量不大于该预设数量，则确定目标对象的疲劳程度为不疲劳；或若两只眼睛的该第一结果数量大于该预设数量，则确定目标对象的疲劳程度为疲劳；若至少一只眼睛的该第一结果数量不大于该预设数量，则确定目标对象的疲劳程度为不疲劳。
本发明实施例中，为了在一定程度上减少因疲劳驾驶所导致的车祸的情况的发生，在确定出目标对象的疲劳程度为疲劳的情况下，可以生成告警信息，以提示用户眼睛对应的人员处于疲劳状态，以便用户可以针对该种情况采取相应措施，以在一定程度上减少因疲劳驾驶所导致的车祸的情况的发生。
鉴于通过用于表征目标眼睛的上眼睑的眼睑曲线和用于表征目标眼睛的下眼睑的眼睑曲线，可以确定出更加准确的目标眼睛的开闭长度。一种情况，可以利用该通过用于表征目标眼睛的上眼睑的眼睑曲线和用于表征目标眼睛的下眼睑的眼睑曲线，所确定的目标眼睛的开闭长度，对其他的眼睛的开闭长度的检测方法所确定出的眼睛的开闭长度结果进行校验，以确定该其他的眼睛的开闭长度的确定方法所确定出的眼睛的开闭长度结果是否准确，进而，检测该其他的眼睛的开闭长度的确定方法是否可行。另一种情况，还可以利用该通过用于表征目标眼睛的上眼睑的眼睑曲线和用于目标眼睛的表征下眼睑的眼睑曲线所确定的目标眼睛的开闭长度，以及相应的脸部图像，作为训练用于检测眼睛开闭长度的神经网络模型的训练数据，以训练得到可以准确得到图像中眼睛的开闭长度的神经网络模型。这都是可以的。
相应于上述方法实施例，本发明实施例提供了一种眼睑曲线的构建装置，如图4所示，所述装置包括：
识别模块410，被配置为从多个图像采集设备在同一时刻针对目标对象进行拍摄时所得的每一脸部图像中，检测出该脸部图像中目标眼睛的第一眼角点的第一位置信息、第二眼角点的第二位置信息及眼睑点的第三位置信息，其中，所述眼睑点包括：多个上眼睑点和\或多个下眼睑点，所述目标眼睛为所述目标对象的左眼或右眼；
第一确定模块420，被配置为基于每一所述图像采集设备的位姿信息和内参信息、所述第一位置信息及所述第二位置信息，确定出所述第一眼角点对应的第一眼角空间点的第一三维位置信息和所述第二眼角点对应的第二眼角空间点的第二三维位置信息；
第一构建模块430，被配置为基于所述第一三维位置信息、所述第二三维位置信息、第一数值、第二数值以及三次参数曲线方程，构建第一眼角约束，其中，所述第一数值和所述第二数值用于约束所述第一眼角约束中自变量的取值范围；
第二构建模块440，被配置为基于所述三次参数曲线方程、每一图像采集设备的位姿信息和内参信息以及所述上眼睑点和/或所述下眼睑点的第三位置信息，构建上眼睑和/或下眼睑对应的重投影误差约束；
第三构建模块450，被配置为基于所述重投影误差约束及所述第一眼角约束，构建用于表征所述目标眼睛的上眼睑和\或下眼睑的眼睑曲线。
应用本发明实施例，通过多个图像采集设备同时针对目标对象拍摄得到包含目标对象的目标眼睛的脸部图像，从每一脸部图像中检测出其中目标眼睛的第一眼角点、第二眼角点和眼睑点的位置信息；基于每一脸部图像中目标眼睛的第一眼角点、第二眼角点和眼睑点的位置信息，以及图像采集设备的位姿信息和内参信息，可以准确地得到目标眼睛中具有明显语义特征的眼角点的三维位置信息，进而，基于第一三维位置信息、第二三维位置信息、第一数值、第二数值以及三次参数曲线方程，构建第一眼角约束；并利用三次参数曲线方程、每一眼睑点的第三位置信息及每一图像采集设备的位姿信息和内参信息，确定眼睑点对应的重投影误差约束，结合第一眼角约束和眼睑点对应的重投影误差约束，通过多约束条件，构建得到精确度较高的用于表征目标眼睛的上眼睑和\或下眼睑的眼睑曲线，实现对眼睛眼睑曲线的构建。
在本发明的另一实施例中，所述第三构建模块450，被具体配置为获得预设眼角空间点与眼睑空间点的距离约束；基于所述重投影误差约束、所述第一眼角约束及所述预设眼角空间点与眼睑空间点的距离约束，构建用于表征所述目标眼睛的上眼睑和\或下眼睑的眼睑曲线。
在本发明的另一实施例中，所述预设眼角空间点与眼睑空间点的距离约束，包括：目标眼睛的眼角空间点的中点到眼睑空间点的距离，不大于二分之一倍的该目标眼睛的眼角空间点之间的距离；所述目标眼睛的眼角空间点包括：所述第一眼角空间点和所述第二眼角空间点。
在本发明的另一实施例中，所述装置还可以包括：第四构建模块(图中未示出)，被配置为在所述基于所述重投影误差约束及所述第一眼角约束，构建用于表征所述目标眼睛的上眼睑和\或下眼睑的眼睑曲线之前，基于每一脸部图像中目标眼睛的上眼睑点的有序性，针对每一脸部图像中目标眼睛的上眼睑点，构建第一有序性约束；
和/或第五构建模块(图中未示出)，被配置为基于每一脸部图像中目标眼睛的下眼睑点的有序性，针对每一脸部图像中目标眼睛的下眼睑点，构建第二有序性约束；
所述第三构建模块450，被具体配置为基于所述第一有序性约束和/或所述第二有序性约束、所述重投影误差约束及所述第一眼角约束，构建用于表征所述目标眼睛的上眼睑和\或下眼睑的眼睑曲线。
在本发明的另一实施例中，所述第二构建模块440，包括：第一构建单元(图中未示出)，被配置为利用所述三次参数曲线方程以及所述上眼睑点和/或所述下眼睑点的第三位置信息，构建所述上眼睑点和/或所述下眼睑点对应的第三三维位置信息；
第二构建单元(图中未示出)，被配置为基于所述上眼睑点和/或所述下眼睑点对应的第三三维位置信息、所述上眼睑点和/或所述下眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，构建上眼睑和/或下眼睑对应的重投影误差约束。
在本发明的另一实施例中，所述第二构建单元，被具体配置为基于每一图像采集设备的位姿信息和内参信息，确定每两个图像采集设备的设备坐标系之间的转换关系；
针对每一脸部图像，基于该脸部图像中目标眼睛的每一上眼睑点对应的第三三维位置信息以及每两个图像采集设备的设备坐标系之间的转换关系，确定出所述目标眼睛的每一上眼睑点所对应空间点在该脸部图像中的投影点的第四位置信息；并基于所述目标眼睛的每一上眼睑点的第三位置信息，和该上眼睑点所对应空间点在该上眼睑点所在脸部图像中的投影点的第四位置信息，确定出上眼睑对应的重投影误差约束；和/或
针对每一脸部图像，基于该脸部图像中目标眼睛的每一下眼睑点对应的第三三维位置信息以及每两个图像采集设备的设备坐标系之间的转换关系，确定出所述目标眼睛的每一下眼睑点所对应空间点在该脸部图像中的投影点的第五位置信息；并基于所述目标眼睛的每一下眼睑点的第三位置信息，和该下眼睑点所对应空间点在该下眼睑点所在脸部图像中的投影点的第五位置信息，确定出下眼睑对应的重投影误差约束；
或者，所述第二构建单元，被具体配置为基于每一图像采集设备的位姿信息，确定每一图像采集设备与世界坐标系之间的位置转换关系；
针对每一脸部图像，基于该脸部图像中目标眼睛的每一上眼睑点对应的第三三维位置信息以及该脸部图像对应的图像采集设备的位置转换关系和内参信息，确定出所述目标眼睛的每一上眼睑点所对应空间点在该脸部图像中的投影点的第四位置信息；并基于所述目标眼睛的每一上眼睑点的第三位置信息，和该上眼睑点所对应空间点在该上眼睑点所在脸部图像中的投影点的第四位置信息，确定出上眼睑对应的重投影误差约束；
和/或针对每一脸部图像，基于该脸部图像中的目标眼睛的每一下眼睑点对应的第三三维位置信息以及该脸部图像对应的图像采集设备的位置转换关系和内参信息，确定出所述目标眼睛的每一下眼睑点所对应空间点在该脸部图像中的投影点的第五位置信息；并基于所述目标眼睛的每一下眼睑点的第三位置信息，和该下眼睑点所对应空间点在该下眼睑点所在脸部图像中的投影点的第五位置信息，确定出下眼睑对应的重投影误差约束。
在本发明的另一实施例中，所述装置还包括：第二确定模块(图中未示出)，被配置为在所述基于所述重投影误差约束及所述第一眼角约束，构建用于表征所述目标眼睛的上眼睑和\或下眼睑的眼睑曲线之后，基于用于表征所述目标眼睛的上眼睑的眼睑曲线和用于表征所述目标眼睛的下眼睑的眼睑曲线，确定出所述目标眼睛的当前开闭长度。
在本发明的另一实施例中，所述装置还包括：
获得模块(图中未示出)，被配置为在所述基于用于表征所述目标眼睛的上眼睑的眼睑曲线和用于表征所述目标眼睛的下眼睑的眼睑曲线，确定出所述目标眼睛的当前开闭长度之后，获得在预设时长内所确定出的所述目标眼睛的历史开闭长度以及所述目标对象的另一眼睛的当前开闭长度和历史开闭长度；
第三确定模块(图中未示出)，被配置为基于所述目标眼睛的所述当前开闭长度和所述历史开闭长度，以及所述目标对象的另一眼睛的当前开闭长度和历史开闭长度，确定得到所述目标眼睛对应的人员的疲劳程度。
上述装置、系统实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种眼睑曲线的构建方法，其特征在于，所述方法包括：
从多个图像采集设备在同一时刻针对目标对象进行拍摄时所得的每一脸部图像中，检测出该脸部图像中目标眼睛的第一眼角点的第一位置信息、第二眼角点的第二位置信息及眼睑点的第三位置信息，其中，所述眼睑点包括：多个上眼睑点和\或多个下眼睑点，所述目标眼睛为所述目标对象的左眼或右眼；
基于每一所述图像采集设备的位姿信息和内参信息、所述第一位置信息及所述第二位置信息，确定出所述第一眼角点对应的第一眼角空间点的第一三维位置信息和所述第二眼角点对应的第二眼角空间点的第二三维位置信息；
基于所述第一三维位置信息、所述第二三维位置信息、第一数值、第二数值以及三次参数曲线方程，构建第一眼角约束，其中，所述第一数值和所述第二数值用于约束所述第一眼角约束中自变量的取值范围；
基于所述三次参数曲线方程、每一图像采集设备的位姿信息和内参信息以及所述上眼睑点和/或所述下眼睑点的第三位置信息，构建上眼睑和/或下眼睑对应的重投影误差约束；
基于所述重投影误差约束及所述第一眼角约束，构建用于表征所述目标眼睛的上眼睑和\或下眼睑的眼睑曲线。
2.如权利要求1所述的方法，其特征在于，所述基于所述重投影误差约束和所述第一眼角约束，构建用于表征所述目标眼睛的上眼睑和\或下眼睑的眼睑曲线的步骤，包括：
获得预设眼角空间点与眼睑空间点的距离约束；
基于所述重投影误差约束、所述第一眼角约束及所述预设眼角空间点与眼睑空间点的距离约束，构建用于表征所述目标眼睛的上眼睑和\或下眼睑的眼睑曲线。
3.如权利要求2所述的方法，其特征在于，所述预设眼角空间点与眼睑空间点的距离约束为：目标眼睛的眼角空间点的中点到眼睑空间点的距离，不大于二分之一倍的该目标眼睛的眼角空间点之间的距离；所述目标眼睛的眼角空间点包括：所述第一眼角空间点和所述第二眼角空间点。
4.如权利要求1所述的方法，其特征在于，在所述基于所述重投影误差约束及所述第一眼角约束，构建用于表征所述目标眼睛的上眼睑和\或下眼睑的眼睑曲线的步骤之前，所述方法还包括：
基于每一脸部图像中目标眼睛的上眼睑点的有序性，针对每一脸部图像中目标眼睛的上眼睑点，构建第一有序性约束；和/或
基于每一脸部图像中目标眼睛的下眼睑点的有序性，针对每一脸部图像中目标眼睛的下眼睑点，构建第二有序性约束；
所述基于所述重投影误差约束及所述第一眼角约束，构建用于表征所述目标眼睛的上眼睑和\或下眼睑的眼睑曲线的步骤，包括：
基于所述第一有序性约束和/或所述第二有序性约束、所述重投影误差约束及所述第一眼角约束，构建用于表征所述目标眼睛的上眼睑和\或下眼睑的眼睑曲线。
5.如权利要求1-4任一项所述的方法，其特征在于，所述基于所述三次参数曲线方程、每一图像采集设备的位姿信息和内参信息以及所述上眼睑点和/或所述下眼睑点的第三位置信息，构建上眼睑和/或下眼睑对应的重投影误差约束的步骤，包括：
利用所述三次参数曲线方程以及所述上眼睑点和/或所述下眼睑点的第三位置信息，构建所述上眼睑点和/或所述下眼睑点对应的第三三维位置信息；
基于所述上眼睑点和/或所述下眼睑点对应的第三三维位置信息、所述上眼睑点和/或所述下眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，构建上眼睑和/或下眼睑对应的重投影误差约束。
6.如权利要求5所述的方法，其特征在于，所述基于所述上眼睑点和/或所述下眼睑点对应的第三三维位置信息、所述上眼睑点和/或所述下眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，构建上眼睑和/或下眼睑对应的重投影误差约束的步骤，通过如下两种实现方式中的任一种方式实现：
第一种实现方式：
基于每一图像采集设备的位姿信息和内参信息，确定每两个图像采集设备的设备坐标系之间的转换关系；
针对每一脸部图像，基于该脸部图像中目标眼睛的每一上眼睑点对应的第三三维位置信息以及每两个图像采集设备的设备坐标系之间的转换关系，确定出所述目标眼睛的每一上眼睑点所对应空间点在该脸部图像中的投影点的第四位置信息；并基于所述目标眼睛的每一上眼睑点的第三位置信息，和该上眼睑点所对应空间点在该上眼睑点所在脸部图像中的投影点的第四位置信息，确定出上眼睑对应的重投影误差约束；和/或
针对每一脸部图像，基于该脸部图像中目标眼睛的每一下眼睑点对应的第三三维位置信息以及每两个图像采集设备的设备坐标系之间的转换关系，确定出所述目标眼睛的每一下眼睑点所对应空间点在该脸部图像中的投影点的第五位置信息；并基于所述目标眼睛的每一下眼睑点的第三位置信息，和该下眼睑点所对应空间点在该下眼睑点所在脸部图像中的投影点的第五位置信息，确定出下眼睑对应的重投影误差约束；
第二种实现方式：
基于每一图像采集设备的位姿信息，确定每一图像采集设备与世界坐标系之间的位置转换关系；
针对每一脸部图像，基于该脸部图像中目标眼睛的每一上眼睑点对应的第三三维位置信息以及该脸部图像对应的图像采集设备的位置转换关系和内参信息，确定出所述目标眼睛的每一上眼睑点所对应空间点在该脸部图像中的投影点的第四位置信息；并基于所述目标眼睛的每一上眼睑点的第三位置信息，和该上眼睑点所对应空间点在该上眼睑点所在脸部图像中的投影点的第四位置信息，确定出上眼睑对应的重投影误差约束；和/或
针对每一脸部图像，基于该脸部图像中的目标眼睛的每一下眼睑点对应的第三三维位置信息以及该脸部图像对应的图像采集设备的位置转换关系和内参信息，确定出所述目标眼睛的每一下眼睑点所对应空间点在该脸部图像中的投影点的第五位置信息；并基于所述目标眼睛的每一下眼睑点的第三位置信息，和该下眼睑点所对应空间点在该下眼睑点所在脸部图像中的投影点的第五位置信息，确定出下眼睑对应的重投影误差约束。
7.如权利要求1-6任一项所述的方法，其特征在于，在所述基于所述重投影误差约束及所述第一眼角约束，构建用于表征所述目标眼睛的上眼睑和\或下眼睑的眼睑曲线的步骤之后，所述方法还包括：
基于用于表征所述目标眼睛的上眼睑的眼睑曲线和用于表征所述目标眼睛的下眼睑的眼睑曲线，确定出所述目标眼睛的当前开闭长度。
8.如权利要求7所述的方法，其特征在于，在所述基于用于表征所述目标眼睛的上眼睑的眼睑曲线和用于表征所述目标眼睛的下眼睑的眼睑曲线，确定出所述目标眼睛的当前开闭长度的步骤之后，所述方法还包括：
获得在预设时长内所确定出的所述目标眼睛的历史开闭长度以及所述目标对象的另一眼睛的当前开闭长度和历史开闭长度；
基于所述目标眼睛的所述当前开闭长度和所述历史开闭长度，以及所述目标对象的另一眼睛的当前开闭长度和历史开闭长度，确定得到所述目标眼睛对应的人员的疲劳程度。
9.一种眼睑曲线的构建装置，其特征在于，所述装置包括：
识别模块，被配置为从多个图像采集设备在同一时刻针对目标对象进行拍摄时所得的每一脸部图像中，检测出该脸部图像中目标眼睛的第一眼角点的第一位置信息、第二眼角点的第二位置信息及眼睑点的第三位置信息，其中，所述眼睑点包括：多个上眼睑点和\或多个下眼睑点，所述目标眼睛为所述目标对象的左眼或右眼；
第一确定模块，被配置为基于每一所述图像采集设备的位姿信息和内参信息、所述第一位置信息及所述第二位置信息，确定出所述第一眼角点对应的第一眼角空间点的第一三维位置信息和所述第二眼角点对应的第二眼角空间点的第二三维位置信息；
第一构建模块，被配置为基于所述第一三维位置信息、所述第二三维位置信息、第一数值、第二数值以及三次参数曲线方程，构建第一眼角约束，其中，所述第一数值和所述第二数值用于约束所述第一眼角约束中自变量的取值范围；
第二构建模块，被配置为基于所述三次参数曲线方程、每一图像采集设备的位姿信息和内参信息以及所述上眼睑点和/或所述下眼睑点的第三位置信息，构建上眼睑和/或下眼睑对应的重投影误差约束；
第三构建模块，被配置为基于所述重投影误差约束及所述第一眼角约束，构建用于表征所述目标眼睛的上眼睑和\或下眼睑的眼睑曲线。
10.如权利要求9所述的装置，其特征在于，所述第三构建模块，被具体配置为
获得预设眼角空间点与眼睑空间点的距离约束；
基于所述重投影误差约束、所述第一眼角约束及所述预设眼角空间点与眼睑空间点的距离约束，构建用于表征所述目标眼睛的上眼睑和\或下眼睑的眼睑曲线。
CN202010069906.4A 2020-01-21 2020-01-21 一种眼睑曲线的构建方法及装置 Active CN113221599B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010069906.4A CN113221599B (zh) 2020-01-21 2020-01-21 一种眼睑曲线的构建方法及装置
DE112020003169.1T DE112020003169T5 (de) 2020-01-21 2020-10-16 Verfahren und Vorrichtung zum Erstellen einer Augenlidkurve
PCT/CN2020/121379 WO2021147392A1 (zh) 2020-01-21 2020-10-16 一种眼睑曲线的构建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010069906.4A CN113221599B (zh) 2020-01-21 2020-01-21 一种眼睑曲线的构建方法及装置

Publications (2)

Publication Number Publication Date
CN113221599A true CN113221599A (zh) 2021-08-06
CN113221599B CN113221599B (zh) 2022-06-10

Family

ID=76991912

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010069906.4A Active CN113221599B (zh) 2020-01-21 2020-01-21 一种眼睑曲线的构建方法及装置

Country Status (3)

Country Link
CN (1) CN113221599B (zh)
DE (1) DE112020003169T5 (zh)
WO (1) WO2021147392A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627355A (zh) * 2021-08-13 2021-11-09 合众新能源汽车有限公司 用于偏航旋转的人脸的测距方法、设备和计算机可读介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102362291A (zh) * 2009-04-02 2012-02-22 爱信精机株式会社 脸部特征点检测装置及程序
CN108229301A (zh) * 2017-11-03 2018-06-29 北京市商汤科技开发有限公司 眼睑线检测方法、装置和电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4529635B2 (ja) * 2004-10-22 2010-08-25 日産自動車株式会社 開閉眼判定装置
CN104036299B (zh) * 2014-06-10 2018-06-19 电子科技大学 一种基于局部纹理aam的人眼轮廓跟踪方法
CN110135315B (zh) * 2019-05-07 2023-04-07 厦门稿定股份有限公司 基于人眼关键点的眼瞳替换方法及装置
CN110956067B (zh) * 2019-05-26 2022-05-17 魔门塔(苏州)科技有限公司 一种人眼眼睑曲线的构建方法及装置
CN110956071B (zh) * 2019-06-21 2022-06-03 魔门塔(苏州)科技有限公司 眼部关键点的标注及其检测模型的训练方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102362291A (zh) * 2009-04-02 2012-02-22 爱信精机株式会社 脸部特征点检测装置及程序
CN108229301A (zh) * 2017-11-03 2018-06-29 北京市商汤科技开发有限公司 眼睑线检测方法、装置和电子设备

Also Published As

Publication number Publication date
DE112020003169T5 (de) 2022-03-24
CN113221599B (zh) 2022-06-10
WO2021147392A1 (zh) 2021-07-29

Similar Documents

Publication Publication Date Title
CN110956067B (zh) 一种人眼眼睑曲线的构建方法及装置
CN110136199B (zh) 一种基于摄像头的车辆定位、建图的方法和装置
RU2730687C1 (ru) Стереоскопическая система обнаружения пешеходов с двухпоточной нейронной сетью с глубоким обучением и способы ее применения
CN102149325B (zh) 视线方向判定装置及视线方向判定方法
CN106339006B (zh) 一种飞行器的目标跟踪方法和装置
CN111856963B (zh) 一种基于车载环视系统的泊车仿真方法及装置
JP6197388B2 (ja) 距離測定装置、距離測定方法、およびプログラム
CN104766059B (zh) 快速精确的人眼定位方法及基于人眼定位的视线估计方法
CN106355147A (zh) 一种活体人脸检测头部姿态回归器的获取方法及检测方法
JP2020061128A5 (zh)
WO2020180620A1 (en) Identifying parking location using single camera reverse projection
CN112347205B (zh) 一种车辆误差状态的更新方法和装置
CN105785989A (zh) 利用行进中机器人标定分布式网络摄像机的系统和相关方法
JP2021531601A (ja) ニューラルネットワーク訓練、視線検出方法及び装置並びに電子機器
EP4386676A1 (en) Method and apparatus for calibrating cameras and inertial measurement unit, and computer device
CN113221599B (zh) 一种眼睑曲线的构建方法及装置
CN110956071A (zh) 眼部关键点的标注及其检测模型的训练方法和装置
CN111160220A (zh) 一种基于深度学习的包裹检测方法、装置、存储介质
CN115273005A (zh) 一种基于改进yolo算法的视觉导航车环境感知方法
JP2014092922A (ja) 検出装置、検出方法及び検出プログラム
CN104112281B (zh) 使用高光谱成像跟踪对象的方法
TW201537510A (zh) 以機率方式計算爲基礎之３ｄ環車影像系統及其獲得方法
CN106874855A (zh) 头肩区域定位方法及装置
CN103810700B (zh) 基于深度图像利用遮挡信息确定下一最佳观测方位的方法
CN110400333A (zh) 教练式双目立体视觉装置及高精度立体视觉图像获取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211129

Address after: 215100 floor 23, Tiancheng Times Business Plaza, No. 58, qinglonggang Road, high speed rail new town, Xiangcheng District, Suzhou, Jiangsu Province

Applicant after: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

Address before: Room 601-a32, Tiancheng information building, No. 88, South Tiancheng Road, high speed rail new town, Xiangcheng District, Suzhou City, Jiangsu Province

Applicant before: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant