CN112132084B - 基于深度学习的眼部微表情分析方法和系统 - Google Patents

基于深度学习的眼部微表情分析方法和系统 Download PDF

Info

Publication number
CN112132084B
CN112132084B CN202011051733.XA CN202011051733A CN112132084B CN 112132084 B CN112132084 B CN 112132084B CN 202011051733 A CN202011051733 A CN 202011051733A CN 112132084 B CN112132084 B CN 112132084B
Authority
CN
China
Prior art keywords
eye
target object
micro
expression
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011051733.XA
Other languages
English (en)
Other versions
CN112132084A (zh
Inventor
王鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Squirrel Classroom Artificial Intelligence Technology Co Ltd
Original Assignee
Shanghai Squirrel Classroom Artificial Intelligence Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Squirrel Classroom Artificial Intelligence Technology Co Ltd filed Critical Shanghai Squirrel Classroom Artificial Intelligence Technology Co Ltd
Priority to CN202011051733.XA priority Critical patent/CN112132084B/zh
Publication of CN112132084A publication Critical patent/CN112132084A/zh
Application granted granted Critical
Publication of CN112132084B publication Critical patent/CN112132084B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Ophthalmology & Optometry (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了基于深度学习的眼部微表情分析方法和系统，其通过对目标对象进行连续拍摄而得到的若干脸部图像进行识别，以此获得目标对象的眼部坐标信息动态变化情况，并根据该眼部坐标信息动态变化情况确定目标对象的眼睛张合状态信息，确定若干图像与不同预设微表情之间的关联程度，最后对目标对象在拍摄期间的整体表情进行量化评价，以确定目标对象的实际微表情状态，其通过动态脸部图像分析的方式，确定目标对象眼部区域的动作变化情况，从而对目标对象的眼部微表情进行精确的和客观的识别确定和快速地判断目标对象的实时情绪状态。

Description

基于深度学习的眼部微表情分析方法和系统
技术领域
本发明涉及智能脸部识别的技术领域，特别涉及基于深度学习的眼部微表情分析方法和系统。
背景技术
目前，脸部识别技术基本上是局限于对人脸的五官特征进行识别，从而确定目标对象的身份信息，这种脸部识别技术广泛应用于信息安全领域。但是，现有的脸部识别技术只能对人脸的五官特征进行静态识别，其无法对人脸的五官、特别是眼睛在连续动作的情况下进行有效的识别，这导致该脸部识别技术无法正确地识别目标对象的眼部微表情，从而严重地制约脸部识别技术的应用范围和无法通过准确地识别目标对象的眼部微表情来判断目标对象的实时情绪状态。可见，现有技术需要能够对目标对象的眼部微表情进行精确的和客观的识别分析的方法。
发明内容
针对现有技术存在的缺陷，本发明提供基于深度学习的眼部微表情分析方法和系统，其通过对目标对象进行若干次拍摄，以此对应获得所述目标对象的若干脸部图像，并从该脸部图像中识别得到该目标对象的眼部轮廓信息，再根据该眼部轮廓信息，确定该目标对象的眼部坐标信息，并根据该脸部图像对应的该眼部坐标信息，确定该目标对象在所述脸部图像中对应的眼睛张合状态信息，再根据该眼睛张合状态信息，确定不同脸部图像与不同预设微表情之间的关联程度信息，再根据该关联程度信息，确定该目标对象在拍摄期间的整体微表情评价值，再根据该整体微表情评价值，确定该目标对象的实际微表情状态；可见，该基于深度学习的眼部微表情分析方法和系统能够通过对目标对象进行连续拍摄而得到的若干脸部图像进行识别，以此获得目标对象的眼部坐标信息动态变化情况，并根据该眼部坐标信息动态变化情况确定目标对象的眼睛张合状态信息，确定若干图像与不同预设微表情之间的关联程度，最后对目标对象在拍摄期间的整体表情进行量化评价，以确定目标对象的实际微表情状态，其通过动态脸部图像分析的方式，确定目标对象眼部区域的动作变化情况，从而对目标对象的眼部微表情进行精确的和客观的识别确定和快速地判断目标对象的实时情绪状态。
本发明提供基于深度学习的眼部微表情分析方法，其特征在于，其包括如下步骤：
步骤S1，对目标对象进行若干次拍摄，以此对应获得所述目标对象的若干脸部图像，并从所述脸部图像中识别得到所述目标对象的眼部轮廓信息，再根据所述眼部轮廓信息，确定所述目标对象的眼部坐标信息；
步骤S2，根据所述脸部图像对应的所述眼部坐标信息，确定所述目标对象在所述脸部图像中对应的眼睛张合状态信息，再根据所述眼睛张合状态信息，确定不同脸部图像与不同预设微表情之间的关联程度信息；
步骤S3，根据所述关联程度信息，确定所述目标对象在拍摄期间的整体微表情评价值，再根据所述整体微表情评价值，确定所述目标对象的实际微表情状态；
进一步，在所述步骤S1中，对目标对象进行若干次拍摄，以此对应获得所述目标对象的若干脸部图像，并从所述脸部图像中识别得到所述目标对象的眼部轮廓信息，再根据所述眼部轮廓信息，确定所述目标对象的眼部坐标信息具体包括：
步骤S101，按照预设拍摄频率对所述目标对象的脸部区域进行连续的若干次拍摄，以此对应获得若干所述脸部图像；
步骤S102，获取所述脸部图像对应的图像轮廓信息，并根据所述图像轮廓信息，确定所述目标对象的眼部轮廓信息；
步骤S103，根据所述眼部轮廓信息，确定所述目标对象的眼部在所述脸部图像中对应的形状和位置，以此确定所述目标对象的眼部坐标信息；
进一步，在所述步骤S2中，根据所述脸部图像对应的所述眼部坐标信息，确定所述目标对象在所述脸部图像中对应的眼睛张合状态信息，再根据所述眼睛张合状态信息，确定不同脸部图像与不同预设微表情之间的关联程度信息具体包括：
步骤S201，根据所述眼部坐标信息和下面公式(1)，确定所述目标对象在所述脸部图像中对应的眼睛张合幅度值：
Figure BDA0002709774450000031
在上述公式(1)中，Zi表示所述目标对象的第i个眼睛的眼睛张合幅度值，
Figure BDA0002709774450000032
表示所述目标对象的第i个眼睛靠近耳朵一侧的眼角的坐标值，
Figure BDA0002709774450000033
表示所述目标对象的第i个眼睛中眼球上与耳朵距离最近的眼球部位的切线与上眼睑相交点的坐标值，
Figure BDA0002709774450000034
表示所述目标对象的第i个眼睛中眼球上与鼻梁距离最近的眼球部位的切线与上眼睑相交点的坐标值，
Figure BDA0002709774450000035
表示所述目标对象的第i个眼睛靠近鼻梁一侧的眼角的坐标值，
Figure BDA0002709774450000036
表示所述目标对象的第i个眼睛中眼球与耳朵距离最近的眼球部位的切线与下眼睑相交点的坐标值，
Figure BDA0002709774450000037
表示所述目标对象的第i个眼睛中眼球上与鼻梁距离最近的眼球部位的切线与下眼睑相交点的坐标值，当i＝1时、第1个眼睛表示所述目标对象的左眼，当i＝2时、第2个眼睛表示所述目标对象的右眼；
步骤S202，根据所述眼睛张合幅度值和下面公式(2)，确定不同脸部图像与不同预设微表情之间的关联程度大小值：
Figure BDA0002709774450000038
在上述公式(2)中，Wa,b表示第b个脸部图像与第a个预设微表情之间的关联程度大小值，Ja表示第a个微表情结果的特征值，Ja＝|Z1,a-Z2,a|；|Z1,a-Z2,a|表示预设的所述第a个微表情的左眼与右眼之间的眼睛张合幅度差值的绝对值；Z1,a表示预设的所述第a个微表情的左眼的眼睛张合幅度；Z2,a表示预设的所述第a个微表情的右眼的眼睛张合幅度；|Z1-Z2|b表示第b个脸部图像中所述目标对象的左眼与右眼之间的眼睛张合幅度差值的绝对值；
进一步，在所述步骤S3中，根据所述关联程度信息，确定所述目标对象在拍摄期间的整体微表情评价值，再根据所述整体微表情评价值，确定所述目标对象的实际微表情状态具体包括：
步骤S301，根据所述关联程度大小值和下面公式(3)，确定所述目标对象在拍摄期间的整体微表情评价值T：
Figure BDA0002709774450000041
在上述公式(3)中，Wa,b表示第b个脸部图像与第a个预设微表情之间的关联程度大小值，m表示脸部图像的总数量，n表示预设微表情的类型总数量，|Z1-Z2|b表示第b个脸部图像中所述目标对象的左眼与右眼之间的眼睛张合幅度差值的绝对值；
步骤S302，根据所述整体微表情评价值T，确定所述目标对象的实际微表情状态。
本发明还提供基于深度学习的眼部微表情分析系统，其特征在于，其包括拍摄模块、眼部坐标信息确定模块、眼睛张合状态信息确定模块、脸部图像-微表情关联程度确定模块和实际微表情状态确定模块；其中，
所述拍摄模块用于对目标对象进行若干次拍摄，以此对应获得所述目标对象的若干脸部图像；
所述眼部坐标信息确定模块用于从所述脸部图像中识别得到所述目标对象的眼部轮廓信息，再根据所述眼部轮廓信息，确定所述目标对象的眼部坐标信息；
所述眼睛张合状态信息确定模块用于根据所述脸部图像对应的所述眼部坐标信息，确定所述目标对象在所述脸部图像中对应的眼睛张合状态信息；
所述脸部图像-微表情关联程度确定模块用于根据所述眼睛张合状态信息，确定不同脸部图像与不同预设微表情之间的关联程度信息；
所述实际微表情状态确定模块用于根据所述关联程度信息，确定所述目标对象在拍摄期间的整体微表情评价值，再根据所述整体微表情评价值，确定所述目标对象的实际微表情状态；
进一步，所述拍摄模块对目标对象进行若干次拍摄，以此对应获得所述目标对象的若干脸部图像具体包括：
按照预设拍摄频率对所述目标对象的脸部区域进行连续的若干次拍摄，以此对应获得若干所述脸部图像；
以及，
所述眼部坐标信息确定模块从所述脸部图像中识别得到所述目标对象的眼部轮廓信息，再根据所述眼部轮廓信息，确定所述目标对象的眼部坐标信息具体包括：
获取所述脸部图像对应的图像轮廓信息，并根据所述图像轮廓信息，确定所述目标对象的眼部轮廓信息；
再根据所述眼部轮廓信息，确定所述目标对象的眼部在所述脸部图像中对应的形状和位置，以此确定所述目标对象的眼部坐标信息；
进一步，所述眼睛张合状态信息确定模块根据所述脸部图像对应的所述眼部坐标信息，确定所述目标对象在所述脸部图像中对应的眼睛张合状态信息具体包括：
根据所述眼部坐标信息和下面公式(1)，确定所述目标对象在所述脸部图像中对应的眼睛张合幅度值：
Figure BDA0002709774450000061
在上述公式(1)中，Zi表示所述目标对象的第i个眼睛的眼睛张合幅度值，
Figure BDA0002709774450000062
表示所述目标对象的第i个眼睛靠近耳朵一侧的眼角的坐标值，
Figure BDA0002709774450000063
表示所述目标对象的第i个眼睛中眼球上与耳朵距离最近的眼球部位的切线与上眼睑相交点的坐标值，
Figure BDA0002709774450000064
表示所述目标对象的第i个眼睛中眼球上与鼻梁距离最近的眼球部位的切线与上眼睑相交点的坐标值，
Figure BDA0002709774450000065
表示所述目标对象的第i个眼睛靠近鼻梁一侧的眼角的坐标值，
Figure BDA0002709774450000066
表示所述目标对象的第i个眼睛中眼球与耳朵距离最近的眼球部位的切线与下眼睑相交点的坐标值，
Figure BDA0002709774450000067
表示所述目标对象的第i个眼睛中眼球上与鼻梁距离最近的眼球部位的切线与下眼睑相交点的坐标值，当i＝1时、第1个眼睛表示所述目标对象的左眼，当i＝2时、第2个眼睛表示所述目标对象的右眼；
以及，
所述脸部图像-微表情关联程度确定模块根据所述眼睛张合状态信息，确定不同脸部图像与不同预设微表情之间的关联程度信息具体包括：
根据所述眼睛张合幅度值和下面公式(2)，确定不同脸部图像与不同预设微表情之间的关联程度大小值：
Figure BDA0002709774450000068
在上述公式(2)中，Wa,b表示第b个脸部图像与第a个预设微表情之间的关联程度大小值，Ja表示第a个微表情结果的特征值，Ja＝|Z1,a-Z2,a|；|Z1,a-Z2,a|表示预设的所述第a个微表情的左眼与右眼之间的眼睛张合幅度差值的绝对值；Z1,a表示预设的所述第a个微表情的左眼的眼睛张合幅度；Z2,a表示预设的所述第a个微表情的右眼的眼睛张合幅度；|Z1-Z2|b表示第b个脸部图像中所述目标对象的左眼与右眼之间的眼睛张合幅度差值的绝对值；
进一步，所述实际微表情状态确定模块根据所述关联程度信息，确定所述目标对象在拍摄期间的整体微表情评价值，再根据所述整体微表情评价值，确定所述目标对象的实际微表情状态具体包括：
根据所述关联程度大小值和下面公式(3)，确定所述目标对象在拍摄期间的整体微表情评价值T：
Figure BDA0002709774450000071
在上述公式(3)中，Wa,b表示第b个脸部图像与第a个预设微表情之间的关联程度大小值，m表示脸部图像的总数量，n表示预设微表情的类型总数量，|Z1-Z2|b表示第b个脸部图像中所述目标对象的左眼与右眼之间的眼睛张合幅度差值的绝对值；
再根据所述整体微表情评价值T，确定所述目标对象的实际微表情状态。
相比于现有技术，该基于深度学习的眼部微表情分析方法和系统通过对目标对象进行若干次拍摄，以此对应获得所述目标对象的若干脸部图像，并从该脸部图像中识别得到该目标对象的眼部轮廓信息，再根据该眼部轮廓信息，确定该目标对象的眼部坐标信息，并根据该脸部图像对应的该眼部坐标信息，确定该目标对象在所述脸部图像中对应的眼睛张合状态信息，再根据该眼睛张合状态信息，确定不同脸部图像与不同预设微表情之间的关联程度信息，再根据该关联程度信息，确定该目标对象在拍摄期间的整体微表情评价值，再根据该整体微表情评价值，确定该目标对象的实际微表情状态；可见，该基于深度学习的眼部微表情分析方法和系统能够通过对目标对象进行连续拍摄而得到的若干脸部图像进行识别，以此获得目标对象的眼部坐标信息动态变化情况，并根据该眼部坐标信息动态变化情况确定目标对象的眼睛张合状态信息，确定若干图像与不同预设微表情之间的关联程度，最后对目标对象在拍摄期间的整体表情进行量化评价，以确定目标对象的实际微表情状态，其通过动态脸部图像分析的方式，确定目标对象眼部区域的动作变化情况，从而对目标对象的眼部微表情进行精确的和客观的识别确定和快速地判断目标对象的实时情绪状态。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于深度学习的眼部微表情分析方法的流程示意图。
图2为本发明提供的基于深度学习的眼部微表情分析系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1，为本发明实施例提供的基于深度学习的眼部微表情分析方法的流程示意图。该基于深度学习的眼部微表情分析方法包括如下步骤：
步骤S1，对目标对象进行若干次拍摄，以此对应获得该目标对象的若干脸部图像，并从该脸部图像中识别得到该目标对象的眼部轮廓信息，再根据该眼部轮廓信息，确定该目标对象的眼部坐标信息；
步骤S2，根据该脸部图像对应的该眼部坐标信息，确定该目标对象在该脸部图像中对应的眼睛张合状态信息，再根据该眼睛张合状态信息，确定不同脸部图像与不同预设微表情之间的关联程度信息；
步骤S3，根据该关联程度信息，确定该目标对象在拍摄期间的整体微表情评价值，再根据该整体微表情评价值，确定该目标对象的实际微表情状态。
上述技术方案的有益效果为：该基于深度学习的眼部微表情分析方法能够通过对目标对象进行连续拍摄而得到的若干脸部图像进行识别，以此获得目标对象的眼部坐标信息动态变化情况，并根据该眼部坐标信息动态变化情况确定目标对象的眼睛张合状态信息，确定若干图像与不同预设微表情之间的关联程度，最后对目标对象在拍摄期间的整体表情进行量化评价，以确定目标对象的实际微表情状态，其通过动态脸部图像分析的方式，确定目标对象眼部区域的动作变化情况，从而对目标对象的眼部微表情进行精确的和客观的识别确定和快速地判断目标对象的实时情绪状态。
优选地，在该步骤S1中，对目标对象进行若干次拍摄，以此对应获得该目标对象的若干脸部图像，并从该脸部图像中识别得到该目标对象的眼部轮廓信息，再根据该眼部轮廓信息，确定该目标对象的眼部坐标信息具体包括：
步骤S101，按照预设拍摄频率对该目标对象的脸部区域进行连续的若干次拍摄，以此对应获得若干该脸部图像；
步骤S102，获取该脸部图像对应的图像轮廓信息，并根据该图像轮廓信息，确定该目标对象的眼部轮廓信息；
步骤S103，根据该眼部轮廓信息，确定该目标对象的眼部在该脸部图像中对应的形状和位置，以此确定该目标对象的眼部坐标信息。
上述技术方案的有益效果为：通过对目标对象的脸部区域连续拍摄能够相应地抓取目标对象在拍摄期间的脸部动态变化情况、特别是眼部动态变化情况，这样能够通过对拍摄得到的若干脸部图像进行分析处理就能够准确地获得目标对象的眼睛坐标信息变化情况，从而提高眼部坐标信息确定的可靠性。
优选地，在该步骤S2中，根据该脸部图像对应的该眼部坐标信息，确定该目标对象在该脸部图像中对应的眼睛张合状态信息，再根据该眼睛张合状态信息，确定不同脸部图像与不同预设微表情之间的关联程度信息具体包括：
步骤S201，根据该眼部坐标信息和下面公式(1)，确定该目标对象在该脸部图像中对应的眼睛张合幅度值：
Figure BDA0002709774450000101
在上述公式(1)中，Zi表示该目标对象的第i个眼睛的眼睛张合幅度值，
Figure BDA0002709774450000102
表示该目标对象的第i个眼睛靠近耳朵一侧的眼角的坐标值，
Figure BDA0002709774450000103
表示该目标对象的第i个眼睛中眼球上与耳朵距离最近的眼球部位的切线与上眼睑相交点的坐标值，
Figure BDA0002709774450000104
表示该目标对象的第i个眼睛中眼球上与鼻梁距离最近的眼球部位的切线与上眼睑相交点的坐标值，
Figure BDA0002709774450000105
表示该目标对象的第i个眼睛靠近鼻梁一侧的眼角的坐标值，
Figure BDA0002709774450000106
表示该目标对象的第i个眼睛中眼球与耳朵距离最近的眼球部位的切线与下眼睑相交点的坐标值，
Figure BDA0002709774450000107
表示该目标对象的第i个眼睛中眼球上与鼻梁距离最近的眼球部位的切线与下眼睑相交点的坐标值，当i＝1时、第1个眼睛表示该目标对象的左眼，当i＝2时、第2个眼睛表示该目标对象的右眼；
步骤S202，根据该眼睛张合幅度值和下面公式(2)，确定不同脸部图像与不同预设微表情之间的关联程度大小值：
Figure BDA0002709774450000108
在上述公式(2)中，Wa,b表示第b个脸部图像与第a个预设微表情之间的关联程度大小值，Ja表示第a个微表情结果的特征值，Ja＝|Z1,a-Z2,a|；|Z1,a-Z2,a|表示预设的该第a个微表情的左眼与右眼之间的眼睛张合幅度差值的绝对值；Z1,a表示预设的该第a个微表情的左眼的眼睛张合幅度；Z2,a表示预设的该第a个微表情的右眼的眼睛张合幅度；|Z1-Z2|b表示第b个脸部图像中该目标对象的左眼与右眼之间的眼睛张合幅度差值的绝对值。
上述技术方案的有益效果为：通过上述公式(1)和(2)分别计算得到眼睛张合幅度值和不同脸部图像与不同预设微表情之间的关联程度大小值，这样能够对目标对象眼睛张合动态变化分析的精确性以及全面地和综合地确定不同脸部图像与预设微表情之间的关联密切程度，其中，该预设微表情可为但不限于是高兴表情、伤心表情、害怕表情、愤怒表情、厌恶表情、惊讶表情和轻蔑表情中的至少一者。
优选地，在该步骤S3中，根据该关联程度信息，确定该目标对象在拍摄期间的整体微表情评价值，再根据该整体微表情评价值，确定该目标对象的实际微表情状态具体包括：
步骤S301，根据该关联程度大小值和下面公式(3)，确定该目标对象在拍摄期间的整体微表情评价值T：
Figure BDA0002709774450000111
在上述公式(3)中，Wa,b表示第b个脸部图像与第a个预设微表情之间的关联程度大小值，m表示脸部图像的总数量，n表示预设微表情的类型总数量，|Z1-Z2|b表示第b个脸部图像中该目标对象的左眼与右眼之间的眼睛张合幅度差值的绝对值；
步骤S302，根据该整体微表情评价值T，确定该目标对象的实际微表情状态。而在实际应用中，通过将该整体微表情评价值T与预设微表情评价值对照表进行比对，其中，该预设微表情评价值对照表是通过大数据分析方式预先得到的，其包括若干互不重叠的整体微表情评价值范围、并且每一个整体微表情评价值范围只与唯一一种微表情状态相对应，通过确定该整体微表情评价值T落入到哪一个整体微表情评价值范围就能够直接确定该目标对象的实际微表情状态。
将该整体微表情评价值T与预设微表情评价值对照表进行比对，并根据比对的结果，确定该目标对象的实际微表情状态。
上述技术方案的有益效果为：通过上述公式(3)计算得到目标对象在拍摄期间的整体微表情评价值，能够有效地对目标对象在拍摄期间的整体微表情进行量化表征，以便于后续与预设微表情评价值对照表进行对照后即可快速地确定目标对象的实际微表情状态，从而改善确定目标对象实际微表情状态的便捷性和可靠性，其中，该预设微表情评价值对照表是关于整体微表情评价值与实际微表情类型的对照表，其包含若干个邻接且互不重叠的整体微表情评价值范围，并且每一个整体微表情评价值范围只与唯一一种实际微表情类型相应，这样通过查找该预设微表情评价值对照表进行对照就能够快速确定目标对象的实际微表情状态，而该预设微表情评价值对照表可通过大数据统计的方式预先得到。
参阅图2，为本发明实施例提供的基于深度学习的眼部微表情分析系统的结构示意图。该基于深度学习的眼部微表情分析系统包括拍摄模块、眼部坐标信息确定模块、眼睛张合状态信息确定模块、脸部图像-微表情关联程度确定模块和实际微表情状态确定模块；其中，
该拍摄模块用于对目标对象进行若干次拍摄，以此对应获得该目标对象的若干脸部图像；
该眼部坐标信息确定模块用于从该脸部图像中识别得到该目标对象的眼部轮廓信息，再根据该眼部轮廓信息，确定该目标对象的眼部坐标信息；
该眼睛张合状态信息确定模块用于根据该脸部图像对应的该眼部坐标信息，确定该目标对象在该脸部图像中对应的眼睛张合状态信息；
该脸部图像-微表情关联程度确定模块用于根据该眼睛张合状态信息，确定不同脸部图像与不同预设微表情之间的关联程度信息；
该实际微表情状态确定模块用于根据该关联程度信息，确定该目标对象在拍摄期间的整体微表情评价值，再根据该整体微表情评价值，确定该目标对象的实际微表情状态。
上述技术方案的有益效果为：该基于深度学习的眼部微表情分析系统能够通过对目标对象进行连续拍摄而得到的若干脸部图像进行识别，以此获得目标对象的眼部坐标信息动态变化情况，并根据该眼部坐标信息动态变化情况确定目标对象的眼睛张合状态信息，确定若干图像与不同预设微表情之间的关联程度，最后对目标对象在拍摄期间的整体表情进行量化评价，以确定目标对象的实际微表情状态，其通过动态脸部图像分析的方式，确定目标对象眼部区域的动作变化情况，从而对目标对象的眼部微表情进行精确的和客观的识别确定和快速地判断目标对象的实时情绪状态。
优选地，该拍摄模块对目标对象进行若干次拍摄，以此对应获得该目标对象的若干脸部图像具体包括：
按照预设拍摄频率对该目标对象的脸部区域进行连续的若干次拍摄，以此对应获得若干该脸部图像；
以及，
该眼部坐标信息确定模块从该脸部图像中识别得到该目标对象的眼部轮廓信息，再根据该眼部轮廓信息，确定该目标对象的眼部坐标信息具体包括：
获取该脸部图像对应的图像轮廓信息，并根据该图像轮廓信息，确定该目标对象的眼部轮廓信息；
再根据该眼部轮廓信息，确定该目标对象的眼部在该脸部图像中对应的形状和位置，以此确定该目标对象的眼部坐标信息。
上述技术方案的有益效果为：通过对目标对象的脸部区域连续拍摄能够相应地抓取目标对象在拍摄期间的脸部动态变化情况、特别是眼部动态变化情况，这样能够通过对拍摄得到的若干脸部图像进行分析处理就能够准确地获得目标对象的眼睛坐标信息变化情况，从而提高眼部坐标信息确定的可靠性。
优选地，该眼睛张合状态信息确定模块根据该脸部图像对应的该眼部坐标信息，确定该目标对象在该脸部图像中对应的眼睛张合状态信息具体包括：
根据该眼部坐标信息和下面公式(1)，确定该目标对象在该脸部图像中对应的眼睛张合幅度值：
Figure BDA0002709774450000141
在上述公式(1)中，Zi表示该目标对象的第i个眼睛的眼睛张合幅度值，
Figure BDA0002709774450000142
表示该目标对象的第i个眼睛靠近耳朵一侧的眼角的坐标值，
Figure BDA0002709774450000143
表示该目标对象的第i个眼睛中眼球上与耳朵距离最近的眼球部位的切线与上眼睑相交点的坐标值，
Figure BDA0002709774450000144
表示该目标对象的第i个眼睛中眼球上与鼻梁距离最近的眼球部位的切线与上眼睑相交点的坐标值，
Figure BDA0002709774450000145
表示该目标对象的第i个眼睛靠近鼻梁一侧的眼角的坐标值，
Figure BDA0002709774450000146
表示该目标对象的第i个眼睛中眼球与耳朵距离最近的眼球部位的切线与下眼睑相交点的坐标值，
Figure BDA0002709774450000147
表示该目标对象的第i个眼睛中眼球上与鼻梁距离最近的眼球部位的切线与下眼睑相交点的坐标值，当i＝1时、第1个眼睛表示该目标对象的左眼，当i＝2时、第2个眼睛表示该目标对象的右眼；
以及，
该脸部图像-微表情关联程度确定模块根据该眼睛张合状态信息，确定不同脸部图像与不同预设微表情之间的关联程度信息具体包括：
根据该眼睛张合幅度值和下面公式(2)，确定不同脸部图像与不同预设微表情之间的关联程度大小值：
Figure BDA0002709774450000148
在上述公式(2)中，Wa,b表示第b个脸部图像与第a个预设微表情之间的关联程度大小值，Ja表示第a个微表情结果的特征值，Ja＝|Z1,a-Z2,a|；|Z1,a-Z2,a|表示预设的该第a个微表情的左眼与右眼之间的眼睛张合幅度差值的绝对值；Z1,a表示预设的该第a个微表情的左眼的眼睛张合幅度；Z2,a表示预设的该第a个微表情的右眼的眼睛张合幅度；|Z1-Z2|b表示第b个脸部图像中该目标对象的左眼与右眼之间的眼睛张合幅度差值的绝对值。
上述技术方案的有益效果为：通过上述公式(1)和(2)分别计算得到眼睛张合幅度值和不同脸部图像与不同预设微表情之间的关联程度大小值，这样能够对目标对象眼睛张合动态变化分析的精确性以及全面地和综合地确定不同脸部图像与预设微表情之间的关联密切程度，其中，该预设微表情可为但不限于是高兴表情、伤心表情、害怕表情、愤怒表情、厌恶表情、惊讶表情和轻蔑表情中的至少一者。
优选地，该实际微表情状态确定模块根据该关联程度信息，确定该目标对象在拍摄期间的整体微表情评价值，再根据该整体微表情评价值，确定该目标对象的实际微表情状态具体包括：
根据该关联程度大小值和下面公式(3)，确定该目标对象在拍摄期间的整体微表情评价值T：
Figure BDA0002709774450000151
在上述公式(3)中，Wa,b表示第b个脸部图像与第a个预设微表情之间的关联程度大小值，m表示脸部图像的总数量，n表示预设微表情的类型总数量，|Z1-Z2|b表示第b个脸部图像中该目标对象的左眼与右眼之间的眼睛张合幅度差值的绝对值；
再根据该整体微表情评价值T，确定该目标对象的实际微表情状态。而在实际应用中，通过将该整体微表情评价值T与预设微表情评价值对照表进行比对，其中，该预设微表情评价值对照表是通过大数据分析方式预先得到的，其包括若干互不重叠的整体微表情评价值范围、并且每一个整体微表情评价值范围只与唯一一种微表情状态相对应，通过确定该整体微表情评价值T落入到哪一个整体微表情评价值范围就能够直接确定该目标对象的实际微表情状态。
上述技术方案的有益效果为：通过上述公式(3)计算得到目标对象在拍摄期间的整体微表情评价值，能够有效地对目标对象在拍摄期间的整体微表情进行量化表征，以便于后续与预设微表情评价值对照表进行对照后即可快速地确定目标对象的实际微表情状态，从而改善确定目标对象实际微表情状态的便捷性和可靠性，其中，该预设微表情评价值对照表是关于整体微表情评价值与实际微表情类型的对照表，其包含若干个邻接且互不重叠的整体微表情评价值范围，并且每一个整体微表情评价值范围只与唯一一种实际微表情类型相应，这样通过查找该预设微表情评价值对照表进行对照就能够快速确定目标对象的实际微表情状态，而该预设微表情评价值对照表可通过大数据统计的方式预先得到。
从上述实施例的内容可知，该基于深度学习的眼部微表情分析方法和系统，其通过对目标对象进行若干次拍摄，以此对应获得该目标对象的若干脸部图像，并从该脸部图像中识别得到该目标对象的眼部轮廓信息，再根据该眼部轮廓信息，确定该目标对象的眼部坐标信息，并根据该脸部图像对应的该眼部坐标信息，确定该目标对象在该脸部图像中对应的眼睛张合状态信息，再根据该眼睛张合状态信息，确定不同脸部图像与不同预设微表情之间的关联程度信息，再根据该关联程度信息，确定该目标对象在拍摄期间的整体微表情评价值，再根据该整体微表情评价值，确定该目标对象的实际微表情状态；可见，该基于深度学习的眼部微表情分析方法和系统能够通过对目标对象进行连续拍摄而得到的若干脸部图像进行识别，以此获得目标对象的眼部坐标信息动态变化情况，并根据该眼部坐标信息动态变化情况确定目标对象的眼睛张合状态信息，确定若干图像与不同预设微表情之间的关联程度，最后对目标对象在拍摄期间的整体表情进行量化评价，以确定目标对象的实际微表情状态，其通过动态脸部图像分析的方式，确定目标对象眼部区域的动作变化情况，从而对目标对象的眼部微表情进行精确的和客观的识别确定和快速地判断目标对象的实时情绪状态。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (4)

1.基于深度学习的眼部微表情分析方法，其特征在于，其包括如下步骤：
步骤S1，对目标对象进行若干次拍摄，以此对应获得所述目标对象的若干脸部图像，并从所述脸部图像中识别得到所述目标对象的眼部轮廓信息，再根据所述眼部轮廓信息，确定所述目标对象的眼部坐标信息；
步骤S2，根据所述脸部图像对应的所述眼部坐标信息，确定所述目标对象在所述脸部图像中对应的眼睛张合状态信息，再根据所述眼睛张合状态信息，确定不同脸部图像与不同预设微表情之间的关联程度信息；
步骤S3，根据所述关联程度信息，确定所述目标对象在拍摄期间的整体微表情评价值，再根据所述整体微表情评价值，确定所述目标对象的实际微表情状态；
其中，在所述步骤S1中，对目标对象进行若干次拍摄，以此对应获得所述目标对象的若干脸部图像，并从所述脸部图像中识别得到所述目标对象的眼部轮廓信息，再根据所述眼部轮廓信息，确定所述目标对象的眼部坐标信息具体包括：
步骤S101，按照预设拍摄频率对所述目标对象的脸部区域进行连续的若干次拍摄，以此对应获得若干所述脸部图像；
步骤S102，获取所述脸部图像对应的图像轮廓信息，并根据所述图像轮廓信息，确定所述目标对象的眼部轮廓信息；
步骤S103，根据所述眼部轮廓信息，确定所述目标对象的眼部在所述脸部图像中对应的形状和位置，以此确定所述目标对象的眼部坐标信息；
其中，在所述步骤S2中，根据所述脸部图像对应的所述眼部坐标信息，确定所述目标对象在所述脸部图像中对应的眼睛张合状态信息，再根据所述眼睛张合状态信息，确定不同脸部图像与不同预设微表情之间的关联程度信息具体包括：
步骤S201，根据所述眼部坐标信息和下面公式(1)，确定所述目标对象在所述脸部图像中对应的眼睛张合幅度值：
Figure FDA0003078396850000021
在上述公式(1)中，Zi表示所述目标对象的第i个眼睛的眼睛张合幅度值，
Figure FDA0003078396850000022
表示所述目标对象的第i个眼睛靠近耳朵一侧的眼角的坐标值，
Figure FDA0003078396850000023
表示所述目标对象的第i个眼睛中眼球上与耳朵距离最近的眼球部位的切线与上眼睑相交点的坐标值，
Figure FDA0003078396850000024
表示所述目标对象的第i个眼睛中眼球上与鼻梁距离最近的眼球部位的切线与上眼睑相交点的坐标值，
Figure FDA0003078396850000025
表示所述目标对象的第i个眼睛靠近鼻梁一侧的眼角的坐标值，
Figure FDA0003078396850000026
表示所述目标对象的第i个眼睛中眼球与耳朵距离最近的眼球部位的切线与下眼睑相交点的坐标值，
Figure FDA0003078396850000027
表示所述目标对象的第i个眼睛中眼球上与鼻梁距离最近的眼球部位的切线与下眼睑相交点的坐标值，当i＝1时、第1个眼睛表示所述目标对象的左眼，当i＝2时、第2个眼睛表示所述目标对象的右眼；
步骤S202，根据所述眼睛张合幅度值和下面公式(2)，确定不同脸部图像与不同预设微表情之间的关联程度大小值：
Figure FDA0003078396850000028
在上述公式(2)中，Wa,b表示第b个脸部图像与第a个预设微表情之间的关联程度大小值，Ja表示第a个微表情结果的特征值，Ja＝|Z1,a-Z2,a|；|Z1,a-Z2,a|表示预设的所述第a个微表情的左眼与右眼之间的眼睛张合幅度差值的绝对值；Z1,a表示预设的所述第a个微表情的左眼的眼睛张合幅度；Z2,a表示预设的所述第a个微表情的右眼的眼睛张合幅度；|Z1-Z2|b表示第b个脸部图像中所述目标对象的左眼与右眼之间的眼睛张合幅度差值的绝对值。
2.如权利要求1所述的基于深度学习的眼部微表情分析方法，其特征在于：
在所述步骤S3中，根据所述关联程度信息，确定所述目标对象在拍摄期间的整体微表情评价值，再根据所述整体微表情评价值，确定所述目标对象的实际微表情状态具体包括：
步骤S301，根据所述关联程度大小值和下面公式(3)，确定所述目标对象在拍摄期间的整体微表情评价值T：
Figure FDA0003078396850000031
在上述公式(3)中，Wa,b表示第b个脸部图像与第a个预设微表情之间的关联程度大小值，m表示脸部图像的总数量，n表示预设微表情的类型总数量，|Z1-Z2|b表示第b个脸部图像中所述目标对象的左眼与右眼之间的眼睛张合幅度差值的绝对值；
步骤S302，根据所述整体微表情评价值T，确定所述目标对象的实际微表情状态。
3.基于深度学习的眼部微表情分析系统，其特征在于，其包括拍摄模块、眼部坐标信息确定模块、眼睛张合状态信息确定模块、脸部图像-微表情关联程度确定模块和实际微表情状态确定模块；其中，
所述拍摄模块用于对目标对象进行若干次拍摄，以此对应获得所述目标对象的若干脸部图像；
所述眼部坐标信息确定模块用于从所述脸部图像中识别得到所述目标对象的眼部轮廓信息，再根据所述眼部轮廓信息，确定所述目标对象的眼部坐标信息；
所述眼睛张合状态信息确定模块用于根据所述脸部图像对应的所述眼部坐标信息，确定所述目标对象在所述脸部图像中对应的眼睛张合状态信息；
所述脸部图像-微表情关联程度确定模块用于根据所述眼睛张合状态信息，确定不同脸部图像与不同预设微表情之间的关联程度信息；
所述实际微表情状态确定模块用于根据所述关联程度信息，确定所述目标对象在拍摄期间的整体微表情评价值，再根据所述整体微表情评价值，确定所述目标对象的实际微表情状态；
其中，所述拍摄模块对目标对象进行若干次拍摄，以此对应获得所述目标对象的若干脸部图像具体包括：
按照预设拍摄频率对所述目标对象的脸部区域进行连续的若干次拍摄，以此对应获得若干所述脸部图像；
以及，
所述眼部坐标信息确定模块从所述脸部图像中识别得到所述目标对象的眼部轮廓信息，再根据所述眼部轮廓信息，确定所述目标对象的眼部坐标信息具体包括：
获取所述脸部图像对应的图像轮廓信息，并根据所述图像轮廓信息，确定所述目标对象的眼部轮廓信息；
再根据所述眼部轮廓信息，确定所述目标对象的眼部在所述脸部图像中对应的形状和位置，以此确定所述目标对象的眼部坐标信息；
其中，所述眼睛张合状态信息确定模块根据所述脸部图像对应的所述眼部坐标信息，确定所述目标对象在所述脸部图像中对应的眼睛张合状态信息具体包括：
根据所述眼部坐标信息和下面公式(1)，确定所述目标对象在所述脸部图像中对应的眼睛张合幅度值：
Figure FDA0003078396850000051
在上述公式(1)中，Zi表示所述目标对象的第i个眼睛的眼睛张合幅度值，
Figure FDA0003078396850000052
表示所述目标对象的第i个眼睛靠近耳朵一侧的眼角的坐标值，
Figure FDA0003078396850000053
表示所述目标对象的第i个眼睛中眼球上与耳朵距离最近的眼球部位的切线与上眼睑相交点的坐标值，
Figure FDA0003078396850000054
表示所述目标对象的第i个眼睛中眼球上与鼻梁距离最近的眼球部位的切线与上眼睑相交点的坐标值，
Figure FDA0003078396850000055
表示所述目标对象的第i个眼睛靠近鼻梁一侧的眼角的坐标值，
Figure FDA0003078396850000056
表示所述目标对象的第i个眼睛中眼球与耳朵距离最近的眼球部位的切线与下眼睑相交点的坐标值，
Figure FDA0003078396850000057
表示所述目标对象的第i个眼睛中眼球上与鼻梁距离最近的眼球部位的切线与下眼睑相交点的坐标值，当i＝1时、第1个眼睛表示所述目标对象的左眼，当i＝2时、第2个眼睛表示所述目标对象的右眼；以及，
所述脸部图像-微表情关联程度确定模块根据所述眼睛张合状态信息，确定不同脸部图像与不同预设微表情之间的关联程度信息具体包括：根据所述眼睛张合幅度值和下面公式(2)，确定不同脸部图像与不同预设微表情之间的关联程度大小值：
Figure FDA0003078396850000058
在上述公式(2)中，Wa,b表示第b个脸部图像与第a个预设微表情之间的关联程度大小值，Ja表示第a个微表情结果的特征值，Ja＝|Z1,a-Z2,a|；|Z1,a-Z2,a|表示预设的所述第a个微表情的左眼与右眼之间的眼睛张合幅度差值的绝对值；Z1,a表示预设的所述第a个微表情的左眼的眼睛张合幅度；Z2,a表示预设的所述第a个微表情的右眼的眼睛张合幅度；|Z1-Z2|b表示第b个脸部图像中所述目标对象的左眼与右眼之间的眼睛张合幅度差值的绝对值。
4.如权利要求3所述的基于深度学习的眼部微表情分析系统，其特征在于：
所述实际微表情状态确定模块根据所述关联程度信息，确定所述目标对象在拍摄期间的整体微表情评价值，再根据所述整体微表情评价值，确定所述目标对象的实际微表情状态具体包括：
根据所述关联程度大小值和下面公式(3)，确定所述目标对象在拍摄期间的整体微表情评价值T：
Figure FDA0003078396850000061
在上述公式(3)中，Wa,b表示第b个脸部图像与第a个预设微表情之间的关联程度大小值，m表示脸部图像的总数量，n表示预设微表情的类型总数量，|Z1-Z2|b表示第b个脸部图像中所述目标对象的左眼与右眼之间的眼睛张合幅度差值的绝对值；
再根据所述整体微表情评价值T，确定所述目标对象的实际微表情状态。
CN202011051733.XA 2020-09-29 2020-09-29 基于深度学习的眼部微表情分析方法和系统 Active CN112132084B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011051733.XA CN112132084B (zh) 2020-09-29 2020-09-29 基于深度学习的眼部微表情分析方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011051733.XA CN112132084B (zh) 2020-09-29 2020-09-29 基于深度学习的眼部微表情分析方法和系统

Publications (2)

Publication Number Publication Date
CN112132084A CN112132084A (zh) 2020-12-25
CN112132084B true CN112132084B (zh) 2021-07-09

Family

ID=73844820

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011051733.XA Active CN112132084B (zh) 2020-09-29 2020-09-29 基于深度学习的眼部微表情分析方法和系统

Country Status (1)

Country Link
CN (1) CN112132084B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101908149A (zh) * 2010-07-06 2010-12-08 北京理工大学 一种从人脸图像序列中识别脸部表情的方法
CN109063679A (zh) * 2018-08-24 2018-12-21 广州多益网络股份有限公司 一种人脸表情检测方法、装置、设备、系统及介质
KR20200018741A (ko) * 2018-07-25 2020-02-20 동국대학교 산학협력단 콘볼루션 신경망 기반 감시 카메라 영상의 눈 주변 영역 인식 장치 및 방법
CN111563435A (zh) * 2020-04-28 2020-08-21 深圳市优必选科技股份有限公司 用户的睡眠状态检测方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200363253Y1 (ko) * 1999-03-26 2004-09-30 삼성전자주식회사 복합기의 동력전달장치
US20200046277A1 (en) * 2017-02-14 2020-02-13 Yuen Lee Viola Lam Interactive and adaptive learning and neurocognitive disorder diagnosis systems using face tracking and emotion detection with associated methods

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101908149A (zh) * 2010-07-06 2010-12-08 北京理工大学 一种从人脸图像序列中识别脸部表情的方法
KR20200018741A (ko) * 2018-07-25 2020-02-20 동국대학교 산학협력단 콘볼루션 신경망 기반 감시 카메라 영상의 눈 주변 영역 인식 장치 및 방법
CN109063679A (zh) * 2018-08-24 2018-12-21 广州多益网络股份有限公司 一种人脸表情检测方法、装置、设备、系统及介质
CN111563435A (zh) * 2020-04-28 2020-08-21 深圳市优必选科技股份有限公司 用户的睡眠状态检测方法及装置

Also Published As

Publication number Publication date
CN112132084A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
TWI731297B (zh) 一種風險預測方法、存儲介質和伺服器
CN107609493B (zh) 优化人脸图片质量评价模型的方法及装置
US9405962B2 (en) Method for on-the-fly learning of facial artifacts for facial emotion recognition
EP2523149A2 (en) A method and system for association and decision fusion of multimodal inputs
RU2670798C1 (ru) Способ аутентификации пользователя по радужной оболочке глаз и соответствующее устройство
CN106650574A (zh) 基于PCANet的人脸识别方法
US20080298644A1 (en) System and method for controlling image quality
CN110659674A (zh) 一种基于视线跟踪的测谎方法
CN110889355A (zh) 一种人脸识别校验方法、系统及存储介质
Wilhelm Towards facial expression analysis in a driver assistance system
CN111898569A (zh) 基于活体检测的人脸辨识方法
He et al. Robust eyelid, eyelash and shadow localization for iris recognition
US20130058544A1 (en) Method for Detecting a Fake Finger for Fingerprint Acquisition Software
CN110929570B (zh) 虹膜快速定位装置及其定位方法
CN107977622B (zh) 基于瞳孔特征的眼睛状态检测方法
Foytik et al. Tracking and recognizing multiple faces using Kalman filter and ModularPCA
CN112132084B (zh) 基于深度学习的眼部微表情分析方法和系统
CN116881853B (zh) 基于多模态融合的注意力评估方法、系统、设备及介质
CN109902656B (zh) 一种面部动作单元的识别方法、系统
Winahyu et al. Attendance system based on face recognition, face mask and body temperature detection on Raspberry Pi
CN116758643A (zh) 一种深度伪造人脸图像检测方法及装置
Florea et al. Robust eye centers localization with zero-crossing encoded image projections
CN113920575A (zh) 一种人脸表情识别方法、装置及存储介质
Omidiora et al. Facial Image Verification and Quality Assessment System-FaceIVQA
CN112149559A (zh) 人脸识别方法、装置、可读存储介质及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PP01 Preservation of patent right
PP01 Preservation of patent right

Effective date of registration: 20221020

Granted publication date: 20210709