CN112766063B - 基于位移补偿的微表情拟合方法和系统 - Google Patents

基于位移补偿的微表情拟合方法和系统 Download PDF

Info

Publication number
CN112766063B
CN112766063B CN202011624238.3A CN202011624238A CN112766063B CN 112766063 B CN112766063 B CN 112766063B CN 202011624238 A CN202011624238 A CN 202011624238A CN 112766063 B CN112766063 B CN 112766063B
Authority
CN
China
Prior art keywords
emotion
image
feature
facial
feature point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011624238.3A
Other languages
English (en)
Other versions
CN112766063A (zh
Inventor
王智勇
关庆阳
王治博
毛书贵
宋胜尊
李永春
童心
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Contain Electronic Technology Co ltd
Original Assignee
Shenyang Contain Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Contain Electronic Technology Co ltd filed Critical Shenyang Contain Electronic Technology Co ltd
Priority to CN202011624238.3A priority Critical patent/CN112766063B/zh
Publication of CN112766063A publication Critical patent/CN112766063A/zh
Application granted granted Critical
Publication of CN112766063B publication Critical patent/CN112766063B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于位移补偿的微表情拟合方法和系统，所述方法包括：获取基准图像和情绪图像，其中，基准图像指没有刺激源情况下的图像，情绪图像指存在预定刺激源情况下的图像；根据基准图像和情绪图像分别获得基准特征点和情绪特征点；对情绪特征点进行补偿以获得补偿后的情绪特征点；根据基准特征点的位置信息和补偿后的情绪特征点的位置信息计算出面部微特征向量，并将满足预定阈值的面部微特征向量作为面部运动单元进行输出；以及对所述面部运动单元进行拟合，得到预测的情绪特征。

Description

基于位移补偿的微表情拟合方法和系统
技术领域
本发明涉及计算机视觉技术领域，特别涉及一种基于位移补偿的微表情拟合方法，所述方法基于深度学习的非接触式微表情拟合来实现。
背景技术
微表情识别是一种利用刺激源引起面部肌肉变化，通过深度学习神经网络对面部特征进行提取，将形成的统一维度的多个特征进行融合，结合心理语义分析，获取心理特征的非接触式心理活动分析方法。在审讯的过程中，通过非接触式的微表情识别方法，可以降低审讯难度，辅助审讯员进行研判。
现有的微表情识别方法普遍为将面部整张图象输入到神经网络中进行情绪聚类，得到高兴、伤心、害怕、愤怒、厌恶、惊讶、轻蔑等七种基本情绪，分类的情绪继续增加，准确度会大幅降低。现有技术中的方法具有较大的局限性，在审讯过程中起到的辅助作用十分有限。此外，当头部姿态发生变化时，面部特征点在相机二维空间内的位置同样会发生变化，导致微特征定位准确率随着头部自带变化增大而降低。
发明内容
本发明的目的在于一种基于位移补偿的微表情拟合方法和系统，以便在被测面部图像存在偏转的情况下，仍可以快速、准确地获得被检测人的情绪特征。
本发明提供了一种基于位移补偿的微表情拟合方法，所述方法包括：获取基准图像和情绪图像，其中，基准图像指没有刺激源情况下的图像，情绪图像指存在预定刺激源情况下的图像；根据基准图像和情绪图像分别获得基准特征点和情绪特征点；对情绪特征点进行补偿以获得补偿后的情绪特征点；根据基准特征点的位置信息和补偿后的情绪特征点的位置信息计算出面部微特征向量，并将满足预定阈值的面部微特征向量作为面部运动单元进行输出；以及对所述面部运动单元进行拟合，得到预测的情绪特征。
在根据发明构思的实施例中，所述对情绪特征点进行补偿以获得补偿后的情绪特征点的步骤可以包括：基于情绪特征点获得头部姿态；基于头部姿态获得特征点的位移补偿值；以及根据位移补偿值对情绪特征点进行补偿以获得补偿后的情绪特征点。
在根据发明构思的实施例中，在所述基于头部姿态获得特征点的位移补偿值的步骤中，利用位移估计神经网络来获得特征点的位移补偿值，所述位移估计神经网络可以包括：输入层，包括三个神经元，其输入参数分别对应头部绕X轴、Y轴、Z轴的旋转角度；第一隐藏层，选用双曲正切函数作为激活函数，将输入的值压缩到预定范围内；第二隐藏层，选用指数线性函数作为网络模型的激活函数；以及输出层，选用逻辑回归模型作为网络的激活函数，并输出与所述情绪特征点对应的特征点的位移补偿值。
在根据发明构思的实施例中，所述方法还可以包括：通过面部姿态样本对所述位移估计神经网络进行训练的步骤。在训练过程中，构建面部姿态样本，所述面部姿态样本包括头部绕X轴、Y轴、Z轴的旋转角度和与旋转角度对应的特征点偏移值；构建所述位移估计神经网络；通过面部姿态样本对位移估计神经网络进行训练，在第一次迭代时随机分配各层的权重系数，基于输出层输出的特征点的位移补偿值和对应的特征点偏移值进行对比；以及根据对比的结果调节各个神经元之间的连接权重系数，然后进行下一次迭代，其中，通过损失函数来评估神经网络模型的优劣，所述损失函数选用交叉熵函数，当损失函数低于预定损失阈值、收敛、或者迭代次数达到预定计数时，终止训练。
在根据发明构思的实施例中，所述特征点补偿单元被配置为执行以下步骤：将两眼内眼角连线与过鼻尖垂线的交点为面部基准点；计算每个特征点与面部基准点的水平像素差和垂直像素差；根据对应的位移补偿值对所述每个特征点的水平像素差和垂直像素差进行补偿以获得补偿后的情绪特征点。
本发明提供了一种基于多特征点的微表情拟合的系统，所述系统包括：图像获取单元，获取基准图像及情绪图像，其中，基准图像指没有刺激源情况下的图像，情绪图像指存在预定刺激源情况下的图像；面部检测单元，根据基准图像和情绪图像分别获得基准面部图像和情绪面部图像；特征点提取单元，根据基准面部图像和情绪面部图像分别获得基准特征点和情绪特征点；位移补偿单元，对情绪特征点进行补偿以获得补偿后的情绪特征点；面部运动获取单元，根据基准特征点的位置信息和补偿后的情绪特征点的位置信息计算出面部微特征向量，并将满足预定阈值的面部微特征向量作为面部运动单元进行输出；以及情绪识别单元，对所述面部运动单元进行拟合，得到预测的情绪特征。
在根据发明构思的实施例中，所述位移补偿单元包括：头部姿态解算单元，根据情绪特征点获得头部姿态；位移估计单元，根据头部姿态获得特征点的位移补偿值；特征点补偿单元，根据位移补偿值对情绪特征点进行补偿以获得补偿后的情绪特征点。
本发明的另一方面提供了一种存储有计算机程序的计算机可读存储介质，其特征在于，当所述计算机程序在被处理器执行时实现如上所述的基于位移补偿的微表情拟合方法。
本发明的另一方面提供了一种计算机设备，其特征在于，所述计算机设备包括：处理器；存储器，存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的基于位移补偿的微表情拟合方法。
根据本发明的一个或多个方面，基于位移补偿的微表情拟合方法和系统根据基准图像和情绪图像对情绪进行预测。由于采用根据基准图像和情绪图像获得的面部运动单元进行情绪拟合，因此可以得到更为准确的情绪特征。
根据本发明的一个或多个方面，基于位移补偿的微表情拟合方法和系统根据不同头部姿态下面部情绪的微特征进行位移补偿，提升了微表情识别的准确度。
附图说明
通过以下结合附图的详细描述，本公开的以上和其他方面、特征和优点将被更清楚地理解，在附图中：
图1是基于多特征点的微表情拟合方法的流程图；
图2是通过面部检测神经网络和面部特征点标记网络获得面部特征点提取的流程图；
图3是面部微特征向量的示意图；
图4是通过训练样本生成用于面部运动单元的拟合的递归神经网络模型的流程图；
图5是基于多特征点的微表情拟合的系统的框图；
图6是头部姿态和面部基准点的示意图；
图7是基于位移补偿的微表情拟合的系统的框图；
图8是对情绪特征点进行补偿的位移补偿单元的框图；以及
图9是位移估计神经网络的结构示意图。
具体实施方式
提供以下具体实施方式以帮助读者获得对在此描述的方法、设备和/或系统的全面理解。然而，对于本领域普通技术人员在此描述的方法、设备和/或系统的各种改变、变型和等同物将是显而易见的。例如，在此描述的操作的顺序仅仅是示例，并且不限于在此阐述的顺序，而是除了必须以特定顺序执行的操作之外，可做出对于本领域普通技术人员将显而易见的改变。此外，为了提高清楚性和简洁性，可省略对于本领域普通技术人员将公知的特征和结构的描述。在此描述的特征可以以不同的形式实施，并且将不被解释为局限于在此描述的示例。更确切地说，已经提供在此描述的示例使得本公开将是彻底的和完整的，并且将向本领域普通技术人员充分地传达本公开的范围。
下面参照附图详细描述本发明的实施例。所述实施例的示例在附图中示出，其中，相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例，以便解释本发明。
图1是基于多特征点的微表情拟合方法的流程图；图2是通过面部检测神经网络和面部特征点标记网络获得面部特征点提取的流程图；图3是面部微特征向量的示意图。
参照图1，在步骤S01中，获取基准图像，在步骤S02，获取情绪图像，其中，基准图像指没有刺激源情况下的图像，情绪图像指存在预定刺激源情况下的图像。具体地讲，基准图像可以是指在没有刺激源或刺激物的情况下单独获取的被检测人的面部图像，选取被检测人的情绪较为平稳时的面部图像作为基准图像会更有利于情绪的预测。此外，情绪图像可以是指从视频(例如，审讯视频)中选取的图像。例如，情绪图像可以是在预定刺激源的情况下被检测人作出反应的图像，例如，预定刺激源可以指在审讯过程中发生的对话、出示的证物、证言、审讯人的特定动作。需要说明的是，选择预定刺激源而不是任意刺激源的目的是为了排除被检测人与审讯过程无关的表情对情绪预测的干扰而仅对与预定刺激源对应的情绪图像进行预测，另一方面，选择预定刺激源可以排除无意识或下意识的表情对情绪预测的干扰。特别地，上述对预定刺激源的举例仅为示例，而不意为限制。在另一实施例中，基准图像和情绪图像也可以是在同一视频中根据场景情况分别选取的图像。在实施例中，基准图像和情绪图像可以是二维图像信息，或者可以是由双摄像头，多摄像头或深度摄像头捕捉并合成的具有深度特征的三维图像信息。
在根据本发明的实施例中，采用多卷积神经网络联合模型对输入的图像进行预处理，得到面部特征点。多卷积神经网络联合模型包括基于卷积神经网络改进的面部检测神经网络和面部特征点标记网络。将在下面对获得面部特征点的步骤进行进一步的解释和说明。
在步骤S03中，将基准图像和情绪图像分别输入到面部检测神经网络中进行面部检测以分别获得基准面部图像和情绪面部图像。参照图2，输入包括人脸的图像，该图像可以通过面部检测神经网络输出人脸左上角和右下角的位置坐标信息。然后根据位置坐标信息对所述图像进行裁剪。关于面部检测神经网络的具体结构和生成方法将在下面进行进一步的解释和说明。
参照表1，面部检测神经网络采用轻量级网络模型(或称为盒网络模型、BoxNet模型)。BoxNet模型的输入图像Image为320宽×180高像素的图像，通道数为3。在实施例中，BoxNet模型的输入图像Image可以是从采集摄像头1920×1080像素的图像通过等比例缩放得到的。这里所述的输入图像Image的尺寸仅为示例，例如，在另一实施例中，输入图像的尺寸可以为(230～400)×(130～225)。输入图像的尺寸不应过大，以避免计算量的增大导致检测速度降低；也不应过小，以避免降低准确率。
表1 BoxNet模型结构表
BoxNet模型的结构为：第一卷积层Conv1、第二卷积层S-Conv1、第一下采样层Block1和第二下采样层Block2。第一卷积层Conv1通过预定尺寸的卷积核和预定步长对输入的图像进行卷积计算。例如，卷积核的尺寸可以为3×3，步长为1，重复次数为1。其输出的结果的尺寸为160×90，通道数为16。
第二卷积层S-Conv1可以通过与第一卷积层Conv1相同的卷积核和预定步长对第一卷积层输出的结果进行深度可分离卷积计算。在这种情况下，第二卷积层S-Conv1的输出结果的尺寸为80×45，通道数为24。
需要说明的是，第一卷积层Conv1和第二卷积层S-Conv1的卷积核的尺寸和步长可以根据情况进行适当调整，且并不局限于两者卷积核和预定步长相同的情况。
第一卷积层Conv1和第二卷积层S-Conv1可以被称为First_Conv。
第一下采样层Block1对第二卷积层输出的结果进行下采样计算，第二下采样层Block2对第一下采样层输出的结果进行下采样计算。
其中，第一下采样层Block1和第二下采样层Block2均包括：第一基本单元，其步长为2，输出的结果的宽度和高度为输入的宽度和高度的一半，输出的结果的通道数为输入的通道数的两倍；以及第二基本单元，其步长为1，输出的结果的宽度、高度和通道数与输入的宽度、高度和通道数相同。
例如，参照表1，在第一下采样层Block1中，第一基本单元以步长2执行一次。因此，第一基本单元执行一次后的输出为其输入的一半，即，40×23像素，通道数为输入的两倍，即，48。第二基本单元的输出的宽度、高度和通道数与第一基本单元的输出相同。在第二下采样层Block2中，第一基本单元以步长2执行两次。因此，第一基本单元的执行两次后的输出为其输入的四分之一，即，10×6像素，通道数为输入的四倍，即，192。第二基本单元的输出的宽度、高度和通道数与第一基本单元的输出相同。
全连接层FC对第二下采样层Block2输出的结果进行非线性拟合以得到与所述输入的图像对应的面部图像。例如，将下采样完成的192通道的结果送入500个神经单元的全连接层后再送入4个神经单元的全连接层，对提取的结果(例如，特征图)进行非线性拟合，输出人脸框左上角和右下角的坐标。
第一下采样层Block1和第二下采样层Block2可被称为Second_Conv。
在实施例中，所述方法还包括通过面部检测训练集对面部检测神经网络进行训练的步骤。在训练的过程中，通过设置参数(例如，epoch参数等)来控制迭代次数，当达到特定条件时终止训练。例如，可以定义输出人脸框与期望人脸框的交并比系数(IOU_accuracy)为模型训练的判断条件。例如，交并比系数可以为输出人脸框与期望人脸框位置交集与并集的比值。模型的交并比(IOU)参数设置为0.1-0.5，优选地，可以设置为0.3。即大于该值时视为人脸位置检测成功，可以很好的实现人脸追踪检测。在实施例中，当迭代次数小于300时，通过反向传播算法调整各个神经元之间的权重系数，重新开始下一次迭代；当迭代次数等于300次，或者交并比系数收敛(例如，不再升高)时，终止训练。
在示例实施例中，BoxNet模型可以被用于审讯过程中的人脸识别。审讯环境的环境光源强度稳定，不会发生光源移动、闪烁、明暗变化等情况，周围墙壁颜色单一，被检测人坐待椅子上，检测过程中面部移动范围较小。因此，针对审讯环境的特点，BoxNet模型采用了优化了的网络结构，省略了应对复杂环境背景及光源变化情况的卷积层，优化了人脸框的交并比系数。在这种情况下，由于BoxNet模型参数量少、计算复杂度低，能够实现通过轻量级的骨干网络结构对图像快速准确的特征提取。因此，该模型与基于OpenCV的Haar级联分类器相比，可以具有更快的检测速度及更高的检测准确率。
返回参照图1，在步骤S04中，将基准面部图像和情绪面部图像分别输入到面部特征点标记网络中进行面部特征点提取以分别获得基准特征点和情绪特征点。参照图2，基于由面部检测神经网络生成的面部图像，由面部特征点标记网络获得与面部图像对应的特征点。在根据本发明的示例实施例中，面部特征点标记网络可以为混洗单元(Shuffle Unit)的网络结构，其所包含的卷积模块可以采用ShuffleNet结构。面部特征点标记网络以面部图像(例如，基准面部图像和情绪面部图像)为输入层，并输出面部特征点(例如，基准特征点和情绪特征点)。
面部特征点标记网络可以采用高性能卷积神经网络模型，其输入图像为160×160像素的人脸图像，输出为人脸68个特征点的位置信息。这里所述的输入图像的尺寸仅为示例，例如，在另一实施例中，输入图像的尺寸可以为110×110～210×210。该模型与常用的计算机视觉工具库DLib种的特征点提取方法相比，具有更快的提取速度和更高的准确率。
多卷积神经网络联合模型在配置为i7-10700的主机下识别速度约为10ms，用面部检测数据集和基准(FDDB,Face Detection Data Set and Benchmark)人脸检测算法评价标准测试准确率达到90％以上。
在实施例中，基准特征点的位置信息和所述情绪特征点的位置信息包括二维位置信息。在采用双摄像头或多摄像头的情况下，基准特征点的位置信息和所述情绪特征点的位置信息可以包括三维位置信息。
返回参照图1，在步骤S05中，根据基准特征点的位置信息和情绪特征点的位置信息计算出面部微特征向量，并将满足预定阈值的面部微特征向量作为面部运动单元进行输出。
参照图3，可以对面部微特征向量进行如下定义：
眉弓微特征201为眉弓特征点垂直位移向量，可以表示眉弓运动单元；
眉心微特征202为眉心特征点垂直位移向量，可以表示眉心运动单元；
眼部微特征203为眼部特征点垂直位移向量，可以表示眼部运动单元，例如，瞪眼睛、眯眼睛、闭眼睛等；
鼻部微特征204为鼻部特征点垂直位移向量，可以表示鼻部运动单元，例如，皱鼻子；
嘴唇微特征205为嘴唇特征点垂直位移向量，可以表示嘴唇运动单元；
嘴角微特征206为嘴角特征点水平位移向量及垂直位移向量，可以表示嘴角运动单元，例如，嘴角上升、嘴角下降，嘴角拉抻，嘴角收缩等。
在实施例中，以眉心微特征为例，当眉心微特征向量向上，且长度大于预定阈值(例如，两个像素)时，可以理解为触发了眉心运动单元中的眉心上移，从而实现将机器语言(面部特征点的变化)转换为面部语义。
返回参照图1，在步骤S06中，采用递归神经网络模型对面部运动单元进行拟合，得到预测的情绪特征。例如，可以利用递归神经网络对面部运动单元进行拟合以得到高兴、伤心、害怕、愤怒、厌恶、惊讶、轻蔑等七种基本情绪。此外，因为采用了面部运动单元进行情绪拟合，还可以得到如窘迫、内疚、害羞、骄傲等复杂情绪。
图4是通过训练样本生成用于面部运动单元的拟合的递归神经网络模型的流程图。
基于多特征点的微表情拟合方法还包括构建递归神经网络(RNN)模型及对其进行训练的步骤。
参照图4，在步骤S601中，基于训练样本构建情绪训练集和情绪测试集，训练样本包括基于基准图像和情绪图像得到的面部运动单元以及与面部运动单元对应的情绪特征。在实施例中，训练样本可以是在审讯环境下获取的样本的图像和情绪特征。
在步骤S602中，构建递归神经网络模型。
在步骤S603中，通过情绪训练集对递归神经网络模型进行训练。例如，在一次迭代中，递归神经网络模型对输入50组训练集进行训练，输出600个情绪值，600个情绪值中，根据正确的情绪占总情绪数的比例来判断是否满足分类要求。例如，要求递归神经网络模型的预测准确度大于90％。
在步骤S604中，当未满足迭代条件时，例如，当预测准确度与上次迭代的预测准确度不同(例如，大于预定的准确度变化阈值)，或者未达到预定的最大迭代次数时，在步骤S605中，反向调节各个神经元间的权重系数以提高每次迭代的准确度。在示例实施例中，可以使递归神经网络模型的每层共享同一权重参数，从而可以减少运算量、提高运算速度，使模型具有更强的泛化性。例如，可以使用在程序代码里封装好的函数进行自动调节。在调整过网络参数之后返回步骤S603进行下一次训练。
通过不断迭代，当满足迭代条件时，例如，在步骤S604中，当预测准确度不再变化(例如，小于等于预定的准确度变化阈值)或迭代次数达到预定的最大迭代次数时，结束递归神经网络模型的训练。
在步骤S606中，判断该递归神经网络模型的预测准确度是否满足分类要求。如果不满足则舍弃，如果满足分类要求则向下一步进行输出。
在步骤S607中，通过情绪测试集对训练所得的递归神经网络进行评价。根据评价的结果，将满足预定准确度的递归神经网络用于所述面部运动单元的拟合。例如，将训练所得的递归神经网络对情绪测试集中的面部运动单元给出的情绪特征，当其检测准确率达到90％以上时，可将该递归神经网络用于情绪特征的预测。
图5是基于多特征点的微表情拟合的系统的框图。
在图5中，基于多特征点的微表情拟合的系统包括：图像获取单元100、面部检测单元200、特征点提取单元300、面部运动获取单元400和情绪识别单元500。
图像获取单元100获取基准图像及情绪图像。图像获取单元100可以被配置为执行参照图1描述的步骤S01和步骤S02，因此在此省略冗余的描述。
面部检测单元200将基准图像和情绪图像分别输入到面部检测神经网络中进行面部检测以分别获得基准面部图像和情绪面部图像。面部检测单元200可以被配置为执行参照图1和表1描述的步骤S03，因此在此省略冗余的描述。
特征点提取单元300将基准面部图像和情绪面部图像分别输入到面部特征点标记网络中进行面部特征点提取以分别获得基准特征点和情绪特征点。特征点提取单元300可以被配置为执行参照图1描述的步骤S04，因此在此省略冗余的描述。
面部运动获取单元400根据基准特征点的位置信息和情绪特征点的位置信息计算出面部微特征向量，并将满足预定阈值的面部微特征向量作为面部运动单元进行输出。面部运动获取单元400可以被配置为执行参照图1和图2描述的步骤S05，因此在此省略冗余的描述。
情绪识别单元500采用递归神经网络模型对所述面部运动单元进行拟合，得到预测的情绪特征。此外，情绪识别单元500还可以根据训练样本对递归神经网络模型进行训练。情绪识别单元500可以被配置为执行参照图1描述的步骤S06和参照图4描述的对递归神经网络模型进行训练的步骤S601～步骤S607，因此在此省略冗余的描述。
本发明还提供了一种基于位移补偿的微表情拟合方法，虽然未示出具体的流程图，但是基于位移补偿的微表情拟合的方法中包括对情绪特征点进行补偿以获得补偿后的情绪特征点的步骤，并且在图1示出的步骤S04之后执行以便为后续的步骤S05提供补偿后的情绪特征点的位置信息。此外，图1中的示出的步骤S03和步骤S04可以合并表述为根据基准图像和情绪图像分别获得基准特征点和情绪特征点。在此省略冗余的描述。
对情绪特征点进行补偿以获得补偿后的情绪特征点的步骤可以包括：基于情绪特征点获得头部姿态；基于头部姿态获得特征点的位移补偿值；以及根据位移补偿值对情绪特征点进行补偿以获得补偿后的情绪特征点。
将在下面参照图6至图9详细描述对情绪特征点进行补偿以获得补偿后的情绪特征点的步骤。
图6是头部姿态和面部基准点的示意图；图7是基于位移补偿的微表情拟合的系统的框图；图8是对情绪特征点进行补偿的位移补偿单元的框图；图9是位移估计神经网络的结构示意图。
参照图6，在头部姿态位于基准位置的情况下，可以选取面部朝向方向为Z轴，并选取人眼连线的水平线为X轴，竖直方向为Y轴。以上示例仅为便于理解，并不限于此。在其他实施例中，也可以选取圆柱坐标系或球面坐标系。将两眼内眼角连线与过鼻尖垂线的交点为面部基准点601。面部表情提取的特征点通常不包括两眼内眼角连线与过鼻尖垂线的交点。选取面部特征点之外的点作为面部基准点更有利于计算在头部偏转情况下面部特征点的偏移值。两眼内眼角连线与过鼻尖垂线的交点相对固定，在各种表情下变化量最小，选取其为面部基准点601能够减小计算复杂度，从而获得更好的校正效果。
参照图7，除了图中描绘的位移补偿单元350之外，示出的基于位移补偿的微表情拟合的系统与参照图5示出的微表情拟合系统基本相同或相似。相同的附图标记始终表示相同的元件。因此，为了避免冗余的描述，在这里仅描述与图5的不同之处。
基于位移补偿的微表情拟合的系统还包括位移补偿单元350，用于对处于偏转状态下获得的情绪图像的情绪特征点进行补偿以获得补偿后的情绪特征点。从而在后续的面部运动获取单元400中可以获得更准确的面部微特征向量。
图8示出了位移补偿单元350的具体配置。位移补偿单元350可以包括头部姿态解算单元351、位移估计单元353和特征点补偿单元355。图9是位移估计神经网络的结构示意图。
头部姿态解算单元351根据情绪特征点获得头部姿态。其中，头部姿态解算单元351可以被实现为软件、硬件或软件和硬件的组合。例如，头部姿态解算单元351可以采用头部姿态变换矩阵最小二乘估计方法、3D卷积神经网络估计方法、循环神经网络估计方法、编解码神经网络估计方法等软件的方法。在这种情况下，头部姿态解算单元351的输入参数为面部特征点(例如，情绪图像的情绪特征点)，输出结果为头部绕X轴、Y轴、Z轴的旋转角度。例如，头部姿态解算单元351可以采用3轴姿态传感器解算方法的硬件方法。在这种情况下，头部姿态解算单元可以根据3轴姿态传感器的输出参数获得头部绕X轴、Y轴、Z轴的旋转角度。
位移估计单元353根据头部姿态获得特征点的位移补偿值。参照图9，位移估计单元353在执行基于头部姿态获得特征点的位移补偿值的步骤中采用位移估计神经网络来获得特征点的位移补偿值。所述位移估计神经网络包括：输入层，包括三个神经元，其输入参数分别对应头部绕X轴、Y轴、Z轴的旋转角度；第一隐藏层，选用双曲正切函数(tanh)作为激活函数，将输入的值压缩到预定范围内，使得接下来对数据进行进一步的处理变得更加稳定，不存在非零均值化的问题；第二隐藏层，选用指数线性函数(ELU)作为网络模型的激活函数，使网络的收敛速度更快，且不会有神经元坏死的问题；以及输出层，选用逻辑回归模型(softmax)作为网络的激活函数，并输出与所述情绪特征点对应的特征点的位移补偿值，逻辑回归模型善于解决多分类的问题，从而实现特征点的位移补偿值的输出，例如，由网络模型26个神经元组成的对应于面部13个特征点在水平方向和垂直方向上的补偿值。在实施例中，预定范围可以为[-1,1]。在实施例中，位移估计单元353输出的特征点的位移补偿值可以选取面部基准点为参考点。输出特征点相对于面部基准点的偏移值。
特征点补偿单元355根据位移补偿值对情绪特征点进行补偿以获得补偿后的情绪特征点。例如，特征点补偿单元355可以被配置为执行以下步骤：将两眼内眼角连线与过鼻尖垂线的交点为面部基准点；计算每个特征点与面部基准点的水平像素差和垂直像素差；根据对应的位移补偿值对所述每个特征点的水平像素差和垂直像素差进行补偿以获得补偿后的情绪特征点。
返回参照图7，面部运动获取单元400根据基准特征点的位置信息和补偿后的情绪特征点的位置信息计算出面部微特征向量，并将满足预定阈值的面部微特征向量作为面部运动单元输出至情绪识别单元500。
在实施例中，还包括通过面部姿态样本对所述位移估计神经网络进行训练的步骤。在训练的过程中，首先，构建面部姿态样本，所述面部姿态样本包括头部绕X轴、Y轴、Z轴的旋转角度和与旋转角度对应的特征点偏移值，其中，特征点偏移值指的是预先测量得到的与旋转角度对应偏移量，并且可以以查找表的形式存储在面部姿态样本中。其次，构建位移估计神经网络使其具有以上描述的结构。然后，通过面部姿态样本对位移估计神经网络进行训练，在第一次迭代时随机分配各层的权重系数，基于输出层输出的特征点的位移补偿值和对应的特征点偏移值进行对比。接着，根据对比的结果调节各个神经元之间的连接权重系数，然后进行下一次迭代。
在实施例中，可以通过损失函数来评估神经网络模型的优劣。损失函数可以选用交叉熵函数。由于模型的输出层选用逻辑回归模型作为激活函数，而交叉熵函数实际上就是对样本进行负对数似然估计，因此，交叉熵函数与逻辑回归模型更契合，此外，从相对熵角度来看，更符合对损失函数的定义。例如，可以设定预定计数为5000次。当迭代次数达到5000次，或者损失函数值低于设定的阈值，且收敛于某一个值不在降低时，停止迭代，得到可以用于获得特征点的位移补偿值的位移估计神经网络。
上面参照附图描述了基于多特征点的微表情拟合的方法和系统以及基于位移补偿的微表情拟合的系统。上述方法和系统根据基准图像和情绪图像对情绪进行预测。由于采用根据基准图像和情绪图像获得的面部运动单元进行情绪拟合，因此可以得到更为准确的情绪特征。
此外，基于多特征点的微表情拟合方法和系统采用包括面部检测神经网络和面部特征点标记网络的多卷积神经网络联合模型对输入的图像进行预处理，得到面部特征点。所述方法和系统可根据审讯场景进行优化，从而可以在较低计算力的情况下，即便采用轻量级模型也能有较高的准确率。
另一方面，在基于多特征点的微表情拟合方法和系统中，面部检测神经网络所采用轻量级网络模型参数量少、计算复杂度低，能够实现通过轻量级的骨干网络结构对图像进行快速准确的特征提取。
又一方面，基于位移补偿的微表情拟合方法和系统根据不同头部姿态下面部情绪的微特征进行位移补偿，提升了微表情识别的准确度。
以上已参照图1至图9描述了根据本公开示例性实施例的基于多特征点的微表情拟合的方法和系统以及基于位移补偿的微表情拟合的方法和系统。
图5、图7和图8所示出的系统中的各个单元可被配置为执行特定功能的软件、硬件、固件或上述项的任意组合。例如，各个单元可对应于专用的集成电路，也可对应于纯粹的软件代码，还可对应于软件与硬件相结合的模块。此外，各个单元所实现的一个或多个功能也可由物理实体设备(例如，处理器、客户端或服务器等)中的组件来统一执行。
此外，参照图1至图9所描述的方法可通过记录在计算机可读存储介质上的程序(或指令)来实现。例如，根据本公开的示例性实施例，可提供存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行根据本公开的基于多特征点的微表情拟合的方法以及基于位移补偿的微表情拟合的方法。
上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，应注意，计算机程序还可用于执行除了上述步骤以外的附加步骤或者在执行上述步骤时执行更为具体的处理，这些附加步骤和进一步处理的内容已经在参照图1至图9进行相关方法的描述过程中提及，因此这里为了避免重复将不再进行赘述。
应注意，根据本公开示例性实施例的基于多特征点的微表情拟合的系统以及基于位移补偿的微表情拟合的系统中的各个单元可完全依赖计算机程序的运行来实现相应的功能，即，各个单元在计算机程序的功能架构中与各步骤相应，使得整个系统通过专门的软件包(例如，lib库)而被调用，以实现相应的功能。
另一方面，图5、图7和图8所示的各个单元也可以通过硬件、软件、固件、中间件、微代码或其任意组合来实现。当以软件、固件、中间件或微代码实现时，用于执行相应操作的程序代码或者代码段可以存储在诸如存储介质的计算机可读介质中，使得处理器可通过读取并运行相应的程序代码或者代码段来执行相应的操作。
例如，本公开的示例性实施例还可以实现为计算装置，该计算装置包括存储部件和处理器，存储部件中存储有计算机可执行指令集合，当计算机可执行指令集合被处理器执行时，执行根据本公开的示例性实施例的基于多特征点的微表情拟合的方法以及基于位移补偿的微表情拟合的方法。
具体说来，计算装置可以部署在服务器或客户端中，也可以部署在分布式网络环境中的节点装置上。此外，计算装置可以是PC计算机、平板装置、个人数字助理、智能手机、web应用或其他能够执行上述指令集合的装置。
这里，计算装置并非必须是单个的计算装置，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。计算装置还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子装置。
在计算装置中，处理器可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。
根据本公开示例性实施例的基于多特征点的微表情拟合的方法以及基于位移补偿的微表情拟合的方法中所描述的某些操作可通过软件方式来实现，某些操作可通过硬件方式来实现，此外，还可通过软硬件结合的方式来实现这些操作。
处理器可运行存储在存储部件之一中的指令或代码，其中，存储部件还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，网络接口装置可采用任何已知的传输协议。
存储部件可与处理器集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储部件可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储部件和处理器可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得处理器能够读取存储在存储部件中的文件。
此外，计算装置还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。计算装置的所有组件可经由总线和/或网络而彼此连接。
根据本公开示例性实施例的基于多特征点的微表情拟合的方法以及基于位移补偿的微表情拟合的方法可被描述为各种互联或耦合的功能块或功能示图。然而，这些功能块或功能示图可被均等地集成为单个的逻辑装置或按照非确切的边界进行操作。
因此，参照图1至图9所描述的基于多特征点的微表情拟合的方法以及基于位移补偿的微表情拟合的方法可通过包括至少一个计算装置和至少一个存储指令的存储装置的系统来实现。
根据本公开的示例性实施例，至少一个计算装置是根据本公开示例性实施例的用于执行基于多特征点的微表情拟合的方法以及基于位移补偿的微表情拟合的方法的计算装置，存储装置中存储有计算机可执行指令集合，当计算机可执行指令集合被至少一个计算装置执行时，执行参照图1至图9所描述的基于多特征点的微表情拟合的方法以及基于位移补偿的微表情拟合的方法。
以上描述了本公开的各示例性实施例，应理解，上述描述仅是示例性的，并非穷尽性的，本公开不限于所披露的各示例性实施例。在不偏离本公开的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。因此，本公开的保护范围应该以权利要求的范围为准。

Claims (5)

1.一种基于位移补偿的微表情拟合方法，所述方法包括：
获取基准图像和情绪图像，其中，基准图像指没有刺激源情况下的图像，情绪图像指存在预定刺激源情况下的图像；
根据基准图像和情绪图像分别通过面部检测神经网络获取基准面部图像和情绪面部图像，并且基于所述基准面部图像和所述情绪面部图像分别通过面部特征点标记网络获得基准特征点和情绪特征点；
对情绪特征点进行补偿以获得补偿后的情绪特征点；
根据基准特征点的位置信息和补偿后的情绪特征点的位置信息计算出面部微特征向量，并将满足预定阈值的面部微特征向量作为面部运动单元进行输出，其中，面部微特征向量是由所述基准特征点指向补偿后的情绪特征点的位移向量；以及
对所述面部运动单元进行拟合，得到预测的情绪特征，
其中，所述对情绪特征点进行补偿以获得补偿后的情绪特征点的步骤，包括：基于情绪特征点获得头部姿态；基于头部姿态获得特征点的位移补偿值；以及根据位移补偿值对情绪特征点进行补偿以获得补偿后的情绪特征点，
其中，在所述基于头部姿态获得特征点的位移补偿值的步骤中，采用位移估计神经网络来获得特征点的位移补偿值，所述位移估计神经网络包括：输入层，包括三个神经元，其输入参数分别对应头部绕X轴、Y轴、Z轴的旋转角度；第一隐藏层，选用双曲正切函数作为激活函数，将输入的值压缩到预定范围内；第二隐藏层，选用指数线性函数作为网络模型的激活函数；以及输出层，选用逻辑回归模型作为网络的激活函数，并输出与所述情绪特征点对应的特征点的位移补偿值，并且
其中，根据位移补偿值对情绪特征点进行补偿以获得补偿后的情绪特征点的步骤，包括：将两眼内眼角连线与过鼻尖垂线的交点为面部基准点；计算每个特征点与面部基准点的水平像素差和垂直像素差；根据对应的位移补偿值对所述每个特征点的水平像素差和垂直像素差进行补偿以获得补偿后的情绪特征点。
2.根据权利要求1所述的方法，所述方法还包括：通过面部姿态样本对所述位移估计神经网络进行训练的步骤，在训练过程中，
构建面部姿态样本，所述面部姿态样本包括头部绕X轴、Y轴、Z轴的旋转角度和与旋转角度对应的特征点偏移值；
构建所述位移估计神经网络；
通过面部姿态样本对位移估计神经网络进行训练，在第一次迭代时随机分配各层的权重系数，基于输出层输出的特征点的位移补偿值和对应的特征点偏移值进行对比；以及
根据对比的结果调节各个神经元之间的连接权重系数，然后进行下一次迭代，
其中，通过损失函数来评估神经网络模型的优劣，所述损失函数选用交叉熵函数，当损失函数低于预定损失阈值、收敛、或者迭代次数达到预定计数时，终止训练。
3.一种基于多特征点的微表情拟合的系统，所述系统包括：
图像获取单元，获取基准图像及情绪图像，其中，基准图像指没有刺激源情况下的图像，情绪图像指存在预定刺激源情况下的图像；
面部检测单元，根据基准图像和情绪图像分别获得基准面部图像和情绪面部图像；
特征点提取单元，根据基准面部图像和情绪面部图像分别通过面部检测神经网络获取基准面部图像和情绪面部图像，并且基于所述基准面部图像和所述情绪面部图像分别通过面部特征点标记网络分别获得基准特征点和情绪特征点；
位移补偿单元，对情绪特征点进行补偿以获得补偿后的情绪特征点；
面部运动获取单元，根据基准特征点的位置信息和补偿后的情绪特征点的位置信息计算出面部微特征向量，并将满足预定阈值的面部微特征向量作为面部运动单元进行输出，其中，面部微特征向量是由所述基准特征点指向补偿后的情绪特征点的位移向量；以及
情绪识别单元，对所述面部运动单元进行拟合，得到预测的情绪特征，
其中，所述位移补偿单元包括：头部姿态解算单元，根据情绪特征点获得头部姿态；位移估计单元，根据头部姿态获得特征点的位移补偿值；特征点补偿单元，根据位移补偿值对情绪特征点进行补偿以获得补偿后的情绪特征点，
其中，所述位移估计单元采用位移估计神经网络来获得特征点的位移补偿值，所述位移估计神经网络包括：输入层，包括三个神经元，其输入参数分别对应头部绕X轴、Y轴、Z轴的旋转角度；第一隐藏层，选用双曲正切函数作为激活函数，将输入的值压缩到预定范围内；第二隐藏层，选用指数线性函数作为网络模型的激活函数；以及输出层，选用逻辑回归模型作为网络的激活函数，并输出与所述情绪特征点对应的特征点的位移补偿值，并且
其中，所述特征点补偿单元包括：将两眼内眼角连线与过鼻尖垂线的交点为面部基准点；计算每个特征点与面部基准点的水平像素差和垂直像素差；根据对应的位移补偿值对所述每个特征点的水平像素差和垂直像素差进行补偿以获得补偿后的情绪特征点。
4.一种存储有计算机程序的计算机可读存储介质，其特征在于，当所述计算机程序在被处理器执行时实现如权利要求1或2所述的基于位移补偿的微表情拟合方法。
5.一种计算机设备，其特征在于，所述计算机设备包括：
处理器；
存储器，存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1或2所述的基于位移补偿的微表情拟合方法。
CN202011624238.3A 2020-12-31 2020-12-31 基于位移补偿的微表情拟合方法和系统 Active CN112766063B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011624238.3A CN112766063B (zh) 2020-12-31 2020-12-31 基于位移补偿的微表情拟合方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011624238.3A CN112766063B (zh) 2020-12-31 2020-12-31 基于位移补偿的微表情拟合方法和系统

Publications (2)

Publication Number Publication Date
CN112766063A CN112766063A (zh) 2021-05-07
CN112766063B true CN112766063B (zh) 2024-04-23

Family

ID=75698866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011624238.3A Active CN112766063B (zh) 2020-12-31 2020-12-31 基于位移补偿的微表情拟合方法和系统

Country Status (1)

Country Link
CN (1) CN112766063B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101968853A (zh) * 2010-10-15 2011-02-09 吉林大学 基于改进的免疫算法优化支持向量机参数的表情识别方法
CN104781837A (zh) * 2012-08-15 2015-07-15 汤姆森路透社全球资源公司 用于通过使用基于事件的情绪分析来形成预测的系统和方法
CN104778472A (zh) * 2015-04-24 2015-07-15 南京工程学院 人脸表情特征提取方法
CN107105320A (zh) * 2017-03-07 2017-08-29 上海交通大学 一种基于用户情绪的在线视频热度预测方法及系统
CN108198219A (zh) * 2017-11-21 2018-06-22 合肥工业大学 用于摄影测量的相机标定参数的误差补偿方法
KR20180110472A (ko) * 2017-03-29 2018-10-10 안동과학대학교 산학협력단 IoT기반 입체 감성조명 제어시스템 및 그 방법
CN109426765A (zh) * 2017-08-23 2019-03-05 厦门雅迅网络股份有限公司 驾驶危险情绪提醒方法、终端设备及存储介质
CN110175596A (zh) * 2019-06-04 2019-08-27 重庆邮电大学 基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法
CN112101096A (zh) * 2020-08-02 2020-12-18 华南理工大学 一种基于语音和微表情的多模态融合的自杀情绪感知方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11526808B2 (en) * 2019-05-29 2022-12-13 The Board Of Trustees Of The Leland Stanford Junior University Machine learning based generation of ontology for structural and functional mapping

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101968853A (zh) * 2010-10-15 2011-02-09 吉林大学 基于改进的免疫算法优化支持向量机参数的表情识别方法
CN104781837A (zh) * 2012-08-15 2015-07-15 汤姆森路透社全球资源公司 用于通过使用基于事件的情绪分析来形成预测的系统和方法
CN104778472A (zh) * 2015-04-24 2015-07-15 南京工程学院 人脸表情特征提取方法
CN107105320A (zh) * 2017-03-07 2017-08-29 上海交通大学 一种基于用户情绪的在线视频热度预测方法及系统
KR20180110472A (ko) * 2017-03-29 2018-10-10 안동과학대학교 산학협력단 IoT기반 입체 감성조명 제어시스템 및 그 방법
CN109426765A (zh) * 2017-08-23 2019-03-05 厦门雅迅网络股份有限公司 驾驶危险情绪提醒方法、终端设备及存储介质
CN108198219A (zh) * 2017-11-21 2018-06-22 合肥工业大学 用于摄影测量的相机标定参数的误差补偿方法
CN110175596A (zh) * 2019-06-04 2019-08-27 重庆邮电大学 基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法
CN112101096A (zh) * 2020-08-02 2020-12-18 华南理工大学 一种基于语音和微表情的多模态融合的自杀情绪感知方法

Also Published As

Publication number Publication date
CN112766063A (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
Bandini et al. Analysis of the hands in egocentric vision: A survey
Nunez et al. Convolutional neural networks and long short-term memory for skeleton-based human activity and hand gesture recognition
US10832039B2 (en) Facial expression detection method, device and system, facial expression driving method, device and system, and storage medium
Hasan et al. RETRACTED ARTICLE: Static hand gesture recognition using neural networks
Akinyelu et al. Convolutional neural network-based methods for eye gaze estimation: A survey
Wang et al. Hidden‐Markov‐models‐based dynamic hand gesture recognition
Elgammal et al. Tracking people on a torus
JP2022505498A (ja) 画像処理方法、装置、電子機器及びコンピュータ読取可能記憶媒体
Wang et al. Realtime 3D eye gaze animation using a single RGB camera
CN109684969B (zh) 凝视位置估计方法、计算机设备及存储介质
US11714880B1 (en) Hand pose estimation for machine learning based gesture recognition
EP3953859B1 (en) Method and system for estimating eye-related geometric parameters of a user
US11854308B1 (en) Hand initialization for machine learning based gesture recognition
US20220198836A1 (en) Gesture recognition method, electronic device, computer-readable storage medium, and chip
US20160071287A1 (en) System and method of tracking an object
CN110555383A (zh) 一种基于卷积神经网络和3d估计的手势识别方法
Abed et al. Python-based Raspberry Pi for hand gesture recognition
Yu et al. A video-based facial motion tracking and expression recognition system
Enikeev et al. Recognition of sign language using leap motion controller data
Kwolek et al. Recognition of JSL fingerspelling using deep convolutional neural networks
Bamani et al. Ultra-Range Gesture Recognition using a web-camera in Human–Robot Interaction
US11841920B1 (en) Machine learning based gesture recognition
Uke et al. Optimal video processing and soft computing algorithms for human hand gesture recognition from real-time video
CN112766063B (zh) 基于位移补偿的微表情拟合方法和系统
Bature et al. Boosted gaze gesture recognition using underlying head orientation sequence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant