CN106940792B - 基于特征点运动的人脸表情序列截取方法 - Google Patents

基于特征点运动的人脸表情序列截取方法 Download PDF

Info

Publication number
CN106940792B
CN106940792B CN201710153433.4A CN201710153433A CN106940792B CN 106940792 B CN106940792 B CN 106940792B CN 201710153433 A CN201710153433 A CN 201710153433A CN 106940792 B CN106940792 B CN 106940792B
Authority
CN
China
Prior art keywords
frame
change
sequence
points
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710153433.4A
Other languages
English (en)
Other versions
CN106940792A (zh
Inventor
易积政
陈爱斌
王丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University of Forestry and Technology
Original Assignee
Central South University of Forestry and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University of Forestry and Technology filed Critical Central South University of Forestry and Technology
Priority to CN201710153433.4A priority Critical patent/CN106940792B/zh
Publication of CN106940792A publication Critical patent/CN106940792A/zh
Application granted granted Critical
Publication of CN106940792B publication Critical patent/CN106940792B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于特征点运动的人脸表情序列截取方法，包括：1、对拍摄得到的人脸图像序列中各帧图像进行人脸区域检测及特征点定位；2、从特征点集合中选择特征点，并记录它们在帧内的空间位置信息；3、针对随表情发生过程中相对位置发生变化的特征点，计算它们两两之间的欧氏距离，并拟合所求欧氏距离在帧间的变化折线；4、在所得变化折线中确定变化起始点记为平静状态，变化回归点记为表情强度最大化状态，两点之间即为所截取的人脸表情序列。本发明的技术效果在于：利用表情发生过程人脸特征点空间位置信息变化而进行的人脸表情序列截取。能够实现自动化，且计算简单，解决了人脸个性信息与头部姿势变化等因素对表情序列截取的影响。

Description

基于特征点运动的人脸表情序列截取方法
技术领域
本发明属于人脸表情识别领域，特别涉及一种基于特征点运动的人脸表情序列截取方法。
背景技术
作为人工智能一个重要的研究方向，人脸表情识别涉及多个研究领域，包括图像处理、动态建模、机器视觉、模式识别等。人类对人脸表情识别的研究，最早可以追溯到上世纪70年代，美国心理学家Ekman和Friesen提出了高兴、悲伤、惊讶、生气、嫌恶、害怕6种基本表情，并开发了面部动作编码系统用于揭示人脸表情的变化规律。上世纪九十年代，人类开始利用自己发明的计算机，努力探索自动化的人脸表情识别方法，大量基于Ekman和Friesen所提理论的优秀研究成果相继出现。近年来，随着计算机技术的飞速发展，人脸表情识别已经成为各行业的研究热点，所提方法大致归纳为两类：一是基于静态人脸图像的方法，二是基于动态视频序列的方法。传统的基于静态人脸图像的表情识别方法，主要是利用各种表情状态下图像纹理的差异来获取识别的依据，优点是数据量少，识别速度快。然而心理学家表明，相比于静态图像，人类通过动态视频来识别表情的效果更为理想。
在表达某一情感时，人脸表情都会从平静过度到强度最大化，再回归到平静。这一规律决定基于动态视频序列的人脸表情识别方法，非常依赖于两帧人脸图像(平静状态、表情强度最大化状态)的抽取。从具有连续表情变化的人脸图像序列中准确且省时地抽取两帧图像，已经成为人脸表情识别成功的基石。然而，研究者们大都依赖于自己的主观判断，手动选取上述两帧图像，这缺乏有效的理论支持，且不适合应用推广。也有部分研究者尝试从人脸特征的能量变化角度出发，确定表情发生过程中的平静时刻及表情强度最大化时刻，但此类方法计算复杂，且易受光照，姿态等因素的影响。
发明内容
为了有效解决上述问题，本发明提出基于特征点运动的人脸表情序列截取方法，具有理论创新和实际应用的双重价值，对人工智能及人机交互的发展具有重要推动作用。
为了实现上述技术目的，本发明的技术方案是，
一种基于特征点运动的人脸表情序列截取方法，包括以下步骤：
步骤一：连续拍摄人脸表情变化过程，对得到的人脸图像序列中各帧图像进行人脸区域检测，然后选取人脸区域内的特征点并进行定位；
步骤二：基于帧内所选特征点的空间位置信息，计算帧间位置信息发生变化的特征点两两之间的欧氏距离；
步骤三：拟合特征点两两之间欧氏距离在帧间的变化折线；
步骤四：在所得变化折线中以变化起始点记为平静状态，变化回归点记为表情强度最大化状态，两点之间即为所截取的人脸表情序列。
所述的一种基于特征点运动的人脸表情序列截取方法，所述的步骤一中，对人脸图像序列进行人脸区域检测的具体步骤为：
基于类Haar小波和权值修剪AdaBoost算法进行人脸检测，然后基于矩形特征、肤色检测和Camshift跟踪的方法，实现鲁棒的人脸跟踪，提取各帧图像的人脸区域。
所述的一种基于特征点运动的人脸表情序列截取方法，所述的步骤一中，选取人脸区域内的特征点的具体步骤为：
选取图像中人脸区域部分中的24个特征点，分别为右眉尾、右眉中、右眉头、右外眼角、右上眼睑、右内眼角、右下眼睑、，左眉尾、左眉中、左眉头、左外眼角、左上眼睑、左内眼角、左下眼睑、右鼻翼、左鼻翼、鼻尖、右嘴角、唇珠、左嘴角、下唇尖、右腮、左腮、下巴，各记为
Figure BDA0001246315040000031
其中i表示第i个特征点，m表示第m帧图像。
所述的一种基于特征点运动的人脸表情序列截取方法，所述的步骤二中，计算帧间位置信息发生变化的特征点两两之间的欧氏距离的具体步骤为：
针对帧内第i个和第j个特征点，计算其欧氏距离为
Figure BDA0001246315040000032
其中m表示第m帧图像，计算相邻两帧欧式距离的比值为
Figure BDA0001246315040000033
其大小为
Figure BDA0001246315040000034
取
Figure BDA0001246315040000035
的平均值为
Figure BDA0001246315040000036
若
Figure BDA0001246315040000037
的值小于或等于0.15，则将对应于第i个和第j个特征点的
Figure BDA0001246315040000038
全部剔除，最终参与后续运算的欧氏距离记为
Figure BDA0001246315040000039
所述的一种基于特征点运动的人脸表情序列截取方法，所述的步骤三中，拟合特征点两两之间欧氏距离在帧间的变化折线的具体步骤为：
以帧序为横坐标，
Figure BDA00012463150400000310
为纵坐标，求取相邻两点之间的直线方程。
所述的一种基于特征点运动的人脸表情序列截取方法，所述的步骤四中，判断变化折线中表示表情强度最大化状态的变化回归点的具体步骤为：
从变化折线起点开始，在变化折线上反映相应图像帧的点中，若连接代表某帧的点的直线斜率在正负值之间发生跳变，且随后三帧的直线斜率均未发生跳变，则判定此帧的前一帧为对应于特征点pi与pj的表情强度最大化图像
Figure BDA00012463150400000311
其帧序为k；
所述的一种基于特征点运动的人脸表情序列截取方法，所述的步骤四中，判断变化折线中表示平静状态的变化起始点的具体步骤为：
在人脸图像序列的前k-1帧中，若某帧直线斜率由零向正负值发生跳变，且随后三帧的直线斜率均未发生跳变，则判定此帧的前一帧为对应于特征点pi与pj的平静图像
Figure BDA0001246315040000041
所述的一种基于特征点运动的人脸表情序列截取方法，所述的步骤四中，得到人脸表情序列的具体步骤为：
分别统计各特征点之间
Figure BDA0001246315040000042
与
Figure BDA0001246315040000043
出现帧序的次数，次数最多的分别记为最终的表情强度最大化图像
Figure BDA0001246315040000044
和平静状态图像
Figure BDA0001246315040000045
而
Figure BDA0001246315040000046
与
Figure BDA0001246315040000047
之间的序列即为所截取的人脸表情序列。
本发明的技术效果在于：
1、该方法是利用表情发生过程人脸特征点空间位置信息变化而进行的人脸表情序列截取。
2、该方法完全自动化，计算简单，且解决了人脸个性信息与头部姿势变化等因素对表情序列截取的影响。
下面结合附图对本发明作进一步说明。
附图说明
图1为本发明的人脸表情序列截取系统框图；
图2为选取特征点位置图；
图3为特征点相互之间欧氏距离变化图；
图4为欧氏距离变化四阶段示意图。
具体实施方式
本发明针对拍摄得到的人脸表情图像序列，即表情状态从平静过度到强度最大化，再回归到平静的变化过程，提出一种人脸表情序列截取方法。
本发明的主要内容为：首先，对拍摄得到的人脸图像序列中各帧图像进行人脸区域检测及特征点定位；其次，基于帧内所选特征点的空间位置信息，计算帧间位置信息发生变化的特征点两两之间的欧氏距离；再次，拟合特征点两两之间欧氏距离在帧间的变化折线；最后，在所得变化折线中确定变化起始点记为平静状态，变化回归点记为表情强度最大化状态，两点之间即为所截取的人脸表情序列。
该方法的具体步骤如下：
步骤1：通过摄像头拍摄包含表情发生过程的人脸图像序列，并基于类Haar小波和权值修剪AdaBoost算法进行人脸检测，然后基于矩形特征、肤色检测和Camshift跟踪的方法，实现鲁棒的人脸跟踪，提取各帧图像的人脸区域；
步骤2：利用OPENCV的主动外观模型工具对各帧纹理图像分别进行特征点定位，选取其中24个特征点，分别为右眉尾、右眉中、右眉头、右外眼角、右上眼睑、右内眼角、右下眼睑、，左眉尾、左眉中、左眉头、左外眼角、左上眼睑、左内眼角、左下眼睑、右鼻翼、左鼻翼、鼻尖、右嘴角、唇珠、左嘴角、下唇尖、右腮、左腮、下巴，各记为
Figure BDA0001246315040000051
其中i表示第i个特征点，m表示第m帧图像；
步骤3：针对帧内第i个和第j个特征点，计算其欧氏距离为
Figure BDA0001246315040000052
其中m表示第m帧图像，计算相邻两帧欧式距离的比值为
Figure BDA0001246315040000053
其大小为
Figure BDA0001246315040000054
取
Figure BDA0001246315040000055
的平均值为
Figure BDA0001246315040000056
若
Figure BDA0001246315040000057
的值小于或等于0.15，则将对应于第i个和第j个特征点的
Figure BDA0001246315040000058
全部剔除，最终参与后续运算的欧氏距离记为
Figure BDA0001246315040000059
步骤4：以帧序为横坐标，
Figure BDA00012463150400000510
为纵坐标，求取相邻两点之间的直线方程；
步骤5：若某帧直线斜率在正负值之间发生跳变，且随后三帧的直线斜率均未发生跳变，则判定此帧的前一帧为对应于特征点pi与pj的表情强度最大化图像
Figure BDA0001246315040000061
其帧序为k；
步骤6：在人脸图像序列的前k-1帧中，若某帧直线斜率由零向正负值发生跳变，且随后三帧的直线斜率均未发生跳变，则判定此帧的前一帧为对应于特征点pi与pj的平静图像
Figure BDA0001246315040000062
步骤7：分别统计各特征点之间
Figure BDA0001246315040000063
与
Figure BDA0001246315040000064
出现帧序的次数，次数最多的分别记为最终的表情强度最大化图像
Figure BDA0001246315040000065
和平静状态图像
Figure BDA0001246315040000066
而
Figure BDA0001246315040000067
与
Figure BDA0001246315040000068
之间的序列即为所截取的人脸表情序列。
本发明的基本思想是通过摄像头拍摄表情发生过程中的人脸图像序列，再利用主动外观模型进行人脸特征点定位，并在帧内计算各选取特征点相互之间的欧氏距离，随后通过欧氏距离的变化规律抽取人脸平静状态图像与表情强度最大化图像，从而截取最终的人脸表情序列。
根据以上思想，本发明的系统结构框图如图1所示。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，具体阐述本发明的实施方式。应当理解，此处所描述的具体实例仅用以解释本发明，并不用于限定本发明。
1、特征点定位与选取。利用主动外观模型对人脸表情序列各帧图像分别进行特征点定位，其中主动外观模型工具来源于OPENCV软件包。特征点定位后，本发明选取其中24点作为最终的特征点，具体位置如图2所示，各特征点说明如下表1所示：
表1特征点编号及位置说明
编号 名称 编号 名称 编号 名称 编号 名称
1 右眉尾 7 右下眼睑 13 左内眼角 19 唇珠
2 右眉中 8 左眉尾 14 左下眼睑 20 左嘴角
3 右眉头 9 左眉中 15 右鼻翼 21 下唇尖
4 右外眼角 10 左眉头 16 左鼻翼 22 右腮
5 右上眼睑 11 左外眼角 17 鼻尖 23 左腮
6 右内眼角 12 左上眼睑 18 右嘴角 24 下巴
2、在现实情况下，表情发生过程中，人脸特征点相互之间欧氏距离的变化只存在三种情况，如图3所示。在由平静状态过度到表情强度最大化的过程中，欧氏距离的变化通常是单调平滑的，同一表情的条件下，其变化趋势保持一致。
3、如图4所示，人脸图像序列中特征点相互之间欧氏距离的变化可以划分为四个阶段。第一阶段，即拍摄得到的人脸图像序列前端，由于拍摄对象的表情并未发生变化，始终保持平静状态，各特征点相互之间并未发生空间位置变化，故其曲线为一条平行于X轴的直线；第二阶段，特征点相互之间欧氏距离的变化会呈现两种趋势，即变大或者变小，且这种变化在到达强度最大化时始终保持单调平滑；第三阶段，特征点将会沿着此前运动的轨迹回归到人脸平静状态下的位置；第四阶段，人脸继续保持平静状态，特征点相互之间不再发生空间位置变化。

Claims (5)

1.一种基于特征点运动的人脸表情序列截取方法，其特征在于，包括以下步骤：
步骤一：连续拍摄人脸表情变化过程，对得到的人脸图像序列中各帧图像进行人脸区域检测，然后选取人脸区域内的特征点并进行定位；
步骤二：基于帧内所选特征点的空间位置信息，计算帧间位置信息发生变化的特征点两两之间的欧氏距离；
步骤三：拟合特征点两两之间欧氏距离在帧间的变化折线；
步骤四：在所得变化折线中以变化起始点记为平静状态，变化回归点记为表情强度最大化状态，两点之间即为所截取的人脸表情序列；
所述的步骤二中，计算帧间位置信息发生变化的特征点两两之间的欧氏距离的具体步骤为：
针对帧内第i个和第j个特征点，计算其欧氏距离为
Figure FDA0002478648610000011
其中m表示第m帧图像，计算相邻两帧欧式距离的比值为
Figure FDA0002478648610000012
其大小为
Figure FDA0002478648610000013
取
Figure FDA0002478648610000014
的平均值为
Figure FDA0002478648610000015
若
Figure FDA0002478648610000016
的值小于或等于0.15，则将对应于第i个和第j个特征点的
Figure FDA0002478648610000017
全部剔除，最终参与后续运算的欧氏距离记为
Figure FDA0002478648610000018
所述的步骤四中，判断变化折线中表示表情强度最大化状态的变化回归点的具体步骤为：
从变化折线起点开始，在变化折线上反映相应图像帧的点中，若连接代表某帧的点的直线斜率在正负值之间发生跳变，且随后三帧的直线斜率均未发生跳变，则判定此帧的前一帧为对应于特征点pi与pj的表情强度最大化图像
Figure FDA0002478648610000019
其帧序为k；
所述的步骤四中，判断变化折线中表示平静状态的变化起始点的具体步骤为：
在人脸图像序列的前k-1帧中，若某帧直线斜率由零向正负值发生跳变，且随后三帧的直线斜率均未发生跳变，则判定此帧的前一帧为对应于特征点pi与pj的平静图像
Figure FDA0002478648610000021
2.根据权利要求1所述的一种基于特征点运动的人脸表情序列截取方法，其特征在于，所述的步骤一中，对人脸图像序列进行人脸区域检测的具体步骤为：
基于类Haar小波和权值修剪AdaBoost算法进行人脸检测，然后基于矩形特征、肤色检测和Camshift跟踪的方法，实现鲁棒的人脸跟踪，提取各帧图像的人脸区域。
3.根据权利要求1所述的一种基于特征点运动的人脸表情序列截取方法，其特征在于，所述的步骤一中，选取人脸区域内的特征点的具体步骤为：
选取图像中人脸区域部分中的24个特征点，分别为右眉尾、右眉中、右眉头、右外眼角、右上眼睑、右内眼角、右下眼睑、左眉尾、左眉中、左眉头、左外眼角、左上眼睑、左内眼角、左下眼睑、右鼻翼、左鼻翼、鼻尖、右嘴角、唇珠、左嘴角、下唇尖、右腮、左腮、下巴，各记为
Figure FDA0002478648610000022
其中i表示第i个特征点，m表示第m帧图像。
4.根据权利要求1所述的一种基于特征点运动的人脸表情序列截取方法，其特征在于，所述的步骤三中，拟合特征点两两之间欧氏距离在帧间的变化折线的具体步骤为：
以帧序为横坐标，
Figure FDA0002478648610000023
为纵坐标，求取相邻两点之间的直线方程。
5.根据权利要求1所述的一种基于特征点运动的人脸表情序列截取方法，其特征在于，所述的步骤四中，得到人脸表情序列的具体步骤为：
分别统计各特征点之间
Figure FDA0002478648610000031
与
Figure FDA0002478648610000032
出现帧序的次数，次数最多的分别记为最终的表情强度最大化图像
Figure FDA0002478648610000033
和平静状态图像
Figure FDA0002478648610000034
而
Figure FDA0002478648610000035
与
Figure FDA0002478648610000036
之间的序列即为所截取的人脸表情序列。
CN201710153433.4A 2017-03-15 2017-03-15 基于特征点运动的人脸表情序列截取方法 Expired - Fee Related CN106940792B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710153433.4A CN106940792B (zh) 2017-03-15 2017-03-15 基于特征点运动的人脸表情序列截取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710153433.4A CN106940792B (zh) 2017-03-15 2017-03-15 基于特征点运动的人脸表情序列截取方法

Publications (2)

Publication Number Publication Date
CN106940792A CN106940792A (zh) 2017-07-11
CN106940792B true CN106940792B (zh) 2020-06-23

Family

ID=59468995

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710153433.4A Expired - Fee Related CN106940792B (zh) 2017-03-15 2017-03-15 基于特征点运动的人脸表情序列截取方法

Country Status (1)

Country Link
CN (1) CN106940792B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109922355B (zh) * 2019-03-29 2020-04-17 广州虎牙信息科技有限公司 虚拟形象直播方法、虚拟形象直播装置和电子设备
CN110020638B (zh) * 2019-04-17 2023-05-12 唐晓颖 人脸表情识别方法、装置、设备和介质
JP7419720B2 (ja) * 2019-09-24 2024-01-23 カシオ計算機株式会社 画像処理装置、画像処理方法及び画像処理プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102566474A (zh) * 2012-03-12 2012-07-11 上海大学 仿人面部表情机器人交互系统和方法以及人脸检测和跟踪方法
CN104732590A (zh) * 2015-03-09 2015-06-24 北京工业大学 一种手语动画的合成方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877056A (zh) * 2009-12-21 2010-11-03 北京中星微电子有限公司 人脸表情识别方法及系统、表情分类器的训练方法及系统
CN101908149A (zh) * 2010-07-06 2010-12-08 北京理工大学 一种从人脸图像序列中识别脸部表情的方法
TW201220216A (en) * 2010-11-15 2012-05-16 Hon Hai Prec Ind Co Ltd System and method for detecting human emotion and appeasing human emotion
CN102945361B (zh) * 2012-10-17 2016-10-05 北京航空航天大学 基于特征点矢量与纹理形变能量参数的人脸表情识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102566474A (zh) * 2012-03-12 2012-07-11 上海大学 仿人面部表情机器人交互系统和方法以及人脸检测和跟踪方法
CN104732590A (zh) * 2015-03-09 2015-06-24 北京工业大学 一种手语动画的合成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于特征点矢量与纹理形变能量参数融合的人脸表情识别;易积政等;《电子与信息学报》;20131031;第35卷(第10期);第2403-2410页 *

Also Published As

Publication number Publication date
CN106940792A (zh) 2017-07-11

Similar Documents

Publication Publication Date Title
CN109376582B (zh) 一种基于生成对抗网络的交互式人脸卡通方法
WO2019174439A1 (zh) 图像识别方法、装置、终端和存储介质
CN104881660B (zh) 基于gpu加速的人脸表情识别及互动方法
Liao et al. Automatic caricature generation by analyzing facial features
Murtaza et al. Analysis of face recognition under varying facial expression: a survey.
WO2018128996A1 (en) System and method for facilitating dynamic avatar based on real-time facial expression detection
CN106940792B (zh) 基于特征点运动的人脸表情序列截取方法
KR101893554B1 (ko) 멀티 모달 데이터 기반 표정인식방법 및 장치
CN108197534A (zh) 一种人头部姿态检测方法、电子设备及存储介质
CN108038434B (zh) 基于多示例学习的视频人脸表情预检测方法
CN106934375A (zh) 基于特征点运动轨迹描述的人脸表情识别方法
CN108171133A (zh) 一种基于特征协方差矩阵的动态手势识别方法
Yang et al. Facial expression recognition based on dual-feature fusion and improved random forest classifier
CN113158914B (zh) 一种舞蹈动作姿态、节奏和表情的智能评估方法
Haber et al. A practical approach to real-time neutral feature subtraction for facial expression recognition
Kulkarni et al. Analysis on techniques used to recognize and identifying the Human emotions
CN113705466B (zh) 用于遮挡场景、尤其高仿遮挡下的人脸五官遮挡检测方法
Hsieh et al. A facial expression classification system based on active shape model and support vector machine
CN107895154B (zh) 面部表情强度计算模型的形成方法及系统
CN109993135A (zh) 一种基于增强现实的手势识别方法、系统及装置
Teng et al. Facial expressions recognition based on convolutional neural networks for mobile virtual reality
Megahed et al. Face2face manipulation detection based on histogram of oriented gradients
CN111598002B (zh) 多面部表情捕捉方法、装置、电子设备及计算机存储介质
Ptucha et al. Fusion of static and temporal predictors for unconstrained facial expression recognition
Li et al. Automatic 3D facial expression recognition based on polytypic Local Binary Pattern

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200623