CN103168314B - 用于基于面部动作单元识别个体的情绪的方法和设备 - Google Patents

用于基于面部动作单元识别个体的情绪的方法和设备 Download PDF

Info

Publication number
CN103168314B
CN103168314B CN201180050733.0A CN201180050733A CN103168314B CN 103168314 B CN103168314 B CN 103168314B CN 201180050733 A CN201180050733 A CN 201180050733A CN 103168314 B CN103168314 B CN 103168314B
Authority
CN
China
Prior art keywords
motor unit
character string
mood
string
input action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180050733.0A
Other languages
English (en)
Other versions
CN103168314A (zh
Inventor
苏妲·威路塞米
哈里普拉萨德·卡南
巴拉苏博曼·阿南德
安舒尔·沙玛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103168314A publication Critical patent/CN103168314A/zh
Application granted granted Critical
Publication of CN103168314B publication Critical patent/CN103168314B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)

Abstract

一种用于基于动作单元识别个体的情绪的设备和方法。所述方法包括：从AU检测器接收包括一个或多个AU的表示个体的面部表情的输入AU字符串；将输入AU字符串与多个AU字符串中的每一个进行匹配，其中，所述多个AU字符串中的每一个包括高辨别AU集，每个AU字符串表示一种情绪；从多个AU字符串中识别与输入AU字符串最匹配的AU字符串；输出与最匹配AU字符串相应的指示个体的情绪的情绪标签。

Description

用于基于面部动作单元识别个体的情绪的方法和设备
技术领域
本发明总体涉及面部表情识别的领域，更具体的讲，涉及一种用于使用面部动作单元（AU）识别个体的情绪的方法和设备。
背景技术
在生活中，人们经常通过面部表情来表达情绪。面部表情是人们传达他们的情绪和意图的最有力、自然和直接的方法。面部可表达情绪快于人们用语言表达甚至快于意识到他们的情绪。例如，不同的情绪使用不同的面部区域（主要是嘴、眼睛和眉毛）来表达。
经常，情绪表情通过一个或几个分离的面部特征的微妙变化来传达，诸如，愤怒时紧闭的嘴唇或悲伤时斜张开的嘴角。很多计算机系统被配置为识别一小部分样本情绪表情，例如，喜悦、惊讶、愤怒、悲伤、恐惧和厌恶。
已经发展了面部动作编码系统（FACS）用于通过AU来描述面部表情。在FACS中定义的44个FACSAU中的30个AU在解剖学上涉及特定面部肌肉的收缩，即，12个针对上部面部，18个针对下部面部。AU可单独或以组合的方式发生。当AU按照组合的方式发生时，它们可以是附加的，在其中组合不改变组分AU的外观，或者可以是非附加的，在其中组分的外观改变。
在非附加效果的示例中，根据AU4单独发生还是与AU1组合发生（如在AU1+4中），AU4表现的不同。当AU4单独发生时，眉毛聚集在一起并且压低。在AU1+4中，眉毛聚集在一起但是由于AU1的动作被抬高。AU1+2是非附加组合的另一示例。当AU2单独发生时，不仅抬高外部眉毛，而且还常常拉高内部眉毛，这导致了与AU1+2相似的外观。非附加AU组合的这些效果提高了AU识别的难度。
当前系统一般采用用于使用AU来识别面部表情的单相位方法或双相位方法。双相位方法在分析情绪方面比单相位方法更实用。在双相位方法中，描述图像或视频帧中的个体的面部表情的动作单元集被检测。动作单元集随后被映射到一个或多个目标情绪来识别个体的真实情绪。典型地，双相位方法使用用于将动作单元集映射到目标情绪的制定的映射规则。制定的映射规则是基于情绪面部动作编码系统并对输入中的噪声敏感。然而，双相位方法未能弥补在当前AU检测技术中的缺点。
发明内容
技术问题
目前已知的AU检测方法遭受由于在准确地跟踪面部表情和从面部表情中提取特征中的确定性而产生的错误。当提供这样的错误动作单元用于使用双相位方法映射目标情绪时，基于差错动作单元识别的最终情绪的准确性往往会劣化。
技术方案
因此，本发明在于解决至少上面描述的上述问题并提供至少下面描述的优点。
根据本发明的一方面，提供一种用于基于AU识别个体的情绪的方法。所述方法包括：从AU检测器接收包括一个或多个AU的表示个体的面部表情的输入AU字符串；将输入AU字符串与多个AU字符串中的每一个进行匹配，其中，所述多个AU字符串中的每一个包括高辨别AU集，每个AU字符串表示一种情绪；从多个AU字符串中识别与输入AU字符串最匹配的AU字符串；输出与最匹配AU字符串相应的指示个体的情绪的情绪标签。
根据本发明的另一方面，提供一种用于基于AU识别个体的情绪的设备。所述设备包括：处理器；连接到处理器的存储器。所述存储器包括存储在其中的指令，当由处理器执行所述指令时，使得处理器：接收包括一个或多个AU的表示个体的面部表情的输入AU字符串；将输入AU字符串与多个AU字符串中的每一个进行匹配，其中，所述多个AU字符串中的每一个包括高辨别AU集，每个AU字符串表示一种情绪；从多个AU字符串中识别与输入AU字符串最匹配的AU字符串；输出与最匹配AU字符串相应的指示个体的情绪的情绪标签。
有益效果
本发明在于提供一种用于准确地识别最终情绪的设备和方法。
附图说明
通过下面结合附图的描述，本发明的特定实施例的上述和其它方面、特征和优点将变得更清楚，其中：
图1是示出根据本发明实施例的形成指示AU集与情绪之间的统计关系的关系矩阵的方法的流程图；
图2是示出根据本发明实施例的通过将输入AU字符串映射到每个模板AU字符串来识别情绪的方法的流程图；
图3是根据本发明实施例的针对六种情绪的动作单元的辨别力的图形表示；
图4示出根据本发明实施例的用于使用面部AU来识别个体的情绪的设备。
具体实施方式
现在将参照附图来详细描述本发明的各种实施例。在下面的描述中，仅提供具体细节（诸如详细的配置和部件）以帮助对本发明的这些实施例的全面理解。因此，本领域的技术人员应该清楚，在不脱离本发明的范围和精神的情况下，可以对这里描述的实施例进行各种改变和修改。此外，为了清楚和简明，省略对公知功能和构造的描述。
这里，可互换地使用术语“面部AU”和“AU”。
为了将从个体的面部检测的AU映射到目标情绪，基于针对目标情绪中的每一个的AU的辨别力，形成关系矩阵。辨别力是有助于确定每个动作单元和一个或多个情绪之间的统计关系的值。例如，高辨别力比具有低辨别力的动作单元更指示动作单元属于情绪。根据本发明的实施例，关系矩阵被用于将输入AU字符串与从关系矩阵中选择的一些模板AU字符串进行映射来识别个体的情绪。
图1是示出根据本发明实施例的形成指示AU集与情绪之间的统计关系的关系矩阵的方法的流程图。
参照图1，在步骤102中，针对与面部表情相关的每个AU计算辨别力（H）。辨别力（H）是一个值，它的大小量化与情绪的面部动作相关的AU的辨别力。因此，辨别力使得使用统计数据针对各种情绪的高辨别面部动作的识别成为可能。统计数据涉及各种情绪和从大的面部表情集中获得的AU之间的相关性的概率/统计。根据本发明的实施例，基于等式（1）计算针对每个AU的辨别力（H）。
H = P ( Y j | X i ) - P ( Y j | X ‾ i ) / NormFactor · · · ( 1 )
在等式（1）中，P(Yj|Xi)是在情绪Xi已经发生的情况下动作单元Yj的概率，是在情绪Xi还未发生的情况下动作单元Yj的概率。
如图3中所示，使用H值形成关系矩阵来表示每个AU和六种情绪之间的统计关系，在关系矩阵[H]中的值随后被归一化来针对每个情绪抑制学习样本大小。在这里，针对动作单元计算辨别力，所述动作单元是基于面部动作编码系统。
在步骤104中，基于针对AU中的每一个计算的辨别力，属于目标情绪中的每一个的AU集从关系矩阵中被识别。根据本发明实施例，从关系矩阵中识别具有属于特定情绪的高概率的高辨别AU。也就是说，与其它AU相比，高辨别AUs具有高辨别力，从而被认为表示特定情绪。
图3是根据本发明实施例的针对六种情绪的动作单元的辨别力的图形表示。
参照图3，正强度（较亮的颜色）指示属于特定情绪的动作单元的高概率，而负强度（较暗的颜色）指示不属于特定情绪的动作单元的高概率。例如，情绪“高兴”具有作为正辨别AU的AU12、AU6、AU26，并且具有作为负辨别AU的AU1、AU2、AU5。
在步骤106中，基于针对目标情绪中的每一个识别的高辨别动作单元集来从关系矩阵中获得矩阵。包括针对六种情绪（即，愤怒、恐惧、悲伤、高兴、惊讶、厌恶）选择的五个高辨别动作单元的矩阵的示例在下面的表1示出。
表1
在表1中，例如，情绪“愤怒”具有作为高辨别AU的AU23、AU7、AU17、AU4、AU10，情绪“高兴”具有作为高辨别动作单元的AU12、AU6、AU26、AU10、AU23。如下面将参照图2更详细的描述，表1中的矩阵有助于有效地将输入AU字符串映射到与六种情绪相应的一个或多个AU字符串，用于基于检测的面部表情识别个体的情绪。
在步骤108中，与矩阵中的各种情绪相应的AU集被存储为数据库中的模板AU字符串。例如，{126261023}形成针对“高兴”的模板AU字符串，并且{23717410}形成针对“愤怒”的模板AU字符串。
图2是示出根据本发明实施例的通过将输入AU字符串映射到每个存储的模板AU字符串来识别情绪的方法的流程图。
参照图2，在步骤202中，从自动AU检测模块接收具有AU集的描述个体的面部表情（从图片或视频帧中获得的）的输入AU字符串。如上所述，由于在跟踪面部表情和从个体面部提取特征中的不确定性，输入AU字符串经常容易出错。例如，由于自动AU检测模块的不足，一些描述面部表情的AU可能会在输入AU字符串中丢失，而一些AU可能会被错误地插入在输入AU字符串中。步骤204到步骤208描述可处理错误的输入AU字符串来正确识别个体的情绪的方式。
具体地，在步骤204中，输入AU字符串与在步骤106中形成的矩阵中的模板AU字符串进行匹配。在步骤206中，使用最长公共子序列技术确定多个模板AU字符串中的与输入AU字符串最匹配的模板AU字符串。最长公共子序列技术是指示模板AU字符串中的一个和输入AU字符串之间的最大相似度的近似字符串匹配技术。因此，最长公共子序列技术有助于确定与剩余模板AU字符串相比相对于输入AU字符串具有最小匹配代价的模板AU字符串。
根据本发明实施例，通过将输入AU字符串与模板AU字符串中的每一个进行匹配来确定公共子序列。公共子序列表示输入AU字符串和模板AU字符串之间相似度的距离测量。基于公共子序列，与最匹配输入AU字符串的AU字符串相关的最长公共子序列被识别。在最长公共子序列中，子序列是这样的序列：在所述序列中，AU以相同的相关顺序出现但不必须是连续的。另外，最长公共子序列技术允许在输入AU字符串中插入和删除AU，但不允许替换AU。
因此，在步骤208中，与确定的模板AU字符串相应的情绪标签被输出为与个体相关的情绪。例如，如果输入AU字符串是{46121726}，则输入AU字符串与模板AU字符串{126261023}最匹配，所述模板AU字符串与情绪标签“高兴”相应，如表1所示。在这个示例中，输入AU字符串包括错误的AU（如4和17）。然而，因为最长公共子序列技术允许在输入AU字符串中插入错误的动作单元，所以错误的输入AU字符串可被准确地映射到模板AU字符串{6,10,12,23,26}来识别个体是高兴的。同样地，对于将输入AU字符串（如{12}、{6,12}、{6,12,26}）映射到高兴，删除变得重要，因为所有这些AU均指示高兴。
相似的，不允许替换有助于将输入AU字符串与多于一个的模板AU字符串匹配。例如，输入AU字符串{4,6,12,17,26}可匹配于与情绪标签“悲伤”相应的模板AU字符串{1,4,10,15,17}和与情绪标签“厌恶”相应的模板AU字符串{4,6,7,9,17}，具有相同的代替代价3。
图4示出根据本发明实施例的用于使用面部AU来识别个体的情绪的设备。设备的示例包括个人计算机（PC）、平板PC、移动电话等。
参照图4，所述设备包括处理器402、存储器404和通信接口412。通信接口412将设备连接到其它网络或装置，例如，无线通信网络（诸如，无线局域网络）、局域网络等以及用于提供包括一个或多个动作单元的表示个体的面部表情的AU字符串的AU检测器（未示出）。
所述设备还包括用户输入装置414和输出装置416。例如，用户输入装置414可以是键盘、鼠标等，输出装置416可以是显示器、打印机等。另外，虽然图4示出用户输入装置414和输出装置416与设备的其它部件物理地分离，也就是说，通过通信接口412通信，但是用户输入装置414和输出装置416能物理地被包括在在平板PC的其它部件中，例如，作为用户输入装置414和输出装置416两者的触摸屏显示器。
存储器404可包括易失性存储器和非易失性存储器。各种计算机可读存储介质可被存储在设备的存储器元件中，并从设备的存储器元件被访问。计算机存储器元件可包括用于存储数据和机器可读指令的任何适当的存储装置，诸如，只读存储器、随机存取存储器、可擦除可编程只读存储器、电可擦除可编程只读存储器、硬盘驱动器、用于处理高密度磁盘的可移动介质驱动器、数字视频光盘、磁盘、磁带盒、存储卡、记忆棒TM等。
如这里使用的处理器402是任何类型的计算电路，诸如（但不限于），微处理器、微控制器、复杂指令集计算微处理器、精简指令集计算微处理器、超长指令字微处理器、显式并行指令计算微处理器、图形处理器、数字信号处理器或任何其它类型的处理电路。处理器402还可包括嵌入式控制器，诸如，通用或可编程逻辑装置或阵列、专用集成电路、单片机、智能卡等。
另外，本发明的上述实施例可结合用于执行任务或者定义抽象数据类型或低级别硬件上下文的程序模块（包括函数、程序、数据结构、应用程序）来实现。
存储在任何上面提到的存储介质上的机器可读指令是由设备的处理器402可执行的。例如，如上所述，面部识别程序420包括能够基于面部AU识别情绪的机器可读指令。
根据本发明实施例，如上面结合图1和图2的描述，面部识别程序420包括用于基于面部AU来识别个体的情绪的情绪识别模块422。例如，面部识别程序420可被包括在紧凑盘只读存储器（CD-ROM）和/或从CD-ROM加载到存储器404的硬盘驱动器中。机器可读指令使设备根据本发明的各种实施例进行编码。
此外，这里描述的各种装置、模块、分析仪、发生器等可使用硬件电路（例如，基于互补金属氧化物半导体的逻辑电路、固件、软件和/或硬件、固件和/或在机器可读介质中实现的软件的任意组合）来启用和操作。例如，各种电气结构和方法可使用晶体管、逻辑门和电路（诸如，专用集成电路）来实现。
虽然已经参照本发明的特定示例性实施例显示和描述了本发明，但是本领域的技术人员将理解，在不脱离由权利要求及其等同物限定的本发明的精神和范围的情况下，可在其中进行形式和细节上的各种改变。

Claims (12)

1.一种用于基于动作单元识别个体的情绪的方法，所述方法包括：
从动作单元检测器接收包括一个或多个动作单元的表示个体的面部表情的输入动作单元字符串；
将输入动作单元字符串与多个动作单元字符串中的每一个进行比较，其中，所述多个动作单元字符串中的每一个是包括相同数量的动作单元的集，其中，相同数量的动作单元对多种情绪中的一种情绪是高辨别的；
从多个动作单元字符串中识别与输入动作单元字符串最匹配的动作单元字符串；
输出与最匹配动作单元字符串相应的指示个体的情绪的情绪标签。
2.如权利要求1所述的方法，其中，从多个动作单元字符串中识别与输入动作单元字符串最匹配的动作单元字符串的步骤包括：
确定多个动作单元字符串中的每一个与输入动作单元字符串之间的公共子序列；
从确定的公共子序列中识别最长公共子序列，
其中，所述最长公共子序列表示多个动作单元字符串中的一个与输入动作单元字符串之间的最大相似度。
3.如权利要求2所述的方法，其中，公共子序列表示多个动作单元字符串中的每一个与输入动作单元字符串之间的相似度的距离测量。
4.如权利要求1所述的方法，还包括：
基于统计数据针对多个动作单元中的每一个确定辨别力；
基于针对多个动作单元中的每一个的辨别力来选择表示多个情绪标签中的每一个的动作单元集；
将选择的与多个情绪标签中的每一个相关的动作单元集存储为动作单元字符串。
5.如权利要求4所述的方法，其中，选择的与多个情绪标签中的每一个相关的动作单元集被存储为矩阵中的动作单元字符串。
6.如权利要求4所述的方法，其中，针对多个动作单元中的每一个的辨别力指示每个动作单元属于多个情绪标签中的一个的概率。
7.一种用于使用动作单元识别个体的情绪的设备，所述设备包括：
处理器，被配置用于：
接收包括一个或多个动作单元的表示个体的面部表情的输入动作单元字符串；
将输入动作单元字符串与多个动作单元字符串中的每一个进行匹配，其中，所述多个动作单元字符串中的每一个是包括相同数量的动作单元的集，其中，相同数量的动作单元对多种情绪中的一种情绪是高辨别的；
从多个动作单元字符串中识别与输入动作单元字符串最匹配的动作单元字符串；
输出与最匹配动作单元字符串相应的指示个体的情绪的情绪标签；以及
存储器，被配置用于存储将由处理器执行的指令。
8.如权利要求7所述的设备，其中，处理器还被配置用于：
确定多个动作单元字符串中的每一个与输入动作单元字符串之间的公共子序列；
从确定的公共子序列中识别最长公共子序列，
其中，所述最长公共子序列表示多个动作单元字符串中的一个与输入动作单元字符串之间的最大相似度。
9.如权利要求8所述的设备，其中，公共子序列表示多个动作单元字符串中的每一个与输入动作单元字符串之间的相似度的距离测量。
10.如权利要求7所述的设备，其中，处理器还被配置用于：
基于统计数据针对多个动作单元中的每一个确定辨别力；
基于针对多个动作单元中的每一个的辨别力来选择表示多个情绪标签中的每一个的动作单元集；
将选择的与多个情绪标签中的每一个相关的动作单元集作为动作单元字符串存储到存储器。
11.如权利要求10所述的设备，其中，选择的与多个情绪标签中的每一个相关的动作单元集被存储为矩阵中的动作单元字符串。
12.如权利要求10所述的设备，其中，针对多个动作单元中的每一个的辨别力指示每个动作单元属于多个情绪标签中的一个的概率。
CN201180050733.0A 2010-10-21 2011-10-21 用于基于面部动作单元识别个体的情绪的方法和设备 Expired - Fee Related CN103168314B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IN3108CH2010 2010-10-21
IN3108/CHE/2010 2010-10-21
PCT/KR2011/007904 WO2012053867A1 (en) 2010-10-21 2011-10-21 Method and apparatus for recognizing an emotion of an individual based on facial action units

Publications (2)

Publication Number Publication Date
CN103168314A CN103168314A (zh) 2013-06-19
CN103168314B true CN103168314B (zh) 2016-03-16

Family

ID=45973680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180050733.0A Expired - Fee Related CN103168314B (zh) 2010-10-21 2011-10-21 用于基于面部动作单元识别个体的情绪的方法和设备

Country Status (6)

Country Link
US (1) US8879854B2 (zh)
EP (1) EP2630635B1 (zh)
KR (1) KR101891317B1 (zh)
CN (1) CN103168314B (zh)
AU (1) AU2011318719B2 (zh)
WO (1) WO2012053867A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102094723B1 (ko) 2012-07-17 2020-04-14 삼성전자주식회사 견고한 얼굴 표정 인식을 위한 특징 기술자
CN103065122A (zh) * 2012-12-21 2013-04-24 西北工业大学 基于面部动作单元组合特征的人脸表情识别方法
CN103544468B (zh) * 2013-07-05 2016-12-28 北京航空航天大学 3d人脸表情识别方法和装置
US10013601B2 (en) * 2014-02-05 2018-07-03 Facebook, Inc. Ideograms for captured expressions
WO2016123635A1 (en) 2015-01-31 2016-08-04 Brian Lee Moffat Control of a computer via distortions of facial geometry
CN105701459B (zh) * 2016-01-06 2019-04-16 Oppo广东移动通信有限公司 一种图片显示方法及终端设备
US10534955B2 (en) * 2016-01-22 2020-01-14 Dreamworks Animation L.L.C. Facial capture analysis and training system
US10885915B2 (en) 2016-07-12 2021-01-05 Apple Inc. Intelligent software agent
US10332515B2 (en) * 2017-03-14 2019-06-25 Google Llc Query endpointing based on lip detection
CN107862292B (zh) * 2017-11-15 2019-04-12 平安科技（深圳）有限公司 人物情绪分析方法、装置及存储介质
CN108509418A (zh) * 2018-03-20 2018-09-07 合肥工业大学 基于对话内容的用户异常情绪检测方法
CN109508660A (zh) * 2018-10-31 2019-03-22 上海交通大学 一种基于视频的au检测方法
CN109784179A (zh) * 2018-12-15 2019-05-21 深圳壹账通智能科技有限公司 基于微表情识别的智能监护方法、装置、设备及介质
CN109840513B (zh) * 2019-02-28 2020-12-01 北京科技大学 一种人脸微表情识别方法及识别装置
CN110147729A (zh) * 2019-04-16 2019-08-20 深圳壹账通智能科技有限公司 用户情绪识别方法、装置、计算机设备及存储介质
KR102624865B1 (ko) * 2021-10-12 2024-01-15 한국 한의학 연구원 얼굴 근육 움직임 기반 우울증 예측 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739438A (zh) * 2008-11-04 2010-06-16 三星电子株式会社 检测脸部表情的系统和方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6950104B1 (en) * 2000-08-30 2005-09-27 Microsoft Corporation Methods and systems for animating facial features, and methods and systems for expression transformation
US7663628B2 (en) 2002-01-22 2010-02-16 Gizmoz Israel 2002 Ltd. Apparatus and method for efficient animation of believable speaking 3D characters in real time
KR20040007921A (ko) 2002-07-12 2004-01-28 (주)아이엠에이테크놀로지 얼굴표정 자동인식을 통한 애니메이션 방법
EP2955662B1 (en) * 2003-07-18 2018-04-04 Canon Kabushiki Kaisha Image processing device, imaging device, image processing method
US8488023B2 (en) * 2009-05-20 2013-07-16 DigitalOptics Corporation Europe Limited Identifying facial expressions in acquired digital images
US7930199B1 (en) * 2006-07-21 2011-04-19 Sensory Logic, Inc. Method and report assessing consumer reaction to a stimulus by matching eye position with facial coding
KR100896065B1 (ko) * 2007-12-17 2009-05-07 한국전자통신연구원 ３차원 얼굴 표정 애니메이션 생성 방법
US8462996B2 (en) * 2008-05-19 2013-06-11 Videomining Corporation Method and system for measuring human response to visual stimulus based on changes in facial expression
US8401248B1 (en) * 2008-12-30 2013-03-19 Videomining Corporation Method and system for measuring emotional and attentional response to dynamic digital media content
US8326002B2 (en) * 2009-08-13 2012-12-04 Sensory Logic, Inc. Methods of facial coding scoring for optimally identifying consumers' responses to arrive at effective, incisive, actionable conclusions

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739438A (zh) * 2008-11-04 2010-06-16 三星电子株式会社 检测脸部表情的系统和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Detection, tracking, and classification of action units in facial expression;James Jenn-Jier Lien等;《Robotics and Autonomous Systems》;20000531;第31卷(第3期);第131-146页 *
Expert system for automatic analysis of facial expressions;M.Pantic等;《Image and Vision Computing》;20000831;第18卷(第11期);第881-905页 *

Also Published As

Publication number Publication date
AU2011318719A1 (en) 2013-04-11
EP2630635B1 (en) 2021-04-21
WO2012053867A1 (en) 2012-04-26
US20120101735A1 (en) 2012-04-26
EP2630635A4 (en) 2017-12-13
EP2630635A1 (en) 2013-08-28
US8879854B2 (en) 2014-11-04
KR20130138242A (ko) 2013-12-18
KR101891317B1 (ko) 2018-08-24
AU2011318719B2 (en) 2015-07-02
CN103168314A (zh) 2013-06-19

Similar Documents

Publication Publication Date Title
CN103168314B (zh) 用于基于面部动作单元识别个体的情绪的方法和设备
EP2291722B1 (en) Method, apparatus and computer program product for providing gesture analysis
Jia et al. Learning to classify gender from four million images
CN111758116B (zh) 脸部图像识别系统、识别器生成装置、识别装置与系统
Zhang et al. On the effectiveness of soft biometrics for increasing face verification rates
CN106845358B (zh) 一种手写体字符图像特征识别的方法及系统
Celikkale et al. Visual attention-driven spatial pooling for image memorability
CN104966016B (zh) 移动终端儿童用户协作式判断及限制操作权限的方法
CN110188708A (zh) 一种基于卷积神经网络的人脸表情识别方法
CN112270196A (zh) 实体关系的识别方法、装置及电子设备
EP4026047A1 (en) Automated information extraction and enrichment in pathology report using natural language processing
Duan et al. Face verification with local sparse representation
CN106575280A (zh) 用于分析用户关联图像以产生非用户生成标签以及利用该生成标签的系统和方法
CN107786867A (zh) 基于深度学习架构的图像辨识方法及系统
CN112925938A (zh) 一种图像标注方法、装置、电子设备及存储介质
Celikkale et al. Predicting memorability of images using attention-driven spatial pooling and image semantics
Zhao et al. Men also do laundry: Multi-attribute bias amplification
Sun et al. Action disambiguation analysis using normalized google-like distance correlogram
CN111914772B (zh) 识别年龄的方法、年龄识别模型的训练方法和装置
Zhang et al. Saliency detection via background and foreground null space learning
Xu et al. Cross-modal subspace learning for sketch-based image retrieval: A comparative study
CN111459050B (zh) 一种基于双网互联的智慧仿真型护理教学系统及教学方法
CN112417925A (zh) 基于深度学习的活体检测方法、装置及存储介质
CN117390140B (zh) 基于机器阅读理解的中文方面级情感分析方法及系统
CN117217206A (zh) 文本纠错方法、装置、电子设备、存储介质和程序产品

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160316

Termination date: 20211021