CN101976450A - 一种非对称人脸表情编码方法 - Google Patents
一种非对称人脸表情编码方法 Download PDFInfo
- Publication number
- CN101976450A CN101976450A CN2010105340764A CN201010534076A CN101976450A CN 101976450 A CN101976450 A CN 101976450A CN 2010105340764 A CN2010105340764 A CN 2010105340764A CN 201010534076 A CN201010534076 A CN 201010534076A CN 101976450 A CN101976450 A CN 101976450A
- Authority
- CN
- China
- Prior art keywords
- face
- motor unit
- intensity
- lip
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Toys (AREA)
Abstract
本发明一种非对称人脸表情编码方法，能够对非对称和对称人脸表情进行编码。定义了36个左动作单元、36个右动作单元和8个动作单元，首先用动作单元对人脸表情进行编码，再用左动作单元对左半部分脸部表情进行编码，接着用右动作单元对右半部分脸部表情进行编码，最后将动作单元编码结果、左动作单元编码结果和右动作单元编码结果进行合并。
Description
(一)技术领域
本发明涉及一种图像处理方法，尤其是一种人脸表情编码方法。
(二)背景技术
对于人脸表情的变化，存在两种表情分类方法。一种是基于消息评价的方法，即把人脸表情直接与情感状态相对应。另一种是基于符号表达的方法，即把面部的各种运动和变形进行细致的编码，根据表情字典将编码与某种表情对应或描述各种表情。
有代表性的表情编码系统包括：面部动作编码系统、情感面部动作编码系统、最大判别面部运动编码系统、MPEG-4(moving picture expert group-4)三维人脸动画标准、面部表情编码系统等。MPEG-4三维人脸动画标准适合计算机领域的应用，而面部动作编码系统适合心理学和模式识别领域，符合人们在日常生活中对人脸表情的描述。
由于面部运动的非对称性以及面部结构的非对称性，造成了人脸表情的非对称。随着人脸表情分析技术的发展，研究者们开始关注非对称人脸表情。要分析非对称人脸表情，就需要对其进行编码。在人脸表情识别领域，研究者经常使用面部动作编码系统进行表情编码。但面部动作编码系统不能满足对非对称人脸表情的编码。MPEG-4三维人脸动画标准的面部动画参数区分左右脸，可以进行非对称表情编码，但它不如面部动作编码系统形象和易于掌握。本发明提出一种非对称人脸表情编码方法，对于编码非对称表情提供了一种可行的方法，可应用于心理学和模式识别等领域。
(三)发明内容
本发明的目的是：提出一种非对称人脸表情编码方法，能够对非对称和对称人脸表情进行较为充分的描述。
本发明一种非对称人脸表情编码方法，规定了使用左动作单元、右动作单元和动作单元对人脸表情进行编码的方法，能够对非对称和对称人脸表情进行编码。
关于一种非对称人脸表情编码方法，其步骤如下：
步骤1：将人的左半边脸的局部单一运动命名为左动作单元(left action unit，LAU)，将人的右半边脸的局部单一运动命名为右动作单元(right action unit，RAU)，将不局限于半边脸的单一运动命名为动作单元(action unit，AU)。
定义左动作单元如下：
LAU1 左脸内眉上扬
LAU2 左脸外眉上扬
LAU4 左眉毛下压
LAU5 左脸上眼睑上扬
LAU6 左脸颊上提
LAU7 左眼睑收紧
LAU9 左脸鼻子起皱
LAU10 左脸上嘴唇上扬
LAU11 左脸鼻唇沟纹加深
LAU12 左脸唇角拉伸
LAU13 左脸颊鼓起
LAU14 左脸酒窝
LAU15 左脸唇角下压
LAU16 左脸下嘴唇下压
LAU17 左脸下颚上提
LAU18 左脸嘴唇褶皱
LAU20 左脸嘴唇延伸
LAU21 脖子左侧收紧
LAU23 左脸嘴唇收紧
LAU24 左脸嘴唇上升
LAU25 左脸上下嘴唇分开
LAU26 左颚下降
LAU27 左脸嘴巴伸展
LAU28 左脸嘴唇吸入
LAU31 左颚钳紧
LAU38 左鼻孔扩张
LAU39 左鼻孔收缩
LAU41 左眼睑低垂
LAU42 眯左眼
LAU43 左眼闭合
LAU44 左眼斜视
LAU45 左眼眨眼
LAU61 左眼睛左转
LAU62 左眼睛右转
LAU63 左眼睛向上
LAU64 左眼睛向下
定义右动作单元如下：
RAU1 右脸内眉上扬
RAU2 右脸外眉上扬
RAU4 右眉毛下压
RAU5 右脸上眼睑上扬
RAU6 右脸颊上提
RAU7 右眼睑收紧
RAU9 右脸鼻子起皱
RAU10 右脸上嘴唇上扬
RAU11 右脸鼻唇沟纹加深
RAU12 右脸唇角拉伸
RAU13 右脸颊鼓起
RAU14 右脸酒窝
RAU15 右脸唇角下压
RAU16 右脸下嘴唇下压
RAU17 右脸下颚上提
RAU18 右脸嘴唇褶皱
RAU20 右脸嘴唇延伸
RAU21 脖子右侧收紧
RAU23 右脸嘴唇收紧
RAU24 右脸嘴唇上升
RAU25 右脸上下嘴唇分开
RAU26 右颚下降
RAU27 右脸嘴巴伸展
RAU28 右脸嘴唇吸入
RAU31 右颚钳紧
RAU38 右鼻孔扩张
RAU39 右鼻孔收缩
RAU41 右眼睑低垂
RAU42 眯右眼
RAU43 右眼闭合
RAU44 右眼斜视
RAU45 右眼眨眼
RAU61 右眼睛左转
RAU62 右眼睛右转
RAU63 右眼睛向上
RAU64 右眼睛向下
定义动作单元如下：
AU51 头向左
AU52 头向右
AU53 头上扬
AU54 头向下
AU55 头向左倾斜
AU56 头向右倾斜
AU57 头前倾
AU58 头后倾。
步骤2：给定一幅人脸图像，用动作单元对人脸图像中的人脸进行人脸表情编码，表示为AU的组合。
首先，依次观察人脸图像是否出现上述AU51至AU58的动作单元。如果出现某个动作单元，则将其记下。如果有多个动作单元，用加号将多个动作单元相连。如果人脸表情没有动作单元出现，用AU0表示。
然后，如果人脸表情有动作单元出现，对每个动作单元进行强度编码。每个动作单元的强度分五个等级：A.很弱、B.弱、C.中等、D.强、E.很强。对每个动作单元，根据其形变程度确定其强度。如果动作单元形变越大，判定其强度越大，如果动作单元形变越小，判定其强度越小。将动作单元的强度列在动作单元之后。
步骤3：用左动作单元对人脸图像中人的左脸进行人脸表情编码，表示为LAU的组合。
首先，依次观察人脸图像是否出现上述LAU1至LAU64的左动作单元。如果出现某个左动作单元，则将其记下。如果有多个左动作单元，用加号将多个左动作单元相连。如果人脸表情没有左动作单元出现，用LAU0表示。
然后，如果人脸表情有左动作单元出现，对每个左动作单元进行强度编码。每个左动作单元的强度分五个等级：A.很弱、B.弱、C.中等、D.强、E.很强。对每个左动作单元，根据其形变程度确定其强度。如果左动作单元形变越大，判定其强度越大，如果左动作单元形变越小，判定其强度越小。将左动作单元的强度列在左动作单元之后。
步骤4：用右动作单元对人脸图像中人的右脸进行人脸表情编码，表示为RAU的组合。
首先，依次观察人脸图像是否出现上述RAU1至RAU64的右动作单元。如果出现某个右动作单元，则将其记下。如果有多个右动作单元，用加号将多个右动作单元相连。如果人脸表情没有右动作单元出现，用RAU0表示。
然后，如果人脸表情有右动作单元出现，对每个右动作单元进行强度编码。每个右动作单元的强度分五个等级：A.很弱、B.弱、C.中等、D.强、E.很强。对每个右动作单元，根据其形变程度确定其强度。如果右动作单元形变越大，判定其强度越大，如果右动作单元形变越小，判定其强度越小。将右动作单元的强度列在右动作单元之后。
步骤5：将动作单元编码结果、左动作单元编码结果和右动作单元编码结果进行合并，用加号相连。如果左动作单元和右动作单元有相同的编号出现且强度相同，则将左动作单元和右动作单元合并，用AU表示，保留其强度。
本发明的积极效果和优点在于：
1.本发明能够对人脸表情进行非对称描述，对于编码非对称表情提供了一种可行的方法，符合现实生活中人脸表情非对称的真实情况，避免了人脸表情信息的丢失。
(四)附图说明
图1方法步骤方框图。
图2LAU1左脸内眉上扬。
图3LAU2左脸外眉上扬。
图4LAU4左眉毛下压。
图5LAU5左脸上眼睑上扬。
图6LAU6左脸颊上提。
图7LAU7左眼睑收紧。
图8LAU9左脸鼻子起皱。
图9LAU10左脸上嘴唇上扬。
图10LAU11左脸鼻唇沟纹加深。
图11LAU12左脸唇角拉伸。
图12LAU13左脸颊鼓起。
图13LAU14左脸酒窝。
图14LAU15左脸唇角下压。
图15LAU16左脸下嘴唇下压。
图16LAU17左脸下颚上提。
图17LAU18左脸嘴唇褶皱。
图18LAU20左脸嘴唇延伸。
图19LAU21脖子左侧收紧。
图20LAU23左脸嘴唇收紧。
图21LAU24左脸嘴唇上升。
图22LAU25左脸上下嘴唇分开。
图23LAU26左颚下降。
图24LAU27左脸嘴巴伸展。
图25LAU28左脸嘴唇吸入。
图26LAU31左颚钳紧。
图27LAU38左鼻孔扩张。
图28LAU39左鼻孔收缩。
图29LAU41左眼睑低垂。
图30LAU42眯左眼。
图31LAU43左眼闭合。
图32LAU44左眼斜视。
图33LAU61左眼睛左转。
图34LAU62左眼睛右转。
图35LAU63左眼睛向上。
图36LAU64左眼睛向下。
图37RAU1右脸内眉上扬。
图38RAU2右脸外眉上扬。
图39RAU4右眉毛下压。
图40RAU5右脸上眼睑上扬。
图41RAU6右脸颊上提。
图42RAU7右眼睑收紧。
图43RAU9右脸鼻子起皱。
图44RAU10右脸上嘴唇上扬。
图45RAU11右脸鼻唇沟纹加深。
图46RAU12右脸唇角拉伸。
图47RAU13右脸颊鼓起。
图48RAU14右脸酒窝。
图49RAU15右脸唇角下压。
图50RAU16右脸下嘴唇下压。
图51RAU17右脸下颚上提。
图52RAU18右脸嘴唇褶皱。
图53RAU20右脸嘴唇延伸。
图54RAU21脖子右侧收紧。
图55RAU23右脸嘴唇收紧。
图56RAU24右脸嘴唇上升。
图57RAU25右脸上下嘴唇分开。
图58RAU26右颚下降。
图59RAU27右脸嘴巴伸展。
图60RAU28右脸嘴唇吸入。
图61RAU31右颚钳紧。
图62RAU38右鼻孔扩张。
图63RAU39右鼻孔收缩。
图64RAU41右眼睑低垂。
图65RAU42眯右眼。
图66RAU43右眼闭合。
图67RAU44右眼斜视。
图68RAU61右眼睛左转。
图69RAU62右眼睛右转。
图70RAU63右眼睛向上。
图71RAU64右眼睛向下。
图72AU51头向左。
图73AU52头向右。
图74AU53头上扬。
图75AU54头向下。
图76AU55头向左倾斜。
图77AU56头向右倾斜。
图78AU57头前倾。
图79AU58头后倾。
图80中性表情人脸图像。
图81对称人脸表情图像。
图82非对称人脸表情图像。
(五)具体实施方法
本发明一种非对称人脸表情编码方法(方法步骤方框图如图1所示)，规定了使用左动作单元、右动作单元和动作单元对人脸表情进行编码的方法，能够对非对称和对称人脸表情进行编码。
关于一种非对称人脸表情编码方法，其步骤如下：
步骤1：将人的左半边脸的局部单一运动命名为左动作单元(left action unit，LAU)，将人的右半边脸的局部单一运动命名为右动作单元(right action unit，RAU)，将不局限于半边脸的单一运动命名为动作单元(action unit，AU)。
定义左动作单元如下：
LAU1左脸内眉上扬(如图2所示)
LAU2左脸外眉上扬(如图3所示)
LAU4左眉毛下压(如图4所示)
LAU5左脸上眼睑上扬(如图5所示)
LAU6左脸颊上提(如图6所示)
LAU7左眼睑收紧(如图7所示)
LAU9左脸鼻子起皱(如图8所示)
LAU10左脸上嘴唇上扬(如图9所示)
LAU11左脸鼻唇沟纹加深(如图10所示)
LAU12左脸唇角拉伸(如图11所示)
LAU13左脸颊鼓起(如图12所示)
LAU14左脸酒窝(如图13所示)
LAU15左脸唇角下压(如图14所示)
LAU16左脸下嘴唇下压(如图15所示)
LAU17左脸下颚上提(如图16所示)
LAU18左脸嘴唇褶皱(如图17所示)
LAU20左脸嘴唇延伸(如图18所示)
LAU21脖子左侧收紧(如图19所示)
LAU23左脸嘴唇收紧(如图20所示)
LAU24左脸嘴唇上升(如图21所示)
LAU25左脸上下嘴唇分开(如图22所示)
LAU26左颚下降(如图23所示)
LAU27左脸嘴巴伸展(如图24所示)
LAU28左脸嘴唇吸入(如图25所示)
LAU31左颚钳紧(如图26所示)
LAU38左鼻孔扩张(如图27所示)
LAU39左鼻孔收缩(如图28所示)
LAU41左眼睑低垂(如图29所示)
LAU42眯左眼(如图30所示)
LAU43左眼闭合(如图31所示)
LAU44左眼斜视(如图32所示)
LAU45左眼眨眼(快速睁闭左眼)
LAU61左眼睛左转(如图33所示)
LAU62左眼睛右转(如图34所示)
LAU63左眼睛向上(如图35所示)
LAU64左眼睛向下(如图36所示)
定义右动作单元如下：
RAU1右脸内眉上扬(如图37所示)
RAU2右脸外眉上扬(如图38所示)
RAU4右眉毛下压(如图39所示)
RAU5右脸上眼睑上扬(如图40所示)
RAU6右脸颊上提(如图41所示)
RAU7右眼睑收紧(如图42所示)
RAU9右脸鼻子起皱(如图43所示)
RAU10右脸上嘴唇上扬(如图44所示)
RAU11右脸鼻唇沟纹加深(如图45所示)
RAU12右脸唇角拉伸(如图46所示)
RAU13右脸颊鼓起(如图47所示)
RAU14右脸酒窝(如图48所示)
RAU15右脸唇角下压(如图49所示)
RAU16右脸下嘴唇下压(如图50所示)
RAU17右脸下颚上提(如图51所示)
RAU18右脸嘴唇褶皱(如图52所示)
RAU20右脸嘴唇延伸(如图53所示)
RAU21脖子右侧收紧(如图54所示)
RAU23右脸嘴唇收紧(如图55所示)
RAU24右脸嘴唇上升(如图56所示)
RAU25右脸上下嘴唇分开(如图57所示)
RAU26右颚下降(如图58所示)
RAU27右脸嘴巴伸展(如图59所示)
RAU28右脸嘴唇吸入(如图60所示)
RAU31右颚钳紧(如图61所示)
RAU38右鼻孔扩张(如图62所示)
RAU39右鼻孔收缩(如图63所示)
RAU41右眼睑低垂(如图64所示)
RAU42眯右眼(如图65所示)
RAU43右眼闭合(如图66所示)
RAU44右眼斜视(如图67所示)
RAU45右眼眨眼(快速睁闭右眼)
RAU61右眼睛左转(如图68所示)
RAU62右眼睛右转(如图69所示)
RAU63右眼睛向上(如图70所示)
RAU64右眼睛向下(如图71所示)
定义动作单元如下：
AU51头向左(如图72所示)
AU52头向右(如图73所示)
AU53头上扬(如图74所示)
AU54头向下(如图75所示)
AU55头向左倾斜(如图76所示)
AU56头向右倾斜(如图77所示)
AU57头前倾(如图78所示)
AU58头后倾(如图79所示)。
步骤2：给定一幅人脸图像，用动作单元对人脸图像中的人脸进行人脸表情编码，表示为AU的组合。
首先，依次观察人脸图像是否出现上述AU51至AU58的动作单元。如果出现某个动作单元，则将其记下。如果有多个动作单元，用加号将多个动作单元相连。如果人脸表情没有动作单元出现，用AU0表示。
然后，如果人脸表情有动作单元出现，对每个动作单元进行强度编码。每个动作单元的强度分五个等级：A.很弱、B.弱、C.中等、D.强、E.很强。对每个动作单元，根据其形变程度确定其强度。如果动作单元形变越大，判定其强度越大，如果动作单元形变越小，判定其强度越小。将动作单元的强度列在动作单元之后。
如图80所示，该人脸的动作单元编码结果为AU0。
如图81所示，该人脸的动作单元编码结果为AU56A+AU58A。
如图82所示，该人脸的动作单元编码结果为AU54A+AU56A。
步骤3：用左动作单元对人脸图像中人的左脸进行人脸表情编码，表示为LAU的组合。
首先，依次观察人脸图像是否出现上述LAU1至LAU64的左动作单元。如果出现某个左动作单元，则将其记下。如果有多个左动作单元，用加号将多个左动作单元相连。如果人脸表情没有左动作单元出现，用LAU0表示。
然后，如果人脸表情有左动作单元出现，对每个左动作单元进行强度编码。每个左动作单元的强度分五个等级：A.很弱、B.弱、C.中等、D.强、E.很强。对每个左动作单元，根据其形变程度确定其强度。如果左动作单元形变越大，判定其强度越大，如果左动作单元形变越小，判定其强度越小。将左动作单元的强度列在左动作单元之后。
如图80所示，该人脸的左动作单元编码结果为LAU0。
如图81所示，该人脸的左动作单元编码结果为LAU21C+LAU27D+LAU64A。
如图82所示，该人脸的左动作单元编码结果为LAU4E+LAU7E+LAU9A。
步骤4：用右动作单元对人脸图像中人的右脸进行人脸表情编码，表示为RAU的组合。
首先，依次观察人脸图像是否出现上述RAU1至RAU64的右动作单元。如果出现某个右动作单元，则将其记下。如果有多个右动作单元，用加号将多个右动作单元相连。如果人脸表情没有右动作单元出现，用RAU0表示。
然后，如果人脸表情有右动作单元出现，对每个右动作单元进行强度编码。每个右动作单元的强度分五个等级：A.很弱、B.弱、C.中等、D.强、E.很强。对每个右动作单元，根据其形变程度确定其强度。如果右动作单元形变越大，判定其强度越大，如果右动作单元形变越小，判定其强度越小。将右动作单元的强度列在右动作单元之后。
如图80所示，该人脸的右编码结果为RAU0。
如图81所示，该人脸的右动作单元编码结果为RAU21C+RAU27D+RAU64A。
如图82所示，该人脸的右动作单元编码结果为RAU4D+RAU7D+RAU9A。
步骤5：将动作单元编码结果、左动作单元编码结果和右动作单元编码结果进行合并，用加号相连。如果左动作单元和右动作单元有相同的编号出现且强度相同，则将左动作单元和右动作单元合并，用AU表示，保留其强度。
如图80所示，该人脸的最终编码结果为AU0。
如图81所示，该人脸的最终编码结果为AU56A+AU58A+AU21C+AU27D+AU64A。
如图82所示，该人脸的最终编码结果为AU54A+AU56A+LAU4E+LAU7E+AU9A+RAU4D+RAU7D。
Claims (1)
1.一种非对称人脸表情编码方法，其特征在于：其步骤如下：
步骤1：将人的左半边脸的局部单一运动命名为左动作单元，将人的右半边脸的局部单一运动命名为右动作单元，将不局限于半边脸的单一运动命名为动作单元；
定义左动作单元如下：
LAU1 左脸内眉上扬
LAU2 左脸外眉上扬
LAU4 左眉毛下压
LAU5 左脸上眼睑上扬
LAU6 左脸颊上提
LAU7 左眼睑收紧
LAU9 左脸鼻子起皱
LAU10 左脸上嘴唇上扬
LAU11 左脸鼻唇沟纹加深
LAU12 左脸唇角拉伸
LAU13 左脸颊鼓起
LAU14 左脸酒窝
LAU15 左脸唇角下压
LAU16 左脸下嘴唇下压
LAU17 左脸下颚上提
LAU18 左脸嘴唇褶皱
LAU20 左脸嘴唇延伸
LAU21 脖子左侧收紧
LAU23 左脸嘴唇收紧
LAU24 左脸嘴唇上升
LAU25 左脸上下嘴唇分开
LAU26 左颚下降
LAU27 左脸嘴巴伸展
LAU28 左脸嘴唇吸入
LAU31 左颚钳紧
LAU38 左鼻孔扩张
LAU39 左鼻孔收缩
LAU41 左眼睑低垂
LAU42 眯左眼
LAU43 左眼闭合
LAU44 左眼斜视
LAU45 左眼眨眼
LAU61 左眼睛左转
LAU62 左眼睛右转
LAU63 左眼睛向上
LAU64 左眼睛向下
定义右动作单元如下：
RAU1 右脸内眉上扬
RAU2 右脸外眉上扬
RAU4 右眉毛下压
RAU5 右脸上眼睑上扬
RAU6 右脸颊上提
RAU7 右眼睑收紧
RAU9 右脸鼻子起皱
RAU10 右脸上嘴唇上扬
RAU11 右脸鼻唇沟纹加深
RAU12 右脸唇角拉伸
RAU13 右脸颊鼓起
RAU14 右脸酒窝
RAU15 右脸唇角下压
RAU16 右脸下嘴唇下压
RAU17 右脸下颚上提
RAU18 右脸嘴唇褶皱
RAU20 右脸嘴唇延伸
RAU21 脖子右侧收紧
RAU23 右脸嘴唇收紧
RAU24 右脸嘴唇上升
RAU25 右脸上下嘴唇分开
RAU26 右颚下降
RAU27 右脸嘴巴伸展
RAU28 右脸嘴唇吸入
RAU31 右颚钳紧
RAU38 右鼻孔扩张
RAU39 右鼻孔收缩
RAU41 右眼睑低垂
RAU42 眯右眼
RAU43 右眼闭合
RAU44 右眼斜视
RAU45 右眼眨眼
RAU61 右眼睛左转
RAU62 右眼睛右转
RAU63 右眼睛向上
RAU64 右眼睛向下
定义动作单元如下：
AU51 头向左
AU52 头向右
AU53 头上扬
AU54 头向下
AU55 头向左倾斜
AU56 头向右倾斜
AU57 头前倾
AU58 头后倾；
步骤2：给定一幅人脸图像，用动作单元对人脸图像中的人脸进行人脸表情编码，表示为AU的组合；
首先，依次观察人脸图像是否出现上述AU51至AU58的动作单元；如果出现某个动作单元，则将其记下；如果有多个动作单元，用加号将多个动作单元相连；如果人脸表情没有动作单元出现，用AU0表示；
然后，如果人脸表情有动作单元出现，对每个动作单元进行强度编码；每个动作单元的强度分五个等级：A.很弱、B.弱、C.中等、D.强、E.很强；对每个动作单元，根据其形变程度确定其强度；如果动作单元形变越大，判定其强度越大，如果动作单元形变越小，判定其强度越小；将动作单元的强度列在动作单元之后；
步骤3：用左动作单元对人脸图像中人的左脸进行人脸表情编码，表示为LAU的组合；
首先，依次观察人脸图像是否出现上述LAU1至LAU64的左动作单元；如果出现某个左动作单元，则将其记下；如果有多个左动作单元，用加号将多个左动作单元相连；如果人脸表情没有左动作单元出现，用LAU0表示；
然后，如果人脸表情有左动作单元出现，对每个左动作单元进行强度编码；每个左动作单元的强度分五个等级：A.很弱、B.弱、C.中等、D.强、E.很强；对每个左动作单元，根据其形变程度确定其强度；如果左动作单元形变越大，判定其强度越大，如果左动作单元形变越小，判定其强度越小；将左动作单元的强度列在左动作单元之后；
步骤4：用右动作单元对人脸图像中人的右脸进行人脸表情编码，表示为RAU的组合；
首先，依次观察人脸图像是否出现上述RAU1至RAU64的右动作单元；如果出现某个右动作单元，则将其记下；如果有多个右动作单元，用加号将多个右动作单元相连；如果人脸表情没有右动作单元出现，用RAU0表示；
然后，如果人脸表情有右动作单元出现，对每个右动作单元进行强度编码；每个右动作单元的强度分五个等级：A.很弱、B.弱、C.中等、D.强、E.很强；对每个右动作单元，根据其形变程度确定其强度；如果右动作单元形变越大，判定其强度越大，如果右动作单元形变越小，判定其强度越小；将右动作单元的强度列在右动作单元之后；
步骤5：将动作单元编码结果、左动作单元编码结果和右动作单元编码结果进行合并，用加号相连；如果左动作单元和右动作单元有相同的编号出现且强度相同，则将左动作单元和右动作单元合并，用AU表示，保留其强度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010105340764A CN101976450A (zh) | 2010-11-02 | 2010-11-02 | 一种非对称人脸表情编码方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010105340764A CN101976450A (zh) | 2010-11-02 | 2010-11-02 | 一种非对称人脸表情编码方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101976450A true CN101976450A (zh) | 2011-02-16 |
Family
ID=43576332
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2010105340764A Pending CN101976450A (zh) | 2010-11-02 | 2010-11-02 | 一种非对称人脸表情编码方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101976450A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105871696A (zh) * | 2016-05-25 | 2016-08-17 | 维沃移动通信有限公司 | 一种信息发送、接收方法及移动终端 |
| WO2019033525A1 (zh) * | 2017-08-17 | 2019-02-21 | 平安科技（深圳）有限公司 | Au特征识别方法、装置及存储介质 |
| WO2019205015A1 (en) * | 2018-04-25 | 2019-10-31 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for shaking action recognition based on facial feature points |
| US11139079B2 (en) | 2017-03-06 | 2021-10-05 | International Business Machines Corporation | Cognitive stroke detection and notification |
-
2010
- 2010-11-02 CN CN2010105340764A patent/CN101976450A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105871696A (zh) * | 2016-05-25 | 2016-08-17 | 维沃移动通信有限公司 | 一种信息发送、接收方法及移动终端 |
| CN105871696B (zh) * | 2016-05-25 | 2020-02-18 | 维沃移动通信有限公司 | 一种信息发送、接收方法及移动终端 |
| US11139079B2 (en) | 2017-03-06 | 2021-10-05 | International Business Machines Corporation | Cognitive stroke detection and notification |
| WO2019033525A1 (zh) * | 2017-08-17 | 2019-02-21 | 平安科技（深圳）有限公司 | Au特征识别方法、装置及存储介质 |
| WO2019205015A1 (en) * | 2018-04-25 | 2019-10-31 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for shaking action recognition based on facial feature points |
| US10929984B2 (en) | 2018-04-25 | 2021-02-23 | Beijing Didi Infinity Technology And Development Co.. Ltd. | Systems and methods for shaking action recognition based on facial feature points |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108216254B (zh) | 基于面部图像与脉搏信息融合的路怒情绪识别方法 | |
| Barros et al. | Multimodal emotional state recognition using sequence-dependent deep hierarchical features | |
| Fan et al. | A dynamic framework based on local Zernike moment and motion history image for facial expression recognition | |
| CN101976450A (zh) | 一种非对称人脸表情编码方法 | |
| Virrey et al. | Visual data of facial expressions for automatic pain detection | |
| CN101941425A (zh) | 对驾驶员疲劳状态的智能识别装置与方法 | |
| CN112949560B (zh) | 双通道特征融合下长视频表情区间连续表情变化识别方法 | |
| Saeed et al. | Effective geometric features for human emotion recognition | |
| Luo et al. | The driver fatigue monitoring system based on face recognition technology | |
| Zhao et al. | Head movement recognition based on Lucas-Kanade algorithm | |
| Poon et al. | PCA based face recognition and testing criteria | |
| CN101887513A (zh) | 表情检测装置及其表情检测方法 | |
| KR20090050199A (ko) | 광류와 은닉 마르코프 모델을 이용한 실시간 얼굴 표정인식 | |
| CN103366153A (zh) | 一种面部语义认知特征识别方法 | |
| Lv et al. | A spontaneous facial expression recognition method using head motion and AAM features | |
| Liu et al. | Automatic facial expression recognition based on local binary patterns of local areas | |
| Aly | Human posture recognition and gesture imitation with a humanoid robot | |
| Zaker et al. | Intensity measurement of spontaneous facial actions: Evaluation of different image representations | |
| Marcos et al. | Nonverbal communication with a multimodal agent via facial expression recognition | |
| Apte et al. | Efficient facial expression ecognition and classification system based on morphological processing of frontal face images | |
| Salih et al. | Eye Blinking for Command Generation Based on Deep Learning | |
| Yalla et al. | Wheel chair movement through eyeball recognition using raspberry Pi | |
| Zhong et al. | Attention modeling for face recognition via deep learning | |
| Bernhardt et al. | Detecting emotions from everyday body movements | |
| IROMINI et al. | FACIAL EXPRESSION RECOGNITION SYSTEM USING KNN |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20110216 |