CN102385691A - 脸部表情辨识系统、辨识装置及辨识方法 - Google Patents

Abstract

本发明提供一种脸部表情辨识系统、装置及方法。所述脸部表情辨识系统包括：一脸部数据库，具有多个表情信息及多个光流场变化，每一所述光流场变化对应所述表情信息的其中一者；一影像撷取单元，用以撷取多个脸部影像；一表情辨识数据产生单元，耦接至所述影像撷取单元以及所述脸部数据库，用以由影像撷取单元接收一第一脸部影像以及一第二脸部影像、计算所述第一脸部影像以及所述第二脸部影像之间分别对应于每一所述表情信息的一光流场变化特征值；以及一表情辨识单元，耦接至表情辨识数据产生单元，依据计算所得的每一所述表情信息的光流场变化特征值，和所述脸部数据库中的多个光流场变化特征值，决定出所述脸部影像所对应的一脸部表情。

Description

脸部表情辨识系统、辨识装置及辨识方法

技术领域

本发明是有关于一种脸部表情辨识系统及其辨识方法，特别是有关于一种可经由脸部影像中辨识出脸部表情的辨识系统、辨识装置及辨识方法。

背景技术

随着视觉技术的进步，许多人机互动的机制即可应用视觉检测与辨识的技术来达成，例如，移动机器人互动(含自动跟随)、安全监控等。

对于静态或动态脸部影像，一套自动化的人脸辨识系统的主要工作在于，利用已建立的脸部影像数据库，来指认出一个或多个人，以作身份的识别或者辨识其表情特征。为了达成这个目的，首先必须将脸部从影像中撷取出来，其次则是作脸部特征撷取，以作为比较的根据。

在人脸辨识这个研究领域中，最大的困难点在于人脸具有丰富的表情/动作变化，会影响辨识的准确度。因此，建构一套具高辨识率及高准确度的人脸辨识系统，是具有相当的挑战性，此外，通过脸部影像来辨识出人的情绪，在许多应用上也是相当重要。

一种已知的经由视频影像辨识情绪的技术是利用自动表情特征点追踪器定位人脸以及人脸特征点，并依据特征点移动分量作为表情特征，再以分类器将特征做分类。然而，由视频影像取得的脸部影像，在大小、方向、光线及背景均存在极大的变异性，且因人的姿势、装扮、表情、遮蔽、旋转、以及与视频的状态都会影响特征点的检测，若无法取得特征点，就无法找到连续影像中如眼睛、嘴巴的连续变化，导致脸部表情辨识失败。

此外，脸部情绪的显现细微多变，且因人而异，难以明确定义并描述，因此不易找出最具鉴别性的表情信息来判断表情。

发明内容

有鉴于此，本发明提供一种脸部表情辨识系统、辨识装置及其辨识方法，以解决前述的已知技术问题。

本发明实施例提供一种脸部表情辨识系统，包括一脸部数据库、一影像撷取单元、一表情辨识数据产生单元以及一表情辨识单元。脸部数据库具有多个表情信息及多个光流场变化，其中每一上述光流场变化对应上述表情信息的其中一者；影像撷取单元用以撷取多个脸部影像；表情辨识数据产生单元耦接至上述影像撷取单元以及上述脸部数据库，用以由上述影像撷取单元接收一第一脸部影像以及一第二脸部影像、计算上述第一脸部影像以及上述第二脸部影像之间分别对应于每一上述表情信息的一光流场变化特征值；以及，表情辨识单元耦接至上述表情辨识数据产生单元，依据计算所得的每一上述表情信息的光流场变化特征值，和上述脸部数据库中的多个光流场变化特征值，决定出上述脸部影像所对应的一脸部表情。

本发明实施例另提供一种脸部表情辨识装置，包括一壳体、一脸部数据库、一影像撷取单元、一表情辨识数据产生单元、一表情辨识单元、以及一显示单元。壳体可容纳脸部数据库、影像撷取单元、表情辨识数据产生单元和表情辨识单元于内部，显示单元可设置于壳体外部，或经由有线/无线连接方式与上述壳体中的表情辨识单元连接。脸部数据库，设置于上述壳体内部，其具有多个表情信息及多个光流场变化，其中每一上述光流场变化对应上述表情信息的其中一者；影像撷取单元，设置于上述壳体内部，用以撷取多个脸部影像；表情辨识数据产生单元，设置于上述壳体内部，耦接至上述影像撷取单元以及上述脸部数据库，用以由上述影像撷取单元接收一第一脸部影像以及一第二脸部影像、计算上述第一脸部影像以及上述第二脸部影像之间分别对应于每一上述表情信息的一光流场变化特征值；表情辨识单元，设置于上述壳体内部，耦接至上述表情辨识数据产生单元，依据计算所得的每一上述表情信息的光流场变化特征值，和上述脸部数据库中的多个光流场变化特征值，决定出上述脸部影像所对应的一脸部表情；以及显示单元，设置于上述壳体外部，耦接至上述表情辨识单元，用以显示对应上述脸部表情的结果。

本发明实施例另提供一种脸部表情辨识方法，其包括下列步骤。首先，接收一第一脸部影像以及一第二脸部影像。之后，计算第一脸部影像以及第二脸部影像之间的一光流场变化特征值。最后，依据计算所得的每一上述表情信息的光流场变化特征值，和一脸部数据库中的多个光流场变化特征值，决定出上述脸部影像所对应的一脸部表情，其中，上述脸部数据库具有多个表情信息及多个光流场变化特征值，且其中每一上述光流场变化特征值对应上述表情信息的其中一者。

本发明上述方法可以通过程序码方式收录于实体媒体中。当程序码被机器载入且执行时，机器变成用以实行本发明的装置或系统。

本发明的有益效果在于：依据本发明的脸部表情辨识装置、系统及其方法，可进行以脸部影像或以视频为基础的脸部表情辨识，将二个脸部影像中、或是视频影像的特定时间区间的连续脸部影像的光流场变化，与脸部数据库中已存在的各种可能表情的光流场变化特征值进行比对，再根据比对结果辨识其表情。此外，更进一步时，依据本发明的脸部表情辨识系统及其方法，可基于表情光流场的特征以脸部特征点如鼻孔位置进行人脸角度校正，可抵抗因背景环境的影响导致脸部检测的不稳定，使计算出的表情光流场更加正确。同时，本发明系统可经由训练，将人脸区域对不同表情的区域重要度，产生对应的权重遮罩，再利用每个表情的权重遮罩进行加权，以更有效率的进行表情分类。

附图说明

图1显示一依据本发明实施例的脸部表情辨识系统。

图2显示一依据本发明实施例的脸部表情辨识装置。

图3显示一依据本发明实施例的脸部表情辨识方法的流程图。

图4显示一依据本发明实施例的基于鼻部区域的脸部校正步骤的流程图。

图5显示一依据本发明实施例的表情与其对应的表情光流场的示意图。

图6显示一依据本发明实施例的不同表情的权重遮罩的示意图。

图7显示将训练出的一示范表情权重脸应用于表情光流场的实施例。

附图标号

100～脸部表情辨识系统；

110～影像撷取单元；

120～表情辨识数据产生单元；

122～校正模块；

124～计算模块；

130～表情辨识单元；

140～脸部数据库；

200～脸部表情辨识装置；

210～壳体；

220～脸部数据库；

230～影像撷取单元；

240～表情辨识数据产生单元；

250～表情辨识单元；

260～显示单元；

S310-S330～执行步骤；

S410-S450～执行步骤；

0-6～表情脸；

OF1-OF6～表情光流场；

610-660～权重遮罩；

710、720～表情光流场。

具体实施方式

为使本发明的上述和其他目的、特征、和优点能更明显易懂，下文特举出较佳实施例，并配合所附附图，作详细说明如下。

本发明实施例中提供一种脸部表情辨识系统及其方法，经由一脸部数据库所储存的光流场变化特征值和二个或二个以上脸部影像的光流场变化特征值，以决定其脸部影像的表情。更进一步时，脸部数据库可先收集大量脸部表情影像当作训练数据，纪录每种表情的光流场变化(Optical flow)，其还可进一步经由学习和训练，对每一种表情于脸部区域依重要性来进行加权，产生每一种表情的权重遮罩(weight mask)，以找出对于每一种表情最具鉴别性的光流场变化特征值，而精准的判断使用者脸部所显露的情绪。此外，在接收到的脸部影像中，更可以鼻孔的影像作为基准点进行校正，以便能更准确的找出能辨识情绪的人脸特征，如眼睛、嘴巴等，以进行辨识表情。

图1显示依据本发明实施例的一脸部表情辨识系统。脸部表情辨识系统100可以设置于一便携式装置或一计算机装置，例如移动电话、PDA、GPS导航机、笔记本电脑、各种类型的电脑上，以进行脸部表情辨识。系统100至少包括一影像撷取单元110、一表情辨识数据产生单元120、一表情辨识单元130以及一脸部数据库140。影像撷取单元110可用以接收或检测一脸部影像。举例来说，影像撷取单元110可为各式各样的摄影机、照相机、或是其他可拍摄脸部影像的摄影器材。当影像撷取单元110为一照相机时，上述照相机可于一特定时间区间内(例如0.5～3秒)拍摄二个或二个以上的脸部影像，传送到表情辨识数据产生单元120。当影像撷取单元110为一摄影机时，此摄影机可于一特定时间区间内拍摄脸部的连续视频影像，此视频影像可得到二个或二个以上的脸部影像。一般而言，一视频影像可由多个帧(frame)例如30个帧所组成，而脸部影像用来辨识脸部的表情，例如惊讶、生气、悲伤、高兴、恶心或是正常表情等等。

表情辨识数据产生单元120耦接至影像撷取单元110，其可接收影像撷取单元110所得到的一第一脸部影像以及一第二脸部影像，之后，计算第一脸部影像以及第二脸部影像之间的一光流场变化特征值，并将计算出的光流场变化特征值与脸部数据库140中所储存光流场变化，以计算模块124(介绍于下)转换为对应的特征值。其中，脸部数据库140具有多个表情信息及多个光流场变化特征值，其中每一上述光流场变化特征值对应上述表情信息的其中一者。脸部数据库140中的光流场变化特征值数据可事先建立，例如依据事先收集的脸部影像，找出可代表某一特定表情信息的二张脸部影像之间的光流场变化，经由权重遮罩处理之后得到此特定表情的光流场变化特征值。例如经由一“微笑”表情和一无表情之间的二张部影像计算出其光流场变化，假设“微笑”脸部重要区域为嘴角和眼角，因此可对嘴角和眼角区域加强其权重，以作为“微笑”表情信息的光流场变化特征值。其中每一表情信息亦可能有多个可作为代表的样本，例如“微笑”可能就会有多种的显现型态，或有多人的不同表情，因此可能具有多个不同的光流场变化，进而产生多个光流场变化特征值。在其他实施例中，亦可将最具有鉴别力的多个“微笑”表情影像，综合计算之后产生可代表“微笑”表情的一光流场变化特征值。表情辨识单元130可将所计算出第一脸部影像及第二脸部影像之间的光流场变化特征值，与脸部数据库140中的光流场变化特征值进行比对，决定其所对应的脸部表情，例如从脸部数据库140的多个光流场变化特征值中找出和第一脸部影像及第二脸部影像之间最为近似的光流场变化特征值，并以该最近似光流场变化特征值所对应的表情信息决定出上述脸部影像所对应的脸部表情。

当影像撷取单元110取得连续的视频影像时，从视频影像中对于脸部影像的检测及取得方法及相关演算法为已知的技术，可使用任何目前常用的演算法加以完成，其细节在此省略。举例来说，于一实施例中，脸部影像的检测及取得可利用一已知的演算法例如AdaBoost演算法来将脸部区块从复杂背景中取出，但不限于此。

光流场描述了两张对应影像间像素位移的关系。本发明是以脸部表情变化所产生的光流场变化当作计算特征值的基础。光流场变化可以同时估测了自然无表情的脸部影像和有表情的脸部影像之间的亮度差异和对应关系。

表情辨识数据产生单元120计算第一脸部影像以及第二脸部影像之间的一光流场变化的方式是利用光流场计算上述表情所对应的脸部肌肉移动向量来进行表情信息特征的萃取，作为判断表情的依据，如图5所示。关于脸部影像的光流场变化计算方式将介绍于下。

表情辨识数据产生单元120可还包括一校正模块122以及一计算模块124，其中校正模块122可用以于计算第一脸部影像以及第二脸部影像之间的光流场变化特征值时，执行一脸部校正步骤，以校准第一脸部影像以及第二脸部影像，以利进行后续的光流场变化特征值计算。计算模块124先于计算第一脸部影像以及第二脸部影像之间的光流场变化，再利用不同表情对应的权重遮罩对计算出的光流场变化执行一权重加权操作，以获得光流场变化特征值。

表情辨识单元130耦接至表情辨识数据产生单元120，用以依据表情辨识数据产生单元120计算出的光流场变化特征值与脸部数据库140中的多个光流场变化特征值，据以分析处理或归类出视频影像中所对应的一脸部表情，例如判断是属于：惊讶、生气、悲伤、高兴、恶心或是正常表情等等，以决定上述脸部影像所对应的脸部表情。于一实施例中，表情辨识单元130可为一分类器，例如一支持向量机(SVM)，但不限于此。

在另一实施例中，亦可直接依据光流场变化特征值来决定脸部影像所对应的脸部表情，例如，若计算出的光流场变化特征值与脸部数据库中的其中一光流场变化特征值相似时，则可决定脸部影像中所对应的脸部表情即为此表情。举例来说，若计算出的光流场变化特征值与脸部数据库中的一光流场变化特征值相似时，而此光流场变化特征值对应一表情信息“微笑”，则可决定出视频影像中所对应的脸部表情即为微笑。

更进一步时，系统100更可包含有一显示单元(图1未显示)，用以显示对应脸部表情的结果，例如以表情符号、表情文字、颜色、动画、照片等，来显示其结果。显示单元可以是各种屏幕或显示器，经由有线/无线通讯网络、或RS232等连接线与上述系统的表情辨识单元130耦接。上述系统100也可包含有一喇叭单元(图1未显示)，以语音、歌声、音乐、或其他声音来播放对应脸部表情的结果。

图2显示一依据本发明实施例的脸部表情辨识装置200，其特别适合于便携式或手持式电子装置，如手机、PDA、小笔电、掌上型电脑等，包括一壳体210、一脸部数据库220、一影像撷取单元230、一表情辨识数据产生单元240、一表情辨识单元250、以及一显示单元260。脸部数据库220、影像撷取单元230、表情辨识数据产生单元240和表情辨识单元250与系统100的说明相同，在此不予赘述。壳体210可容纳脸部数据库220、影像撷取单元230、表情辨识数据产生单元240和表情辨识单元250，显示单元260可设置于壳体210的外部，或经由有线/无线连接方式与壳体210中的表情辨识单元250连接，用以显示对应脸部表情的结果。在其他实施例中，脸部数据库220亦可设置于壳体200的外部，脸部表情辨识装置200可经由有线/无线连接方式与脸部数据库220连接。

图3显示一依据本发明实施例的脸部表情辨识方法的流程图。依据本发明实施例的脸部表情辨识方法可以由如图1中的脸部表情辨识系统100所执行。

首先，如步骤S310，影像撷取单元110取得二个或二个以上的脸部影像，其包含脸部的表情变化。于一实施例中，影像撷取单元110可先接收一视频影像，再由视频影像中得到二个或二个以上的脸部影像。此视频影像可以为一特定时间区间内的连续影像。接着，如步骤S320，计算第一脸部影像以及第二脸部影像之间的一光流场变化特征值。关于脸部影像的光流场计算方式将介绍于下。于此步骤中，表情辨识数据产生单元120可计算第一脸部影像以及第二脸部影像之间的一光流场变化，并将计算出的光流场变化特征值与脸部数据库中所储存光流场变化，以计算模块124转换为对应的特征值。

于一实施例中，表情辨识数据产生单元120计算第一脸部影像以及第二脸部影像之间的光流场变化时，可更利用校正模块122执行一脸部校正步骤，用以校准第一脸部影像以及第二脸部影像。举例来说，表情辨识数据产生单元120的校正模块122可利用第一脸部影像以及第二脸部影像的一脸部特征点位置，例如五官，估测一移动参数，再利用估测出的移动参数，将第一脸部影像与第二脸部影像对齐。详细的脸部校正步骤的细节将介绍于下。

于一实施例中，表情辨识数据产生单元120的计算模块124计算第一脸部影像以及第二脸部影像之间的光流场变化特征值时，利用不同表情对应的权重遮罩对计算出的光流场变化执行一权重加权操作。每一表情信息所对应的权重遮罩，可以事先经由大量的脸部影像进行训练后获得，再储存在脸部数据库中或其他储存媒体中。举例来说，可对于每一类表情事先收集有多种表情脸，每一个表情脸可能对应有一光流场变化，再依据每一类表情的多个表情脸所对应的光流场变化，可学习出每一类表情一对应权重遮罩。接着利用每一类表情的对应权重遮罩，计算第一脸部影像、第二脸部影像与每一表情的光流场变化特征值。于一实施例中，可先利用训练影像，决定对应每一表情的一脸部重要加权区域，以产生对应每一表情的权重遮罩，例如，上述脸部数据库所储存的光流场变化特征值，可依据每一表情信息所对应的代表性脸部影像和一无表情脸部影像之间的光流场变化，以及每一表情信息所对应的权重遮罩所产生，而每一上述表情信息所对应的权重遮罩，对应每一上述表情信息的脸部重要区域进行加权而产生。相关的权重遮罩以及计算模块124利用权重遮罩来产生光流场变化特征值的计算将介绍于下。

之后，如步骤S330，表情辨识单元130可依据表情辨识数据产生单元120所计算出的光流场变化特征值与脸部数据库140中各种表情信息的对应光流场变化特征值，决定出脸部影像中所对应的一脸部表情。其中每一光流场变化特征值中对应到多个表情信息的其中一者。

于此步骤中，若计算出的光流场变化特征值与脸部数据库中的其中一光流场变化特征值相似时，则表情辨识单元130可依据该光流场变化特征值所对应的表情信息，决定出脸部影像中所对应的脸部表情即为此表情。举例来说，若计算出的光流场变化特征值与脸部数据库中的表情信息“微笑”所对应的光流场变化特征值相似时，则可决定出脸部影像中所对应的脸部表情即为微笑。

更进一步时，由于每一种表情会有一个或一个以上的光流场变化特征值，脸部数据库140还包括储存有每一种表情信息所对应的权重遮罩，且其中的多个光流场变化特征值可依据每一表情信息所对应的二张脸部影像的光流场变化和每一表情信息所对应的权重遮罩所产生；以及，表情辨识数据产生单元120还包括先计算出第一脸部影像及第二脸部影像之间的光流场变化，再将光流场变化分别依据每一表情信息的权重遮罩，以计算第一脸部影像及第二脸部影像之间分别对应于每一上述表情信息的光流场变化特征值。

为使本案的技术更加具体易懂，以下另提出一特定实施例来进行更加详细的说明，本领域的设计人员当可明白，下述的特定实施例仅为了说明，而非用以限定本发明。

由于本发明是对整张脸部影像进行处理，而不同时间取得的脸部影像可能不同角度或不同大小。再者，由于背景环境的影响，往往导致人脸检测的结果并不十分稳定。实作上，跳动而不稳定的人脸区域并无法计算出堪用的表情光流场。因而，于另一些实施例中，在计算表情光流场作为表情辨识特征之前，必须先通过校正脸部影像的影像处理技术，以脸部特征点如鼻孔进行角度的校正，将欲处理的影像修正至相同坐标。

校正脸部影像的动作可通过对脸部的特征点，例如五官，进行定位来达到校正的目的。由于鼻孔为相对较不容易受到表情和环境影响的脸部位置，容易定位，因此，于此特定实施例中，本发明提出基于鼻部区域的脸部校正步骤，先利用两个鼻孔的位置估测每个脸部影像的移动参数，例如缩放比例、移动方向、旋转角度等等，再利用这些移动参数将先后两个取样时间点上检测得到的脸对齐。

图4显示一依据本发明实施例的基于鼻部区域的脸部校正步骤的流程图。依据本发明实施例的基于鼻部区域的脸部校正步骤可以由如图1中的脸部表情辨识系统100的表情辨识数据产生单元120的校正模块122所执行。

首先，如步骤S410，校正模块122利用所检测到的脸部影像的人脸区域，粗略框出鼻子区域的位置。接下来，如步骤S420，校正模块122将鼻子区域微分，搜寻梯度鼻的区域最大值(local maximum)作为预测的鼻孔点位置。接着，如步骤S430，校正模块122利用预测出的两个鼻孔点位置，决定出人脸区域的鼻子区块，并如步骤S440，校正模块122将时序t时决定出的人脸区域的鼻子区块与先前时序t-1时检测所得的脸部影像的鼻子区块进行比对，得到时序t相对于时序t-1时的整个头部区域的移动参数。其中，移动参数可包含两者的缩放比例、移动方向、旋转角度等等，但不限于此。最后，如步骤S450，校正模块122利用得到的移动参数，使时序t时检测到的脸部影像与时序t-1时所得到的脸部影像相互对齐。

因此，通过前述的基于鼻部区域的脸部校正步骤，可以去除整个头部的移动因素，进而能够较佳的估测肇因于脸部肌肉移动的表情光流场。

于脸部检测时，每张帧的脸部位置不一定一样，所以需要前述校正步骤标定特征点，可运用于后续运用光流场进行脸部检测时，进行脸部位置校正，进而取得更精准的脸部区块。

于基于鼻部区域的脸部校正步骤执行之后，表情辨识数据产生单元120可接着利用计算模块124进行表情信息特征的萃取，亦即产生光流场变化特征值。于萃取时，对于一张检测到的脸x，先计算其光流场(表示为OF_x)，并计算其与第i种平均表情光流场的加权相似度(以函式M(OF_x，EXP_i)表示)。加权遮罩的训练将于后续段落说明。请参照图5，图5显示一依据本发明实施例的平均表情脸与其对应的表情光流场的示意图。如图5所示，平均表情脸1-6相对于正常无表情的脸0分别可得到对应的表情光流场OF₁-OF₆。

假设属于同一表情类型的脸其从无表情到有表情的变形过程会十分相似。举例来说，当人们微笑时，嘴角都会有类似的扬起，其方向是相近的，只是程度不同而已。相反地，对人p，表情k所计算出的表情光流场OF_{intra，p_k}而言，不同的表情k所比对出来的相似度将会有比较大的差异。基于这个假设，本实施例中利用比较并光流场元素(flow component)间的差异来估测表情脸间的相似度。

一般而言，不同的表情可归纳出不同的脸部肌肉的运动，例如，微笑时嘴角会上扬。因此，对于两张表示同一表情的脸所计算出的表情光流场来说，这些脸部肌肉所对应的光流场元素都有大致相同的方向。相反地，有时候不同的两个表情间也会有局部类似的脸部肌肉运动，例如害怕和恶心的表情中，眉毛内侧都会抬起。若要区分此两个表情时，由眉间区域所得到的信息很明显地会造成不必要的困扰。因而必须排除之。因此，于一实施例中，本发明更进一步经由统计学习方法，利用大量训练数据以二次规划方法归纳出每种表情的脸部区域加权。因而可通过前述的调整步骤，得到如图6所示的不同表情的权重遮罩610-660的示意图。

于本实施例中，对每种表情设计了一个最佳化的问题来从训练数据更有弹性的自动学习这些权重：

$\underset{w,\mathrm{\ξ},\mathrm{\ρ}}{\min }\mathrm{\α}\left(\frac{1}{2}{w}^T\mathrm{Qw}\right)-\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}(w^T{a}_i-\mathrm{v\ρ})+C\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\ξ}}_i$

s.t.w^Ta_i≥ρ-ξ_i，ξ_i≥0，ρ≥0，i＝1，2，…，m      (1)

其中，w为所欲找的权重，v为一个参数，用来控制不同表情间的分开程度，ξi是用来容许出错的变数(slack variables)。

为了让前述公式(1)中左边的数据项(data term)与右边的平滑项(smoothness term in the right hand side)取得平衡，本实施例中利用参数α来对两边数量级做平衡。其中，此处的a_i表示根据以下假设得到的行向量：对于一张表情k的人脸，其经过w加权计算后的表情光流场OF_{intra_p_k}应与同类别的平均表情光流场OF_{intra，mean_k}相似，并且不相似于不同类别的平均表情光流场OF_{intra，mean_t}，对所有k不等于t。

精确的说，对于行向量a_i，可由以下式子计算其第j个元素(component)M_j：

$a_{\mathrm{ji}}=\left\{\begin{array}{c}{M}_j({\mathrm{OF}}_{\mathrm{intra},p\_k},{\mathrm{OF}}_{\mathrm{intra},\mathrm{mean}\_k})-M_j({\mathrm{OF}}_{\mathrm{intra},p\_k},{\mathrm{OF}}_{\mathrm{intra},\mathrm{mean}\_t})\\ M_j({\mathrm{OF}}_{\mathrm{intra},p\_t},{\mathrm{OF}}_{\mathrm{intra},\mathrm{mean}\_t})-M_j({\mathrm{OF}}_{\mathrm{intra},p\_t},{\mathrm{OF}}_{\mathrm{intra},\mathrm{mean}\_k})\end{array}\right.---\left(2\right)$

须注意的是，前述的公式(1)为一个最佳化问题，亦即为一个可以找到全域最佳解的二次规划问题(quadratic programming problem)。

于是由公式(1)就可以对每种表情训练出相对应的权重脸。请参照图7，显示将训练出的表情“生气”所对应的权重脸应用于表情光流场的实施例。如图7所示，使用权重遮罩w_angry对表情光流场710加权后的表情“生气”的权重表情光流场720将只会保留其对应的脸部重要区块的光流场变化。

每种表情相对于其他表情均有具鉴别性的脸部肌肉表现，亦即不同的光流场变化。因此，可对每一种表情找出其具鉴别性的特征区域，并据此产生权重遮罩，以改善表情相似性计算的精确度。

因此，对于一张检测得到的脸x，可先计算它的权重表情光流场O_Fintra，x，再以M(OF_intra，x，OF_{intra，mean_k})计算其与平均表情光流场的权重后相似度。为了在表情辨识时取得较好的分辨率，对每张脸x经由计算各种不同种类表情的权重差异，并可将其萃取出分辨率更好的低维度的特征向量。

这些较低维度的特征向量可作为训练表情辨识单元130(例如一分类器)之用。更精确的说，倘若辨识器总共可分类K种表情，对于一张检测到的脸，本实施例定义函式

将其转换为一组K×(K-1)维的向量：

其中xi表示x的第i个元素，Φ(x)的第n维定义如下

${\mathrm{\φ}}_n=w_k^T({\tilde{M}}^k({\mathrm{OF}}_{\mathrm{intra},x},{\mathrm{OF}}_{\mathrm{intra},\mathrm{mean}\_k})-{\tilde{M}}^t({\mathrm{OF}}_{\mathrm{intra},x},{\mathrm{OF}}_{\mathrm{intra},\mathrm{mean}}))$

$\∀k\≠t,{\tilde{M}}^k={\mathrm{\β}}_k\×M---\left(4\right)$

其中，β_k是实验中用来平衡表情强度至一个约略相同比例的常数。本实施例中使用与训练权重遮罩相同的影像数据库计算表情光流场，并根据(3)加以转换至低维度的特征向量来训练表情辨识单元130。

综上所述，依据本发明的脸部表情辨识系统及其方法，可进行以脸部影像或以视频为基础的脸部表情辨识，将二个脸部影像中、或是视频影像的特定时间区间的连续脸部影像的光流场变化，与脸部数据库中已存在的各种可能表情的光流场变化特征值进行比对，再根据比对结果，预测出其表情。此外，更进一步时，依据本发明的脸部表情辨识系统及其方法，可基于表情光流场的特征以脸部特征点如鼻孔位置进行人脸角度校正，可抵抗脸部检测元件的不稳定，使计算出的表情光流场更加正确。同时，可经由训练，最佳化人脸区域对不同表情的区域重要度，产生对应的权重遮罩，再利用每个表情的权重遮罩进行加权，以更有效率的进行表情分类。

本发明的方法，或特定型态或其部分，可以以程序码的型态包含于实体媒体，如软盘、光盘、硬盘、或是任何其他机器可读取(如电脑可读取)储存媒体，其中，当程序码被机器，如电脑载入且执行时，此机器变成用以参与本发明的装置或系统。本发明的方法、系统与装置也可以以程序码型态通过一些传送媒体，如电线或电缆、光纤、或是任何传输型态进行传送，其中，当程序码被机器，如电脑接收、载入且执行时，此机器变成用以参与本发明的装置或系统。当在一般用途处理器实作时，程序码结合处理器提供一操作类似于应用特定逻辑电路的独特装置。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明，任何本领域的技术人员，在不脱离本发明的精神和范围内，当可做些许更动与润饰，因此本发明的保护范围当以权利要求所界定范围为准。

Claims (19)

1.一种脸部表情辨识系统，其特征在于，所述脸部表情辨识系统包括：

一脸部数据库，其具有多个表情信息及多个光流场变化特征值，其中每一所述光流场变化特征值对应所述表情信息的其中一者；

一影像撷取单元，用以撷取多个脸部影像；

一表情辨识数据产生单元，耦接至所述影像撷取单元以及所述脸部数据库，用以由所述影像撷取单元接收一第一脸部影像以及一第二脸部影像、计算所述第一脸部影像以及所述第二脸部影像之间分别对应于每一所述表情信息的一光流场变化特征值；以及

一表情辨识单元，耦接至所述表情辨识数据产生单元，依据计算所得的每一所述表情信息的光流场变化特征值，和所述脸部数据库中的多个光流场变化特征值，决定出所述脸部影像所对应的一脸部表情。

2.如权利要求1所述的脸部表情辨识系统，其特征在于，所述表情辨识数据产生单元还包括一校正模块，用以于计算所述第一脸部影像以及所述第二脸部影像之间的所述光流场变化特征值时，执行一脸部校正步骤，以校准所述第一脸部影像以及所述第二脸部影像。

3.如权利要求2所述的脸部表情辨识系统，其特征在于，所述校正模块更利用所述第一脸部影像以及所述第二脸部影像的一脸部特征点位置，估测一移动参数，并利用估测出的所述移动参数，将所述第一脸部影像与所述第二脸部影像对齐，以执行所述脸部校正步骤。

4.如权利要求3所述的脸部表情辨识系统，其特征在于，所述校正模块更利用所述第二脸部影像的人脸区域，粗估出所述第二脸部影像的一鼻子所在的区域，将所述鼻子所在的区域微分并搜寻所述鼻子所在的区域对应的一梯度鼻的区域最大值，以定位出其鼻孔点位置，依据所述鼻孔点位置，得到所述第二脸部影像的一鼻子影像区块，将所述第二脸部影像的所述鼻子影像区块与先前计算出的所述第一脸部影像的一鼻子影像区块比对，得到所述第二脸部影像对应所述第一脸部影像的一头部区块的所述移动参数，并依据所述移动参数，使所述第一脸部影像与所述第二脸部影像相互对齐。

5.如权利要求3所述的脸部表情辨识系统，其特征在于，所述脸部影像的所述移动参数包括缩放比例、移动方向以及旋转角度。

6.如权利要求1所述的脸部表情辨识系统，其特征在于，所述脸部数据库更具有每一表情信息所对应的一权重遮罩，且所述计算光流场变化特征值是依据所述第一脸部影像以及所述第二脸部影像之间的光流场变化，以及每一表情信息所对应的一权重遮罩所产生。

7.如权利要求6所述的脸部表情辨识系统，其特征在于，每一所述表情信息所对应的权重遮罩，是对应每一所述表情信息的脸部重要区域进行加权而产生。

8.如权利要求1所述的脸部表情辨识系统，其特征在于，所述表情辨识单元还包括判断所述计算出的所述光流场变化特征值与所述脸部数据库中一光流场变化特征值是否相似；以及，若相似时，决定所述相似的光流场变化特征值所对应的表情为所述脸部影像所对应的脸部表情。

9.如权利要求1所述的脸部表情辨识系统，其特征在于，所述表情辨识单元为一分类器，用以从所述脸部数据库中的多个表情信息及多个光流场变化特征值，决定出所对应的脸部表情。

10.一种脸部表情辨识装置，其特征在于，所述脸部表情辨识装置包括：

一壳体；

一脸部数据库，设置于所述壳体内部，其具有多个表情信息及多个光流场变化特征值，其中每一所述光流场变化特征值对应所述表情信息的其中一者；

一影像撷取单元，设置于所述壳体内部，用以撷取多个脸部影像；

一表情辨识数据产生单元，设置于所述壳体内部，耦接至所述影像撷取单元以及所述脸部数据库，用以由所述影像撷取单元接收一第一脸部影像以及一第二脸部影像、计算所述第一脸部影像以及所述第二脸部影像之间分别对应于每一所述表情信息的一光流场变化特征值；

一表情辨识单元，设置于所述壳体内部，耦接至所述表情辨识数据产生单元，依据计算所得的每一所述表情信息的光流场变化特征值，和所述脸部数据库中的多个光流场变化特征值，决定出所述脸部影像所对应的一脸部表情；以及

一显示单元，设置于所述壳体外部，耦接至所述表情辨识单元，用以显示对应所述脸部表情的结果。

11.一种脸部表情辨识方法，其特征在于，所述脸部表情辨识方法包括：

接收一第一脸部影像以及一第二脸部影像；

计算所述第一脸部影像以及所述第二脸部影像之间分别对应于每一所述表情信息的一光流场变化特征值；以及

依据计算所得的每一所述表情信息的光流场变化特征值，和一脸部数据库中的多个光流场变化特征值，决定出所述脸部影像所对应的一脸部表情，其中，所述脸部数据库具有多个表情信息及多个光流场变化特征值，且其中每一所述光流场变化特征值对应所述表情信息的其中一者。

12.如权利要求11所述的脸部表情辨识方法，其特征在于，所述计算所述第一脸部影像以及所述第二脸部影像之间所述光流场变化特征值的步骤还包括一脸部校正步骤，用以校准所述第一脸部影像以及所述第二脸部影像。

13.如权利要求12所述的脸部表情辨识方法，其特征在于，所述脸部校正步骤还包括：

利用所述第一脸部影像以及所述第二脸部影像的一脸部特征点位置，估测一移动参数；以及

利用估测出的所述移动参数，将所述第一脸部影像与所述第二脸部影像对齐。

14.如权利要求13所述的脸部表情辨识方法，其特征在于，所述将所述第一脸部影像与所述第二脸部影像对齐的步骤还包括：

利用所述第二脸部影像的人脸区域，粗估出所述第二脸部影像的一鼻子所在的区域；

将所述鼻子所在的区域微分并搜寻所述鼻子所在的区域对应的一梯度鼻的区域最大值，以定位出其鼻孔点位置；

依据所述鼻孔点位置，得到所述第二脸部影像的一鼻子影像区块；以及

将所述第二脸部影像的所述鼻子影像区块与先前计算出的所述第一脸部影像的一鼻子影像区块比对，得到所述第二脸部影像对应所述第一脸部影像的一头部区块的所述移动参数，并依据所述移动参数，使所述第一脸部影像与所述第二脸部影像相互对齐。

15.如权利要求13所述的脸部表情辨识方法，其特征在于，所述脸部影像的所述移动参数包括缩放比例、移动方向以及旋转角度。

16.如权利要求11所述的脸部表情辨识方法，其特征在于，所述脸部数据库更具有每一表情信息所对应的一权重遮罩，且所述计算光流场变化特征值的步骤，还包括：

依据所述第一脸部影像以及所述第二脸部影像之间的光流场变化，以及每一表情信息所对应的一权重遮罩所产生。

17.如权利要求16所述的脸部表情辨识方法，其特征在于，所述脸部表情辨识方法还包括：

决定对应每一所述表情信息的一脸部重要区域；以及

对所述脸部重要区域进行加权，以产生对应所述表情的所述权重遮罩。

18.如权利要求11所述的脸部表情辨识方法，其特征在于，所述脸部表情辨识方法还包括：

判断所述计算出的所述光流场变化特征值与所述脸部数据库中一光流场变化特征值是否相似；以及

若相似时，决定所述相似的光流场变化特征值所对应的表情为所述脸部影像所对应的脸部表情。

19.如权利要求11所述的脸部表情辨识方法，其特征在于，决定出所述脸部影像所对应的所述脸部表情的步骤，是利用一分类器以从所述脸部数据库中的多个表情信息及多个光流场变化特征值，决定出所对应的脸部表情。

Images