CN105205847A - 动作处理装置以及动作处理方法 - Google Patents

Abstract

本发明提供动作处理装置以及动作处理方法，能够更自然地进行面部的主要部分的动作。动作处理装置(100)具备：面部主要部分检测部(5b)，从所取得的面部图像中检测构成面部的主要部分；形状确定部(5d)，确定所检测出的主要部分的形状的种类；以及动作条件设定部(5f)，根据所确定的主要部分的形状的种类，设定使该主要部分动作时的控制条件。

Description

动作处理装置以及动作处理方法

技术领域

本发明涉及动作处理装置以及动作处理方法。

背景技术

近年，提出有朝成型为人型的投影屏幕上投影映像的所谓“虚拟人体模型”(例如参照专利文献1)。虚拟人体模型能够获得具有正如人站立在那里那样的存在感的投影像，能够在展示会等进行崭新、有效的展示演出。

为了使这种虚拟人体模型的面部的表情丰富，已知有使照片、插图、漫画等图像中的构成面部的主要部分(例如眼睛、嘴等)变形而表现动作的技术。具体而言，存在如下方法：基于作为被摄体的人的注视点，使由该人的计算机图形表现的面部模型中的眼球动作的方法(例如参照专利文献2)；按照所发音的语言的每个元音、辅音来改变嘴的形状而对口型的方法(例如参照专利文献3)等。

专利文献1：日本特开2011-150221号公报

专利文献2：日本特开平06-282627号公报

专利文献3：日本特开2003-58908号公报

然而，作为处理对象的面部的主要部分，根据照片、插图这种作为基础的图像的种类、人、动物这种面部的种类，而其形状各种各样。因此，例如，当将用于使照片图像中的人的面部的主要部分动作的数据、用于漫画的面部的变形、插图中的动物的面部的变形时，存在导致局部的画质劣化、不自然的变形而使目视确认者产生不和谐感这种问题。

发明内容

本发明是鉴于这种问题而完成的，本发明的课题在于更自然地进行面部的主要部分的动作。

本发明的一个方案，提供一种动作处理装置，其特征在于，具备：取得部，取得面部图像；检测部，从由上述取得部取得的面部图像中检测构成面部的主要部分；确定部，确定由上述检测部检测出的上述主要部分的形状的种类；以及设定部，根据由上述确定部确定的上述主要部分的形状的种类，设定使该主要部分动作时的控制条件。

根据本发明，能够更自然地进行面部的主要部分的动作。

附图说明

图1是表示应用了本发明的一个实施方式的动作处理装置的概要构成的框图。

图2是表示图1的动作处理装置进行的面部动作处理的动作的一例的流程图。

图3是表示图2的面部动作处理中的眼睛控制条件设定处理的动作的一例的流程图。

图4A是用于对图3的眼睛控制条件设定处理进行说明的图。

图4B是用于对图3的眼睛控制条件设定处理进行说明的图。

图4C是用于对图3的眼睛控制条件设定处理进行说明的图。

图5A是用于对图3的眼睛控制条件设定处理进行说明的图。

图5B是用于对图3的眼睛控制条件设定处理进行说明的图。

图5C是用于对图3的眼睛控制条件设定处理进行说明的图。

图6A是用于对图3的眼睛控制条件设定处理进行说明的图。

图6B是用于对图3的眼睛控制条件设定处理进行说明的图。

图6C是用于对图3的眼睛控制条件设定处理进行说明的图。

图7是表示图2的面部动作处理中的嘴控制条件设定处理的动作的一例的流程图。

图8A是用于对图7的嘴控制条件设定处理进行说明的图。

图8B是用于对图7的嘴控制条件设定处理进行说明的图。

图8C是用于对图7的嘴控制条件设定处理进行说明的图。

图9A是用于对图7的嘴控制条件设定处理进行说明的图。

图9B是用于对图7的嘴控制条件设定处理进行说明的图。

图9C是用于对图7的嘴控制条件设定处理进行说明的图。

图10A是用于对图7的嘴控制条件设定处理进行说明的图。

图10B是用于对图7的嘴控制条件设定处理进行说明的图。

图10C是用于对图7的嘴控制条件设定处理进行说明的图。

图11A是用于对图7的嘴控制条件设定处理进行说明的图。

图11B是用于对图7的嘴控制条件设定处理进行说明的图。

图11C是用于对图7的嘴控制条件设定处理进行说明的图。

符号的说明：

100：动作处理装置；1：中央控制部；5：动作处理部；5a：图像取得部；5b：面部主要部分检测部；5c：第一计算部；5d：形状确定部；5e：第二计算部；5f：动作条件设定部；5h：动作控制部。

具体实施方式

以下，使用附图对本发明的具体方式进行说明。但是，发明的范围并不限定于图示例。

图1是表示应用了本发明的一个实施方式的动作处理装置100的概要构成的框图。

动作处理装置100例如由个人计算机、工作站等计算机等构成，如图1所示，具备中央控制部1、存储器2、存储部3、操作输入部4、动作处理部5、显示部6以及显示控制部7。

此外，中央控制部1、存储器2、存储部3、动作处理部5以及显示控制部7经由总线8连接。

中央控制部1对动作处理装置100的各部分进行控制。

具体而言，中央控制部1具备对动作处理装置100的各部分进行控制的CPU(CentralProcessingUnit：中央处理单元；省略图示)、RAM(RandomAccessMemory：随机存取存储器)、ROM(ReadOnlyMemory：只读存储器)，按照动作处理装置100用的各种处理程序(省略图示)来进行各种控制动作。

存储器2例如由DRAM(DynamicRandomAccessMemory：动态随机存取存储器)等构成，暂时存储由除了中央控制部1之外的、该动作处理装置100的各部分处理的数据等。

存储部3例如由非易失性存储器(闪存)、硬盘驱动器等构成，对中央控制部1的动作所需要的各种程序、数据(省略图示)进行存储。

此外，存储部3存储面部图像数据3a。

面部图像数据3a是包括面部的二维面部图像的数据。具体而言，面部图像数据3a例如是照片图像中的人的面部图像、由漫画表示的人、动物的面部图像、插图中的人、动物的面部图像等的图像数据。此外，面部图像数据3a只要是至少包括面部的图像的图像数据即可，例如可以是仅为面部的图像数据，也可以是胸部以上的部分的图像数据。

另外，面部图像数据3a的面部图像为一例，并不限定于此，能够适当任意地变更。

此外，存储部3存储基准动作数据3b。

基准动作数据3b包含表示如下动作的信息，该动作成为对面部的各主要部分(例如，眼睛E(参照图4A等)、嘴M(参照图10A等)等)的动作进行表现时的基准。具体而言，基准动作数据3b包含按照各主要部分的每个规定的、对规定空间内的多个控制点的动作进行表示的信息，例如对多个控制点在规定空间中的位置坐标(x,y)进行表示的信息、变形矢量等沿时间轴排列。

即，例如，眼睛E的基准动作数据3b为，设定有与上眼睑、下眼睑对应的多个控制点，并规定有这些控制点的变形矢量。此外，嘴M的基准动作数据3b为，设定有与上唇、下唇、左右的嘴角对应的多个控制点，并规定有这些控制点的变形矢量。

操作输入部4例如具备由用于输入数值、文字等的数据输入键、用于进行数据的选择、传送操作等的上下左右移动键、各种功能键等构成的键盘、鼠标等操作部(省略图示)，根据这些操作部的操作而将规定的操作信号朝中央控制部1输出。

动作处理部5具备图像取得部5a、面部主要部分检测部5b、第一计算部5c、形状确定部5d、第二计算部5e、动作条件设定部5f、动作生成部5g以及动作控制部5h。

另外，动作处理部5的各部例如由规定的逻辑电路构成，但该构成为一例，并不限定于此。

图像取得部5a取得面部图像数据3a。

即，图像取得部(取得单元)5a取得包含作为面部动作处理的处理对象的面部在内的二维图像的面部图像数据3a。具体而言，图像取得部5a例如在存储部3所存储的规定数量的面部图像数据3a中，取得基于用户对操作输入部4进行的规定操作而指定的用户所希望的面部图像数据3a，作为面部动作处理的处理对象。

另外，图像取得部5a可以从经由未图示的通信控制部连接的外部设备(省略图示)取得面部图像数据，也可以取得通过由未图示的摄像部摄像而生成的面部图像数据。

面部主要部分检测部5b从面部图像中检测构成面部的主要部分。

即，面部主要部分检测部(检测单元)5b从由图像取得部5a取得的面部图像数据的面部图像中，例如通过使用了AAM(ActiveAppearanceModel：主动外观模型)的处理，对左右的各眼睛和眉毛、鼻子、嘴、面部轮廓等主要部分进行检测。

此处，AAM是视觉现象的模型化的一个方法，是进行任意的面部区域的图像的模型化的处理。例如，面部主要部分检测部5b将多个样品面部图像中的规定的特征部位(例如，外眼角、鼻头、脸型等)的位置、像素值(例如，亮度值)的统计性分析结果预先登记于规定的登记单元。然后，面部主要部分检测部5b将上述特征部位的位置作为基准，设定对面部的形状进行表示的形状模型、对平均形状的“Appearance(外观)”进行表示的结构模型，并使用这些模型将面部图像模型化。由此，在面部图像中，例如眼睛、眉毛、鼻子、嘴、面部轮廓等主要部分被模型化。

另外，在主要部分的检测中使用AAM来进行检测，但这仅是一例，并不限定于此，例如，能够适当任意地变更为边缘提取处理、各向异性扩散处理、模板匹配等。

第一计算部5c计算作为面部的主要部分的眼睛E的规定方向的长度。

即，第一计算部(第一计算单元)5c分别计算眼睛E的上下方向(纵向y)以及左右方向(横向x)的长度。具体而言，第一计算部5c将由面部主要部分检测部5b检测出的眼睛E的、上下方向的像素数成为最大的部分的像素数作为上下方向的长度h，并且将左右方向的像素数成为最大的部分的像素数作为左右方向的长度w而分别计算(参照图5A)。

此外，第一计算部5c分别计算眼睛E的上侧部分以及下侧部分的左右方向的长度。具体而言，第一计算部5c以在上下方向上大致相等的宽度，将由面部主要部分检测部5b检测出的眼睛E分割成多个区域(例如，四个区域)，将最上方的区域和其下侧第一个区域之间的分割线的左右方向的像素数作为眼睛E的上侧部分的长度wt，并且将最下方的区域和其上侧第一个区域之间的分割线的左右方向的像素数作为眼睛E的下侧部分的长度wb而分别计算(参照图5B以及图5C)。

形状确定部5d确定主要部分的形状的种类。

即，形状确定部(确定单元)5d确定由面部主要部分检测部5b检测出的主要部分的形状的种类。具体而言，形状确定部5d例如确定作为主要部分的眼睛E、嘴M的形状的种类。

例如，在确定眼睛E的形状的种类的情况下，形状确定部5d计算由第一计算部5c计算出的眼睛E的上下方向以及左右方向的长度的比率(h/w)，根据该比率(h/w)是否处于规定范围内来判定是否是人的眼睛E的形状(例如，横长的椭圆形状；参照图4A)。此外，形状确定部5d对由第一计算部5c计算出的眼睛E的上侧部分以及下侧部分的左右方向的长度wt、wb彼此进行比较，根据这些长度wt、wb是否大致相等来判定是漫画风格的眼睛E的形状(参照图4B)还是动物风格的眼睛E的形状(例如，大致正圆形状；参照图4C)。

此外，例如，在确定嘴M的形状的种类的情况下，形状确定部5d基于左右的嘴角Ml、Mr与嘴中央部Mc之间的上下方向的位置关系，来确定嘴M的形状的种类。

具体而言，形状确定部5d将成为由面部主要部分检测部5b检测出的嘴M的上唇与下唇的接合线的边界线L的左右的两端部、设为左右的嘴角Ml、Mr的位置，并且将边界线L的左右方向的大致中央部设为嘴中央部Mc。然后，形状确定部5d基于左右的嘴角Ml、Mr与嘴中央部Mc的上下方向的位置关系，来确定是左右的嘴角Ml、Mr与嘴中央部Mc为大致相等的上下位置的嘴M的形状(参照图8A)、是嘴中央部Mc高于左右的嘴角Ml、Mr的上下位置的嘴M的形状(参照图8B)、还是左右的嘴角Ml、Mr高于嘴中央部Mc的上下位置的嘴M的形状(参照图8C)。

另外，上述的眼睛E、嘴M的形状的种类仅为一例，并不限定于此，能够适当任意地变更。此外，作为主要部分而例示了眼睛E以及嘴M，并对其形状的种类进行了确定，但这仅为一例，并不限定于此，例如也可以是鼻子、眉毛、面部轮廓等其他主要部分。

第二计算部5e计算与作为主要部分的嘴M相关联的规定方向的长度。

即，第二计算部(第二计算单元)5e分别计算嘴M的左右方向的长度lm、面部的与嘴M对应的位置的左右方向的长度lf以及从嘴M到下巴为止的上下方向的长度lj(参照图9A等)。

具体而言，第二计算部5e计算嘴M的边界线L的左右两端部(左右的嘴角Ml、Mr)间的左右方向的像素数，作为嘴M的左右方向的长度lm。此外，第二计算部5e确定通过嘴M的边界线L的左右两端部并沿左右方向延伸的直线、与由面部主要部分检测部5b检测出的面部轮廓之间的两个交点，计算两个交点间的左右方向的像素数，作为面部的与嘴M对应的位置的左右方向的长度lf。此外，第二计算部5e确定通过嘴M的边界线L的左右方向的大致中央部(嘴中央部Mc)并沿上下方向延伸的直线、与由面部主要部分检测部5b检测出的面部轮廓之间的交点，计算所确定的交点与嘴中央部Mc之间的上下方向的像素数，作为从嘴M到下巴为止的上下方向的长度lj。

动作条件设定部5f设定使主要部分动作时的控制条件。

即，动作条件设定部(设定单元)5f根据由形状确定部5d确定的主要部分(例如，眼睛E、嘴M等)的形状的种类，来设定使该主要部分动作时的控制条件。具体而言，动作条件设定部5f根据由形状确定部5d确定的眼睛E的形状的种类，来设定使该眼睛E进行眨眼动作时的控制条件。此外，动作条件设定部5f根据由形状确定部5d确定的嘴M的形状的种类，来设定使该嘴M进行开闭动作时的控制条件。

例如，动作条件设定部5f从存储部3读出而取得作为处理对象的主要部分的基准动作数据3b，根据由形状确定部5d确定的主要部分的形状的种类，将基准动作数据3b所包含的对用于使该主要部分动作的多个控制点的动作进行表示的信息的修正内容，设定为控制条件。

具体而言，在设定使眼睛E进行眨眼动作时的控制条件的情况下，动作条件设定部5f根据由形状确定部5d确定的眼睛E的形状的种类，将基准动作数据3b所包含的对与上眼睑、下眼睑对应的多个控制点的动作进行表示的信息的修正内容，设定为控制条件。

此外，动作条件设定部5f也可以根据由第一计算部5c计算出的眼睛E的上侧部分以及下侧部分的左右方向的长度wt、wb的大小，来设定对使该眼睛E进行眨眼动作时的上眼睑以及下眼睑中的至少一方的变形进行控制的控制条件。例如，动作条件设定部5f对眼睛E的上侧部分以及下侧部分的左右方向的长度wt、wb彼此进行比较，而以使与长度较短一方对应的眼睑的变形量(例如，下眼睑的变形量n)相对于与较长一方对应的眼睑的变形量(例如，上眼睑的变形量m)相对变大的方式(参照图6B)，设定基准动作数据3b所包含的对与上眼睑、下眼睑对应的多个控制点的动作进行表示的信息的修正内容。此外，动作条件设定部5f在眼睛E的上侧部分以及下侧部分的左右方向的长度wt、wb彼此大致相等的情况下(参照图6C)，以使上眼睑的变形量m以及下眼睑的变形量n成为大致相等的方式，设定基准动作数据3b所包含的对与上眼睑、下眼睑对应的多个控制点的动作进行表示的信息的修正内容。

此外，在设定使嘴M进行开闭动作时的控制条件的情况下，动作条件设定部5f根据由形状确定部5d确定的嘴M的形状的种类，将基准动作数据3b所包含的对与上唇、下唇、左右的嘴角Ml、Mr对应的多个控制点的动作进行表示的信息的修正内容，设定为控制条件。

例如，动作条件设定部5f在由形状确定部5d确定的嘴M的形状为嘴中央部Mc高于左右的嘴角Ml、Mr的上下位置的嘴M的形状(参照图10B)的情况下，以使左右的嘴角Ml、Mr朝上方的变形量相对变大的方式，设定基准动作数据3b所包含的对与嘴角Ml、Mr对应的多个控制点的动作进行表示的信息的修正内容。此外，动作条件设定部5f在由形状确定部5d确定的嘴M的形状为左右的嘴角Ml、Mr高于嘴中央部Mc的上下位置的嘴M的形状(参照图10C)的情况下，以使左右的嘴角Ml、Mr朝下方的变形量相对变大的方式，设定基准动作数据3b所包含的对与左右的嘴角Ml、Mr对应的多个控制点的动作进行表示的信息的修正内容。

并且，动作条件设定部5f也可以根据嘴M相对于由面部主要部分检测部5b检测出的嘴M以外的主要部分(例如，下巴等)的相对位置关系，来设定使该嘴M进行开闭动作时的控制条件。

具体而言，动作条件设定部5f根据由第二计算部5e计算出的嘴M的左右方向的长度lm、面部的与嘴M对应的位置的左右方向的长度lf以及从嘴M到下巴为止的上下方向的长度lj，来确定嘴M相对于嘴M以外的主要部分的相对位置关系。然后，动作条件设定部5f根据所确定的位置关系，来设定对使该嘴M进行开闭动作时的上唇以及下唇中的至少一方的变形进行控制的控制条件。例如，动作条件设定部5f对嘴M的左右方向的长度lm和面部的与嘴M对应的位置的左右方向的长度lf进行比较，而确定面部轮廓内的嘴M的左右区域的大小。然后，动作条件设定部5f根据面部轮廓内的嘴M的左右区域的大小以及从嘴M到下巴为止的上下方向的长度lj，来设定对使嘴M进行开闭动作时的上下方向的开闭、左右方向的开闭进行控制的控制条件。

即，例如，进行开闭动作的嘴M朝左右方向以及上下方向的变形量，以该嘴M的大小、尤其以嘴M的左右方向的长度lm为基准而变化。例如，在一般情况下，lm的大小越大则使嘴M进行开闭动作时朝左右方向以及上下方向的变形量变得越大。因此，在以嘴M的左右方向的长度lm为基准，而面部轮廓内的嘴M的左右区域的大小、从嘴M到下巴为止的上下方向的长度lj相对较大的情况下，可以认为即使基于基准动作数据3b来使嘴M变形也没有问题。

另一方面，在从嘴M到下巴为止的上下方向的长度lj相对较小的情况(参照图11B)下，动作条件设定部5f以使下唇朝下方的变形量相对变小的方式，设定基准动作数据3b所包含的对与上唇、下唇对应的多个控制点的动作进行表示的信息的修正内容。此外，在面部轮廓内的嘴M的左右区域的大小相对较大的情况(参照图11C)下，动作条件设定部5f以使左右的嘴角Ml、Mr朝左右方向的变形量相对变大的方式，设定基准动作数据3b所包含的对与左右的嘴角Ml、Mr对应的多个控制点的动作进行表示的信息的修正内容。

另外，由动作条件设定部5f设定的控制条件，也可以朝规定的存储单元(例如，存储器2等)输出而暂时存储。

此外，上述的使眼睛E、嘴M等主要部分动作时的控制内容，仅为一例，并不限定于此，能够适当任意地变更。

并且，作为主要部分而例示了眼睛E以及嘴M，并对其控制条件进行了设定，但这仅为一例，并不限定于此，例如也可以是鼻子、眉毛、面部轮廓等其他主要部分。此时，例如，也可以对使眼睛E、嘴M动作时的控制条件进行考虑，而设定其他主要部分的控制条件。即，例如可以对使眼睛E进行眨眼动作时的控制条件进行考虑，而设定使眉毛、鼻子等眼睛E周边的主要部分相关联地动作那样的控制条件，并且，也可以对使嘴M进行开闭动作时的控制条件进行考虑，而设定使鼻子、面部轮廓等嘴M周边的主要部分相关联地动作那样的控制条件。

动作生成部5g基于由动作条件设定部5f设定的控制条件，生成用于使主要部分动作的动作数据。

具体而言，动作生成部5g基于作为处理对象的主要部分的基准动作数据3b、以及由动作条件设定部5f设定的基准动作数据3b的修正内容，对表示多个控制点的动作的信息进行修正，生成修正后的数据而作为该主要部分的动作数据。

另外，由动作生成部5g生成的动作数据，也可以朝规定的存储单元(例如，存储器2等)输出而暂时存储。

动作控制部5h在面部图像内使主要部分动作。

即，动作控制部(动作控制单元)5h在由图像取得部5a取得的面部图像内，按照由动作条件设定部5f设定的控制条件来使主要部分动作。具体而言，动作控制部5h在作为处理对象的主要部分的规定位置上设定多个控制点，并且取得由动作生成部5g生成的作为处理对象的主要部分的动作数据。然后，动作控制部5h进行变形处理，该变形处理为，基于由所取得的动作数据规定的表示多个控制点的动作的信息、使多个控制点位移，由此使该主要部分动作。

显示部6例如由LCD(LiquidCrystalDisplay：液晶显示器)、CRT(CathodeRayTube：阴极射线管)等的显示器构成，在显示控制部7的控制下将各种信息显示于显示画面。

显示控制部7进行生成显示用数据并使其显示于显示部6的显示画面的控制。

具体而言，显示控制部7例如具备视频卡(省略图示)，该视频卡具备GPU(GraphicsProcessingUnit：图像处理单元)、VRAM(VideoRandomAccessMemory：视频随机存取存储器)等。并且，显示控制部7按照来自中央控制部1的显示指示，通过基于视频卡的描绘处理来生成在面部动作处理中用于使主要部分动作的各种画面的显示用数据，并向显示部6输出。由此，显示部6例如显示内容，在面部动作处理中使该内容变形以使面部图像的主要部分(例如，眼睛E、嘴M等)动作或者使面部的表情变化。

＜面部动作处理＞

接着，参照图2～图11对面部动作处理进行说明。

图2是表示面部动作处理的动作的一例的流程图。

如图2所示，首先，动作处理部5的图像取得部5a，例如从存储部3所存储的规定数量的面部图像数据3a中，取得基于用户对操作输入部4进行的规定操作而指定的、用户所希望的面部图像数据3a(步骤S1)。

之后，面部主要部分检测部5b从由图像取得部5a取得的面部图像数据的面部图像中，例如通过使用了AAM的处理，对左右的各眼睛、鼻子、嘴、眉毛、面部轮廓等主要部分进行检测(步骤S2)。

接着，动作处理部5进行主要部分控制条件设定处理，该主要部分控制条件设定处理为，设定使由面部主要部分检测部5b检测出的主要部分动作时的控制条件(步骤S3)。

另外，虽然处理内容的详细情况将后述，但作为主要部分控制条件设定处理，例示出眼睛控制条件设定处理(参照图3)以及嘴控制条件设定处理(参照图7)。

接着，动作生成部5g基于通过主要部分控制条件设定处理设定的控制条件，生成用于使主要部分动作的动作数据(步骤S4)。之后，动作控制部5h基于由动作生成部5g生成的动作数据，进行在面部图像内使主要部分动作的处理(步骤S5)。

例如，动作生成部5g基于通过眼睛控制条件设定处理、嘴控制条件设定处理设定的控制条件，生成用于使眼睛E、嘴M动作的动作数据，动作控制部5h基于由动作生成部5g生成的动作数据，进行在面部图像内使眼睛E、嘴M动作的处理。

＜眼睛控制条件设定处理＞

接着，参照图3～图6对眼睛控制条件设定处理进行说明。

图3是表示眼睛控制条件设定处理的动作的一例的流程图。此外，图4A～图4C、图5A～图5C、图6A～图6C是用于对眼睛控制条件设定处理进行说明的图。

另外，图4A～图4C、图5A～图5C、图6A～图6C的各个眼睛E示意性地表示左侧(朝向图像时为右侧)的眼睛。

如图3所示，第一计算部5c分别计算由面部主要部分检测部5b作为主要部分而检测出的眼睛E的上下方向的长度h以及左右方向的长度w(步骤S21；参照图5A)。

接着，形状确定部5d计算由第一计算部5c计算出的眼睛E的上下方向以及左右方向的长度的比率(h/w)，并判定该比率(h/w)是否处于规定范围内(步骤S22)。

此处，当判定为比率(h/w)处于规定范围内时(步骤S22；是)，形状确定部5d确定为处理对象的眼睛E为形成为横长的椭圆形状的人的眼睛E的形状(参照图4A)(步骤S23)。然后，动作条件设定部5f作为使眼睛E进行眨眼动作时的控制条件，仅将对与上眼睑对应的多个控制点的动作进行表示的信息(例如，变形矢量等)设定为控制条件(步骤S24)。在该情况下，下眼睑的变形量n成为“0”，成为上眼睑以变形量m进行变形的动作。

另一方面，当判定为比率(h/w)不在规定范围内时(步骤S22；否)，第一计算部5c分别计算眼睛E的上侧部分的左右方向的长度wt以及下侧部分的左右方向的长度wb(步骤S25；参照图5B以及图5C)。

然后，形状确定部5d判定由第一计算部5c计算出的眼睛E的上侧部分的左右方向的长度wt以及下侧部分的左右方向的长度wb是否大致相等(步骤S26)。

在步骤S26中，当判定为眼睛E的上侧部分的左右方向的长度wt以及下侧部分的左右方向的长度wb不大致相等时(步骤S26；否)，形状确定部5d确定为处理对象的眼睛E为漫画风格的眼睛E的形状(参照图4B)(步骤S27)。

然后，动作条件设定部5f以使与长度较短一方对应的眼睑的变形量(例如，下眼睑的变形量n)相对于与长度较长一方对应的眼睑的变形量(例如，上眼睑的变形量m)相对变大的方式，将基准动作数据3b所包含的对与上眼睑、下眼睑对应的多个控制点的动作进行表示的信息的修正内容，设定为控制条件(步骤S28)。

此时，动作条件设定部5f也可以为，以在眼睛E的眨眼动作时进行外眼角降低那样的表现的方式，设定对与上眼睑、下眼睑对应的多个控制点的动作进行表示的信息的修正内容(变形矢量等)(参照图6B)。

另一方面，在步骤S26中，当判定为眼睛E的上侧部分的左右方向的长度wt以及下侧部分的左右方向的长度wb大致相等时(步骤S26；是)，形状确定部5d确定为处理对象的眼睛E为形成为大致正圆形状的动物风格的眼睛E的形状(参照图4C)(步骤S29)。

然后，动作条件设定部5f以使上眼睑的变形量m以及下眼睑的变形量n成为大致相等的方式，将基准动作数据3b所包含的对与上眼睑、下眼睑对应的多个控制点的动作进行表示的信息的修正内容，设定为控制条件(步骤S30)。

＜嘴控制条件设定处理＞

接着，参照图7～图10对嘴控制条件设定处理进行说明。

图7是表示嘴控制条件设定处理的动作的一例的流程图。此外，图8A～图8C、图9A～图9C、图10A～图10C、图11A～图11C是用于对嘴控制条件设定处理进行说明的图。

如图7所示，形状确定部5d将成为由面部主要部分检测部5b检测出的嘴M的上唇与下唇的接合线的边界线L的左右两端部，确定为左右的嘴角Ml、Mr的位置，并且将边界线L的左右方向的大致中央部确定为嘴中央部Mc(步骤S41)。

接着，形状确定部5d判定是否是左右的嘴角Ml、Mr与嘴中央部Mc大致相等的上下位置(步骤S42)。

在步骤S42中，当判定为不是左右的嘴角Ml、Mr与嘴中央部Mc大致相等的上下位置时(步骤S42；否)，形状确定部5d判定是否是嘴中央部Mc高于左右的嘴角Ml、Mr的上下位置(步骤S43)。

此处，当判定为是嘴中央部Mc高于左右的嘴角Ml、Mr的上下位置时(步骤S43；是)，动作条件设定部5f以使左右的嘴角Ml、Mr朝上方的变形量相对变大的方式，将基准动作数据3b所包含的对与嘴角Ml、Mr对应的多个控制点的动作进行表示的信息的修正内容，设定为控制条件(步骤S44；参照图10B)。

另一方面，在步骤S43中，当判定为不是嘴中央部Mc高于左右的嘴角Ml、Mr的上下位置(是左右的嘴角Ml、Mr高于嘴中央部Mc的上下位置)时(步骤S43；否)，动作条件设定部5f以使左右的嘴角Ml、Mr朝下方的变形量相对变大的方式，将基准动作数据3b所包含的对与左右的嘴角Ml、Mr对应的多个控制点的动作进行表示的信息的修正内容，设定为控制条件(步骤S45；参照图10C)。

另外，在步骤S42中，在判定为是左右的嘴角Ml、Mr与嘴中央部Mc大致相等的上下位置的情况(步骤S42；是)下，动作条件设定部5f不进行基准动作数据3b所包含的对与上唇、下唇、左右的嘴角Ml、Mr对应的多个控制点的动作进行表示的信息的修正。

之后，第二计算部5e分别计算嘴M的左右方向的长度lm、面部的与嘴M对应的位置的左右方向的长度lf以及从嘴M到下巴为止的上下方向的长度lj(步骤S46；参照图9A等)。

接着，动作条件设定部5f以嘴M的左右方向的长度lm为基准，判定从嘴M到下巴为止的上下方向的长度lj是否相对较大(步骤S47)。

在步骤S47中，当判定为从嘴M到下巴为止的上下方向的长度lj相对较大时(步骤S47；是)，动作条件设定部5f将由基准动作数据3b规定的对与上唇、下唇、左右的嘴角Ml、Mr对应的多个控制点的动作进行表示的信息，设定为控制条件(步骤S48)。

另一方面，在步骤S47中，当判定为从嘴M到下巴为止的上下方向的长度lj不相对较大时(步骤S47；否)，动作条件设定部5f以嘴M的左右方向的长度lm为基准，判定面部轮廓内的嘴M的左右区域的大小是否相对较大(步骤S49)。

在步骤S49中，当判定为面部轮廓内的嘴M的左右区域的大小不相对较大时(步骤S49；否)，动作条件设定部5f以使下唇朝下方的变形量相对变小的方式，将基准动作数据3b所包含的对与上唇、下唇对应的多个控制点的动作进行表示的信息的修正内容，设定为控制条件(步骤S50；参照图11B)。

另一方面，当判定为面部轮廓内的嘴M的左右区域的大小相对较大时(步骤S49；是)，动作条件设定部5f以使左右的嘴角Ml、Mr朝左右方向的变形量相对变大的方式，将基准动作数据3b所包含的对与左右的嘴角Ml、Mr对应的多个控制点的动作进行表示的信息的修正内容，设定为控制条件(步骤S51；参照图11C)。

如以上那样，根据本实施方式的动作处理装置100，确定从面部图像中检测出的构成面部的主要部分(例如，眼睛E、嘴M等)的形状的种类，根据所确定的主要部分的形状的种类，来设定使该主要部分动作时的控制条件，因此能够在面部图像内按照控制条件进行与面部的主要部分的形状的种类相应的适当的动作，能够抑制局部的画质劣化、不自然的变形，能够更自然地进行面部的主要部分的动作。

此外，根据作为面部的主要部分的眼睛E的上下方向的长度h以及左右方向的长度w的比率，来确定该眼睛E的形状的种类，因此能够适当地进行形成为横长的椭圆形状的人的眼睛E的形状的确定。并且，对眼睛E的上侧部分的左右方向的长度wt以及下侧部分的左右方向的长度wb彼此进行比较，而确定该眼睛E的形状的种类，因此能够适当地进行漫画风格的眼睛E的形状、形成为大致正圆形状的动物风格的眼睛E的形状的确定。并且，能够按照基于眼睛E的形状的种类来设定的控制条件，更自然地进行该眼睛E的眨眼动作。

并且，根据眼睛E的上侧部分的左右方向的长度wt以及下侧部分的左右方向的长度wb的大小，对使该眼睛E进行眨眼动作时的上眼睑以及下眼睑中的至少一方的变形进行控制，因此即便作为处理对象的眼睛E是漫画风格的眼睛E的形状、动物风格的眼睛E的形状，也能够进行抑制了不自然的变形的自然的眨眼动作。

并且，根据作为面部的主要部分的嘴M的左右的嘴角Ml、Mr与嘴中央部Mc之间的上下方向的位置关系来确定嘴M的形状的种类，因此能够适当地进行左右的嘴角Ml、Mr与嘴中央部Mc大致相等的上下位置的嘴M的形状、嘴中央部Mc高于左右的嘴角Ml、Mr的上下位置的嘴M的形状、左右的嘴角Ml、Mr高于嘴中央部Mc的上下位置的嘴M的形状等的确定。并且，能够按照基于嘴M的形状的种类来设定的控制条件，更自然地进行该嘴M的开闭动作。

并且，能够基于嘴M相对于由面部主要部分检测部5b检测出的嘴M以外的主要部分(例如，下巴等)的相对位置关系，来设定使该嘴M进行开闭动作时的控制条件。具体而言，根据嘴M的左右方向的长度lm、面部的与嘴M对应的位置的左右方向的长度lf以及从嘴M到下巴为止的上下方向的长度lj，来确定嘴M相对于嘴M以外的主要部分的相对位置关系，因此能够对面部轮廓内的嘴M的左右区域的大小、从嘴M到下巴为止的上下方向的长度lj等进行考虑，而设定使该嘴M进行开闭动作时的控制条件，能够按照所设定的控制条件来更自然地进行该嘴M的开闭动作。

此外，预先准备包含表示成为对面部的各主要部分的动作进行表现时的基准的动作的信息的基准动作数据3b，并将基准动作数据3b所包含的对用于使该主要部分动作的多个控制点的动作进行表示的信息的修正内容，设定为控制条件，由此无需分别准备用于根据各种各样的面部的主要部分的形状来进行动作的数据，就能够更自然地进行面部的主要部分的动作。即，例如，无需按照每个照片、插图这种作为基础的图像的种类、人、动物这种面部的种类来准备包含表示主要部分的动作的信息的动作数据，能够抑制准备这些数据的情况下的作业量、存储这些数据的存储部的容量的增大。

另外，本发明并不限定于上述实施方式，在不脱离本发明的主旨的范围内，也可以进行各种改良以及设计的变更。

此外，在上述实施方式中，由动作处理装置100单体构成，但这仅为一例，并不限定于此，例如也可以构成为，应用于将人物、角色、动物等投影对象物进行商品等的说明的映像内容朝屏幕投影的投影系统(省略图示)。

并且，在上述实施方式中，基于由动作条件设定部5f设定的控制条件，生成用于使主要部分动作的动作数据，但这仅为一例，并不限定于此，并不必须具备动作生成部5g，例如也可以将由动作条件设定部5f设定的控制条件朝外部设备(省略图示)输出，而通过该外部设备生成动作数据。

此外，按照由动作条件设定部5f设定的控制条件来使主要部分动作，但这仅为一例，并不限定于此，并不必须具备动作控制部5h，例如也可以将由动作条件设定部5f设定的控制条件朝外部设备(省略图示)输出，而通过该外部设备按照控制条件使主要部分动作。

并且，关于动作处理装置100的构成，上述实施方式所例示的构成仅为一例，并不限定于此。例如，动作处理装置100也可以构成为，具备输出声音的扬声器(省略图示)，以在面部图像内使嘴M动作的处理时进行对口型的方式，从扬声器输出规定的声音。此时所输出的声音的数据例如也可以与基准动作数据3b建立对应地存储。

此外，在上述实施方式中构成为，在动作处理装置100的中央控制部1的控制下，图像取得部5a、面部主要部分检测部5b、形状确定部5d、动作条件设定部5f进行驱动，由此实现作为取得单元、检测单元、确定单元、设定单元的功能，但并不限定于此，也可以构成为通过由中央控制部1的CPU执行规定的程序等来实现。

即，在存储程序的程序存储器中预先存储包含取得处理例程、检测处理例程、确定处理例程、设定处理例程的程序。然后，也可以通过取得处理例程使中央控制部1的CPU作为取得面部图像的单元发挥功能。此外，也可以通过检测处理例程使中央控制部1的CPU作为从所取得的面部图像中对构成面部的主要部分进行检测的单元发挥功能。此外，也可以通过确定处理例程使中央控制部1的CPU作为确定所检测到的主要部分的形状的种类的单元发挥功能。此外，也可以通过设定处理例程使中央控制部1的CPU作为基于所确定的主要部分的形状的种类来设定使该主要部分动作时的控制条件的单元发挥功能。

同样，对于第一计算单元、第二计算单元、动作控制单元，也可以构成为通过由中央控制部1的CPU执行规定的程序等来实现。

并且，作为存储了用于执行上述各处理的程序的计算机可读取的介质，除了ROM、硬盘等之外，还能够应用闪存等非易失性存储器、CD-ROM等便携式存储介质。此外，作为经由规定的通信线路来提供程序的数据的介质，也可以应用载波(carrierwave)。

对本发明的几个实施方式进行了说明，但本发明的范围并不限定于上述实施方式，包含专利请求的范围所记载的发明的范围和与其等同的范围。

Claims (11)

1.一种动作处理装置，其特征在于，具备：

取得部，取得面部图像；

检测部，从由上述取得部取得的面部图像中检测构成面部的主要部分；

确定部，确定由上述检测部检测出的上述主要部分的形状的种类；以及

设定部，根据由上述确定部确定的上述主要部分的形状的种类，设定使该主要部分动作时的控制条件。

2.如权利要求1所述的动作处理装置，其特征在于，

上述确定部进一步确定作为上述主要部分的眼睛的形状的种类，

上述设定部进一步根据由上述确定部确定的眼睛的形状的种类，设定使该眼睛进行眨眼动作时的控制条件。

3.如权利要求2所述的动作处理装置，其特征在于，

进一步具备第一计算部，该第一计算部分别计算眼睛的上下方向以及左右方向的长度，

上述确定部根据由上述第一计算部计算的眼睛的上下方向以及左右方向的长度的比率，确定该眼睛的形状的种类。

4.如权利要求3所述的动作处理装置，其特征在于，

上述第一计算部进一步分别计算眼睛的上侧部分以及下侧部分的左右方向的长度，

上述确定部对由上述第一计算部计算的眼睛的上侧部分以及下侧部分的左右方向的长度彼此进行比较，确定该眼睛的形状的种类。

5.如权利要求4所述的动作处理装置，其特征在于，

上述设定部进一步根据由上述第一计算部计算的眼睛的上侧部分以及下侧部分的左右方向的长度的大小，设定对使该眼睛进行眨眼动作时的上眼睑以及下眼睑中的至少一方的变形进行控制的控制条件。

6.如权利要求1所述的动作处理装置，其特征在于，

上述确定部进一步确定作为上述主要部分的嘴的形状的种类，

上述设定部进一步根据由上述确定部确定的嘴的形状的种类，设定使该嘴进行开闭动作时的控制条件。

7.如权利要求6所述的动作处理装置，其特征在于，

上述确定部进一步根据嘴角与嘴中央部的上下方向的位置关系，确定嘴的形状的种类。

8.如权利要求6或7所述的动作处理装置，其特征在于，

上述设定部进一步根据嘴相对于由上述检测部检测出的嘴以外的上述主要部分的相对位置关系，设定使该嘴进行开闭动作时的控制条件。

9.如权利要求8所述的动作处理装置，其特征在于，

进一步具备第二计算部，该第二计算部分别计算嘴的左右方向的长度、面部的与嘴对应的位置的左右方向的长度以及从嘴到下巴为止的上下方向的长度，

上述设定部根据由上述第二计算部计算的嘴的左右方向的长度、面部的与嘴对应的位置的左右方向的长度以及从嘴到下巴为止的上下方向的长度，确定嘴相对于嘴以外的上述主要部分的相对位置关系，并根据所确定的位置关系，设定使该嘴进行开闭动作时的控制条件。

10.如权利要求1至9中任一项所述的动作处理装置，其特征在于，

进一步具备动作控制部，该动作控制部在由上述取得部取得的面部图像内，按照由上述设定部设定的控制条件使上述主要部分动作。

11.一种动作处理方法，使用了动作处理装置，该动作处理方法的特征在于，包含：

取得面部图像的处理；

从所取得的面部图像中检测构成面部的主要部分的处理；

确定所检测出的上述主要部分的形状的种类的处理；以及

根据所确定的上述主要部分的形状的种类，设定使该主要部分动作时的控制条件的处理。