CN105303596A - 动作处理装置及动作处理方法 - Google Patents

Abstract

本发明涉及动作处理装置及动作处理方法，目的在于更自然地进行脸部的主要部分的动作。动作处理装置(100)具备：脸部特征检测部(5c)，从所取得的包含脸部的图像，检测与脸部相关联的特征；物体特征确定部(5d)，基于与脸部相关联的特征的检测结果，确定具有图像中包含的脸部的物体的特征；以及动作条件设定部(5e)，基于所确定的物体的特征，设定使构成图像中包含的脸部的主要部分动作时的控制条件。

Description

动作处理装置及动作处理方法

技术领域

本发明涉及动作处理装置及动作处理方法。

背景技术

近年来，提出了将影像投影到成形为人形的投影屏幕的所谓“虚拟人模”(例如参照专利文献1)。虚拟人模能够得到仿佛真的有人站在那里一样的具有存在感的投影像，在展示会等能够进行崭新且有效的展示演出。

为了使这样的虚拟人模的脸部表情更加丰富，已知使构成照片或插图或漫画等图像中的脸部的主要部分(例如眼睛、嘴等)变形来表现动作的技术。具体地说，有使3维形状模型变形而生成动画以进行有意识的动作和无意识的动作的方法(例如参照专利文献2)、以及按照发出的语音的每个母音或子音使嘴的形状变化而对口型的方法(例如参照专利文献3)等。

专利文献1：特开2011-150221号公报

专利文献2：特开2003-123094号公报

专利文献3：特开2003-58908号公报

然而，如果逐一通过手动作业来指定主要部分的动作形态，例如使作为处理对象的脸部的主要部分以何种程度变形等，其作业量增大，所以并不现实。

另一方面，例如还可以想到根据脸部区域的大小和主要部分相对于脸部区域的大小来决定该主要部分的变形量等的动作形态的方法，但是如果使主要部分一样地变形，会导致不自然的变形，存在给视听者带来不协调感的问题。

发明内容

本发明是鉴于这样的问题而做出的，本发明的课题在于，更自然地进行脸部的主要部分的动作。

本发明的一方式涉及动作处理装置，具备：取得部，取得包含脸部的图像；检测部，从由所述取得部取得的包含脸部的图像，检测与脸部相关联的特征；确定部，基于所述检测部的检测结果，确定具有所述图像中包含的脸部的物体的特征；以及设定部，基于由所述确定部确定的所述物体的特征，设定使构成所述图像中包含的脸部的主要部分动作时的控制条件。

本发明的另一方式涉及动作处理方法，使用动作处理装置，其特征在于，包括：取得包含脸部的图像的处理；从所取得的包含脸部的图像，检测与脸部相关联的特征的处理；基于与脸部相关联的特征的检测结果，确定具有图像中包含的脸部的物体的特征的处理；以及基于所确定的所述物体的特征，设定使构成所述图像中包含的脸部的主要部分动作时的控制条件的处理。

根据本发明，能够更自然地进行脸部的主要部分的动作。

附图说明

图1是表示应用了本发明的一个实施方式的动作处理装置的概略构成的框图。

图2是表示由图1的动作处理装置进行的脸部动作处理的动作的一例的流程图。

图3是表示图2的脸部动作处理中的主要部分控制条件设定处理的动作的一例的流程图。

图4A是用于说明图3的主要部分控制条件设定处理的图。

图4B是用于说明图3的主要部分控制条件设定处理的图。

符号的说明：

100动作处理装置；1中央控制部；5动作处理部；5a图像取得部；5c脸部特征检测部；5d物体特征确定部；5e动作条件设定部；5g动作控制部

具体实施方式

以下，使用附图说明本发明的具体方式。但是，发明的范围不限于图示例。

图1是表示应用了本发明的一个实施方式的动作处理装置100的概略构成的框图。

动作处理装置100例如由个人计算机或工作站等计算机等构成，如图1所示，具备中央控制部1、存储器2、存储部3、操作输入部4、动作处理部5、显示部6、显示控制部7。

此外，中央控制部1、存储器2、存储部3、动作处理部5及显示控制部7经由总线8连接。

中央控制部1对动作处理装置100的各部分进行控制。

具体地说，中央控制部1具备对动作处理装置100的各部分进行控制的CPU(CentralProcessingUnit；省略图示)、RAM(RandomAccessMemory)、ROM(ReadOnlyMemory)，按照动作处理装置100用的各种处理程序(省略图示)进行各种控制动作。

存储器2例如由DRAM(DynamicRandomAccessMemory)等构成，除了由中央控制部1处理的数据之外，还暂时存储由该动作处理装置100的各部分处理的数据等。

存储部3例如由非易失性存储器(闪存器)、硬盘驱动器等构成，存储中央控制部1的动作所需的各种程序和数据(省略图示)。

此外，存储部3存储脸部图像数据3a。

脸部图像数据3a是包含脸部的二维的脸部图像的数据。此外，脸部图像数据3a只要是至少包含脸部的图像的图像数据即可，例如可以是仅脸部的图像数据，也可以是胸以上部分的图像数据。此外，脸部图像例如可以是照片图像，也可以是通过漫画或插图等描绘的图像。

另外，脸部图像数据3a的脸部图像只是一例，并不限于此，可以适当地变更。

此外，存储部3存储基准动作数据3b。

基准动作数据3b包含表示在表现脸部的各主要部分(例如眼睛、嘴等)的动作时成为基准的动作的信息。具体地说，基准动作数据3b按照各主要部分的每一个来规定，包含表示规定空间内的多个控制点的动作的信息，例如将表示多个控制点在规定空间内的位置坐标(x,y)的信息和变形矢量等沿着时间轴排列。

即，例如对于嘴的基准动作数据3b，设定了与上唇、下唇及左右的嘴角对应的多个控制点，并规定了这些控制点的变形矢量。

此外，存储部3存储着条件设定用表3c。

条件设定用表3c是在设定脸部动作处理中的控制条件时使用的表。具体地说，条件设定用表3c按照各主要部分的每一个来规定。此外，条件设定用表3c按照物体的特征(例如笑脸度、年龄、性别、人种等)的每一个来规定，将特征的内容(例如笑脸度等)和动作基准数据的修正程度(例如嘴的开闭动作中的开闭量的修正程度等)建立对应。

操作输入部4具备键盘及鼠标等操作部(省略图示)，该键盘例如由用于输入数值和文字等的数据输入键盘、用于进行数据的选择和发送操作等的上下左右移动键、以及各种功能键等构成，根据这些操作部的操作，向中央控制部1输出规定的操作信号。

动作处理部5具备：图像取得部5a、脸部主要部分检测部5b、脸部特征检测部5c、物体特征确定部5d、动作条件设定部5e、动作生成部5f、动作控制部5g。

另外，动作处理部5的各部分例如由规定的逻辑电路构成，但是该构成只是一例，并不限于此。

图像取得部5a取得脸部图像数据3a。

即，图像取得部(取得手段)5a取得包含成为脸部动作处理的处理对象的脸部的二维图像的脸部图像数据3a。具体地说，图像取得部5a例如在存储部3所存储的规定数量的脸部图像数据3a中，取得基于用户对操作输入部4的规定操作而指定的用户期望的脸部图像数据3a，作为脸部动作处理的处理对象。

另外，图像取得部5a可以从经由未图示的通信控制部连接的外部设备(省略图示)取得脸部图像数据，也可以取得通过由未图示的摄像部摄像而生成的脸部图像数据。

脸部主要部分检测部5b从脸部图像检测构成脸部的主要部分。

即，脸部主要部分检测部5b从由图像取得部5a取得的脸部图像数据的脸部图像，例如通过使用了AAM(ActiveAppearanceModel(主动外观模型))的处理，检测左右各自的眼睛、鼻子、嘴、眉毛、脸部轮廓等主要部分。

在此，AAM指的是视觉事物的模型化的一种方法，是进行任意的脸部区域的图像的模型化的处理。例如，脸部主要部分检测部5b将多个样品脸部图像中的规定的特征部位(例如眼尾角、鼻头、脸部轮廓线等)的位置和像素值(例如亮度值)的统计分析结果预先登录到规定的登录单元。然后，脸部主要部分检测部5b以上述的特征部位的位置为基准，设定表示脸部形状的形状模型或表示平均形状中的“外观(Appearance)”的结构模型，并使用这些模型将脸部图像模型化。由此，在脸部图像内，例如眼睛、鼻子、嘴、眉毛、脸部轮廓等主要部分被模型化。

另外，主要部分的检测中使用了AAM来进行，但这只是一例，并不限于此，也可以适当变更为例如边缘提取处理、各向异性扩散处理、模板匹配等。

脸部特征检测部5c检测与脸部相关联的特征。

即，脸部特征检测部(检测手段)5c从由图像取得部5a取得的脸部图像检测与脸部相关联的特征。

在此，与脸部相关联的特征，例如可以是构成脸部的主要部分的特征等直接与脸部相关联的特征，也可以是具有脸部的物体的特征等间接地与脸部相关联的特征。

此外，脸部特征检测部5c通过进行规定的运算，将直接或间接地与脸部相关联的特征数值化来进行检测。

例如，脸部特征检测部5c根据由脸部主要部分检测部5b作为主要部分检测到的嘴的左右嘴角的上扬程度或嘴的张开程度等嘴的特征、或者黑眼球(虹膜区域)相对于脸部整体的大小等眼睛的特征等进行规定的运算，从而计算处理对象的脸部图像中包含的脸部的笑脸的评价值。

此外，例如脸部特征检测部5c提取作为处理对象的脸部图像的色彩或明度的平均或离散、强度分布、与周围图像的色彩差或明度差等的特征量，根据该特征量，应用公知的推定理论(例如参照日本特开2007-280291号公报)，分别计算具有脸部的物体的年龄、性别、人种等的评价值。此外，计算年龄的评价值的情况下，脸部特征检测部5c也可以考虑脸部的皱纹。

另外，上述的笑脸、年龄、性别、人种等的检测手法只是一例，并不限于此，可以适当地任意变更。

此外，作为与脸部相关联的特征而例示的笑脸、年龄、性别、人种等只是一例，并不限于此，可以适当地任意变更。例如，作为脸部图像数据，将佩戴着眼睛或帽子等的人的脸部的图像数据作为处理对象的情况下，可以将这些佩戴物作为与脸部相关联的特征，此外，将胸以上部分的图像数据作为处理对象的情况下，可以将服装的特征作为与脸部相关联的特征，此外，女性的情况下，可以将脸部的化妆作为与脸部相关联的特征。

物体特征确定部5d确定具有脸部图像中包含的脸部的物体的特征。

即，特征确定部(确定手段)5c基于脸部特征检测部5c的检测结果，确认具有脸部图像中包含的脸部的物体(例如人)的特征。

在此，作为物体的特征，例如可以举出该物体的笑脸度、年龄、性别、人种等，物体特征确定部5d确定这些特征中的至少某一个。

例如，在笑脸度的情况下，物体特征确定部5d将由脸部特征检测部5c检测到的笑脸的评价值和多个阈值进行比较，相对地评价并确定笑脸度。例如，像哈哈大笑那样幅度较大地笑时笑脸度变高，像微笑那样幅度较小地笑时笑脸度变低。

此外，例如在年龄的情况下，物体特征确定部5d将由脸部特征检测部5c检测到的年龄的评价值与多个阈值进行比较，确定例如10多岁、20多岁、30多岁等的年龄层、或者幼儿、少年、青年、成年、老人等属于相应年龄的区分等。

此外，例如在性别的情况下，物体特征确定部5d将由脸部特征检测部5c检测到的性别的评价值和规定的阈值进行比较，确定例如女性、男性等。

此外，例如在人种的情况下，物体特征确定部5d将由脸部特征检测部5c检测到的人种的评价值与多个阈值进行比较，确定例如高加索人种(白种人)、蒙古人种(黄种人)、尼格罗人种(黑种人)等。此外，物体特征确定部5d也可以根据所确定的人种来推测并确定出生地(国家或地区)等。

动作条件设定部5e设定使主要部分动作时的控制条件。

即，动作条件设定部(设定手段)5f基于由物体特征确定部5d确定的物体的特征，设定使由脸部主要部分检测部5b检测到的主要部分动作时的控制条件。

具体地说，动作条件设定部5e作为控制条件，设定用于调整由脸部主要部分检测部5b检测到的主要部分的动作形态(例如动作速度或动作方向等)的条件。即，例如，动作条件设定部5e从存储部3读出而取得作为处理对象的主要部分的基准动作数据3b，基于由物体特征确定部5d确定的物体的特征，设定基准动作数据3b中包含的表示用于使该主要部分动作的多个控制点的动作的信息的修正内容，来作为控制条件。这时，动作条件设定部5e作为控制条件，也可以设定用于调整包含由脸部主要部分检测部5b检测到的主要部分的脸部整体的动作形态(例如动作速度或动作方向等)的条件。这种情况下，动作条件设定部5e例如取得与脸部的全部主要部分对应的基准动作数据3b，设定这些基准动作数据3b中包含的表示与各主要部分对应的多个控制点的动作的信息的修正内容。

例如，动作条件设定部5e基于由物体特征确定部5d确定的物体的特征，设定使嘴进行开闭动作时的控制条件、或者使脸部的表情变化时的控制条件。

具体地说，例如，由物体特征确定部5d作为物体的特征确定了笑脸度的情况下，动作条件设定部5e以笑脸度越高则嘴的开闭量越相对地变大的方式(参照图4A)，设定基准动作数据3b中包含的表示与上唇及下唇对应的多个控制点的动作的信息的修正内容。

此外，例如，由物体特征确定部5d作为物体的特征确定了年龄的情况下，动作条件设定部5e按照年龄所属的区分，以年龄(年龄层)越大则嘴的开闭量越相对地变小的方式(参照图4B)，设定基准动作数据3b中包含的表示与上唇及下唇对应的多个控制点的动作的信息的修正内容。这时，动作条件设定部5e以年龄越大则脸部表情变化时的动作速度越相对地变慢的方式，例如分别设定与脸部的全部主要部分对应的基准动作数据3b中包含的表示多个控制点的动作的信息的修正内容。

此外，例如，由物体特征确定部5d作为物体的特征确定了性别的情况下，动作条件设定部5e以女性的情况下嘴的开闭量相对变小、而男性的情况下嘴的开闭量相对变大的方式，设定基准动作数据3b中包含的表示与上唇及下唇对应的多个控制点的动作的信息的修正内容。

此外，例如，由物体特征确定部5d作为物体的特征推测并确定了出生地的情况下，动作条件设定部5e以根据出生地使嘴的开闭量变化(例如，英语圈的情况下嘴的开闭量相对变大，而日语圈的情况下嘴的开闭量相对变小等)的方式，设定基准动作数据3b中包含的表示与上唇及下唇对应的多个控制点的动作的信息的修正内容。这时，可以按照每个出生地准备多个基准动作数据3b，动作条件设定部5e取得与出生地相应的基准动作数据3b，设定该基准动作数据3b中包含的表示与上唇及下唇对应的多个控制点的动作的信息的修正内容。

另外，由动作条件设定部5e设定的控制条件也可以输出到规定的保存单元(例如存储器2等)而暂时保存。

此外，上述的使嘴动作时的控制内容只是一例，并不限于此，可以适当地变更。

此外，作为主要部分例示了嘴并设定其控制条件，但这只是一例，并不限于此，例如也可以是眼睛、鼻子、眉毛、脸部轮廓等其他主要部分。这时，例如也可以考虑使嘴动作时的控制条件而设定其他主要部分的控制条件。即，例如考虑使嘴进行开闭动作时的控制条件，设定使鼻子或脸部轮廓等、嘴的周边的主要部分关联地动作的控制条件。

动作生成部5f基于由动作条件设定部5e设定的控制条件，生成用于使主要部分动作的动作数据。

具体地说，动作生成部5f基于作为处理对象的主要部分的基准动作数据3b和由动作条件设定部5e设定的基准动作数据3b的修正内容，对表示多个控制点的动作的信息进行修正，将修正后的数据作为该主要部分的动作数据来生成。此外，对脸部整体的动作形态进行调整的情况下，动作条件设定部5e例如取得与脸部的全部主要部分对应的基准动作数据3b，基于由动作条件设定部5e设定的基准动作数据3b的修正内容，按各基准动作数据3b的每一个对表示多个控制点的动作的信息进行修正，生成修正后的数据作为脸部整体用的动作数据。

另外，由动作生成部5f生成的动作数据也可以输出至规定的保存单元(例如存储器2等)而暂时保存。

动作控制部5g使主要部分在脸部图像内动作。

即，动作控制部(动作控制手段)5h在由图像取得部5a取得的脸部图像内，按照由动作条件设定部5e设定的控制条件使主要部分动作。具体地说，动作控制部5g在成为处理对象的主要部分的规定位置设定多个控制点，并且取得由动作生成部5f生成的作为处理对象的主要部分的动作数据。然后，动作控制部5g基于所取得的动作数据中规定的表示多个控制点的动作的信息，使多个控制点位移，从而进行使该主要部分动作的变形处理。

此外，使脸部整体动作的情况下，也与上述大致同样，动作控制部5g在成为处理对象的全部主要部分的规定位置设定多个控制点，并且取得由动作生成部5f生成的脸部整体用的动作数据。然后，动作控制部5g基于所取得的动作数据规定的表示各主要部分的每一个的多个控制点的动作的信息，使多个控制点位移，从而进行使脸部整体动作的变形处理。

显示部6例如由LCD(LiquidCrystalDisplay)、CRT(CathodeRayTube)等显示器构成，在显示控制部7的控制下将各种信息显示到显示画面上。

显示控制部7进行生成显示用数据并显示到显示部6的显示画面的控制。

具体地说，显示控制部7具备例如具有GPU(GraphicsProcessingUnit)及VRAM(VideoRandomAccessMemory)等的视频卡(省略图示)。并且，显示控制部7按照来自中央控制部1的显示指示，通过视频卡的描绘处理，生成用于通过脸部动作处理使主要部分动作的各种画面的显示用数据，并输出到显示部6。由此，显示部6显示例如通过脸部动作处理使脸部图像的主要部分(例如眼睛、嘴等)动作或者使脸部的表情变化这样变形后的内容。

＜脸部动作处理＞

接下来，参照图2～图4说明脸部动作处理。

图2是表示脸部动作处理的动作的一例的流程图。

如图2所示，首先，动作处理部5的图像取得部5a在例如存储部3所存储的规定数量的脸部图像数据3a中，取得基于用户对操作输入部4的规定操作而指定的用户期望的脸部图像数据3a(步骤S1)。

接着，脸部主要部分检测部5b在由图像取得部5a取得的脸部图像数据的脸部图像中，例如通过使用了AAM的处理，检测左右各自的眼睛、鼻子、嘴、眉毛、脸部轮廓等主要部分(步骤S2)。

接着，动作处理部5进行主要部分控制条件设定处理(参照图3)，该主要部分控制条件设定处理设定使由脸部主要部分检测部5b检测到的主要部分动作时的控制条件(步骤S3；详细情况留待后述)。

接着，动作生成部5f基于由主要部分控制条件设定处理设定的控制条件，生成用于使主要部分动作的动作数据(步骤S4)。然后，动作控制部5g基于由动作生成部5f生成的动作数据，进行使主要部分在脸部图像内动作的处理(步骤S5)。

例如，动作生成部5f基于由主要部分控制条件设定处理设定的控制条件，生成用于使眼睛或嘴等主要部分动作的动作数据，动作控制部5g基于动作生成部5f生成的动作数据中规定的表示各主要部分的多个控制点的动作的信息，使多个控制点位移，从而进行使眼睛或嘴等主要部分在脸部图像内动作或者使脸部整体动作而使表情变化的处理。

＜主要部分控制条件设定处理＞

接着，参照图3及图4说明主要部分控制条件设定处理。

图3是表示主要部分控制条件设定处理的动作的一例的流程图。此外，图4A及图4B是用于说明主要部分控制条件设定处理的图。

如图3所示，首先，动作条件设定部5e从存储部3读出而取得作为处理对象的主要部分(例如嘴)的基准动作数据3b(步骤S11)。

接着，脸部特征检测部5c在由图像取得部5a取得的脸部图像中检测与脸部相关联的特征(步骤S12)。例如，脸部特征检测部5c根据嘴的左右嘴角的上扬程度或嘴的张开程度等，进行规定的运算而计算脸部的笑脸的评价值或者从脸部图像提取特征量，根据该特征量应用公知的推定理论而分别计算物体(例如人)的年龄、性别、人种等的评价值。

接着，物体特征确定部5d判定由脸部特征检测部5c检测到的笑脸的评价值的可靠性是否高(步骤S13)。例如，脸部特征检测部5c在计算笑脸的评价值时，进行规定的运算而计算该检测结果的妥当性(可靠性)，物体特征确定部5d根据计算出的值是否为规定的阈值以上，来判定笑脸的评价值的可靠性是否高。

在此，判定为笑脸的评价值的可靠性高时(步骤S13：是)，物体特征确定部5d基于脸部特征检测部5c对笑脸的检测结果，确定具有脸部图像中包含的脸部的物体的笑脸度(步骤S14)。例如，物体特征确定部5d将由脸部特征检测部5c检测到的笑脸的评价值与多个阈值进行比较，相对地评价并确定笑脸度。

并且，动作条件设定部5e以由物体特征确定部5d确定的笑脸度越高则嘴的开闭量越相对变大的方式(参照图4A)，作为控制条件而设定基准动作数据3b中包含的表示与上唇和下唇对应的多个控制点的动作的信息的修正内容(步骤S15)。

另一方面，在步骤S13中，在判定为笑脸的评价值的可靠性不高时(步骤S13：否)，动作处理部5跳过步骤S14、S15的各处理。

接着，物体特征确定部5d判定由脸部特征检测部5c检测到的年龄的评价值的可靠性是否高(步骤S16)。例如，脸部特征检测部5c在计算年龄的评价值时，进行规定的运算而预先计算该计算结果的妥当性(可靠性)，物体特征确定部5d根据计算出的值是否为规定的阈值以上，来判定年龄的评价值的可靠性是否高。

在此，判定为年龄的评价值的可靠性高时(步骤S16：是)，物体特征确定部5d基于脸部特征检测部5c对年龄的检测结果，确定具有脸部图像中包含的脸部的物体的年龄所属的区分(步骤S17)。例如，物体特征确定部5d将由脸部特征检测部5c检测到的年龄的评价值与多个阈值进行比较，确定幼儿、少年、青年、成年、老人等的相应年龄所属的区分。

并且，动作条件设定部5e按照由物体特征确定部5d确定的区分，以年龄越高则嘴的开闭量相对越变小的方式(参照图4B)，作为控制条件而设定基准动作数据3b中包含的表示与上唇及下唇对应的多个控制点的动作的信息的修正内容，并且以使脸部的表情变化时的动作速度相对变慢的方式，作为控制条件而设定表示与脸部的全部主要部分对应的多个控制点的动作的信息的修正内容(步骤S18)。

另一方面，在步骤S16中，判定为年龄的评价值的可靠性不高时(步骤S16：否)，动作处理部5跳过步骤S17、S18的各处理。

接着，物体特征确定部5d判定由脸部特征检测部5c检测到的性别的评价值的可靠性是否高(步骤S19)。例如，脸部特征检测部5c在计算性别的评价值时，进行规定的运算而预先计算该计算结果的妥当性(可靠性)，物体特征确定部5d根据计算出的值是否为规定的阈值以上，判定性别的评价值的可靠性是否高。

在此，判定为性别的评价值的可靠性高时(步骤S19：是)，物体特征确定部5d基于脸部特征检测部5c对性别的检测结果，确定具有脸部图像中包含的脸部的物体的女性、男性等的性别(步骤S20)。

并且，动作条件设定部5e按照由物体特征确定部5d确定的性别，以在女性的情况下嘴的开闭量相对变小、而在男性的情况下嘴的开闭量相对变大的方式，作为控制条件而设定基准动作数据3b中包含的表示与上唇及下唇对应的多个控制点的动作的信息的修正内容(步骤S21)。

另一方面，在步骤S19中，判定为性别的评价值的可靠性不高时(步骤S19：否)，动作处理部5跳过步骤S20、S21的各处理。

接着，物体特征确定部5d判定由脸部特征检测部5c检测到的人种的评价值的可靠性是否高(步骤S22)。例如，脸部特征检测部5c在计算人种的评价值时，进行规定的计算而预先计算该计算结果的妥当性(可靠性)，物体特征确定部5d根据计算出的值是否为规定的阈值以上，判定人种的评价值的可靠性是否高。

在此，判定为人种的评价值的可靠性高时(步骤S22：是)，物体特征确定部5d基于脸部特征检测部5c对人种的检测结果，推测具有脸部图像中包含的脸部的物体的出生地(步骤S23)。例如，物体特征确定部5d将由脸部特征检测部5c检测到的人种的评价值与多个阈值进行比较，例如确定高加索人种、蒙古人种、尼格罗人种等，并根据其确定结果来推测并确定出生地(国家或地区)。

并且，动作条件设定部5e按照由物体特征确定部5d确定的出生地，例如以英语圈的情况下嘴的开闭量相对变大、而日语圈的情况下嘴的开闭量相对变小的方式，作为控制条件而设定基准动作数据3b中包含的表示与上唇及下唇对应的多个控制点的动作的信息的修正内容(步骤S24)。

另一方面，在步骤S22中，判定为人种的评价值的可靠性不高时(步骤S22：否)，动作处理部5将步骤S23、S24的各处理跳过。

另外，上述的主要部分控制条件设定处理中的、以作为物体的特征的物体的笑脸度、年龄、性别、人种为基准来设定控制条件的处理的顺序只是一例，并不限于此，可以适当地任意变更。

如以上那样，根据本实施方式的动作处理装置100，基于从脸部图像得到的与脸部相关联的特征的检测结果，确定具有脸部图像中包含的脸部的物体的特征(例如笑脸度、年龄、性别及人种等)，基于确定的物体的特征，设定使脸部的主要部分(例如嘴等)动作时的控制条件，所以能够考虑脸部的特征(例如嘴或眼睛的特征等)而适当地确定具有脸部的物体的特征(例如笑脸度等)，由此，能够在脸部图像内按照控制条件进行与物体的特征相应的适当动作，能够抑制局部的画质变差或不自然变形，能够更自如地进行脸部的主要部分的动作。

此外，基于具有脸部的物体的特征来设定使嘴进行开闭动作时的控制条件，所以能够按照考虑物体的特征而设定的控制条件来更自然地进行该嘴的开闭动作。即，作为控制条件，例如设定用于调整嘴等主要部分的动作形态(例如动作速度及动作方向等)的条件，所以能够考虑例如笑脸度、年龄、性别及人种等物体的特征来调整主要部分的动作形态。并且，通过在脸部图像内按照所设定的控制条件使主要部分动作，能够更自然地进行脸部的主要部分的动作。

此外，基于具有脸部的物体的特征来设定使包含主要部分的脸部的表情变化时的控制条件，所以能够按照考虑物体的特征而设定的控制条件来更自然地进行使脸部的表情变化的动作。即，作为控制条件，设定用于调整包含检测到的主要部分的脸部整体的动作形态(例如动作速度及动作方向等)的条件，所以能够考虑例如笑脸度、年龄、性别及人种等物体的特征来调整作为对象的全部主要部分的动作形态。并且，通过在脸部图像内按照所设定的控制条件来使包含主要部分的脸部整体动作，能够更自然地进行脸部整体的动作。

此外，预先准备包含表示表现脸部的各主要部分的动作时成为基准的动作的信息的基准动作数据3b，作为控制条件而设定基准动作数据3b中包含的表示用于使该主要部分动作的多个控制点的动作的信息的修正内容，由此，不必根据各种各样的脸部的主要部分的形状来分别准备用于使该主要部分动作的数据，就能够更自然地进行脸部的主要部分的动作。

另外，本发明不限于上述实施方式，在不脱离本发明的主旨的范围内，能够进行各种改进和设计变更。

此外，在上述实施方式中由动作处理装置100单体构成，但这只是一例，并不限于此，例如也可以构成为应用于将由人物、卡通形象、动物等投影对象物进行商品等说明的影像内容投影到屏幕的投影系统(省略图示)中。

此外，在上述实施方式中，也可以是，动作条件设定部5e作为加权单元起作用，对与由物体特征确定部5d确定的多个物体的特征的每个对应的控制条件进行加权。

即，例如在一边切换年龄分布多样的各种模型的图像一边使该模型的脸部的主要部分动作的情况下，通过对与年龄对应的控制条件附加大的权重，能够进一步强调模型的年龄差异。

进而，在上述实施方式中，基于由动作条件设定部5e设定的控制条件，来生成用于使主要部分动作的动作数据，但这只是一例，并不限于此，并不是必须具备动作生成部5f，例如也可以将由动作条件设定部5e设定的控制条件输出到外部设备(省略图示)，由该外部设备生成动作数据。

此外，虽然按照由动作条件设定部5e设定的控制条件来使主要部分或脸部整体动作，但这只是一例，并不限于此，并不是必须具备动作控制部5g，例如也可以将由动作条件设定部5e设定的控制条件输出到外部设备(省略图示)，由该外部设备按照控制条件使主要部分或脸部整体动作。

此外，关于动作处理装置100的构成，上述实施方式所例示的构成只是一例，并不限于此。例如也可以是，动作处理装置100具备输出声音的扬声器(省略图示)，以在脸部图像内使嘴动作的处理时进行对口型的方式从扬声器输出规定的声音。这时，输出的声音的数据例如可以与基准动作数据3b对应地存储。

此外，在上述实施方式中，在动作处理装置100的中央控制部1的控制下，通过图像取得部5a、脸部特征检测部5c、物体特征确定部5d、动作条件设定部5e驱动来实现作为取得单元、检测单元、确定单元、设定单元的功能，但是不限于此，也可以通过由中央控制部1的CPU执行规定的程序等来实现上述功能。

即，在存储程序的程序存储器中存储包含取得处理例程、检测处理例程、确定处理例程、设定处理例程的程序。并且，可以通过取得处理例程使中央控制部1的CPU作为取得包含脸部的图像的单元起作用。此外，可以通过检测处理例程使中央控制部1的CPU作为从取得的包含脸部的图像检测与脸部相关联的特征的单元起作用。此外，可以通过确定处理例程使中央控制部1的CPU作为基于与脸部相关联的特征的检测结果来确定具有图像中包含的脸部的物体的特征的单元起作用。此外，可以通过设定处理例程使中央控制部1的CPU作为基于确定的物体的特征来设定使构成图像中包含的脸部的主要部分动作时的控制条件的单元起作用。

同样地，也可以构成为，动作控制单元、加权单元也可以是通过由中央控制部1的CPU执行规定的程序等来实现。

此外，作为保存用于执行上述各处理的程序的计算机可读取介质，除了ROM或硬盘等之外，也可以应用闪存器等非易失性存储器、CD-ROM等可移动型记录介质。此外，作为经由规定的通信线路提供程序的数据的介质，也可以应用载波。

以上说明了本发明的几个实施方式，但是本发明的范围不限于上述的实施方式，还包括权利要求所记载的发明及其等同范围。

Claims (10)

1.一种动作处理装置，其特征在于，具备：

取得部，取得包含脸部的图像；

检测部，从由所述取得部取得的包含脸部的图像，检测与脸部相关联的特征；

确定部，基于所述检测部的检测结果，确定具有所述图像中包含的脸部的物体的特征；以及

设定部，基于由所述确定部确定的所述物体的特征，设定使构成所述图像中包含的脸部的主要部分动作时的控制条件。

2.如权利要求1所述的动作处理装置，其特征在于，

所述确定部进而确定所述物体的笑脸度、年龄、性别及人种中的至少某一个，作为该物体的特征。

3.如权利要求2所述的动作处理装置，其特征在于，

所述设定部进而设定使作为所述主要部分的嘴进行开闭动作时的控制条件。

4.如权利要求1～3中任一项所述的动作处理装置，其特征在于，

所述设定部进而设定用于调整所述主要部分的动作形态的条件，作为所述控制条件。

5.如权利要求1～4中任一项所述的动作处理装置，其特征在于，

还具备：

动作控制部，在由所述取得部取得的包含脸部的图像内，按照由所述设定部设定的控制条件，使所述主要部分动作。

6.如权利要求1或2所述的动作处理装置，其特征在于，

所述设定部进而设定使包含所述主要部分的脸部的表情变化时的控制条件。

7.如权利要求6所述的动作处理装置，其特征在于，

所述设定部进而设定用于调整包含所述主要部分的脸部整体的动作形态的条件，作为所述控制条件。

8.如权利要求6或7所述的动作处理装置，其特征在于，

还具备：

动作控制部，在由所述取得部取得的包含脸部的图像内，按照由所述设定部设定的控制条件，使包含所述主要部分的脸部整体动作。

9.如权利要求1～8中任一项所述的动作处理装置，其特征在于，

所述确定部确定多个所述物体的特征，

所述设定部包括加权部，该加权部对于由所述确定部确定的多个所述物体的特征的每个，进行所述控制条件的加权。

10.一种动作处理方法，使用动作处理装置，其特征在于，包括：

取得包含脸部的图像的处理；

从所取得的包含脸部的图像，检测与脸部相关联的特征的处理；

基于与脸部相关联的特征的检测结果，确定具有图像中包含的脸部的物体的特征的处理；以及

基于所确定的所述物体的特征，设定使构成所述图像中包含的脸部的主要部分动作时的控制条件的处理。