CN1846234A - 形态变形装置、物体动作编码装置以及物体动作解码装置 - Google Patents

Abstract

形态变形编码装置具备：计算部，其计算表示形态变化前的物体之形态的变化前形态数据，与表示上述形态变化后的上述物体之形态的变化后形态数据之间的差值数据；以及决定部，其根据上述变化前形态数据与上述差值数据，决定上述物体的产生上述形态变化的动作区域，以及为了进行上述形态变化而施加给上述动作区域的外力。上述动作区域包括多个小区域，上述多个小区域分别包括多个控制点；上述外力，作为根据上述多个小区域各自的物理模型构造，而在上述形态变化的前后让上述多个小区域独立变化所需要的外力被计算。上述物理模型构造，采用控制点之间通过弹簧与减震器相结合的物理模型构造。

Description

形态变形装置、物体动作编码装置以及物体动作解码装置

技术领域

本发明涉及一种对物体的形态进行变形的形态变形装置、物体动作(形态变形)编码装置以及物体动作(形态变形)解码装置，特别是一种让面部的一部分区域的形状变形从而给出表情的形态变形装置、物体动作(形态变形)编码装置以及物体动作(形态变形)解码装置。

背景技术

近年来，在虚拟现实(VR)以及计算机图形(GC)的领域中，为了给予表情，而采用变形面部图像的技术。例如，检测出某个人物的面部的表情变化，给同一个人物或其他人物的面部图像实施相同的变化，通过这样与特定的人物同步，实现该人的表情发生了变化的拟人化代理。

这样的面部表情合成的技术中，大体上可以分为两个流派。一个是将与面部皮肤下的表情肌腱连动的皮肤表面作为物理模型进行处理，根据肌肉·骨的运动求解运动方程式，通过这样，让相当于皮肤表面的线框模型运动的方法。该以往技术例如在D.Terzopoulos与K.Waters的“analysis andSynthesis of Facial Image Sequences Using Physical and AnatomicalModels”，(IEEE Trans，PAMI，vol.15，No.6，pp.569-579，June 1993)中进行了说明。另一个是给线框模型直接施加规则的几何学的变形从而制作表情的方法。该以往技术例如在特开平8-96162号公报中进行了说明。

另外，心理学家Ekman等所提出的表情描述法FACS(Facial ActionCoding System)，也在信息学的领域中广泛应用了表情研究(例如，“FacialAction coding system”，(Consulting Psychologist Press，1977))。FACS是一种根据面部肌肉的解剖学知识，将“提升眉毛内侧”、“横拉嘴唇两端”、“张大嘴巴”、“眯眼”等合计44个动作单位(AU：Action Unit)用作要素，对面部动作进行了总结且客观地描述的方法。可以说，通过AU的组合能够描述人类的任一个表情。该FCAS，一般具有与给线框模型直接施加规则的几何学的变形从而制作表情的方法组合使用的例子。

如上所述，作为面部表情合成的技术，以前，使用几何学的变形的方法与使用物理模型的方法是公知的。使用几何学的变形的方法中，由于用来显示出表情的规则只通过点的移动来定义，因此具有能够通过较少的计算量进行高速处理的优点。但是，面部模型中很难反映出个人的特征，另外还无法实现自然的表情。与此相对，使用物理模型的方法中，由于能够直接表现出表情肌腱的运动，因此能够平滑地表现出表情的生成过程，且通过变更表情肌腱的配置，还能够对应各种各样的面部的容貌。但是，存在计算量变得庞大的问题。

与上述相关，特开平3-74777号公报中公开了一种面部图像合成装置。根据该现有例，将基于人类的本能动作或无意识动作的运动参数以及表情参数，添加到包括表情以及运动参数的面部图像信息中，根据它来合成面部图像。

另外，特开平6-76044中公布了表情码的再生显示装置。该现有例的装置，具有设定表情产生条件的表情产生条件输入装置。运算处理装置，具有按照来自表情产生条件输入装置的指示信号，计算面部中的前额、眉毛、嘴巴等可动部分的移动量、移动方向、形态变化，根据表情的医学解析来再生表情要素编码的表情编码再生部。表情显示装置按照运算处理装置所再生的表情要素编码，再生显示面部的形态，同时对前额、眉毛、眼睛、嘴巴等进行移动、变形。

另外，特开平6-76058号公报中公布了一种表情的编码装置。该现有例的表情编码装置中，图像输入装置将面部图像取为电气信号并进行编码，生成给定的面部图像数据。特征部位提取处理部，接收来自图像输入装置的给定面部图像数据，根据特征部位提取条件，提取特征部位图像。表情要素提取处理部，根据给定的表情要素与特征部位的关联规则，从该特征部位图像提取表情要素，生成表情要素信息。表情要素定量化处理部，根据给定的表情要素定量化规则，对该表情要素信息进行表情要素定量化处理，计算出表情要素编码。另外，存储部保存该表情要素编码。表情要素编码输出装置，输出保存在运算处理装置中的表情要素编码。

另外，特开平8-305878中公布了面部图像生成装置。该现有例的面部图像生成装置中，面部图像生成部选择形成面部的各个部位的部件图像，生成面部图像。表情给出部，对根据所指定的表情形成面部图像的部件图像，实施图像变形、显示位置移动以及显示·不显示处理，对该面部图像给予表情变化。

另外，特开2002-304638(P2002-304638A)中公布了表情动画生成装置。该现有例的表情动画生成装置中，表情差值数据提取部，从对象人物的表情面部样品中提取特征点，根据特征点将表情面部样品分割成多个部件，求出伴随着对各个部件所指定的两个不同表情间的表情过渡变化的形状以及纹理的差值，得到差值形状数据与差值纹理。动作模式设定部，指定用来规定各个部件的时间变化的动作模式函数。时序表情图像合成部，以给定的时间间隔，生成根据动作模式函数与差值形状数据所计算出的任意时刻的中间差值形状数据，与根据动作模式函数与差值纹理所计算出任意时刻中的中间差值纹理，生成各个给定时间间隔的时序表情形状数据以及时序表情纹理。表情动画再生部，通过将时序表情纹理映射到基于时序表情形状数据的形状中，在每个所生成的给定时间间隔，连续显示出时序表情图像，通过这样来生成表情动画。

另外，特开2002-329214(P2002-329214A)中公布了一种表情合成装置。该现有例的表情合成方法使用计算机图形。该合成方法包括：将面部的表情模型，作为面部的特征点的数据输入的工序；提取表情模型的被括约肌所包围的大致椭圆形的括约肌区域，将位于括约肌区域的长轴上方的区域，规定为被长轴与半椭圆形状所包围的半椭圆区域的提取工序；检索半椭圆区域中所含有的特征点的工序；计算面部表情变化了的情况下的半椭圆区域所包括的特征点的移动矢量的计算工序；以及按照移动矢量移动特征点，合成表情变化后的表情模型的工序。

发明内容

本发明的目的在于，削减在实现面部表情合成等形态变化时的计算量。

本发明的观点中，形态变形编码装置具备：计算出表示形态变化前的物体之形态的变化前形态数据，与表示上述形态变化后的上述物体之形态的变化后形态数据之间的差值数据的计算部，以及其根据上述变化前形态数据与上述差值数据，决定上述物体的产生上述形态变化的动作区域，以及为了进行上述形态变化而施加给上述动作区域的外力的决定部。

这里，上述计算部具备：根据三维模型，将上述变化前形态数据与上述变化后形态数据，变换成变化前形态模型数据与变化后形态模型数据的变换部，以及根据上述变化前形态模型数据与上述变化后形态模型数据之间的差，计算出上述差值数据的差值计算部。上述模型可以是三维多边形网格模型，上述变化前形态数据与上述变化后形态数据可以是三维数据。上述动作区域包括多个小区域，上述多个小区域分别包括多个控制点；上述外力，作为根据上述多个小区域各自的物理模型构造，而在上述形态变化的前后让上述多个小区域独立变化所需要的外力进行计算。这种情况下，上述物理模型构造，可以采用控制点之间通过弹簧与减震器相结合的物理模型构造。最好让所有上述多个小区域中，上述控制点的个数以及上述物理模型构造均相同。另外，上述物体包括人的面部，上述形态变化前的物体的形态表示无表情的面部的状态，上述形态变化后的物体形态表示显示出了表情的面部的状态。

另外，本发明的另一观点中，形态变形解码装置具备：根据表示形态变化前的物体形态的变化前形态数据，与施加给对应于形态变化的动作区域的外力的信息，决定上述动作区域内的控制点的移动位置的解码部，以及根据上述变化前形态数据与上述多个控制点各自的移动位置，生成表示上述形态变化后的上述物体形态的变化后形态数据的形态生成部。上述动作区域包括多个小区域，上述多个小区域分别包括多个控制点；上述多个小区域的各个上述控制点的移动位置，使用物理模型通过上述多个小区域单位进行决定。

这里，可以让上述变化前形态数据是三维数据；上述解码部具备：根据上述形态变化前的上述物体形态的三维模型与上述变化前形态数据，生成变化前形态模型数据的模型数据生成部；以及根据上述外力信息，由上述变化前形态模型数据，决定上述动作区域内的控制点各自的移动位置的移动量计算部。或者，可以让上述变化前形态数据是三维数据；上述解码部具备：根据三维多边形网格模型与上述变化前形态数据，生成变化前形态网格模型数据的网格模型数据生成部；以及根据上述外力信息，由上述变化前形态网格模型数据，决定上述动作区域内的控制点各自的移动位置的移动量计算部。

另外，最好还具备动作内插部，其在上述多个小区域的每一个中，将上述小区域中所含有的控制点以外的非控制点的移动位置，根据该非控制点附近的上述控制点的移动位置进行计算。上述形态生成部，根据上述变化前形态数据与上述多个控制点各自的移动位置，以上述多个小区域单位，生成上述形态变化后的上述物体的形态。此时，可以还具有将上述形态变化后的上述多个小区域中的相邻者之间的边界部分中所产生的不连续场所平滑化的相邻小区域调整部。另外，还可以还具备将上述形态变化后的上述动作区域与其周围的未动作区域之间的边界部分中所产生的不连续场所平滑化的未动作调整部。

这里，上述多个小区域各自的物理模型中，上述控制点通过弹簧与减震器相结合。可以让上述物体包括人的面部，上述形态变化前的形态表示无表情的面部，上述形态变化后的形态表示显示出了表情的面部。还可以具备根据上述变化后形态数据，驱动具有挠性的上述物体中的上述动作区域的三维执行器群。

另外，本发明的另一观点中，形态变形编码解码装置具备：上述任一个形态变形编码装置、权利要求8～17中任一个所述的形态变形解码装置、以及将上述形态变形编码装置所产生的上述动作区域与上述外力信息，经通信通路传输给上述形态变形解码装置的传输装置。

另外，本发明的另一观点中，形态变形编码方法通过：计算出表示形态变化前的物体之形态的变化前形态数据，与表示上述形态变化后的上述物体之形态的变化后形态数据之间的差值数据的步骤；以及根据上述变化前形态数据与上述差值数据，决定上述物体的产生上述形态变化的动作区域，以及为了进行上述形态变化而施加给上述动作区域的外力的步骤、来实现。

这里，上述计算步骤可以通过：根据三维模型，将上述变化前形态数据与上述变化后形态数据，变换成变化前形态模型数据与变化后形态模型数据的步骤；以及根据上述变化前形态模型数据与上述变化后形态模型数据之间的差，计算出上述差值数据的步骤来实现。可以让上述模型是三维多边形网格模型，上述变化前形态数据与上述变化后形态数据是三维数据。可以让上述动作区域包括多个小区域，上述多个小区域分别包括多个控制点；上述外力，作为根据上述多个小区域各自的物理模型构造，而在上述形态变化的前后让上述多个小区域独立变化所需要的外力被计算。上述物理模型构造，最好采用控制点之间通过弹簧与减震器相结合的物理模型构造。另外，最好让所有上述多个小区域中，上述控制点的个数以及上述物理模型构造均相同。上述物体包括人的面部，上述形态变化前的物体的形态表示无表情的面部的状态，上述形态变化后的物体形态表示显示出了表情的面部的状态。

本发明的另一观点中，形态变形解码方法通过：根据表示形态变化前的物体形态的变化前形态数据，与施加给对应于形态变化的动作区域的外力的信息，决定上述动作区域内的控制点的移动位置的步骤；以及根据上述变化前形态数据与上述多个控制点各自的移动位置，生成表示上述形态变化后的上述物体形态的变化后形态数据的步骤来实现。上述动作区域包括多个小区域，上述多个小区域分别包括多个控制点；上述多个小区域的各个上述控制点的移动位置，使用物理模型通过上述多个小区域单位进行决定。

这里，上述变化前形态数据是三维数据；上述决定移动位置的步骤通过：根据上述形态变化前的上述物体形态的三维模型与上述变化前形态数据，生成变化前形态模型数据的步骤；以及根据上述外力信息，由上述变化前形态模型数据，决定上述动作区域内的控制点各自的移动位置的步骤来实现。或者，上述变化前形态数据是三维数据；上述决定移动位置的步骤通过：根据三维多边形网格模型与上述变化前形态数据，生成变化前形态网格模型数据的步骤；以及根据上述外力信息，由上述变化前形态网格模型数据，决定上述动作区域内的控制点各自的移动位置的步骤来实现。

还可以具有在上述多个小区域的每一个中，将上述小区域中所含有的控制点以外的非控制点的移动位置，根据该非控制点附近的上述控制点的移动位置进行计算的步骤。此时，上述生成变化后形态数据的步骤，根据上述变化前形态数据与上述多个控制点各自的移动位置，以上述多个小区域单位，生成上述形态变化后的上述物体的形态。另外，还可以具有将上述形态变化后的上述多个小区域中的相邻者之间的边界部分中所产生的不连续场所平滑化的步骤，还可以具有将上述形态变化后的上述动作区域与其周围的未动作区域之间的边界部分中所产生的不连续场所平滑化的步骤。

最好让上述多个小区域各自的物理模型中，上述控制点通过弹簧与减震器相结合，上述物体包括人的面部，上述形态变化前的形态表示无表情的面部，上述形态变化后的形态表示显示出了表情的面部。或者，还可以让上述物体是机器人；还具备根据上述变化后形态数据，驱动具有挠性的上述物体中的上述动作区域的步骤。

本发明的另一观点中，形态变形编码解码方法通过：通过上述任一个形态变形编码方法，生成上述动作区域的信息与上述外力的信息的步骤；将上述动作区域的信息与上述外力信息通过通信通路进行传输的步骤；以及通过上述任一个形态变形解码方法，根据上述所传输的动作区域的信息，与上述所传输的外力的信息，生成表示上述物体的形态的变化后形态数据的步骤来实现。

另外，本发明的另一观点中，本发明涉及一种用来实现上述任一个形态变形编码方法或上述任一个形态变形解码方法的计算机可读软件产品。

根据本发明，能够削减在使用物理模型实现面部表情合成等时的计算量。使用弹簧模型等物理模型合成面部表情的以往的方法中，将设有表情肌腱的区域全体作为1个区域，根据外力对该区域内所含有的各个点的移动位置进行计算，因此计算量非常庞大，但本发明中，通过相当小的小区域单位独立计算各个控制点的移动位置。另外，将求出对应于外力的移动位置的对象，限定未属于小区域的点的一部分之控制点，作为剩下的点的非控制点，通过内插等根据该非控制点附近的控制点的移动位置来求出。

另外，能够让将动作区域分割成多个小区域，在小区域单位中独立计算移动位置的情况下所容易产生的小区域之间的边界部分的级差等，变得不明显，让动作区域与其周围的未动作区域之间的边界部分中所产生的级差等变得不明显。另外，小区域的物理模型构造，使用控制点之间通过弹簧与减震器相结合的物理模型构造，因此能够再现出接近表情肌腱的动作的动作。此时，由于所有小区域的控制点的个数以及物理模型构造相等，因此能够减少在计算控制点的移动位置时的参数，另外还能够进一步削减计算量。在物体模型包括人的面部模型，经时形态变化包括人的面部的表情变化时，能够合成人的面部的表情。

另外，根据本发明，能够通过较少的计算量，求出作为在物体的形态变化前后不同的区域的动作区域，以及施加给包括在该动作区域中的各个控制点的外力。使用弹簧模型等物理模型合成面部表情的以往的方法中，将设有表情肌腱的区域全体作为1个区域，根据该区域内所含有的各个点的移动量计算外力，因此计算量非常庞大，但本发明中，通过相当小的小区域单位，独立地根据各个控制点的移动量计算外力。小区域的物理模型构造，使用控制点之间通过弹簧与减震器相结合的物理模型构造，因此能够计算出用来再现接近表情肌腱动作的动作的外力。由于所有小区域的控制点的个数以及物理模型构造相同，因此能够进一步削减外力计算所需要的计算量，还能够减少必要的参数。在物体包括人的面部，形态变化前为无表情状态，形态变化后为显示出表情的状态时，能够计算出为了让人的面部成为无表情或某个表情的面部所需要的外力。

另外，能够通过较少的计算量，生成物体的三维数据根据外力信息进行了变形(变换)的三维数据。在使用弹簧模型等物理模型合成面部表情的以往的方法中，将设有表情肌腱的区域全体作为1个区域，根据外力对该区域内所含有的各个点的移动位置进行计算，因此计算量非常庞大，但本发明中，通过相当小的小区域单位独立计算各个控制点的移动位置。能够通过较少的计算量，生成物体的图像根据外力信息变形了的图像。在使用弹簧模型等物理模型合成面部表情的以往的方法中，将设有表情肌腱的区域全体作为1个区域，根据外力对该区域内所含有的各个点的移动位置进行计算，因此计算量非常庞大，但本发明中，通过相当小的小区域单位独立计算各个控制点的移动位置。例如，能够根据用来“张大嘴巴”的外力信息与用来“上翻上眼睑”的外力信息等多个外力信息，计算出对应于形态变化前的三维数据以及图像的形态变化后的各个控制点的移动量。另外，能够让将动作区域分割成多个小区域，在小区域单位中独立计算移动位置的情况下所容易产生的小区域之间的边界部分的级差等，变得不明显，让动作区域与其周围的未动作区域之间的边界部分中所产生的级差等变得不明显。小区域的物理模型构造，使用控制点之间通过弹簧与减震器相结合的物理模型构造，因此能够再现出接近表情肌腱的动作的动作，由于物体包括人的面部，形态变化前为无表情状态，形态变化后为显示出某个表情的状态，因此能够给人的无表情面部添加某个表情。

根据本发明，通过检测出某个人物面部的表情变化，将与其相同的变化施加给同一人物或其他人物的面部图像等，能够通过较少的计算量，实现表情与特定人物同步的拟人化代理。使用弹簧模型等物理模型合成面部表情的以往的方法中，将设有表情肌腱的区域全体作为1个区域，根据该区域内所含有的各个点的移动位置计算外力，因此计算量非常庞大，但本发明中，通过相当小的小区域单位，独立地根据各个控制点的移动位置计算外力。在使用弹簧模型等物理模型合成面部表情的以往的方法中，将设有表情肌腱的区域全体作为1个区域，根据外力对该区域内所含有的各个点的移动位置进行计算，因此计算量非常庞大，但本发明中，通过相当小的小区域单位独立计算各个控制点的移动位置。能够削减用来在机器人的头部中安装的面具等物体中显示出表情的计算量。在使用弹簧模型等物理模型合成面部表情的以往的方法中，将设有表情肌腱的区域全体作为1个区域，根据外力对该区域内所含有的各个点的移动位置进行计算，因此计算量非常庞大，但本发明中，通过相当小的小区域单位独立计算各个控制点的移动位置。

附图说明

图1为本发明的原理说明图。

图2为说明本发明的第1实施例的相关形态变形装置的构成的框图。

图3为说明本发明的第1实施例的相关形态变形装置中的动作区域指定部的处理例的流程图。

图4为说明本发明的第1实施例的相关形态变形装置中的动作区域分割部的处理例的流程图。

图5为说明本发明的第1实施例的相关形态变形装置中的控制点数据的构成例的图。

图6为说明本发明的第1实施例的相关形态变形装置中的控制点动作部的处理例的流程图。

图7A为本发明的第1实施例的相关形态变形装置中的动作内插部的动作示意图。

图7B为本发明的第1实施例的相关形态变形装置中的动作内插部的动作示意图。

图8为说明本发明的第1实施例的相关形态变形装置中的动作内插部的处理例的流程图。

图9为本发明的第2实施例的相关形态变形装置的框图。

图10A为说明小区域的边界部分中产生了级差等不连续处的状态的图。

图10B为说明小区域的边界部分中产生了级差等不连续处的状态的图。

图10C为说明小区域的边界部分中产生了级差等不连续处的状态的图。

图11为说明本发明的第2实施例的相关形态变形装置中的相邻小区域调整部的处理例的流程图。

图12为说明通过本发明的第2实施例的相关形态变形装置中的相邻小区域调整部所进行的平滑化处理的流程图。

图13为本发明的第2实施例的相关形态变形装置中的相邻小区域调整部的动作说明图。

图14为本发明的第3实施例的相关形态变形装置的框图。

图15A为说明动作区域与未动作区域之间的边界部分中产生了级差等不连续处的状态的图。

图15B为说明动作区域与未动作区域之间的边界部分中产生了级差等不连续处的状态的图。

图16为说明通过本发明的第3实施例的相关形态变形装置中的未动作区域调整部所进行的平滑化处理的流程图。

图17为本发明的第3实施例的相关形态变形装置中的未动作区域调整部的动作说明图。

图18为本发明的第4实施例的相关面部动作(形态变形)编码装置的框图。

图19为说明本发明的第4实施例的相关面部动作(形态变形)编码装置中所使用的面部三角多边形网格模型之一例的图。

图20为本发明的第4实施例的相关面部动作(形态变形)编码装置中的三维差值计算部的动作示意图。

图21为说明本发明的第4实施例的相关面部动作(形态变形)编码装置中的三维差值计算部所生成的三维差值数据的内容例的图。

图22A为本发明的第4实施例的相关面部动作(形态变形)编码装置中的外力计算部的动作说明图。

图22B为本发明的第4实施例的相关面部动作(形态变形)编码装置中的外力计算部的动作说明图。

图23为本发明的第5实施例的相关面部动作(形态变形)解码装置的框图。

图24为本发明的第6实施例的相关面部动作(形态变形)解码装置的框图。

图25为本发明的第7实施例的相关面部动作(形态变形)编码装置的框图。

图26为本发明的第8实施例的相关面部动作(形态变形)解码装置的框图。

图27为本发明的第9实施例的相关面部动作(形态变形)解码装置的框图。

图28为本发明的第10实施例的相关面部动作(形态变形)编码解码装置的框图。

图29为本发明的第11实施例的相关面部动作(形态变形)编码解码装置的框图。

图30为本发明的第12实施例的相关使用形态变形解码装置的机器人控制装置的框图。

具体实施方式

首先，对照附图对本发明的基本原理进行详细说明。参照图1，本发明中所使用的面部模型之一例中，在面部全体的区域1000中，至少设定了1个动作区域1001。动作区域1001是变形的对象区域，对应于应当显示的表情来决定。例如，在FACS中的每个动作单位(AU：Action unit)中，将生长有产生该动作单位的表情肌腱的部分设定为1个动作区域。可以在将无表情面部与某面部表情动作面部进行比较时，将不同的区域设为动作区域。

本发明中，将这样的动作区域1001，分割成多个小区域1002，以各个小区域1002单位计算对应于外力的移动量。属于1个小区域1002中的点(像素)，分为通过黑圆点所表示的多个(3个以上)控制点1003，以及控制点以外的通过白圈所表示的非控制点1004，控制点1003之间通过弹簧1005与减震器1006(damper)相连接。另外，外力如图1中的箭头1007所示，只作用给控制点1003。各个小区域1002中的计算，属于该小区域1002的各个控制点1003的移动量，根据作用给该控制点1003的外力，以及弹簧1005与减震器1006的常数来计算，控制点1003以外的非控制点1004的移动量，根据位于该非控制点1004附近的多个控制点1003的移动量，通过内插等来计算。通过这样，各个小区域1002全体，由作用给内部控制点1003的外力一体移动，所有的小区域1002同样移动。结果导致动作区域1001变形，能够显示出所期望的表情。

这样，动作区域1001被分割为一边作为弹簧模型互相作用，一边一体运动的小区域1002，只对各个小区域1002中互相通过弹簧1005与减震器1006相连接的多个控制点1003作用外力1007，小区域1002全体，通过使用将该外力1007作用在控制点1003而进行拖动从而进行动作的模型，来再现动作单位的动作。该模型中的动作单位的动作，通过小区域1002单位而不是动作区域1001单位中的弹簧模型计算来表现，因此，参数设定较简单，削减了计算量。另外，由于不处理直接移动量而是进行外力计算，因此具有能够分离表情的表现时的个人性与表情动作的普遍性等的优点。

接下来，对计算1个小区域1002内的控制点1003的移动位置的具体方法进行说明。作为一例，对弹簧1005与减震器1006的常数都相等的情况下的移动位置的计算方法进行说明。该例子能够象如下那样进行定型化。也即，设1个小区域内存在n(n＞＝3)个控制点，第i个控制点的质量为M_i，对其进行作用的外力为f_i，连接第i与第j控制点的弹簧、减震器的常数分别为K_ij、D_ij。此时，如果设弹簧的基准位置为l_i，则第i个控制点的位置x_i通过下述式(1)来表示。

[公式1]

$M_i{\stackrel{\·\·}{x}}_i=-\underset{j\≠i}{\mathrm{\Σ}}{D}_{\mathrm{ij}}({\stackrel{\·}{x}}_i-{\stackrel{\·}{x}}_j)-\underset{j\≠i}{\mathrm{\Σ}}{K}_{\mathrm{ij}}(x_i-x_j)+F_i...\left(1\right)$

且

[公式2]

$F_i=f_i+\underset{j\≠i}{\mathrm{\Σ}}{K}_{\mathrm{ij}}(l_i-l_j)$

这里，如果替换为

[公式3]

$x={(x_1,{\stackrel{\·}{x}}_1,\·\·\·,x_n,{\stackrel{\·}{x}}_n)}^J,u={(F_1,\·\·\·,F_N)}^T$

则式(1)能够重写为通过

[公式4]

$\frac{d}{\mathrm{dt}}x=\mathrm{Ax}+\mathrm{Bu}...\left(2\right)$

所表示的线形控制系统的标准公式。且A、B分别为如下所表示的2n×2n、2n×n的矩阵。

[公式5]

$A=\left[\begin{array}{cccccccc}0& 1& \·\·\·& 0& 0& \·\·\·& 0& 0\\ -\underset{j\≠1}{\mathrm{\Σ}}{k}_{\mathrm{ij}}& -\underset{j\≠1}{\mathrm{\Σ}}{d}_{\mathrm{ij}}& \·\·\·& k_{1f}& d_{1j}& \·\·\·& k_{1n}& d_{1n}\\ \·& \·& \·& \·& \·& \·& \·& \·\\ \·& \·& \·& \·& \·& \·& \·& \·\\ \·& \·& \·& \·& \·& \·& \·& \·\\ 0& 0& \·\·\·& 0& 1& \·\·\·& 0& 0\\ k_{i1}& d_{i1}& \·\·\·& -\underset{j\≠i}{\mathrm{\Σ}}{k}_{\mathrm{ij}}& -\underset{j\≠i}{\mathrm{\Σ}}{d}_{\mathrm{ij}}& \·\·\·& k_{\mathrm{in}}& d_{\mathrm{in}}\\ \·& \·& \·& \·& \·& \·& \·& \·\\ \·& \·& \·& \·& \·& \·& \·& \·\\ \·& \·& \·& \·& \·& \·& \·& \·\\ 0& 0& \·\·\·& 0& 0& \·\·\·& 0& 1\\ k_{n1}& d_{n1}& \·\·\·& k_{\mathrm{nj}}& d_{\mathrm{nj}}& \·\·\·& -\underset{j\≠n}{\mathrm{\Σ}}{k}_{\mathrm{nj}}& -\underset{j\≠n}{\mathrm{\Σ}}{d}_{\mathrm{nj}}\end{array}\right]...\left(3\right)$

且k_ij＝K_ij/M_i，d_ij＝D_ij/M_i。

[公式6]

$B=\left[\begin{array}{ccc}0& \·\·\·& 0\\ m_1& \·\·\·& 0\\ \·& & \·\\ \·& \·\·\·& \·\\ \·& & \·\\ 0& \·\·\·& 0\\ 0& \·\·\·& m_n\end{array}\right]...\left(4\right)$

且m_i＝1/M_i。

上述式(3)的解析解，通过下述的式(5)来表示。

[公式7]

${x\left(t\right)=e}^{\mathrm{At}}x\left(0\right)+{\stackrel{t}{\∫}}_0{e}^{A(t-\mathrm{\τ})}\mathrm{Bu}\left(\mathrm{\τ}\right)\mathrm{d\τ}...\left(5\right)$

且

[公式8]

$e^{\mathrm{At}}=1+\mathrm{At}+\·\·\·+\frac{t^{n-1}}{(n-1)!}{A}^{n-1}+\·\·...\left(6\right)$

式(5)的解有时因为A、B而不存在，有时即使存在t也无限大从而发散。但是，本发明的模型中，在u一定，且质量M_i、弹簧系数K_ij、减震器常数D_ij一定的情况下，也即在m_i、k_i、d_i为一定值m、k、d的情况下，质点数n时的指数函数形式矩阵e^At，P(t)、Q(t)为2×2的矩阵，各要素分别如下所示。

[公式9]

$P_{11}\left(t\right)=\frac{1}{n}+e^{-\frac{\mathrm{nd}}{2}t}(\frac{n-1}{n}\cosh {\mathrm{\λ}}_{n}t+\frac{(n-1)d}{2{\mathrm{\λ}}_n}\sinh {\mathrm{\λ}}_{n}t)$

[公式10]

$P_{12}\left(t\right)=\frac{t}{n}+e^{-\frac{\mathrm{nd}}{2}t}\left(\frac{(n-1)}{n{\mathrm{\λ}}_n}\sinh {\mathrm{\λ}}_{n}t\right)$

[公式11]

$P_{21}\left(t\right)=-e^{-\frac{\mathrm{nd}}{2}t}\left(\frac{(n-1)k}{{\mathrm{\λ}}_n}\sinh {\mathrm{\λ}}_{n}t\right)$

[公式12]

$P_{22}\left(t\right)=\frac{1}{n}+e^{-\frac{\mathrm{nd}}{2}t}(\frac{n-1}{n}\cosh {\mathrm{\λ}}_{n}t-\frac{(n-1)d}{2{\mathrm{\λ}}_n}\sinh {\mathrm{\λ}}_{n}t)$

[公式13]

$Q_{11}\left(t\right)=\frac{1}{n}-e^{-\frac{\mathrm{nd}}{2}t}(\frac{1}{n}\cosh {\mathrm{\λ}}_{n}t+\frac{d}{2{\mathrm{\λ}}_n}\sinh {\mathrm{\λ}}_{n}t)$

[公式14]

$Q_{12}\left(t\right)=\frac{t}{n}-e^{-\frac{\mathrm{nd}}{2}t}\left(\frac{1}{n{\mathrm{\λ}}_n}\sinh {\mathrm{\λ}}_{n}t\right)$

[公式15]

$Q_{21}\left(t\right)=e^{-\frac{\mathrm{nd}}{2}t}\left(\frac{k}{{\mathrm{\λ}}_n}\sinh {\mathrm{\λ}}_{n}t\right)$

[公式16]

$Q_{22}\left(t\right)=\frac{1}{n}-e^{-\frac{\mathrm{nd}}{2}t}(\frac{1}{n}\cosh {\mathrm{\λ}}_{n}t-\frac{d}{2{\mathrm{\λ}}_n}\sinh {\mathrm{\λ}}_{n}t)$

且，设

[公式17]

${\mathrm{\λ}}_n=\sqrt{\frac{n^2{d}^2}{4}-\mathrm{nk}}$

此时，式(6)的矩阵可以通过

[公式18]

来表示。

由于系统的固有值-nd/2+2λ_n、-nd/2-λ_n的实数部一定是负的，因此在t无限大时不会发散。所以，给出t与参数m、k、d，如果u一定，则式(5)变为x(t)与x(0)、u的一次式。但是，m、n通常以两者的积的形式出现，无法分离，因此可以认为是1个常数(综合为u)。通过这样，在给出了t的情况下，参数变成只有k、d。

参数k、d的给出方法是自由的，但根据λ_n的根号内的值是正、0、负中的任一个，而分别进行过衰减、临界衰减、衰减振动等的动作。该3种动作(详细地是V.D.Bulger、M.G.Olson著，户田、田上译“力学新视点”，培风馆，1975)，均随着t变得无穷大而衰减，但只有衰减振动一边反复进行周期增减，一边进行衰减，临界振动比过衰减更早收敛。以下，对进行不会周期增减的较快运动的临界衰减的情况下的实施例进行说明。

如果给出满足参数t、k、d与式(2)的界限条件的初速度0的条件：

[公式19]

${\stackrel{\·}{x}}_i\left(0\right)=0$

则式(5)由于

[公式20]

$x_i\left(t\right)=P_{11}\left(t\right)x_i\left(0\right)+Q_{11}\left(t\right)\underset{j\≠i}{\mathrm{\Σ}}{x}_j\left(0\right)+{\stackrel{t}{\∫}}_0(P_{12}(t-\mathrm{\τ})F_i+Q_{12}(t-\mathrm{\τ})\underset{j\≠i}{\mathrm{\Σ}}{F}_j)\mathrm{d\τ}...\left(8\right)$

而变为外力F_i的一次式，根据式(8)能够容易地计算出移动位置x_i(t)。另外，时刻t中的速度为

[公式21]

${\stackrel{\·}{x}}_i\left(t\right)=P_{21}\left(t\right)x_i\left(0\right)+Q_{21}\left(t\right)\underset{j\≠i}{\mathrm{\Σ}}{x}_j\left(0\right)+{\stackrel{t}{\∫}}_0(P_{22}(t-\mathrm{\τ})F_i+Q_{22}(t-\mathrm{\τ})\underset{j\≠i}{\mathrm{\Σ}}{F}_j)\mathrm{d\τ}...\left(9\right)$

在

[公式22]

[公式23]

[公式24]

变为0时的t收敛。

本发明中，如图1所示，将动作区域1001分割成多个小区域1002，以各个小区域1002单位计算各个控制点1003对应于外力1007的移动量。因此，本发明中，即使在根据各个控制点1003的移动量计算外力1007的情况下，也以各个小区域1002单位根据各个控制点1003的移动量来计算外力1007。该外力的计算中也能够使用上述式(8)。

以上，使用小区域1002的控制点1003之间通过弹簧1005与减震器1006相连接的构造的物理模型。但是，还可以使用结构更加简单的与外力单纯成正比的物理模型，或与任一个控制点或小区域的重心等特定点之间的距离的二次方成反比的重力模型或电磁力模型等其他种类的物理模型。这种情况下，通过求解各个对应的方程式，能够计算出小区域1002内的控制点1003的移动量。

图2为说明基于本发明的第1实施例的形态变形装置的构成的框图。形态变形装置，将人的无表情面部图像变形成表情动作面部图像。本实施例的形态变形装置，具有处理装置CNT1、存储装置M1～M6、显示装置DPY以及输入装置KEY。多个存储装置M1～M6，例如由磁盘构成，其中，存储装置M1存储人的无表情面部的相关输入数据S1。存储装置M6存储人的表情动作面部的相关输出数据S6。剩下的存储装置M2～M5，存储中间结果以及处理过程中需要的控制数据。显示装置DPY例如是液晶显示器，显示出作为输出数据S6而得到的表情动作面部图像，用来显示处理过程的数据。输入装置KEY例如由键盘与鼠标构成，用来从使用者接收各种数据与命令。控制装置CNT1，例如由计算机的中央处理装置构成，执行本实施例的形态变形装置的主要处理。控制装置CNT1具有动作区域指定部1、动作区域分割部2、控制点动作部3以及动作内插部4。

控制装置CNT1的各个功能部1～4，能够通过构成控制装置CNT1的计算机与形态变形装置用程序来实现。形态变形装置用程序记录在磁盘等计算机可读记录介质PM1中，在计算机的起动等时读取到该计算机中，通过控制该计算机的运行，来在该计算机上实现各个功能部1～4。

接下来，对基于本发明的本实施例的形态变形装置的动作进行说明。控制装置CNT1，输入存储在存储装置M1中的输入数据S1并处理，最终将输出数据S6输出给存储装置M6，同时，控制显示装置DPY来显示输出数据S6。该过程中，控制装置CNT装载存储在存储装置M3中的控制点数据S3并利用，在存储装置M2、M4以及M5中，适当保存动作区域指定完成数据S2、小区域分割完成数据S4以及初始3D坐标调整完成控制点数据S3’、终端3D坐标设定完成控制点数据S3”。以下进行详细说明。

首先对控制装置CNT1的动作区域指定部1进行说明。动作区域指定部1，从存储装置M1输入输入数据S1，由用户将该输入数据S1的所期望区域指定为动作区域。这里，应当指定为动作区域的所期望区域，对应于应当显示的表情而被预先设定。本实施例的情况下，在FACS中的每个动作单位中，将生长有产生该动作单位的表情肌腱的部分指定为动作区域。例如，FACS的No.27的动作单位，具有“嘴巴张大”的内容，在进行该动作单位的动作的情况下，将包括口部的区域指定为动作区域。此时，为了进行后面的控制点数据S3的搜索，由用户从输入装置KEY输入该动作单位的编号(No.)，保存在控制装置CNT1的内部。

关于由动作区域指定部1所指定的动作区域的相关信息，被附加了输入数据S1的图像以及三维数据，并作为动作区域指定完成数据S2保存在存储装置M2中。例如，在输入图像是RGB彩色图像的情况下，动作区域指定完成数据S2，作为给各个图像中添加了1比特的α之后的RGBα保存起来，可以考虑α的值在动作区域中设为1，此外设为0的方法。同样，在三维数据的情况下，以(x、y、z、α)的形式保存。指定的方法考虑例如通过使用GUI的工具来显示出图像或三维数据，之后通过鼠标或图形输入板(tablet)来指定动作区域的方法。

对照图3对动作区域指定部1的具体例子进行说明。首先，动作区域指定部1，从存储装置M1装载某个人物的面部的无表情图像来作为输入数据S1，显示在显示装置DPY的画面(步骤F101)中。接下来，动作区域指定部1从用户接收FACS的动作单位编号(步骤F102)。动作区域指定部1，对FACS的各个动作单位编号，保存有表示生长有产生该动作单位的表情肌腱的面部区域的典型动作区域的一览，从一览中取得与用户所输入的动作单位编号相对应的动作区域，并显示在显示装置DPY中(步骤F103)。图3中通过虚线显示出了动作区域。接下来，动作区域指定部1，按照用户所进行的鼠标拖动操作等，移动动作区域的显示场所，且调整动作区域的大小或形状(步骤F104)。图中，假设FACS的No.27的动作单位，在包括嘴巴的适当范围中调整动作区域。接下来，动作区域指定部1，将所指定的动作区域的相关信息，通过上述方法附加给输入数据S1，生成动作区域指定完成数据S2，保存在存储装置M2(步骤F105)中。

接下来，对动作区域分割部2进行说明。动作区域分割部2，从存储装置M2输入动作区域指定完成数据S2，根据由存储装置M3所输入的控制点数据S3，生成将动作区域指定完成数据S2中的动作区域分割成了多个小区域的小区域分割完成数据S4，与控制点数据S3的信息(初始3D坐标调整完成控制数据S3’)一起保存在存储装置M4中。该小区域分割完成数据S4以及初始3D坐标调整完成控制数据S3’，相当于对照图1所说明的面部模型。以下，对照图4对动作区域分割部2的处理的详细内容进行说明。

首先，动作区域分割部2，从存储装置M2装载动作区域指定完成数据S2，根据需要进行放大并在显示装置DPY中显示，从而将该动作区域的全体显示出来(步骤F111)。接下来，动作区域分割部2，从存储装置M3装载与通过动作区域指定完成数据S2所指定的动作区域相对应的控制点数据S3，显示在显示装置DPY中(步骤F112)。例如，在通过动作区域指定完成数据S2所指定的动作区域是FACS的No.27的动作单位(嘴巴张大)的情况下，装载对应于No.27的动作单位的控制点数据并显示。对应于某个动作单位的控制点数据S3，包括关于产生该动作单位的表情肌腱的端部与均等设置在内部的多个控制点的信息。

图5中显示了1个控制点数据的构成例。本例中，控制点数据包括作为分配给该控制点数据的识别码的控制点编号(m)2001、作为该控制点数据的初始3维坐标的初始3D坐标(X0、Y0、Z0)2002、分配给该控制点数据的标签编号2003、作用于该控制点数据的外力(fx、fy、fz)、作为该控制点数据的移动后的三维坐标的终端3D坐标(Xt、Yt、Zt)2005、以及与连接该控制点数据的其他控制点数据之间的连接信息2006。这里，属于同一个小区域的控制点数据中设有相同的标签编号2003。另外，初始3D坐标2002中，标准面部中的控制点的标准位置被初始设定，控制点的起初的显示根据该初期3D坐标来进行。终端3D坐标2005在装载时刻为NULL值，在后面的移动量的计算时设定其值。连接信息2006中，设有介在于连接目的地的控制点数据的控制点编号、以及与连接目的地的控制点数据之间的弹簧以及减震器的常数等。另外，在所有控制点之间通过相同常数的弹簧与减震器相连接的情况下，不需要在所有控制点数据的连接信息2006中设定这些信息，可以只在某一处中设定。

接下来，动作区域分割部2，按照用户所进行的鼠标拖动操作等，将各个控制点的位置移动到所期望的场所，且进行微调(步骤F113)。对应于该调整，将控制点数据的初始3D坐标2002，更新为无表情面部图像的像素中的最接近该控制点数据的像素的三维坐标。例如，在具有初始3D坐标2002(Xa、Ya、Za)的某个控制点，移动到了三维坐标(Xb、Yb、Zb)时，如果设最接近该坐标(Xb、Yb、Zb)的无表情面部图像中的像素的三维坐标为(Xc、Yc、Zc)，便将该控制点的初始3D坐标2002更新为(Xc、Yc、Zc)。这样，将控制点的位置映射到无表情面部图像的像素。

接下来，动作区域分割部2，通过控制点对动作区域进行Voronoi(莫洛诺依)分割，给通过Voronoi分割所确定的区域分配该控制点的标签编号2003。通过将被分配了相同标签编号2003的相邻Voronoi区域集中成1个小区域，将动作区域分割成多个小区域(步骤F114)。各个小区域中，被分配了与分配给构成它的Voronoi区域的标签编号相同的标签编号。因此，产生了标签编号数目个小区域。接下来，在动作区域指定完成数据S2中的分割区域内的各个像素中，生成被附加了包括该像素的小区域的标签编号的图像，作为小区域分割完成数据S4，与初始3D坐标调整完成的控制点数据S3’一起保存在存储装置M4中(步骤F115)。将小区域与小区域的边界上的像素，当做属于这些多个小区域的像素。小区域分割完成数据S4，还可以使用在各个标签编号中，记录有该标签编号的小区域中所含有的像素的信息的数据。

接下来，对控制点动作部3的动作进行说明。控制点动作部3，从存储装置M4输入初始3D坐标调整完成的控制点数据S3’，在各个小区域中，计算该小区域中所包括的所有控制点的移动位置。计算方法由包括该控制点的小区域通过什么样的物理模型来表现所决定。如果是像参照图1所说明的那样，小区域中的控制点通过弹簧或减震器相连接的物理模型，则能够像以上已经详细说明了的那样，给出初始位置与初速度的界限条件，通过求解二阶常微分方程式来计算移动位置。作为更为简单的构造的与外力单纯成正比的模型，以及与距离控制点的一点或重心等特定点的距离的二次方成反比的重力、电磁力模型等，也能够通过求解与其分别相对应的方程式，来进行解析计算。对照图6，对控制点动作部3的具体动作例子进行说明。

首先，控制点动作部3，从存储装置M4输入初始3D坐标调整完成的控制点数据S3’(步骤F121)。接下来，观察1个小区域，也即1个标签编号(步骤F122)。接下来，计算属于所观察的小区域的所有控制点的移动位置，设定为该控制点的终端3D坐标2005(步骤F123)。属于所观察的小区域的所有控制点是指，具有与该小区域的标签编号相同的标签编号2003的控制点。在如对照图1所述，小区域中的控制点通过弹簧与减震器相连接的构造的情况下，通过将给定参数带入到式(7)中，能够根据各个控制点数据的初始3D坐标2002与外力2004，计算出终端3D坐标。这里，给定的参数，在式(7)的情况下，相当于前述的t、k、d。这既可以附加给控制点数据S3，从存储装置M3装载，也可以预先设置在控制点动作部3中。

控制点动作部3，计算出属于1个小区域的所有控制点的移动位置，设定为该控制点数据的终端3D坐标2005之后，便将观察点移动到下一个小区域(步骤F124)，返回步骤F123，重复与上述相同的处理。重复执行该处理，直到对所有小区域的处理完成之后(步骤F125中是)，将设置了终端3D坐标2005的控制点数据S3”，保存到存储装置M5中(步骤F126)。

接下来，对动作内插部4的动作进行说明。动作内插部4从存储装置M4输入小区域分割完成数据S4，同时从存储装置M5输入终端3D坐标设定完成控制点数据S3”，根据该小区域内的控制点的移动位置，通过如图7A与图7B所示的线形内插与外插，计算出各个小区域中的控制点以外的像素的移动位置，生成表情动作面部的图像或三维数据，作为输出数据S6保存在存储装置M6中。也可以使用样条等高次内插、外插进行计算。保存在存储装置M6中的输出数据S6，自动或根据来自输入装置KEY的命令，显示在显示装置DPY中。

对照图8对动作内插部4的具体动作进行说明。首先，动作内插部4，从存储装置M4以及存储装置M5，输入小区域分割完成数据S4以及终端3D坐标设定完成控制点数据S3”(步骤F131)。接下来，观察小区域分割完成数据S4中的动作区域内的1个小区域(步骤F132)，并观察该小区域内的1个像素(步骤F133)。从终端3D坐标设定完成控制点数据S3，查找该像素所属的观察中的小区域内的控制点中，具有最接近该像素的三维坐标的初始3D坐标的3个控制点数据(步骤F134)。接下来，对所搜索出的3个控制点数据中的任一个初始3D坐标，是否与所观察的像素的三维坐标相一致进行判断(步骤F135)。如果相一致，则所观察的像素是控制点，因此将相一致的控制点数据的终端3D坐标，作为观察小区域中的观察像素的终端3D坐标保存起来(步骤F136)。另外，如果不一致，则所观察的像素不是控制点，因此根据3个控制点数据的终端3D坐标，通过如图7A与图7B所示的方法，计算出观察像素的移动位置(步骤F137)，将所计算出的移动位置，作为观察小区域中的观察像素的终端3D坐标保存起来(步骤F138)。

动作内插部4，一旦结束了对观察小区域内的1个像素的处理，便将观察点移动到观察小区域内的下一个像素(步骤F139)，重复与上述处理相同的处理。一旦结束了对观察小区域内的所有像素的处理(步骤S140中的是)，便将观察点移动到动作区域内的下一个小区域(步骤S141)，重复与上述处理相同的处理。当对动作区域内的所有小区域内的像素的处理完成之后(步骤F142中的是)，包含有动作区域内的各个像素的终端3D坐标的输出数据S6，保存到存储装置M6中(步骤F143)。

图9中示出了基于本发明的第2实施例的形态变形装置。对照图9，基于第2实施例的形态变形装置，将人的无表情面部图像变形成表情动作面部图像。第2实施例的形态变形装置，具有存储装置M7，以及处理装置CNT1还具有相邻小区域调整部5这一点，与图2所示的第1实施例的形态变形装置不同，其他点均与第1实施例的形态变形装置相同。

第2实施例中，将动作区域分割成多个小区域，以各个小区域单位独立计算移动量，因此如果相邻小区域的移动量中存在明显的差，则在这些小区域的边界部分中便会产生级差等不连续场所。例如，如图10A所示，在移动前互相连接的2个小区域1001、1002，一旦其移动量中产生差，便有可能如图10B所示，变为互相离开的状态，或如图10C所示，互相有一部分重叠。本实施例的相邻小区域调整部5，具有对这样的小区域的边界部分中所产生的不连续状态进行调整的功能。另外，相邻小区域调整部5与其他功能部1～4一样，能够通过存储在记录介质PMl中的程序与构成处理装置CNT1的计算机来实现。

接下来，对照图11对相邻小区域调整部5的动作进行说明。首先，相邻小区域调整部5，从存储装置M4以及存储装置M6输入小区域分割完成数据S4以及输出数据S6(步骤F201)。接下来，根据小区域分割完成数据S4，对所有小区域的边界点都进行搜索(步骤F202)。小区域的边界点是指，位于相邻的多个小区域的边界上的像素。由于这样的像素属于多个小区域，因此能够从小区域分割完成数据S4，将属于多个小区域的像素全部提取。

接下来，相邻小区域调整部5，观察在步骤F202中所找出的边界点之一个(步骤F203)，从小区域分割完成数据S4中搜索该边界点所属的小区域，从输出数据S6中取得所属的所有小区域中的终端3D坐标，求出其平均值(也可以是中位数)(步骤F204)。例如，在图10A中所示的某一个边界点1100，移动后如图10B或图10C所示，关于小区域1101变为终端3D坐标(Xa、Ya、Za)的点1103-1，关于小区域1102变为终端3D坐标(Xb、Yb、Zb)的点1103-2的情况下，计算出{(Xa+Xb)/2、(Ya+Yb)/2、(Za+Zb)/2}。接下来，通过该所计算出的平均值，更新属于该边界点的所有小区域中的终端3D坐标(步骤F205)。也即，将点1103-1的终端3D坐标(Xa、Ya、Za)更新为{(Xa+Xb)/2、(Ya+Yb)/2、(Za+Zb)/2}，同样，将点1103-2的终端3D坐标(Xb、Yb、Zb)更新为{(Xa+Xb)/2、(Ya+Yb)/2、(Za+Zb)/2}。该更新在输入给处理装置CNT1内的输出数据S6的拷贝上进行。

相邻小区域调整部5，结束了对1个边界点的处理之后，便将观察点移动到下一个边界点(步骤F206)，回到步骤F204，重复与上述处理相同的处理。一旦结束了对所有边界点的处理(步骤F207中的是)，便进行下一个小区域边界部的平滑化处理(步骤F208)。

小区域边界部的平滑化处理中，相邻小区域调整部5，对各个小区域，通过将在步骤S205中变更了终端3D坐标之后的边界点的变更量，传输给该边界点附近的像素，而将边界部平滑化。该平滑化处理F208的详细内容如图12所示。

首先，相邻小区域调整部5，观察1个小区域(步骤F211)，将校正系数初始化为相当小，且接近1的值(步骤F212)。接下来，计算观察小区域中的与相邻小区域之间的所有边界点的3D校正量(步骤F213)。边界点的3D校正量是指，存在于输出数据S6中的观察小区域中的该边界点的终端3D坐标，与图11的步骤F204所计算出的该边界点所属的所有小区域中的终端3D坐标的平均值之间的差值。例如，如果设某个边界点的某个小区域中的终端3D坐标为(Xa、Ya、Za)，图11的步骤F204所计算出的该边界点所属的所有小区域中的终端3D坐标的平均值为{(Xa+Xb)/2、(Ya+Yb)/2、(Za+Zb)/2}，则3D校正量为{(Xa+Xb)/2}-Xa、{(Ya+Yb)/2}-Ya、{(Za+Zb)/2}-Za。

接下来，相邻小区域调整部5，将所观察的小区域中的接近边界点的所有像素作为内接点进行搜索(步骤F214)。例如，在观察如图13所示，在相接的两个小区域1101、1102中的小区域1101的情况下，由于位于与小区域1102之间的边界上的像素a～f为当初的边界点，因此求出与像素a～f相接的像素g～l为内接点。

接下来，相邻小区域调整部5，观察1个内接点(步骤F215)，计算出与该内接点相接的所有边界点的3D校正量的平均值(也可以是中位数)(步骤F216)。例如，在将图13的像素g观察为1个内接点的情况下，由于与其相接的边界点为像素a、b，因此相邻小区域调整部5，计算出像素a的3D校正量与像素b的3D校正量的平均值。接下来，相邻小区域调整部5，将给该所计算出的3D校正量的平均值乘上校正系数所得到的3D校正量，相加给该内接点的终端3D坐标(步骤F217)。之后，将该内接点作为新的边界点(步骤F218)。相邻小区域调整部5结束了对1个内接点的处理之后，便将观察点移动到下一个内接点(步骤F219)。例如，一旦图13的像素g的处理结束，便将观察点移动到下一个像素h，回到步骤F216，重复与上述处理相同的处理。这样，对在步骤F214中所找出的所有内接点g～l的处理结束之后(步骤F220中的是)，相邻小区域调整部5，便将校正系数的值减去预先设定的一定值(例如0.1、0.2等)(步骤F221)。如果校正系数的值大于0(步骤F222中的是)，处理便返回步骤F214。图13的情况下，由于像素g～l的处理结束后，便将这些像素g～l作为新的边界点，因此步骤F221中所搜索出的新的内接点的集合变为像素m～r。这样，将起初的边界点a～f的3D校正量传输给相邻的像素，从而平滑化。

如果校正系数的值变为0以下，相邻小区域调整部5便结束对所观察的小区域的平滑化处理，将观察点移动到下一个小区域(步骤F223)，回到步骤F212，重复与上述处理相同的处理。相邻小区域调整部5，结束了对所有小区域的处理之后(步骤F224中的是)，便结束小区域边界部的平滑化处理F208。

相邻小区域调整部5，在小区域边界部的平滑化处理结束之后，便将相邻小区域调整完成数据S7，也即对输出数据S6中的小区域的边界部分中所产生的不连续状态进行了调整的输出数据，输出给存储装置M7。存储装置M7中所保存的输出数据S7，自动或对应于来自输入装置KEY的命令，显示在显示装置DPY中。

图14中示出了基于本发明的第3实施例的形态变形装置。第3实施例的形态变形装置，将人的无表情面部图像变形成表情动作面部图像。第3实施例的形态变形装置与第2实施例的形态变形装置相同，但在具有存储装置M8，以及处理装置CNT1还具有未动作区域调整部6这一点，与图9所示的第2实施例的形态变形装置不同。

如图1所示，在面部全体的区域1000上设定至少1个动作区域1001，如果将动作区域1001作为变形的对象，则在表情动作时，动作区域1001与未动作区域的边界部分中有可能产生级差等不连续场所。例如图15A所示，在无表情图像中相接的动作区域1201与未动作区域1202，由于其中只有动作区域1201发生了移动，因此有可能如图15B所示，产生了动作区域1201与未动作区域1202相重叠的部分1203，或动作区域1201与未动作区域1202之间产生缝隙1204的情况。本实施例的未动作区域调整部6，具有对这样的动作区域与未动作区域之间的边界部分中所产生的不连续状态进行调整的功能。另外，未动作区域调整部6与其他功能部1～5一样，能够通过存储在记录介质PM1中的程序与构成处理装置CNT1的计算机来实现。

接下来，对照图16对未动作区域调整部16的动作进行说明。首先，未动作区域调整部6，从存储装置M2以及存储装置M7输入动作区域指定完成数据S2以及相邻小区域调整完成数据S7(步骤F301)。接下来，未动作区域调整部6，将校正系数初始化为相当小，且接近1的值(步骤F302)，根据动作区域指定完成数据S2，计算所有内边界点的3D移动量(步骤F303)。内边界点是指，属于动作区域的像素中的位于与未动作区域之间的边界上的像素。例如图17所示，如果涂了阴影的方格为属于起初的动作区域的像素，则位于与没有涂阴影的方格的未动作区域之间的边界上的像素a、b、c等，便是内边界点。另外，内边界点的3D移动量是指，该内边界点的动作区域指定完成数据S2上的3D坐标(也即无表情时的位置)，与相邻小区域调整完成输出数据S7上的3D坐标(也即表情动作时的位置)之间的差值。

接下来，未动作区域调整部6，根据动作区域指定完成数据S2，搜索所有的外边界点(步骤F304)。外边界点是指，未动作区域的像素中的位于与动作区域之间的边界上的像素。例如图17的例子中，像素d、e、f等是外边界点。

接下来，未动作区域调整部6，观察在步骤F304中所找出的外边界点之一个(步骤F305)，求出与该外边界点相接的所有内边界点的3D移动量的平均值(也可以是中位数)(步骤F306)。例如在将图17所示的像素e作为外边界点观察的情况下，由于与该像素e相接的所有内边界点为像素a、b、c，因此计算出它们的3D移动量的平均值。接下来，将给该所计算出的平均值乘上校正系数所得到的3D移动量，与该外边界点的终端3D坐标相加(步骤F307)。之后，将该外边界点作为动作区域的点进行处理(步骤F308)。结束了对1个外边界点的处理之后，便将观察点移动到下一个外边界点(步骤F309)。例如，图17的像素e的处理结束之后，将观察点移动到下一个像素f，回到步骤F306，重复与上述处理相同的处理。这样，一旦结束了对步骤F304中所找出的所有外边界点的处理(步骤F310中的是)，未动作区域调整部6便将校正系数的值减去预先设定的一定值(例如0.1或0.2等)(步骤F311)。如果校正系数的值大于0(步骡F312中的是)，便回到步骤F304的处理。图17的情况下，结束了像素d～f等的处理之后，由于将这些像素d～f等作为新的动作区域进行处理，因此步骤F304中所找出的新的外边界点的集合变为像素g～m等。这样，将起初的边界点a～c的3D移动量传输给未动作区域的像素，进行平滑化。

未动作区域调整部6，在校正系数的值变为0以下时，结束未动作区域的调整处理，将未动作区域调整完成数据S8，也即对相邻小区域调整完成输出数据S7中的动作区域与未动作区域的边界部分中所产生的不连续状态进行了调整的输出数据，输出给存储装置M8。存储装置M8中所保存的输出数据S8，自动或对应于来自输入装置KEY的命令，显示在显示装置DPY中。

图13的构成中，在相邻小区域调整部5的执行之后，执行未动作区域调整部6，但也可以在最初执行未动作区域调整部6，生成从输出数据S6中消除了动作区域与未动作区域之间的边界部分的不连续性的数据，接下来再执行相邻小区域调整部5，进一步生成消除了小区域间的边界部分的不连续性的数据。另外，也可以省略相邻小区域调整部5，只进行基于未动作区域调整部6的调整。

图18为本发明的第4实施例的面部动作编码装置的框图，根据某个人物的无表情时与表情动作时的面部三维数据，计算出表情动作时的动作区域与外力并输出。本实施例的面部动作编码装置，包括处理装置CNT11、存储装置M11～M15、显示装置DPY、以及输入装置KEY。多个存储装置M11～M15，例如由磁盘构成，其中，存储装置M11保存作为输入数据的无表情面部3D数据S100以及表情动作面部3D数据S101，存储装置M15保存作为输出数据的表情动作的外力数据S12以及表情动作的动作区域S13，剩下的存储装置M12～M14保存中间结果以及处理过程中需要的控制数据。显示装置DPY例如由液晶显示器构成，用来显示处理过程的数据等。输入装置KEY例如由键盘与鼠标构成，用来从使用者接收各种数据与命令。控制装置CNT11，例如由计算机的中央处理装置构成，执行本实施例的面部动作编码装置的主要处理。控制装置CNT11具有3D面部模型给出部101、3D差值计算部102以及外力计算部103。

控制装置CNT11的各个功能部101～103，能够通过构成控制装置CNT11的计算机与面部动作编码装置用程序来实现。面部动作编码装置用程序记录在磁盘等计算机可读记录介质PM11中，在计算机的起动等时读取到该计算机中，通过控制该计算机的运行，来在该计算机上实现各个功能部101～103。

接下来，对本实施例的相关面部动作编码装置的动作进行说明。控制装置CNT11，首先使用3D面部模型给出部101，输入存储在存储装置M11中的编码用中所使用的人物的无表情面部三维数据S100与表情动作面部三维数据S101，让在存储装置M12中预先准备的面部三角多边形网格模型S105匹配各个数据，通过这样，生成无表情时与表情动作时各个面部三角多边形网格模型S102、S103，保存在存储装置M13中。接下来，使用3D差值计算部102，从存储装置M13输入无表情时与表情动作时各自的面部三角多边形网格模型S102、S103，通过对两者进行比较，生成包括表情从无表情面部变化成了表情动作面部时的动作(移动)了的多边形及其各个顶点的移动前后的三维坐标的3D差值数据S104，保存在存储装置M14中。接下来，使用外力计算部103，从存储装置M14输入3D差值数据S104，为了将无表情面部变形成表情动作面部，而通过上述式(7)计算应当施加给无表情面部的面部三角多边形的各个顶点的外力，将包括表情从无表情面部变化成了表情动作面部时的动作(移动)了的多边形的信息的表情动作的动作区域S13，以及包括施加给该多边形的各个顶点的外力的表情动作的外力数据S12，输出给存储装置M15。以下进行更加详细的说明。

输入给三维面部模型给出部101的无表情时与表情动作时的面部三维数据S100、S101，由取得面部三维数据的部分来取得，保存到存储装置M11中。面部三维数据，可以是通过光照型的测距仪、基于立体·多眼照相机的立体图像测量、MRI测量、红外线测量等任意部分所测量出的数据，或者也可以以通过人工的三维计算机图形所生成的数据。另外，作为附随三维数据的信息的纹理，最好能够对应两个面部数据之间的部位，但在存在找到了两个面部数据之间的部位的对应的其他部位的情况下，则不是必需的。例如，在通过光照型测距仪取得的情况下，考虑在面部粘贴反射光的特殊标记，在通过红外线图像取得的情况下，考虑粘贴具有与体温不同的温度的标记来取得。即使在取得纹理的情况下，在面部的一部分中描绘了标记等情况下，面部全体的纹理也不是必需的。

存储装置M12中，保存有如图19所示的面部三角多边形网格模型S105。虽然多边形数以及各个多边形的大小是任意的，但生成为让三角网格的顶点的一部分与面部的特征点相对应。三维面部模型给出部101，通过让面部三角多边形网格模型S105与无表情面部三维数据S100匹配，来生成三维化无表情面部三角多边形网格模型S102。具体地说，在显示装置DPY的画面中显示出无表情面部三维数据S100与面部三角多边形网格模型S105，通过用户的来自输入装置KEY的操作，将面部三角多边形网格模型S105的各个顶点，映射到应当与该顶点相对应的面部的特征点中。还能够找到无表情面部三维数据S100的特征点的线索，来自动对应面部三角多边形网格模型S105的一部分的顶点。例如，在面部三角多边形网格模型S105的某个特定多边形的某个特定顶点，是对应于鼻子的前端部的顶点的情况下，能够检测出附着在鼻子的前端部的标记的位置，自动进行对应。三维面部模型给出部101，给面部三角多边形网格模型S105中的各个多边形的各个顶点，分配对应于该顶点的无表情面部三维数据S100的点的三维坐标，给所有多边形的顶点都分配了无表情面部三维数据S100的点的三维坐标之后，作为三维无表情面部三角多边形网格模型S102保存在存储装置M13中。

用同样的方法，三维面部模型给出部101，通过让面部三角多边形网格模型S105匹配表情面部三维数据S101，生成三维表情动作面部三角多边形网格模型S103。

三维差值计算部102，在各个多边形的各个顶点分配有无表情面部的三维坐标的三维化无表情面部三角多边形网格模型S102，与各个多边形的各个顶点分配有表情动作面部的三维坐标的三维化表情动作面部三角多边形网格模型S103之间的相同多边形的相同顶点之间，取得三维坐标的差。例如，三维差值计算部102，如果设模型S102与S103的相同多边形为图20所示的S102-1、S103-1，则在相同顶点a与a’之间，相同顶点b与b’之间，相同顶点c与c’之间取得三维坐标的差。之后，将三维坐标的差的标准也即距离为预先确定的阈值以上的区域，设为表情时的动作区域，将区域外设为未动作区域。本实施例中，由于点只有三角多边形的顶点，因此以多边形单位决定动作区域。也即，如果多边形的三个顶点的任一个是动作区域的点，则该多边形为动作区域，如果不是，则多边形为未动作区域。另外，本实施例中，对动作区域进行了分割的小区域是各个三角多边形。三维差值计算部102，将包括通过这样所确定的动作区域的面部三角多边形网格的多边形编号、分配到该顶点的无表情面部以及表情动作面部的三维坐标的数据，作为三维差值数据S104，保存在存储装置M14中。

图21中示出了三维差值数据S104的内容例。对面部三角多边形网格模型S105的各个多边形设定多边形编号m，设定各个多边形顶点的顶点编号i，包括表示含有该顶点的多边形是否是动作区域的标志位、对应于该顶点的无表情面部的三维坐标、以及对应于该顶点的表情动作面部的三维坐标。

外力计算部103，根据三维差值数据S104输入成为动作区域的多边形的数据，使用该多边形的顶点的无表情时的三维坐标、表情动作时的三维坐标、以及必要的参数，计算将各个顶点的位置从无表情时的位置向表情动作时的位置移动所需要外力。具体地说，外力计算部103，对上述式(7)给出参数t、k、d、作为无表情时的控制点的三维坐标xi(0)、作为表情动作时的控制点的三维坐标xi(t)、及其初始条件，计算出外力Fi。控制点的取得方法在多边形内是自由的，但最简单的例子是，本实施例中如图22A以及图22B所示，将多边形的三顶点取为控制点。这种情况下，式(6)的矩阵的要素可以作为n＝3来计算。

图23为基于本发明的第5实施例的面部动作解码装置的框图，根据表情动作时的外力信息，对某个人物的无表情时的面部三维数据进行变形，生成该人物的表情动作时的面部三维数据并输出。本实施例的面部动作解码装置，包括处理装置CNT21、存储装置M21～M26、显示装置DPY、以及输入装置KEY。多个存储装置M21～M26，例如由磁盘构成。存储装置M21、M22保存作为输入数据的无表情面部3D数据S300以及表情动作时的外力信息S30，存储装置M26存储作为输出数据的表情面部3D数据32，剩下的存储装置M23～M25保存中间结果以及处理过程中需要的控制数据。显示装置DPY例如由液晶显示器构成，用来显示所生成的表情面部3D数据32以及处理过程的数据等。输入装置KEY例如由键盘与鼠标构成，用来从使用者接收各种数据与命令。控制装置CNT21，例如由计算机的中央处理装置构成，执行本实施例的面部动作解码装置的主要处理。控制装置CNT21具有3D面部模型对应部301、移动量计算部302以及表情生成部31。

控制装置CNT21的各个功能部301、302以及31，能够通过构成控制装置CNT21的计算机与面部动作解码装置用程序来实现。面部动作解码装置用程序记录在磁盘等计算机可读记录介质PM21中，在计算机的起动等时读取到该计算机中，通过控制该计算机的运行，来在该计算机上实现各个功能部301、302、31。

接下来，对本实施例的相关面部动作解码装置的动作进行说明。控制装置CNT21，首先使用3D面部模型对应部301，输入保存在存储装置M21中的解码用中所使用的某个人物的无表情面部三维数据S300，对应于该数据让在存储装置M23中预先准备的面部三角多边形网格模型S105匹配，通过这样，生成三维化无表情面部三角多边形网格模型S302，保存在存储装置M24中。接下来，使用移动量计算部302，按照保存在存储装置M22中的表情动作的外力信息S30，计算存储在存储装置M24中的三维化无表情面部三角多边形网格模型S302的动作区域中的各个控制点的移动位置，作为控制点的移动位置数据S303保存在存储装置M25中。接下来，使用表情生成部31，根据保存在存储装置M25中的控制点的移动位置数据S303，对保存在存储装置M21中的无表情面部三维数据S300进行变形，生成表情动作时的表情动作面部的三维数据，作为表情面部3D数据S32保存在存储装置M26中，另外，还在显示装置DPY中进行显示。以下进行详细说明。

存储装置M22的表情动作的外力信息S30，使用通过图18所示的第4实施例的面部动作编码装置所生成的表情动作的外力数据S12以及相当于表情动作的动作区域S13的信息。另外，保存在存储装置M23中的面部三角多边形网格模型S105，使用与图18中所示的第4实施例的面部动作编码装置中所使用的面部三角多边形网格模型S105相同的模型。

三维面部模型对应部301，使用与图18所示的第4实施例的面部动作编码装置的三维面部模型给出部101相同的方法，通过将无表情面部三维数据S300与面部三角多边形网格模型S105匹配，来生成三维无表情面部三角多边形网格模型S302。也即，给面部三角多边形网格模型S105中的各个多边形的各个顶点，分配对应于该顶点的无表情面部三维数据S300的点的三维坐标，给所有多边形的顶点都分配了无表情面部三维数据S300的点的三维坐标之后，将该结果作为三维化无表情面部三角多边形网格模型S302保存在存储装置M24中。

移动量计算部302，从存储装置M22输入对应于面部三角多边形网格模型S105的表情动作时的外力信息S30，通过与图2的第1实施例的控制点动作部3相同的方法，计算表情动作时的控制点的移动位置S303。例如，在使用与图18的实施例4相同的面部三角多边形网格模型的情况下，移动量计算部302，使用多边形的三个顶点的三维坐标与作用给外力信息S30中所记录的多边形的顶点的外力，将上述式(6)的要素作为n＝3，计算出上述式(7)，通过这样，计算各个多边形的顶点的表情动作时的移动位置。

表情生成部31，由于构成存储在存储装置M21中的无表情面部3D数据S300的点中，与面部三角多边形网格模型S 105的动作区域中的多边形的顶点相对应的点的移动位置已经在位置数据S303中计算出来了，因此通过与图2的第1实施例的动作内插部4相同的方法，计算出此外的点(多边形内的点)的移动位置。例如，在使用面部三角多边形网格模型的情况下，表情生成部31，根据顶点的移动位置通过内插计算出各个多边形内点的移动位置。之后，将无表情面部3D数据S300的各个点的三维坐标校准其移动位置，生成表情面部三维数据S32。

但是，由于多边形的顶点一般包括在多个不同的多边形中，因此如图10所述，在相邻的小区域(该情况下为多边形)的边界部分中容易产生级差。因此，最好在表情生成部31中，通过加入与图9的第2实施例的相邻小区域调整部5相同的功能，来消除级差等。另外，还可以通过将与图14的第3实施例的未动作区域调整部6相同的功能，添加给表情生成部31，将动作区域与未动作区域之间的边界部分中所产生的级差等消除。

图23的第5实施例中，根据唯一的表情动作的外力信息S30，对某个人物的无表情时的面部三维数据S300进行变形，但也可以根据各个不同的多个表情动作的外力信息S30，对无表情面部三维数据S300进行变形。这种情况下，移动量计算部302，通过将作用给相同控制点的外力相加，将多个表情动作的外力信息S30合成为1个外力信息，根据该合成外力来计算控制点的移动位置数据S303。通过这样，在计算出对应于多个外力信息S30的最终的控制点移动位置数据，或根据各个外力信息S30计算出控制点的移动位置数据S303之后，通过求出作用给相同控制点的移动位置的平均值，来计算出对应多个外力信息S30的最终控制点的移动位置数据。

图24为基于本发明的第6实施例的面部动作解码装置的框图，根据表情动作时的外力信息，对某个人物的无表情时的面部图像(二维面部图像)进行变形，生成该人物的表情动作时的面部图像(二维面部图像)并输出。也即，本实施例的面部动作解码装置中，将图23所示的第5实施例的面部动作解码装置中的无表情面部三维数据S300，替换成无表情面部图像S301，将输出的表情面部三维数据S32替换成表情面部图像S32。

本实施例的面部动作解码装置，包括处理装置CNT31、存储装置M31～M36、显示装置DPY、以及输入装置KEY。多个存储装置M31～M36，例如由磁盘构成。存储装置M31、M32存储作为输入数据的无表情面部图像S301以及表情动作时的外力信息S30，存储装置M36存储作为输出数据的表情面部图像S33，剩下的存储装置M33～M35保存中间结果以及处理过程中需要的控制数据。显示装置DPY例如由液晶显示器构成，用来显示所生成的表情面部图像S33以及处理过程的数据等。输入装置KEY例如由键盘与鼠标构成，用来从使用者接收各种数据与命令。控制装置CNT31，例如由计算机的中央处理装置构成，执行本实施例的面部动作解码装置的主要处理。控制装置CNT31具有面部图像三维化部300、移动量计算部302以及表情图像生成部33。

控制装置CNT31的各个功能部300、302以及33，能够通过构成控制装置CNT31的计算机与面部动作解码装置用程序来实现。面部动作解码装置用程序记录在磁盘等计算机可读记录介质PM31中，在计算机的起动等时读取到该计算机中，通过控制该计算机的运行，来在该计算机上实现各个功能部300、302、33。

接下来，对本实施例的相关面部动作解码装置的动作进行说明。控制装置CNT31，首先使用面部图像三维化部300，输入保存在存储装置M31中的解码用中所使用的某个人物的无表情面部图像S301，通过粘贴在预先存储在存储装置M33中的无表情面部的三维模型S302，来生成解码用无表情面部三维数据S300，保存在存储装置M34中。该所保存的无表情面部三维数据S300，相当于图23的第5实施例的三维化无表情面部三角多边形网格模型S302。接下来，与图23的第5实施例一样，使用移动量计算部302，按照保存在存储装置M32中的表情动作的外力信息S30，计算存储在存储装置M34中的无表情面部三维数据S300的动作区域中的各个控制点的移动位置，作为控制点的移动位置数据S303保存在存储装置M35中。接下来，使用表情图像生成部33，通过与图23的第5实施例的表情生成部31相同的处理，根据保存在存储装置M35中的控制点的移动位置数据S303，对保存在存储装置M34中的无表情面部三维数据S300进行变形，生成表情动作时的表情动作面部的三维数据。接下来，根据该三维数据生成表情面部图像S33，保存在存储装置M36中，另外，还在显示装置DPY中进行显示。以下进行详细说明。

存储装置M32的表情动作的外力信息S30，使用相当于通过图18所示的第4实施例的面部动作编码装置所生成的表情动作的外力数据S12以及表情动作的动作区域S13的信息。另外，保存在存储装置M33中的无表情面部的三维模型S302，使用采用与图18中所示的第4实施例的面部动作编码装置中所使用的面部三角多边形网格模型S105相同的网格模型的某个人物的三维模型。

面部图像三维化部300，被输入解码用无表情面部图像S301与无表情面部的三维模型S302，将解码用无表情面部图像S301粘贴到无表情面部的三维模型S302上，生成解码用无表情面部三维数据S300。粘贴方法的例子，将特定人物的无表情面部三维数据作为面部三维模型登录，让该面部模型的特征点与解码用无表情面部图像S301的特征点相对应，对于特征点以外的点，根据与特征点之间的相对位置关系通过图7所示的内插、外插来进行对应。如果给出了该对应，则能够将伴随有解码用无表情面部图像S301的作为面部三维模型S302的纹理信息者，作为解码用无表情面部三维数据S300进行处理。另外，上述特定人物的无表情面部三维数据S302，不需要是真实的人物，也可以是取真实人物的无表情面部三维数据的平均值的平均面部。粘贴方法的其他例子，还有如图19所示的将三角网格的顶点之一部分与面部的特征点相对应的面部网格模型，用作无表情面部的三维模型S302的方法。根据图19可以得知，将全体为模仿面部的三维形状的三维坐标赋予三角网格的各个顶点。可以将该面部网格模型看作人工制作的非常粗糙表现的面部三维数据，通过特征点单位将解码用无表情面部图像S301与面部网格模型对应起来，特征点以外的点通过如图7所示的内插、外插来对应，与无表情面部三维数据的情况下一样，生成解码用无表情面部三维数据S300。

表情图像生成部33，在与实施例5的表情生成部31一样生成了解码时的表情动作面部的三维数据之后，将该面部三维数据投影到指定的视图中，生成解码时的表情动作面部图像S33，输出给存储装置M36。

图24的第6实施例中，根据唯一的表情动作的外力信息S30，对某个人物的无表情时的面部图像S301进行变形，但也可以与图23的第5实施例一样，根据各个不同的多个表情动作的外力信息S30，对无表情面部三图像S301进行变形。

另外，第5实施例中，输入无表情面部三维数据S300，输出表情动作面部的三维数据S32，第6实施例中，输入无表情面部图像S301，输出表情动作面部图像S33。作为其他例子，还可以考虑输入无表情面部三维数据S300，输出表情动作面部图像S33的面部动作解码装置，以及输入无表情面部图像S301，输出表情动作面部的三维数据S32的面部动作解码装置。

图25为基于本发明的第7实施例的面部动作编码装置的框图，与第4实施例一样，根据某个人物的无表情时与表情动作时的面部三维数据，计算出表情动作时的动作区域与外力并输出。本实施例的面部动作编码装置，包括处理装置CNT41、存储装置M41～M43、显示装置DPY、以及输入装置KEY。多个存储装置M41～M43，例如由磁盘构成，存储装置M41存储作为输入数据的无表情面部3D数据S100以及表情动作面部3D数据S101，存储装置M43存储作为输出数据的表情动作的外力数据S12以及表情动作的动作区域S13，剩下的存储装置M42保存中间结果。显示装置DPY例如由液晶显示器构成，用来显示处理过程的数据等。输入装置KEY例如由键盘与鼠标构成，用来从使用者接收各种数据与命令。控制装置CNT41，例如由计算机的中央处理装置构成，执行本实施例的面部动作编码装置的主要处理。控制装置CNT41具有差值计算部10以及外力计算部11。

控制装置CNT41的各个功能部10、11，能够通过构成控制装置CNT41的计算机与面部动作编码装置用程序来实现。面部动作编码装置用程序记录在磁盘等计算机可读记录介质PM41中，在计算机的起动等时读取到该计算机中，通过控制该计算机的运行，来在该计算机上实现各个功能部10、11。

接下来，对本实施例的相关面部动作编码装置的动作进行说明。控制装置CNT41，首先使用差值计算部10，输入保存在存储装置M11中的编码用中所使用的人物的无表情面部三维数据S100与表情动作面部三维数据S101，根据该输入数据生成三维坐标差S11，保存在存储装置M42中。差值计算部10具体进行以下的处理。

差值计算部10，将无表情时与表情动作时的面部三维数据S100、S101的相同部位间(例如无表情面部右眼眼角与表情动作面部右眼眼角等)对应起来。对应方法既可以将上述标记等作为线索来自动进行，又可以将双方图像显示在显示装置DPY中，使用GUI的工具，通过用户的手动来进行对应。由于现实中很难在所有点中进行对应，因此较为妥当的是只在有标记的部分或眼、嘴、鼻等特征部位中进行对应，其他部分使用线形内插等方法，通过与特征部位之间的相对位置来进行对应。对应结束之后在无表情面部三维数据S100与表情动作面部的三维数据S101的对应点之间，计算出三维坐标的差。接下来，将三维坐标的差的标准(norm)也即距离为预先设定的阈值以上的区域，或该动作中附着有表情肌腱的区域这种被加以限制的区域，作为表情时的动作区域，将区域外作为未动作区域。之后，对于属于动作区域的点(动作点)，将无表情面部三维数据的位置(三维坐标或将其投影到圆筒等二维面上时在该面的坐标上的二维坐标)与该三维坐标差，作为三维坐标差S11输出。

外力计算部11，使用只与动作点相关的记录有无表情面部三维数据的位置以及该三维坐标差的三维坐标差S11，计算将该动作点的位置从无表情面部三维数据的位置移动三维坐标差所需要的外力，作为表情动作用外力数据S12输出。另外，输出产生了外力所作用的表情动作的动作区域S13。动作区域S13如图1所述，分割成由弹簧与减震器互相连接的3点以上的控制点受到外力，拖动控制点从而一体运动的小区域，小区域各自的动作成为全体动作区域的动作。各个小区域中的力学系统，通过假设全面弹簧与减震器具有相同弹簧常数与减震器常数，能够如前所述进行定型化。

图26为基于本发明的第8实施例的框图，与图23的第5实施例一样，示出了一种在面部动作解码装置中使用本发明的实施例，根据表情动作时的外力信息，对某个人物的无表情时的面部三维数据进行变形，生成该人物的表情动作时的面部三维数据并输出。本实施例的面部动作解码装置，包括处理装置CNT51、存储装置M51～M54、显示装置DPY、以及输入装置KEY。多个存储装置M51～M54，例如由磁盘构成，其中，存储装置M51、M52存储作为输入数据的无表情面部3D数据S300以及表情动作时的外力信息S30，存储装置M54存储作为输出数据的表情面部3D数据32，剩下的存储装置M53保存中间结果。显示装置DPY例如由液晶显示器构成，用来显示所生成的表情面部3D数据S32以及处理过程的数据等。输入装置KEY例如由键盘与鼠标构成，用来从使用者接收各种数据与命令。控制装置CNT51，例如由计算机的中央处理装置构成，执行本实施例的面部动作解码装置的主要处理。控制装置CNT51具有外力解码部30以及表情生成部31。

控制装置CNT51的各个功能部30、31，能够通过构成控制装置CNT51的计算机与面部动作解码装置用程序来实现。面部动作解码装置用程序记录在磁盘等计算机可读记录介质PM51中，在计算机的起动等时读取到该计算机中，通过控制该计算机的运行，来在该计算机上实现各个功能部30、31。

接下来，对本实施例的相关面部动作解码装置的动作进行说明。控制装置CNT51，首先使用外力解码部30，输入保存在存储装置M51中的无表情面部三维数据S300与保存在存储装置M52中的无表情动作的外力信息S30。

这里，无表情动作的外力信息S30，是将图25的实施例7中的表情动作的外力数据S12与表情动作的动作区域S13综合起来所得到的。具体地说，动作区域S13，保存为通过以表示面部的一部分的区域、双眼或嘴缝等特征点的位置或距离为基准的相对位置所描述的区域。保存格式考虑将面部投射到平面、圆筒、球面等平面上，通过二维坐标进行保存的方法。另外，本发明中将动作区域分割为小区域，因此即使在二维坐标上也将动作区域分割为小区域。关于这一点，如果假设地球为面部，地球上的一部分大陆为动作区域，该大陆内的国家为小区域，则认为世界地图为动作区域的投影面，就较容易理解。为了生成控制点的组而事先给小区域加上编号。外力数据S12，保存有施加给小区域的控制点的外力三维矢量与小区域的编号、以及与动作区域相同的二维坐标上的控制点的位置。

外力解码部30，根据无表情面部三维数据S300与无表情动作的外力信息S30，例如如下那样生成控制点的表情移动位置数据S31，保存在存储装置M53中。首先，外力解码部30，将无表情面部三维数据展开为通过以与外力信息S30的动作区域相同的面部特征点的位置或距离为基准的相对位置所描述的格式。接下来，在该所展开的格式中找出对应于外力信息S30的动作区域的部分，将该部分作为无表情面部三维数据S300的动作区域。对于小区域与控制点也一样，找出无表情面部三维数据S300的对应区域、对应点。该处理既可以将无表情面部三维数据S300显示在显示装置DPY中，由用户通过GUI等工具手动进行外力信息30中所描述的控制点、小区域之间的对应，也可以根据特征点来自动进行。如果找到了无表情面部三维数据S300的对应控制点，则外力解码部30便将该点的三维坐标分配给上述式(7)的xi(0)。另外，从外力信息S30中读取该控制点(的对应点)的外力，作为上述式(7)的外力Fi。对所有控制点进行了该处理之后，给出参数d与表示表情动作的强度的t，以外力信息30的小区域编号相同的控制点组，根据上述式(7)计算表情动作后的控制点的三维位置xi(t)。将该移动后的控制点的三维位置信息，与位置解码用无表情面部三维数据S300中的动作区域、小区域、控制点的上述格式中的位置信息，作为控制点的表情动作移动位置S31。

表情生成部31，将无表情面部三维数据S300的控制点移动到通过表情动作移动位置S31所表示的位置上，其他点根据与属于同一个小区域的控制点之间的相对位置，通过内插、外插计算出移动位置的三维坐标，将面部三维数据S300中的对应位置移动到该移动位置上。将所有的动作区域中的点移动之后，便完成了表情动作面部的三维数据S32。如果解码用无表情动作面部三维数据S300中附加有纹理，则表情动作面部的三维数据S32就变成了附加有颜色信息的面部三维数据。另外，与图23中所示的实施例5的表情生成部31一样，可以在表情生成部31中，通过加入与图9的相邻小区域调整部5相同的功能，来消除小区域的边界部分中的级差等，另外，还可以通过将与图14的未动作区域调整部6相同的功能，添加给表情生成部31，将动作区域与未动作区域之间的边界部分中所产生的级差等消除。

图26的第8实施例中，根据唯一的表情动作的外力信息S30，对某个人物的无表情时的面部三维数据S300进行变形，但也可以根据各个不同的多个表情动作的外力信息S30，对无表情面部三维数据S300进行变形。这种情况下，外力解码部30，通过将作用给相同控制点的外力相加，将多个表情动作的外力信息S30合成为1个外力信息，根据该合成外力来计算控制点的表情动作移动位置数据S31，通过这样，在计算出对应于多个外力信息S30的最终的控制点的表情动作移动位置数据，或根据各个外力信息S30计算出控制点的表情动作移动位置数据S31之后，通过求出作用给相同控制点的移动位置的平均值，来计算出对应多个外力信息S30的最终控制点的表情动作移动位置数据。

图27为基于本发明的第9实施例的框图，示出了一种在面部动作解码装置中使用本发明的实施例，根据表情动作时的外力信息，对某个人物的无表情时的面部图像(二维面部图像)进行变形，生成该人物的表情动作时的面部图像(二维面部图像)并输出。也即，本实施例的面部动作解码装置中，将图26所示的实施例8的面部动作解码装置中所输入的无表情面部三维数据S300，替换成无表情面部图像S301，将输出的面部表情三维数据S32替换成表情面部图像S32。

本实施例的面部动作解码装置，包括处理装置CNT61、存储装置M61～M66、显示装置DPY、以及输入装置KEY。多个存储装置M61～M66，例如由磁盘构成，其中，存储装置M61、M62存储作为输入数据的无表情面部图像S301以及表情动作时的外力信息S30，存储装置M66存储作为输出数据的表情面部图像S33，剩下的存储装置M63～M65保存中间结果以及处理过程中需要的控制数据。显示装置DPY例如由液晶显示器构成，用来显示所生成的表情面部图像S33以及处理过程的数据等。输入装置KEY例如由键盘与鼠标构成，用来从使用者接收各种数据与命令。控制装置CNT61，例如由计算机的中央处理装置构成，执行本实施例的面部动作解码装置的主要处理。控制装置CNT61具有面部图像三维化部32、外力解码部30以及表情图像生成部33。

控制装置CNT61的各个功能部32、30以及33，能够通过构成控制装置CNT61的计算机与面部动作解码装置用程序来实现。面部动作解码装置用程序记录在磁盘等计算机可读记录介质PM61中，在计算机的起动等时读取到该计算机中，通过控制该计算机的运行，来在该计算机上实现各个功能部32、30、33。

接下来，对本实施例的相关面部动作解码装置的动作进行说明。控制装置CNT61，首先使用面部图像三维化部32，输入保存在存储装置M61中的解码用中所使用的某个人物的无表情面部图像S301，通过粘贴在预先存储在存储装置M63中的无表情面部的三维模型S302中，来生成解码用无表情面部三维数据S300，保存在存储装置M64中。接下来，与图26的第8实施例一样，使用外力解码部30，按照保存在存储装置M62中的表情动作的外力信息S30，计算存储在存储装置M64中的解码用无表情面部三维数据S300的动作区域中的各个控制点的移动位置，作为控制点的表情动作移动位置数据S31保存在存储装置M65中。接下来，使用表情图像生成部33，与图26的第8实施例的表情生成部31一样，根据保存在存储装置M65中的控制点的表情动作移动位置数据S31，对保存在存储装置M64中的复原用无表情面部三维数据S300进行变形，生成表情动作时的表情动作面部的三维数据。接下来，将该三维数据投影到指定的视图中，生成解码时的表情动作面部图像S33，输出给存储装置M36。

另外，第8实施例中，输入无表情面部三维数据S300，输出表情动作面部的三维数据S32，第9实施例中，输入无表情面部图像S301，输出表情动作面部图像S33。作为其他例子，还可以考虑输入无表情面部三维数据S300，输出表情动作面部图像S33的面部动作解码装置，以及输入无表情面部图像S301，输出表情动作面部的三维数据S32的面部动作解码装置。

图27的第9实施例中，根据唯一的表情动作的外力信息S30，对某个人物的无表情面部图像S301进行变形，但也可以与图26的第8实施例一样，根据各个不同的多个表情动作的外力信息S30，对无表情面部三图像S301进行变形。

图28为基于本发明的第10实施例的面部动作编码解码装置的框图，根据某个人物A的无表情时与表情动作时的三维数据组，给另一人物B的无表情面部的三维数据添加表情动作。

本实施例的面部动作编码解码装置，具有编码装置71、传输装置72、以及解码装置73，传输装置72与解码装置73通过通信通路74可通信连接起来。另外，还具有保存解码装置71的输入数据的人物A的无表情面部三维数据S100以及人物A的表情动作面部三维数据S101的存储装置M71、保存解码装置71所生成的表情动作的外力数据S12以及表情动作的动作区域S13的存储装置M72、暂存由传输装置72将表情动作的外力数据S12以及动作区域S13综合起来所生成的表情动作的外力信息S30的存储装置M73、保存人物B的无表情面部三维数据S300的存储装置M74、以及保存根据由传输装置72通过通信通路74所发送的表情动作的外力信息S30与保存在存储装置M74中的人物B的无表情面部三维数据S300，由解码装置73所生成的人物B的表情面部三维数据S32的存储装置M75。

编码装置71能够通过图25所示的实施例7的面部动作编码装置来实现。也即，编码装置71由具有图25的差值计算部10以及外力计算部11的处理装置CNT41、存储装置M42、显示装置DPY以及输入装置KEY构成。因此，编码装置71的动作与实施例7的面部动作编码装置的动作相同。

传输装置72，进行表情动作的外力数据S12与其动作区域S13向编码装置73的传输及其控制。动作区域S13，保存为通过以表示面部的一部分的区域、双眼或嘴缝等特征点的位置或距离为基准的相对位置所描述的区域。保存格式考虑将面部投射到平面、圆筒、球面等平面上，通过二维坐标进行保存的方法。另外，由于动作区域被分割为小区域，因此即使在二维坐标上也将动作区域分割为小区域。为了生成控制点的组而给小区域加上编号。外力数据S12，保存有施加给小区域的控制点的外力三维矢量与小区域的编号、以及与动作区域相同的二维坐标上的控制点的位置。另外，动作区域以及小区域不需要发送区域全体，可以只发送其轮廓。传输方法既可以单纯地直接传输，又可以进行可逆编码之后再传输，在接收侧进行解码。向解码装置73，发送将外力数据S12及其动作区域S13综合起来所得到的外力信息S30。

传输装置72的功能，是非对称的表情动作的生成时的处理。非对称表情动作是指，在编码侧产生多个表情动作，传输装置72将它们同时发送给解码装置73，在解码装置73中生成将多个表情动作混合起来的表情动作。这种情况下，需要事先存储用于多个表情动作的外力信息S30的信息。

解码装置73能够通过图26所示的第8实施例的面部动作解码装置来实现。也即，解码装置73由具有图26的外力解码部30以及表情生成部31的处理装置CNT51、存储装置M53、显示装置DPY以及输入装置KEY构成。因此，解码装置73的动作与实施例8的面部动作解码装置的动作相同。

上述说明中，编码装置71使用图25所示的第7实施例的面部动作编码装置，解码装置73使用图26所示的第8实施例的面部动作解码装置。但是，也可以采用编码装置71使用图18所示的第4实施例的面部动作编码装置，解码装置73使用图23所示的第5实施例的面部动作解码装置的面部动作编码解码装置的实施例。

图29为基于本发明的第11实施例的面部动作编码解码装置的框图，根据某个人物A的无表情时与表情动作时的三维数据组，给另一人物B的无表情面部图像添加表情动作。也即，本实施例的面部动作编码解码装置中，将作为图28所示的第10实施例的面部动作编码解码装置中的解码装置的输入的无表情面部三维数据S300，替换成了无表情面部图像S301，将输出的表情面部三维数据S32替换成了表情面部图像S32。

本实施例的面部动作编码解码装置，具有编码装置81、传输装置82、以及解码装置83，传输装置82与解码装置83通过通信通路84可通信连接起来。另外，还具有：保存作为解码装置81的输入数据的人物A的无表情面部三维数据S100以及人物A的表情动作面部三维数据S101的存储装置M81；保存解码装置81所生成的表情动作的外力数据S12以及表情动作的动作区域S13的存储装置M82；暂存由传输装置82将表情动作的外力数据S12以及动作区域S13综合起来所生成的表情动作的外力信息S30的存储装置M83；保存人物B的无表情面部图像S301的存储装置M84；保存无表情面部的三维模型S302的存储装置M85；以及保存根据由传输装置82通过通信通路84所发送的表情动作的外力信息S30与保存在存储装置M84中的人物B的无表情面部三维数据S301，与保存在存储装置M85中的无表情面部的三维模型S302，由解码装置83所生成的人物B的表情面部图像S33的存储装置M86。

解码装置81以及传输装置82，与图28所示的第10实施例的编码装置71以及传输装置72相同。因此，编码装置81能够通过图25所示的第7实施例的面部动作编码装置来实现。另外，解码装置83能够通过图27所示的第9实施例的面部动作解码装置来实现。也即，解码装置83能够由具有图27的面部图像三维化部32、外力解码部30以及表情图像生成部33的处理装置CNT61、存储装置M63～M65、显示装置DPY以及输入装置KEY构成。因此，解码装置83的动作与实施例9的面部动作解码装置的动作相同。

上述说明中，编码装置81使用图25所示的第7实施例的面部动作编码装置，解码装置83使用图27所示的第9实施例的面部动作解码装置。但是，也可以采用编码装置81使用图18所示的第4实施例的面部动作编码装置，解码装置83使用图24所示的第6实施例的面部动作解码装置的面部动作编码解码装置的实施例。

另外，第10实施例具有输入无表情面部三维数据S300，输出表情动作面部的三维数据S32的解码装置73，第11实施例中，具有输入无表情面部图像S301，输出表情动作面部图像S33的解码装置83。但是，作为其他例子，还可以考虑具有输入无表情面部三维数据S300，输出表情动作面部图像S33的解码装置的面部动作解码装置，以及具有输入无表情面部图像S301，输出表情动作面部的三维数据S32的解码装置的面部动作编码解码装置。

上述实施例中，使用计算机图形技术，通过对面部图像以及面部三维数据进行变形，来给面部添加表情。但是，本实施例还可以在机器人的头部安装具有挠性的面具，通过让该面具的形状进行变形，来给面部添加表情。图30中示出了内置在机器人的头部的控制机器的构成例。图30中，1300表示安装在机器人的头部的面具的剖面。面具1300的内侧，在各个动作区域中的各个控制点中，固定有三维执行器1301的可动片1302的端部1303，该端部1303在初始状态下被设为处于无表情时的位置。各个三维执行器1301，通过控制装置1304以及信号线1305相连接，对应于从控制装置1304经信号线1305所发送的移动位置信号，变更可动片1302的端部1303的XYZ坐标位置。由于可动片1302的端部1303固定在面具的背面的控制点中，因此如果移动端部1303的位置，则面具1300的各个控制点便与其周边部分一体移动，面具进行变形，显示出所期望的表情。这种情况下，由于各个控制点周围的区域被各个控制点拖拉移动，因此相邻小区域间的边界部分的平滑化以及动作区域与未动作区域的边界部分的平滑化，并不特别需要。

各个控制点的移动后的XYZ坐标位置保存在存储装置1306中。保存在该存储装置1306中的各个控制点的XYZ坐标位置的计算，与上述第1实施例、第5实施例、第6实施例、第8实施例、第9实施例一样进行。也即，存储装置1306相当于图2中所示的第1实施例中的存储装置M5、图23的第5实施例中的存储装置M25、图24中所示的第6实施例中的存储装置M35、图26中所示的第8实施例中的存储装置M53、图27中所示的第9实施例中的存储装置M65。另外，控制装置1304能够通过计算机与控制装置用程序来实现。

以上对本发明的实施例进行了说明，但本发明并不仅限于上述实施例，还能够添加其他各种变形。例如，伴随着经时形态变化的物体是以人类的面部或机器人的面部为例的，但对于狗或猫的面部等伴随着经时形态变化的任意物体，也能够使用本发明。

权利要求书

(按照条约第19条的修改)

1.(修改后)一种形态变形编码装置，具备：

计算部，其计算表示形态变化前的物体之形态的变化前形态数据，与表示所述形态变化后的所述物体之形态的变化后形态数据之间的差值数据；以及

决定部，其根据所述变化前形态数据与所述差值数据，决定所述物体的产生所述形态变化的动作区域，以及为了进行所述形态变化而施加给所述动作区域的外力，

所述动作区域包括多个小区域，所述多个小区域分别包括多个控制点，

作为求出所述外力的物理模型构造，采用控制点之间通过弹簧与减震器相结合的物理模型构造。

2.如权利要求1所述的形态变形编码装置，其特征在于，

所述计算部具备：

变换部，其根据三维模型，将所述变化前形态数据与所述变化后形态数据，变换成变化前形态模型数据与变化后形态模型数据；以及

差值计算部，其根据所述变化前形态模型数据与所述变化后形态模型数据之间的差，计算出所述差值数据。

3.如权利要求2所述的形态变形编码装置，其特征在于，

所述模型是三维多边形网格模型，所述变化前形态数据与所述变化后形态数据是三维数据。

4.如权利要求1～3中任一项所述的形态变形编码装置，其特征在于，

所述外力，作为根据所述多个小区域各自的物理模型构造，而在所述形态变化的前后让所述多个小区域独立变化所需要的外力被计算。

5.(删除)

6.(修改后)一种形态变形编码装置，其特征在于，

具备：

计算部，其计算表示形态变化前的物体之形态的变化前形态数据，与表示所述形态变化后的所述物体之形态的变化后形态数据之间的差值数据；以及

决定部，其根据所述变化前形态数据与所述差值数据，决定所述物体的产生所述形态变化的动作区域，以及为了进行所述形态变化而施加给所述动作区域的外力，

所述动作区域包括多个小区域，所述多个小区域分别包括多个控制点，

所述外力，作为根据所述多个小区域各自的物理模型构造，而在所述形态变化的前后让所述多个小区域独立变化所需要的外力被计算，所有所述多个小区域中，所述控制点的个数以及所述物理模型构造均相同。

7.(修改后)如权利要求1中任一项所述的形态变形编码装置，其特征在于，

所述物体包括人的面部，所述形态变化前的物体的形态表示无表情的面部的状态，所述形态变化后的物体形态表示显示出了表情的面部的状态。

8.(修改后)一种形态变形解码装置，具备：

解码部，其根据表示形态变化前的物体形态的变化前形态数据，与施加给对应于形态变化的动作区域的外力的信息，决定所述动作区域内的控制点的移动位置；所述动作区域包括多个小区域，所述多个小区域分别包括多个控制点；所述多个小区域的各个所述控制点的移动位置，使用物理模型通过所述多个小区域单位进行决定；以及

形态生成部，其根据所述变化前形态数据与所述多个控制点各自的移动位置，生成表示所述形态变化后的所述物体形态的变化后形态数据，

所述形态生成部，根据所述变化前形态数据与所述多个控制点各自的移动位置，以所述多个小区域单位，生成所述形态变化后的所述物体的形态，

还具备将所述形态变化后的所述多个小区域中的相邻者之间的边界部分中所产生的不连续场所平滑化的相邻小区域调整部。

9.如权利要求8所述的形态变形解码装置，其特征在于，

所述变化前形态数据是三维数据，

所述解码部具备：

模型数据生成部，根据所述形态变化前的所述物体形态的三维模型与所述变化前形态数据，生成变化前形态模型数据；以及

移动量计算部，根据所述外力信息，由所述变化前形态模型数据，决定所述动作区域内的控制点各自的移动位置。

10.如权利要求8所述的形态变形解码装置，其特征在于，

所述变化前形态数据是三维数据，

所述解码部具备：

网格模型数据生成部，根据三维多边形网格模型与所述变化前形态数据，生成变化前形态网格模型数据；以及

移动量计算部，根据所述外力信息，由所述变化前形态网格模型数据，决定所述动作区域内的控制点各自的移动位置。

11.(修改后)如权利要求8中任一项所述的形态变形解码装置，其特征在于，

还具备动作内插部，其在所述多个小区域的每一个中，将所述小区域中所含有的控制点以外的非控制点的移动位置，根据该非控制点附近的所述控制点的移动位置进行计算。

12.(删除)

13.(删除)

14.(修改后)一种形态变形解码装置，其特征在于，具备：

解码部，其根据表示形态变化前的物体形态的变化前形态数据，与施加给对应于形态变化的动作区域的外力的信息，决定所述动作区域内的控制点的移动位置；所述动作区域包括多个小区域，所述多个小区域分别包括多个控制点；所述多个小区域的各个所述控制点的移动位置，使用物理模型通过所述多个小区域单位进行决定；以及

形态生成部，其根据所述变化前形态数据与所述多个控制点各自的移动位置，生成表示所述形态变化后的所述物体形态的变化后形态数据，

所述形态生成部，根据所述变化前形态数据与所述多个控制点各自的移动位置，以所述多个小区域单位，生成所述形态变化后的所述物体的形态，

还具备未动作区域调整部，其将所述形态变化后的所述动作区域与其周围的未动作区域之间的边界部分中所产生的不连续场所平滑化。

15.(修改后)一种形态变形解码装置，其特征在于，具备：

解码部，其根据表示形态变化前的物体形态的变化前形态数据，与施加给对应于形态变化的动作区域的外力的信息，决定所述动作区域内的控制点的移动位置；所述动作区域包括多个小区域，所述多个小区域分别包括多个控制点；上述多个小区域的各个上述控制点的移动位置，使用物理模型通过上述多个小区域单位进行决定；以及

形态生成部，其根据上述变化前形态数据与上述多个控制点各自的移动位置，生成表示上述形态变化后的上述物体形态的变化后形态数据，

所述多个小区域各自的物理模型中，所述控制点通过弹簧与减震器相结合。

16.(修改后)如权利要求8所述的形态变形解码装置，其特征在于，

所述物体包括人的面部，所述形态变化前的形态表示无表情的面部，所述形态变化后的形态表示显示出了表情的面部。

17.(修改后)如权利要求8所述的形态变形解码装置，其特征在于，

还具备三维执行器群，其根据所述变化后形态数据，驱动具有挠性的所述物体中的所述动作区域。

18.(修改后)一种形态变形编码解码装置，具备：

如权利要求1所述的形态变形编码装置；

如权利要求8所述的形态变形解码装置；以及

传输装置，其将所述形态变形编码装置所产生的所述动作区域与所述外力信息，经通信通路传输给所述形态变形解码装置。

19.(修改后)一种形态变形编码方法，具备：

计算表示形态变化前的物体之形态的变化前形态数据，与表示所述形态变化后的所述物体之形态的变化后形态数据之间的差值数据的步骤；以及

根据所述变化前形态数据与所述差值数据，决定所述物体的产生所述形态变化的动作区域，以及为了进行所述形态变化而施加给所述动作区域的外力的步骤，

所述动作区域包括多个小区域，所述多个小区域分别包括多个控制点，

作为用来决定所述外力的物理模型构造，采用控制点之间通过弹簧与减震器相结合的物理模型构造。

20.如权利要求19所述的形态变形编码方法，其特征在于，

所述计算步骤具备：

根据三维模型，将所述变化前形态数据与所述变化后形态数据，变换成变化前形态模型数据与变化后形态模型数据的步骤；以及

根据所述变化前形态模型数据与所述变化后形态模型数据之间的差，计算所述差值数据的步骤。

21.如权利要求20所述的形态变形编码方法，其特征在于，

所述模型是三维多边形网格模型，所述变化前形态数据与所述变化后形态数据是三维数据。

22.如权利要求19～21中任一项所述的形态变形编码方法，其特征在于，

所述动作区域包括多个小区域，所述多个小区域分别包括多个控制点，

所述外力，作为根据所述多个小区域各自的物理模型构造，而在所述形态变化的前后让所述多个小区域独立变化所需要的外力被计算。

23.(删除)

24.(修改后)一种形态变形编码方法，其特征在于，具备：

计算出表示形态变化前的物体之形态的变化前形态数据，与表示所述形态变化后的所述物体之形态的变化后形态数据之间的差值数据的步骤；以及

根据所述变化前形态数据与所述差值数据，决定所述物体的产生所述形态变化的动作区域，以及为了进行所述形态变化而施加给所述动作区域的外力的步骤，

所述动作区域包括多个小区域，所述多个小区域分别包括多个控制点，

所述外力，作为根据所述多个小区域各自的物理模型构造，而在所述形态变化的前后让所述多个小区域独立变化所需要的外力被计算，

所有所述多个小区域中，所述控制点的个数以及所述物理模型构造均相同。

25.(修改后)如权利要求24所述的形态变形编码方法，其特征在于，

所述物体包括人的面部，所述形态变化前的物体的形态表示无表情的面部的状态，所述形态变化后的物体形态表示显示出了表情的面部的状态。

26.(修改后)一种形态变形解码方法，具备：

根据表示形态变化前的物体形态的变化前形态数据，与施加给对应于形态变化的动作区域的外力的信息，决定所述动作区域内的控制点的移动位置的步骤；所述动作区域包括多个小区域，所述多个小区域分别包括多个控制点；所述多个小区域的各个所述控制点的移动位置，使用物理模型通过所述多个小区域单位进行决定；以及

根据所述变化前形态数据与所述多个控制点各自的移动位置，生成表示所述形态变化后的所述物体形态的变化后形态数据的步骤，

所述生成变化后形态数据的步骤，

根据所述变化前形态数据与所述多个控制点各自的移动位置，以所述多个小区域单位，生成所述形态变化后的所述物体的形态，

还具备将所述形态变化后的所述多个小区域中的相邻者之间的边界部分中所产生的不连续场所平滑化的步骤。

27.如权利要求26所述的形态变形解码方法，其特征在于，

所述变化前形态数据是三维数据，

所述决定移动位置的步骤具备：

根据所述形态变化前的所述物体形态的三维模型与所述变化前形态数据，生成变化前形态模型数据的步骤；以及

根据所述外力信息，由所述变化前形态模型数据，决定所述动作区域内的控制点各自的移动位置的步骤。

28.如权利要求26所述的形态变形解码方法，其特征在于，

所述变化前形态数据是三维数据，

所述决定移动位置的步骤具备：

根据三维多边形网格模型与所述变化前形态数据，生成变化前形态网格模型数据的步骤；以及

根据所述外力信息，由所述变化前形态网格模型数据，决定所述动作区域内的控制点各自的移动位置的步骤。

29.如权利要求26～28中任一项所述的形态变形解码方法，其特征在于，

还具备在所述多个小区域的每一个中，将所述小区域中所含有的控制点以外的非控制点的移动位置，根据该非控制点附近的所述控制点的移动位置进行计算的步骤。

30.(删除)

31.(删除)

32.(修改后)

一种形态变形解码方法，其特征在于，具备：

根据表示形态变化前的物体形态的变化前形态数据，与施加给对应于形态变化的动作区域的外力的信息，决定所述动作区域内的控制点的移动位置的步骤；所述动作区域包括多个小区域，所述多个小区域分别包括多个控制点；所述多个小区域的各个所述控制点的移动位置，使用物理模型通过所述多个小区域单位进行决定；

根据所述变化前形态数据与所述多个控制点各自的移动位置，生成表示所述形态变化后的所述物体形态的变化后形态数据的步骤；以及

将所述形态变化后的所述动作区域与其周围的未动作区域之间的边界部分中所产生的不连续场所平滑化的步骤。

33.(修改后)一种形态变形解码方法，其特征在于，具备：

根据表示形态变化前的物体形态的变化前形态数据，与施加给对应于形态变化的动作区域的外力的信息，决定所述动作区域内的控制点的移动位置的步骤；所述动作区域包括多个小区域，所述多个小区域分别包括多个控制点；所述多个小区域的各个所述控制点的移动位置，使用物理模型通过所述多个小区域单位进行决定；以及

根据所述变化前形态数据与所述多个控制点各自的移动位置，生成表示所述形态变化后的所述物体形态的变化后形态数据的步骤，

所述多个小区域各自的物理模型中，所述控制点通过弹簧与减震器相结合。

34.(修改后)如权利要求26中任一项所述的形态变形解码方法，其特征在于，

所述物体包括人的面部，所述形态变化前的形态表示无表情的面部，所述形态变化后的形态表示显示出了表情的面部。

35.(修改后)一种形态变形解码方法，其特征在于，具备：

根据表示形态变化前的物体形态的变化前形态数据，与施加给对应于形态变化的动作区域的外力的信息，决定所述动作区域内的控制点的移动位置的步骤；所述动作区域包括多个小区域，所述多个小区域分别包括多个控制点；所述多个小区域的各个所述控制点的移动位置，使用物理模型通过所述多个小区域单位进行决定；以及

根据所述变化前形态数据与所述多个控制点各自的移动位置，生成表示所述形态变化后的所述物体形态的变化后形态数据的步骤，

所述物体是机器人；

还具备根据所述变化后形态数据，驱动具备挠性的所述物体中的所述动作区域的步骤。

36.一种形态变形编码解码方法，具备：

通过权利要求19所述的形态变形编码方法，生成所述动作区域的信息与所述外力的信息的步骤；

将所述动作区域的信息与所述外力信息通过通信通路进行传输的步骤；以及

通过权利要求26所述的形态变形解码方法，根据所述所传输的动作区域的信息，与所述所传输的外力的信息，生成表示所述物体的形态的变化后形态数据的步骤。

37.(修改后)一种用来实现形态变形编码方法的计算机可读软件产品，所述形态变形编码方法具备：

计算表示形态变化前的物体之形态的变化前形态数据，与表示所述形态变化后的所述物体之形态的变化后形态数据之间的差值数据的步骤；以及

根据所述变化前形态数据与所述差值数据，决定所述物体的产生所述形态变化的动作区域，以及为了进行所述形态变化而施加给所述动作区域的外力的步骤，

所述动作区域包括多个小区域，所述多个小区域分别包括多个控制点，

作为物理模型构造，采用控制点之间通过弹簧与减震器相结合的物理模型构造。

38.如权利要求37所述的计算机可读软件产品，其特征在于，

所述计算步骤具备：

根据三维模型，将所述变化前形态数据与所述变化后形态数据，变换成变化前形态模型数据与变化后形态模型数据的步骤；以及

根据所述变化前形态模型数据与所述变化后形态模型数据之间的差，计算出所述差值数据的步骤。

39.如权利要求38所述的计算机可读软件产品，其特征在于，

所述模型是三维多边形网格模型，所述变化前形态数据与所述变化后形态数据是三维数据。

40.(修改后)如权利要求37～39中任一项所述的计算机可读软件产品，其特征在于，

所述外力，作为根据所述多个小区域各自的物理模型构造，而在所述形态变化的前后让所述多个小区域独立变化所需要的外力被计算。

41.(删除)

42.(修改后)

一种用来实现形态变形编码方法的计算机可读软件产品，其特征在于，具备：

计算出表示形态变化前的物体之形态的变化前形态数据，与表示所述形态变化后的所述物体之形态的变化后形态数据之间的差值数据的步骤；以及

根据所述变化前形态数据与所述差值数据，决定所述物体的产生所述形态变化的动作区域，以及为了进行所述形态变化而施加给所述动作区域的外力的步骤，

所述动作区域包括多个小区域，所述多个小区域分别包括多个控制点，

作为物理模型构造，采用控制点之间通过弹簧与减震器相结合的物理模型构造；

所有所述多个小区域中，所述控制点的个数以及所述物理模型构造均相同。

43.如权利要求42中任一项所述的计算机可读软件产品，其特征在于，

所述物体包括人的面部，所述形态变化前的物体的形态表示无表情的面部的状态，所述形态变化后的物体形态表示显示出了表情的面部的状态。

44.(修改后)一种用来实现形态变形解码方法的计算机可读软件产品，其特征在于，该形态变形解码方法具备：

根据表示形态变化前的物体形态的变化前形态数据，与施加给对应于形态变化的动作区域的外力的信息，决定所述动作区域内的控制点的移动位置的步骤；所述动作区域包括多个小区域，所述多个小区域分别包括多个控制点；所述多个小区域的各个所述控制点的移动位置，使用物理模型通过所述多个小区域单位进行决定；以及

根据所述变化前形态数据与所述多个控制点各自的移动位置，生成表示所述形态变化后的所述物体形态的变化后形态数据的步骤，

所述多个小区域各自的物理模型中，所述控制点通过弹簧与减震器相结合。

45.如权利要求44所述的计算机可读软件产品，其特征在于，

所述变化前形态数据是三维数据，

所述决定移动位置的步骤具备：

根据所述形态变化前的所述物体形态的三维模型与所述变化前形态数据，生成变化前形态模型数据的步骤；以及

根据所述外力信息，由所述变化前形态模型数据，决定所述动作区域内的控制点各自的移动位置的步骤。

46.如权利要求44所述的计算机可读软件产品，其特征在于，

所述变化前形态数据是三维数据，

所述决定移动位置的步骤具备：

根据三维多边形网格模型与所述变化前形态数据，生成变化前形态网格模型数据的步骤；以及

根据所述外力信息，由所述变化前形态网格模型数据，决定所述动作区域内的控制点各自的移动位置的步骤。

47.(修改后)如权利要求44所述的计算机可读软件产品，其特征在于，

还具备在所述多个小区域的每一个中，将所述小区域中所含有的控制点以外的非控制点的移动位置，根据该非控制点附近的所述控制点的移动位置进行计算的步骤。

48.(修改后)如权利要求44所述的计算机可读软件产品，其特征在于，

所述生成变化后形态数据的步骤，

根据所述变化前形态数据与所述多个控制点各自的移动位置，以所述多个小区域单位，生成所述形态变化后的所述物体的形态。

49.如权利要求48所述的计算机可读软件产品，其特征在于，

还具备将所述形态变化后的所述多个小区域中的相邻者之间的边界部分中所产生的不连续场所平滑化的步骤。

50.如权利要求48或49所述的计算机可读软件产品，其特征在于，

还具备将所述形态变化后的所述动作区域与其周围的未动作区域之间的边界部分中所产生的不连续场所平滑化的步骤。

51.(删除)

52.(修改后)如权利要求44所述的计算机可读软件产品，其特征在于，

所述物体包括人的面部，所述形态变化前的形态表示无表情的面部，所述形态变化后的形态表示显示出了表情的面部。

53.(修改后)如权利要求44所述的计算机可读软件产品，其特征在于，

所述物体是机器人，

还具备根据所述变化后形态数据，驱动具备挠性的所述物体中的所述动作区域的步骤。

Claims (53)

1.一种形态变形编码装置，具备：

计算部，其计算表示形态变化前的物体之形态的变化前形态数据，与表示所述形态变化后的所述物体之形态的变化后形态数据之间的差值数据；以及

决定部，其根据所述变化前形态数据与所述差值数据，决定所述物体的产生所述形态变化的动作区域，以及为了进行所述形态变化而施加给所述动作区域的外力。

2.如权利要求1所述的形态变形编码装置，其特征在于，

所述计算部具备：

变换部，其根据三维模型，将所述变化前形态数据与所述变化后形态数据，变换成变化前形态模型数据与变化后形态模型数据；以及

差值计算部，其根据所述变化前形态模型数据与所述变化后形态模型数据之间的差，计算出所述差值数据。

3.如权利要求2所述的形态变形编码装置，其特征在于，

所述模型是三维多边形网格模型，所述变化前形态数据与所述变化后形态数据是三维数据。

4.如权利要求1～3中任一个所述的形态变形编码装置，其特征在于，

所述动作区域包括多个小区域，所述多个小区域分别包括多个控制点，

所述外力，作为根据所述多个小区域各自的物理模型构造，而在所述形态变化的前后让所述多个小区域独立变化所需要的外力被计算。

5.如权利要求4所述的形态变形编码装置，其特征在于，

所述物理模型构造，采用控制点之间通过弹簧与减震器相结合的物理模型构造。

6.如权利要求4或5所述的形态变形编码装置，其特征在于，

所有所述多个小区域中，所述控制点的个数以及所述物理模型构造均相同。

7.如权利要求1～6中任一个所述的形态变形编码装置，其特征在于，

所述物体包括人的面部，所述形态变化前的物体的形态表示无表情的面部的状态，所述形态变化后的物体形态表示显示出了表情的面部的状态。

8.一种形态变形解码装置，具备：

解码部，其根据表示形态变化前的物体形态的变化前形态数据，与施加给对应于形态变化的动作区域的外力的信息，决定所述动作区域内的控制点的移动位置；所述动作区域包括多个小区域，所述多个小区域分别包括多个控制点；所述多个小区域的各个所述控制点的移动位置，使用物理模型通过所述多个小区域单位进行决定；以及

形态生成部，其根据所述变化前形态数据与所述多个控制点各自的移动位置，生成表示所述形态变化后的所述物体形态的变化后形态数据。

9.如权利要求8所述的形态变形解码装置，其特征在于，

所述变化前形态数据是三维数据，

所述解码部具备：

模型数据生成部，根据所述形态变化前的所述物体形态的三维模型与所述变化前形态数据，生成变化前形态模型数据；以及

移动量计算部，根据所述外力信息，由所述变化前形态模型数据，决定所述动作区域内的控制点各自的移动位置。

10.如权利要求8所述的形态变形解码装置，其特征在于，

所述变化前形态数据是三维数据，

所述解码部具备：

网格模型数据生成部，根据三维多边形网格模型与所述变化前形态数据，生成变化前形态网格模型数据；以及

移动量计算部，根据所述外力信息，由所述变化前形态网格模型数据，决定所述动作区域内的控制点各自的移动位置。

11.如权利要求8～10中任一项所述的形态变形解码装置，其特征在于，

还具备动作内插部，其在所述多个小区域的每一个中，将所述小区域中所含有的控制点以外的非控制点的移动位置，根据该非控制点附近的所述控制点的移动位置进行计算。

12.如权利要求8～11中任一项所述的形态变形解码装置，其特征在于，

所述形态生成部，根据所述变化前形态数据与所述多个控制点各自的移动位置，以所述多个小区域单位，生成所述形态变化后的所述物体的形态。

13.如权利要求12所述的形态变形解码装置，其特征在于，

还具备相邻小区域调整部，其将所述形态变化后的所述多个小区域中的相邻者之间的边界部分中所产生的不连续场所平滑化。

14.如权利要求12或13所述的形态变形解码装置，其特征在于，

还具备未动作区域调整部，其将所述形态变化后的所述动作区域与其周围的未动作区域之间的边界部分中所产生的不连续场所平滑化。

15.如权利要求8～14中任一项所述的形态变形解码装置，其特征在于，

所述多个小区域各自的物理模型中，所述控制点通过弹簧与减震器相结合。

16.如权利要求8～15中任一项所述的形态变形解码装置，其特征在于，

所述物体包括人的面部，所述形态变化前的形态表示无表情的面部，所述形态变化后的形态表示显示出了表情的面部。

17.如权利要求8～16中任一项所述的形态变形解码装置，其特征在于，

还具备三维执行器群，其根据所述变化后形态数据，驱动具有挠性的所述物体中的所述动作区域。

18.一种形态变形编码解码装置，具备：

如权利要求1～7中任一项所述的形态变形编码装置；

如权利要求8～17中任一项所述的形态变形解码装置；以及

传输装置，其将所述形态变形编码装置所产生的所述动作区域与所述外力信息，经通信通路传输给所述形态变形解码装置。

19.一种形态变形编码方法，具备：

计算表示形态变化前的物体之形态的变化前形态数据，与表示所述形态变化后的所述物体之形态的变化后形态数据之间的差值数据的步骤；以及

根据所述变化前形态数据与所述差值数据，决定所述物体的产生所述形态变化的动作区域，以及为了进行所述形态变化而施加给所述动作区域的外力的步骤。

20.如权利要求19所述的形态变形编码方法，其特征在于，

所述计算步骤具备：

根据三维模型，将所述变化前形态数据与所述变化后形态数据，变换成变化前形态模型数据与变化后形态模型数据的步骤；以及

根据所述变化前形态模型数据与所述变化后形态模型数据之间的差，计算所述差值数据的步骤。

21.如权利要求20所述的形态变形编码方法，其特征在于，

所述模型是三维多边形网格模型，所述变化前形态数据与所述变化后形态数据是三维数据。

22.如权利要求19～21中任一项所述的形态变形编码方法，其特征在于，

所述动作区域包括多个小区域，所述多个小区域分别包括多个控制点，

所述外力，作为根据所述多个小区域各自的物理模型构造，而在所述形态变化的前后让所述多个小区域独立变化所需要的外力被计算。

23.如权利要求22所述的形态变形编码方法，其特征在于，

所述物理模型构造，采用控制点之间通过弹簧与减震器相结合的物理模型构造。

24.如权利要求22或23所述的形态变形编码方法，其特征在于，

所有所述多个小区域中，所述控制点的个数以及所述物理模型构造均相同。

25.如权利要求19～24中任一项所述的形态变形编码方法，其特征在于，

所述物体包括人的面部，所述形态变化前的物体的形态表示无表情的面部的状态，所述形态变化后的物体形态表示显示出了表情的面部的状态。

26.一种形态变形解码方法，具备：

根据表示形态变化前的物体形态的变化前形态数据，与施加给对应于形态变化的动作区域的外力的信息，决定所述动作区域内的控制点的移动位置的步骤；所述动作区域包括多个小区域，所述多个小区域分别包括多个控制点；所述多个小区域的各个所述控制点的移动位置，使用物理模型通过所述多个小区域单位进行决定；以及

根据所述变化前形态数据与所述多个控制点各自的移动位置，生成表示所述形态变化后的所述物体形态的变化后形态数据的步骤。

27.如权利要求26所述的形态变形解码方法，其特征在于，

所述变化前形态数据是三维数据，

所述决定移动位置的步骤具备：

根据所述形态变化前的所述物体形态的三维模型与所述变化前形态数据，生成变化前形态模型数据的步骤；以及

根据所述外力信息，由所述变化前形态模型数据，决定所述动作区域内的控制点各自的移动位置的步骤。

28.如权利要求26所述的形态变形解码方法，其特征在于，

所述变化前形态数据是三维数据，

所述决定移动位置的步骤具备：

根据三维多边形网格模型与所述变化前形态数据，生成变化前形态网格模型数据的步骤；以及

根据所述外力信息，由所述变化前形态网格模型数据，决定所述动作区域内的控制点各自的移动位置的步骤。

29.如权利要求26～28中任一项所述的形态变形解码方法，其特征在于，

还具备在所述多个小区域的每一个中，将所述小区域中所含有的控制点以外的非控制点的移动位置，根据该非控制点附近的所述控制点的移动位置进行计算的步骤。

30.如权利要求26～29中任一项所述的形态变形解码方法，其特征在于，

所述生成变化后形态数据的步骤，

根据所述变化前形态数据与所述多个控制点各自的移动位置，以所述多个小区域单位，生成所述形态变化后的所述物体的形态。

31.如权利要求30所述的形态变形解码方法，其特征在于，

还具备将所述形态变化后的所述多个小区域中的相邻者之间的边界部分中所产生的不连续场所平滑化的步骤。

32.如权利要求30或31所述的形态变形解码方法，其特征在于，

还具备将所述形态变化后的所述动作区域与其周围的未动作区域之间的边界部分中所产生的不连续场所平滑化的步骤。

33.如权利要求26～32中任一项所述的形态变形解码方法，其特征在于，

所述多个小区域各自的物理模型中，所述控制点通过弹簧与减震器相结合。

34.如权利要求26～33中任一项所述的形态变形解码方法，其特征在于，

所述物体包括人的面部，所述形态变化前的形态表示无表情的面部，所述形态变化后的形态表示显示出了表情的面部。

35.如权利要求26～34中任一项所述的形态变形解码方法，其特征在于，

所述物体是机器人；

还具备根据所述变化后形态数据，驱动具备挠性的所述物体中的所述动作区域的步骤。

36.一种形态变形编码解码方法，具备：

通过权利要求19～25中任一项所述的形态变形编码方法，生成所述动作区域的信息与所述外力的信息的步骤；

将所述动作区域的信息与所述外力信息通过通信通路进行传输的步骤；以及

通过权利要求26～35中任一项所述的形态变形解码方法，根据所述所传输的动作区域的信息，与所述所传输的外力的信息，生成表示所述物体的形态的变化后形态数据的步骤。

37.一种用来实现形态变形编码方法的计算机可读软件产品，所述形态变形编码方法具备：

计算表示形态变化前的物体之形态的变化前形态数据，与表示所述形态变化后的所述物体之形态的变化后形态数据之间的差值数据的步骤；以及

根据所述变化前形态数据与所述差值数据，决定所述物体的产生所述形态变化的动作区域，以及为了进行所述形态变化而施加给所述动作区域的外力的步骤。

38.如权利要求37所述的计算机可读软件产品，其特征在于，

所述计算步骤具备：

根据三维模型，将所述变化前形态数据与所述变化后形态数据，变换成变化前形态模型数据与变化后形态模型数据的步骤；以及

根据所述变化前形态模型数据与所述变化后形态模型数据之间的差，计算出所述差值数据的步骤。

39.如权利要求38所述的计算机可读软件产品，其特征在于，

所述模型是三维多边形网格模型，所述变化前形态数据与所述变化后形态数据是三维数据。

40.如权利要求37～39中任一项所述的计算机可读软件产品，其特征在于，

所述动作区域包括多个小区域，所述多个小区域分别包括多个控制点，

所述外力，作为根据所述多个小区域各自的物理模型构造，而在所述形态变化的前后让所述多个小区域独立变化所需要的外力被计算。

41.如权利要求40所述的计算机可读软件产品，其特征在于，

所述物理模型构造，采用控制点之间通过弹簧与减震器相结合的物理模型构造。

42.如权利要求40或41所述的计算机可读软件产品，其特征在于，

所有所述多个小区域中，所述控制点的个数以及所述物理模型构造均相同。

43.如权利要求37～42中任一项所述的计算机可读软件产品，其特征在于，

所述物体包括人的面部，所述形态变化前的物体的形态表示无表情的面部的状态，所述形态变化后的物体形态表示显示出了表情的面部的状态。

44.一种用来实现形态变形解码方法的计算机可读软件产品，其特征在于，该形态变形解码方法具备：

根据表示形态变化前的物体形态的变化前形态数据，与施加给对应于形态变化的动作区域的外力的信息，决定所述动作区域内的控制点的移动位置的步骤；所述动作区域包括多个小区域，所述多个小区域分别包括多个控制点；所述多个小区域的各个所述控制点的移动位置，使用物理模型通过所述多个小区域单位进行决定；以及

根据所述变化前形态数据与所述多个控制点各自的移动位置，生成表示所述形态变化后的所述物体形态的变化后形态数据的步骤。

45.如权利要求44所述的计算机可读软件产品，其特征在于，

所述变化前形态数据是三维数据，

所述决定移动位置的步骤具备：

根据所述形态变化前的所述物体形态的三维模型与所述变化前形态数据，生成变化前形态模型数据的步骤；以及

根据所述外力信息，由所述变化前形态模型数据，决定所述动作区域内的控制点各自的移动位置的步骤。

46.如权利要求44所述的计算机可读软件产品，其特征在于，

所述变化前形态数据是三维数据，

所述决定移动位置的步骤具备：

根据三维多边形网格模型与所述变化前形态数据，生成变化前形态网格模型数据的步骤；以及

根据所述外力信息，由所述变化前形态网格模型数据，决定所述动作区域内的控制点各自的移动位置的步骤。

47.如权利要求44～46中任一项所述的计算机可读软件产品，其特征在于，

还具备在所述多个小区域的每一个中，将所述小区域中所含有的控制点以外的非控制点的移动位置，根据该非控制点附近的所述控制点的移动位置进行计算的步骤。

48.如权利要求44～47中任一项所述的计算机可读软件产品，其特征在于，

所述生成变化后形态数据的步骤，

根据所述变化前形态数据与所述多个控制点各自的移动位置，以所述多个小区域单位，生成所述形态变化后的所述物体的形态。

49.如权利要求48所述的计算机可读软件产品，其特征在于，

还具备将所述形态变化后的所述多个小区域中的相邻者之间的边界部分中所产生的不连续场所平滑化的步骤。

50.如权利要求48或49所述的计算机可读软件产品，其特征在于，

还具备将所述形态变化后的所述动作区域与其周围的未动作区域之间的边界部分中所产生的不连续场所平滑化的步骤。

51.如权利要求44～50中任一项所述的计算机可读软件产品，其特征在于，

所述多个小区域各自的物理模型中，所述控制点通过弹簧与减震器相结合。

52.如权利要求44～51中任一项所述的计算机可读软件产品，其特征在于，

所述物体包括人的面部，所述形态变化前的形态表示无表情的面部，所述形态变化后的形态表示显示出了表情的面部。

53.如权利要求44～52中任一项所述的计算机可读软件产品，其特征在于，

所述物体是机器人，

还具备根据所述变化后形态数据，驱动具备挠性的所述物体中的所述动作区域的步骤。

Images