CN102004897A - 用于处理图像的装置、方法和程序 - Google Patents

Abstract

本发明涉及用于处理图像的装置、方法和程序。图像处理装置包括：脸部检测器装置，用于从包括用户的脸部的图像检测脸部区域；部分检测器装置，用于检测被包括在由该脸部检测器装置检测的该脸部区域中的该脸部的部分的位置布局；确定器装置，用于依据由该部分检测器装置检测的该部分的位置布局来确定该脸部的属性，和计算表明属性确定结果的分数；模型选择器装置，用于依据由该确定器装置计算的分数来选择要替换图像中该用户的脸部而显示的模型；和图像产生器装置，用于产生由该模型选择器装置选择的该模型的脸部的图像，以及合成该模型的脸部的图像与该脸部区域内的该用户的脸部。

Description

用于处理图像的装置、方法和程序

技术领域

本发明涉及图像处理装置、图像处理方法和图像处理程序，具体地，涉及用于呈现用户更易受影响(amenable)的图像的图像处理装置、图像处理方法和图像处理程序。

背景技术

现有技术图像处理装置的一种典型的图像处理装置在实时的基础上检测图像中用户的脸部，并且将脸部的图像部分地或整个地替换为与检测的用户的脸部同步的另一个图像。

例如，日本未审查的专利申请公开No.2005-157679公开了以高辨别性能检测任何尺寸的脸部图像的技术。日本未审查的专利申请公开No.2005-284348公开了快速检测脸部图像的技术。日本未审查的专利申请公开No.2002-232783公开了根据从图像中检测的脸部图像的定向粘接(gluing)在多个方向上预拍摄的用户的脸部图像的技术。

以这种方式预拍摄的脸部图像和从图像中检测的脸部图像可被替换为经过计算机图形学生成的化身。通过在实时的基础上检测用户的脸部表情的改变，替换化身的表情可与用户的脸部表情的改变同步。例如，化身的眼睛的张开或化身的嘴巴的张开可根据用户的脸部表情而变化。化身的微笑程度可根据用户的微笑程度而变化。

日本未审查的专利申请公开No.2007-156650公开了产生自然的脸部表情的技术。日本未审查的专利申请公开No.7-44727公开了与语音同步地变化嘴形的技术。

发明内容

通过将图像中用户的脸部替换为化身，用户可以易受(比如游戏或虚拟空间中)图像的影响。用户希望地移情该图像。

由此，希望提供用户更易受影响的图像。

在本发明的一个实施例中，一种图像处理装置，包括：脸部检测器装置，用于从包括用户的脸部的图像检测脸部区域；部分检测器装置，用于检测被包括在由该脸部检测器装置检测的该脸部区域中的该脸部的部分的位置布局；确定器装置，用于依据由该部分检测器装置检测的该部分的位置布局来确定该脸部的属性并计算表明属性确定结果的分数；模型选择器装置，用于依据由该确定器装置计算的分数来选择要替换图像中该用户的脸部而显示的模型；和图像产生器装置，用于产生由该模型选择器装置选择的该模型的脸部的图像并合成该脸部区域内的该用户的脸部与该模型的脸部的图像。

在本发明的另一个实施例中，图像处理方法和图像处理程序中的一个包括如下步骤：从包括用户的脸部的图像检测脸部区域；检测被包括在该脸部区域中的该脸部的部分的位置布局；依据该部分的位置布局来确定该脸部的属性并计算表明属性确定结果的分数；依据该分数，选择要替换在该图像中该用户的脸部而显示的模型；和产生所选择的模型的脸部的图像并合成该脸部区域中该用户的脸部与该模型的脸部的图像。

在本发明的又一个实施例中，从包括用户脸部的图像检测脸部区域，检测被包括在脸部区域中的脸部的部分的位置布局，依据部分的位置布局确定脸部的属性并计算表明属性确定结果的分数。依据分数选择要替换图像中用户脸部而显示的模型。产生被选择的模型的脸部的图像并以脸部区域内用户的脸部合成模型的脸部的图像。

在本发明的再一个实施例中，由此提供用户易受影响的图像。

附图说明

图1是根据本发明的一个实施例的图像处理装置的框图；

图2A和2B示出了图像处理装置的图像处理过程；

图3示出了脸部检测结果信息；

图4示出了脸部位置信息；

图5A和5B示出了部分结果信息；

图6示出了被包括在脸部检测结果信息中的脸部区域的角度旋转和被包括在脸部位置信息中的脸部区域的姿态(posture)；

图7A和7B示出了过滤处理器的过滤处理；

图8A-8C示出了表明化身的脸部定向的参数；

图9A-9C示出了表明化身的脸部位置的参数；

图10A和10B示出了表明化身的右眼和左眼的关闭比率的参数；

图11A-11C示出了表明化身的嘴巴张开比率的参数；

图12A和12B示出了表明化身的微笑比率的参数；

图13示出了表情合成；

图14是由图像处理装置执行的图像处理过程的流程图；

图15是模型选择处理的流程图；

图16是脸部定向修正处理的流程图；

图17示出了用在表情合成中的参数；

图18A和18B示出了嘴形的合成处理；

图19是嘴形合成器的框图；

图20示出了参数的例子；

图21示出了参数产生器的过滤处理的基本概念；

图22A-22C示出了误差分布的方差σ_f ²的改变和过滤器的输出值u_p的改变之间的关系；

图23A和23B示出了状态估计结果值的加速度分量的分布和状态估计结果值的速度分量的分布；

图24是过滤处理器的框图；

图25是过滤处理器的过滤处理的流程图；和

图26是示出了根据本发明的一个实施例的计算机的框图。

具体实施方式

下面参照附图详细描述本发明的实施例。

图1是本发明的一个实施例的图像处理装置的框图。

参照图1，图像处理装置11连接到照相机12和显示器13。

照相机12包括成像设备和成像光学系统，成像设备例如为电荷耦合设备(CCD)或互补金属氧化物半导体(CMOS)传感器，成像光学系统包括多个透镜。照相机12经由成像光学系统将由成像设备拍摄的图像供应到图像处理装置11。

显示器13包括诸如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示面板(PDP)或有机电致发光(EL)面板的显示器设备。显示器13被供应由图像处理装置11处理的图像，然后显示图像。

图像处理装置11执行图像处理过程，以便在由照相机12拍摄的图像中显示用户脸部的区域中合成经过计算机图形学产生的化身的脸部。化身指的是在用于玩游戏和聊天的虚拟空间中被显示作为表示人的图片的角色。根据本实施例，经过计算机图形学产生并替换用户脸部而被显示的角色的脸部在下文中被称为化身。

参照图2A和2B，一般地描述图像处理装置11的图像处理过程。图2A示出了由照相机12拍摄然后输入到图像处理装置11的图像。图2B示出了由图像处理装置11处理然后在显示器13上显示的图像。

图像处理装置11检测呈现在输入图像中的用户脸部，并基于从脸部图像提取的属性(特征)来确定脸部是成年的或儿童的、以及男性的或女性的。图像处理装置11基于确定结果来产生化身，并通过将化身与输入图像进行合成来产生输出图像，使得化身覆盖在用户脸部的位置。由此显示具有替换呈现在输入图像中的男性成年人的脸部、与男性成年人对应的化身的输出图像。由此显示具有替换呈现在输入图像中的女性成年人的脸部、与女性成年人对应的化身的输出图像。参照图2B，呈现在输入图像中的儿童的脸部被作为与儿童对应的化身的动物角色替换。

图像处理装置11在实时的基础上对由照相机12拍摄的移动图像执行图像处理过程。如果在用户的脸部上表情改变，那么化身的表情也可以被同步改变。

如图1中所示，图像处理装置11包括照相机输入单元14、脸部识别器15、模型选择器16、参数产生器17和图像产生器18。

照相机输入单元14包括照相机控制器21和解码器22。当由照相机12拍摄的图像被输入到照相机输入单元14时，照相机控制器21响应来自照相机12的图像而调节照相机12的曝光和白平衡。

从照相机12输入到照相机输入单元14的图像是原始数据(不是当从成像设备输出时经图像处理后的数据)。解码器22将原始数据的图像转换为RGB+Y数据(表示红、绿和蓝的三基色以及亮度信号Y的图像的数据)的图像，然后将图像供应到脸部识别器15。

脸部识别器15包括脸部识别控制器31、脸部检测处理器32、部分检测器33、属性确定器34和部分细节检测器35。脸部识别器15对从照相机输入单元14中的解码器22供应的图像执行脸部识别处理。

脸部识别控制器31对脸部识别器15中的每个元件执行控制处理。例如，脸部识别控制器31执行控制处理，以使属性确定器34的输出从检测到新脸部的帧开始一直到预定数量的帧(例如15帧)被供应到模型选择器16，接着在预定数量的帧之后被供应到参数产生器17。

脸部检测处理器32接收从照相机输入单元14输出的图像并执行脸部检测处理以从图像检测包括用户的脸部的区域(下文中被称作脸部区域)。例如，脸部检测处理器32在通用检索和局部检索的两个阶段中执行脸部检测处理。在通用检索中，脸部检测处理器32处理整个图像，从而搜索呈现在图像中的每个脸部的脸部区域。在局部检索中，脸部检测处理器32执行局部检索操作，集中于之前在通用检索中检测的脸部区域。脸部检测处理器32在通用检索中检测多个用户的脸部(目标)，而在局部检索中追踪在通用检索中检测的每个脸部。

如果用户的脸部被呈现在来自照相机输入单元14的图像中，那么脸部检测处理器32输出鉴别(identify)脸部的脸部区域的脸部检测结果信息。如果在通用检索中检测到前面未呈现在图像中的新脸部，那么脸部检测处理器32开始输出新脸部的脸部检测结果信息。当脸部被连续地呈现在图像中时，脸部检测处理器32在局部检索中追踪脸部，并连续地输出脸部的脸部检测结果信息。脸部检测结果信息包括脸部区域的参考点、水平宽度、垂直长度和旋转角度(脸部X、脸部Y、脸部W、脸部H、脸部转动(roll)和脸部偏转(yaw))。

下面参照图3描述脸部检测结果信息。如图3中所示，脸部区域的参考点(脸部X、脸部Y)以(0，0)作为整个图像的左上角和(1，1)作为整个图像的右下角来归一化，然后以脸部区域的左上角的XY坐标来表示。作为脸部区域的参考点，脸部区域的水平宽度和垂直长度(脸部W，脸部H)通过以脸部区域的与连接两眼的线平行的、充当水平线的一边以及脸部区域的与水平线垂直的、充当垂直线的一边归一化的值来表示。脸部区域的旋转角度(脸部转动、脸部偏转)被表示在图6中后面要讨论的右手坐标系统中。

部分检测器33(图1)在由脸部检测处理器32检测的脸部区域中检测脸部的右眼、左眼、鼻子和嘴巴作为用户脸部的部分，并输出作为表明每部分的中心点的坐标的信息的部分信息。在部分信息中，表示右眼、左眼、鼻子和嘴巴中的每个的中心点的坐标被以(0，0)表示作为脸部区域的左上角的参考点(脸部X、脸部Y)和(1，1)表示脸部区域的右下角归一化。

部分检测器33基于被检测的部分的几何关系来确定脸部的位置和姿态，并输出表明脸部的位置和姿态的脸部位置信息。脸部位置信息包括脸部区域的四个角的坐标和脸部的姿态(区域X[0]-[3]、区域Y[0]-[3]、姿势转动、姿势俯仰(pitch)、姿势偏转)。

下面参照图4描述脸部位置信息。如图4中所示，脸部区域(区域X[0]-[3]和区域Y[0]-[3])的四个角的坐标通过以(0，0)表示整个图像的左上角和(1，1)表示整个图像的右下角归一化的值来表示。脸部区域的姿态(姿势转动、姿势俯仰、姿势偏转)被表示在如图6中所示的左手坐标系统中。

属性确定器34(图1)基于由部分检测器33输出的部分信息来确定呈现在图像中的脸部的属性，并输出与脸部的属性相关的属性信息。属性信息包括微笑分数(微笑)、右眼张开分数(R眼张开)、左眼张开分数(L眼张开)、男性分数(男性)、成年分数(成年)、婴儿分数(婴儿)、老年分数(老年)和眼镜分数(眼镜)。

微笑分数表示用户的脸部的微笑程度，右眼张开分数表示右眼张开的程度，左眼张开分数表示左眼张开的程度。男性分数是表示用户的脸部的男性程度的数值。成年分数表示用户的脸部成熟度，婴儿分数表示用户的脸部的婴儿相似程度。老年分数表示用户的脸部的老年程度，眼镜分数表示用户戴眼镜的程度。属性确定器34预先确定用于基于用户脸部的每个部分的位置通过学习来计算分数的数据，并存储该数据。参照该数据，属性确定器34确定来自用户的脸部的每个分数。

部分细节确定器35检测在细节上鉴别每部分的点，例如呈现在图像中的脸部的每个部分的位置和形状(轮廓、眉毛、眼睛、鼻子、嘴巴等)。然后，部分细节检测器35输出表明点的部分结果信息。

参照图5A和5B描述部分结果信息。部分细节检测器35可执行标准处理以检测来自整个脸部的每个部分的点，并且执行轻工作量处理以检测作为嘴巴的轮廓的点。

在标准处理中，部分细节检测器35检测鉴别如图5A中所示的脸部的轮廓、眉毛的形状、眼睛的轮廓、鼻子的形状和嘴巴的轮廓的55个点。在轻工作量处理中，部分细节检测器35检测鉴别如图5B中所示的嘴巴的轮廓的14个点。每个点的XY坐标通过以(0，0)作为脸部区域的左上角的坐标和(1，1)作为脸部区域的右下角的坐标归一化的值来表示。在部分结果信息中，鉴别每个点的部分ID(部分ID[0]-[55])被映射到对应点的XY坐标(部分X、部分Y)。

用户可倾斜他或她的脸，使脸部的每个部分的点关于整个图像旋转(偏移)。每个点的XY坐标通过在脸部区域中归一化的值来表示。每个点的位置相对于脸部区域的左上角(原点)保持不变。每个点的坐标轴响应脸部区域的倾斜而旋转。如果确定了每个点关于整个图像的位置，则将执行在与脸部区域的倾斜的相反方向上倾斜脸部的修正操作。

模型选择器16(图1)在脸部识别控制器31的控制下接收由属性确定器34输出的属性信息中的男性分数和成年分数。脸部识别控制器31执行控制处理，以使在从脸部检测处理器32检测到新脸部的帧开始一直到预定数量的帧(15帧，例如)之间由属性确定器34输出的男性分数和成年分数被供应到模型选择器16。

模型选择器16依据由属性确定器34供应的男性分数和成年分数来确定图像中用户的脸部是男性的、女性的或儿童的。模型选择器16选择男性模型、女性模型和儿童模型中的一个作为当图像产生器18产生化身的图像时所使用的三维(3D)数据。然后，模型选择器16将表明选择结果的模型信息供应给图像产生器18。后面参照图15的流程图描述模型选择器16的处理。

参数产生器17包括脸部定向修正处理器41、过滤处理器42、脸部定向参数计算器43、脸部位置参数计算器44、眼睛闭合比率参数计算器45、嘴巴张开比率参数计算器46和微笑脸部参数计算器47。参数产生器17产生在图像产生器18产生化身时充当控制数据的各种参数。

脸部定向修正处理器41接收被包括在由脸部检测处理器32输出的脸部检测结果信息中的脸部区域的旋转角度(脸部转动、脸部偏转)，和被包括在由部分检测器33输出的脸部位置信息中的脸部区域的姿态(姿势转动、姿势俯仰、姿势偏转)。

参照图6，设定被包括在脸部检测结果信息中的脸部区域的旋转角度的检测范围，并且设定被包括在脸部位置信息中的脸部区域的姿态的检测范围。在右手坐标系统中表示脸部检测结果信息，并且在左手坐标系统中表示脸部位置信息。在脸部检测结果信息中，脸部检测处理器32被设定为对脸部的转动动作的检测范围是大约±20度。在脸部的俯仰动作中不执行检测。脸部检测处理器32被设定为对脸部的偏转动作的检测范围是大约±35度。在脸部位置信息中，部分细节检测器35被设定为对脸部的转动动作的检测范围是大约±35度，对脸部的俯仰动作的检测范围是大约±20度，对脸部的偏转动作的检测范围是大约±40度。

为了控制由图像产生器18产生的化身的脸部角度，仅仅使用脸部区域的姿态看起来足够了。在脸部区域的姿态的检测范围的边缘，可能不定期地产生使检测的值变化(波动)的噪声。如果在检测结果的值中产生了噪声，则即使用户的脸部保持静止化身也可能抖动。

如果用户脸部的定向是在脸部区域的姿态的检测范围的边缘的附近，则脸部定向修正处理器41基于脸部区域的姿态的时间变化和脸部区域的旋转角度的时间变化来执行修正处理以修正要输出的脸部定向。

更具体来说，脸部区域的旋转角度对于检测范围的边缘的附近的时间变化(稳定的)是不敏感的，而脸部区域的姿态由于在检测范围的边缘的附近的噪声分量而随时间急剧地变化。当脸部区域的姿态随时间急剧地变化而脸部区域的旋转角度保持稳定时，为了控制噪声分量的输出，脸部定向修正处理器41在提前一帧的帧输出脸部区域的姿态的检测结果。然后，脸部定向修正处理器41输出这样修正的用户的脸部角度。

为了稳定参数，过滤处理器42(图1)对从参数产生器17中的参数计算器(脸部定向参数计算器43、脸部位置参数计算器44、眼睛闭合比率参数计算器45、嘴巴张开比率参数计算器46和微笑脸部参数计算器47)输出的参数执行过滤处理。

下面参照图7A和7B描述过滤处理器42的过滤处理。

过滤处理器42被构成为如图7A的框图中所示。过滤处理器42接收从每个参数计算器输出的参数x_t并输出参数y_t。参数y_t充当图像产生器18产生化身时的控制数据。过滤处理器42计算如下方程式(1)：

y_t＝αxx_t+(1-α)xy_t-1             …(1)

在方程式(1)中，α表示参数x_t和参数y_t-1之间的附加比率(addition ratio)，并且参数y_t-1是由过滤处理器42输出的前一个(immediately preceding)参数。

根据由如图7B中所示的最大值max和两个阈值thresA和thresB表示的函数来从变量diff(＝|curr-prev|)计算附加比率α，变量diff是当前输入值和前一个输入值之差的绝对值。确定附加比率α的函数在从零至阈值thresA的变量diff内以恒定梯度增加，在从阈值thresA至阈值thresB的变量diff内以最大值max变平，并且以与从零至阈值thresA的变量diff内的梯度相反的恒定梯度从阈值thresB下降。如果阈值thresA和阈值thresB彼此相等，则确定附加比率α的函数具有如将在后面所述的山形。

在过滤处理器42中设定最大值max、阈值thresA和阈值thresB。过滤处理器42根据从变量diff和上述方程式(1)确定的附加比率α对从参数计算器输入的参数执行过滤处理。然后，过滤处理器42将经过滤处理后的参数供应到图像产生器18。

脸部定向参数计算器43(图1)根据由脸部定向修正处理器41修正的用户的脸部角度来计算控制由图像产生器18产生的化身的脸部角度的参数。

脸部定向修正处理器41在右手坐标系统中执行修正处理，而图像产生器18在左手坐标系统中执行其处理。参照图8A，右手坐标系统和左手坐标系统在转动动作和偏转动作上互相相反。因此，脸部定向参数计算器43对由脸部定向修正处理器41修正的用户的脸部角度的转动动作和偏转动作的方向的符号进行反转。

根据如图8B中所示的函数，脸部定向参数计算器43计算y＝x-p，x表示用户的输入脸部角度，y表示化身的输出脸部角度。这里，p表示对于脸部定向的初始值的偏移值。在标准状态中，p的默认值为零(def＝0.0)。

由脸部定向参数计算器43输出的化身的脸部角度的参数被供应到过滤处理器42。过滤处理器42对如图7A中所示的参数执行过滤处理。通过由如图8C中所示的最大值max＝1.0、阈值thresA＝0.1π和阈值thresB＝0.2π表示的函数来确定用在过滤处理器42的过滤处理中的附加比率α。

根据被包括在由过滤处理器42输出的脸部检测结果信息中的参考点、水平宽度和垂直长度(脸部X、脸部Y、脸部W、脸部H)，脸部位置参数计算器44(图1)计算控制由图像产生器18产生的化身的脸部位置的参数。

如图3中所示，脸部区域的左上角被设定为由脸部检测处理器32输出的脸部检测结果信息中的参考点，而图9A中所示，脸部区域的中心被图像产生器18设定为参考点(由图9A中的字母x指示)。脸部识别控制器31在以整个图像的左上角充当原点(0，0)的坐标系统(图3)中执行其处理。图像产生器18以整个图像的中心作为原点(0，0)来执行其处理，如图9A中所示。

脸部位置参数计算器44计算如图9B中所示的函数，即，如下的方程式(2)，从而将在以整个图像的中心作为原点的坐标系统中的脸部区域的中心点的坐标确定为脸部位置的参数。

$x_{\mathrm{out}}=(x_{\mathrm{in}}+\frac{w_{\mathrm{in}}}{2.0})\×2.0-1.0$

$y_{\mathrm{out}}=(y_{\mathrm{in}}+\frac{h_{\mathrm{in}}}{2.0})\×2.0-1.0...\left(2\right)$

在方程式(2)中，x_in和y_in表示输入到脸部位置参数计算器44的脸部区域的参考点，即，被包括在由脸部检测处理器32输出的脸部检测结果信息中的脸部区域的参考点的XY坐标(脸部X、脸部Y)。此外，w_in和h_in分别表示输入到脸部位置参数计算器44的脸部区域的水平宽度和垂直长度(脸部W、脸部H)。此外，x_out和y_out表示由脸部位置参数计算器44输出的脸部区域的参数(由图9A中的字母x表示的点的XY坐标)。这里，x_in、y_in、w_in和h_in是在以整个图像的左上角作为原点(0，0)的归一化的坐标系统中的值，并落入从0.0至0.1的范围内，x_out和y_out是在以整个图像的中心作为原点(0，0)的归一化的坐标系统中的值，并落入从-0.1至0.1的范围内。

由脸部位置参数计算器44输出的脸部位置的参数被供应到过滤处理器42。然后，过滤处理器42对如图7A中所示的参数执行过滤处理。根据由如图9C中所示的最大值max＝0.8和阈值thresA＝阈值thresB＝0.8表示的函数来确定用在过滤处理器42的过滤处理中的附加比率α。由于阈值thresA等于阈值thresB，确定附加比率α的函数具有类山形。注意，类山形函数比梯形函数更稳定。

基于由属性确定器34确定的用户的右眼张开分数和左眼张开分数，眼睛闭合比率参数计算器45(图1)计算控制由图像产生器18产生的化身的右眼闭合比率和左眼闭合比率的参数。

眼睛闭合比率参数计算器45基于S形函数(sigmoid function)来计算如下方程式(3)。由此，眼睛闭合比率参数计算器45从用户的右眼和左眼的张开分数来计算化身的右眼闭合比率和左眼闭合比率的参数。

$y=\mathrm{gain}\×\left(\frac{e^{-\mathrm{grad}\×(x-\mathrm{ofs})}}{1+e^{-\mathrm{grad}\×(x-\mathrm{ofs})}}\right)-\frac{(\mathrm{gain}-1)}{2}...\left(3\right)$

在方程式(3)中，y是闭合比率，x是张开分数，ofs是偏离张开分数的初始值的值，grad是设定S形函数的温和度(mildness)的值。由S形函数计算的值取值范围从0.0至1.0，gain是放大因子，根据放大因子关于中心值(0.5)放大该值。

图10A示出了通过使用多个grad值(0.2-0.6)以和1.4的放大因子gain来计算S形函数确定的闭合比率y和张开分数x之间的关系。这里，p是可以被设定为用于用户的右眼和左眼的张开分数的最大值的值。在标准状态中，6.75的最大默认值(def＝6.75)被设定用于对于张开分数，将最大默认值设定为6.75(def＝6.75)。此外，0.4的默认值被设定用于对于标准状态中的值grad，将默认值设定为0.4。最大值和最小值可以被设定用于对于闭合比率的参数，可以设定最大值和最小值。参照图10A，1.0被将1.0设定用于最大值而将0.0被设定用于最小值。

使用S形函数，由属性确定器34确定的用户的右眼和左眼的张开分数被转换成要由图像产生器18产生的化身的右眼和左眼的闭合比率的参数。以该方式，在眼睛全部张开的情况下眼睛的尺寸中的单独变化被减小，脸部定向对眼睛的闭合比率和张开比率的影响被控制。例如，眯眼(narrow-eyed)的人趋向于具有低张开分数，人在向下看时具有低张开分数。如果使用S形函数确定闭合比率的参数，则该趋向被控制。

S形函数的使用不仅允许呈现一只眼睛在张开状态而另一只眼睛在闭合状态(眨眼)，还允许自然地呈现半闭合的眼睛。眼睛的张开和闭合可以被呈现，使得眼睑的动作在眼睛张开或眼睛闭合的开始是温和的。替代S形函数，使闭合比率的参数在最大值和最小值之间线性地改变的函数可用于呈现眯眼。然而，S形函数的使用更接近人的实际动作地表现眼睛的张开和闭合。

由眼睛闭合比率参数计算器45输出的右眼和左眼的闭合比率的参数被供应到过滤处理器42。过滤处理器42对如图7A中所示的参数执行过滤处理。通过由如图10B中所示的最大值max＝0.8和阈值thresA＝阈值thresB＝0.8表示的函数来确定用在过滤处理器42的过滤处理中的附加比率α。

嘴巴张开比率参数计算器46(图1)基于由部分细节检测器35检测的鉴别用户的嘴巴的轮廓的14个点，来计算控制要由图像产生器18产生的化身的嘴巴的张开比率的参数。

在计算参数之前，嘴巴张开比率参数计算器46执行两个评估处理以依据鉴别用户的嘴巴的轮廓的每个点来确定嘴巴的轮廓的检测结果是否正确。

在第一评估处理中，使用预定点之间垂直方向上的距离。例如，嘴巴张开比率参数计算器46确定如图11A的左部分中所示的鉴别用户的嘴巴的轮廓的14个点中除了最右边点之外的右边四个点的任意两个邻近点之间的垂直距离(R1、R2和R3)。类似地，嘴巴张开比率参数计算器46确定除了最左边点之外的左边四个点的任意两个邻近点之间的垂直距离(L1、L2和L3)和中心四个点的任意两个邻近点之间的垂直距离(C1、C2和C3)。如果这样确定的所有垂直距离是正值，则嘴巴张开比率参数计算器46确定嘴巴的轮廓的检测结果是正确的。

在第二评估处理中，使用使两个预定点作为对角的矩形区域的形状。例如，嘴巴张开比率参数计算器46确定以在定义如图11A的右部分中所示的用户的嘴巴的轮廓的14个点中的、在上嘴唇中的下三个点的任意两个邻近点作为对角的的矩形区域(T1和T2)的形状。类似地，嘴巴张开比率参数计算器46确定以定义用户的嘴巴的轮廓的14个点中、在下嘴唇的上三个点的任意两个邻近点作为对角的的矩形区域(T3和T4)的形状。如果由此确定的所有矩形区域是水平延伸的，则嘴巴张开比率参数计算器46确定嘴巴轮廓的检测结果是正确的。

如果在第一和第二评估处理中确定嘴巴轮廓的检测结果是正确的，则嘴巴张开比率参数计算器46基于鉴别由部分细节检测器35检测的用户的嘴巴轮廓的14个点来计算要由图像产生器18产生的化身的张开比率的参数。如果嘴巴轮廓的检测结果是正确的，则用户的嘴巴的张开被反映在化身的嘴巴中。

响应于上嘴唇的下侧的中心点和下嘴唇的上侧的中心点之间的距离(距离C2：图11A中的高度)的输入，嘴巴张开比率参数计算器46计算如图11B中所示的函数(y＝(1/p)x-0.1)。嘴巴张开比率参数计算器46由此计算作为参数的嘴巴张开比率。在方程式(y＝(1/p)x-0.1)中，x是作为输入值的垂直距离(高度)，y是作为嘴巴张开比率的参数，p是设定作为输入值的最大垂直距离(高度)的值。在标准状态中，0.09被设定作为p的默认值(def＝0.09)，p的最大值是0.19。表明嘴巴张开比率的参数在嘴巴全部张开的标准状态中被设定并线性地映射到高度。

用于计算表明嘴巴张开比率的参数的距离可根据嘴巴的中心和鼻子的中心之间的距离来确定。在这种情况中，由将嘴巴的中心和鼻子的中心之间的距离乘以0.4所得到的值被用作上述输入值(高度)。

由嘴巴张开比率参数计算器46输出的表明嘴巴张开比率的参数被供应到过滤处理器42，然后对参数执行图7A中所示的过滤处理。根据由图11C中所示的最大值max＝0.8和阈值thresA＝阈值thresB＝0.8表示的函数来确定用在过滤处理器42的过滤处理中的附加比率α。

微笑脸部参数计算器47(图1)基于被包括在由属性确定器34输出的属性信息中的微笑分数来计算控制由图像产生器18产生的化身的微笑比率的参数。

由属性确定器34检测的微笑分数是取值范围为从0至70的值。微笑脸部参数计算器47通过计算如图12A中所示的函数(y＝(1/50)x-0.4)来计算表明微笑分数的参数。在函数的方程式中，x表示作为输入值的微笑分数，y表示作为表明微笑比率的输出值的参数。

表明由微笑脸部参数计算器47输出的微笑比率的参数被供应到过滤处理器42。过滤处理器42执行如图7A中所示的过滤处理。根据由图12B中所示的最大值max＝0.8和阈值thresA＝阈值thresB＝0.8表示的函数来确定用在过滤处理器42的过滤处理中的附加比率α。

由参数产生器17中的参数计算器产生的参数被供应到图像产生器18(图1)和图像产生器18基于参数来产生化身。

图像产生器18包括三维(3D)数据管理器51、着色器(shader)管理器52，渲染器(renderer)53和合成处理器54。

3D数据管理器51管理化身的3D数据，即，管理存储男性、女性和儿童化身的3D数据的数据库(未示出)。3D数据管理器51从模型选择器16接收模型信息(表明关于图像中的脸部是男性的、女性的或儿童的确定结果的信息)。响应于来自数据库的模型信息，3D数据管理器51读取化身的3D数据，然后将读取的3D数据供应到渲染器53。

3D数据管理器51管理各种数据，这些数据用于执行几何处理以将3D模型的坐标转换为输出(二维)图像和执行纹理处理以为了将纹理赋予(impart)3D模型的表面而粘接纹理。然后，3D数据管理器51将各种数据供应到渲染器53。

当渲染器53渲染3D数据时，着色器管理器52管理着色处理。在着色处理中，着色器管理器52执行计算操作以用预定的光源(照明)来着色3D数据。着色器管理器52将着色处理的计算结果供应到渲染器53。

渲染器53根据由参数产生器17中的参数计算器输出的表情参数(表明化身的右眼和左眼中的每一个的眼睛张开比率的参数，表明化身的微笑比率的参数，和表明化身的嘴巴张开比率的参数)来通过将由3D数据管理器51供应的3D数据变形(morph)而执行渲染处理。

3D数据管理器51将用于单个模型的多个基本表情的3D数据供应到渲染器53。例如，3D数据管理器51向渲染器53供应用于男性模型、女性模型和儿童模型的每一个的无表情的3D数据、右眼闭合的3D数据、左眼闭合的3D数据、微笑脸部的3D数据、嘴巴张开的3D数据，如图13中所示。

渲染器53以对应的参数将基本表情3D数据的顶点进行加权求和，从而确定要渲染的3D数据的每个顶点。更具体来说，要渲染的3D数据的预定的顶点P_synth(x，y，z)是P_synth(x，y，z)＝P_{reye_close}(x，y，z)W_{reye_close}+P_{leye_close}(x，y，z)W_{leye_close}+P_{mouth_open}(x，y，z)W_{mouth_open}+P_smile(x，y，z)W_smile+P_normal(x，y，z)(1-W_{reye_close}-W_{leye_close}-W_smile-W_{mouth_open})。在该方程式中，P_{reye_close}(x，y，z)表示右眼闭合的3D数据的预定顶点，W_{reye_close}表示表明右眼的眼睛闭合比率的参数，P_{leye_close}(x，y，z)表示左眼闭合的3D数据的预定顶点，W_{leye_close}表示表明左眼的眼睛闭合比率的参数，P_{mouth_open}(x，y，z)表示嘴巴张开的3D数据的预定顶点，W_{mouth_open}表示表明化身的嘴巴张开比率的参数，P_smile(x，y，z)表示微笑的3D数据的预定顶点，W_smile表示表明化身的微笑比率的参数，和P_normal(x，y，z)表示无表情的3D数据的预定顶点。

渲染器53使用由以对应的参数将基本表情3D数据进行加权求和所得到的变形的3D数据来执行渲染处理。由此，渲染器53产生化身的脸部的图像。渲染器53还通过设定变形的3D数据的定向执行渲染处理，使得根据表明由脸部定向参数计算器43输出的化身的脸部角度的参数来定向化身的图像。

合成处理器54接收由渲染器53渲染的化身的脸部的图像，和从脸部位置参数计算器44接收控制化身的脸部位置的参数。合成处理器54还从照相机输入单元14接收由照相机12拍摄的图像。

合成处理器54执行合成处理以用化身替换用户的脸部。在合成处理中，根据控制化身的脸部的参数，由渲染器53供应的化身的脸部被覆盖在由照相机12拍摄的图像(图2A中所示的输入图像)中用户的脸部的位置。合成处理器54将经过合成处理获得的图像(如图2B中所示的输出图像)供应给显示器13。由此，图像被显示在显示器13上。

图14是示出了由图1中所示的图像处理装置11执行的图像处理过程的流程图。

图像处理装置11响应用户操作而开始处理。在步骤S11中，照相机输入单元14获取由照相机12输入的图像。照相机输入单元14以其解码器22解码由照相机12供应的图像(原始数据)，然后将解码的数据供应到脸部识别器15中的脸部检测处理器32。处理前进到步骤S12。

在步骤S12中，脸部检测处理器32执行脸部检测处理以从由照相机输入单元14在步骤S11中供应的图像检测用户的脸部的脸部区域。一经检测到脸部区域，脸部检测处理器32输出脸部检测结果信息。

处理从步骤S12前进到步骤S13。脸部识别控制器31确定脸部检测处理器32是否已经在步骤S12中检测到脸部区域，即，确定脸部检测处理器32是否已经输出脸部检测结果信息。

如果脸部识别控制器31在步骤S13中确定脸部检测处理器32未检测到脸部区域，则处理返回到步骤S11。重复步骤S11和步骤S12。如果脸部识别控制器31在步骤S13中确定脸部检测处理器32已经检测到脸部区域，则处理前进到步骤S14。

在步骤S14中，部分检测器33从由脸部检测结果信息表明的脸部区域检测脸部的部分，该脸部检测结果信息由脸部检测处理器32在步骤S12中输出。部分检测器33输出表明包括右眼、左眼、鼻子和嘴巴的部分中的每个的中心的坐标的部分信息，和表明从该部分确定的脸部的位置和姿态的脸部位置信息。处理前进到步骤S15。

在步骤S15中，属性确定器34基于由部分检测器33在步骤S14中输出的部分信息来确定脸部区域内的用户的脸部的属性，并输出表明确定结果的属性信息。如前面所述，属性信息包括男性分数和成年分数。

处理从步骤S15前进到步骤S16。脸部识别控制器31确定作为当前处理目标的脸部区域是否是新脸部区域。图像处理装置11在每一帧的基础上处理从照相机12输入的图像。如果从作为当前处理目标的脸部区域被第一次检测的帧到在步骤S12中被检测的前一帧的帧的数量是15或更少，则脸部识别控制器31确定作为当前处理目标的脸部区域是新目标。如果帧的数量多于15，那么脸部识别控制器31确定作为当前处理目标的脸部区域不是新目标。

如果脸部识别控制器31在步骤S16中确定作为当前处理目标的脸部区域是新目标，则处理前进到步骤S17。

在步骤S17中，脸部识别控制器31向模型选择器16供应被包括在由属性确定器34在步骤S15中输出的属性信息中的男性分数和成年分数。处理前进到步骤S18。

在步骤S18中，模型选择器16基于由脸部识别控制器31在步骤S17中供应的男性分数和成年分数来执行模型选择处理。在模型选择处理中，模型选择器16选择男性模型、女性模型和儿童模型中的一个作为化身的3D数据以替换脸部区域中用户的脸部。后面参照图15描述模型选择处理。在步骤S18中的模型选择处理之后，处理返回到步骤S11。然后，对下一帧重复如上所述的相同处理。

如果脸部识别控制器31在步骤S16中确定作为当前处理目标的脸部区域不是新目标，那么处理前进到步骤S19。

在步骤S19中，部分细节检测器35检测在细节上鉴别脸部区域中用户的脸部的部分的点(见图5A和5B)。部分细节检测器35输出部分结果信息。处理前进到步骤S20。

在步骤S20中，脸部定向修正处理器41执行脸部定向修正处理以修正脸部区域中的用户的脸部的定向。后面参照图16描述脸部定向修正处理。在脸部定向修正处理之后，处理前进到步骤S21。

在步骤S21中，参数产生器17中的每个参数计算器计算对应的参数。更具体来说，脸部定向参数计算器43从由脸部定向修正处理器41在步骤S20中输出的用户的脸部角度来计算表明化身的脸部角度的参数。脸部位置参数计算器44从由脸部识别控制器31在步骤S12中输出的脸部检测结果信息来计算表明化身的脸部位置的参数。

此外，眼睛闭合比率参数计算器45从由属性确定器34在步骤S15中确定的用户的右眼和左眼的眼睛张开分数来计算化身的右眼和左眼的眼睛闭合比率。嘴巴张开比率参数计算器46从鉴别由部分细节检测器35在步骤S19中检测的用户的嘴巴的轮廓的14个点来计算表明化身的嘴巴张开比率的参数。微笑脸部参数计算器47从被包括在由属性确定器34在步骤S15中输出的属性信息中的微笑分数来计算表明化身的微笑比率的参数。

在步骤S22中，过滤处理器42分别对由脸部定向参数计算器43、脸部位置参数计算器44、眼睛闭合比率参数计算器45、嘴巴张开比率参数计算器46和微笑脸部参数计算器47输出的参数执行过滤处理以使参数稳定。然后，过滤处理器42将经过过滤处理被稳定的参数输出到图像产生器18。

在步骤S23中，图像产生器18执行图像产生处理以产生要在显示器13上显示的图像。

更具体来说，图像产生器18中的3D数据管理器51根据由模型选择器16在步骤S18的模型选择处理中输出的模型信息来将化身的五个表情的3D数据供应给渲染器53以替换脸部区域中的用户的脸部。响应于由过滤处理器42供应的参数，渲染器53通过变形五个表情的3D数据来产生化身的图像。合成处理器54在由照相机12拍摄的图像中的用户的脸部的位置合成由渲染器53渲染的化身的图像。由此，合成处理器54产生用户的脸部被化身替换的图像。在图像产生处理之后，处理前进到步骤S24。

在步骤S24中，图像产生器18将步骤S23中产生的图像供应到显示器13，并且显示器13显示图像。处理返回到步骤S11。对下一帧重复如上所述的相同处理。

由于与用户的属性匹配的化身被自动地显示，所以图像处理装置11节省了用户的用于指定化身的时间。在现有技术中，为了显示替换用户脸部的化身，用户指定与用户的属性匹配的化身。与之相比，图像处理装置11节省了这样的时间，并在基本上与用户的图像被照相机12拍摄的同时使与用户的属性匹配的化身显示在显示器13上。由此，用户可以感觉与化身的一体感。例如，当图像处理装置11被用在虚拟空间中时，例如在玩游戏或聊天室中，用户发现对虚拟空间更易移情。

由于每个参数都被过滤处理，化身的动作变得平滑。用户感到与化身更加一体。例如，在用于检测图像中的脸部的脸部检测处理中几个像素的误差是容许的。如果脸部保持不动(或缓慢移动)，由于误差，化身可在适当的位置(或在轻微摆动内高速地波动)振动。在这种情况中，过滤处理防止化身振动，并免除用户(在虚拟空间中观看图像或玩游戏的人)在没有过滤处理时由这样的振动所导致的不适感。

如参照图7A至7B所述，基于当前输入值和前一个输入值之间的变量diff来动态地确定附加比率α。适于保持不动(或缓慢移动)的脸部和快速移动的脸部的过滤处理被执行。更具体来说，当脸部保持不动时，为了稳定脸部的位置，附加比率α的值被设定为小(即，前一个输出值(参数y_t-1)的权重被设定为大并且输入值(参数x_t)的权重被设定为小)。当脸部快速移动时，为了增加响应脸部的移动的跟随性能，附加比率α的值被设定为大。由此，化身被显示在更加准确的位置。如果脸部快速地移动，则在脸部检测处理中涉及的误差相对于脸部的行进距离变得相对较小。上述的化身的振动更加不会被注意。由此，过滤处理向用户提供直观的视觉效果。

由于表情被合成以便基于由参数产生器17产生的表情参数来渲染，化身可以具有比以前更加富于表情的脸部。执行图像处理过程的图像处理装置11向用户提供虚拟空间中虚拟通信和内容丰富的通信方面的新体验。

图15是示出了图14的步骤S18中的模型选择处理的流程图。

在步骤S31中，模型选择器16初始化用在模型选择处理中的计数值。用在模型选择处理中的是表明被处理的帧的数量的帧计数值、表明脸部被确定为儿童的次数的儿童计数值、表明脸部被确定为男性的次数的男性计数值、表明脸部被确定为女性的次数的女性计数值。模型选择器16初始化这些计数值(至零，例如)。处理前进到步骤S32。

在步骤S32中，模型选择器16基于由脸部识别控制器31在图14的步骤S17中供应的成年分数来确定脸部区域中用户的脸部是否是儿童的。例如，如果成年分数低于预定阈值(例如，成年分数的最大值和最小值之间的中间值)，则模型选择器16确定用户的脸部是儿童的。如果成年分数等于或高于预定阈值，则模型选择器16确定脸部区域中用户的脸部是成年的。

如果模型选择器16在步骤S32中确定脸部区域中用户的脸部是儿童的，则处理前进到步骤S33。模型选择器16将儿童计数值加1。

另一方面，如果模型选择器16在步骤S32中确定脸部区域中用户的脸部不是儿童的，则处理前进到步骤S34。

在步骤S34中，模型选择器16基于由脸部识别控制器31供应的男性分数来确定脸部区域中用户的脸部是否是男性的。例如，如果男性分数等于或高于预定阈值(例如，成年分数的最大值和最小值之间的中间值)，则模型选择器16确定用户的脸部是男性的。如果男性分数低于预定阈值，那么模型选择器16确定脸部区域中用户的脸部不是男性的。

如果模型选择器16在步骤S34中确定脸部区域中用户的脸部是男性的，那么处理前进到步骤S35。模型选择器16将男性计数值加1。另一方面，如果模型选择器16在步骤S34中确定脸部区域中用户的脸部不是男性的，那么处理前进到步骤S36。模型选择器16将女性计数值加1。

在步骤S33、S35和S36的其中之一之后，处理前进到步骤S37。模型选择器16确定帧计数值是否等于或高于设定用于模型选择的预定计数(例如，15)。

如果模型选择器16在步骤S37中确定帧计数值不是等于或高于设定用于模型选择的预定计数(低于预定计数)，则处理前进到步骤S38。在步骤S38中，模型选择器16将帧计数值加1。处理返回到步骤S32。对下一帧重复如上所述的相同处理。

如果模型选择器16在步骤S37中确定帧计数值等于或高于设定用于模型选择的预定计数，那么处理前进到步骤S39。

在步骤S39中，模型选择器16参考儿童计数值、男性计数值和女性计数值以便选择儿童、男性和女性中具有最高的确定数(最高计数值)的一个作为化身的3D数据的模型。

处理从步骤S39前进到步骤S40。模型选择器16将表明步骤S39中的选择结果的信息供应到图像产生器18。由此，处理结束。

模型选择器16基于多个确定结果来选择模型，从而增加了与用户匹配的模型被选择的准确度。例如，根据亮度的影响和用户的表情，属性确定器34可能错误地识别模型(例如，当男性微笑时男性被误认为女性，反之亦然)，并且不稳定的分数可能被输出。如果模型选择器16使用多个确定结果，则即使在这种情况中，也能控制由属性确定器34做出的错误识别的影响。

图16是图14的步骤S20中脸部定向修正处理的流程图。

在步骤S51中，当脸部区域在图14的步骤S12中被检测时，脸部定向修正处理器41获取被包括在由脸部检测处理器32输出的脸部检测结果信息中的脸部区域的旋转角度(脸部转动、脸部偏转)，并且还获取被包括在由部分检测器33在步骤S14中输出的脸部位置信息中的脸部区域的姿态(姿势转动、姿势偏转)。

处理从步骤S51前进到步骤S52。脸部定向修正处理器41确定脸部区域中用户脸部的定向是否在检测范围的边缘的附近。

检测范围的边缘的附近通过与脸部检测结果信息中检测范围的比率来定义。定义检测范围的边缘的附近的比率是在脸部定向修正处理器41中预先设定的。例如，检测范围的边缘的附近的比率可被设定为87.5％。如果脸部区域的旋转角度(脸部转动、脸部偏转)大于脸部检测结果信息中检测范围的87.5％，则确定用户的脸部的定向是在检测范围的边缘的附近。

脸部检测结果信息中脸部的转动动作的检测范围可以是如图6中所示的大约±20度。如果脸部区域的旋转角度(脸部转动)大于大约±17.5，则脸部定向修正处理器41确定用户的脸部的定向是在检测范围的边缘的附近。类似地，脸部检测结果信息中脸部的偏转动作的检测范围可以是大约±35度。如果脸部区域的旋转角度(脸部偏转)大于大约±30.6度，则脸部定向修正处理器41确定用户的脸部的定向是在检测范围的边缘的附近。以该方式，脸部定向修正处理器41确定用户的脸部的定向是否是在脸部的偏转动作和转动动作的每一个中的检测范围的边缘的附近。如果用于俯仰动作的脸部检测结果信息也可用，则脸部定向修正处理器41在相似的处理中确定用户的脸部的定向是否是在检测范围的边缘的附近。

以该方式，检测范围的边缘的附近通过与检测范围的比率来定义。可选地，检测范围的边缘的附近可直接由角度来定义(例如，可由距离检测范围的边缘3度来定义检测范围的边缘的附近)。用户的脸部的定向的检测范围并不限于图6中所列的范围，并可取决于使用的检测器(或由检测器使用的脸部检测词典)的性能而有所不同。例如，检测器可具有对于转动动作为±40度、对于俯仰动作为±20度和对于偏转动作为±45度的检测范围，而另外的检测器可具有对于转动动作为±90度、对于俯仰动作为±45度和对于偏转动作为±45度的检测范围。

如果脸部定向修正处理器41确定脸部区域中用户的脸部的定向是在检测范围的边缘的附近，则处理前进到步骤S53。脸部定向修正处理器41计算脸部区域的旋转角度和姿态的时间变化。

脸部定向修正处理器41存储在前一帧的处理中输出的脸部区域的旋转角度和脸部区域的姿态，并计算前一帧和当前帧之间的时间变化。更具体来说，脸部区域的旋转角度的时间变化diff_tgt(＝|tgtIn_t-tgtIn_t-1|)被确定，其中tgtIn_t表示当前脸部角度，和tgtIn_t-1表示前一帧的脸部角度。此外，当前脸部区域的姿态的时间变化diff_pos(＝|posIn_t-posIn_t-1|)被确定，其中posIn_t表示当前脸部角度，和posIn_t-1表示前一帧的脸部角度。

处理从步骤S53前进到步骤S54。脸部定向修正处理器41确定步骤S54中计算的时间变化之间的差(＝|diff_tgt-diff_pos|)是否大于预定阈值。

如果脸部定向修正处理器41在步骤S54中确定差大于预定阈值，则处理前进到步骤S55。脸部定向修正处理器41输出前一帧的脸部角度(posIn_t-1)，并且由此结束脸部定向修正处理。由于噪声导致大的时间变化，所以为了控制化身的振动，脸部定向修正处理器41输出前一帧的脸部角度(posIn_t-1)替换遭受这种大变化的当前脸部角度(posIn_t)。

脸部定向修正处理器41可在步骤S52中确定脸部区域中用户的脸部的定向不在检测范围的边缘的附近(例如，在如上所述的检测范围的87.5％内)，或脸部定向修正处理器41可在步骤S54中确定时间变化之间的差不大于预定阈值(时间变化小于预定阈值)。在这种情况中，处理前进到步骤S56。

在步骤S56中，脸部定向修正处理器41输出当前帧的脸部角度(posIn_t)。由此，结束脸部定向修正处理。在该情况中，用户的脸部的定向不在检测范围的边缘的附近，并且确定检测到准确的脸部角度。时间变化是小的，并且没有噪声可能已经产生。脸部定向修正处理器41输出当前帧的脸部角度(posIn_t)。

即使用户的脸部的定向在检测范围的边缘的附近时，脸部定向修正处理也能阻止检测结果不规则地变化。化身的脸部被免于在检测范围的边缘的附近不自然的振动。由此，化身可以准确地跟随用户的脸部的移动。

根据本实施例，使用参照图13所讨论的表情参数来合成化身的表情。除了那些表情参数之外，更多参数可用作用于化身的表情合成的参数。

图17示出了可用在表情合成中的参数的例子。参照图17，在表情合成中可用的参数类型包括感情参数、部分参数和唇形(viseme)参数。

除了从被包括在由属性确定器34输出的属性信息中的微笑分数确定的微笑参数之外，感情参数还包括使用属性确定器34所确定的悲伤参数和生气参数。

部分参数包括从由部分细节检测器35输出的55个点(见图5A)确定的眨眼参数、眉毛参数、眼球参数以及嘴巴闭合和张开参数。

唇形参数包括从由后面要讨论的图18A和18B的元音唇形确定器62输出的元音确定分数确定的唇形/a/参数、唇形/i/参数、唇形/u/参数、唇形/e/参数、唇形/o/参数和唇形/n/参数。通过基于这些唇形参数来合成化身的嘴形，用户的嘴巴的动作被忠实地反映在化身中。

下面参照图18A和18B描述基于唇形参数来合成化身的嘴形的嘴形合成处理。

图像处理装置11存储每个元音的基本嘴形以合成嘴形。更具体来说，用于发元音/a/、元音/i/、元音/u/、元音/e/、元音/o/和元音/n/的基本嘴形被存储，如图18A中所示。这里，发音/n/包括发音/p/。

基于作为各基本形状的权重的元音/a/的唇形参数W_a、元音/i/的唇形参数W_i、元音/u/的唇形参数W_u、元音/e/的唇形参数W_e、元音/o/的唇形参数W_o和元音/n/的唇形参数W_n来合成嘴形。用户的嘴巴的动作被更加忠实地反映在化身中。

参照图18B，通过合成用于发元音/i/的基本形状和用于发元音/a/的基本形状来产生用于发元音/e/的基本形状。通过合成用于发元音/u/的基本形状和用于发元音/a/的基本形状来产生用于发元音/o/的基本形状。

以充当基本形状的权重的元音/a/的唇形参数W_a、元音/i/的唇形参数W_i、元音/u/的唇形参数W_u和元音/n/的唇形参数W_n来合成嘴形。以与在如图18A中所示的相同方式，用户的嘴巴的动作被忠实地反映在化身中。经过这些处理，用在嘴形的合成中的参数的数量被减少，并且处理本身被简化。要存储的元音的基本形状的数量也被减少。

从鉴别由部分细节检测器35检测的嘴巴的轮廓的点来确定唇形参数。也可经过语音识别来确定唇形参数。

图19是示出了依据唇形参数来合成化身的嘴形的嘴形合成处理器61的框图。

图19中所示的嘴形合成处理器61包括元音唇形确定器62、语音识别元音确定器63、唇形参数确定器64、嘴形模型数据库65和嘴形合成器66。

元音唇形确定器62接收由部分细节检测器35从图像检测的鉴别用户的嘴巴的轮廓的点。然后，元音唇形确定器62从点确定嘴巴的形状。然后，元音唇形确定器62向唇形参数确定器64供应表明每个元音的比率的元音确定分数，以该比率通过图18A和18B中所示的元音/a/、元音/u/、元音/e/、元音/o/和元音/n/的组合来表示嘴巴的形状。

语音识别元音确定器63接收由诸如麦克风的语音输入设备(未示出)输入的语音。语音识别元音确定器63对语音执行语音识别处理，从而确定由用户发出的元音，和将元音确定分数供应到唇形参数确定器64。

唇形参数确定器64将来自元音唇形确定器62的元音确定分数和来自语音识别元音确定器63的元音确定分数的平均值确定为唇形参数。然后，唇形参数确定器64将唇形参数供应到嘴形合成器66。如果语音识别元音确定器63未被使用，那么来自元音唇形确定器62的元音确定分数充当唇形参数。

如参照图18A和18B所描述的，嘴形模型数据库65存储用于每个元音的基本嘴形的3D数据。嘴形合成器66以元音的各唇形参数来对用于基本嘴形的3D数据的顶点进行加权求和，从而合成嘴形。

嘴形合成处理器61合成化身的嘴形，渲染器53渲染嘴形的3D数据。由此，化身的嘴巴的形状更接近于用户的嘴巴的形状。产生的化身可以用更类似于用户说话姿态的姿态说话。由于化身的嘴形接近于用户的嘴形，所以用户感到与化身的一体感。用户感到对显示在显示器13上的图像更易移情。

图像处理装置11基于图20中所列的参数来执行处理。图20列出将由图像处理装置11使用的参数。

模型选择参数包括年龄参数、性别参数和种族参数。其他参数包括眼镜参数。基于由属性确定器34确定的属性来确定参数。

年龄参数表明表明了具有显示在图像中的脸部的年龄段的参数(由年龄描述的年龄段，例如十几、二十几、三十几的年龄组，或粗略描述的年龄组，例如儿童(0-十几)、成年(二十几-五十几)、老年(六十几或更老))。属性确定器34确定图像中显示的脸部的属性，并输出表示成年的程度、儿童的程度和老年的程度的数值评定(numerical rating)的分数。依靠该分数，确定年龄参数。3D数据管理器51将基于年龄参数的化身的3D数据供应到渲染器53。比简单分类为成年的或儿童的更接近用户的年龄的化身被显示。

性别参数表明显示在图像中的脸部的性别(男性或女性)。

种族参数表明图像中显示的脸部的种族(比如白种、黑种或黄种)。属性确定器34确定图像中显示的脸部的属性，并输出表示每个种族的程度的数值评定的分数。基于分数来确定种族参数。3D数据管理器51将种族参数的种族纹理和3D数据供应到渲染器53。由此，更像用户的脸部的化身被显示。

眼镜参数表明被显示的图像的脸部上是否戴眼镜。属性确定器34输出表示显示的图像的脸部上是否戴眼镜的程度的数值评定的分数。根据分数来确定眼镜参数。如果眼镜参数表明戴有眼镜，则3D数据管理器41将眼镜的3D数据供应到渲染器53。戴眼镜的化身被自动地显示。

根据本实施例，根据用户的属性(儿童、男性、女性)来自动地选择模型。如果通过对用户精确地执行脸部识别来识别用户，则用户的脸部可被替换为由用户预注册的化身。如果用户被经过脸部识别单独地鉴别，则用户可免于指定用户自己的化身。由此，用户将以无缝的方式享受实际空间和虚拟空间(显示在显示器13上的图像的空间)。

由图像处理装置11确定的用户的属性不是必然包括所有上述参数。如果属性包括上述参数之一也是足够的。

图1的参数产生器17输出当过滤处理器42对由每个参数计算器计算的参数执行过滤处理时获得的参数。即使在由每个参数计算器计算的参数中包含不稳定的变化，过滤处理器42从参数中消除不稳定的变化。由此，稳定的参数被输出。由图像产生器18产生的化身平滑地移动。

过滤处理器42由如图7A中所示的单状态过滤器构成。误差可发生在由参数产生器17中参数计算器执行的计算中，并且由参数计算器输出的参数可遭受急剧的变化。消除这种急剧的变化是困难的。如果过滤处理器42由多级过滤器构成，在参数中包含的这种急剧的变化可以被减少。如果使用由多级过滤器构成的过滤处理器42，则过滤处理费时。由图像产生器18产生的化身的行为相对于用户的行为发生延迟。

希望即使在参数产生器17中参数计算器的计算中出现误差以及由参数计算器输出的参数遭受急剧的变化，过滤处理也能消除误差的影响并使化身的行为免于延迟。

参照图21描述参数产生器17的希望的过滤处理的基本概念。由参数产生器17中参数计算器(即，脸部定向参数计算器43、脸部位置参数计算器44、眼睛闭合比率参数计算器45、嘴巴张开比率参数计算器46和微笑脸部参数计算器47)输出的参数是基于脸部识别器15的检测结果的用户的脸部的状态的估计结果(脸部的定向、脸部的位置、眼睛的闭合和张开比率、嘴巴的闭合和张开比率以及微笑的程度)。在随后的讨论中，在过滤处理中作为处理目标的参数也被称作状态估计结果值。

图21示出了正态分布的三种类型。在图21中，横坐标表示状态估计结果值，纵坐标表示概率。

正态分布曲线f(x)是中心在作为过滤处理的目标的状态估计结果值u_f上的过去状态估计结果值的误差分布。正态分布曲线r(x)是中心在预测输出值u_r上的预测输出值u_r的似然分布(likelihooddistribution)。从之前获得的过滤处理结果来预测以状态估计结果值u_f作为处理目标的过滤处理的预测输出值u_r。在下面的方程式(4)中使用正态分布曲线f(x)的标准差σ_f和正态分布曲线r(x)的标准差σ_r来表示正态分布曲线f(x)和正态分布曲线r(x)：

$r\left(x\right)=N(u_r,{\mathrm{\σ}}_r)=\frac{1}{\sqrt{2\mathrm{\π}}{\mathrm{\σ}}_r}\exp \{-\frac{{(x-u_r)}^2}{2{{\mathrm{\σ}}_r}^2}\}$

$f\left(x\right)=N(u_f,{\mathrm{\σ}}_f)=\frac{1}{\sqrt{2\mathrm{\π}}{\mathrm{\σ}}_f}\exp \{-\frac{{(x-u_f)}^2}{2{{\mathrm{\σ}}_f}^2}\}...\left(4\right)$

正态分布曲线p(x)是由将正态分布曲线f(x)和正态分布曲线r(x)相乘所得到的正态分布并被表示在下面的方程式(5)中：

$p\left(x\right)=r\left(x\right)\·f\left(x\right)=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}_f{\mathrm{\σ}}_r}\exp \{-\frac{{(x-u_f)}^2}{2{{\mathrm{\σ}}_f}^2}-\frac{{(x-u_r)}^2}{2{{\mathrm{\σ}}_r}^2}\}...\left(5\right)$

如果以状态估计结果值x作为变量重新组织方程式(5)，则正态分布曲线p(x)通过下面的方程式(6)来表示：

$p\left(x\right)=K_p\·\exp \{-\frac{{(x-u_p)}^2}{2{{\mathrm{\σ}}_p}^2}\}...\left(6\right)$

在方程式(6)中，u_p是正态分布曲线p(x)的期望值和在过滤处理中输出的输出值，σ_p是正态分布曲线p(x)的标准差，常数K_o是正态分布曲线p(x)的标准化项(常数)。输出值u_p和标准差σ_p通过下面的方程式(7)来表示：

$u_p=\frac{u_r\·{{\mathrm{\σ}}_f}^2+u_f\·{{\mathrm{\σ}}_r}^2}{{{\mathrm{\σ}}_f}^2+{{\mathrm{\σ}}_r}^2}=\frac{{{\mathrm{\σ}}_f}^2}{{{\mathrm{\σ}}_f}^2+{{\mathrm{\σ}}_r}^2}{u}_r+\frac{{{\mathrm{\σ}}_r}^2}{{{\mathrm{\σ}}_f}^2+{{\mathrm{\σ}}_r}^2}{u}_f$

$\frac{1}{{{\mathrm{\σ}}_p}^2}=\frac{{{\mathrm{\σ}}_f}^2+{{\mathrm{\σ}}_r}^2}{{{\mathrm{\σ}}_f}^2{{\mathrm{\σ}}_r}^2}=\frac{1}{{{\mathrm{\σ}}_r}^2}+\frac{1}{{{\mathrm{\σ}}_f}^2}...\left(7\right)$

在方程式(7)中，过滤处理的输出值u_p通过由正态分布曲线f(x)表示的误差分布的方差(＝σ_f ²)与由正态分布曲线r(x)表示的似然的方差(＝σ_r ²)的比率来表示。

作为过滤处理的处理目标的状态估计结果值u_f的可靠性被评估，并且评估的可靠性被反映在误差分布的方差σ_f ²和似然分布的方差σ_r ²中。由此，过滤处理被执行，该过滤处理响应于状态估计结果值u_f的可靠性自适应地输出与状态估计结果值u_f和预测输出值u_r相关的值。

误差分布的方差σ_f ²与似然分布的方差σ_r ²的比率是相对值。如果被评估的状态估计结果值u_f的可靠性被反映在方差σ_f ²和方差σ_r ²之一中，也是足够的。根据本实施例，误差分布的方差σ_f ²响应作为过滤处理目标的状态估计结果值u_f的可靠性而变化，而似然分布的方差σ_r ²固定(使用预定的固定值)。下面描述这种处理。

图22A-22C示出了误差分布的方差σ_f ²中的改变和过滤器的输出值u_p的改变之间的关系。

图22A-22C示出了在误差分布的方差σ_f ²变化(σ_f＝0.20，0.40和0.50)而似然分布的方差σ_r ²(σ_r＝0.20)固定时获得的正态分布曲线f(x)、正态分布曲线r(x)和正态分布曲线p(x)。参照图22A-22C，如果误差分布的方差σ_f ²较大时，则输出值u_p变得更接近预测输出值u_r，如果误差分布的方差σ_f ²较小时，则输出值u_p变得更接近状态结果值u_f。通过以这种方式变化误差分布中的方差σ_f ²，可以自适应地改变过滤器的输出值u_p。

下面描述确定误差分布的方差σ_f ²的方法。

由正态分布曲线f(x)表示的误差分布充当表示作为过滤处理目标的状态估计结果值u_f的可靠性的指示符。通过误差分布的方差σ_f ²与似然分布的方差σ_r ²的比率来确定输出值u_p。考虑到该操作，如果状态估计结果值u_f的可靠性是低的，则通过把误差分布的方差σ_f ²设定为大值，如果状态估计结果值u_f的可靠性是高的，则通过把误差分布的方差σ_f ²设定为小值，过滤处理变得有效。由此，进行有效的过滤处理。

为了响应于状态估计结果值u_f的可靠性而变化误差分布的方差σ_f ²，评估状态估计结果值u_f的可靠性。对评估状态估计结果值u_f的可靠性可用的是使用来自过滤处理的过去输出值的历史被用作样本的采样变化的技术。在这种技术中，使用对于长时间段具有小变化的值，也就是对于长时间段保持恒定的值。

状态估计结果值的加速度分量(二次微分)可用作具有对于长时间段保持恒定的性质的值。如果考虑局部的时间段，则预期速度分量被用作具有对于长时间段保持恒定的性质的值。状态估计结果值的速度分量趋向于在长时间段逐渐变化。

参照图23A和23B，比较状态估计结果值的加速度分量的分布与状态估计结果值的速度分量的分布。参照图23A和23B，计算的加速度分量和速度分量由空圈来表示，而其分布由曲线来表示。

参照图23A，状态估计结果值的加速度分量具有关于0.0对称的变化的分布，并趋向于在长时间段中具有恒定值。参照图23B，状态估计结果值的速度分量不具有如关于具体值对称这样的变化的分布，并且不具有如长时间段中保持恒定这样的性质。用于可靠性的评估的状态估计结果值的加速度分量的使用提供稳定的结果。

根据下面的方程式(8)从在时间t-1的输出值u_p(t-1)和在时间t-2的输出值u_p(t-2)来计算在时间t的状态估计结果值u_f(t)的加速度分量acc(t)：

acc(t)＝(u_f(t)+u_p(t-2))-(2.0xu_p(t-1))…(8)

根据下面的方程式(9)从直到时间t-1的加速度分量acc(t)来计算在时间t的状态估计结果值u_f(t)的加速度分量acc(t)的方差var(t)：

$\mathrm{var}\left(t\right)=\frac{1}{t-1}\underset{i=1}{\overset{t-1}{\mathrm{\Σ}}}\mathrm{acc}{\left(i\right)}^2-{\left(\frac{1}{t-1}\underset{i=1}{\overset{t-1}{\mathrm{\Σ}}}\mathrm{acc}\left(i\right)\right)}^2...\left(9\right)$

从方程式(8)和(9)，以过滤器的过去输出值来更新状态估计结果值的加速度分量的方差var(t)。

基于以过滤器的过去输出值更新的状态估计结果值的加速度分量的方差var(t)和在时间t的状态估计结果值的加速度分量acc(t)来计算马氏距离(Mahalanobis’s distance)，并且马氏距离的平方被设定为在时间t的误差分布的方差σ_f ²。更具体来说，根据下面的方程式(10)来计算在时间t的误差分布的方差σ_f ²：

${{\mathrm{\σ}}_f}^2\left(t\right)=\frac{\mathrm{acc}\left(t\right)}{\mathrm{var}\left(t\right)}$

${{\mathrm{\σ}}_r}^2=\mathrm{Fixed\; value}...\left(10\right)$

以这种方式来计算用于在时间t作为处理目标的状态估计结果值u_f(t)的过滤处理中的误差分布的方差σ_f ²(t)。如前所述，误差分布的方差σ_f ²与似然分布的方差σ_r ²的比率是相对值，Fixed value(固定值)用于方差σ_r ²。

计算预测输出值u_r以确定如参照方程式(7)所讨论的过滤器的输出值u_p。下面描述计算预测输出值u_r的方法。

从迄今获得的过滤处理结果来预测以状态估计结果值u_f作为处理目标的过滤处理的预测输出值u_r。为了预测输出值u_r，动作模型被假设。根据本实施例，恒定速度动作模型被采用。恒定速度动作模型基于脸部的变化典型地是连续的性质。取决于状态估计结果值u_f，即，取决于由参数产生器17计算的参数的类型，可使用恒定加速动作(意味着脸部定向的速度的改变)。用于确定状态估计结果值u_f的动作模型可以是这些模型中的任何一个。

在恒定速度模型的预测中，基于过滤处理中的前一个输出值和前一个加速度值来预测当前输出值。根据下面的方程式(11)来计算在时间t的预测输出值u_r：

U_r(t)＝u_p(t-1)+(U_p(t-1)-u_p(t-2))…(11)

从方程式(11)，过滤器在时间t-1和在时间t-2的过去输出值u_p(t-1)和u_p(t-2)被用于计算在时间t的预测输出值u_r(t)。

由此确定的值是由正态分布曲线f(x)表示的误差分布的方差(σ_f ²)、由正态分布曲线r(x)表示的似然的方差(σ_r ²)和从迄今获得的过滤处理的结果预测的预测输出值u_r。通过计算方程式(7)，正态分布曲线p(x)的期望值，即，过滤器的输出值u_p被计算。

图24是过滤处理器71的框图。

图24中所示的过滤处理器71包括控制器72、加速度计算器73、加速度方差更新器74、马氏距离计算器75、存储器76、预测器77、保持器78和过滤计算器79。过滤处理器71可用于替换图1的过滤处理器42。

控制器72接收由参数产生器17中的每个参数计算器计算的参数，即，状态估计结果值u_f。控制器72控制过滤处理器71中的每个元件，例如，控制状态估计结果值u_f向加速度计算器73和过滤计算器79的的供应。下面描述在时间t的状态估计结果值u_f(t)的过滤处理。

当加速度计算器73从控制器72接收状态估计结果值u_f(t)时，加速度计算器73也接收在时间t-1的输出值u_p(t-1)和在时间t-2的输出值u_p(t-2)。通过计算方程式(8)，加速度计算器73计算状态估计结果值u_f(t)的加速度分量acc(t)，然后将计算的加速度分量acc(t)供应到加速度方差更新器74和马氏距离计算器75。

一经从加速度计算器73接收状态估计结果值u_f(t)的加速度分量acc(t)，加速度方差更新器74计算方程式(9)。由此，加速度方差更新器74计算状态估计结果值的加速度分量的方差var(t)，然后将计算的方差var(t)供应到马氏距离计算器75。

依据来自加速度计算器73的加速度分量acc(t)和来自加速度方差更新器74的加速度分量的方差var(t)，马氏距离计算器75(根据方程式(10))计算误差分布的方差σ_f ²，然后将计算的方差σ_f ²供应到过滤计算器79。

存储器76存储作为固定值的似然分布的方差σ_r ²，过滤计算器79从存储器76接收似然分布的方差σ_r ²。

预测器77从过滤处理器71接收输出值u_p。依据在时间t-1的输出值u_p(t-1)和在时间t-2的输出值u_p(t-2)，预测器77计算方程式(11)，从而计算预测输出值u_r(t)。然后，预测器77将预测输出值u_r(t)供应到过滤计算器79。

保持器78从过滤处理器71接收输出值u_p。保持器78保持输出值u_p，并将输出值u_p(t-1)和输出值u_p(t-2)供应到加速度计算器73。

过滤计算器79基于由控制器72供应的状态估计结果值u_f(t)、由马氏距离计算器75供应的误差分布的方差σ_f ²(t)、从存储器76读取的似然分布的方差σ_r ²(t)和由预测器77供应的预测输出值u_r(t)来计算方程式(7)。由此，过滤计算器79确定并输出输出值u_p(t)。

过滤处理器71仅在某一数量的加速度分量acc(样本)被存储之后才可以评估状态估计结果值u_f的可靠性。在预定数量的加速度分量acc被存储之后，控制器72执行控制处理，使得过滤计算器79输出计算结果。

下面参照图25的流程图描述过滤处理器71的过滤处理。过滤处理器71的过滤处理在图14的步骤S22中被执行。在图14的步骤S22中，当参数(即，状态估计结果值u_f(t))从参数产生器17中的每个参数计算器输出到过滤处理器71时，过滤处理开始。

在步骤S71中，控制器72确定供应的状态估计结果值u_f(t)是否是过滤处理的新处理目标。

图像处理装置11对每个用户脸部处理图像。如果状态估计结果值u_f(t)被映射到其上正进行过滤处理的脸部，则控制器72确定用户脸部不是新处理目标。如果状态估计结果值u_f(t)未被映射到其上正进行过滤处理的脸部，即，在脸部状态的估计(在该情况中，t＝0)之后第一次计算状态估计结果值u_f(t)的情况中，控制器72确定供应的状态估计结果值u_f(t)是过滤处理的新处理目标。

如果控制器72在步骤S71中确定供应的状态估计结果值u_f(t)是过滤处理的新处理目标，则处理前进到步骤S72。控制器72初始化过滤处理器71中的每个元件。例如，控制器72把由加速度方差更新器74、预测器77和过滤计算器79所使用的内部变量(方差var、预测输出值u_r和输出值u_p)设定为零作为初始值。

如果控制器72在步骤S71中确定供应的状态估计结果值u_f(t)不是过滤处理的新处理目标，则处理前进到步骤S73。控制器72将状态估计结果值u_f(t)供应到加速度计算器73。加速度计算器73也从保持器78接收时间在t-1的输出值u_p(t-1)和在时间t-2的输出值u_p(t-2)。加速度计算器73基于状态估计结果值u_f(t)、输出值u_p(t-1)和输出值u_p(t-2)来计算方程式(8)。由此，加速度计算器73确定状态估计结果值u_f(t)的加速度分量acc(t)并将加速度分量acc(t)供应到加速度方差更新器74。

处理从步骤S73前进到步骤S74。加速度方差更新器74基于由加速度计算器73在步骤S73中供应的加速度分量acc(t)来计算方程式(9)。由此，加速度方差更新器74确定状态估计结果值的加速度分量的方差var(t)。处理前进到步骤S75。

在步骤S75中，控制器72确定是否存储足够数量的加速度分量acc(t)。换句话说，控制器72确定步骤S74中计算的方差var(t)的数量是否大到足以评估状态估计结果值u_f的可靠性，该方差var(t)是根据状态估计结果值u_f的数量来确定的。更具体来说，从某一数量的加速度分量acc(t)确定的方差var(t)被用于评估状态估计结果值u_f的可靠性。控制器72设定某一数量为阈值(例如，20)。如果加速度方差更新器74使用以计算方差var(t)的加速度分量acc(t)的数量等于或大于阈值，则控制器72确定足够数量的加速度分量acc(t)被存储。另一方面，如果加速度方差更新器74使用以计算方差var(t)的加速度分量acc(t)的数量小于阈值，则控制器72确定没有存储足够数量的加速度分量acc(t)。

由于步骤S73中由保持器78在时间t-2供应的输出值u_p(t-2)被使用，所以在步骤S73-S75中对比确定供应的状态估计结果值u_f(t)是新处理目标时(输出值u_p(t-2)被输出时)晚两帧的图像执行处理。由于在步骤S71中确定状态估计结果值u_f(t)是新目标，所以跳过步骤S73和S75执行步骤S76，直到两帧被输出。

在步骤S72之后，或者控制器72在步骤S75中确定没有足够数量的加速度分量acc(t)被存储，处理前进到步骤S76。在步骤S76中，控制器72输出供应的状态估计结果值u_f(t)作为到预测器77和保持器78的输出值u_p(t)。由于状态估计结果值u_f(t)的可靠性未被准确地评估，所以过滤处理器71不计算输出值u_p。在步骤S76之后，过滤处理由此结束。然后，下一帧被处理。

如果控制器72在步骤S75中确定足够数量的加速度分量acc(t)被存储，则处理前进到步骤S77。在步骤S77中，控制器72控制加速度计算器73和加速度方差更新器74，使得在步骤S73中计算的加速度分量acc(t)和在步骤S74中计算的方差var(t)被输出到马氏距离计算器75。马氏距离计算器75从加速度分量acc(t)和方差var(t)来计算误差分布的方差σ_f ²，并将误差分布的方差σ_f ²供应到过滤计算器79。处理前进到步骤S78。

在步骤S78中，预测器77基于在时间t-1的输出值u_p(t-1)和在时间t-2的输出值u_p(t-2)来计算方程式(11)，从而确定预测输出值u_r。然后，预测器77将预测输出值u_r供应到过滤计算器79。

处理从步骤S78前进到步骤S79。控制器72将状态估计结果值u_f(t)供应到过滤计算器79。过滤计算器79从存储器76读取似然分布的方差σ_r ²。过滤计算器79基于状态估计结果值u_f(t)、似然分布的方差σ_r ²、步骤S77中供应的误差分布的方差σ_f ²和步骤S78中供应的预测输出值u_r来计算方程式(7)。由此，过滤计算器79确定并输出输出值u_p(t)。过滤处理由此结束。

即使误差发生在参数产生器17中的每个参数计算器的计算中和从参数计算器输出的参数(状态估计结果值)遭受急剧的和大的变化时，过滤处理器71也减小该变化。由于这种波动参数具有低可靠性(方差σ_f ²)，所以过滤处理器71输出预测输出值。由此，由计算误差导致的变化被减小。由此，稳定和鲁棒的过滤处理被执行。这种安排也使得不会发生如果使用由多级过滤器构成的过滤处理器时可能发生的延迟。

图像产生器18使用通过过滤处理器71过滤处理的参数来产生化身。由此，图像产生器18产生具有响应用户的脸部的状态的改变的高跟随性质的化身，并且该化身以免于由参数的计算误差(参数的不规律变化)所导致的振动的方式自然且平滑地移动。

对单个参数执行上述过滤处理。通过使用由参数产生器17中的参数计算器计算的多个参数的状态矢量和协方差矩阵(covariancematrix)来综合地使用参数。状态矢量的使用导致状态(参数)之间的相互作用效果，由此，更鲁棒的过滤处理被执行。

可使用硬件或软件执行上述一系列处理步骤。如果使用软件执行处理步骤，则形成软件的程序被从程序记录介质安装在计算机上。计算机包括专用硬件系统中的计算机和有各种程序安装在其上执行各种功能的通用个人计算机。

图26是示出了执行上述处理步骤的计算机的硬件结构的框图。

在计算机中，CPU101、只读存储器(ROM)102和随机访问存储器(RAM)103被经由总线104互相连接。

总线104被连接到输入输出接口105。还连接到输入输出接口105的是输入单元106、输出单元107、存储单元108、通信单元109和驱动器110。输入单元106包括键盘、鼠标、麦克风等。输出单元107包括显示器、扬声器等。存储单元108包括硬盘、非易失性存储器等。通信单元109包括网络接口等。驱动器110驱动诸如磁盘、光盘或半导体存储器的可移动介质111。

在由此构成的计算机中的CPU 101通过经由输入输出接口105和总线104将程序从存储单元108加载到RAM 104上，然后执行程序来执行上述系列的处理步骤。

要由CPU 101执行的程序被供应在作为封装介质的可移动介质111上，可移动介质111例如为磁盘(软盘)、光盘(压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD))、磁光盘、或半导体存储器。还可使用有线或无线的传输介质例如局域网(LAN)、因特网或数字广播卫星来供应程序。

可经过输入输出接口105通过将可移动介质111加载到驱动器110上来将程序安装到计算机中的存储单元108上。程序可通过通信单元109经由有线或无线的传输介质被接收，然后被安装到存储单元108上。程序还可被预先安装到ROM 102或存储单元108上。

以前述时间序列的顺序或以并行的几个处理步骤或在调用作出的恰当定时通过计算机执行程序。可通过单个CPU或多个CPU来执行程序。

本申请包含涉及2009年8月31日在日本专利局提交的日本在先专利申请JP 2009-201028中公开的主题，和2009年12月16日在日本专利局提交的日本在先专利申请JP 2009-284807中公开的主题，在此通过引用将其整体并入。

本领域内技术人员应该理解，根据设计要求和其他因素可以做出各种修改、组合、子组合和改变，只要它们在所附权利要求或其等同物的范围内。

Claims (12)

1.一种图像处理装置，包括：

脸部检测器装置，用于从包括用户的脸部的图像检测脸部区域；

部分检测器装置，用于检测被包括在由该脸部检测器装置检测的该脸部区域中的该脸部的部分的位置布局；

确定器装置，用于依据由该部分检测器装置检测的该部分的位置布局来确定该脸部的属性并计算表明属性确定结果的分数；

模型选择器装置，用于依据由该确定器装置计算的分数来选择要替换图像中该用户的脸部而显示的模型；和

图像产生器装置，用于产生由该模型选择器装置选择的该模型的脸部的图像并合成该模型的脸部的图像与该脸部区域内的该用户的脸部。

2.根据权利要求1所述的图像处理装置，其中由该确定器装置确定的该脸部的属性包括年龄和/或性别。

3.根据权利要求1所述的图像处理装置，其中该脸部检测器装置输出表明该用户的脸部的定向的第一脸部定向信息，

其中该部分检测器装置根据该部分的位置布局输出表明该用户的脸部的定向的第二脸部定向信息，和

其中该图像处理装置进一步包括脸部定向参数选择器装置，如果由该脸部检测器装置检测的该脸部区域中的该用户的脸部的定向在该脸部检测器装置的检测范围的边缘的附近，则该脸部定向参数选择器装置依据该第一脸部定向信息的时间变化和该第二脸部定向信息的时间变化，来选择控制由该图像产生器装置产生的该模型的脸部的定向的参数。

4.根据权利要求1所述的图像处理装置，进一步包括：

嘴形检测器装置，用于检测鉴别该用户的脸部的嘴形的多个点；

元音确定器装置，用于从由该嘴形检测器装置检测的该多个点来确定该用户的嘴形，并且输出将该嘴形通过预定数量的元音来表示时表明每个元音的比率的元音参数；和

嘴形合成装置，用于通过以对应于模型的元音参数对该模型进行加权来合成该模型，该模型充当该预定数量的元音的嘴形的基础。

5.根据权利要求1所述的图像处理装置，进一步包括：

参数输出装置，用于计算估计由该脸部检测器装置检测的该脸部区域内该用户的脸部的状态的参数；和

过滤处理装置，用于对从该参数输出装置输出的参数执行过滤操作，

其中该过滤处理装置包括：

可靠性计算器，该可靠性计算器用于计算由该参数输出装置输出的作为处理目标的参数的可靠性；

预测器装置，用于依据该过滤处理装置的过去输出值来确定预测输出值，该预测输出值是对作为处理目标的参数执行过滤处理时输出的输出值的预测值；和

过滤器计算器装置，用于根据由该可靠性计算器装置计算的可靠性，通过对作为处理目标的参数和由该预测器装置确定的预测输出值进行加权求和，来计算作为该过滤操作的结果输出的输出值。

6.根据权利要求5所述的图像处理装置，其中该可靠性计算器装置基于作为处理目标的参数的加速度分量和在该参数作为处理目标之前被计算的过去参数的加速度分量的方差，来计算可靠性。

7.根据权利要求5所述的图像处理装置，其中该参数输出装置输出分别估计该用户的脸部的多个状态的多个参数，和

其中该过滤处理装置综合地使用从该参数输出装置输出的多个参数来执行过滤操作。

8.一种图像处理方法，包括如下步骤：

从包括用户的脸部的图像检测脸部区域；

检测被包括在该脸部区域中的该脸部的部分的位置布局；

依据该部分的位置布局来确定该脸部的属性并计算表明属性确定结果的分数；

依据该分数，选择要替换在该图像中该用户的脸部而显示的模型；和

产生所选择的模型的脸部的图像并合成该模型的脸部的图像与该脸部区域中该用户的脸部。

9.根据权利要求8所述的图像处理方法，进一步包括如下步骤：

输出估计该脸部区域内该用户的脸部的状态的参数；和

对该参数执行过滤操作，

其中执行该过滤操作的步骤包括：

计算作为处理目标输出的参数的可靠性；

依据过去输出值确定预测输出值，该预测输出值是对作为处理目标的参数执行过滤处理时输出的输出值的预测值；和

根据该可靠性，通过对作为处理目标的参数和预测输出值进行加权求和来计算作为过滤操作的结果输出的输出值。

10.一种用于使计算机执行图像处理过程的程序，该图像处理过程包括如下步骤：

从包括用户的脸部的图像检测脸部区域；

检测被包括在该脸部区域中的该脸部的部分的位置布局；

依据该部分的位置布局来确定该脸部的属性并计算表明属性确定结果的分数；

依据该分数，选择要替换在该图像中该用户的脸部而显示的模型；和

产生所选择的模型的脸部的图像并合成该模型的脸部的图像与该脸部区域中该用户的脸部。

11.根据权利要求10所述的程序，进一步包括如下步骤：

输出估计该脸部区域内该用户的脸部的状态的参数；和

对该参数执行过滤操作，

其中执行该过滤操作的步骤包括：

计算作为处理目标输出的参数的可靠性；

依据过去输出值确定预测输出值，该预测输出值是对作为处理目标的参数执行过滤处理时输出的输出值的预测值；和

根据该可靠性，通过对作为处理目标的参数和预测输出值进行加权求和来计算作为过滤操作的结果输出的输出值。

12.一种图像处理装置，包括：

从包括用户的脸部的图像检测脸部区域的脸部检测器；

检测被包括在由该脸部检测器装置检测的该脸部区域中的该脸部的部分的位置布局的部分检测器；

依据由该部分检测器装置检测的该部分的位置布局来确定该脸部的属性并计算表明属性确定结果的分数的确定器；

依据由该确定器装置计算的分数来选择要替换该图像中该用户的脸部而显示的模型的模型选择器；和

产生由该模型选择器装置选择的该模型的脸部的图像并合成该模型的脸部的图像与该脸部区域内该用户的脸部的图像产生器。

Images