CN101794377B - 检测脸的特征部位的坐标位置的图像处理装置 - Google Patents

Abstract

本发明涉及一种图像处理装置，用于实现对图像中包含的脸的特征部位的位置进行检测的处理的高效化和高速化。对关注图像中包含的脸的特征部位的坐标位置进行检测的图像处理装置具备：脸区域检测部，从关注图像中检测出包含脸图像的至少一部分的图像区域作为脸区域；初始位置设定部，利用预先准备的与脸图像相对于脸区域的大小、角度、位置相关的至少一个以上参数、和表示脸图像的特征的一个以上特征量，设定为了检测出特征部位的坐标位置而在关注图像中设定的特征点的初始位置；和特征位置检测部，按照使设定在初始位置的特征点的设定位置接近特征部位的坐标位置的方式进行修正，检测出被修正后的设定位置作为特征部位的坐标位置。

Description

检测脸的特征部位的坐标位置的图像处理装置

技术领域

本发明涉及一种对关注图像中包含的脸的特征部位的坐标位置进行检测的图像处理装置。

背景技术

作为视觉上的事物的模型化方法，已知有主动外观模型(ActiveAppearance Model，也简称为“AAM”)。在AAM中，例如通过多个采样图像中包含的脸的特征部位(例如眼角、鼻尖或脸轮廓线)的位置(坐标)、像素值(例如亮度值)的统计学分析，可设定对根据上述特征部位的位置确定的脸形状进行表示的形状模型、或表示平均形状中的“外观(Appearance)”的纹理模型(texture model)，并利用这些模型将脸图像模型化。根据AAM，能够实现任意的脸图像的模型化(合成)，而且，能够检测图像中包含的脸的特征部位的位置(专利文献1)。

专利文献1：日本专利特开2007-141107号公报

但是，在上述现有技术中，关于图像中包含的脸的特征部位的位置的检测，存在进一步高效化、高速化的余地。

另外，这样的问题不仅存在于利用AAM的情况，在检测图像中包含的脸的特征部位的位置的图像处理中是共同的问题。

发明内容

本发明为了解决上述课题而提出，其目的在于，实现对图像中包含的脸的特征部位的位置进行检测的处理的高效化、高速化。

为了解决上述课题的至少一部分，本申请发明采用以下的方式。

第一方式提供一种对关注图像中包含的脸的特征部位的坐标位置进行检测的图像处理装置。本发明的第一方式涉及的图像处理装置具备：脸区域检测部，其从所述关注图像中检测出包含脸图像的至少一部分的图像区域作为脸区域；初始位置设定部，其利用预先准备的与脸图像相对于脸区域的大小、角度、位置相关的至少一个以上参数、和表示脸图像的特征的一个以上特征量，设定为了检测所述特征部位的坐标位置而在所述关注图像中设定的特征点的初始位置；和特征位置检测部，其按照使设定在所述初始位置的所述特征点的设定位置接近所述特征部位的坐标位置的方式进行修正，并检测出被修正后的所述设定位置作为所述特征部位的坐标位置。

根据第一方式的图像处理装置，由于利用预先准备的与脸图像相对于脸区域的大小、角度、位置相关的至少一个以上参数、和表示脸图像的特征的一个以上特征量，设定特征点的初始位置，所以，能够将初始位置设定在良好的位置。由此，可实现对关注图像中包含的脸的特征部位的位置进行检测的处理的高效化、高速化。

在第一方式的图像处理装置中，所述初始位置设定部将所述参数及所述特征量被预先设定为规定值的多个所述设定位置中的一个设定为所述初始位置。该情况下，由于将被预先设定的特征点的多个设定位置中的一个设定为初始位置，所以能够高效且高速地检测出关注图像中包含的脸的特征部位的位置。

在第一方式的图像处理装置中，所述初始位置设定部具备：生成部，其根据设定在所述设定位置的所述特征点，生成对所述关注图像的一部分进行了变换的图像、即平均形状图像；和计算部，其计算出所述平均形状图像与平均脸图像的差分值，所述平均脸图像是基于包括所述特征部位的坐标位置为已知的脸图像的多个采样图像而生成的图像；并且，所述初始位置设定部将所述多个设定位置中所述差分值最小的所述设定位置设定为所述初始位置。该情况下，通过将差分值最小的设定位置作为初始位置，能够高效且高速地检测出关注图像中包含的脸的特征部位的位置。

在第一方式的图像处理装置中，所述特征量是对所述多个采样图像中包含的所述特征部位的坐标向量进行主成分分析而得到的形状向量的系数，所述初始位置设定部利用所述形状向量中从对脸图像的特征的贡献率由高到低的顺序起的一个以上形状向量的系数，设定所述初始位置。该情况下，通过在特征点的初始位置的设定中利用贡献率高的一个以上形状向量的系数，可以高效且高速地检测出关注图像中包含的脸的特征部位的位置。

在第一方式的图像处理装置中，所述初始位置设定部利用对脸图像的横向的脸朝向进行表示的特征量，设定所述初始位置。该情况下，通过在特征点的初始位置的设定中利用对脸图像的横向的脸朝向进行表示的特征量，能够高效且高速地检测出关注图像中包含的脸的特征部位的位置。

在第一方式的图像处理装置中，所述初始位置设定部利用对脸图像的纵向的脸朝向进行表示的特征量，设定所述初始位置。该情况下，通过在特征点的初始位置的设定中利用对脸图像的纵向的脸朝向进行表示的特征量，能够高效且高速地检测出关注图像中包含的脸的特征部位的位置。

在第一方式的图像处理装置中，所述特征位置检测部具备修正部，该修正部基于和所述初始位置对应的平均形状图像与所述平均脸图像的差分值，按照所述差分值减小的方式修正所述设定位置，并且，所述特征位置检测部检测出所述差分值成为规定值的所述设定位置作为所述坐标位置。该情况下，由于基于和初始位置对应的平均形状图像与平均脸图像的差分值，按照差分值成为规定值的方式修正设定位置，来检测特征部位的坐标位置，所以能够高效且高速地检测出关注图像中包含的脸的特征部位的位置。

在第一方式的图像处理装置中，所述特征部位可以是眉毛、眼睛、鼻子、嘴和脸轮廓线的一部分。该情况下，能够对眉毛、眼睛、鼻子、嘴和脸轮廓线的一部分良好地检测出坐标位置。

另外，本发明能够以各种方式实现，例如，能够由打印机、数码相机、个人计算机、数码摄像机等实现。而且，还能够以图像处理方法及装置、特征部位的位置检测方法及装置、表情判定方法及装置、用于实现这些方法或装置的功能的计算机程序、记录了该计算机程序的记录介质、包含该计算机程序且具体化到载波内的数据信号等方式实现。

附图说明

图1是示意性表示作为本发明的第1实施例中的图像处理装置的打印机100的结构的说明图。

图2是表示第1实施例中的AAM设定处理的流程的流程图。

图3是表示采样图像SI的一例的说明图。

图4是表示采样图像SI中的特征点CP的设定方法的一例的说明图。

图5是表示在采样图像SI中设定的特征点CP的坐标的一例的说明图。

图6是表示平均形状s₀的一例的说明图。

图7是例示了形状向量s_i及形状参数p_i与脸形状s之间的关系的说明图。

图8是表示采样图像SI的扭曲(warp)W的方法的一例的说明图。

图9是表示平均脸图像A₀(x)的一例的说明图。

图10是表示第一实施例中的脸特征位置检测处理的流程的流程图。

图11是表示关注图像OI中的脸区域FA的检测结果的一例的说明图。

图12是表示第1实施例中的特征点CP的初始位置设定处理的流程的流程图。

图13是表示基于改变全局参数的值而实现的特征点CP的临时设定位置的一例的说明图。

图14是表示平均形状图像I(W(x；p))的一例的说明图。

图15是表示基于改变特征量的值而实现的特征点CP的临时初始位置的一例的说明图。

图16是表示第1实施例中的特征点CP设定位置修正处理的流程的流程图。

图17是表示脸特征位置检测处理的结果的一例的说明图。

图中：100-打印机；110-CPU；120-内部存储器；140-操作部；150-显示部；160-打印机构；170-卡接口；172-卡槽；200-图像处理部；210-初始位置设定部；212-生成部；214-计算部；220-特征位置检测部；222-修正部；230-脸区域检测部；310-显示处理部；320-打印处理部。

具体实施方式

下面，参照附图并基于实施例，对作为本发明的图像处理装置的一个方式的打印机进行说明。

A.第1实施例

A1.图像处理装置的结构：

图1是示意性表示作为本发明的第1实施例中的图像处理装置的打印机100的结构的说明图。本实施例的打印机100是与根据从存储卡MC等获取的图像数据来打印图像的所谓直热式打印机对应的喷墨式彩色打印机。打印机100具备：对打印机100的各部分进行控制的CPU110、由ROM、RAM构成的内部存储器120、由按钮或触摸面板构成的操作部140、由液晶显示器构成的显示部150、打印机构160和卡接口(卡I/F)170。打印机100还可具备用于与其他设备(例如数码相机或个人计算机)进行数据通信的接口。打印机100的各结构要素通过总线连接成能够进行双向通信。

打印机构160根据打印数据进行打印。卡接口170是用于与被插入到卡槽172的存储卡MC之间进行数据交换的接口。其中，在本实施例中，存储卡MC中存储有包含图像数据的图像文件。

内部存储器120中包括图像处理部200、显示处理部310和打印处理部320。图像处理部200是计算机程序，通过在规定的操作系统下由CPU110执行，来进行脸特征位置检测处理。脸特征位置检测处理是对脸图像中的规定的特征部位(例如眼角、鼻尖或脸轮廓线)的位置进行检测的处理。关于脸特征位置检测处理将在后面详述。对于显示处理部310及打印处理部320，也通过由CPU110执行来实现各自的功能。

图像处理部200作为程序模块，包括初始位置设定部210、特征位置检测部220和脸区域检测部230。初始位置设定部210包括生成部212和计算部214。特征位置检测部220包括修正部222。关于各部分的功能将在后述的脸特征位置检测处理的说明中详述。

显示处理部310是对显示部150进行控制，在显示部150上显示处理菜单或消息、图像等的显示器驱动器。打印处理部320是用于根据图像数据生成打印数据，并控制打印机构160执行基于打印数据的图像打印的计算机程序。CPU110通过从内部存储器120读出并执行这些程序(图像处理部200、显示处理部310、打印处理部320)，来实现各部分的功能。

内部存储器120中还存储有AAM信息AMI。AAM信息AMI是通过后述的AAM设定处理而预先设定的信息，在后述的脸特征位置检测处理中被参照。关于AAM信息AMI的内容，将在后述的AAM设定处理的说明中详述。

A2.AAM设定处理：

图2是表示第1实施例中的AAM设定处理的流程的流程图。AAM设定处理是对被称作AAM(主动外观模型(Active Appearance Model))的图像的模型化中所使用的形状模型及纹理模型进行设定的处理。在本实施例中，AAM设定处理由用户进行。

首先，用户准备包含人物的脸的多个图像作为采样图像SI(步骤S110)。图3是表示采样图像SI的一例的说明图。如图3所示，准备的采样图像SI包含个性、人种/性别、表情(怒、笑、愁、惊等)、朝向(朝正面、朝上、朝下、朝右、朝左等)各种属性互不相同的脸图像。若如此准备了采样图像SI，则能够通过AAM高精度地将所有脸图像模型化，从而能够执行以所有脸图像为对象的高精度的脸特征位置检测处理(后述)。其中，采样图像SI也被称作学习用图像。

在各个采样图像SI所包含的脸图像上设定特征点CP(步骤S120)。图4是表示采样图像SI中的特征点CP的设定方法的一例的说明图。特征点CP是表示脸图像中的规定的特征部位的位置的点。在本实施例中，作为规定的特征部位，设定了人物的脸中的眉毛上的规定位置(例如端点、4分割点等，以下相同)、眼睛的轮廓上的规定位置、鼻梁及鼻翼的轮廓上的规定位置、上下唇的轮廓上的规定位置、脸的轮廓(脸轮廓线)上的规定位置等68个部位。即，在本实施例中，将人物的脸中公共包含的脸的器官(眉毛、眼睛、鼻子、嘴)及脸的轮廓上的规定位置，设定为特征部位。如图4所示，特征点CP在各采样图像SI中被设定(配置)在由操作者指定的表示68个特征部位的位置。由于这样设定的各特征点CP与各特征部位对应，所以，脸图像中的特征点CP的配置可表现为对脸的形状进行确定。

采样图像SI中的特征点CP的位置通过坐标来确定。图5是表示在采样图像SI中设定的特征点CP的坐标的一例的说明图。在图5中，SI(j)(j＝1，2，3…)表示了各采样图像SI，CP(k)(k＝0，1，…，67)表示了各特征点CP。而CP(k)-X表示了特征点CP(k)的X坐标，CP(k)-Y表示了特征点CP(k)的Y坐标。作为特征点CP的坐标，可采用以将脸的大小、脸的倾斜度(图像面内的倾斜度)、脸的X方向及Y方向的位置分别标准化后的采样图像SI中的规定的基准点(例如图像的左下方的点)作为原点时的坐标。而且，在本实施例中，允许一个采样图像SI中包含多个人物的脸图像的情况(例如采样图像SI(2)中包含两个人的脸图像)，一个采样图像SI中的各人物通过人物ID来确定。

然后，用户进行AAM的形状模型的设定(步骤S130)。具体而言，针对由各采样图像SI中的68个特征点CP的坐标(X坐标及Y坐标)构成的坐标向量(参照图5)进行主成分分析，由特征点CP的位置确定的脸的形状s根据下述的式(1)来模型化。其中，形状模型也被称作特征点CP的配置模型。

【数学式1】

$s=s_0+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{p}_i{s}_i\·\·\·\left(1\right)$

在上述式(1)中，s₀是平均形状。图6是表示平均形状s₀的一例的说明图。如图6(a)及(b)所示，平均形状s₀是表示由采样图像SI的各特征点CP的平均位置(平均坐标)确定的平均的脸形状的模型。其中，本实施例中，将在平均形状s₀中由连结位于外周的特征点CP(脸轮廓线及眉毛、眉间所对应的特征点CP，参照图4)的直线包围的区域(在图6(b)中用影线表示)称作“平均形状区域BSA”。在平均形状s₀中，如图6(a)所示，以特征点CP为顶点的多个三角形区域TA，被设定成将平均形状区域BSA分割为网目状。

在表示形状模型的上述式(1)中，s_i是形状向量，p_i是表示形状向量si的权重的形状参数。形状向量s_i是表示脸形状s的特性的向量，是与通过主成分分析得到的第i主成分对应的固有向量。如上述式(1)所示，在本实施例的形状模型中，表示特征点CP的配置的脸形状s被模型化为平均形状s₀与n个形状向量s_i的线性组合之和。在形状模型中，通过适当设定形状参数p_i，能够再现所有图像中的脸形状s。

图7是例示了形状向量s_i及形状参数p_i与脸形状s之间的关系的说明图。如图7(a)所示，为了确定脸形状s，可采用从贡献率较大的主成分所对应的固有向量开始依次基于累积贡献率而设定的n个(图7中n＝4)固有向量，作为形状向量s_i。如图7(a)中的箭头所示那样，形状向量s_i与各特征点CP的移动方向、移动量对应。在本实施例中，贡献率最大的第1主成分所对应的第1形状向量s₁成为与脸的左右姿态近似相关的向量，通过改变形状参数p₁的大小，如图7(b)所示，脸形状s的横向的脸朝向发生变化。贡献率第二大的第2主成分所对应的第2形状向量s₂成为与脸的上下姿态近似相关的向量，通过改变形状参数p₂的大小，如图7(c)所示，脸形状s的纵向的脸朝向发生变化。另外，贡献率第三大的第3主成分所对应的第3形状向量s₃成为与脸形状的纵横比近似相关的向量，贡献率第四大的第4主成分所对应的第4形状向量s₄成为与嘴的张开程度近似相关的向量。这样，形状参数的值表示脸的表情、脸朝向等脸图像的特征。本实施例中的“形状参数”对应于权利要求中的特征量。

其中，在形状模型设定步骤(步骤S130)中设定的平均形状s₀及形状向量s_i被作为AAM信息AMI(图1)，保存在内部存储器120中。

然后，进行AAM的纹理模型的设定(步骤S140)。具体而言，首先，按照采样图像SI中的特征点CP的设定位置与平均形状s₀中的特征点CP的设定位置相等的方式，对各采样图像SI进行图像变换(以下也称为“扭曲(warp)W”)。

图8是表示采样图像SI的扭曲W的方法的一例的说明图。在各采样图像SI中，可与平均形状s₀同样，设定将位于外周的特征点CP所包围的区域分割为网目状的多个三角形区域TA。扭曲W是针对多个三角形区域TA的每一个的仿射变换的集合。即，在扭曲W中，采样图像SI中的某个三角形区域TA的图像，被仿射变换为平均形状s₀中的对应的三角形区域TA的图像。通过扭曲W，可生成特征点CP的设定位置与平均形状s₀中的特征点CP的设定位置相等的采样图像SI(以下表示为“采样图像SIw”)。

其中，各采样图像SIw被生成为以包含平均形状区域BSA(图8中用影线表示)的矩形框为外周，并屏蔽了平均形状区域BSA以外的区域(以下也称为“屏蔽区域MA”)的图像。将平均形状区域BSA与屏蔽区域MA合并后的图像区域称为基准区域BA。而且，各采样图像SIw被标准化为例如56像素×56像素的尺寸的图像。

接着，对各采样图像SIw的像素组x各自的亮度值所构成的亮度值向量进行主成分分析，脸的纹理(也称为“外观”)A(x)根据下述的式(2)被模型化。其中，像素组x是位于平均形状区域BSA的像素的集合。

【数学式2】

$A\left(x\right)=A_0\left(x\right)+\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\λ}}_i{A}_i\left(x\right)\·\·\·\left(2\right)$

在上述式(2)中，A₀(x)是平均脸图像。图9是表示平均脸图像A₀(x)的一例的说明图。平均脸图像A₀(x)是表现了扭曲W之后的采样图像SIw(参照图8)的平均的脸的图像。即，平均脸图像A₀(x)是通过求取采样图像SIw的平均形状区域BSA内的像素组x的像素值(亮度值)的平均而算出的图像。因此，平均脸图像A₀(x)是表示平均的脸形状中的平均的脸纹理(外观)的模型。其中，平均脸图像A₀(x)与采样图像SIw同样，由平均形状区域BSA和屏蔽区域MA构成，例如作为56像素×56像素的尺寸的图像而被算出。

在表示纹理模型的上述式(2)中，A_i(x)是纹理向量，λ_i是表示纹理向量A_i(x)的权重的纹理参数。纹理向量A_i(x)是表示脸的纹理A(x)的特性的向量，具体而言，是与通过主成分分析获得的第i主成分对应的固有向量。即，可采用从贡献率较大的主成分所对应的固有向量开始依次基于累积贡献率而设定的m个固有向量，作为纹理向量A_i(x)。在本实施例中，贡献率最大的第1主成分所对应的第1纹理向量A₁(x)成为与脸色的变化(还捕捉性别差异)近似相关的向量。

如上述式(2)所示，在本实施例的纹理模型中，表示脸的外观的脸纹理A(x)被模型化为平均脸图像A₀(x)与m个纹理向量A_i(x)的线性组合之和。在纹理模型中，通过适当设定纹理参数λ_i，能够再现所有图像中的脸纹理A(x)。其中，在纹理模型设定步骤(图2的步骤S140)中设定的平均脸图像A₀(x)以及纹理向量A_i(x)，被作为AAM信息AMI(图1)保存到内部存储器120中。

通过以上说明的AAM设定处理(图2)，可设定将脸形状模型化的形状模型、和将脸纹理模型化的纹理模型。通过组合所设定的形状模型与纹理模型，即通过对合成后的纹理A(x)进行从平均形状s₀到形状s的变换(图8所示的扭曲W的逆变换)，能够再现所有脸图像的形状和纹理。

A3.脸特征位置检测处理：

图10是表示第1实施例中的脸特征位置检测处理的流程的流程图。本实施例中的脸特征位置检测处理是通过利用AAM来确定关注图像所包含的脸图像中的特征点CP的配置，从而检测脸图像中的特征部位的位置的处理。如上所述，本实施例在AAM设定处理(图2)中，将人物的脸的器官(眉毛、眼睛、鼻子、嘴)及脸的轮廓上的共计68个规定位置设定为特征部位(参照图4)。因此，在本实施例的脸特征位置检测处理中，可确定对人物的脸的器官及脸的轮廓上的规定位置进行表示的68个特征点CP的配置。

另外，若通过脸特征位置检测处理确定了脸图像中的特征点CP的配置，则脸图像的形状参数p_i、纹理参数λ_i的值被确定。因此，脸特征位置检测处理的处理结果可以在用于对特定表情(例如笑脸或闭着眼睛的脸)的脸图像进行检测的表情判定、用于对特定朝向(例如朝右或朝下)的脸图像进行检测的脸朝向判定、使脸的形状变形的脸变形、脸的阴影修正等中加以利用。

首先，图像处理部200(图1)取得对成为脸特征位置检测处理的对象的关注图像进行表示的图像数据(步骤S210)。在本实施例的打印机100中，若存储卡MC被插入到卡槽172中，则存储卡MC中保存的图像文件的缩略图像显示到显示部150上。成为处理对象的一个或多个图像由用户通过操作部140选择。图像处理部200从存储卡MC中取得包含与所选择的一个或多个图像对应的图像数据的图像文件，并保存到内部存储器120的规定区域。其中，将取得的图像数据称为关注图像数据，将关注图像数据所表示的图像称为关注图像OI。

脸区域检测部230(图1)检测出包括关注图像OI所包含的脸图像的至少一部分的图像区域，作为脸区域FA(步骤S220)。脸区域FA的检测可利用公知的脸检测方法进行。作为公知的脸检测方法，例如有基于图案匹配的方法、基于肤色区域提取的方法、使用由利用了采样图像的学习(例如，利用了神经网络的学习、利用了boosting的学习、利用了支持向量机(support vector machine)的学习等)而设定的学习数据的方法等。

图11是表示关注图像OI中的脸区域FA的检测结果的一例的说明图。图11中表示了在关注图像OI中被检测出的脸区域FA。在本实施例中，采用了大致将在脸的上下方向包含从额头到下颌、在左右方向包含到两耳外侧的矩形区域检测为脸区域FA的脸检测方法。

初始位置设定部210(图1)设定关注图像OI中的特征点CP的初始位置(步骤S230)。图12是表示第1实施例中的特征点CP的初始位置设定处理的流程的流程图。在本实施例中，初始位置设定部210对表示脸图像相对于脸区域FA的大小、倾斜度、位置(上下方向的位置及左右方向的位置)的全局参数的值、和作为特征量的形状参数p₁以及形状参数p₂的值进行各种变更，从而将特征点CP设定到关注图像OI上的临时设定位置(步骤S310)。

图13是表示基于改变全局参数的值而实现的特征点CP的临时设定位置的一例的说明图。图13(a)及图13(b)中表示了关注图像OI中的特征点CP及连结特征点CP而形成的网目。初始位置设定部210如图13(a)及图13(b)的中央处所示，在脸区域FA的中央部设定可形成平均形状s₀那样的特征点CP的临时设定位置(以下也称为“基准临时设定位置”)。

初始位置设定部210还相对于基准临时设定位置，设定对全局参数的值进行各种变更而得到的多个临时设定位置。对全局参数(大小、倾斜度、上下方向的位置及左右方向的位置)进行变更，相当于关注图像OI中由特征点CP形成的网目放大或缩小、倾斜度变更、并行移动。因此，初始位置设定部210如图13(a)所示那样设定：形成以规定倍率将基准临时设定位置的网目放大或缩小后的网目那样的临时设定位置(图中表示在基准临时设定位置的下方及上方)、形成顺时针或逆时针使倾斜度改变了规定角度后的网目那样的临时设定位置(图中表示在基准临时设定位置的右侧及左侧)。而且，初始位置设定部210还设定：形成对基准临时设定位置的网目进行组合了放大、缩小及倾斜度的变更的变换之后的网目那样的临时设定位置(图中表示在基准临时设定位置的左上、左下、右上、右下)。

另外，如图13(b)所示，初始位置设定部210设定：形成将基准临时设定位置的网目向上或向下并行移动规定量后的网目那样的临时设定位置(图中表示在基准临时设定位置的上方及下方)、形成向左或向右并行移动后的网目那样的临时设定位置(图中表示在基准临时设定位置的左侧及右侧)。而且，初始位置设定部210还设定：形成对基准临时设定位置的网目进行组合了上下及左右的并行移动的变换之后的网目那样的临时设定位置(图中表示在基准临时设定位置的左上、左下、右上、右下)。

初始位置设定部210还设定：对图13(a)所示的基准临时设定位置以外的8个临时设定位置各自的网目可执行图13(b)所示的上下左右并行移动的临时设定位置。因此，在本实施例中，可设定通过将4个全局参数(大小、倾斜度、上下方向的位置、左右方向的位置)分别作为已知的三个等级的值进行组合而设定的80种(＝3×3×3×3-1)临时设定位置、和基准临时设定位置共计81种临时设定位置。

生成部212(图1)生成与所设定的各临时设定位置对应的平均形状图像I(W(x；p))(步骤S320)。图14是表示平均形状图像I(W(x；p))的一例的说明图。通过输入图像中的特征点CP的配置与平均形状s₀中的特征点CP的配置相等那样的变换，来算出平均形状图像I(W(x；p))。

用于计算平均形状图像I(W(x；p))的变换与用于计算采样图像SIw的变换(参照图8)同样，通过作为每个三角形区域TA的仿射变换的集合的扭曲W来进行。具体而言，根据关注图像OI中配置的特征点CP(参照图13)可确定平均形状区域BSA(位于外周的特征点CP所包围的区域)，通过对关注图像OI中的平均形状区域BSA进行每个三角形区域TA的仿射变换，从而算出平均形状图像I(W(x；p))。在本实施例中，平均形状图像I(W(x；p))与平均脸图像A₀(x)同样由平均形状区域BSA及屏蔽区域MA构成，作为与平均脸图像A₀(x)相同尺寸的图像被算出。

其中，如上所述，像素组x是位于平均形状s₀中的平均形状区域BSA的像素的集合。将与执行扭曲W后的图像(具有平均形状s₀的脸图像)中的像素组x对应的执行扭曲W之前的图像(关注图像OI的平均形状区域BSA)中的像素组表示为W(x；p)。由于平均形状图像是关注图像OI的平均形状区域BSA中的像素组W(x；p)各自的亮度值所构成的图像，所以被表示为I(W(x；p))。图14中表示了图13(a)所示的9个临时设定位置所对应的9个平均形状图像I(W(x；p))。

计算部214(图1)计算出各临时设定位置所对应的平均形状图像I(W(x；p))与平均脸图像A₀(x)之间的差分图像Ie(步骤S330)。由于特征点CP的临时设定位置被设定了81种，所以计算部214(图1)计算出81个差分图像Ie。

初始位置设定部210根据各差分图像Ie的像素值计算出范数(norm)，将范数值最小的差分图像Ie所对应的临时设置位置(以下也称为“范数最小临时设定位置”)设定为关注图像OI中的特征点CP的基准临时初始位置(步骤S340)。用于计算出范数的像素值可以是亮度值，也可以是RGB值。

初始位置设定部210相对于基准临时初始位置，设定对作为特征量的形状参数p₁及形状参数p₂的值进行了各种变更而得到的多个临时初始位置(步骤S350)。图15是表示基于改变特征量的值而实现的特征点CP的临时初始位置的一例的说明图。对形状参数p₁及形状参数p₂的值进行变更，相当于设定由特征点CP形成的网目呈图7(a)所示的纵姿态、图7(b)所示的横姿态时的临时初始位置。因此，初始位置设定部210如图15所示那样设定：形成使基准临时初始位置的网目以规定角度呈横姿态的网目那样的临时初始位置(图中表示在基准临时初始位置的右侧及左侧)、形成以规定角度呈纵姿态的网目那样的临时初始位置(图中表示在基准临时初始位置的上方及下方)。而且，初始位置设定部210还设定：形成相对于基准临时初始位置的网目组合了横姿态及纵姿态之后的网目那样的临时初始位置(图中表示在基准临时初始位置的左上、左下、右上、右下)。

初始位置设定部210设定图15所示的基准临时初始位置以外的8个临时初始位置。即，设定通过将两个特征量(纵姿态、横姿态)分别作为已知的三个等级的值进行组合而设定的8种(＝3×3-1)临时初始位置、和基准临时初始位置共计9种临时初始位置。

生成部212(图1)生成与所设定的各临时初始位置对应的平均形状图像I(W(x；p))。而计算部214(图1)计算出各临时初始位置所对应的平均形状图像I(W(x；p))与平均脸图像A₀(x)之间的差分图像Ie。初始位置设定部210计算出各差分图像Ie的范数，将范数值最小的差分图像Ie所对应的临时初始位置，设定为关注图像OI中的特征点CP的初始位置(步骤S360)。通过以上步骤，完成了特征点CP初始位置设定处理。

当特征点CP初始位置设定处理完成时，特征位置检测部220(图1)进行关注图像OI中的特征点CP的设定位置的修正(步骤S240)。图16是表示第1实施例中的特征点CP设定位置修正处理的流程的流程图。

生成部212(图1)根据关注图像OI计算出平均形状图像I(W(x；p))(步骤S410)。平均形状图像I(W(x；p))的计算方法与特征点CP初始位置设定处理中的步骤S320同样。

特征位置检测部220计算出平均形状图像I(W(x；p))与平均脸图像A₀(x)之间的差分图像Ie(步骤S420)。特征位置检测部220基于差分图像Ie，判定特征点CP的设定位置修正处理是否已收敛(步骤S430)。特征位置检测部220计算出差分图像Ie的范数，当范数值小于预先设定的阈值时判定为已收敛，当范数值为阈值以上时判定为尚未收敛。另外，特征位置检测部220也可以在算出的差分图像Ie的范数值比上一次的步骤S430中算出的值小时判定为已收敛，当为上一次的值以上时判定为尚未收敛。或者，特征位置检测部220还可以将基于阈值的判定和基于与上一次值的比较的判定组合，来进行收敛判定。例如，特征位置检测部220仅在算出的范数值小于阈值、且小于上一次的值时判定为已收敛，在此外的情况下判定为尚未收敛。

在上述的步骤S430的收敛判定中判定为尚未收敛时，修正部222(图1)计算出参数更新量ΔP(步骤S440)。参数更新量ΔP是指4个全局参数(作为整体的大小、倾斜度、X方向位置、Y方向位置)及作为特征量的n个形状参数p_i(参照式(1))的值的变更量。其中，在将特征点CP设定为初始位置之后，全局参数被设定为在特征点CP初始位置设定处理(图12)中确定的值。而且，由于此时的特征点CP的初始位置与平均形状s₀的特征点CP的设定位置之间的差异，仅限于作为整体的大小、倾斜度、位置的差异，所以形状模型中的形状参数p_i的值均为零。

参数更新量ΔP可通过下述的式(3)来计算。即，参数更新量ΔP是更新矩阵R与差分图像Ie之积。

【数学式3】

ΔP＝R×Ie  …(3)

式(3)中的更新矩阵R是为了根据差分图像Ie计算出参数更新量Δp而预先通过学习设定的M行N列的矩阵，作为AAM信息AMI(图1)被保存在内部存储器120中。在本实施例中，更新矩阵R的行数M等于全局参数的数量(4个)与形状参数p_i的数量(n个)之和((4+n)个)，列数N等于平均脸图像A₀(x)(图6)的平均形状区域BSA内的像素数(56像素×56像素-屏蔽区域MA的像素数)。更新矩阵R可通过下述的式(4)及(5)算出。

【数学式4】

$R=H^{-1}\mathrm{\Σ}{[\▿A_0\frac{\∂W}{\∂P}]}^T\·\·\·\left(4\right)$

【数学式5】

$H=\mathrm{\Σ}{[\▿A_0\frac{\∂W}{\∂P}]}^T[\▿A_0\frac{\∂W}{\∂P}]\·\·\·\left(5\right)$

修正部222(图1)根据算出的参数更新量ΔP，对参数(4个全局参数及n个形状参数p_i)进行更新(步骤S450)。由此，关注图像OI中的特征点CP的设定位置被修正。修正部222按照差分图像Ie的范数减小的方式进行修正。在参数更新之后，再次进行根据特征点CP的设置位置被修正后的关注图像OI计算平均形状图像I(W(x；p))(步骤S410)、计算差分图像Ie(步骤S420)、基于差分图像Ie的收敛判定(步骤S430)。当在再次的收敛判定中仍判定为尚未收敛时，进而进行基于差分图像Ie计算参数更新量ΔP(步骤S440)、基于参数的更新实现的特征点CP的设定位置修正(步骤S450)。

若反复执行图16的步骤S410～S450的处理，则关注图像OI中的各特征部位所对应的特征点CP的位置会整体逐渐接近实际的特征部位的位置，并在某一时刻在收敛判定(步骤S430)中被判定为已收敛。若在收敛判定中判定为已收敛，则脸特征位置检测处理完成(步骤S460)。此时设定的全局参数及形状参数pi的值所确定的特征点CP的设定位置，被确定为最终的关注图像OI中的特征点CP的设定位置。

图17是表示脸特征位置检测处理的结果的一例的说明图。在图17中表示了关注图像OI中最终被确定的特征点CP的设定位置。由于根据特征点CP的设定位置，可确定关注图像OI中包含的脸的特征部位(人物的脸的器官(眉毛、眼睛、鼻子、嘴)及脸的轮廓中的规定位置)的位置，所以能够检测关注图像OI中的人物的脸的器官的形状、位置和脸的轮廓形状。

打印处理部320针对已检测出脸的器官的形状、位置和脸的轮廓形状的关注图像OI生成打印数据。具体而言，打印处理部320针对关注图像OI实施下述处理等来生成打印数据，所述处理包括：用于使各像素的像素值与打印机100所使用的墨水匹配的色变换处理、用于通过点的分布来表示色变换处理后的像素的灰度的半色调处理、用于将半色调处理后的图像数据的数据排列重新排列成为了向打印机100传输的顺序的光栅化(rasterize)处理等。打印机构160根据由打印处理部320生成的打印数据，进行已被检测出脸的器官的形状、位置和脸的轮廓形状的关注图像OI的打印。另外，打印处理部320并不仅限于生成针对关注图像OI的打印数据，还基于检测出的脸的器官的形状、位置和脸的轮廓形状，生成被实施了脸变形、脸的阴影修正等规定处理后的图像的打印数据。而且，打印机构160还可基于由打印处理部320生成的打印数据，进行被实施了脸变形、脸的阴影修正等处理后的图像的打印。

如以上说明那样，根据第1实施例的图像处理装置，由于在特征点CP初始位置设定处理中，利用全局参数、特征量来设定特征点CP的初始位置，所以，能够实现对关注图像中包含的脸的特征部位的位置进行检测的处理的高效化、高速化。

具体而言，在本实施例中，分别改变4个全局参数(大小、倾斜度、上下方向的位置、左右方向的位置)和两个特征量(纵姿态、横姿态)的值，预先准备多个形成各种网目的特征点CP的临时设定位置，将范数值最小的差分图像Ie所对应的临时设定位置作为初始位置。由此，可以将关注图像OI中的特征点CP的初始位置设定在更靠近脸的特征部位的位置。因此，由于在特征点CP设定位置修正处理中，修正部222所进行的修正变得容易，所以能够实现对脸的特征部位的位置进行检测的处理的高效化、高速化。

根据第1实施例的图像处理装置，由于在特征点CP初始位置设定处理中，初始位置设定部210对形状参数p₁及形状参数p₂的值进行各种变更，来设定特征点CP的初始位置，所以能够高效且高速地检测出关注图像中包含的脸的特征部位的位置。具体而言，形状参数p₁是与对脸的特征的贡献率最大的第1主成分、即脸的左右姿态近似相关的第1形状向量s₁的系数。而形状参数p₂是与对脸的特征的贡献率第二大的第2主成分、即脸的上下姿态近似相关的第2形状向量s₂的系数。因此，通过对形状参数p₁及形状参数p₂的值进行各种变更，能够设定与各种脸的特征对应的特征点CP的设定位置。由此，可以将关注图像OI中的特征点CP的初始位置设定在更靠近脸的特征部位的位置。

根据第1实施例的打印机100，能够进行对被检测出脸的器官的形状、位置和脸的轮廓形状的关注图像OI的打印。由此，可以在进行了用于对特定表情(例如笑脸或闭着眼睛的脸)的脸图像进行检测的表情判定、用于对特定朝向(例如朝右或朝下)的脸图像进行检测的脸朝向判定之后，基于判定结果选择任意的图像来进行打印。而且，能够基于检测出的脸的器官的形状、位置和脸的轮廓形状，进行被实施了脸变形、脸的阴影修正等规定的处理后的图像的打印。由此，针对特定的脸图像，可在进行了脸变形、脸的阴影修正等之后进行打印。

B.变形例：

另外，本发明并不限于上述的实施例或实施方式，在不脱离其宗旨的范围内能够以各种方式实施，例如可进行如下变形。

B1.变形例1：

本实施例中的初始位置设定部210确定通过对全局参数的值进行各种变更而设定的临时设定位置中、各差分图像Ie的范数最小的基准临时初始位置，并通过对基准临时初始位置的特征量进行各种变更，设定了临时初始位置，但也可以设定对图13(a)所示的基准临时设定位置以外的8个临时设定位置各自的网目，执行了图13(b)所示的上下左右的并行移动、及图14所示的纵姿态横姿态之后的临时设定位置，从共计729种(＝3×3×3×3×3×3)临时设定位置中设定初始位置。该情况下，也能够将关注图像OI中的特征点CP的初始位置设定在更靠近脸的特征部位的位置，来实现对脸的特征部位的位置进行检测的处理的高效化、高速化。

B2.变形例2：

本实施例中，在特征点CP初始位置设定处理中，预先设定了与4个全局参数(大小、倾斜度、上下方向的位置、左右方向的位置)各自的三个等级的值的组合对应的共计80种(＝3×3×3×3-1)临时设定位置，但临时设定位置的设定中所使用的参数的种类和数量、参数值的等级数能够进行变更。例如，可以在临时设定位置的设定中仅使用4个全局参数中的一部分，还可以对所使用的参数的每一个，利用五个等级的值的组合来设定临时设置位置。

B3.变形例3：

本实施例中，在特征点CP初始位置设定处理中，通过贡献率高的两个主成分所对应的形状参数p₁及p₂的三个等级的值的组合，设定了临时初始位置，但所使用的形状参数p_i的数量和参数值的等级数能够进行变更。例如，可以仅使用贡献率最大的一个主成分所对应的形状参数p_i，也可使用从贡献率大的顺序开始的三个以上主成分所对应的形状参数p_i。另外，例如参数值的等级数可以是五个等级。

B4.变形例4：

在本实施例的特征点CP设定位置修正处理中，通过根据关注图像OI计算出平均形状图像I(W(x；p))，由此使关注图像OI的特征点CP的设置位置与平均脸图像A₀(x)的特征点CP的设置位置匹配，但也可通过对平均脸图像A₀(x)进行图像变换，来使两者的特征点CP的配置匹配。

B5.变形例5：

本实施例中的采样图像SI(图3)只是一例，作为采样图像SI而采用的图像的数量、种类能够任意设定。而且，在本实施例中，由特征点CP的位置表示的脸的规定的特征部位(参照图4)只是一例，可以省略实施例中设定的特征部位的一部分，或采用其他部位作为特征部位。

另外，在本实施例中，通过对采样图像SIw的像素组x的各自的亮度值所构成的亮度值向量进行主成分分析而设定了纹理模型，但也可以通过对表示脸图像的纹理(外观)的亮度值以外的指标值(例如RGB值)进行主成分分析来设定纹理模型。

而且，在本实施例中，平均脸图像A₀(x)的尺寸并不限于56像素×56像素，也可以是其他尺寸。并且，平均脸图像A₀(x)无需包括屏蔽区域MA(图8)，可以仅由平均形状区域BSA构成。另外，也可以取代平均脸图像A₀(x)，而使用基于采样图像SI的统计分析设定的其他基准脸图像。

而且，在本实施例中，进行了利用AAM的形状模型及纹理模型的设定，但也可利用其他模型化方法(例如被称为Morphable Model的方法、被称为Active Blob的方法)进行形状模型及纹理模型的设定。

并且，在本实施例中，存储卡MC中保存的图像被设定为关注图像OI，但关注图像OI也可以是例如通过网络而取得的图像。

另外，在本实施例中，说明了由作为图像处理装置的打印机100进行的图像处理，但处理的一部分或全部也可以由个人计算机、数码相机、数码摄像机等其他种类的图像处理装置执行。而且，打印机100并不限于喷墨打印机，也可以是其他方式的打印机，例如激光打印机或升华型打印机。

在本实施例中，可将由硬件实现的结构的一部分替换为软件，反之，也可将由软件实现的结构的一部分替换为硬件。

另外，在本发明的功能的一部分或全部由软件实现的情况下，该软件(计算机程序)能够以保存在计算机可读取的记录介质中的形式被提供。在本发明中，“计算机可读取的记录介质”并不限于软盘或CD-ROM等便携式记录介质，还包括各种RAM、ROM等计算机内的内部存储装置、硬盘等被固定于计算机的外部存储装置。

Claims (12)

1.一种图像处理装置，其特征在于，对关注图像中包含的脸的特征部位的坐标位置进行检测，具备：

脸区域检测部，其从所述关注图像中检测出包含脸图像的至少一部分的图像区域作为脸区域；

初始位置设定部，其利用预先准备的与脸图像相对于脸区域的大小、角度、位置相关的一个以上参数、和表示脸图像的特征的一个以上特征量，设定为了检测所述特征部位的坐标位置而在所述关注图像中设定的特征点的初始位置；和

特征位置检测部，其按照使设定在所述初始位置的所述特征点的设定位置接近所述特征部位的坐标位置的方式进行修正，检测出被修正后的所述设定位置作为所述特征部位的坐标位置；

所述初始位置设定部具备：

生成部，其基于设定在所述设定位置的所述特征点，生成对所述关注图像的一部分进行了变换的图像、即平均形状图像；和

计算部，其计算出所述平均形状图像与平均脸图像的差分值，所述平均脸图像是基于包括所述特征部位的坐标位置为已知的脸图像的多个采样图像而生成的图像；并且，

所述初始位置设定部将所述参数及所述特征量被预先设定为规定值的多个所述设定位置中的一个设定为所述初始位置，将所述多个设定位置中所述差分值最小的所述设定位置设定为所述初始位置。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述特征量是对所述多个采样图像中包含的所述特征部位的坐标向量进行主成分分析而得到的形状向量的系数，

所述初始位置设定部利用所述形状向量中从对脸图像的特征的贡献率由高到低的顺序起的一个以上形状向量的系数，设定所述初始位置。

3.根据权利要求1所述的图像处理装置，其特征在于，

所述初始位置设定部利用对脸图像的横向的脸朝向进行表示的特征量，设定所述初始位置。

4.根据权利要求2所述的图像处理装置，其特征在于，

所述初始位置设定部利用对脸图像的横向的脸朝向进行表示的特征量，设定所述初始位置。

5.根据权利要求1所述的图像处理装置，其特征在于，

所述初始位置设定部利用对脸图像的纵向的脸朝向进行表示的特征量，设定所述初始位置。

6.根据权利要求2所述的图像处理装置，其特征在于，

所述初始位置设定部利用对脸图像的纵向的脸朝向进行表示的特征量，设定所述初始位置。

7.根据权利要求3所述的图像处理装置，其特征在于，

所述初始位置设定部利用对脸图像的纵向的脸朝向进行表示的特征量，设定所述初始位置。

8.根据权利要求4所述的图像处理装置，其特征在于，

所述初始位置设定部利用对脸图像的纵向的脸朝向进行表示的特征量，设定所述初始位置。

9.根据权利要求1～8中任意一项所述的图像处理装置，其特征在于，

所述特征位置检测部具备修正部，该修正部基于和所述初始位置对应的平均形状图像与所述平均脸图像的差分值，按照所述差分值减小的方式修正所述设定位置，并且，

所述特征位置检测部检测出所述差分值成为规定值的所述设定位置，作为所述坐标位置。

10.根据权利要求1～8中任意一项所述的图像处理装置，其特征在于，

所述特征部位是眉毛、眼睛、鼻子、嘴和脸轮廓线的一部分。

11.一种打印机，其特征在于，对关注图像中包含的脸的特征部位的坐标位置进行检测，具备：

脸区域检测部，其从所述关注图像中检测出包含脸图像的至少一部分的图像区域作为脸区域；

初始位置设定部，其利用预先准备的与脸图像相对于脸区域的大小、角度、位置相关的一个以上参数、和表示脸图像的特征的一个以上特征量，设定为了检测出所述特征部位的坐标位置而在所述关注图像中设定的特征点的初始位置；

特征位置检测部，其通过将设定在所述初始位置的所述特征点的设定位置修正为所述特征部位的坐标位置，来检测所述坐标位置；和

打印部，其用于对被检测出所述坐标位置的所述关注图像进行打印；

所述初始位置设定部具备：

生成部，其基于设定在所述设定位置的所述特征点，生成对所述关注图像的一部分进行了变换的图像、即平均形状图像；和

计算部，其计算出所述平均形状图像与平均脸图像的差分值，所述平均脸图像是基于包括所述特征部位的坐标位置为已知的脸图像的多个采样图像而生成的图像；并且，

所述初始位置设定部将所述参数及所述特征量被预先设定为规定值的多个所述设定位置中的一个设定为所述初始位置，将所述多个设定位置中所述差分值最小的所述设定位置设定为所述初始位置。

12.一种图像处理方法，其特征在于，对关注图像中包含的脸的特征部位的坐标位置进行检测，具备：

从所述关注图像中检测出包含脸图像的至少一部分的图像区域作为脸区域的步骤；

利用预先准备的与脸图像相对于脸区域的大小、角度、位置相关的一个以上参数、和表示脸图像的特征的一个以上特征量，设定为了检测出所述特征部位的坐标位置而在所述关注图像中设定的特征点的初始位置的初始位置设定步骤；和

通过将设定在所述初始位置的所述特征点的设定位置修正为所述特征部位的坐标位置，来检测所述坐标位置的步骤；

所述初始位置设定步骤具备：

生成步骤，其基于设定在所述设定位置的所述特征点，生成对所述关注图像的一部分进行了变换的图像、即平均形状图像；和

计算步骤，其计算出所述平均形状图像与平均脸图像的差分值，所述平均脸图像是基于包括所述特征部位的坐标位置为已知的脸图像的多个采样图像而生成的图像；并且，

在所述初始位置设定步骤中，将所述参数及所述特征量被预先设定为规定值的多个所述设定位置中的一个设定为所述初始位置，将所述多个设定位置中所述差分值最小的所述设定位置设定为所述初始位置。

Images