CN1954342B - 参数推定方法、参数推定装置及对照方法 - Google Patents

Abstract

本发明提供一种参数推定方法，该方法对输入数据最大推定事后概率，来推定参数，用与输入数据相关的内积表示与输入数据相关的运算，将内积替换成核函数，并利用核函数的计算结果来推定参数。该方法具有：学习应推定的参数为已知的多个学习用输入数据、与学习用输入数据的每一个所对应的参数之间的相关的步骤(脱机动作)；和利用学习到的相关，来推定对于应推定的参数为未知的推定用输入数据的参数的步骤(联机动作)。

Description

参数推定方法、参数推定装置及对照方法

技术领域

本发明涉及从输入数据推定特定的参数的参数推定方法、参数推定装置及利用了该装置的对照方法。

背景技术

在参数信息处理中，从输入的图像来推定特定的参数的处理是一般的处理。例如，从人脸图像提取眼和鼻的位置的处理、或从车辆图像提取车号牌的位置的处理与此对应。

历来，对于这种处理，最普遍的方法是利用模板进行比较对照的称作对照过滤法的方法，提出了很多的使用例。在R.Brunelli，T.Poggio，“FaceRecognition：Features versus Template”，IEEE Trans.Patt.Anal.MachineIntell.，vol.PAMI-8，pp.34-43，1993中详细地报告了基于这种方法的脸的特征提取方法的一例。

这些现有的方法中的问题是计算机的处理时间长、或伴随于此处理成本变高。在将归一化相关作为类似度基准时，若设输入图像的像素数为S、设模板的像素数为T，则以乘法为单位运算，需要2×T×S次运算。若将这些应用于脸图像的特征点提取，则在S＝150×150＝22500(pel)、T＝50×20＝1000(pel)时，仅乘法就达到2×1000×22500＝4500万次，无论说计算机的运算速度怎么提高，都将需要极大的运算成本。

而且，作为用于对照的模板，大多使用全部学习数据的平均数据，无法根据环境进行较好地进行对照。因此，存在如下方法：根据输入图像，准备多个模板来进行类似度计算。但是，由于处理量根据模板的数量而增大，因此存在计算机的处理时间进一步变长的问题。

发明内容

本发明的参数推定方法、参数推定装置及对照方法鉴于这些课题而实现，目的在于以短处理时间或少的处理成本正确地推定相对于输入数据的参数。

为了解决上述课题，本发明的参数推定方法的特征在于，用与输入数据相关的内积，表示对输入数据最大推定事后概率的运算方法，将内积替换成核函数，并利用核函数的计算结果来推定参数。

附图说明

图1是本发明的实施方式一中的参数推定装置的框图；

图2是本发明的实施方式一中的参数推定装置的流程图；

图3是本发明的实施方式二中的脸图像对照装置的框图；

图4是本发明的实施方式二中的脸图像对照装置的流程图；

图5是表示由用户输入的脸的特征点一例的图；

图6是表示在本发明的实施方式二中提取出的眼位置的几个例子的图；

图7A是表示使本发明的实施方式二中的脸图像对照装置的摄像距离变化时的眼位置推定的灵敏度的图；

图7B是表示使本发明的实施方式二中的脸图像对照装置的摄像角度变化时的眼位置推定的灵敏度的图；

图8A是表示从正面拍摄的脸图像的画面内的相对于脸位置的移动的眼位置推定的灵敏度的图；

图8B是表示倾斜拍摄的脸图像的画面内的相对于脸位置的移动的眼位置推定的灵敏度的图；

图9是表示反复次数和眼位置推定的灵敏度的图；

图10是本发明的实施方式三中的脸图像对照装置的框图；

图11是本发明的实施方式三及四中的脸图像对照装置的流程图。

图中：10-数据输入部；20-CPU；22-学习核函数矩阵计算单元；23-特征值计算单元；26-推定核函数计算单元；27-参数算出单元；30-存储器；40-二次存储装置；50-显示器；60-鼠标；90-系统总线；100-参数推定装置；110、115-(拍摄)照相机；140-脸图像数据库；200、300-脸图像对照装置。

具体实施方式

本发明的参数推定方法的特征在于，用与输入数据相关的内积，表示对输入数据最大推定事后概率的运算方法，将内积替换成核函数，并利用核函数的计算结果来推定参数。通过该方法，能够以短处理时间或少处理成本来正确地推定对于输入数据的参数。

而且，本发明的参数推定方法，具有：学习应推定的参数为已知的多个学习用输入数据、与学习用输入数据的每一个所对应的参数之间的相关的步骤；和利用学习到的相关，来推定对于应推定的参数为未知的推定用输入数据的参数的步骤，学习步骤具有：利用应推定的参数为已知的多个学习用输入数据，计算学习核函数矩阵的步骤；和求取学习核函数矩阵的逆矩阵的特征值及特征向量的步骤，推定步骤具有：利用应推定的参数为未知的推定用输入数据和学习用输入数据，计算推定核函数的步骤；和利用学习核函数矩阵、学习核函数矩阵的逆矩阵的特征值及其特征向量，推定推定用输入数据的参数的步骤。通过该方法，利用计算机系统，能够以短处理时间或少处理成本来正确地推定对于输入数据的参数。

并且，本发明的参数推定装置，具有：学习单元，其学习应推定的参数为已知的多个学习用输入数据、与学习用输入数据的每一个所对应的参数之间的相关；和推定单元，其利用学习到的相关，来推定应推定的参数为未知的推定用输入数据的参数，学习单元具有；学习核函数矩阵计算单元，其利用应推定的参数为已知的多个学习用输入数据，计算学习核函数矩阵；和特征值计算单元，其求取学习核函数矩阵的逆矩阵的特征值及特征向量，推定单元具有：推定核函数计算单元，其利用应推定的参数为未知的推定用输入数据和学习用输入数据，计算推定核函数；和参数算出单元，其利用学习核函数矩阵、学习核函数矩阵的逆矩阵的特征值及其特征向量，推定推定用输入数据的参数。通过该结构，能够实现以短处理时间或少处理成本正确地推定对于输入数据的参数的参数推定装置。

而且，本发明的参数推定装置，推定用输入数据及学习用输入数据可以是包括脸的图像，应推定的参数可以是脸的特征点的坐标。通过该构成，能够提供适用于脸对照装置的参数推定装置。

并且，本发明的对照方法是利用了本发明的参数推定装置和脸图像数据库的对照方法，在利用参数推定装置对应该对照的脸图像的脸的特征点的坐标进行了推定之后，基于脸的特征点的坐标来分出脸区域，将脸图像数据库中登记的脸图像与分出的脸区域进行对照。通过该方法，能够以短处理时间或少处理成本从脸图像分出用于脸对照的脸区域。

而且，本发明的对照方法是利用了本发明的参数推定装置和脸图像数据库的对照方法，在重复了多次脸图像归一化动作之后，基于脸的特征点的坐标来分出脸区域，将脸图像数据库中登记的脸图像与分出的脸区域进行对照，脸图像归一化动作利用参数推定装置对脸的特征点的坐标进行推定并基于脸的特征点的坐标使图像区域归一化。通过该方法，即使对于在画面内脸位置较大地移动的脸图像，也能精度良好地推定特征点的坐标。

并且，本发明的参数推定装置，推定用输入数据及学习用输入数据可以是包括脸的图像，应推定的参数可以是脸图像的高度信息。通过该结构，能够从二维脸图像推定三维立体的脸信息。

而且，本发明的对照方法是利用了本发明的参数推定装置和脸图像数据库的对照方法，在利用参数推定装置对应该对照的脸图像的高度信息进行了推定之后，基于脸图像的高度信息，合成从与脸图像数据库中登记的脸图像相同的角度观察的二维图像并进行对照。通过该方法，朝向任意方向的脸图像都能与作为正面或横向的脸图像登记的脸图像数据库进行对照。

并且，本发明的对照方法是利用了本发明的参数推定装置和脸图像数据库的对照方法，在利用参数推定装置对脸图像数据库中登记的脸图像的高度信息进行了推定之后，合成从登记的脸图像以外的角度观察的二维图像，并追加登记到脸图像数据库中。通过该方法，能够将输入的脸图像与登记于脸图像数据库中的脸图像直接对照，因此可高速地进行对照。

(实施方式一)

图1是本发明的实施方式一中的参数推定装置的框图，用计算机系统来实现。参数推定装置100具备：与外部设备进行数据交换的数据输入部10；进行数据处理的CPU20；存储程序用及工作用的存储器30；用于保存参数推定用输入数据和相关数据等大规模数据的二次存储装置(硬盘或磁光盘等)40；作为系统操纵台(console)的显示器50；和作为人-机接口的鼠标60，上述各模块与系统总线90连接。

CPU20通过执行对应的程序，作为学习单元的学习核函数矩阵计算单元22、特征值计算单元23而发挥作用，还作为推定单元的推定核函数计算单元26、参数算出单元27而发挥作用。在二次存储装置40中，确保存储后述的各种数据的区域。

参数推定装置100以推定对象即输入数据与应推定的参数之间存在相关关系为前提。即，对于了解应推定的参数的较多的学习用输入数据，预先学习输入数据与参数的相关，利用该相关关系，推定对任意输入数据的参数。

首先，对利用学习样本来学习输入数据与参数的相关的步骤(以下，记作“脱机处理”)的动作进行说明。设预先了解应推定的参数的输入数据为n维输入向量I，设相对于输入向量I的参数为m维参数向量Q，设学习样本的总数为N。

图2是表示本发明的实施方式一中的参数推定装置100的流程图。另外，CPU20通过执行存储器30中存储的程序来执行以下的流程。

首先，将N个输入向量I_i(i＝1～N)与参数向量Q _i输入到数据输入部10，并存储到二次存储装置40中(S10)。

然后，CPU20按照(算式1)，从N个参数向量Q_i求出平均参数向量Q^a，并转送存储到二次存储装置40中(S11)。

[算式1]

$Q^a=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{Q}_i$

接着，CPU20按照(算式2)，对N个参数向量Q_i的每一个，求出距离平均参数向量Q^a的偏差向量Q^c _i，并转送存储到二次存储装置40中(S12)。

[算式2]

$Q_i^c=Q_i-Q^a$

然后，CPU20，作为学习核函数矩阵计算单元22，从输入向量I_i、I_j求出学习核函数矩阵K_ij(i、j＝1～N)。作为核函数可使用多项式核函数、S形(sigmoid)核函数等，在本实施方式中使用了(算式3)所示的高斯核函数。求出的学习核函数矩阵K_ij转送存储到二次存储装置40中(S13)。

[算式3]

$K(I_i,I_j)=K_{\mathrm{ij}}=\exp (-\frac{{\left|\right|I_i-I_j\left|\right|}^2}{2{\mathrm{\σ}}^2})$

接着，根据算式4求出平均值周围的偏差学习核函数矩阵K^c _ij，将求出的偏差学习核函数矩阵K^c _ij转送存储到二次存储装置40中(S14)。

[算式4]

${K^c}_{\mathrm{ij}}=K_{\mathrm{ij}}-\frac{1}{N}\underset{k=1}{\overset{N}{\mathrm{\Σ}}}\{K_{\mathrm{ik}}+K_{\mathrm{jk}}\}+\frac{1}{N^2}\underset{k,l=1}{\overset{N}{\mathrm{\Σ}}}{K}_{\mathrm{kl}}$

然后，CPU20，作为特征值计算单元23，求解偏差学习核函数矩阵K^c _ij的特征方程式(算式5)，求出特征值λ_k(k＝1～M)及特征向量α^k。将求出的特征值λ_k及特征向量α^k转送存储到二次存储装置40中(S15)。这里，M表示独立的特征向量的数量，最大等于学习样本的数量N。

[算式5]

K^cα^k＝λ_kα^k

这里，K^c表示偏差学习核函数矩阵。以上，为表示输入向量I_i与参数向量Q_i的相关所需要的数据已经齐备，但为了简化之后的推定步骤中的计算，进而进行下面的计算。利用在上述中求出的偏差向量Q^c _i、偏差学习核函数矩阵K^c _ij、特征值λ_k及特征向量α^k，基于(算式6)求取M个m维常数向量Γ_k，进而利用常数向量Γ_k、学习核函数矩阵K_ij、特征向量α^k，按照(算式7)求取m维常数向量Ω。这些常数向量Γ_k、常数向量Ω被存储到二次存储装置40中(S16)。

[算式6]

${\mathrm{\Γ}}_k=\frac{1}{N}{\mathrm{\λ}}_k^{-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{Q^c}_i{\mathrm{\α}}_j^k{K^c}_{\mathrm{ij}}$

[算式7]

$\mathrm{\Ω}=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\Γ}}_i\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_j^i(-\frac{1}{N}\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{K}_{\mathrm{jk}}+\frac{1}{N^2}\underset{l,m}{\overset{N}{\mathrm{\Σ}}}{K}_{\mathrm{lm}})$

以上是参数推定装置100脱机执行的处理，二次存储装置40中存储有由上述的处理求出的平均参数向量Q^a、常数向量Ω、常数向量Γ_k、特征向量α^k。这样，在脱机处理中，CPU20作为学习单位而发挥作用。

下面，说明对于应推定参数的输入数据实际进行推定参数的步骤(以下，记作“联机处理”)。另外，CPU20通过执行存储器30中存储的程序来执行以下的流程。

首先，将应推定参数的输入数据作为输入向量I输入到数据输入部10，并存储到二次存储装置40中(S20)。

然后，CPU20作为推定核函数计算单元26，根据(算式8)求取推定核函数K_i(i＝1～N)。求出的推定核函数K_i转送存储到二次存储装置40中(S21)。

[算式8]

$K_i=\exp (-\frac{{\left|\right|I-I_i\left|\right|}^2}{2{\mathrm{\σ}}^2})$

并且，CPU20作为参数算出单元27，从二次存储装置40读出在联机处理中求出的平均参数向量Q^a、常数向量Ω、常数向量Γ_k、特征向量α^k及在步骤S21中求出推定核函数K_i，并利用(算式9)计算表示应推定的参数的参数向量Q。并且，将推定的参数向量Q存储到二次存储装置40中(S22)。

[算式9]

$Q=Q^a+\mathrm{\Ω}+\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\Γ}}_i\left\{\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_j^i(K_j-\frac{1}{N}\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{K}_k)\right\}$

这样，在联机处理中，CPU20作为推定机构而发挥作用。在以上的说明中，没有涉及到高斯核函数的尺度(scale)σ，但尺度σ的最佳值因推定对象即输入向量及应推定的参数而异。因此，希望进行参数推定实验的同时来确定值。

这里，说明通过利用了(算式1)～(算式9)的计算而能够推定参数的理由。

以前，作为从图像信号推定参数的方法，本发明者们对MAP(maximuma posteriori)推定法进行了研究。在输入图像I和应推定的参数Q的联合分布(joint distribution)是按照高斯分布的随机向量时，参数Q的最佳推定值可利用(算式10)求取。

[算式10]

$Q=Q^a+{\mathrm{\Σ}}_{\mathrm{qi}}{\mathrm{\Σ}}_i^{-1}(I-I^a)$

这里，∑_qi是互协方差矩阵(cross covariance matrix)，∑_i ^-1是方差协方差矩阵(variance-covariance matrix)的逆矩阵。

(算式10)与所谓的多元回归分析中使用的算式类似。但是，输入图像I与应推定的参数Q的关系更为复杂，在他们的联合分布不能用高斯分布表示的情况下，从实验角度可知用该简单的算式无法很好地推定。

因此，本发明者们关注了对称作为支持向量机(Support VectorMachines)的图像辨识方法进行导入，可获得良好的结果的称作“核技巧(kernel trick)”的新想法。这是对输入向量进行非线性变换，在其空间进行线性的识别的方法。本发明者们进行了将“核技巧”导入到MAP推定法中的研究，结果确立了称作KMAP的新的参数推定方法。以下，对其详细情况进行说明。

如(算式11)所示，利用非线性函数φ，对输入向量I_i进行非线性变换。这里，若假设变换后的输入向量φ(I_i)与参数Q的联合分布为高斯分布，则参数Q由(算式12)表示。这里，将φ(I_i)简记为φ_i。

[算式11]

[算式12]

$Q=Q^a+{\mathrm{\Σ}}_{\mathrm{q\φ}}{\mathrm{\Σ}}_{\mathrm{\φ}}^{-1}(\mathrm{\φ}\left(I\right)-{\mathrm{\φ}}^a)$

在计算了(算式12)之后，若要将以非线性变换的统计量直接进行计算，则需要更高维空间中的大量的计算。但是，若能将与变换后的输入向量φ_i相关的运算归纳为内积的形式φ_i·φ_j，则能将其替换为核函数K(φ_i，φ_j)，能够大幅度降低计算量。

首先，关注到方差协方差矩阵的逆矩阵∑_φ ^-1可如(算式13)那样展开。这里，Φ＝[Φ_k]、Λ＝diag[λ_k]分别是∑_φ ^-1的特征向量、特征值矩阵。另一方面，特征值λ_k如(算式14)所示，还有偏差学习核函数矩阵K^c _ij＝K^c(φ_i，φ_j)的特征值。

[算式13]

${\mathrm{\Σ}}_{\mathrm{\φ}}^{-1}=\mathrm{\Φ}{\mathrm{\Λ}}^{-1}{\mathrm{\Φ}}^T$

[算式14]

K^cα^k＝λ_kα^k

并且，特征向量Φ_k可利用变换后的输入向量φ_i，如(算式15)那样展开。而且，此时的展开系数α^k可作为偏差学习核函数矩阵K^c _ij的第k个特征向量而获得。因此，通过将这些代入，可将方差协方差矩阵的逆矩阵∑_φ ^-1改写成如(算式16)那样。

[算式15]

${\mathrm{\Φ}}_k=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_j^k{\mathrm{\φ}}_j^c$

[算式16]

${\mathrm{\Σ}}_{\mathrm{\φ}}^{-1}=\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\λ}}_k^{-1}\left(\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_j^k{\mathrm{\φ}}_j^c\right){\left(\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_j^k{\mathrm{\φ}}_j^c\right)}^T$

然后，互协方差矩阵∑_Qφ由(算式17)获得。因此，将(算式16)和(算式17)代入(算式12)，调换计算顺序，用学习核函数矩阵K_ij替换内积φ_i·φ_i，由此获得(算式9)。

[算式17]

${\mathrm{\Σ}}_{\mathrm{Q\φ}}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{Q^c}_i{{{\mathrm{\φ}}^c}_i}^T$

因此，在预先利用N个学习样本求出平均参数向量Q^a、常数向量Ω、常数向量Γ_k、特征向量α^k、，并输入推定对象即输入向量时，可利用(算式6)～(算式9)来推定参数Q。

作为核函数，可利用多项式核函数、S形核函数、高斯核函数等，但对于利用何种核函数，取决于推定对象即输入向量及应推定的参数，因此希望进行参数推定实验的同时，来确定核函数。

(实施方式二)

在本发明的实施方式二中，对利用实施方式一中的参数推定装置100，从脸图像中推定特征点的坐标的脸图像对照装置进行说明。

图3是本发明的实施方式二中的脸图像对照装置的框图。参数推定装置100与实施方式一同样，由计算机系统构成，对各模块标注与实施方式一相同的标记并省略说明。用于拍摄人脸图像的拍摄照相机110与脸图像对照装置200连接。进一步，还与预先收集了登记着的人脸图像的脸图像数据库140连接。

脸图像对照装置200首先利用实施方式一中的参数推定装置100，从输入的脸图像中找出眼、鼻、眉、口等的特征点的坐标。接着，脸图像对照装置200基于特征点的坐标，分出用于对照脸的脸区域。具体而言，例如，将如下区域作为脸区域：以鼻的坐标为中心，一边的长度为两眼的间隔的二倍，上下的边与连接两眼的直线平行的正方形区域。然后，将分出的脸区域与脸图像数据库140中登记的脸图像进行对照。作为对照的方法，可采用例如利用了作为统计的方法的主要成分分析的特有脸法等方法。

以下，对从输入的脸图像中找出眼、鼻、眉、口等的特征点的坐标的参数推定装置100的动作进行详细说明。

首先，对利用学习用脸图像，学习输入图像与特征点的坐标的相关的脱机处理的动作进行说明。设学习用脸图像的总数为N，设将第i个学习用脸图像的各像素的值按光栅扫描顺序排列的n维向量作为输入向量I_i，设各特征点的位置坐标为m维参数向量Q_i。

图4是本发明的实施方式二中的脸图像对照装置200中使用的参数推定装置100的流程图。首先，照相机110对N人份的学习用脸图像进行拍摄。然后，数据输入部10将每一个脸图像的各像素的值按光栅扫描顺序排列，来生成学习用输入向量I_i(i＝1～N)，并转送存储到二次存储装置40中(S30)。接着，将二次存储装置40中存储的学习用脸图像(即，学习用输入向量I_i)每次显示一张到显示器50中。然后，用户一边观察该学习用脸图像，一边用鼠标60手动地输入脸的特征点。图5是表示用户所输入的脸的特征点的一例图。以脸图像的原点为基准，右眉、右眼、左眉、左眼、鼻及口的各自的X坐标、Y坐标由用户输入，作为特征点。CPU20将对各学习用脸图像输入的各特征点的坐标值依次排列并连接，作为学习用参数向量Q_i，存储到二次存储装置40中(S31)。

然后，CPU20利用(算式1)～(算式7)，求出平均参数向量Q^a、常数向量Ω、常数向量Γ_k、特征向量α^k，存储到二次存储装置40中(S32)。以上是参数推定装置100脱机执行的处理。

下面，对联机处理进行说明。

首先，数据输入部10输入应该对照的脸图像，将脸图像的各像素的值按光栅扫描顺序排列，变换成输入向量I，并转送存储到二次存储装置40中(S40)。接着，CPU20根据(算式8)求取推定核函数K_i(i＝1～N)，转送存储到二次存储装置40中(S41)。然后，从二次存储装置40读出在联机处理中求出的平均参数向量Q^a、常数向量Ω、常数向量Γ_k、特征向量α^k及在步骤S41中求出推定核函数K_i，并利用(算式9)计算表示应推定的参数的参数向量Q。接着，将推定的参数向量Q存储到二次存储装置40中(S42)。然后，CPU20将参数向量Q分解成特征量的坐标数据，与输入脸图像一起显示到显示器上(S43)。到此为止的动作是从输入的图像中找出眼、鼻、眉、口等的特征点的坐标的动作。

然后，如上所述，基于特征点的坐标，分出用于脸认证的脸区域，并将分出的脸区域与脸图像数据库140中登记的脸图像进行对照。

接着，在实施方式二中的脸图像对照装置200中，表示利用了KMAP的特征点推定，尤其是表示从脸图像中推定眼的位置的实验及其结果。利用对被实验者2000人改变角度和距离而拍摄的脸图像7200张，评价本发明的实施方式二中的KMAP的推定精度及其稳定性。为了进行比较，同时进行了如下处理：(i)基于使用了高斯分布的最大推定值(maximumlikelihood)的模板匹配(以下，记作“MLG”)；(ii)Eigenface法(以下，记作“EF”)；(iii)采用了使用高斯分布的以往的MAP推定法(以下，记作“TMAP”)。

图6是表示在本发明的实施方式二中提取出的眼位置的几个例子的图。图6中，在输入图像上用×标记表示提取出的眼的位置。

图7是表示使本发明的实施方式二中的脸图像对照装置的眼位置推定的灵敏度的图，图7A是表示使拍摄距离变化时的图，图7B是表示使拍摄角度变化时的图。横轴以像素单位表示推定的眼位置的误差，纵轴表示累积提取率(容许横轴所示的误差的情况下、推定的眼位置坐标的正确度)。因此，在误差小的范围内，累积提取率越大表示眼位置推定的灵敏度越高。这样可以证实：在任意情况下，基于KMAP的推定方法都比其他方法优越。

图8是表示画面内的相对于脸位置的移动的眼位置推定的灵敏度的图，图8A针对从正面拍摄的脸图像；图8B针对倾斜拍摄的脸图像。移动图像是使用旋转图像高斯分布而人为生成的。移动量的方差(dispersion)设为0、10、20、30像素，旋转角度的方差设为45度，缩小率的平均设为1倍，方差设为0.5倍。图8A、图8B中表示了相对于各移动量的方差的每一个方法中的眼位置推定的灵敏度。由于MLG法及EF法的性能不受移动量的变化的影响，因此仅表示了相对于移动量的方差0的结果。图8A、图8B都表示了：若移动量的方差在20像素左右则KMAP法比其他方法更优越，若超过30像素则MLG法稍微超过KMAP法。从这些结果可看出，随着移动量的方差增大，KMAP法的性能降低，乍一看利用了MLG的以往的方法优越。但是，如下面所述，通过反复利用KMAP法，能够得到更好的性能。

反复利用KMAP法的方法如下。首先，使用KMAP法推定眼位置，然后使用推定的眼位置对图像区域进行归一化。并且，利用归一化后的脸图像再次通过KMAP法推定眼位置。这样，将反复进行n次KMAP法的方法记作KMAP(n)。图9是表示根据相对于移动量的方差为30像素的脸图像的KMAP(1)＝KMAP、KMAP(2)、KMAP(3)、MLG的每一个的眼位置推定的灵敏度的曲线图。这样可证实：随着反复次数n增加，KMAP(n)的性能得到改善。

根据KMAP的眼位置推定的速度是平均一幅图像0.8秒。在MLG法中是平均一幅图像6秒(使用相当于奔腾IV(商标)的处理器时)。这样，根据KMAP法，不仅推定精度提高，计算时间也可大幅度缩短。这样，能以短处理时间、因而以少处理成本来正确地求出输入数据的特征点。

(实施方式三)

在本发明的实施方式三中，对利用实施方式一中的参数推定装置100，推定脸图像的高度信息的脸图像对照装置进行说明。

图10是本发明的实施方式三中的脸图像对照装置的框图。脸图像对照装置300与实施方式二同样，由计算机系统构成。与脸图像对照装置200的框图的不同之处在于，为了从两个方向拍摄脸图像，而具备两台照相机110、115。

该脸图像对照装置300首先利用参数推定装置100，推定输入的脸图像的高度信息。接着，基于推定的三维脸图像信息，合成从与脸图像数据库140中登记的脸图像相同的角度观察的二维脸图像，并将其与登记的脸图像进行对照。作为从三维脸图像信息合成二维脸图像的方法，例如可使用CG(计算机制图)中的透视图(rendering)等公知的方法。而且，为了进行脸图像的对照，例如可应用利用了作为统计方法的主要成分分析的特有脸法等方法。

以下，对利用上述脸图像对照装置300，推定输入的脸图像的高度信息的动作进行明。首先，对利用学习用脸图像，学习输入图像与输入图像的高度信息之间的相关的脱机处理的动作进行说明。作为高度信息的学习方法，可对输入图像的各像素独立地学习高度信息，但也可将输入图像分割为多个区域，学习各区域的平均的高度信息。在该情况下，由于可降低应推定的参数向量的维数，因此更为实用。

本实施方式也与实施方式二同样，设学习用脸图像的总数为N。设将第i个学习用脸图像的各像素的值按光栅扫描顺序排列的n维向量为输入向量I_i，设将学习用脸图像的各像素或各区域的高度信息按光栅扫描顺序排列的向量为m次的参数向量Q_i。

图11是本发明的实施方式三中的脸图像对照装置300中使用的参数推定装置100的流程图。首先，从不同方向拍摄脸的两台照相机110以及照相机115对N个人的学习用脸图像进行拍摄。数据输入部10将这些脸图像转送存储到二次存储装置40中。将其中一方的照相机110拍摄的学习用脸图像的各像素的值按光栅扫描顺序排列，用作学习用输入向量I_i(S50)。然后，CPU20基于二次存储装置40中存储的两张学习用脸图像生成脸图像的三维信息。该处理采用利用了CG的透视图等公知的方法而执行。各像素或各区域的高度信息依次排列连结作为一个向量，将此作为学习用参数向量Q_i。学习用参数向量Q_i被存储到二次存储装置40中(S51)。

然后，CPU20利用(算式1)～(算式7)，求出平均参数向量Q^a、常数向量Ω、常数向量Γ_k、特征向量α^k，存储到二次存储装置40中(S52)。以上是参数推定装置100脱机执行的处理。

下面，对联机处理进行说明。首先，数据输入部10输入应该对照的脸图像，将脸图像的各像素的值按光栅扫描顺序排列，变换成输入向量I，并转送存储到二次存储装置40中(S60)。接着，CPU20根据(算式8)求取推定核函数K_i(i＝1～N)，转送存储到二次存储装置40中(S61)。然后，从二次存储装置40读出在联机处理中求出的平均参数向量Q^a、常数向量Ω、常数向量Γ_k、特征向量α^k及在步骤S61中求出推定核函数K_i，并利用(算式9)计算表示应推定的参数的参数向量Q。接着，将推定的参数向量Q存储到二次存储装置40中(S62)。然后，CPU20将参数向量变换成脸图像的高度信息(S63)。到此为止的动作是推定输入的脸图像的高度信息的动作。

这样，对应该对照的脸图像添加推定的高度信息，形成三维脸信息。然后，如上所述，基于三维脸图像信息，合成从与脸图像数据库140中登记的脸图像相同的角度观察的二维脸图像，并基于将其与登记的脸图像进行对照的特征点的坐标来分出用于脸认证的脸区域，并将分出的脸区域与脸图像数据库140中登记的脸图像进行对照。

如上所述，根据本发明的实施方式三，能够利用朝向任意方向的二维脸图像来合成正面的脸图像或朝向其他方向的脸图像。因此，朝向任意方向的脸图像都能与作为正面或横向的脸图像登记的脸图像数据库进行对照。

另外，在实施方式三中，通过对应该对照的脸图像推定其高度信息，合成从与脸图像数据库中登记的脸图像相同的角度观察的二维脸图像，从而进行对照。但是，应用本发明的参数推定装置，当然还可构成上述以外的脸图像对照装置。例如，可以以如下形式构成脸图像对照装置：预先对脸图像数据库中已经登记的朝向正面的脸图像推定其高度信息，并将朝向几个方向的脸图像作为数据库重新进行登记，将这些与应该对照的脸图像进行对照。以下，作为实施方式四对其详细情况进行说明。

(实施方式四)

本发明的实施方式四中的脸图像对照装置的框图与实施方式三同样，由计算机系统构成，框图也与实施方式三相同，因此省略说明。而且，以下，利用图11所示的流程图，对本发明的实施方式四中的脸图像对照装置的动作进行说明。

利用学习用脸图像，学习输入图像与输入图像的高度信息之间相关的脱机处理的动作，也与实施方式三相同。

即，首先，从不同方向拍摄脸的两台照相机110以及照相机115对N个人的学习用脸图像进行拍摄。数据输入部10将这些脸图像转送存储到二次存储装置40中。将其中一方的照相机110拍摄的学习用脸图像的各像素的值按光栅扫描顺序排列，用作学习用输入向量I_i(S50)。然后，CPU20基于二次存储装置40中存储的两张学习用脸图像生成脸图像的三维信息。各像素或各区域的高度信息依次排列连结作为一个向量，将此作为学习用参数向量Q_i。学习用参数向量Q_i被存储到二次存储装置40中(S51)。然后，CPU20利用(算式1)～(算式7)，求出平均参数向量Q^a、常数向量Ω、常数向量Γ_k、特征向量α^k，存储到二次存储装置40中(S52)。

下面，对脸图像数据库140中已经登记的朝向正面的脸图像的每一个，将朝向几个方向的脸图像进行合成，作为数据库重新进行登记。具体而言，首先，数据输入部10将脸图像数据库140中已经登记的朝向正面的脸图像的各像素的值按光栅扫描顺序排列，变换成输入向量I，并转送存储到二次存储装置40中(S60)。接着，CPU20根据(算式8)求取推定核函数K_i(i＝1～N)，转送存储到二次存储装置40中(S61)。然后，从二次存储装置40读出在联机处理中求出的平均参数向量Q^a、常数向量Ω、常数向量Γ_k、特征向量α^k及在步骤S61中求出推定核函数K_i，利用(算式9)计算表示应推定的参数的参数向量Q并存储到二次存储装置40中(S62)。然后，CPU20将参数向量变换成脸图像的高度信息。然后，对登记的脸图像添加推定的高度信息，作为三维脸信息(S63)。接着，基于三维脸图像信息，合成从右向、斜右方向、斜左方向、左向、斜上方向、斜下方向等角度观察的二维脸图像，将这些合成图像重新登记到脸图像数据库140中。对仅具有从一个方向观察的脸图像的登记脸图像的每一个，进行以上的处理，合成从各方向观察的二维脸图像并作为数据库进行登记。

若预先在脸图像对照装置300脱机状态执行以上的准备，则联机处理将如以下那样变得非常简化。脸图像对照装置300利用照相机100拍摄应该对照的脸图像。并且，基于对照的特征点的坐标来分出用于脸认证的脸区域，并将分出的脸区域与脸图像数据库140中登记的脸图像进行对照。

如上所述，根据本发明的实施方式四，需要登记到脸图像数据库中的脸图像的数量增加，能够将联机处理中输入的脸图像与登记于脸图像数据库中的脸图像直接对照，因此可高速地进行对照。

另外，在实施方式一～四中，采用了CPU通过读入程序来进行流程图所示的动作的结构。但是，还可采用具备将学习单元、学习核函数矩阵计算单元、特征值计算单元、推定单元、推定核函数计算单元、参数算出单元等执行的专用的处理器的结构。

而且，包含为了对实施本发明的计算机进行编程而能使用的命令的存储介质即计算机程序产品包含在本发明的范围内。这些存储介质是软盘、光盘、CDROM、磁盘等的盘、ROM、RAM、EPROM、EEPROM、磁光卡、存储卡、DVD等。

并且，在实施方式二～四中，表示了将本发明的参数推定装置用于图像对照的例子，通过输入图像以外的数据作为输入数据，还可用于图像对照以外的对照装置。例如，通过输入声音数据作为输入数据，还可用于声音对照装置。

根据本发明，能够提供以短处理时间或少处理成本正确地推定对于输入数据的参数的参数推定方法、参数推定装置及对照方法。

工业上的可利用性

本发明能够提供以短处理时间或少处理成本正确地推定对于输入数据的参数的参数推定方法、参数推定装置及对照方法，因此，在从输入数据推定特定的参数的参数推定方法、参数推定装置及利用了该装置的对照方法等中是有效的。

Claims (7)

1.一种参数推定装置，具有：

学习单元，其学习应推定的参数、即脸的特征点的坐标为已知的多个学习用输入脸图像，与所述多个学习用输入脸图像的每一个所对应的所述应推定的参数之间的相关；和

推定单元，其利用所述学习到的相关，来推定所述应推定的参数为未知的推定用输入脸图像的所述应推定的参数，

所述学习单元具有：学习核函数矩阵计算单元，其利用所述多个学习用输入脸图像，计算学习核函数矩阵；和特征值计算单元，其求取所述学习核函数矩阵的逆矩阵的特征值及特征向量，

所述推定单元具有：推定核函数计算单元，其利用所述推定用输入脸图像和所述学习用输入脸图像，计算推定核函数；和参数算出单元，其利用所述学习核函数矩阵、所述学习核函数矩阵的逆矩阵的特征值及其特征向量，推定所述推定用输入脸图像的所述应推定的参数。

2.根据权利要求1所述的参数推定装置，其特征在于，

所述应推定的参数、即所述脸的特征点的坐标，是眼、鼻、眉、口的某个坐标。

3.一种对照方法，利用了权利要求2所述的参数推定装置和脸图像数据库，

在利用所述参数推定装置对应该对照的脸图像的脸的特征点的坐标进行了推定之后，基于所述脸的特征点的坐标来分出脸区域，将所述脸图像数据库中登记的脸图像与所述分出的脸区域进行对照。

4.一种对照方法，利用了权利要求2所述的参数推定装置和脸图像数据库，

在重复了多次脸图像归一化动作之后，基于所述脸的特征点的坐标来分出脸区域，将所述脸图像数据库中登记的脸图像与所述分出的脸区域进行对照，所述脸图像归一化动作利用所述参数推定装置对脸的特征点的坐标进行推定并基于所述脸的特征点的坐标使图像区域归一化。

5.根据权利要求1所述的参数推定装置，其特征在于，

所述应推定的参数是脸图像的高度信息。

6.一种对照方法，利用了权利要求5所述的参数推定装置和脸图像数据库，

在利用所述参数推定装置对应该对照的脸图像的高度信息进行了推定之后，基于所述脸图像的高度信息，合成从与所述脸图像数据库中登记的脸图像相同的角度观察的二维图像并进行对照。

7.一种对照方法，利用了权利要求5所述的参数推定装置和脸图像数据库，

在利用所述参数推定装置对所述脸图像数据库中登记的脸图像的高度信息进行了推定之后，合成从所述登记的脸图像以外的角度观察的二维图像，并追加登记到所述脸图像数据库中。

Images