CN100495437C - 图像合成装置、使用该装置的图像对照装置、图像合成方法 - Google Patents

Abstract

本发明的图像合成装置根据被拍摄对象的第1图像来合成规定照明条件下的第2图像，包括：照明条件估计部，根据第1图像的亮度值，对照明条件进行估计；法线信息估计部，对第1图像中的规定像素的包含被拍摄对象的法线方向的法线信息进行估计；误差分量信息估计部，对规定照明条件下的误差分量的信息进行估计；和图像合成部，合成规定照明条件下的被拍摄对象的第2图像；法线信息估计部根据第1图像中的多个像素的信息，对规定像素的法线信息进行估计。

Description

图像合成装置、使用该装置的图像对照装置、图像合成方法

技术领域

本发明涉及对输入的二维图像与预先记录的二维图像进行比较对照的图像对照装置，尤其涉及制作用来对照图像的注册图像群的图像合成装置、使用此图像合成装置的图像对照装置和图像合成方法。

背景技术

目前，对输入的二维图像与预先记录的二维图像进行比较对照的图像对照装置已有实用。特别是，对于使用生物特征识别技术的认证方法中之一的面部认证方法，已经提出了各种用以实现该方法的图像对照装置。在此种图像对照装置中，事先将可以认证的多人(以下，称为已注册人员)的面部图像作为注册图像而记录在数据库中，对被认证的人员(以下，称为被认证人员)的面部图像与注册图像进行比较对照，从而，当判定被认证人员的面部图像与已注册人员的注册图像相互一致或类似时，将被认证人员认证为该已注册人员。

目前，所述图像对照装置存在如下问题：由于拍摄被认证人员的面部图像时的摄影条件与拍摄注册图像时的摄影条件不同，所以本人认证率会降低。例如，在拍摄被认证人员的面部图像时，如果照明照射被认证人员的方向(以下，将此方向称为照明方向)等照明条件、与拍摄注册图像时的照明方向等照明条件不同，则即使拍摄的是相同被拍摄对象，进行比较对照的结果也有可能是判定为彼此不一致。

为了解决所述问题，近年来，已经提出了各种技术。例如，提出了如下技术：针对各已注册人员，根据一张注册图像，对其拍摄时的照明条件、面部形状(法线矢量)和反射率等进行估计，使用这些条件，制作在互不相同的照明条件下的多个图像(以下，称为注册图像群)，将所述多个图像注册到数据库中，在进行认证时，对被拍摄对象的面部图像与注册在数据库中的所有注册图像群进行比较对照，由此，可以提高本人认证率(例如，参看T.Sim，T.Kanade，“CombiningModels and Exemplars for Face Recognition：An Illuminating Example，”Proc.CVPR Workshop on Models versus Exemplars in Computer Vision，2001)。

对于前述现有技术而言，首先，针对与预先注册的人员不同的人员，使用在各种照明条件下拍摄的用于学习的(learning)面部图像的集合(以下，将此图像的集合称为引导图像(bootstrap))，形成统计模型。其次，使用已产生的统计模型，根据与多个已注册人员相关的注册图像，合成照明条件互不相同的多个注册图像群。

然而，对于前述现有技术而言，当针对多个已注册人员中的每一个人，由一张注册图像来对其拍摄时的面部形状(法线矢量)和漫反射分量以外的误差分量等进行估计时，因为将构成注册图像的每个像素当作独立的像素进行运算，所以，当作为运算对象的像素处于阴影中时，未必能够准确地对所述像素中的法线矢量或反射率(所谓法线反照率矢量)进行估计，因此，无法制作与现实一致的注册图像群。

发明内容

本发明是鉴于所述问题开发而成的，其提供如下技术，即，即使作为运算对象的像素处于阴影中时，也可以准确地对与所述像素相关的法线矢量和反射率进行估计，并可以制作与现实一致的注册图像群。

本发明的图像合成装置根据被拍摄对象的第1图像，合成规定照明条件下的所述被拍摄对象的第2图像，所述图像合成装置的特征在于包括：照明条件估计部，其根据所述第1图像的亮度值，对所述第1图像中的被拍摄对象的照明条件进行估计；法线信息估计部，其根据由照明条件估计部估计出的照明条件，对第1图像中的规定像素的包含被拍摄对象法线方向的法线信息进行估计；误差分量信息估计部，其对第1图像的预定像素的亮度值中漫反射分量以外的误差分量的信息进行估计，并根据所估计出的误差分量的信息，对规定照明条件下的误差分量的信息进行估计；以及图像合成部，其根据由法线信息估计部估计出的被拍摄对象的法线信息以及由误差分量信息估计部估计出的规定照明条件下的误差分量的信息，合成规定照明条件下的被拍摄对象的第2图像，法线信息估计部根据第1图像中的多个像素的信息，对规定像素的法线信息进行估计。

根据所述结构，当法线信息估计部对法线信息进行估计时，可以根据第1图像中的多个像素的信息来对法线信息进行估计，因此，即使作为运算对象的像素处于阴影中时，也可以使用其他可靠度高的像素，对与该像素相关的法线矢量和反射率进行准确的估计，并可以制作与现实一致的注册图像群。

而且，误差分量信息估计部也可以根据第1图像中的多个像素的信息，对规定像素的误差分量的信息进行估计。

此外，根据所述结构，针对除漫反射分量以外的误差分量，也可以使用其他关联性高的像素，对规定像素中的误差分量进行准确的估计。

而且，法线信息估计部也可以根据统计模型，对法线方向进行估计，所述统计模型是根据多个像素的信息而利用用于学习的图像预先计算得到的。

此外，根据所述结构，预先准备统计模型，由此，可以更准确地对不同照明条件下的图像进行估计。

进而，误差分量信息估计部也可以根据统计模型，对误差分量的信息进行估计，所述统计模型是根据多个像素的信息而利用用于学习的图像预先计算得到的。

此外，根据所述结构，针对误差分量，也可以通过预先准备统计模型来更准确地对不同照明条件下的图像进行估计。

而且，统计模型也可以是如下表示的图像生成模型的各矢量的统计模型：

Y＝L^TB+V

其中，Y是像素的图像矢量，L^T是对角线上配置有照明矩阵S的转置矩阵S^T的照明矩阵，B是法线反照率矢量，V是误差矢量。

此外，根据所述结构，针对多个像素，可以实现能够同时计算出具体的统计量的结构。

而且，本发明的图像合成装置包括照明条件输入部，此照明条件输入部输入包含互不相同的多个照明角度的照明条件，图像合成部合成从照明条件输入部输入的多个照明条件中的各个照明条件下的第2图像。

此外，根据所述结构，可以获得与预期的照明条件相对应的第2图像。

其次，本发明的图像对照装置的特征在于包括：本发明的图像合成装置；注册图像群存储部，其将由图像合成装置制作的第2图像存储为注册图像群；比较图像输入部，其输入应当进行比较的比较图像；以及比较对照部，其将从比较图像输入部输入的比较图像与存储在注册图像群存储部中的注册图像群进行比较对照。

根据所述结构，利用本发明的图像合成装置，当法线信息估计部对法线信息进行估计时，可以同时对第1图像中的多个像素的法线信息进行估计，因此，即使作为运算对象的像素处于阴影中时，也可以使用其他可靠度高的像素，对与所述像素相关的法线矢量和反射率进行准确的估计，并可以制作与现实一致的注册图像群，且因为将该注册图像群与比较图像进行比较对照，所以可以实现高对照率。

而且，本发明的图像对照装置也可以包括：比较图像照明条件估计部，其对由比较图像输入部输入的比较图像中的照明条件进行估计；以及图像检索部，其从注册图像群存储部检索由比较图像照明条件估计部估计出的照明条件的注册图像，比较对照部对由图像检索部检索出的注册图像与比较图像进行对照。

此外，根据所述结构，可以根据比较图像来对其照明条件进行估计，从存储在注册图像群存储部中的注册图像群中检索与已估计出的照明条件相对应的注册图像，进行比较对照，因此，能够实现可以减少进行比较对照处理的次数，并可以减轻CPU等的运算负荷，适合于小型装置的结构。

而且，本发明的图像对照装置也可以包括：第1特征量计算部，其计算由图像合成装置制作的第2图像的特征量；以及第2特征量计算部，其计算由比较图像输入部输入的比较图像的特征量，注册图像群存储部存储第2图像的特征量，比较对照部根据该特征量，对注册图像群与比较图像进行比较对照。

此外，根据所述结构，在注册图像群存储部中存储着由特征量计算部计算出的特征量的数据，因此，与存储注册图像群的图像信息本身的结构相比，减小了必要的存储容量，并且，比较对照部使用分别从注册图像群存储部和特征量计算部输出的特征量来进行比较对照，因此，与进行图像整体匹配的结构相比，能够实现在比较对照部进行的运算处理的规模较小，减轻CPU等的运算负荷，适合于小型装置的结构。

其次，本发明的图像合成方法是根据被拍摄对象的第1图像来合成规定照明条件下的被拍摄对象的第2图像的图像合成方法，其特征在于包括：第1步骤，根据第1图像的亮度值，对第1图像中的被拍摄对象的照明条件进行估计；第2步骤，根据在第1步骤中估计出的照明条件，对第1图像中的规定像素的包含被拍摄对象法线方向的法线信息进行估计；第3步骤，对第1图像的规定像素的亮度值中漫反射分量以外的误差分量的信息进行估计，并根据所估计出的误差分量的信息，对规定照明条件下的误差分量的信息进行估计；以及第4步骤，根据在第2步骤中估计出的被拍摄对象的法线信息、和在第3步骤中估计出的规定照明条件下的误差分量的信息，合成规定照明条件下的被拍摄对象的第2图像，在第2步骤中，根据第1图像中的多个像素的信息，对规定像素的法线信息进行估计。

根据所述方法，可以在对法线信息进行估计时，根据第1图像中的多个像素的信息来对法线信息进行估计，因此，即使当作为运算对象的像素处于阴影中时，也可以使用其他可靠度高的像素，对与该像素相关的法线矢量和反射率进行准确的估计，并可以制作与现实一致的注册图像群。

其次，本发明的程序是根据被拍摄对象的第1图像来合成规定照明条件下的被拍摄对象的第2图像的程序，其特征在于：使计算机执行下述步骤：第1步骤，根据第1图像的亮度值，对第1图像中的被拍摄对象的照明条件进行估计；第2步骤，根据在第1步骤中估计出的照明条件，对第1图像中的规定像素的包含被拍摄对象法线方向的法线信息进行估计；第3步骤，对第1图像的规定像素的亮度值中漫反射分量以外的误差分量的信息进行估计，并根据所估计出的误差分量的信息，对规定照明条件下的误差分量的信息进行估计；以及第4步骤，根据在第2步骤中估计出的被拍摄对象的法线信息以及在第3步骤中估计出的规定照明条件下的误差分量的信息，合成规定照明条件下的被拍摄对象的第2图像，在第2步骤中，根据第1图像中的多个像素的信息，对规定像素的法线信息进行估计。

使计算机执行所述程序，由此，可以在对法线信息进行估计时，根据第1图像中的多个像素的信息来估计法线信息，因此，即使当作为运算对象的像素处于阴影中时，也可以使用其他可靠度高的像素，对与所述像素相关的法线矢量和反射率进行准确的估计，并可以制作与现实一致的注册图像群。

如上所述，如果使用本发明的图像合成装置、使用了所述图像合成装置的图像对照装置和图像合成方法，即使当作为运算对象的像素处于阴影中时，也可以对与该像素相关的法线矢量和反射率进行准确的估计，并可以制作与现实一致的注册图像群。

附图说明

图1是表示本发明第1实施方式中的图像对照装置的结构的框图。

图2是本发明第1实施方式中的图像对照装置的注册图像群制作部的功能框图。

图3是表示本发明第1实施方式中的图像对照装置的注册图像群制作部的操作步骤的流程图。

图4是表示本发明第1实施方式中的注册图像的一例的示意图。

图5是表示本发明第1实施方式中的注册图像群的一例的示意图。

图6是表示本发明的实施方式中的比较图像的一例的示意图。

图7是表示本发明第2实施方式中的图像对照装置的结构的框图。

图8是表示本发明第3实施方式中的图像对照装置的结构的框图。

附图标记

1、40、50    图像对照装置

2         注册图像输入部

3         注册图像群制作部

4         注册图像群存储部

5         比较图像输入部

6         照明条件估计部

7         信息检索部

8、33     比较对照部

9         输出部

20、26    注册图像

25        比较图像

30        注册图像群

31、32    特征量计算部

34        特征量存储部

41        照明条件估计部

42        法线信息估计部

43        误差分量信息估计部

44        照明条件输入部

45        图像合成部

具体实施方式

以下，使用附图来详细说明本发明的实施方式。

(第1实施方式)

首先，说明本发明第1实施方式中的图像对照装置。图1是表示本发明第1实施方式中的图像对照装置1的结构的框图。

如图1所示，本发明第1实施方式中的图像对照装置1包括：注册图像输入部2，输入有已注册人员的注册图像；注册图像群制作部3，通过下述方法，根据由注册图像输入部2输入的注册图像，制作多种照明条件下的注册图像群；注册图像群存储部4，存储由注册图像群制作部3制作的注册图像群；比较图像输入部5，输入有被认证人员的面部图像(以下，称为比较图像)；比较对照部8，对从比较图像输入部5输入的比较图像、与存储在注册图像群存储部4中的注册图像群进行比较和对照，并输出比较和对照的结果；以及输出部9，将从比较对照部8输出的结果等信息输出到与外部连接的其他装置等中。

注册图像输入部2和比较图像输入部5可以从已知的存储媒体输入图像，可以使用扫描仪等已知的读取设备，也可以输入由照相机等拍摄的图像。而且，本发明第1实施方式中的图像对照装置1并不限定于分别独立地具备注册图像输入部2和比较图像输入部5的构成，所述注册图像输入部2和比较图像输入部5也可以共享一个输入设备。

注册图像群制作部3和比较对照部8的下述功能，可以通过软件来实现，也可以通过专用电路等硬件来实现。

注册图像群存储部4可以使用选自硬盘装置(hard disk device，HDD)或半导体存储器等已知的记录介质中的一种记录介质。

输出部9可以直接输出来自比较对照部8的表示是否可以进行对照的信号，也可以通过影像或声音，向被认证人员通知对照结果。

作为比较对照部8的功能，例如，可以使用本征空间法、子空间法、或KNN法等已知的图像比较对照方法。

此处，详细说明本发明第1实施方式中的注册图像群制作部3的功能。图2是本发明第1实施方式中的图像对照装置1的注册图像群制作部3的功能框图，图3是表示本发明第1实施方式中的图像对照装置1的注册图像群制作部3的操作步骤的流程图。硬件和软件均可以实现注册图像群制作部3的功能。当利用软件来实现注册图像群制作部3的功能时，后述的图3中的从步骤S1到步骤S8为止的处理用软件描述，并由计算机来执行。

如图2所示，本发明第1实施方式中的注册图像群制作部3包括：照明条件估计部41，其根据从注册图像输入部2输入的注册图像的亮度值，对注册图像中的被拍摄对象的照明条件进行估计；法线信息估计部42，其根据由照明条件估计部41估计出的照明条件，对注册图像中的规定像素的包含被拍摄对象法线方向的法线信息进行估计；误差分量信息估计部43，对注册图像的规定像素的亮度值中漫反射分量以外的误差分量的信息进行估计，并根据所估计出的误差分量的信息，对规定照明条件下的误差分量的信息进行估计；图像合成部45，根据由法线信息估计部42估计出的被拍摄对象的法线信息和由误差分量信息估计部43估计出的规定照明条件下的误差分量的信息，对规定照明条件下的被拍摄对象的注册图像进行合成；以及照明条件输入部44，将规定照明条件输入到误差分量信息估计部43中。

其次，使用图3来说明本发明第1实施方式中的注册图像群制作部3的操作步骤。首先，将注册图像20从注册图像输入部2输入到注册图像群制作部3的照明条件估计部41中(S1)。此处，注册图像20是应当注册人员的一张面部图像。图4是表示本发明第1实施方式中的注册图像20的一例的示意图。例如，实际上，在本发明第1实施方式中的图像对照装置1中，使用长120×宽90的、总计10800像素的、从正面拍摄被拍摄对象所得的图像作为注册图像20，但本发明并不限定于所述图像尺寸。

此处，对于为了计算出在下述各估计步骤中使用的统计模型而应当预先另行进行的、使用他人图像的集合(引导图像)的学习步骤加以说明。

首先，使用引导图像集合，根据在面部表面上的任意位置所观察到的明度(亮度值)，计算已考虑了面部形状及反射特性与位置间的相关性的统计量。具体而言，对于与注册图像区分开而预先准备的引导图像集合的各人物，计算法线矢量、反照率和误差值，之后，使用所计算出的多个(K个)人的法线矢量、反照率和误差值来计算出所述统计量。此处所使用的引导图像集合由在J个已知照明条件s_j下所拍摄的多人的图像集合所构成。第1个人物在J个光源下所拍摄的图像集合I⁽¹⁾如下所述，表示为

I^(l)＝B^(l)TS′+E^(l)

此处，各标记为：人物1在J个照明条件下所获得的图像集合I⁽¹⁾、人物1的面部法线反照率矩阵B⁽¹⁾、表示J个照明方向及其照明强度的照明条件集合S′、和对应于J个照明条件的误差矩阵E⁽¹⁾。

其次，以下述方式，利用最小二乘法来计算B⁽¹⁾。

B^(l)＝(S′S′^T)^-1S′I^(l)

从而，以下述方式减去漫反射分量后所得的余数即为误差矩阵E⁽¹⁾。

E^(l)＝I^(l)-B^(l)TS′

而且，使用对引导图像集合中的所有人物进行估计所得的面部法线反照率矩阵B⁽¹⁾和误差矩阵E⁽¹⁾，以下述方式求出面部的法线矢量和误差值的统计量。类似于法线反照率矢量B，将K个人的各矩阵B⁽¹⁾展开为三维矢量，求出此三维矢量的平均矢量μB(三维矢量)和协方差矩阵CB(3d×3d矩阵)。对于误差项v(s)的统计量，也可以根据各照明条件s_j下的K个误差矢量v⁽¹⁾(s_j)来计算平均矢量μv(s_j)。

而且，可以利用与根据法线反照率矩阵B⁽¹⁾求出协方差矩阵CB的方法相同的方法，根据K个误差矩阵E⁽¹⁾来计算出dJ×dJ的协方差矩阵Cv。

如此，在本发明第1实施方式中的图像对照装置1中，使用可以考虑面部表面位置间的相关性的算法，求出用于估计法线矢量或误差分量的统计量。

返回到图3中，在步骤S1之后，注册图像群制作部3的照明条件估计部41对拍摄一张注册图像20时的照明方向及照明强度(以下，将所述照明方向及照明强度统称为照明条件)进行估计(S2)。将用于计算统计量的学习图像集合中的J个照明条件分别设为s_j，将高斯核的宽度设为σ_j，将学习图像的各照明模式(illumination pattern)的平均值设为a_j，将输入图像设为b，可以通过如下述式(1)到式(3)所示的简单的核回归(kernel regression)来估计注册图像20的照明条件。此外，在本发明的第1实施方式中，根据所述非专利文献1中记载的内容来决定高斯核的宽度σ_j。

此外，也可以使用归一化矢量作为此时的照明条件s_j，仅对照明矢量的方向进行估计。而且，例如，当照明条件中的明度在引导图像与注册图像之间大不相同时，使用已分别归一化的值作为a_j、b，并将a_j、b代入式(1)中，由此，可以更精确地对照明进行估计。

$s=\underset{j=1}{\overset{J}{\mathrm{\Σ}}}{\mathrm{\ω}}_j{s}_j/\left(\underset{j=1}{\overset{J}{\mathrm{\Σ}}}{\mathrm{\ω}}_j\right)---\left(1\right)$

${\mathrm{\ω}}_j=\exp [-\frac{1}{2}{(D(b,a_j)/{\mathrm{\σ}}_j)}^2]---\left(2\right)$

D(b，a_j)＝‖b-a_j‖₂      (3)

其次，注册图像群制作部3的法线信息估计部42根据注册图像20的各像素的亮度值，对考虑了被拍摄对象的法线方向和反射率的法线信息，即法线反照率矢量的值进行估计(S3)。此外，所谓法线反照率矢量，是指被拍摄对象的法线方向矢量乘以所述反照率(反射率)后所得的矢量。

现详细说明步骤S3中的法线反照率矢量值的估计方法。

首先，如式(4)所示，导入如下表示被拍摄对象中的反射的模型，此模型可以总体表现各图像中所含的d个像素的亮度值。由此，可以在明确地考虑像素间的相关的同时，如式(4)中的误差项V那样表现朗伯(Lambertian)分量以外的反射分量，并且可以根据引导图像来获得所述误差项V的统计量。由此，也可以对新照明条件下的如强光部分、相互反射和阴影这样的微妙的反射分量等进行估计。

Y＝L^TB+V     (4)

$Y=\left[\begin{array}{c}{i}_1\\ i_2\\ \·\\ \·\\ \·\\ i_{d-1}\\ i_d\end{array}\right]$

$B=\left[\begin{array}{c}{b}_1\\ b_2\\ \·\\ \·\\ \·\\ b_{d-1}\\ b_d\end{array}\right]$ $V=\left[\begin{array}{c}{e}_1\\ e_2\\ \·\\ \·\\ \·\\ e_{d-1}\\ e_d\end{array}\right]$

$i_1=\left[\begin{array}{c}{i}_{\mathrm{1,1}}\\ i_{1,2}\\ \·\\ \·\\ \·\\ i_{1,m-1}\\ i_{1,m}\end{array}\right]$ $b_1=\left[\begin{array}{c}{b}_{\mathrm{1,1}}\\ b_{\mathrm{1,2}}\\ b_{\mathrm{1,3}}\end{array}\right]$ $S=\left[\begin{array}{cccc}{s}_{11}& s_{12}& \·\·\·& s_{1m}\\ s_{21}& s_{22}& \·\·\·& s_{2m}\\ s_{31}& s_{32}& \·\·\·& s_{3m}\end{array}\right]$ $e_1=\left[\begin{array}{c}{e}_{\mathrm{1,1}}\\ e_{1,2}\\ \·\\ \·\\ \·\\ e_{1,m-1}\\ e_{1,m}\end{array}\right]$

如式(4)所示，d个像素的图像矢量Y是照明矩阵L^T与d个像素的法线反照率矢量B的积加上d个像素的误差矢量V的值后获得的，在所述照明矩阵L^T中在对角线上配置有照明矩阵S的转置矩阵S^T。而且，d个像素的每个像素的亮度矢量i排列形成图像矢量Y，d个像素的每个像素的法线反照率矢量b排列形成法线反照率矢量B，d个像素的每个像素的误差矢量e排列形成误差矢量V。此外，一个像素中，分别在m个照明模式中的亮度值排列形成亮度矢量i(m维)，一个像素的法线反照率矢量(三维)是法线反照率矢量b，一个像素分别在m个照明模式中的误差分量值排列形成矢量e(m维)，照明矩阵S是表示光源的方向与强度(3×m)的照明条件s的矩阵。

如此，通过假定式(4)所示的用以产生图像的反射模型，可以同时对图像中的多个像素进行运算，因此，可以快速地进行运算。

根据已知照明条件下的引导图像集合的统计量，通过核回归，对误差平均值μ_v与方差∑_v进行插值，所述误差平均值μ_v与方差∑_v是输入图像在照明条件s下的统计量。具体而言，利用与式(1)相同的方法将s_j替换为μ_v(s_j)，并利用以已知的照明条件矢量s_j为中心的核函数的线性和，求出平均值μ_v。以与平均值μ_v相同的方式，根据预先计算出的统计量C_v，通过核回归来对方差∑_v进行插值。

在前述假定下，可以使用MAP(Maximum A Posteriori：最大后验概率)估计，以式(5)的方式对与注册图像20相关的法线反照率矢量B_MAP(x)进行估计。

$B_{\mathrm{MAP}}={[{\mathrm{L\Σ}}_V^{-1}{L}^T+C_B^{-1}]}^{-1}[{\mathrm{L\Σ}}_V^{-1}(Y-{\mathrm{\μ}}_V)+C_B^{-1}{\mathrm{\μ}}_B]---\left(5\right)$

此外，以下述方式导出式(5)。

首先，使用平均矢量μ与协方差矩阵C，将高斯分布表示为N(μ，C)。根据式(4)所示的反射模型，给出图像矢量Y时的法线反照率矢量B的条件分布P(B|Y)、给出法线反照率矢量B时的图像矢量Y的条件分布P(Y|B)和法线反照率矢量B的分布P(B)分别表示为：

P(B|Y)＝N(B_MAP，R_B)

P(Y|B)＝N(L^TB+μ_v，∑_v)

P(B)＝N(μ_B，C_B)

而且，可以根据贝叶斯定理获得下述关系。

$P\left(B\right|Y)\∝P\left(Y\right|B)\×P\left(B\right)$

$\∝N(L^{T}B+{\mathrm{\μ}}_V,{\mathrm{\Σ}}_V)\×N({\mathrm{\μ}}_B,C_B)$

$\∝\exp (-\frac{1}{2}G)$

此处，G是如下所述的标量值。

$=B^T[{\mathrm{L\Σ}}_V^{-1}{L}^T+C_B^{-1}]B-2[{(Y-{\mathrm{\μ}}_V)}^T{\mathrm{\Σ}}_V^{-1}{L}^T+{{\mathrm{\μ}}_B}^T{C}_B^{-1}]B+\mathrm{const}$

此处，为了导出使给出图像矢量Y时的法线反照率矢量B的条件分布P(B|Y)最大化的法线反照率矢量B，求出标量值G关于法线反照率矢量B的微分，并将微分值设为0。

$\frac{\∂G}{\∂B}=2[{\mathrm{L\Σ}}_V^{-1}{L}^T+C_B^{-1}]B-2{[{(Y-{\mathrm{\μ}}_V)}^T{\mathrm{\Σ}}_V^{-1}{L}^T+{{\mathrm{\μ}}_B}^T{C}_B^{-1}]}^T=0$

由此，可以通过式(5)获得法线反照率矢量B的MAP估计。

此外，从实用性方面考虑，优选的是，假定式(4)中描述的反射模型，以制作各矢量的统计模型时，注册图像群制作部3的法线信息估计部42根据图像集合来对法线反照率矢量B⁽¹⁾进行估计，在所述图像集合中，已除去了亮度大于预定阈值的像素和亮度小于预定阈值的像素，以除去引导图像中的强光和阴影等的影响。

其次，在法线信息估计部42使用上述式(5)，并根据注册图像20对法线反照率矢量B_MAP(x)进行估计之后，注册图像群制作部3的误差分量信息估计部43根据式(6)，对注册图像20在新照明条件下的误差矢量V_MAP(x)进行估计(S4)。

Pr(V(s₀)|Y，L，s₀)＝Pr(v(s₀)|Y，L，s₀，B)＝Pr(V(s₀)|V，s₀)

$\mathrm{Pr}\left(\left[\begin{array}{c}V\left(s_0\right)\\ V\end{array}\right]\right)=N(\left[\begin{array}{c}{\mathrm{\μ}}_{V\left(0\right)}\\ {\mathrm{\μ}}_V\end{array}\right],\left[\begin{array}{cc}{Q}_{V\left(0\right)}^2& R^T\\ R& {\mathrm{\Σ}}_V\end{array}\right])$

$\mathrm{Pr}\left(V\left(s_0\right)\right|V,s_0)=N_{V\left(s_0\right)}(V_{\mathrm{MAP}},Q_V^2)$

$V_{\mathrm{MAP}}={\mathrm{\μ}}_{V\left(0\right)}+R^T{\mathrm{\Σ}}_V^{-1}(V-{\mathrm{\μ}}_V)---\left(6\right)$

$Q_V^2=Q_{V\left(0\right)}^2-R^T{\mathrm{\Σ}}_V^{-1}R$

R^T＝R_xy＝(R_yx)^T  r_xy＝[σ_1，v(0，1)，σ_1，v(0，2)，…，σ_1，v(0，J)]

$R=R_{\mathrm{yx}}=\left[\begin{array}{c}{r}_1\\ \·\\ \·\\ \·\\ r_d\end{array}\right]$

此处，例如可以利用式(1)的方式来求出各σ的值。使用联合两个照明矢量s的联合照明矢量t，以下述方式计算新照明相应的误差分量的方差矩阵的要素ρ。也可以根据平均值μV与方差∑V，通过核回归，对平均值μV_new与R的要素进行插值。虽然利用与求出平均值μv和方差∑v时相同的方法来进行计算，但此次，相对于被估计为照明条件s的照明条件s_new的联合矢量，通过以已知照明条件s_j间的联合矢量为中心的核函数的线性和来求出所述各值。

${\mathrm{\ρ}}_{v(p,q)}=\underset{j,k}{\mathrm{\Σ}}{\mathrm{\ω}}_{\mathrm{jk}}{\mathrm{\ρ}}_{v(j,k)}/\left(\underset{j,k}{\mathrm{\Σ}}{\mathrm{\ω}}_{\mathrm{jk}}\right)$ ${\mathrm{\ρ}}_{v(q,p)}=\underset{j,k}{\mathrm{\Σ}}{\mathrm{\ω}}_{\mathrm{jk}}{\mathrm{\ρ}}_{v(j,k)}/\left(\underset{j,k}{\mathrm{\Σ}}{\mathrm{\ω}}_{\mathrm{jk}}\right)$

ρ＝(ρ_v(p，q)+ρ_v(q，p))/²

$t_{\mathrm{pq}}={[s_p^T,s_q^T]}^T$ ${\mathrm{\ω}}_{\mathrm{jk}}=\exp [-\frac{1}{2}{({\left|\right|t_{\mathrm{pq}}-t_{\mathrm{jk}}\left|\right|}_2/{\mathrm{\σ}}_{\mathrm{jk}})}^2]$ ${\mathrm{\ω}}_{\mathrm{jk}}=\exp [-\frac{1}{2}{({\left|\right|t_{\mathrm{qp}}-t_{\mathrm{jk}}\left|\right|}_2/{\mathrm{\σ}}_{\mathrm{jk}})}^2]$

此外，当存在多个用于计算各值的算法时，计算出多个算法的平均值即可。

此处，说明V_MAP的导出。

首先，如果假定概率矢量x与y分别遵循联合高斯分布(JointlyGaussian distribution)，则表示为：

$P\left(\left(\begin{array}{c}x\\ y\end{array}\right)\right)=N(\left(\begin{array}{c}{\mathrm{\μ}}_x\\ {\mathrm{\μ}}_y\end{array}\right),\left(\begin{array}{cc}{R}_{\mathrm{xx}}& R_{\mathrm{xy}}\\ R_{\mathrm{yx}}& R_{\mathrm{yy}}\end{array}\right)).$

当给出y时，以下述方式记述x的条件分布P(x|y)。

P(x|y)＝N(m，C_m)

此处，m＝μ_x+R_xyR_yy ^-1(y—μ_y)，

C_m＝R—R_xyR_yy ^-1R_yx。

因为不同照明条件之间的误差项被模型化为联合高斯分布，所以表示为

$P\left(\left[\begin{array}{c}V\left(s_{\mathrm{new}}\right)\\ V\left(s\right)\end{array}\right]\right)=N(\left[\begin{array}{c}{\mathrm{\μ}}_{\mathrm{Vnew}}\\ {\mathrm{\μ}}_V\end{array}\right],\left[\begin{array}{cc}{\mathrm{\Σ}}_{\mathrm{Vnew}}& R^T\\ R& {\mathrm{\Σ}}_V\end{array}\right]).$

当给出V(s)时，误差项V(s_new)作为高斯分布而表示为

P(V(s_new)|V(s))＝N(V_MAP，∑)。

此处，如下所示

$V_{\mathrm{MAP}}={\mathrm{\μ}}_{\mathrm{Vnew}}+R^T{\mathrm{\Σ}}_V^{-1}(V\left(s\right)-{\mathrm{\μ}}_V)$

$\mathrm{\Σ}={\mathrm{\Σ}}_{\mathrm{Vnew}}-R^T{\mathrm{\Σ}}_V^{-1}R,$

导出V_MAP。

至此，用以制作使用了被拍摄对象的注册图像20的注册图像群30的预处理结束。

其次，注册图像群制作部3的误差分量信息估计部43进一步对与另行从照明条件输入部44输入(S5)的多个照明条件相对应的误差分量V_MAP进行估计，并将此误差分量V_MAP输出到图像合成部45中，图像合成部45根据从误差分量信息估计部43输出的误差分量的值和由法线信息估计部42估计出的被拍摄对象的法线信息，合成注册图像，并输出(S6、S7)。

在步骤S5中，作为从照明条件输入部44输入的照明条件的一例，例如当将面部的正面方向设置为(左右的角度：0°、上下的角度：0°)时，左右上下的角度均可以20°的间隔递增至60°为止。此时，存在-60°、-40°、-20°、0°、20°、40°、60°此7种角度，组合上下角度和左右角度，可以获得7×7种照明角度，即49种照明角度。此外，角度的间隔不一定相等，可以根据使用目的及用途来适当地选择某种有效的角度。而且，可以在照明条件输入部44中预先存储多个照明条件，也可以由使用者输入预期的照明条件。

如此，分别与所述互不相同的预定照明角度相对应，误差分量信息估计部43对误差分量V_MAP进行估计(S6)，因为法线反照率矢量B_MAP和照明条件L_NEW是已知的，所以图像合成部45使用式(7)来计算每个像素的亮度值Y_NEW，并合成图像，由此，可以获得被拍摄对象的多个注册图像群30(S7)。

Y_new＝L_new ^TB_MAP+V_MAP    (7)

并且，针对各预先规定的多个照明角度反复进行式(7)所示的处理(S8)，由此可以制作注册图像群30。即，当所有方向的处理结束时(Y)，结束整个处理，当所有方向的处理未结束时(N)，返回到步骤S5。

图5是表示本发明第1实施方式中的注册图像群30的一例的示意图。如图5所示，根据本发明第1实施方式的图像对照装置1的注册图像群制作部3，可以制作具有各种阴影的注册图像群30。

再次回到图1，在本发明的第1实施方式的图像对照装置1中，由注册图像群制作部3制作的注册图像群30存储在注册图像群存储部4中。至此，本发明第1实施方式的图像对照装置1中的对照处理的准备结束。

图6是表示本发明的实施方式中的比较图像25的一例的示意图。在如图1所示的本发明第1实施方式的图像对照装置1中，当从比较图像输入部5输入被认证人员的比较图像25时，比较图像25被从比较图像输入部5发送到比较对照部8中，在比较对照部8中，对比较图像25与注册图像群30进行比较对照处理，并从输出部9输出所述比较对照处理的结果。例如，当输入比较图像25时，比较图像25与注册图像群30中在类似照明条件下拍摄同一被拍摄对象所得的注册图像26类似，则认证被拍摄成比较图像25的被拍摄对象为预先注册的人员。此时，如果将对应的已注册人员的ID信息等附加到注册图像26中，根据此ID信息，可以从输出部9一并输出比较图像25的ID信息和认证结果。此外，考虑到促进被认证人员进行确认，优选的是，也从输出部9向被认证人员输出被判定为与比较图像25类似的注册图像26。

如上所述，根据本发明第1实施方式中的图像对照装置1，在制作注册图像群30时，如式(4)所示，不是独立地对各像素进行处理，而是根据多个像素的信息来计算作为运算对象的像素的信息，并且，假定可以同时处理多个像素的图像生成模型(反射模型)，使用所述图像生成模型的各矢量的统计模型来进行运算，因此，可以同时对注册图像20中的全部像素进行运算，也可以将注册图像20分割为多个区域，并对每个分割区域进行运算。如此，当将注册图像20分割为多个区域，并对每个分割区域进行运算时，与对全部像素统一进行运算的情况相比，可以缩短运算时间。其原因在于，相关运算所需的时间与像素数的三次方成比例，因此，与同时对全部像素进行运算的情况相比，当将所述图像分割成若干区域后进行运算时，可以缩短运算时间。

而且，根据本发明第1实施方式中的图像对照装置1，使用如式(4)所示的可以同时处理多个像素的统计模型来进行运算，因此，如下所示：

可以在进行MAP估计时，仅采用由虚线包围的像素的结果。即，针对构成注册图像20的像素中的较暗部分等，难以使用该像素的信息来对法线反照率矢量进行估计的像素(以下，称为可靠性低的像素)，通过与其他清晰可见的像素(以下，称为可靠性高的像素)编组并进行运算，由此，可以在受到其他可靠性高的像素影响的状态下，进行法线反照率矢量的估计等。

因此，如果使用本发明第1实施方式中的图像对照装置1，则当根据注册图像20制作注册图像群30时，即使在注册图像20中存在较暗或者镜面反射分量大的可靠性低的像素时，也可以在受到其他可靠性高的像素影响的状态下，制作可靠性更高的注册图像群30。此外，关于所述像素可靠性，可以针对每个像素计算出误差分量V的值的方差∑V，将所述值大于预定阈值的像素确定为可靠性低的像素，将除此之外的像素确定为可靠性高的像素。

因此，如果使用本发明的第1实施方式中的图像对照装置1，则可以提高比较图像25与注册图像群30的本人对照率。

例如，可以使利用本发明第1实施方式中的图像对照装置1，使比较图像25与注册图像群30进行对照时的一次对照率，大于使用常规技术将对比较图像25与注册图像群30进行对照时的一次对照率。此外，所谓一次对照率是指一次就将比较图像认证为注册图像的比率，此注册图像是与该比较图像相同的被拍摄对象被拍摄得到的图像，该一次对照率越高，则认证的精度越高。

例如，使用相同的图像群作为引导图像，计算出统计模型，使用此统计模型，并利用非专利文献1中记载的方法来制作注册图像群，使用此注册图像群来进行图像对照，此时的一次对照率为87.8％，而使用本发明第1实施方式中的图像对照装置1来进行图像对照时的一次对照率已大幅增大至94.0％。

而且，对于本发明第1实施方式中的图像对照装置1而言，可以同时进行注册图像20中的多个像素的相关运算，但可以选择任意像素作为应当进行所述相关运算的像素。例如，鼻子附近的像素、眼睛附近的像素、和面颊附近的像素等具有高相关性的像素，也可以与附近的像素编组。当进行所述编组时，考虑到在面颊附近，右侧面颊与左侧面颊具有对称的(contrasting)法线矢量，因此，将其编组到同时进行运算的像素中，并进行相关运算，由此，可以获得可靠性更高的运算结果。

此外，在本发明的第1实施方式中，将注册图像群制作部3作为图像对照装置1的功能块而进行了说明，但也可以把注册图像群制作部3与其他功能块分开，作为图像合成装置。由此，本发明可以提供如下的图像合成装置，此图像合成装置适合于使用图像对照装置和图像对照方法，制作作为注册图像群应当被存储的图像群。

(第2实施方式)

其次，说明本发明第2实施方式中的图像对照装置40。图7是表示本发明第2实施方式中的图像对照装置40的结构的框图。

如图7所示，与所述第1实施方式中的图像对照装置1相比，本发明第2实施方式中的图像对照装置40包括：照明条件估计部6，其是根据从比较图像输入部5输入的比较图像，对其照明方向和照明强度等照明条件进行估计的比较图像照明条件估计部；以及信息检索部7，其是图像检索部，将由照明条件估计部6估计出的照明条件的信息发送到注册图像群存储部4中，并且从存储在注册图像群存储部4中的注册图像群30中，检索并提取与前述比较图像的照明条件相适合的照明条件所对应的注册图像，并将此注册图像输出到比较对照部8中。

因为其他构成要件，即，注册图像输入部2、注册图像群制作部3、注册图像群存储部4、比较图像输入部5、比较对照部8和输出部9各自的功能与第1实施方式中的图像对照装置1的各构成要素的功能相同，所以省略说明。

当使用照明条件估计部6来对照明条件进行估计时，可以使用第1实施方式中的图像对照装置1的注册图像群制作部3的照明条件估计部41所使用的照明条件估计方法(与图3中的步骤S2相同的方法)。

而且，本发明第2实施方式中的注册图像群制作部3在制作注册图像群30时，可以提供与照明方向及照明强度等照明条件有关的信息作为各注册图像群30的元信息，并将所述元信息存储在注册图像群存储部4中。根据所述构成，本发明第2实施方式中的图像对照装置40的信息检索部7，可以将添加到存储在注册图像群存储部4中的注册图像群30的元信息作为提示，检索出应发送到比较对照部8中的注册图像。

利用所述构成，本发明第2实施方式的图像对照装置40除了可以提供第1实施方式中的图像对照装置1的效果之外，进一步，可以由照明条件估计部6根据比较图像25对该照明条件进行估计，从存储在注册图像群存储部4中的注册图像群30中检索出与由照明条件估计部6估计出的照明条件相对应的注册图像，并将此注册图像发送到比较对照部8中。例如，当输入在第1实施方式中所说明的比较图像25时，信息检索部7将与该照明条件相应的注册图像26从注册图像群存储部4发送到比较对照部8中。

因此，本发明可以减少由比较对照部8进行比较对照处理的次数，可以减轻CPU等的运算负荷，可以实现适合于小型装置的结构。

(第3实施方式)

其次，说明本发明第3实施方式中的图像对照装置50。图8是表示本发明第3实施方式中的图像对照装置50的结构的框图。

如图8所示，与所述第1实施方式中的图像对照装置1相比，本发明第3实施方式中的图像对照装置50的不同点在于包括：特征量计算部31，根据从图像输入部5输入的比较图像，计算出该比较图像的特征量；以及特征量计算部32，根据由注册图像群制作部3制作的注册图像，计算出各注册图像的特征量。

此处，作为根据图像而由特征量计算部31和特征量计算部32计算特征量的方法，可以使用曲线匹配法或Gabor小波变换法等，所述曲线匹配法是在表示面部特征的点处配置被称为曲线的图案，找到正确的面部特征点，并对每个点的特征量与已记录的数据进行比较、对照；所述Gabor小波变换是用在信号分析和图像压缩中的方法，其根据变换对象，利用小波波形，仅取出所述波形所具有的特征(频率分量等)，但本发明并不限定于任何所述计算特征点的算法。

而且，本发明第3实施方式中的图像对照装置50具备特征量存储部34，以代替第1实施方式中的图像对照装置1的注册图像群存储部4，所述特征量存储部34存储由特征量计算部31根据注册图像群所计算出的特征量。

而且，本发明第3实施方式中的图像对照装置50具备比较对照部33，以代替第1实施方式中的图像对照装置1的比较对照部8，所述比较对照部33比较对照下述两特征量：由特征量计算部32根据比较图像所计算出的特征量以及存储在特征量存储部34中的注册图像群的特征量。

因为其他构成要件，即，注册图像输入部2、注册图像群制作部3、比较图像输入部5和输出部9各自的功能与第1实施方式中的图像对照装置1的各构成要素的功能相同，所以省略说明。

利用所述构成，本发明第3实施方式的图像对照装置50除了可以提供第1实施方式中的图像对照装置1的效果之外，进一步，在特征量存储部34中存储着由特征量计算部31计算出的特征量的数据，因此，与存储注册图像群存储部4的图像信息本身的构成相比，必要的存储容量减少，因此，可以使装置整体变小，并可以降低成本。

而且，本发明第3实施方式中的图像对照装置50除了可以提供第1实施方式中的图像对照装置1的效果之外，进一步，比较对照部33使用分别从特征量存储部34和特征量计算部32输出的特征量来进行比较对照，因此，与进行图像整体匹配的结构相比，在比较对照部33中进行的运算处理的规模较小，从而使本发明可以实现可以减轻CPU等的运算负荷且适合于小型装置的结构。

此外，在本发明的实施方式中，以将人物面部用作被拍摄对象的情况为例进行了说明，但本发明的图像合成装置、使用此图像合成装置的图像对照装置和图像合成方法并不限定于此用途，也可以将具有一般立体的物体用作被拍摄对象。

工业利用可能性

如上所述，因为根据本发明，可以获得即使在作为运算对象的像素处于阴影中时，也可以准确地对该像素的法线矢量和反射率进行估计，从而制作出与现实一致的注册图像群的特别效果，所以本发明可以有效应用于对输入的二维图像与预先记录的二维图像进行比较对照的图像对照装置，尤其是制作有图像对照用的注册图像群的图像合成装置、使用此图像合成装置的图像对照装置和图像合成方法等。

Claims (9)

1.一种图像合成装置，其根据被拍摄对象的第1图像，合成预定照明条件下的所述被拍摄对象的第2图像，

所述图像合成装置的特征在于包括：

照明条件估计部，其根据所述第1图像的亮度值，对所述第1图像中的所述被拍摄对象的照明条件进行估计，所述照明条件包括照明方向和强度；

法线信息估计部，其根据由所述照明条件估计部估计出的照明条件，对所述第1图像中的规定像素的、包含所述被拍摄对象法线方向的法线信息进行估计；

误差分量信息估计部，其对所述第1图像的所述规定像素的亮度值中的漫反射分量以外的误差分量的信息进行估计，并根据所估计出的所述误差分量的信息，对所述预定照明条件下的误差分量的信息进行估计；以及，

图像合成部，其根据由所述法线信息估计部估计出的所述被拍摄对象的法线信息、以及由所述误差分量信息估计部估计出的所述预定照明条件下的误差分量的信息，合成所述预定照明条件下的所述被拍摄对象的所述第2图像，

所述法线信息估计部通过根据统计模型，对所述法线方向进行估计，所述统计模型是根据多个像素的信息而利用用于学习的图像预先计算得到的，从而根据所述第1图像中的多个像素的信息，对所述规定像素的法线信息进行估计。

2.根据权利要求1所述的图像合成装置，其特征在于：

所述误差分量信息估计部根据所述第1图像中的多个像素的信息，对所述规定像素的误差分量的信息进行估计。

3.根据权利要求2所述的图像合成装置，其特征在于：

所述误差分量信息估计部根据统计模型，对所述误差分量的信息进行估计，所述统计模型是根据多个像素的信息而利用用于学习的图像预先计算得到的。

4.根据权利要求1所述的图像合成装置，其特征在于：

所述统计模型是如下表示的图像生成模型的各矢量的统计模型，

Y＝L^TB+V

其中，Y是像素的图像矢量，L^T是对角线上配置有照明矩阵S的转置矩阵S^T的照明矩阵，B是法线反照率矢量，V是误差矢量。

5.根据权利要求1所述的图像合成装置，其特征在于，包括：

照明条件输入部，其输入包含互不相同的多个照明角度的照明条件，

所述图像合成部对从所述照明条件输入部输入的多个照明条件中的各个照明条件下的所述第2图像进行合成。

6.一种图像对照装置，其特征在于，包括：

权利要求5所述的图像合成装置；

注册图像群存储部，其将由所述图像合成装置制作的第2图像作为注册图像群存储；

比较图像输入部，其输入应当比较的比较图像；以及

比较对照部，其对从所述比较图像输入部输入的比较图像与存储在所述注册图像群存储部中的注册图像群进行比较对照。

7.根据权利要求6所述的图像对照装置，其特征在于包括：

比较图像照明条件估计部，其对由所述比较图像输入部输入的所述比较图像中的照明条件进行估计；和

图像检索部，其从所述注册图像群存储部中检索由所述比较图像照明条件估计部估计出的照明条件下的注册图像，

所述比较对照部将由所述图像检索部检索出的注册图像与所述比较图像进行对照。

8.根据权利要求6所述的图像对照装置，其特征在于包括：

第1特征量计算部，其计算由所述图像合成装置制作的第2图像的特征量；以及，

第2特征量计算部，其计算由所述比较图像输入部输入的比较图像的特征量；

所述注册图像群存储部存储所述第2图像的特征量，

所述比较对照部根据所述第2图像的特征量和所述比较图像的特征量，对所述注册图像群与所述比较图像进行比较对照。

9.一种图像合成方法，其根据被拍摄对象的第1图像，对规定照明条件下的所述被拍摄对象的第2图像进行合成，

所述图像合成方法的特征在于包括：

第1步骤，根据所述第1图像的亮度值，对所述第1图像中的所述被拍摄对象的照明条件进行估计，所述照明条件包括照明方向和强度；

第2步骤，根据在所述第1步骤中估计出的所述照明条件，对所述第1图像中的规定像素的、包含所述被拍摄对象法线方向的法线信息进行估计；

第3步骤，对所述第1图像的所述规定像素的亮度值中漫反射分量以外的误差分量的信息进行估计，并根据所估计出的所述误差分量的信息，对所述规定照明条件下的误差分量的信息进行估计；以及，

第4步骤，根据在所述第2步骤中估计出的所述被拍摄对象的法线信息、以及在所述第3步骤中估计出的所述规定照明条件下的误差分量的信息，合成所述规定照明条件下的所述被拍摄对象的所述第2图像，

在所述第2步骤中，通过根据统计模型，对所述法线方向进行估计，所述统计模型是根据多个像素的信息而利用用于学习的图像预先计算得到的，从而根据所述第1图像中的多个像素的信息，对所述规定像素的法线信息进行估计。

Images