CN101048801A - 法线信息估计装置、注册图像群制作装置、图像对照装置以及法线信息估计方法 - Google Patents

Abstract

本发明提供一种由被拍摄对象的图像估计被拍摄对象的法线信息的法线信息估计装置，包括：照明方向估计部，其用于根据图像的亮度值而估计图像中被拍摄对象的照明方向；法线信息估计部，其用于基于照明方向而估计图像中的被拍摄对象的法线信息；以及镜面反射成分估计部，其用于根据被拍摄对象的法线信息以及对被拍摄对象的照明方向而估计出图像的镜面反射成分。法线信息估计部，根据镜面反射成分除去部中已除去镜面反射成分的图像而再次估计出法线信息，输出根据已除去镜面反射成分的图像而估计出的法线信息。

Description

法线信息估计装置、注册图像群制作装置、图像对照装置以及法线信息估计方法

技术领域

本发明涉及将被输入的二维图像与预先记录的二维图像进行比较对照的图像对照装置，特别涉及，图像对照中使用的法线信息估计装置、注册图像群制作装置、图像对照装置以及法线信息估计方法。

背景技术

当前，将被输入的二维图像与已记录的二维图像进行比较对照的图像对照装置已被实用，特别是，为了实现作为使用生物特征识别(biometrics)的认证方法的一种的脸部认证方法，提出了各种各样的图像对照装置方案。为了实现脸部认证方法的图像对照装置中，可能被认证的多人(以下记为：已注册人员)的面部图像被注册到数据库，作为预先注册的面部图像。被认证者(以下记为：被认证者)的面部图像与注册面部图像进行比较对照。结果，在被判定为：被认证者的面部图像与特定的已注册人员的注册面部图像相互一致或者类似的情况下，被认证者被认证为该特定已注册人员。

这样的图像对照装置中，有这样的问题：由于被认证者的面部图像与注册面部图像的拍摄条件不同，认证率低下。

例如，被认证者的面部图像中，照明照射到被认证者的方向(以下记为：照明方向)与注册面部图像中被拍摄对象的照明方向不同的情况下，即使是被拍摄对象相同的图像，进行比较对照的结果也有可能判定为不是相互一致。

为了解决这样的问题，提出了各种技术。例如，提出了这样的技术：对于每个已注册人员，从一张注册面部图像估计出拍摄时的照明方向以及脸部形状(法线矢量)等，使用这些条件，制作多个不同照明方向下的多个图像(以下记为：注册面部图像群)，注册到数据库，在认证时，通过将被拍摄对象的面部图像与数据库中注册的全部注册面部图像群进行比较对照，由此提高认证率(例如，T.Sim，T.Kanade，“Combining Models andExemplars for Face Recognition：An Il1umination Example，”Proc.CVPR Workshop on Models versus Exemplars In ComputerVision，2001を参照)。

然而，前述现有技术中，在估计图像中的照明方向的时候，假定脸上的反射全部是漫反射，从而估计照明方向，但是，现实中脸上的反射并不全是漫反射，因此，存在不能正确估计脸部法线矢量的方向的情况。因此，存在这样的问题：被制作的注册面部图像群不一定与在规定的照明方向真实拍摄的图像相一致，之后进行认证处理的情况下，认证率也没有被提高。

发明内容

考虑到前述问题，得到本发明。提供了能够制作与实现一致的注册面部图像群、认证率高的图像对照装置。

为解决这样的问题，本发明法线信息估计装置，是根据被拍摄对象的图像而估计被拍摄对象的法线信息的法线信息估计装置，包括：照明方向估计部，其用于根据图像的亮度值而估计图像中的对被拍摄对象的照明方向；法线信息估计部，其用于基于照明方向而估计图像中的被拍摄对象的法线信息；镜面反射成分估计部，其用于根据被拍摄对象的法线信息以及对被拍摄对象的照明方向而估计出图像的镜面反射成分；以及镜面反射成分除去部，其从图像中除去镜面反射成分，其中，法线信息估计部，根据在镜面反射成分除去部中已被除去镜面反射成分的图像而再次估计出法线信息。这里，法线信息的估计是指，估计法线方向或包含法线方向的信息(例如反射率等的信息)。

利用这样的结构，由于是从除去了光源的反射等的影响引起的镜面反射成分的图像而进行法线估计，通过利用此法线信息估计装置，除去了脸部反光等引起的光源反射等负面影响，能够进行用于制作与现实相一致的注册图像群的法线信息的估计，用此，能够提供认证率高的图像对照装置。

而且，法线信息估计装置可以进一步包括：收敛判断部，其比较：除去镜面反射成分之前的、在法线信息估计部估计出来的法线信息的值，与，已除去镜面反射成分之后的、在法线信息估计部估计出来的法线信息的值，判断法线信息的值是否收敛，将收敛判断部判定为收敛的法线信息的值输出。

利用这样的结构，因为进一步输出由收敛判断部判断为收敛的法线信息的值，能够进行更正确的法线信息的计算。

而且，还可以有以下的结构：照明方向估计部，根据镜面反射成分除去部中已除去镜面反射成分的图像，再次估计被拍摄对象的照明方向；法线信息估计部，利用在照明方向估计部再次被估计的照明方向，根据已除去镜面反射成分的图像，再次估计法线信息。

利用这样的结构，进一步，从已除去镜面反射成分的图像再次估计照明方向，使用由此得到的照明方向再次估计法线信息，因此，更有可能估计出与现实相符的法线信息。

进一步，本发明注册图像群制作装置，包括：本发明法线信息估计装置；注册图像输入部，其向法线信息估计装置输入应注册的注册图像；照明方向输入部，其被输入相互不同的多个照明方向；镜面反射成分计算部，其基于从法线信息估计装置输出的注册图像相对应的法线信息，计算出相互不同的多个照明方向下被拍摄对象的镜面反射成分；漫反射成分计算部，其基于由法线信息估计装置输出的注册图像相对应的法线信息，计算出相互不同的多个照明方向下被拍摄对象的漫反射成分；以及图像合成部，其将镜面反射成分和漫反射成分相加，制作相互不同的多个照明方向下的注册图像群。

利用这样的结构，由于根据已除去镜面反射成分的图像进行法线估计，能够除去反射等负面影响，制作与现实相符的注册图像群，因此，用此，能够提供认证率高的图像对照装置。

接下来，本发明图像对照装置包括：本发明注册图像群制作装置；注册图像群存储部，其存储在注册图像群制作装置制作的注册图像群；比较图像输入部，其输入应比较的比较图像；以及比较对照部，其比较对照由比较图像输入部输入的比较图像，以及，存储在注册图像群存储部的注册图像群。

利用这样的结构，由于根据已除去镜面反射成分的图像进行法线估计，能够除去反射等负面影响，制作与现实相符的注册图像群，因此，能够提供认证率高的图像对照装置。

更进一步，还可以有以下的结构：比较图像照明方向估计部，其估计比较图像输入部输入的比较图像中的照明方向；以及，图像检索部，其从注册图像群存储部检索比较图像照明方向估计部中估计的照明方向的注册图像，比较对照部，其将在图像检索部检索到的注册图像与比较图像进行对照。

利用这样的结构，进一步能够，由比较图像估计其照明方向，能够从存储在注册图像群存储部的注册图像群检索出与被估计的照明方向相对应的注册图像，而进行比较对照，能够减少进行比较对照处理的次数，实现了可减轻CPU等运算负荷的小型装置。

进一步，可以有以下的结构：第一特征量计算部，其计算出注册图像群制作装置制作的注册图像群的特征量；以及第二特征量计算部，其计算出比较图像输入部输入的比较图像的特征量，注册图像群存储部存储注册图像群的特征量；比较对照部，利用该特征量而比较对照注册图像群与比较图像。

利用这样的结构，进一步，由特征量计算部计算出的特征量的数据被存储在注册图像群存储部中，因此，与存储注册图像群的图像信息本身的结构相比较，所需存储容量较少即可的同时，由于比较对照部使用从注册图像群存储部和特征量计算部分别输出的特征量而进行比较对照，所以与进行图像整体的匹配的结构相比较，在此比较对照部的运算处理只是小规模的，能够实现适用于可减轻CPU等的运算负荷的小型的装置的结构。

接下来，本发明法线信息估计方法，是根据被拍摄对象的图像估计被拍摄对象的法线信息的法线信息估计方法，其包括：第一步骤，根据图像的亮度值而估计出图像中的对被拍摄对象的照明方向；第二步骤，基于照明方向，估计图像中的被拍摄对象的法线信息；第三步骤，根据被拍摄对象的法线信息以及对被拍摄对象的照明方向，估计图像的镜面反射成分；第四步骤，从图像中除去镜面反射成分；以及第五步骤，根据第四步骤中的、已除去镜面反射成分的图像，再次估计法线信息。

利用此方法，因为是根据已除去镜面反射成分的图像进行法线估计，使用此法线信息估计方法，能够除去脸部反光等引起的光源反射等负面影响，进行与现实相符的法线信息估计。

接下来，本发明程序是根据被拍摄对象的图像估计被拍摄对象的法线信息的程序，其使计算机中执行：第一步骤，根据图像的亮度值而估计出图像中的对被拍摄对象的照明方向；第二步骤，基于照明方向，估计图像中的被拍摄对象的法线信息；第三步骤，根据被拍摄对象的法线信息以及对被拍摄对象的照明方向，估计图像的镜面反射成分；第四步骤，从图像中除去镜面反射成分；以及第五步骤，根据第四步骤中的、已除去镜面反射成分的图像，再次估计法线信息。

利用这样的程序，因为是根据已除去镜面反射成分的图像进行法线估计，所以使用此程序，能够除去脸部反光等引起的反射等负面影响，进行与现实相符的法线信息估计。

如上述，由本发明，能够制作与现实相符的注册图像群，提供认证率高的图像对照装置。

附图说明

图1是表示本发明第一实施方式中的图像对照装置的结构的框图。

图2是表示本发明第一实施方式中的注册图像群制作装置的结构的框图。

图3是表示本发明第一实施方式中的法线信息估计装置的结构的框图。

图4是表示本发明第一实施方式中的图像对照装置的注册图像群制作装置的动作步骤的流程图。

图5是示意性表示本发明第一实施方式中的注册图像的示例的图。

图6是示意性表示本发明第一实施方式中的注册图像群的示例的图。

图7是示意性表示本发明实施方式中比较图像的示例的图。

图8是表示本发明第二实施方式中的图像对照装置的结构的框图。

图9是表示本发明第三实施方式中图像对照装置的结构的框图。

附图标记说明

1，40，50    图像对照装置

2    注册图像输入部

3    注册图像群制作装置

4    注册图像群存储部

5    比较图像输入部

6    照明方向估计部

7    图像检索部

8，33    比较对照部

9    输出部

20，26    注册图像

25   比较图像

30   注册图像群

31，32    特征量计算部

34   特征量存储部

41   照明方向估计部

42   法线信息估计装置

43   反射成分信息计算部

44   照明方向输入部

45   图像合成部

52   法线信息估计部

53   镜面反射成分估计部

54   镜面反射成分除去部

55   收敛判断部

61   镜面反射成分计算部

62   漫反射成分计算部

具体实施方式

下面，用附图详细说明本发明实施方式。

(第一实施方式)

首先，说明本发明第一实施方式中的图像对照装置。图1是表示本发明第一实施方式中的图像对照装置1的结构的框图。

如图1所示，本发明第一实施方式中的图像对照装置1具有：被输入已注册人员的注册图像20(参考图5)的注册图像输入部2；根据由注册图像输入部2输入的注册图像20，利用后述方法，在多个照明方向下制作注册图像群的注册图像群制作装置3；存储由注册图像群制作装置3制作的注册图像群的注册图像群存储部4；被输入被认证者的面部图像(以下称为：比较图像)的比较图像输入部5；将由比较图像输入部5输入的比较图像与在注册图像群存储部4里存储的注册图像群相比较和对照的比较对照部8；以及，输出比较对照部8比较对照的结果等信息的输出部9。

注册图像输入部2及比较图像输入部5，可以是从现有的存储媒体输入图像的结构，也可以用扫描机等现有读取手段构成，也可以是输入用相机等拍摄的图像的结构。而且，本发明第一实施方式中的图像对照装置1并不限于具备分别独立的注册图像输入部2和比较图像输入部5的结构，也可以是共享单独的输入装置的结构。

注册图像群制作装置3的各个构成元件以及比较对照部8，可以用软件实现后述功能，也可以用专用电路等硬件而实现后述功能。

注册图像群存储部4可以选择使用HDD和半导体存储卡等现有存储介质。

输出部9，可以是直接输出来自比较对照部8的表示能否进行对照的信号的结构，也可以是通过影像或声音通知被认证者对照结果的结构。

比较对照部8的功能可以使用，例如，主元空间法(eigen space)、子空间法(sub space)或KNN法等现有图像比较对照方法。

在此，详细说明本发明第一实施方式中的注册图像群制作装置3的结构及功能。图2是表示本发明第一实施方式中的注册图像群制作装置3的结构的框图。

图2所示，到本发明第一实施方式中的注册图像群制作装置3，被输入来自注册图像输入部2的注册图像20，其具有：法线信息估计装置42，其由被输入的注册图像20估计包含该被拍摄对象的法线反照率(Albedo)矢量的法线信息；被输入用于制作注册图像群的多个照明方向的照明方向输入部44；反射成分信息计算部43，其使用由法线信息估计装置42估计的法线信息计算出，在输入到照明方向输入部44的多个照明方向中的，被拍摄对象的镜面反射成分和漫反射成分；以及，图像处理部45，其根据由反射成分信息计算部43计算的反射成分信息进行注册图像群的合成处理。反射成分信息计算部43具有计算镜面反射成分的镜面反射成分计算部61以及计算漫反射成分的漫反射成分计算部62。

在此，详细说明本发明第一实施方式中的法线信息估计装置42的结构和功能。图3是表示本发明第一实施方式中的法线信息估计装置42的结构的框图。

图3所示，本发明第一实施方式中的法线信息估计装置42，被输入来自注册图像输入部2的注册图像20，其具有：由被输入的注册图像20而估计其照明方向的照明方向估计部41；法线信息估计部52，其由照明方向估计部41估计的照明方向以及注册图像20的浓淡值(gray value)来估计注册图像20中的被拍摄对象的法线信息；镜面反射成分估计部53，其根据法线信息估计部52估计的法线信息以及照明方向估计部41估计的照明方向，而估计注册图像20的浓淡值中的镜面反射成分；镜面反射成分除去部54，其从注册图像20的浓淡值中去除镜面反射成分估计部53估计的镜面反射成分；以及，收敛判断部55，其判定法线信息估计部52估计的法线信息的值是否收敛。

法线信息估计部52，从被镜面反射成分除去部54除去了镜面反射成分的图像再次估计出法线信息；收敛判断部55，对从被除去了镜面反射成分的图像估计出来的法线信息，与从除去镜面反射成分之前的图像估计出来的法线信息进行比较，当其差小于规定值的时候，判定法线信息是收敛的；输出，从已除去镜面反射成分的图像估计出来的法线信息、或者从除去镜面反射成分之前的图像而估计出来的法线信息(因为值是收敛的，所以输出任何一个都可以)。但是，本发明并不限于前述结构：法线信息估计部52从除去镜面反射成分前后的图像估计出法线信息。本发明也可以使用两个法线信息估计部：从除去镜面反射成分之前的图像估计出来的法线信息的第一法线信息估计部；以及，从除去镜面反射成分之后的图像估计法线信息的第二法线信息估计部。在此情况下，收敛判断部55比较在第一法线信息估计部计算出来的法线信息，以及，在第二法线信息估计部计算出来的法线信息，而进行收敛判定。

在此，说明本发明第一实施方式中的图像对照装置1的动作。图4是表示本发明第一实施方式的图像对照装置1的注册图像群制作装置3的动作步骤的流程图。然而，注册图像群制作装置3的各组成元件以及图像对照部8的功能，可以由硬件或者软件中的任一个来实现。在这些功能由软件实现的情况下，在软件中写入后述的图4中的步骤S1到步骤S13的各个处理，由计算机执行。

如图4所示，首先，注册图像20被从注册图像输入部2输入到注册图像群制作装置3(S1)。在此，设定注册图像20是应注册人员的一张面部图像。图5是示意性表示本发明第一实施方式中的注册图像20的一个示例的图。实际中，注册图像20使用长120×宽90、共10800像素的有阴影的图像。

注册图像20被发送到注册图像群制作装置3的法线信息估计装置42，法线信息估计装置42的照明方向估计部41估计出拍摄一张注册图像20时的照明方向(S2)。照明方向的估计，利用下式这样简单的核回归(kenelregression)，就能估计注册图像20的照明方向，式中，用于计算统计值的学习图像组中的J个照明模型分别为s_j，其高斯核的尺度为σ_j，学习图像的各照明模型的平均值是a_j，输入图像是b。

公式1： $s=\underset{j=1}{\overset{J}{\mathrm{\Σ}}}{\mathrm{\ω}}_j{s}_j/\left(\underset{j=1}{\overset{J}{\mathrm{\Σ}}}{\mathrm{\ω}}_j\right)---\left(1\right)$

公式2： ${\mathrm{\ω}}_j=\exp [-\frac{1}{2}{(D(b,a_j)/{\mathrm{\σ}}_j)}^2]---\left(2\right)$

公式3：D(b，a_j)＝‖b-a_j‖₂    (3)

接着，法线信息估计装置42的法线信息估计部52估计出考虑了注册图像20中的反射率的法线反照率矢量的初始值(S3)。另外，法线反照率矢量是指对法线方向矢量乘上其反照率(反射率)得到的矢量。

图像矢量，例如，可以表示为(4)式，式中，y(x)是像素x的浓淡值，S是J个照明方向矢量(学习用)，b(x)是像素x的法线反照率矢量，v(x)是像素x的照明J个误差值矢量。

公式4：

       y(x)＝S^Tb(x)+v(x)    (4)

$y\left(x\right)=\underset{J\×1}{\left[\begin{array}{c}i(x,s_1)\\ i(x,s_2)\\ \·\\ \·\\ \·\\ i(x,s_{J-1})\\ i(x,s_J)\end{array}\right]}s=\underset{3\×J}{\left[\begin{array}{cccc}{s}_{11}& s_{12}& \·\·\·& s_{1J}\\ s_{21}& s_{22}& \·\·\·& s_{2J}\\ s_{31}& s_{32}& \·\·\·& s_{3J}\end{array}\right]}b\left(x\right)=\underset{3\×1}{\left[\begin{array}{c}{b}_1\left(x\right)\\ b_2\left(x\right)\\ b_3\left(x\right)\end{array}\right]}v\left(x\right)=\underset{J\×1}{\left[\begin{array}{c}e(x,s_1)\\ e(x,s_2)\\ \·\\ \·\\ \·\\ e(x,s_{J-1})\\ e(x,s_J)\end{array}\right]}---\left(5\right)$

步骤S3中，用在步骤S2估计的照明方向矢量S’，法线反照率矢量的初始值可以估计为由MAP估计得到的法线反照率矢量b_MAP(x)。

公式5： $b_{\mathrm{MAP}}={[S\′S_v^{-1}{S\′}^T+C_b^{-1}]}^{-1}[S^{\′}{S}_v^{-1}(y-{\mathrm{\μ}}_v)+C_b^{-1}{\mathrm{\μ}}_b]$

接下来，法线信息估计装置42的镜面反射成分估计部53，根据法线信息估计部52估计的法线反照率矢量的初始值计算出镜面反射成分(S4)。

镜面反射成分M(x)的计算，可以根据在步骤S2估计出来的照明方向和法线反照率矢量b_MAP(x)计算出来。

M(x)＝y(x)-Sb_MAP(x)＝v(x)    (7)

(7)式中，实际的亮度值y(x)与根据步骤S2估计的照明方向和法线反照率矢量b_MAP(x)计算出来的亮度成分Sb_MAP(x)的差v(x)，作为镜面反射成分M(x)。即，步骤S4中镜面反射成分M(x)的估计，因为是其初始值的估计，为了高速地进行处理，将误差值矢量v(x)整个作为镜面反射成分M(x)而进行运算得到的。

而且，为了正确地进行镜面反射成分M(x)运算，在步骤S4，也可以使用后述的Phong模型和Torrance-Sparrow模型等估计模型进行估计。

而且，图像对照装置1的管理者目测注册图像20，一眼看出在注册图像20中存在例如，亮度很高的部分(由于脸上发光和眼镜架等影响而被估计为镜面反射成分)和亮度很低的部分(被估计为鼻子等较高的部分的影子成分，所谓的投影成分)这样的，特定部分的亮度能够被判别为与其他部分的亮度显著不同的部分。在此情况下，将各部分分别分开，将其中亮度很高的部分看作镜面反射成分进行运算，将亮度很低的部分看作投影成分进行运算。但是，如果不希望像这样介入管理者的主观判断的情况的时候，可以进行这样的计算：例如，在误差成分v(x)中只抽出正值部分，将该部分作为镜面反射成分；而将负值部分作为投影成分，而进行运算。另外，在本实施方式中，将镜面反射成分作为法线信息估计的不利因素进行了说明，但是，除了镜面反射成分和投影成分之外，误差成分中包含的成分也会成为法线信息估计的不利因素。与用镜面反射成分进行说明的示例相同，将这些为法线信息估计的不利因素的成分除去，而进行法线信息的估计也是可以的。

接下来，法线信息估计装置42的镜面反射成分除去部54，从注册图像20的浓淡值y(x)中，除去在步骤S4镜面反射成分估计部53估计的镜面反射成分M(x)(步骤S5)。

然后，法线信息估计装置42的法线信息估计部52，根据步骤S5中除去了镜面反射成分M(x)的图像y’(x)，用与步骤S3中估计法线反照率矢量的初始值之时相同的方法，再次估计法线反照率矢量(S6)。

接下来，法线信息估计装置42的收敛判断部55，比较之前的步骤S3中估计的法线反照率矢量的值b_MAP(x)与步骤S6中估计的法线反照率矢量的值，直到值收敛(S7)为止，在法线信息估计部52、镜面反射成分53以及镜面反射成分除去部54，使从步骤S4到步骤S6的处理持续进行。

当法线信息估计部52、镜面反射成分53以及镜面反射成分除去部54反复执行步骤S4到步骤S6的处理的时候，收敛判断部55比较前次估计的法线反照率矢量与本次估计的法线反照率矢量的一致度，如果一致度大于等于规定阈值，则判断为收敛，而确定该值为注册图像20的法线反照率矢量的值，将其输出到注册图像群制作装置3的反射成分信息计算部43(S8)。此时的一致度可以是，例如，法线反照率矢量之间的相关距离的和、Euclidean距离之和的倒数、或者转换为单位法线矢量之后的法线反照率矢量的相关距离之和等，只要是可表现做比较的两个法线反照率矢量或法线矢量的类似性，即可。

且，步骤S6中，当通过镜面反射成分估计部53进行镜面反射成分的估计的时候，同时，通过由照明方向估计部41进行照明方向的估计处理，可能提高照明方向和镜面反射成分两者的估计精度。使用反射模型的镜面反射成分可如后述那样，在这里，如果照明方向的估计精度能被提高的话，则同时镜面反射成分的估计精度也能提高。

步骤S8中，在决定注册图像20的法线反照率矢量的值的同时，注册图像群制作装置3的反射成分信息计算部43决定注册图像20中的镜面反射成分M(x)和漫反射成分I(x)。具体而言，镜面反射成分计算部61计算出镜面反射成分M(x)，漫反射成分计算部62计算出漫反射成分I(x)。

下面说明以1点或1像素进行镜面反射成分M(x)的计算的情况。整个图面中的镜面反射成分的计算也可能是对整个画面中的全部像素进行这样的处理。

例如，Phong模型中，镜面反射項Is可以通过下式计算出：

I_s＝I_Lr_s(p^Tm)^q    (8)

即，m满足下式：

m^Tn＝-1^Tn，m^T(1×n)＝0    (9)

式中，I_L是入射光的强度，r_s是镜面反射率、q是表示表面光滑程度的参数、n是法线方向单位矢量、l是入射光方向单位矢量、p是视线方向单位矢量、m是表示与l及n位于相同平面上，并且，入射角和反射角相等的方向的单位矢量。

此外，可以使用Torrance-Sparrow模型。I_s=I_Lr_sexp{-((cos^-1(p^Tm))²/σ²)}(10)

在此，σ是表示表面光滑程度的参数，其他的参数与前述Phong模型中所说明的相同。

另外，本发明并不限于在此说明的镜面反射成分的计算方法，也能够适用众所周知的方法。例如，计算包含前述模型的各种镜面反射成分的方法可以使用，例如，《对照片的三元CG》(徐刚，近代科学社，2001年，第95-96页)中所记载的方法。

接着，使用下式计算漫反射成分I(x)：

I＝BS    (11)

在此，

I：是图像数据(N像素×c输入图像数)

B：是物体的法线方向和反射率构成的矩阵(N×3)

S：是光源方向和强度矩阵(3×c)

至此，使用被拍摄对象的注册图像20的预处理结束。

接下来，从照明方向输入部44输入多个照明方向(S10)，注册图像群制作装置3的反射成分信息计算部43计算出与该照明方向对应的镜面反射成分M(x)和漫反射成分I(x)(S11)。具体而言，镜面反射成分计算部61计算出镜面反射成分M(x)，漫反射成分计算部62计算出漫反射成分I(x)。

作为照明方向的一例，例如，将脸置于正面方向(左右角度：0°、上下角度：0°)时，照明方向左右上下可以以20°为间隔地，取到小于等于60°。在此情况下，有-60°、-40°、-20°、0°、20°、40°、60°7种角度，上下左右一共可以有7×7＝49种照明方向。另外，角度不一定是等间隔的，也可以根据使用目的和用途选择合适的角度。

然后，通过将在步骤S11中，由反射成分信息计算部43计算出的、与规定的角度所对应的、镜面反射成分M(x)和漫反射成分I(x)，在图像合成部45加入，就能够得到对应于相互不同的规定的照明方向的、被拍摄对象的多个注册图像构成的群(S12)。针对由照明方向输入部44输入的多个照明方向中的每一个而进行这样的处理(S13)，可制作注册图像群30。图6是示意性表示本发明第一实施方式中的注册图像群30的一示例的图。另外，本发明第一实施方式中，表示了由照明方向输入部44输入预定照明方向的例子，但是，本发明并不限于此结构，也可以是这样的结构：由管理者等从照明方向输入部44输入任意的照明方向。

如图1或图2所示，本发明第一实施方式的图像对照装置1中，在注册图像群制作装置3制作的注册图像群30，存储到注册图像群存储部4。至此，完成了本发明第一实施方式的图像对照装置1中的对照准备。

本发明第一实施方式的图像对照装置1中，由比较图像输入部5输入被认证者的比较图像25时，比较图像25从比较图像输入部5被发送到比较对照部8，在比较对照部8，完成比较图像25与注册图像群30的比较对照处理，从输出部9输出该结果。图7示意性地表示本发明实施方式中的比较图像25的一个示例。

如上所述，本发明第一实施方式中的图像对照装置1，根据被拍摄对象的图像计算出镜面反射成分M(x)，除去镜面反射成分M(x)，再进行法线反照率矢量的估计，因此，能够不受镜面反射成分M(x)的负面影响(例如，脸上有油的时候，由于照明的镜面反射引起的反光影响等)而进行法线反照率矢量的估计，能够输出更接近实际被拍摄对象的法线反照率矢量。所以，在利用本发明第一实施方式中的图像对照装置1中估计的法线反照率矢量，制作在假定多个照明方向下的注册图像群30的情况下，也能得到更接近实际的、正确的注册图像群30。

例如，使用本发明第一实施方式中的图像对照装置1而进行与比较图像25的对照的情况与现有技术中的图像对照装置相比较，能够改善其一位对照率(the first place collation rate)。这里，一位对照率是：拍摄与比较图像相同的被拍摄对象的注册图像一次就被认证的比率，这表明：该比率越高，认证的精度就越高。

(第二实施方式)

接下来，说明本发明第二实施方式中的图像对照装置40。图8是表示本发明第二实施方式中的图像对照装置40的结构的框图。

如图8所示，与前述第一实施方式中的图像对照装置1相比较，本发明第二实施方式中的图像对照装置40，具备：照明方向估计部6，其根据从比较图像输入部5被输入的比较图像而估计其照明方向等；图像检索部7，其将在照明方向估计部6被估计的照明方向的信息发送到注册图像群存储部4的同时，从在注册图像群存储部4被存储的注册图像群30中检索、抽取出对应于与前述比较图像的照明方向相匹配的照明方向的注册图像，而将其输出到比较对照部8。

其他结构的功能，即，注册图像输入部2、注册图像群制作装置3、注册图像群存储部4、比较图像输入部5、比较对照部8以及输出部9各自的功能，与第一实施方式中的图像对照装置1的各构成元件的功能相同，因此省略其说明。

利用这样的结构，通过本发明第二实施方式的图像对照装置40，达到第一实施方式中的图像对照装置1的效果之外，还具有这样的功能：由照明方向估计部6根据比较图像25估计其照明方向，从被存储在注册图像群存储部4中的注册图像群30中，检索出与由照明方向估计部6估计出的照明方向相对应的注册图像，然后发送到比较对照部8。例如，像第一实施方式中说明的那样，比较图像25被输入的情况下，与其照明方向相对应的注册图像26，被图像检索部7从注册图像群存储部4发送到比较对照部8。

因此，减少比较对照部8中进行比较对照处理的次数，能够减轻CPU等的运算负荷，所以能够实现适于小型装置的结构。

(第三实施方式)

接下来，说明本发明第三实施方式中的图像对照装置50。图9是表示本发明第三实施方式中的图像对照装置50的结构的框图。

如图9所示，本发明第三实施方式中的图像对照装置50，与前述第一实施方式中的图像对照装置1相比较，不同点在于，具备：特征量计算部31，其根据从比较图像输入部5输入的比较图像而计算出其特征量；以及特征量计算部32，其根据在注册图像群制作装置3制作的注册图像，计算出各个注册图像的特征量。

在此，作为特征量计算部31以及特征量计算部32中的从图像计算出特征量的方法，可以用：图匹配法，该方法将称为图(graph)的图案(pattern)配置到表示脸部特征的点，以发现正确的脸部特征点，将该特征点的特征量与注册数据相比较、对照；或者信号解析和图像压缩中使用的Gabor小波变换法，其从变换被拍摄对象，利用小波波形，只提取出该波形所具有的特征(频率成分等)。但是，本发明就此特征点的计算方法，并不做任何的限定。

而且，本发明第三实施方式中的图像对照装置50中，代替第一实施方式中的图像对照装置1的注册图像群存储部4，具有；特征量存储部34，其存储通过特征量计算部31从注册图像群计算出的特征量。

进一步，本发明第三实施方式中的图像对照装置50，代替第一实施方式中的图像对照装置1的比较对照部8，具有；比较对照部33，其对由特征量计算部32根据比较图像计算的特征量，和在特征量存储部34存储的注册图像群的特征量，进行比较对照。

其他结构的功能，即，注册图像输入部2、注册图像群制作装置3、比较图像输入部5以及输出部9各自的功能，与第一实施方式中的图像对照装置1中各结构元件的功能相同，所以省略其说明。

利用这样的结构，本发明第三实施方式的图像对照装置50，除了具有第一实施方式中的图像对照装置1的效果之外，还具有这样的效果：由于特征量存储部34存储由特征量计算部31计算出来的特征量的数据，因此，与存储注册图像群存储部4的图像信息本身相比较，所需存储容量较少即可。

进一步，本发明第三实施方式中的图像对照装置50，除了具有第一实施方式中的图像对照装置1的效果之外，还具有这样的效果：由于比较对照部33使用特征量存储部34以及特征量计算部32分别输出的特征量而进行比较对照，因此，与进行图像整体的匹配的结构相比较，比较对照部33中的运算处理只是小规模的，实现了适于减少了CPU等的运算负荷，可实现最适合于小型装置的结构。

工业实用性

通过于本发明相关的法线信息估计装置、注册图像群制作装置、图像对照装置以及法线信息估计方法和程序，可达到这样的效果：可提供制作与现实相匹配的注册图像群、认证率高的图像对照装置，因此，特别适合于图像对照中使用的法线信息估计装置、注册图像群制作装置、图像对照装置以及法线信息估计方法和程序等。

Claims (8)

1、一种法线信息估计装置，是根据被拍摄对象的图像而估计所述被拍摄对象的法线信息的法线信息估计装置，包括：

照明方向估计部，其用于根据所述图像的亮度值而估计所述图像中的对所述被拍摄对象的照明方向；

法线信息估计部，其用于基于所述照明方向而估计所述图像中的所述被拍摄对象的法线信息；

镜面反射成分估计部，其用于根据所述被拍摄对象的法线信息以及对所述被拍摄对象的照明方向而估计出所述图像的镜面反射成分；以及

镜面反射成分除去部，其从所述图像中除去所述镜面反射成分，其中，

所述法线信息估计部，根据已在所述镜面反射成分除去部中被除去所述镜面反射成分的图像而再次估计出法线信息。

2、根据权利要求1所述的法线信息估计装置，还包括：

收敛判断部，其比较：除去所述镜面反射成分之前的、在所述法线信息估计部估计出来的法线信息的值，与已除去所述镜面反射成分之后的、在所述法线信息估计部估计出来的法线信息的值，判断法线信息的值是否收敛；

将所述收敛判断部判定为收敛的法线信息的值输出。

3、根据权利要求1所述的法线信息估计装置，其中：

所述照明方向估计部，根据在所述镜面反射成分除去部中已被除去所述镜面反射成分的图像，再次估计所述被拍摄对象的照明方向；

所述法线信息估计部，利用在所述照明方向估计部再次被估计的照明方向，根据已除去所述镜面反射成分的所述图像，再次估计法线信息。

4、一种注册图像群制作装置，包括：

如权利要求1所述的法线信息估计装置；

注册图像输入部，其向所述法线信息估计装置输入应注册的注册图像；

照明方向输入部，其被输入相互不同的多个照明方向；

镜面反射成分计算部，其基于从所述法线信息估计装置输出的、与所述注册图像相对应的法线信息，计算出所述相互不同的多个照明方向下所述被拍摄对象的镜面反射成分；

漫反射成分计算部，其基于由所述法线信息估计装置输出的、与所述注册图像相对应的法线信息，计算出所述相互不同的多个照明方向下所述被拍摄对象的漫反射成分；以及

图像合成部，其将所述镜面反射成分和所述漫反射成分相加，制作在所述相互不同的多个照明方向下的注册图像群。

5、一种图像对照装置，包括：

如权利要求4所述的注册图像群制作装置；

注册图像群存储部，其存储在所述注册图像群制作装置制作的注册图像群；

比较图像输入部，其输入应比较的比较图像；以及

比较对照部，其比较对照由所述比较图像输入部输入的比较图像，与存储在所述注册图像群存储部的注册图像群。

6、根据权利要求5所述的图像对照装置，还包括：

比较图像照明方向估计部，其估计所述比较图像输入部输入的所述比较图像中的照明方向；以及

图像检索部，其从所述注册图像群存储部检索在所述比较图像照明方向估计部中估计的照明方向的注册图像，其中，

所述比较对照部，其对在所述图像检索部检索到的注册图像与所述比较图像进行对照。

7、根据权利要求5所述的图像对照装置，还包括：

第一特征量计算部，其计算出所述注册图像群制作装置制作的注册图像群的特征量；以及

第二特征量计算部，其计算出所述比较图像输入部输入的比较图像的特征量，其中，

所述注册图像群存储部存储所述注册图像群的特征量；

所述比较对照部，利用该特征量而比较对照所述注册图像群与所述比较图像。

8、一种法线信息估计方法，是根据被拍摄对象的图像估计所述被拍摄对象的法线信息的法线信息估计方法，其包括：

第一步骤，根据所述图像的亮度值而估计出所述图像中的对所述被拍摄对象的照明方向；

第二步骤，基于所述照明方向，估计所述图像中的所述被拍摄对象的法线信息；

第三步骤，根据所述被拍摄对象的法线信息以及对所述被拍摄对象的照明方向，估计所述图像的镜面反射成分；

第四步骤，从所述图像中除去所述镜面反射成分；以及

第五步骤，根据所述第四步骤中的、已除去所述镜面反射成分的所述图像，再次估计法线信息。

Images