CN102713975B - 图像整理系统、图像整理方法和计算机程序 - Google Patents

Abstract

本发明提供了一种图像整理的新架构，本发明的图像整理系统包括：三维数据存储装置，用于存储与参考对象的至少形状和纹理有关的三维数据；第一方向估计装置，用于通过比较整理目标对象的图像与三维数据存储装置中存储的参考对象的三维数据之间的全局特征，来估计与整理目标对象的成像方向匹配的参考对象的第一成像方向；第二方向估计装置，基于三维数据，生成与参考对象的第一成像方向相对应的图像，并且通过比较整理目标对象的图像与对应于第一成像方向的生成图像之间的局部特征，来估计参考对象的与整理目标对象的成像方向匹配的第二成像方向；以及图像一致性确定装置，用于基于三维数据，生成与参考对象的第二成像方向相对应的图像，并且基于整理目标对象的图像是否与对应于第二成像方向的生成图像相匹配，来确定整理目标对象是否对应于参考对象。

Description

图像整理系统、图像整理方法和计算机程序

技术领域

本发明涉及一种图像整理技术。

背景技术

作为脸部图像整理技术，使用非向前看的脸部图像的整理技术是可用的。这种使用非向前看的脸部图像的技术非常方便，因为不必强迫目标个体将他们的脸部转向成像设备。

作为脸部图像整理技术的示例，以下专利文献1公开了分别根据配准对象的图像和目标对象的输入图像来检测对象图像上亮度值变化非常大的特征区域或点(特征点)(例如，眼睛和嘴)，并且确定特征点的位置与输入图像的特征点的位置最相似的图像，从而计算目标对象的位置、姿势等。

以下非专利文献1公开了从脸上最小特征(例如，痣、皱纹、雀斑)中确定两个图像之间对应点的组合，作为对应的特征点，并且基于每个对应的特征点的相似度和位置来计算两个图像的整理得分。

现有技术文献

专利文献

[专利文献1]日本专利文献No.4167390。

非专利文献

[非专利文献1]“Faceimagematchingusingcorrespondingfeaturepointsondetailedtextures”，TechnicalReportofIEICE，Vol.108，No.198，PRMU2008-75，pp.175-180，Sept.2008，YasushiHamada，HitoshiImaoka。

发明内容

然而，根据专利文献1中公开的技术，如果目标个体向侧面看，则不能检测到脸部前面区域上存在的特征点(例如，眼睛、嘴)，并因此与参考图像的整理精度下降。

在非专利文献1中公开的技术中，如果整理目标对象的成像方向与参考对象的成像方向非常不同，则不能检测到对应的特征点，或者需要大量处理来检测对应的特征点。

本发明要解决的技术问题

本发明的示例性目的是提供一种用于图像整理的新架构。

问题解决方案

本发明的图像整理系统包括：三维数据存储装置，用于存储与参考对象的至少形状和纹理有关的三维数据；第一方向估计装置，用于通过比较整理目标对象的图像与三维数据存储装置中存储的参考对象的三维数据之间的全局特征，来估计与整理目标对象的成像方向匹配的参考对象的第一成像方向；第二方向估计装置，基于三维数据，生成与参考对象的第一成像方向相对应的图像，并且通过比较整理目标对象的图像与对应于第一成像方向的生成图像之间的局部特征，来估计参考对象的与整理目标对象的成像方向匹配的第二成像方向；以及图像一致性确定装置，用于基于三维数据，生成与参考对象的第二成像方向相对应的图像，并且基于整理目标对象的图像是否与对应于第二成像方向的生成图像相匹配，来确定整理目标对象是否对应于参考对象。

根据本发明的示例性方面，第二方向估计装置可以提取整理目标对象图像和与参考对象的第一成像方向相对应的图像中对应的部分区域，并且确定参考对象的第二成像方向，使得提取的对应部分区域彼此交叠。

根据本发明的另一示例性方面，第二方向估计装置可以改变与参考对象的第一成像方向相对应的图像的每个部分区域的成像方向，使得部分区域变得最相似于整理目标对象的图像的每个部分区域，并且确定整理目标对象图像中相似度最高的部分区域，作为对应的部分区域。

根据本发明的另一示例性实施例，图像一致性确定装置可以基于分别比较这些图像之间全局特征和局部特征的结果，来确定与参考对象的第二成像方向相对应的图像是否与整理目标对象的图像匹配。

根据本发明的另一示例性实施例，整理目标对象和参考对象是人脸，并且局部特征是基于以下中的至少一个的图像特征：脸部皮肤上的痣、斑、雀斑、毛孔和肿块。

一种本发明的图像整理方法包括：第一方向估计步骤，用于通过比较整理目标对象的图像与三维数据存储装置中存储的关于参考对象的至少形状和纹理的三维数据之间的全局特征，来估计参考对象的与整理目标对象的成像方向匹配的第一成像方向；第二方向估计步骤，基于三维数据，生成与参考对象的第一成像方向相对应的图像，并且通过比较整理目标对象的图像与对应于第一成像方向的生成图像之间的局部特征，来估计参考对象的与整理目标对象的成像方向匹配的第二成像方向；以及图像一致性确定步骤，用于基于三维数据，生成与参考对象的第二成像方向相对应的图像，并且基于整理目标对象的图像是否与对应于第二成像方向的生成图像相匹配，来确定整理目标对象是否对应于参考对象。

一种本发明的计算机程序是用于使计算机执行上述图像整理方法的计算机程序。

在本发明中，“装置”并不简单指代物理装置，而是包括实现装置功能的软件情况。一个装置或一个设备的功能可以通过两个或更多物理装置或设备来实现，或者两个或更多装置或设备的功能可以通过一个物理装置或设备来实现。

本发明的效果

根据本发明，可以逐步使用成像方向估计处理，即，首先基于全局特征来估计参考对象的一般成像方向(第一成像方向)，然后基于局部特征来估计参考对象的更具体成像方向(第二成像方向)，从而可以以高精度估计参考对象的成像方向。可以基于先前估计的一般成像方向(第一成像方向)来估计参考对象的具体成像方向(第二成像方向)，从而可以动态地提高处理效率。

附图说明

图1是示出了第一实施例的图像整理系统的一般配置的图；

图2是示出了图像整理处理的流程图；

图3是示出了参考对象的第一成像方法和第二成像方向的相应估计方法的示意图；

图4是示出了第二成像方向估计处理的流程图；

图5是更详细示出了参考对象的第二成像方向的估计方法的示意图。

具体实施方式

作为本发明的示例性实施例，参照附图描述用于确定作为整理目标对象的人脸是否与预先作为参考对象存储的脸部相匹配。

图1示出了第一实施例的图像整理系统1的一般配置。

图像整理系统1包括经由通信线路以通信方式配置的摄像机100、存储设备102、以及数据处理器104。对于通信线路，这种诸如LAN、WAN、Bluetooth^TM和USB等已知技术可以单独或以组合方式使用。

摄像机100具有捕获人脸图像作为整理目标对象并且输出图像数据的功能。

存储设备102是存储与人脸有关的三维数据作为参考对象的装置。对于与人脸有关的三维数据，能够存储至少与脸部的三维形状和脸部表面的纹理图案有关的数据。在该实施例中，存储设备102被描述为数据处理器104的外部设备，但是可以嵌入在数据处理器104中。

数据处理器104可以使用标准计算机来构造，并且包括第一方向估计装置111、第二方向估计装置113、以及图像一致性确定装置115，作为使用RAM和执行程序通过读取硬盘上存储的计算机程序的CPU来在功能上实现的装置。

第一方向估计装置111比较整理目标对象的图像与存储装置102中存储的参考对象的三维数据之间的全局特征，从而估计与整理对象的成像方向匹配的参考对象的第一成像方向。在本发明中，全局特征是相对主要的图像特征，当分别全局观察整理目标对象的图像和参考对象的图像时，可以检测到相对主要的图像特征。在该实施例中，诸如眼睛、眼眉、嘴和鼻子等区域的图像特征可以用于全局特征。可以容易地检测到这些区域，因为这些区域的数目及其在脸部表面上的一般位置是预定的。根据成像方向难以检测到脸部图像的全局特征，即，例如如果从脸部的右侧对脸部成像，则难以检测到左眼的图像特征。

第二方向估计装置113基于存储装置102中存储的三维数据来生成与参考对象的第一成像方向相对应的图像(从该成像方向观看的参考对象的图像)，并且比较整理目标对象的图像与对应于第一成像方向的生成对象之间的局部特征，从而估计与整理目标对象的成像方向相匹配的参考对象的第二成像方向。

在本发明中，局部特征是相对小的图像特征，当分别局部观察整理目标对象的图像和参考对象的图像时，可以检测到相对小的图像特征。在该实施例中，使用表示皮肤表面上小图案的图像特征，例如痣、斑、雀斑、毛孔和肿块。这些特征以不规则的数目和位置存在于整个脸部表面上。可以始终检测到脸部图像的局部特征，而与整理目标对象和参考对象的成像方向无关，但是可以根据成像方向容易地改变局部特征的形式。

图像一致性确定装置115基于存储设备102中存储的三维数据，来生成与参考对象的第二成像方向相对应的图像，分别比较生成图像与整理目标对象的图像之间的全局特征和局部特征，基于相应的比较结果，来确定这些图像是否匹配，并且基于以上确定结果，来确定整理目标对象是否与参考对象相对应。

图2是示出了图像整理系统1的图像整理处理的流的流程图。图3是示出了参考对象的成像方向估计处理的流的流程图。现在参照图2和图3描述图像整理处理。在本描述中，流程图中的每个步骤(包括没有用附图标记表示的部分步骤)的顺序可以任意变化，或者可以在处理内容不相矛盾的范围内并行执行。

当摄像机100捕获人脸图像时，数据处理器104的第一方向估计装置111获取脸部图像(整理目标图像)(S101)。可以沿着任何成像方向捕获这里所使用的整理目标对象的图像。

然后第一方向估计装置111比较整理目标图像与对从存储设备102中读取的参考对象的形状和纹理加以表示的三维数据之间的全局特征，以估计与整理目标对象的成像方向相匹配的参考对象的一般成像方向(第一成像方向)，如图3的上部所示(步骤S102)。例如，可以使用专利文献1中公开的方法来估计参考对象的第一成像方向。

然后第二方向估计装置113使用以上作为初始值估计的参考对象的第一成像方向，来估计参考对象的更具体成像方向(第二成像方向)，如图3的下部所示(S103)。具体地，基于存储设备102中存储的三维数据来生成与参考对象的第一成像方向相对应的图像，并且比较对应于第一方向的生成图像与整理目标图像之间的局部特征，以估计与整理目标对象的成像方向相匹配的参考对象的第二成像方向。为了确定参考对象的第二成像方向，可以使用以下方法：从脸部表面上观察到的需要小特征点中确定参考图像(在这种情况下，与参考对象的第一成像方向相对应的图像)与整理目标图像之间的最可能对应性，并且确定参考对象的成像方向，使得对应特征点的位置和形状匹配，例如如非专利文献1中所公开的。后续参照图4和图5描述估计参考对象的第二成像方向的处理的细节。

当估计参考对象的第二成像方向时，图像一致性确定装置115基于存储设备102中存储的三维数据，生成与参考对象的第二成像方向相对应的图像作为参考图像(S104)，比较全局特征(S105)，比较生成参考图像与整理目标图像之间的局部特征(S106)，基于分别比较结果来确定两个图像是否匹配(S107)，以及基于以上确定结果来确定整理目标对象是否与参考对象相对应(108)。

具体地，通过比较参考图像与整理目标图像之间的全局特征来计算参考图像与整理目标图像之间的第一相似性。对于基于全局特征比较的图像整理方法，可以使用在专利文献1中公开的方法。

然后通过比较参考图像与整理目标图像之间的局部特征来计算参考图像与整理目标图像之间的第二相似性。对于第二相似性，可以使用非专利文献1中公开的整理评分。

然后图像一致性确定装置115基于在参考图像与整理目标图像之间执行的比较全局特征和局部特征的相应结果(即基于第一相似性和第二相似性)来确定参考图像与整理目标图像是否匹配。作为这种确定的可能方法，将第一相似性和第二相似性的统计(例如，平均值、最大值、最小值、加权和)与预定阈值相比较，并且这些图像匹配确定统计值是否大于阈值。基于整理目标图像与参考图像是否匹配，图像一致性确定装置115经由监视器或扬声器输出图像整理处理的结果，即，整理目标对象与参考对象是否彼此对应。例如，如果确定这些图像匹配，则输出通知整理目标对象与参考对象相对应的信息。

图4是更详细示出了数据处理器104的第二方向估计装置113进行的参考对象的第二成像方向估计处理的流程图，图5是更详细示出了第二方向估计处理的流的示意图。参照图4和图5详细描述第二成像方向估计处理。

首先，第二估计装置113从整理目标图像和与参考对象的第一成像方向相对应的图像中分别提取局部特征(S401、S402)。对于提取局部特征的方法，可以使用在非专利文献1中公开的方法。

然后，第二方向估计装置113从整理目标图像中确定在预定范围中包括局部特征(特征点)的一个或多个部分区域(目标部分区域)(S403)。[第二方向估计装置113]还从沿着参考对象的第一成像方向的图像中确定部分区域(参考部分区域)(S404)。

然后，第二方向估计装置113顺序地参考目标部分区域和参考部分区域，并且确定彼此相对应的目标部分区域和参考部分区域的组合。

首先从目标部分区域和参考部分区域中分别选择一个部分区域(S405、S406)，并且对参考部分区域执行预定变换处理(S407)。

具体地，第二方向估计装置113改变参考对象(为了精确，部分区域)的成像方向，使得要参考的部分区域在整理目标图像与参考图像(与参考对象的第一成像方向相对应的图像)之间匹配(变得类似)。为了更精确，第二方向估计装置113改变每个参考部分区域的成像方向，以分别最大程度类似于目标部分区域。

然后第二方向估计装置113通过比较与预定阈值的相似性来确定与改变之后的成像方向相对应的参考部分区域是否与目标部分区域相匹配(S408)，并且如果确定这些部分区域相匹配，则存储这些部分区域(对应的部分区域)的组合(S409)。通过针对所有部分区域重复S405至S409中的处理，针对多个部分区域确定对应性(对应的部分区域)。假定第二方向估计装置113针对每个参考部分区域确定与对应的部分区域具有最高相似性的目标部分区域，并且如果第二方向估计装置113例如在重复S405至S409中的处理时检测到比之前执行的对应部分区域确定处理(S408和S409)中确定的对应部分区域的组合更高相似性的组合，则存储这种具有较高相似性的部分区域的组合作为对应的部分区域(例如，盖写)。

在针对所有部分区域确定相应性之前重复S405至S409中的处理之后(S410中的是)，基于S408中确定的对应部分区域来确定参考对象的第二成像方向(S411)。

具体地，使用存储设备102中存储的三维数据来确定参考对象的第二成像方向，使得整理目标图像和参考图像的对应部分区域最佳地交叠(例如，使得交叠区域中像素的数目达到最大)。

如上所述，根据本发明，首先基于全局特征来估计参考对象的一般成像方向(第一成像方向)，然后基于局部特征来估计参考对象的更精确成像方向(第二成像方向)。因此，即使整理目标对象的图像对应于难于观察到全局特征的成像方向(例如，向侧面看的脸部图像)，也可以基于整理目标对象的整个脸部中可观察到的局部特征来估计具体成像方向，并且可以执行图像整理。

换言之，在处理作为整理对象目标和参考对象的人脸的情况下，眼睛、眼眉、鼻子和嘴可以用作全局特征，皮肤上的痣、斑、雀斑、毛孔和肿块可以用作局部特征。但是眼睛和嘴位于前脸部区域，并且如果仅使用全局特征来估计姿势，则当脸部向侧面看时，姿势估计精度下降。另一方面，可以在整个脸部的皮肤表面上检测到局部特征(表示皮肤上图案的图像特征，例如痣)，从而不管成像整理目标对象(脸部)的哪个成像方向，可以高精度地估计成像方向。

此外，可以基于全局特征来估计参考对象的一般成像方向(第一成像方向)，因此缩窄了基于局部特征的对应候选的范围，并且可以增加处理效率。

此外，根据本发明，逐级执行成像方向估计处理，即，首先基于全局特征来估计参考对象的一般成像方向(第一成像方向)，然后基于局部特征来估计参考对象的更精确成像方向(第二成像方向)，因此即使分别整理具有相似全局特征的脸部图像(例如双胞胎的情况)，也可以使用局部特征(例如，痣)的差异更精确地确定整理目标对象和参考对象的一致性。

本申请要求基于2010年1月12日提交的日本专利申请No.2010-3832的优先权，其全部公开合并于此。

尽管参照实施例描述了本发明，但是本发明不限于这些实施例。本领域技术人员在本发明的范围内对本发明的配置和细节进行各种修改。

工业上的适用性

本发明可以应用于使用脸部图像整理的个人认证系统、基于图像整理的图像获取系统、以及基于脸部方向操作计算机的架构(人间人机界面)。

附图标记列表

1图像整理系统

100摄像机

102存储设备

104数据处理器

111第一方向估计装置

113第二方向估计装置

115图像一致性确定装置

Claims (6)

1.一种图像整理系统，包括：

三维数据存储单元，用于存储与参考对象的至少形状和纹理有关的三维数据；

第一方向估计单元，用于通过检测整理目标对象的图像与三维数据存储单元中存储的参考对象的三维数据之间的对应全局特征并确定检测到的哪个全局特征点的位置处的图像与所述整理目标对象最相似，来估计参考对象的与整理目标对象的成像方向匹配的第一成像方向；

第二方向估计单元，基于三维数据，生成与参考对象的第一成像方向相对应的图像，并且通过比较整理目标对象的图像与对应于第一成像方向的生成图像之间的局部特征，来估计参考对象的与整理目标对象的成像方向匹配的第二成像方向；以及

图像一致性确定单元，用于基于三维数据，生成与参考对象的第二成像方向相对应的图像，并且基于整理目标对象的图像是否与对应于第二成像方向的生成图像相匹配，来确定整理目标对象是否对应于参考对象；

其中，全局特征以规则的数目和位置存在于整理目标对象和参考对象的表面上，并且根据整理目标对象和参考对象的成像方向难以检测到所述全局特征；局部特征以不规则的数目和位置存在于整理目标对象和参考对象的整个表面上，能够检测到所述局部特征，而与整理目标对象和参考对象的成像方向无关，根据所述成像方向能够容易地改变局部特征的形式。

2.根据权利要求1所述的图像整理系统，其中，

第二方向估计单元提取整理目标对象的图像和与参考对象的第一成像方向相对应的图像中对应的部分区域，并且确定参考对象的第二成像方向，使得提取的对应部分区域彼此交叠。

3.根据权利要求2所述的图像整理系统，其中，

第二方向估计单元改变与参考对象的第一成像方向相对应的图像的每个部分区域的成像方向，使得所述部分区域变得最相似于整理目标对象的图像的每个部分区域，并且确定整理目标对象的图像中相似度最高的部分区域，作为所述对应的部分区域。

4.根据权利要求1所述的图像整理系统，其中，

图像一致性确定单元基于分别比较这些图像之间全局特征和局部特征的结果，来确定与参考对象的第二成像方向相对应的图像是否与整理目标对象的图像匹配。

5.根据权利要求1所述的图像整理系统，其中，

整理目标对象和参考对象是人脸，并且局部特征是基于以下中的至少一个的图像特征：脸部皮肤上的痣、斑、雀斑、毛孔和肿块。

6.一种图像整理方法，包括：

第一方向估计步骤，用于通过检测整理目标对象的图像与三维数据存储装置中存储的关于参考对象的至少形状和纹理的三维数据之间的对应全局特征并确定检测到的哪个全局特征点的位置处的图像与所述整理目标对象最相似，来估计与整理目标对象的成像方向匹配的参考对象的第一成像方向；

第二方向估计步骤，基于三维数据，生成与参考对象的第一成像方向相对应的图像，并且通过比较整理目标对象的图像与对应于第一成像方向的生成图像之间的局部特征，来估计与整理目标对象的成像方向匹配的参考对象的第二成像方向；以及

图像一致性确定步骤，用于基于三维数据，生成与参考对象的第二成像方向相对应的图像，并且基于整理目标对象的图像是否与对应于第二成像方向的生成图像相匹配，来确定整理目标对象是否对应于参考对象；

其中，全局特征以规则的数目和位置存在于整理目标对象和参考对象的表面上，并且根据整理目标对象和参考对象的成像方向难以检测到所述全局特征；局部特征以不规则的数目和位置存在于整理目标对象和参考对象的整个表面上，能够检测到所述局部特征，而与整理目标对象和参考对象的成像方向无关，根据所述成像方向能够容易地改变局部特征的形式。