CN102713975B - 图像整理系统、图像整理方法和计算机程序 - Google Patents

图像整理系统、图像整理方法和计算机程序 Download PDF

Info

Publication number
CN102713975B
CN102713975B CN201080061269.0A CN201080061269A CN102713975B CN 102713975 B CN102713975 B CN 102713975B CN 201080061269 A CN201080061269 A CN 201080061269A CN 102713975 B CN102713975 B CN 102713975B
Authority
CN
China
Prior art keywords
image
imaging direction
destination object
references
references object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080061269.0A
Other languages
English (en)
Other versions
CN102713975A (zh
Inventor
浜田康志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN102713975A publication Critical patent/CN102713975A/zh
Application granted granted Critical
Publication of CN102713975B publication Critical patent/CN102713975B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明提供了一种图像整理的新架构，本发明的图像整理系统包括：三维数据存储装置，用于存储与参考对象的至少形状和纹理有关的三维数据；第一方向估计装置，用于通过比较整理目标对象的图像与三维数据存储装置中存储的参考对象的三维数据之间的全局特征，来估计与整理目标对象的成像方向匹配的参考对象的第一成像方向；第二方向估计装置，基于三维数据，生成与参考对象的第一成像方向相对应的图像，并且通过比较整理目标对象的图像与对应于第一成像方向的生成图像之间的局部特征，来估计参考对象的与整理目标对象的成像方向匹配的第二成像方向；以及图像一致性确定装置，用于基于三维数据，生成与参考对象的第二成像方向相对应的图像，并且基于整理目标对象的图像是否与对应于第二成像方向的生成图像相匹配，来确定整理目标对象是否对应于参考对象。

Description

图像整理系统、图像整理方法和计算机程序
技术领域
本发明涉及一种图像整理技术。
背景技术
作为脸部图像整理技术，使用非向前看的脸部图像的整理技术是可用的。这种使用非向前看的脸部图像的技术非常方便，因为不必强迫目标个体将他们的脸部转向成像设备。
作为脸部图像整理技术的示例，以下专利文献1公开了分别根据配准对象的图像和目标对象的输入图像来检测对象图像上亮度值变化非常大的特征区域或点(特征点)(例如，眼睛和嘴)，并且确定特征点的位置与输入图像的特征点的位置最相似的图像，从而计算目标对象的位置、姿势等。
以下非专利文献1公开了从脸上最小特征(例如，痣、皱纹、雀斑)中确定两个图像之间对应点的组合，作为对应的特征点，并且基于每个对应的特征点的相似度和位置来计算两个图像的整理得分。
现有技术文献
专利文献
[专利文献1]日本专利文献No.4167390。
非专利文献
[非专利文献1]“Faceimagematchingusingcorrespondingfeaturepointsondetailedtextures”，TechnicalReportofIEICE，Vol.108，No.198，PRMU2008-75，pp.175-180，Sept.2008，YasushiHamada，HitoshiImaoka。
发明内容
然而，根据专利文献1中公开的技术，如果目标个体向侧面看，则不能检测到脸部前面区域上存在的特征点(例如，眼睛、嘴)，并因此与参考图像的整理精度下降。
在非专利文献1中公开的技术中，如果整理目标对象的成像方向与参考对象的成像方向非常不同，则不能检测到对应的特征点，或者需要大量处理来检测对应的特征点。
本发明要解决的技术问题
本发明的示例性目的是提供一种用于图像整理的新架构。
问题解决方案
本发明的图像整理系统包括：三维数据存储装置，用于存储与参考对象的至少形状和纹理有关的三维数据；第一方向估计装置，用于通过比较整理目标对象的图像与三维数据存储装置中存储的参考对象的三维数据之间的全局特征，来估计与整理目标对象的成像方向匹配的参考对象的第一成像方向；第二方向估计装置，基于三维数据，生成与参考对象的第一成像方向相对应的图像，并且通过比较整理目标对象的图像与对应于第一成像方向的生成图像之间的局部特征，来估计参考对象的与整理目标对象的成像方向匹配的第二成像方向；以及图像一致性确定装置，用于基于三维数据，生成与参考对象的第二成像方向相对应的图像，并且基于整理目标对象的图像是否与对应于第二成像方向的生成图像相匹配，来确定整理目标对象是否对应于参考对象。
根据本发明的示例性方面，第二方向估计装置可以提取整理目标对象图像和与参考对象的第一成像方向相对应的图像中对应的部分区域，并且确定参考对象的第二成像方向，使得提取的对应部分区域彼此交叠。
根据本发明的另一示例性方面，第二方向估计装置可以改变与参考对象的第一成像方向相对应的图像的每个部分区域的成像方向，使得部分区域变得最相似于整理目标对象的图像的每个部分区域，并且确定整理目标对象图像中相似度最高的部分区域，作为对应的部分区域。
根据本发明的另一示例性实施例，图像一致性确定装置可以基于分别比较这些图像之间全局特征和局部特征的结果，来确定与参考对象的第二成像方向相对应的图像是否与整理目标对象的图像匹配。
根据本发明的另一示例性实施例，整理目标对象和参考对象是人脸，并且局部特征是基于以下中的至少一个的图像特征：脸部皮肤上的痣、斑、雀斑、毛孔和肿块。
一种本发明的图像整理方法包括：第一方向估计步骤，用于通过比较整理目标对象的图像与三维数据存储装置中存储的关于参考对象的至少形状和纹理的三维数据之间的全局特征，来估计参考对象的与整理目标对象的成像方向匹配的第一成像方向；第二方向估计步骤，基于三维数据，生成与参考对象的第一成像方向相对应的图像，并且通过比较整理目标对象的图像与对应于第一成像方向的生成图像之间的局部特征，来估计参考对象的与整理目标对象的成像方向匹配的第二成像方向；以及图像一致性确定步骤，用于基于三维数据，生成与参考对象的第二成像方向相对应的图像，并且基于整理目标对象的图像是否与对应于第二成像方向的生成图像相匹配，来确定整理目标对象是否对应于参考对象。
一种本发明的计算机程序是用于使计算机执行上述图像整理方法的计算机程序。
在本发明中，“装置”并不简单指代物理装置，而是包括实现装置功能的软件情况。一个装置或一个设备的功能可以通过两个或更多物理装置或设备来实现，或者两个或更多装置或设备的功能可以通过一个物理装置或设备来实现。
本发明的效果
根据本发明，可以逐步使用成像方向估计处理，即，首先基于全局特征来估计参考对象的一般成像方向(第一成像方向)，然后基于局部特征来估计参考对象的更具体成像方向(第二成像方向)，从而可以以高精度估计参考对象的成像方向。可以基于先前估计的一般成像方向(第一成像方向)来估计参考对象的具体成像方向(第二成像方向)，从而可以动态地提高处理效率。
附图说明
图1是示出了第一实施例的图像整理系统的一般配置的图；
图2是示出了图像整理处理的流程图；
图3是示出了参考对象的第一成像方法和第二成像方向的相应估计方法的示意图；
图4是示出了第二成像方向估计处理的流程图；
图5是更详细示出了参考对象的第二成像方向的估计方法的示意图。
具体实施方式
作为本发明的示例性实施例，参照附图描述用于确定作为整理目标对象的人脸是否与预先作为参考对象存储的脸部相匹配。
图1示出了第一实施例的图像整理系统1的一般配置。
图像整理系统1包括经由通信线路以通信方式配置的摄像机100、存储设备102、以及数据处理器104。对于通信线路，这种诸如LAN、WAN、BluetoothTM和USB等已知技术可以单独或以组合方式使用。
摄像机100具有捕获人脸图像作为整理目标对象并且输出图像数据的功能。
存储设备102是存储与人脸有关的三维数据作为参考对象的装置。对于与人脸有关的三维数据，能够存储至少与脸部的三维形状和脸部表面的纹理图案有关的数据。在该实施例中，存储设备102被描述为数据处理器104的外部设备，但是可以嵌入在数据处理器104中。
数据处理器104可以使用标准计算机来构造，并且包括第一方向估计装置111、第二方向估计装置113、以及图像一致性确定装置115，作为使用RAM和执行程序通过读取硬盘上存储的计算机程序的CPU来在功能上实现的装置。
第一方向估计装置111比较整理目标对象的图像与存储装置102中存储的参考对象的三维数据之间的全局特征，从而估计与整理对象的成像方向匹配的参考对象的第一成像方向。在本发明中，全局特征是相对主要的图像特征，当分别全局观察整理目标对象的图像和参考对象的图像时，可以检测到相对主要的图像特征。在该实施例中，诸如眼睛、眼眉、嘴和鼻子等区域的图像特征可以用于全局特征。可以容易地检测到这些区域，因为这些区域的数目及其在脸部表面上的一般位置是预定的。根据成像方向难以检测到脸部图像的全局特征，即，例如如果从脸部的右侧对脸部成像，则难以检测到左眼的图像特征。
第二方向估计装置113基于存储装置102中存储的三维数据来生成与参考对象的第一成像方向相对应的图像(从该成像方向观看的参考对象的图像)，并且比较整理目标对象的图像与对应于第一成像方向的生成对象之间的局部特征，从而估计与整理目标对象的成像方向相匹配的参考对象的第二成像方向。
在本发明中，局部特征是相对小的图像特征，当分别局部观察整理目标对象的图像和参考对象的图像时，可以检测到相对小的图像特征。在该实施例中，使用表示皮肤表面上小图案的图像特征，例如痣、斑、雀斑、毛孔和肿块。这些特征以不规则的数目和位置存在于整个脸部表面上。可以始终检测到脸部图像的局部特征，而与整理目标对象和参考对象的成像方向无关，但是可以根据成像方向容易地改变局部特征的形式。
图像一致性确定装置115基于存储设备102中存储的三维数据，来生成与参考对象的第二成像方向相对应的图像，分别比较生成图像与整理目标对象的图像之间的全局特征和局部特征，基于相应的比较结果，来确定这些图像是否匹配，并且基于以上确定结果，来确定整理目标对象是否与参考对象相对应。
图2是示出了图像整理系统1的图像整理处理的流的流程图。图3是示出了参考对象的成像方向估计处理的流的流程图。现在参照图2和图3描述图像整理处理。在本描述中，流程图中的每个步骤(包括没有用附图标记表示的部分步骤)的顺序可以任意变化，或者可以在处理内容不相矛盾的范围内并行执行。
当摄像机100捕获人脸图像时，数据处理器104的第一方向估计装置111获取脸部图像(整理目标图像)(S101)。可以沿着任何成像方向捕获这里所使用的整理目标对象的图像。
然后第一方向估计装置111比较整理目标图像与对从存储设备102中读取的参考对象的形状和纹理加以表示的三维数据之间的全局特征，以估计与整理目标对象的成像方向相匹配的参考对象的一般成像方向(第一成像方向)，如图3的上部所示(步骤S102)。例如，可以使用专利文献1中公开的方法来估计参考对象的第一成像方向。
然后第二方向估计装置113使用以上作为初始值估计的参考对象的第一成像方向，来估计参考对象的更具体成像方向(第二成像方向)，如图3的下部所示(S103)。具体地，基于存储设备102中存储的三维数据来生成与参考对象的第一成像方向相对应的图像，并且比较对应于第一方向的生成图像与整理目标图像之间的局部特征，以估计与整理目标对象的成像方向相匹配的参考对象的第二成像方向。为了确定参考对象的第二成像方向，可以使用以下方法：从脸部表面上观察到的需要小特征点中确定参考图像(在这种情况下，与参考对象的第一成像方向相对应的图像)与整理目标图像之间的最可能对应性，并且确定参考对象的成像方向，使得对应特征点的位置和形状匹配，例如如非专利文献1中所公开的。后续参照图4和图5描述估计参考对象的第二成像方向的处理的细节。
当估计参考对象的第二成像方向时，图像一致性确定装置115基于存储设备102中存储的三维数据，生成与参考对象的第二成像方向相对应的图像作为参考图像(S104)，比较全局特征(S105)，比较生成参考图像与整理目标图像之间的局部特征(S106)，基于分别比较结果来确定两个图像是否匹配(S107)，以及基于以上确定结果来确定整理目标对象是否与参考对象相对应(108)。
具体地，通过比较参考图像与整理目标图像之间的全局特征来计算参考图像与整理目标图像之间的第一相似性。对于基于全局特征比较的图像整理方法，可以使用在专利文献1中公开的方法。
然后通过比较参考图像与整理目标图像之间的局部特征来计算参考图像与整理目标图像之间的第二相似性。对于第二相似性，可以使用非专利文献1中公开的整理评分。
然后图像一致性确定装置115基于在参考图像与整理目标图像之间执行的比较全局特征和局部特征的相应结果(即基于第一相似性和第二相似性)来确定参考图像与整理目标图像是否匹配。作为这种确定的可能方法，将第一相似性和第二相似性的统计(例如，平均值、最大值、最小值、加权和)与预定阈值相比较，并且这些图像匹配确定统计值是否大于阈值。基于整理目标图像与参考图像是否匹配，图像一致性确定装置115经由监视器或扬声器输出图像整理处理的结果，即，整理目标对象与参考对象是否彼此对应。例如，如果确定这些图像匹配，则输出通知整理目标对象与参考对象相对应的信息。
图4是更详细示出了数据处理器104的第二方向估计装置113进行的参考对象的第二成像方向估计处理的流程图，图5是更详细示出了第二方向估计处理的流的示意图。参照图4和图5详细描述第二成像方向估计处理。
首先，第二估计装置113从整理目标图像和与参考对象的第一成像方向相对应的图像中分别提取局部特征(S401、S402)。对于提取局部特征的方法，可以使用在非专利文献1中公开的方法。
然后，第二方向估计装置113从整理目标图像中确定在预定范围中包括局部特征(特征点)的一个或多个部分区域(目标部分区域)(S403)。[第二方向估计装置113]还从沿着参考对象的第一成像方向的图像中确定部分区域(参考部分区域)(S404)。
然后，第二方向估计装置113顺序地参考目标部分区域和参考部分区域，并且确定彼此相对应的目标部分区域和参考部分区域的组合。
首先从目标部分区域和参考部分区域中分别选择一个部分区域(S405、S406)，并且对参考部分区域执行预定变换处理(S407)。
具体地，第二方向估计装置113改变参考对象(为了精确，部分区域)的成像方向，使得要参考的部分区域在整理目标图像与参考图像(与参考对象的第一成像方向相对应的图像)之间匹配(变得类似)。为了更精确，第二方向估计装置113改变每个参考部分区域的成像方向，以分别最大程度类似于目标部分区域。
然后第二方向估计装置113通过比较与预定阈值的相似性来确定与改变之后的成像方向相对应的参考部分区域是否与目标部分区域相匹配(S408)，并且如果确定这些部分区域相匹配，则存储这些部分区域(对应的部分区域)的组合(S409)。通过针对所有部分区域重复S405至S409中的处理，针对多个部分区域确定对应性(对应的部分区域)。假定第二方向估计装置113针对每个参考部分区域确定与对应的部分区域具有最高相似性的目标部分区域，并且如果第二方向估计装置113例如在重复S405至S409中的处理时检测到比之前执行的对应部分区域确定处理(S408和S409)中确定的对应部分区域的组合更高相似性的组合，则存储这种具有较高相似性的部分区域的组合作为对应的部分区域(例如，盖写)。
在针对所有部分区域确定相应性之前重复S405至S409中的处理之后(S410中的是)，基于S408中确定的对应部分区域来确定参考对象的第二成像方向(S411)。
具体地，使用存储设备102中存储的三维数据来确定参考对象的第二成像方向，使得整理目标图像和参考图像的对应部分区域最佳地交叠(例如，使得交叠区域中像素的数目达到最大)。
如上所述，根据本发明，首先基于全局特征来估计参考对象的一般成像方向(第一成像方向)，然后基于局部特征来估计参考对象的更精确成像方向(第二成像方向)。因此，即使整理目标对象的图像对应于难于观察到全局特征的成像方向(例如，向侧面看的脸部图像)，也可以基于整理目标对象的整个脸部中可观察到的局部特征来估计具体成像方向，并且可以执行图像整理。
换言之，在处理作为整理对象目标和参考对象的人脸的情况下，眼睛、眼眉、鼻子和嘴可以用作全局特征，皮肤上的痣、斑、雀斑、毛孔和肿块可以用作局部特征。但是眼睛和嘴位于前脸部区域，并且如果仅使用全局特征来估计姿势，则当脸部向侧面看时，姿势估计精度下降。另一方面，可以在整个脸部的皮肤表面上检测到局部特征(表示皮肤上图案的图像特征，例如痣)，从而不管成像整理目标对象(脸部)的哪个成像方向，可以高精度地估计成像方向。
此外，可以基于全局特征来估计参考对象的一般成像方向(第一成像方向)，因此缩窄了基于局部特征的对应候选的范围，并且可以增加处理效率。
此外，根据本发明，逐级执行成像方向估计处理，即，首先基于全局特征来估计参考对象的一般成像方向(第一成像方向)，然后基于局部特征来估计参考对象的更精确成像方向(第二成像方向)，因此即使分别整理具有相似全局特征的脸部图像(例如双胞胎的情况)，也可以使用局部特征(例如，痣)的差异更精确地确定整理目标对象和参考对象的一致性。
本申请要求基于2010年1月12日提交的日本专利申请No.2010-3832的优先权，其全部公开合并于此。
尽管参照实施例描述了本发明，但是本发明不限于这些实施例。本领域技术人员在本发明的范围内对本发明的配置和细节进行各种修改。
工业上的适用性
本发明可以应用于使用脸部图像整理的个人认证系统、基于图像整理的图像获取系统、以及基于脸部方向操作计算机的架构(人间人机界面)。
附图标记列表
1图像整理系统
100摄像机
102存储设备
104数据处理器
111第一方向估计装置
113第二方向估计装置
115图像一致性确定装置

Claims (6)

1.一种图像整理系统，包括：
三维数据存储单元，用于存储与参考对象的至少形状和纹理有关的三维数据；
第一方向估计单元，用于通过检测整理目标对象的图像与三维数据存储单元中存储的参考对象的三维数据之间的对应全局特征并确定检测到的哪个全局特征点的位置处的图像与所述整理目标对象最相似，来估计参考对象的与整理目标对象的成像方向匹配的第一成像方向；
第二方向估计单元，基于三维数据，生成与参考对象的第一成像方向相对应的图像，并且通过比较整理目标对象的图像与对应于第一成像方向的生成图像之间的局部特征，来估计参考对象的与整理目标对象的成像方向匹配的第二成像方向；以及
图像一致性确定单元，用于基于三维数据，生成与参考对象的第二成像方向相对应的图像，并且基于整理目标对象的图像是否与对应于第二成像方向的生成图像相匹配，来确定整理目标对象是否对应于参考对象；
其中，全局特征以规则的数目和位置存在于整理目标对象和参考对象的表面上，并且根据整理目标对象和参考对象的成像方向难以检测到所述全局特征；局部特征以不规则的数目和位置存在于整理目标对象和参考对象的整个表面上，能够检测到所述局部特征，而与整理目标对象和参考对象的成像方向无关，根据所述成像方向能够容易地改变局部特征的形式。
2.根据权利要求1所述的图像整理系统，其中，
第二方向估计单元提取整理目标对象的图像和与参考对象的第一成像方向相对应的图像中对应的部分区域，并且确定参考对象的第二成像方向，使得提取的对应部分区域彼此交叠。
3.根据权利要求2所述的图像整理系统，其中，
第二方向估计单元改变与参考对象的第一成像方向相对应的图像的每个部分区域的成像方向，使得所述部分区域变得最相似于整理目标对象的图像的每个部分区域，并且确定整理目标对象的图像中相似度最高的部分区域，作为所述对应的部分区域。
4.根据权利要求1所述的图像整理系统，其中，
图像一致性确定单元基于分别比较这些图像之间全局特征和局部特征的结果，来确定与参考对象的第二成像方向相对应的图像是否与整理目标对象的图像匹配。
5.根据权利要求1所述的图像整理系统，其中，
整理目标对象和参考对象是人脸，并且局部特征是基于以下中的至少一个的图像特征：脸部皮肤上的痣、斑、雀斑、毛孔和肿块。
6.一种图像整理方法，包括：
第一方向估计步骤，用于通过检测整理目标对象的图像与三维数据存储装置中存储的关于参考对象的至少形状和纹理的三维数据之间的对应全局特征并确定检测到的哪个全局特征点的位置处的图像与所述整理目标对象最相似，来估计与整理目标对象的成像方向匹配的参考对象的第一成像方向；
第二方向估计步骤，基于三维数据，生成与参考对象的第一成像方向相对应的图像，并且通过比较整理目标对象的图像与对应于第一成像方向的生成图像之间的局部特征，来估计与整理目标对象的成像方向匹配的参考对象的第二成像方向；以及
图像一致性确定步骤，用于基于三维数据，生成与参考对象的第二成像方向相对应的图像，并且基于整理目标对象的图像是否与对应于第二成像方向的生成图像相匹配，来确定整理目标对象是否对应于参考对象；
其中，全局特征以规则的数目和位置存在于整理目标对象和参考对象的表面上，并且根据整理目标对象和参考对象的成像方向难以检测到所述全局特征；局部特征以不规则的数目和位置存在于整理目标对象和参考对象的整个表面上，能够检测到所述局部特征，而与整理目标对象和参考对象的成像方向无关，根据所述成像方向能够容易地改变局部特征的形式。
CN201080061269.0A 2010-01-12 2010-12-14 图像整理系统、图像整理方法和计算机程序 Active CN102713975B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010003832 2010-01-12
JP2010-003832 2010-02-19
PCT/JP2010/072492 WO2011086803A1 (ja) 2010-01-12 2010-12-14 画像照合システム、画像照合方法、コンピュータプログラム

Publications (2)

Publication Number Publication Date
CN102713975A CN102713975A (zh) 2012-10-03
CN102713975B true CN102713975B (zh) 2016-02-03

Family

ID=44304094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080061269.0A Active CN102713975B (zh) 2010-01-12 2010-12-14 图像整理系统、图像整理方法和计算机程序

Country Status (5)

Country Link
US (1) US8938132B2 (zh)
EP (1) EP2525322A4 (zh)
JP (1) JPWO2011086803A1 (zh)
CN (1) CN102713975B (zh)
WO (1) WO2011086803A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5930808B2 (ja) * 2012-04-04 2016-06-08 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、およびプログラム
JPWO2014157431A1 (ja) * 2013-03-29 2017-02-16 日本電気株式会社 イメージングシステム
JP6384167B2 (ja) * 2014-07-17 2018-09-05 日本電気株式会社 移動体追跡装置及び移動体追跡方法、並びにコンピュータ・プログラム
JP7113013B2 (ja) 2016-12-14 2022-08-04 コーニンクレッカ フィリップス エヌ ヴェ 被験者の頭部の追跡
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
AU2019208182B2 (en) 2018-07-25 2021-04-08 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
CN111241935B (zh) * 2019-12-31 2020-10-13 飞燕航空遥感技术有限公司 一种多时段航摄影像自动匹配比对方法
EP4141784A4 (en) * 2020-04-21 2023-06-14 NEC Corporation MAPPING DEVICE, MAPPING SYSTEM, MAPPING METHOD, AND NON-TRANSITORY COMPUTER READABLE MEDIA STORING A MAPPING PROGRAM

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101377814A (zh) * 2007-08-27 2009-03-04 索尼株式会社 人脸图像处理设备、人脸图像处理方法以及计算机程序
CN101436250A (zh) * 2008-11-19 2009-05-20 西安电子科技大学 基于非线性张量分解与视角流形的多视角人脸识别方法
CN101571919A (zh) * 2009-05-26 2009-11-04 重庆大学 基于光学非下采样轮廓波变换的人脸识别方法
CN101582163A (zh) * 2009-06-25 2009-11-18 上海交通大学 视频监控图像中最清晰人脸的捕捉方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3575679B2 (ja) * 2000-03-31 2004-10-13 日本電気株式会社 顔照合方法と該照合方法を格納した記録媒体と顔照合装置
JP4167390B2 (ja) 2000-11-20 2008-10-15 日本電気株式会社 物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体
JP3903783B2 (ja) * 2001-12-14 2007-04-11 日本電気株式会社 顔メタデータ生成方法および装置、並びに顔類似度算出方法および装置
GB2410359A (en) * 2004-01-23 2005-07-27 Sony Uk Ltd Display
JP5008269B2 (ja) * 2005-04-08 2012-08-22 キヤノン株式会社 情報処理装置、情報処理方法
JP4595750B2 (ja) * 2005-08-29 2010-12-08 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP4645411B2 (ja) * 2005-10-28 2011-03-09 コニカミノルタホールディングス株式会社 認証システム、登録システム及びプログラム
FR2915586B1 (fr) * 2007-04-24 2011-03-04 Oreal Dispositif comportant un reseau lenticulaire.
WO2009116663A1 (ja) * 2008-03-21 2009-09-24 Takahashi Atsushi 三次元デジタル拡大鏡手術支援システム
JP2010003832A (ja) 2008-06-19 2010-01-07 Panasonic Corp 半導体装置及びその評価方法
JP5592014B2 (ja) * 2010-09-30 2014-09-17 エンパイア テクノロジー ディベロップメント エルエルシー 高解像度テクスチャ抽出のためにパターンを投影すること
WO2012137493A1 (ja) * 2011-04-07 2012-10-11 パナソニック株式会社 画像処理装置、画像処理方法、画像処理プログラム及び集積回路
JP5801601B2 (ja) * 2011-05-10 2015-10-28 キヤノン株式会社 画像認識装置、画像認識装置の制御方法、およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101377814A (zh) * 2007-08-27 2009-03-04 索尼株式会社 人脸图像处理设备、人脸图像处理方法以及计算机程序
CN101436250A (zh) * 2008-11-19 2009-05-20 西安电子科技大学 基于非线性张量分解与视角流形的多视角人脸识别方法
CN101571919A (zh) * 2009-05-26 2009-11-04 重庆大学 基于光学非下采样轮廓波变换的人脸识别方法
CN101582163A (zh) * 2009-06-25 2009-11-18 上海交通大学 视频监控图像中最清晰人脸的捕捉方法

Also Published As

Publication number Publication date
WO2011086803A1 (ja) 2011-07-21
EP2525322A4 (en) 2017-04-26
EP2525322A1 (en) 2012-11-21
CN102713975A (zh) 2012-10-03
JPWO2011086803A1 (ja) 2013-05-16
US20120314904A1 (en) 2012-12-13
US8938132B2 (en) 2015-01-20

Similar Documents

Publication Publication Date Title
CN102713975B (zh) 图像整理系统、图像整理方法和计算机程序
JP5812599B2 (ja) 情報処理方法及びその装置
JP6723061B2 (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
CN110276317B (zh) 一种物体尺寸检测方法、物体尺寸检测装置及移动终端
JP6685827B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN111710036B (zh) 三维人脸模型的构建方法、装置、设备及存储介质
CN110913751B (zh) 具有滑动检测和校正功能的可穿戴眼睛跟踪系统
KR101612605B1 (ko) 얼굴 특징점 추출 방법 및 이를 수행하는 장치
KR20170008638A (ko) 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법
CN105740778B (zh) 一种改进的三维人脸活体检测方法及其装置
EP3695381B1 (en) Floor detection in virtual and augmented reality devices using stereo images
CN105222717B (zh) 一种标的物长度测量方法及装置
CN111062263A (zh) 手部姿态估计的方法、设备、计算机设备和存储介质
KR102110459B1 (ko) 3차원 이미지 생성 방법 및 장치
US20220277512A1 (en) Generation apparatus, generation method, system, and storage medium
CN113283271A (zh) 虹膜自动捕捉方法、装置、计算机可读存储介质及设备
CN111354029A (zh) 手势深度确定方法、装置、设备及存储介质
KR20160046399A (ko) 텍스쳐 맵 생성 방법 및 장치와 데이터 베이스 생성 방법
CN112883920A (zh) 基于点云深度学习的三维人脸扫描特征点检测方法和装置
CN105138979A (zh) 基于立体视觉的运动人体头部检测方法
CN117372475A (zh) 眼球追踪方法和电子设备
JP5448952B2 (ja) 同一人判定装置、同一人判定方法および同一人判定プログラム
CN113228117B (zh) 创作装置、创作方法和记录有创作程序的记录介质
CN118696347A (zh) 用于头部图像配准和头部模型生成的方法及对应的设备
EP2866446A1 (en) Method and multi-camera portable device for producing stereo images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant