CN102395998B - 图像签名提取设备 - Google Patents

图像签名提取设备 Download PDF

Info

Publication number
CN102395998B
CN102395998B CN201080016523.5A CN201080016523A CN102395998B CN 102395998 B CN102395998 B CN 102395998B CN 201080016523 A CN201080016523 A CN 201080016523A CN 102395998 B CN102395998 B CN 102395998B
Authority
CN
China
Prior art keywords
subregion
type
dimension
pieces
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080016523.5A
Other languages
English (en)
Other versions
CN102395998A (zh
Inventor
大网亮磨
岩元浩太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN102395998A publication Critical patent/CN102395998A/zh
Application granted granted Critical
Publication of CN102395998B publication Critical patent/CN102395998B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/421—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation by analysing segments intersecting the pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

图像签名提取设备包括提取单元和产生单元。提取单元根据图像中的多个子区域对，从图像中的相应子区域中提取区域特征，所述多个子区域对包括至少一个子区域对，所述至少一个子区域对中的两个子区域的形状的组合和所述至少一个子区域对中的两个子区域之间的相对位置与其他子区域对中的至少一对的不同，并且基于所述多个子区域对中的每一个子区域对中的两个子区域的形状的组合和这两个子区域之间的相对位置来将所述多个子区域对分类为多种类型。产生单元基于所提取的相应子区域的区域特征来产生要用于标识图像的图像签名。

Description

图像签名提取设备
技术领域
本发明涉及一种用于提取图像签名的系统，所述图像签名是用于标识图像(确定图像同一性(identity))的特征。
背景技术
图像签名是用于标识图像(确定图像同一性)的特征。通过将从图像中提取的图像签名与从另一图像中提取的图像签名进行比较，可以根据比较结果来计算指示两个图像相同程度的同一性标度(一般称为相似度或距离)。此外，通过将所计算的同一性标度与阈值进行比较，可以确定两个图像是否相同。在这里的上下文中，“两个图像相同”的含义不仅包括两个图像在图像信号(构成图像的像素的像素值)级相同的情况，还包括一个图像是另一图像通过各种变化过程的复制图像的情况，变化过程如图像的压缩格式的转换、图像的大小/宽高比的转换、图像的色调的调整、应用于图像的各种滤波过程(锐化、平滑等等)、应用于图像的局部处理(字幕叠加、剪切等等)、以及图像的重新捕捉。通过使用图像签名，由于可以检测图像的复制或者移动图像(为图像集合)，例如，图像签名适用于图像或移动图像的合法拷贝检测系统。
专利文献1描述了图像签名的示例。图18是示出了专利文献1中描述的提取图像签名的方法的示意图。该图像签名是多维(在图18中为16维)特征向量。该方法包括：在图像240中，在预定位置分别计算32块矩形区域244(图18示出了其中16块矩形区域)的平均亮度值；以及计算形成对的矩形区域(图18中利用虚线248互相连接的成对矩形区域)之间的平均亮度值的差值，从而获得16维差向量250。关于差向量250，通过向量变换产生复合向量，并且使用通过对复合向量的相应纬度进行量化而获取的16维量化索引向量作为图像签名。
专利文献1：日本未审专利公开No.8-500471
发明内容
在由多维特征向量形成的图像签名中，由于维度之间的相关性较小，特征向量保存的信息量较大(冗余较小)，因此这种图像签名具有较高辨别能力(辨别不同图像的程度)。相反，如果特征向量中的维度之间的相关性较大，则由于特征向量保存的信息量较小(冗余较大)，因此辨别能力较低。应当注意，维度之间的相关性是从维度的特征中出现的相似性程度，在数学上，例如，如果将每个维度的特征的出现设置为概率变量，则维度之间的相关性是被计算为概率变量之间的相关性系数或互信息量的值。因此，期望由多维特征向量形成的图像签名应当被设计为使得维度之间的相关性较小。
图像信号(构成图像的像素的像素值)具有图像的局部区域之间的相关性。一般地，由于局部区域之间的距离较短，因此相关性较大。具体地，在指定图像图案重复出现的图像中(尤其在图像图案以规则周期重复出现的情况下)(例如，以栅格图案布置的建筑物窗户的图像，见图19(A))或者在由特定纹理形成的图像中(见图19(B))，例如，图像的局部区域之间的相关性较大。
[第一问题]
对于由包括从图像的多个局部区域中提取的特征在内的特征向量形成的传统图像签名，如专利文献1中所述，由于对于图像中局部区域之间的相关性较大的图像，在每个维度中用于提取特征的局部区域的形状相同(在专利文献1的示例中为相同形状的矩形区域)，因此所提取的特征的维度之间的相关性较大。因此，存在第一问题：图像签名(特征向量)的辨别能力较低。应当注意，形状相同意味着区域相同，包括其大小和角度(倾斜或朝向)。
例如，专利文献1中描述的传统图像特征对于指定图像图案重复出现的图像(见图19(A))或由特定纹理形成的图像(见图19(B))具有较低的辨别能力。
[第二问题]
专利文献1中描述的传统图像签名的第二问题在于：由于用于计算特征(特征向量)的相应维度的区域的形状为相同的矩形形状(包括大小和角度)，因此在频率上存在盲点，在盲点处不能检测到具有与矩形的边长相同或者是其整数分之一的周期的频率分量。这是由于，如果根据传统方法，针对这种特定频率的信号分量，在区域内计算平均，则无论信号分量的幅度如何，该值变为0，使得完全不能检测到这种频率分量的信号。更具体地，假定具有与矩形边长相同周期的频率为f0，则不能检测到频率nf0的分量(n＝1，2，3，…)。因此，对于信号集中于直流分量和这种频率分量的图像，平均像素值变为与直流分量相同，从而在区域之间没有数值上的差异。因此，作为区域之间的平均像素值的差值而提取的每个特征的值变为0，使得不能执行辨别(辨别能力显著降低)。实际上，由于不仅难以检测频率nf0的分量(n＝1，2，3，…)而且难以检测特定附近频率区域，即使信号不集中于上述特定频率，也不能使用这种频带的信号分量，从而降低了辨别能力。为了减轻该问题，可以增大频率f0的值，以减小落入难以检测的频带的电信号。然而，增大频率f0的值意味着减小区域的大小，导致频率健壮性(特征不随各种改变过程或噪声而变化的程度)降低。例如，如果区域变小，则特征的值相对于较小的位置偏移变化较大，从而降低了特征的健壮性。如上所述，在使用相同的矩形区域时，极其难以在提高辨别能力的同时确保健壮性。
[本发明的目的]
本发明的目的是提供一种图像签名提取设备，能够解决从图像(在图像中的局部区域之间具有较大相关性的图像，或具有集中于特定频率的信号的图像)中提取的图像签名具有较低辨别能力(辨别不同图像的程度)的问题。
根据本发明的一方面，一种图像签名提取设备，包括：提取单元，根据图像中的多个子区域对，从图像中的多个子区域对中的相应子区域中提取区域特征，所述子区域对包括至少一个子区域对，所述至少一个 子区域对中的两个子区域的形状的组合和所述至少一个子区域对中的两个子区域之间的相对位置与其他子区域对中的至少一对不同，并基于每一子区域对中的两个子区域的形状的组合和这两个子区域之间的相对位置来将子区域对分类为多种类型；以及产生单元，基于所提取的相应子区域的区域特征，产生要用于标识图像的图像签名。
由于如上所述配置本发明，可以提高图像签名的辨别能力(辨别不同图像的程度)。具体地，针对图像中的局部区域之间的相关性较高的图像，显著地实现该有利效果。
此外，本发明还提供了另一有利效果：针对具有集中于特定频率的信号的图像，不降低辨别能力。
附图说明
图1是示出了本发明第一实施例的框图。
图2是示出了由每维度提取信息示出的相应维度的示例提取区域对的示意图。
图3是示出了本发明第一实施例中的比较单元的示例的框图。
图4是示出了本发明第一实施例中的比较单元的另一示例的框图。
图5是示出了本发明第一实施例中的处理流程的流程图。
图6是示出了本发明第二实施例的主要部分的框图。
图7是示出了本发明第二实施例中的处理流程的流程图。
图8是示出了本发明第三实施例的框图。
图9是示出了相应维度的区域特征计算方法的示例的表。
图10是示出了本发明第三实施例中的处理流程的流程图。
图11是示出了本发明第四实施例的框图。
图12是示出了相应维度的比较和量化方法的示例的表。
图13是示出了本发明第四实施例中的处理流程的流程图。
图14-a是示出了在本发明的第五实施例和第六实施例中使用的每维度提取区域信息的表。
图14-b是示出了在本发明的第五实施例和第六实施例中使用的每维度提取区域信息的表。
图14-c是示出了在本发明的第五实施例和第六实施例中使用的每维度提取区域信息的表。
图14-d是示出了在本发明的第五实施例和第六实施例中使用的每维度提取区域信息的表。
图14-e是示出了在本发明的第五实施例和第六实施例中使用的每维度提取区域信息的表。
图14-f是示出了在本发明的第五实施例和第六实施例中使用的每维度提取区域信息的表。
图14-g是示出了在本发明的第五实施例和第六实施例中使用的每维度提取区域信息的表。
图14-h是示出了在本发明的第五实施例和第六实施例中使用的每维度提取区域信息的表。
图14-i是示出了在本发明的第五实施例和第六实施例中使用的每维度提取区域信息的表。
图14-j是示出了在本发明的第五实施例和第六实施例中使用的每维度提取区域信息的表。
图15-a是示出了在本发明的第五实施例中使用的每维度区域特征计算方法信息的表。
图15-b是示出了在本发明的第五实施例中使用的每维度区域特征计算方法信息的表。
图15-c是示出了在本发明的第五实施例中使用的每维度区域特征计算方法信息的表。
图15-d是示出了在本发明的第五实施例中使用的每维度区域特征计算方法信息的表。
图15-e是示出了在本发明的第五实施例中使用的每维度区域特征计算方法信息的表。
图16-a是示出了在本发明的第六实施例中使用的每维度区域特征计算方法信息的表。
图16-b是示出了在本发明的第六实施例中使用的每维度区域特征计算方法信息的表。
图16-c是示出了在本发明的第六实施例中使用的每维度区域特征计算方法信息的表。
图16-d是示出了在本发明的第六实施例中使用的每维度区域特征计算方法信息的表。
图16-e是示出了在本发明的第六实施例中使用的每维度区域特征计算方法信息的表。
图17-a是示出了在本发明的第五实施例和第六实施例中使用的每维度比较和量化方法信息的表。
图17-b是示出了在本发明的第五实施例和第六实施例中使用的每维度比较和量化方法信息的表。
图17-c是示出了在本发明的第五实施例和第六实施例中使用的每维度比较和量化方法信息的表。
图17-d是示出了在本发明的第五实施例和第六实施例中使用的每维度比较和量化方法信息的表。
图17-e是示出了在本发明的第五实施例和第六实施例中使用的每维度比较和量化方法信息的表。
图18是专利文献1中描述的提取图像签名的方法的示意图。
图19是示出了局部区域之间的相关性较大的图像的示例的示意图。
图20是示出了执行量化索引向量之间的匹配的匹配单元的框图。
图21是示出了由执行量化索引向量之间的匹配的匹配单元所执行的示例过程的流程图。
图22是示出了由执行量化索引向量之间的匹配的匹配单元所执行的另一示例过程的流程图。
图23是示出了由执行量化索引向量之间的匹配的匹配单元所执行的又一示例过程的流程图。
图24是示出了应用于通过将图像划分为垂直方向32部分和水平方向32部分而形成的1024块的索引的示例的表。
图25-a是示出了本发明的第七实施例中，在与相应维度相对应的区域中属于一个类型的区域的表。
图25-b是示出了本发明的第七实施例中，在与相应维度相对应的区 域中属于一个类型的区域的表。
图25-c是示出了本发明的第七实施例中，在与相应维度相对应的区域中属于一个类型的区域的表。
图25-d是示出了本发明的第七实施例中，在与相应维度相对应的区域中属于一个类型的区域的表。
图25-e是示出了本发明的第七实施例中，在与相应维度相对应的区域中属于一个类型的区域的表。
图25-f是示出了本发明的第七实施例中，在与相应维度相对应的区域中属于一个类型的区域的表。
图25-g是示出了本发明的第七实施例中，在与相应维度相对应的区域中属于一个类型的区域的表。
图26是示出了每个维度的区域类型、维度数目和与阈值相对应的索引之间的关系的表。
图27-a是示出了区域类型a的维度的第一和第二提取区域的示例的示意图。
图27-b是示出了区域类型b的维度的第一和第二提取区域的示例的示意图。
图27-c是示出了区域类型c的维度的第一和第二提取区域的示例的示意图。
图27-d是示出了区域类型d的维度的第一和第二提取区域的示例的示意图。
图27-e是示出了区域类型e的维度的第一和第二提取区域的示例的示意图。
图27-f是示出了区域类型f的维度的第一和第二提取区域的示例的示意图。
图27-g是示出了区域类型g的维度的第一和第二提取区域的示例的示意图。
具体实施方式
[第一实施例]
[第一实施例的配置]
接下来，参照附图来详细描述本发明的第一实施例。
参照图1，根据本发明第一实施例的图像签名提取设备是一种针对输入图像输出由多个维度形成的特征向量(更具体为量化索引向量)作为图像签名的系统。该图像签名提取设备包括：维度确定单元1；提取区域获取单元2；区域特征计算单元3；以及比较单元4。
维度确定单元1确定接下来要提取的特征向量的维度，并将其提供给提取区域获取单元2。维度确定单元1顺序地提供要提取的特征向量的维度，并且在提取区域获取单元2提取与所提供的维度相对应的特征之后提供构成元素。例如，如果特征向量由N维形成，则维度确定单元1可以顺序地将第1维至第N维提供给提取区域获取单元2。如果最终提供了特征向量的所有维度，则可以以任何顺序来提供维度。还可以并行地提供多个维度。
除了从维度确定单元1提供的维度之外，还向提取区域获取单元2提供每维度提取区域信息作为输入。
每维度提取区域信息是指示用于提取维度的特征的预定对第一提取区域和第二提取区域的信息，第一提取区域和第二提取区域与特征向量的每个维度相关联。第一和第二提取区域具有以下特征作为先决条件。
[第一和第二提取区域的先决条件]
第一和第二提取区域的先决条件是：一对提取区域的相对位置在维度间不同，并且一对提取区域的形状的组合在维度之间不同。
图2示出了示例提取区域对，针对每维度提取区域信息所指示的每个维度，满足先决条件。与图18中所示的传统图像签名的提取区域不同，提取区域对的形状的组合在各个维度之间不同。形状不同包括不同角度的相同形状(例如图2中第1维度的第二提取区域和第7维度的第一提取区域)以及不同大小的相似形状(例如图2中第1维度的第二提取区域和第9维度的第二提取区域)。应当注意，最小条件是：在特征向量的所有维度中包括至少一个维度，该至少一个维度中的提取区域对具有不同形状的组合。期望特征向量包括大量维度，这些维度具有形状(的组合)互不
相同。
维度中的第一提取区域和第二提取区域不必需具有与图2的第9维度中所示的相同的形状，而是可以具有如图2的其他维度中所示的不同形状。如果在每个维度中第一提取区域和第二提取区域的形状不同，则从第一提取区域和第二提取区域中提取的特征之间的相关性变小，从而辨别能力变高。因此，这是有利的。此外，在该情况下，由于第一提取区域和第二提取区域同时变为针对相同频率的盲点的可能性较小，因此辨别能力变高。
各个提取区域可以采取任何形状。例如，任何复杂形状(如图2中第6维度的第二提取区域)也是可接受的。如果提取区域由图像中的多个像素形成，则线段和曲线也是可接受的，如图2中的第7维度和第10维度中所示。此外，提取区域可以由多个不连续小区域组成，如第8维度的第一提取区域、第11维度的第一和第二提取区域以及第12维度的第一提取区域。如上所述，如果特征向量包括具有复杂形状的提取区域，则可以降低从其提取的特征的维度之间的相关性，从而辨别能力可以更高。
此外，第一提取区域和第二提取区域的部分还可以互相重叠，如在图2的第5维度中。此外，一对提取区域中的任一个提取区域可以包括在另一个提取区域中。如上所述，通过允许一对提取区域重叠，由于可以针对提取区域对可以采取更大量图案(相对位置、距离)，因此可以增加能够降低维度之间相关性的图案，从而提高改进辨别能力的可能性。
此外，与图18中所示的传统图像签名的提取区域不同，如图2中所示的各个维度，提取区域的部分可以在维度之间互相重叠。如果如图18中所示的图像签名的提取区域中所示，在维度之间排他地取得提取区域，则提取区域对的可能图案是有限的。通过如图2所示允许提取区域在维度之间重叠，可以增加能够降低维度之间相关性的图案，从而提高改进辨别能力的可能性。然而，如果存在提取区域在维度之间的过多重叠部分，则维度之间的相关性变大，从而辨别能力变低。因此，这是不利的。
此外，期望将提取区域取为使得在针对所有维度将提取区域组合时，不从中提取特征的区域较小(这意味着可以覆盖几乎全部屏幕图像)。如果如图18中的情况那样，不从中提取特征的区域较大，则图像信号(构成图像的像素的像素值)中包括的大部分信息未被使用，从而辨别能力不高。通过将提取区域取为使得在针对所有维度将提取区域组合时，不从中提取特征的区域较小(这意味着可以覆盖几乎全部屏幕图像)，图像信号中包括的较大部分信息可以反映在特征上，从而辨别能力可以较高。此外，期望在针对所有维度将提取区域组合时，提取特征不偏倚，而是从整个图像中均匀地获得。然而，如果对指定区域执行局部处理(如字幕叠加)的概率较高，则期望在避免这种区域的同时获得提取区域。此外，一般地，由于图像边缘周围的区域通常不包括图像的特征部分，因此期望在避免这种环绕区域的同时获得提取区域。
此外，期望提取区域的大小和相对位置(距离、方向)服从特定分布(例如均匀分布)，因为如果相对位置(距离、方向)服从均匀分布，则提取区域关于距离或方向不偏倚，从而可以实现较宽的变化。此外，由于随着相对位置接近，区域之间的相关性较大，因此为了抵消这种效应，期望随着相对位置越靠近，形状上的差异越大。
如果可以利用每维度提取区域信息来唯一指定针对每个维度的第一提取区域和第二提取区域，则该信息可以具有任何形式。此外，由于对于任何大小或宽高比的图像，提取区域必须始终为相同区域，因此每维度提取区域信息应当具有可以对于任何大小或宽高比的图像获得相同提取区域的形式。例如，每区域提取区域可以关于具有预定大小和宽高比的图像(例如具有320像素水平宽度x240像素垂直宽度的图像)来描述提取区域的位置和形状。在该情况下，对于以任意大小和宽高比输入的图像，首先将该图像的大小调整为具有预定大小和宽高比，然后根据在每维度提取区域信息中描述的提取区域的位置和形状来指定提取区域。相反，还可以对与输入图像的任何大小和宽高比的图像相对应的每维度提取区域信息中描述的提取区域的位置和形状进行转换，从而指定提取区域。
每维度提取区域信息中包括的指示每个提取区域的信息可以是描 述构成提取区域的所有像素相对于具有预定大小和宽高比的图像(例如具有320像素水平宽度x240像素垂直宽度的图像)的坐标值集合的信息。此外，每维度提取区域信息中包括的指示每个提取区域的信息可以是利用参数来描述提取区域相对于具有预定大小和宽高比的图像的位置和形状的信息。例如，如果提取区域的形状是四边形，则该信息可以描述四边形的四个角的坐标值。此外，如果提取区域的形状是圆形，则该信息可以描述圆心的坐标值和圆的半径值。
此外，还可以采用以下方法：利用伪随机数种子作为每维度提取区域信息，在提取区域获取单元2内，通过从种子开始产生伪随机数，从而根据随机数来产生不同形状的提取区域(例如，根据随机数来确定四边形的四个角)。具体地，可以根据以下过程来获取每维度提取区域。
(1)提供伪随机数的种子，作为每维度提取区域信息。
(2)将维度n设置为n＝1。
(3)产生伪随机数，确定针对维度n的第一提取区域的四边形的4个角。
(4)产生伪随机数，确定针对维度n的第二提取区域的四边形的4个角。
(5)将维度n设置为n+1，过程返回(3)。
由于基于随机数来确定提取区域，对于各个维度，所产生的提取区域互不相同。此外，如果伪随机数的种子相同，则由于每次(关于任何图像)产生相同的随机数，因此针对不同图像复制了相同的提取区域。
提取区域获取单元2从作为输入提供的每维度提取区域信息中获取指示与从维度确定单元1提供的维度相对应的第一提取区域和第二提取区域的信息，并向提取区域表示值计算单元3输出该信息。
除了来自提取区域获取单元2的输入(指示第一提取区域和第二提取区域的信息)之外，还向区域特征计算单元3提供作为图像签名的提取目标的图像以作为输入。区域特征计算单元3包括第一区域特征计算单元31和第二区域特征计算单元32。利用第一区域特征计算单元31，区域特征计算单元3根据作为输入提供的图像，基于指示从提取区域获取单元2提供的第一提取区域的信息来计算第一提取区域的特征，作为每个维度 的第一区域特征，并将该特征提供给比较单元4。此外，利用第二区域特征计算单元32，区域特征计算单元3根据作为输入提供的图像，基于指示从提取区域获取单元2提供的第二提取区域的信息来计算第二提取区域的特征，作为每个维度的第二区域特征，并将该特征提供给比较单元4。
应当注意，为了基于指示第一提取区域和第二提取区域的信息，相对于输入图像来指定相应提取区域，在必要时，提取区域获取单元2将图像大小调整为具有每维度提取区域信息中的预定大小和宽高比。
区域特征计算单元3使用相应提取区域中包括的一组像素的像素值来计算相应提取区域的区域特征。在本实施例中，像素值是图像的每个像素保存的信号的值，是标量或向量。例如，如果图像是亮度图像，则像素值是亮度值(标量)；如果图像是彩色图像，则像素值是指示颜色分量的向量。如果彩色图像是RGB图像，则像素值是R分量、G分量和B分量的三维向量。此外，如果彩色图像是YCbCr图像，则像素值是Y分量、Cb分量和Cr分量的三维向量。
如果计算维度的提取区域(第一提取区域和第二提取区域)的方法是恒定的(针对任何输入图像使用相同计算方法)，则可以使用任何方法来计算提取区域的区域特征。
此外，要计算的区域特征可以是标量或向量。例如，如果像素值是标量(如亮度值)，则区域特征可以被计算为平均值、中值、模式值、最大值、最小值等等(其中每一个是标量)。此外，例如，还可以对提取区域中包括的像素值进行排序，并从分布(排序的顺序)的顶部或底部的预定比例位置处获得像素值作为区域特征(也是标量)。更具体地，针对百分比P％(例如P＝25％)为预定比例的情况给出解释。提取区域中包括的总计N个像素的像素值(亮度值)按升序排序，并且将按升序排序的像素值(亮度值)集合表示为Y(i)＝{Y(0)，Y(1)，Y(2)，...，Y(N-1)}。在本示例中，例如，从按升序排序的排列的底部P％的位置处的像素值为Y(floor(N*p/100))，因此获得该值作为提取区域的区域特征。应当注意，floor()是截断小数点之后位置的函数。在本示例中，通过对提取区域中包括的像素的亮度值应用该公式Y(floor(N*p/100))而计算的区域特征被称为“百分比亮度特征”。
此外，如果像素值是向量(如颜色分量)，则可以首先通过任何方法将该值转换为标量，然后通过上述方法来计算区域特征。例如，如果像素值是RGB分量的3维向量，则可以首先将该值转换为亮度值(标量)，然后通过上述方法来计算区域特征。此外，如果像素值是向量，还可以使用提取区域中包括的像素值的平均向量作为区域特征。
此外，还可以对提取区域执行任何操作(差分操作、滤波操作)，如边缘检测或模板匹配，并使用操作结果作为区域特征。例如，它可以是指示边缘方向(梯度方向)的二维向量，或者指示与模板的相似度的标量。
此外，可以获得示出提取区域中包括的颜色分布、边缘方向分布或边缘强度分布的直方图作为区域特征(其中每一个是向量)。
此外，可以使用ISO/IEC 15938-3中定义的各种特征中的任一种，包括：主导颜色、颜色布局、可缩放颜色、颜色结构、边缘直方图、均质纹理、纹理浏览、区域形状、轮廓形状、形状3D、参数运动和运动活动。
比较单元4针对每个维度，将从区域特征计算单元3提供的第一区域特征与第二区域特征进行比较，并对比较结果进行量化，以输出所获取的量化索引。由于比较单元4输出针对各个维度的量化索引，最终输出由多个维度的量化索引构成的量化索引向量。
比较单元4可以使用任何方法来将第一区域特征与第二区域特征进行比较并执行量化。此外，针对每个维度，量化索引的数目也是任意的。
如果例如区域特征是标量(例如亮度值的平均值)，则比较单元4可以比较其幅度；如果第一区域特征较大，则将量化索引设置为+1，在其他情况下，将量化索引设置为-1，以将比较结果量化为+1和-1两个值的量化索引。应当注意，对于维度n，如果第一区域特征为Vn1并且第二区域特征为Vn2，则维度n的量化索引Qn可以通过以下表达式来计算。
[表达式1]
Qn＝+1(ifVn1＞Vn2)
-1(ifVn1≤Vn2)
图3示出了当比较单元4基于上述表达式1来执行比较和量化时，比较单元4的更详细配置图。
参照图3，比较单元4包括：幅度比较单元41和量化单元42。
当提供了第一区域特征和第二区域特征时，幅度比较单元41将第一区域特征的值与第二区域特征的值进行比较，并将比较结果提供给量化单元42。这意味着，幅度比较单元41将Vn1的幅度与Vn2的幅度进行比较，并将指示比较结果是Vn1＞Vn2还是Vn1≤Vn2的信息提供给量化单元42作为幅度比较结果。
基于从幅度比较单元41提供的幅度比较结果，量化单元42根据表达式1来执行量化，并输出量化索引。因此，量化单元42以如下方式输出量化索引：使得如果提供了指示比较结果为Vn1＞Vn2的信息，则量化索引为+1；而如果提供了指示比较结果为Vn1≤Vn2的信息，则量化索引为-1。
应当注意，根据表达式1的比较和量化方法以下称为比较和量化方法A。
此外，如果区域特征是标量(例如亮度值的平均值)，则比较单元4可以以如下方式执行量化：使得如果差值的绝对值小于或等于预定阈值，则确定在第一区域特征与第二区域特征之间不存在差值，从而设置指示无差值的量化索引0；在其他情况下，比较单元4对其幅度进行比较，如果第一区域特征较大，则设置量化索引+1，而在其他情况下，设置量化索引-1，从而量化索引为+1、0和-1三个值中的任一个。假定维度n的第一区域特征为Vn1，其第二区域特征为Vn2，预定阈值为th，则可以根据以下表达式来计算维度n的量化索引Qn。
[表达式2]
Qn＝+1(if|Vn1-Vn2|＞th and Vn1＞Vn2)
0(if|Vn1-Vn2|≤th)
-1(if|Vn1-Vn2|＞th and Vn1≤Vn2)
图4示出了当比较单元4基于上述表达式2来执行比较和量化时，比较单元4的更详细配置图。
参照图4，比较单元4包括：差值计算单元43和量化单元44。预先向 量化单元44提供阈值作为输入，该阈值是指示量化边界的预定信息(量化边界信息)。
当提供了第一区域特征和第二区域特征时，差值计算单元43计算第一区域特征的值与第二区域特征的值之间的差值，并将所计算的差值提供给量化单元44。这意味着差值计算单元43计算Vn1-Vn2，并将结果值提供给量化单元44。
量化单元44基于从差值计算单元43提供的差值和阈值(指示作为输入提供的预定量化边界的信息(量化边界信息))，根据表达式2来执行量化，并输出量化索引。这意味着，量化单元42基于基于从差值计算单元41提供的Vn1-Vn2的值以及作为索引提供的阈值，以如下方式输出量化索引：如果|Vn1-Vn2|＞th并且Vn1-Vn2＞0，则量化索引为+1；如果|Vn1-Vn2|＞th并且Vn1-Vn2≤0，则量化值为-1；如果|Vn1-Vn2|≤th，则量化索引为0。
基于表达式2的比较和量化方法以下称为比较和量化方法B。
尽管在本示例中，基于差值，以三个值来执行量化，但是可以根据差值的幅度，以更大数目(等级)的量化索引来执行量化。即使在该情况下，比较单元4具有图4中所示的配置，并且向量化单元44提供多个阈值(作为指示各个等级的预定量化边界的信息(量化边界信息))作为输入。基于该差值和作为输入提供的阈值来量化为4个或更多等级的比较和量化方法以下称为比较和量化方法C。
如上所述，与根据表达式1的方法相比，通过针对第一区域特征与第二区域特征之间的差值较小(小于或等于预定阈值)从而确定不存在差值的情况引入指示不存在差值的量化索引，可以使得区域特征之间具有较小差值的一对提取区域的维度中的特征(量化索引)更加稳定，即对于各种改变过程和噪声更加健壮。因此，可以输出对于局部区域之间整体上具有较小差值的图像(即整体上具有较小变化的平坦图像，例如蓝天的图像)较为稳定并且对于各种改变过程和噪声较为健壮的图像签名(量化索引向量)。
此外，例如如果区域特征是向量，则比较单元4可以首先通过任何任意方法将向量转换为标量，然后通过上述方法来执行量化(该比较和 量化方法以下称为比较和量化方法D)。例如，还可以根据第一提取区域的向量来计算差向量，该差向量是与第二提取区域的向量之差，并对该差向量进行量化，从而获得量化索引。在该情况下，提供针对各个量化索引的预定表示向量(重心向量等等)，并将其分类为在表示向量与差向量之间具有最大相似度(最小距离)的量化索引(该比较和量化方法以下称为比较和量化方法E)。此外，与根据上述表达式2的标量的量化类似，如果差向量的范数小于或等于预定阈值，则可以确定第一区域特征与第一区域特征之间不存在差值，从而引入指示无差值的量化索引作为指示无差值的量化索引0。
应当注意，在对本发明中输出的量化索引向量进行匹配时(在将从图像中提取的量化索引向量与从另一图像中提取的量化索引向量进行比较以确定它们是否相同时)，量化索引相符的维度数目(相似度)或者量化索引不相符的维度数目(汉明距离)可以被计算为同一性标度，将同一性标度与阈值进行比较，从而可以确定图像的同一性。此外，如果在比较单元4中基于表达式2来计算量化索引，则同一性标度(相似度)可以计算如下。首先，在对应维度之间，将两个图像的量化索引向量互相比较，并计算不是“两个量化索引均为0”的维度数目(该值为设置为A)。接下来，在不是“两个量化索引均为0”的维度中，计算量化索引相符的维度数目(该值被设置为B)。然后，将相似度计算为B/A。如果A＝0(即如果在每个维度中两个量化索引均为0)，则相似度被设置为预定数值(例如0.5)。
[第一实施例的操作]
接下来，参照图5的流程图来描述根据第一实施例的图像签名提取设备的操作。在图5的流程图中，特征向量的维度(编号)表示为“n”，从1至N共有N个维度。
首先，维度确定单元1将维度1确定为用于提取特征向量的第一维度(n＝1)，并将其提供给提取区域获取单元2(步骤A1)。
接下来，提取区域获取单元2从作为输入提供的每维度提取区域信息中获取指示维度n的第一提取区域和第二提取区域的信息，并将该信息 提供给提取区域特征计算单元3(步骤A2)。
然后，区域特征计算单元3根据作为输入提供的图像，计算维度n的第一区域特征和第二区域特征，并将这些特征提供给比较单元4(步骤A3)。
然后，比较单元4将维度n的第一区域特征与第二区域特征进行比较，对比较结果进行量化，并输出量化索引(步骤A4)。
然后，确定是否完成了针对所有维度的量化索引的输出(即确定n＜N是真还是假)(步骤A5)。如果完成了针对所有维度的量化索引的输出(即如果n＜N是假)，则处理结束。如果未完成针对所有维度的量化索引的输出(即如果n＜N是真)，则处理继续至步骤A6。在步骤A6，维度确定单元1确定用于提取特征向量的下一维度(n＝n+1)，并且将其提供给提取区域获取单元2。然后，处理返回步骤A2。
应当注意，尽管按照从维度1至维度N的顺序来执行提取处理，但是可以采用任何顺序，不限于该顺序。此外，还可以针对多个维度并行执行提取处理，而不限于上述处理过程。
[第一实施例的效果]
接下来将描述本发明的第一实施例的有利效果。
第一有利效果在于，可以提高由多维特征向量构成的图像签名的辨别能力(辨别不同图像的程度)。具体地，对于在图像的局部区域之间具有较大相关性的图像，该效果较为明显。
这是因为，由于用于提取特征的区域的形状在维度之间不同(区域形状可变)，因此可以降低维度之间的相关性。
第二有利效果在于，对于信号集中于特定频率的图像，辨别能力不退化。
这是因为，由于用于提取特征的区域的形状在维度之间不同(区域形状可变)，因此即使对于信号集中于特定频率的图像，较少地导致所有(许多)提取区域对(维度)的特征之间同时不存在差值从而辨别能力恶化的情况。
[第二实施例]
[第二实施例的配置]
接下来参照附图来详细描述本发明的第二实施例。
本发明第二实施例与第一实施例的区别在于，利用图6中详细示出的比较单元4A替换了图1中所示的第一实施例的比较单元4。由于除了比较单元4A之外的组件与第一实施例中相同，因此在本实施例中省略了对这些组件的描述。
参照图6，比较单元4A包括：差值计算单元43、量化边界确定单元45和量化单元44。
差值计算单元针对每个维度来计算从区域特征计算单元3提供的第一区域特征与第二区域特征之间的差值，并将该差值提供给量化边界确定单元45和量化单元44。
如果区域特征是标量(例如亮度值的平均值)，则该差值是例如通过从第一区域特征中减去第一区域特征(或反之)而获得的标量。如果区域特征是向量，则也可以在通过任意方法将相应向量转换为标量之后获得标量的差值。此外，如果区域特征是向量，则还可以使用第一区域特征与第二区域特征之间的差向量作为差值(向量)。
当将从差值计算单元43提供的特征向量的所有维度的差值提供给量化边界确定单元45时，量化边界确定单元45基于所有维度的差值分布来确定量化的边界，并将与所确定的量化边界的相关的信息提供给量化单元44。应当注意，所有维度的差值分布是指对于差值(或差向量)的出现频率(概率)。
此外，确定量化边界是指，在对差值进行量化时，确定要排他地、不失败地分配给量化索引的参数。例如，如果差值是标量，则确定对于每个量化索引(量化等级)的值范围(即阈值)，并且将这种值范围(阈值)提供给量化单元43作为量化边界的信息。备选地，例如，如果差值是向量，则确定例如用于执行向量量化的参数(即各个量化索引的表示向量)，并将其提供给量化单元44作为量化边界的信息。
如果差值是标量并且要执行M值量化(M＝2，3，…等等)，则量化边界确定单元45可以基于所有维度的差值的分布来确定量化的值范围 (阈值)，使得对于所有维度，各个量化索引的比例变为相等。
例如，作为表达式1的变型，在使用常数α来执行2值量化(M＝2)的情况下(其中如果Vn1+α＞Vn2则量化索引为+1，而如果Vn1+α≤Vn则量化索引为-1)，可以将差值分布的中心点(左和右分布的积分值变为相等的点)确定为量化的阈值α，使得量化索引+1和量化索引-1的比例变为相等。类似地，在执行M值量化时，如果差值是向量，则在执行向量量化时，可以基于所有维度的差向量的分布，确定向量空间中被分配给各个量化索引的区域，或确定各个量化索引的表示向量(例如重心向量)，从而对于所有维度，各个量化索引的比例变为相等。如上所述，通过允许量化索引的比例对于所有维度相等(即消除了量化索引的偏倚)，可以增加熵，从而可以提高标识能力。
量化边界确定单元45确定量化边界，使得量化索引的比例对于所有维度变为相等，量化单元44基于所确定的边界来执行量化，这种比较和量化方法以下称为比较和量化方法F。
此外，例如，如果差值是标量并且利用表达式2来执行三值量化(量化索引为+1、0和-1)，则量化边界确定单元45可以基于所有维度的差值分布，确定用于量化至指示无差值的量化索引0的阈值th(如果小于或等于该阈值，则量化索引设置为0)，并将所确定的阈值th提供给量化单元44(在第一实施例的图4中所示的比较单元4中，预先设置阈值th)。例如，量化边界确定单元45可以计算所有维度的差值的绝对值，对所计算的值进行排序，并将从顶部或底部预定比例(例如，可以将这种预定比例作为输入提供)处的点设置为阈值th(该比较和量化方法以下称为比较和量化方法G)。此外，还可以不利用预定比例，而利用使得量化索引+1、0和-1的比例变为接近相等的方式来确定阈值th(该比较和量化方法以下称为比较和量化方法H)。比较和量化方法H对应于根据表达式2执行比较和量化方法F的特例。
利用预定百分比为P％(例如P＝25％)的示例来解释比较和量化方法G的更具体方法。所有维度(维度数目＝N)的差值的绝对值按升序排序，差值的绝对值集合(按升序排序)表示为D(i)＝{D(0)，D(1)，D(2)，...D(N-1)}。在本示例中，从按升序方式排序的顺序的底部，P％的位置处 的值为例如D(floor(N*P/100))，阈值th＝D(floor(N*P/100))。应当注意，floor()是截断小数点之后位置的函数。
可以将本实施例中的方法与比较单元4采取第一实施例中图4所示的配置的情况进行比较。尽管在如第一实施例的图4所示的配置中，将预定阈值th作为输入提供，但是在第二实施例的上述方法中，量化边界确定单元45基于所有维度的差值分布，对于图像自适应地计算阈值th。如上所述，在第一实施例中阈值th是固定的，而在第二实施例中，对于图像自适应地计算阈值th。由于对于图像自适应地计算阈值th，与阈值th固定的情况相比(尤其对于具有较少起伏的图像)，可以防止特征向量的维度的值向特定量化索引偏倚(特定量化索引的出现概率较高)，辨别能力可以较高。例如，在如第一实施例中使用固定阈值的情况下，在具有较少起伏的图像中的特征向量的大多数维度(或所有维度)中量化索引变为0。然而，如果使用第二实施例的自适应阈值th，则由于对于具有较少起伏的图像，阈值自动调整为较小值，因此不会导致在特征向量的大多数维度中量化索引变为0的情况。
量化单元44基于从差值计算单元43提供的各个维度的差值和从量化边界确定单元45提供的量化边界的信息来执行量化，并输出量化索引。
应当注意，当量化边界确定单元45确定量化边界时，量化单元44必须按照预期的量化方法来操作，因为如果量化单元44不考虑从量化边界确定单元45输出的量化边界信息来执行量化，则将没有意义。
[第二实施例的操作]
接下来参照图7的流程图来描述根据第二实施例的图像签名提取设备的操作。在图7的流程图中，特征向量的维度(编号)表示为“n”，从1至N共有N个维度。
首先，维度确定单元1将维度1确定为用于提取特征向量的第一维度(n＝1)，并将其提供给提取区域获取单元2(步骤B1)。
接下来，提取区域获取单元2从作为输入提供的每维度提取区域信息中获取指示维度n的第一提取区域和第二提取区域的信息，并将该信息提供给区域特征表示值计算单元3(步骤B2)。
然后，区域特征表示值计算单元3根据作为输入提供的图像，计算维度n的第一区域特征和第二区域特征，并将这些特征提供给差值计算单元43(步骤B3)。
然后，差值计算单元43计算维度n的第一区域特征与第二区域特征之间的差值，并将该差值提供给量化边界确定单元45和量化单元44(步骤B4)。
然后，确定是否完成了直至针对所有维度计算差值的处理(即确定n＜N是真还是假)(步骤B5)。如果完成了直至针对所有维度计算差值的处理(即如果n＜N是假)，则处理继续至步骤B7。如果未完成直至针对所有维度计算差值的处理(即如果n＜N是真)，则处理继续至步骤B6。在步骤B6，维度确定单元1确定用于提取特征向量的下一维度(n＝n+1)，并且将其提供给提取区域获取单元2。然后，处理返回步骤B2。
应当注意，尽管在本实施例中按照从维度1至维度N的顺序来执行提取处理，但是可以采用任何顺序，不限于该顺序。
然后，当已经提供了从差值计算单元43提供的特征向量的所有维度的差值时，量化边界确定单元45基于所有维度的差值的分布来确定量化的边界，并将所确定的量化边界信息提供给量化单元44(步骤B7)。
然后，在步骤B8，将维度1(n＝1)设置为用于执行量化的第一维度(计算量化索引)。
然后，量化单元44基于维度n的差值和从量化边界确定单元45提供的量化边界来执行量化，并输出量化索引(步骤B9)。
然后，确定是否完成了针对所有维度的量化索引的输出(即确定n＜N是真还是假)(步骤B10)。如果完成了针对所有维度的量化索引的输出(即如果n＜N是假)，则处理结束。如果未完成针对所有维度的量化索引的输出(即如果n＜N是真)，则处理继续至步骤B11。在步骤B11，将下一维度(n＝n+1)设置为用于执行量化的特征向量的维度。然后，处理返回步骤B9。
应当注意，尽管在本实施例中按照从维度1至维度N的顺序来执行提取处理，但是可以采用任何顺序，不限于该顺序。
[第二实施例的效果]
与量化边界固定的第一实施例相比，第二示例的区别在于：对于图像，自适应(动态)计算量化边界。如果如第一实施例中量化边界固定，则存在以下情况：对于特定图像(例如具有较少起伏的平坦图像)特征向量的维度的值向特定量化索引偏倚(特定量化索引的出现概率较高)(熵较低)，导致对于这种图像辨别能力恶化的问题。另一方面，如果如第二实施例中对于图像来自适应(动态)计算量化边界，则可以对于任何图像防止特征向量的维度的值向特定量化索引偏倚(特定量化索引的出现概率较高)的情况，可以提高辨别能力。
[第三实施例]
[第三实施例的配置]
接下来参照附图来详细描述本发明的第三实施例。
参照图8，本发明第三实施例的配置与图1所示的第一实施例的配置的区别在于：增加了区域特征计算方法获取单元5，并利用区域特征计算单元3A替换了区域特征计算单元3，区域特征计算单元3A包括第一区域特征计算单元31A和第二区域特征计算单元32A。由于其他配置与第一实施例中相同，因此在本实施例中省略其描述。应当注意，尽管在本实施例中描述与第一实施例的结合，但是与第二实施例的结合也是可接受的。
向区域特征计算方法获取单元5提供来自维度确定单元1的维度和每维度区域特征计算方法信息。
每维度区域特征计算方法信息是指示计算维度中的区域特征的方法的信息，该信息与特征向量的每个维度相关联，并且先决条件是：区域特征计算方法必须在维度之间不同。应当注意，区域特征计算方法不同包括向相同过程应用不同参数(阈值等)。
在本实施例中，区域特征计算方法包括在对第一实施例的区域特征计算单元3的解释中描述的各种类型的方法及其相关联参数。
应当注意，每维度区域特征计算方法信息指示的每个维度的区域特征计算方法具有最小条件，使得在特征向量的所有维度中应当包括区域特征计算方法不同的至少一对维度。期望区域特征计算方法不同的维度 数目较大，因为这种维度的数目越大，特征向量中其间相关性较小的维度数目越小，从而辨别能力越高。例如，区域特征计算方法可以在特征向量中的所有维度中不同。
应当注意，如果唯一指定了计算区域特征的方法，则示出每个维度的区域特征计算方法的信息可以采取任何形式。
图9示出了针对各个维度的区域特征计算方法的示例。如图9所示，区域特征计算方法在维度之间不同。此外，如图9的示例中所示，标量的和向量的特征可以混合(第1、3、5、6、8、9、10和12维度是标量，第2、4、7和11维度是矢量)。
区域特征计算方法获取单元5从作为输入提供的每维度区域特征计算方法信息中获取指示与从维度确定单元1提供的维度相关联的区域特征计算方法的信息，并将该信息提供给区域特征计算单元3A。
区域特征计算单元3A基于针对每个维度从提取区域获取单元提供的指示第一提取区域和第二提取区域的信息，根据从区域特征计算方法获取单元5提供的指示区域特征计算方法的信息，从作为输入提供的图像计算第一提取区域的特征和第二提取区域的特征，分别作为第一区域特征和第二区域特征，并将这些特征提供给比较单元4。
在区域特征计算单元3A中，所提供的指示提取区域的信息的维度与指示区域特征计算方法的信息的维度需要同步。
[第三实施例的操作]
接下来，参照图10的流程图来描述根据第三实施例的图像签名提取设备的操作。在图10的流程图中，特征向量的维度(编号)表示为“n”，从1至N共有N个维度。
首先，维度确定单元1将维度1确定为用于提取特征向量的第一维度(n＝1)，并将其提供给提取区域获取单元2和区域特征计算方法获取单元5(步骤C1)。接下来，提取区域获取单元2从作为输入提供的每维度提取区域信息中获取指示维度n的第一提取区域和第二提取区域的信息，并将该信息提供给提取区域特征计算单元3A(步骤C2)。
然后，区域特征计算方法获取单元5从作为输入提供的每维度区域 特征计算方法信息中获取指示与维度n相对应的区域特征计算方法的信息，并将该信息提供给区域特征计算单元3A(步骤C3)。
然后，区域特征计算单元3A根据作为输入提供的图像，计算维度n的第一区域特征和第二区域特征，并将这些特征提供给比较单元4(步骤C4)。然后，比较单元4将维度n的第一区域特征与第二区域特征进行比较，对比较结果进行量化，并输出量化索引(步骤C5)。然后，确定是否完成了针对所有维度的量化索引的输出(步骤C6)。如果完成了针对所有维度的量化索引的输出，则处理结束。如果未完成针对所有维度的量化索引的输出，则处理继续至步骤C7。在步骤C7，维度确定单元1确定用于提取特征向量的下一维度(n＝n+1)，并且将其提供给提取区域获取单元2和区域特征计算方法获取单元5。然后，处理返回步骤C2。
应当注意，尽管在本实施例中按照从维度1至维度N的顺序来执行提取处理，但是可以采用任何顺序，不限于该顺序。此外，还可以针对多个维度并行执行提取处理，而不限于上述处理过程。此外，步骤C2和步骤C3的顺序可以反转。
[第三实施例的效果]
除了第一实施例的有利效果之外，第三实施例具有以下有利效果：可以进一步提高辨别能力(辨别不同图像的程度)。
这是因为，由于区域特征计算方法在维度之间不同(使用可变区域特征计算方法)，维度之间的相关性可以较小。 
[第四实施例]
[第四实施例的配置]
接下来参照附图来详细描述本发明的第四实施例。
参照图11，本发明第四实施例的配置与图1所示的第一实施例的配置的区别在于：增加了比较方法获取单元6，并利用比较单元4B替换了比较单元4。由于其他配置与第一实施例中相同，因此在本实施例中省略其描述。应当注意，尽管在本实施例中描述与第一实施例的结合，但是与第二实施例的结合以及与第三实施例的结合也是可接受的。
向比较方法获取单元6提供来自维度确定单元1的维度来每维度比较方法信息。
每维度比较和量化方法信息是指示对与特征向量的每个维度相关联的维度中的区域特征进行比较并执行量化的方法的信息，先决条件是比较和量化方法必须在维度之间不同。应当注意，比较和量化方法不同包括对相同过程应用不同参数(阈值、量化索引数目等等)。
在本实施例中，比较和量化方法包括在对第一实施例的比较单元4的解释中描述的各种类型的比较和量化方法及其相关联参数(阈值、量化索引数目等等)，以及在对第二实施例的比较单元4A的解释中描述的各种类型的比较和量化方法及其相关联参数(阈值、量化索引数目等等)。
应当注意，每维度比较和量化方法信息所指示的每个维度的比较和量化方法具有以下最小条件：在特征向量的所有维度中应当包括比较和量化方法不同的至少一对维度。期望比较和量化方法不同的维度数目较大，因为这种维度的数目越大，特征向量中其间相关性较小的维度数目越小，从而辨别能力越高。例如，在特征向量中的所有维度中比较和量化方法可以不同。
应当注意，如果唯一指定了比较和量化区域特征的方法，则示出每个维度的比较和量化方法的信息可以采取任何形式。
图12示出了各个维度的比较和量化方法的示例。如图12所示，比较和量化方法在维度之间不同。此外，如在第3、5和12维度中，可以在相同比较和量化方法中设置不同参数(阈值th)。应当注意，图12中示出的各个维度的比较和量化方法的示例与图9所示的各个维度的区域特征计算方法相关联。因此，示出了针对标量的比较和量化方法，作为针对标量区域特征的示例；并且示出了针对向量的比较和量化方法，作为针对向量区域特征的示例。
比较方法获取单元6从作为输入提供的每维度比较和量化方法信息中获取指示与从维度确定单元1提供的维度相对应的比较和量化方法的信息，并将该信息提供给比较单元4B。
比较单元4B针对每个维度将从区域特征计算单元3提供的第一区域特征与第二区域特征进行比较，根据从比较方法获取单元6提供的指示比 较和量化方法的信息来对其进行量化，并输出量化索引。根据比较和量化方法，在需要时，比较单元4B可以具有包括第一实施例的比较单元4和第二实施例的比较单元4B的配置。
在比较单元4B中，所提供的区域特征的维度与指示比较和量化方法的信息的维度需要同步。
[第四实施例的操作]
接下来参照图13的流程图来描述根据第四实施例的图像签名提取设备的操作。在图13的流程图中，特征向量的维度(编号)表示为“n”，从1至N共有N个维度。
首先，维度确定单元1将维度1确定为用于提取特征向量的第一维度(n＝1)，并将其提供给提取区域获取单元2和比较方法获取单元6(步骤D1)。接下来，提取区域获取单元2从作为输入提供的每维度比较和量化方法信息中获取指示维度n的第一提取区域和第二提取区域的信息，并将该信息提供给提取区域特征计算单元3(步骤D2)。
然后，比较方法获取单元6从作为输入提供的每维度比较和量化方法信息中获取指示与维度n相对应的比较和量化方法的信息，并将其提供给比较单元4B(步骤D3)。
然后，区域特征计算单元3根据作为输入提供的图像，计算维度n的第一区域特征和第二区域特征，并将这些特征提供给比较单元4B(步骤D4)。然后，比较单元4B将维度n的第一区域特征与第二区域特征进行比较，对比较结果进行量化，并输出量化索引(步骤D5)。然后，确定是否完成了针对所有维度的量化索引的输出(步骤D6)。如果完成了针对所有维度的量化索引的输出，则处理结束。如果未完成针对所有维度的量化索引的输出，则处理继续至步骤D7。在步骤D7，维度确定单元1确定用于提取特征向量的下一维度(n＝n+1)，并且将其提供给提取区域获取单元2和比较方法获取单元6。然后，处理返回步骤D2。
应当注意，尽管在本实施例中按照从维度1至维度N的顺序来执行提取处理，但是可以采用任何顺序，不限于该顺序。此外，还可以针对多个维度并行执行提取处理，而不限于上述处理过程。此外，步骤D2和步 骤D3的顺序可以反转，可以紧邻步骤D5之前执行步骤D3。
[第四实施例的效果]
除了第一实施例的有利效果之外，第四实施例具有以下有利效果：可以进一步提高辨别能力(辨别不同图像的程度)。
这是因为，由于比较和量化方法在维度之间不同(使用可变比较和量化方法)，维度之间的相关性可以较小。 
[第五实施例]
在第五实施例中，要提取特征向量的维度数目为300维度(从第1至第300维度)。
在第五实施例中，各个维度的提取区域(第一提取区域和第二提取区域)由各种形状的四边形形成。图14示出了在第五实施例中要提供给提取区域获取单元2作为输入的每维度提取区域信息。图14示出了对于320像素宽、240像素长的图像大小(规定图像大小)，各个维度的提取区域(第一提取区域和第二提取区域)的四边形的四个角的XY坐标值。例如，第一维度的提取区域由第一提取区域(由四边形构成，四边形的四个角具有坐标值(262.000，163.000)、坐标值(178.068，230.967)、坐标值(184.594，67.411)和坐标值(100.662，135.378))和第一提取区域(由四边形构成，四边形的四个角具有坐标值(161.000，133.000)、坐标值(156.027，132.477)、坐标值(164.240，102.170)和坐标值(159.268，101.647))形成。
对于相对320像素宽、240像素长的图像大小而归一化的图像，每个维度的提取区域(第一提取区域和第二提取区域)是具有由四个角的这些坐标值定义的区域中包括的整数值的坐标值的像素的集合。然而，在提取区域中不包括由四个角定义的区域中包括的负坐标值。
图15示出了在第五实施例中作为输入提供给区域特征计算方法获取单元5的每维度区域特征计算方法信息。在第五实施例中，针对每个维度，提取区域(第一提取区域和第二提取区域)中的每一个中包括的像素组的亮度值的平均值用作提取区域中的每一个的区域特征。
图17示出了在第五实施例中作为输入提供给比较方法获取单元6的 每维度比较和量化方法信息。在第五实施例中，针对每个维度使用比较和量化方法B或比较和量化方法G，此外，参数值针对每个维度不同。例如，在第1维度中，使用比较和量化方法G，阈值th为D(floor(300*5.0/100))。在第2维度中，使用比较和量化方法G，阈值th为D(floor(300*10.0/100))。此外，在第9维度中，例如，使用比较和量化方法B，阈值th为3.0。
[第六实施例]
与第五实施例中相同，在第六实施例中，要提取特征向量的维度数目为300维度(从第1至第300维度)。与第五实施例中相同，在第六实施例中，使用图14中所示的信息作为提供给提取区域获取单元2作为输入的每维度提取区域信息。此外，与第五实施例中相同，在第六实施例中，使用图17中所示的信息作为提供给比较方法获取单元6作为输入的每维度比较和量化方法信息。
图16示出了在第六实施例中作为输入提供给区域特征计算方法获取单元5的每维度区域特征计算方法信息。在第六实施例中，针对每个维度，使用提取区域(第一提取区域和第二提取区域)中包括的像素组的亮度值的平均值或百分比亮度值特征，即使使用相同的百分比亮度值特征，该特征对于每个维度也不同。例如，在第1维度中，使用提取区域中包括的像素的亮度值的平均值。例如，在第4维度中，使用百分比亮度值特征，该值为Y(floor(N*20.0/100))。此外，在第8维度中，使用百分比亮度值特征，该值为Y(floor(N*80.0/100))。
[第七实施例]
在第七实施例中，要提取的特征向量的维度数目为325维度(第1维度至第325维度)。在第七实施例中，每个区域由通过将图像垂直划分为32块并且水平划分为32块而形成的1024块中的块组合构成。如图24所示，从左上角部分开始，向相应块分配从0开始的索引，并且使用这些索引来描述区域。具体的，使用左上角块的索引“a”和右下角块的索引“b”，以“a-b”的方式来指示矩形区域。例如，将由具有0、1、32和33的索引的4个块形成的矩形描述为0-33。此外，如果使用符号“|”来合并按照这 种方式形成的矩形，则它们表示通过将该符号之前和之后的矩形合并而形成的区域。例如，0-33|2-67指示通过将由0-33定义的矩形和由2-67定义的矩形进行合并而形成的区域，即，由块编号0，1，2，3，32，33，34，35，66和67形成的区域。
图25示出了与第七实施例的相应维度相对应的、按照这种方式描述的区域。在图25中，通过基于325个维度在图25-a、图25-b、图25-c、图25-d、图25-e、图25-f和图25-g中的区域类型对325个维度进行分类来对325个维度进行描述。在这些图中，区域类型意味着由具有由第一和第二提取区域之间的相对位置或形状的组合而确定的类似区域图案的维度组成的组。
具体地，图25-a对应于以下情况：通过将由垂直方向的4个块和水平方向的4个块所构成的方形沿垂直或水平方向均匀分为两部分而形成的两个区域被用作第一和第二提取区域，其示例在图27-a中示出。因此，第一和第二提取区域的形状均为由垂直方向的4个块和水平方向的2个块定义的矩形或由垂直方向的2个块和水平方向的4个块定义的矩形。此外，关于第一和第二提取区域之间的相对位置关系，它们存在于彼此相邻的位置处，使得矩形的长边彼此重叠。
图25-b对应于以下情况：通过将由垂直方向的8个块和水平方向的8个块所构成的方形沿垂直或水平方向均匀分为4个方形，并分别将左上角和右下角方形组合、右上角和左下角方向方形而形成的两个区域被用作第一和第二提取区域，其示例在图27-b中示出。因此，第一和第二提取区域的形状均为由垂直方向的2个块和水平方向的2个块所构成、以45度或135度角布置在对角线上以共享一个顶点的两个方形。此外，关于区域之间的相对位置，构成第二区域的两个方形存在于与第一区域的左上角方形的右侧和下方相邻的位置处。
在图25-c的情况中，第一和第二提取区域的形状均为由垂直方向的10个块和水平方向的10个块所构成的方形，其示例在图27-c中示出。关于第一和第二提取区域之间的相对位置，它们存在于彼此相距垂直方向和水平方向10个块的整数倍的位置处。
在图25-d的情况中，第一和第二提取区域的形状均为由垂直方向的8 个块和水平方向的8个块所构成的方形，其示例在图27-d中示出。关于第一和第二提取区域之间的相对位置，它们存在于彼此相距垂直方向和水平方向6个块的整数倍的位置处。
图25-e对应于以下情况：通过将方形区域划分为中心部分和外部部分而形成的两个区域被用作第一和第二提取区域，其示例在图27-e中示出。因此，第二提取区域的形状是中心部分的方形；第一提取区域的形状是从整个方形中切去第二提取区域的方形。此外，关于区域之间的相对位置，第二区域存在于第一区域的中心空洞处。
在图25-f的情况下，第一提取区域的形状是由垂直方向6个块和水平方向10个块所构成的矩形；第二提取区域的形状是由垂直方向10个块和水平方向6个块定义的矩形，其示例在图27-f中示出。关于第一和第二提取区域之间的相对位置，它们被布置为使得其中心位置重合。
图25-g对应于以下情况：通过将由垂直方向4个块和水平方向12个块所构成的矩形或者由垂直方向12个块和水平方向4个块所构成的矩形的长边三等分而得到的中心方形区域和另一区域而形成的两个区域被用作第一和第二提取区域，其示例在图27-g中示出。因此，第一区域的形状是由垂直方向或水平方向彼此分离4个块的、由垂直方向4个块和水平方向4个块所构成的两个方形；第二提取区域的形状是由垂直方向4个块和水平方向4个块所构成的方形。此外，关于区域之间的相对位置，第二区域存在于第一区域的方形之间。
以下将图25-a、图25-b、图25-c、图25-d、图25-e、图25-f和图25-g的区域类型分别称为区域类型a、区域类型b、区域类型c、区域类型d、区域类型e、区域类型f和区域类型g。
在第七实施例中，将亮度值的平均值计算为图25中所示的每个区域中的区域特征，并计算每个维度的特征。当然，可以获得通过前述各种提取方法来提取的值(如中值或最大值)来代替不是亮度值的平均值作为区域特征。
为了对每个维度的特征进行量化，针对每种区域类型设置阈值以执行量化。例如，当根据表达式2将特征量化为三个值时，用于量化的阈值th可以被配置为使得：对于每种区域类型，0、1和-1出现的比例相等； 并且执行量化。具体的，通过将0085段落中描述的方法应用于每个区域类型，来获得阈值th，其中P＝33.333％，N表示每个区域类型的维度数目。例如，由于在区域类型a中N＝113，因此通过th＝D(floor(113*33.333/100))＝D(37)来计算阈值。应当注意，D(i)(i＝0，1，..，N-1)是第1维度值第113维度的差值的绝对值以升序排序的集合。在这种情况下，与阈值相对应的索引为37。类似地，如图26所示，可以针对另一区域类型来获得与阈值相对应的索引。通过获得每个区域类型的阈值，与作为整体来确定阈值的情况相比，可以使每个维度中0、1和-1的出现概率均匀，从而提高辨别能力。当然，可以利用上述其他各种量化方法来执行量化。
应当注意，在第七实施例的情况下，还可以首先计算图24所示的每个块的表示值(例如块内的像素的平均亮度)，然后提取区域特征。从而，与直接从区域内的所有像素中提取区域特征的情况相比，可以以更高速度执行提取。此外，每个区域类型的提取区域整体上可以具有对称属性。因此，即使在图像的左右或上下反转的情况下，通过合适地改变维度的对应关系和符号，可以根据从左右或上下反转的图像中提取的特征来恢复原始图像的特征。因此，也可以对左右或上下反转的图像执行匹配。
[匹配单元的实施例]
接下来，使用框图来描述用于在本发明中输出的量化索引向量之间执行匹配的匹配单元。
参照图20，图20示出了用于在本发明中输出的量化索引向量之间执行匹配的匹配单元100的框图，匹配单元100包括：维度确定单元101；量化值获取单元102和103；以及标度计算单元104。
维度确定单元101连接至量化值获取单元102和103，并输出所确定的维度信息。量化值获取单元102从第一量化索引向量中获取从维度确定单元101输入的维度的量化索引值，并将该值输出至标度计算单元104，作为第一量化索引值。量化值获取单元103从第二量化索引向量中获取从维度确定单元101输入的维度的量化索引值，并将该值输出至标度计算单元104，作为第二量化索引值。标度计算单元104根据从量化值获取单元 102和103输出的第一和第二量化索引值来计算指示同一性的标度，并将其输出。
接下来，描述图20所示的匹配单元100的操作。
首先，向匹配单元100输入：第一量化索引向量，其为从第一图像中提取的量化索引向量；以及第二量化索引向量，其为从第二图像中提取的量化索引向量。所输入的第一和第二量化索引向量被分别输入至量化值获取单元102和103。
还向量化值获取单元102和103输入从维度确定单元101输出的维度信息。维度确定单元101依次输出指定量化索引向量(为N维向量)的相应维度的信息。输出顺序不需要是从1逐一递增至N，而可以是任何顺序，只要不多不少地输出从1至N的所有维度。
量化值获取单元102和103从输入的量化索引向量中获取在从维度确定单元101输出的维度信息中指定的维度的量化索引值，并将所获取的量化索引值输出至标度计算单元104。
标度计算单元104将从量化值获取单元102输出的第一量化索引值与第二量化索引值进行比较。对各个维度执行该比较，并将第一和第二量化索引值向量之间的相似度标度(或距离标度)计算为同一性标度。
将所获取的同一性标度与预定阈值进行比较，以确定同一性。如果同一性标度是指示相似度的标度，则在标度值等于或大于阈值的情况下将其确定为相同。另一方面，如果同一性标度是指示距离的标度，则在标度值小于或等于阈值的情况下将其确定为相同。
接下来，使用流程图来描述图20中所示的匹配单元100的操作。首先，描述使用相似度值作为同一性标度的情况下的操作。
图21是示出了匹配单元100的操作的流程图。在图21的流程图中，特征向量的维度(编号)指示为“n”，存在从1至N总计N个维度。此外，用于计算相似度值的变量指示为B。
首先，维度确定单元101将维度1确定为用于对量化索引向量执行匹配的第一维度(n＝1)，并将其提供给量化获取单元102和103，并在标度计算单元104中将变量B设置为0(步骤S100)。
然后，量化获取单元102和103从第一量化索引向量和第二量化索引 向量中获取维度n的第一量化索引值和第二量化索引值，并将其提供给标度计算单元104(步骤S102)。
然后，标度计算单元104根据第一量化索引值和第二量化索引值，计算与相应量化索引相对应的特征之间的相似度值ΔB(步骤S104)。例如，当量化索引彼此相符时，ΔB＝1；在其他情况下ΔB＝0。备选地，还可以根据量化索引来计算量化之前的特征的表示值，并使用随着表示值之间的差值减小而增大的值作为ΔB。在该情况下，不是通过计算特征的表示值来获得差值，而是可以保存表，在所述表中，根据量化索引值的组合来获取ΔB的值，并且使用所述表，根据量化索引值的组合来直接获得ΔB的值。
接下来，将ΔB的值加至变量B(步骤S106)。此时，如果ΔB的值为0，则可以控制不进行相加，而不是将0加至变量B。
接下来，检查维度编号n是否达到维度数目N(步骤S108)，如果未达到该数目，则处理移至步骤S112；而如果达到该数目，则将此时变量B的值输出，作为同一性标度(指示相似度值的标度)(步骤S110)，并且处理结束。
在步骤112，维度确定单元101根据n＝n+1将下一维度确定为用于获取量化索引的维度，并将其提供给量化值获取单元102和103。然后，处理返回步骤S102。
应当注意，尽管按照从维度1至维度N的顺序来执行提取处理，但是可以采用任何顺序，不限于该顺序。
接下来描述使用距离作为同一性标度的情况下的操作。
图22是示出了匹配单元100的操作的另一流程图。同样，在图22的流程图中，特征向量的维度(编号)指示为“n”，存在从1至N总计N个维度。此外，用于计算距离标度的变量指示为C。
尽管基本流程与图21中类似，图22的差别在于步骤S100、S104、S106和S110被分别替换为步骤S200、S204、S206和S210。
首先，在步骤S200，维度确定单元101将维度1确定为用于在量化索引向量之间执行匹配的第一维度(n＝1)，并将其提供给量化获取单元102和103，并在标度计算单元104中将变量C设置为0。
在步骤S204，标度计算单元104根据第一量化索引值和第二量化索引值，计算与相应量化索引相对应的特征之间的距离ΔC。例如，当量化索引彼此相符时，ΔC＝0；在其他情况下ΔC＝1。备选地，还可以根据量化索引来计算量化之前的特征的表示值，并使用随着表示值之间的差值减小而减小的值作为ΔC。在该情况下，不是通过计算特征的表示值来获得差值，而是可以保存表，在所述表中，根据量化索引值的组合来获取ΔC的值，并且使用所述表，根据量化索引值的组合来直接获得ΔC的值。
在步骤S206，将ΔC的值加至变量C。此时，如果ΔC的值为0，则可以控制不进行相加，而不是将0加至变量C。
在步骤S210，输出此时变量C的值作为同一性标度(指示距离的标度)，并结束处理。
其他步骤与图21的情况下相同。然而，如果在步骤S108，维度编号n达到维度数目N，则处理移至步骤S210。
应当注意，尽管按照从维度1至维度N的顺序来执行提取处理，但是可以采用任何顺序，不限于该顺序。
接下来给出以下情况下的操作的描述：消除第一量化索引值和第二量化索引值的“两个量化索引均为0”的维度，并使用相似度值作为同一性标度。
图23是示出了匹配单元100的操作的另一流程图。同样，在图23的流程图中，特征向量的维度(编号)指示为“n”，存在从1至N总计N个维度。此外，用于计算相似度值的变量指示为B，用于对不是“两个量化索引均为0”的维度进行计数的变量指示为A。
首先，维度确定单元101将维度1确定为用于在量化索引向量之间执行匹配的第一维度(n＝1)，并将其提供给量化获取单元102和103，并在标度计算单元104中将变量A和B设置为0(步骤S300)，然后移至步骤S102。
步骤S102与图21中的情况相同，当步骤S102结束时，处理移至步骤S314。
在步骤S314，标度计算单元104检查第一量化索引值和第二量化索引值是否均为0。如果两个值均为0，则处理移至步骤S108；而如果其中 任一个不为0，则将变量A的值增加1(步骤S316)，处理移至步骤S104。
步骤S104、S106、S108和S112的处理与图21的情况相同。如果在步骤S108维度编号达到维度数目N，则处理移至步骤S310。
在步骤S310，标度计算单元104计算B/A的值，并将其输出作为同一性标度，结束处理。然而，如果A＝0，则标度计算单元104输出预定值(例如0.5)。
应当注意，尽管按照从维度1至维度N的顺序来执行提取处理，但是可以采用任何顺序，不限于该顺序。
尽管以上描述了本发明的实施例，但是本发明不限于这些示例。本领域技术人员可以理解，可以对其中的形式和细节做出各种改变。此外，本发明的图像签名提取设备被适配为使得其功能能够通过计算机和程序以及硬件来实现。这种程序以被写在诸如磁盘和半导体存储器等的计算机可读介质上来提供，在例如计算机被启动时由计算机读取，并控制计算机的操作，由此允许计算机用作如上所述的实施例中的维度确定单元、提取区域获取单元、区域特征计算单元、比较单元、区域特征计算方法获取单元以及比较方法获取单元。
本申请基于并要求2009年4月14日提交的日本专利申请No.2009-97861的优先权，其全部公开通过引用并入此处。
参考符号说明
1维度确定单元
2提取区域获取单元
3、3A区域特征计算单元
31、31A第一区域特征计算单元
32、32A第二区域特征计算单元
4、4B比较单元
41幅度比较单元
42、44量化单元
43差值计算单元 
45量化边界确定单元
5区域特征计算方法获取单元
6比较方法获取单元

Claims (14)

1.一种图像签名提取设备，包括：
提取单元，根据图像中的多个子区域对，从图像中的相应子区域中计算区域特征，所述子区域对包括至少一个子区域对，所述至少一个子区域对中的两个子区域的形状的组合和所述至少一个子区域对中的所述两个子区域之间的相对位置与其他子区域对中的至少一对子区域的不同，并且基于每一对所述两个子区域的形状的组合和这两个子区域之间的相对位置来将所述子区域对分类为多种类型；所述两个子区域与构成图像签名的特征矢量的每个维度相关联，所述图像签名是用于标识图像的信息；以及
产生单元，基于所计算的相应子区域的区域特征，产生要用于标识所述图像的图像签名；
其中，所述产生单元对属于同一类型的两个子区域的区域特征之间的差值的绝对值进行排序，并使用位于从排序结果顶部或底部开始预定比例处的值作为要用于对属于该类型的两个子区域进行量化的参数。
2.根据权利要求1所述的图像签名提取设备，还包括，
量化单元，所述量化单元利用与子区域对的类型相对应的参数作为量化阈值，对所述从子区域对中的两个子区域计算的区域特征的差值进行量化；
其中，将所述维度分类为与至少一个其他维度的类型不同的一种维度。
3.根据权利要求2所述的图像签名提取设备，其中，所述产生单元基于属于同一类型的相应子区域对的两个子区域的两个区域特征之间的差值的分布，确定要用于针对属于所述同一类型的子区域对进行量化的阈值。
4.根据权利要求1所述的图像签名提取设备，其中，
所述两个子区域是第一子区域和第二子区域；以及
所述类型包括下列类型中的至少一种类型：
第一类型，在第一类型中，通过将图像中特定大小的矩形均匀划分为垂直方向或水平方向的两个而形成的两个矩形用作所述第一子区域和第二子区域；
第二类型，在第二类型中，在通过将图像中的特定大小的矩形均匀划分为垂直方向的两个和水平方向的两个而形成的四个矩形之中，通过合并左上角矩形和右下角矩形而形成的区域用作所述第一子区域，以及通过合并右上角矩形和左下角矩形而形成的区域用作所述第二子区域；
第三类型，在第三类型中，所述第一子区域和第二子区域是大小相同的矩形，并且在垂直方向和水平方向上相距与所述大小相同的矩形的一条边的整数倍相等的距离；
第四类型，在第四类型中，所述第一子区域和第二子区域是大小相同、但比第三类型的矩形小的矩形，并且在垂直方向和水平方向上相距与所述大小相同、但比第三类型的矩形小的矩形的一条边的整数倍相等的距离；
第五类型，在第五类型中，两个不同大小的矩形共享重心，通过从较大矩形中移除较小矩形而获得的区域用作所述第一子区域，而较小矩形用作所述第二子区域；
第六类型，在第六类型中，共享重心、并且彼此垂直放置的大小相同的两个矩形用作所述第一子区域和第二子区域；以及
第七类型，在第七类型中，在三个垂直或水平相邻的大小相同的矩形之中，两侧的矩形用作所述第一子区域，中间的矩形用作所述第二子区域。
5.根据权利要求4所述的图像签名提取设备，其中，
所述两个子区域由通过将图像划分为垂直方向的32个并将图像划分为水平方向的32个所获得的1024块之中的一个或多个块形成，以及
第一类型的特定大小的矩形是由垂直的4块和水平的4块构成的矩形；
第二类型的特定大小的矩形是由垂直的8块和水平的8块构成的矩形；
第三类型的矩形是由垂直的10块和水平的10块构成的矩形；
第四类型的矩形是由垂直的6块和水平的6块构成的矩形；
第五类型的两个不同大小的矩形是由垂直的10块和水平的10块构成的矩形与由垂直的4块和水平的4块构成的矩形的组合，或者由垂直的13块和水平的13块构成的矩形与由垂直的3块和水平的3块构成的矩形的组合；
第六类型的两个矩形是由垂直的10块和水平的6块构成的矩形以及由垂直的6块和水平的10块构成的矩形；以及
第七类型的矩形是由垂直的4块和水平的4块构成的矩形。
6.一种匹配设备，利用由根据权利要求1所述的图像签名提取设备所输出的图像签名来执行匹配。
7.一种标识设备，利用由根据权利要求1所述的图像签名提取设备所输出的图像签名来执行标识。
8.一种图像签名提取方法，包括：
根据图像中的多个子区域对，从图像中的相应子区域中计算图像中区域特征，所述子区域对包括至少一个子区域对，所述至少一个子区域对中的两个子区域的形状的组合和所述至少一个子区域对中的所述两个子区域之间的相对位置与其他子区域对中的至少一对子区域的不同，并且基于每一对所述两个子区域的形状的组合和这两个子区域之间的相对位置来将所述子区域对分类为多种类型；所述两个子区域与构成图像签名的特征矢量的每个维度相关联，所述图像签名是用于标识图像的信息；以及
基于所计算的相应子区域的区域特征，产生要用于标识所述图像的图像签名；
其中，对属于同一类型的两个子区域的区域特征之间的差值的绝对值进行排序，并使用位于从排序结果顶部或底部开始预定比例处的值作为要用于对属于该类型的两个子区域进行量化的参数。
9.根据权利要求8所述的图像签名提取方法，其中，
所述量化包括：利用与子区域对的类型相对应的参数作为量化阈值，对所述从子区域对中的两个子区域计算的区域特征的差值进行量化；
其中，将所述维度分类为与至少一个其他维度的类型不同的一种维度。
10.根据权利要求9所述的图像签名提取方法，还包括：
基于属于同一类型的相应子区域对的两个子区域的两个区域特征之间的差值的分布，确定要用于针对属于所述同一类型的子区域对进行量化的阈值。
11.根据权利要求8所述的图像签名提取方法，其中，
所述两个子区域是第一子区域和第二子区域；以及
所述类型包括下列类型中的至少一种类型：
第一类型，在第一类型中，通过将图像中特定大小的矩形均匀划分为垂直方向或水平方向的两个而形成的两个矩形用作所述第一子区域和第二子区域；
第二类型，在第二类型中，在通过将图像中的特定大小的矩形均匀划分为垂直方向的两个和水平方向的两个而形成的四个矩形之中，通过合并左上角矩形和右下角矩形而形成的区域用作所述第一子区域，以及通过合并右上角矩形和左下角矩形而形成的区域用作所述第二子区域；
第三类型，在第三类型中，所述第一子区域和第二子区域是大小相同的矩形，并且在垂直方向和水平方向上相距与所述大小相同的矩形的一条边的整数倍相等的距离；
第四类型，在第四类型中，所述第一子区域和第二子区域是大小相同、但比第三类型的矩形小的矩形，并且在垂直方向和水平方向上相距与所述大小相同、但比第三类型的矩形小的矩形的一条边的整数倍相等的距离；
第五类型，在第五类型中，两个不同大小的矩形共享重心，通过从较大矩形中移除较小矩形而获得的区域用作所述第一子区域，而较小矩形用作所述第二子区域；
第六类型，在第六类型中，共享重心、并且彼此垂直放置的大小相同的两个矩形用作所述第一子区域和第二子区域；以及
第七类型，在第七类型中，在三个垂直或水平相邻的大小相同的矩形之中，两侧的矩形用作所述第一子区域，中间的矩形用作所述第二子区域。
12.根据权利要求11所述的图像签名提取方法，其中，
所述两个子区域由通过将图像划分为垂直方向的32个并将图像划分为水平方向的32个所获得的1024块之中的一个或多个块形成，以及
第一类型的特定大小的矩形是由垂直的4块和水平的4块构成的矩形；
第二类型的特定大小的矩形是由垂直的8块和水平的8块构成的矩形；
第三类型的矩形是由垂直的10块和水平的10块构成的矩形；
第四类型的矩形是由垂直的6块和水平的6块构成的矩形；
第五类型的两个不同大小的矩形是由垂直的10块和水平的10块构成的矩形与由垂直的4块和水平的4块构成的矩形的组合，或者由垂直的13块和水平的13块构成的矩形与由垂直的3块和水平的3块构成的矩形的组合；
第六类型的两个矩形是由垂直的10块和水平的6块构成的矩形以及由垂直的6块和水平的10块构成的矩形；以及
第七类型的矩形是由垂直的4块和水平的4块构成的矩形。
13.一种匹配方法，利用由根据权利要求8所述的图像签名提取方法所提取的图像签名来执行匹配。
14.一种标识方法，利用由根据权利要求8所述的图像签名提取方法所提取的图像签名来执行标识。
CN201080016523.5A 2009-04-14 2010-04-12 图像签名提取设备 Active CN102395998B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009097861 2009-04-14
JP2009-097861 2009-04-14
PCT/JP2010/002633 WO2010119657A1 (ja) 2009-04-14 2010-04-12 画像識別子抽出装置

Publications (2)

Publication Number Publication Date
CN102395998A CN102395998A (zh) 2012-03-28
CN102395998B true CN102395998B (zh) 2015-06-10

Family

ID=42982331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080016523.5A Active CN102395998B (zh) 2009-04-14 2010-04-12 图像签名提取设备

Country Status (6)

Country Link
US (1) US8861871B2 (zh)
EP (1) EP2420973B1 (zh)
JP (5) JP4935961B2 (zh)
KR (2) KR101355299B1 (zh)
CN (1) CN102395998B (zh)
WO (1) WO2010119657A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8792728B2 (en) * 2010-09-27 2014-07-29 Hewlett-Packard Development Company, L.P. Near-duplicate image detection
US9507601B2 (en) * 2014-02-19 2016-11-29 Mediatek Inc. Apparatus for mutual-transposition of scalar and vector data sets and related method
KR101537032B1 (ko) * 2014-05-15 2015-07-15 심해청 영상 필터링을 위한 영상 특징정보 생성 방법 및 그 방법이 기록된 기록매체
KR101601755B1 (ko) * 2014-05-27 2016-03-10 서강대학교산학협력단 영상 특징 추출 방법 및 장치 및 이를 구현한 프로그램을 기록한 기록 매체
CN108491707B (zh) * 2016-05-30 2020-01-14 Oppo广东移动通信有限公司 一种解锁控制方法及终端设备和介质产品
KR101963198B1 (ko) * 2017-04-18 2019-07-31 한국과학기술원 3차원 안면 정면화 시스템 및 방법
CN114598873B (zh) * 2020-12-03 2023-06-20 华为技术有限公司 量化参数的解码方法和装置
WO2022271517A1 (en) * 2021-06-23 2022-12-29 Op Solutions, Llc Systems and methods for organizing and searching a video database

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5436653A (en) * 1992-04-30 1995-07-25 The Arbitron Company Method and system for recognition of broadcast segments
CN1828632A (zh) * 2005-02-28 2006-09-06 株式会社东芝 目标检测装置、学习装置、目标检测系统及目标检测方法

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2585606B2 (ja) * 1987-07-06 1997-02-26 株式会社日立製作所 画像パターン検索方法
JPH02268388A (ja) * 1989-04-10 1990-11-02 Hitachi Ltd 文字認識方法
JPH0368272A (ja) * 1989-08-05 1991-03-25 Ricoh Co Ltd 画像データ処理装置
JP4458429B2 (ja) * 1993-12-10 2010-04-28 株式会社リコー カラー画像認識方法および装置
JP3030485B2 (ja) * 1994-03-17 2000-04-10 富士通株式会社 ３次元形状抽出方法及び装置
US6453069B1 (en) * 1996-11-20 2002-09-17 Canon Kabushiki Kaisha Method of extracting image from input image using reference image
US6532541B1 (en) * 1999-01-22 2003-03-11 The Trustees Of Columbia University In The City Of New York Method and apparatus for image authentication
US6751363B1 (en) * 1999-08-10 2004-06-15 Lucent Technologies Inc. Methods of imaging based on wavelet retrieval of scenes
JP2001216515A (ja) * 2000-02-01 2001-08-10 Matsushita Electric Ind Co Ltd 人物の顔の検出方法およびその装置
DE60228202D1 (de) * 2001-02-12 2008-09-25 Gracenote Inc Verfahren zum erzeugen einer identifikations hash vom inhalt einer multimedia datei
US20030152250A1 (en) * 2002-02-12 2003-08-14 Eliahu Pewzner Personal identification instrument and method therefor
JP4292837B2 (ja) * 2002-07-16 2009-07-08 日本電気株式会社 パターン特徴抽出方法及びその装置
JP2004192555A (ja) * 2002-12-13 2004-07-08 Fuji Xerox Co Ltd 情報管理方法、情報管理装置及び情報管理プログラム
US7809154B2 (en) * 2003-03-07 2010-10-05 Technology, Patents & Licensing, Inc. Video entity recognition in compressed digital video streams
JP2005031901A (ja) * 2003-07-10 2005-02-03 Nippon Conlux Co Ltd 硬貨識別装置および方法
US7983446B2 (en) * 2003-07-18 2011-07-19 Lockheed Martin Corporation Method and apparatus for automatic object identification
WO2005015498A1 (en) * 2003-08-07 2005-02-17 Koninklijke Philips Electronics N.V. Image object processing
JP2007504700A (ja) * 2003-09-02 2007-03-01 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 閉塞検出に基づく画素の時間的補間
KR20060123237A (ko) * 2003-11-05 2006-12-01 코닌클리즈케 필립스 일렉트로닉스 엔.브이. 이미지 식별 방법 및 장치, 이미지의 움직임을 결정하는방법 및 장치, 이미지 안정화 방법 및 장치, 컴퓨터프로그램 제품
US20060020597A1 (en) * 2003-11-26 2006-01-26 Yesvideo, Inc. Use of image similarity in summarizing a collection of visual images
JP4482796B2 (ja) * 2004-03-26 2010-06-16 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
EP2408193A3 (en) * 2004-04-16 2014-01-15 James A. Aman Visible and non-visible light sensing camera for videoing and object tracking
US7782339B1 (en) * 2004-06-30 2010-08-24 Teradici Corporation Method and apparatus for generating masks for a multi-layer image decomposition
US7876934B2 (en) * 2004-11-08 2011-01-25 Siemens Medical Solutions Usa, Inc. Method of database-guided segmentation of anatomical structures having complex appearances
JP2006163562A (ja) * 2004-12-03 2006-06-22 Matsushita Electric Ind Co Ltd 画像処理装置、および画像処理方法
KR100703528B1 (ko) * 2004-12-09 2007-04-03 삼성전자주식회사 영상 인식 장치 및 방법
JP2006268825A (ja) * 2005-02-28 2006-10-05 Toshiba Corp オブジェクト検出装置、学習装置、オブジェクト検出システム、方法、およびプログラム
US7657100B2 (en) * 2005-05-09 2010-02-02 Like.Com System and method for enabling image recognition and searching of images
JP4968882B2 (ja) * 2005-06-03 2012-07-04 キヤノン株式会社 画像検索装置、画像検索方法およびプログラム
JP4628882B2 (ja) * 2005-06-16 2011-02-09 富士フイルム株式会社 判別器の学習方法、顔判別方法および装置並びにプログラム
JP4757001B2 (ja) * 2005-11-25 2011-08-24 キヤノン株式会社 画像処理装置、画像処理方法
US8195005B2 (en) * 2006-02-01 2012-06-05 Nec Corporation Image processing, image feature extraction and image matching apparatuses, methods and programs, and image matching system
JP5085642B2 (ja) * 2006-04-20 2012-11-28 テレフオンアクチーボラゲット エル エム エリクソン（パブル） 画像ブロックを圧縮する方法、画像ブロックの圧縮表現を処理する方法、ブロック圧縮器、及びブロック伸張器
JP2007293438A (ja) * 2006-04-21 2007-11-08 Omron Corp 特徴量取得装置
EP2036354A1 (en) * 2006-06-20 2009-03-18 Koninklijke Philips Electronics N.V. Generating fingerprints of video signals
EP1912160B1 (en) * 2006-10-11 2012-05-16 Mitsubishi Electric R&D Centre Europe B.V. Image descriptor for image recognition
CN101226595B (zh) * 2007-01-15 2012-05-23 夏普株式会社 文档图像处理装置以及文档图像处理方法
JP5139716B2 (ja) * 2007-05-16 2013-02-06 キヤノン株式会社 画像検索装置及び画像検索方法
US8121414B2 (en) * 2007-06-13 2012-02-21 Sharp Kabushiki Kaisha Image processing method, image processing apparatus, and image forming apparatus
US8171030B2 (en) * 2007-06-18 2012-05-01 Zeitera, Llc Method and apparatus for multi-dimensional content search and video identification
US8719288B2 (en) * 2008-04-15 2014-05-06 Alexander Bronstein Universal lookup of video-related data
GB0800364D0 (en) * 2008-01-09 2008-02-20 Mitsubishi Electric Inf Tech Feature-based signatures for image identification
US8587668B2 (en) * 2008-07-25 2013-11-19 Anvato, Inc. Method and apparatus for detecting near duplicate videos using perceptual video signatures
US9042656B2 (en) * 2009-01-23 2015-05-26 Nec Corporation Image signature extraction device
US8175376B2 (en) * 2009-03-09 2012-05-08 Xerox Corporation Framework for image thumbnailing based on visual similarity
CN102349093B (zh) * 2009-03-13 2014-10-22 日本电气株式会社 图像签名提取设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5436653A (en) * 1992-04-30 1995-07-25 The Arbitron Company Method and system for recognition of broadcast segments
CN1828632A (zh) * 2005-02-28 2006-09-06 株式会社东芝 目标检测装置、学习装置、目标检测系统及目标检测方法

Also Published As

Publication number Publication date
EP2420973A4 (en) 2012-12-05
CN102395998A (zh) 2012-03-28
WO2010119657A1 (ja) 2010-10-21
JP5573862B2 (ja) 2014-08-20
JPWO2010119657A1 (ja) 2012-10-22
KR101353104B1 (ko) 2014-01-17
JP2012099160A (ja) 2012-05-24
JP5573865B2 (ja) 2014-08-20
JP5573863B2 (ja) 2014-08-20
JP4935961B2 (ja) 2012-05-23
KR20130116379A (ko) 2013-10-23
US8861871B2 (en) 2014-10-14
JP2012099158A (ja) 2012-05-24
EP2420973A1 (en) 2012-02-22
JP5573864B2 (ja) 2014-08-20
JP2012123832A (ja) 2012-06-28
KR101355299B1 (ko) 2014-01-23
US20120027309A1 (en) 2012-02-02
EP2420973B1 (en) 2019-11-13
JP2012099159A (ja) 2012-05-24
KR20120023607A (ko) 2012-03-13

Similar Documents

Publication Publication Date Title
CN102292745B (zh) 图像签名提取设备
CN102349091B (zh) 图像签名匹配设备
CN102395998B (zh) 图像签名提取设备
CN102822864B (zh) 图像签名匹配设备
CN102184411B (zh) 基于彩色信息的尺度不变特征点描述和匹配方法
CN102349093B (zh) 图像签名提取设备
CN102349092B (zh) 图像签名提取设备
CN113362337A (zh) 一种遥感影像面向对象分割权重参数的模糊区间自动确定方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant