CN102349091A - 图像签名匹配设备 - Google Patents
图像签名匹配设备 Download PDFInfo
- Publication number
- CN102349091A CN102349091A CN2010800110213A CN201080011021A CN102349091A CN 102349091 A CN102349091 A CN 102349091A CN 2010800110213 A CN2010800110213 A CN 2010800110213A CN 201080011021 A CN201080011021 A CN 201080011021A CN 102349091 A CN102349091 A CN 102349091A
- Authority
- CN
- China
- Prior art keywords
- image
- value
- dimension
- quantized
- representes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Library & Information Science (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
通过以下产生方法来产生用于匹配的图像签名。首先,从图像中的多个子区域对中的相应子区域中提取区域特征;对于每个子区域对,对成对的两个子区域的区域特征之间的差值进行量化。在执行量化时,如果差值的绝对值小于预定值,则将差值量化为特定量化值。然后,使用元素的集合作为要用于辨别图像的图像签名,所述元素是针对相应子区域对计算的量化值。图像签名匹配设备以使得具有所述特定量化值的元素的权重减小的方式,对利用上述产生方法产生的第一图像的图像签名和第二图像的图像签名进行匹配。
Description
技术领域
本发明涉及一种使用图像签名来匹配图像的设备,所述图像签名是用于辨别图像(确定图像同一性(identity))的特征。
背景技术
图像签名是用于辨别图像(确定图像同一性)的特征。通过将从图像中提取的图像签名与从另一图像中提取的图像签名进行比较,可以根据比较结果来计算指示两个图像相同程度的同一性标度(一般称为相似度或距离)。此外,通过将所计算的同一性标度与阈值进行比较,可以确定两个图像是否相同。在这里的上下文中,“两个图像相同”的含义不仅包括两个图像在图像信号(构成图像的像素的像素值)级相同的情况,还包括一个图像是另一图像通过各种变化过程的复制图像的情况,变化过程如图像的压缩格式的转换、图像的大小/宽高比的转换、图像的色调的调整、应用于图像的各种滤波过程(锐化、平滑等等)、应用于图像的局部处理(字幕叠加、剪切等等)、以及图像的重新捕捉。通过使用图像签名,由于可以检测图像的复制或者移动图像(为图像集合),例如,图像签名适用于图像或移动图像的合法拷贝检测系统。
专利文献1描述了图像签名的示例。图18是示出了专利文献1中描述的提取图像签名的方法的示意图。该图像签名是多维(在图18中为16维)特征向量。该方法包括:在图像240中,在预定位置分别计算32块矩形区域244(图18示出了其中16块矩形区域)的平均亮度值;以及计算形成对的矩形区域(图18中利用虚线248互相连接的成对矩形区域)之间的平均亮度值的差值,从而获得16维差向量250。关于差向量250,通过向量变换产生复合向量,并且使用通过对复合向量的相应纬度进行量化而获取的16维量化索引向量作为图像签名。
现有技术文献
专利文献
专利文献1:日本未审专利公开No.8-500471
发明内容
本发明要解决的问题
在由多维特征向量形成的图像签名中,由于维度之间的相关性较小,特征向量保存的信息量较大(冗余较小),因此这种图像签名具有较高辨别能力(辨别不同图像的程度)。相反,如果特征向量中的维度之间的相关性较大,则由于特征向量保存的信息量较小(冗余较大),因此辨别能力较低。应当注意,维度之间的相关性是从维度的特征中出现的相似性程度,在数学上,例如,如果将每个维度的特征的出现设置为概率变量,则维度之间的相关性是被计算为概率变量之间的相关性系数或互信息量的值。因此,期望由多维特征向量形成的图像签名应当被设计为使得维度之间的相关性较小。
图像信号(构成图像的像素的像素值)具有图像的局部区域之间的相关性。一般地,由于局部区域之间的距离较短,因此相关性较大。具体地,在指定图像图案重复出现的图像中(尤其在图像图案以规则周期重复出现的情况下)(例如,以栅格图案布置的建筑物窗户的图像,见图19(A))或者在由特定纹理形成的图像中(见图19(B)),例如,图像的局部区域之间的相关性较大。
[第一问题]
对于由包括从图像的多个局部区域中提取的特征在内的特征向量形成的图像签名,如专利文献1中所述,由于对于图像中局部区域之间的相关性较大的图像,在每个维度中用于提取特征的局部区域的形状相同(在专利文献1的示例中为相同形状的矩形区域),因此所提取的特征的维度之间的相关性较大。因此,存在第一问题:图像签名(特征向量)的辨别能力较低。应当注意,形状相同意味着区域相同,包括其大小和角度(倾斜或朝向)。
例如,专利文献1中描述的图像特征对于指定图像图案重复出现的图像(见图19(A))或由特定纹理形成的图像(见图19(B))具有较低的辨别能力。
[第二问题]
专利文献1中描述的图像签名的第二问题在于:由于用于计算特征(特征向量)的相应维度的区域的形状为相同的矩形形状(包括大小和角度),因此在频率上存在盲点,在盲点处不能检测到具有与矩形的边长相同或者是其整数分之一的周期的频率分量。这是由于,如果针对这种特定频率的信号分量,在区域内计算平均,则无论信号分量的幅度如何,该值变为0,使得完全不能检测到这种频率分量的信号。更具体地,假定具有与矩形边长相同周期的频率为f0,则不能检测到频率nf0的分量(n=1,2,3,…)。因此,对于信号集中于直流分量和这种频率分量的图像,像素值的平均值变为与直流分量相同,从而在区域之间没有数值上的差异。因此,作为区域之间的平均像素值的差值而提取的每个特征的值变为0,使得不能执行辨别(辨别能力显著降低)。实际上,由于不仅难以检测频率nf0的分量(n=1,2,3,…)而且难以检测特定附近频率区域,即使信号不集中于上述特定频率,也不能使用这种频带的信号分量,从而降低了辨别能力。为了减轻该问题,可以增大频率f0的值,以减小落入难以检测的频带的电信号。然而,增大频率f0的值意味着减小区域的大小,导致频率健壮性(特征不随各种改变过程或噪声而变化的程度)降低。例如,如果区域变小,则特征的值相对于较小的位置偏移变化较大,从而降低了特征的健壮性。如上所述,在使用相同的矩形区域时,极其难以在提高辨别能力的同时确保健壮性。
[本发明的目的]
本发明的目的是提供一种图像签名匹配设备,能够解决上述问题,即在使用具有较低辨别能力(辨别不同图像的程度)的图像签名来进行匹配时匹配精度降低的问题。
解决问题的手段
根据本发明的一方面,一种图像签名匹配设备,包括:匹配单元,用于对第一图像的图像签名和第二图像的图像签名进行匹配。第一图像的图像签名和第二图像的图像签名是通过产生方法来产生的,所述产生方法包括:从图像中的多个子区域对中的相应子区域中提取区域特征;对于每个子区域对,对成对的两个子区域的区域特征之间的差值进行量化;其中,在执行量化时,如果差值的绝对值小于预定值,则将差值量化为特定量化值;以及使用元素的集合作为要用于辨别图像的图像签名,所述元素是针对相应子区域对计算的量化值。所述匹配单元以使得具有所述特定量化值的元素的权重减小的方式,对第一图像的图像签名和第二图像的图像签名进行匹配。
本发明的效果
由于如上所述配置本发明,可以使用具有较高辨别能力(辨别不同图像的程度)的图像签名来以高精度执行第一图像和第二图像之间的匹配。具体地,针对局部区域之间的相关性较高的图像,显著地实现该有利效果。
此外,根据本发明,可以针对信号集中于特定频率的图像,使用图像签名来执行匹配,而不降低辨别能力。
附图说明
图1是示出了本发明第一实施例的框图。
图2是示出了由每维度提取信息示出的相应维度的示例提取区域对的示意图。
图3是示出了本发明第一实施例中的比较单元的示例的框图。
图4是示出了本发明第一实施例中的比较单元的另一示例的框图。
图5是示出了本发明第一实施例中的处理流程的流程图。
图6是示出了本发明第二实施例的主要部分的框图。
图7是示出了本发明第二实施例中的处理流程的流程图。
图8是示出了本发明第三实施例的框图。
图9是示出了相应维度的区域特征计算方法的示例的表。
图10是示出了本发明第三实施例中的处理流程的流程图。
图11是示出了本发明第四实施例的框图。
图12是示出了相应维度的比较和量化方法的示例的表。
图13是示出了本发明第四实施例中的处理流程的流程图。
图14-a是示出了在本发明的第五实施例和第六实施例中使用的每维度提取区域信息的表。
图14-b是示出了在本发明的第五实施例和第六实施例中使用的每维度提取区域信息的表。
图14-c是示出了在本发明的第五实施例和第六实施例中使用的每维度提取区域信息的表。
图14-d是示出了在本发明的第五实施例和第六实施例中使用的每维度提取区域信息的表。
图14-e是示出了在本发明的第五实施例和第六实施例中使用的每维度提取区域信息的表。
图14-f是示出了在本发明的第五实施例和第六实施例中使用的每维度提取区域信息的表。
图14-g是示出了在本发明的第五实施例和第六实施例中使用的每维度提取区域信息的表。
图14-h是示出了在本发明的第五实施例和第六实施例中使用的每维度提取区域信息的表。
图14-i是示出了在本发明的第五实施例和第六实施例中使用的每维度提取区域信息的表。
图14-j是示出了在本发明的第五实施例和第六实施例中使用的每维度提取区域信息的表。
图15-a是示出了在本发明的第五实施例中使用的每维度区域特征计算方法信息的表。
图15-b是示出了在本发明的第五实施例中使用的每维度区域特征计算方法信息的表。
图15-c是示出了在本发明的第五实施例中使用的每维度区域特征计算方法信息的表。
图15-d是示出了在本发明的第五实施例中使用的每维度区域特征计算方法信息的表。
图15-e是示出了在本发明的第五实施例中使用的每维度区域特征计算方法信息的表。
图16-a是示出了在本发明的第六实施例中使用的每维度区域特征计算方法信息的表。
图16-b是示出了在本发明的第六实施例中使用的每维度区域特征计算方法信息的表。
图16-c是示出了在本发明的第六实施例中使用的每维度区域特征计算方法信息的表。
图16-d是示出了在本发明的第六实施例中使用的每维度区域特征计算方法信息的表。
图16-e是示出了在本发明的第六实施例中使用的每维度区域特征计算方法信息的表。
图17-a是示出了在本发明的第五实施例和第六实施例中使用的每维度比较和量化方法信息的表。
图17-b是示出了在本发明的第五实施例和第六实施例中使用的每维度比较和量化方法信息的表。
图17-c是示出了在本发明的第五实施例和第六实施例中使用的每维度比较和量化方法信息的表。
图17-d是示出了在本发明的第五实施例和第六实施例中使用的每维度比较和量化方法信息的表。
图17-e是示出了在本发明的第五实施例和第六实施例中使用的每维度比较和量化方法信息的表。
图18是专利文献1中描述的提取图像签名的方法的示意图。
图19是示出了局部区域之间的相关性较大的图像的示例的示意图。
图20是示出了单调非递增函数f(D)的示例的图。
图21是示出了用于匹配量化索引向量的匹配单元的框图。
图22是示出了用于匹配量化索引向量的匹配单元执行的示例过程的流程图。
图23是示出了用于匹配量化索引向量的匹配单元执行的另一示例过程的流程图。
图24是用于匹配量化索引向量的匹配单元执行的又一示例过程的流程图。
图25是用于匹配量化索引向量的匹配单元执行的又一示例过程的流程图。
图26是用于匹配量化索引向量的匹配单元执行的又一示例过程的流程图。
图27是示出了应用于通过将图像划分为垂直方向32部分和水平方向32部分而形成的1024块的索引的示例的表。
图28-a是示出了本发明的第七实施例中,在与相应维度相对应的区域中属于一个类型的区域的表。
图28-b是示出了本发明的第七实施例中,在与相应维度相对应的区域中属于一个类型的区域的表。
图28-c是示出了本发明的第七实施例中,在与相应维度相对应的区域中属于一个类型的区域的表。
图28-d是示出了本发明的第七实施例中,在与相应维度相对应的区域中属于一个类型的区域的表。
图28-e是示出了本发明的第七实施例中,在与相应维度相对应的区域中属于一个类型的区域的表。
图28-f是示出了本发明的第七实施例中,在与相应维度相对应的区域中属于一个类型的区域的表。
图28-g是示出了本发明的第七实施例中,在与相应维度相对应的区域中属于一个类型的区域的表。
图29是示出了每个维度的区域类型、维度数目和与阈值相对应的索引之间的关系的表。
图30-a是示出了区域类型a的维度的第一和第二提取区域的示例的示意图。
图30-b是示出了区域类型b的维度的第一和第二提取区域的示例的示意图。
图30-c是示出了区域类型c的维度的第一和第二提取区域的示例的示意图。
图30-d是示出了区域类型d的维度的第一和第二提取区域的示例的示意图。
图30-e是示出了区域类型e的维度的第一和第二提取区域的示例的示意图。
图30-f是示出了区域类型f的维度的第一和第二提取区域的示例的示意图。
图30-g是示出了区域类型g的维度的第一和第二提取区域的示例的示意图。
具体实施方式
[第一实施例]
[第一实施例的配置]
接下来,参照附图来详细描述本发明的第一实施例。
参照图1,根据本发明第一实施例的图像签名提取设备是一种针对输入图像输出由多个维度形成的特征向量(更具体为量化索引向量)作为图像签名的系统。该图像签名提取设备包括:维度确定单元1;提取区域获取单元2;区域特征计算单元3;以及比较单元4。
维度确定单元1确定接下来要提取的特征向量的维度,并将其提供给提取区域获取单元2。维度确定单元1顺序地提供要提取的特征向量的维度,并且在提取区域获取单元2提取与所提供的维度相对应的特征之后提供构成元素。例如,如果特征向量由N维形成,则维度确定单元1可以顺序地将第1维至第N维提供给提取区域获取单元2。如果最终提供了特征向量的所有维度,则可以以任何顺序来提供维度。还可以并行地提供多个维度。
除了从维度确定单元1提供的维度之外,还向提取区域获取单元2提供每维度提取区域信息作为输入。
每维度提取区域信息是指示用于提取维度的特征的第一提取区域和第二提取区域的预定对的信息,该信息与特征向量的每个维度相关联。第一和第二提取区域具有以下特征作为先决条件。
[第一和第二提取区域的先决条件]
第一和第二提取区域的先决条件是:一对提取区域的相对位置在维度间不同,并且一对提取区域的形状的组合在维度之间不同。
图2示出了示例提取区域对,针对每维度提取区域信息所指示的每个维度,满足先决条件。与图18中所示的图像签名的提取区域不同,提取区域对的形状的组合在各个维度之间不同。形状不同包括不同角度的相同形状(例如图2中第1维度的第二提取区域和第7维度的第一提取区域)以及不同大小的相似形状(例如图2中第1维度的第二提取区域和第9维度的第二提取区域)。应当注意,最小条件是:在特征向量的所有维度中包括至少一个维度,该至少一个维度中的提取区域对具有不同形状的组合。期望特征向量包括大量维度,这些维度具有形状(的组合)互不相同的提取区域对。这是由于,当特征向量包括形状(的组合)互不相同的提取区域对时,在特征向量中,维度之间的大量相关性变小,从而辨别能力变高。例如,在特征向量的所有维度中,提取区域对的形状可以互不相同。
维度中的第一提取区域和第二提取区域不必需具有与图2的第9维度中所示的相同的形状,而是可以具有如图2的其他维度中所示的不同形状。如果在每个维度中第一提取区域和第二提取区域的形状不同,则从第一提取区域和第二提取区域中提取的特征之间的相关性变小,从而辨别能力变高。因此,这是有利的。此外,在该情况下,由于第一提取区域和第二提取区域同时变为针对相同频率的盲点的可能性较小,因此辨别能力变高。
各个提取区域可以采取任何形状。例如,任何复杂形状(如图2中第6维度的第二提取区域)也是可接受的。如果提取区域由图像中的多个像素形成,则线段和曲线也是可接受的,如图2中的第7维度和第10维度中所示。此外,提取区域可以由多个不连续小区域组成,如第8维度的第一提取区域、第11维度的第一和第二提取区域以及第12维度的第一提取区域。如上所述,如果特征向量包括具有复杂形状的提取区域,则可以降低从其提取的特征的维度之间的相关性,从而辨别能力可以更高。
此外,第一提取区域和第二提取区域的部分还可以互相重叠,如在图2的第5维度中。此外,一对提取区域中的任一个提取区域可以包括在另一个提取区域中。如上所述,通过允许一对提取区域重叠,由于可以针对提取区域对可以采取更大量图案(相对位置、距离),因此可以增加能够降低维度之间相关性的图案,从而提高改进辨别能力的可能性。
此外,与图18中所示的图像签名的提取区域不同,如图2中所示的各个维度,提取区域的部分可以在维度之间互相重叠。如果如图18中所示的图像签名的提取区域中所示,在维度之间排他地取得提取区域,则提取区域对的可能图案是有限的。通过如图2所示允许提取区域在维度之间重叠,可以增加能够降低维度之间相关性的图案,从而提高改进辨别能力的可能性。然而,如果存在提取区域在维度之间的过多重叠部分,则维度之间的相关性变大,从而辨别能力变低。因此,这是不利的。
此外,期望将提取区域取为使得在针对所有维度将提取区域组合时,不从中提取特征的区域较小(这意味着可以覆盖几乎全部屏幕图像)。如果如图18中的情况那样,不从中提取特征的区域较大,则图像信号(构成图像的像素的像素值)中包括的大部分信息未被使用,从而辨别能力不高。通过将提取区域取为使得在针对所有维度将提取区域组合时,不从中提取特征的区域较小(这意味着可以覆盖几乎全部屏幕图像),图像信号中包括的较大部分信息可以反映在特征上,从而辨别能力可以较高。此外,期望在针对所有维度将提取区域组合时,提取特征不偏倚,而是从整个图像中均匀地获得。然而,如果对指定区域执行局部处理(如字幕叠加)的概率较高,则期望在避免这种区域的同时获得提取区域。此外,一般地,由于图像边缘周围的区域通常不包括图像的特征部分,因此期望在避免这种环绕区域的同时获得提取区域。
此外,期望提取区域的大小和相对位置(距离、方向)服从特定分布(例如均匀分布),因为如果相对位置(距离、方向)服从均匀分布,则提取区域关于距离或方向不偏倚,从而可以实现较宽的变化。此外,由于随着相对位置接近,区域之间的相关性较大,因此为了抵消这种效应,期望随着相对位置越靠近,形状上的差异越大。
如果可以利用每维度提取区域信息来唯一指定针对每个维度的第一提取区域和第二提取区域,则该信息可以具有任何形式。此外,由于对于任何大小或宽高比的图像,提取区域必须始终为相同区域,因此每维度提取区域信息应当具有可以对于任何大小或宽高比的图像获得相同提取区域的形式。例如,每区域提取区域可以关于具有预定大小和宽高比的图像(例如具有320像素水平宽度x240像素垂直宽度的图像)来描述提取区域的位置和形状。在该情况下,对于以任意大小和宽高比输入的图像,首先将该图像的大小调整为具有预定大小和宽高比,然后根据在每维度提取区域信息中描述的提取区域的位置和形状来指定提取区域。相反,还可以对与输入图像的任何大小和宽高比的图像相对应的每维度提取区域信息中描述的提取区域的位置和形状进行转换,从而指定提取区域。
每维度提取区域信息中包括的指示每个提取区域的信息可以是描述构成提取区域的所有像素相对于具有预定大小和宽高比的图像(例如具有320像素水平宽度x240像素垂直宽度的图像)的坐标值集合的信息。此外,每维度提取区域信息中包括的指示每个提取区域的信息可以是利用参数来描述提取区域相对于具有预定大小和宽高比的图像的位置和形状的信息。例如,如果提取区域的形状是四边形,则该信息可以描述四边形的四个角的坐标值。此外,如果提取区域的形状是圆形,则该信息可以描述圆心的坐标值和圆的半径值。
此外,还可以采用以下方法:利用伪随机数种子作为每维度提取区域信息,在提取区域获取单元2内,通过从种子开始产生伪随机数,从而根据随机数来产生不同形状的提取区域(例如,根据随机数来确定四边形的四个角)。具体地,可以根据以下过程来获取每维度提取区域。
(1)提供伪随机数的种子,作为每维度提取区域信息。
(2)将维度n设置为n=1。
(3)产生伪随机数,确定针对维度n的第一提取区域的四边形的4个角。
(4)产生伪随机数,确定针对维度n的第二提取区域的四边形的4个角。
(5)将维度n设置为n+1,过程返回(3)。
由于基于随机数来确定提取区域,对于各个维度,所产生的提取区域互不相同。此外,如果伪随机数的种子相同,则由于每次(关于任何图像)产生相同的随机数,因此针对不同图像复制了相同的提取区域。
提取区域获取单元2从作为输入提供的每维度提取区域信息中获取指示与从维度确定单元1提供的维度相对应的第一提取区域和第二提取区域的信息,并向提取区域表示值计算单元3输出该信息。
除了来自提取区域获取单元2的输入(指示第一提取区域和第二提取区域的信息)之外,还向区域特征计算单元3提供作为图像签名的提取目标的图像以作为输入。区域特征计算单元3包括第一区域特征计算单元31和第二区域特征计算单元32。利用第一区域特征计算单元31,区域特征计算单元3根据作为输入提供的图像,基于指示从提取区域获取单元2提供的第一提取区域的信息来计算第一提取区域的特征,作为每个维度的第一区域特征,并将该特征提供给比较单元4。此外,利用第二区域特征计算单元32,区域特征计算单元3根据作为输入提供的图像,基于指示从提取区域获取单元2提供的第二提取区域的信息来计算第二提取区域的特征,作为每个维度的第二区域特征,并将该特征提供给比较单元4。
应当注意,为了基于指示第一提取区域和第二提取区域的信息,相对于输入图像来指定相应提取区域,在必要时,提取区域获取单元2将图像大小调整为具有每维度提取区域信息中的预定大小和宽高比。
区域特征计算单元3使用相应提取区域中包括的一组像素的像素值来计算相应提取区域的区域特征。在本实施例中,像素值是图像的每个像素保存的信号的值,是标量或向量。例如,如果图像是亮度图像,则像素值是亮度值(标量);如果图像是彩色图像,则像素值是指示颜色分量的向量。如果彩色图像是RGB图像,则像素值是R分量、G分量和B分量的三维向量。此外,如果彩色图像是YCbCr图像,则像素值是Y分量、Cb分量和Cr分量的三维向量。
如果计算维度的提取区域(第一提取区域和第二提取区域)的方法是恒定的(针对任何输入图像使用相同计算方法),则可以使用任何方法来计算提取区域的区域特征。
此外,要计算的区域特征可以是标量或向量。例如,如果像素值是标量(如亮度值),则区域特征可以被计算为平均值、中值、最频(mode)值、最大值、最小值等等(其中每一个是标量)。此外,例如,还可以对提取区域中包括的像素值进行排序,并从分布(排序的顺序)的顶部或底部的预定比例位置处获得像素值作为区域特征(也是标量)。更具体地,针对百分比P%(例如P=25%)为预定比例的情况给出解释。提取区域中包括的总计N个像素的像素值(亮度值)按升序排序,并且将按升序排序的像素值(亮度值)集合表示为Y(i)={Y(0),Y(1),Y(2),...,Y(N-1)}。在本示例中,例如,从按升序排序的排列的底部P%的位置处的像素值为Y(floor(N*P/100)),因此获得该值作为提取区域的区域特征。应当注意,floor()是截断小数点之后位置的函数。在本示例中,通过对提取区域中包括的像素的亮度值应用该公式Y(floor(N*P/100))而计算的区域特征被称为“百分比亮度值特征”。
此外,如果像素值是向量(如颜色分量),则可以首先通过任何方法将该值转换为标量,然后通过上述方法来计算区域特征。例如,如果像素值是RGB分量的3维向量,则可以首先将该值转换为亮度值(标量),然后通过上述方法来计算区域特征。此外,如果像素值是向量,还可以使用提取区域中包括的像素值的平均向量作为区域特征。
此外,还可以对提取区域执行任何操作(差分操作、滤波操作),如边缘检测或模版匹配,并使用操作结果作为区域特征。例如,它可以是指示边缘方向(梯度方向)的二维向量,或者指示与模版的相似度的标量。
此外,可以获得示出提取区域中包括的颜色分布、边缘方向分布或边缘强度分布的直方图作为区域特征(其中每一个是向量)。
此外,可以使用ISO/IEC 15938-3中定义的各种特征中的任一种,包括:主导颜色、颜色布局、可缩放颜色、颜色结构、边缘直方图、均质纹理、纹理浏览、区域形状、轮廓形状、形状3D、参数运动和运动活动。
比较单元4针对每个维度,将从区域特征计算单元3提供的第一区域特征与第二区域特征进行比较,并对比较结果进行量化,以输出所获取的量化索引。由于比较单元4输出针对各个维度的量化索引,最终输出由多个维度的量化索引构成的量化索引向量。
比较单元4可以使用任何方法来将第一区域特征与第二区域特征进行比较并执行量化。此外,针对每个维度,量化索引的数目也是任意的。
如果例如区域特征是标量(例如亮度值的平均值),则比较单元4可以比较其幅度;如果第一区域特征较大,则将量化索引设置为+1,在其他情况下,将量化索引设置为-1,以将比较结果量化为+1和-1两个值的量化索引。应当注意,对于维度n,如果第一区域特征为Vn1并且第二区域特征为Vn2,则维度n的量化索引Qn可以通过以下表达式来计算。
[表达式1]
Qn=+1(ifVn1>Vn2)
-1(ifVn1≤Vn2)
图3示出了当比较单元4基于上述表达式1来执行比较和量化时,比较单元4的更详细配置图。
参照图3,比较单元4包括:幅度比较单元41和量化单元42。
当提供了第一区域特征和第二区域特征时,幅度比较单元41将第一区域特征的值与第二区域特征的值进行比较,并将比较结果提供给量化单元42。这意味着,幅度比较单元41将Vn1的幅度与Vn2的幅度进行比较,并将指示比较结果是Vn1>Vn2还是Vn1≤Vn2的信息提供给量化单元42作为幅度比较结果。
基于从幅度比较单元41提供的幅度比较结果,量化单元42根据表达式1来执行量化,并输出量化索引。因此,量化单元42以如下方式输出量化索引:使得如果提供了指示比较结果为Vn1>Vn2的信息,则量化索引为+1;而如果提供了指示比较结果为Vn1≤Vn2的信息,则量化索引为-1。
应当注意,根据表达式1的比较和量化方法以下称为比较和量化方法A。
此外,如果区域特征是标量(例如亮度值的平均值),则比较单元4可以以如下方式执行量化:使得如果差值的绝对值小于或等于预定阈值,则确定在第一区域特征与第二区域特征之间不存在差值,从而设置指示无差值的量化索引0;在其他情况下,比较单元4对其幅度进行比较,如果第一区域特征较大,则设置量化索引+1,而在其他情况下,设置量化索引-1,从而量化索引为+1、0和-1三个值中的任一个。假定维度n的第一区域特征为Vn1,其第二区域特征为Vn2,预定阈值为th,则可以根据以下表达式来计算维度n的量化索引Qn。
[表达式2]
Qn=+1(if|Vn1-Vn2|>th and Vn1>Vn2)
0(if|Vn1-Vn2|≤th)
-1(if|Vn1-Vn2|>th and Vn1≤Vn2)
图4示出了当比较单元4基于上述表达式2来执行比较和量化时,比较单元4的更详细配置图。
参照图4,比较单元4包括:差值计算单元43和量化单元44。预先向量化单元44提供阈值作为输入,该阈值是指示量化边界的预定信息(量化边界信息)。
当提供了第一区域特征和第二区域特征时,差值计算单元43计算第一区域特征的值与第二区域特征的值之间的差值,并将所计算的差值提供给量化单元44。这意味着差值计算单元43计算Vn1-Vn2,并将结果值提供给量化单元44。
量化单元44基于从差值计算单元43提供的差值和阈值(指示作为输入提供的预定量化边界的信息(量化边界信息)),根据表达式2来执行量化,并输出量化索引。这意味着,量化单元42基于基于从差值计算单元41提供的Vn1-Vn2的值以及作为索引提供的阈值,以如下方式输出量化索引:如果|Vn1-Vn2|>th并且Vn1-Vn2>0,则量化索引为+1;如果|Vn1-Vn2|>th并且Vn1-Vn2≤0,则量化值为-1;如果|Vn1-Vn2|≤th,则量化索引为0。
基于表达式2的比较和量化方法以下称为比较和量化方法B。
尽管在本示例中,基于差值,以三个值来执行量化,但是可以根据差值的幅度,以更大数目(等级)的量化索引来执行量化。即使在该情况下,比较单元4具有图4中所示的配置,并且向量化单元44提供多个阈值(作为指示各个等级的预定量化边界的信息(量化边界信息))作为输入。基于该差值和作为输入提供的阈值来量化为4个或更多等级的比较和量化方法以下称为比较和量化方法C。
如上所述,与根据表达式1的方法相比,通过针对第一区域特征与第二区域特征之间的差值较小(小于或等于预定阈值)从而确定不存在差值的情况引入指示不存在差值的量化索引,可以使得区域特征之间具有较小差值的一对提取区域的维度中的特征(量化索引)更加稳定,即对于各种改变过程和噪声更加健壮。因此,可以输出对于局部区域之间整体上具有较小差值的图像(即整体上具有较小变化的平坦图像,例如蓝天的图像)较为稳定并且对于各种改变过程和噪声较为健壮的图像签名(量化索引向量)。
此外,例如如果区域特征是向量,则比较单元4可以首先通过任何任意方法将向量转换为标量,然后通过上述方法来执行量化(该比较和量化方法以下称为比较和量化方法D)。例如,还可以根据第一提取区域的向量来计算差向量,该差向量是与第二提取区域的向量之差,并对该差向量进行量化,从而获得量化索引。在该情况下,提供针对各个量化索引的预定表示向量(重心向量等等),并将其分类为在表示向量与差向量之间具有最大相似度(最小距离)的量化索引(该比较和量化方法以下称为比较和量化方法E)。此外,与根据上述表达式2的标量的量化类似,如果差向量的范数小于或等于预定阈值,则可以确定第一区域特征与第一区域特征之间不存在差值,从而引入指示无差值的量化索引作为指示无差值的量化索引0。
应当注意,在对本发明中输出的量化索引向量进行匹配时(在将从图像中提取的量化索引向量与从另一图像中提取的量化索引向量进行比较以确定它们是否相同时),量化索引相符的维度数目(相似度)或者量化索引不相符的维度数目(汉明距离)可以被计算为同一性标度,将同一性标度与阈值进行比较,从而可以确定图像的同一性。
此外,如果在比较单元4中基于表达式2来计算量化索引,则同一性标度(相似度)可以计算如下。首先,在对应维度之间,将两个图像的量化索引向量互相比较,并计算不是“两个量化索引均为0”的维度数目(该值为设置为A)。接下来,在不是“两个量化索引均为0”的维度中,计算量化索引相符的维度数目(该值被设置为B)。然后,将相似度计算为B/A。如果A=0(即如果在每个维度中两个量化索引均为0),则相似度被设置为预定数值(例如0.5)。
还可以计算在不是“两个量化索引均为0”的维度中量化索引不相符的维度的数目(该值被设置为C),从而将同一性标度(距离)计算为C/A。如果A=0(即如果在每个维度中两个量化索引均为0),则将同一性标度(距离)设置为预定数值(例如0.5)。与将同一性标度计算为B/A的方法相比,以下示出了将同一性标度计算为C/A的方法的有利效果。由于B+C=A,在计算B(量化索引相符的维度数目)以获得B/A的情况与计算C(量化索引不相符的维度数目)以获得C/A的情况之间,在图像的同一性确定精度方面不存在差异(由于B/A=1-C/A以及C/A=1-B/A,因此,两者之间的唯一差异在于,B/A将同一性标度计算为“相似度”;而C/A将同一性标度计算为“距离”)。然而,当通过将所计算的同一性标度与预先给定的阈值进行比较来确定同一性时,如果终止计算相似度标度以减小计算代价,则两种方法之间产生计算代价方面的差异。对相似度标度的计算如下终止。已经预先给定了用于同一性确定的阈值。对于相应维度,依次确定量化索引是否彼此{相符·不相符},计算量化索引彼此{相符·不相符}的维度的数目的值(递增),并且将该值与阈值进行依次比较。当量化索引彼此{相符·不相符}的维度的数目超过阈值时,可以终止计算(由于显然即使继续计算该值也将超过阈值)。应当注意,一般地,如果将同一性标度(相似度)计算为B/A,则将用于同一性确定的阈值设置为大于0.5(一半)的值;如果将同一性标度(距离)计算为C/A,则将用于同一性确定的阈值设置为小于0.5(一半)的值(在前一情况下,如果所计算的值大于阈值,则确定图像相同;而在后一情况下,如果所计算的值小于阈值,则确定图像相同)。例如,当计算B/A时,将阈值设置为0.8;当计算C/A时,将阈值设置为0.2。如果A=100,在计算B/A的情况下,依次计算B的值,当B的值超过80时,可以终止计算。在计算C/A的情况下,依次计算C的值,当C的值超过20时,可以终止计算。这意味着,在计算B的情况下,直到值超过80才可以终止计算,而在计算C的情况下,当值超过20时可以终止计算。因此,由于在将同一性标度计算为C/A而不是将其计算为B/A时,可以在较早的时间点终止计算,因此将同一性标度计算为C/A将具有减小计算代价的有利效果。
此外,还可以将“两个量化索引均为0”的维度的数目计算为D(如果维度总数为N,则A+D=N),从而使用D的任何单调非递增函数f(D),将同一性标度计算为B/f(D)或C/f(D)。D的单调非递增函数f(D)是以下函数:其中对于D1<D2,满足f(D1)≥f(D2)。图20是示出了f(D)相对于D的示例的图(水平轴指示D,垂直轴指示f(D))。在图20中,函数(i)(其中f(D)=常数)得出与简单计算为B或C的同一性标度具有相同值的同一性标度;函数(ii)(其中f(D)=N-D=A)得出与计算为B/A或C/A的同一性标度具有相同值的同一性标度。应当注意,f(D)不必需如函数(i)或函数(ii)一样相对于D具有线性形状,只要f(D)是D的单调非递增函数,f(D)可以是如函数(iii)或函数(iv)的非线性形状。以下将提供如上所述使用D的任何单调非递增函数将同一性标度计算为B/f(D)或C/f(D)的有利效果。参照表达式2,量化索引0指示两个提取区域的区域特征的值之间不存在差值(小于或等于阈值)。在整体变化较小的平坦图像区域中(即局部区域的特征之间的差值较小(天空区域,白墙区域等等)),量化索引0的数目可能较大(例如,在整体平坦的蓝天图像中,几乎所有维度中的量化索引为0);此外,当这种平坦图像区域包括在许多图像中时,在通过比较两个图像的量化索引向量来确定同一性时,量化索引为0的维度显现出较低的有效性。在两个比较图像的量化索引向量中,认为“两个量化索引均为0”的维度是在通过比较两个图像的量化索引向量来确定同一性时有效性较低的维度。在B和C中,消除“两个量化索引均为0”的较低有效性的维度,以限于不是“两个量化索引均为0”的较高有效性的维度,从而计算量化索引相符的维度的数目(B)或者量化索引不相符的维度的数目(C)。通过消除较低有效性的维度以限于较高有效性的维度从而计算同一性标度,可以实现高精度匹配以确定图像的同一性。此外,f(D)根据“两个量化索引均为0”的维度的数目,即根据较低有效性的维度的数目,来对B或C的值进行归一化(因为D越大,A越小,使得B或C的值变小,从而通过单调非递增函数,相对于D来执行归一化)。应当注意,由于任何单调非递增函数用作用于归一化的函数,可以调整(控制)同一性标度的行为,从而提供以下有利效果:根据被执行同一性确定的图像数据库或应用,可以实现优化。
在前一段落(段0064)中描述的计算同一性标度的方法中,消除“两个量化索引均为0”的较低有效性的维度并限于不是“两个量化索引均为0”的较高有效性的维度,从而计算同一性标度。然而,还可以不完全消除“两个量化索引均为0”的较低有效性的维度,而使用关于D(D是“两个量化索引均为0”的维度的数目)的单调非递减函数g(D),以将同一性标度计算为(B/f(D))+g(D)。应当注意,第一项B/f(D)是根据不是“两个量化索引均为0”的较高有效性维度而计算的同一性标度,后一项g(D)是根据“两个量化索引均为0”的较低有效性维度而计算的同一性标度,并且整体同一性标度定义为两者之和。通过设计单调非递减函数g(D)以使得后一项g(D)的效果(权重)变为小于第一项B/f(D)的效果(权重),可以计算同一性标度,使得具有较高有效性的第一项B/f(D)的权重较大。例如,可以使用较小加权值β,将同一性标度计算为(B/f(D))+β*D。此外,当f(D)=常数时,如果1/f(D)=α,则可以将同一性标度计算为α*B+β*D。如上所述,通过将不是“两个量化索引均为0”的较高有效性维度与“两个量化索引均为0”的较低有效性维度分离来计算同一性标度,可以在考虑整体维度的同时,调整(控制)较高有效性维度和较低有效性维度的相对权重(例如,增大较高有效性维度的权重)。这提供了有利效果,使得可以根据被执行同一性确定的图像数据库或应用来执行优化。
应当注意,在段0062至0065中,尽管基于在要比较的量化索引相信中“两个量化索引均为0”的维度(的数目)和不是“两个量化索引均为0”的维度(的数目)来描述了计算同一性标度的方法,但是还可以通过基于“任一量化索引为0”的维度(的数目)和“任一量化索引不为0”的维度(的数目)的类似计算方法来计算同一性标度。这意味着,在0062至0065段落中的“两个量化索引均为0”的维度(的数目)和不是“两个量化索引均为0”的维度(的数目)可以分别被“任一量化索引为0”的维度(的数目)和“任一量化索引不为0”的维度(的数目)所代替。
尽管基于根据表达式2来计算量化索引的前提来描述了0062至0065段中描述的匹配方法(同一性标度计算方法),但是匹配方法不限于基于表达式2来计算量化索引的情况。如果在比较单元4中引入量化索引的量化方法,量化索引指示在作为两个提取区域(第一提取区域和第二提取区域)的特征的第一区域特征与第二区域特征之间不存在差值(差值较小,即小于或等于预定阈值),则这种匹配方法可以适用。因此,0062至0066段中的量化索引0应当被理解为“指示第一区域特征与第二区域特征之间不存在差值(差值较小,即小于或等于预定阈值)”的量化索引。
如果通过0061至0067段中描述的对从两个图像中提取的量化索引进行匹配的方法来计算同一性标度的装置是匹配装置,则可以配置包括该匹配装置作为组成元件的图像签名匹配设备。匹配单元对从比较单元4输出的第一图像的量化索引向量与第二图像的量化索引向量进行比较,计算同一性标度并将其输出。此外,除了匹配单元之外,图像签名匹配设备还可以包括同一性确定单元。同一性确定单元将从匹配单元提供的同一性标度的幅度与给定阈值进行比较,确定第一图像和第二图像是否相同,并输出确定结果。
应当注意,在0061至0068段中描述的匹配量化索引向量的方法可以适用于以下描述的所有实施例(第二实施例、第三实施例、第四实施例以及其他实施例)。
[第一实施例的操作]
接下来,参照图5的流程图来描述根据第一实施例的图像签名提取设备的操作。在图5的流程图中,特征向量的维度(编号)表示为“n”,从1至N共有N个维度。
首先,维度确定单元1将维度1确定为用于提取特征向量的第一维度(n=1),并将其提供给提取区域获取单元2(步骤A1)。
接下来,提取区域获取单元2从作为输入提供的每维度提取区域信息中获取指示维度n的第一提取区域和第二提取区域的信息,并将该信息提供给提取区域特征计算单元3(步骤A2)。
然后,区域特征计算单元3根据作为输入提供的图像,计算维度n的第一区域特征和第二区域特征,并将这些特征提供给比较单元4(步骤A3)。
然后,比较单元4将维度n的第一区域特征与第二区域特征进行比较,对比较结果进行量化,并输出量化索引(步骤A4)。
然后,确定是否完成了针对所有维度的量化索引的输出(即确定n<N是真还是假)(步骤A5)。如果完成了针对所有维度的量化索引的输出(即如果n<N是假),则处理结束。如果未完成针对所有维度的量化索引的输出(即如果n<N是真),则处理继续至步骤A6。在步骤A6,维度确定单元1确定用于提取特征向量的下一维度(n=n+1),并且将其提供给提取区域获取单元2。然后,处理返回步骤A2。
应当注意,尽管按照从维度1至维度N的顺序来执行提取处理,但是可以采用任何顺序,不限于该顺序。此外,还可以针对多个维度并行执行提取处理,而不限于上述处理过程。
[第一实施例的效果]
接下来将描述本发明的第一实施例的有利效果。
第一有利效果在于,可以提高由多维特征向量构成的图像签名的辨别能力(辨别不同图像的程度)。具体地,对于在图像的局部区域之间具有较大相关性的图像,该效果较为明显。
这是因为,由于用于提取特征的区域的形状在维度之间不同(区域形状可变),因此可以降低维度之间的相关性。
第二有利效果在于,对于信号集中于特定频率的图像,辨别能力不退化。
这是因为,由于用于提取特征的区域的形状在维度之间不同(区域形状可变),因此即使对于信号集中于特定频率的图像,较少地导致所有(许多)提取区域对(维度)的特征之间同时不存在差值从而辨别能力恶化的情况。
[第二实施例]
[第二实施例的配置]
接下来参照附图来详细描述本发明的第二实施例。
本发明第二实施例与第一实施例的区别在于,利用图6中详细示出的比较单元4A替换了图1中所示的第一实施例的比较单元4。由于除了比较单元4A之外的组件与第一实施例中相同,因此在本实施例中省略了对这些组件的描述。
参照图6,比较单元4A包括:差值计算单元43、量化边界确定单元45和量化单元44。
差值计算单元针对每个维度来计算从区域特征计算单元3提供的第一区域特征与第二区域特征之间的差值,并将该差值提供给量化边界确定单元45和量化单元44。
如果区域特征是标量(例如亮度值的平均值),则该差值是例如通过从第一区域特征中减去第一区域特征(或反之)而获得的标量。如果区域特征是向量,则也可以在通过任意方法将相应向量转换为标量之后获得标量的差值。此外,如果区域特征是向量,则还可以使用第一区域特征与第二区域特征之间的差向量作为差值(向量)。
当将从差值计算单元43提供的特征向量的所有维度的差值提供给量化边界确定单元45时,量化边界确定单元45基于所有维度的差值分布来确定量化的边界,并将与所确定的量化边界的相关的信息提供给量化单元44。应当注意,所有维度的差值分布是指对于差值(或差向量)的出现频率(概率)。
此外,确定量化边界是指,在对差值进行量化时,确定要排他地、不失败地分配给量化索引的参数。例如,如果差值是标量,则确定对于每个量化索引(量化等级)的值范围(即阈值),并且将这种值范围(阈值)提供给量化单元43作为量化边界的信息。备选地,例如,如果差值是向量,则确定例如用于执行向量量化的参数(即各个量化索引的表示向量),并将其提供给量化单元44作为量化边界的信息。
如果差值是标量并且要执行M值量化(M=2,3,…等等),则量化边界确定单元45可以基于所有维度的差值的分布来确定量化的值范围(阈值),使得对于所有维度,各个量化索引的比例变为相等。
例如,作为表达式1的变型,在使用常数α来执行2值量化(M=2)的情况下(其中如果Vn1+α>Vn2则量化索引为+1,而如果Vn1+α≤Vn则量化索引为-1),可以将差值分布的中心点(左和右分布的积分值变为相等的点)确定为量化的阈值α,使得量化索引+1和量化索引-1的比例变为相等。类似地,在执行M值量化时,如果差值是向量,则在执行向量量化时,可以基于所有维度的差向量的分布,确定向量空间中被分配给各个量化索引的区域,或确定各个量化索引的表示向量(例如重心向量),从而对于所有维度,各个量化索引的比例变为相等。如上所述,通过允许量化索引的比例对于所有维度相等(即消除了量化索引的偏倚),可以增加熵,从而可以提高标识能力。
量化边界确定单元45确定量化边界,使得量化索引的比例对于所有维度变为相等,量化单元44基于所确定的边界来执行量化,这种比较和量化方法以下称为比较和量化方法F。
此外,例如,如果差值是标量并且利用表达式2来执行三值量化(量化索引为+1、0和-1),则量化边界确定单元45可以基于所有维度的差值分布,确定用于量化至指示无差值的量化索引0的阈值th(如果小于或等于该阈值,则量化索引设置为0),并将所确定的阈值th提供给量化单元44(在第一实施例的图4中所示的比较单元4中,预先设置阈值th)。例如,量化边界确定单元45可以计算所有维度的差值的绝对值,对所计算的值进行排序,并将从顶部或底部预定比例(例如,可以将这种预定比例作为输入提供)处的点设置为阈值th(该比较和量化方法以下称为比较和量化方法G)。此外,还可以不利用预定比例,而利用使得量化索引+1、0和-1的比例变为接近相等的方式来确定阈值th(该比较和量化方法以下称为比较和量化方法H)。比较和量化方法H对应于根据表达式2执行比较和量化方法F的特例。
利用预定百分比为P%(例如P=25%)的示例来解释比较和量化方法G的更具体方法。所有维度(维度数目=N)的差值的绝对值按升序排序,差值的绝对值集合(按升序排序)表示为D(i)={D(0),D(1),D(2),...D(N-1)}。在本示例中,从按升序方式排序的顺序的底部,P%的位置处的值为例如D(floor(N*P/100)),阈值th=D(floor(N*P/100))。应当注意,floor()是截断小数点之后位置的函数。
可以将本实施例中的方法与比较单元4采取第一实施例中图4所示的配置的情况进行比较。尽管在如第一实施例的图4所示的配置中,将预定阈值th作为输入提供,但是在第二实施例的上述方法中,量化边界确定单元45基于所有维度的差值分布,对于图像自适应地计算阈值th。如上所述,在第一实施例中阈值th是固定的,而在第二实施例中,对于图像自适应地计算阈值th。由于对于图像自适应地计算阈值th,与阈值th固定的情况相比(尤其对于具有较少起伏的图像),可以防止特征向量的维度的值向特定量化索引偏倚(特定量化索引的出现概率较高),辨别能力可以较高。例如,在如第一实施例中使用固定阈值的情况下,在具有较少起伏的图像中的特征向量的大多数维度(或所有维度)中量化索引变为0。然而,如果使用第二实施例的自适应阈值th,则由于对于具有较少起伏的图像,阈值自动调整为较小值,因此不会导致在特征向量的大多数维度中量化索引变为0的情况。
量化单元44基于从差值计算单元43提供的各个维度的差值和从量化边界确定单元45提供的量化边界的信息来执行量化,并输出量化索引。
应当注意,当量化边界确定单元45确定量化边界时,量化单元44必须按照预期的量化方法来操作,因为如果量化单元44不考虑从量化边界确定单元45输出的量化边界信息来执行量化,则将没有意义。
[第二实施例的操作]
接下来参照图7的流程图来描述根据第二实施例的图像签名提取设备的操作。在图7的流程图中,特征向量的维度(编号)表示为“n”,从1至N共有N个维度。
首先,维度确定单元1将维度1确定为用于提取特征向量的第一维度(n=1),并将其提供给提取区域获取单元2(步骤B1)。
接下来,提取区域获取单元2从作为输入提供的每维度提取区域信息中获取指示维度n的第一提取区域和第二提取区域的信息,并将该信息提供给区域特征表示值计算单元3(步骤B2)。
然后,区域特征表示值计算单元3根据作为输入提供的图像,计算维度n的第一区域特征和第二区域特征,并将这些特征提供给差值计算单元43(步骤B3)。
然后,差值计算单元43计算维度n的第一区域特征与第二区域特征之间的差值,并将该差值提供给量化边界确定单元45和量化单元44(步骤B4)。
然后,确定是否完成了直至针对所有维度计算差值的处理(即确定n<N是真还是假)(步骤B5)。如果完成了直至针对所有维度计算差值的处理(即如果n<N是假),则处理继续至步骤B7。如果未完成直至针对所有维度计算差值的处理(即如果n<N是真),则处理继续至步骤B6。在步骤B6,维度确定单元1确定用于提取特征向量的下一维度(n=n+1),并且将其提供给提取区域获取单元2。然后,处理返回步骤B2。
应当注意,尽管在本实施例中按照从维度1至维度N的顺序来执行提取处理,但是可以采用任何顺序,不限于该顺序。
然后,当已经提供了从差值计算单元43提供的特征向量的所有维度的差值时,量化边界确定单元45基于所有维度的差值的分布来确定量化的边界,并将所确定的量化边界信息提供给量化单元44(步骤B7)。
然后,在步骤B8,将维度1(n=1)设置为用于执行量化的第一维度(计算量化索引)。
然后,量化单元44基于维度n的差值和从量化边界确定单元45提供的量化边界来执行量化,并输出量化索引(步骤B9)。
然后,确定是否完成了针对所有维度的量化索引的输出(即确定n<N是真还是假)(步骤B10)。如果完成了针对所有维度的量化索引的输出(即如果n<N是假),则处理结束。如果未完成针对所有维度的量化索引的输出(即如果n<N是真),则处理继续至步骤B11。在步骤B11,将下一维度(n=n+1)设置为用于执行量化的特征向量的维度。然后,处理返回步骤B9。
应当注意,尽管在本实施例中按照从维度1至维度N的顺序来执行提取处理,但是可以采用任何顺序,不限于该顺序。
[第二实施例的效果]
与量化边界固定的第一实施例相比,第二示例的区别在于:对于图像,自适应(动态)计算量化边界。如果如第一实施例中量化边界固定,则存在以下情况:对于特定图像(例如具有较少起伏的平坦图像)特征向量的维度的值向特定量化索引偏倚(特定量化索引的出现概率较高)(熵较低),导致对于这种图像辨别能力恶化的问题。另一方面,如果如第二实施例中对于图像来自适应(动态)计算量化边界,则可以对于任何图像防止特征向量的维度的值向特定量化索引偏倚(特定量化索引的出现概率较高)的情况,可以提高辨别能力。
[第三实施例]
[第三实施例的配置]
接下来参照附图来详细描述本发明的第三实施例。
参照图8,本发明第三实施例的配置与图1所示的第一实施例的配置的区别在于:增加了区域特征计算方法获取单元5,并利用区域特征计算单元3A替换了区域特征计算单元3,区域特征计算单元3A包括第一区域特征计算单元31A和第二区域特征计算单元32A。由于其他配置与第一实施例中相同,因此在本实施例中省略其描述。应当注意,尽管在本实施例中描述与第一实施例的结合,但是与第二实施例的结合也是可接受的。
向区域特征计算方法获取单元5提供来自维度确定单元1的维度和每维度区域特征计算方法信息。
每维度区域特征计算方法信息是指示计算维度中的区域特征的方法的信息,该信息与特征向量的每个维度相关联,并且先决条件是:区域特征计算方法必须在维度之间不同。应当注意,区域特征计算方法不同包括向相同过程应用不同参数(阈值等)。
在本实施例中,区域特征计算方法包括在对第一实施例的区域特征计算单元3的解释中描述的各种类型的方法及其相关联参数。
应当注意,每维度区域特征计算方法信息指示的每个维度的区域特征计算方法具有最小条件,使得在特征向量的所有维度中应当包括区域特征计算方法不同的至少一对维度。期望区域特征计算方法不同的维度数目较大,因为这种维度的数目越大,特征向量中其间相关性较小的维度数目越小,从而辨别能力越高。例如,区域特征计算方法可以在特征向量中的所有维度中不同。
应当注意,如果唯一指定了计算区域特征的方法,则示出每个维度的区域特征计算方法的信息可以采取任何形式。
图9示出了针对各个维度的区域特征计算方法的示例。如图9所示,区域特征计算方法在维度之间不同。此外,如图9的示例中所示,标量的和向量的特征可以混合(第1、3、5、6、8、9、10和12维度是标量,第2、4、7和11维度是矢量)。
区域特征计算方法获取单元5从作为输入提供的每维度区域特征计算方法信息中获取指示与从维度确定单元1提供的维度相关联的区域特征计算方法的信息,并将该信息提供给区域特征计算单元3A。
区域特征计算单元3A基于针对每个维度从提取区域获取单元提供的指示第一提取区域和第二提取区域的信息,根据从区域特征计算方法获取单元5提供的指示区域特征计算方法的信息,从作为输入提供的图像计算第一提取区域的特征和第二提取区域的特征,分别作为第一区域特征和第二区域特征,并将这些特征提供给比较单元4。
在区域特征计算单元3A中,所提供的指示提取区域的信息的维度与指示区域特征计算方法的信息的维度需要同步。
[第三实施例的操作]
接下来,参照图10的流程图来描述根据第三实施例的图像签名提取设备的操作。在图10的流程图中,特征向量的维度(编号)表示为“n”,从1至N共有N个维度。
首先,维度确定单元1将维度1确定为用于提取特征向量的第一维度(n=1),并将其提供给提取区域获取单元2和区域特征计算方法获取单元5(步骤C1)。接下来,提取区域获取单元2从作为输入提供的每维度提取区域信息中获取指示维度n的第一提取区域和第二提取区域的信息,并将该信息提供给提取区域特征计算单元3A(步骤C2)。
然后,区域特征计算方法获取单元5从作为输入提供的每维度区域特征计算方法信息中获取指示与维度n相对应的区域特征计算方法的信息,并将该信息提供给区域特征计算单元3A(步骤C3)。
然后,区域特征计算单元3A根据作为输入提供的图像,计算维度n的第一区域特征和第二区域特征,并将这些特征提供给比较单元4(步骤C4)。然后,比较单元4将维度n的第一区域特征与第二区域特征进行比较,对比较结果进行量化,并输出量化索引(步骤C5)。然后,确定是否完成了针对所有维度的量化索引的输出(步骤C6)。如果完成了针对所有维度的量化索引的输出,则处理结束。如果未完成针对所有维度的量化索引的输出,则处理继续至步骤C7。在步骤C7,维度确定单元1确定用于提取特征向量的下一维度(n=n+1),并且将其提供给提取区域获取单元2和区域特征计算方法获取单元5。然后,处理返回步骤C2。
应当注意,尽管在本实施例中按照从维度1至维度N的顺序来执行提取处理,但是可以采用任何顺序,不限于该顺序。此外,还可以针对多个维度并行执行提取处理,而不限于上述处理过程。此外,步骤C2和步骤C3的顺序可以反转。
[第三实施例的效果]
除了第一实施例的有利效果之外,第三实施例还具有以下有利效果:可以进一步提高辨别能力(辨别不同图像的程度)。
这是因为,由于区域特征计算方法在维度之间不同(使用可变区域特征计算方法),维度之间的相关性可以较小。
[第四实施例]
[第四实施例的配置]
接下来参照附图来详细描述本发明的第四实施例。
参照图11,本发明第四实施例的配置与图1所示的第一实施例的配置的区别在于:增加了比较方法获取单元6,并利用比较单元4B替换了比较单元4。由于其他配置与第一实施例中相同,因此在本实施例中省略其描述。应当注意,尽管在本实施例中描述与第一实施例的结合,但是与第二实施例的结合以及与第三实施例的结合也是可接受的。
向比较方法获取单元6提供来自维度确定单元1的维度来每维度比较方法信息。
每维度比较和量化方法信息是指示对与特征向量的每个维度相关联的维度中的区域特征进行比较并执行量化的方法的信息,先决条件是比较和量化方法必须在维度之间不同。应当注意,比较和量化方法不同包括对相同过程应用不同参数(阈值、量化索引数目等等)。
在本实施例中,比较和量化方法包括在对第一实施例的比较单元4的解释中描述的各种类型的比较和量化方法及其相关联参数(阈值、量化索引数目等等),以及在对第二实施例的比较单元4A的解释中描述的各种类型的比较和量化方法及其相关联参数(阈值、量化索引数目等等)。
应当注意,每维度比较和量化方法信息所指示的每个维度的比较和量化方法具有以下最小条件:在特征向量的所有维度中应当包括比较和量化方法不同的至少一对维度。期望比较和量化方法不同的维度数目较大,因为这种维度的数目越大,特征向量中其间相关性较小的维度数目越小,从而辨别能力越高。例如,在特征向量中的所有维度中比较和量化方法可以不同。
应当注意,如果唯一指定了比较和量化区域特征的方法,则示出每个维度的比较和量化方法的信息可以采取任何形式。
图12示出了各个维度的比较和量化方法的示例。如图12所示,比较和量化方法在维度之间不同。此外,如在第3、5和12维度中,可以在相同比较和量化方法中设置不同参数(阈值th)。应当注意,图12中示出的各个维度的比较和量化方法的示例与图9所示的各个维度的区域特征计算方法相关联。因此,示出了针对标量的比较和量化方法,作为针对标量区域特征的示例;并且示出了针对向量的比较和量化方法,作为针对向量区域特征的示例。
比较方法获取单元6从作为输入提供的每维度比较和量化方法信息中获取指示与从维度确定单元1提供的维度相对应的比较和量化方法的信息,并将该信息提供给比较单元4B。
比较单元4B针对每个维度将从区域特征计算单元3提供的第一区域特征与第二区域特征进行比较,根据从比较方法获取单元6提供的指示比较和量化方法的信息来对其进行量化,并输出量化索引。根据比较和量化方法,在需要时,比较单元4B可以具有包括第一实施例的比较单元4和第二实施例的比较单元4B的配置。
在比较单元4B中,所提供的区域特征的维度与指示比较和量化方法的信息的维度需要同步。
[第四实施例的操作]
接下来参照图13的流程图来描述根据第四实施例的图像签名提取设备的操作。在图13的流程图中,特征向量的维度(编号)表示为“n”,从1至N共有N个维度。
首先,维度确定单元1将维度1确定为用于提取特征向量的第一维度(n=1),并将其提供给提取区域获取单元2和比较方法获取单元6(步骤D1)。接下来,提取区域获取单元2从作为输入提供的每维度比较和量化方法信息中获取指示维度n的第一提取区域和第二提取区域的信息,并将该信息提供给提取区域特征计算单元3(步骤D2)。
然后,比较方法获取单元6从作为输入提供的每维度比较和量化方法信息中获取指示与维度n相对应的比较和量化方法的信息,并将其提供给比较单元4B(步骤D3)。
然后,区域特征计算单元3根据作为输入提供的图像,计算维度n的第一区域特征和第二区域特征,并将这些特征提供给比较单元4B(步骤D4)。然后,比较单元4B将维度n的第一区域特征与第二区域特征进行比较,对比较结果进行量化,并输出量化索引(步骤D5)。然后,确定是否完成了针对所有维度的量化索引的输出(步骤D6)。如果完成了针对所有维度的量化索引的输出,则处理结束。如果未完成针对所有维度的量化索引的输出,则处理继续至步骤D7。在步骤D7,维度确定单元1确定用于提取特征向量的下一维度(n=n+1),并且将其提供给提取区域获取单元2和比较方法获取单元6。然后,处理返回步骤D2。
应当注意,尽管在本实施例中按照从维度1至维度N的顺序来执行提取处理,但是可以采用任何顺序,不限于该顺序。此外,还可以针对多个维度并行执行提取处理,而不限于上述处理过程。此外,步骤D2和步骤D3的顺序可以反转,可以紧邻步骤D5之前执行步骤D3。
[第四实施例的效果]
除了第一实施例的有利效果之外,第四实施例还具有以下有利效果:可以进一步提高辨别能力(辨别不同图像的程度)。
这是因为,由于比较和量化方法在维度之间不同(使用可变比较和量化方法),维度之间的相关性可以较小。
[其他实施例]
尽管以上描述了本发明的实施例,但是本发明不限于这些示例,其中可以做出各种添加和修改。此外,本发明的图像签名提取设备被适配为使得可以利用计算机和程序以及硬件来实现其功能。这种程序以写在计算机可读记录介质(如磁盘、半导体存储器等等)上的形式来提供,在例如计算机启动时由计算机读取,并控制计算机的操作,从而允许计算机用作上述实施例中的维度确定单元、提取区域获取单元、区域特征计算单元、比较单元、区域特征计算方法获取单元以及比较方法获取单元。
接下来示出本发明的其他实施例。
[第五实施例]
在第五实施例中,要提取特征向量的维度数目为300维度(从第1至第300维度)。
在第五实施例中,各个维度的提取区域(第一提取区域和第二提取区域)由各种形状的四边形形成。图14示出了在第五实施例中要提供给提取区域获取单元2作为输入的每维度提取区域信息。图14示出了对于320像素宽、240像素长的图像大小(预定图像大小),各个维度的提取区域(第一提取区域和第二提取区域)的四边形的四个角的XY坐标值。例如,第一维度的提取区域由第一提取区域(由四边形构成,四边形的四个角具有坐标值(262.000,163.000)、坐标值(178.068,230.967)、坐标值(184.594,67.411)和坐标值(100.662,135.378))和第一提取区域(由四边形构成,四边形的四个角具有坐标值(161.000,133.000)、坐标值(156.027,132.477)、坐标值(164.240,102.170)和坐标值(159.268,101.647))形成。
对于相对320像素宽、240像素长的图像大小而归一化的图像,每个维度的提取区域(第一提取区域和第二提取区域)是具有由四个角的这些坐标值定义的区域中包括的整数值的坐标值的像素的集合。然而,在提取区域中不包括由四个角定义的区域中包括的负坐标值。
图15示出了在第五实施例中作为输入提供给区域特征计算方法获取单元5的每维度区域特征计算方法信息。在第五实施例中,针对每个维度,提取区域(第一提取区域和第二提取区域)中的每一个中包括的像素组的亮度值的平均值用作提取区域中的每一个的区域特征。
图17示出了在第五实施例中作为输入提供给比较方法获取单元6的每维度比较和量化方法信息。在第五实施例中,针对每个维度使用比较和量化方法B或比较和量化方法G,此外,参数值针对每个维度不同。例如,在第1维度中,使用比较和量化方法G,阈值th为D(floor(300*5.0/100))。在第2维度中,使用比较和量化方法G,阈值th为D(floor(300*10.0/100))。此外,在第9维度中,例如,使用比较和量化方法B,阈值th为3.0。
[第六实施例]
与第五实施例中相同,在第六实施例中,要提取特征向量的维度数目为300维度(从第1至第300维度)。与第五实施例中相同,在第六实施例中,使用图14中所示的信息作为提供给提取区域获取单元2作为输入的每维度提取区域信息。此外,与第五实施例中相同,在第六实施例中,使用图17中所示的信息作为提供给比较方法获取单元6作为输入的每维度比较和量化方法信息。
图16示出了在第六实施例中作为输入提供给区域特征计算方法获取单元5的每维度区域特征计算方法信息。在第六实施例中,针对每个维度,使用提取区域(第一提取区域和第二提取区域)中包括的像素组的亮度值的平均值或百分比亮度值特征,即使使用相同的百分比亮度值特征,该特征对于每个维度也不同。例如,在第1维度中,使用提取区域中包括的像素的亮度值的平均值。例如,在第4维度中,使用百分比亮度值特征,该值为Y(floor(N*20.0/100))。此外,在第8维度中,使用百分比亮度值特征,该值为Y(floor(N*80.0/100))。
[第七实施例]
在第七实施例中,要提取的特征向量的维度数目为325维度(第1维度至第325维度)。在第七实施例中,每个区域由通过将图像垂直划分为32块并且水平划分为32块而形成的1024块中的块组合构成。如图27所示,从左上角部分开始,向相应块分配从0开始的索引,并且使用这些索引来描述区域。具体的,使用左上角块的索引“a”和右下角块的索引“b”,以“a-b”的方式来指示矩形区域。例如,将由具有0、1、32和33的索引的4个块形成的矩形描述为0-33。此外,如果使用符号“|”来链接按照这种方式形成的矩形,则它们表示通过将该符号之前和之后的矩形链接而形成的区域。例如,0-33|2-67指示通过将由0-33定义的矩形和由2-67定义的矩形进行链接而形成的区域,即,由块编号0,1,2,3,32,33,34,35,66和67形成的区域。
图28示出了与第七实施例的相应维度相对应的、按照这种方式描述的区域。在图28中,通过将325个维度分为图28-a、图28-b、图28-c、图28-d、图28-e、图28-f和图28-g中的类型来对其进行描述。在这些图中,区域类型意味着由具有由第一和第二提取区域之间的相对位置或形状的组合而确定的类似区域图案的维度组成的组。
具体地,图28-a对应于以下情况:通过将由垂直方向的4个块和水平方向的4个块定义的方形沿垂直或水平方向分为两部分而形成的两个区域被用作第一和第二提取区域,其示例在图30-a中示出。因此,第一和第二提取区域的形状均为由垂直方向的4个块和水平方向的2个块定义的矩形或由垂直方向的2个块和水平方向的4个块定义的矩形。此外,关于第一和第二提取区域之间的相对位置关系,它们存在于彼此相邻的位置处,使得矩形的长边彼此重叠。
图28-b对应于以下情况:通过将由垂直方向的8个块和水平方向的8个块定义的方形沿垂直和水平方向等分为4个方形,并分别将左上角和右下角的方形组合、右上角和左下角的方形组合而形成的两个区域被用作第一和第二提取区域,其示例在图30-b中示出。因此,第一和第二提取区域的形状均为由垂直方向的2个块和水平方向的2个块定义、以45度或135度角布置在对角线上以共享一个顶点的两个方形。此外,关于区域之间的相对位置关系,构成第二区域的两个方形存在于与第一区域的左上角方形的左侧和下方相邻的位置处。
在图28-c的情况中,第一和第二提取区域的形状均为由垂直方向的10个块和水平方向的10个块定义的方形,其示例在图30-c中示出。关于第一和第二提取区域之间的相对位置关系,它们存在于彼此相距垂直方向和水平方向10个块的整数倍的位置处。
在图28-d的情况中,第一和第二提取区域的形状均为由垂直方向的8个块和水平方向的8个块定义的方形,其示例在图30-d中示出。关于第一和第二提取区域之间的相对位置关系,它们存在于彼此相距垂直方向和水平方向6个块的整数倍的位置处。
图28-e对应于以下情况:通过将方形区域划分为中心部分和外部部分而形成的两个区域被用作第一和第二提取区域,其示例在图30-e中示出。因此,第二提取区域的形状是中心部分的方形;第一提取区域的形状是从整个方形中切去第二提取区域的方形。此外,关于区域之间的相对位置关系,第二区域存在于第一区域的中心空洞处。
在图28-f的情况下,第一提取区域的形状是由垂直方向6个块和水平方向10个块定义的矩形;第二提取区域的形状是由垂直方向10个块和水平方向6个块定义的矩形,其示例在图30-f中示出。关于第一和第二提取区域之间的相对位置关系,它们被布置为使得其中心位置重合。
图28-g对应于以下情况:通过将由垂直方向4个块和水平方向12个块定义的矩形或者由垂直方向12个块和水平方向4个块定义的矩形划分为通过将长边三等分而形成的中心方形区域和另一区域而形成的两个区域被用作第一和第二提取区域,其示例在图30-g中示出。因此,第一区域的形状是由垂直方向或水平方向彼此分离4个块的、由垂直方向4个块和水平方向4个块定义的两个方形;第二提取区域的形状是由垂直方向4个块和水平方向4个块定义的方形。此外,关于区域之间的相对位置关系,第二区域存在于第一区域的方形之间。
以下将图28-a、图28-b、图28-c、图28-d、图28-e、图28-f和图28-g的区域类型分别称为区域类型a、区域类型b、区域类型c、区域类型d、区域类型e、区域类型f和区域类型g。
在第七实施例中,将亮度值的平均值计算为图28中所示的每个区域中的区域特征,并计算每个维度的特征。当然,可以获得通过前述各种提取方法来提取的值(如中值或最大值),来代替亮度值的平均值作为区域特征。
为了对每个维度的特征进行量化,针对每种区域类型设置阈值以执行量化。例如,当根据表达式2将特征量化为三个值时,用于量化的阈值th可以被配置为使得:对于每种区域类型,0、1和-1出现的比例相等;并且执行量化。具体的,通过将0093段落中描述的方法应用于每个区域类型,来获得阈值th,其中P=33.333%,N表示每个区域类型的维度数目。例如,由于在区域类型a中N=113,因此通过th=D(floor(113*33.333/100))=D(37)来计算阈值。应当注意,D(i)(i=0,1,..,N-1)是第1维度值第113维度的差值的绝对值以升序排序的集合。在这种情况下,与阈值相对应的索引为37。类似地,如图29所示,可以针对另一区域类型来获得与阈值相对应的索引。通过获得每个区域类型的阈值,与作为整体来确定阈值的情况相比,可以使每个维度中0、1和-1的出现概率均匀,从而提高辨别能力。当然,可以利用上述其他各种量化方法来执行量化。
应当注意,在第七实施例的情况下,还可以首先计算图27所示的每个块的表示值(例如块内的像素的亮度值的平均值),然后提取区域特征。从而,与直接从区域内的所有像素中提取区域特征的情况相比,可以以更高速度执行提取。此外,每个区域类型的提取区域整体上可以具有对称属性。因此,即使在图像的左右或上下反转的情况下,通过合适地改变维度的对应关系和符号,可以根据从左右或上下反转的图像中提取的特征来恢复原始图像的特征。因此,也可以对左右或上下反转的图像执行匹配。
[匹配单元的实施例]
接下来,使用框图来描述用于对本发明中输出的量化索引向量进行匹配的匹配单元。
参照图21,图21示出了用于对本发明中输出的量化索引向量进行匹配的匹配单元100的框图,匹配单元100包括:维度确定单元101;量化值获取单元102和103;以及标度计算单元104。
维度确定单元101连接至量化值获取单元102和103,并输出所确定的维度信息。量化值获取单元102从第一量化索引向量中获取从维度确定单元101输入的维度的量化索引值,并将该值输出至标度计算单元104,作为第一量化索引值。量化值获取单元103从第二量化索引向量中获取从维度确定单元101输入的维度的量化索引值,并将该值输出至标度计算单元104,作为第二量化索引值。标度计算单元104根据从量化值获取单元102和103输出的第一和第二量化索引值来计算指示同一性的标度,并将其输出。
接下来,描述图21所示的匹配单元100的操作。
首先,向匹配单元100输入:第一量化索引向量,其为从第一图像中提取的量化索引向量;以及第二量化索引向量,其为从第二图像中提取的量化索引向量。所输入的第一和第二量化索引向量被分别输入至量化值获取单元102和103。
还向量化值获取单元102和103输入从维度确定单元101输出的维度信息。维度确定单元101依次输出指定量化索引向量(为N维向量)的相应维度的信息。输出顺序不需要是从1逐一递增至N,而可以是任何顺序,只要不多不少地输出从1至N的所有维度。
量化值获取单元102和103从输入的量化索引向量中获取在从维度确定单元101输出的维度信息中指定的维度的量化索引值,并将所获取的量化索引值输出至标度确定单元104。
标度确定单元104将从量化值获取单元102输出的第一量化索引值与第二量化索引值进行比较。对各个维度执行该比较,并将第一和第二量化索引值向量之间的相似度标度(或距离标度)计算为同一性标度。
将所获取的同一性标度与预定阈值进行比较,以确定同一性。如果同一性标度是指示相似度的标度,则在标度值等于或大于阈值的情况下将其确定为相同。另一方面,如果同一性标度是指示距离的标度,则在标度值小于或等于阈值的情况下将其确定为相同。
接下来,使用流程图来描述图21中所示的匹配单元100的操作。首先,描述使用相似度值作为同一性标度的情况下的操作。
图22是示出了匹配单元100的操作的流程图。在图22的流程图中,特征向量的维度(编号)指示为“n”,存在从1至N总计N个维度。此外,用于计算相似度值的变量指示为B。
首先,维度确定单元101将维度1确定为用于匹配量化索引向量的第一维度(n=1),并将其提供给量化获取单元102和103,并在标度计算单元104中将变量B设置为0(步骤S100)。
然后,量化获取单元102和103从第一量化索引向量和第二量化索引向量中获取维度n的第一量化索引值和第二量化索引值,并将其提供给标度确定单元104(步骤S102)。
然后,标度确定单元104根据第一量化索引值和第二量化索引值,计算与相应量化索引相对应的特征之间的相似度值ΔB(步骤S104)。例如,当量化索引彼此相符时,ΔB=1;在其他情况下ΔB=0。备选地,还可以根据量化索引来计算量化之前的特征的表示值,并使用随着表示值之间的差值减小而增大的值作为ΔB。在该情况下,不是通过计算特征的表示值来获得差值,而是可以保存表,在所述表中,根据量化索引值的组合来获取ΔB的值,并且使用所述表,根据量化索引值的组合来直接获得ΔB的值。
接下来,将ΔB的值加至变量B(步骤S106)。此时,如果ΔB的值为0,则可以控制不进行相加,而不是将0加至变量B。
接下来,检查维度编号n是否达到维度数目N(步骤S108),如果未达到该数目,则处理移至步骤S112;而如果达到该数目,则将此时变量B的值输出,作为同一性标度(指示相似度值的标度)(步骤S110),并且处理结束。
在步骤112,维度确定单元101根据n=n+1将下一维度确定为用于获取量化索引的维度,并将其提供给量化值获取单元102和103。然后,处理返回步骤S102。
应当注意,尽管按照从维度1至维度N的顺序来执行提取处理,但是可以采用任何顺序,不限于该顺序。
接下来描述使用距离作为同一性标度的情况下的操作。
图23是示出了匹配单元100的操作的另一流程图。同样,在图23的流程图中,特征向量的维度(编号)指示为“n”,存在从1至N总计N个维度。此外,用于计算距离标度的变量指示为C。
尽管基本流程与图22中类似,图23的差别在于步骤S100、S104、S106和S110被分别替换为步骤S200、S204、S206和S210。
首先,在步骤S200,维度确定单元101将维度1确定为用于匹配量化索引向量的第一维度(n=1),并将其提供给量化获取单元102和103,并在标度计算单元104中将变量C设置为0。
在步骤S204,标度确定单元104根据第一量化索引值和第二量化索引值,计算与相应量化索引相对应的特征之间的距离ΔC。例如,当量化索引彼此相符时,ΔC=0;在其他情况下ΔC=1。备选地,还可以根据量化索引来计算量化之前的特征的表示值,并使用随着表示值之间的差值减小而减小的值作为ΔC。在该情况下,不是通过计算特征的表示值来获得差值,而是可以保存表,在所述表中,根据量化索引值的组合来获取ΔC的值,并且使用所述表,根据量化索引值的组合来直接获得ΔC的值。
在步骤S206,将ΔC的值加至变量C。此时,如果ΔC的值为0,则可以控制不进行相加,而不是将0加至变量C。
在步骤S210,输出此时变量C的值作为同一性标度(指示距离的标度),并结束处理。
其他步骤与图22的情况下相同。然而,如果在步骤S108,维度编号n达到维度数目N,则处理移至步骤S210。
应当注意,尽管按照从维度1至维度N的顺序来执行提取处理,但是可以采用任何顺序,不限于该顺序。
接下来给出以下情况下的操作的描述:消除第一量化索引值和第二量化索引值的“两个量化索引均为0”的维度,并使用相似度作为同一性标度。
图24是示出了匹配单元100的操作的另一流程图。同样,在图24的流程图中,特征向量的维度(编号)指示为“n”,存在从1至N总计N个维度。此外,用于计算相似度值的变量指示为B,用于对不是“两个量化索引均为0”的维度进行计数的变量指示为A。
首先,维度确定单元101将维度1确定为用于匹配量化索引向量的第一维度(n=1),并将其提供给量化获取单元102和103,并在标度计算单元104中将变量A和B设置为0(步骤S300),然后移至步骤S102。
步骤S102与图22中的情况相同,当步骤S102结束时,处理移至步骤S314。
在步骤S314,标度确定单元104检查第一量化索引值和第二量化索引值是否均为0。如果两个值均为0,则处理移至步骤S108;而如果其中任一个不为0,则将变量A的值增加1(步骤S316),处理移至步骤S104。
步骤S104、S106、S108和S112的处理与图22的情况相同。如果在步骤S108维度编号n达到维度数目N,则处理移至步骤S310。
在步骤S310,标度确定单元104计算B/A的值,并将其输出作为同一性标度,结束处理。然而,如果A=0,则标度确定单元104输出预定值(例如0.5)。
应当注意,尽管按照从维度1至维度N的顺序来执行提取处理,但是可以采用任何顺序,不限于该顺序。此外,如0064段中所述,在步骤S310,可以计算D=N-A并通过B/f(D)(f(D)是单调非递增函数),而不是通过计算B/A,来计算同一性标度。备选地,如0065段中所述,可以将同一性标度计算为(B/f(D))+g(D)。
此外,还可以直接计算D的值,而不计算A的值。图26示出了这种情况的流程。尽管该流程基本上与图24中相同,但是该流程与图24的流程的差别在于:在步骤S500,将变量D而不是A设置为0,如果在步骤S314两个量化索引均为0,则在步骤S516将变量D增加1,并且处理移至步骤S108;当任一量化索引不为0时,处理移至步骤S104,并在步骤S510通过上述方法根据B和D来计算同一性标度。
接下来给出以下情况下的操作的描述:消除第一量化索引值和第二量化索引值的“两个量化索引均为0”的维度,并使用距离作为同一性标度。
图25是示出了匹配单元100的操作的另一流程图。同样,在图25的流程图中,特征向量的维度(编号)指示为“n”,存在从1至N总计N个维度。此外,用于计算距离标度的变量指示为C,用于对不是“两个量化索引均为0”的维度进行计数的变量指示为A。
尽管基本流程与图24中类似,图25的差别在于,步骤S300、S104、S106和S310被分别替换为步骤S400、S204、S206和S410。
首先,在步骤S400,维度确定单元101将维度1确定为用于匹配量化索引向量的第一维度(n=1),并将其提供给量化获取单元102和103,并在标度计算单元104中将变量A和C设置为0。
步骤S204和S206与图23中的情况相同。
在步骤S410,标度确定单元104计算C/A的值,并将其输出作为同一性标度,结束处理。然而,如果A=0,则标度确定单元104输出预定值(例如0.5)。
其他步骤与图24的情况下相同。然而,如果在步骤S108,维度编号n达到维度数目N,则处理移至步骤S410。
应当注意,尽管按照从维度1至维度N的顺序来执行提取处理,但是可以采用任何顺序,不限于该顺序。此外,与步骤S310的情况类似,可以计算D=N-A并通过C/f(D)等等,而不是通过计算C/A,来计算同一性标度。备选地,如图26中一样,还可以直接计算D的值,而不计算A的值。
尽管以上描述了本发明的实施例,但是本发明不限于这些示例。本领域技术人员可以理解,在不脱离本发明的范围的前提下,可以对其中的形式和细节做出各种改变。
本申请基于并要求2009年3月13日提交的日本专利申请No.2009-61021和2009年4月14日提交的日本专利申请No.2009-97863的优先权,其全部公开通过引用并入此处。
参考符号说明
1 维度确定单元
2 提取区域获取单元
3、3 A区域特征计算单元
31、31A 第一区域特征计算单元
32、32A 第二区域特征计算单元
4、4B 比较单元
41 幅度比较单元
42、44 量化单元
43 差值计算单元
45 量化边界确定单元
5 区域特征计算方法获取单元
6 比较方法获取单元
Claims (23)
1.一种图像签名匹配设备,包括:
匹配单元,用于对第一图像的图像签名和第二图像的图像签名进行匹配,第一图像的图像签名和第二图像的图像签名是通过产生方法来产生的,所述产生方法包括:从图像中的多个子区域对中的相应子区域中提取区域特征;对于每个子区域对,对成对的两个子区域的区域特征之间的差值进行量化;其中,在执行量化时,如果差值的绝对值小于预定值,则将差值量化为特定量化值;以及使用元素的集合作为要用于辨别图像的图像签名,所述元素是针对相应子区域对计算的量化值;其中
所述匹配单元以使得具有所述特定量化值的元素的权重减小的方式,对第一图像的图像签名和第二图像的图像签名进行匹配。
2.根据权利要求1所述的图像签名匹配设备,其中
所述匹配单元将第一图像的图像签名和第二图像的图像签名的对应元素进行比较,并计算指示第一图像和第二图像的相同程度的同一性标度。
3.根据权利要求1或2所述的图像签名匹配设备,其中
使用以下计算方法作为计算同一性标度的方法:减小两个量化值均为所述特定量化值的元素之间的比较结果的权重。
4.根据权利要求3所述的图像签名匹配设备,其中
所述匹配单元根据B/A或C/A的计算结果来计算同一性标度,其中A表示至少一个量化值不为所述特定量化值的元素的数目;在至少一个量化值不为所述特定量化值的元素中,B表示量化值相符的元素的数目,C表示量化值相符的元素的数目。
5.根据权利要求3所述的图像签名匹配设备,其中
所述匹配单元根据B/f(D)或C/f(D)的值来计算同一性标度,其中,D表示两个量化值均为所述特定量化值的元素的数目;在至少一个量化值不为所述特定量化值的元素中,B表示量化值相符的元素的数目,C表示量化值不相符的元素的数目;f(D)表示关于任意D的单调非递增函数。
6.根据权利要求3所述的图像签名匹配设备,其中
所述匹配单元根据通过加权而计算的D和B的总值来计算同一性标度,在所述加权中,D的权重小于B的权重,D表示两个量化值均为所述特定量化值的元素的数目;在至少一个量化值不为所述特定量化值的元素中,B表示量化值相符的元素的数目。
7.根据权利要求1或2所述的图像签名匹配设备,其中
使用以下计算方法作为计算同一性标度的方法:减小至少一个量化值为所述特定量化值的元素之间的比较结果的权重。
8.根据权利要求7所述的图像签名匹配设备,其中
所述匹配单元根据B/A或C/A的计算结果来计算同一性标度,其中A表示两个量化值均不为所述特定量化值的元素的数目;在两个量化值均不为所述特定量化值的元素中,B表示量化值相符的元素的数目,C表示量化值不相符的元素的数目。
9.根据权利要求7所述的图像签名匹配设备,其中
所述匹配单元根据B/f(D)或C/f(D)的值来计算同一性标度,其中,D表示至少一个量化值为所述特定量化值的元素的数目;在两个量化值均不为所述特定量化值的元素中,B表示量化值相符的元素的数目,C表示量化值不相符的元素的数目;f(D)表示关于任意D的单调非递增函数。
10.根据权利要求7所述的图像签名匹配设备,其中
所述匹配单元根据通过加权而计算的D和B的总值来计算同一性标度,在所述加权中,D的权重小于B的权重,D表示至少一个量化值为所述特定量化值的元素的数目;在两个量化值均不为所述特定量化值的元素中,B表示量化值相符的元素的数目。
11.根据权利要求1至10所述的图像签名匹配设备,其中
所述多个子区域对包括至少一个子区域对,在所述至少一个子区域对中,所述对的两个子区域的形状的组合以及所述对的两个子区域之间的相对位置关系不同于其他子区域对中的至少一个子区域对。
12.一种图像签名匹配方法,包括:
对第一图像的图像签名和第二图像的图像签名进行匹配,第一图像的图像签名和第二图像的图像签名是通过产生方法来产生的,所述产生方法包括:从图像中的多个子区域对中的相应子区域中提取区域特征;对于每个子区域对,对成对的两个子区域的区域特征之间的差值进行量化;其中,在执行量化时,如果差值的绝对值小于预定值,则将差值量化为特定量化值;以及使用元素的集合作为要用于辨别图像的图像签名,所述元素是针对相应子区域对计算的量化值;其中
对第一图像的图像签名和第二图像的图像签名进行匹配是以使得具有所述特定量化值的元素的权重减小的方式来执行的。
13.根据权利要求12所述的图像签名匹配方法,还包括:
将第一图像的图像签名和第二图像的图像签名的对应元素进行比较,并计算指示第一图像和第二图像的相同程度的同一性标度。
14.根据权利要求12或13所述的图像签名匹配方法,其中
使用以下计算方法作为计算同一性标度的方法:减小两个量化值均为所述特定量化值的元素之间的比较结果的权重。
15.根据权利要求14所述的图像签名匹配方法,其中
同一性标度是根据B/A或C/A的计算结果来计算的,其中A表示至少一个量化值不为所述特定量化值的元素的数目;在至少一个量化值不为所述特定量化值的元素中,B表示量化值相符的元素的数目,C表示量化值不相符的元素的数目。
16.根据权利要求14所述的图像签名匹配方法,其中
同一性标度是根据B/f(D)或C/f(D)的值来计算的,其中,D表示两个量化值均为所述特定量化值的元素的数目;在至少一个量化值不为所述特定量化值的元素中,B表示量化值相符的元素的数目,C表示量化值不相符的元素的数目;f(D)表示关于任意D的单调非递增函数。
17.根据权利要求14所述的图像签名匹配方法,其中
同一性标度是根据通过加权而计算的D和B的总值来计算的,在所述加权中,D的权重小于B的权重,D表示两个量化值均为所述特定量化值的元素的数目;在至少一个量化值不为所述特定量化值的元素中,B表示量化值相符的元素的数目。
18.根据权利要求12或13所述的图像签名匹配方法,其中
使用以下计算方法作为计算同一性标度的方法:减小至少一个量化值为所述特定量化值的元素之间的比较结果的权重。
19.根据权利要求18所述的图像签名匹配方法,其中
同一性标度是根据B/A或C/A的计算结果来计算的,其中A表示两个量化值均不为所述特定量化值的元素的数目;在两个量化值均不为所述特定量化值的元素中,B表示量化值相符的元素的数目,C表示量化值不相符的元素的数目。
20.根据权利要求18所述的图像签名匹配方法,其中
同一性标度是根据B/f(D)或C/f(D)的值来计算的,其中,D表示至少一个量化值为所述特定量化值的元素的数目;在两个量化值均不为所述特定量化值的元素中,B表示量化值相符的元素的数目,C表示量化值不相符的元素的数目;f(D)表示关于任意D的单调非递增函数。
21.根据权利要求18所述的图像签名匹配方法,其中
同一性标度是根据通过加权而计算的D和B的总值来计算的,在所述加权中,D的权重小于B的权重,D表示至少一个量化值为所述特定量化值的元素的数目;在两个量化值均不为所述特定量化值的元素中,B表示量化值相符的元素的数目。
22.根据权利要求12至21所述的图像签名匹配方法,其中
所述多个子区域对包括至少一个子区域对,在所述至少一个子区域对中,所述对的两个子区域的形状的组合以及所述对的两个子区域之间的相对位置关系不同于其他子区域对中的至少一个子区域对。
23.一种程序,使计算机用作:
匹配单元,用于对第一图像的图像签名和第二图像的图像签名进行匹配,第一图像的图像签名和第二图像的图像签名是通过产生方法来产生的,所述产生方法包括:从图像中的多个子区域对中的相应子区域中提取区域特征;对于每个子区域对,对成对的两个子区域的区域特征之间的差值进行量化;其中,在执行量化时,如果差值的绝对值小于预定值,则将差值量化为特定量化值;以及使用元素的集合作为要用于辨别图像的图像签名,所述元素是针对相应子区域对计算的量化值;其中
所述匹配单元以使得具有所述特定量化值的元素的权重减小的方式,对第一图像的图像签名和第二图像的图像签名进行匹配。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009061021 | 2009-03-13 | ||
JP2009-061021 | 2009-03-13 | ||
JP2009097863 | 2009-04-14 | ||
JP2009-097863 | 2009-04-14 | ||
PCT/JP2010/001768 WO2010103848A1 (ja) | 2009-03-13 | 2010-03-12 | 画像識別子照合装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102349091A true CN102349091A (zh) | 2012-02-08 |
CN102349091B CN102349091B (zh) | 2014-08-06 |
Family
ID=42728145
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201080011021.3A Active CN102349091B (zh) | 2009-03-13 | 2010-03-12 | 图像签名匹配设备 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8270724B2 (zh) |
EP (1) | EP2360639B1 (zh) |
JP (1) | JP4735783B2 (zh) |
KR (1) | KR101398272B1 (zh) |
CN (1) | CN102349091B (zh) |
WO (1) | WO2010103848A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103377473A (zh) * | 2012-04-19 | 2013-10-30 | 腾讯科技(深圳)有限公司 | 一种图像排重方法和装置 |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8744193B2 (en) * | 2009-03-13 | 2014-06-03 | Nec Corporation | Image signature extraction device |
US9015741B2 (en) | 2009-04-17 | 2015-04-21 | Gracenote, Inc. | Method and system for remotely controlling consumer electronic devices |
US8526743B1 (en) | 2010-11-01 | 2013-09-03 | Raf Technology, Inc. | Defined data patterns for object handling |
US8863165B2 (en) | 2010-11-01 | 2014-10-14 | Gracenote, Inc. | Method and system for presenting additional content at a media system |
US8774455B2 (en) | 2011-03-02 | 2014-07-08 | Raf Technology, Inc. | Document fingerprinting |
US9443298B2 (en) | 2012-03-02 | 2016-09-13 | Authentect, Inc. | Digital fingerprinting object authentication and anti-counterfeiting system |
US9152862B2 (en) * | 2011-09-15 | 2015-10-06 | Raf Technology, Inc. | Object identification and inventory management |
US9870517B2 (en) * | 2011-12-08 | 2018-01-16 | Excalibur Ip, Llc | Image object retrieval |
US9418314B2 (en) * | 2012-01-30 | 2016-08-16 | Nec Corporation | Information processing apparatus and control method and control program thereof, and communication terminal and control method and control program thereof |
US9041727B2 (en) | 2012-03-06 | 2015-05-26 | Apple Inc. | User interface tools for selectively applying effects to image |
US10282055B2 (en) | 2012-03-06 | 2019-05-07 | Apple Inc. | Ordered processing of edits for a media editing application |
US9131192B2 (en) | 2012-03-06 | 2015-09-08 | Apple Inc. | Unified slider control for modifying multiple image properties |
JP5625196B2 (ja) * | 2012-04-09 | 2014-11-19 | 株式会社モルフォ | 特徴点検出装置、特徴点検出方法、特徴点検出プログラム及び記録媒体 |
US9501684B1 (en) | 2013-12-13 | 2016-11-22 | Google Inc. | Providing non-destructive editing reconciliation |
US10572883B2 (en) | 2016-02-19 | 2020-02-25 | Alitheon, Inc. | Preserving a level of confidence of authenticity of an object |
EP3236401A1 (en) | 2016-04-18 | 2017-10-25 | Alitheon, Inc. | Authentication-triggered processes |
US10614302B2 (en) | 2016-05-26 | 2020-04-07 | Alitheon, Inc. | Controlled authentication of physical objects |
US10740767B2 (en) | 2016-06-28 | 2020-08-11 | Alitheon, Inc. | Centralized databases storing digital fingerprints of objects for collaborative authentication |
US10915612B2 (en) | 2016-07-05 | 2021-02-09 | Alitheon, Inc. | Authenticated production |
US10902540B2 (en) | 2016-08-12 | 2021-01-26 | Alitheon, Inc. | Event-driven authentication of physical objects |
US10839528B2 (en) | 2016-08-19 | 2020-11-17 | Alitheon, Inc. | Authentication-based tracking |
US11062118B2 (en) | 2017-07-25 | 2021-07-13 | Alitheon, Inc. | Model-based digital fingerprinting |
EP3514715A1 (en) | 2018-01-22 | 2019-07-24 | Alitheon, Inc. | Secure digital fingerprint key object database |
US10963670B2 (en) | 2019-02-06 | 2021-03-30 | Alitheon, Inc. | Object change detection and measurement using digital fingerprints |
EP3734506A1 (en) | 2019-05-02 | 2020-11-04 | Alitheon, Inc. | Automated authentication region localization and capture |
EP3736717A1 (en) | 2019-05-10 | 2020-11-11 | Alitheon, Inc. | Loop chain digital fingerprint method and system |
CN110245615B (zh) * | 2019-06-17 | 2022-09-13 | 河海大学常州校区 | 一种签名鉴伪方法、系统及存储介质 |
US11238146B2 (en) | 2019-10-17 | 2022-02-01 | Alitheon, Inc. | Securing composite objects using digital fingerprints |
EP3859603A1 (en) | 2020-01-28 | 2021-08-04 | Alitheon, Inc. | Depth-based digital fingerprinting |
US11341348B2 (en) | 2020-03-23 | 2022-05-24 | Alitheon, Inc. | Hand biometrics system and method using digital fingerprints |
EP3885984A1 (en) | 2020-03-23 | 2021-09-29 | Alitheon, Inc. | Facial biometrics system and method of using digital fingerprints |
EP3929806A3 (en) | 2020-04-06 | 2022-03-09 | Alitheon, Inc. | Local encoding of intrinsic authentication data |
US11663849B1 (en) | 2020-04-23 | 2023-05-30 | Alitheon, Inc. | Transform pyramiding for fingerprint matching system and method |
US11983957B2 (en) | 2020-05-28 | 2024-05-14 | Alitheon, Inc. | Irreversible digital fingerprints for preserving object security |
EP3926496A1 (en) | 2020-06-17 | 2021-12-22 | Alitheon, Inc. | Asset-backed digital security tokens |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1384464A (zh) * | 2001-01-20 | 2002-12-11 | 三星电子株式会社 | 根据图像中分段区域之间的特征匹配提取目标的方法和装置 |
US20030161504A1 (en) * | 2002-02-27 | 2003-08-28 | Nec Corporation | Image recognition system and recognition method thereof, and program |
CN1828632A (zh) * | 2005-02-28 | 2006-09-06 | 株式会社东芝 | 目标检测装置、学习装置、目标检测系统及目标检测方法 |
JP2007293438A (ja) * | 2006-04-21 | 2007-11-08 | Omron Corp | 特徴量取得装置 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4739398A (en) * | 1986-05-02 | 1988-04-19 | Control Data Corporation | Method, apparatus and system for recognizing broadcast segments |
US5157743A (en) * | 1987-10-28 | 1992-10-20 | Canon Kabushiki Kaisha | Image information coding apparatus |
US5067189A (en) * | 1990-04-11 | 1991-11-26 | Weedling Robert E | Air chamber type patient mover air pallet with multiple control features |
US5436653A (en) * | 1992-04-30 | 1995-07-25 | The Arbitron Company | Method and system for recognition of broadcast segments |
US5561873A (en) * | 1994-07-15 | 1996-10-08 | Patient Transfer Systems, Inc. | Air chamber-type patient mover air pallet with multiple control features |
US6073291A (en) * | 1997-02-21 | 2000-06-13 | Davis; David T. | Inflatable medical patient transfer apparatus |
DE69940703D1 (de) * | 1998-03-05 | 2009-05-20 | Panasonic Corp | Verfahren zur Bildkodierung, Verfahren zur Bildkodierung/-Dekodierung, Bildkodierer, oder Vorrichtung zur Bildaufzeichnung/-Wiedergabe |
JP3684148B2 (ja) * | 2000-10-20 | 2005-08-17 | キヤノン株式会社 | 画像処理方法及びその装置、記憶媒体 |
JP4190739B2 (ja) * | 2001-02-19 | 2008-12-03 | 日本電気株式会社 | 画像特徴量生成装置および方法、ならびに画像特徴量生成プログラムを記録した記憶媒体 |
US7643684B2 (en) * | 2003-07-15 | 2010-01-05 | Samsung Electronics Co., Ltd. | Apparatus for and method of constructing multi-view face database, and apparatus for and method of generating multi-view face descriptor |
US7712170B2 (en) * | 2003-08-11 | 2010-05-11 | Woodlark Circle, Inc. | Single patient, personal use air mattress having a single perimeter seam |
US6898809B2 (en) * | 2003-08-11 | 2005-05-31 | Woodlark Circle, Inc. | Air mattress with single perimeter seam |
US7379627B2 (en) * | 2003-10-20 | 2008-05-27 | Microsoft Corporation | Integrated solution to digital image similarity searching |
KR20060116253A (ko) * | 2004-03-03 | 2006-11-14 | 닛본 덴끼 가부시끼가이샤 | 물체의 자세 추정 및 대조 시스템, 물체의 자세 추정 및대조 방법, 및 이를 위한 프로그램 |
JP2006268825A (ja) * | 2005-02-28 | 2006-10-05 | Toshiba Corp | オブジェクト検出装置、学習装置、オブジェクト検出システム、方法、およびプログラム |
JP2007140684A (ja) * | 2005-11-15 | 2007-06-07 | Toshiba Corp | 画像処理装置、方法、プログラム |
US7805011B2 (en) * | 2006-09-13 | 2010-09-28 | Warner Bros. Entertainment Inc. | Method and apparatus for providing lossless data compression and editing media content |
JP2009061021A (ja) | 2007-09-05 | 2009-03-26 | Univ Kansai | 分岐型生分解性ポリエステルを含む生体内留置物 |
JP2009097863A (ja) | 2007-10-12 | 2009-05-07 | Toshiba Corp | 機器位置検出システム |
-
2010
- 2010-03-12 CN CN201080011021.3A patent/CN102349091B/zh active Active
- 2010-03-12 EP EP10750604.0A patent/EP2360639B1/en active Active
- 2010-03-12 US US13/131,798 patent/US8270724B2/en active Active
- 2010-03-12 KR KR1020117021098A patent/KR101398272B1/ko active IP Right Grant
- 2010-03-12 JP JP2011503731A patent/JP4735783B2/ja active Active
- 2010-03-12 WO PCT/JP2010/001768 patent/WO2010103848A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1384464A (zh) * | 2001-01-20 | 2002-12-11 | 三星电子株式会社 | 根据图像中分段区域之间的特征匹配提取目标的方法和装置 |
US20030161504A1 (en) * | 2002-02-27 | 2003-08-28 | Nec Corporation | Image recognition system and recognition method thereof, and program |
CN1828632A (zh) * | 2005-02-28 | 2006-09-06 | 株式会社东芝 | 目标检测装置、学习装置、目标检测系统及目标检测方法 |
JP2007293438A (ja) * | 2006-04-21 | 2007-11-08 | Omron Corp | 特徴量取得装置 |
Non-Patent Citations (2)
Title |
---|
DAIDI ZHONG ET AL: "Face Image Retrieval System Using TFV and Combination of Subimages", 《VISUAL 2007》 * |
PRATT W K: "《Digital Image Processing》", 1 January 2001 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103377473A (zh) * | 2012-04-19 | 2013-10-30 | 腾讯科技(深圳)有限公司 | 一种图像排重方法和装置 |
CN103377473B (zh) * | 2012-04-19 | 2017-10-24 | 深圳市世纪光速信息技术有限公司 | 一种图像排重方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN102349091B (zh) | 2014-08-06 |
KR101398272B1 (ko) | 2014-06-27 |
EP2360639B1 (en) | 2016-11-16 |
EP2360639A4 (en) | 2012-05-02 |
US8270724B2 (en) | 2012-09-18 |
KR20110123769A (ko) | 2011-11-15 |
JPWO2010103848A1 (ja) | 2012-09-13 |
JP4735783B2 (ja) | 2011-07-27 |
EP2360639A1 (en) | 2011-08-24 |
WO2010103848A1 (ja) | 2010-09-16 |
US20110235920A1 (en) | 2011-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102349091B (zh) | 图像签名匹配设备 | |
CN102292745B (zh) | 图像签名提取设备 | |
CN102822864A (zh) | 图像签名匹配设备 | |
CN102395998B (zh) | 图像签名提取设备 | |
CN102349092B (zh) | 图像签名提取设备 | |
CN102349093B (zh) | 图像签名提取设备 | |
CN113362337A (zh) | 一种遥感影像面向对象分割权重参数的模糊区间自动确定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |