CN101523415A - 用于图像识别的图像描述符 - Google Patents

用于图像识别的图像描述符 Download PDF

Info

Publication number
CN101523415A
CN101523415A CNA2007800379730A CN200780037973A CN101523415A CN 101523415 A CN101523415 A CN 101523415A CN A2007800379730 A CNA2007800379730 A CN A2007800379730A CN 200780037973 A CN200780037973 A CN 200780037973A CN 101523415 A CN101523415 A CN 101523415A
Authority
CN
China
Prior art keywords
image
function
steps
expression
derive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800379730A
Other languages
English (en)
Other versions
CN101523415B (zh
Inventor
米罗斯瓦夫·博贝尔
保罗·布拉斯尼特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lotte Group Co.,Ltd.
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN101523415A publication Critical patent/CN101523415A/zh
Application granted granted Critical
Publication of CN101523415B publication Critical patent/CN101523415B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/431Frequency domain transformation; Autocorrelation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/48Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation

Abstract

一种通过处理与图像相对应的信号来获得所述图像的表示的方法,该方法包括以下步骤:其中所述图像的经平移、缩放或旋转后的形式的函数是对所述图像的函数进行平移或缩放后的形式;以及使用所述函数的频率表示的多个频率分量来获得所述图像的表示。

Description

用于图像识别的图像描述符
技术领域
本发明涉及用于对图像进行表示的方法和装置,以及对图像进行比较或匹配(例如用于搜索或验证等)的方法和装置。
背景技术
存在着大量的图像数据库,并且经常需要寻找特定图像的拷贝或者该图像的经修改版本的拷贝。例如在权限管理中或出于搜索目的,可能需要这种功能。位于不同网站上的相同图像可表示相似的内容,因此提供了有价值的搜索线索。另一重要的应用是在“胶片”照片与底片(negative)以及其它数字存档之间的识别与联系。
诸如MD5的散列算法(hashing algorithm)可用于检测相同的图像。散列函数可基于内容生成一个值;如果两个图像相同,则它们将具有相同的散列值。然而,诸如MD5的传统方法是位敏感的(bit-sensitive),这意味着仅仅一位的变化将得到完全不同的散列值。一般而言,图像将经受例如压缩等某种形式的修改,因此将无法应用传统的散列方法。
一种对重复的图像进行检测的共同图像处理方法试图将图像对进行对准,之后寻找共同区域之间的差异。这种方法的问题是对准处理在计算上较为复杂,使得对于大型数据库而言搜索会不可避免地较为费时。每次提交新的查询图像时,需要对数据库中的每条记录执行完整的对准和匹配处理。更显著的缺陷是原始图像必须可用(或者被发送)以使得可以进行搜索。
一种另选方法涉及提取紧凑的标识符,该标识符捕获了图像的特征。这种处理的优势在于标识符仅需要提取一次随后将其存储。因此,如果匹配处理是有效率的,则该方法可提供快速搜索性能。图像标识符通常是表示图像的位串(bit string)(见图2)。
图像标识符可基于颜色或灰度分布。在H.Chi Wong,Marshall Bern和David Goldberg的“An Image Signature for any Kind of Image”,Proc.ICIP 2002,pp.409-412,2002[参考文献1]中,使用了m×n网格的点来限定提取特征的位置。这些特征基于像素的灰度级与该像素的8个相邻像素的灰度级之间的强度差。因此特征向量的大小为8mn。使用归一化的距离测度L2来执行特征向量对(pairs of feature vectors)之间的比较。该距离测度是基于直方图之间的绝对差的和。得到的结果表明该方法对于大小调整和压缩而言非常准确,但对于旋转而言不是非常准确。
US-B-6671407[参考文件14]中的权利要求是基于R.Venkatesan,S.-M.Koon,M.H.Jakubowski和P.Moulin的以下工作成果:“Robust ImageHashing”,Proc.IEEE ICIP 2000,pp.664-666,Sep.,2000[参考文件2]。出于将图像存储在数据库中以及生成嵌入图像的水印的目的而生成散列函数。通过对输入图像执行小波变换而生成散列函数。将各个子带(sub-band)分为随机大小的块并计算各个块的统计量(均值或方差)。之后将这些统计量量化为8个等级,该量化为修改提供了一定的稳健性。之后用3位二进制串来表示经量化的值。
以上两种方法依赖于将输入的图像分为矩形区。因此,这两种方法在适量的图像旋转的情况下将不会成功。
作为颜色与灰度分布的替代,有时将频域信息用于图像标识符。在Edward Y.Chang,James Ze Wang,Chen Li和Gio Wiederhold的“Rime:AReplicated Image Detector for the World Wide Web”,Proc.Of SPIE Symp.Of Voice,Video,and Data Comms.,pp.58-67,Boston,MA,Nov.,1998[文献3]中描述了一种基于使用Daubechies滤波器的离散小波变换(DWT)的方法。使用小波变换最底层的子区来表示图像。基于DWT的方法见上面文献2,求出DWT的DCT分量,然后使用迭代的、确定性的区域增长法来形成原始图像的二进制版本。该方法对于显著的旋转而言不是很稳健。
在F.Lefebvre,J.Czyz和B.Macq的“A Robust Soft Hash Algorithm forDigital Image Signature”,Proc.IEEE Int.Conf.Image Processing,pp.495-498,2003[文献4]中开发了一种基于拉东变换(Radon Transform)的图像散列函数。该散列函数是出于添加水印的目的而开发的,然而该函数被设计为具有一些非常有用的属性,诸如对于旋转、缩放、压缩、滤波以及模糊而言很稳健。在拉东变换之后,计算协方差矩阵并且根据与两个最大的特征值相对应的特征向量而形成签名。
在Jin S.Seo,Jaap Haitsma,Ton KalKer和Chang D.Yoo的“A RobustImage Fingerprinting System using the Radon Transform”,Signal Processing:Image Communication,19,pp.325-339,2004,[文献5]中,使用图像的拉东变换来形成图像标识符。在拉东变换后,执行了大量的步骤,这些步骤包括自相关、对数映射(log-mapping)以及2D傅里叶变换。由此提取2D二进制标识符。该方法对应左-右图像翻转而言不是很稳健。
标识符提取的最终替代是使用图像特征。在Vishal Mogna和BrianEvans的“Robust Perceptual Image Hashing Using Feature Points”,Proc.IEEE ICIP 2004,pp.677-680,Oct.,2004[文献6]中提出了一种将小波变换用于特征点检测和提取的方法。检测出的特征被用于构建图像签名。该方法对于旋转而言不具有稳健性。
在Alej andro Jaimes,Shih-Fu Chang和Alexander C.Loui的“Detectionof Non-Identical Duplicate Consumer Photographs”,ICICS-PCM 2003,pp.16-20,Dec.,2003[文献7]中,对兴趣点进行检测并将RANSAC算法用于全局图像对准。根据相关性和自凸显图(self-saliency map)导出了相似匹配度。
US-A-2004/0103101[文献8]涉及解决对图像的经几何变换的拷贝进行检测这一问题。其基于对两个图像之间的匹配对象及特征进行检测。一旦找到图像间的匹配,就计算几何变换,将这两个图像对准并对差进行计算作为图像间相似性的图。
通常,基于特征点检测的方法所使用的搜索和匹配处理对计算要求高,因此不适用于大型数据库或处理能力有限的情况。
在US-B-6072904[文献9]中公开了一种基于边缘的图像检索系统。针对各个图像而形成基于图像中的边缘特征的特征向量,并且通过对这些向量进行比较而执行检索。
在US-A-5465353[文献10]中公开了一种基于图像特征而生成散列值的方案。针对每个图像提取一组局部特征点。根据这些特征而形成一组三重散列(hash triple)并将图像存储在数据库中。描述了一种表决方案,该方案使得可以对具有与查询图像最匹配的特征的文档进行检索。所使用的表决方案使得搜索对计算要求很高。
在US-A-5819288[文献11]、US-A-5852823[文献12]及US-A-5899999[文献13]提出的方法中,以一组预定高斯导函数(Gaussianderivative)(25个滤波器)进行的多重分辨率(3个等级)处理而得到特征。对于每个颜色通道得到15625(253)个特征,即46875个特征。通过对所有图像计算特征的统计量(均值和方差),可以将一组图像组合在一起以进行存储和/或查询。该方法对存储要求非常高。
在Maria Petrou和Alexander Kadyrov的“Affine Invariant Featuresfrom the Trace Transform”,IEEE Trans.On PAMI,26(1),Jan,2004,pp30-44[文献16]中,提出了一种基于迹变换(trace transform)的图像特征提取方法。利用泛函的组合而得到具有(7×6×14)588个数字的特征向量。由于该方法要求对每个图像执行多次迹变换以获得特征向量中的所有588个数字,因此该方法的计算复杂度很高。
现有算法和系统的主要问题是:
●在特征提取和/或匹配方面的计算复杂度高,
●描述符需要过多的存储空间,
●对图像修改不具有稳健性,
●对于大型数据库的有效使用而言,误接受率(false acceptance rate)太高。
发明内容
在所附的权利要求中阐述了本发明的多个方面。
本发明提供了有效的特征提取和非常简单、快速的匹配。标识符也非常紧凑;一般地不超过128位(16个字节),因此在1KB中可存储64个图像标识符,而在1MB中可存储65536个标识符。最佳的已知现有技术方法要求每图像400个位。本发明的误接受率是百万分之一的量级。
本发明涉及一种从图像中提取标识符的新方法。通过一种方法获得了稳健的标识符,在一个实施方式中,该方法将迹变换和基于傅里叶变换的幅度的二进制系数编码组合使用。二进制编码方法使用(迹变换的)圆函数(circus function)来提取二进制标识符。
迹变换包括利用直线对图像进行追踪,其中沿这些直线计算图像强度(intensity)或颜色函数的特定泛函T。不同的迹泛函T可以用于由单个输入图像产生不同的迹变换。由于在2D平面中直线可以由两个参数(d,θ)来表征,因此2D图像的迹变换是各迹线(tracing line)的参数(d,θ)的2D函数。
接下来,通过沿迹变换的列(在迹域中)应用直径泛函(diametricfunctional)P来计算“圆函数”(即,对距离参数d应用直径泛函P以得到关于角度θ的1D圆函数)。
根据本发明,获得了圆函数的频率表示(例如,傅里叶变换),而且定义了关于频率幅度分量的函数并将其符号(sign)取作二进制描述符。
该方法的另一方面通过将从使用不同的泛函组合而获得的标识符“族”中选择的片段组合为单个描述符。使用这种组合极大地提高了标识符的性能。
附图说明
将参照附图来对本发明的实施方式进行说明,在附图中:
图1a示出了一个图像;
图1b示出了经缩减的图1a的图像;
图1c示出了经旋转的图1a的图像;
图1d示出了经模糊处理的图1a的图像;
图2示出了一个图像和根据现有技术的对该图像的位串表示;
图3是例示本发明的一个实施方式的方法的步骤的图;
图4是例示本发明的一个实施方式的另一方法的步骤的图;
图5是例示迹变换的直线参数化的图;
图6a至c例示了从经过不同处理的图像导出的函数;
图7是根据本发明的一个实施方式的装置的框图;
图8是例示使用多重迹变换的一个实施方式的框图;以及
图9例示了根据图8的实施方式产生的位流。
具体实施方式
下面将对获得图像的表示以及将这种表示用于例如一个图像或多个图像的识别、匹配或验证的各种实施方式进行说明。如上面所讨论的,本发明对于识别图像特别有用,但是其并不限于图像识别。类似地,如在实施方式中所说明的,图像标识符是图像表示的示例,或者是描述符的示例。
根据本发明的一个实施方式的视觉标识符的具体设计由以下因素决定:与图像修改类型(其应当是稳健的)有关的要求、标识符的大小、提取和匹配复杂度、目标虚警率等。
这里,我们示出了一种通用设计,该设计获得了对于以下图像修改而言稳健的标识符,这些对图像的修改包括:
●颜色缩减(reduction),
●模糊,
●亮度改变,
●翻转(左右&上下),
●灰度变换,
●直方图均衡,
●JPEG压缩,
●噪声,
●旋转,以及
●缩放。
对于较多种类的图像而言,标识符应当优选地实现百万分之一的极低虚警率。
图1示出了一个图像以及经修改的该图像的示例。更具体地说,图1a是原始图像,图1b是经缩减的图1a的图像,图1c是经旋转的图1a的图像,而图1d是经模糊处理的图1a的图像。
通过对与图像相对应的信号进行处理,本发明的该实施方式获得了图像的表示,更具体地说,获得了图像标识符。
图3示出了根据本发明的一个实施方式获得图像标识符的方法的步骤,即,标识符提取处理。
在进行迹变换之前,通过调整大小(步骤110)和可选的滤波(步骤120)对图像进行了预处理。调整大小的步骤110用于在处理前将图像归一化。步骤120可包含滤波处理,该滤波处理用于去除诸如由对该图像和/或所选择的区域而不是使用完整的原始图像执行的任意处理而造成的混叠(aliasing)等的影响。在该方法的优选实施方式中,从图像的中央提取一个圆形区域以供进一步处理。
在步骤130,执行迹变换T(d,θ)。迹变换130将所有可能的线都投影到图像上,并对这些线条应用泛函。泛函是向量空间V上的实值函数,通常由函数组成。
在迹变换的情况下,对图像中的线应用迹泛函T。如图5所示,以d和θ对线进行参数化。之后在步骤140,可向迹变换的列(即,沿距离参数d)应用另一泛函D以给出实数向量。该第二个泛函P被称为直径泛函,而所得到的向量(关于θ的1D函数)被称为圆函数。可以向圆函数应用第三个泛函(圆泛函)以给出单个数字。通过适当选择这三个不同泛函(迹泛函、直径泛函以及圆泛函),可以控制该结果的性质。例如,在Alexander Kadyrov和Maria Petrou的“The Trace Transform and ItsApplications”,IEEE Trans.PAMI,23(8),Aug.,2001,pp.811-828[文献15]中可以找到迹变换的详细内容,其中包括图像的示例以及对应的迹变换,通过引证的方式将该文合并于此。
在本发明的该实施方式的方法中,在迹变换中仅取前两个步骤,即,在应用了迹变换后应用了直径泛函以获得1D圆函数。
在该方法的一个特定示例中,迹泛函T由下式给出
∫ξ(t)dt,                  (1)
而直径泛函P由下式给出
max(ξ(t))。                 (2)
在图6中可看出圆函数是如何受不同的图像处理操作影响的示例,其示出了与经过不同处理的图像相对应的圆函数。图6(a)对应于原始图像;图6(b)对应于经旋转的该图像,而图6(c)对应于经过模糊处理的该图像。可以看出,旋转使该函数发生移位(而且造成缩放变化)。
对于以上所列出的所有图像修改操作,可以看出,通过适当选择泛函,图像a的圆函数f(a)仅是经修改的图像a’的圆函数f(a’)的经移位的或(在幅度上)经缩放的形式(见文献15的第三节)。
f(a′)=κf(a-θ)                (3)
接着,通过对式(3)取傅里叶变换,我们得到
F(Φ)=F[κf(a-θ)],             (4)
    =κF[f(a-θ)],             (5)
    =κexp-jθΦF[f(a)]。       (6)
之后取式(6)的幅度,得出
|F(Φ)|=|κF[f(a)]|            (7)
从式(7)中,我们可看出除了缩放因子κ以外,经修改的图像与原始图像现在是等效的。
根据该实施方式,对多个傅里叶变换系数的幅度系数定义函数c(ω)。该函数的一个例子是取相邻系数的差
c(ω)=|F(ω)|-|F(ω+1)|         (8)
通过将阈值应用于所得到的式(8)的向量,可以提取二进制串,使得对于所有的ω,
b &omega; = 0 , c ( &omega; ) < 0 1 , c ( &omega; ) > = 0 - - - ( 9 )
之后,本发明的该实施方式的图像标识符由这些值B={b0,...,bn}构成。
为了执行两个不同的标识符B1和B2(长度均为N)之间的标识符匹配,取归一化的汉明(Hamming)距离
H ( B 1 , B 2 ) = 1 N &Sigma; N B 1 &CircleTimes; B 2 - - - ( 10 )
其中,
Figure A200780037973D00142
是异或(XOR:exclusive OR)运算符。可以使用对标识符或表示进行比较的其它方法。
通过选择标识符中的特定位,可以进一步提高性能。低位通常更具有稳健性,而高位更具有区分性。在本发明的一个特定实施方式中,忽略了第一位,则标识符由其后的64个位构成。
在图7中示出了用于执行上述方法的根据本发明的一个实施方式的装置的示例。具体地说,图像200由图像存储器模块210接收并存储在图像数据库230中。此外,根据本发明的方法,标识符提取器和存储器模块220针对所接收的各图像提取图像标识符,并且将图像标识符(根据情况,可选地与关于图像内容的其它信息一起)存储在标识符数据库240中。
图7还示出了实现了图像搜索引擎的装置,该图像搜索引擎使用通过以上方法提取的图像标识符。响应于对查询图像250的接收,可以由图像搜索引擎来执行图像验证或匹配。根据本发明的方法,在标识符提取器模块260中对查询图像250的图像标识符进行提取。标识符匹配模块270将查询图像250的图像标识符与存储在标识符数据库240中的图像标识符进行比较。如在下面更详细地讨论的,图像检索模块280从图像数据库230中检索出匹配图像290,其中匹配图像290具有与查询图像标识符相匹配的图像标识符。
图4示出了对傅里叶变换系数而定义二进制函数的另选方法。具体地说,在获得傅里叶变换系数(步骤171)后,得到了多个傅里叶变换系数的幅度的对数(步骤172和步骤173)。与上面的式(8)相似,计算后续系数的差(步骤174),然后取该差的符号并根据该符号而分配二进制值(步骤175),随后这些二进制值被用于形成二进制标识符。
如图8和图9中所示,通过使用多重迹变换并且将来自独立变换的位进行组合,可以改善前述的基本标识符。用于组合来自两个独立的变换361和362的二进制串的具体方法是将二进制串连接(concatenate)起来以获得标识符363。通过使用式(1)中的迹泛函T与式(2)所给出的直径泛函P而得到一个二进制串随后使用式(1)的迹泛函T和直径泛函P:
∫|ξ(t)′|dt                     (11)
得到第二个二进制串。跳过各二进制串的首位,并将这两个二进制串的后续64位连接起来以获得128位的标识符。
如图7和上面所描述的,标识符的一种应用是图像搜索引擎。通过提取图像的二进制标识符并与相关联的信息(诸如文件名、图像、摄影师、拍摄日期和时间、以及任何其它的有用信息)一起存储而构建数据库240。之后,当给定查询图像aq时,提取二进制标识符并将其与数据库中的所有标识符B0...BM进行比较。返回与查询图像的汉明距离低于阈值的所有图像。
可以使用不同的迹泛函T和直径泛函D,例如(非穷尽列举):
∫ξ(t)dt,                            (A1)
(∫|ξ(t)|qdt)r,其中q>0               (A2)
∫|ξ(t)|dt,                          (A3)
∫(t-X1)2ξ(t)dt,其中 X 1 = &Integral; t&xi; ( t ) dt A 1 - - - ( A 4 )
A 4 A 1 , - - - ( A 5 )
max(ξ(t)),                           (A6)
A6-min(ξ(t))。                        (A7)
可以合并两个或更多个标识符以更好地表征图像。优选地通过将多个标识符连接起来而进行组合。
对于比旋转、平移和缩放更高阶的几何变换而言,上述标识符的形式是不恰当的;式(3)的关系不成立。使用归一化处理(详情见上面文献16)可将标识符的稳健性扩展至仿射变换(affine transformation)。引入了两个步骤来对圆函数进行归一化,第一个步骤涉及寻找所谓的关联圆,之后第二个步骤涉及寻找经归一化的关联圆函数。在归一化之后,表明(3)中的关系为真。现在可以与以前一样进行标识符提取处理。
下面在(G1)&(G2)中给出了供归一化处理使用的一些合适的迹泛函,在(G3)中给出了对直径泛函的适当选择。
T ( g ( t ) ) = &Integral; R + rg ( r ) dr , - - - ( G 1 )
T ( g ( t ) ) = &Integral; R + r 2 g ( r ) dr , - - - ( G 2 )
P(h(t))=∑k|h(tk+1)-h(tk)|,   (G3)
其中,r≡t-c,c≡median({tk}k,{|g(tk)|}k)通过识别满足下式
&Sigma; k < m w k &le; 1 2 &Sigma; k &le; n w k - - - ( 12 )
的最大指数,可以定义具有非负权重w1、w2、...、wn的序列y1、y2、...、yn的加权中值,假设该序列是根据权重以升序而排序的。如果不等式(式12中)是严格的,则中值为ym。然而,如果该不等式是等式,则中值为(ym+ym-1)/2。
可通过实验进行选择,而不是根据位的连续块来构建标识符。具体做法的一个示例是,有两组数据:i)独立的图像;ii)原始图像以及经修改的图像。可以通过将独立数据的误接受率与原始及经修改的图像的误拒绝率进行比较,来测量标识符的性能。所关注的是等错率或者在1×10-6的误接受率下的误拒绝率。优化开始时,没有位被选择。可以按照每次一个位的方式来考察各个位,以观察哪个位给出最佳性能(假设就等错率或某种类似测度而言)。现在选择了给出最佳结果的位。接下来,可以对所有剩余的位进行测试以寻找哪个位与第一位相结合而给出了最佳性能。同样地,选择具有最低错误率的位。重复该过程直到选择了所有的位。之后,可以选择能够得到整体最佳性能的位组合。
可以将一种结构应用于标识符以提高搜索性能。例如,可以实现两阶段搜索,这些位的一半被用于初始搜索,随后只有那些具有给定准确度水平的那些位被接受以用于第二阶段搜索。
可以使用诸如Reed-Muller解码器或Wyner-Ziv解码器之类的方法对标识符进行压缩以进一步减少其大小。
标识符还可以用于对视频序列中的帧进行索引。给定一个新的序列,可以从帧中提取标识符,之后可进行搜索以寻找相同的序列。这对于版权检测以及序列识别而言是有用的。
多个广播台经常发送相同的内容,例如,广告或股票新闻片。标识符可用于形成内容之间的链接以在广播台之间进行导航。
图像标识符提供了通过图像将内容链接在一起的机会。如果用户对网页上的特定图像感兴趣,目前尚没有寻找具有相同图像的其它网页的有效方法。标识符可用于提供图像之间的导航路径。
标识符可用于检测广播馈送(broadcast feed)中的广告。这可以用于为广告商提供自动监控以跟踪他们的活动。
存在着非常多的图像数据库,从巨大的商用集合到个人计算机上的小的集合。除非对数据库进行严格的控制,否则在集合中经常会存在需要不必要的额外存储的重复图像。可以使用标识符作为用于消除或链接这些数据集中的重复图像的工具。
在本说明书中,术语“图像”用于描述一个图像单元,包括诸如滤波、改变分辨率、上采样(upsampling)、下采样(downsampling)处理后的图像单元,但是该术语还适用于其它类似的术语,诸如帧、字段、图片、或图像、帧等的子单元或区域。在本说明书中,除了从上下文显而易见的以外,图像这一术语表示整个图像或图像的区域。类似地,图像的区域可以表示整个图像。图像包括帧或字段,并且图像涉及静止图像或者图像序列(诸如电影或视频)中或相关的图像组中的图像。该图像可以是灰度图像或彩色图像,或者是其它类型的多光谱图像(例如,IR、UV或其它电磁图像)、或声图像。
在本实施方式中,使用傅里叶变换导出了频率表示,但是还可以使用诸如Haar变换的其它技术而导出频率表示。在权利要求中,术语傅里叶变换旨在包含诸如DFT和FFT等变型。
本发明优选地通过用适当的装置对电信号进行处理而实现。
通过对软件和/或硬件进行适当的修改,可以在例如计算机系统中实现本发明。例如,可以使用具有诸如处理器或控制设备、数据存储装置之类的控制或处理装置的计算机等来实现本发明,这些控制或处理装置包括图像存储装置(诸如存储器、磁存储器、CD、DVD等)、数据输出装置(诸如显示器、监视器或打印机)、数据输入装置(诸如键盘)、以及图像输入装置(诸如扫描仪)、或这些部件连同附加部件的任意组合。可以通过软件和/或硬件的形式来提供本发明的多个方面,或者可以在诸如芯片之类的专用装置或专用模块中提供本发明的多个方面。根据本发明的一个实施方式的装置中的系统的部件例如可以通过互联网从另一部件远程地提供。
本领域技术人员应该理解的是,可以对所述实施方式做出很多变型或修改。如在所附权利要求中限定的一样,本发明旨在将落入本发明的精神和范围的所有这种变型、修改或等同物包括在内。

Claims (31)

1、一种通过处理与图像相对应的信号而导出该图像的表示的方法,该方法包括以下步骤:
导出所述图像的函数,其中所述图像的经平移、缩放或旋转后的形式的函数是对所述图像的函数进行平移或缩放后的形式,以及
使用所述函数的频率表示的多个频率分量而导出所述图像的表示。
2、根据权利要求1所述的方法,其中,所述函数是1维函数。
3、根据权利要求1或2所述的方法,其中,所述函数是圆函数或者是从圆函数导出的函数。
4、根据上述权利要求中任意一项所述的方法,该方法还包括以下步骤:使用所述频率分量的幅度而导出所述图像的表示。
5、根据权利要求4所述的方法,该方法还包括以下步骤:使用所述频率分量的幅度来定义表示函数。
6、一种通过处理与图像相对应的信号而导出该图像的表示的方法,该方法包括以下步骤:
导出所述图像的1维函数,
确定所述函数的频率分量,以及
使用所述频率分量的幅度来定义表示函数。
7、根据权利要求5或6所述的方法,其中,所述表示函数是二进制函数。
8、根据权利要求5至7中任意一项所述的方法,其中,所述表示包括所述表示函数的值。
9、根据上述权利要求中任意一项所述的方法,其中,使用傅里叶变换或Haar变换来确定所述频率分量。
10、根据权利要求5至8中任意一项所述的方法,其中,使用以下步骤获得所述表示函数:
计算多个频率系数的幅度,以及
确定各系数与其后的系数的幅度差。
11、根据权利要求5至8中任意一项所述的方法,其中,使用以下步骤获得所述表示函数:
计算多个频率系数的幅度的对数,以及
确定各系数的幅度的对数与其后的系数的幅度的对数之差。
12、根据权利要求10或权利要求11所述的方法,其中,所述频率系数是傅里叶变换系数或Haar变换系数。
13、根据权利要求10、11和12中任意一项所述的方法,该方法还包括通过以下方式导出二进制函数的步骤,即:
向各个所确定的差施加阈值以导出一系列二进制值,其中,如果所述差小于零,则施加阈值的步骤提供为0的二进制值,而如果所述差大于或等于零,则施加阈值的步骤提供为1的二进制值。
14、根据权利要求1、2、3或6中任意一项所述的方法,其中,所述图像表示包括函数的值,该函数优选地是针对多个频率分量的幅度而定义的二进制函数。
15、根据上述权利要求中任意一项所述的方法,该方法还包括以下步骤:导出步骤,该步骤使用两个或更多个单独的圆函数而导出两个或更多个表示,以及组合步骤,该步骤将所述两个或更多个表示组合起来。
16、根据权利要求15所述的方法,其中,所述组合步骤包括以下步骤:将所述两个或更多个表示连接起来。
17、根据上述权利要求中任意一项所述的方法,该方法还包括以下步骤:导出具有n个数位或位的表示,该方法进一步包括以下步骤:选择具有m个数位或位的子集。
18、根据上述权利要求中任意一项所述的方法,其中,使用以下函数中的一个或更多个导出所述函数:
∫ξ(t)dt,                       (A1)
(∫|ξ(t)|qdt)r,其中q>0          (A2)
∫|ξ(t)′|dt,                   (A3)
∫(t-X1)2ξ(t)dt,其中 X 1 = &Integral; t&xi; ( t ) dt A 1 - - - ( A 1 )
A 4 A 1 , - - - ( A 5 )
max(ξ(t)),         (A6)
A6-min(ξ(t))。      (A7)
19、根据上述权利要求中任意一项所述的方法,该方法还包括以下步骤:在确定频率分量之前对所述函数进行归一化。
20、根据权利要求19所述的方法,该方法还包括以下步骤:导出关联的圆函数或归一化的圆函数。
21、根据权利要求20所述的方法,该方法使用以下函数中的一个或更多个:
T ( g ( t ) ) = &Integral; R + rg ( r ) dr , - - - ( G 1 )
T ( g ( t ) ) = &Integral; R + r 2 g ( r ) dr , - - - ( G 2 )
P(h(t))=∑k|h(tk+1)-h(tk)|。  (G3)
22、根据上述权利要求中任意一项所述的方法,该方法用于对图像进行识别或比较。
23、一种对图像进行识别的方法,该方法包括以下步骤:使用根据上述权利要求中任意一项所述的方法导出所述图像的表示,以及将所述表示与所述图像关联起来。
24、一种对图像进行比较的方法,该方法包括比较步骤,该步骤对使用根据上述权利要求中任意一项所述的方法导出的各图像的表示进行比较。
25、根据权利要求24所述的方法,其中,所述比较步骤包括以下步骤:使用下式确定汉明距离:
H ( B 1 , B 2 ) = 1 N &Sigma; N B 1 &CircleTimes; B 2 , - - - ( 10 )
其中,
Figure A200780037973C0004095007QIETU
是异或(XOR)运算符,N为长度。
26、根据权利要求24或25所述的方法,该方法还包括以下步骤:基于对表示的比较来选择图像。
27、一种包括例如对根据权利要求1至21中任意一项所述的方法导出的表示进行发送或接收的用途。
28、一种执行根据权利要求1至26中任意一项所述的方法的装置。
29、根据权利要求28所述的装置,该装置包括控制设备,该控制设备用于控制所述设备的操作以执行根据权利要求1至26中任意一项所述的方法。
30、根据权利要求29所述的装置,该装置进一步包括用于存储图像和/或图像的表示的例如图像数据库和/或描述符数据库之类的存储装置、显示装置、以及图像选择装置中的一个或更多个。
31、一种用于执行根据权利要求1至26中任意一项所述的方法的计算机程序、系统或计算机可读存储介质。
CN2007800379730A 2006-10-11 2007-10-11 导出图像的表示的方法、对图像进行识别和比较的方法及其装置 Active CN101523415B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP06255239A EP1912160B1 (en) 2006-10-11 2006-10-11 Image descriptor for image recognition
EP06255239.3 2006-10-11
PCT/GB2007/003859 WO2008044026A1 (en) 2006-10-11 2007-10-11 Image descriptor for image recognition

Publications (2)

Publication Number Publication Date
CN101523415A true CN101523415A (zh) 2009-09-02
CN101523415B CN101523415B (zh) 2013-12-18

Family

ID=37491811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800379730A Active CN101523415B (zh) 2006-10-11 2007-10-11 导出图像的表示的方法、对图像进行识别和比较的方法及其装置

Country Status (5)

Country Link
US (1) US8655103B2 (zh)
EP (2) EP2315161A1 (zh)
JP (1) JP5175854B2 (zh)
CN (1) CN101523415B (zh)
WO (1) WO2008044026A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103403738A (zh) * 2011-03-04 2013-11-20 创新科技有限公司 用于促进高效信息编码的方法和装置
CN104254877A (zh) * 2012-04-23 2014-12-31 意大利电信股份公司 用于图像分析的方法和系统
CN106846607A (zh) * 2017-01-11 2017-06-13 深圳怡化电脑股份有限公司 一种纸币识别方法及装置

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013078451A1 (en) * 2011-11-22 2013-05-30 Mayo Foundation For Medical Education And Research Methods of determining local spectrum at a pixel using a rotationally invariant s-transform (rist)
GB0712388D0 (en) 2007-06-26 2007-08-01 Mitsubishi Electric Inf Tech High Performance Image Identification
AU2007214319A1 (en) * 2007-08-30 2009-03-19 Canon Kabushiki Kaisha Improvements for Spatial Wyner Ziv Coding
GB0719833D0 (en) 2007-10-10 2007-11-21 Mitsubishi Electric Inf Tech Enhanced image identification
GB0800364D0 (en) 2008-01-09 2008-02-20 Mitsubishi Electric Inf Tech Feature-based signatures for image identification
GB0807411D0 (en) 2008-04-23 2008-05-28 Mitsubishi Electric Inf Tech Scale robust feature-based indentfiers for image identification
US8170341B2 (en) * 2009-01-23 2012-05-01 Nec Corporation Image signature extraction device
GB0901262D0 (en) 2009-01-26 2009-03-11 Mitsubishi Elec R&D Ct Europe Video identification
GB0901263D0 (en) * 2009-01-26 2009-03-11 Mitsubishi Elec R&D Ct Europe Detection of similar video segments
US10133956B2 (en) 2009-03-13 2018-11-20 Nec Corporation Image signature extraction device
US8744193B2 (en) 2009-03-13 2014-06-03 Nec Corporation Image signature extraction device
JP4935961B2 (ja) * 2009-04-14 2012-05-23 日本電気株式会社 画像識別子抽出装置
US8548193B2 (en) * 2009-09-03 2013-10-01 Palo Alto Research Center Incorporated Method and apparatus for navigating an electronic magnifier over a target document
GB0917417D0 (en) 2009-10-05 2009-11-18 Mitsubishi Elec R&D Ct Europe Multimedia signature coding and decoding
CN102576464B (zh) * 2009-10-22 2015-09-09 皇家飞利浦电子股份有限公司 对准来自标本的有序堆叠的图像
US9678688B2 (en) 2010-07-16 2017-06-13 EMC IP Holding Company LLC System and method for data deduplication for disk storage subsystems
CN102622366B (zh) * 2011-01-28 2014-07-30 阿里巴巴集团控股有限公司 相似图像的识别方法和装置
CN102930493B (zh) * 2011-08-12 2017-08-08 索尼公司 防篡改的图像处理方法和装置
US9818187B2 (en) 2011-11-22 2017-11-14 Mayo Foundation For Medical Education And Research Determining local spectrum at a pixel using a rotationally invariant S-transform (RIST)
US9009149B2 (en) 2011-12-06 2015-04-14 The Trustees Of Columbia University In The City Of New York Systems and methods for mobile search using Bag of Hash Bits and boundary reranking
US9773228B2 (en) * 2012-11-02 2017-09-26 Facebook, Inc. Systems and methods for sharing images in a social network
US20150019585A1 (en) * 2013-03-15 2015-01-15 Optinera Inc. Collaborative social system for building and sharing a vast robust database of interactive media content
IL226219A (en) * 2013-05-07 2016-10-31 Picscout (Israel) Ltd Efficient comparison of images for large groups of images
US9390315B1 (en) * 2015-06-25 2016-07-12 A9.Com, Inc. Image match for featureless objects
US10628736B2 (en) 2015-09-24 2020-04-21 Huron Technologies International Inc. Systems and methods for barcode annotations for digital images
US11042772B2 (en) 2018-03-29 2021-06-22 Huron Technologies International Inc. Methods of generating an encoded representation of an image and systems of operating thereof
WO2019183712A1 (en) * 2018-03-29 2019-10-03 Huron Technologies International Inc. Methods of generating an encoded representation of an image and systems of operating thereof
CA3118014A1 (en) 2018-11-05 2020-05-14 Hamid Reza Tizhoosh Systems and methods of managing medical images
EP4252190A1 (en) 2020-11-24 2023-10-04 Huron Technologies International Inc. Systems and methods for generating encoded representations for multiple magnifications of image data

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5465353A (en) 1994-04-01 1995-11-07 Ricoh Company, Ltd. Image matching and retrieval by multi-access redundant hashing
US5819288A (en) 1996-10-16 1998-10-06 Microsoft Corporation Statistically based image group descriptor particularly suited for use in an image classification and retrieval system
US5852823A (en) 1996-10-16 1998-12-22 Microsoft Image classification and retrieval system using a query-by-example paradigm
US5899999A (en) 1996-10-16 1999-05-04 Microsoft Corporation Iterative convolution filter particularly suited for use in an image classification and retrieval system
US6072904A (en) 1997-12-31 2000-06-06 Philips Electronics North America Corp. Fast image retrieval using multi-scale edge representation of images
US6421463B1 (en) * 1998-04-01 2002-07-16 Massachusetts Institute Of Technology Trainable system to search for objects in images
JP3583924B2 (ja) * 1998-05-11 2004-11-04 株式会社沖データ 解像度変換方法及び変換装置
US6671407B1 (en) 1999-10-19 2003-12-30 Microsoft Corporation System and method for hashing digital images
JP4219542B2 (ja) * 2000-09-07 2009-02-04 富士ゼロックス株式会社 画像処理装置、画像処理方法および画像処理プログラムが格納された記録媒体
US7076659B2 (en) * 2002-02-25 2006-07-11 Matsushita Electric Industrial Co., Ltd. Enhanced method for digital data hiding
US7228006B2 (en) 2002-11-25 2007-06-05 Eastman Kodak Company Method and system for detecting a geometrically transformed copy of an image
EP1498848A3 (en) * 2003-07-18 2007-03-07 Samsung Electronics Co., Ltd. GoF/GoP texture description, and texture-based GoF/GoP retrieval
JP4345426B2 (ja) * 2003-10-07 2009-10-14 ソニー株式会社 画像照合方法、プログラム、および画像照合装置
GB0700468D0 (en) * 2007-01-10 2007-02-21 Mitsubishi Electric Inf Tech Improved image identification
GB0719833D0 (en) * 2007-10-10 2007-11-21 Mitsubishi Electric Inf Tech Enhanced image identification

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KADYROV 等: "Affine Parameter Estimation from the Trace Transform", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103403738A (zh) * 2011-03-04 2013-11-20 创新科技有限公司 用于促进高效信息编码的方法和装置
CN103403738B (zh) * 2011-03-04 2017-05-03 创新科技有限公司 用于促进高效信息编码的方法和装置
CN104254877A (zh) * 2012-04-23 2014-12-31 意大利电信股份公司 用于图像分析的方法和系统
CN104254877B (zh) * 2012-04-23 2018-12-14 意大利电信股份公司 用于图像分析的方法和系统
CN106846607A (zh) * 2017-01-11 2017-06-13 深圳怡化电脑股份有限公司 一种纸币识别方法及装置

Also Published As

Publication number Publication date
WO2008044026A1 (en) 2008-04-17
US20100008589A1 (en) 2010-01-14
EP2315161A1 (en) 2011-04-27
EP1912160A1 (en) 2008-04-16
EP1912160B1 (en) 2012-05-16
CN101523415B (zh) 2013-12-18
US8655103B2 (en) 2014-02-18
JP5175854B2 (ja) 2013-04-03
JP2010506323A (ja) 2010-02-25

Similar Documents

Publication Publication Date Title
CN101523415B (zh) 导出图像的表示的方法、对图像进行识别和比较的方法及其装置
CN102317957B (zh) 改进的图像识别
Yan et al. Multi-scale image hashing using adaptive local feature extraction for robust tampering detection
Lee Copy-move image forgery detection based on Gabor magnitude
JP3635368B2 (ja) 内容基盤イメージ検索システム及びその検索方法
CN101821753B (zh) 增强的图像识别
CN101711394B (zh) 高性能图像识别
Himeur et al. Robust video copy detection based on ring decomposition based binarized statistical image features and invariant color descriptor (RBSIF-ICD)
Lee et al. Cnn-based copy-move forgery detection using rotation-invariant wavelet feature
CN106709915B (zh) 一种图像重采样操作检测方法
Isaac et al. Copy-Move forgery detection based on Harris Corner points and BRISK
Golubev et al. Validation of Real Estate Ads based on the Identification of Identical Images
Brasnett et al. Robust visual identifier using the trace transform
Soni et al. Image Copy-Move Forgery Detection
Kurien et al. Accurate and efficient copy-move forgery detection
Suresh et al. Detection and localization of copy-move forgery in digital images: review and challenges
Fattahi et al. Detection of Copy-Move Forgery in Digital Images Using Scale Invariant Feature Transform Algorithm and the Spearman Relationship.
Nirmala Priya et al. Squirrel Henry Gas Solubility Optimization driven Deep Maxout Network with multi‐texture feature descriptors for digital image forgery detection
Fooprateepsiri et al. An image identifier based on hausdorff shape trace transform
Rachana et al. Study and Analysis of Copy-Move Forgery Detection in Digital Image: A
Chen et al. A multi-scale phase method for content based image retrieval
GROSS-AMBLARD Thanh-Toan DO
CN105426446A (zh) Gabor-Zernike特征在医学图像检索中的应用

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20190606

Address after: Tokyo, Japan, Japan

Patentee after: Rakuten Inc.

Address before: Tokyo, Japan

Patentee before: Mitsubishi Electric Corporation

TR01 Transfer of patent right
CP01 Change in the name or title of a patent holder

Address after: Tokyo, Japan

Patentee after: Lotte Group Co.,Ltd.

Address before: Tokyo, Japan

Patentee before: Rakuten, Inc.

CP01 Change in the name or title of a patent holder