CN101711394A - 高性能图像识别 - Google Patents

高性能图像识别 Download PDF

Info

Publication number
CN101711394A
CN101711394A CN200880022022A CN200880022022A CN101711394A CN 101711394 A CN101711394 A CN 101711394A CN 200880022022 A CN200880022022 A CN 200880022022A CN 200880022022 A CN200880022022 A CN 200880022022A CN 101711394 A CN101711394 A CN 101711394A
Authority
CN
China
Prior art keywords
image
function
expression
further comprise
steps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880022022A
Other languages
English (en)
Other versions
CN101711394B (zh
Inventor
米罗斯瓦夫·博贝尔
保罗·布拉斯尼特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lotte Group Co.,Ltd.
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN101711394A publication Critical patent/CN101711394A/zh
Application granted granted Critical
Publication of CN101711394B publication Critical patent/CN101711394B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/48Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/421Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation by analysing segments intersecting the pattern

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

描述了一种用于导出图像的表示的方法和装置。该方法涉及对与图像相对应的信号进行处理。使用至少一个泛函T导出图像的二维函数(如迹变换(T(d,θ)))并使用掩蔽函数(β)进行处理以导出该图像的与一维函数相对应的中间表示。在一个实施方式中,该掩蔽函数在迹域中定义了迹变换的成对的图像带。通过将现有技术应用于所导出的一维函数,可以导出该图像的表示。

Description

高性能图像识别
技术领域
本发明涉及一种表示图像的方法和装置,此外,本发明涉及一种例如出于搜索或验证的目的而对图像进行比较或匹配的方法和装置。
背景技术
本发明涉及对在同时待审的欧洲专利申请No:EP 06255239.3和英国专利申请No:GB 0700468.2(以下称为参考文献[6]和[7])中所公开的图像识别技术的改进。以引证方式将EP 06255239.3和GB 0700468.2的内容并入本文中。EP 06255239.3和GB 0700468.2中的发明和实施方式的细节同样适用于本发明和实施方式。
在EP 06255239.3和GB 0700468.2中描述的分别从图像中提取短二元描述符(见图2)的图像识别方法和装置解决了现有技术中的很多缺陷并特别地具有以下特征:
·降低了特征提取和特征匹配的计算复杂度,
·减小了图像描述符大小,
·提高了对各种图像修改的鲁棒性,
·在对广泛的图像修改保持超过98%的检测率的同时,将虚警率(false alarm rate)降低到1ppm水平。
然而,在很多实际应用中,虚警率必需要大大地低于1ppm并且希望检测率高于98%。因此,希望将平均检测率提高到98%以上。此外,希望改善对直方图均衡和图像剪裁的鲁棒性。
发明内容
根据第一方面,本发明提供了一种如在所附权利要求1中限定的那样导出图像的表示的方法。
本发明的其它方面包括利用根据本发明第一方面而导出的图像表示的用途、执行根据本发明第一方面的方法的装置、以及一种包括用于执行根据本发明第一方面的方法的指令的计算机可读存储介质。
在从属权利要求中阐明了这些实施方式的优选特征和可选特征。
本发明涉及一种从图像的迹变换(trace transform)(或图像的等效二维函数)中提取视觉识别特征的新方法。在通过引用并入本文的专利申请EP 06255239.3和GB 0700468.2中描述的方法使用迹变换作为中间表示。所述迹变换对图像上所有可能的线进行投影,并从整个迹变换表示中提取二元分量标识符,然后将所述标识符组合在一起。
本发明涉及提取一个或更多个表示,其中每一个表示由图像中的可能的线的子集来构建,即,当从中间表示中导出附加的二元分量标识符时迹变换在空间上受限(被掩蔽)(如下所述)。所述子集或多个这种子集可用于提取与该图像的特定部分相关的其它识别信息。可以将这种附加的识别信息添加到使用诸如专利申请EP 06255239.3和GB 0700468.2的方法之类的其它方法导出的整个图像的表示中。已经发现,将这种附加信息包括在内显著地提升了图像识别性能和鲁棒性。此外,一种另选的预处理方法可用于进一步对结果进行改进。
在本发明中,措辞“泛函(functional)”具有其正常的数学含义。具体地说,泛函是在向量空间V上的实值函数,通常由函数组成。在迹变换的情况下,在图像中的线上应用泛函。
在共同待审的专利申请EP 06255239.3和GB 0700468.2中描述的方法中,通过以直线(沿着该直线计算出图像强度或颜色函数的特定泛函T)追踪图像来计算迹变换。不同的泛函T可用于从单个输入图像产生不同的迹变换。由于在2维平面中,直线可以由角度θ和距离d两个参数来表征,因此图像的迹变换是各迹线(tracing line)的参数的2维函数。接下来,通过沿迹变换的列应用直径泛函(diametric functional)P来计算“圆函数”(circus function)。在GB 0700468.2中,执行了进一步的处理,其中,以条(strip)(图11所示)和/或双锥形(如图12所示)对所述图像有效地进行另外的追踪以降低图像的迹变换的分辨率,由此导出该圆函数。使用具有不同宽度的条和/或具有不同张开角的双锥形以获得多分辨率表示。由各圆函数,通过计算该圆函数的频率表示(例如,通过傅里叶变换)并采用在频率幅度分量上定义的特定函数(例如,该函数可以是任意两个相邻频率幅度的大小之差)的符号(sign)来构建分量二元标识符。可以将通过使用具有与条和/或双锥面的不同的泛函而获得的分量标识符的“族”中所选择的串片段组合成单个描述符(如以下参考文献[4]所公开的那样)。
通过在迹变换域中沿该条和锥形隐含地计算迹变换的值,能够非常高效地实现描述符的提取。
根据本发明的一个方面,掩蔽函数提取了迹变换的在空间上有限的区域,如迹域中的带(band),进而使用这些带来计算从中提取附加二元描述符的圆函数。如下所述,迹域中的带与图像域中的锥形相对应。应该注意的是,在共同待审的专利申请EP 06255239.3和GB 0700468.2中公开的技术中,各分量二元描述符包含有在图像上投影的每一个可能的线的表示。相反,根据本发明的一个方面,各分量描述符集中于图像的所选择的部分或区域内的线的特定子集,由此提供更独立和鲁棒的识别信息。通过将该附加的分量描述符增加到现有技术的描述符中,可以在性能上实现非常显著的改进。具体地说,提高了对颜色交替变换(诸如直方图均衡)和内容变化修改(尤其是剪裁)的鲁棒性。而且,通常可以在与早先的技术相比降低了10倍虚警率(0.1ppm)的情况下将平均检测率提高到99.80%。
根据本发明的另一个方面,可以向提取出的圆形子图像的边界增加锥形渐变以进一步改善性能。
附图说明
将参照附图对本发明的实施方式进行描述,在附图中:
图1a示出了一个图像;
图1b示出了图1a的图像的经缩减版本;
图1c示出了图1a的图像的经旋转的版本;
图1d示出了图1a的图像的经过模糊处理的版本;
图1e示出了图1a的图像的经过翻转(从左至右)的版本;
图1f示出了图1a的图像的经过严重压缩的版本;
图1g示出了图1a的图像的经过裁剪的版本;
图2示出了一个图像和根据现有技术的对图像的位串表示;
图3是例示了本发明一个实施方式的方法的步骤的图;
图4是例示了从圆函数(circus function)中提取二元标识符的图;
图5是例示了迹变换的直线参数化(line parameterisation)的图;
图6a示出了一个图像;
图6b示出了图6的图像的迹变换;
图6c示出了图6a的图像的圆函数;
图7a至图7c例示了从图像的不同版本中导出的函数;
图8是根据本发明一个实施方式的装置的框图;
图9是例示了使用多次迹变换的一个实施方式的框图;
图10例示了根据图8的实施方式产生的比特流;
图11例示了当分解迹变换的参数d时原始图像中的间隔条;
图12例示了当分解迹变换的参数θ时原始图像中的双锥形;
图13例示了迹变换中参数d的分解;
图14例示了迹变换中参数θ的分解;
图15例示了迹域中的带与图像域中的线之间的等价;以及
图16例示了从迹变换中提取带的1D表示。
具体实施方式
以下将描述用于导出图像的表示(具体地说,是图像标识符)和出于例如对一个图像或多个图像进行识别、匹配或验证的目的而使用这种表示/标识符的各种实施方式。本发明对于图像识别尤其有用,但并不限于图像识别。在所描述的实施方式中,“图像标识符”(或简称“标识符”)是图像的表示的例子,并且该术语只用于表示图像的表示或描述符。
技术人员将理解,根据本发明的实施方式的图像识别装置和方法的具体设计细节、以及在图像识别中使用的图像标识符的导出是由以下因素决定:与图像修改类型有关的要求(其应当对图像修改类型是鲁棒的)、标识符的大小、提取和匹配复杂度、目标虚警率等。
以下实施例例示了一种通用设计,该设计获得了对于以下图像修改而言鲁棒的标识符,这些对图像的修改包括(非穷举列表):
·颜色缩减(color reduction),
·模糊,
·亮度改变,
·翻转(从左到右&从上到下),
·灰度转换,
·直方图均衡,
·JPEG压缩,
·噪声,
·旋转,
·裁剪,以及
·缩放。
已经发现,该通用设计通常能够针对众多类图像实现小于百万分之0.1的极低虚警率和99.8%的检测率。
图1示出了一个图像以及该图像的经修改的版本。更具地说,图1a是原始图像,图1b是图1a的图像的经缩减的版本,图1c是图1a的图像的经旋转的版本,图1d是图1a的图像的经过模糊处理的版本,图1e是图1a的图像的经过翻转的版本,图1f是图1a的图像的经过压缩的版本,而图1g是图1a的图像的经过裁剪的版本。
本发明的一个实施方式通过处理与该图像相对应的信号而获得了图像的表示,更具体地说,获得了图像标识符。通常,如在图2中借助于实施例所示出的,图像标识符是二元描述符。
图3示出了根据本发明一个实施方式的获得图像标识符的方法,即,一种标识符提取处理。
在提取的初始阶段,可选地通过调整大小(步骤110)和滤波(步骤120)对图像进行预处理。调整大小步骤110用于在进行处理前使图像归一化。滤波步骤120可包括滤波以去除诸如混叠(aliasing)的效应,该步骤还可以包括区域选择和锥形渐变(tapering)。在优选的实施方式中,将图像的大小调整为192×N或N×192的分辨率,其中N≥192并且保留纵横比。在另一个实施方式中,将图像的大小调整为192×192的方块。之后以3×3高斯核(Gaussian kernel)对该图像进行低通滤波。从该图像的中央提取了圆形区域以供进一步处理。根据本发明的一个方面,通过在提取圆形中央区域时使用锥形渐变的边缘而提高了性能。优选实施方式使用7个像素的锥形尺寸。该预处理步骤是可选的并可以包括以上处理的任意组合。
在步骤130中,执行图像的迹变换T(d,θ),其中,如图5所示,以d和θ对图像中的线进行参数化。迹变换对该图像上所有可能的线进行投影,并对这些线应用泛函T。泛函是在向量空间V上的实值函数,通常由函数组成。在迹变换的情况下,在所述图像中的线上应用泛函。在图6b中示出了图6a的迹变换的例子。在步骤140中,可以对迹变换的结果进行分解以在其维度d和θ中的一个或二者上减小其分辨率。在EP06255239.3和GB 0700468.2的方法中,在随后的步骤150中,对迹变换的列应用另一个泛函P以给出一个由实数组成的向量(即,一维函数)。该第二泛函P被称为直径泛函,而所得到的向量被称为圆函数。图6c示出了图6a的圆函数的例子。可以将第三泛函(圆泛函)应用于圆函数以给出单个数字,尽管在优选实施方式中未使用该步骤。通过恰当地选择泛函(迹泛函、直径泛函、和圆泛函),可以控制结果的属性。在以下参考文献[1]中可以找到迹变换的全部细节(包括图像和相对应的迹变换的示例),以引证方式将该文献合并于此。
图6示出了以泛函T提取的图像的迹变换T(d,θ)
∫ξ(t)dt                            (1)
以及通过应用直径泛函P而产生的圆函数
max(ξ(t))                           (2)
图7示出了圆函数如何受到不同的图像处理操作的影响。图7示出了与图像的不同的修改版本相对应的圆函数。图7a是原始图像的圆函数;图7b是该图像的经旋转的版本的圆函数,而图7c是该图像的经过模糊处理的版本的圆函数。可以看出,旋转使函数发生了移位(并造成了缩放变化)。
再次参照图3,根据本发明的一个方面,引入了步骤155来获得带-圆函数(band-circus function)以作为步骤150所提取的圆函数的另选方案。如下所述,通过仅从迹变换的一部分中对值进行选择并处理,步骤155将迹变换限制在图像的线的子集。
根据本发明的一个优选实施方式,如图3所示,经由步骤160-180中的频率表示从带-圆函数(方框155的输出)提取了二元标识符。
如在共同待审的专利申请EP 06255239.3和GB 0700468.2中所讨论的,可以看到,针对以上列出的大部分的图像修改并且适当地选择泛函T、P,图像a的圆函数f(a)至多是经修改的图像a’的圆函数f(a′)的(在幅度上)移位或缩放后的版本(见以下参考文献[1]第3部分)。
f(a′)=κf(a-θ)                    (3)
现在,通过对式(3)进行傅里叶变换,我们得到
F(Φ)=F[κf(a-θ)],                (4)
=κF[f(a-θ)]                       (5)
=κexp-jθΦF[f(a)]。               (6)
之后取式(6)的幅度,得出
|F(Φ)|=|κF[f(a)]|                 (7)
从式(7)中,我们可看出,除了缩放因子κ以外,与经修改的图像和原始图像相对应的频率表示的幅度分量现在是等价的。
图4示出了定义对傅里叶变换的二元函数的方法的一个例子。具体地说,在图3的步骤170中获得傅里叶变换后,在步骤173中获得傅里叶变换的幅度的对数。
根据一个实施方式,现在对傅里叶变换的多个幅度系数定义函数c(ω)。该函数的一个例子是取相邻系数的差(步骤174)
c(ω)=|F(ω)|-|F(ω+1)|                    (8)
在步骤175中,通过将阈值应用于从式(8)所得到的向量,可以提取二元串(binary string),使得对于所有的ω,
b &omega; = 0 . c ( &omega; ) < S 1 . c ( &omega; ) &GreaterEqual; S - - - ( 9 )
S的适当选择包括S=0和S=mean(c)。之后这些二元串值组成了图像标识符B={b0,...,bn}。
为了执行两个不同的标识符B1和B2(长度均为N)之间的标识符匹配,取归一化的汉明(Hamming)距离
H ( B 1 , B 2 ) = 1 N &Sigma; N B 1 &CircleTimes; B 2 - - - ( 10 )
其中,
Figure G2008800220220D00083
是异或(XOR:exclusive OR)运算符。也可以使用对标识符或表示进行比较的其它方法。
通过选择标识符中的特定的位,可以实现在标识符大小、识别性能和鲁棒性之间所希望的折衷。与较低频率相对应的位一般地更为鲁棒,而较高的位区分性(discriminating)更好。还可以通过利用以下参考文献[3]中提出的优化或以下参考文献[5]中的现有技术的优化方法中的一种,使用图像及其经修改版本的大数据库借助于实验来优化对这些位的选择。在本发明的一个特定实施方式中,忽略了与DC分量相对应的第一位b0,然后由接下来48位组成标识符。
通过使用一个或更多个迹泛函来获得多个迹变换能够实现对性能的改善。之后,一个或更多个直径泛函可用于获得多个圆函数。从各圆函数中可提取出‘基本’的二元标识符。然后可以如图9和图10所示那样对来自这些基本标识符的位进行组合。对来自两个或更多个独立的圆函数361和362的二元串进行组合的具体方法是将它们串接(concatenate)起来以获得标识符363。
按照以下方式可以获得好的结果,即,针对一个二元串使用上式(1)中的迹泛函和上式(2)中给出的直径泛函并且之后使用(1)中的迹泛函和以下的直径泛函(11)来获得第二个串。
∫|ξ(t)′|dt                        (11)
跳过各二元串的第一位(其对应于傅里叶变换的DC分量)并且之后将来自这两个串的后续64位串接起来以获得128位的标识符。
在一个实施方式中,通过形成迹变换的多分辨率表示来提取进一步的信息。可以在一维或二维执行用于降低图像数据(例如,迹变换)的分辨率的分解。之后应用直径泛函以获得一个或更多个带-圆函数,并且如之前在共同待审的专利申请EP 0625239.3和GB 0700468.2中那样提取二元串。
如在GB 0700468.2中详细说明的那样,通过在原始迹变换的两个维度d或θ中的一个或在两个维度中都对原始迹变换进行二次采样(sub-sample),可以建立多分辨率的迹变换。在“迹域”中,通过沿列在区间上进行积分而对参数d执行二次采样,如图13所示。这对应于在迹变换期间对图像上宽度为Δd的条进行投影,如图11所示。通过在参数θ中的区间上(即沿着行)进行积分,也可以执行二次采样,见图14。近似地等价于在迹变换过程中在张开角为Δθ的双锥形上进行积分,见图12。或者,可以在图像域中执行这些操作。
使用步骤150的图3的方法,如在共同待审的专利申请EP06255239.3和GB 0700468.2中公开的,通过使用多分辨率分解,可以从迹变换中提取出多个基本标识符,其中在多分辨率分解中在不同区间宽度的范围上执行二次采样以生成多分辨率表示。使用以下系统可以获得好的结果,在该系统中,迹变换的输出的大小为600×384,并且之后通过使用宽度为1、8、16、32、64&128的带进行积分并应用如在式(2)和式(11)中所定义的直径泛函对参数d进行二次采样,以获得12个圆函数。这种组合在1ppm误接受率的情况下得到了98%的检测率。
然而,很多应用要求比1ppm更低的误接受率和高于98%的检测率。如下面更加详细地说明的,已经示出了本发明的一种实现在实验中提供了超过99.8%的检测率和低于0.1ppm的误接受率。
如上所述,通过对图像上每条可能的线进行投影然后将该信息投影为1维,提取了在共同待审的专利申请EP 06255239.3和GB 0700468.2中提出的标识符。根据本发明的实施方式而公开的表示仅仅使用了这些线的子集来形成该图像的多个另选1维表示。
具体地说,为了从图像上线的子集中提取标识符,定义了圆函数的被称为“圆-带函数”的等效函数,该等效函数将图像上的线的子集的二维函数(具体地说,是迹变换)的值映射到1维。因此,圆-带函数有效地将标识符的提取限制在图像的一部分。这是通过选择图像的整体的迹变换的一部分并使用所选择部分的迹变换的值来获得图像标识符而实现的。
在一个实施方式中,迹变换的所选择部分由距离参数d(u0≤d≤u1)的范围限定。如图15(a)所示,这对应于在迹域中在角度参数的所有值θ上延伸的水平带(u0,u1)(带A)。可以将水平带划分成多段,各段对应于迹域中θ值的一个范围。带A的各段等效于从图像域中相应双锥形区域的顶点延伸出的所有线,如图15(b)所示。因此,图15(a)中的带A的亮/暗灰色阴影段对应于图15(b)的上半部中的亮/暗灰色阴影区域。
需要注意的是,出于效率的原因,在优选的实施方式中,仅在从0到π(0到180度)的角度θ上执行了迹变换。因此,为了维持旋转不变性,必须取以距离参数d的水平中线(即,中心值)为中心的成对的带(在图15(a)&图15(b)中,中线对应于d=0)。如图15(a)所示,带A和带B是一对,而图15(a)中的带B的亮/暗灰色阴影段对应于图15(b)的下半部中的亮/暗灰色阴影区域。图15(c)类似地示出了在迹域中相距中线值等距地隔开的成对的带C和带D以及图像域中相对应的双锥形(出于例示目的,这些段用阴影表示)。
在一个实施方式中,该对带被组合起来并且使用泛函G将它们映射为被称为带-圆函数的1维函数g(θ)。通过将迹变换T(d,θ)与掩蔽函数β相乘,可以得到带-圆函数g(θ),定义如下:
g(θ)=G(T(d,θ)β(d,θ))                 (12)
其中,
Figure G2008800220220D00101
在式(12)中,G是沿迹变换的提取出的带的参数d而操作的泛函。式(13)中的两个值u0和u1定义了带的位置和宽度。u0-u1的差越大,带的厚度越大。
如图16所示,通过沿角度(θ)的分解,可以得到带-圆函数g(θ)的更低分辨率描述。该分解对应于在图像域中取双锥形。该分解优选地是在宽度为Δθ的区间上的积分,也可以是在使得图像数据的分辨率能够下降的区间上的任何适当的泛函。
为了提取二元表示,可以将式(4)-(9)所说明的相同技术(对应于图3的步骤160-180)应用于带-圆函数g(θ)和/或其经分解的版本。本发明的优选方式从迹变换中提取5(五)对成对的带,其中一对跨越中线(距离参数的中心值),而四对均匀地分布在其余参数空间的中央一半两侧。这些带在迹域中的宽度为2个像素并且泛函G由式(1)给出。对所得到的5个带-圆函数进行分解以在角度维度中将分辨率降低到六分之一,从而获得最终的5个带-圆函数。通过将从最终的5个带-圆函数提取出的基本标识符与来自多分辨率迹变换的12个标识符进行组合以形成图像的包含17个基本标识符的完整标识符,获得了高性能。
在图8中示出了一种根据本发明一个实施方式用于执行以上方法的本发明的一个应用的装置的例子。该应用涉及为存储在数据库230中的图像构建标识符数据库240。数据库230和数据库240可以是相同或独立的数据库。该装置允许对从查询图像250提取出的标识符260进行搜索以在数据库中找到匹配。一个可能经过排序的图像列表被返回到用户290或查询应用。
标识符的一个具体应用是作为图像搜索引擎。通过提取二元标识符并将其与诸如文件名、图像、摄影者、采集的日期和时间等信息及任意其它有用信息一起存储,构建了数据库。之后在给定查询图像aq的情况下,提取二元标识符并将其与数据库中的所有标识符B0...BM进行比较。将相对于该查询图像的汉明距离低于阈值的所有图像返回。
另选实现
可以使用一系列不同的迹泛函和直径泛函,例如(非穷尽列举):
∫ξ(t)dt,                   (A1)
(∫|ξ(t)|qdt)r,其中q>0               (A2)
∫|ξ(t)′|dt,                         (A3)
∫(t-X1)2ξ(t)dt,其中 X 1 = &Integral; t&xi; ( t ) dt A 1 - - - ( A 4 )
A 4 A 1 , - - - ( A 5 )
max(ξ(t)),                            (A6)
A6-min(ξ(t))。                         (A7)
可以对二元标识符的不同组合进行组合以提供复杂度、鲁棒性和描述符大小之间的最优折衷。通过改变迹泛函、直径泛函、分解和带,可以提取另选的二元标识符。
式(13)给出的掩蔽函数β仅仅是掩蔽函数的一种可能性。可以使用d和θ的其它函数以提取另选的线的子集,从该另选的线的子集中可以提取进一步的信息。
对于比旋转、平移和缩放更高阶的几何变换而言,上述标识符的形式是不恰当的;式(3)的关系不成立。使用归一化处理(详情见下面参考文献[2])可将标识符的鲁棒性扩展至仿射变换(affine transformation)。引入了两个步骤来对圆函数进行归一化,第一个步骤涉及寻找所谓的关联圆,第二个步骤涉及寻找经归一化的关联圆函数。在归一化之后,显示(3)中的关系为真。现在可以如前所述地进行标识符提取处理。
下面在(G1)&(G2)中给出了供归一化处理使用的一些合适的迹泛函,在(G3)中给出了对直径泛函的适当选择。
T ( g ( t ) ) = &Integral; R + rg ( r ) dr , - - - ( G 1 )
T ( g ( t ) ) = &Integral; R + r 2 g ( r ) dr , - - - ( G 2 )
P(h(t))=∑k|h(tk+1)-h(tk)|,                (G3)
其中,r≡t-c,c≡median({tk}k,{|g(tk)|}k)。通过识别满足下式
&Sigma; k < m w k &le; 1 2 &Sigma; k &le; n w k - - - ( 11 )
的最大索引m,可以定义具有非负权重w1、w2、...、wn的序列y1、y2、...、yn的加权中值,假设该序列是根据权重以升序而排序的。如果不等式(14)是严格的,则中值为ym。然而,如果该不等式是等式,则中值为(ym+ym-1)/2。
通过在参数(d或θ)的区间上求和,可以如上所述地形成迹变换的多分辨率分解。求和并不是必须的,还可以包括其他统计量,如中值、最大值、最小值。其它泛函也可以应用在这些区间上。
泛函G不限于式(1)并且可以使用另选的泛函。通过以不同的值来进行分解,可以从单个带中提取出多个标识符,在优选实施方式中使用了六的因数,可以使用其它因数以生成另选的标识符。通过实验已经发现,围绕迹变换的中心的带对裁剪具有良好鲁棒性。
可以将一种结构应用于标识符以提高搜索性能。例如,可以实现两阶段搜索,一半的位被用于初始搜索,随后只有那些具有给定准确度水平的那些位被接受以用于第二阶段搜索。
可以使用诸如Reed-Muller解码器或Wyner-Ziv解码器之类的方法对标识符进行压缩以进一步减少其大小。
另选应用
标识符还可以用于对视频序列中的帧进行索引。给定一个新的序列,可以从帧中提取标识符,之后可进行搜索以寻找相同的序列。这对于版权检测以及序列识别而言是有用的。
多个广播台经常发送相同的内容,例如,广告或股票新闻片。标识符可用于形成内容之间的链接以在广播台之间进行导航。
图像标识符提供了通过图像将内容链接在一起的机会。如果用户对网页上的特定图像感兴趣,目前尚没有寻找具有相同图像的其它网页的有效方法。标识符可用于提供图像之间的导航路径。
标识符可用于检测广播馈送(broadcast feed)中的广告。这可以用于为广告商提供自动监控以跟踪他们的活动。
存在着非常多的图像数据库,从巨大的商用数据集到个人计算机上的小的集合。除非对数据库进行严格的控制,否则在数据集中经常会存在需要不必要的额外存储的重复图像。标识符可以被用作用于消除或链接这些数据集之中的重复图像的工具。
在接收到质量差、可能经过很大压缩的图像后,用户可能希望寻找更高质量的版本。标识符可以被用来在互联网上的数据库中搜索高分辨率的版本。
在本说明书中,措辞“图像”用于描述一个图像单元,包括诸如滤波、改变分辨率、上采样(upsampling)、下采样(downsampling)处理后的图像单元,但是该措辞还适用于其它类似的术语,诸如帧、场、图片,或图像、帧等的子单元或区域。在本说明书中,除了从上下文显而易见的情形以外,图像这一措辞表示整个图像或图像的区域。类似地,图像的区域可以表示整个图像。图像包括帧或场,并且图像涉及静止图像或者图像序列(诸如电影或视频)中或相关的图像组中的图像。该图像可以是灰度图像或彩色图像,或者是其它类型的多光谱图像(例如,IR、UV或其它电磁图像)、或声图像。
在特定实施方式中,使用傅里叶变换导出了频率表示。但是将会理解的是,还可以使用诸如Haar变换的其它技术来导出频率表示。在权利要求中书,措辞傅里叶变换旨在包含诸如DFT和FFT等变型。
优选地通过用适当的装置对电信号进行处理而实现本发明。
通过对软件和/或硬件进行适当的修改,可以在例如计算机系统中实现本发明。例如,可以使用具有控制或处理装置(诸如处理器或控制设备)、数据存储装置(包括图像存储装置,诸如存储器、磁存储器、CD、DVD等)、数据输出装置(诸如显示器、监视器或打印机)、数据输入装置(诸如键盘)以及图像输入装置(诸如扫描仪)或具有这种部件与附加部件的任意组合的计算机等来实现本发明。可以通过软件和/或硬件的形式来提供本发明的多个方面,或者可以在诸如芯片之类的专用装置或专用模块中提供本发明的多个方面。根据本发明的一个实施方式的装置中的系统的部件例如可以通过互联网从其他部件远程地提供。
参考文献
Alexander Kadyrov and Maria Petrou,″The Trace Transform and ItsApplications″,IEEE Trans.PAMI,23(8),Aug.,2001,pp 811-828.
Maria Petrou and Alexander Kadyrov,″Affine Invariant Featuresfrom the Trace Transform″,IEEE Trans,on PAMI,26(1),Jan.,2004,pp30-44.
Paul Brasnett and Miroslaw Bober,″A Robust Visual IdentifierUsing the Trace Transform″,Int.Conf.on Visual Information Eng.2007(VIE2007),JuI.,2007.
Paul Brasnett and Miroslaw Bober,″Multi-Resolution TraceTransform for Image Identification″,IEEE Int.Conf.on Computer Vision(ICCV 2007),Oct.,2007,submitted.
Handbook of Global Optimization,Ed.P.M.Pardalos and H.E.Romeijn,Springer 2002.
本领域技术人员将会理解的是,可以对所述实施方式做出很多变型和修改。例如,可以在组合了其它现有或相关技术(如在以上指出的参考文献中教导的那些技术)的实现的实施方式中实现本发明。对于技术人员而言,现有技术和相关技术的这种组合是非常明显的,并且旨在包括所有这种组合以及落入本发明的范围内的对所述实施方式的所有这种修改及其等同物。

Claims (27)

1.一种通过处理与图像相对应的信号来导出所述图像的表示的方法,该方法包括以下步骤:
导出所述图像的至少一部分的二维函数;
处理所述二维函数以获得所述图像的至少一部分的中间表示,以及
从所述中间表示导出所述图像的表示;其中,使用所述图像的所选择的部分或所述图像的至少一部分的二维函数的所选择的部分来获得所述中间表示。
2.根据权利要求1所述的方法,其中,所述中间表示是所述图像的至少一部分的一维函数。
3.根据权利要求1或2所述的方法,该方法进一步包括以下步骤:
选择所述图像上的线的子集作为所述图像的所选择的部分;以及
使用所选择的线的子集来导出所述图像的所述二维函数。
4.根据权利要求3所述的方法,其中,导出所述二维函数的步骤包括以下步骤:
对所选择的线的子集中的线应用泛函。
5.根据权利要求4所述的方法,其中,所述图像的所选择的部分包括双锥形,并且所述线的子集中的各条线穿过所述双锥形的顶点。
6.根据前述权利要求中任一项所述的方法,该方法进一步包括以下步骤:
选择所述二维函数的一部分;
处理所述二维函数的所选择的部分的值以获得所述中间表示。
7.根据权利要求6所述的方法,其中,处理所述图像的所述二维函数的步骤包括以下步骤:将所述二维函数与定义所述二维函数的所述部分的掩蔽函数相乘。
8.根据权利要求6或7所述的方法,其中,选择所述二维函数的一部分的步骤包括以下步骤:
在所述二维函数中定义至少一个值带,所述至少一个带中的每个带由所述二维函数的第一参数的预定范围来定义。
9.根据权利要求8所述的方法,其中,所述图像的所述二维函数包括距离参数和角度参数,并且所述二维函数的所述部分由所述距离参数的值u0和u1之间的至少一个带定义。
10.根据权利要求8或9所述的方法,该方法包括以下步骤:定义一对带,所述一对带的范围关于所述二维函数的所述距离参数的中心值等距。
11.根据权利要求6、7、8或9所述的方法,其中,导出所述二维函数的步骤包括以下步骤:
对所述图像执行迹变换。
12.根据权利要求11所述的方法,其中,处理所述二维函数的步骤包括以下步骤:
对所述迹变换的所选择的部分的值应用泛函以获得所述图像的所选择的部分的中间表示。
13.根据权利要求12所述的方法,其中,所述中间表示是所述图像的至少一部分的一维函数。
14.根据权利要求13所述的方法,其中,所述一维函数由下式定义:
g(θ)=G(T(d,θ)β(d,θ)),
其中:
G是根据所述迹变换的所选择的部分的所述距离参数进行运算的直径泛函,
T是迹变换的泛函,
d和θ是所述迹变换中的迹线的距离参数和角度参数,以及
β是定义所述迹变换的所选择的部分的掩蔽函数。
14、根据权利要求10所述的方法,其中,所述掩蔽函数以所述距离参数d(u0≤d≤u1)定义了所述迹变换的一个值带,并且所述掩蔽函数定义如下:
Figure F2008800220220C00021
15.根据权利要求3到5中任一项或权利要求11到14中任一项所述的方法,其中,针对在0到180度的范围内的所述角度参数的值执行所述迹变换。
16.根据前述权利要求中任一项所述的方法,其中,从所述中间表示导出所述图像的表示的步骤包括以下步骤:
使用所述中间表示的频率表示的多个频率分量来导出所述图像的所选择的部分的表示。
17.根据权利要求16所述的方法,该方法进一步包括以下步骤:
使用所述频率分量的幅度来定义表示函数,以及
使用所述频率分量的幅度来导出所述图像的所选择的部分的表示。
18.根据前述权利要求中任一项所述的方法,其中,从所述中间表示导出所述图像的表示的步骤包括以下步骤:将所述图像的所选择的部分的所导出的表示与所述图像的一个或更多个其它表示组合起来。
19.根据前述权利要求中任一项所述的方法,该方法进一步包括以下步骤:
降低所述二维函数和/或所述中间表示的分辨率。
20.一种通过处理与图像相对应的信号来导出所述图像的表示的方法,该方法包括以下步骤:
从所述图像中提取大致圆形的子图像,所述子图像具有锥形的圆形边界,以及
从提取出的圆形子图像中导出所述图像的表示,所述提取步骤优选地使用根据权利要求1到19中任一项所述的方法。
21.一种图像识别方法,该方法包括以下步骤:
使用根据前述权利要求中的任一项所述的方法来导出所述图像的表示,以及
将所述表示与所述图像相关联。
22.一种图像比较方法,该方法包括以下步骤:对使用根据前述权利要求中任一项所述的方法而导出的各图像的表示进行比较。
23.根据权利要求22所述的方法,其中,所述比较包括以下步骤:确定Hamming距离。
24.根据权利要求22或23所述的方法,该方法包括以下步骤:基于对表示的比较来选择图像。
25.一种由根据权利要求1至20中任一项所述的方法导出的图像的表示的用途,该用途包括对所述图像的表示进行发送、接收或处理。
26.一种执行根据权利要求1至20中任一项所述的方法的装置。
27.一种计算机可读介质上的用于执行根据权利要求1至20中任一项所述的方法的计算机程序。
CN200880022022.0A 2007-06-26 2008-03-12 高性能图像识别 Active CN101711394B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GBGB0712388.8A GB0712388D0 (en) 2007-06-26 2007-06-26 High Performance Image Identification
PCT/GB2008/000867 WO2009001025A1 (en) 2007-06-26 2008-03-12 High performance image identification

Publications (2)

Publication Number Publication Date
CN101711394A true CN101711394A (zh) 2010-05-19
CN101711394B CN101711394B (zh) 2014-07-30

Family

ID=38352953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880022022.0A Active CN101711394B (zh) 2007-06-26 2008-03-12 高性能图像识别

Country Status (6)

Country Link
US (1) US8428366B2 (zh)
EP (1) EP2171644B1 (zh)
JP (1) JP5199349B2 (zh)
CN (1) CN101711394B (zh)
GB (1) GB0712388D0 (zh)
WO (1) WO2009001025A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106605235A (zh) * 2014-09-12 2017-04-26 高通股份有限公司 用于确定是否在扫描操作期间存在目标对象的方法及系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2007214319A1 (en) * 2007-08-30 2009-03-19 Canon Kabushiki Kaisha Improvements for Spatial Wyner Ziv Coding
GB0719833D0 (en) 2007-10-10 2007-11-21 Mitsubishi Electric Inf Tech Enhanced image identification
GB0800364D0 (en) 2008-01-09 2008-02-20 Mitsubishi Electric Inf Tech Feature-based signatures for image identification
GB0807411D0 (en) 2008-04-23 2008-05-28 Mitsubishi Electric Inf Tech Scale robust feature-based indentfiers for image identification
CN106023183B (zh) * 2016-05-16 2019-01-11 西北工业大学 一种实时的直线段匹配方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5291560A (en) * 1991-07-15 1994-03-01 Iri Scan Incorporated Biometric personal identification system based on iris analysis
EP1912160B1 (en) 2006-10-11 2012-05-16 Mitsubishi Electric R&D Centre Europe B.V. Image descriptor for image recognition

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106605235A (zh) * 2014-09-12 2017-04-26 高通股份有限公司 用于确定是否在扫描操作期间存在目标对象的方法及系统

Also Published As

Publication number Publication date
US20100183231A1 (en) 2010-07-22
WO2009001025A1 (en) 2008-12-31
GB0712388D0 (en) 2007-08-01
JP5199349B2 (ja) 2013-05-15
JP2010531507A (ja) 2010-09-24
EP2171644B1 (en) 2013-08-07
EP2171644A1 (en) 2010-04-07
CN101711394B (zh) 2014-07-30
US8428366B2 (en) 2013-04-23

Similar Documents

Publication Publication Date Title
CN102317957B (zh) 改进的图像识别
CN101523415B (zh) 导出图像的表示的方法、对图像进行识别和比较的方法及其装置
Abd Warif et al. Copy-move forgery detection: survey, challenges and future directions
CN101821753B (zh) 增强的图像识别
Jia et al. Gabor cube selection based multitask joint sparse representation for hyperspectral image classification
Lee Copy-move image forgery detection based on Gabor magnitude
CN101711394B (zh) 高性能图像识别
Park et al. Design of a visual perception model with edge-adaptive Gabor filter and support vector machine for traffic sign detection
CN102176208B (zh) 基于三维空时特征的鲁棒视频指纹方法
Vaishnavi et al. Application of local invariant symmetry features to detect and localize image copy move forgeries
CN105069811A (zh) 一种多时相遥感图像变化检测方法
CN102385578A (zh) 图片搜索的方法和装置
Costa et al. Comparing textural features for music genre classification
CN101894251A (zh) 一种视频检测方法及装置
Xiang et al. Scientific image tampering detection based on noise inconsistencies: A method and datasets
CN110825896A (zh) 一种商标检索系统及检索方法
CN113850284B (zh) 一种基于多尺度特征融合和多分支预测的多操作检测方法
CN113627520B (zh) 尺度选择和噪声鲁棒的改进局部二值模式的纹理描述方法
CN116451103B (zh) 一种基于标签的态势要素推荐方法
Al-Obaide et al. Image retrieval based on discrete curvelet transform
Oyiza et al. An improved DCT block based technique for copy-move forgery detection in medical images
CN113920415A (zh) 一种场景识别方法、装置、终端和介质
Koerich et al. Comparing Textural Features for Music Genre Classification

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CI01 Publication of corrected invention patent application

Correction item: Priority

Correct: 0712388.8 2007.06.26 GB

Number: 31

Volume: 30

CI03 Correction of invention patent

Correction item: Priority

Correct: 0712388.8 2007.06.26 GB

Number: 31

Page: The title page

Volume: 30

ERR Gazette correction

Free format text: CORRECT: PRIORITY DATA; FROM: NONE TO: 0712388.8 2007.06.26 GB

RECT Rectification
TR01 Transfer of patent right

Effective date of registration: 20190606

Address after: Tokyo, Japan, Japan

Patentee after: Rakuten Inc.

Address before: Tokyo, Japan, Japan

Patentee before: Mitsubishi Electric Corporation

TR01 Transfer of patent right
CP01 Change in the name or title of a patent holder

Address after: Tokyo, Japan

Patentee after: Lotte Group Co.,Ltd.

Address before: Tokyo, Japan

Patentee before: Rakuten, Inc.

CP01 Change in the name or title of a patent holder