CN1322471C - 比较图案 - Google Patents

比较图案 Download PDF

Info

Publication number
CN1322471C
CN1322471C CNB038067366A CN03806736A CN1322471C CN 1322471 C CN1322471 C CN 1322471C CN B038067366 A CNB038067366 A CN B038067366A CN 03806736 A CN03806736 A CN 03806736A CN 1322471 C CN1322471 C CN 1322471C
Authority
CN
China
Prior art keywords
unit
ordered set
value
pattern
ordered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB038067366A
Other languages
English (en)
Other versions
CN1643540A (zh
Inventor
弗雷德里克·沃里克·迈克·斯腾蒂福特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
British Telecommunications PLC
Original Assignee
British Telecommunications PLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by British Telecommunications PLC filed Critical British Telecommunications PLC
Publication of CN1643540A publication Critical patent/CN1643540A/zh
Application granted granted Critical
Publication of CN1322471C publication Critical patent/CN1322471C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Abstract

第一图像(或其他图案)由第一有序单元集合A表示,第二图案由第二有序单元集合表示,其中所述第一有序单元集合中的每一个单元都具有一个值,所述第二有序单元集合中的每一个单元都具有一个值。对所述两个有序单元集合的比较涉及对所述第一有序集合的多个单元x中的每一个单元执行以下步骤:从所述第一有序集合中选择所考虑的单元附近的多个单元x′(103);在所述第二有序集合中选择一个单元y(102);将所述第一有序集合的多个单元x′与所述第二有序集合的多个单元y′进行比较(y′中的每一个单元相对于所述第二有序集合的所选择的单元y的位置与所述第一有序集合的所选择的多个单元中的各个单元x′相对于所考虑的单元的位置相同)。

Description

比较图案
技术领域
本发明涉及将一种图案与另一种图案进行比较,虽然本发明也可应用于一维图案以及三维或更多维的图案,但是本发明尤其涉及诸如可视图像的二维图案的比较。
背景技术
模式识别的标准方法使用模板来识别并分类图案[1]。这些模板有多种形式,但通常通过训练数据的统计分析来产生这些模板,并使用相似性度量与未见过的数据进行匹配[2]。统计分析通常基于看起来满足识别任务需要的大量直观选择的特征来执行。例如,在语音识别中,可以将模板封装为在频域获得的隐马尔可夫模型(Hidden Markov Models),而在光学字符识别中,模板采用字符字体自身的形式。在面部识别的情况下,可以使用大量的直观选择的特征(例如,肌理、肤色和面部特征记录来定义面部模板。在CCTV的监视应用中,通常通过帧消减(framesubtraction)和背景模板建模处理来检测入侵者,该处理检测运动并从该处理中去除背景效果[3]。在很多情况下,特征的数量导致在计算方面难以处理的过程,在不会明显降低性能的情况下,可以使用主成分分析和其它技术来减小问题的规模[http://WWW.partek.com/index.html]。在无噪声环境中,这些方法获得了极大的成功,但当图案可变性和图案分类数量增大时这些方法无效。
在我们以下的较早专利申请中描述了一些用于分析图像或其它图案的技术,其中将图案与同一图案的其它部分进行比较。
欧洲专利申请00301262.2(公开号:No.1126411)(申请人卷号A25904EP#);
国际专利申请PCT/GB01/00504(公开号:No.WO01/61648)(申请人卷号A25904WO);
国际专利申请PCT/GB01/03802(公开号:No.WO02/21446)(申请人卷号A25055WO);
2001年10月16日提交的美国专利申请977,263/09(公开号:No.20020081033)(申请人卷号A25904US1);
以及发明人发表的下列论文:
Stentiford F W M,“An estimator for visual attention throughcompetitive novelty with application to image compression”,Proc.Picture Coding Symposium 2001,Seoul,25-27 April,pp101-104,2001.
Stentiford F W M,“An evolutionary programming approach tothe simulation of visual attention”,Proc.Congress onEvolutionary Computation 2001,Seoul,pp851-858,27-30,May,2001.
发明内容
根据本发明的一个方面,提供了一种用于比较由第一有序单元集合(每一个单元具有一个值)表示的第一图案和由第二有序单元集合(每一个单元具有一个值)表示的第二图案的方法,该方法包括对所述第一有序集合的多个单元中的每一个单元执行以下步骤:
(i)从所述第一有序集合中选择所考虑的单元附近的多个单元,在所述有序集合中,所选择的多个单元相对于所考虑的单元各自具有相互不同的位置;
(ii)在所述第二有序集合中选择一个单元;
(iii)将所述第一有序集合的所选择的多个单元与所述第二有序集合的类似多个单元进行比较,所述第二有序集合的类似多个单元中的每一个单元在所述第二有序集合内相对于所述第二有序集合的所选择的单元的位置与所述第一有序集合的所选择的多个单元的各个单元相对于所考虑的单元的位置相同,所述比较包括:根据预定的匹配标准,将所述第一有序集合的所选择的多个单元中的每一个单元的值与所述第二有序有序集合的所述多个单元与所述第二有序集合的所述多个单元是否匹配;
(iv)使用所述第一有序集合的新选择的多个单元和/或所述第二有序集合的新选择的一个单元来重复所述比较;
(v)为所考虑的单元生成作为比较次数的函数的相似性度量,对于该函数来说,比较表示匹配。
根据本发明的另一方面,提供了一种用于对由第一有序单元集合表示的第一图案和由第二有序单元集合表示的第二图案进行比较的方法,其中该第一有序单元集合中的每一个单元都具有一个值,该第二有序单元集合中的每一个单元都具有一个值,该方法包括对该第一有序集合的多个单元中的每一个单元执行以下步骤:
(i)从所述第一有序集合中选择所考虑的单元及其附近的多个单元,在所述有序集合中,该附近的多个单元相对于所考虑的单元各自具有相互不同的位置;
(ii)在所述第二有序集合中选择一个单元;
(iii)将所述第一有序集合的所选择的多个单元与所述第二有序集合的类似多个单元进行比较,所述第二有序集合的类似多个单元中的每一个单元在所述第二有序集合内相对于所述第二有序集合的所选择的单元的位置与所述第一有序集合的所选择的多个单元中的各个单元相对于所考虑的单元的位置相同,所述比较包括:根据预定的匹配标准,将所述第一有序集合的所选择的多个单元中的每一个单元的值与所述第二有序集合的类似多个单元中对应位置的单元的值进行比较,以确定所述第一有序集合的所述多个单元与所述第二有序集合的所述多个单元是否匹配;
(iv)使用所述第一有序集合的新选择的多个单元和/或所述第二有序集合的新选择的一个单元来重复所述比较;以及
(v)为所考虑的单元生成作为比较次数的函数的相似性度量,对于该函数来说,所述比较表示匹配。
本发明的其它方面在权利要求书中限定。
附图说明
现将结合附图描述本发明的一些实施例,其中:
图1是用于实施本发明的装置的方框图;
图2是表示本发明的操作的简图;
图3是根据本发明的一个实施例的由图1的装置执行的步骤的流程图;
图4至图9表示一些图像以及对这些图像获得的数值结果。
具体实施方式
图1示出了一种装置,该装置包括被编程用来执行根据本发明第一实施例的图像分析的通用计算机。该装置具有总线1,中央处理单元2、可视显示器3、键盘4、用于输入图像的扫描仪5(或其它设备,未示出)以及存储器6与该总线1相连。
在存储器6中存储有操作系统601、用于进行图像分析的程序602,以及用于存储被称为图像A和图像B的两个图像的存储区域603、604。将每一个图像存储为多个值的二维阵列,每一个值表示阵列中的一个图像单元(picture element)的亮度。
在图2a和2b中示意性地示出了这些图像阵列。图像A由图像单元x=(x1,x2)的20×20阵列构成,其中,x1和x2是单元在图像内的水平和垂直位置。每一个单元的亮度由对应的值a=a( x)表示。类似地,图像B由亮度值为b的图像单元 y=(y1,y2)的20×20阵列构成。
根据图3所示的流程执行由程序602执行的图像分析方法。该方法的目的是生成图像之间的相似性度量V;更具体地,高值的V表示图像B包含与图像A的内容相类似的可视素材(visual material)。
假定图像的宽度为xmax1和ymax1,高度为xmax2和ymax2,则图像单元的坐标为x1=0…xmax1-1,x2=0…xmax2-1。
在步骤100中,选择图像A中的图像单元 x。尽管可以以任意的顺序对它们进行处理,但是下述处理是适宜的:首先选择单元 x=(ε,ε),并且随后以光栅扫描的方式对后继单元进行迭代,直到对除了图像边缘ε内(即达到(xmax1-ε-1,xmax2-ε-1))的单元以外的所有单元都进行了处理为止。
在步骤101中,将分值V和计数器tries设置为0。
在步骤102中,在位置 x的最大距离s内,从图像B中随机选取单元 y=(y1,y2),即
|xi-yi|≤s对所有的i
这种可选的限制在图2b中由虚线框S表示。如果已知两个图像中的对应对象的位置偏移在任何坐标方向上不会超过s个图像单元,那么这可以提高效率:实际上,s表示两个图像之间的最大重合失调(misregistration)或局部失真。
y的选择也受到限制,即其位于距离图像边缘不超过ε的位置,即
ε≤yi≤ymaxi-ε-1  i=1,2
其中,ymaxi是以图像单元为单位的图像宽度或高度(本示例中为20)。
在步骤103中,在图像单元 x的邻域N中选择图像单元 x′的集合Sx,并与图像单元 x以及从图像A中任意选择的数量为m的至少一个另外的单元进行比较。其中邻域N为以 x为中心的2ε+1×2ε+1的正方形。也就是说,如果
|xi′-xi|<ε  对于所有的i
则单元 x′=(x1′,x2′)位于N内。
优选地,邻域集合Sx包括单元 x本身,尽管这不是非常必要的。随后在图像B中限定邻域集合Sy,邻域集合Sy具有m+1个单元 y=(y1,y2),每一个单元 y相对于单元 y的位置与Sx的对应单元 x相对于 x的位置相同,即
yi-yi=xi-xi    对于所有的i
(当然,上述边缘限制的原因是为了避免选择延伸到图像区域外部的邻域)。在步骤104中,计数器tries加1,在步骤105中,检查tries的值以查看是否已进行了充分的比较。
假定目前不是这种情况,那么在步骤106中比较这两个集合Sx,Sy。如果集合Sx的单元 x的值和集合Sy的对应位置的单元 x的值之间的差值小于阈值δ,即
|a( x)-b( y)|<δ
则认为两个单元匹配。只有在集合Sx的每一个单元 x都与集合Sy的对应单元 y相匹配的情况下,才认为这两个集合匹配。
如果集合不匹配,则放弃单元 y,作为用于进一步比较的候选,并且使用选择的新点 y在步骤102继续进行处理。另一方面,如果它们匹配,则保留 y用于进一步的迭代。现在,略过步骤107,处理进行到步骤108,在步骤108中分值V加1。然后在步骤103产生不同的邻域集合,并且从该点开始重复进行处理。
在步骤105中,当比较次数的计数tries超过阈值时,终止对当前x的处理:在步骤109中,将V的值存储在存储器6中,随后,在步骤110中,检查是否处理了所有点 x。如果处理了所有点 x,则首先在步骤111中计算平均值Va(为图像A中的多个图像单元 x的所有各个分值V的平均值),并且在步骤112终止该处理;否则对新的点 x从步骤100重复整个过程。
可以将在步骤105中使用的阈值设置为所期望的比较次数t,并且省略步骤107。然而,实际上我们发现,在初期的比较中往往不能找到匹配,而一旦找到了匹配,则会出现与同一 y相匹配的大量不同邻域集合。为了提供易于解释的分值V,对最初的几次迭代不进行记数;所示的处理包括防止该分值在最初的init次比较中增大的测试107。因此,在步骤105中使用的阈值增大了init,从而最大的可能分值为t。通过这种方式,我们发现获得非常相似或相同的图像的高分值或最大分值的机会大大增加。
在测试中所使用的各种参数的具体值如下:
图像A的大小xmax1×xmax2:20×20
图像B的大小xmax1×xmax2:20×20
邻域参数ε:4
邻域集合大小m:3
最大A-B偏移s:7
比较次数t:50
初始比较init:20
当然,对较高分辨率的图像,相应地选择较大的ε值和s值。t和init的值也必须随着s的增大而增大,以获得同样可靠和统计学上有意义的结果。
稍后给出这些测试的结果;应该注意,其中所使用的参数与上面引用的参数不同。
可以看出,如果许多随机选择的Sx与图像B中的给定 y的Sy相匹配,则图像A中的单元 x的分值较高。值得注意的是,如果Sx与Sy(其中 y不是固定的,而是从图案A中随机选择的)不匹配,则图像A中的图像单元x的视觉注意力(Visual Attention)分值(在我们较早的专利申请中已讨论)较高。而视觉注意力不需要存储器来存储单个图像A,本发明的方法还需要包含在图案B中的信息以检测共同性。
如果t个邻域集合Sx的序列与图案B中的某些y周围的相同邻域高比例地匹配,则位置 x值得认知注意。在图2中,在图案A的图像单元x的邻域中选择m=3个图像单元 x,并且与图案B的图像单元 y的邻域中的3个图像单元相匹配。这些图像单元中的每一个可以具有三个颜色强度,所以 a=(ar,ag,ab),如果所有m+1个对应图像单元的颜色强度具有在彼此的δ之内的值,则第二图像单元 y的邻域集合与第一图像单元相匹配。对A中的图像单元 x(这些图像单元 x在t个邻域集合Sx的范围与B中的 y周围的邻域集合Sy大量匹配)赋予高分值。这意味着将对具有出现在B中的结构的A中的邻域集合赋予高分值。
一些图像分析技术使用补丁(patch)来执行图像之间的比较计算,补丁是其中采用了所有图像单元的邻域。当相关性度量超过特定阈值时,补丁匹配。除了在相关性度量被设计用来识别特殊纹理的情况以外,这种方法不能很好地利用小于补丁大小的细节。在本方法中使用的随机图像单元邻域Sx没有这种缺点。
通过在检测到匹配时保留图像单元位置 y,并重新使用 y与t个邻域集合中的下一个邻域集合进行比较,可以显著提高得分机制(scoringmechanism)的收益(gain)。如果生成了匹配图像单元构型,则其它构型将很有可能在同一点再次匹配,一旦找到并重新使用这种位置 y,则将加速分值的升高,只要该序列不被后面的不匹配所中断。
然而,如果Sx在该位置之后不匹配,则分值不增加。并且在图案B中随机选择全新的位置 y用于下一次比较。通过这种方式,根据图案B中的竞争位置是否几乎不含有与图案A中的 x的邻域的共同性,来选择这些竞争位置。
现将讨论一些可能的变化。
a)对所有图像单元 x进行分析不是必要的:因而,如果需要,可以选择子集(可能在规则网格上)。
b)上述方法为图像单元假定了单个(亮度)值。在彩色图像的情况下,可以首先将图像转换为单色。另选地,如果将每一个图像单元表示为三个值(例如红、绿、蓝)或者亮度加色差,那么匹配测试将涉及3维单元值之间的距离。例如,如果两个图像的色彩分量值为 a=(ar,ag,ab),b=(br,bg,bb),那么匹配的标准为(ar-br)<δ和|ag-bg|<δ,以及|ab-bb|<δ。下面将进一步讨论距离度量。
c)将随机选择 y的策略修改为:假定当单元 x=(x1,x2)产生对于单元 y的高分值V,并且要对相邻单元 x(例如,(x1+1,x2))进行处理,那么要在图像B中选择的第一单元 y可以是对应的相邻单元(即(y1+1,y2))。与前面一样, y的其它选择可以是随机的。如果产生单元 x的高分值作为与一个以上的 y进行比较的结果,则可以选择与对该高分值作出最大贡献的任何一个 y相邻的单元。为此,需要暂时跟踪不同图像单元y的坐标以及它们的部分分值。
d)不需对整个图像执行该处理。例如,如果将图像A的一个区域识别为特别关注的区域(也许使用以上引用的我们较早的专利申请之一中所述的方法),则所处理的图像单元 x可以仅仅是位于所识别区域中的那些图像单元。
这里所称的随机选择包括使用伪随机过程的选择的可能性。
该方法不仅可以应用于图像,或三维图案,而且可以用于1、2、3或更多维的任何有序值集合。
更一般地,假定希望生成两个图案A和B之间的相似性度量,其中这两个图案以及图案内的值的各个模式可以为1、2或更多维。
在有界n维空间(x1,x2,x3,…,xn)中,设图案A上的度量集合a与A中的位置 x相对应,其中
x=(x1,x2,x3,…,xn)  以及 a=(a1,a2,a3,…ap)
定义函数 F,以使得无论 a存在于何处 aF( x)都成立。注意到关于F的属性(例如,连续性)没有进行假设是很重要的。假设如果存在 a则存在 x
考虑到 x的邻域N,其中
{ x’∈N iff|xi-xi′|<εi i}
在N中选择m+1个随机点的集合,其中
Sx={ x 1′, x 2′, x 3′,…, x m′},并且定义了F( x i′)。
然而,其中优选地,将 x′中的一个约束为等于 x。实际上发现不需要对随机选择进行约束来避免两次选择相同的点:即, x i′不必是唯一的。实际上 x i′可以全部与 xx i′一致。
在图案B中选择与度量集合 b相对应的位置 y,为该位置 y定义了F
定义集合Sy={ y 1′, y 2′, y 3′,…, y m′},其中
存在 x- x iy- y iF( y i)。
如果
|Fj( x)-Fj( y)|<δj并且|Fj( x i)-Fj( y i)|<δj i,j
则说 x的邻域集合Sxy的邻域集合相匹配。
通常,δj不是常量,而是依赖于比较的度量,即
δj=fj( F( x), F( y))  j=1…p
注意,对于某些问题可能宁愿对 ab之间的矢量距离(例如城市街区距离 或者欧几里得距离
Figure C0380673600142
应用阈值,而不是由于要求各个分量aj=Fj()和bj=Fj()相匹配而限定匹配。
将通过下面的测试结果来说明图3的流程图中所述方法的操作。
在这些测试中,使用20×20的黑白图像(即a和b的值始终是0或1)。然而,这些测试与先前描述的不同在于仅对黑色图像单元记分,即,匹配标准不仅仅是|a-b|<δ,而且包括a=b=1。
在每一种情况下,附图示出了第一图像A以及多个与第一图像进行比较的被标记为B1、B2等的第二图像B(以前的情况是两个第一图像A1、A2与一个图像B进行比较)。从左到右测量坐标x1,y1,从上到下测量坐标x2,y2。使用平均值Va标记各个第二图像。一些附图示出了图像区域的各个分值V的三维图形:在每一种情况下,右手轴表示标记的水平轴,而前轴表示图像的垂直轴。图形的垂直轴表示V值(在示例2的嵌入式识别的情况下表示V值,而在其他情况下表示50-V)。
示例1  光学字符识别(图4)
将字母B的图像A与字母A、B、C、D和E的图像B1-B5进行比较。分级排序的平均分值Va与B、D、E、C、A相对应。使用t=50、s=3和ε=2生成该结果。
示例2  嵌入式识别(图5)
将‘X’形的图像A与另一包含9个更小形状(包括‘X’)的图像B1进行比较。还将该‘X’形与具有相同9个形状(除改变了小‘X’以外)的图像B2进行比较。平均值Va分别为27.5和11.9。这表示‘X’特征在第一图像中出现较多,而在第二图像中出现较少。在图中示出了各个比较的各个分值V。使用t=50、s=7和ε=2产生该结果。更复杂的嵌入式识别的示例是在一群人中识别已知的面部。
示例3  商标检索(图6)
首先将特殊交叉形状的图像A与包括大交叉在内的基本形状B1-B4进行比较,各个基本图案表示相互之间具有高分值的相似形状的簇。大交叉产生最大的平均值Va(43.6)。随后将该相同的特殊交叉与包括其本身的小变体(B5)(其获得了最大分值50)在内的4个不同的交叉B5-B8进行比较。该图提供了与大交叉相比较的各个图像单元的值(50-V),高柱表示与该交叉下部腿的端部不一致。利用t=50、s=7以及ε=2生成该结果。
示例4  指纹识别(图7)
如同在商标的示例中那样,可以区分和检索更复杂的图案(某些图案具有大量相似的素材)。简化的拱形A与代表性的拱形B4匹配最好(49.3),随后与其它拱形中的相同图案匹配得最好(49.9)。该图提供了与代表性拱形图案相比较的各个图像单元的值(50-V),高柱表示与脊端和边界不一致。利用t=50、s=3以及ε=2生成该结果。
示例5  面部识别(图8)
尽管对数据进行了极大的简化,但是该示例表示面部识别的实现。将面部A与4个代表性的面部B1-B4进行匹配,随后与由匹配最好的代表性的面部B2(45.7)表示的子簇B5-B8进行匹配。在该子簇中与不相同的面部B7匹配最好(49.6)。该图提供了与第二最接近图案B6(48.2)进行比较的各个图像单元的值(50-V),高柱表示嘴部区域不一致。利用t=50、s=3以及ε=2生成该结果。
示例6  监视(图9)
本示例表示如何相对于可变背景来检测入侵者。表示移动的云、树和栅栏的图案A1相对于标准背景B获得高分值Va(48.0)。而存在入侵者的版本(A2)获得低得多的分值(33.1)。该图提供了入侵者图像(33.1)中的各个图像单元的值(50-V),最高的柱表示入侵者的位置。利用t=50、s=3以及ε=2生成该结果。
本方法对两幅图像进行分析,识别感知上重要的共同特征和差异,而不受比例差异、局部相对失真和位移的影响。这意味着该方法可以应用于其中要识别的对象嵌入在另一图像中的识别问题。也意味着可以根据相互之间的特征相似性度量来对图像进行分类,并且可以将这些值用于定义多类识别系统和实例查询(Query-By-Example)检索系统。如同入侵者检测或伪造品检测的情况,通过相同的标记(token),可以将该方法用于检测不相似性。可以将该方法用于检测图像之间的不一致以检测运动或视差(parallax)。该方法不需要依赖图像内容的先验知识(prior knowledge),并且不需要训练过程。该算法尤其适合于并行实施。
现将描述我们已说明的方法的各种优点。
模式识别
模式识别的标准方法需要来自所有类别的大量代表性的图案,以满足分类器的训练过程的需要。如果所选择的特征不能表征未在训练集中适当表示的未见过的图案(unseen pattern),则这种分类器仍将无效。本方法除了进行比较的两个图像以外,不需要训练集。
对于模式识别技术,通常使用特殊的措施(provision)来标定所分类图案的差异。由于投影和其它因素,可以导致在可视域中的这种差异。通常将先验知识并入分类器以进行补偿。只要ε不是太大,本方法就不需要这样做。
另一个优点是能够识别嵌入较大数据结构内的图案而不受指数增长的计算需求的困扰或噪声的影响。因此,本方法可以应用于检测著作权侵权问题,其中部分素材是从较大的作品(例如艺术作品)中抄袭的,以及应用于缩减数据库大小的任务,其中重复内容很普遍是公知的。本方法也可直接应用于识别犯罪现场指纹,其中全部指纹中只有一部分可以用于进行匹配。在面部识别的情况下,本方法根据未知面部的有限部分进行搜索,这意味着例如在下颚、两颊及喉头的胡须(beard)和嘴唇上面的胡须(moustache)可能导致不确定性的情况下,可以仅仅根据眼睛或鼻子区域进行搜索。
除非对特殊的图案内容采取措施,否则在所比较的图案由于局部失真或小的运动(例如,如摇动的树、移动的云、面部表情的变化、不规则表面上的犯罪现场指纹,或噪声的可视情况)而不同时,用于模式识别的标准模板方法无效。这些措施需要应用先验知识,并且如果未见过的图案失真与系统设计要求不一致,则仍会导致系统无效。本方法能够忽略局部失真的影响,而无需失真类型的先验知识。
本方法可以应用于任意维的图案,例如一维音频信号、三维视频数据(x、y、时间)或者从任何源(例如传感器阵列)获得的n维随时间变化的矢量。在语音识别的情况下,可以处理语音速度的变化而不需要使用特殊的启发式方法。虽然传统方法使用动态时间重叠(Dynamic TimeWrapping)来克服该问题,但是会导致更大量的计算负担,并且存在重叠处理导致错误分类增加(尤其对于大型多分类问题)的危险。如果在对话中使用的单词是唯一的(例如,“yeah”而不是“yes”,省略了最后的摩擦音),则使用本发明,对于单词识别部分发音就足够了。
本方法通过测量各个图像中的多个邻域的分值来处理这些问题。尽管如果单个图像内的一图像单元的邻域与同一图像内的大多数其它部分明显不同,则该图像单元在该单个图像内是重要的(如在上述我们的较早专利申请中所讨论的),但是如果该图像单元的邻域与第二图像中的邻域非常相似,则该图像单元在认知上很重要。由于在特定的范围内分值不受影响,所以可以显著减少重合失调和局部失真的影响。
可以将该分值用于相互之间具有高分值的图案的簇分组。可以对从各个簇中提取的代表性图案本身进行群集(clustered),以形成高级簇,并且继续该处理以构成非常大的图案数据库。可以通过测量各个最高级代表性图案的分值,并且随后测量与前一簇中分值最高的代表性图案相对应的子簇中的各个代表性图案的分值,来进行实例查询检索。很有可能某些代表性图案表示重叠的簇(这些簇包含具有高分值的图案以及那些代表性图案)。本方法可以与视觉注意力机制相结合使用以快速限定图案中的关注区域,并且随后获得该限制区域和基准图案(B图案)集合之间的分值。在航空背景下,可以使用视觉注意力迅速检测飞行对象,并且随后计算的分值可以表明该对象可能是鸟还是飞机。
不一致性检测
不一致性检测的标准方法很大程度上依赖于两个图像之间的精确重合,从而在多个图像单元(与绘制在两个图像中的原始目标的同一点相对应)之间进行消减(可以对整个图像的小区域分段执行)。所得到的差别图像突出了在与原始图像中的差异相对应的那些区域。如果由于将不确定性引入正确重合位置的估算而导致存在噪声,则这会变得非常困难,并会因此产生许多虚假的差异。
即使不存在噪声,局部失真或轻微的主体移动也将导致重合失调,并且将会突出不关注区域的差异,除非对该失真合移动本身进行测量。在进行消减之前的线性或非线性数字图像重合技术在大部分情况下可以部分地补偿但不能消除该问题[4]。
传统方法所面临的严峻问题源自产生两幅图像的不同条件。这些差异可能来自照明、天气条件、略微不同的视角、胶卷造成的差异,或者具有不同光学系统的不同相机。这些干扰都会在图像之间产生与内容无关的虚假差异。
由图像获取条件导致的两个图像之间的差异将不会影响本方法,因为该差异将均等地影响图像所有部分的分值,并且不会影响各个分值的分级排序。通过采用用于图像单元匹配的较大阈值(参见以上所述的δj)来补偿两个图像之间的明显照度(illumination)差异。例如,如果两个图像的X射线曝光时间不同,则该处理是必要的。
本发明还具有能够检测多个不一致(其中将图像A与图像B1、B2、B3等进行比较)的优点。在CCTV入侵者检测(其中,图像帧B1、B2、B3等是不同环境条件和其它正常背景状态的典型示例)的情况下,这是有用的,并且仅当在所有正常图像帧中都检测到不一致时才发出警报。
可以看到,这些方法几乎与所有要求图像识别的应用相关:
面部识别、指纹识别、OCR、图像检索、商标识别、伪造品检测、监视、医学诊断等。
这些方法尤其与医疗行业(其中需要对非常易变并且有噪声的图像进行比较来跟踪医疗状态的进展)相关。例如,通常从在不同时间通过X光拍摄的乳房X光照片中识别可能的癌生长,并且任何自动辅助将提高放射科医生的工作效率。在另一示例中,通常可以通过从对比注射后拍摄的图像中消减去正常胸部的X光来增强对比。并且正确的重合不仅难于获得,而且是成功处理的关键。我们已描述的方法可以提供更清楚的结果,而不需涉及重合问题。
用于乳房X光照片的先进软件检测系统(例如,http://www.r2tech.com.prd/)能够准确定位与通常癌症相关的特定特征(例如,微钙化(microcalcification)),但是基本上没有解决时间比较的问题。
参考文献
[1]Vailaya A et al.,Image Classification for Content-BasedIndexing,IEEE Trans on Image Processing,Vol 10,No 1,pp117-130,Jan 2001.
[2]Santini S&Jain R,Simi larity Matching,in Proc 2ndAsianConf on Computer Vision,pages II 544-548,IEEE,1995.
[3]IEEE Trans PAMI-Special Section on Video Surveillance,Vol 22 No 8,Aug 2000.
[4]Brown L G,A survey of image registration techniques,ACMComputing Surveys,Vol.24,No.4(Dec.1992),pp.325-376.

Claims (10)

1.一种用于对由第一有序单元集合表示的第一图案和由第二有序单元集合表示的第二图案进行比较的方法,其中该第一有序单元集合中的每一个单元都具有一个值,该第二有序单元集合中的每一个单元都具有一个值,该方法包括对该第一有序集合的多个单元中的每一个单元执行以下步骤:
(i)从所述第一有序集合中选择所考虑的单元附近的多个单元,在所述有序集合中,所选择的多个单元相对于所考虑的单元各自具有相互不同的位置;
(ii)在所述第二有序集合中选择一个单元;
(iii)将所述第一有序集合的所选择的多个单元与所述第二有序集合的类似多个单元进行比较,所述第二有序集合的类似多个单元中的每一个单元在所述第二有序集合内相对于所述第二有序集合的所选择的单元的位置与所述第一有序集合的所选择的多个单元中的各个单元相对于所考虑的单元的位置相同,所述比较包括:根据预定的匹配标准,将所述第一有序集合的所选择的多个单元中的每一个单元的值与所述第二有序集合的类似多个单元中对应位置的单元的值进行比较,以确定所述第一有序集合的所述多个单元与所述第二有序集合的所述多个单元是否匹配;
(iv)使用所述第一有序集合的新选择的多个单元和/或所述第二有序集合的新选择的一个单元来重复所述比较;以及
(v)为所考虑的单元生成作为比较次数的函数的相似性度量,对于该函数来说,所述比较表示匹配。
2.一种用于对由第一有序单元集合表示的第一图案和由第二有序单元集合表示的第二图案进行比较的方法,其中该第一有序单元集合中的每一个单元都具有一个值,该第二有序单元集合中的每一个单元都具有一个值,该方法包括对该第一有序集合的多个单元中的每一个单元执行以下步骤:
(i)从所述第一有序集合中选择所考虑的单元及其附近的多个单元,在所述有序集合中,该附近的多个单元相对于所考虑的单元各自具有相互不同的位置;
(ii)在所述第二有序集合中选择一个单元;
(iii)将所述第一有序集合的所选择的多个单元与所述第二有序集合的类似多个单元进行比较,所述第二有序集合的类似多个单元中的每一个单元在所述第二有序集合内相对于所述第二有序集合的所选择的单元的位置与所述第一有序集合的所选择的多个单元中的各个单元相对于所考虑的单元的位置相同,所述比较包括:根据预定的匹配标准,将所述第一有序集合的所选择的多个单元中的每一个单元的值与所述第二有序集合的类似多个单元中对应位置的单元的值进行比较,以确定所述第一有序集合的所述多个单元与所述第二有序集合的所述多个单元是否匹配;
(iv)使用所述第一有序集合的新选择的多个单元和/或所述第二有序集合的新选择的一个单元来重复所述比较;以及
(v)为所考虑的单元生成作为比较次数的函数的相似性度量,对于该函数来说,所述比较表示匹配。
3.根据权利要求1或2所述的方法,其中,所述第一有序集合的所述多个单元的选择是随机的或伪随机的。
4.根据权利要求1或2所述的方法,其中,所述第二有序集合的单元的选择是随机的或伪随机的。
5.根据权利要求1或2所述的方法,其中,在产生匹配判定的比较之后,使用所述第一有序集合的新选择的多个单元与所选择的所述第二有序集合的同一单元进行进一步的比较。
6.根据权利要求1或2所述的方法,其中,在产生没有匹配的判定的比较之后,使用所述第二有序集合的新选择的一个单元与所选择的所述第一有序集合的相同多个单元进行进一步的比较。
7.根据权利要求1或2所述的方法,其中,各个值由多个分量组成。
8.根据权利要求1或2所述的方法,其中,进行预定次数的比较。
9.根据权利要求1或2所述的方法,其中,所述相似性度量是除了最初几次比较之外的比较次数的函数,对于该函数来说,所述比较表示匹配。
10.根据权利要求1或2所述的方法,其中,当所考虑的单元产生表明大量匹配的相似性度量并且要考虑所述第一有序集合的另一单元时,用于与其进行比较的所述第二有序集合的首选单元属于所述第二有序集合中的下述单元,即在所述第二有序集合中相对于所述第二有序集合中产生所述大量匹配的单元的位置与所述第一有序集合的所述另一单元相对于前一所考虑单元的位置相同的单元。
CNB038067366A 2002-03-22 2003-03-21 比较图案 Expired - Fee Related CN1322471C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP02252097 2002-03-22
EP02252097.7 2002-03-22

Publications (2)

Publication Number Publication Date
CN1643540A CN1643540A (zh) 2005-07-20
CN1322471C true CN1322471C (zh) 2007-06-20

Family

ID=28051832

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB038067366A Expired - Fee Related CN1322471C (zh) 2002-03-22 2003-03-21 比较图案

Country Status (11)

Country Link
US (1) US7570815B2 (zh)
EP (1) EP1488371B1 (zh)
JP (1) JP4202271B2 (zh)
KR (1) KR100976930B1 (zh)
CN (1) CN1322471C (zh)
AT (1) ATE315257T1 (zh)
AU (1) AU2003215755A1 (zh)
CA (1) CA2479223C (zh)
DE (1) DE60303138T2 (zh)
ES (1) ES2256768T3 (zh)
WO (1) WO2003081523A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003081523A1 (en) 2002-03-22 2003-10-02 British Telecommunications Public Limited Company Comparing patterns
US7546236B2 (en) 2002-03-22 2009-06-09 British Telecommunications Public Limited Company Anomaly recognition method for data streams
GB0229625D0 (en) * 2002-12-19 2003-01-22 British Telecomm Searching images
GB0328326D0 (en) 2003-12-05 2004-01-07 British Telecomm Image processing
EP1789910B1 (en) 2004-09-17 2008-08-13 British Telecommunications Public Limited Company Analysis of patterns
US8156116B2 (en) 2006-07-31 2012-04-10 Ricoh Co., Ltd Dynamic presentation of targeted information in a mixed media reality recognition system
US7702673B2 (en) * 2004-10-01 2010-04-20 Ricoh Co., Ltd. System and methods for creation and use of a mixed media environment
EP1732030A1 (en) 2005-06-10 2006-12-13 BRITISH TELECOMMUNICATIONS public limited company Comparison of patterns
WO2007012798A1 (en) * 2005-07-28 2007-02-01 British Telecommunications Public Limited Company Image analysis
EP1798961A1 (en) 2005-12-19 2007-06-20 BRITISH TELECOMMUNICATIONS public limited company Method for focus control
US8208764B2 (en) * 2006-01-21 2012-06-26 Elizabeth Guckenberger Photo automatic linking system and method for accessing, linking, and visualizing “key-face” and/or multiple similar facial images along with associated electronic data via a facial image recognition search engine
US20080049969A1 (en) * 2006-08-25 2008-02-28 Jason David Koziol Methods And Systems For Generating A Symbol Identification Challenge For An Automated Agent
EP2245592B1 (en) * 2008-01-18 2013-03-27 Koninklijke Philips Electronics N.V. Image registration alignment metric
KR101375186B1 (ko) * 2009-07-14 2014-04-01 삼성테크윈 주식회사 감시 카메라 교란 검출 방법
US8724910B1 (en) * 2010-08-31 2014-05-13 Google Inc. Selection of representative images
US9058331B2 (en) 2011-07-27 2015-06-16 Ricoh Co., Ltd. Generating a conversation in a social network based on visual search results
US9674543B2 (en) 2012-11-14 2017-06-06 Samsung Electronics Co., Ltd. Method for selecting a matching block
US9245192B2 (en) 2013-09-20 2016-01-26 Here Global B.V. Ad collateral detection
US9818205B2 (en) * 2016-02-19 2017-11-14 Ppg Industries Ohio, Inc. Simplified texture comparison engine
CN108362504B (zh) * 2018-01-09 2019-10-29 北京荣之联科技股份有限公司 车辆平稳性评估方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1136848A (zh) * 1994-10-12 1996-11-27 洛克希德马丁公司 指纹匹配系统
EP1126411A1 (en) * 2000-02-17 2001-08-22 BRITISH TELECOMMUNICATIONS public limited company Visual attention location system
CN1329730A (zh) * 1998-12-09 2002-01-02 国际商业机器公司 从一个集合的图象对象识别相互关联的图象对象的子集的方法和设备
WO2002021446A1 (en) * 2000-09-08 2002-03-14 British Telecommunications Public Limited Company Analysing a moving image

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3049997B2 (ja) * 1993-07-14 2000-06-05 松下電器産業株式会社 形状検出方法
DE2256617C3 (de) 1971-11-19 1978-08-31 Hitachi, Ltd., Tokio Einrichtung zur Analyse einer Vorlage
WO1982001434A1 (en) 1980-10-20 1982-04-29 Rockwell International Corp Fingerprint minutiae matcher
CA1199732A (en) 1982-06-28 1986-01-21 Koh Asai Method and device for matching fingerprints with precise minutia pairs selected from coarse pairs
US5113454A (en) * 1988-08-19 1992-05-12 Kajaani Electronics Ltd. Formation testing with digital image analysis
GB8821024D0 (en) 1988-09-07 1988-10-05 Etherington H J Image recognition
JPH03238533A (ja) 1990-02-15 1991-10-24 Nec Corp マイクロコンピュータ
US5200820A (en) * 1991-04-26 1993-04-06 Bell Communications Research, Inc. Block-matching motion estimator for video coder
JP3106006B2 (ja) * 1992-06-24 2000-11-06 キヤノン株式会社 電子スチルカメラ
US5303885A (en) * 1992-12-14 1994-04-19 Wade Lionel T Adjustable pipe hanger
JP3057981B2 (ja) 1992-12-25 2000-07-04 オムロン株式会社 画像処理装置及びそれを用いた複写機
US5790413A (en) * 1993-03-22 1998-08-04 Exxon Chemical Patents Inc. Plant parameter detection by monitoring of power spectral densities
US6169995B1 (en) * 1994-03-17 2001-01-02 Hitachi, Ltd. Link information maintenance management method
JP3333839B2 (ja) * 1994-04-19 2002-10-15 松下電器産業株式会社 補間ライン検出方法及び補間ライン検出装置
JPH08248303A (ja) * 1995-03-07 1996-09-27 Minolta Co Ltd 焦点検出装置
US5867813A (en) * 1995-05-01 1999-02-02 Ascom Infrasys Ag. Method and apparatus for automatically and reproducibly rating the transmission quality of a speech transmission system
GB2305050A (en) * 1995-09-08 1997-03-26 Orad Hi Tec Systems Ltd Determining the position of a television camera for use in a virtual studio employing chroma keying
JP3002721B2 (ja) * 1997-03-17 2000-01-24 警察庁長官 図形位置検出方法及びその装置並びにプログラムを記録した機械読み取り可能な記録媒体
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3580670B2 (ja) * 1997-06-10 2004-10-27 富士通株式会社 入力画像を基準画像に対応付ける方法、そのための装置、及びその方法を実現するプログラムを記憶した記憶媒体
US6078680A (en) 1997-07-25 2000-06-20 Arch Development Corporation Method, apparatus, and storage medium for detection of nodules in biological tissue using wavelet snakes to characterize features in radiographic images
JPH11306022A (ja) * 1998-04-16 1999-11-05 Matsushita Electric Ind Co Ltd エージェント知識利用方法及び装置
KR20010043717A (ko) 1998-05-18 2001-05-25 데이터큐브, 인코포레이티드 이미지 인식 및 상관 시스템
US6240208B1 (en) * 1998-07-23 2001-05-29 Cognex Corporation Method for automatic visual identification of a reference site in an image
AU1745000A (en) 1998-11-25 2000-06-19 Iriscan, Inc. Fast focus assessment system and method for imaging
US6282317B1 (en) * 1998-12-31 2001-08-28 Eastman Kodak Company Method for automatic determination of main subjects in photographic images
US6480629B1 (en) * 1999-04-06 2002-11-12 Koninklijke Philips Electronics N.V. Motion estimation method using orthogonal-sum block matching
US6483937B1 (en) * 1999-06-17 2002-11-19 International Business Machines Corporation Process for inspecting an object
US6389417B1 (en) * 1999-06-29 2002-05-14 Samsung Electronics Co., Ltd. Method and apparatus for searching a digital image
US6839454B1 (en) 1999-09-30 2005-01-04 Biodiscovery, Inc. System and method for automatically identifying sub-grids in a microarray
WO2001029257A2 (en) * 1999-10-22 2001-04-26 Genset Methods of genetic cluster analysis
US6499009B1 (en) 1999-10-29 2002-12-24 Telefonaktiebolaget Lm Ericsson Handling variable delay in objective speech quality assessment
US7142689B2 (en) * 2000-01-31 2006-11-28 Canon Kabushiki Kaisha Image processing apparatus for determining specific images
US20010013895A1 (en) * 2000-02-04 2001-08-16 Kiyoharu Aizawa Arbitrarily focused image synthesizing apparatus and multi-image simultaneous capturing camera for use therein
KR100821847B1 (ko) 2000-02-17 2008-04-11 브리티쉬 텔리커뮤니케이션즈 파블릭 리미티드 캄퍼니 비주얼 어텐션 시스템
US6778699B1 (en) * 2000-03-27 2004-08-17 Eastman Kodak Company Method of determining vanishing point location from an image
JP2002050066A (ja) 2000-08-01 2002-02-15 Nec Corp 光ピックアップ回路及び光ピックアップ方法
US6670963B2 (en) * 2001-01-17 2003-12-30 Tektronix, Inc. Visual attention model
US7457361B2 (en) 2001-06-01 2008-11-25 Nanyang Technology University Block motion estimation method
EP1286539A1 (en) 2001-08-23 2003-02-26 BRITISH TELECOMMUNICATIONS public limited company Camera control
US7546236B2 (en) 2002-03-22 2009-06-09 British Telecommunications Public Limited Company Anomaly recognition method for data streams
WO2003081523A1 (en) 2002-03-22 2003-10-02 British Telecommunications Public Limited Company Comparing patterns
DE10251787A1 (de) 2002-11-05 2004-05-19 Philips Intellectual Property & Standards Gmbh Verfahren, Vorrichtung und Computerprogramm zur Erfassung von Punktkorrespondenzen in Punktmengen
GB0229625D0 (en) 2002-12-19 2003-01-22 British Telecomm Searching images
GB0328326D0 (en) 2003-12-05 2004-01-07 British Telecomm Image processing
EP1789910B1 (en) 2004-09-17 2008-08-13 British Telecommunications Public Limited Company Analysis of patterns

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1136848A (zh) * 1994-10-12 1996-11-27 洛克希德马丁公司 指纹匹配系统
CN1329730A (zh) * 1998-12-09 2002-01-02 国际商业机器公司 从一个集合的图象对象识别相互关联的图象对象的子集的方法和设备
EP1126411A1 (en) * 2000-02-17 2001-08-22 BRITISH TELECOMMUNICATIONS public limited company Visual attention location system
WO2002021446A1 (en) * 2000-09-08 2002-03-14 British Telecommunications Public Limited Company Analysing a moving image

Also Published As

Publication number Publication date
CN1643540A (zh) 2005-07-20
CA2479223C (en) 2012-09-04
US20050169535A1 (en) 2005-08-04
DE60303138T2 (de) 2006-08-31
EP1488371A1 (en) 2004-12-22
ATE315257T1 (de) 2006-02-15
US7570815B2 (en) 2009-08-04
AU2003215755A1 (en) 2003-10-08
EP1488371B1 (en) 2006-01-04
ES2256768T3 (es) 2006-07-16
JP2005521165A (ja) 2005-07-14
CA2479223A1 (en) 2003-10-02
DE60303138D1 (de) 2006-03-30
KR20040105793A (ko) 2004-12-16
KR100976930B1 (ko) 2010-08-18
WO2003081523A1 (en) 2003-10-02
JP4202271B2 (ja) 2008-12-24

Similar Documents

Publication Publication Date Title
CN1322471C (zh) 比较图案
Faltemier et al. A region ensemble for 3-D face recognition
CN103761531B (zh) 基于形状轮廓特征的稀疏编码车牌字符识别方法
Jung Detecting building changes from multitemporal aerial stereopairs
CN102496001B (zh) 一种视频监控目标自动检测的方法和系统
CN101147159A (zh) 利用统计模板匹配进行对象检测的快速方法
CN106446750A (zh) 一种条形码读取方法及装置
US11625906B2 (en) Method for identifying works of art at the stroke level
US7548637B2 (en) Method for detecting objects in an image using pair-wise pixel discriminative features
US20070297650A1 (en) Method of facial recognition
CN107784284B (zh) 人脸识别方法及系统
CN110222660B (zh) 一种基于动态与静态特征融合的签名鉴伪方法及系统
Kouzani Locating human faces within images
WO1999017250A1 (en) Image comparing system
Abraham Digital image forgery detection approaches: A review and analysis
Hahmann et al. Combination of facial landmarks for robust eye localization using the Discriminative Generalized Hough Transform
CN109359616A (zh) 一种基于sift的伪拼接小尺寸指纹识别算法
Tapia et al. Simulating Print/Scan Textures for Morphing Attack Detection
CN116188973B (zh) 认知生成机制裂缝检测方法
Vistnes Computer texture analysis and segmentation
Bhatia et al. A Practical Approach for Determination of Human Gender & Age
Olabode et al. A signature identification system with principal component analysis and Stentiford thinning algorithms
Pratiwi et al. Texture Traits with Uniform-Quantization in Handwriting Documents for Digital Forensics Investigation
CN116051870A (zh) 一种基于图像分类检索的彩膜匹配方法及相关装置
CN115409938A (zh) 三维模型构建方法、装置、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20070620

Termination date: 20210321