CN1125410C - 多分辨率图象检索的方法和设备 - Google Patents

多分辨率图象检索的方法和设备 Download PDF

Info

Publication number
CN1125410C
CN1125410C CN97111722A CN97111722A CN1125410C CN 1125410 C CN1125410 C CN 1125410C CN 97111722 A CN97111722 A CN 97111722A CN 97111722 A CN97111722 A CN 97111722A CN 1125410 C CN1125410 C CN 1125410C
Authority
CN
China
Prior art keywords
image
resolution
correlation
relevant
wavelet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN97111722A
Other languages
English (en)
Other versions
CN1167959A (zh
Inventor
哈罗德S·斯通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN1167959A publication Critical patent/CN1167959A/zh
Application granted granted Critical
Publication of CN1125410C publication Critical patent/CN1125410C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/431Frequency domain transformation; Autocorrelation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/24Character recognition characterised by the processing or recognition method
    • G06V30/248Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

一种用于在压缩图象上进行检索而不需首先对其解压的检索图象数据库的多分辨率方法和设备。检索压缩图象数据的方法首先以低分辨率求得在一检索样板和一待选图象之间的相对质量匹配。若匹配在一特定阈值以下,则结束检索。若匹配在一特定阈值以上,则提高待选图象的分辨率并进行另一次匹配。只要相对质量匹配在特定的阈值以上,待选图象的分辨率不断提高,直到在全分辨率的待选图象处作出匹配判断。

Description

多分辨率图象检索的方法和设备
本发明涉及图象存贮与检索领域,特别涉及一种供检索图象数据库中所含特定图象的方法和设备。
图象数据库是含有图象数字信息的数据库,据调查它在商业和娱乐当中的应用正在日益增长。然而,图象数据库的广泛应用,增强了对这类数据库开发更加有效的检索方法的需要
按照基本的方法,一个数据库就是一个相关数据的集合。数据库中的数据常是由表格、信息组以及记录组成的结构。在一般情况下,数据库中的每个记录具有一组特性,而一位用户可以根据一个或多个特性值想对数据库进行一次检索。例如,在足球统计的数据库中,人们可以希望检索所有在一个赛季中拦球成功100次或更多次的后卫,等等。
在进行这样的一种检索当中,假设每个记录具有几个特性,而用户要求检索具有确定特性的确定值的记录。所想检索的记录的特性称为询问,通常限于三种类型之一:a)一项简单的询问,给定一种特定特性的特定值;例如“投掷臂=左”;或“投掷臂=右”,b)一段范围;给定一种特定特性的特定数值范围;例如,“重量<220”或“180<重量<220”;以及c)一次“布尔运算,诸如(投掷臂=左)”与“(高度>6′)”与“(完成>99)”。
遗憾的是,由于图象数据往往不用特性描绘进行注释,因而这样一种以询问为基础的方法不能解决图象数据库的检索问题。从而,对图象数据库开发高效、快速和准确的检索方法就不断引起人们的关注和需要。
因而,现有技术已经表现出日益关注于按照图象内容检索图象数据库。参见例如由M.弗利克纳等人于1995年9月发表在“计算机”杂志第28卷第9期第23-32页的“按照图象和视频内容进行的询问:QBIC系统”一文。为了进行这样一种以内容为基础的图象检索,人们要选择一个典型的图象样板并询问数据库查找“看来象”此图象样板的图象。这一问题的取代形式为“在波形B中何处出现信号A?”。
在向后者的这一问题提供答复当中,现有技术利用了从信号处理到测量图象相似性的相关技术,这种相似性的测量是与用于信号相似性的测量方法十分相同。这样的相关技术要求对一图象x和一检索图形y进行循环相关的计算,其中的循环相关是由下式给出的数学运算所定义的。 ( x · y ) j = Σ i = 0 i = N - 1 x ( i + j ) mod N y i .
它用于整个本发明申请,输入的变量用小写字母x和y表示,其中x为若干可能图象中的一种,而y则为图象数据库中所含的一幅固定图形或是按图象形式寻找的子图象。注意当图象是二维时,在这里都是用一维的行矢量x和y进行讨论,从而简化了所用的标注。熟练的技术人员将会很容易明白怎样直截了当地向二维推广。此外,除非是另有明显的表示,x和y矢量两者与N所描述的长度相同。为了进行检索运算,若是寻找的图形y比x短,则将其长度增加Os使y调至长度N。最后,xT用于表示x的转置,它使N×1行的行矢量x转换为1×N的列矢量。
用于检索运算的基本运算是x对y的循环相关,它是按下式所给的数学运算定义的: ( x · y ) j = Σ i = 0 i = N - 1 x ( i + j ) mod N y i .
典型的情况是,和其它函数一起使用循环相关,使之产生一个新的函数,它的峰值指示位置在x内与y有最佳匹配。在运算中,循环相关由两个矢量长度N产生一个矢量长度N。
这里所用的符号(x·y)i↓R表示取相关运算分量的子样,它的标志相当于i对R的模。例如,若R=4和i=1,子样运算从x和y的循环相关取出单元1、5、9、13、...。从而,称(x·y)i↓R为(x·y)的子段i。
本发明申请有利于使用图象的子波变换。图象x的子波变换是为了进行H的子波变换,其中H是一个N×N的矩阵,用N-矢量HxT表示。由于子波变换导致变换成许多小量值分量的矢量,它们可以用较小的数位表示,因而有利于图象压缩。往往这些分量用Os来取代,这是在子波变换中的高效编码。熟练的技术人员很容易明白这不仅减少了图象的表示,还减少了处理子波变换所需的时间,就如同由于任何零分量在数学运算中未经处理一样。
在随后的讨论中,假设子波变换矩阵H具有一种特殊的结构。具体地说,H假设是具有方框尺寸R的方框对角线。按照定义,这意味着H可以划分成具有R×R尺寸的个别的方框,并且所有的方框在H之中一除去那些落于对角线仅含Os的个别方框。通过举例说明,下面的矩阵Y是一个具有方框尺寸3的方框对角线矩阵。它的对角线方框是彼此相同的,而随后的讨论被限制于在其对角线以下具有相同方框的方框对角线矩阵。 Y = 1 1 0 0 0 0 0 1 0 0 0 0 2 1 1 0 0 0 0 0 0 1 1 0 0 0 0 0 1 0 0 0 0 2 1 1
1993年6月发表在“电气和电子工程师协会会刊(IEEETrans.)信号处理分册”,第41卷,第6期,第2110-2130页的题为“正交和双正交的滤波器排成旋转器以及旋转的编码增益”一文中,由P.瓦伊迪耶纳坦(P.Vaidyanathan)证明了变换矢量的卷积定理(此后称之为“瓦伊迪耶纳坦原理”。瓦伊迪耶纳坦原理陈述给出了x和y的子波变换,没有从子波域返回象素域的第一变换x和y就可以找到x和y的循环旋转的一些分量。可以如图1那样用图解描绘该原理。
根据这一原理并参照图1,当H是具有方框尺寸R并沿对角线有相同方框的方框对角线时,且HT H=IN,其中IN为尺寸N的同一矩阵,则经计算所有x和y的子段循环相关并将这些相关的分量逐个加在一起,就可以从x和y的子波变换求得x和y的循环相关的子带0。
注意此项计算不要求逆转子波变换。例如,若是N=32以及R=4,每一子段含8个分量,并有四个这样的子段。瓦伊迪耶纳坦原理要求形成x和y的4子段、计算各为长度8的4循环相关、而后逐个分量将它们加在一起产生一个长度为8的单一矢量。这一产生的单一矢量正好等于全矢量x和y循环相关的子带O。
循环相关的子带O只给出了低分辨型式的循环相关。而当其可以表示出对一特定的检索可能出现匹配时,仍留有不存在匹配的可能性。因而,一项有效的检索方法必须是在出现一次匹配时能够产生其余的循环相关分量以供解析。方便得很,瓦伊迪耶纳坦原理可以如图2中表示的那样扩展到计算循环相关的其它子带。
进一步参照图2,计算子带j,矢量x通过j位置周期性地左移,而后经过与计算子段O相同的过程进行处理。然而,这一计算方法的一项首要问题是过量的计算耗费。例如,若是假设计算子波变换和逆转子波变换的“费用”大致相等,则在图2中描绘的现有技术的方法表明计算x和y循环相关的全部子带的费用是用以计算x和y之一的R直接子波变换的费用与循环相关的费用加在一起。
然而,x和y的循环相关可以用一种替换的方法计算,即采取HxT和HyT的逆变换,随后经过象素域内的循环相关。这一替换的方法承担的费用相当于两个子波变换加上循环相关的费用。瓦伊迪耶纳坦方法要求R-1更多的子波变换。当用瓦伊迪耶纳坦方法处理时并且当用逆变换首先在象素域处理时,净成本的比较就取决于循环相关的相对成本。
显然,循环相关的成本取决它们是怎样计算出来的。如图3(a)所表示出的,著名的卷积定理提供了计算这些相关的一种有效方法。参阅图3(a),它示出了一种计算x和y循环相关的方法。直接实现这一计算需要乘N2。图3(b)示出了对于足够大的N值的更加有效的执行程序。如图3(b)所示,为了计算x和y的循环相关,人们必须首先计算它们的付里叶变换;其次,在频率域逐点地乘付里叶系数Xi和Yi;以及第三,取逐点乘积的付里叶逆变换。(注意示于图3(b)的符号表示取付里叶变换的共轭复数,并且承担相当于取付里叶变换自身的费用。
由于每次正向或逆向的变换只要求大约有5NlogN次运算,而逐点的乘只要求N次,所以作为熟练的技术人员很容易明白,卷积定理提高了计算效率。要用更加自然的方法计算循环相关就往往需要比N2少得多的运算次数。为了对瓦伊迪耶纳坦方法与直接法作出比较,下面计算出每种方法的耗费。直接法:
1)逆变换HxT和HyT。(运算量:2次子波变换)。
2)计算x和y的付里叶变换。(耗费:2NlogN次运算)。
3)逐点乘。(耗费:N次运算)。
4)变换返回至象素域。(耗费:NlogN次运算)。总耗费:2次子波变换加(3NlogN+N)次运算。瓦伊迪耶纳坦法:
1)对每一子带计算x的子波变换。(耗费:R次子波变换,或在已有子带O时为R-1次子波变换)。
2)对每一子带计算长度N/R的R次循环相关。(耗费:每一子带为NlogN-NlogR次运算;总的为RNlogN-RNlogR)。
很易看出,瓦伊迪耶纳坦方法的总耗费大约大到直接法的R倍,直接法首先移至象素域而后在那里进行快速相关。直接法不是进步的。为获取任何有意义的检索结果它要求进行全部计算过程。尽管瓦伊迪耶纳坦方法是进步的并能在完成全部运算之前不连续地工作,但在实际应用中它在计算上的耗费简直太大了。
因而,从技术上不断提出需要有方便、高效并且是耗费不多的方法和设备供检索数据库中所容纳的大量待选择的图象。
为了解决上述问题,根据本发明的一个方面,其提供一种根据内容用于确定待选图象是否与图形样板相符而进行图象检索的方法,其包含如下步骤:
(a)将图形样板变换为子波图象;
(b)在第一分辨率将待选图象转换为子波待选图象;
(c)在付里叶域对所述子波待选图象与子波图象进行相关并在第一分辨率产生包含多个值的第一-分辨率相关值;
(d)通过将每个第一分辨率相关值与预定的第一-分辨率阈值进行比较以确定是否任何的第一分辨率相关值都符合或超过第一-分辨率阈值,如果是这样,则执行步骤(e)到(f);
(e)在第二分辨率将子波待选图象与子波图象相关,利用至少部分在步骤(c)的第一-分辨率相关所进行的运算以产生包含多个值的第二-分辨率相关值,第二分辨率比第一分辨率更精细;及
(f)通过将每个第二分辨率相关值与预定的第二-分辨率阈值进行比较以确定是否任何的第二分辨率相关值都符合或超过第二-分辨率阈值以产生第二分辨率相关阈值。
根据本发明的另外一个方面,其提供一种用于根据内容进行图象检索以便确定待选图象是否与图形样板相符的设备,其包括:
(a)用于将图形样板变换成子波图形样板的装置;
(b)在第一分辨率将待选图象转换为子波待选图象的装置;
(c)在付里叶域对所述子波待选图象与子波图象进行相关并在第一分辨率产生包含多个值的第一-分辨率相关值的装置;
(d)通过将每个第一分辨率相关值与预定的第一-分辨率阈值进行比较以确定是否任何的第一分辨率相关值都符合或超过第一-分辨率阈值的装置;
(e)在第二分辨率将子波待选图象与子波图象相关的装置,利用至少部分在第一分辨率(c)相关的第一-分辨率相关所进行的运算以产生包含多个值的第二-分辨率相关值,第二分辨率比第一分辨率更精细;所述用于相关(e)的装置响应用于产生阈值(d)的装置,并只在用于确定阈值(d)的装置确定任何的第一-分辨率相关值都符合或超过第一-分辨率阈值时才启动用于相关(e)的装置;
(f)通过将每个第二分辨率相关值与预定的第二-分辨率阈值进行比较以确定是否任何的第二分辨率相关值都符合或超过第二-分辨率阈值以产生第二分辨率相关阈值的装置。
按照本发明的原理,通过利用子波压缩技术使图象被高度压缩并利用付里叶相关技术对图象数据库中所容纳的图象进行高速搜寻和检索,上述的问题得到了解决并使整个该项技术取得进展。
这种方法有利于在经过图象压缩的图象数据库中进行检索,无需先将它们解压。特别是,本发明的方法首先以低分辨率的运行检索压缩图象的数据库以获得在检索样本和待选图象之间的相关质量匹配。当匹配低于特定阈值时,可以不提供任何进一步检索的计算资源使检索结果。反之,当匹配在一特定阈值以上时,此方法提高待选图象的分辨率,而后进行另一次匹配。只要相关质量匹配在特定的阈值以上,待选图象的分辨率不断提高,直到在待选图象全分辨时作出匹配判断为止。
从另一方面看,本发明提供了一种有效地检索数据库中所容纳的图象的设备。下面参照附图详细描述本发明更多的特性和优点以及本发明各种各样实施例的结构和运用。
通过考察以下结合附图所作的具体描述就能易于理解本发明的技术,其中:
图1为图示产生循环相关子带O的现有技术方法;
图2为图示产生循环相关其它子带的现有技术方法;
图3为描绘一种卷积方法的图示;
图4为本发明多分辨率法第一步的图示;
图5为本发明在付里叶一子波域中进行的多分辨率法图示;
图6为在右方框循环矩阵上进行多分辨率法的图示;以及
图7为示出本发明多分辨率图象检索所进行步骤的流程图。
这里将要参照附图同时对本发明的一项最佳实施例进行描述,在以下描述过程中可能要同时参阅几幅附图。
本发明申请利用一种多分辨率技术,它克服了与现有技术有关的衰弱低效。通过补充另外的背景,在多分辨率子波分解中有一矩阵序列H1、H9、等等,使得每一连续的矩阵产生更细更细的子波变换。在下面的示例中,H2是一粗变换,它是具有方框尺寸R2的方框对角线,并作用在各有N/R2长度的R2子带上。H1是一细变换矩阵,它是具有方框尺寸N/R的方框对角线,并作用在各有N/R长度的R子带上。有一个校正矩阵U12
Figure C9711172200111
表示另外的一个校正矩阵,同时图互及图6中的1个R表示在矩阵元素间插入零而对矢量进行扩展,即“上抽取”,通过下式将H2精细成H1
              H1=U12H2.矩阵U12是具有方框尺寸R2的方框对角线。方块U12包含R个交叉的复制方块矩阵,它在H1的对角线上。例如,让H2经下式给出粗的子波变换:细变换是经矩阵H1给出的,其结构由下式给出:
Figure C9711172200122
校正矩阵U12为如下给出的矩阵:
注意在一阶校正矩阵U12中的1和-1的图形与细子波变换矩阵中的相同除非是U12中1和-1是每2个相隔交叉以及它们位于H1中方块尺寸2之内和U12中方块尺寸4之内。
现在参照图4,它示出当把卷积原理用于瓦伊迪耶纳坦原理进行子波变换H1时的计算结构,H1是在对角线上具有同一方块尺寸R的方块对角线。
特别是,R循环相关由对矢量尺寸N/R起作用的付里叶变换F2取代。逐个分量相乘之后是进行付里叶逆变换以产生循环相关的子带O。其它的子带则可通过将此过程递归入多分辨率分析中计算出来。由于首先是计算中的耗费不超过子波逆变换的耗费并且随后通过在域内使用付里叶域的方法以及逐个分量相乘在象素域中有效地实行了循环相关,所以此过程是有效的。
对于一项多分辨率分析,得到如图4中所表示的子带O对R2的模的系数。在每一R2子带中有N/R2这样的系数。接着,应用图5所表示的关系借此得到子带O对R的模的系数。有N/R个这种系数,或是在粗分析中多达R次。
进一步参照图5,它示出两项相等的运算。在图5的上部中示出在H变换的子取样之后进行一次付里叶粗变换(F2),而后示出如何从一个粗变换得到更细分辨率的付里叶变换。如图中所示,长度N/R2的R2矢量是由矩阵u12变换的。这些矩阵中的每一个都是尺寸为N/R2的正方形矩阵并且是使H2精细成H1的校正矩阵方块。
图5示出的粗变换是上层取样。上层取样使长度为N/R2的R2矢量相互交叉在一起以产生长度为N/R的R矢量。(通过上层取样通过两次以(10、12、14、16)与矢量(1、3、5、7)、(2、4、6、8)、(9、11、13、15)交叉,产生矢量(1、9、3、11、5、13、7、15)和(2、10、4、12、6、14、8、16))  。
在上层取样之后,并如图中所示,所产生的矢量经矩阵T12变换。此矩阵使作用于长度为N/R2的交叉矢量的付里叶变换校正成作用于长度为N/R的矢量的付里叶变换。也就是,T12满足下式:
        F2=T12(IR×F2)。
式中的“交叉”运算表示一个矩阵的交叉乘积,在此情况下表示F2实际上是一个付里叶变换,它以长度为R的周期重复和交叉以从具有N/R2×N/R2尺寸的矩阵F2产生N/R2×N/R尺寸的矩阵F1。为进行T12所需的交叉变换F2输出的运算次数正比于N/R。熟练的专业人员会识别顶部的计算正好与底部的计算相等。也就是,在细变换H1的作用之后可以通过用校正矩阵u12和付里叶校正矩阵T12作用于子波粗变换的付里叶变换计算出付里叶变换F1。由于付里叶校正矩阵仅需用N/R次运算代替N/RlogN/R次运算,因而通过在顶部的计算显著减少了工作量。加之,它无需进行图4中的全部付里叶逆变换以获得循环相关的细子带。它只需计算尚未计算出来的子带,而这样所需的工作量较少。它要求人们以与N/R成正比的运算次数的全部步骤去进行对全部子带起作用的总运算,而正好在那时为未曾计算出的子带进行运算。若是R=2,于是已知有一半的输出在子带O中,而只需进行其余一半的付里叶逆变换计算。
有益的是,本发明的多分辨率方法是递归的并能在图5所示的任何输出上重复以产生全分辨的检索。当进行全分辨率检索时所进行的计算量与曾按原始图象变换所进行过的子波逆变换计算量正好一样,而后接着进行从象素域到频率域的付里叶变换,在频率域逐点相乘,并作返回象素域的付里叶逆变换。
图7提供了本发明多分辨率检索进行所需步骤的一个概观。具体说来,对于一个特定的图象,在方框70将一图形样板变换成一子波图形。然后在方框71将一待选图象与变换的图形进行粗相关并在方框72作出判断变换图形是否适配待选图象。倘若不适配,则可选择另一待选图象或是放弃检索,79。若是适配,则待选图象为适度相关73并在方框74进行另一次相似匹配测试。经过方框75和77分别进行细相关与全相关类似程序在方框77和78经受一次适配检查。若在方框78找到适配的全相关图象,则找到了所检索的图象。
在以后的讨论中,采用了下列定义:
1、矩阵IN为尺寸为N×N的一个同一性矩阵。
2、符号A×B表示矩阵A和B的矩阵交叉乘积,有时称为克罗内克尔(Kronecker)乘积。
3、矩阵FN为作用于长度N的矢量上的一个付里叶变换矩阵。
4、矩阵FM,R为具有FM×IR结构的一个交叉的付里叶变换矩阵,它具有M尺寸变换的R交叉复制件。
5、矩阵TN,M,R是将FM,R变换成FN的一个付里叶校正矩阵。也就是,FN=TN,M,RFM,R。熟练的专业人员将会识别能够通过一级R路蝶式运算法实现的TN,M,R
6、矩阵C8为一个8×8的离散的余弦变换(DCT)矩阵,它在联合照相专家组(JPEG)的图象表示中用于产生8×8子图象的变换。
7、矩阵H为具有IM×C8结构的一个N×N矩阵,其中N=8M。H矩阵产生一个N长度图象矢量的JPEG变换。
8、矩阵W为一个2×2的哈尔(Haar)变换矩阵。它给出为: W = 1 1 1 - 1
9、矩阵V2=I4×W包含4个交叉的W的复制件,且尺寸为8×8。
10、矩阵V4,2具有V4,2=I2×(W×I2)的结构。熟练的专业人员将会判明矩阵V4=I2×(W×W)满足等式V4=V4,2×V2
11、矩阵V8,4满足等式C8=V8,4V4,2V2。熟练的专业人员能够证明V8,4满足方程V8,4=V(W×I4),其中V是如下的矩阵:
Figure C9711172200152
对于按JPEG格式存贮的给定图象,采用本发明的一项最佳多分辨率分析作如下描述。
1)为了对作为带有例证图象y的JPEG变换存贮的N-矢量图象x进行相关,将图象扩展成与x相同的长度并计算其JPEG变换HyT
2)粗相关-产生付里叶变换FM,8HxT
Figure C9711172200161
逐点乘变换并使它们分割成适量的M长度的子带。加上这些矢量,并取总量的付里叶逆变换。对于此例,每第八个点产生相关。
3)适度相关-用(T2M,M,8×I4)(W×I4)V-1乘FM.8HxT以及用 ( T ^ 2 M , M , 8 × I 4 ) (W×I4)V-1
Figure C9711172200163
以此产生四个交叉的2M尺寸的付里叶变换。逐点乘所产生的矢量,并将它们分割成四个子带。将子带相加,用以产生长度2M的单一矢量。取尺寸2M的付里叶逆变换,但在第一次蝶形运算之后,仅作用于产生奇数分量结果的单元。这就产生了用于表示全部相关的4对8的模的倍数的相关。
4)细相关-分别用(T4M,2M,4×I2)V4.2  和 ( T ^ 4 M , 2 M , 4 × I 2 ) V 4,2 乘上述步骤的x和y变换。每一矢量包含两个尺寸4M的交叉付里叶变换。逐点乘这些变换,分割成两个子带并使子带相加。取结果的付里叶逆变换,并在第一级蝶形运算后,仅计算对奇数结果有贡献的项。这就产生了指示与2对8的模和6对8的模相等的相关的分量。
5)全分辨率-对于最后的步骤,分别用T8M,4M.2V2
Figure C9711172200165
乘来自最后一步的x和y变换。重复进行分析,注意在变换矢量中以及在相关变换的结果中有一长度N=8M的单一子带。
在这一点上,由本发明多分辨率分析产生的一些优点对于熟练的专业人员来说是显然可见的。具体地说,若是检索不继续进行,而它早就被发现,由于在检索中早就得到匹配的信息,在多分辨率分析中就可早一点结束检索。若是首先进行向图象域的变换或不是进行多分辨率分析,则在使用任何信息之前就要进行工作,而不能免除在以后发现的检索信息费用。子波的表示趋于稀疏,也就是,它们含有许多零,而这能减少计算上的计算量。由于实际上的所有象素都非零,象素域的表示是不稀疏的。因而,有可能在子波域开发稀疏,而相同的开发在象素域就没有可能。
熟练的专业人员能够理解到这些结果可以很方便地推广到更为一般的矩阵中。具体地说,将结果推广到右方块-循环矩阵。一个右循环的矩阵X是一正方形矩阵,其中的每一行除周期地向右移动1位置之外与紧靠的前一行相同。例如下面的矩阵就是右循环的。 X = 0 5 2 7 7 0 5 2 2 7 0 5 5 2 7 0
一个右方块-循环矩阵是一由相同尺寸子矩阵(方块)组成的矩阵,并且每一个方块行和前一方块行相同,除掉向右移了一个方块的尺寸。下面的矩阵Y是方块尺寸为2的右方块循环。
Figure C9711172200172
图5中的相同描绘适用于对角线方块相等的方块对角线子波变换矩阵,并且它们必需满足方程HHT=HTH=I。尽管这些是普通的子波变换,例如,哈尔子波,它们在使用中不表示最宽的子波类别。最令人感兴趣的子波有一右方块-循环的变换公式,例如,德博切斯(Debauchies)子波。这种子波的图5修改形式计算起来与原始形式一样,但是略有差别并在图6中给出。
两幅图的主要差别在校正矩阵u12
Figure C9711172200173
之中。在图5中,u12是校正矩阵U12的一个子方块,并能直接得到那个矩阵。况且,图5中的每一例证u12都用同一矩阵u12进行计算。在图6中,矩阵 必须由U12计算出来,并且进入矩阵
Figure C9711172200175
取决于变换的子带。矩阵
Figure C9711172200176
能用下式计算出来: U ^ 12 = ( F 2 × I R 2 ) U 12 ( F 2 - 1 × I R 2 )
其中F2为图5和6中变换矢量长度N/R2的付里叶变换,而矩阵交叉乘积运算将此矩阵的R2复制件交织在一起穿过长度为N/R2的R2矢量。矩阵
Figure C9711172200181
为方块对角线,且在其方块内沿着对角线包含U12行的付里叶变换。对于在许多相同尺寸的图象中检索一幅图形的情况,能够一次计算出
Figure C9711172200182
并贮存起来供在检索每一图象时再使用。
在对为一特定图象检索图象数据库的方法和设备进行过描述和图解的同时,熟练的专业人员会明白不超脱本发明的宽广原则和精神是有可能作出修改和变动的,而这些原则和精神只受这里所附权利要求的范围限定。

Claims (8)

1.一种根据内容用于确定待选图象是否与图形样板相符而进行图象检索的方法,其特征在于,它所包含的步骤有:
(a)将图形样板变换为子波图象;
(b)在第一分辨率将待选图象转换为子波待选图象;
(c)在付里叶域对所述子波待选图象与子波图象进行相关并在第一分辨率产生包含多个值的粗相关值;
(d)通过将每个粗相关值与预定的第一-分辨率阈值进行比较以确定是否任何的粗相关值都符合或超过第一-分辨率阈值,如果是这样,则执行步骤(e)到(f);
(e)在第二分辨率将子波待选图象与子波图象相关,利用至少部分在步骤(c)的粗相关所进行的运算以产生包含多个值的细相关值,第二分辨率比第一分辨率更精细;及
(f)通过将每个细相关值与预定的第二-分辨率阈值进行比较以确定是否任何的细相关值都符合或超过第二-分辨率阈值以产生细相关阈值。
2.按照权利要求1所述的方法,其特征在于,它还包含有步骤:
适度相关所述的粗相关的待选图象;以及
使所述适度相关的待选图象与所述图形样板进行比较以判定它们是否存在一种适配。
3.按照权利要求2所述的方法,其特征在于,它还包含有步骤:细相关所述的适度相关的待选图象;以及
使所述细相关的待选图象与所述图形样板进行比较以判定它们是否存在一种适配。
4.按照权利要求3所述的方法,其特征在于,它还包含有步骤:全相关所述的细相关的待选图象;以及
使所述全相关的待选图象与所述图形样板进行比较以判定它们是否存在一种适配。
5.一种用于根据内容进行图象检索以便确定待选图象是否与图形样板相符的设备,其特征在于,它包括:
(c)用于将图形样板变换成子波图形样板的装置;
(d)在第一分辨率将待选图象转换为子波待选图象的装置;
(c)在付里叶域对所述子波待选图象与子波图象进行相关并在第一分辨率产生包含多个值的粗相关值的装置;
(d)通过将每个粗相关值与预定的第一-分辨率阈值进行比较以确定是否任何的粗相关值都符合或超过第一-分辨率阈值的装置;
(e)在第二分辨率将子波待选图象与子波图象相关的装置,利用至少部分在第一分辨率(c)相关的细相关所进行的运算以产生包含多个值的细相关值,第二分辨率比第一分辨率更精细;所述用于相关(e)的装置响应用于产生阈值(d)的装置,并只在用于确定阈值(d)的装置确定任何的粗相关值都符合或超过第一-分辨率阈值时才启动用于相关(e)的装置;
(f)通过将每个细相关值与预定的第二-分辨率阈值进行比较以确定是否任何的细相关值都符合或超过第二-分辨率阈值以产生细相关阈值的装置。
6.按照权利要求5所述的一种用于根据内容进行图象检索的设备,其特征在于,它还包括:
用于适度相关所述粗相关的待选图象的装置;以及
用于使所述适度相关的待选图象与所述经变换的图形样板进行比较以判定在待选图象和图形样板之间是否存在一种适配的装置。
7.按照权利要求6所述的一种用于根据内容进行图象检索的设备,其特征在于,它还包括:
用于细相关所述适度相关的待选图象的装置;以及
用于使所述细相关的待选图象与所述经变换的图形样板进行比较以判定在待选图象和图形样板之间是否存在一种适配的装置。
8.按照权利要求7所述的一种用于根据内容进行图象检索的设备,其特征在于,它还包括:
用于全相关所述细相关的待选图象的装置,以及
用于使所述全相关的待选图象与所述经变换的图形样板进行比较以判定在待选图象和图形样板之间是否存在一种适配的装置。
CN97111722A 1996-05-06 1997-05-06 多分辨率图象检索的方法和设备 Expired - Fee Related CN1125410C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US08/643,691 1996-05-06
US643691 1996-05-06
US08/643,691 US5933546A (en) 1996-05-06 1996-05-06 Method and apparatus for multi-resolution image searching

Publications (2)

Publication Number Publication Date
CN1167959A CN1167959A (zh) 1997-12-17
CN1125410C true CN1125410C (zh) 2003-10-22

Family

ID=24581885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN97111722A Expired - Fee Related CN1125410C (zh) 1996-05-06 1997-05-06 多分辨率图象检索的方法和设备

Country Status (5)

Country Link
US (1) US5933546A (zh)
EP (1) EP0806733B1 (zh)
JP (1) JP3053004B2 (zh)
CN (1) CN1125410C (zh)
DE (1) DE69723356T2 (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE47908E1 (en) 1991-12-23 2020-03-17 Blanding Hovenweep, Llc Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
USRE48056E1 (en) 1991-12-23 2020-06-16 Blanding Hovenweep, Llc Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US10361802B1 (en) 1999-02-01 2019-07-23 Blanding Hovenweep, Llc Adaptive pattern recognition based control system and method
USRE46310E1 (en) 1991-12-23 2017-02-14 Blanding Hovenweep, Llc Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US6850252B1 (en) 1999-10-05 2005-02-01 Steven M. Hoffberg Intelligent electronic appliance system and method
US5903454A (en) * 1991-12-23 1999-05-11 Hoffberg; Linda Irene Human-factored interface corporating adaptive pattern recognition based controller apparatus
JP3506200B2 (ja) * 1997-02-05 2004-03-15 シャープ株式会社 位置合わせ装置
US6285788B1 (en) 1997-06-13 2001-09-04 Sharp Laboratories Of America, Inc. Method for fast return of abstracted images from a digital image database
US6292592B1 (en) * 1998-10-19 2001-09-18 Raytheon Company Efficient multi-resolution space-time adaptive processor
US6301387B1 (en) 1998-12-18 2001-10-09 University Of Washington Template matching using correlative auto-predictive search
US6243494B1 (en) 1998-12-18 2001-06-05 University Of Washington Template matching in 3 dimensions using correlative auto-predictive search
US6546117B1 (en) 1999-06-10 2003-04-08 University Of Washington Video object segmentation using active contour modelling with global relaxation
US7904187B2 (en) * 1999-02-01 2011-03-08 Hoffberg Steven M Internet appliance system and method
US6477269B1 (en) * 1999-04-20 2002-11-05 Microsoft Corporation Method and system for searching for images based on color and shape of a selected image
AU6503800A (en) * 1999-07-30 2001-02-19 Pixlogic Llc Perceptual similarity image retrieval
US6563959B1 (en) 1999-07-30 2003-05-13 Pixlogic Llc Perceptual similarity image retrieval method
US7058647B1 (en) 1999-08-31 2006-06-06 Charles E. Hill & Associates Electronic presentation generation system and method
US6658148B1 (en) * 2000-06-06 2003-12-02 Matsushita Electric Works, Ltd. Image processing method and apparatus
US7433881B1 (en) 2000-08-31 2008-10-07 Charles E. Hill & Associates, Inc. System and method for handling multi-resolution graphics files
JP4063486B2 (ja) 2000-09-06 2008-03-19 日本電気株式会社 画像検索装置及び方法並びに画像検索プログラムを記録した記憶媒体
US7395261B1 (en) 2000-11-21 2008-07-01 Amy Hobbs Atzel System and method for ordering items
US20040022436A1 (en) * 2001-03-16 2004-02-05 Paul Patti System and method for data analysis of x-ray images
US7046854B2 (en) * 2001-05-07 2006-05-16 Hrl Laboratories, Llc Signal processing subband coder architecture
US20030103673A1 (en) * 2001-11-30 2003-06-05 Nainesh Rathod Shape searcher
US7280700B2 (en) * 2002-07-05 2007-10-09 Microsoft Corporation Optimization techniques for data compression
US7020337B2 (en) * 2002-07-22 2006-03-28 Mitsubishi Electric Research Laboratories, Inc. System and method for detecting objects in images
US6911992B2 (en) * 2002-10-18 2005-06-28 Hewlett-Packard Development Company, L.P. Poster preparation system and method
US7606417B2 (en) 2004-08-16 2009-10-20 Fotonation Vision Limited Foreground/background segmentation in digital images with differential exposure calculations
US7680342B2 (en) 2004-08-16 2010-03-16 Fotonation Vision Limited Indoor/outdoor classification in digital images
JP4428067B2 (ja) * 2004-01-28 2010-03-10 ソニー株式会社 画像照合装置、プログラム、および画像照合方法
US7813552B2 (en) 2004-09-23 2010-10-12 Mitsubishi Denki Kabushiki Kaisha Methods of representing and analysing images
GB2418555A (en) * 2004-09-23 2006-03-29 Mitsubishi Electric Inf Tech Representing an image using descriptors based on colour information
JP4301193B2 (ja) * 2005-03-31 2009-07-22 ソニー株式会社 画像比較装置及び方法、画像検索装置及び方法、並びにプログラム及び記録媒体
EP1898339A1 (en) * 2005-06-30 2008-03-12 Olympus Corporation Retrieval system and retrieval method
WO2007004522A1 (ja) * 2005-06-30 2007-01-11 Olympus Corporation 検索システム及び検索方法
US7805005B2 (en) * 2005-08-02 2010-09-28 The United States Of America As Represented By The Secretary Of The Army Efficient imagery exploitation employing wavelet-based feature indices
JP4952026B2 (ja) * 2006-03-31 2012-06-13 株式会社日立製作所 生体情報認証装置および認証方法
JP4518139B2 (ja) * 2007-11-30 2010-08-04 トヨタ自動車株式会社 画像処理装置
US20100246798A1 (en) * 2009-03-26 2010-09-30 General Motors Corporation System and method for determining a user request
US9008192B2 (en) * 2011-10-20 2015-04-14 Digimarc Corporation Arrangements for increasing detection confidence
US9058541B2 (en) 2012-09-21 2015-06-16 Fondation De L'institut De Recherche Idiap Object detection method, object detector and object detection computer program
KR101382892B1 (ko) * 2012-10-08 2014-04-08 재단법인대구경북과학기술원 저해상도 영상 얼굴 인식 방법 및 저해상도 영상 얼굴 인식 장치
JP6951738B2 (ja) * 2017-07-10 2021-10-20 国立大学法人千葉大学 ホログラムデータ作成プログラム及びホログラムデータ作成方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4200861A (en) * 1978-09-01 1980-04-29 View Engineering, Inc. Pattern recognition apparatus and method
US5067162A (en) * 1986-06-30 1991-11-19 Identix Incorporated Method and apparatus for verifying identity using image correlation
DE68918724T2 (de) * 1988-02-17 1995-05-24 Nippon Denso Co Fingerabdruck-Prüfungsverfahren mit Verwendung mehrerer Korrelierungsentscheidungspegel und aufeinanderfolgenden Entscheidungsstufen.
US5253530A (en) * 1991-08-12 1993-10-19 Letcher Iii John H Method and apparatus for reflective ultrasonic imaging
US5394349A (en) * 1992-07-10 1995-02-28 Xing Technology Corporation Fast inverse discrete transform using subwords for decompression of information
US5392255A (en) * 1992-10-15 1995-02-21 Western Atlas International Wavelet transform method for downward continuation in seismic data migration
US5546477A (en) * 1993-03-30 1996-08-13 Klics, Inc. Data compression and decompression
US5659626A (en) * 1994-10-20 1997-08-19 Calspan Corporation Fingerprint identification system

Also Published As

Publication number Publication date
EP0806733B1 (en) 2003-07-09
JP3053004B2 (ja) 2000-06-19
DE69723356D1 (de) 2003-08-14
JPH1055433A (ja) 1998-02-24
DE69723356T2 (de) 2004-02-05
US5933546A (en) 1999-08-03
EP0806733A2 (en) 1997-11-12
EP0806733A3 (en) 1998-12-23
CN1167959A (zh) 1997-12-17

Similar Documents

Publication Publication Date Title
CN1125410C (zh) 多分辨率图象检索的方法和设备
Guo et al. Image dehazing transformer with transmission-aware 3d position embedding
Indyk et al. K-median clustering, model-based compressive sensing, and sparse recovery for earth mover distance
CN105721869B (zh) 基于结构化稀疏的压缩张量采集与重构系统
Kavitha et al. An efficient content based image retrieval using color and texture of image sub blocks
Wu et al. Hierarchical tensor approximation of multi-dimensional visual data
Dey et al. A novel colour-and texture-based image retrieval technique using multi-resolution local extrema peak valley pattern and RGB colour histogram
Byju et al. Remote-sensing image scene classification with deep neural networks in JPEG 2000 compressed domain
CN1518706A (zh) 使用蝶形处理器对离散余弦变换编码和计算的设备和方法
Sakthidasan Alias Sankaran et al. Noise removal through the exploration of subjective and apparent denoised patches using discrete wavelet transform
CN103218456B (zh) 基于特定显著事物的自适应图像检索方法
CN103970838A (zh) 基于压缩域的社会图像标签排序方法
Chang et al. Similar image retrieval based on wavelet transformation
CN113177546A (zh) 一种基于稀疏注意力模块的目标检测方法
Pan A more efficient constant time algorithm for computing the Hough transform
Abasolo et al. Wavelet analysis for a new multiresolution model for large-scale textured terrains
Jingsong et al. New research on scalability of lossless image compression by GP engine
CN102025988B (zh) 一种模式相关的快速变换方法
CN115329118B (zh) 一种面向垃圾图像的图像相似性检索方法及系统
Lien et al. A Novel Image Super-Resolution Technology Based on the Wavelet Coefficients Prediction Scheme
Chai et al. Hyper-spectral image processing applications on the SIMD pixel processor for the digital battlefield
Chowdhury et al. Single image super-resolution via cascaded parallel multisize receptive field
Arora et al. HAAR wavelet transform for solution of image retrieval
Lubbad et al. Cosine-based clustering algorithm approach
Abrahamyan et al. Entropy-based feature extraction for real-time semantic segmentation

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20031022

Termination date: 20140506