CN1684094A - 表示或检索图像中对象的方法和装置及计算机可读存储媒体 - Google Patents

表示或检索图像中对象的方法和装置及计算机可读存储媒体 Download PDF

Info

Publication number
CN1684094A
CN1684094A CNA2005100701303A CN200510070130A CN1684094A CN 1684094 A CN1684094 A CN 1684094A CN A2005100701303 A CNA2005100701303 A CN A2005100701303A CN 200510070130 A CN200510070130 A CN 200510070130A CN 1684094 A CN1684094 A CN 1684094A
Authority
CN
China
Prior art keywords
image
peak
descriptor
profile
contour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005100701303A
Other languages
English (en)
Other versions
CN100399331C (zh
Inventor
M·Z·鲍伯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN1684094A publication Critical patent/CN1684094A/zh
Application granted granted Critical
Publication of CN100399331C publication Critical patent/CN100399331C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752Contour matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Systems (AREA)
  • Picture Signal Circuits (AREA)

Abstract

一种通过处理与静止图象或者视频图象相对应的信号,来表示在图象中所出现的对象的方法,具有:导出对象的轮廓的CSS空间的峰值的步骤、对于上述峰值使用非线性变换而得到轮廓的显示的步骤。

Description

表示或检索图像中对象的方法和装置 及计算机可读存储媒体
本申请是申请人三菱电机株式会社于2001年2月28日提交的题为“表示或者检索图象中的对象的方法及其装置、计算机程序、计算机系统以及计算机可读存储媒体”的中国专利申请No.00801246.6的分案申请。
技术领域
本发明涉及以检索为目的的,在多媒体数据库中所保存的图象这样的静止图象或者视频图象中所出现的对象的表示,特别是涉及使用这样的表示来检索对象的方法及装置。
背景技术
在视频图书馆的图象这样的应用中,希望进行在视频图象或者静止图象中出现的对象的轮廓和形状或者对象的一部分的有效的表示和保存。在用于进行形状基础的索引附加和检索的公知的方法中,使用曲率比例空间(CSS)表示。对于CSS的详细内容,可以参见论文「通过曲率比例空间的可靠而有效的形状索引」(英国机器图像会议会报pp.53~62,爱丁堡,英国,1996年)以及「利用曲率比例空间的形状内容检索图象数据库」(关于智能数据库的IEE专门家会议会报,伦敦,1996年)。两篇论文由Mokhtarian,S.Abbasi以及J.Kittler所作,其内容在本说明书中作为参考文献。
在CSS显示中,为了求出对象的轮廓,而使用曲率函数,从轮廓上的任意点开始进行表示。通过进行对形状的平滑化的一系列变形,而一边展开轮廓的形状,一边研究曲率函数。更具体地说,计算与高斯过滤器的族一起卷积的曲率函数的导数的零交叉。作为曲率比例空间,如公知的那样,零交叉被描绘在曲线图上。但是,x轴为曲线的标准化的弧长,y轴是展开参数,特别是,是使用过滤器的参数。曲线图上的描绘形成表示轮廓的特征的环形。成为对象的轮廓的各个凸状或凹状的部分与CSS图象中的环形相对应。利用在CSS图象中最突出的环形的峰的纵坐标作为轮廓的表示。
为了检索与输入对象的形状相一致的,数据库中的保存图象的对象,而计算输入形状的CSS显示。通过使用匹配算法来比较各个CSS图象的峰的位置和高度,来判定输入形状与保存形状之间的类似度。
希望即使在比例的变化、旋转、任何轮廓的变形和投影变形这样的制图状态的变化下,也能得到不变的对象的轮廓表示。而且,希望在宽的等级的范围中,用对形状的变动不敏感的方法来表示形状。例如,利用使对象“车”的表示不随该车的型号和制造厂而变化所抽出的特征表示,就能容易地检索表示所有的车族的形状。
因此,本发明提供通过处理与图象相对应的信号来表现在静止图象或者视频图象中所出现的对象的方法,该方法具有导出表示对象的轮廓上出现的特征的多个数值的步骤和对上述值使用比例或者非线性变换而得到轮廓的表示的步骤。最好,该变换是非线性变换。最好,使用CSS显示,而且,最好,变化表示与展开参数相对应的峰的高度的值。
如本发明那样,特别是通过对CSS值使用变换,来判明改善了对象检索的性能。
发明内容
本发明所涉及的第1方面所记载的表示图象中的对象的方法,通过处理与静止图象或者视频图象相对应的信号,来表示在图象中所出现的对象,其特征在于,具有以下步骤:导出表示对象的轮廓上出现的特征的多个数值;对值使用比例变换或者非线性变换来得到轮廓的表示。
本发明所涉及的第2方面所记载的表示图象中的对象的方法,数值反映轮廓上的弯曲点。
本发明所涉及的第3方面所记载的表示图象中的对象的方法,具有以下步骤:通过使用平滑参数来多段地对轮廓进行平滑,来导出轮廓的曲率比例空间表示,其结果,得到多个轮廓曲线;使用表示各个轮廓曲线上的特征点的值来导出表示原来轮廓的特征的曲线;选择表示特征的曲线的峰的纵坐标,变换用于对峰的纵坐标值。
本发明所涉及的第4方面所记载的表示图象中的对象的方法,特征点与各轮廓曲线的曲率相关。
本发明所涉及的第5方面所记载的表示图象中的对象的方法,特征点与轮廓曲线的曲率的最大值和最小值相关。
本发明所涉及的第6方面所记载的表示图象中的对象的方法,通过处理与静止图象或者视频图象相对应的信号,来表示在图象中出现的对象,其特征在于,具有以下步骤:导出对象的轮廓的曲率比例空间表示;在曲率比例空间中选择峰的纵坐标;对峰的纵坐标值使用不明显的变换,来得到对象的轮廓的表示。
本发明所涉及的第7方面所记载的表示图象中的对象的方法,变换被用于与CSS显示中的平滑参数相对应的纵坐标值。
本发明所涉及的第8方面所记载的表示图象中的对象的方法,变换被用于与沿着轮廓的弧长参数相对应的纵坐标值。
本发明所涉及的第9方面所记载的表示图象中的对象的方法,变换是比例变换。
本发明所涉及的第10方面0所记载的表示图象中的对象的方法,变换是非线性变换。
本发明所涉及的第11方面所记载的表示图象中的对象的方法,变换是z’=a*pow(z,b)+c的形式,a、b、c是常数,pow(z,b)表示zb
本发明所涉及的第12方面所记载的表示图象中的对象的方法,b大于零小于1。
本发明所涉及的第13方面所记载的表示图象中的对象的方法,b处于0.25<b≤0.75的范围内。
本发明所涉及的第14方面所记载的表示图象中的对象的方法,b=0.5。
本发明所涉及的第15方面所记载的检索图象中的对象的方法,通过处理与静止图象或者视频图象相对应的信号,来检索图象中的对象,其特征在于,具有以下步骤:以二维轮廓的形式输入询问;使用第1至10方面之一所记载的方法来导出轮廓的描述符;得到使用第1至10方面之一所记载的方法而导出的保存图象中的对象的描述符;把所保存的对象的各个描述符与询问描述符进行比较,通过比较来选择表示与包含询问与对象之间的类似度的程度所表示的对象的图象相对应的至少一个结果。
本发明所涉及的第16方面所记载的表示或者检索图象中的对象的装置,适合于执行第1至15方面任一方面记载的方法。
本发明所涉及的第17方面所记载的表示或者检索图象中的对象的计算机程序,执行第1至15方面任一方面记载的方法。
本发明所涉及的第方面18所记载的表示或者检索图象中的对象的计算机系统,进行编程,以便于按照第1至15方面任一方面记载的方法而动作。
本发明所涉及的第19方面所记载的计算机可读存储媒体,保存能够以用于实现第1至15方面任一方面记载的方法的计算机来执行的处理。
本发明所涉及的第20方面所记载的表示图象中的对象的方法,象与参照附图在本说明书中说明的内容实质上相同那样,来表示静止图象或者视频图象中的对象。
本发明所涉及的第21方面所记载的检索图象中的对象的方法,象与参照附图在本说明书中说明的内容实质上相同那样,来检索静止图象或者视频图象中的对象。
本发明所涉及的第22方面所记载的表示或者检索图象中的对象的计算机系统,与参照附图在本说明书中说明的内容实质上相同。
附图说明
图1是视频数据库系统的方框图;
图2是对象的轮廓的图;
图3是表示图2的轮廓的CSS显示的图;
图4是举例表示某个形状的表示的图;
图5是表示某个对象的形状的图;
图6是图5的形状的CSS显示的图;
图7是图5的形状所变换的表示的图;
图8是举例表示检索方法的方框图。
具体实施方式
下面参照附图来对本发明的实施例进行说明。
实施例1
图1表示进行本发明的实施例的计算机处理的视频数据库系统。在该系统中,包含:计算机形式的控制装置2、监视器形式的显示装置4、鼠标器形式的指向装置6、包含所保存的静止图象和视频图象的图象数据库8以及保存在图象数据库8中所保存的图象中出现的对象或者对象的几个部分的描述符的描述符数据库10。
表示在图象数据库的图象中出现的具有趣味的各个对象的形状的描述符被控制装置2所导出,被保存在描述符数据库10中。控制装置2通过执行以下说明的方法的适当的程序的控制而动作,导出描述符。
第一,对于预定的对象的轮廓,导出该轮廓的CSS显示。使用在上述论文之一中所记载的公知的方法,来进行该CSS显示。
更具体地说,该轮廓通过写象表现Ψ={(x(u),y(u),u∈[0,1]}所表现(其中,u是标准化的弧长参数)。
该轮廓通过使用D高斯影响函数核g(u,σ)来进行卷积(convolve),由此,被平滑化,作为ρ的变化,研究展开(evolving)曲线的曲率零交叉。零交叉使用表示曲率的下式来确定。
k ( u , σ ) = X u ( u , σ ) Y uu ( u , σ ) - X uu ( u , σ ) Y u ( u , σ ) ( X u ( u , σ ) 2 + Y ( u , σ ) 2 ) 3 / 2
其中,
X(u,σ)=x(u)*g(u,σ)Y(u,σ)=y(u)*g(u,σ)
并且,
Xu(u,σ)=x(u)*gu(u,σ)Xuu(u,σ)=x(u)*guu(u,σ)
在上述中,*表示卷积,下标表示导数。
曲率零交叉的数量随着ρ的变化而变化,当ρ足够高时,Ψ成为零交叉的凸状的曲线。
零交叉点作为CSS图象空间被描绘在公知的曲线上。其结果,产生表示多个特征的曲线。表示该特征的曲线的峰被确定,对应的纵坐标被抽出而保存。一般,上述结果是,提供了n个坐标的对(x1,y1)、(x2,y2)、…(xn,yn)的集合(其中,n是峰的数量,xi是第i个峰的弧长的位置,yi是峰的高度)。
在本实施例中,作为高斯过滤器的近以值,使用系数(1/4,1/2,1/4)的2项过滤器,而一定程度上减少计算上的复杂度。作为结果,该计算上的复杂度的减少是由能够在DSP和通用处理器中有效地执行的便利的过滤器系数所产生的。
接着,峰值即表示峰的y成分值进一步被处理。具体地说,y值使用以下变换进行变换。
y’=a pow(y,b)+c                                   (1)
其中,pow(y,b)表示yb
其结果,产生了由峰值[(x1,y’1)、(x2,y’2)、…(xn,y’n)组成的新的集合,这些值作为表示轮廓的描述符被保存在描述符数据库中。
作为特定的例子,图2所示的轮廓作为结果产生了图3所示的CSS显示图象。在下表1中表示了CSS图象中的曲线的峰的纵坐标的详细内容。
表1
    峰索引     X     Y
    1     0.124     123
    2     0.68     548
    3     0.22     2120
    4     0.773     1001
    5     0.901     678
接着,使用a=6,b=0.5,c=0来使用上述变换。即,计算原来的y值的平方根,把其与常数相乘。其结果,产生以下的值:
表2
    峰索引     X     Y
    1     0.124     67
    2     0.68     140
    3     0.22     276
    4     0.773     190
    5     0.901     156
其中,这些值化整为最接近的整数,但是,也可以使用其他的化整的方法。
实施例2
在图4中表示了另一个例子。
图5表示对对象形状(在此情况下为龟)的一例。图6表示图5的形状的CSS峰。图7表示使用a=6,b=0.5,c=0来使用上述式(1)表示的变换的图6的变换后的峰。
所保存的描述符被用于检索目的。用户使用指向装置,通过在显示器上描绘对象的轮廓,而开始进行检索(步骤510)。接着,控制装置2导出输入轮廓的CSS显示(步骤520)。接着,如上述那样,使用对y值的变换(步骤530)。接着,使用公知的匹配程序来把所产生的输入轮廓的描述符与以下作为模型描述符所知的在描述符数据库中所保存的各个描述符进行比较(步骤540)。
该匹配比较使用适当的算法来进行,在数据库中作为结果得到各个描述符的类似度测定值。可以使用象上述论文中所记载的公知的匹配算法。下面对该匹配程序进行简单说明。
如果两个闭锁的轮廓的形状、图象曲线Ψi和模型曲线Ψm以及它们的曲线的峰的各个设定值{(xi1,yi1),(xi2,yi2),…,(xin,yin)}和{(xm1,ym1),(xm2,ym2),…,(xmn,ymn)}被赋予,来计算类似度测定值。类似度测定值被定义为图象的峰和模型中的峰的匹配的总成本。使用动态编程来计算使总成本最少化的匹配。通过算法,从模型得到的峰与从图象得到的峰恢复匹配,进行这样的匹配的各个成本计算。能够使各个模型的峰与唯一的图象峰相匹配,也能把个图象峰与唯一的模型峰相匹配。也存在在模型和/或图象峰中都没有匹配的情况,对于没有匹配的峰存在追加的追加成本。当两个峰的水平距离不足0.2时,能够把两个峰进行匹配。匹配的成本是两个匹配的峰间的直线的长度。没有匹配的峰的成本是其高度。
更详细地说,算法通过制作与节点匹配的峰相对应的树状构造进行扩展而其作用。
1.制作由图象(xik,yik)的最大值和模型(xir,yir)的最大值组成的开始节点。
2.对于图象峰的最大值80%以内的各个剩余的模型峰制作追加的开始节点。
3.把在1和2中制作的各个开始节点的成本初始化为与该开始节点链接的图象峰和模型峰的y坐标之差的绝对值。
4.对于3的各个开始节点,计算作为用该开始节点匹配的模型峰与图象峰的x(水平)坐标之差进行定义的CSS移位参数a。移位参数对各个节点是不同的。
5.对于各个开始节点,制作模型峰的列表和图象峰的列表。在该列表中包含与哪个峰尚未匹配相关的信息。对于各个开始节点,给在该节点上匹配的峰作为“匹配的”而赋予标记,给其他所有峰作为“没有匹配的”而赋予标记。
6.在第8点的条件满足之前,再次放大最低成本的节点(从在步骤1~6中制作的各个节点开始,各个节点的子节点接在其后)。为了放大节点,而使用以下程序。
7.节点的放大:
当存在仍没有匹配的至少一个图象和一个模型峰时,
选择没有匹配的最大的比例图象曲线CSS的最大值(xip,yip)。使用(在步骤4中计算的)开始节点移位参数来把选择的最大值描绘到模型CSS图象上,所选择的峰具有坐标(xip-alpha,yip)。决定没有匹配的最近的模型曲线峰(xms,yms)。当两个峰间的水平距离不足0.2(即,|xip-alpha-xms|<0.2)时,两个峰被匹配,作为两个峰间的之间的长度,定义匹配的成本。把匹配的成本与该节点的总成本相加。通过给匹配的峰赋予作为“匹配的”标记,而从各个列表中去除匹配的峰。当两个峰间的水平距离大于0.2时,图象峰(xip,yip)不能匹配。在此情况下,在总成本上加上图象峰的高度yip,通过给匹配的峰赋予作为“匹配的”标记,从图象峰列表中仅去除峰(xip,yip)。
当上述条件未满足(仅存在没有匹配的图象峰,或者,仅存在没有匹配的模型峰)时,处于没有匹配的状态下。
作为没有匹配的图象峰或者模型峰的最高高度,来定义匹配的成本,从列表中去除峰。
8.在7中放大节点之后,当在图象列表和模型列表中都不存在没有匹配的峰时,匹配处理结束。该节点的成本是图象与模型曲线间的类似度测定值。当峰存在时,返回第7点,来放大最低成本的节点。
交换图象曲线峰值和模型曲线峰值而重复进行上述程序。最终匹配值是这2个峰值中较低一方的值。
作为一个另例子,对于被分类的顺序的各个位置,计算所输入的x值和与其相对应的模型的x值之间的距离以及所输入的y值与与其相对应的模型的y值之间的距离。对于所有的位置,计算合计距离,如果合计距离较小,则越小匹配的程度越接近。当输入轮廓与模型的峰的数量不同时,在合计距离中包含其余的不匹配的峰的高度。
对于数据库的各个模型重复进行上述步骤(步骤480)。
对匹配比较的结果产生的类似度值进行分类(步骤490),接着,在显示装置4上向用户显示:与具有表示最接近匹配值(即本例中最低类似度值)的类似度值的描述符相对应的对象(步骤500)。用户可以预先设定或者选择显示对象的对象数量。
实施例3
下面对另一个实施例进行说明。本实施例除了使用各种变换之外与上一个实施例相同。具体地说,使用以下变换来变换y值:
y’=a0+a1y
即,使用线性比例变换。
其中,a0=41,a1=0.19。
在变更例子中,a0=0,a1=0.27。
可以适当使用a0、a1的各种值。
检索和匹配程序与上一个实施例中说明的方案大致相同。通过适当使用变换,特别是包含上述那样的比例或者非线性变换的线性变换,其结果,能够得到在对象等级的范围内对形状轮廓的变化等不敏感的描述符,而能够得到改善对象的检索的结果。
在上述实施例中,对在描述符数据库10中保存的上述CSS值适当使用变换。与上述不同,也可以把CSS值保存在描述符数据库10中。接着,在进行匹配程序之前,可以作为检索处理的一部分来进行变换。
在上述实施例中,对y坐标值适当使用变换。但是,也可以对x坐标值适当使用变换。
产业上利用的可能性
本发明的系统能够设在例如图象图书馆中。或者,通过因特网这样的网络而用电话线这样的暂时连接把数据库与控制装置进行连接,就能从系统的控制装置来远距离地进行配置。例如,图象数据库和描述符数据库可以设在永久存储装置或者ROM和DVD这样的便携式存储媒体中。
上述说明的系统的构成要素可以以软件或者硬件的形式设置。虽然以计算机系统的形式来对本发明进行了说明,但是,本发明也可以使用专用芯片而以其他形式来实现。
在本发明中,表示了这样的例子:(利用CSS显示来)表示对象的2D形状的方法以及计算表示两个形状间的类似度的值的方法的特定例子,但是,也可以使用同样的任意适当的方法。
例如,为了进行用户确认目的的对象图象的匹配,或者,为了进行过滤而使用本发明。

Claims (26)

1.一种表示出现在一个图像或一系列图像中的对象的方法,通过处理对应于所述图像的信号,来表示出现在所述图像中的所述对象,该方法包括:根据所述信号,导出在曲率比例空间中所述对象的轮廓的峰的多个坐标值,其中,导出曲率比例空间表示的方法涉及使用二项式滤波器。
2.根据权利要求1的方法,其特征在于:所述二项式滤波器具有系数(1/4,1/2,1/4)。
3.根据权利要求1或2的方法,还包括:对所述所述坐标值使用比例变换或非线性变换以获得所述轮廓的表示。
4.一种表示出现在一个图像或一系列图像中的对象的方法,通过处理对应于所述图像的信号,来表示出现在所述图像中的所述对象,该方法包括:根据所述信号导出在曲率比例空间中所述对象的轮廓的峰的多个坐标值,基于所述峰高度的纵坐标值使用一个比例变换,和相对于其它值对其它坐标定标以获得所述轮廓的表示。
5.根据权利要求4的方法,其特征在于:所述定标独立于采样的数目。
6.一种表示图像中的对象的方法,通过处理与静止图像或者视频图像相对应的信号,来表示在上述图像中所出现的对象,其特征在于,具有以下步骤:根据所述信号,导出在曲率比例空间中所述对象的轮廓的峰的多个坐标值,和对上述峰纵坐标值使用非线性变换来得到所述轮廓的表示。
7.根据权利要求6的方法,其特征在于:所述变换的形式是z’=a*pow(z,b)+c,其中a,b和c是常数,并且pow(z,b)代表z的b次方。
8.根据权利要求7的方法,其特征在于:b大于零并小于1。
9.根据权利要求8的方法,其特征在于:b的范围是:0.25≤b≤0.75。
10.根据权利要求9的方法,其特征在于:b=0.5。
11.一种检索在一个图像或一系列图像中的对象的方法,通过处理对应于所述图像的信号,来检索所述图像中的对象,其特征在于,具有以下步骤:
以二维轮廓的形式输入询问;
使用权利要求1至10之一所记载的方法,来导出所述轮廓的描述符;
得到使用前面任一权利要求所记载的方法而导出的保存图像中的对象的描述符;
把所保存的对象的各个描述符与所述询问描述符进行比较;和
选择和显示表示与包含比较表示所述询问与所述对象之间的相似性的程度的对象的图像相对应的至少一个结果。
12.一种检索在图像中的出现的对象的方法,包括:
接收包括至少一个具有轮廓的对象的输入;
确定对于所述输入轮廓的曲率比例空间表示,以产生所述输入轮廓的多个曲线表示;
确定对于所述多个曲线的峰和相关的峰坐标;
采用施加于所述峰坐标的纵坐标值的非线性计算,产生对于所述轮廓的形状描述符;
将所述输入轮廓的所述形状描述符与一个存储于存储器中图像的形状描述符进行比较,以发现至少一个实质上匹配的图像;和
输出所述至少一个实质上匹配的图像。
13.一种检索在图像中的出现的对象的系统,包括:
输入装置,用于输入至少一个具有轮廓的对象;
控制器和探测器,用于接收具有轮廓的所述输入对象,并且确定对于所述输入轮廓的曲率比例空间表示,以产生代表所述输入轮廓的多个曲线,以及用于确定所述多个曲线的峰和相关的峰坐标;
其中所述控制器,用于通过采用施加于所述峰坐标的纵坐标值的非线性计算来产生对于所述轮廓的形状描述符;
比较器,用于将所述输入轮廓的所述形状描述符与一个存储于存储器中图像的形状描述符进行比较,以发现至少一个实质上匹配的图像;和
显示器,用于显示至少一个所述实质上匹配的图像。
14.一种存储有多个可执行指令的机器可读的媒体,所述多个可执行指令包括指令,以接收包括具有轮廓的至少一个对象;
确定所述输入轮廓的曲率比例空间表示,以产生代表所述输入轮廓的多个曲线;
确定所述多个曲线的峰和相关的峰坐标;
通过采用施加于所述峰坐标的纵坐标值的非线性计算,来产生对于所述轮廓的形状描述符;
将所述输入轮廓的所述形状描述符与一个存储于存储器中图像的形状描述符进行比较,以发现至少一个实质上匹配的图像;和
输出至少一个所述实质上匹配的图像。
15.一种用于如权利要求13的检索系统中的比较器的检索图像的方法,包括:
接收对于在所述图像中的对象的第一形状描述符,所述形状描述符包括所述对象的轮廓的曲率比例空间(CSS)表示的多个峰坐标,通过在多级中平滑化所述轮廓来产生所述CSS表示的所述峰坐标,每个所述峰坐标包括用于非线性计算的纵坐标值;和
将所述对象的所述第一形状描述符与一个存储于存储器中的图像的第二形状描述符进行比较,以发现至少一个实质上匹配的图像,其中每个所述峰坐标与对应的所述存储器中的所述第二形状描述符的坐标比较。
16.一种用于如权利要求13的检索系统中的控制器的检索图像的方法,包括:
通过在多级中平滑化所述轮廓,来产生在所述图像中对象的轮廓的所述CSS表示的所述峰坐标;
对所述峰坐标的纵坐标使用非线性计算,以产生所述对象的形状描述符;
向比较器传输所述形状描述符,以检索至少一个实质上匹配的图像;和
从所述比较器接收和显示所述至少一个实质上匹配的图像。
17.一种检索在一个图像或一系列图像中的对象的方法,通过处理对应于所述图像的信号,来检索所述图像中的对象,其特征在于,具有以下步骤:以二维轮廓的形式输入询问;导出所述轮廓的描述符;获得在存储的图像中的对象的描述符;和把存储的对象的各个描述符与所述询问描述符进行比较;选择和显示与包含比较表示所述询问与所述对象之间的相似性的程度对象的图像相对应的至少一个结果,其中,通过导出代表所述轮廓的特征的在曲率比例空间(CSS)中的峰的多个坐标值和对所述峰的纵坐标值使用非线性变换,导出询问轮廓和/或存储的对象轮廓的所述描述符,以实现所述轮廓的表示。
18.根据权利要求12,15,16,或17中任意之一的方法,其中,对对应于所述CSS表示中的平滑参数的坐标值使用变换。
19.根据权利要求12,15,16,17,或18中任意之一的方法,其中,所述变换的形式是z’=a*pow(z,b)+c,其中a,b和c是常数,并且pow(z,b)代表z的b次方。
20.根据权利要求19的方法,其特征在于:b大于零并小于1。
21.根据权利要求19的方法,其特征在于:b的范围是:0.25≤b≤0.75。
22.根据权利要求21的方法,其特征在于:b=0.5。
23.一种适于执行权利要求1-12或15-22任意之一方法的装置。
24.一种适于执行权利要求1-12或15-22任意之一方法的计算机程序。
25.一种编程以执行权利要求1-12或15-22任意之一方法的计算机系统。
26.一种存储有计算机可执行过程步骤的适于执行权利要求1-12或15-22任意之一方法的计算机可读存储媒体。
CNB2005100701303A 1999-07-05 2000-07-03 表示或检索图像中对象的方法和装置及计算机可读存储媒体 Expired - Lifetime CN100399331C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB9915699A GB2352075B (en) 1999-07-05 1999-07-05 Method and Apparatur for Representing and Searching for an Object in an Image
GB9915699.4 1999-07-05

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CNB008012466A Division CN1292387C (zh) 1999-07-05 2000-07-03 表示或者检索图象中的对象的方法和系统

Publications (2)

Publication Number Publication Date
CN1684094A true CN1684094A (zh) 2005-10-19
CN100399331C CN100399331C (zh) 2008-07-02

Family

ID=10856661

Family Applications (6)

Application Number Title Priority Date Filing Date
CN2006101433782A Expired - Lifetime CN1940933B (zh) 1999-07-05 2000-07-03 表示或者检索图象中的对象的方法及其装置、计算机程序、计算机系统以及计算机可读存储媒体
CN200610143380XA Expired - Lifetime CN1940935B (zh) 1999-07-05 2000-07-03 表示或者检索图象中的对象的方法及其装置、计算机程序、计算机系统以及计算机可读存储媒体
CN2006101433778A Expired - Lifetime CN1940932B (zh) 1999-07-05 2000-07-03 表示或者检索图象中的对象的方法及其装置、计算机程序、计算机系统以及计算机可读存储媒体
CNB2005100701303A Expired - Lifetime CN100399331C (zh) 1999-07-05 2000-07-03 表示或检索图像中对象的方法和装置及计算机可读存储媒体
CN2006101433797A Expired - Lifetime CN1940934B (zh) 1999-07-05 2000-07-03 表示或者检索图象中的对象的方法及其装置、计算机程序、计算机系统以及计算机可读存储媒体
CNB008012466A Expired - Lifetime CN1292387C (zh) 1999-07-05 2000-07-03 表示或者检索图象中的对象的方法和系统

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN2006101433782A Expired - Lifetime CN1940933B (zh) 1999-07-05 2000-07-03 表示或者检索图象中的对象的方法及其装置、计算机程序、计算机系统以及计算机可读存储媒体
CN200610143380XA Expired - Lifetime CN1940935B (zh) 1999-07-05 2000-07-03 表示或者检索图象中的对象的方法及其装置、计算机程序、计算机系统以及计算机可读存储媒体
CN2006101433778A Expired - Lifetime CN1940932B (zh) 1999-07-05 2000-07-03 表示或者检索图象中的对象的方法及其装置、计算机程序、计算机系统以及计算机可读存储媒体

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN2006101433797A Expired - Lifetime CN1940934B (zh) 1999-07-05 2000-07-03 表示或者检索图象中的对象的方法及其装置、计算机程序、计算机系统以及计算机可读存储媒体
CNB008012466A Expired - Lifetime CN1292387C (zh) 1999-07-05 2000-07-03 表示或者检索图象中的对象的方法和系统

Country Status (8)

Country Link
US (6) US6931154B1 (zh)
JP (2) JP4688382B2 (zh)
KR (6) KR100944584B1 (zh)
CN (6) CN1940933B (zh)
BR (1) BR0006896A (zh)
GB (6) GB2393839B (zh)
RU (1) RU2225034C2 (zh)
WO (1) WO2001003069A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106462774A (zh) * 2014-02-14 2017-02-22 河谷控股Ip有限责任公司 通过规范形状的对象摄取、系统和方法
CN109544542A (zh) * 2018-11-29 2019-03-29 余姚市朗硕电器科技有限公司 清洗次数设定平台
CN118279169A (zh) * 2018-10-31 2024-07-02 Fei公司 对显微镜图像智能计量的方法和非暂时性计算机可读介质

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100438818B1 (ko) * 1998-09-10 2004-07-16 삼성전자주식회사 2차원 물체 이미지의 표현자 생성방법 및 2차원 물체 이미지의인식방법
GB2351826B (en) * 1999-07-05 2004-05-19 Mitsubishi Electric Inf Tech Method of representing an object in an image
GB2352076B (en) * 1999-07-15 2003-12-17 Mitsubishi Electric Inf Tech Method and apparatus for representing and searching for an object in an image
CA2400161C (en) * 2000-02-22 2015-11-24 Metacarta, Inc. Spatially coding and displaying information
GB2364590B (en) * 2000-07-07 2004-06-02 Mitsubishi Electric Inf Tech Method and apparatus for representing and searching for an object in an image
KR100415074B1 (ko) * 2001-10-09 2004-01-14 채영도 물체의 닮음을 인식하는 방법 및 그 장치
GB2384095B (en) * 2001-12-10 2004-04-28 Cybula Ltd Image recognition
JP2005215985A (ja) * 2004-01-29 2005-08-11 Fujitsu Ltd 走行車線判定プログラムおよびその記録媒体、走行車線判定装置ならびに走行車線判定方法
CN101432292B (zh) * 2004-06-16 2013-03-13 维莱尼姆公司 对叶绿素进行酶促脱色的组合物和方法
US7623685B2 (en) * 2004-08-20 2009-11-24 The Regents Of The University Of Colorado Biometric signatures and identification through the use of projective invariants
EA200401058A1 (ru) * 2004-09-08 2005-12-29 Борис Викторович Моисеев Устройство для управления отображением данных на экране дисплея
NZ561247A (en) * 2005-03-15 2010-06-25 Verenium Corp Beta-glucosidases, nucleic acids encoding them and methods for making and using them
CN101657824B (zh) * 2005-03-15 2012-04-04 切夫里昂美国公司 使用改进Newton-Raphson算法求解S形非线性函数的稳定方法和设备
EP1904938A2 (en) 2005-06-28 2008-04-02 Metacarta, Inc. User interface for geographic search
JP2009526327A (ja) 2006-02-10 2009-07-16 メタカータ・インコーポレーテッド メディアオブジェクトについての空間サムネイルおよびコンパニオンマップのためのシステムおよび方法
US20080010605A1 (en) * 2006-06-12 2008-01-10 Metacarta, Inc. Systems and methods for generating and correcting location references extracted from text
US9721157B2 (en) 2006-08-04 2017-08-01 Nokia Technologies Oy Systems and methods for obtaining and using information from map images
US20080140348A1 (en) * 2006-10-31 2008-06-12 Metacarta, Inc. Systems and methods for predictive models using geographic text search
WO2009075689A2 (en) * 2006-12-21 2009-06-18 Metacarta, Inc. Methods of systems of using geographic meta-metadata in information retrieval and document displays
RU2533441C2 (ru) * 2009-12-30 2014-11-20 Нокиа Корпорейшн Способ и устройство для обеспечения поиска изображения по содержимому
KR101244934B1 (ko) * 2011-12-06 2013-03-19 경북대학교 산학협력단 코드북을 이용한 객체 인식 장치, 객체 인식 방법 및 기록 매체
US8687104B2 (en) * 2012-03-27 2014-04-01 Amazon Technologies, Inc. User-guided object identification
US11941863B2 (en) * 2021-08-04 2024-03-26 Datalogic Ip Tech S.R.L. Imaging system and method using a multi-layer model approach to provide robust object detection

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1988002158A1 (en) * 1986-09-18 1988-03-24 Violet Frances Leavers Shape detection
GB2203877A (en) * 1986-09-18 1988-10-26 Violet Frances Leavers Shape parametrisation
US4802230A (en) * 1987-03-13 1989-01-31 Gtx Corporation Method and apparatus for generating size and orientation invariant shape features
US4989257A (en) * 1987-03-13 1991-01-29 Gtx Corporation Method and apparatus for generating size and orientation invariant shape features
US5081689A (en) * 1989-03-27 1992-01-14 Hughes Aircraft Company Apparatus and method for extracting edges and lines
JPH0820725B2 (ja) * 1990-02-06 1996-03-04 大日本スクリーン製造株式会社 画像輪郭データの作成方法
CA2130340C (en) * 1992-02-18 2000-06-06 Shih-Jong James Lee Method for identifying objects using data processing techniques
US6182069B1 (en) * 1992-11-09 2001-01-30 International Business Machines Corporation Video query system and method
JPH06309465A (ja) * 1993-04-21 1994-11-04 Nippon Telegr & Teleph Corp <Ntt> 線図形学習認識方法
US5487116A (en) * 1993-05-25 1996-01-23 Matsushita Electric Industrial Co., Ltd. Vehicle recognition apparatus
JP3162918B2 (ja) * 1994-10-14 2001-05-08 キヤノン株式会社 画像処理装置および方法
US6014461A (en) * 1994-11-30 2000-01-11 Texas Instruments Incorporated Apparatus and method for automatic knowlege-based object identification
JPH1055447A (ja) * 1996-05-21 1998-02-24 Monorisu:Kk オブジェクト認識方法およびその方法を用いた装置
KR100305591B1 (ko) * 1998-07-22 2001-11-30 오길록 관절점기반동작정보를사용한동영상검색방법
GB2351826B (en) 1999-07-05 2004-05-19 Mitsubishi Electric Inf Tech Method of representing an object in an image
US6457766B1 (en) 2001-11-10 2002-10-01 Lee J. Telnack Vehicle streamlining structure

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106462774A (zh) * 2014-02-14 2017-02-22 河谷控股Ip有限责任公司 通过规范形状的对象摄取、系统和方法
CN106462774B (zh) * 2014-02-14 2020-01-24 河谷控股Ip有限责任公司 通过规范形状的对象摄取、系统和方法
CN118279169A (zh) * 2018-10-31 2024-07-02 Fei公司 对显微镜图像智能计量的方法和非暂时性计算机可读介质
CN109544542A (zh) * 2018-11-29 2019-03-29 余姚市朗硕电器科技有限公司 清洗次数设定平台
CN109544542B (zh) * 2018-11-29 2020-10-30 蚌埠翰邦知识产权服务有限公司 清洗次数设定平台

Also Published As

Publication number Publication date
GB2393839B (en) 2004-06-16
GB9915699D0 (en) 1999-09-08
US6931154B1 (en) 2005-08-16
KR100892470B1 (ko) 2009-04-10
JP2011100468A (ja) 2011-05-19
GB2394350A (en) 2004-04-21
CN1940935B (zh) 2010-06-16
RU2225034C2 (ru) 2004-02-27
CN1940932A (zh) 2007-04-04
CN1940932B (zh) 2010-06-16
GB0329841D0 (en) 2004-01-28
GB2391374A (en) 2004-02-04
CN1940934B (zh) 2010-06-16
GB0401486D0 (en) 2004-02-25
JP4688382B2 (ja) 2011-05-25
WO2001003069A8 (fr) 2001-03-22
CN1292387C (zh) 2006-12-27
US20050238236A1 (en) 2005-10-27
GB2391099A (en) 2004-01-28
CN1940933B (zh) 2010-06-23
KR20070073925A (ko) 2007-07-10
CN1316082A (zh) 2001-10-03
CN1940933A (zh) 2007-04-04
KR20030078932A (ko) 2003-10-08
GB2394349B (en) 2004-06-16
KR100448610B1 (ko) 2004-09-13
GB2352075A (en) 2001-01-17
KR100944584B1 (ko) 2010-02-25
KR100809831B1 (ko) 2008-03-04
US7532775B2 (en) 2009-05-12
CN1940935A (zh) 2007-04-04
US7505628B2 (en) 2009-03-17
US7257277B2 (en) 2007-08-14
KR20060066140A (ko) 2006-06-15
CN100399331C (zh) 2008-07-02
US20080131003A1 (en) 2008-06-05
GB2352075B (en) 2004-06-16
GB0324370D0 (en) 2003-11-19
GB2394349A (en) 2004-04-21
GB2394350B (en) 2004-06-16
BR0006896A (pt) 2001-06-12
KR20080100393A (ko) 2008-11-17
GB2393839A (en) 2004-04-07
KR20040053208A (ko) 2004-06-23
KR100937273B1 (ko) 2010-01-18
JP5236719B2 (ja) 2013-07-17
KR100732109B1 (ko) 2007-06-27
GB0401488D0 (en) 2004-02-25
WO2001003069A1 (fr) 2001-01-11
GB2391099B (en) 2004-06-16
CN1940934A (zh) 2007-04-04
KR20010073125A (ko) 2001-07-31
US20080063310A1 (en) 2008-03-13
GB0324377D0 (en) 2003-11-19
GB2391374B (en) 2004-06-16
US20070258659A1 (en) 2007-11-08
US7430338B2 (en) 2008-09-30
US7505638B2 (en) 2009-03-17
US20080056583A1 (en) 2008-03-06

Similar Documents

Publication Publication Date Title
CN1684094A (zh) 表示或检索图像中对象的方法和装置及计算机可读存储媒体
CN1542695A (zh) 显示或检索图像中的目标的方法及其装置和计算机系统
JP2011100465A (ja) 画像中に現れるオブジェクトを表示する方法、その装置、コンピュータ・プログラム、コンピュータ・システム、及びコンピュータ可読記憶媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20190613

Address after: Tokyo, Japan, Japan

Patentee after: Rakuten Inc.

Address before: Tokyo, Japan, Japan

Patentee before: Mitsubishi Electric Corporation

TR01 Transfer of patent right
CX01 Expiry of patent term

Granted publication date: 20080702

CX01 Expiry of patent term