CN1295649C - 显示或检索图像中的目标的方法及其装置 - Google Patents
显示或检索图像中的目标的方法及其装置 Download PDFInfo
- Publication number
- CN1295649C CN1295649C CNB00801910XA CN00801910A CN1295649C CN 1295649 C CN1295649 C CN 1295649C CN B00801910X A CNB00801910X A CN B00801910XA CN 00801910 A CN00801910 A CN 00801910A CN 1295649 C CN1295649 C CN 1295649C
- Authority
- CN
- China
- Prior art keywords
- image
- spike
- value
- profile
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/752—Contour matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Circuits (AREA)
Abstract
一种通过处理与图像对应的信号来表示在静止图像或视频图像中出现的目标的方法,通过处理与图像对应的信号来表示在静止图像或视频图像中出现的目标的方法包括从目标的轮廓上的任意的点开始导出与在轮廓上显现的特征相关的多个数值的步骤和对该值应用指定的分类而得到轮廓的显示的步骤。
Description
技术领域
本发明涉及以检索为目的的在多媒体数据库中保存的图像那样的静止图像或视频图像中出现的目标的显示,特别是使用这样的显示检索目标的方法和装置。
背景技术
在图像程序库的图像的应用程序中,进行视频图像或静止图像中出现的目标的轮廓及形状或目标的一部分的有效的显示和保存。在用于进行附加形状库的索引和检索的众所周知的方法中,可以使用曲率标度空间(CSS)显示。关于CSS的详细情况,可以在论文「利用曲率标度空间的坚固性附加有效的形状索引」(英国机器影像会报pp.53~62、爱丁堡、英国、1996年)和「利用使用诮标度空间的形状内容附加图像数据库的索引」(关于智能数据库的IEE专家会议报、伦敦、1996年)中找到。两篇论文都是Mokhtarian、S.Abbasi和J.Kittler撰写的,其内容在本说明书中是作为参考文献而引用的。
在CSS显示中,为了得到目标的轮廓,使用曲率函数,从轮廓上的任意的点开始进行显示。通过进行使形状平滑化的一连串的变形,将轮廓的形状展开,研究曲率函数。此外,具体而言,就是计算与高斯滤波器的族一起卷积的曲率函数的导函数的零交叉。作为曲率标度空间,如所周知,零交叉绘制在曲线图上。但是,x轴是曲线的正规化的弧长,y轴是展开参量,特别是应用滤波器的参量。曲线图上的点形成表示轮廓的特征的环。构成目标的轮廓的各凸状或凹状的部分,与CSS图像的环对应。在CSS图像中,最突起的环的尖峰的纵坐标用于进行轮廓的显示。
为了检索与输入目标的形状一致的数据库中的保存图像的目标,计算输入形状的CSS显示。通过使用匹配算法语言比较各CSS图像的尖峰的位置和高度,判断输入形状与保存形状间的类似度。
作为关于众所周知的CSS显示的问题,有指定的轮廓的尖峰基于从轮廓上的任意的点开始进行计算的曲率函数的问题。改变该开始点时,发生CSS图像的尖峰沿x轴周期地移位。因此,在计算类似度测定值时,必须考虑所有的可能的移位或至少必须考虑最容易发生的移位。结果,将增加检索手续和匹配手续的复杂性。
因此,本发明的目的旨在提供通过处理与图像对应的信号来表示出现在静止图像或视频图像中的目标的方法,该方法包括从轮廓上的任意的点开始导出与在目标的轮廓上显现的特征相关的多个数值的步骤和对上述值应用指定的分类而得到轮廓的显示的步骤。最好根据上述轮廓的CSS显示导出上述值,另外,上述值最好与CSS峰值对应。
作为本发明的结果,可以不显著地降低检索精度而大幅度地降低关于匹配程序的计算。
发明内容
本发明的一种通过处理与图像对应的信号表示在一个图像或一系列图像中出现的目标的方法,该方法包括:通过在多个阶段内平滑目标的轮廓而导出CSS显示中多个尖峰高度纵坐标值,从所述轮廓上任意一点开始,并根据尖峰坐标的尖峰高度值将所述CSS显示中的尖峰纵坐标值进行分类,尖峰高度值对应于所用的平滑的参数。
本发明的显示图像中的目标的方法,其特征在于:作为结果而得到的显示与轮廓上的开始点无关地进行指定的分类。
本发明的显示图像中的目标的方法,其特征在于:数值反映曲线上的弯曲点。
本发明的显示图像中的目标的方法,其特征在于:通过使用平滑化参量σ按多个阶段将轮廓平滑而生成多个轮廓曲线和通过使用表示各轮廓曲线的曲率的最大值和最小值的值导出表示原来的轮廓的特征的曲线以及通过选择作为数值表示特征的曲线的尖峰的纵坐标,来得到轮廓的曲率标度空间的显示。
本发明的显示图像中的目标的方法,其特征在于:表示特征的曲线的纵坐标与轮廓的弧长参量和平滑化参量对应。
本发明的显示图像中的目标的方法,其特征在于:根据与平滑化参量对应的尖峰的高度的值将尖峰的纵坐标值进行分类。
本发明的显示图像中的目标的方法,其特征在于:将数值从最大值开始进行分类。
本发明的显示图像中的目标的方法,其特征在于:将数值按大小降低的顺序进行分类。
本发明的显示图像中的目标的方法,其特征在于:将数值从最小值开始进行分类。
本发明的一种通过处理与图像对应的信号表示在静止或视频图像中出现的目标的方法,该方法包括:为显示轮廓而导出多个与出现在目标的轮廓上的特征相关的数字数值,还包括利用所述数值中至少两个数值的关系,导出一个系数,以指示所述显示的可靠性。
本发明的显示图像中的目标的方法,其特征在于:系数基于数值中的2个值间的比。
本发明的显示图像中的目标的方法,其特征在于:上述比是2个最大值之比。
本发明的显示图像中的目标的方法,其特征在于:通过使用平滑化参量σ按多个阶段将轮廓平滑而生成多个轮廓曲线和通过使用表示用于导出表示原来的轮廓的特征的曲线的各轮廓曲线的曲率的最大值和最小值的值以及通过选择作为数值表示特征的曲线的尖峰的纵坐标,来得到轮廓的曲率标度空间的显示。
本发明的显示图像中的目标的方法,其特征在于:使用上文所述的方法导出上述数值。
本发明的一种通过处理与图像对应的信号来检索静止图像或视频图像中的目标的方法,其特征在于:包括用2维的轮廓的形式输入查询的步骤,使用上文所述的方法导出所述轮廓的描述符的步骤,取得使用上文所述的方法导出的所保存的图像中的目标的描述符并将上述查询描述符与所保存的目标的各描述符进行比较的步骤,和选择显示与包含此数表示上述查询与上述目标间的类似度的程度的目标的图像对应的至少1个结果的步骤。
本发明的检索图像中的目标的方法,其特征在于:使用上文所述的方法对于查询的轮廓和各保存的轮廓导出系数,仅使用指定的分类或使用指定的分类和与系数有关的某个其他分类进行比较。
本发明的显示图像中的目标的方法,是通过处理与静止图像或视频图像对应的信号来表示在图像中出现的多个目标的方法,其特征在于:包括导出与在各目标的轮廓上显现的特征关联的多个数值的步骤和应用与表示各轮廓的值相同的指定的分类得到各轮廓的显示的步骤。
本发明的一种适用于产生表示在图象中出现的目标的数据的设备,该设备包括:控制装置,用于控制所述设备的操作;其中,所述控制装置为显示轮廓而导出多个与出现在目标的轮廓上的特征相关的数字数值,还使用所述数值中至少两个数值的关系,导出一个系数,以指示所述显示的可靠性。
本发明的包括连接到所述控制装置的显示装置,用于显示输出;并包括用于给所述控制装置输入指令的装置。
本发明的显示或检索图像中的目标的计算机系统,其特征在于:编程为按照上文所述的方法而动作。
本发明的计算机可读存储媒体,其特征在于:保存用于实现上文所述的方法的计算机可以执行的处理。
本发明的显示图像中的目标的方法,其特征在于:和参照附图在本说明书中说明的实际上相同,显示静止图像或视频图像中的目标。
本发明的检索图像中的目标的方法,其特征在于:和参照附图在本说明书中说明的实际上相同,检索静止图像或视频图像中的目标。
本发明的显示或检索图像中的目标的计算机系统,其特征在于:和参照附图在本说明书中说明的实际上相同。
附图的简单说明
图1是视频数据库系统的框图。
图2是目标的轮廓的图。
图3是表示图2的轮廓的CSS显示的图。
图4是表示检索方法的框图。
实施发明的最佳形式
下面,参照附图说明本发明的实施例。
实施例1.
图1表示本发明的实施例进行计算机处理的视频数据库系统。在该系统中,包括计算机形式的控制装置2、监视器形式的显示装置4、鼠标形式的指示装置6、包含保存的静止图像和视频图像的图像数据库8和保存在图像数据库8保存的图像中出现的目标或目标的几个部分的描述符的描述符数据库10。
表示在图像数据库的图像中出现的有兴趣的各目标的形状的描述符由控制装置2导出,保存导描述符数据库10中。控制装置2根据执行以下说明的方法的适当的程序的控制而动作,导出描述符。
第1,对于指定的目标的轮廓,导出该轮廓的CSS显示。
使用上述论文之一所描述的众所周知的方法进行该CSS显示。
此外,具体而言,就是利用映射表现ψ={(x(u),y(u),u∈[0,1])}表示该轮廓(其中,u是正规化的弧长参量)。
该轮廓通过使用ID高斯核g(u,ρ)进行卷积(convolve)而平滑,对于ρ的变化,检查展开(evolving)曲线的曲率零交叉。零交叉使用表示曲率的下述公式进行特定。即
其中,
X(u,σ)=x(u)*g(u,σ) Y(u,σ)=y(u)*g(u,σ)
并且,
Xu(u,σ)=x(u)*gu(u,σ) Xuu(u,σ)=x(u)*guu(u,σ)
在上述公式中,*表示卷积,脚标表示导函数。
曲率零交叉的数随ρ的变化而变化,ρ非常高时,ψ成为零交叉的凸状的曲线。
零交叉点(u,ρ)描绘在作为CSS图像空间的曲线图上。结果,就形成表示原来的轮廓的特征的曲线。于是,特定表示该特征的曲线的尖峰,并抽出对应的纵坐标进行保存。通常,上述结果给出n个坐标对((x1,y1)、(x2,y2)、...(xn,yn))的组(其中,n是尖峰的数、xi是第i个尖峰的弧长的位置、yi是尖峰的高度)。
表示该特征的曲线的分类和位置以及对应的尖峰在CSS图像空间中出现时,与上述曲率函数的开始点有关。在本发明中,尖峰的纵坐标使用专用的分类函数进行再分类。
利用尖峰索引{1...n}与新的集合的索引{1...n}的1对1映射T进行分类。
在本实施例中,纵坐标的对通过考虑y纵坐标的尺寸进行分类。第1,选择最大尖峰。假定第k个尖峰最突起。这时,在数值进行了分类的集合中,(xk,yk)成为第1个坐标。换言之,就是T(k)=1。同样,其他的尖峰的纵坐标按尖峰的高度的降低顺序进行再分类。在2个尖峰具有相同的高度时,具有与上述纵坐标对的x坐标最接近的x坐标的尖峰配置为第1。换言之,具有原来的索引i的各纵坐标对被分配给新的索引。但是,T(i)=j,并且yj>=y(j+1)。另外,各值xi符合-xk的周期的移位。
作为特定的例子,从图2所示的轮廓可以得到图3所示的CSS图像的结果。CSS图像的曲线的尖峰的纵坐标的详细情况示于以下的表1。
表1
尖峰索引 | X | Y |
1 | 0.124 | 123 |
2 | 0.68 | 548 |
3 | 0.22 | 2120 |
4 | 0.773 | 1001 |
5 | 0.901 | 678 |
这些尖峰使用上述分类方法进行分类。即,纵坐标按尖峰的高度降低的顺序进行分类。另外,x纵坐标都向零的方向移动与最大尖峰的原来的x纵坐标相等的量。结果,便形成示于以下表2中的进行了再分类的尖峰坐标。
表2
尖峰索引 | X | Y |
1 | 0 | 2120 |
2 | 0.553 | 1001 |
3 | 0.681 | 678 |
4 | 0.46 | 548 |
5 | 0.904 | 123 |
利用这些进行了再分类的尖峰的纵坐标,对保存在数据10中的目标的轮廓形成描述符的数据库。在本实施例中,按表2所示的分类顺序保存尖峰的纵坐标。或者,也可以与表示新的分类顺序的关联的索引一起保存纵坐标。
实施例2.
下面,说明实施例2的表示目标的轮廓的代替方法。
表示轮廓的CSS显示按上述方式导出。但是,尖峰的纵坐标的分类与上述实施例1的分类不同。此外,具体而言,第1,选择最大尖峰。假定尖峰k是最突起的尖峰。这时,(xk,yk)在尖峰的分类集合中成为第1个尖峰。其后的尖峰对于原来的索引i的尖峰的纵坐标,成为T(i)=J并且xj<=x(j+1)。另外,所有的值xi都向下方移动与原来的尖峰k的原来的x纵坐标相等的量xk。
换言之,在实施例2的方法中,选择最大尖峰,配置到第1位,然后,其余的尖峰按照从最大尖峰开始的原来的顺序进行配置。
以下的表3表示按照实施例2进行分类的表1的峰值的表。
表3
尖峰索引 | X | Y |
1 | 0 | 2120 |
2 | 0.46 | 548 |
3 | 0.553 | 1001 |
4 | 0.681 | 678 |
5 | 0.904 | 123 |
在上述实施例1和2的展开中,可靠性系数(CF)与形状的各显示相关联。CF根据指定形状的第2最大峰值与最大峰值之比来计算。
对于图2所示的轮廓,CF值为CF=1001/2120。在本例中,通过使CF最接近于0.1而进行量化处理,减少存储要件。因此,在本例中,CF=0.5。
本例的CF值是显示的痂度即唯一性的反映。在本例中,接近于1的CF值意味着可靠性低,接近于零的CF值表示可靠性高。换言之,如果2个最大峰值越接近,显示正确的可能性就越小。
进行以下说明的匹配顺序时,CF值可以成为有益的数值。
实施例3.
下面,参照作为表示检索方法的框图的图4说明根据本发明的实施例检索图像中的目标的方法。
在本例中,在图1的系统的描述符数据库10中,与关联的CF值一起保存着按照上述第1分类方法导出的描述符。
用户使用指示装置通过在显示器上描绘目标的轮廓,开始进行检索(步骤410)。其次,控制装置2导出输入轮廓的CSS显示,按照与对数据库中的图像所使用的函数相同的分类函数进行尖峰的纵坐标的分类,得到表示输入轮廓的描述符(步骤420)。然后,控制装置2通过计算第2最大峰值与最大峰值的比率,来计算输入轮廓的CF值,并进行该结果的量化处理(步骤430)。
然后,控制装置2将输入轮廓的CF值与指定的阈值进行比较(步骤440)。在本例中,该阈值是0.75。表示对输入描述符的精度的相对的高的可靠性,在CF值比该阈值低时,下一个步骤就是考虑现在考虑中的模型(即保存在数据库中的图像)的CF值的步骤。在模型的CF仍然比阈值低时(步骤450),仅使用指定的分类顺序的各描述符进行输入描述符与模型的比较(步骤460)。在输入描述符或模型的CF大于阈值时,通过将输入描述符中的纵坐标值的所有的可能的不同的分类顺序与数据库中的模型描述符进行比较,来进行匹配(步骤470)。
在数据库中,各描述符的类似度测定值使用作为结果而得到的适当的算法语言进行匹配比较。也可以使用在上述论文中说明的众所周知的匹配算法语言。下面,简单地说明该匹配顺序。
给定2个闭合的轮廓的形状、图像曲线ψi和模型曲线ψm和这些曲线的尖峰的设定值{(xi1,yi1),(xi2,yi2),..,(xin,yin)}和{(xm1,ym1),(xm2,ym2),..,(xmn,ymn)},可以计算类似度测定值。类似度测定值定义为图像中的尖峰与模型中的尖峰的匹配的总代价。使总成本最小化的匹配使用动态程序设计进行计算。利用算法语言,从模型得到的尖峰反馈给从图像得到的尖峰进行匹配,进行这种匹配的各种代价的计算。可以使各模型的尖峰与唯一的图像尖峰进行匹配,也可以使各图像的尖峰与唯一的模型尖峰进行匹配。在模型和/或图像尖峰中有时也有仍然不匹配的尖峰,对于未匹配的尖峰,存在追加的损失代价。在2个尖峰的水平距离小于0.2时,可以使2个尖峰匹配。匹配的代价就是2个匹配的尖峰件的直线长度。未匹配的尖峰的代价是其高度。
更详细而言,就是算法语言通过作成并扩张与节点匹配的尖峰对应的树状的结构而前作用。
1.作成由图像(xik,yik)的最大值与模型(xir,yir)的最大值构成的开始节点。
2.对图像尖峰的最大值的80%以内的各其余的模型尖峰作成追加的开始节点。
3.将上述1和2作成的各开始节点的代价初始化为该开始节点与链接的图像尖峰和模型尖峰的y坐标之差的绝对值。
4.对上述3的各开始节点计算作为在该开始节点匹配的模型尖峰与图像尖峰的x(水平)坐标之差而定义的CSS移位参量α。移位参量对各节点是不同的。
5.对各开始节点作成模型尖峰的列表和图像尖峰的列表。在该列表中包含关于哪个尖峰还未匹配的信息。对于各开始节点,对于“已匹配的”,就给在该节点已匹配的尖峰加上标志,而对其他所有的尖峰则作为“未匹配的”也给加上标志。
6.反馈扩大最低代价的节点,直至满足下述8的条件(从在步骤1~6作成的各节点开始,各节点的子节点位于其后)。为了扩大节点,使用以下的步骤。
7.节点的扩大
在存在仍然未匹配的至少1个图像还1个模型尖峰时,选择未匹配的最大的标度图像曲线CSS的最大值(xip,yip)。将应用(在步骤4计算的)开始节点移位参量所选择的最大值映射导模型CSS图像上,选择的尖峰具有坐标(xip-alpha,yip)。决定未匹配的最近的模型曲线尖峰(xms,yms)。在2个尖峰间的水平距离小于0.2(即|xip-alpha-xms|<0.2)时,就使2个尖峰匹配,作为2个尖峰间的直线的长度,定义匹配的代价。将匹配的代价加到该节点的总代价上。对于匹配的尖峰,通过作为“已匹配的”加上标志,从各列表中除去已匹配的尖峰。在2个尖峰间的水平距离大于0.2时,图像尖峰(xip,yip)就不能进行匹配。这时,就将图像尖峰的高度yip加到总代价上,通过给“已匹配的”尖峰加上标志,将尖峰(xip,yip)从图像尖峰表中除去。
在不满足上述条件(只存在未匹配的图像尖峰或只存在未匹配的模型尖峰)时,就置于仍然未匹配的状态。
作为未匹配的图像尖峰或模型尖峰的增高的高度,定义匹配的代价,并将尖峰从列表中除去。
8.在上述7扩大节点之后,在图像列表和模型列表中都不存在未匹配的尖峰时,就结束匹配处理。该节点的代价就是图像与模型曲线间的类似度测定值。在存在尖峰时,就返回到上述7,扩大最低代价的节点。
将图像曲线峰值与模型曲线峰值进行交换,反复进行上述步骤。最终匹配值是这2个峰值中的低的一方的值。
作为另一个例子,对于分类的顺序的各位置,计算输入的x值与和其对应的模型的x值间的距离和输入的y值与和其对应的模型的y值间的距离。计算所有位置的合距离,合距离越小,匹配的程度越接近。在输入轮廓与模型的尖峰的树不同时,在合距离中就包含其余的未匹配的峰值的高度。
对数据库的各模型反复进行上述步骤(步骤480)。
将匹配比较的结果而产生的类似度值进行分类(步骤490),然后,在显示装置4上向用户显示与具有表示最近的匹配值(即,在本例中最低的类似度值)的类似度值的媒质符对应的目标(步骤500)。显示对象的目标树用户可以预先设定或选择。
在上述实施例中,在CF值大于阈值时,就考虑匹配时输入描述符值的所有的可能的顺序。但是,也可以不必考虑所有的可能的顺序,而代之以仅考虑原来的CSS显示的几个猴所有的周期的移位的几个可能的顺序。此外,在上述实施例中,阈值设定为0.75,但是,该阈值也可以设定为不同的电平。例如,在阈值设定为零时,就通过几个或所有的可能的顺序的分析进行所有的匹配。因此,与阈值大于零的情况相比,将增加必要的计算量,但是,尖峰已进行了分类,峰值的x坐标已对特定的开始点或目标旋转进行了调整,所以,与未进行这样的调整的原来的系统相比,所需要的计算量还是降低了。因此,通过将阈值设定为零,可以减少若干计算,检索性能和原来的系统完全相同。
或者,将阈值设定为1时,使用仅保存的顺序进行匹配。这时,检索精度只降低一点点,却可以显著地减少所需要的计算量。
对于上述实施例,可以进行各种各样的变更。例如,也可以利用其他的分类方法,取代实施例1和实施例2说明的CSS尖峰的总坐标值的分类。也可以按例如尖峰的高度升高的顺序配置总坐标值,取代按尖峰的高度降低的顺序进行配置。也可以在匹配步骤中进行分类,而取代将分类的值保存在数据库中。
产业上利用的可能性
本发明的系统,可以设置在例如图像程序库中。或者,数据库可以通过因特网那样的网络利用电话线的暂时的链接与控制装置连接,配置在距离系统的控制装置远的地方。例如,图像数据库和描述符数据库可以设置在永久存储装置或ROM及DVD那样的便携式的存储媒体中。
以上说明的系统的结构要素,可以用软件或硬件的形式进行设置。以上用计算机系统的形式说明了本发明,但是,本发明也可以使用专用芯片等用其他形式来实现。
以上给出了表示目标的2D形状的方法和计算表示2个形状间的类似度的值的方法的特定的例子,但是,同样也可以使用任意的适当的方法。
例如,为了确认的目的,进行目标图像的匹配或进行环形滤波也可以使用本发明。
Claims (15)
1.一种通过处理与图像对应的信号表示在一个图像或一系列图像中出现的目标的方法,该方法包括:通过在多个阶段内平滑目标的轮廓而导出CSS显示中多个尖峰高度纵坐标值,从所述轮廓上任意一点开始,并根据尖峰坐标的尖峰高度值将所述CSS显示中的尖峰纵坐标值进行分类,尖峰高度值对应于所用的平滑的参数。
2.按权利要求1所述的方法,其特征在于:所说的分类是这样的,所得的显示与所述轮廓上的起始点无关。
3.按权利要求1或权利要求2所述的方法,其特征在于:这些数值的分类是从最大值开始的。
4.按权利要求3所述的方法,其特征在于:这些数值是以逐步减小的方式来分类的。
5.按权利要求1或权利要求2所述的方法,其特征在于:这些数值是从最小值来分类的。
6.一种通过处理与图像对应的信号表示在静止或视频图像中出现的目标的方法,该方法包括:为显示轮廓而导出多个与出现在目标的轮廓上的特征相关的数字数值,还包括利用所述数值中至少两个数值的关系,导出一个系数,以指示所述显示的可靠性。
7.按权利要求6所述的方法,其特征在于:该系数是基于所述数值中两个数值的比值。
8.按权利要求7所述的方法,其特征在于:上述比值是2个最大值之比。
9.按权利要求6~8的任一权项所述的方法,其特征在于:通过使用平滑化参量σ按多个阶段将轮廓平滑而生成多个轮廓曲线,通过使用表示用于导出表示原来的轮廓的特征的曲线的各轮廓曲线的曲率的最大值和最小值的值,以及通过选择作为上述数字数值的上述特征曲线的尖峰的纵坐标,来得到上述轮廓的曲率标度空间的显示。
10.按权利要求6所述的方法,其特征在于:使用权利要求1~5的任一权项所述的方法导出上述值。
11.一种通过处理与图像对应的信号来检索静止图像或视频图像中的目标的方法,其特征在于:包括用2维的轮廓的形式输入查询的步骤,使用权利要求6所述的方法导出所述轮廓的描述符的步骤,取得使用权利要求6所述的方法导出的所保存的图像中的目标的描述符、并将上述查询描述符与所保存的目标的各描述符进行比较的步骤,以及选择显示与包含比较表示上述查询与目标间的类似度的程度的上述目标的图像对应的至少1个结果的步骤。
12.按权利要求11所述的方法,其特征在于:使用权利要求6所述的方法对于上述查询的轮廓和各保存的轮廓导出系数,仅使用指定的分类或使用上述指定的分类和与上述系数有关的某个其他分类进行比较。
13.一种适用于产生表示在图象中出现的目标的数据的设备,该设备包括:
控制装置,用于控制所述设备的操作;
其中,控制装置导出该目标形状的一个CSS显示,并根据尖峰坐标的尖峰高度值将所述CSS显示中的尖峰坐标值进行分类,尖峰高度值对应于所用平滑的一个参数。
14.一种适用于产生表示在图象中出现的目标的数据的设备,该设备包括:
控制装置,用于控制所述设备的操作;
其中,所述控制装置为显示轮廓而导出多个与出现在目标的轮廓上的特征相关的数字数值,还使用所述数值中至少两个数值的关系,导出一个系数,以指示所述显示的可靠性。
15.按权利要求13或权利要求14所述的设备,包括连接到所述控制装置的显示装置,用于显示输出;并包括用于给所述控制装置输入指令的装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB9915698.6 | 1999-07-05 | ||
GB9915698A GB2351826B (en) | 1999-07-05 | 1999-07-05 | Method of representing an object in an image |
Related Child Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2004100322393A Division CN1311411C (zh) | 1999-07-05 | 2000-07-03 | 检索图像中的目标的方法和系统 |
CNB2006101495878A Division CN100573521C (zh) | 1999-07-05 | 2000-07-03 | 表示或检索图像中的目标的方法和装置 |
CNB2006101495897A Division CN100573522C (zh) | 1999-07-05 | 2000-07-03 | 显示或检索图像中的目标的方法及其装置 |
CN2006101495882A Division CN1967543B (zh) | 1999-07-05 | 2000-07-03 | 表示或检索图像中的目标的方法及其装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1321284A CN1321284A (zh) | 2001-11-07 |
CN1295649C true CN1295649C (zh) | 2007-01-17 |
Family
ID=10856660
Family Applications (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB00801910XA Expired - Lifetime CN1295649C (zh) | 1999-07-05 | 2000-07-03 | 显示或检索图像中的目标的方法及其装置 |
CNB2004100322393A Expired - Lifetime CN1311411C (zh) | 1999-07-05 | 2000-07-03 | 检索图像中的目标的方法和系统 |
CN2006101495882A Expired - Lifetime CN1967543B (zh) | 1999-07-05 | 2000-07-03 | 表示或检索图像中的目标的方法及其装置 |
CNB2006101495878A Expired - Lifetime CN100573521C (zh) | 1999-07-05 | 2000-07-03 | 表示或检索图像中的目标的方法和装置 |
CNB2006101495897A Expired - Lifetime CN100573522C (zh) | 1999-07-05 | 2000-07-03 | 显示或检索图像中的目标的方法及其装置 |
Family Applications After (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2004100322393A Expired - Lifetime CN1311411C (zh) | 1999-07-05 | 2000-07-03 | 检索图像中的目标的方法和系统 |
CN2006101495882A Expired - Lifetime CN1967543B (zh) | 1999-07-05 | 2000-07-03 | 表示或检索图像中的目标的方法及其装置 |
CNB2006101495878A Expired - Lifetime CN100573521C (zh) | 1999-07-05 | 2000-07-03 | 表示或检索图像中的目标的方法和装置 |
CNB2006101495897A Expired - Lifetime CN100573522C (zh) | 1999-07-05 | 2000-07-03 | 显示或检索图像中的目标的方法及其装置 |
Country Status (8)
Country | Link |
---|---|
US (7) | US6882756B1 (zh) |
JP (2) | JP4689119B2 (zh) |
KR (3) | KR100708799B1 (zh) |
CN (5) | CN1295649C (zh) |
BR (1) | BR0006894A (zh) |
GB (5) | GB2351826B (zh) |
RU (1) | RU2216040C2 (zh) |
WO (1) | WO2001003068A1 (zh) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2375212B (en) | 1999-04-29 | 2003-06-11 | Mitsubishi Electric Inf Tech | Method and apparatus for searching for an object using shape |
GB2394350B (en) * | 1999-07-05 | 2004-06-16 | Mitsubishi Electric Inf Tech | Method and apparatus for representing and searching for an object in an image |
GB2359913B (en) | 2000-02-29 | 2003-12-03 | Mitsubishi Electric Inf Tech | A method for efficient coding of shape descriptor parameters |
US7899243B2 (en) | 2000-11-06 | 2011-03-01 | Evryx Technologies, Inc. | Image capture and identification system and process |
US7680324B2 (en) | 2000-11-06 | 2010-03-16 | Evryx Technologies, Inc. | Use of image-derived information as search criteria for internet and other search engines |
US8224078B2 (en) | 2000-11-06 | 2012-07-17 | Nant Holdings Ip, Llc | Image capture and identification system and process |
US7565008B2 (en) | 2000-11-06 | 2009-07-21 | Evryx Technologies, Inc. | Data capture and identification system and process |
US9310892B2 (en) | 2000-11-06 | 2016-04-12 | Nant Holdings Ip, Llc | Object information derived from object images |
GB2384095B (en) * | 2001-12-10 | 2004-04-28 | Cybula Ltd | Image recognition |
US7656408B1 (en) * | 2006-02-10 | 2010-02-02 | Adobe Systems, Incorporated | Method and system for animating a border |
US7711157B2 (en) * | 2006-08-01 | 2010-05-04 | California Institute Of Technology | Artificial intelligence systems for identifying objects |
US20080181513A1 (en) * | 2007-01-31 | 2008-07-31 | John Almeida | Method, apparatus and algorithm for indexing, searching, retrieval of digital stream by the use of summed partitions |
GB2449125A (en) * | 2007-05-11 | 2008-11-12 | Sony Uk Ltd | Metadata with degree of trust indication |
JP5041229B2 (ja) * | 2007-12-07 | 2012-10-03 | ソニー株式会社 | 学習装置および方法、認識装置および方法、並びにプログラム |
US8532438B2 (en) * | 2008-05-09 | 2013-09-10 | Empire Technology Development Llc | Matching images with shape descriptors |
US8340435B2 (en) * | 2009-06-11 | 2012-12-25 | California Institute Of Technology | Method and system for object recognition search |
JP5444115B2 (ja) * | 2010-05-14 | 2014-03-19 | 株式会社Nttドコモ | データ検索装置、データ検索方法及びプログラム |
KR20140108726A (ko) | 2012-02-27 | 2014-09-12 | 아셀산 엘렉트로닉 사나이 베 티카렛 아노님 시르케티 | 이미지들 상의 객체 윤곽선들의 스케일 불변 특징들을 식별하기 위한 방법 및 시스템 |
CN103870516B (zh) * | 2012-12-18 | 2019-10-25 | 北京三星通信技术研究有限公司 | 检索图像的方法、实时绘画提示方法及其装置 |
EP2807609A1 (en) | 2013-04-01 | 2014-12-03 | Aselsan Elektronik Sanayi ve Ticaret Anonim Sirketi | System and method for describing image outlines |
EP3074841A4 (en) * | 2013-11-27 | 2017-06-21 | Hewlett-Packard Development Company, L.P. | Determine the shape of a representation of an object |
KR102312334B1 (ko) | 2015-02-17 | 2021-10-13 | 삼성전자주식회사 | 프린팅 정보를 생성하는 디바이스 및 프린팅 정보를 생성하는 방법 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1988002158A1 (en) * | 1986-09-18 | 1988-03-24 | Violet Frances Leavers | Shape detection |
JPH0283A (ja) * | 1987-10-29 | 1990-01-05 | Kawasaki Steel Corp | 乾式二成分系現像剤用キャリア |
GB2320352A (en) * | 1996-12-16 | 1998-06-17 | Nec Corp | Fingerprint matching |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2203877A (en) * | 1986-09-18 | 1988-10-26 | Violet Frances Leavers | Shape parametrisation |
US4989257A (en) * | 1987-03-13 | 1991-01-29 | Gtx Corporation | Method and apparatus for generating size and orientation invariant shape features |
JPH0275083A (ja) | 1988-09-12 | 1990-03-14 | Nippon Yougiyoushi Kenkyusho:Kk | 考古学出土品の輪郭描画装置 |
US5081689A (en) * | 1989-03-27 | 1992-01-14 | Hughes Aircraft Company | Apparatus and method for extracting edges and lines |
JPH0820725B2 (ja) * | 1990-02-06 | 1996-03-04 | 大日本スクリーン製造株式会社 | 画像輪郭データの作成方法 |
JP2856229B2 (ja) * | 1991-09-18 | 1999-02-10 | 財団法人ニューメディア開発協会 | 画像切り出し箇所検出方法 |
US6182069B1 (en) * | 1992-11-09 | 2001-01-30 | International Business Machines Corporation | Video query system and method |
JPH06309465A (ja) * | 1993-04-21 | 1994-11-04 | Nippon Telegr & Teleph Corp <Ntt> | 線図形学習認識方法 |
US5487116A (en) * | 1993-05-25 | 1996-01-23 | Matsushita Electric Industrial Co., Ltd. | Vehicle recognition apparatus |
US6014461A (en) * | 1994-11-30 | 2000-01-11 | Texas Instruments Incorporated | Apparatus and method for automatic knowlege-based object identification |
US6044171A (en) * | 1995-05-09 | 2000-03-28 | Polyakov; Vladislav G. | Method and apparatus for pattern recognition and representation using fourier descriptors and iterative transformation-reparametrization |
JPH09138471A (ja) | 1995-09-13 | 1997-05-27 | Fuji Photo Film Co Ltd | 特定形状領域の抽出方法、特定領域の抽出方法及び複写条件決定方法 |
JP3315861B2 (ja) * | 1996-05-13 | 2002-08-19 | シャープ株式会社 | 文字生成装置 |
JPH1055447A (ja) * | 1996-05-21 | 1998-02-24 | Monorisu:Kk | オブジェクト認識方法およびその方法を用いた装置 |
US5892854A (en) | 1997-01-21 | 1999-04-06 | Xerox Corporation | Automatic image registration using binary moments |
WO1999017250A1 (en) * | 1997-10-01 | 1999-04-08 | Island Graphics Corporation | Image comparing system |
KR100305591B1 (ko) * | 1998-07-22 | 2001-11-30 | 오길록 | 관절점기반동작정보를사용한동영상검색방법 |
JP2000050258A (ja) * | 1998-07-31 | 2000-02-18 | Toshiba Corp | 映像検索方法および映像検索装置 |
US6687402B1 (en) * | 1998-12-18 | 2004-02-03 | Cognex Corporation | Machine vision methods and systems for boundary feature comparison of patterns and images |
GB2375212B (en) * | 1999-04-29 | 2003-06-11 | Mitsubishi Electric Inf Tech | Method and apparatus for searching for an object using shape |
GB2394350B (en) * | 1999-07-05 | 2004-06-16 | Mitsubishi Electric Inf Tech | Method and apparatus for representing and searching for an object in an image |
-
1999
- 1999-07-05 GB GB9915698A patent/GB2351826B/en not_active Expired - Lifetime
- 1999-07-05 GB GB0329009A patent/GB2393012B/en not_active Expired - Lifetime
- 1999-07-05 GB GB0325150A patent/GB2391676B/en not_active Expired - Lifetime
- 1999-07-05 GB GB0325153A patent/GB2391677B/en not_active Expired - Lifetime
- 1999-07-05 GB GB0325156A patent/GB2391678B/en not_active Expired - Lifetime
-
2000
- 2000-07-03 US US09/763,852 patent/US6882756B1/en not_active Expired - Lifetime
- 2000-07-03 KR KR1020037011345A patent/KR100708799B1/ko active IP Right Grant
- 2000-07-03 CN CNB00801910XA patent/CN1295649C/zh not_active Expired - Lifetime
- 2000-07-03 RU RU2001109354/09A patent/RU2216040C2/ru active
- 2000-07-03 CN CNB2004100322393A patent/CN1311411C/zh not_active Expired - Lifetime
- 2000-07-03 CN CN2006101495882A patent/CN1967543B/zh not_active Expired - Lifetime
- 2000-07-03 KR KR10-2001-7002862A patent/KR100431677B1/ko active IP Right Grant
- 2000-07-03 CN CNB2006101495878A patent/CN100573521C/zh not_active Expired - Lifetime
- 2000-07-03 KR KR1020037011346A patent/KR100708800B1/ko active IP Right Grant
- 2000-07-03 BR BR0006894-2A patent/BR0006894A/pt not_active Application Discontinuation
- 2000-07-03 JP JP2001508781A patent/JP4689119B2/ja not_active Expired - Fee Related
- 2000-07-03 WO PCT/JP2000/004400 patent/WO2001003068A1/ja active IP Right Grant
- 2000-07-03 CN CNB2006101495897A patent/CN100573522C/zh not_active Expired - Lifetime
-
2005
- 2005-04-08 US US11/101,637 patent/US7162105B2/en not_active Expired - Lifetime
-
2006
- 2006-11-08 US US11/557,836 patent/US7356203B2/en not_active Expired - Lifetime
-
2007
- 2007-10-30 US US11/929,471 patent/US7483594B2/en not_active Expired - Fee Related
- 2007-10-30 US US11/929,281 patent/US7542626B2/en not_active Expired - Fee Related
- 2007-10-30 US US11/929,392 patent/US7505637B2/en not_active Expired - Fee Related
- 2007-10-30 US US11/929,434 patent/US7492972B2/en not_active Expired - Fee Related
-
2010
- 2010-12-01 JP JP2010268521A patent/JP4875200B2/ja not_active Expired - Lifetime
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1988002158A1 (en) * | 1986-09-18 | 1988-03-24 | Violet Frances Leavers | Shape detection |
JPH0283A (ja) * | 1987-10-29 | 1990-01-05 | Kawasaki Steel Corp | 乾式二成分系現像剤用キャリア |
GB2320352A (en) * | 1996-12-16 | 1998-06-17 | Nec Corp | Fingerprint matching |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1295649C (zh) | 显示或检索图像中的目标的方法及其装置 | |
CN1292387C (zh) | 表示或者检索图象中的对象的方法和系统 | |
Chen et al. | A region-based fuzzy feature matching approach to content-based image retrieval | |
CN1768339A (zh) | 用于索引和检索多媒体数据的形状匹配方法 | |
JP2011100465A (ja) | 画像中に現れるオブジェクトを表示する方法、その装置、コンピュータ・プログラム、コンピュータ・システム、及びコンピュータ可読記憶媒体 | |
CN1492377A (zh) | 表格处理系统及方法 | |
US7447373B2 (en) | Method for efficient coding of shape descriptor parameters | |
Azodinia et al. | A Novel combinational relevance feedback based method for content-based image retrieval | |
Aly et al. | Bag of Words for Large scale object recognition | |
Bassil | Hybrid information retrieval model for web images | |
Lokoč | Approximating adaptive distance measures using scalable feature signatures | |
MXPA01002354A (es) | Metodo, aparato programa de computadora, sistema de computadora, y medio de almacenamiento leible por computadora para representar y buscar un objeto en una imagen |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20190604 Address after: Tokyo, Japan, Japan Patentee after: Rakuten Inc. Address before: Tokyo, Japan, Japan Patentee before: Mitsubishi Electric Corporation |
|
CX01 | Expiry of patent term | ||
CX01 | Expiry of patent term |
Granted publication date: 20070117 |