CN1317126A - 显示或检索图象中的目标的方法、装置以及计算机可读存储载体 - Google Patents

Abstract

在通过将对应于静止图象或视频图象的信号进行处理、表示出现在图象中的目标的方法中，包括：通过将目标的轮廓平滑化，推导出目标的轮廓的曲率换算空间(CSS)显示的步骤，推导出反映将原始曲线平滑化的文本形状或大小的分布的至少一个追加参数的步骤，以及将该CSS显示与作为目标的形状描述符的该追加参数联系起来的步骤。

Description

显示或检索图象中的目标的方法、 装置以及计算机可读存储载体

本发明涉及以检索为目的的对象存储在多媒体数据库中的图象这样的静止图象或视频图象中出现的目标的显示，特别是涉及利用这种显示对目标进行检索的方法和装置。

在视频库的图象应用中，希望有效地对出现于视频图象或静止图象中的目标的轮廓及形状或目标的一部分进行显示和存储。在用于进行形状基址的变址和检索的公知方法中，采用曲率换算空间(CSS,Curvature ScaleSpace)显示。关于CSS的详细情况，可从论文“曲率スケル空间による口バストで效率的な形状索引付け”(“利用曲率换算空间的自动有效的形状变址”)(英国machine vision会报P53～P62，埃丁堡，英国，1996年)以及“借助采用曲率换算空间的形状内容的图象数据库的变址”(有关智能数据库的IEE专家会报，伦敦，1996年)中获得知。两篇论文的作者为Makhtarian,S.Abbasi及J.Kittler，其内容引作本说明书的参考文献。

在CSS显示中，为了求出目标的轮廓而使用曲率函数并从轮廓上的任意点开始显示。提供进行将形状平滑化的一系列变形，一面展开轮廓形状，一面研究曲率函数。具体地说，计算出与高斯筛选群卷积的曲率函数的导数的零交叉。如作为曲率换算空间众所周知的那样，零交叉是坐标图上的基址。其中，x轴是将曲线标准化的弧长，y轴是展开参数，特别是用于筛选的参数。在坐标图上的基址形成显示轮廓特征的环路。形成目标轮廓的各凸状或凹状部分对应于CSS图象中的环路。在CSS图象中，利用最突出的环路的峰值的纵坐标作为轮廓的显示。

为了进行与输入的目标的形状一致的、在数据库存储的图象的目标的检索，计算输入形状的CSS显示。利用匹配算法，通过各CSS图象的峰值的位置和高度，判断输入形状与存储形状之间的类似度。

已知，根据上述最初的论文，采用两个追加的参数(原始形状的圆度和离心率)，将具有显著不同的圆度和离心率的参数的形状从匹配处理中除去。

作为上述显示方式所存在的问题，可以列举出其检索精度往往较低，特别是对于凹凸曲线来说，其检索精度降低。尤其是这种显示方式不能对各种凸曲线进行区分。

本发明的一种形式为引入在“原型轮廓形状”的形状中所描述的辅助方法。原型轮廓形状的比较恰当的定义如下：

1)在轮廓中不存在凹凸(即在CSS图象中不存在峰值)的场合，为原始形状。

2)在进行过对于CSS图象中的最高峰值的相同的平滑化之后的形状的轮廓。

通常，对于原型轮廓形状只注意凸状形状。

例如，可如MK.HU的论文“根据矩量不变量的视觉图象识别”(关于情报理论的IEEE处理(关于信息理论的IEEE处理)Vol.IT8,179～181,1962年)中所描述的那样的领域，根据区域矩量对原型轮廓的形状进行描述。上述论文的内容在本说明书中被引用为参考文献。或者，采用CHo-Huak The的论文“关于用矩量法的图象分析”(关于图象分析及机器·智能的IEEE处理，第10卷，NO.4,1988年7月)所描述的傅立叶描述符或者离心率，圆度等参数来描述原型轮廓的形状。该论文的内容在本说明书中也被引用为参考文献。在上述公知的方法中，离心率和圆度仅用于原始形状。在本发明中，对于曲线将不同的离心率和圆度用于“原型形状”。该原型形状具有至少一个CSS峰值。另一个不同之处在于，利用公知的方法采用离心率和圆度，将某些一定形状从类似度匹配中除去。在本发明中，(除CSS峰值外)采用离心率与圆度推导出类似度测定值。最后，相对矩量不变量、傅立叶描述符及泽尔尼克(Zernicke)矩量扩展匹配处理所用的追加参数。

作为本发明的结果，可以改善检索精度。

根据本发明的权利要求1所述的对图象中的目标的显示方法，在通过对与静止图象或视频图象对应的信号进行处理、显示出现在图象中的目标的显示方法中，包括以下步骤：通过将目标的轮廓平滑化，推导出目标的轮廓在曲率换算空间(CSS)显示的步骤，推导出反映原始曲线平滑化后形式的形状或大小分布的至少一个追加参数，将CSS显示与作为目标的形状描述符的追加参数联系起来的步骤。

根据本发明的权利要求2所述的图象中的目标的显示方法，追加参数与对应于CSS图象的峰值的平滑化的轮廓相关。

根据本发明的权利要求3所述的图象中的目标的显示方法，追加参数与对应于CSS图象中最高的峰值进行平滑化的轮廓相关联。

根据本发明的权利要求4所述的图象中的目标的显示方法，追加参数与轮廓的离心率相对应。

根据本发明的权利要求5所述的图象中的目标的显示方法，追加参数与轮廓的圆度相对应。

根据本发明的权利要求6所述的图象中的目标的显示方法，至少一个追加参数采用区域基址。

根据本发明的权利要求7所述的图象中的目标的显示方法，追加参数为区域矩量不变量。

根据本发明的权利要求8所述的图象中的目标的显示方法，追加参数以傅立叶描述符为基础。

根据本发明的权利要求9所述的图象中的目标的显示方法，追加参数以由轮廓包围的区域的泽尔尼克矩量为基础。

根据本发明的权利要求10所述的图象中的目标显示方法，在通过对与静止图象或视频图象对应的信号进行处理，在表示出现于图象中的多个目标的方法中，包括以下步骤：对于各目标的轮廓，判断目标轮廓的曲率是否存在显著变化的步骤，在目标的轮廓的曲率存在显著变化的情况下，利用权利要求1-9之一所述的方法推导出形状描述符的步骤，在目标轮廓的曲率不存在显著变化的情况下推导出至少含有反映目标轮廓的形状的追加参数的形状描述符的步骤。

根据本发明的权利要求11所述的图象中的目标的显示方法，表示曲率不显著变化的目标的轮廓的追加参数，以轮廓的区域矩量不变量、轮廓的傅立叶描述符或轮廓的泽尔尼克矩量为基础。

根据本发明的权利要求12所述的图象中目标的检索方法，在通过对与静止图象或视频图象对应的信号进行处理对图象中的目标进行检索的方法中，包括以下步骤：以两维轮廓的形式输入查询(クェリ-)的步骤，利用权利要求1-11之一所述的方法推导轮廓描述符的步骤，利用采用CSS值与追加参数的匹配处理，对表示所存储的目标的各个描述符与查询描述符进行比较推导出类似度测定值、通过比较，选择对应于包含表示查询与目标之间的类似度程度的对象目标的图象至少其中之一的结果进行显示的步骤。

根据本发明的权利要求13所述的图象中目标的检索方法，GP^*S为比较过的目标轮廓的追加参数间的类似度测定值，CSS-S是表示比较过的目标轮廓的CSS的值之间的类似度测定值，a是常数时，类似度测定值以M=a^*GP^*S+CSS-S的M为基础。

根据本发明的权利要求14所述的图象中的目标的检索方法，a与CSS的峰值数具有很强的依赖性。

根据本发明的权利要求15所述的图象中的目标的检索方法，与任何一个轮廓相关联的CSS峰值不存在时a=1，至少具有一个轮廓具有CSS峰值时，a=0。

根据本发明的权利要求16所述的图象中的目标的检索方法，通过对与静止图象或视频图象对应的信号进行处理，对图象中的目标的检索方法中，包括计算用轮廓的CSS显示的两个目标的轮廓间的类似度测定值、及反映轮廓的形式或原始轮廓的范围内的轮廓的大小分布或轮廓平滑化的形式的追加参数的步骤。

根据本发明的权利要求17所述的图象中的目标的显示或检索装置，适合于实施权利要求1-16之一所述的方法。

根据本发明的权利要求18所述的图象中的目标的显示或检索计算机程序实现权利要求1-16之一所述的方法。

根据本发明的权利要求19所述的图象中目标的显示或检索计算机系统程序按照权利要求1-16之一所述的方法工作。

根据本发明权利要求20所述的计算机可读存储载体存储有用于实施权利要求1-16之一所述方法的计算机执行的可能的处理。

根据本发明的权利要求21所述的图象中的目标的显示方法，实质上和参照附图在本说明书中上面所描述的一样，表示静止图象或视频图象中的目标。

根据本发明权利要求22所述的图象中目标的检索方法，实质上和参照附图在本说明书中上面所描述的一样，检索静止图象或视频图象中的目标。

根据本发明的权利要求23所述的显示或检索图象中目标的计算机系统，实质上和参照附图在本说明书中上面所描述的相同。

图1、是表示视频数据库系统的流程图。

图2、是表示某一目标的轮廓的图示。

图3、是表示图的轮廓的显示图。

下面参照附图对本发明的实施例进行说明。

图1是根据本发明的实施例进行计算机处理的视频数据库系统的图示。在该系统中，包括计算机型的控制装置2，显示器型的显示装置4，鼠标型的指点器6，以及描述符10，其中，所述描述符10存储有包含所存储的静止图象和视频图象的数据库8及出现于存储在图象数据库8中的图象内的目标或目标的某一部分的描述符。

表示出现于图象数据库中感兴趣的各目标的形状的描述符，由控制装置2推导出来，存储在描述符数据库10中。控制装置2通过下面所述的方法借助适当的程序控制动作，推导出描述符。

第一，对于预定的目标的轮廓，推导出该轮廓的CSS显示。利用上面所述的论文之一所描述的公知的方法，进行该CSS显示。

更具体地说，该轮廓由ψ={(x(u),y(u),u∈[0,1]}表示(但其中，u为归一化的弧长参数)。

该轮廓通过用ID高斯影响函数核g(u,ρ)进行卷积使之平滑化，随着ρ的变化研究展开曲线的曲率零交叉。零交叉用表示曲率的下述公式来指定。 $\mathrm{\κ}(u,\mathrm{\σ})=\frac{\mathrm{Xu}(u,\mathrm{\σ})\mathrm{Yuu}(u,\mathrm{\σ})-\mathrm{Xuu}(u,\mathrm{\σ})\mathrm{Yu}(u,\mathrm{\σ})}{{(\mathrm{Xu}{(u,\mathrm{\σ})}^2+\mathrm{Yu}{(u,\mathrm{\σ})}^2)}^{3/2}}$

其中，X(u,σ)=x(u)^*g(u,σ),Y(u,σ)=y(u)^*g(u,σ)

且，Xu(u,σ)=x(u)^*gu(u,σ),Xuu(u,σ)=x(u)^*guu(u,σ)

在上述公式中，^*表示卷积，下标表示导数。

曲率零交叉随着ρ的变化而变化，当ρ很大时，ψ成为零交叉的凸状曲线。

将零交叉点(u,l)在作为CSS图象空间已知的曲线图上绘图。从而生成表示原始轮廓的特征的曲线。指定表示该特征的曲线的峰值，提取对应的纵坐标加以存储。一般地，上述结果给出n个坐标时(x1,y1)、(x2,y2)、…(xn,yn)组其中，n为峰值数，xi是第i个的峰值弧长的位置，yi是峰值高度)。由这些峰值的纵坐标构成CSS显示峰值。

除CSS显示外，进而生成与形状有关的参数的形状描述符。在本实施例中，追加参数为形状的“原型区域”的离心率与圆度，在这种情况下，这种形状的“原型区域”为在最终的平滑化步骤之后，即，在等于最高的峰值ρ的点处的轮廓。对于原型区域也可以选择其它的ρ值。其结果是，在形状中，生成表示S字形的形状描述符{EPR,CPR,PEAKS}(其中，EPR表示原型区域的离心率，CPR表示原型区域的圆度，PEAKS表示CSS显示)。

下面说明根据本发明的实施例的图象中目标的检索方法。

在本说明书中，在图1所示的系统的描述符数据库10中存储按照上述方法推导出来的形状描述符。

用户用指点器在显示器上画出目标的轮廓，开始进行检索。接着，控制装置2用上述方法推导出表示输入轮廓的形状描述符。然后，控制装置利用存储在数据库中的各种形状描述符进行匹配比较。

假定当将输入轮廓形状S1与存储的形状S2比较时，S1与S2它们各自的描述符如下所示：

S1:(EPR1,CPR1,PEAKS1)

S2:(EPR2,CPR2,PEAKS2)

其中，EPR表示原型区域的离心率，CPR表示原型区域的圆度，PEAKS表示CSS图象中的峰值坐标的设定值(该设定值也可以是空的)。以如下方式计算两个形状之间的类似度测定值。

M=a^*abs((EPR2-EPR1)/(EPR2+EPR1))+b^*abs

((CPR2-CPR1)/((CPR2+CPR1))+SM(PEAKS1,PEAKS2)

其中，a和b为两个系数，SM为与两组峰值[1]相关所定义的标准类似度测定值，abs表示绝对值。SM采用上述论文中所述的公知的匹配算法进行计算。下面简单地说明一下这种匹配处理。

如果对两个闭合的轮廓形状，分别对图象曲线ψi与模型曲线ψm以及这些曲线的峰值分别给予设定值{(xi1,yi1),(xi2,yi1),…(xin,yin)}及{(xm1,ym1),(xm2,ym2),…(xmn,ymn)}时，计算类似度测定值。类似度测定值定义为图象中的峰值和模型中峰值的匹配总价值。使总价值最小化的匹配用定时程序进行计算。利用算法，从模型所得的峰值递归地与从图象所得到的峰值匹配，进行这种匹配的各个价值的计算。可将模型的峰值与唯一的图象峰值匹配，也可以使图象的峰值与唯一的模型峰值匹配。模型以及/或者图象峰值中也存在不能匹配的情况，对于各个不能匹配的峰值存在追加补偿价值。两个峰值的水平距离不足0.2时，可将两个峰值匹配。匹配的价值为两个匹配峰值间的直线长度。不匹配的峰值的价值为其高度。

更详细地说，算法具有将节点制成对应于匹配峰值的树形结构进行扩展的功能。

1、制成由图象(xik,yik)的最大值与模型(xir,yir)的最大值构成的开始节点。

2、对于图象峰值的最大值的80％以内的残存的模型峰值制成追加开始节点。

3、将用1和2制成的各开始节点的价值初始化为连接该开始节点的图象峰值和模型峰值的y坐标之差的绝对值。

4、对于开始节点，在该开始节点计算出定义为匹配的模型峰值与图象峰值X(水平)坐标之差的CSS移位参数α。移位参数对于各节点互不相同。

5、对于各开始节点，制成模型峰值的目录及图象峰值目录。在该目录中，包含有关哪个峰值尚未匹配的信息。对于各开始节点，作为“已经匹配的”在该节点处对于已匹配的峰值加上标记，对于其它全部峰值加上作为“尚未匹配的”标记。

6、直到满足下面的第8项之前，将最低价值的节点递归地扩大(从用步骤1～6制成的节点开始，后续各节点的子节点)。为将节点扩大，采用以下步骤。

7、节点的扩大：

在存在尚为匹配的至少一个图象与一个模型峰值的情况下，

选择未匹配的最低比例图象曲线CSS的最大值(xip,yip)。应用(由步骤4计算的)开始节点移位参数将选择的最大值映射为模型的CSS图象，所选择的峰值具有坐标(xip-α,yip)。决定未匹配的最近的模型曲线峰值(xms,yms)。在两个峰值间的水平距离不足0.2(即｜xip-α-xms｜＜0.2)时，使两个峰值匹配，将两个峰值间的直线的长度定义为匹配价值。将匹配价值加到该决定的总价值上。通过在已匹配的峰值上加上“已匹配的”的标记，从各自的目录中将已匹配的峰值除去。在两个峰值间的水平距离大于0.2的场合，图象峰值(xip,yip)不能匹配。这时，将图象峰值的高度yip加在这种情况下的总价值上，通过使在该峰值上加上“已匹配的”标记，从图象峰值目录中仅将峰值(xip,yip)除去。

在不符合上述条件(仅存在不匹配的图象峰值或仅存在不匹配的模型峰值)的情况下，存储不匹配分状态原封不动地搁置。

作为未匹配的图象峰值或模型峰值的最高的高度定义的匹配总价值从目录中除去。

8、在第7项中将节点扩大后，当图象目录和模型目录两者不存在未匹配峰值的场合，匹配处理完毕。该节点的价值为图象和模型曲线间的类似度测定值。在存在峰值的场合，返回到低7项扩大最低价值的节点。

将图象曲线峰值与模型曲线峰值交换，反复进行上述步骤。最后的匹配值为两个峰值中的较低的值。

对于数据库的各模型反复上述步骤。

将作为由匹配比较所得到的结果所产生的类似度测定值进行分类，然后，将具有对应于表示最接近的匹配类似度测定值的描述符的目标(即在本发明中最低的类似度测定值)相对于用户在显示装置上显示。作为显示对象的目标数可由用户预先设定或选择。

在代替的实施例中，可采用各种参数对“原型区域”的形状进行描述。例如，可以使用曲线的三个傅立叶系数。类似度测定值可按以下方式定义。

M=a^*EUC(F1,F2)+SM(PEAKS1,PEAKS2)

其中EUC是表示由模型和图象的形状的三个主要傅立叶系数构成的矢量F1与F2之间的欧几里德距离，SM是表示CSS峰值的类似度测定值，用基本上和上面所述的相同方法进行计算。

根据本发明的系统例如可设置在图象库中。或者数据库，通过互联网等网络由电话线等暂时的链路与控制装置连接，由系统的控制装置远距离的配置。例如，图象数据库及描述符数据库可设置在永久存储装置或ROM及DVD等携带式用的存储载体中。

上面所描述的系统的结构部件可用软件或硬件形式设置。上面利用计算机系统的形式对本发明进行了说明，但本发明也可用专用芯片等利用其它形式加以实施。

上面给出了对目标的二维形状的表示方法及表示计算表示两个形状之间的类似度的值的计算方法的特定例子，但可以采用同样的任意的合适的方法。

例如，可将本发明用于为进行确认而进行目标图象的匹配或者进行筛选。

Claims (23)

1、图象中目标的显示方法，在通过将对应于静止图象或视频图象的信号进行处理，显示出现于前述图象中的目标的方法中，其特征为，它包括以下步骤：

通过将目标的轮廓平滑化，推导出目标轮廓的曲率变换空间(CSS)的显示的步骤，

推导出反映原始曲线的已平滑化形式的形状或大小的分布的至少一个追加参数的步骤，

将前述CSS显示与作为目标的形状描述符的前述追加参数关联起来的步骤。

2、如权利要求1所述的图象目标的显示方法，其特征为，追加参数与和CSS图象的峰值对应的前述平滑化的轮廓相关。

3、如权利要求2所述的图象目标的显示方法，其特征为，追加参数和对应于前述CSS图象的最高峰值的前述平滑化的轮廓相关。

4、如权利要求1至3中任何一项所述的图象中目标的显示方法，其特征为，前述追加参数对应于前述轮廓的离心率。

5、如权利要求1至4中任何一项所述的图象中目标的显示方法，其特征为，追加参数对应于前述轮廓的圆度。

6、如权利要求1至5中任何一项所述的图象中目标的显示方法，其特征为，至少一个追加参数采用区域基址显示。

7、如权利要求6所述的图象中的目标的显示方法，其特征为，追加参数为区域矩量的不变量。

8、如权利要求6或7所述的图象中目标的显示方法，其特征为，追加参数以傅立叶描述符为基础。

9、如权利要求6所述的图象中目标的显示方法，其特征为，追加参数以由前述轮廓包围的区域的泽尔尼克矩量为基础。

10、图象中目标的显示方法，在通过将对应于静止图象或视频图象的信号进行处理，对出现于前述图象中的多个目标进行显示的方法中，其特征为，它包括以下步骤：

对于各目标的轮廓，判断前述目标的轮廓的曲率是否存在显著变化的步骤，

在前述目标的轮廓的曲率存在显著变化的场合，利用权利要求1至9任何一项中所述的方法推导出形状描述符的步骤，

在目标的轮廓的曲率不存在显著变化的场合，推导出至少含有反映前述目标的轮廓形状的前述追加参数的形状描述符的步骤。

11、如权利要求10所述的图象中目标的显示方法，其特征为，表示曲率不显著变化的目标的轮廓的追加参数，以前述轮廓的区域矩量的不变量、前述轮廓的傅立叶描述符或前述轮廓的泽尔尼克矩量为基础。

12、图象中目标的检索方法，在通过将与静止图象或视频图象对应的信号进行处理，检索前述图象中的目标的方法中，其特征为，它包括以下步骤：

以两维轮廓的形式输入查询的步骤，

利用权利要求1至11中任何一项所述的方法推导出前述轮廓的描述符的步骤，

利用采用前述CSS值与前述追加参数进行匹配处理，将表示所存储的目标的各描述符与前述查询描述符进行比较，推导出类似度测定值，通过前述比较，选择出对应于含有表示前述查询与前述目标之间的类似度程度的对象目标的图象的至少一个结果进行显示的步骤。

13、如权利要求12所述的图象中目标的检索方法，其特征为，GP^*S为进行过前述比较的目标的轮廓的追加参数间的类似度测定值，CSS-S为表示前述经过比较的目标的轮廓的CSS值之间的类似度测定值，a为常数时，前述类似度测定值以M=a^*GP^*S+CSS-S中的M为基础。

14、如权利要求13所述的图象中目标的检索方法，其特征为，a与CSS峰值的数目有很大的依赖关系。

15、任意权利要求13或14所述的图象中目标的检索方法，其特征为，在不存在与任何一个轮廓相关的CSS峰值时，a=1，至少一个轮廓具有CSS峰值时，a=0。

16、图象中的目标的检索方法，在通过将与静止图象或视频图象中对应的信号进行处理，检索前述图象中的目标的检索方法中，其特征为，包括计算用前述轮廓CSS显示的两个目标的轮廓间的类似度测定值，以及反映前述轮廓的形状或前述原始轮廓的范围内的前述轮廓的大小分布或前述轮廓的平滑化的形式的追加参数的步骤。

17、适合于实现权利要求1至16中任何一项方法的图象中的目标的显示或检索装置。

18、用于实现权利要求1至16中任何一项所述的方法的显示或检索图象中的目标的计算机程序。

19、根据权利要求1至16任何一项中所述的方法工作的显示或检索图象中的目标的计算机系统程序。

20、用于存储由实现权利要求1至16中任何一项所述的方法用的计算机可进行处理的可读存储载体。

21、图象中目标的显示方法，所述图象中的目标为用和参照附图在本说明书中与上面所描述的方法实质上相同的方法表示静止图象或视频图象中的目标。

22、图象中的目标的检索方法，所述检索方法与参照附图在本说明书中于前面所描述的方法实质上相同的方法检索静止图象或视频图象中的目标。

23、显示或检索与参照附图在本说明书中于上面所描述的实质上相同的图象中的目标的计算机系统。

Images