CN101609467A - 显示或检索图象中的目标的方法、装置以及计算机可读存储载体 - Google Patents

Abstract

在通过将对应于静止图象或视频图象的信号进行处理、表示出现在图象中的目标的方法中，包括：通过将目标的轮廓平滑化，推导出目标的轮廓的曲率换算空间(CSS)显示的步骤，推导出反映将原始曲线平滑化的文本形状或大小的分布的至少一个追加参数的步骤，以及将该CSS显示与作为目标的形状描述符的该追加参数联系起来的步骤。

Description

显示或检索图象中的目标的方法、装置以及计算机可读存储载体

本申请是申请日为2000年7月12日，申请号为00801352.7(PCT/JP00/04673)，发明名称为“显示或检索图象中的目标的方法、装置以及计算机可读存储载体”的申请的分案申请。

技术领域

本发明涉及以检索为目的的对象存储在多媒体数据库中的图象这样的静止图象或视频图象中出现的目标的显示，特别是涉及利用这种显示对目标进行检索的方法和装置。

背景技术

在视频库的图象应用中，希望有效地对出现于视频图象或静止图象中的目标的轮廓及形状或目标的一部分进行显示和存储。在用于进行形状基址的变址和检索的公知方法中，采用曲率换算空间(CSS，Curvature ScaleSpace)显示。关于CSS的详细情况，可从论文“曲率スケル空间によるロバストで效率的な形状索引付け”(“利用曲率换算空间的自动有效的形状变址”)(英国machine vision会报P53～P62，埃丁堡，英国，1996年)以及“借助采用曲率换算空间的形状内容的图象数据库的变址”(有关智能数据库的IEE专家会报，伦敦，1996年)中获得知。两篇论文的作者为Makhtarian，S.Abbasi及J.Kittler，其内容引作本说明书的参考文献。

在CSS显示中，为了求出目标的轮廓而使用曲率函数并从轮廓上的任意点开始显示。提供进行将形状平滑化的一系列变形，一面展开轮廓形状，一面研究曲率函数。具体地说，计算出与高斯筛选群卷积的曲率函数的导数的零交叉。如作为曲率换算空间众所周知的那样，零交叉是坐标图上的基址。其中，x轴是将曲线标准化的弧长，y轴是展开参数，特别是用于筛选的参数。在坐标图上的基址形成显示轮廓特征的环路。形成目标轮廓的各凸状或凹状部分对应于CSS图象中的环路。在CSS图象中，利用最突出的环路的峰值的纵坐标作为轮廓的显示。

为了进行与输入的目标的形状一致的、在数据库存储的图象的目标的检索，计算输入形状的CSS显示。利用匹配算法，通过各CSS图象的峰值的位置和高度，判断输入形状与存储形状之间的类似度。

已知，根据上述最初的论文，采用两个追加的参数(原始形状的圆度和离心率)，将具有显著不同的圆度和离心率的参数的形状从匹配处理中除去。

作为上述显示方式所存在的问题，可以列举出其检索精度往往较低，特别是对于凹凸曲线来说，其检索精度降低。尤其是这种显示方式不能对各种凸曲线进行区分。

发明内容

本发明的一种形式为引入在“原型轮廓形状”的形状中所描述的辅助方法。原型轮廓形状的比较恰当的定义如下：

1)在轮廓中不存在凹凸(即在CSS图象中不存在峰值)的场合，为原始形状。

2)在进行过对于CSS图象中的最高峰值的相同的平滑化之后的形状的轮廓。

通常，对于原型轮廓形状只注意凸状形状。

例如，可如MK.HU的论文“根据矩量不变量的视觉图象识别”(关于情报理论的IEEE处理(关于信息理论的IEEE处理)Vol.IT8，179～181，1962年)中所描述的那样的领域，根据区域矩量对原型轮廓的形状进行描述。上述论文的内容在本说明书中被引用为参考文献。或者，采用CHo-Huak The的论文“关于用矩量法的图象分析”(关于图象分析及机器·智能的IEEE处理，第10卷，NO.4，1988年7月)所描述的傅立叶描述符或者离心率，圆度等参数来描述原型轮廓的形状。该论文的内容在本说明书中也被引用为参考文献。在上述公知的方法中，离心率和圆度仅用于原始形状。在本发明中，对于曲线将不同的离心率和圆度用于“原型形状”。该原型形状具有至少一个CSS峰值。另一个不同之处在于，利用公知的方法采用离心率和圆度，将某些一定形状从类似度匹配中除去。在本发明中，(除CSS峰值外)采用离心率与圆度推导出类似度测定值。最后，相对矩量不变量、傅立叶描述符及泽尔尼克(Zernicke)矩量扩展匹配处理所用的追加参数。

作为本发明的结果，可以改善检索精度。

根据本发明的第1方面，静止图象或视频图象中目标的显示方法，通过将对应于所述静止图象或视频图象的信号进行处理，显示出现于前述图象中的目标，其特征为，所述方法包括以下步骤：

通过将目标的轮廓平滑化，推导出目标轮廓的曲率变换空间(CSS)的显示的步骤，

推导出反映原始曲线的已平滑化形式的形状或大小的分布的至少一个追加参数的步骤，

将前述CSS显示与前述追加参数关联起来，以产生目标的形状描述符的的步骤，其中至少一个追加参数对应于前述轮廓的离心率。

根据本发明的第2方面，如第1方面所述的图象中目标的显示方法，其特征为，追加参数与和CSS图象的峰值对应的前述平滑化的轮廓相关。

根据本发明的第3方面，如第2方面所述的图象中目标的显示方法，其特征为，追加参数和对应于前述CSS图象的最高峰值的前述平滑化的轮廓相关。

根据本发明的第4方面，如第1方面所述的图象中目标的显示方法，其特征为，至少一个追加参数采用区域基址显示。

根据本发明的第5方面，如第4方面所述的图象中的目标的显示方法，其特征为，追加参数为区域矩量的不变量。

根据本发明的第6方面，如第4方面所述的图象中目标的显示方法，其特征为，追加参数以傅立叶描述符为基础。

根据本发明的第7方面，如第4方面所述的图象中目标的显示方法，其特征为，追加参数以由前述轮廓包围的区域的泽尔尼克矩量为基础。

根据本发明的第8方面，静止图象或视频图象中多个目标的显示方法，通过将对应于所述静止图象或视频图象的信号进行处理，对出现于前述图象中的多个目标进行显示，其特征在于，所述方法包括以下步骤：

对于各目标的轮廓，判断前述目标的轮廓的曲率是否存在显著变化的步骤，

如果所述目标的轮廓的曲率存在显著变化，利用权利要求1至9任何一项中所述的方法推导出形状描述符的步骤，

如果所述目标的轮廓的曲率不存在显著变化，推导出至少含有反映前述目标的轮廓形状的前述追加参数的形状描述符的步骤。

根据本发明的第9方面，如第8方面所述的图象中多个目标的显示方法，其特征为，表示曲率不显著变化的目标的轮廓的追加参数，以前述轮廓的区域矩量的不变量、前述轮廓的傅立叶描述符或前述轮廓的泽尔尼克矩量为基础。

根据本发明的第10方面，用于推导图象中的目标的显示的控制装置，该控制装置被编程，以执行如第1方面所述的方法。

根据本发明的第11方面，用于推导图象中的目标的显示的设备，包括如第10方面所述的控制装置以及用来存储图象和/或图象显示的存储装置。

根据本发明的第12方面，如第11方面所述的设备，其中所述的存储装置是图象数据库和/或描述符数据库。

根据本发明的第13方面，如第11或12方面所述的设备，还包括显示装置。

附图说明

图1、是表示视频数据库系统的流程图。

图2、是表示某一目标的轮廓的图示。

图3、是表示图的轮廓的显示图。

具体实施方式

下面参照附图对本发明的实施例进行说明。

图1是根据本发明的实施例进行计算机处理的视频数据库系统的图示。在该系统中，包括计算机型的控制装置2，显示器型的显示装置4，鼠标型的指点器6，以及描述符10，其中，所述描述符10存储有包含所存储的静止图象和视频图象的数据库8及出现于存储在图象数据库8中的图象内的目标或目标的某一部分的描述符。

表示出现于图象数据库中感兴趣的各目标的形状的描述符，由控制装置2推导出来，存储在描述符数据库10中。控制装置2通过下面所述的方法借助适当的程序控制动作，推导出描述符。

第一，对于预定的目标的轮廓，推导出该轮廓的CSS显示。利用上面所述的论文之一所描述的公知的方法，进行该CSS显示。

更具体地说，该轮廓由Ψ＝{(x(u)，y(u)，u∈[0，1]}表示(但其中，u为归一化的弧长参数)。

该轮廓通过用ID高斯影响函数核g(u，ρ)进行卷积使之平滑化，随着ρ的变化研究展开曲线的曲率零交叉。零交叉用表示曲率的下述公式来指定。

$\mathrm{\κ}(u,\mathrm{\σ})=\frac{\mathrm{Xu}(u,\mathrm{\σ})\mathrm{Yuu}(u,\mathrm{\σ})-\mathrm{Xuu}(u,\mathrm{\σ})\mathrm{Yu}(u,\mathrm{\σ})}{{(\mathrm{Xu}{(u,\mathrm{\σ})}^2+\mathrm{Yu}{(u,\mathrm{\σ})}^2)}^{3/2}}$

其中，X(u，σ)＝x(u)*g(u，σ)，Y(u，σ)＝y(u)*g(u，σ)

且，Xu(u，σ)＝x(u)*g_u(u，σ)，Xuu(u，σ)＝x(u)*g_uu(u，σ)

在上述公式中，*表示卷积，下标表示导数。

曲率零交叉随着ρ的变化而变化，当ρ很大时，Ψ成为零交叉的凸状曲线。

将零交叉点(u，l)在作为CSS图象空间已知的曲线图上绘图。从而生成表示原始轮廓的特征的曲线。指定表示该特征的曲线的峰值，提取对应的纵坐标加以存储。一般地，上述结果给出n个坐标时(x1，y1)、(x2，y2)、…(xn，yn)组其中，n为峰值数，xi是第i个的峰值弧长的位置，yi是峰值高度)。由这些峰值的纵坐标构成CSS显示峰值。

除CSS显示外，进而生成与形状有关的参数的形状描述符。在本实施例中，追加参数为形状的“原型区域”的离心率与圆度，在这种情况下，这种形状的“原型区域”为在最终的平滑化步骤之后，即，在等于最高的峰值ρ的点处的轮廓。对于原型区域也可以选择其它的ρ值。其结果是，在形状中，生成表示S字形的形状描述符{EPR，CPR，PEAKS}(其中，EPR表示原型区域的离心率，CPR表示原型区域的圆度，PEAKS表示CSS显示)。

下面说明根据本发明的实施例的图象中目标的检索方法。

在本说明书中，在图1所示的系统的描述符数据库10中存储按照上述方法推导出来的形状描述符。

用户用指点器在显示器上画出目标的轮廓，开始进行检索。接着，控制装置2用上述方法推导出表示输入轮廓的形状描述符。然后，控制装置利用存储在数据库中的各种形状描述符进行匹配比较。

假定当将输入轮廓形状S1与存储的形状S2比较时，S1与S2它们各自的描述符如下所示：

S1：(EPR1，CPR1，PEAKS1)

S2：(EPR2，CPR2，PEAKS2)

其中，EPR表示原型区域的离心率，CPR表示原型区域的圆度，PEAKS表示CSS图象中的峰值坐标的设定值(该设定值也可以是空的)。以如下方式计算两个形状之间的类似度测定值。

M＝a*abs((EPR2-EPR1)/(EPR2+EPR1))+b*abs

((CPR2-CPR1)/((CPR2+CPR1))+SM(PEAKS1，PEAKS2)

其中，a和b为两个系数，SM为与两组峰值[1]相关所定义的标准类似度测定值，abs表示绝对值。SM采用上述论文中所述的公知的匹配算法进行计算。下面简单地说明一下这种匹配处理。

如果对两个闭合的轮廓形状，分别对图象曲线Ψi与模型曲线Ψm以及这些曲线的峰值分别给予设定值{(xi1，yi1)，(xi2，yi1)，…(xin，yin)}及{(xm1，ym1)，(xm2，ym2)，…(xmn，ymn)}时，计算类似度测定值。类似度测定值定义为图象中的峰值和模型中峰值的匹配总价值。使总价值最小化的匹配用定时程序进行计算。利用算法，从模型所得的峰值递归地与从图象所得到的峰值匹配，进行这种匹配的各个价值的计算。可将模型的峰值与唯一的图象峰值匹配，也可以使图象的峰值与唯一的模型峰值匹配。模型以及/或者图象峰值中也存在不能匹配的情况，对于各个不能匹配的峰值存在追加补偿价值。两个峰值的水平距离不足0.2时，可将两个峰值匹配。匹配的价值为两个匹配峰值间的直线长度。不匹配的峰值的价值为其高度。

更详细地说，算法具有将节点制成对应于匹配峰值的树形结构进行扩展的功能。

1、制成由图象(xik，yik)的最大值与模型(xir，yir)的最大值构成的开始节点。

2、对于图象峰值的最大值的80％以内的残存的模型峰值制成追加开始节点。

3、将用1和2制成的各开始节点的价值初始化为连接该开始节点的图象峰值和模型峰值的y坐标之差的绝对值。

4、对于开始节点，在该开始节点计算出定义为匹配的模型峰值与图象峰值X(水平)坐标之差的CSS移位参数α。移位参数对于各节点互不相同。

5、对于各开始节点，制成模型峰值的目录及图象峰值目录。在该目录中，包含有关哪个峰值尚未匹配的信息。对于各开始节点，作为“已经匹配的”在该节点处对于已匹配的峰值加上标记，对于其它全部峰值加上作为“尚未匹配的”标记。

6、直到满足下面的第8项之前，将最低价值的节点递归地扩大(从用步骤1～6制成的节点开始，后续各节点的子节点)。为将节点扩大，采用以下步骤。

7、节点的扩大：

在存在尚为匹配的至少一个图象与一个模型峰值的情况下，

选择未匹配的最低比例图象曲线CSS的最大值(xip，yip)。应用(由步骤4计算的)开始节点移位参数将选择的最大值映射为模型的CSS图象，所选择的峰值具有坐标(xip-α，yip)。决定未匹配的最近的模型曲线峰值(xms，yms)。在两个峰值间的水平距离不足0.2(即|xip-α-xms|＜0.2)时，使两个峰值匹配，将两个峰值间的直线的长度定义为匹配价值。将匹配价值加到该决定的总价值上。通过在已匹配的峰值上加上“已匹配的”的标记，从各自的目录中将已匹配的峰值除去。在两个峰值间的水平距离大于0.2的场合，图象峰值(xip，yip)不能匹配。这时，将图象峰值的高度yip加在这种情况下的总价值上，通过使在该峰值上加上“已匹配的”标记，从图象峰值目录中仅将峰值(xip，yip)除去。

在不符合上述条件(仅存在不匹配的图象峰值或仅存在不匹配的模型峰值)的情况下，存储不匹配分状态原封不动地搁置。

作为未匹配的图象峰值或模型峰值的最高的高度定义的匹配总价值从目录中除去。

8、在第7项中将节点扩大后，当图象目录和模型目录两者不存在未匹配峰值的场合，匹配处理完毕。该节点的价值为图象和模型曲线间的类似度测定值。在存在峰值的场合，返回到低7项扩大最低价值的节点。

将图象曲线峰值与模型曲线峰值交换，反复进行上述步骤。最后的匹配值为两个峰值中的较低的值。

对于数据库的各模型反复上述步骤。

将作为由匹配比较所得到的结果所产生的类似度测定值进行分类，然后，将具有对应于表示最接近的匹配类似度测定值的描述符的目标(即在本发明中最低的类似度测定值)相对于用户在显示装置上显示。作为显示对象的目标数可由用户预先设定或选择。

在代替的实施例中，可采用各种参数对“原型区域”的形状进行描述。例如，可以使用曲线的三个傅立叶系数。类似度测定值可按以下方式定义。

M＝a*EUC(F1，F2)+SM(PEAKS1，PEAKS2)

其中EUC是表示由模型和图象的形状的三个主要傅立叶系数构成的矢量F1与F2之间的欧几里德距离，SM是表示CSS峰值的类似度测定值，用基本上和上面所述的相同方法进行计算。

根据本发明的系统例如可设置在图象库中。或者数据库，通过互联网等网络由电话线等暂时的链路与控制装置连接，由系统的控制装置远距离的配置。例如，图象数据库及描述符数据库可设置在永久存储装置或ROM及DVD等携带式用的存储载体中。

上面所描述的系统的结构部件可用软件或硬件形式设置。上面利用计算机系统的形式对本发明进行了说明，但本发明也可用专用芯片等利用其它形式加以实施。

上面给出了对目标的二维形状的表示方法及表示计算表示两个形状之间的类似度的值的计算方法的特定例子，但可以采用同样的任意的合适的方法。

例如，可将本发明用于为进行确认而进行目标图象的匹配或者进行筛选。

Claims (7)

1.一种表示出现在图像或者多个图像的序列中的目标的方法，通过处理对应于所述图像或多个图像的信号实现，所述方法包括通过将所述目标的轮廓平滑化，推导出所述目标轮廓的曲率换算空间(CSS)的表示，推导出反映原始轮廓的已平滑化形式的形状或质量的分布的追加参数，以及将所述CSS表示与所述追加参数关联起来以作为目标的形状描述符，其中所述追加参数对应于所述原始轮廓的已平滑化形式的圆度。

2.如权利要求1所述的方法，其中所述追加参数与对应于所述CSS图像中峰值的所述平滑化轮廓相关。

3.如权利要求2所述的方法，其中所述追加参数与对应于所述CSS图像中最高峰值的所述平滑化轮廓相关。

4.一种表示出现在图像或者多个图像的序列中的多个目标的方法，通过处理对应于所述图像或多个图像的信号实现，所述方法包括，对每一个目标轮廓，确定在所述目标轮廓中的曲率中是否存在显著变化，以及，如果在所述目标轮廓中的曲率中存在显著变化，则使用如权利要求1所述的方法推导形状描述符，以及，如果在所述目标轮廓中的曲率中不存在显著变化，则推导至少包括所述原始目标轮廓的圆度的形状描述符。

5.一种在图像或多个图像的序列中搜索目标的方法，通过处理对应于图像的信号实现，所述方法包括以二维轮廓形式输入查询，使用如权利要求1所述的方法推导所述轮廓的描述符，以及使用匹配流程比较所述查询描述符与每一个存储的目标的描述符以推导相似性量度，该匹配流程使用所述CSS值和所述追加参数，以及选择和显示对应于包括目标的图像的至少一个结果，其中所述比较指示所述查询与所述目标之间的相似程度。

6.一种表示出现在图像或者多个图像的序列中的目标的设备，通过处理对应于所述图像或多个图像的信号实现，包括用于通过将所述目标的轮廓平滑化，推导所述目标轮廓的曲率换算空间(CSS)的表示的装置，用于推导反映原始轮廓的已平滑化形式的形状或质量的分布的追加参数的装置，以及用于将所述CSS表示与所述追加参数关联起来以作为所述目标的形状描述符的装置，其中所述追加参数对应于所述原始轮廓的已平滑化形式的圆度。

7.一种用于表示出现在图像或者多个图像的序列中的目标的计算机系统，通过处理对应于所述图像或多个图像的信号实现，包括用于通过将所述目标的轮廓平滑化，推导所述目标轮廓的曲率换算空间(CSS)的表示的装置，用于推导反映原始轮廓的已平滑化形式的形状或质量的分布的追加参数的装置，以及用于将所述CSS表示与所述追加参数关联起来以作为所述目标的形状描述符的装置，其中所述追加参数对应于所述原始轮廓的已平滑化形式的圆度。

Images