CN100397400C - 图形检索的方法 - Google Patents

Abstract

本发明涉及图形检索的方法，目的在于提供一种图形相似性判断准确且要求存储数据少的图形检索方法，一种图形检索方法，包括：步骤1、用户将检索要求提供给检索系统；步骤2、所述检索系统根据所述要求，计算图形轮廓的方向距离直方图，从所述方向距离直方图中检测所述轮廓的尖峰个数，构造所述轮廓的描述符并与特征数据库中的所有相应特征进行匹配运算；步骤3、检索系统根据特征匹配结果确定检索结果，并将检索结果提供用户。本发明物理意义鲜明，不仅可以将同一种类内部的图形按照相似程度区分开来，也可以很好地将不同种类的图形区分开来；要求的存储数据很少；特征数据具有平移、旋转和缩放不变性，同时，更有利于处理各种不同类型的图像，可广泛应用于图形、图像的处理中。

Description

图形检索的方法

技术领域

本发明涉及图形检索的方法，特别是使用基于方向距离直方图的轮廓描述符进行图形检索的方法。

背景技术

随着科学技术的发展，计算机和信息网络的普及，数字获取设备和数字存储设备的推广，使得包括文字、图像、视频、音频等在内的各种信息数据的数量正以惊人的速度增长。如何尽快地从海量的数据中发现有用的信息已经成为一个非常严峻的问题。因此，对于信息数据的高效访问方法，特别是对于图像数据的高效访问方法已经变的越来越重要。为此，人们提出了基于内容的图像检索方法。该方法可以通过对图像特征的自动分析来获取图像的内容，从而为高效的数据访问开辟了新的途径。目前，基于内容的图像检索方法已经应用于医疗、纺织印染、气象分析、图书馆博物馆、安全机构、电影电视等等各个行业，其中比较著名的系统有QBIC(IBM1993)，Photobook(MIT 1994)，VisualSEEK(Columbia University 1996)等。基于内容的图像检索已经成为一个专门的研究领域，尽管该领域还处于初步发展阶段，但其研究成果已经为许多问题的解决做出了贡献。更多的数字图像检索系统还在发展中。

特征算法是图形检索的核心部分，它由特征提取和特征匹配两个部分组成。特征提取是指通过分析以数据的形式将图形的特性描述出来，而特征匹配是指对不同图形的特征数据进行匹配计算以获得二者之间的差距。不同的特征算法所提取的图形特征是不一样的，而特征算法性能的好坏直接决定着检索方法的性能的好坏。因此检索方法的核心就是找到一种高效快速的特征算法，使其既有高效稳定的特征提取又有快速精确的特征匹配。

特征算法在检索中主要应用在两个地方。一是特征数据库的建立。在建立特征数据库的时候要使用特征算法对所有的图形进行特征提取得到对应的特征数据，将这些特征数据与其对应的图形按一定的规则保存起来就建立了特征数据库。二是按用户输入的要求的自动分析。用户以某种方式输入图形后，由特征算法对该图形进行特征提取，然后将得到特征与特征数据库中的特征进行特征匹配，从而找到与输入图形相似的图形。

基于内容的图像检索的关键问题是找到一种既稳定又高效的检索方法。而形状又是一种在各种检索方法中被广泛使用的重要的图像特征。使用形状进行分析和分类的方法很多，近年来又有一些新的方法提出，其中比较典型的有不变矩法：

矩是对图像的一种统计形式，它的计算要用到图像或区域中所有相关的像素点。对一个数字图像函数f(x，y)，如果它分段连续且只在XY平面的有限个点上不为零，则可证明它的各阶矩存在。f(x，y)的p+q阶矩定义为：

$m_{\mathrm{pq}}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{x}^p{y}^{q}f(x,y)$

f(x，y)的p+q阶中心矩定义为：

${\mathrm{\μ}}_{\mathrm{pq}}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{(x-\stackrel{\‾}{x})}^p{(y-\stackrel{\‾}{y})}^{q}f(x,y)$

其中x＝m₁₀/m₀₀，y＝m₀₁/m₀₀，也就是重心坐标。f(x，y)的归一化中心矩可表示为：

${\mathrm{\η}}_{\mathrm{pq}}=\frac{{\mathrm{\μ}}_{\mathrm{pq}}}{{\mathrm{\μ}}_{00}^{\mathrm{\γ}}}$

其中γ＝(p+q)/2+1，p+q＝2，3，L。

将一些归一化的二阶和三阶中心矩进行组合就可得到7个对图像的平移、旋转和缩放不变的矩{φ₁，φ₂，L，φ₇}。对图像库中的每幅图像都进行统计，得到每幅图像的7个不变矩作为特征数据，然后与待查询的图像的7个不变矩进行比较，就可以判断图形的相似度。

虽然不变矩法的特征数据对于图像的平移、旋转和缩放不变，但是由于这种统计量没有明确的物理意义，不能准确的对图形进行描述，因而其检测结果是相当粗糙的，不能满足高效的数据访问的要求。

其他比较典型的基于形状的图像检索有几何参数法，小波多分辨率检索法，方向细节直方图法，边缘距离直方图法，局部特征频率法，切线空间法，隐马尔可夫法。这些方法所共有的不足在于：其对形状相似性的描述与人类的相似性感觉不能很好地相符，在许多情况下不能得到人们希望的检索效果。例如，上述方法甚至不能对典型的三角形和四边形等基本形状进行归类。

发明内容

本发明的目的是针对上述现有技术的不足，提供一种图形相似性判断准确且要求存储数据少的图形检索方法。

为实现上述目的，本发明提出了一种图形检索的方法，具体执行以下步骤：

步骤1、用户将检索要求提供给检索系统；

步骤2、所述检索系统根据所述要求，计算图形轮廓的方向距离直方图，从所述方向距离直方图中检测所述轮廓的尖峰个数，构造所述轮廓的描述符并与特征数据库中的所有相应特征进行匹配运算。

其中所述计算图形轮廓的方向距离直方图具体执行以下步骤：

步骤210、检测出所述图形的边缘；

步骤211、根据所述图形的边缘，计算所述图形的重心；

步骤212、根据所述图形的重心，对所述图形的轮廓进行扫描，生成扫描后图形轮廓；

步骤213、计算所述扫描后图形轮廓的重心；

步骤214、根据所述扫描后图形的重心，重新对所述扫描后图形轮廓进行扫描，得到一个距离直方图；

步骤215、对所述距离直方图进行归一化；

步骤216、从所述归一化的距离直方图中找出距离的最小值和最大值，按照最小值到最大值的方向对所述距离直方图进行排序，得到方向距离直方图。

其中步骤212及步骤214所述的扫描为从0度到359度共360个方向的扫描，扫描间隔为1度。

所述从所述方向距离直方图中检测所述轮廓的尖峰个数具体执行以下步骤：

步骤220、对所述方向距离直方图进行高斯滤波，消除所述轮廓曲线上的噪声，得到一个新的方向距离直方图；

步骤221、对所述新的方向距离直方图进行一阶求导，得到一阶导数直方图；

步骤222、对所述一阶导数直方图进行求导，得到二阶导数直方图；

步骤223、找出所有二阶导数中大于一阈值的值，计算并保存这些值的个数。

其中步骤223中所述的值的个数就是轮廓的尖峰个数。

所述构造所述轮廓的描述符并与特征数据库中的所有相应特征进行匹配运算中所述匹配运算使用所述轮廓尖峰个数作为轮廓匹配的第一特征，使用所述轮廓的方向距离直方图作为轮廓匹配的辅助特征。

本发明具有以下优点：

(1)物理意义鲜明，不仅可以将同一种类内部的图形按照相似程度区分开来，也可以很好地将不同种类的图形区分开来，在这一点上要优于现有技术方案，因为现有技术方案只具备按相似程度进行区分的能力而不能将图形分类，这也意味着使用本方案进行图形检索可以得到更精确的检索结果；

(2)本发明所要求的存储数据很少，每幅图形图像只需要十三个特征数据进行描述，与现有技术方案处于同一量级，对一个具有n幅图形图像的数据库来说，每次检索的计算的复杂度为O(mn)，其中m＜＜n，检索速度快，适合移动终端使用；

(3)本发明的特征数据具有平移、旋转和缩放不变性，保持了现有技术方案的优点，同时，更有利于处理各种不同类型的图像，应用范围更广。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明图形检索方法的实施例中三角形图像的示意图；

图2为本发明图形检索方法的实施例的流程图；

图3为本发明图形检索方法的实施例中边缘检测图像示意图；

图4为本发明图形检索方法的实施例中的距离直方图；

图5为本发明图形检索方法的实施例中的归一化的距离直方图；

图6为本发明图形检索方法的实施例中的方向距离直方图；

图7为本发明图形检索方法的实施例中的高斯滤波后的方向距离直方图；

图8为本发明图形检索方法的实施例中的一阶求导后的距离直方图；

图9为本发明图形检索方法的实施例中的二阶求导后的距离直方图；

图10为本发明图形检索方法的实施例中的冲激检测示意图。

具体实施方式

下面以M*N的三角形图像为例，具体描述本发明的技术方案，该三角形图像如图1所示。

如图2所述，为本发明图形检索方法的实施例的流程图，具体包括以下步骤：

步骤100、用户通过例图、草图、摄像头输入等查询方式将检索要求提供给检索系统(例图方式：用户从已有的样本图形中指定一幅进行检索；草图方式：用户使用系统提供的工具画出一个草图进行检索；摄像头方式：用户使用摄像头拍摄需要检索的物体进行检索)；这里的检索要求为一个三角形；

步骤101、使用边缘检测方法检测出三角形图形的边缘，得到边缘图像f(x，y)，这里f∈(0，1)，x∈(1，L，N)，y∈(1，L，M)；边缘检测后的图像如图3所示；

步骤102、根据公式(1)计算三角形图形的重心O＝(O_x，O_y)：

$O_x=\frac{\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{xf}(x,y)}{\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}f(x,y)},$ $O_y=\frac{\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{yf}(x,y)}{\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}f(x,y)}---\left(1\right)$

步骤103、从边缘图像重心开始对图形的轮廓开始进行0-359度共360个方向的扫描，扫描间隔是1度，找到在每一个方向上离重心最远的边缘，即轮廓的位置，得到轮廓图像g(x，y)，这里g∈(0，1)，x∈(1，L，N)，y∈(1，L，M)；

步骤104、根据公式(2)计算轮廓的重心，得到重心位置C＝(C_x，C_y)：

$C_x=\frac{\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{xg}(x,y)}{\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}g(x,y)},$ $C_y=\frac{\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{yg}(x,y)}{\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}g(x,y)}---\left(2\right);$

步骤105、根据得到的轮廓重心位置，重新进行0-359度的扫描，并计算在每一个方向上从重心到轮廓的距离，从而得到一个360维的距离直方图 $H_D=(h_0^D,h_1^D,L,h_{359}^D)$ ，该距离直方图如图4所示，容易验证该直方图对于图像的平移保持不变；

步骤106、根据公式(3)对H_D进行归一化，得到归一化的距离直方图 $H_N=(h_0^N,h_1^N,L,h_{359}^N):$

$h_i^N=\frac{h_i^D-\mathrm{Min}}{\mathrm{Max}-\mathrm{Min}},$ i＝0，1，L，359。(3)

其中Max，Min分别是直方图H_D中的最大值和最小值；归一化可使直方图对图像的缩放保持不变，由此可以保证归一化的距离直方图H_N对图像的平移、缩放不变；如图5所示，为三角形归一化的距离直方图；

步骤107、从归一化的距离直方图H_N中找到所有的最小值(假定为P个)和最大值(假定为Q个)，那么就可以得到P×Q个最小值-最大值对。这里我们定义最小值-最大值的距离为两者索引号之差，即：

$\mathrm{Dist}(h_i^{\max },h_{i^{\&prime;}}^{\min })=\left\{\begin{array}{c}|i-i^{\&prime;}|,\mathrm{if}|i-i^{\&prime;}|<180\\ 359-|i-i^{\&prime;}|,\mathrm{else}.\end{array}\right.$

从这些最小值-最大值对中找到距离最短的那一对(如果有多个，可以继续比较最大值-最小值对所指示区域的其他值来进行距离最短的最小值-最大值对的查找)，并以最小值为第一个元素，同时保证最大值在前180个元素内，对H_N按照最小值-最大值方向重新排序，得到一个新的距离直方图，即方向距离直方图 $H_R=(h_0^R,h_1^R,L,h_{359}^R)$ ，如图6所示；之所以能够这样做，是因为扫描是从0到359度的，得到的直方图的第一项和最后一项在图形轮廓上是相邻的，这样就可以通过循环使直方图中任意两项保持在间隔180度的区域内，从而可以得到上面所述的方向距离直方图；由方向距离直方图H_R的构造过程可以看出其对图像的旋转保持不变；因此，方向距离直方图H_R对图像的平移、旋转、缩放皆保持不变；将该直方图按照公式(4)进行量化，得到一个12个元素的特征数据B＝(b₀，b₁，L，b₁₁)。

$b_i=\frac{1}{30}\underset{j=i\&times;30}{\overset{(i+1)\&times;30-1}{\mathrm{\&Sigma;}}}{h}_j^R,$ i＝0，1，L，11.(4)；

上面得到了归一化的方向距离直方图H_R，该直方图是二维图形轮廓的一维映射，那么轮廓的尖峰与方向距离直方图上的尖峰就是一一对应的，于是可以通过对轮廓直方图的二阶导数的冲激检测，将轮廓中的尖峰个数检测出来；

步骤108、对H_R进行高斯滤波，消除轮廓曲线上的噪声，得到一个较平滑的方向距离直方图 $H_G=(h_0^G,h_0^G,L,h_{359}^G)$ ，如图7所示；

步骤109、对直方图H_G进行一阶求导，得到一阶导数直方图 $H_F=(h_0^F,h_1^F,L,h_{359}^F)$ ，如图8所示；

步骤110、再对直方图H_F进行求导，得到二阶导数直方图 $H_B=(h_0^B,h_1^B,L,h_{359}^B)$ ，如图9所示；

步骤111、找到所有二阶导数中大于某一阈值的值，即冲激，计算并保存这些冲激的个数，也就是尖峰的个数作为特征值A；冲激检测如图10所示；

步骤112、由前面得到的特征数据A和B，可以构造轮廓描述符，即轮廓描述符：D＝{A|B}；

对于轮廓描述符的匹配运算，首先要从图形的相似性来考虑，由于现在图形的相似性还没有完善的数学定义，所以只能在实验的基础上从一定程度上去逼近人的相似性感觉，在这里，由于图形的轮廓相似性可以较好的描述图形的相似性，而轮廓上的尖峰又是轮廓匹配的主要特征，所以在这里使用轮廓尖峰个数作为轮廓匹配的主要特征，轮廓的方向距离直方图作为轮廓匹配辅助特征；主要匹配特征用来将形状区分成不同的类别，而辅助匹配特征用来对同一类型的内部的形状进行区分；由于类别之间的差别肯定要大于类型内部之间的差别，那么对于任意两个轮廓描述符D₁＝{A₁|B₁，D₂＝A₂|B₂}：如果A₁≠A₂，则要求A₁与A₂之间的最小距离对于D₁与D₂之间的距离的影响要大于等于B₁与B₂之间的最大距离对于D₁与D₂之间的距离的影响，即主要特征的差别总是大于辅助特征的差别，则D₁与D₂匹配公式为：

$\mathrm{Dist}\_D=\frac{360}{361}\mathrm{Dist}\_A+\frac{1}{361}\mathrm{Dist}\_B---\left(5\right)$

其中：

$\mathrm{Dist}\_A=\frac{1}{360}|A_1-A_2|,$

$\mathrm{Dist}\_B=\sqrt{\frac{1}{12}\underset{i=0}{\overset{11}{\mathrm{\&Sigma;}}}{(b_{1,i}-b_{2,i})}^2},$

Dist_D，Dist_A，Dist_B∈[0，1]；

步骤113、系统将特征匹配结果所对应的图形通过分页显示的方式提供给用户。

本发明在方向距离直方图的构造上，也可以按照最大-最小方向或其他方向排序，从而获得一样的具有方向性的距离直方图；另外，也可以在尖峰的检测上，使用小波等其他类型的检测方法来获得尖峰的数目；还可以在轮廓描述符的构造上，将方向距离直方图量化为6、8、10等其他数目的数据来构造相似的轮廓描述符，也可以使用L₁，L₂范数等其他距离计算公式来计算图形间的相似度。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。

Claims (5)

1.一种图形检索的方法，其中执行以下步骤：

步骤1、用户将检索要求提供给检索系统；

步骤2、所述检索系统根据所述要求，计算图形轮廓的方向距离直方图，从所述方向距离直方图中检测所述轮廓的尖峰个数，构造所述轮廓的描述符并与特征数据库中的所有相应特征进行匹配运算；

步骤3、所述检索系统根据特征匹配结果确定检索结果，并将检索结果提供用户。

2.根据权利要求1所述的图形检索的方法，其中所述计算图形轮廓的方向距离直方图具体执行以下步骤：

步骤210、检测出所述图形的边缘；

步骤211、根据所述图形的边缘，计算所述图形的重心；

步骤212、根据所述图形的重心，对所述图形的轮廓进行扫描，生成扫描后图形轮廓；

步骤213、计算所述扫描后图形轮廓的重心；

步骤214、根据所述扫描后图形轮廓的重心，重新对所述扫描后图形轮廓进行扫描，得到一个距离直方图；

步骤215、对所述距离直方图进行归一化；

步骤216、从所述归一化的距离直方图中找出距离的最小值和最大值，按照最小值到最大值的方向对所述距离直方图进行排序，得到方向距离直方图。

3.根据权利要求2所述的图形检索的方法，其中步骤212及步骤214中所述扫描具体为：从0度到359度共360个方向进行扫描，扫描间隔为1度。

4.根据权利要求2或3所述的图形检索的方法，其中所述从所述方向距离直方图中检测所述轮廓的尖峰个数具体执行以下步骤：

步骤220、对所述方向距离直方图进行高斯滤波，消除所述轮廓曲线上的噪声，得到一个新的方向距离直方图；

步骤221、对所述新的方向距离直方图进行一阶求导，得到一阶导数直方图；

步骤222、对所述一阶导数直方图进行求导，得到二阶导数直方图；

步骤223、找出所有二阶导数中大于一阈值的值，计算并保存这些值的个数，所述值的个数就是轮廓的尖峰个数。

5.根据权利要求2或3所述的图形检索的方法，其中所述构造所述轮廓的描述符并与特征数据库中的所有相应特征进行匹配运算中所述匹配运算使用所述轮廓尖峰个数作为轮廓匹配的第一特征，使用所述轮廓的方向距离直方图作为轮廓匹配的辅助特征。

Images