CN103150330B - 一种基于局部对象和块匹配的扫描证书图像检索方法 - Google Patents

Abstract

本发明公开了一种基于局部对象和块匹配的扫描证书图像检索方法，通过对输入的证书图像进行滤波和倾斜校正的预处理，对经过预处理的证书图像利用Hough变换进行圆章定位、分割、大小调整及分块，提取圆章分块后的子块的灰度特征向量和圆章区域的HSV空间的颜色特征向量；建立证书图像数据库，对数据库中的每一幅证书图像按照上述步骤进行处理，得到并记录数据库中每幅扫描证书图像的圆章的灰度特征向量和HSV颜色特征向量，依次计算待查询证书图像的特征向量与证书图像数据库中每一幅扫描证书图像的特征向量的欧式距离D，并按照计算得到的欧式距离大小，返回满足设定的阈值要求的扫描证书图像作为检索的结果；通过结合圆章的灰度特征与HSV颜色特征，能简单快速的区分及检索不同种类的证书。

Description

一种基于局部对象和块匹配的扫描证书图像检索方法

技术领域

本发明涉及一种扫描证书图像检索技术,具体的说是一种基于局部对象和块匹配的扫描证书图像检索方法。

背景技术

最近几年来，图像检索是一个非常受欢迎的话题，其检索对象包括海里游的，在天空中飞翔的及地上走的。并且图像检索已被广泛应用到多媒体数据处理、医学图像检索和图像查重。尽管已有大量的图像检索系统针对不同种类图像数据集，但在扫描证书图像检索方面则关注较少，而这些扫描证书图像往往是申请奖励或公司拓展的重要辅助材料。为了保证这类证书图像的合法利用，避免同张证书被多次利用，在特殊的扫描证书数据集里的扫描图像查重对于某些检索系统是非常重要的，这有点类似于文件的相似性检查。目前适用于比较流行的基于内容的图像检索系统的图像特征有颜色、纹理、形状以及空间位置关系，但扫描证书图像质量低，种类繁多，版面形式多样，既包含具有特定意义的图像标志，同时又包含对于获奖情况的简明扼要描述，因此，仅仅利用现有算法要实现从海量图像库中查找是否存在与待测证书相似的图像文件是有困难的。因此，我们就得具体分析扫描图像的特征，选取能更好地表述证书图像特点的特征。如何借助计算机技术快速准确对附件证明材料—扫描图像--进行相似性检测是国家科学技术奖励评审迫切需要解决的问题。

发明内容

本发明所要解决的技术问题是，针对现有对扫描证书不怎么关注的问题，提供一种基于局部对象和块匹配的扫描证书图像检索方法，为证书的相似性检索提供一种简单、有效的方法。

本发明所采用的技术方案如下：

一种基于局部对象和块匹配的扫描证书图像检索方法，包括如下步骤：

A：输入待查询扫描证书图像；

B：对输入的证书图像进行预处理，包括滤波和倾斜校正；

C：对经过预处理的证书图像利用Hough变换进行圆章定位，对定位得到的圆章所在的外接矩形进行分割提取，得到圆章区域，将圆章区域大小调整为100*100后分块处理，提取圆章区域分块后的子块的灰度值特征，所有子块的灰度值特征构成圆章的灰度特征向量，其中所述子块的灰度值特征是指子块内所有像素点的灰度值之和；

D：提取圆章区域的HSV颜色特征向量；

E：建立证书图像数据库；

证书图像数据库中的每一幅证书图像按照上述步骤A～D进行处理，得到并记录数据库中每幅扫描证书图像的圆章的灰度特征向量和HSV颜色特征向量，即建立一个扫描证书图像的特征向量索引；

F：依次计算待查询证书图像的特征向量与图像数据库中每一幅扫描证书图像的特征向量的欧式距离D，并按照计算得到的欧式距离大小，从小到大排序，返回满足设定的阈值要求的扫描证书图像作为检索的结果；

欧式距离D即为两幅图的总相似度，其表达式如下：

D＝α×D₁+β×D₂

其中，α和β是权重系数，α和β分别取值为5和1， $D_1=sqrt\left(\underset{i=0}{\overset{99}{\Σ}}{(S_{Ki}-S_{Ci})}^2\right),D_2=sqrt\left(\underset{i=0}{\overset{127}{\Σ}}{(L_{Ki}-L_{Ci})}^2\right);$

D₁是两幅图像圆章分块灰度值的相似度，(S_K0,S_K1…S_K99)是待查询图像的圆章区域的灰度特征向量，(S_C0,S_C1…S_C99)是证书图像数据库中扫描证书图像的圆章区域灰度值的特征向量；D₂是两幅图像颜色特征的相似度，(L_K0,L_K1…L_K127)是待查询图像的圆章区域的HSV颜色特征向量，(L_C0,L_C1…L_C127)是数据库中扫描证书图像的圆章区域的HSV颜色特征向量。

这里的阈值既不能太大，因为很多不相似的图像可能会被检索出来；也不能太小，不然一些相似图像将漏检。通过数次实验观察，最终确定阈值为0.048。

所述步骤B中的滤波是利用高斯滤波器对扫描证书图像进行噪声滤除；

所述倾斜校正包括以下几个步骤：

1)利用OpenCV中的cvFindContours库函数获取进行滤波后的扫描证书图像的外围边缘线；

2)利用Hough变换检测获得经步骤1)中得到的四条边缘线中的一条边缘线，该边缘线的倾斜角度为angle，即边缘线与垂直线的夹角；

通常情况下，当图像的宽度大于其高度时，水平边缘线最有可能先检测出来。相反情况下，则垂直边缘线最容易检测出来；

3)利用下面的旋转矩阵对图像进行校正：

$\left[\begin{array}{ccc}\mathrm{\α}& \mathrm{\β}& (1-\mathrm{\α})\·{\mathrm{center}}_x-\mathrm{\β}\·{\mathrm{center}}_y\\ -\mathrm{\β}& \mathrm{\α}& \mathrm{\β}\·{\mathrm{center}}_x+(1-\mathrm{\α})\·{\mathrm{center}}_y\end{array}\right]$

其中，α＝cos(angle)，β＝sin(angle)；center_x，center_y分别是滤波后的扫描证书图像的图像中心点的横坐标和纵坐标。

在所述步骤C中对经过预处理的证书图像利用Hough变换进行圆章定位，对定位得到的圆章所在的外接矩形进行分割提取，得到圆章区域，将圆章区域大小调整为100*100后分块处理，提取圆章区域分块后的子块的灰度值特征，所有子块的灰度值特征构成圆章的灰度特征向量，其中所述子块的灰度值特征是指子块内所有像素点的灰度值之和，具体操作步骤如下：

1)圆章定位的方法是指，利用Hough变换对预处理后的扫描证书图像进行圆检测得到扫描证书图像中的圆章位置和大小，设定Hough变换中圆检测半径α为：α＝0.034*width+0.038*height，其中width和height分别是指预处理后的扫描证书图像的宽和高；

不同证书图像有大有小，其所含圆章也大小不一。所以必须调整Hough，让它能够自适应地根据图像大小来设置不同的检测参数。一般来说，圆章的大小与图像尺寸的大小存在一定的关系，宽度高度都较大的图像一般有较大的圆章，而宽度高度都较小的图像则其圆章较小。所以可以根据图像的大小自适应地调整Hough的参数，经实验测定，最后设定检测半径为：α＝0.034*width+0.038*height，其中width和height分别指的是图像的宽和高。实验结果表明，采用此自适应参数选取可得到较好圆章检测效果；

2)将上述步骤1)得到的圆章的外接矩形分割出来，并将包含圆章的外接矩形的大小规整为100*100，所述外接矩形即为圆章区域；

3)将上述步骤2)得到的大小为100*100的圆章区域分块成大小为10*10的子块，依次计算各子块的灰度值，各小块灰度值的平方根为S_i,i＝0,1,2…99，并将平方根值进行归一化处理，即使得平方根值归一化后的取值范围为[0,1]。

所述步骤D中提取圆章区域HSV颜色特征向量，其具体操作步骤如下：

1)首先将色度H、饱和度S及亮度V三个分量分别非均匀量化为8份、4份和4份：

$H=\left\{\begin{array}{ccc}\begin{array}{cc}0& H\∈\[316,360\]\∪\[0,23\]\\ 1& H\∈\[24,50\]\\ 2& H\∈\[51,75\]\\ 3& H\∈\[76,155\]\\ 4& H\∈\[156,195\]\\ 5& H\∈\[196,275\]\\ 6& H\∈\[276,290\]\\ 7& H\∈\[291,315\]\end{array}& S=\left\{\begin{array}{cc}0& S\∈\[0,0.08\]\\ 1& S\∈(0.08,0.4\]\\ 2& S\∈(0.4,0.67\]\\ 3& S\∈(0.67,1.0\]\end{array}\right.& V=\left\{\begin{array}{cc}0& V\∈\[0,0.08\]\\ 1& V\∈(0.08,0.4\]\\ 2& V\∈(0.4,0.67\]\\ 3& V\∈(0.67,1.0\]\end{array}\right.\end{array}\right.;$

2)按照步骤1)的划分，圆章区域的HSV空间被分成L_H×L_S×L_V个区间，L_H、L_S、L_V分别是H、S及V的量化级数，将圆章区域的HSV颜色值的三个分量合成一个一维颜色特征向量：

L＝H×L_S×L_V+S×L_V+V

其中，L取值范围为[0,127]，即得到一个大小为128的一维直方图；

3)最后将上述2)得到的一维直方图进行归一化处理。

所述步骤F中的阈值为0.048。

有益效果

本发明提供一种基于局部对象和块匹配的扫描证书图像检索方法，通过对输入的证书图像进行滤波和倾斜校正的预处理，对经过预处理的证书图像利用Hough变换进行圆章定位、分割、大小调整及分块，提取圆章区域灰度特征向量和HSV颜色特征向量；建立证书图像数据库，对数据库中的每一幅证书图像按照上述步骤进行处理，得到并记录数据库中每幅扫描证书图像的圆章区域的灰度特征向量和HSV颜色特征向量，依次计算待查询证书图像的特征向量与图像数据库中每一幅扫描证书图像的特征向量的欧式距离D，并按照计算得到的欧式距离大小，返回满足设定的阈值要求的扫描证书图像作为检索的结果；通过利用圆章信息作为证书的重要信息，并且利用自适应Hough变换能高效地将圆章信息提取出来，结合圆章的灰度特征与HSV颜色特征，能很好地区分不同种类的证书，并将相似度很近的证书图像都能够简单、快速的检索出来。

附图说明

图1为本发明的流程图；

图2为检测到的四条外围边缘线示意图；

图3为倾斜校正示意图，其中图(a)为倾斜校正前的图，图(b)为倾斜校正后的图；

图4Hough变换示意图，其中图(a)为未调整的Hough圆检测，图(b)为自适应Hough圆检测；

图5为圆章区域分块示意图；

图6为检索结果示意图，其中图(a)为发明专利证书检索结果，图(b)和图(c)分别为软件著作权证书(一)和软件著作权证书(二)的检索结果。

具体实施方式

下面将结合附图对本发明做进一步说明。

如图1所示，为本发明的流程图。

以证书图像数据库里包含200张扫描证书图像为例，其中发明专利证书图像40张、两类软件著作权证书各40张，其余80张是干扰图像。

对该检索系统的检索效率采用目前应用最为广泛的评价准则：查全率和查准率。

查全率A：A＝R/M。R表示返回的检索结果中与示例图像相关的图像数，M表示实验数据库中与示例图像相关的图像数目。

查准率C：C＝R/N。R表示返回的检索结果中与示例图像相关的图像数，N表示查询结果中返回的图像数目。

A：输入待查询证书图像；

B：对扫描证书进行图像预处理。首先进行滤波处理，采用OpenCV库函数cvSmooth，type选取为CV_GAUSSIAN.接着进行倾斜校正，对于那些倾斜角大于20的图像进行倾斜校正。具体操作过程如下：

(1)利用cvFindContours库函数得到图像的外围边缘，mode选择CV_RETR_EXTERNAL,并利用cvDrawContours将其外围边缘着重画出来。

(2)利用Hough变换获得(1)中所得到的四条边缘线中的一条，这里利用cvHoughLines2，mode为CV_HOUGH_PROBABILISTIC。通常情况下，当图像的宽度大于其高度时，水平边缘线最有可能先检测出来。相反情况下，则垂直边缘线最容易检测出来，如图2所示。

(3)计算(2)中边缘线的倾斜角度，并利用下面的旋转矩阵将倾斜图像纠正过来，这里利用cvWarpAffine库函数。

$\left[\begin{array}{ccc}\mathrm{\α}& \mathrm{\β}& (1-\mathrm{\α})\·{\mathrm{center}}_x-\mathrm{\β}\·{\mathrm{center}}_y\\ -\mathrm{\β}& \mathrm{\α}& \mathrm{\β}\·{\mathrm{center}}_x+(1-\mathrm{\α})\·{\mathrm{center}}_y\end{array}\right]$

α＝cos(angle)，β＝sin(angle)；center_x，center_y分别是图像中心的横坐标和纵坐标，倾斜校正示意图如图3所示，其中图(a)为倾斜校正前的图，图(b)为倾斜校正后的图。

C：利用Hough变换进行圆章定位，然后将定位得到的圆章区域进行大小调整后进行分块，提取子块的灰度值特征，其具体操作过程如下：

(1)确定圆章位置。不同证书图像有大有小，其所含圆章也大小不一。所以必须调整Hough，让它能够自适应地根据图像大小来设置不同的检测参数。据观察，宽度高度都较大的图像一般有较大的圆章，而宽度高度都较小的图像则其圆章较小。利用cvHoughCircles，mode选为CV_HOUGH_GRADIENT，最后设定检测半径为：α＝0.034*width+0.038*height，Hough变换示意图，如图4所示，其中(a)为未调整的Hough圆检测，(b)为自适应Hough圆检测；

(2)从(1)中得到圆章的位置和大小后，将包含整个圆章的外接矩形分割出来，得到圆章区域，并将圆章区域大小规整为100*100，分割中要利用cvSetImageROI来定位，然后利用cvCopy将定位的圆章区域复制出来。调整大小则利用cvResize，mode选CV_INTER_LINEAR。

(3)将步骤(2)得到100*100大小的圆章区域分成大小为10*10的子块，然后分别计算各小块的灰度值，圆章区域分块示意图，如图5所示；将各子块灰度值得平方根设为S_i(i＝0,1,2…99)，并归一化，将灰度特征向量存入一个名为suoyin.txt的文档中。

D：提取圆章区域的HSV颜色特征向量；

将步骤C中得到的调整后的圆章区域进行HSV颜色空间非均匀量化，其步骤如下：

(1)根据人眼感知特性，将色度H、饱和度S及亮度V三个分量分别非均匀量化为8份、4份、4份。

$H=\left\{\begin{array}{ccc}\begin{array}{cc}0& H\∈\[316,360\]\∪\[0,23\]\\ 1& H\∈\[24,50\]\\ 2& H\∈\[51,75\]\\ 3& H\∈\[76,155\]\\ 4& H\∈\[156,195\]\\ 5& H\∈\[196,275\]\\ 6& H\∈\[276,290\]\\ 7& H\∈\[291,315\]\end{array}& S=\left\{\begin{array}{cc}0& S\∈\[0,0.08\]\\ 1& S\∈(0.08,0.4\]\\ 2& S\∈(0.4,0.67\]\\ 3& S\∈(0.67,1.0\]\end{array}\right.& V=\left\{\begin{array}{cc}0& V\∈\[0,0.08\]\\ 1& V\∈(0.08,0.4\]\\ 2& V\∈(0.4,0.67\]\\ 3& V\∈(0.67,1.0\]\end{array}\right.\end{array}\right.;$

(2)完成(1)后，HSV空间就分成了L_H×L_S×L_V个区间，L_H、L_S、L_V分别是H、S及V的量化级数。为方便计算，将三个分量合成一个一维颜色特征向量：L＝H×L_S×L_V+S×L_V+V，L取值范围为[0,127]。这样得到一个大小为128的一维直方图，最后归一化，将归一化的颜色征向量存入上述suoyin.txt文档中。

E：利用建立的扫描证书图像数据库的图像索引，计算查询图像的特征向量与图像数据库中图像特征向量的欧式距离，具体操作如下：

从suoyin.txt中分别取出圆章子块灰度特征向量和圆章区域颜色特征向量，再与输入的查询图像相应的特征向量进行比对。

$D_1=sqrt\left(\underset{i=0}{\overset{99}{\Σ}}{(S_{Ki}-S_{Ci})}^2\right),D_2=sqrt\left(\underset{i=0}{\overset{127}{\Σ}}{(L_{Ki}-L_{Ci})}^2\right)$

D＝α×D₁+β×D₂

D₁是两幅图像圆章分块灰度值的相似度，(S_K0,S_K1…S_K99)待查询图像的圆章区域的灰度特征向量，(S_C0,S_C1…S_C99)是证书图像数据库中图像的灰度特征向量。D₂是两幅图像颜色特征的相似度。(L_K0,L_K1…L_K127)是待查询图像的圆章区域的HSV颜色特征向量，(L_C0,L_C1…L_C127)是证书图像数据库中图像的HSV颜色特征向量。D是两幅图像总的相似度。α和β是权重系数，经过反复试验，将α和β分别设为5和1。

从图6中我们可以注意到，我们提出的一种基于局部对象和块匹配的扫描证书图像检索方法是可行的和有效的。我们的设计扫描证书方法不仅可以找到对象类也能找到最相似甚至相同的认证图像，并且整个检索时间很短，其中图(a)为发明专利证书检索结果，图(b)和图(c)分别为软件著作权证书(一)和软件著作权证书(二)的检索结果。

我们从各类图像中随机抽取五张图像来测试本方法，将五次的查全率和查准率的平均值做为我们检索系统的性能值。从表1中看出软件著作权扫描图像有良好的平均查全率和平均查准率。最困难的查询专利扫描证书我们的系统也有89.5％的平均查全率。从表1，我们可以得出结论，我们设计的系统可以实现证书相似检查而几乎不需要人工干预。

表1扫描证书图像相似性检索结果

Claims (5)

1.一种基于局部对象和块匹配的扫描证书图像检索方法，其特征在于，包括如下步骤：

A：输入待查询扫描证书图像；

B：对输入的证书图像进行预处理，包括滤波和倾斜校正；

C：对经过预处理的证书图像利用Hough变换进行圆章定位，对定位得到的圆章所在的外接矩形进行分割提取，得到圆章区域，将圆章区域大小调整为100*100后分块处理，提取圆章区域分块后的子块的灰度值特征，所有子块的灰度值特征构成圆章的灰度特征向量，其中所述子块的灰度值特征是指子块内所有像素点的灰度值之和；

D：提取圆章区域的HSV颜色特征向量；

E：建立证书图像数据库；

证书图像数据库中的每一幅证书图像按照上述步骤A～D进行处理，得到并记录数据库中每幅扫描证书图像的圆章的灰度特征向量和HSV颜色特征向量，即建立一个扫描证书图像的特征向量索引；

F：依次计算待查询证书图像的特征向量与图像数据库中每一幅扫描证书图像的特征向量的欧式距离D，并按照计算得到的欧式距离大小，从小到大排序，返回满足设定的阈值要求的扫描证书图像作为检索的结果；

欧式距离D即为两幅图的总相似度，其表达式如下：

D=α×D₁+β×D₂

其中，α和β是权重系数，α和β分别取值为5和1， $D_1=sqrt\left(\underset{i=0}{\overset{99}{\Σ}}{(S_{\mathrm{Ki}}-S_{\mathrm{Ci}})}^2\right),D_2=sqrt\left(\underset{i=0}{\overset{127}{\Σ}}{(L_{\mathrm{Ki}}-L_{\mathrm{Ci}})}^2\right);$

D₁是两幅图像圆章分块灰度值的相似度，(S_K0,S_K1…S_K99)是待查询图像的圆章区域的灰度特征向量，(S_C0,S_C1…S_C99)是证书图像数据库中扫描证书图像的圆章区域的特征向量；D₂是两幅图像颜色特征的相似度，(L_K0,L_K1…L_K127)是待查询图像的圆章区域的HSV颜色特征向量，(L_C0,L_C1…L_C127)是数据库中扫描证书图像的圆章区域的HSV颜色特征向量。

2.根据权利要求1所述的基于局部对象和块匹配的扫描证书图像检索方法，其特征在于，所述步骤B中的滤波是利用高斯滤波器对扫描证书图像进行噪声滤除；

所述倾斜校正包括以下几个步骤：

1)利用OpenCV中的cvFindContours库函数获取进行滤波后的扫描证书图像的外围边缘线；

2)利用Hough变换检测获得经步骤1)中得到的四条边缘线中的一条边缘线，该边缘线的倾斜角度为angle，即边缘线与垂直线的夹角；

3)利用下面的旋转矩阵对图像进行校正：

$\left[\begin{array}{ccc}\mathrm{\α}& \mathrm{\β}& (1-\mathrm{\α})\·{\mathrm{center}}_x-\mathrm{\β}\·{\mathrm{center}}_y\\ -\mathrm{\β}& \mathrm{\α}& \mathrm{\β}\·{\mathrm{center}}_x+(1-\mathrm{\α})\·{\mathrm{center}}_y\end{array}\right]$

其中，α=cos(angle)，β=sin(angle)；center_x，center_y分别是滤波后的扫描证书图像的图像中心点的横坐标和纵坐标。

3.根据权利要求1所述的基于局部对象和块匹配的扫描证书图像检索方法，其特征在于，在所述步骤C中对经过预处理的证书图像利用Hough变换进行圆章定位，对定位得到的圆章所在的外接矩形进行分割提取，得到圆章区域，将圆章区域大小调整为100*100后分块处理，提取圆章区域分块后的子块的灰度值特征，所有子块的灰度值特征构成圆章的灰度特征向量，其中所述子块的灰度值特征是指子块内所有像素点的灰度值之和；

具体操作步骤如下：

1)圆章定位的方法是指，利用Hough变换对预处理后的扫描证书图像进行圆检测得到扫描证书图像中的圆章位置和大小，设定Hough变换中圆检测半径α为：α=0.034*width+0.038*height，其中width和height分别是指预处理后的扫描证书图像的宽和高；

2)将上述步骤1）得到的圆章的外接矩形割出来，并将包含圆章的外接矩形的大小规整为100*100，所述外接矩形即为圆章区域；

3)将上述步骤2)得到的大小为100*100的圆章区域分块成大小为10*10的子块，依次计算各子块的灰度值，各小块灰度值的平方根为S_i,i=0,1,2…99，并将平方根值进行归一化处理，即使得平方根值归一化后的取值范围为[0,1]。

4.根据权利要求1所述的基于局部对象和块匹配的扫描证书图像检索方法，其特征在于，所述步骤D中提取圆章区域HSV颜色特征向量，其具体操作步骤如下：

1)首先将色度H、饱和度S及亮度V三个分量分别非均匀量化为8份、4份和4份：

$\begin{array}{ccc}H\left\{\begin{array}{cc}0& H\∈\[316,360\]\∪\[0,23\]\\ 1& H\∈\[24,50\]\\ 2& H\∈\[51,75\]\\ 3& H\∈\[76,155\]\\ 4& H\∈\[156,195\]\\ 5& H\∈\[196,275\]\\ 6& H\∈\[276,290\]\\ 7& H\∈\[291,315\]\end{array}\right.& S=\left\{\begin{array}{cc}0& S\∈\[0,0.08\]\\ 1& S\∈(0.08,0.4\]\\ 2& S\∈(0.4,0.67\]\\ 3& S\∈(0.67,1.0\]\end{array}\right.& V=\left\{\begin{array}{cc}0& V\∈\[0,0.08\]\\ 1& V\∈(0.08,0.4\]\\ 2& V\∈(0.4,0.67\]\\ 3& V\∈(0.67,1.0\]\end{array}\right.\end{array};$

2)按照步骤1）的划分，圆章区域的HSV空间被分成L_H×L_S×L_V个区间，L_H、L_S、L_V分别是H、S及V的量化级数，将圆章区域的HSV颜色值的三个分量合成一个一维颜色特征向量：

L=H×L_S×L_V+S×L_V+V

其中，L取值范围为[0,127]，即得到一个大小为128的一维直方图；

3）最后将上述2）得到的一维直方图进行归一化处理。

5.根据权利要求1所述的基于局部对象和块匹配的扫描证书图像检索方法，其特征在于，所述步骤F中的阈值为0.048。