CN101894154B - 一种图像文档关键图案的提取方法 - Google Patents

Abstract

本发明公开一种图像文档关键图案的提取方法，其特征在于按以下步骤进行：获取源图像文档，确定模板S；在模板S中确定邻域方向角基准特征X’、重心夹角基准特征Y’和重心距离基准特征Z’，并建立参考表；采集处理图像M中每个图案像素的邻域方向角特征X，找出与邻域方向角基准特征X’邻域方向角相匹配的匹配图案像素D；引用重心夹角基准特征Y’和重心距离基准特征Z’，在处理图像M中进行虚拟关键图案还原投票，定位出真实关键图案。本发明的显著效果是，突破了形状匹配需要完整轮廓信息的局限，简化了局部特征的计算，对文档图像中具有局部形变、部分旋转和缩放的手写关键词能够有效提取，用签名识别的方法对书写者建模，能够达到书写者身份鉴别的目的。

Description

一种图像文档关键图案的提取方法

技术领域

本发明涉及一种关键图案的提取方法，尤其设计一种字迹文档图像关键词提取技术领域。

背景技术

从手写字迹文档图像中提取关键词是一项重要的任务，它能够作为文本相关笔迹鉴别的预处理步骤，其实质是从数字图像中识别和定位目标物体。目标物体识别一般通过将目标物体模型的特征和数字图像中的检测到的实体的特征进行匹配的方式实现。学术界提出了大量基于整体和局部方法的能够抗旋转和位移的目标物体识别和定位的技术。整体方法基于整体特征，如边界和区域。这些方法包括不变矩、Fourier描述子和互相关。局部方法使用局部特征，包括关键点、局部最大曲率和多边形近似。

Hough变换是检测直线、圆和其它解析曲线的有效方法，它把目标的识别问题转化为对在参数空间投票多少的判定。

现有技术的缺点是：最初的Hough变换只能用来检测形状有解析表达式的目标。为了检测形状任意的、没有解析表达式的目标，人们提出了广义Hough变换(GHT)算法。GHT的实质也是让轮廓边界点进行投票，只是投票地点不是由表达式的参数确定，而是定义一个参考点和一套投票机制，通过投票的集中程度来判定目标的存在与否。

GHT解决了任意形状边界目标的识别，但它的缺点是：需要目标物体的完整轮廓边界点信息，难以从字迹文档图像中提取所有有效的关键词，难以可靠实现书写者身份鉴别。

发明内容

本发明的目的是提供一种图像文档关键图案的提取方法，利用改进的广义Hough变换从手写汉字文档图像中提取关键词，能够可靠实现书写者身份的鉴别。

为达到上述目的，本发明表述一种图像文档关键图案的提取方法，其关键在于按以下步骤进行：

一种图像文档关键图案的提取方法，其关键是按以下步骤进行：

一、获取源图像文档，并对在源图像文档进行二值化和骨架化处理，获得处理图像M，并在处理图像M中确定所要查阅的关键图案，并以其中一个关键图案作为模板S，模板S的长a和宽b由人工确定；

二、确定模板S的重心，在模板S中确定每个像素点在该模板S中的邻域方向角基准特征X’、重心夹角基准特征Y’和重心距离基准特征Z’，并用这些基准特征建立参考表；

三、采集处理图像M中每个图案像素的邻域方向角特征X，将每个图案像素的邻域方向角特征X与所述邻域方向角基准特征X’进行比较，找出与邻域方向角基准特征X’邻域方向角相匹配的匹配图案像素D；

四、引用参考表中的重心夹角基准特征Y’和重心距离基准特征Z’，并投射到所述匹配图案像素D上，用该匹配图案像素D的重心夹角和重心距离，在处理图像M中对关键图案的重心进行虚拟关键图案还原投票，定位出图像文档中所有的真实关键图案。

所述像素点邻域方向角的获取方法为：

第一步：确定图案像素点A的边长为r的正方形，其邻域是以点A为中心，边长为r的图像文档的子图像；

第二步：统计该子图像周边的邻域边界点，将相邻的边界点组成N个集合，即邻域边界点集；

第三步：以图案像素点A所在横轴正方为邻域方向角起始边，按逆时针旋转，每个邻域边界点集中点与图案像素点A的连线为邻域方向角终止边，获取每个邻域边界点集的方向角，其范围是[0，360)；

第四步：统计出图案像素A所有邻域边界点集的方向角，即该图案像素点A的N个图案像素邻域方向角。

所述每个图案像素在模板S中的重心夹角为：对于模板S中的每个字符像素横轴正方向和它与模板S重心连线构成的向量V沿逆时针方向所成夹角为重心夹角，即从横轴正方向开始，按逆时针方向旋转到V所经过的角度，其范围是[0，360)。

所述每个图案像素在模板S中的重心距离为：每个字符像素点到模板S重心的距离长度。

所述模板S重心为：该模板S中所有像素点X向坐标和的平均值，所有像素点Y向坐标和的平均值。

所述参考表为：邻域方向角基准特征X’、重心夹角基准特征Y’和重心距离基准特征Z’，其中邻域方向角基准特征X’包含N个值，它们构成了参考表中的一行；

在匹配过程中，对图像文档中的每个字符像素点提取N个邻域方向角特征，用这些方向角与参考表中每一行的对应方向角的值进行比较，如果匹配度大于设定阈值，则在图像文档中用重心夹角和重心距离进行虚拟关键图案还原投票，最终根据票数在参数空间中形成局部峰值，定位出真实关键图案的位置。

所述匹配和投票的过程为：设经过二值化和骨架化的获得处理图像M和待检索的源图像文档分别为R和I，其中R＝{r_ij|i＝1，…，m；j＝1，…，n}，I＝{i_xy|x＝1，…，k；y＝1，…，l}，k＞m，l＞n，参考表为RTable(rt)＝{rt_s|s＝1，…，z}，邻域边长为2t+1，角度差阈值为ta，虚拟关键图案为S，S＝{s_xy|x＝1，…，k；y＝1，…，l}，k＞m，l＞n，匹配度阈值为tm，R中字符像素个数为area(R)，匹配度定义为s_xy和area(R)的比值。

投票算法如下：

Algorithm2：Vote(R，I，Rtable，ta，tm)

Step1：将S中所有s_xy置0，依次读取I中的每个字符像素i_xy，(i_xy≠0)，在给定邻域t中计算它的DirectionAngle(i_xy)；

Step2：对于每一个i_xy，依次读取参考表的每一行的方向角：RTable(rt_s，1)，将DirectionAngle(i_xy)和RTable(rt_s，1)中方向角个数进行比较，如果不相等，转Step3；将这两组方向角依次对应求差的绝对值d_k，置d_k＝min(d_k，mod(360，d_k))；若所有d_k＜＝ta，用RTable(rt_s，2)和RTable(rt_s，3)计算模板图像中以字符像素rt_s为起点、重心点G为终点的向量v，在参数空间图像S中做向量运算i_xy+v得到的投票点s_xy，将s_xy处的投票数加1；

Step3：若rt_s＜RTable项数，取下一个rt_s，转Step2；置rt_s为1，若i_xy不是I中最后一个字符像素，取下一个i_xy，转Step2；

处理图像M中某个像素点的所有邻域方向角与参考表中某一个点的所有邻域方向角大小一一对应，该处理图像M中的像素点才与参考表中的一个点相匹配，二者邻域方向角大小的差值的绝对值在一个设定范围内，就可以视为二者邻域方向角对应。再利用参考表中的重心夹角基准特征Y’和重心距离基准特征Z’数据，倒推该处理图像M中像素点所在虚拟关键图案的重心点所在，如果多个处理图像M中像素点所投票的重心点都在某一个区域内，投票数可由人工设定。则可以推断该区域的中心就是一个真实关键图案的重心，再倒画出该真实关键图案的外包矩形。

也可以利用所有虚拟关键图案的重心点，直接倒画出该虚拟关键图案的外包矩形，如果虚拟关键图案的外包矩形的满足投票数量要求，则可确定为真实关键图案的外包矩形。

Step4：统计S中所有s_xy，s_xy/area(R)＞tm，将其作为匹配点在图像文档中画出与模板图像对应的外包矩形，算法结束。

本发明的显著效果是：本发明提出了一种基于广义Hough变换的手写汉字文档图像关键词提取方法，它是手写汉字文档图像关键词提取的新方法。关键词提取是文本相关笔迹鉴定中的重要步骤。笔迹鉴定技术属于生物特征模式识别领域。本发明使用具有形变的手写关键词图像作模板，对该模板的每个字符像素抽取局部特征，包括邻域方向角基准特征X’、重心夹角基准特征Y’和重心距离基准特征Z’，并用这些特征建立参考表。对于待提取的手写文档图像，采用字符像素逐点匹配和投票的方式进行广义Hough变换，在参数空间中定位出手写关键词图像的位置。本发明对传统的广义Hough变换进行了修改，突破了形状匹配需要完整轮廓信息的局限，简化了局部特征的计算，对手写汉字文档图像中具有局部形变、部分旋转和缩放的手写关键词能够有效提取。对于提取的相同关键词建立训练集，用签名识别的方法对书写者建模，能够达到书写者身份鉴别的目的。

附图说明

图1是邻域方向角的示意图；其中1a有1个邻域方向角，1b有4个邻域方向角，1c有6个邻域方向角，在实际操作中最多发现6个邻域方向角，为保证出线更多笔画的情况，可以将邻域方向角的数量N设定到8个或更多。

图2是处理图像M的示意图；

图3是模板S的示意图；

图4是重心向量和重心夹角的示意图：

图5是参考表的示意图，该参考表设置的是6个邻域方向角；

图6是投票数不同，值由高到低变化时的各种虚拟关键图案的示意图；

图7是本发明的方法步骤图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。

如图7所示：

一种图像文档关键图案的提取方法，按以下步骤进行：

一、获取源图像文档，并对在源图像文档进行二值化和骨架化处理，获得处理图像M，并在处理图像M中确定所要查阅的关键图案，并以其中一个关键图案作为模板S，模板S的长a和宽b由人工确定；

二值化为图像灰度值处理常见技术，将图像所有像素确定为0和1两种，在此不再赘述。

骨架化是图像处理技术中的腐蚀算法，将字迹的线条宽度进行清晰的限定，这也是图像处理中的成熟技术，在此不再赘述。

也可以在模板S确定后，对模板S进行二值化和骨架化处理。

二、确定模板S的重心，在模板S中确定每个像素点在该模板S中的邻域方向角基准特征X’、重心夹角基准特征Y’和重心距离基准特征Z’，并用这些基准特征建立参考表；

三、采集处理图像M中每个图案像素的邻域方向角特征X，将每个图案像素的邻域方向角特征X与所述邻域方向角基准特征X’进行比较，找出与邻域方向角基准特征X’邻域方向角相匹配的匹配图案像素D；

四、引用参考表中的重心夹角基准特征Y’和重心距离基准特征Z’，并投射到所述匹配图案像素D上，用该匹配图案像素D的重心夹角和重心距离，在处理

图像M中对关键图案的重心进行虚拟关键图案还原投票，定位出图像文档中所有的真实关键图案。

所述像素点邻域方向角的获取方法为：

第一步：确定图案像素点A的边长为r的正方形，其邻域是以点A为中心，边长为r的文档图像的子图像；

第二步：统计该子图像周边的邻域边界点，将相邻的边界点组成N个集合，即邻域边界点集；

第三步：以图案像素点A所在横轴正方为邻域方向角起始边，按逆时针旋转，每个邻域边界点集中点与图案像素点A的连线为邻域方向角终止边，获取每个邻域边界点集的方向角，其范围是[0，360)；

第四步：统计出图案像素A所有邻域边界点集的方向角，即该图案像素点A的N个图案像素邻域方向角。

所述每个图案像素在模板S中的重心夹角为：对于模板S中的每个字符像素横轴正方向和它与模板S重心连线构成的向量V沿逆时针方向所成夹角为重心夹角，即从横轴正方向开始，按逆时针方向旋转到V所经过的角度，其范围是[0，360)。

所述每个图案像素在模板S中的重心距离为：每个字符像素点到模板S重心的距离长度。

所述模板S重心为：该模板S中所有像素点X向坐标和的平均值，所有像素点Y向坐标和的平均值。

所述参考表为：邻域方向角基准特征X’、重心夹角基准特征Y’和重心距离基准特征Z’，其中邻域方向角基准特征X’包含N个值，它们构成了参考表中的一行；

在匹配过程中，对文档图像中的每个字符像素点提取N个邻域方向角特征，用这些方向角与参考表中每一行的对应方向角的值进行比较，如果匹配度大于设定阈值，则在文档图像中用重心夹角和重心距离进行虚拟关键图案还原投票，最终根据票数在参数空间中形成局部峰值，定位出真实关键图案的位置。

N的取值范围为1-8

设经过二值化和骨架化的获得处理图像M和待检索的源图像文档分别为R和I，其中R＝{r_ij|i＝1，…，m；j＝1，…，n}，I＝{i_xy|x＝1，…，k；y＝1，…，l}，k＞m，l＞n，参考表为RTable(rt)＝{rt_s|s＝1，…，z}，邻域边长为2t+1，角度差阈值为ta，虚拟关键图案为S，S＝{s_xy|x＝1，…，k；y＝1，…，l}k＞m，l＞n，匹配度阈值为tm，R中字符像素个数为area(R)，匹配度定义为s_xy和area(R)的比值，匹配过程和投票算法如下：Algorithm2：Vote(R，I，Rtable，ta，tm)

Step1：将S中所有s_xy置0，依次读取I中的每个字符像素i_xy，(i_xy≠0)，在给定邻域t中计算它的DirectionAngle(i_xy)；

Step2：对于每一个i_xy，依次读取参考表的每一行的方向角：RTable(rt_s，1)，将DirectionAngle(i_xy)和RTable(rt_s，1)中方向角个数进行比较，如果不相等，转Step3；将这两组方向角依次对应求差的绝对值d_k，置d_k＝min(d_k，mod(360，d_k))；若所有d_k＜＝ta，用RTable(rt_s，2)和RTable(rt_s，3)计算模板图像中以字符像素rt_s为起点、重心点G为终点的向量v，在参数空间图像S中做向量运算i_xy+v得到的投票点s_xy，将s_xy处的投票数加1；

Step3：若rt_s＜RTable项数，取下一个rt_s，转Step2；置rt_s为1，若i_xy不是I中最后一个字符像素，取下一个i_xy，转Step2；

Step4：统计S中所有s_xy，s_xy/area(R)＞tm，将其作为匹配点在文档图像中画出与模板图像对应的外包矩形，算法结束。

本发明对96名学生建立了一个手写汉字文档数据库，每名学生都书写了一段相同的文字。如图2所示，图3中的关键词取自第一个“计算机”，它们都经过了二值化和骨架化处理。在图2中，投票数超过给定阈值的点用圆圈标记，并对以该点为重心的关键词还原其大小，用方框标出。在这个例子中，角度差阈值取值为30，邻域半径取值为5，匹配度阈值取值为0.17。

从图2中可以看出，匹配点和方框集中的地方就是关键词出现的地方，算法对关键词“计算机”的提取非常准确。

方向角匹配度阈值的自动选取策略

如图6所示：将匹配度阈值由高到低进行测试，当定位出的外包矩形的位置关系不合理时停止测试，得到所需阈值。具体方法如下：将匹配度阈值从1到0进行测试，间隔0.01，也就是将tm依次取值1、0.99、0.98、…、0。对于每一次测试，以投票数与模板图像字符像素数比值超过阈值的投票点为重心画出与模板图像对应外包矩形。如果不出现这种情况：某个矩形与另一个矩形的相交部分占其面积的30％～70％，则将tm取下一个值进行测试。否则，将tm加上0.01作为最终确定的匹配度阈值。

如图6所示，6a-6f分别为匹配度阈值取0.3、0.17、0.16、0.15、0.14和0.1时的匹配和投票情况。从图6中可以看出，匹配度过大时，如0.3，不能找出所有的关键词。而匹配度过小时，如小于0.17，则会出现多余的匹配。这种情况下，会出现某个矩形与另一个矩形的相交部分占其面积的30％～70％的情况，也就是两个关键词会有一半左右的部分是重叠的，这在一篇正常的文档中出现不合理，所以它可以作为匹配度阈值测试的退出条件。最终的匹配度阈值0.17，能够在不出现关键词不合理重叠的情况下找出所有的关键词。

有时候在寻找关键词的时候会出现多余匹配或误匹配，其处理方式如下：

解决多余匹配的方法如下：

对多余匹配由外包矩形包含比率和票数进行删除，对误匹配用分块数点数的模板匹配方式删除。具体方法如下：以上段方法算出阈值后，对投票数与模板图像字符像素数比值超过该阈值的投票点画出外包矩形。对所有的外包矩形进行两两比较，若某两个矩形的相交部分面积超过其中一个面积的90％，则删除这两个矩形中对应投票数较少的那个矩形。重复这个过程，直到不能再删除矩形为止。

如图6a所示，该图是以“计算机”为模板的匹配结果，采用上述方法删除所有的多余匹配，得到结果，但仍然存在误匹配。产生这个问题的原因在于，匹配与投票的过程是点对点进行的，考虑了以该点为中心的邻域内的局部结构特征，但缺乏对汉字整体结构特征的比较。

解决误匹配的方法如下：统计待检验的关键词图像的每一行的点数，即对它作行投影，得到一个数组，长度为其行数。将该数组等分成十份，在每份中将各行点数求和，得到量化之后的数组，长度为10。在将该数组的每个元素除以其最大值，得到归一化的数组。该数组即为量化和归一化的行投影向量。类似的，可以得到量化和归一化的列投影向量。对模板关键词图像也作同样处理。将两个图像的行投影和列投影向量的每个对应元素依次求差值的绝对值，并求出其平均值，如果该值大于0.2，则认为是一个误匹配。

解决了多余匹配和误匹配后，可以大副提高本发明的可靠性。

不解决多余匹配和误匹配的问题，可降低投票数，通过操作者肉眼观察是否取消多余匹配和误匹配。

本发明提出了基于邻域方向角匹配与投票的手写文字文档图像关键词提取的新方法，本方法的优点在于以下几方面：

1)提出了邻域方向角作为手写文字文档图像的特征，它综合反映了笔画的弯曲程度、相对位置和方向，能够描述手写文字文档的笔迹特征。

2)对超过匹配度阈值的字符像素用重心夹角和重心距离在文档图像中进行还原投票，定位出手写关键词图像的位置。对手写文字文档图像中具有局部形变、部分旋转和缩放的手写关键词能够有效提取，并在后期处理中能够准确

3)消除多余匹配和误匹配。

4)对于提取的相同关键词建立训练集，用签名识别的方法对书写者建模，能够达到书写者身份鉴别的目的。

本发明具有广泛的应用前景，可以用于公安刑侦、金融、信息安全等其他需要进行笔迹鉴定的各个领域。

Claims (1)

1.一种图像文档关键图案的提取方法，其特征在于按以下步骤进行：

一、获取源图像文档，并对在源图像文档进行二值化和骨架化处理，获得处理图像M，并在处理图像M中确定所要查阅的关键图案，并以其中一个关键图案作为模板S，模板S的长a和宽b由人工确定；

二、确定模板S的重心，在模板S中确定每个像素点在该模板S中的邻域方向角基准特征X’、重心夹角基准特征Y’和重心距离基准特征Z’，并用这些基准特征建立参考表；

三、采集处理图像M中每个图案像素的邻域方向角特征X，将每个图案像素的邻域方向角特征X与所述邻域方向角基准特征X’进行比较，找出与邻域方向角基准特征X’邻域方向角相匹配的匹配图案像素D；

四、引用参考表中的重心夹角基准特征Y’和重心距离基准特征Z’，并投射到所述匹配图案像素D上，用该匹配图案像素D的重心夹角和重心距离，在处理图像M中对关键图案的重心进行虚拟关键图案还原投票，定位出图像文档中所有的真实关键图案；

所述像素点邻域方向角的获取方法为：

第一步：确定图案像素点A的边长为r的正方形，其邻域是以点A为中心，边长为r的图像文档的子图像；

第二步：统计该子图像周边的邻域边界点，将相邻的边界点组成N个集合，即邻域边界点集；

第三步：以图案像素点A所在横轴正方为邻域方向角起始边，按逆时针旋转，每个邻域边界点集中点与图案像素点A的连线为邻域方向角终止边，获取每个邻域边界点集的方向角，其范围是[0，360)；

第四步：统计出图案像素A所有邻域边界点集的方向角，即该图案像素点A的N个图案像素邻域方向角；

所述每个图案像素在模板S中的重心夹角为：对于模板S中的每个字符像素横轴正方向和它与模板S重心连线构成的向量V沿逆时针方向所成夹角为重心夹角，即从横轴正方向开始，按逆时针方向旋转到V所经过的角度，其范围是[0，360)；

所述每个图案像素在模板S中的重心距离为：每个字符像素点到模板S重心的距离长度；

所述模板S重心为：该模板S中所有像素点X向坐标和的平均值，所有像素点Y向坐标和的平均值；

邻域方向角基准特征X’、重心夹角基准特征Y’和重心距离基准特征Z’，其中邻域方向角基准特征X’包含N个值，它们构成了参考表中的一行；

在匹配过程中，对图像文档中的每个字符像素点提取N个邻域方向角特征，用这些方向角与参考表中每一行的对应方向角的值进行比较，如果匹配度大于设定阈值，则在图像文档中用重心夹角和重心距离进行虚拟关键图案还原投票，最终根据票数在参数空间中形成局部峰值，定位出真实关键图案的位置；

所述匹配和投票的过程为：设经过二值化和骨架化的获得处理图像M和待检索的源图像文档分别为R和I，其中R＝{r_ij|i＝1，…，m；j＝1，…，n}，I＝{i_xy|x＝1，…，k；y＝1，…，l}，k＞m，l＞n，参考表为RTable(rt)＝{rt_s|s＝1，…，z}，邻域边长为2t+1，角度差阈值为ta，虚拟关键图案为S，S＝{s_xy|x＝1，…，k；y＝1，…，l}，k＞m，l＞n，匹配度阈值为tm，R中字符像素个数为area(R)，匹配度定义为s_xy和area(R)的比值，匹配过程和投票算法如下：Algorithm2：Vote(R，I，Rtable，ta，tm)

Step1：将S中所有s_xy置0，依次读取I中的每个字符像素i_xy，(i_xy≠0)，在给定邻域t中计算它的DirectionAngle(i_xy)；

Step2：对于每一个i_xy，依次读取参考表的每一行的方向角：RTable(rt_s，1)，将DirectionAngle(i_xy)和RTable(rt_s，1)中方向角个数进行比较，如果不相等，转Step3；将这两组方向角依次对应求差的绝对值d_k，置d_k＝min(d_k，mod(360，d_k))；若所有d_k＜＝ta，用RTable(rt_s，2)和RTable(rt_s，3)计算模板图像中以字符像素rt_s为起点、重心点G为终点的向量v，在参数空间图像S中做向量运算i_xy+v得到的投票点s_xy，将s_xy处的投票数加1；

Step3：若rt_s＜RTable项数，取下一个rt_s，转Step2；置rt_s为1，若i_xy不是I中最后一个字符像素，取下一个i_xy，转Step2；

Step4：统计S中所有s_xy，s_xy/area(R)＞tm，将其作为匹配点在图像文档中画出与模板图像对应的外包矩形，算法结束。

Images