CN102663388B - 从背景图片中对手写体字符进行分割的方法 - Google Patents

Abstract

本发明属模式识别技术领域，具体为从背景图片中对手写体字符进行分割的方法。本发明先进行文字、背景分离预处理，即通过对背景图片与合成图片的对比进行分离，并产生仅含所写字符的图片文件，建立图片文件采用图像句柄的方式。在分离时，首先为背景图片开辟一块独立的存储空间，在动态书写的过程中为合成的位图开辟另一块独立的存储空间，在书写过程完成之后将先后开辟的两块存储空间中的图像信息进行比对，将二者的差异归结为字符信息。对手写体字符进行分割时，以行列嵌套扫描结合动态阈值设定的方式来分别确定目标图像的边界信息，然后进行单个字符的分割。本发明的手写体字符的任意行分割方法，可满足特定人群的需求。

Description

从背景图片中对手写体字符进行分割的方法

技术领域

本发明属模式识别技术领域，具体涉及非规整书写格式下从背景图片中对手写体字符进行分割的方法。

背景技术

图像分割是图像处理和前期视觉中的基本技术，是按照图像的某些特征（灰度级、频谱、纹理等）将图像空间划分成一些区域，在这些区域的内部，其特性是相同的或者是均匀的，两个相邻区域的特性则互不相同。图像分割是由图像处理转为图像分析的关键。一方面，它是目标图像表达的基础，对特定测量有重要影响。另一方面，图像分割也是图像的目标表达、特征提取和参数测量等分割所用的主要方法。图像分割有三种不同的途径：

（1）将各像素划归到相应物体或区域的像素聚类方法即区域法；

（2）通过直接确定区域间的边界来实现分割的边界方法；

（3）首先检测边缘像素再将边缘像素连接起来构成边界形成分割。

到目前为止，所有的图像分割算法均是针对某具体问题而提出的，并没有一种可适用于任何图像的通用分割算法，这也可以从一个方面说明，为什么能研究出上千种方式各异的图像分割算法，而且每年都是上百种的速度在递增。尽管存在着数量庞大的各种图像分割方法，但均可以将其分割处理的特点归纳为以下几条：

（1）分割产生的所有区域之和包括了原始图像中原有的所有像素，即分割把原始图像的每个像素都分到某个区域。

（2）分割后的结果互不重叠，即原有像素不能同时分割到两个区域。

（3）分割后的各个区域有其独有的特性，即同区域的像素具有某种共性。

（4）分割后的不同区域具有不同的特性，分割后同一区域内任两像素在该区域内相互连通，即分割后的区域是一个连通组元。

J.H.Wang,F.C.Chang和F.W.Su在IEE Proc.-Vis.ImageSignal Process上发表的论文“Image segmentation via self-organising fusion”中曾提出通过对生长区域进行分级，识别出由同一物体组成的整体区域，从而获得物体的轮廓。文章提出了一种“自组合并”的图像快速分割的方式。具体实施方式是：输入图像被划分成一系列的小区域，每个区域都对应了一个工作特征。首先，所有的图像都被同步地更新，然后运用统计的过程将有价值的区域进行合并，反复进行图像的更新及区域合并的操作直至可以捕获到图像的轮廓。图像的同步更新就会产生“自组合并”的行为，这一在很大程度上可能合并同一图像的行为可以促进区域鉴别。这一方式的好处在于可以节省计算量，原因在于对于图像的更新和图像的合并他们采用了并行处理的方式。   但是，该方法可能导致区域空洞的出现。

发明内容

本发明的目的在于提出一种可避免出现区域空洞的对手写体字符进行分割的方法，以确保分割处理的可靠性和有效性。

本发明提出的对手写体字符进行分割的方法，是在对字符分割之前先进行文字、背景分离的预处理，即未将文字与背景作为统一的对象看待，而是建立在“图层”的基础上，完成对字符信息的完整提取，然后再进行单个字符的分割处理，从而确保处理的可靠性和有效性。

本发明中，对于文字（前景图）、背景（背景图）的分离的方式，是通过对背景图片与合成图片的对比，进行分离，并产生仅含所写字符的图片文件，具体处理方式如下：

（1）将背景图片读入内存区，建立图片文件1；

（2）将绘制好的合成图片读入内存区，建立图片文件2；

（3）将两个图片文件的数据部分进行对比，提取所写汉字信息，并将其保存为BMP文件。

本发明中，以图像句柄的方式建立图片文件。HDIB句柄：就是一块存储位图数据的内存区域的地址，HDIB句柄包含：位图信息头、调色板、DIB图像数据，在ReMoveBgd函数中（vc++6.0），读取两幅位图的数据部分，由DIB句柄得到DIB指针并锁定DIB，

lpDIB= (LPSTR) ::GlobalLock((HGLOBAL)hDIB)………………………………[1]

找到DIB图像象素起始位置：

lpDIBBits = ::FindDIBBits(lpDIB)……………………………………………[2]                           

[1]中的LPSTR是一个指向以NULL('\0')结尾的32位ANSI字符数组的指针；GlobalLock函数的作用是锁定内存中指定的内存块并返回一个地址值，令其指向内存块的起始处。

然后确定从起始位置开始的像素的值，比较背景图中的像素值与合成图像素值是否相同，将不同部分确定为汉字像素信息，同时建立新的位图句柄，将汉字信息保存在信息的内存区域，并保存为BMP文件存入磁盘。

本发明基于图层进行文字、背景的分离时，首先为背景图片开辟一块独立的存储空间，在动态书写的过程中为合成的位图开辟另一块独立的存储空间，在书写过程完成之后将先后开辟的两块存储空间中的图像信息进行比对，将二者的差异归结为字符信息。

本发明以行列嵌套扫描结合动态阈值设定的方式来分别确定目标图像的边界信息，并进行单个字符的分割。

下面具体描述文字、背景分离后对手写体字符进行分割的步骤：

（1）首先，以整幅图像的左上角(0,0)为起始点，对整幅图像进行行列嵌套扫描，在扫描过程中捕捉最上、最下、最左、最右的4个像素点，认定为是可以构成当前字符的边界区的“边界点”，从而定出字符的整体边界。

（2）在对整幅图像进行扫描过程中，当行或列循环扫描出现空白像素点时，就对图像整体作一次分割，空白像素点所在的行或列之前的部分直接进行后续的单个字符的分割；空白像素点所在的行或列之后的部分先沿袭整幅图像的扫描方式，在确定好边界之后进行单个字符的分割。

（3）将手写体字符近似认为是一个正方形区域，在确定单个字符的边界时，比较行扫描过程中持续捕获到的像素点中起始点与终止点之间的差值，与列扫描过程中持续捕获到的像素点中起始点与终止点之间的差值，若二种差值相差的结果已远大于其中一种（如设前者为差值A，后者为差值B，是指“差值A-差值B”绝对值远大于差值B或差值A ），则认定差值较大的行或列的持续扫描所得的终止点不属于当前字符，对应行或列的正确划分应当定格为由起始点到终止点的前一个像素点。

（4）对于单个字符中平行笔画的处理采用动态阈值调整的方法：系统实时记录单个字符中可能出现的平行笔画之间的间距，并以动态平均值作为判断后续平行笔画属于当前字符的一部分或是其他字符的阈值（称为动态阈值）。需要说明的是：第一次出现的两笔平行笔画之间间距的阈值是预设的，这是对个人书写习惯特征的捕获，只有建立在这一基础上的动态阈值调整才有意义。动态平均值（动态阈值）的算式为： 

…………………………………………………………[3]

如上式所示：同一个字符相邻平行笔画之间的间距的整体构成了数列a[i]，任意一对平行笔画之间的间距均属于数列a[i] 的元素，n为当前书写的笔画在所有平行笔画中的排序号，N为自然数的全体，数列b[i]为数列a[i] 的前n项和的平均值，其首项b[0]为预先设定的常值c。从本质上讲，本发明引入的动态阈值调整的思想源于递推数列，因此数列首项的确定是至关重要的，而当前问题中首项的确定则需根据个人的书写习惯来将预设；之后的动态求平均的过程则是对书写误差的进一步校正。 

（5）对非独立体结构的字符的分割。例如左右结构或者左中右结构的汉字，分割阈值的设置与个人的书写习惯是一对比较难以解决的矛盾，按照传统的处理方法无非是将字符间的阈值设得足够小同时将刻意地将字间距调大，这显然是既牵强又不人性化的。例如《沁园春·长沙》的“沁”、汕头的“汕”，如图1所示，前者由于“心”字的左边一点在垂直投影上与“乚”无重叠部分而恰恰同“シ”有交叠，故而将整字错误地分割为图2。本发明对传统的行列嵌套扫描方法进行改进，在扫描的过程中对空白像素点对应的部分进行实时地判断、动态地改变扫描模式：

(i)当假定以列扫描作为外层循环、自左向右作为单向扫描方式的前提下，以行扫描所得距离起始坐标最远处的像素点的横坐标为本轮列循环的次数。

(ii)扫描单个字符的过程中（以行扫描为内层循环，列扫描为外层循环）若扫描出现空白像素列（简称空白列），则扫描跳出本轮大循环，而以起先整幅图像扫描时已经确定的右边界为第二轮扫描的起始点，并且此次列扫描的方向反向：变为从右往左；同样地，当扫描出现空白像素列的时候认为本轮循环结束，即整个扫描过程结束。 

字符分割是基于图片的手写体字符检索的前提，也是检索命中率的重要保证。类似新闻记者、野外考察人员等由于对于信息记录的速度有一定要求而无法做到对书写规整性的兼顾，这在一定程度上造成了后期信息检索的困难。本发明针对这一特殊情况提出了手写体字符的任意行分割算法设计，极大程度上解决了这一问题，满足了特定人群的需求。

附图说明

图1为传统的行列扫描方式对于字符分割不具备普适性的体现举例。

图2为传统的字符分割方式对于阈值设定的依赖性的体现举例。

图3为传统的行列扫描方式对于书写规范性的要求举例。

图4为本发明方法对独立结构字符组合图片的分割举例。 

图5为本发明方法反复调整扫描方式分割复杂图片的举例。

图6表示未引入动态阈值调整的不完整算法的缺陷。

图7表示引入动态阈值调整后的完整算法对于单个字符书写不规范的容忍性体现。

图中标号：

31表示构成“清”的笔画中的“√”与“一”在纵向有交集，从而确保了“清”字作为左右结构字的整字的正确分割；

32表示构成“澈”的笔画中的“√”与“一”在纵向有交集；“一”与“攵”在纵向有交集，从而确保了“澈”作为左中右结构这一特殊结构的汉字同样可以以整字的形式被正确分割；

41表示目标图像的上边界；42表示目标图像的下边界；43表示目标图像的左边界；44表示目标图像的右边界；45表示目标图像中第一个独立字的右边界；46表示目标图像中第一个独立字的下边界，也是第一个字分割完毕的标志；47表示目标图像中第二个独立字的上边界；48表示目标图像中第二个独立字的右边界，也是第二个字分割完毕的标志；49表示目标图像中第三个独立字的左边界；

410表示目标图像中第三个独立字的上边界；411表示目标图像中第三个独立字的下边界，是第三个字分割完毕的标志，也是整幅图像分割完毕的标志；

51表示目标图像的上边界；52表示目标图像的下边界；53表示目标图像的左边界；54表示目标图像的右边界；55表示第一个“森”的右边界；56表示第一个“森”的下边界；57表示第一个“水”的上边界；58表示第一个“水”的下边界；59表示第一个“水”的右边界。

具体实施方式

以下结合附图进一步描述本发明。

首先，如图4所示：对整幅图像进行行列嵌套扫描，定出上、下、左、右四条边界线（41）、（42）、（43）、（44）

其次，对图像进行第二次扫描，此次扫描目的是对分立的字符进行分割。基本思想是认为手写的汉字大致是可以被一个正方形的边框所包围的，假设以列扫描作为外层循环，边界线（43）所示，以其扫描到的第一个像素点的横坐标为“虎”字的左边界同时以该像素点的纵坐标rectpop.bottom作为列扫描的循环次数，当扫描到边界线（45）所示位置时，发现再往右扫一列时像素点的纵坐标便已经远大于rectpop.bottom，故而马上进行右边界的分割，之后“虎”字的行扫描继续，当扫描边界线（46）所示位置的下一行时，又发现扫描到的像素点的横坐标远大于rectpop.bottom，所以此时可以将“虎”字的下边界定出，到此为止，第一个“虎”字的分割完成，而之后的第二个“虎”字的分割思想与之如出一辙。至于“威”字的分割，则与之前的两个字的分割方法不同，由于扫描在一维上是从单一方向进行的，即对于列的扫描始终定格为从左到右，这就造成了其在空间分布上的独立性，换句话说，对于该字的扫描就无法贯彻之前的以具体像素点左边界的纵坐标rectpop.bottom作为列扫描的循环次数，所以对于“威”字的扫描实质上是沿袭了整幅大图像的扫描方式，只不过该字的右边界已定（就是整幅图像的右边界），而其余三个边界则只能由行列嵌套循环定出。

如图3所示：传统算法的正确分割功能一定程度上依赖于单个字符本身笔画之间的位置关系，即无关笔画之间在横向或纵向存在投影的交叠。而按照设计的初衷，本发明能够对两两之间的空间位置任意的手写体字符进行准确的分割，如下图5所示，本算法首先依旧按照设定的算法进行整幅图像的上、下、左、右四条边界的确定，将整幅图拆成如图5所示的左半部分以及剩余的右半部分，可以发现：图5的情形与上一例如出一辙，但与左起第一个“水”字毗邻的“森”字没有以组成它的所有像素点中的至低点作为下边界而是以52号箭头所示位置为其下边界，原因与上例中“威”字的分析是一致的，即纵向扫描沿着从左往右的方向进行推进的过程中遇到空白像素列后，列扫描以此时出现的第一列空白像素为新的起点、以预设的阈值为持续长度，但横向的扫描则与之前反向，在列扫描结束后横向扫描以自右向左的方式进行，目标图像的下边界定格为新的列起点之后的右半部分的至低点。

对于字符间距的动态阈值调整效果说明如图6、7所示：图6反映的是虽然引入了未赋初值的动态阈值调整的策略，错误的根本原因就是系统认为当前“三”字的中间一笔与下面一笔的间距与上两笔之间的间距是接近的，而上两笔之间的间距相比之前已经存在的“上”“、海”、“世”、“博”、“会”这5个字符中的任意一个中的任意两笔平行笔画都要大得多，因此当前的“三”就被划分成了3个独立的字符；而图7则是引入了动态阈值调整的策略之后的效果，这一效果图反映的不光是平行笔画得以正确分割，从侧面也证明了上文提出的分割算法是纯粹意义上的字符分割算法，对于单个字符书写的不规整性同样具有容忍度。

Claims (2)

1.非规整书写格式下从背景图片中对手写体字符进行分割的方法，其特征在于具体步骤为：

（1）首先，以整幅图像的左上角(0,0)为起始点，对整幅图像进行行列嵌套扫描，在扫描过程中捕捉最上、最下、最左、最右的4个像素点，认定为是可以构成当前字符的边界区的“边界点”，从而定出字符的整体边界；

（2）在对整幅图像进行扫描过程中，当行或列循环扫描出现空白像素点时，就对图像整体作一次分割，空白像素点所在的行或列之前的部分直接进行后续的单个字符的分割；空白像素点所在的行或列之后的部分先沿袭整幅图像的扫描方式，在确定好边界之后进行单个字符的分割；

（3）将手写体字符近似认为是一个正方形区域，在确定单个字符的边界时，比较行扫描过程中持续捕获到的像素点中起始点与终止点之间的差值，与列扫描过程中持续捕获到的像素点中起始点与终止点之间的差值，若二种差值相差的结果已远大于其中一种,则认定差值较大的行或列的持续扫描所得的终止点不属于当前字符，对应行或列的正确划分应当定格为由起始点到终止点的前一个像素点；

（4）对于单个字符中平行笔画的处理采用动态阈值调整的方法：系统实时记录单个字符中可能出现的平行笔画之间的间距，并以动态平均值作为判断后续平行笔画属于当前字符的一部分或是其他字符的阈值； 所述动态平均值的算式为：

…………………………………………………………[3]

其中，a[i]为同一个字符相邻平行笔画之间的间距整体构成的数列，任意一对平行笔画之间的间距均属于数列a[i] 的元素，n为当前书写的笔画在所有平行笔画中的排序号，N为自然数的全体，b[n]为数列a[i]的前n项和的平均值数列，其首项b[0]为预先设定的常值c； 

（5）对非独立体结构的字符的分割，在扫描的过程中对空白像素点对应的部分进行实时地判断、动态地改变扫描模式：

(i)假定以列扫描作为外层循环、自左向右作为单向扫描方式的前提下，以行扫描所得距离起始坐标最远处的像素点的横坐标为本轮列循环的次数；

(ii)扫描单个字符的过程中，假设以行扫描为内层循环，列扫描为外层循环，若扫描出现空白像素列，则扫描跳出本轮大循环，而以起先整幅图像扫描时已经确定的右边界为第二轮扫描的起始点，并且此次列扫描的方向反向：变为从右往左；同样地，当扫描出现空白像素列的时候认为本轮循环结束，即整个扫描过程结束。

2.根据权利要求1所述的非规整书写格式下从背景图片中对手写体字符进行分割的方法，其特征在于:在对字符分割之前先进行文字、背景分离的预处理；分离的方式是通过对背景图片与合成图片的对比，进行分离，并产生仅含所写字符的图片文件，具体处理方式如下：

（1）将背景图片读入内存区，建立图片文件1；

（2）将绘制好的合成图片读入内存区，建立图片文件2；

（3）将两个图片文件的数据部分进行对比，提取所写汉字信息，并将其保存为BMP文件。

Images