CN103488986A - 自适应字符切分及提取方法 - Google Patents

Abstract

自适应字符切分及提取方法，首先，将读入的图像进行倾斜矫正；然后，从中定位出表格左上角的坐标(x₀,y₀)，并以此设置矩形框裁剪出图像；最后，进行单个字符的切分及提取。本发明结合多种二值化图像的效果，采用基于垂直方向投影和轮廓特征组合下的两种策略多次自适应切分及提取，提高了从图像中定位出来的字符串的切分率，并保证了提取出的待识别数字正确率在98%～100%。

Description

自适应字符切分及提取方法

技术领域

本发明属于计算机数字图像处理技术领域，涉及一种综合使用多知识决策的自适应字符切分及提取方法。

背景技术

图像二值化是图像处理中最常见的处理方法，是进行图像分析、特征提取和模式识别之前必要的图像预处理过程。尽管到目前为止，二值化阈值的选取方法数以百计，但仍没有一个通用的方法对各种各样的图像都能达到最理像的效果。

OTSU算法，也称大津法，是全局自适应二值化算法的经典算法之一，由大津于1979年提出，它是建立在一幅图像的灰度直方图基础上，依据类间距离极大准则来确定区域分割阈值。适用于目标与背景的比例适当和信噪比高的情况，分割效果较好。

简单统计法是Kittlter等人提出的一种基于简单图像像素灰度梯度值与图像灰度统计相结合的阈值选取方法。阈值可以一次计算得到，从而避免了多次迭代分析图像灰度直方图的麻烦，同时也导致了目标与背景的过度区域做不到非常精确的分割，但针对字符而言可以较好的分割出笔画所在的主要区域，轮廓的体现较为分明。

随着单个字符识别技术趋于成熟，复杂背景下字符串的切分已经成为制约数字识别精度的关键。单个字符中内部的间断、字符间的粘连以及图像背景噪声不同程度的污染等，都是造成字符串不能精确切分的主要因素。目前，现已提出的切分方法：基于图的连通性切分，基于SCP(Significant Contour Point)的数字切分，垂直方向像素投影，基于BFA(Background and Foreground Analysis)的数字切分，上下轮廓(Upper/Lower Contour)特征,滴水算法(Drop-Falling),LDP(LimitedDynamic Programming)算法等，其大多是应用在曲线切分上，一般情况下都需要人工干预选取切分线的起始点，相比之下，机打印刷类的字体是垂直的，起始点的确定就意味着切分线的建立，因此，这类字体下的切分难点就在于如何自动选取起始点。现有单一的字符切分算法切分字符的正确率较低，阻碍了字符识别率的提高。

发明内容

本发明的目的在于提供一种自适应字符切分及提取方法，解决现有技术存在的识别数字正确率低的问题。

本发明的技术方案是，自适应字符切分及提取方法，首先，将读入的图像进行倾斜矫正；然后，从中定位出表格左上角的坐标(x₀,y₀)，并以此设置矩形框裁剪出图像；最后，进行单个字符的切分及提取。

本发明的特点还在于：

单个字符的切分及提取方法包括两种，第一种为：首先，用简单统计法将灰度位图二值化，并对二值位图进行边缘噪声清理和消除孤立点，然后，追踪上下轮廓特征，分析空白间隔切除不需要的部分，对保留下来的部分搜索极值点，进而取特征点处切分。

具体步骤如下：

步骤1：读入原始图像，裁剪并归一化左上角位图；

步骤2：用最大类间方差算法二值化该灰度图，进行霍夫变换,定位出表格左上角坐标(x₀,y₀)及倾斜角度angle；

步骤3：若angle不为0⁰，旋转angle角度；

步骤4：以(x₀,y₀)为矩形左下角，裁剪出目标所在区域位图记为image₀；

步骤5：用简单统计法二值化image₀记为I₁，再消除孤立噪声点，并进行边缘清理；

步骤6：在I₁中用扫描像素的方法定位字符的上下轮廓特征，得到其间隔的离散值span(1,I₁_x)，有

span(1,i)＝U(1,i)-D(1,i)

其中，I₁_x为I₁的宽，i初始化为0，上限为I₁_x-1，移动步长为1，U(1,I₁_x)、D(1,I₁_x)分别记录上下轮廓的纵坐标点；自左向右分析span(1,i)空白间隔处缩小目标所在区域范围,基于灰度位图image₀再次切割记为image₁；

步骤7：搜索span(1,i)极值点，依据字符粘连处平均高度d从中选取切分点，基于image₁裁剪出字符碎片，用最大类间方差算法二值化；

步骤8：对字符碎片做轮廓临界点裁剪，二次切分自适应提取有效字符片位图。

单个字符的切分及提取的第二种方法是：用最大类间方差算法二值化后直接进行垂直方向投影，在无像素累积点处切分，生成日期碎片。

具体步骤如下：

步骤1：读入原始图像，裁剪并归一化左上角位图；

步骤2：用最大类间方差算法二值化该灰度图，进行霍夫变换,定位出表格左上角坐标(x₀,y₀)及倾斜角度angle；

步骤3：若angle不为0⁰，旋转angle角度；

步骤4：以(x₀,y₀)为矩形左下角，裁剪出目标所在区域位图记为image₀；

步骤5：最大类间方差法二值化image₀，再消除孤立噪声点，并进行边缘清理；

步骤6：垂直投影空白处切分字符串，生成字符碎片；

步骤7：对字符碎片做轮廓临界点裁剪，二次切分自适应提取有效字符片位图。

本发明具有如下有益效果：本发明结合多种二值化图像的效果，采用基于垂直方向投影和轮廓特征组合下的两种策略多次自适应切分及提取，提高了从图像中定位出来的字符串的切分率，并保证了提取出的待识别数字正确率在98%～100%。

附图说明

图1是本发明自适应字符切分及提取方法流程图；

图2是本发明自适应字符切分及提取方法定位日期的操作流程图；

图3是本发明自适应字符切分及提取方法实施例1字符切分流程图；

图4是本发明自适应字符切分及提取方法实施例2字符切分流程图；

图5是本发明自适应字符切分及提取方法字符提取流程图；

图6为本发明自适应字符切分及提取方法实施例3的发票源图；

图7为本发明自适应字符切分及提取方法实施例3的左上角位图；

图8为本发明自适应字符切分及提取方法实施例3定位的开票日期头位图；

图9为本发明自适应字符切分及提取方法实施例3定位日期位图；

图10为本发明自适应字符切分及提取方法实施例3字符碎片位图；

图11为本发明自适应字符切分及提取方法实施例3字符碎片放大位图；

图12为本发明自适应字符切分及提取方法实施例3提取数字片位图。

具体实施方式

下面结合具体实施方式和附图对本发明作进一步详细的说明。

实施例1，自适应字符切分与提取方法，流程参见图1，具体实施步骤包括：

步骤1，读入原始图像，裁剪出左上角位图，从而大大减少后续操作数据量，并按固定比例大小进行缩放，类似全局归一化的效果,记录此时高度h₀、宽度w₀。

步骤2，用最大类间方差算法二值化该灰度图，进行霍夫变换检测表格线和倾斜角度，定位出表格左上角及角度的矫正。具体操作如下：以位图左下角为坐标原点，将二值图像素值为0的直角坐标系下的坐标点(x,y)转换为极角坐标下的(r,θ)并累加个数存储于hough矩阵，方程式为：

r＝x×cosθ+y×sinθ

其中，r∈(0,(h₀ ²+w₀ ²)^1/2)，θ∈(0⁰,180⁰)，(r,θ)∈hough。

从r＝h₀-a处开始降序搜索hough矩阵中同(r,θ)数量值，搜索到的第个大于预设的门限值b时设：

up_dis＝r

angle＝θ

其中，up_dis为表格最上直线距原点的距离，angle为表格倾斜角度，a、b为常量。

同理，从r＝a处升序搜索hough矩阵中同(r,θ)数量值，搜索到的第个大于预设的门限值c时设：

left_dis＝r

其中，left_dis为表格最左边直线距原点的距离，c为常量。

若θ≠0，判断应旋转角度angle及表格左上角坐标(x₀,y₀)，设置如下：

步骤3，邻近插值算法以angle角度对位图进行倾斜矫正。

步骤4，以(x₀,y₀)为矩形左下角，按固定比例从原灰度图中裁剪出目标所在区域部分，以上具体流程如图2所示，此时位图矩阵记为image₀。

步骤5，简单统计法二值化image₀，搜索8领域连通域消除孤立噪声点，并进行边缘清理，记录此时二值位图为I₁。

步骤6，在I₁中定位字符的上下轮廓特征，可采用自上而下和自下而上纵轴方向扫描像素的点方法，用一维数组U(1,I₁_x)、D(1,I₁_x)分别记录上下轮廓的纵坐标点，得到上下轮廓距离的离散值span(1,I₁_x)，有

span(1,i)＝U(1,i)-D(1,i)

其中，I₁_x为I₁的宽，i初始化为0，上限为I₁_x-1，移动步长为1。分析span(1,i)空白间隔处，并自适应选取缩小目标区域的切割点(x₁,y₁)，基于image₀图裁剪出日期矩阵image₁。

步骤7，依据先递减后递增的规律从左向右逐一查找span(1,i)中的极值点，设小于d(注：d为常量)为切分点，基于image₁灰度位图裁剪，最终切分成字符碎片，用最大类间方差算法生成二值化效果图。

步骤8，对字符碎片做轮廓临界点裁剪，二次切分自适应提取有效字符片位图。首先，统计字符碎片高度、宽度，排序查找出现次数最多的高度、宽度分别记为h_a、w_a，其次，鉴于此时二值化位图细节清晰，只需取上轮廓特征极值点，参考h_a、w_a及非有效字符的提取情况，自适应的进行二次切分，直至取到所有有效字符片存于数组矩阵digital_matrix中，参见图3，图5；

实施例2，自适应字符切分与提取方法，参见图1，具体实施步骤：

步骤1～步骤4同实施例1；

步骤5：用最大类间方差算法二值化image₀灰度位图记为I₀，再以8领域连通域搜索消除孤立噪声点,并进行边缘清理。

步骤6：将I₀进行垂直投影，投影累加值记录在一维矩阵S(1,I₀_x)中，公式如下：

$S(1,i)=\underset{j=0}{\overset{I_0\_y-1}{\mathrm{\Σ}}}(1-I_0(i,j))$

其中，I₀_x为I₀的宽，I₀_y为I₀的高，I₀(i,j)为在坐标(i,j)下的像素值(注：0为黑色像素点，1为白色像素点)，S(1,i)为在横坐标为i下的所有像素为0的个数。

基于空白间隔处进行字符切分，得到字符碎片piece_matrix[sum](注：sum为碎片总数)。参见图4。

步骤7：对字符碎片做轮廓临界点裁剪，二次切分自适应提取有效字符片位图。

实施例3，通过从一张发票中提取单个日期字符来说明自适应字符串切分与提取方法的实现过程。

步骤1：将任意选取的一张发票图片设为源图，如图6所示。裁剪出左上角位图，并按固定比例大小进行缩放,记录此时高度h₀＝290、宽度w₀＝600，左上角位图如图7所示。

步骤2：用最大类间方差算法二值化该灰度图，进行霍夫变换检测表格线和倾斜角度，定位出表格左上角及角度的矫正。以左下角为坐标原点，检测到表格左上角坐标为(99,93)、角度为0⁰。

步骤3：位图无倾斜，不需要矫正。

步骤4：以(99,93)为矩形左下角，按固定比例从原灰度图中裁剪出目标所在区域部分，记为image₀如图8所示。

步骤5：简单统计法二值化image₀，搜索8领域连通域消除孤立噪声点，并进行边缘清理，记录此时二值位图为I₁。

步骤6：在I₁中用扫描像素的方法定位字符的上下轮廓特征，得到其间隔的离散值span(1,I₁_x)，有

span(1,i)＝U(1,i)-D(1,i)

其中，I₁_x为I₁的宽，i初始化为0，上限为I₁_x-1，移动步长为1，U(1,I₁_x)、D(1,I₁_x)分别记录上下轮廓的纵坐标点。

自左向右分析span(1,i)空白间隔处缩小目标所在区域范围,切除开票日期头的左下角坐标为(80,0)，基于灰度位图image₀再次切割记为image₁，如图9所示。

步骤7：依据先递减后递增的规律从左向右逐一查找span(1,i)中的极值点(注：i从80开始)，设小于d＝7为切分点，其横坐标：29、39、47、57、64、74、83、94、110(注：i-80后的下标)。基于image₁灰度位图裁剪，最终切分成字符碎片，用otsu算法二值化。

步骤8：对字符碎片做轮廓临界点裁剪，效果参见图10，放大字符碎片效果见图11。二次切分自适应提取有效字符片位图。首先，统计字符碎片高度、宽度，排序查找出现次数最多的高度、宽度分别记为h_a＝13、w_a＝8，其次，鉴于此时二值化位图细节清晰，只需取上轮廓特征极值点，参考h_a、w_a及非有效字符的提取情况，自适应的进行二次切分，直至取到所有有效字符片存于数组矩阵digital_matrix中。提取出的8个数字片显示如图12。

以上实施例中提取的有效字符数量及识别结果判断切分正确，无需再使用实施例2中的方案进行处理，而对有些发票需要实施例2中的方案重新切分，即执行实施例2步骤5～步骤7得到切分及提取结果。

Claims (5)

1.自适应字符切分及提取方法，其特征在于，首先，将读入的图像进行倾斜矫正；然后，从中定位出表格左上角的坐标(x₀,y₀)，并以此设置矩形框裁剪出图像；最后，进行单个字符的切分及提取。

2.如权利要求1所述的自适应字符切分及提取方法，其特征在于，单个字符的切分及提取方法为：首先，用简单统计法将灰度位图二值化，并对二值位图进行边缘噪声清理和消除孤立点，然后，追踪上下轮廓特征，分析空白间隔切除不需要的部分，对保留下来的部分搜索极值点，进而取特征点处切分。

3.如权利要求2所述的自适应字符切分及提取方法，其特征在于，具体步骤如下：

步骤1：读入原始图像，裁剪并归一化左上角位图；

步骤2：用最大类间方差算法二值化该灰度图，进行霍夫变换,定位出表格左上角坐标(x₀,y₀)及倾斜角度angle；

步骤3：若angle不为0⁰，旋转angle角度；

步骤4：以(x₀,y₀)为矩形左下角，裁剪出目标所在区域位图记为image₀；

步骤5：用简单统计法二值化image₀记为I₁，再消除孤立噪声点，并进行边缘清理；

步骤6：在I₁中用扫描像素的方法定位字符的上下轮廓特征，得到其间隔的离散值span(1,I₁_x)，有

span(1,i)＝U(1,i)-D(1,i)

其中，I₁_x为I₁的宽，i初始化为0，上限为I₁_x-1，移动步长为1，U(1,I₁_x)、D(1,I₁_x)分别记录上下轮廓的纵坐标点；自左向右分析span(1,i)空白间隔处缩小目标所在区域范围,基于灰度位图image₀再次切割记为image₁；

步骤7：搜索span(1,i)极值点，依据字符粘连处平均高度d从中选取切分点，基于image₁裁剪出字符碎片，用最大类间方差算法二值化；

步骤8：对字符碎片做轮廓临界点裁剪，二次切分自适应提取有效字符片位图。

4.如权利要求1所述的自适应字符切分及提取方法，其特征在于，单个字符的切分及提取方法为，用最大类间方差算法二值化后直接进行垂直方向投影，在无像素累积点处切分，生成日期碎片。

5.如权利要求4所述的自适应字符切分及提取方法，其特征在于，具体步骤如下：

步骤1：读入原始图像，裁剪并归一化左上角位图；

步骤2：用最大类间方差算法二值化该灰度图，进行霍夫变换,定位出表格左上角坐标(x₀,y₀)及倾斜角度angle；

步骤3：若angle不为0⁰，旋转angle角度；

步骤4：以(x₀,y₀)为矩形左下角，裁剪出目标所在区域位图记为image₀；

步骤5：最大类间方差法二值化image₀，再消除孤立噪声点，并进行边缘清理；

步骤6：垂直投影空白处切分字符串，生成字符碎片；

步骤7：对字符碎片做轮廓临界点裁剪，二次切分自适应提取有效字符片位图。

Images