CN103093228A - 一种在自然场景图像中基于连通域的中文检测方法 - Google Patents

Abstract

本发明公开一种在自然场景图像中基于连通域的中文检测方法，该方法首先获取自然场景图像，将自然场景图像进行笔划宽度变换预处理；笔划宽度变换的输出是一个图像，该图像的每一个像素值代表原始图像相应位置的像素的最大可能笔划宽度，在这一步中进行图像像素的连通域标定；在获得连通分量之后，提取连通分量的各种特征，这些特征组合能很好的表达连通分量；从中文结构出发，首先执行字内合并，接着执行字间合并，字内合并方法检测单个的汉字，字间合并方法检测文本行，并用矩形框对文本区域加以标定。本发明方法以中文的复杂结构为出发点，在中文检测方面具有更好的针对性，因此具有更高的主动性和精确性。

Description

一种在自然场景图像中基于连通域的中文检测方法

技术领域

本发明涉及一种文本定位领域，具体地说，涉及的是一种在自然场景图像中基于连通域的中文检测方法。

背景技术

文本是计算机视觉的许多应用中的一项重要特征。图像中的文本存有很多有用的信息，对视觉内容理解和获取至关重要。文本提取的主要目的是将文本图像转化为符号形式，从而利于修改、检索、利用及传输。文本定位是文本提取的一个重要步骤。

文本定位是对图像中文本位置的精确定位。基于连通域的文本定位方法首先将图像表示为一个个的连通域，然后从结构分析出发，通过合并方法将文本行标示，输出结果。

传统的合并方法在处理一些结构复杂的汉字时效果不甚理想。外语如最常见的英语单词字符之间一般水平排列。对于中文文字，情况更加复杂。本发明提出的基于连通域的中文合并方法，效果很好。

中国专利申请号为200710064388.1、公开号为101266654的发明专利，该发明公开基于连通分量和支持向量机的图像中文本定位的方法和装置。该发明的主要创新是利用支持向量机的学习方法来提高字符连通分量判决的准确性。但因为中文字数很多，该方法需要大量标注的正负样本来学习，工作量较大，而且并没有显示对结构复杂的文字连通域合并有效的解决方法。

发明内容

本发明的目的在于针对目前图像文本定位上的定位不甚理想的情况，提出一种基于连通域的中文检测方法，该方法抓住文字笔画宽度一致的特征，利用Canny和梯度信息提取笔画宽度，形态学获取连通区域，并利用文字的结构信息来进行连通区域的合并，提高对上中下、左中右等复杂结构的汉字的检测，同时实现文字区域定位和分割，方法简单有效。这种方法以中文的复杂结构为出发点，在中文检测方面具有更好的针对性，因此具有更高的主动性和精确性。

为实现上述目的，本发明所述的基于连通域的中文检测的方法，包括以下步骤：

第一步，进行输入图像处理，首先获取自然场景图像，将自然场景图像进行笔划宽度变换等预处理。

第二步，笔划宽度变换的输出是一个图像，该图像的每一个像素值代表原始图像相应位置的像素的最大可能笔划宽度。在这一步中将进行图像像素的连通域标定。

第三步，在获得连通分量之后，提取连通分量的各种特征，这些特征组合必须能够很好的表达连通分量。

第四步，得到连通分量的各种特征之后，从中文结构出发，首先执行字内合并，接着执行字间合并，字内合并方法检测单个的汉字，字间合并方法检测文本行，并用矩形框对文本区域加以标定。

上述第一步中，需要对原始图像进行笔画宽度变换，具体过程如下：

（1）在进行笔划宽度变换之前，首先将彩色图转化为灰度图，并进行二值化处理；

（2）利用Canny边缘检测算子提取图像存在的边缘信息。

（3）获取（2）中边缘像素的梯度方向，梯度方向的获取用原始图像和Sobel算子作卷积得到；

（4）笔划宽度赋值，将梯度方向相反的边缘像素对之间的像素赋值，大小为该像素对之间的距离；

（5）形态学滤波：采用膨胀再腐蚀的运算来连接邻近的区域，再用腐蚀的方法去除一些直线。

上述第二步中，如图3所示，利用修改后顺序区域标定方法进行连通域标定，具体过程如下：

（1）考察邻近像素“相邻”关系，如果相邻两个像素值比值在区间1/3和3之间，则认为其“相邻”，图像由左至右下进行遍历并顺序地在标记图上相应像素赋以标记；

（2）标记传递：如果当前的像素是一个前景像素，则将被赋予一个新的区域标号，或者如果该邻域中之前检查过的邻近节点是一个前景像素，则该像素的标号与其邻近节点的标号一致；

（3）解决标号冲突：一旦所有属于同一区域的不同标记被确定下来，该区域中所有像素的标记安然无恙被更新为同一个值。

（4）结束标定，输出结果；

上述第三步中，利用获得的连通域（值大小相同的像素属于同一个连通域），提取连通域的各种特征，具体特征如下：

（1）字符笔划宽度方差与背景的对比度；

（2）字符的长宽比；

（3）笔划宽度和连通域尺寸比值；

（4）连通域尺寸和连通域面积比值。

上述第四步中，利用步骤3得到的连通域特征，顺序执行字内合并方法和字间合并方法，具体过程如下：

（1）字内合并方法合并条件：

每一个连通域被认为是一个可能的“简单”的汉字。通常一个汉字包含至少两个“简单”的汉字。如果两个“简单”的汉字相邻并且满足定义的限制条件，执行字内合并方法，将两个“简单”的汉字是否合并为一个汉字。所述限制条件如下：

1）两个连通域的平均笔划宽度比值必须在1/2和2之间。

2）两个汉字的连通域外接矩形的中心点x坐标差值不大于平均笔划宽度的3.5倍，y坐标差值不大于平均笔划宽度的7倍。

3）两个汉字的连通域外接矩形的中心点y坐标差值不大于平均笔划宽度的3.5倍，x坐标差值不大于平均笔划宽度的7倍。

（2）字间合并方法合并条件：

1）属于一个文本行里的汉字的平均笔划宽度比值应该在0.8和1.25之间。

2）两个汉字的连通域外接矩形的中心点x坐标差值不大于两个连通域之间最高的高度值的0.5倍。

3）两个汉字的连通域外接矩形的中心点y坐标差值不大于两个连通域之间最宽的宽度值的3倍。

（3）首先执行字内合并，过程如下：

1）遍历所有连通域，如果两个连通域满足字内合并条件，合并，形成一个连通域对；

2）遍历所有连通域对，如果两个连通域对共有一个连通域，各并成一个新的连通域组，去除原来的连通域对。

3）将2）中得到的连通域组更新位新的连通域。

（4）执行字间合并，各并条件如（2）所示，合并过程与字内合并相同。

（5）得到字间合并的连通域，以矩形框限定输出。

与现有技术相比，本发明具有如下的有益效果：

本发明与传统的中文检测方法有所区别，利用笔划宽度变换得到可能的宽度信息，然后利用修改的顺序区域标定方法将连通域标示，再利用中文合并方法检测图像中的中文文本。传统的合并方法在处理一些结构复杂的汉字时效果不甚理想，比如最常见的英语单词字符之间一般水平排列，而对于中文文字，情况则非常复杂。一个汉字可能由更多的部首组成，位置关系不仅有左中右水平排列，还有上中下垂直排列，本发明的合并方法在处理复杂中文字合并时具有更高的准确性。综上，本发明基于连通域的中文检测方法相比于传统的文本检测等方法，拥有更高的主动性和精确性。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明的流程图。

图2是本发明一实施例笔画宽度变换的流程图。

图3是本发明一实施例修改后的顺序区域标定的流程图。

图4是本发明一实施例中文合并方法的效果图，其中：（a）寻找相邻的连通域。（b）字间合并算过程及结果。（c）两个相邻的汉字合并成一个文本行，找到两个文本行和一个汉字。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1所示，本实施例提供一种基于连通域的中文检测方法，流程可以分为以下几个步骤：

步骤1：得到输入图像，执行预处理；

步骤2：对图像进行连通域标定；

步骤3：针对每一个连通域，提取连通域特征信息；

步骤4：根据得到的连通域特征信息，将连通域合并，执行字内合并过程；

步骤5：执行字间合并过程；

步骤6：得到检测出的中文文本行，检测结束。

步骤1的过程如图2所示，需要注意的是，笔划宽度变换只是预处理的一种可能方式，也可以采取其它方式得到连通域信息。笔划宽度的思路如下：首先对输入图像进行边缘检测，得到边缘信息；然后从每一个边缘像素出发，找到与之梯度方向大致相反的边缘像素点，形成一个边缘点对；计算边缘点对的距离，将该值赋于边缘点对之间所有的像素点。则经过笔划宽度变换的输出图像像素点代表可能的笔划宽度。利用笔划宽度信息可以获取可能的文本信息，因为笔划宽度一致的连通域很有可能是文本区域。具体过程如下：

（1）将彩色图转化为灰度图；

（2）利用Canny算子进行边缘检测；

（3）提取边缘像素的梯度信息；

（4）从边缘像素出发，找到梯度方向相反的边缘像素点；

（5）将（4）中找到的边缘像素对之间的边缘像素赋值，大小为两者之间的距离。

步骤2的过程如图2所示。连通域标定过程使用的是修改后的顺序区域标定方法。主要修改的是其中的关联规则，即经过笔划宽度变换之后，若邻接的像素值大小比值在1/3和3之间，则视为“相邻”。修改后的顺序区域标定方法具体过程如下：

（1）考察邻近像素“相邻”关系，如果相邻两个像素值比值在区间1/3和3之间，则认为其“相邻”，图像由左至右下进行遍历并顺序地在标记图上相应像素赋以标记；

（2）标记传递：如果当前的像素是一个前景像素，则将被赋予一个新的区域标号，或者如果该邻域中之前检查过的邻近节点是一个前景像素，则该像素的标号与其邻近节点的标号一致；

（3）解决标号冲突：一旦所有属于同一区域的不同标记被确定下来，该区域中所有像素的标记安然无恙被更新为同一个值。

（4）结束标定，输出结果；

步骤3所使用的连通域特征信息用于判断两个连通域是否属于同一个字，或者属于同一个文本行。作此判断的依据条件有4个：

（1）字符笔划宽度方差与背景之间的对比度。

（2）字符的长宽比。

（3）笔划宽度和连通域尺寸比值。

（4）连通域尺寸和连通域面积比值。

步骤4和步骤5是最关键的部分，如图4所示。在提取到连通域信息之后，可以通过连通域信息判断连通域是否是文本区域。具体过程如下：

（1）字内合并方法合并条件：

1）两个连通域的平均笔划宽度比值必须在1/2和2之间。

2）两个汉字的连通域外接矩形的中心点x坐标差值不大于平均笔划宽度的3.5倍，y坐标差值不大于平均笔划宽度的7倍。

3）两个汉字的连通域外接矩形的中心点y坐标差值不大于平均笔划宽度的3.5倍，x坐标差值不大于平均笔划宽度的7倍。

（2）字间合并方法合并条件：

1）属于一个文本行里的汉字的平均笔划宽度比值应该在0.8和1.25之间。

2）两个汉字的连通域外接矩形的中心点x坐标差值不大于两个连通域之间最高的高度值的0.5倍。

3）两个汉字的连通域外接矩形的中心点y坐标差值不大于两个连通域之间最宽的宽度值的3倍。

（3）首先执行字内合并，过程如下：

1）遍历所有连通域，如果两个连通域满足字内合并条件，合并，形成一个连通域对；

2）遍历所有连通域对，如果两个连通域对共有一个连通域，各并成一个新的连通域组，去除原来的连通域对。

3）将2）中得到的连通域组更新位新的连通域。

（4）执行字间合并，各并条件如（2）所示，合并过程与字内合并相同。

（5）得到字间合并的连通域，以矩形框限定输出。

常用的文字连通区域合并方法在处理一些结构复杂的汉字时效果不甚理想，如上中下和左中右等复杂的结构，这些子连通区域是属于一个汉字还是多个汉字很难判断。本发明提出的方法抓住文字笔画宽度一致的特征，利用Canny和梯度信息提取笔画宽度以及形态学获取连通区域，并利用文字的结构信息来进行连通区域的合并，提高对上中下、左中右等复杂结构的汉字的检测，同时实现文字区域定位和分割，方法简单有效，而且对复杂背景图像文字检测有非常好的效果。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (6)

1.一种在自然场景图像中基于连通域的中文检测方法，其特征在于包括以下具体步骤：

第一步，进行输入图像处理，首先获取自然场景图像，将自然场景图像进行笔划宽度变换预处理；

第二步，笔划宽度变换的输出是一个图像，该图像的每一个像素值代表原始图像相应位置的像素的最大可能笔划宽度，在这一步中进行图像像素的连通域标定；

第三步，在获得连通分量之后，提取连通分量的各种特征，这些特征组合能很好的表达连通分量；

第四步，得到连通分量的各种特征之后，从中文结构出发，首先执行字内合并，接着执行字间合并，字内合并方法检测单个的汉字，字间合并方法检测文本行，并用矩形框对文本区域加以标定。

2.根据权利要求1所述的在自然场景图像中基于连通域的中文检测方法，其特征在于第一步所述的笔划宽度变换，具体过程如下：

（1）在进行笔划宽度变换之前，首先将彩色图转化为灰度图，并进行二值化处理；

（2）利用Canny边缘检测算子提取图像存在的边缘信息；

（3）获取（2）中边缘像素的梯度方向，梯度方向的获取用原始图像和Sobel算子作卷积得到；

（4）笔划宽度赋值，将梯度方向相反的边缘像素对之间的像素赋值，大小为该像素对之间的距离；

（5）形态学滤波：采用膨胀再腐蚀的运算来连接邻近的区域，再用腐蚀的方法去除一些直线。

3.根据权利要求1所述的在自然场景图像中基于连通域的中文检测方法，其特征在于第二步中，所述图像像素的连通域标定利用修改后顺序区域标定方法，具体过程如下：

（1）如果相邻两个像素值比值在区间1/3和3之间，则认为其“相邻”，图像由左至右下进行遍历并顺序地在标记图上相应像素赋以标记；

（2）标记传递：如果当前的像素是一个前景像素，则将被赋予一个新的区域标号，或者如果该邻域中之前检查过的邻近节点是一个前景像素，则该像素的标号与其邻近节点的标号一致；

（3）解决标号冲突：一旦所有属于同一区域的不同标记被确定下来，该区域中所有像素的标记安然无恙被更新为同一个值；

（4）结束标定，输出结果。

4.根据权利要求1所述的在自然场景图像中基于连通域的中文检测方法，其特征在于第三步中，所述提取连通分量的各种特征具体如下：

（1）字符笔划宽度方差与背景之间的对比度；

（2）字符的长宽比；

（3）笔划宽度和连通域尺寸比值；

（4）连通域尺寸和连通域面积比值。

5.根据权利要求1-4任一项所述的在自然场景图像中基于连通域的中文检测方法，其特征在于第四步中，所述字内合并方法是指：每一个连通域被认为是一个可能的“简单”的汉字，通常一个汉字包含至少两个“简单”的汉字，如果两个“简单”的汉字相邻并且满足定义的限制条件，执行字内合并方法，将两个“简单”的汉字是否合并为一个汉字，所述限制条件如下：

1）两个连通域的平均笔划宽度比值在1/2和2之间；

2）两个汉字的连通域外接矩形的中心点x坐标差值不大于平均笔划宽度的3.5倍，y坐标差值不大于平均笔划宽度的7倍；

3）两个汉字的连通域外接矩形的中心点y坐标差值不大于平均笔划宽度的3.5倍，x坐标差值不大于平均笔划宽度的7倍。

6.根据权利要求1-4任一项所述的在自然场景图像中基于连通域的中文检测方法，其特征在于第四步中，所述字间合并方法用来检测文本行，在执行完字内合并方法之后，接着执行字间合并方法，将连通域合并以形成文本行，字间合并方法限制条件如下：

1）属于一个文本行里的汉字的平均笔划宽度比值该在0.8和1.25之间；

2）两个汉字的连通域外接矩形的中心点x坐标差值不大于两个连通域之间最高的高度值的0.5倍；

3）两个汉字的连通域外接矩形的中心点y坐标差值不大于两个连通域之间最宽的宽度值的3倍。

Images