CN105260751B - 一种文字识别方法及其系统 - Google Patents

Abstract

本发明公开了文字识别方法及其系统，所述文字识别方法步骤包括输入待识别区域图像并进行二值化处理；提取待识别区域笔划特征；提取各笔划的近邻笔划及其相对位置关系特征；部件匹配；字匹配；输出待识别区域字匹配结果。所述文字识别系统包括图像采集模块、图像处理和文字识别模块和文字输出模块。本发明能对印刷体、较为工整的手写体字精准地识别，除了要求手写体字不能太潦草以致不能看出其文字结构特征外没有其它限制，能够高速、大批量地处理印刷体和手写体文稿、表格和票据等。

Description

一种文字识别方法及其系统

技术领域

本发明涉及文字识别领域，尤其涉及一种文字识别方法及其系统。

背景技术

文字识别技术是一项用于将文字信息自动输入电脑、手机及其它信息处理系统的智能化技术。文字识别技术分为联机识别和脱机识别两大类，其中联机识别为即时将手写文字录入到信息处理系统中，如通常见到的通过手写笔将文字在线录入到信息处理系统中；而脱机识别技术包括印刷体字识别和手写体字识别，它是一种将已经印刷或者书写到纸或者其它载体上的文字进行自动识别和录入的技术。

目前印刷体字的自动识别技术，其产品和方法有很多，如我国的汉王、清华紫光等。而在手写体字的自动识别方面，由于手写文字的不规范导致其识别难度较大。目前对手写体字的识别已经出现了如申请号为CN02125949，申请名称为《一种基于结构模型的汉字识别方法》；申请号为CN201010223263，申请名称为《自适应脱机手写识别方法和装置》；申请号为CN90110009，申请名称为《脱机手写汉字识别系统及其识别方法》等技术。

上述手写体字的识别技术存在着以下不足：

首先，手写体字联机识别技术的识别速度受限于人工手写速度，速度较慢，不适用于大批量处理的场合；

其次印刷体字的识别技术因其识别方法所限，识别率有待提高；

更为突出的是，手写体文字的识别仍然沿用印刷体字的识别方法，即先做行字图像分割，然后提取单字特征进行识别。但是由于手写体文字缺乏规范，对行字图像分割可能造成无可弥补的识别误差；同时，常用的统计法、投影法和网格法等文字识别方法也无法做到精准识别，这些方法的识别准确率难于进一步提高。

发明内容

本发明基于文字结构的稳定特征，提出一种文字识别的方法及其系统，用于脱机或联机地自动识别印刷体字和手写体字。

本发明一种文字识别方法，包括以下步骤：

S1：输入待识别区域图像并进行二值化处理；

S2：提取待识别区域笔划特征；

S3：提取各笔划的近邻笔划及其相对位置关系特征；

S4：部件匹配；

S5：字匹配；

S6：输出待识别区域字匹配结果。

进一步地，步骤S2中所述提取笔划特征的方法，是先找出待识别区域中各笔划图像点的最长方向，并以其为主方向，连接所述主方向上的各笔划图像点成为直线段连线，连接相邻的主方向相同的直线段连线就形成了主线段区域，从而找出该笔划特征。

进一步地，步骤S3中所述提取各笔划的近邻笔划，是先找出该笔划的周边附近的笔划并判断其相对位置关系，再从这些相对位置关系中找出与该笔划各个方向上的最邻近的笔划。

进一步地，步骤S4中所述的部件匹配，是以某待识别笔划为中心笔划，与部件特征库中的部件逐一匹配；匹配时是将待识别的中心笔划视做与部件特征库部件的首笔划相重叠，然后比较二者的近邻笔划走向特征和相对位置关系特征，找出它们的对应匹配笔划；然后再分别以这些匹配的笔划为中心笔划，继续比较它们的近邻笔划的走向特征和相对位置关系特征，进一步找出其它的对应匹配笔划；如此不断比较下去，直到全部比较完部件特征库部件的所有笔划并找出各自的对应匹配笔划关系。

进一步地，步骤S4进一步包括：某部件匹配结果的全部笔划均与其他部件匹配结果的笔划相重叠的则该部件匹配结果不予输出。

进一步地，若部件匹配结果属多个相同或相近的结构特征的部件时，则进一步将对应笔划做长度、高度和走向中一种或其组合的精准比较后再输出。

进一步地，步骤S5中所述的字匹配是先找出各个待识别部件的近邻部件，然后逐一以待识别部件为中心部件，与字特征库中的字部件及其近邻部件相对位置关系特征进行匹配。

进一步地，步骤S5进一步包括：若字匹配结果的全部部件均与其他字匹配结果的部件相重叠的则该字匹配结果不予输出。

进一步地，步骤S5进一步包括：若字匹配结果属左右可分成二个字的，则至少通过检查其字形的高宽比例和间隔宽度决定是否分开成两个字输出。

本发明还提供一种文字识别系统，包括：

图像采集模块，用于采集待识别区域图像；

图像处理和文字识别模块，用于对所述待识别区域图像进行二值化处理、提取待识别区域笔划特征、提取各笔划的近邻笔划及其相对位置关系特征、部件匹配和字匹配；

文字输出模块，用于输出待识别区域的字匹配结果。

本发明的有益效果在于，提供一种基于文字结构稳定特征进行精准识别的文字识别方法及其系统，能对印刷体、较为工整的手写体字精准地识别，除了要求手写体字不能太潦草以致不能看出其文字结构特征外没有其它限制，能够高速、大批量地处理印刷体和手写体文稿、表格和票据等。

附图说明

图1是本发明文字识别方法的流程图；

图2是图1中的步骤S2的笔划特征的图像点主方向示意图；

图3是图2中步骤S2的笔划特征的图像点主方向连接成直线段后的示意图；

图4是图1中的步骤S3的笔划相对位置关系示意图；

图5是一个实施例中待识别区域的“日”字的特征图；

图6是图5中所述实施例中“日”字的部件特征库中的特征图；

图7是本发明文字识别系统的结构示意图；

图8是本发明文字识别系统的工作流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图1，本发明一种文字识别方法，包括以下步骤：

S1：输入待识别区域图像并进行二值化处理；

S2：提取待识别区域笔划特征；

S3：提取各笔划的近邻笔划及其相对位置关系特征；

S4：部件匹配；

S5：字匹配；

S6：输出待识别区域字匹配结果。

在步骤S1中，所述待识别区域可以是整页的文字区域、表格中的格区域或文稿中的指定的文字区域。待识别区域的图像一般采用bmp文件格式。所述二值化处理，是黑白两色标识笔划的图像点和白纸(或其它背景)的图像点。且如果需要对表格或其它图文进行识别的，应先对表格和图文进行预处理，分析出待识别的文字区域。

步骤S2中的笔划特征包括笔划的长度、宽度、走向、二端端点坐标、笔划中点坐标和笔划交叉、端连等特征。笔划走向特征是横、竖、撇、捺四个方向的特征。提取笔划特征的方法，是先找出待识别区域中各笔划图像点的最长方向，并以其为主方向，如图2中的双向箭头所示；连接所述主方向上的各笔划图像点成为直线段连线，如图3中的直线段所示；连接相邻的主方向相同的直线段连线就形成了主线段区域；根据主线段区域的特征，就能找出该笔划的长度、宽度、走向、二端端点坐标，中心点坐标等特征，并可判断出本笔划的交叉、端连等特征。

步骤S3中所述提取某笔划的近邻笔划，就是先找出该笔划的周边附近的笔划并判断其相对位置关系，再从这些相对位置关系中找出与该笔划各个方向上的最邻近的笔划。如图5所示，笔划“2”的近邻笔划是“1”、“3”、“4”、“5”共4个笔划。

步骤S3中所述笔划相对位置关系特征，如图4所示，笔划的相对位置关系至少包括上、下、左、右、交叉和端连等六种，还可包括上左，上右、下左和下右。其中上左可认为是上，也可认为是左，其它类同。这样做的目的是使得在对手写体字进行识别时，避免出现因为书写不规范造成误判。

部件匹配方法是以某待识别笔划为中心笔划，与部件特征库中的部件逐一匹配。匹配时是将待识别的中心笔划视做与部件特征库部件的首笔划(事先指定的)相重叠，然后比较二者的近邻笔划走向特征和相对位置关系特征，找出它们的对应匹配笔划。然后再分别以这些匹配的笔划为中心笔划，继续比较它们的近邻笔划的走向特征和相对位置关系特征，进一步找出其它的对应匹配笔划。如此不断比较下去，就可全部比较完部件特征库部件的所有笔划并找出各自的对应匹配笔划关系。

部件特征库的建立，是从规范书写的部件(如印刷体或工整书写)中提取各部件笔划的走向特征及各部件笔划与近邻笔划的相对位置关系特征，并指定其中长度较长的笔划为首笔划。一个部件只需一个规范书写的部件模版。

部件特征库的建立，还可包括一个自主选择的过程。某特定用户根据其书写习惯，可以建立适用于自己的个人部件特征库。

以下将以“日”部件为例，描述“日”部件的识别过程。

请参见图5，图5是待识别区域中“日”的特征图，它包括位于左边一个的“竖”、中间的三个“横”、右边的一个“竖”，分别用数字1-5表示的五个笔划，其中左边“竖”1与中间三个“横”的相对位置关系分别是“上右”、“右”和“下右”，其它笔划之间的位置关系依此类推，并以1为中心笔划。如图6所示，在部件特征库中，“日”部件包括A-E五个笔划，以D为首笔划。比较的过程是，将“D”与“1”对齐，将“D”的近邻笔划“A”、“B”、“C”分别与“1”的近邻笔划“4”、“2”、“5”相比较，比较其各自的笔划走向及各自相对“1”和“D”的相对位置关系，找出最匹配的对应匹配笔划。这里是“A”与“4”匹配对应，“B”与“2”对应，“C”与“5”对应。然后再以“A”和“4”为中心笔划，比较匹配二者的近邻笔划特征，找到“E”与“3”是对应匹配笔划。然后分别以“B”与“2”、“C”与“5”为中心笔划继续比较匹配，直至部件特征库中的笔划匹配完毕，计算该部件的匹配率。

其中，某笔划的匹配值＝(近邻笔划走向特征匹配值之和+近邻笔划相对位置关系特征匹配值之和+本笔划走向特征匹配值)/(近邻笔划数+1)。

部件匹配率＝(各笔划匹配值之和-负值的绝对值之和)/部件笔划数。

其中，部件特征库部件中有笔划但找不到对应匹配笔划的，该笔划匹配值取零值；有待识别笔划但在部件特征库中找不到对应匹配笔划且该待识别笔划不是连笔性质的，则匹配值取负值；如是连笔性质的则不计分值。

选最高匹配率的部件作为部件匹配结果，但如果其全部笔划均与其他输出部件匹配结果的笔划相重叠的，该部件匹配结果则不予输出。比如说在“日”部件的匹配过程中，假设其中有部件匹配结果是“口”，但由于其全部笔划都与另一个部件匹配结果“日”的笔划相重叠，故只输出“日”部件而不输出“口”部件。

在上述识别例子中，由于部件结果是“日”，与“曰”部件中各笔划的数量和位置关系相同，二者属同结构特征，需进一步做精准匹配。即是比较“1”与“4”笔划长度，如“1”长于“4”则输出“日”，否则输出“曰”。

将待识别区域中的笔划(或优选出具有一定长度以上的笔划)逐一设为中心笔划，按照上述方法继续做部件匹配，直至待识别区域中的笔划全部匹配完毕。

字匹配是先找出各个待识别部件的近邻部件。然后逐一以待识别部件为中心部件，与字特征库中的字部件及其近邻部件相对位置关系特征进行匹配，匹配率计算式是：

字匹配率＝(部件匹配值之和+部件相对位置关系特征匹配值之和)/部件数。

取最高匹配率的字作为匹配结果，但如果字匹配结果中全部部件均与其他输出匹配字的部件相重叠的，该字匹配结果不予输出。

对于可拆分成左右二个字的字匹配结果，需继续做精准识别后才输出匹配结果。如识别“明”字时，则应通过检查“明”字的高宽比例及“日”和“月”间隔宽度决定是分开成两个字输出“日”、“月”，还是输出一个字“明”。

字特征库的建立，是从规范书写的字(如印刷体)中提取各部件及各部件与近邻部件的相对位置关系特征。匹配时字各部件都作为字首部件进入匹配。

如图7所示，本发明还提供一种文字识别系统，包括

图像采集模块10，用于采集待识别区域图像；

图像处理和文字识别模块12，用于对所述待识别区域图像进行二值化处理、提取待识别区域笔划特征、提取各笔划的近邻笔划及其相对位置关系特征、部件匹配和字匹配；

文字输出模块14，用于输出待识别区域的字匹配结果。

其中，所述图像采集模块10可以是照相机、录像机、扫描仪等具有采集图像并可以将采集到的图像传送至图像处理和文字识别模块12的任意设备。

所述图像处理和文字识别模块12包括可以运行图像处理程序和文字识别程序的任意智能设备，包括但不限于如电脑主机、用以在线接收和处理上述图像采集模块10传输过来的图像的服务器、单片机、手机等智能设备。

所述文字输出模块14可包括用于显示输出结果的显示器、用于打印输出结果打印机、用于连接到其它设备的输出接口和用于存储识别输出结果的存储器中的一种或其组合。

图8显示了本发明一种文字识别系统的工作流程图，其工作流程在上述一种文字识别方法中已详细描述，此处不再赘述。

由以上方法和系统的特征，我们可以知道，本发明不需做行字图像分割，而是整个待识别区域的笔划特征提取完成后即进入部件匹配，完全避免了由于行字图像分割造成的识别误差；再者本发明采用了文字结构的稳定特征进行识别，能够进行精准匹配。因此本发明识别率明显优于当前常用的其他方法，可同时适用于识别印刷体和手写体文字的联机和脱机识别，使用中不需做识别模式转换。

同时，由于本发明是用笔划走向特征及近邻笔划相对位置关系特征进行匹配比较，匹配过程简单，不需做繁杂计算。而且一个部件特征只需一个部件模板，不需针对不同人书写的字收集海量的文字样本，因此识别速度明显快于其他方法。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (9)

1.一种文字识别方法，其特征在于，包括以下步骤：

S1：输入待识别区域图像并进行二值化处理；

S2：提取待识别区域笔划特征；

S3：提取各笔划的近邻笔划及其相对位置关系特征；

S4：部件匹配；

S5：字匹配；

S6：输出待识别区域字匹配结果；

其中，步骤S4中所述的部件匹配，是以某待识别笔划为中心笔划，与部件特征库中的部件逐一匹配；匹配时是将待识别的中心笔划视做与部件特征库部件的首笔划相重叠，然后比较二者的近邻笔划走向特征和相对位置关系特征，选最高匹配率的部件作为部件匹配结果，找出它们的对应匹配笔划；然后再分别以这些匹配的笔划为中心笔划，继续比较它们的近邻笔划的走向特征和相对位置关系特征，进一步找出其它的对应匹配笔划；如此不断比较下去，直到全部比较完部件特征库部件的所有笔划并找出各自的对应匹配笔划关系；其中，某笔划的匹配值＝(近邻笔划走向特征匹配值之和+近邻笔划相对位置关系特征匹配值之和+本笔划走向特征匹配值)/(近邻笔划数+1)；部件匹配率＝(各笔划匹配值之和-负值的绝对值之和)/部件笔划数。

2.如权利要求1所述的文字识别方法，其特征在于，步骤S2中所述提取笔划特征，是先找出待识别区域中各笔划图像点的最长方向，并以其为主方向，连接所述主方向上的各笔划图像点成为直线段连线，连接相邻的主方向相同的直线段连线就形成了主线段区域，从而找出该笔划特征。

3.如权利要求1所述的文字识别方法，其特征在于，步骤S3中所述提取各笔划的近邻笔划，是先找出该笔划的周边附近的笔划并判断其相对位置关系，再从这些相对位置关系中找出与该笔划各个方向上的最邻近的笔划。

4.如权利要求1所述的文字识别方法，其特征在于，步骤S4进一步包括：某部件匹配结果的全部笔划均与其他部件匹配结果的笔划相重叠的则该部件匹配结果不予输出。

5.如权利要求1或4中的任一项所述的文字识别方法，其特征在于，步骤S4进一步包括：若部件匹配结果属多个相同或相近的结构特征的部件时，则进一步将对应笔划做长度、高度和走向中一种或其组合的精准比较后再输出。

6.如权利要求1所述的文字识别方法，其特征在于，步骤S5中所述的字匹配是先找出各个待识别部件的近邻部件，然后逐一以待识别部件为中心部件，与字特征库中的字部件及其近邻部件相对位置关系特征进行匹配。

7.如权利要求1所述的文字识别方法，其特征在于，步骤S5进一步包括：若字匹配结果的全部部件均与其他字匹配结果的部件相重叠的则该字匹配结果不予输出。

8.如权利要求1或6-7中的任一项所述的文字识别方法，其特征在于，步骤S5进一步包括：若字匹配结果属左右可分成二个字的，则至少通过检查其字形的高宽比例和间隔宽度决定是否分开成两个字输出。

9.一种文字识别系统，包括：

图像采集模块，用于采集待识别区域图像；

图像处理和文字识别模块，用于对所述待识别区域图像进行二值化处理、提取待识别区域笔划特征、提取各笔划的近邻笔划及其相对位置关系特征、部件匹配和字匹配；

文字输出模块，用于输出待识别区域的字匹配结果；

其中，所述图像处理和文字识别模块的部件匹配处理为是以某待识别笔划为中心笔划，与部件特征库中的部件逐一匹配；匹配时是将待识别的中心笔划视做与部件特征库部件的首笔划相重叠，然后比较二者的近邻笔划走向特征和相对位置关系特征，选最高匹配率的部件作为部件匹配结果，找出它们的对应匹配笔划；然后再分别以这些匹配的笔划为中心笔划，继续比较它们的近邻笔划的走向特征和相对位置关系特征，进一步找出其它的对应匹配笔划；如此不断比较下去，直到全部比较完部件特征库部件的所有笔划并找出各自的对应匹配笔划关系；其中，某笔划的匹配值＝(近邻笔划走向特征匹配值之和+近邻笔划相对位置关系特征匹配值之和+本笔划走向特征匹配值)/(近邻笔划数+1)；部件匹配率＝(各笔划匹配值之和-负值的绝对值之和)/部件笔划数。