CN104636717A - 图表识别的方法及装置 - Google Patents

Abstract

本发明涉及图像识别领域，提供了一种图表识别的方法及装置。方法包括：加载图片、二值化图片，为二值图片的每个像素点赋予坐标信息，对二值图片进行倾斜校正处理。选取任意交点为起点，顺时针或逆时针读取与起点相邻的交点的坐标信息，记录最小闭环路径经过的交点的坐标信息。根据最小闭环路径经过的交点的坐标信息确定被最小闭环路径包绕的单元格的数量。根据最小闭环路径经过的交点的坐标信息和被最小闭环路径包绕的单元格的数量生成表格。装置包括：图片加载单元、图片二值化单元、倾斜校正单元、储存单元、交点读取单元、单元格数量计算单元和表格生成单元。图表识别的方法及装置能够更好地识别出表格，并且能够识别出表格中合并过的单元格。

Description

图表识别的方法及装置

技术领域

本发明涉及图像识别领域，具体而言，涉及一种图表识别的方法及装置。

背景技术

图文识别又叫光学字符识别(Optical Character Recognition，OCR)是指：电子设备(例如扫描仪或数码相机)检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程；即，对文本资料进行扫描，然后对图像文件进行分析处理，获取文字信息的过程。现有的图文识别一般只注重文字的识别，对图表不能识别或识别效果较差，使得图文识别技术的适用受到局限。

发明内容

有鉴于此，本发明的目的在于提供一种图表识别的方法，能够提高表格识别的准确度，增加图文识别技术的适用范围。

本发明是这样实现的：

第一方面，本发明实施例提供了一种图表识别的方法，应用于图表识别的装置，所述图表识别的方法包括:

加载待识别的图片，将该图片二值化得到二值图片，为所述二值图片的每个像素点赋予坐标信息，对所述二值图片进行倾斜校正处理；所述方法还包括以下步骤：

遍历所述二值图片，y轴坐标相同且像素点连续为1的像素点组成横线，x轴坐标相同且像素点连续为1的像素点组成竖线，记录所述横线和所述竖线的交点的坐标信息；其中所述待识别的图片包括的文字或表格线条对应的像素点二值化为所述二值图片中的1，所述待识别的图片中空白处对应的像素点二值化为所述二值图片中的0；

选取任意交点为起点，顺时针或逆时针读取与所述起点相邻的交点的坐标信息，记录最小闭环路径经过的交点的坐标信息；

根据所述最小闭环路径经过的交点的坐标信息确定被所述最小闭环路径包绕的单元格的数量；

根据所述最小闭环路径经过的交点的坐标信息和被所述最小闭环路径包绕的单元格的数量生成表格。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中所述选取任意交点为起点，顺时针或逆时针读取与所述起点相邻的交点的坐标信息，记录最小闭环路径经过的交点的坐标信息，包括：

判断距离所述二值图片中任一交点的正上方、正下方、正左方和正右方最近的四个交点，将所述四个交点的坐标信息记录到所述任一交点的属性中，若所述正上方、正下方、正左方或正右方不存在交点，则标记空白；

选取所述二值图片中任意交点为起点，读取所述起点的属性里记录的交点的坐标信息，找到与所述起点的x坐标值相同的交点a1，根据所述交点a1的属性再找到与所述交点a1的y坐标值相同的交点b1，根据所述交点b1的属性找到与所述交点b1的x坐标值相同的交点c1；其中所述交点c1的y坐标值与所述起点的y坐标值相同，所述起点、交点a1、交点b1、交点c1和起点形成最小闭环路径，记录所述起点、交点a1、交点b1和交点c1的坐标信息。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中顺时针读取时，从起点经交点a1、交点b1、交点c1再到起点的路径为顺时针；

所述找到与所述起点的x坐标值相同的交点a1，包括：根据所述起点的属性找到与所述起点的x坐标值相同的交点，并标识为交点d，根据所述交点d的属性找到与所述交点d的y坐标值相同的交点，并标识为交点e，判断从所述起点经过所述交点d到所述交点e的路径是否为顺时针，若所述起点经过所述交点d到所述交点e的路径为顺时针，则所述交点d为所述交点a1；若所述起点经过所述交点d到所述交点e的路径为逆时针，则重新标识所述交点d为中间交点dx，记录所述中间交点dx，根据所述中间交点dx的属性找到与所述中间交点dx的x坐标值相同的交点，并重新标识为交点d，根据重新标识的所述交点d的属性找到与重新标识的所述交点d的y坐标值相同的交点，并重新标识为交点e，再次判断从所述起点经过重新标识的所述交点d再到重新标识的所述交点e的路径是否为顺时针；

所述根据所述交点a1的属性再找到与所述交点a1的y坐标值相同的交点b1，包括：根据所述交点e的属性找到与所述交点e的x坐标值相同的交点，并标识为交点f，判断从所述交点a1经过所述交点e到所述交点f的路径是否为顺时针，若所述交点a1经过所述交点e到所述交点f的路径为顺时针，则所述交点e为所述交点b1；若所述交点a1经过所述交点e到所述交点f的路径为逆时针，则重新标识所述交点e为中间交点ex，记录所述中间交点ex，根据所述中间交点ex的属性找到与所述中间交点ex的y坐标值相同的交点，并重新标识为交点e，根据重新标识的所述交点e的属性找到与重新标识的所述交点e的x坐标值相同的交点，并重新标识为交点f，再次判断从所述交点a1经过重新标识的所述交点e再到重新标识的所述交点f的路径是否为顺时针；

所述根据所述交点b1的属性找到与所述交点b1的x坐标值相同的交点c1，包括：根据所述交点f的属性找到与所述交点f的y坐标值相同的交点，并标识为交点g，判断从所述交点b1经过所述交点f到所述交点g的路径是否为顺时针，若所述交点b1经过所述交点f到所述交点g的路径为顺时针，则所述交点f为所述交点c1；若所述交点b1经过所述交点f到所述交点g的路径为逆时针，则重新标识所述交点f为中间交点fx，记录所述中间交点fx，根据所述中间交点fx的属性找到与所述中间交点的x坐标值相同的交点，并重新标识为交点f，根据重新标识的所述交点f的属性找到与重新标识的所述交点f的y坐标值相同的交点，并重新标识为交点g，再次判断从所述交点b1经过重新标识的所述交点f再到重新标识的所述交点g的路径是否为顺时针；

判断所述交点g的坐标与所述起点的坐标是否相同，若所述交点g的坐标与所述起点的坐标不同，则重新标识所述交点g为中间交点gx，记录所述中间交点gx，并根据所述中间交点gx的属性找到与所述中间交点gx的y相同的交点，并重新标识为交点g，再次判断重新标识的所述交点g的坐标与所述起点的坐标是否相同；

记录所述起点、所述交点a1、所述交点b1和所述交点c1的坐标信息。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中所述根据所述最小闭环路径的经过的交点的坐标信息确定被所述最小闭环路径包绕的单元格的数量，包括：

所述中间交点dx、所述中间交点ex、所述中间交点fx和所述中间交点gx的个数分别为D1、D2、D3和D4，其中所述D1个中间交点中与所述D3个中间交点中x坐标值或y坐标值相同的中间交点的个数为V；其中所述D2个中间交点中与所述D4个中间交点中x坐标值或y坐标值相同的中间交点的个数为W；D1、D2、D3、D4、V和W均为大于或等于0的整数；

计算Z＝(D1+D3-V+1)×(D2+D4-W+1)，其中Z为顺时针读取时起点、a1、b1、c1和起点形成的最小闭环路径所包绕的单元格的数量。

结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中所述根据所述最小闭环路径经过的交点的坐标信息和被所述最小闭环路径包绕的单元格的数量生成表格，包括：

根据所述起点、所述交点a1、所述交点b1、所述交点c1的坐标信息和所述中间交点dx、所述中间交点ex、所述中间交点fx、所述中间交点gx的坐标信息，以及Z，生成表格。

结合第一方面的第一种、第二种、第三种或第四种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中所述方法还包括：

遍历所述最小闭环路径所包绕的二值图片，对所述最小闭环路径所包绕的二值图片x坐标值相同且像素点全为0的像素点组成的线条进行剪切，再对所述最小闭环路径所包绕的二值图片y坐标值相同且像素点全为0的像素点组成的线条进行剪切，得到二值图片块，所述两个线条各自的两端均连接所述最小闭环路径；

将所述二值图片块转化为二值字符串，所述二值字符串与二值化后的字库的编码进行匹配，记录匹配出的文字及记录匹配出的文字的坐标信息；

根据匹配出的文字的坐标信息，将所述匹配出的文字填充进所述生成的表格。

结合第一方面的第五种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中若匹配出的是文字的偏旁或部首，则将所述二值图片块与紧邻的前或后的二值图片块组合，再将组合后的二值图片块转化为二值字符串，再次与所述二值化后的字库的编码进行匹配。

第二方面，本发明实施例提供了一种图表识别的装置，包括:

图片加载单元，用于加载待识别的图片；

图片二值化单元，将所述加载后的图片二值化得到二值图片，为所述二值图片的每个像素点赋予坐标信息；

倾斜校正单元，用于对所述二值图片进行倾斜校正处理；

储存单元，用于遍历所述二值图片，y轴坐标相同且像素点连续为1的像素点组成横线，x轴坐标相同且像素点连续为1的像素点组成竖线，记录所述横线和所述竖线的交点的坐标信息；其中所述待识别的图片包括的文字或表格线条对应的像素点二值化为所述二值图片中的1，所述待识别的图片中空白处对应的像素点二值化为所述二值图片中的0；

交点读取单元，用于选取任意交点为起点，顺时针或逆时针读取与所述起点相邻的交点的坐标信息，将最小闭环路径经过的交点的坐标信息记录到所述储存单元；

单元格数量计算单元，用于根据所述最小闭环路径经过的交点的坐标信息确定被所述最小闭环路径包绕的单元格的数量；

表格生成单元，用于根据所述最小闭环路径经过的交点的坐标信息和被所述最小闭环路径包绕的单元格的数量生成表格。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中所述交点读取单元包括：

判断单元，用于判断距离所述二值图片中任一交点的正上方、正下方、正左方和正右方最近的四个交点；

标记单元，用于将所述四个交点的坐标信息记录到所述任一交点的属性中，若所述正上方、正下方、正左方或正右方不存在交点，则标记空白。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中所述图表识别的装置还包括：

线条切割单元，用于遍历所述最小闭环路径所包绕的二值图片，对所述最小闭环路径所包绕的二值图片x坐标值相同且像素点全为0的像素点组成的线条进行剪切，再对所述最小闭环路径所包绕的二值图片y坐标值相同且像素点全为0的像素点组成的线条进行剪切，得到二值图片块，所述两个线条各自的两端均连接所述最小闭环路径；

匹配单元，用于将所述二值图片块转化为二值字符串，所述二值字符串与二值化后的字库的编码进行匹配，将匹配出的文字及匹配出的文字的坐标信息记录到所述储存单元；

填充单元，用于根据匹配出的文字的坐标信息，将所述匹配出的文字填充进所述生成的表格。

本发明的技术方案提供的图表识别的方法及装置，通过读取经过二值化处理的图片里的表格的线条与线条的交点，按照顺时针或逆时针的读取方式形成最小闭环路径，并根据读取时经过的中间交点的数量计算出最小闭环路径包绕的单元格数量，最终生成表格。这样的图表识别的方法及装置能够更好地识别表格，并且能够识别出表格中合并过的单元格。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的一种图表识别的方法；

图2示出了本发明实施例提供的另一种图表识别的方法；

图3示出了本发明实施例提供的图表识别的方法中读取交点形成最小闭环路径的方法；

图4示出了本发明实施例提供的一种图表识别的装置的结构框图；

图5示出了本发明实施例提供的另一种图表识别的装置的结构框图；

图6示出了本发明实施例提供的图表识别的装置的结构。

图中标记：图片加载单元301，图片二值化单元302，倾斜校正单元303，交点读取单元304，单元格数量计算单元305，表格生成单元306，储存单元307，判断单元308，标记单元309，线条切割单元310，匹配单元311，填充单元312，存储器401，总线402，通信接口403，处理器404。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

现今社会的人们不管是在生活中还是在工作中都离不开网络，信息电子化已经成为一个时代必然趋势。图表和文字作为信息中最重要、最集中的载体，其电子化进程显得更为突出。而图文识别技术则是图表和文字电子化过程中重要的环节，它加速了信息电子化的发展速度。与传统的手工录入方式相比，图文识别技术大大提高了人们进行资料存储、检索、加工的效率，于是在各行各业图文识别软件都受到热捧。但是现有的图文识别技术特别是对表格的识别不理想，一般是将表格以图片的形式贴在员来的位置，相当于对表格没有识别。这样的方式不能满足人们的需求。

本发明实施例提供了图表识别的方法及装置，能提高表格的识别准确度。

参阅图1，本发明实施例提供了一种图表识别的方法，该方法包括以下步骤：

S101：加载待识别的图片，将该图片二值化得到二值图片，为二值图片的每个像素点赋予坐标信息，对二值图片进行倾斜校正处理。

S102：遍历二值图片，y轴坐标相同且像素点连续为1的像素点组成横线，x轴坐标相同且像素点连续为1的像素点组成竖线，记录横线和竖线的交点的坐标信息；

其中待识别的图片包括的文字或表格线条对应的像素点二值化为二值图片中的1，待识别的图片中空白处对应的像素点二值化为二值图片中的0。

S103：选取任意交点为起点，顺时针或逆时针读取与起点相邻的交点的坐标信息，记录最小闭环路径经过的交点的坐标信息。

S104：根据最小闭环路径经过的交点的坐标信息确定被最小闭环路径包绕的单元格的数量。

S105：根据最小闭环路径经过的交点的坐标信息和被最小闭环路径包绕的单元格的数量生成表格。

本发明实施例提供的一种图表识别的方法能够识别图表，并且能够辨别图表中合并的单元格。这种识别方法具有实用性，识别出的表格不失真，扩大了图文识别技术的应用范围。通常的图表中有文字，所以图表识别不仅要求能够识别表格，而且还应该能够识别文字。因此，本发明实施例还提供另一种图表识别方法，可以对图表中的文字进行识别。

参阅图2，本发明实施例提供另一种图表识别的方法，该方法包括以下步骤：

S201：加载待识别的图片，将该图片二值化得到二值图片，为二值图片的每个像素点赋予坐标信息，对二值图片进行倾斜校正处理。

S202：遍历二值图片，y轴坐标相同且像素点连续为1的像素点组成横线，x轴坐标相同且像素点连续为1的像素点组成竖线，记录横线和竖线的交点的坐标信息；

其中待识别的图片包括的文字或表格线条对应的像素点二值化为二值图片中的1，待识别的图片中空白处对应的像素点二值化为二值图片中的0。

S203：选取任意交点为起点，顺时针或逆时针读取与起点相邻的交点的坐标信息，记录最小闭环路径经过的交点的坐标信息；

以顺时针读取交点形成最小闭环路径为例，读取交点时，先判断距离二值图片中任一交点的正上方、正下方、正左方和正右方最近的四个交点，将四个交点的坐标信息记录到任一交点的属性中，若正上方、正下方、正左方或正右方不存在交点，则标记空白；

其次，选取二值图片中任意交点为起点，参阅图3，读取起点的属性里记录的交点的坐标信息，找到与起点的x坐标值相同的交点a1，根据交点a1的属性再找到与交点a1的y坐标值相同的交点b1，根据交点b1的属性找到与交点b1的x坐标值相同的交点c1；其中交点c1的y坐标值与起点的y坐标值相同，起点、交点a1、交点b1、交点c1和起点形成最小闭环路径，记录起点、交点a1、交点b1和交点c1的坐标信息；

其中，找到与起点的x坐标值相同的交点a1，包括：根据起点的属性找到与起点的x坐标值相同的交点，并标识为交点d，根据交点d的属性找到与交点d的y坐标值相同的交点，并标识为交点e，判断从起点经过交点d到交点e的路径是否为顺时针，若起点经过交点d到交点e的路径为顺时针，则交点d为交点a1；若起点经过交点d到交点e的路径为逆时针，则重新标识交点d为中间交点dx，记录中间交点dx，根据中间交点dx的属性找到与中间交点dx的x坐标值相同的交点，并重新标识为交点d，根据重新标识的交点d的属性找到与重新标识的交点d的y坐标值相同的交点，并重新标识为交点e，再次判断从起点经过重新标识的交点d再到重新标识的交点e的路径是否为顺时针；

其中，根据交点a1的属性再找到与交点a1的y坐标值相同的交点b1，包括：根据交点e的属性找到与交点e的x坐标值相同的交点，并标识为交点f，判断从交点a1经过交点e到交点f的路径是否为顺时针，若交点a1经过交点e到交点f的路径为顺时针，则交点e为交点b1；若交点a1经过交点e到交点f的路径为逆时针，则重新标识交点e为中间交点ex，记录中间交点ex，根据中间交点ex的属性找到与中间交点ex的y坐标值相同的交点，并重新标识为交点e，根据重新标识的交点e的属性找到与重新标识的交点e的x坐标值相同的交点，并重新标识为交点f，再次判断从交点a1经过重新标识的交点e再到重新标识的交点f的路径是否为顺时针；

其中，根据交点b1的属性找到与交点b1的x坐标值相同的交点c1，包括：根据交点f的属性找到与交点f的y坐标值相同的交点，并标识为交点g，判断从交点b1经过交点f到交点g的路径是否为顺时针，若交点b1经过交点f到交点g的路径为顺时针，则交点f为交点c1；若交点b1经过交点f到交点g的路径为逆时针，则重新标识交点f为中间交点fx，记录中间交点fx，根据中间交点fx的属性找到与中间交点的x坐标值相同的交点，并重新标识为交点f，根据重新标识的交点f的属性找到与重新标识的交点f的y坐标值相同的交点，并重新标识为交点g，再次判断从交点b1经过重新标识的交点f再到重新标识的交点g的路径是否为顺时针；

判断交点g的坐标与起点的坐标是否相同，若交点g的坐标与起点的坐标不同，则重新标识交点g为中间交点gx，记录中间交点gx，并根据中间交点gx的属性找到与中间交点gx的y相同的交点，并重新标识为交点g，再次判断重新标识的交点g的坐标与起点的坐标是否相同；

最后，记录起点、交点a1、交点b1和交点c1的坐标信息，起点、交点a1、交点b1和交点c1为最小闭环路径的四个拐点。

步骤S203中，顺时针读取且先读取与起点的x坐标相同的交点，也可以按照相同的方法顺时针读取且先读取与起点的y坐标相同的交点、逆时针读取且先读取与起点的x坐标相同的交点或逆时针读取且先读取与起点的y坐标相同的交点。读取方向和读取时先选取的交点的不同，可以有四种组合，每种组合的读取方法都相似。

S204：根据最小闭环路径经过的交点的坐标信息确定被最小闭环路径包绕的单元格的数量；

以图3为例，中间交点dx、中间交点ex、中间交点fx和中间交点gx的个数分别为D1、D2、D3和D4，其中D1个中间交点中与D3个中间交点中x坐标值或y坐标值相同的中间交点的个数为V；其中D2个中间交点中与D4个中间交点中x坐标值或y坐标值相同的中间交点的个数为W；D1、D2、D3、D4、V和W均为大于或等于0的整数；

计算Z＝(D1+D3-V+1)×(D2+D4-W+1)，其中Z为顺时针读取时起点、a1、b1、c1和起点形成的最小闭环路径所包绕的单元格的数量。

中间交点dx的个数D1＝1，中间交点ex的个数D2＝3，中间交点fx的个数D3＝1，中间交点gx的个数D4＝1，V＝1，W＝1，根据公式Z＝(D1+D3-V+1)×(D2+D4-W+1)＝(1+1-1+1)×(3+1-1+1)＝8，所以起点、a1、b1、c1和起点形成的最小闭环路径所包绕的单元格的数量为8，即起点、a1、b1、c1和起点形成的最小闭环路径为8个单元格合并所得。

S205：根据最小闭环路径经过的交点的坐标信息和被最小闭环路径包绕的单元格的数量生成表格。

S206：遍历最小闭环路径所包绕的二值图片，对最小闭环路径所包绕的二值图片x坐标值相同且像素点全为0的像素点组成的线条进行剪切，再对最小闭环路径所包绕的二值图片y坐标值相同且像素点全为0的像素点组成的线条进行剪切，得到二值图片块，两个线条各自的两端均连接最小闭环路径。

以最小闭环路径包绕的二值图片为处理对象单元，在最小闭环路径包绕的封闭图形内部识别文字。识别出的文字是表格中填充的文字。该识别文字的方法也可以用于不含表格的图表的识别。

S207：将二值图片块转化为二值字符串，二值字符串与二值化后的字库的编码进行匹配，记录匹配出的文字及记录匹配出的文字的坐标信息。

S208：根据匹配出的文字的坐标信息，将匹配出的文字填充进生成的表格。

S209：若匹配出的是文字的偏旁或部首，则将二值图片块与紧邻的前或后的二值图片块组合，再将组合后的二值图片块转化为二值字符串，再次与二值化后的字库的编码进行匹配。

汉字中有些文字的结构较分散，其偏旁部首有可能被剪切分开，例如汉字“北”可能被剪切成两个部分。剪切成两部分后与二值化后的字库的编码进行匹配，随即执行步骤S108。步骤S108能够提高文字识别准确率。

参阅图4，本发明实施例提供了一种图表识别的装置，所述装置的实现原理和上述方法实施例相同，未提及之处可参见方法实施例中相应描述。所述图表识别的装置包括图片加载单元301、图片二值化单元302、倾斜校正单元303、交点读取单元304、单元格数量计算单元305和表格生成单元306，倾斜校正单元303、交点读取单元304、单元格数量计算单元305均连接储存单元307。

图片加载单元301用于加载待识别的图片，图片二值化单元302将图片加载单元301加载的图片二值化后得到二值图片，为二值图片的每个像素点赋予坐标信息。倾斜校正单元303对二值图片进行倾斜校正处理。交点读取单元304，用于选取任意交点为起点，顺时针或逆时针读取与起点相邻的交点的坐标信息，将最小闭环路径经过的交点的坐标信息记录到储存单元307。单元格数量计算单元305根据最小闭环路径经过的交点的坐标信息确定被最小闭环路径包绕的单元格的数量。表格生成单元306根据最小闭环路径经过的交点的坐标信息和被最小闭环路径包绕的单元格的数量生成表格。

储存单元307还用于遍历二值图片，记录横线和竖线的交点的坐标信息。其中，y轴坐标相同且像素点连续为1的像素点组成横线，x轴坐标相同且像素点连续为1的像素点组成竖线。待识别的图片包括的文字或表格线条对应的像素点二值化为二值图片中的1，待识别的图片中空白处对应的像素点二值化为二值图片中的0。

图表内一般包括文字，为了能够识别文字，本发明实施例提供了另一种图表识别的装置。

参阅图5，本发明实施例提供的另一种图表识别的装置，除了包括图4涉及的单元外，的还包括线条切割单元310、匹配单元311和填充单元312，线条切割单元310连接表格生成单元306，匹配单元311连接储存单元307。其中，交点读取单元304包括相互连接的判断单元308和标记单元309，判断单元308连接倾斜校正单元303，标记单元309连接储存单元307。

线条切割单元310遍历最小闭环路径所包绕的二值图片，对最小闭环路径所包绕的二值图片x坐标值相同且像素点全为0的像素点组成的线条进行剪切，再对最小闭环路径所包绕的二值图片y坐标值相同且像素点全为0的像素点组成的线条进行剪切，得到二值图片块，两个线条各自的两端均连接最小闭环路径。

匹配单元311将二值图片块转化为二值字符串，二值字符串与二值化后的字库的编码进行匹配，将匹配出的文字及匹配出的文字的坐标信息记录到储存单元307。

填充单元312根据匹配出的文字的坐标信息，将匹配出的文字填充进生成的表格。

本发明实施例提供的图表识别的装置先将表格识别出后，再以表格为单元，对表格内的文字进行识别，将识别出的文字在填充进表格，实现对图表的识别。有些图片只有文字没有表格，也可以通过本发明实施例提供的图表识别的方法及装置来准确地识别出文字，能够满足人们的需求。

参见图6，本发明实施例还提供一种图表识别的装置的结构，包括：处理器404，存储器401，总线402和通信接口403。处理器404、通信接口403和存储器401通过总线402连接。处理器404用于执行存储器401中存储的可执行模块，例如计算机程序。

其中，存储器401可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口403(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。

总线402可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器401用于存储程序，所述处理器404在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器404中，或者由处理器404实现。

处理器404可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器404中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器404可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器401，处理器404读取存储器401中的信息，结合其硬件完成上述方法的步骤。

附图中的流程图和框图显示了根据本发明的多个实施例的方法和装置的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的装置来实现，或者可以用专用硬件与计算机指令的组合来实现。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

可以理解的是，本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图表识别的方法，其特征在于，应用于图表识别的装置，所述图表识别的方法包括:

加载待识别的图片，将该图片二值化得到二值图片，为所述二值图片的每个像素点赋予坐标信息，对所述二值图片进行倾斜校正处理；所述方法还包括以下步骤：

遍历所述二值图片，y轴坐标相同且像素点连续为1的像素点组成横线，x轴坐标相同且像素点连续为1的像素点组成竖线，记录所述横线和所述竖线的交点的坐标信息；其中所述待识别的图片包括的文字或表格线条对应的像素点二值化为所述二值图片中的1，所述待识别的图片中空白处对应的像素点二值化为所述二值图片中的0；

选取任意交点为起点，顺时针或逆时针读取与所述起点相邻的交点的坐标信息，记录最小闭环路径经过的交点的坐标信息；

根据所述最小闭环路径经过的交点的坐标信息确定被所述最小闭环路径包绕的单元格的数量；

根据所述最小闭环路径经过的交点的坐标信息和被所述最小闭环路径包绕的单元格的数量生成表格。

2.根据权利要求1所述的图表识别的方法，其特征在于，所述选取任意交点为起点，顺时针或逆时针读取与所述起点相邻的交点的坐标信息，记录最小闭环路径经过的交点的坐标信息，包括：

判断距离所述二值图片中任一交点的正上方、正下方、正左方和正右方最近的四个交点，将所述四个交点的坐标信息记录到所述任一交点的属性中，若所述正上方、正下方、正左方或正右方不存在交点，则标记空白；

选取所述二值图片中任意交点为起点，读取所述起点的属性里记录的交点的坐标信息，找到与所述起点的x坐标值相同的交点a1，根据所述交点a1的属性再找到与所述交点a1的y坐标值相同的交点b1，根据所述交点b1的属性找到与所述交点b1的x坐标值相同的交点c1；其中所述交点c1的y坐标值与所述起点的y坐标值相同，所述起点、交点a1、交点b1、交点c1和起点形成最小闭环路径，记录所述起点、交点a1、交点b1和交点c1的坐标信息。

3.根据权利要求2所述的图表识别的方法，其特征在于，顺时针读取时，从起点经交点a1、交点b1、交点c1再到起点的路径为顺时针；

所述找到与所述起点的x坐标值相同的交点a1，包括：根据所述起点的属性找到与所述起点的x坐标值相同的交点，并标识为交点d，根据所述交点d的属性找到与所述交点d的y坐标值相同的交点，并标识为交点e，判断从所述起点经过所述交点d到所述交点e的路径是否为顺时针，若所述起点经过所述交点d到所述交点e的路径为顺时针，则所述交点d为所述交点a1；若所述起点经过所述交点d到所述交点e的路径为逆时针，则重新标识所述交点d为中间交点dx，记录所述中间交点dx，根据所述中间交点dx的属性找到与所述中间交点dx的x坐标值相同的交点，并重新标识为交点d，根据重新标识的所述交点d的属性找到与重新标识的所述交点d的y坐标值相同的交点，并重新标识为交点e，再次判断从所述起点经过重新标识的所述交点d再到重新标识的所述交点e的路径是否为顺时针；

所述根据所述交点a1的属性再找到与所述交点a1的y坐标值相同的交点b1，包括：根据所述交点e的属性找到与所述交点e的x坐标值相同的交点，并标识为交点f，判断从所述交点a1经过所述交点e到所述交点f的路径是否为顺时针，若所述交点a1经过所述交点e到所述交点f的路径为顺时针，则所述交点e为所述交点b1；若所述交点a1经过所述交点e到所述交点f的路径为逆时针，则重新标识所述交点e为中间交点ex，记录所述中间交点ex，根据所述中间交点ex的属性找到与所述中间交点ex的y坐标值相同的交点，并重新标识为交点e，根据重新标识的所述交点e的属性找到与重新标识的所述交点e的x坐标值相同的交点，并重新标识为交点f，再次判断从所述交点a1经过重新标识的所述交点e再到重新标识的所述交点f的路径是否为顺时针；

所述根据所述交点b1的属性找到与所述交点b1的x坐标值相同的交点c1，包括：根据所述交点f的属性找到与所述交点f的y坐标值相同的交点，并标识为交点g，判断从所述交点b1经过所述交点f到所述交点g的路径是否为顺时针，若所述交点b1经过所述交点f到所述交点g的路径为顺时针，则所述交点f为所述交点c1；若所述交点b1经过所述交点f到所述交点g的路径为逆时针，则重新标识所述交点f为中间交点fx，记录所述中间交点fx，根据所述中间交点fx的属性找到与所述中间交点的x坐标值相同的交点，并重新标识为交点f，根据重新标识的所述交点f的属性找到与重新标识的所述交点f的y坐标值相同的交点，并重新标识为交点g，再次判断从所述交点b1经过重新标识的所述交点f再到重新标识的所述交点g的路径是否为顺时针；

判断所述交点g的坐标与所述起点的坐标是否相同，若所述交点g的坐标与所述起点的坐标不同，则重新标识所述交点g为中间交点gx，记录所述中间交点gx，并根据所述中间交点gx的属性找到与所述中间交点gx的y相同的交点，并重新标识为交点g，再次判断重新标识的所述交点g的坐标与所述起点的坐标是否相同；

记录所述起点、所述交点a1、所述交点b1和所述交点c1的坐标信息。

4.根据权利要求3所述的图表识别的方法，其特征在于，所述根据所述最小闭环路径的经过的交点的坐标信息确定被所述最小闭环路径包绕的单元格的数量，包括：

所述中间交点dx、所述中间交点ex、所述中间交点fx和所述中间交点gx的个数分别为D1、D2、D3和D4，其中所述D1个中间交点中与所述D3个中间交点中x坐标值或y坐标值相同的中间交点的个数为V；其中所述D2个中间交点中与所述D4个中间交点中x坐标值或y坐标值相同的中间交点的个数为W；D1、D2、D3、D4、V和W均为大于或等于0的整数；

计算Z＝(D1+D3-V+1)×(D2+D4-W+1)，其中Z为顺时针读取时起点、a1、b1、c1和起点形成的最小闭环路径所包绕的单元格的数量。

5.根据权利要求4所述的图表识别的方法，其特征在于，所述根据所述最小闭环路径经过的交点的坐标信息和被所述最小闭环路径包绕的单元格的数量生成表格，包括：

根据所述起点、所述交点a1、所述交点b1、所述交点c1的坐标信息和所述中间交点dx、所述中间交点ex、所述中间交点fx、所述中间交点gx的坐标信息，以及Z，生成表格。

6.根据权利要求1-5任一所述的图表识别的方法，其特征在于，所述方法还包括：

遍历所述最小闭环路径所包绕的二值图片，对所述最小闭环路径所包绕的二值图片x坐标值相同且像素点全为0的像素点组成的线条进行剪切，再对所述最小闭环路径所包绕的二值图片y坐标值相同且像素点全为0的像素点组成的线条进行剪切，得到二值图片块，所述两个线条各自的两端均连接所述最小闭环路径；

将所述二值图片块转化为二值字符串，所述二值字符串与二值化后的字库的编码进行匹配，记录匹配出的文字及记录匹配出的文字的坐标信息；

根据匹配出的文字的坐标信息，将所述匹配出的文字填充进所述生成的表格。

7.根据权利要求6所述的图表识别的方法，其特征在于，若匹配出的是文字的偏旁或部首，则将所述二值图片块与紧邻的前或后的二值图片块组合，再将组合后的二值图片块转化为二值字符串，再次与所述二值化后的字库的编码进行匹配。

8.一种图表识别的装置，其特征在于，包括:

图片加载单元，用于加载待识别的图片；

图片二值化单元，将所述加载后的图片二值化得到二值图片，为所述二值图片的每个像素点赋予坐标信息；

倾斜校正单元，用于对所述二值图片进行倾斜校正处理；

储存单元，用于遍历所述二值图片，y轴坐标相同且像素点连续为1的像素点组成横线，x轴坐标相同且像素点连续为1的像素点组成竖线，记录所述横线和所述竖线的交点的坐标信息；其中所述待识别的图片包括的文字或表格线条对应的像素点二值化为所述二值图片中的1，所述待识别的图片中空白处对应的像素点二值化为所述二值图片中的0；

交点读取单元，用于选取任意交点为起点，顺时针或逆时针读取与所述起点相邻的交点的坐标信息，将最小闭环路径经过的交点的坐标信息记录到所述储存单元；

单元格数量计算单元，用于根据所述最小闭环路径经过的交点的坐标信息确定被所述最小闭环路径包绕的单元格的数量；

表格生成单元，用于根据所述最小闭环路径经过的交点的坐标信息和被所述最小闭环路径包绕的单元格的数量生成表格。

9.根据权利要求8所述的图表识别的装置，其特征在于，所述交点读取单元包括：

判断单元，用于判断距离所述二值图片中任一交点的正上方、正下方、正左方和正右方最近的四个交点；

标记单元，用于将所述四个交点的坐标信息记录到所述任一交点的属性中，若所述正上方、正下方、正左方或正右方不存在交点，则标记空白。

10.根据权利要求8所述的图表识别的装置，其特征在于，所述图表识别的装置还包括：

线条切割单元，用于遍历所述最小闭环路径所包绕的二值图片，对所述最小闭环路径所包绕的二值图片x坐标值相同且像素点全为0的像素点组成的线条进行剪切，再对所述最小闭环路径所包绕的二值图片y坐标值相同且像素点全为0的像素点组成的线条进行剪切，得到二值图片块，所述两个线条各自的两端均连接所述最小闭环路径；

匹配单元，用于将所述二值图片块转化为二值字符串，所述二值字符串与二值化后的字库的编码进行匹配，将匹配出的文字及匹配出的文字的坐标信息记录到所述储存单元；

填充单元，用于根据匹配出的文字的坐标信息，将所述匹配出的文字填充进所述生成的表格。