CN103902995B - 表格内容自动录入方法和装置 - Google Patents

Abstract

本发明提供一种表格内容自动录入方法和装置，该方法包括：a）形成内容待录入表格的扫描图像，并确定其所对应的空白表格扫描图像；b）求得该两个扫描图像的差值图像，并在该差值图像中标定表格条目留白区域的原始位置；c）计算差值图像中的所有表格条目留白区域的公共外部像素的像素值之和，并通过差值图像中的表格条目留白区域的平移和转动来确定所述像素值之和最小时表格条目留白区域所在的匹配位置；d）对处于匹配位置处的每个表格条目留白区域中的表格内容进行识别，并将识别结果存储起来。该方法可克服表格内容自动录入过程中表格背景以及表格内容错位对表格内容识别的干扰和影响，从而提高表格内容自动录入的准确性。

Description

表格内容自动录入方法和装置

技术领域

本发明涉及图像识别技术领域，具体地说，涉及一种表格内容自动录入方法和装置。

背景技术

目前，很多单位和机构每年每月都要处理大量的表格。为了对这些表格的内容进行统计和管理，通常需要先将这些表格的内容录入到信息化管理系统中。

具体地，以发票为例进行说明。每种类型的发票都具有特定的格式。一张发票通常包括多个处于预定位置处的条目，例如开票日期、付款单位、发票代码、发票号码、行业类别、机打票号、查询码、防伪码、项目、金额、密码区、合计（大写）、合计（小写）、备注、收款单位税号、收款单位、开票人等，在每个条目的右侧或下方是与该条目对应的留白区域，用于填充与该条目对应的内容，一般地，这些内容包括文字、数字、字母等。

可以通过人工的方法将发票的内容（包括条目以及与各条目对应的内容）录入到信息化管理系统中，但这种方法在待处理的发票数目很多时效率较低。也可以通过自动识别的方法将发票的内容录入到信息化管理系统中。具体说，先将内容待录入的发票进行扫描，形成扫描图像，然后对该扫描图像进行自动识别，以确定并存储与各个条目对应的内容。然而，通过自动识别来录入发票内容的现有方法在解决下列问题上存在不足：1）现有的中文识别算法的识别错误率比较高，特别是在背景干扰（例如印章残迹、污斑、发票品相所引起的干扰）比较大的情形中；2）在很多情形中，发票的内容是通过打印机打印出来的，在打印时，打印的发票内容会发生错位，偏离其应在的位置（即偏离其应该填入的留白区域），从而增大其识别难度并降低其识别精确度。

发明内容

本发明就是为了解决上述现有技术中存在的问题而做出的，其目的在于提供一种表格内容自动录入方法和装置，以克服表格内容自动录入过程中表格背景对表格内容识别的干扰以及表格内容错位对表格内容识别的影响，从而提高表格内容自动录入的准确性。

为了实现上述目的，在本发明的一个方面，提供一种表格内容自动录入方法，该方法包括：a）对内容待录入表格进行扫描以形成该表格的扫描图像，并根据空白表格扫描图像数据库中的空白表格扫描图像的类型识别特征对所述内容待录入表格的扫描图像进行类型识别以确定所述内容待录入表格的扫描图像所对应的空白表格扫描图像；b）将所述内容待录入表格的扫描图像与其所对应的空白表格扫描图像对齐，求得该两个扫描图像的差值图像，并根据该空白表格扫描图像中预先标定的表格条目留白区域的原始位置在该差值图像中标定表格条目留白区域的原始位置；c）计算所述差值图像中的所有表格条目留白区域的公共外部像素的像素值之和，并通过所述差值图像中的表格条目留白区域相对于该差值图像的平移和转动来确定所述公共外部像素的像素值之和最小时所述表格条目留白区域所在的匹配位置；d）对处于匹配位置处的每个表格条目留白区域中的表格内容进行自动识别，并将识别结果与该表格条目留白区域所对应的表格条目关联地存储起来。

其中，步骤a）中对所述内容待录入表格的扫描图像进行类型识别的方式可以包括自动识别或人工识别或二者的结合。

优选地，求得所述内容待录入表格的扫描图像与其所对应的空白表格扫描图像的差值图像的步骤可以包括：求出对齐后的该两个扫描图像的对应像素的像素值的差值，并以该差值作为所述差值图像的相应像素的像素值。或者，优选地，求得所述内容待录入表格的扫描图像与其所对应的空白表格扫描图像的差值图像的步骤可以包括：求出对齐后的该两个扫描图像的对应像素的像素值的差值，如果该差值小于第一阈值，则所述差值图像的相应像素的像素值为0，如果该差值大于第一阈值，则所述差值图像的相应像素的像素值为1。

另外，优选地，所述差值图像中的表格条目留白区域相对于该差值图像的平移和转动可以包括：所述差值图像中的所有表格条目留白区域相对于该差值图像的整体平移和转动。进一步优选地，所述差值图像中的表格条目留白区域相对于该差值图像的平移和转动还可以包括：所述差值图像中的每个表格条目留白区域相对于该差值图像的单独平移和转动。

如果步骤d）中的识别结果为不可识别，则该方法还可以包括对该表格条目留白区域中的表格内容进行人工录入。

根据本发明的另一方面，提供一种表格内容自动录入装置，该装置包括：扫描成像单元、识别单元、差值图像形成单元、计算单元、表格条目留白区域匹配单元、存储单元，其中，

所述扫描成像单元对内容待录入表格进行扫描以形成该表格的扫描图像，所述识别单元根据空白表格扫描图像数据库中的空白表格扫描图像的特征对所述内容待录入表格的扫描图像进行类型识别以确定所述内容待录入表格的扫描图像所对应的空白表格扫描图像；

所述差值图像形成单元将所述内容待录入表格的扫描图像与其所对应的空白表格扫描图像对齐，求得该两个扫描图像的差值图像，并根据该空白表格扫描图像中预先标定的表格条目留白区域的原始位置在该差值图像中标定表格条目留白区域的原始位置；

所述计算单元计算所述差值图像中的所有表格条目留白区域的公共外部像素的像素值之和，所述表格条目留白区域匹配单元使所述差值图像中的表格条目留白区域相对于该差值图像平移和转动，并根据所述计算单元的计算结果确定所述公共外部像素的像素值之和最小时所述表格条目留白区域所在的匹配位置；

所述识别单元对处于所述匹配位置处的每个表格条目留白区域中的表格内容进行自动识别，并将识别结果与该表格条目留白区域所对应的表格条目关联地存储在所述存储单元中。

根据上面的说明及实践可知，本发明的优点是，通过对内容待录入表格扫描图像与空白表格扫描图像的差值图像进行识别而不是对内容待录入表格扫描图像直接进行识别，可以克服表格内容自动录入过程中表格背景对表格内容识别的干扰；通过对所述差值图像中的表格条目留白区域进行平移和转动以获得表格条目留白区域与其所对应的表格内容的最佳匹配，然后再对表格条目留白区域中的表格内容进行识别，可以克服表格内容错位对表格内容识别的影响，从而提高表格内容自动录入的准确性。

附图说明

图1是示意图，示出了本发明的一个实施例所述的空白表格扫描图像；

图2是示意图，示出了在空白表格扫描图像中预先标定出的表格条目留白区域；

图3是流程图，示出了本发明所述的表格内容自动录入方法；

图4是示意图，示出了一个实施例所述的内容待录入表格的扫描图像；

图5是示意图，示出了内容待录入表格扫描图像与空白表格扫描图像的差值图像的一个例子；

图6是示意图，示出了在差值图像中标定出的表格条目留白区域的原始位置；

图7是示意图，示出了通过表格条目留白区域相对于差值图像的整体平移和转动所确定的表格条目留白区域的匹配位置；

图8是示意图，示出了通过每个表格条目留白区域相对于差值图像的单独平移和转动所确定的表格条目留白区域的最佳匹配位置；

图9是方框图，示出了本发明的所述的表格内容自动录入装置。

具体实施方式

下面将结合附图和具体实施例对本发明进行详细的描述。

在下面的描述中，只通过说明的方式描述了本发明的某些示范性实施例。毋庸置疑，本领域的普通技术人员可以认识到，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式对所述实施例进行修正。因此，附图和描述在本质上是说明性的，而不是用于限制权利要求的保护范围。在本说明书中，相同的附图标记表示相同或相似的部分。

在自动录入表格内容之前，先对各种空白表格进行扫描以形成各种空白表格扫描图像，并在每种空白表格扫描图像上预先标定出表格条目留白区域的原始位置，然后将空白表格的扫描图像、空白表格的类型识别特征、空白表格中的各个表格条目、以及各个表格条目所对应的表格条目留白区域的位置关联地存储在空白表格扫描图像数据库中。

图1是示意图，示出了本发明的一个实施例所述的空白表格扫描图像100。图2是示意图，示出了在图1的空白表格扫描图像100中预先标定出的表格条目留白区域。如图1和图2所示，本发明的一个实施例所述的空白表格包括类型识别特征110、多个表格条目120以及与每个表格条目对应的表格条目留白区域130。在该实施例中，表格的类型识别特征110为表格名称“陕西省有奖网络在线通用发票（西安）”，表格的类型识别特征110还可以包括例如表格的结构特征、二维码等能够识别该表格类型的特征。

表格条目120包括开票日期、付款单位、发票代码、发票号码、行业类别、机打票号、查询码、防伪码、项目、金额、密码区、合计（大写）、合计（小写）、备注、收款单位税号、收款单位、开票人等。

与每个表格条目120对应的表格条目留白区域130位于该表格条目120的右侧或下方，用于填入与该表格条目120对应的内容，一般地，这些内容包括文字、数字、字母及其组合等。表格条目留白区域130的形状、大小以及位置可以通过坐标来限定。例如，可以在空白表格扫描图像100中设定原点、建立坐标系，然后，通过每个表格条目留白区域130的顶点的坐标来限定其形状、大小和位置。表格条目留白区域130可以呈矩形，但本发明不限于此，表格条目留白区域130也可以具有其他形状。

图3是流程图，示出了本发明的一个实施例所述的表格内容自动录入方法。如图3所示，在自动录入表格内容时，根据本发明所述的表格内容自动录入方法，首先，在步骤S10中，对内容待录入表格进行扫描以形成该表格的扫描图像，并根据空白表格扫描图像数据库中的空白表格扫描图像100的类型识别特征110对所述内容待录入表格的扫描图像进行类型识别以确定所述内容待录入表格的扫描图像所对应的空白表格扫描图像100。

图4是示意图，示出了本发明的一个实施例所述的内容待录入表格的扫描图像200。如图4所示，在该内容待录入表格中打印有表格内容210，但打印的表格内容210发生了错位，偏离了其应在的位置。在对该内容待录入表格进行类型识别后，可以在空白表格扫描图像数据库中找到与其对应的空白表格扫描图像（如图1所示的空白表格扫描图像100）。步骤S10中对所述内容待录入表格的扫描图像进行类型识别的方式可以包括自动识别、人工识别、或二者的结合。

接着，在步骤S20中，将所述内容待录入表格的扫描图像200与其所对应的空白表格扫描图像100对齐，求得该两个扫描图像的差值图像，并根据该空白表格扫描图像100中预先标定的表格条目留白区域130的原始位置在该差值图像中标定表格条目留白区域的原始位置。

所述两个扫描图像的对齐可以通过该两个扫描图像上的预定特征（例如类型识别特征）的重合来实现。所述对齐过程可以包括所述两个扫描图像之间的相对转动和平移过程。

所述内容待录入表格的扫描图像200与其所对应的空白表格扫描图像100对齐后，可以求出该两个扫描图像的差值图像。在一个实施例中，可以求出对齐后的该两个扫描图像的对应像素的像素值的差值，并以该差值作为所述差值图像的相应像素的像素值。在另一个实施例中，可以求出对齐后的该两个扫描图像的对应像素的像素值的差值，如果该差值小于第一阈值，则所述差值图像的相应像素的像素值为0，如果该差值大于第一阈值，则所述差值图像的相应像素的像素值为1。后一种方法的好处是，可以在一定程度上消除图像噪声的干扰。图5是示意图，示出了内容待录入表格扫描图像200与空白表格扫描图像100的差值图像300的一个例子。如图5所示，在所求出的差值图像300中只包含待录入的表格内容210以及一些图像污染内容（例如，印章图像残留310、表格中的污斑缺损等），而不包含空白表格的表格条目以及结构线条等。

图6是示意图，示出了在差值图像300中标定出的表格条目留白区域130的原始位置。如图6所示，在差值图像300中，待录入的表格内容210相对于其应在的表格条目留白区域130发生了错位。

返回图3，然后，在步骤S30中，计算差值图像300中的所有表格条目留白区域130的公共外部像素的像素值之和，并通过差值图像300中的表格条目留白区域130相对于该差值图像300的平移和转动来确定所述公共外部像素的像素值之和最小时表格条目留白区域130所在的匹配位置。

具体说，如果差值图像300中的待录入的表格内容210没有发生错位，均落入各自应在的表格条目留白区域130中，那么，差值图像300中的所有表格条目留白区域130的公共外部像素的像素值之和应该为最小。如果差值图像300中的待录入的表格内容210发生了错位，那么，露在表格条目留白区域130外部的表格内容部分使得表格条目留白区域130的公共外部像素的像素值之和增大。因此，通过使差值图像300中的表格条目留白区域130相对于该差值图像300平移和转动，并判断所有表格条目留白区域130的公共外部像素的像素值之和是否为最小，可以获得表格条目留白区域130与表格内容210匹配时所在的位置。

在一个实施例中，差值图像300中的表格条目留白区域130相对于该差值图像300的平移和转动可以包括：差值图像300中的所有表格条目留白区域130相对于该差值图像300的整体平移和转动。使所有的表格条目留白区域130先作整体平移和转动，可以使各个表格条目留白区域130与其相对应的表格内容210至少大致匹配，不会使表格条目留白区域130与表格内容210发生错配。在具体过程中，可以使所有的表格条目留白区域130先沿水平方向平移，再沿垂直方向平移，然后再进行转动，然而本发明不限于此，可以根据表格条目留白区域130的公共外部像素的像素值之和向最小值收敛的速度来改变所述平移和转动的次序。图7是示意图，示出了通过表格条目留白区域130相对于差值图像300的整体平移和转动所确定的表格条目留白区域130的匹配位置。

如图7所示，当通过整体平移和转动表格条目留白区域130并判断所述公共外部像素的像素值之和是否为最小值而确定了表格条目留白区域130的匹配位置时，一部分表格条目留白区域130仍有可能与其对应的表格内容210不完全匹配。因此，在一个实施例中，还需要使差值图像300中的每个表格条目留白区域130相对于该差值图像300进行单独平移和转动，并判断所述公共外部像素的像素值之和是否达到最小值，从而确定每个表格条目留白区域130与其所对应的表格内容210完全匹配时的匹配位置。图8是示意图，示出了通过每个表格条目留白区域130相对于差值图像300的单独平移和转动所确定的表格条目留白区域130的最佳匹配位置。

确定了每个表格条目留白区域130的匹配位置后，在步骤S40中，对处于匹配位置处的每个表格条目留白区域130中的表格内容210进行自动识别，并将识别结果与该表格条目留白区域130所对应的表格条目120关联地存储起来。

如果步骤S40中某个表格条目留白区域130中的表格内容210的识别结果为不可识别，则可以额外地对该表格条目留白区域中的表格内容210进行人工录入。

如上参照图1-图8描述了本发明所述的表格内容自动录入方法。本发明所述的表格内容自动录入方法，可以软件和硬件组合的方式来实现。

图9是方框图，示出了本发明的一个实施例所述的表格内容自动录入装置。如图9所示，本发明的一个实施例所述的表格内容自动录入装置500包括：扫描成像单元510、识别单元520、差值图像形成单元530、计算单元540、表格条目留白区域匹配单元550、存储单元560。

扫描成像单元510对内容待录入表格进行扫描以形成该表格的扫描图像，识别单元520根据空白表格扫描图像数据库中的空白表格扫描图像的特征对所述内容待录入表格的扫描图像进行类型识别以确定所述内容待录入表格的扫描图像所对应的空白表格扫描图像。

差值图像形成单元530将所述内容待录入表格的扫描图像与其所对应的空白表格扫描图像对齐，求得该两个扫描图像的差值图像，并根据该空白表格扫描图像中预先标定的表格条目留白区域的原始位置在该差值图像中标定表格条目留白区域的原始位置。

计算单元540计算所述差值图像中的所有表格条目留白区域的公共外部像素的像素值之和，表格条目留白区域匹配单元550使所述差值图像中的表格条目留白区域相对于该差值图像平移和转动，并根据计算单元540的计算结果确定所述公共外部像素的像素值之和最小时所述表格条目留白区域所在的匹配位置。

识别单元520对处于所述匹配位置处的每个表格条目留白区域中的内容进行自动识别，并将识别结果与该表格条目留白区域所对应的表格条目关联地存储在存储单元560中。

如上参照附图以示例的方式描述了根据本发明所述的。但是，本领域技术人员应当理解，对于上述本发明所提出的表格内容自动录入方法和表格内容自动录入装置，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (4)

1.一种表格内容自动录入方法，包括：

a)对内容待录入表格进行扫描以形成该表格的扫描图像，并根据空白表格扫描图像数据库中的空白表格扫描图像的类型识别特征对所述内容待录入表格的扫描图像进行类型识别以确定所述内容待录入表格的扫描图像所对应的空白表格扫描图像；

b)将所述内容待录入表格的扫描图像与其所对应的空白表格扫描图像对齐，求得该两个扫描图像的差值图像，并根据该空白表格扫描图像中预先标定的表格条目留白区域的原始位置在该差值图像中标定表格条目留白区域的原始位置；

c)计算所述差值图像中的所有表格条目留白区域的公共外部像素的像素值之和，并通过所述差值图像中的表格条目留白区域相对于该差值图像的平移和转动来确定所述公共外部像素的像素值之和最小时所述表格条目留白区域所在的匹配位置；

d)对处于匹配位置处的每个表格条目留白区域中的表格内容进行自动识别，并将识别结果与该表格条目留白区域所对应的表格条目关联地存储起来，

其中，求得所述内容待录入表格的扫描图像与其所对应的空白表格扫描图像的差值图像的步骤包括：求出对齐后的该两个扫描图像的对应像素的像素值的差值，并以该差值作为所述差值图像的相应像素的像素值；或者如果该差值小于第一阈值，则所述差值图像的相应像素的像素值为0，如果该差值大于第一阈值，则所述差值图像的相应像素的像素值为1，

其中，所述差值图像中的表格条目留白区域相对于该差值图像的平移和转动包括：所述差值图像中的所有表格条目留白区域相对于该差值图像的整体平移和转动，

其中，所述差值图像中的表格条目留白区域相对于该差值图像的平移和转动还包括：所述差值图像中的每个表格条目留白区域相对于该差值图像的单独平移和转动。

2.如权利要求1所述的表格内容自动录入方法，其中，步骤a)中对所述内容待录入表格的扫描图像进行类型识别的方式包括自动识别或人工识别或二者的结合。

3.如权利要求1所述的表格内容自动录入方法，其中，如果步骤d)中的识别结果为不可识别，则该方法还包括对该表格条目留白区域中的表格内容进行人工录入。

4.一种表格内容自动录入装置，包括：扫描成像单元、识别单元、差值图像形成单元、计算单元、表格条目留白区域匹配单元、存储单元，其中，

所述扫描成像单元对内容待录入表格进行扫描以形成该表格的扫描图像，所述识别单元根据空白表格扫描图像数据库中的空白表格扫描图像的特征对所述内容待录入表格的扫描图像进行类型识别以确定所述内容待录入表格的扫描图像所对应的空白表格扫描图像；

所述差值图像形成单元将所述内容待录入表格的扫描图像与其所对应的空白表格扫描图像对齐，求得该两个扫描图像的差值图像，并根据该空白表格扫描图像中预先标定的表格条目留白区域的原始位置在该差值图像中标定表格条目留白区域的原始位置；

所述计算单元计算所述差值图像中的所有表格条目留白区域的公共外部像素的像素值之和，所述表格条目留白区域匹配单元使所述差值图像中的表格条目留白区域相对于该差值图像平移和转动，并根据所述计算单元的计算结果确定所述公共外部像素的像素值之和最小时所述表格条目留白区域所在的匹配位置；

所述识别单元对处于所述匹配位置处的每个表格条目留白区域中的表格内容进行自动识别，并将识别结果与该表格条目留白区域所对应的表格条目关联地存储在所述存储单元中，

其中，求得所述内容待录入表格的扫描图像与其所对应的空白表格扫描图像的差值图像包括：求出对齐后的该两个扫描图像的对应像素的像素值的差值，并以该差值作为所述差值图像的相应像素的像素值；或者如果该差值小于第一阈值，则所述差值图像的相应像素的像素值为0，如果该差值大于第一阈值，则所述差值图像的相应像素的像素值为1，

其中，所述差值图像中的表格条目留白区域相对于该差值图像的平移和转动包括：所述差值图像中的所有表格条目留白区域相对于该差值图像的整体平移和转动，

其中，所述差值图像中的表格条目留白区域相对于该差值图像的平移和转动还包括：所述差值图像中的每个表格条目留白区域相对于该差值图像的单独平移和转动。