CN109948135B - 一种基于表格特征归一化图像的方法及设备 - Google Patents

Abstract

本发明涉及一种基于表格特征归一化图像的方法，包括如下步骤，确定待识别图对应的模板图，分别从所述待识别图和模板图中选取至少一个位置相对应的单元格，并分别从选取的单元格中至少确认四个位于外边框上的顶点，所述待识别图中确认的顶点与所述模板图中确认的顶点位置相对应，形成至少四组相对应的顶点坐标；用所述相对应的顶点坐标计算透视变换矩阵；创建一空白图片，所述空白图片的大小尺寸与所述模板图相同，用透视变换矩阵计算待识别图中各像素点变换后的像素值，将该像素值写入所述空白图片，从而得到透视变换图像，实现图像归一化。本发明解决了票据影像与标准样票之间的差异性问题，能够将待识别的票据影像变换成与标准样票相近的格式。

Description

一种基于表格特征归一化图像的方法及设备

技术领域

本发明涉及一种基于表格特征归一化图像的方法及设备，属于票据自动识别领域。

背景技术

使用固定格式排版的票据，打印出来的纸质票据也会有固定格式，请参阅图1，比如增值税专用发票，都具有“购买方”、“密码区”、“销售方”、“备注”等固定区域。因此，在识别票据的过程中，需要将位置相对固定的套打区域识别出来。

使用模板自动识别票据，是根据具有固定格式的票据，设计出一套可重复使用的模板，模板中特定标记了每个需要识别区域的位置和区域的宽、高。按照模板中的位置对扫描或者拍摄后得到的电子版票据进行裁剪，得到精确区域的图像，再自动进行图像识别和OCR识别。使用模板自动识别票据，可以提高记账处理效率。

在实际使用模板进行票据自动识别时，扫描或者拍摄后得到的票据影像与原始票据图像会存在差异，例如，尺寸变化，产生旋转角度，存在透视，位置偏移等问题。使用固定模板就会出现框不准、框不全等问题，进而裁剪不到正确的识别区域，从而大大了影响了票据影像识别率。因此，需要对票据影像进行图像归一化，所述图像归一化是指对图像进行了一系列处理变换，使之变换为一固定标准形式的过程，该标准图像称作归一化图像。

发明内容

为了解决上述技术问题，本发明提供一种基于表格特征归一化图像的方法，其解决了票据影像与标准样票之间的差异性问题，能够将待识别的票据影像变换成与标准样票相近的格式，使得需要识别的区域都能够比较准确地出现标准样票对应的模板识别框内，最终提高票据识别率。

本发明的技术方案一如下：

一种基于表格特征归一化图像的方法，所述表格由多个互不重叠的单元格组成，该方法执行如下步骤：获取待识别图，生成待识别图对应的模板图，所述模板图为与所述待识别图对应的标准模板图像；分别从所述待识别图和模板图中选取至少一个位置相对应的单元格，并分别从选取的单元格中至少确认四个位于外边框上的顶点，所述待识别图中确认的顶点与所述模板图中确认的顶点位置相对应，形成至少四组相对应的顶点坐标；根据所述相对应的顶点坐标计算出透视变换矩阵；创建一空白图片，所述空白图片的尺寸与所述模板图尺寸相同，根据所述透视变换矩阵计算待识别图中各像素点变换后的像素值，将该像素值写入所述空白图片，从而得到透视变换图像，实现图像归一化。

更优地，分别从所述待识别图和模板图中选取两个以上单元格，且选中的单元格之间两两相邻，形成一整体的区域，再分别从所述待识别图和模板图中的区域中选取四个位于区域外边框上的顶点，所述待识别图中确认的顶点与所述模板图中确认的顶点位置相对应，形成至少四组相对应的顶点坐标。

更优地，分别从所述待识别图和模板图中选取全部单元格，即选取整张表格，并分别从表格中至少确认四个位于外边框上的顶点，所述待识别图中确认的顶点与所述模板图中确认的顶点位置相对应，形成至少四组相对应的顶点坐标。

更优地，所述透视变换图像上任意一坐标的像素值的计算过程为：用空白图像中的点坐标乘以所述透视变换矩阵，求出该点在待识别图中的坐标，根据求出的坐标从待识别图中获取对应的像素值，将该像素值写入所述空白图像中该点坐标位置，逐一遍历空白图像中的各点坐标，从而得到透视变换图像。

更优地，所述透视变换图像上任意一坐标的像素值的计算过程为：用空白图像中的点坐标乘以所述透视变换矩阵，求出该点在待识别图中的坐标，利用图像插值法，计算所述求出的坐标的像素值，将该像素值写入所述空白图像中该点坐标位置，逐一遍历空白图像中的各点坐标，从而得到透视变换图像。

更优地，所述图像插值法包括最近邻插值法、双线性插值法和双立方插值法。

更优地，所述待识别图中的单元格与模板图中的单元格进行匹配，所述匹配步骤为：将模板图中的单元格和待识别图中的单元格按照相同的排序规则进行排序，逐一提取相同序号的单元格进行匹配。

更优地，所述模板图中的表格有N个单元格，Wa(i)、Ha(i)、Sa(i)分别表示模板图中中第i个单元格的宽、高和面积，Wb(i)、Hb(i)、Sb(i)分别表示待识别图中第i个单元格的宽、高和面积，计算：Wa(i)/Wb(i)＝Kw(i)，Ha(i)/Hb(i)＝Kh(i)，Sa(i)/Sb(i)＝Ks(i)，设阈值T，若

且

则单元格匹配成功，否则匹配失败。

更优地，所述待识别图中的单元格与模板图中的单元格通过如下步骤进行检测：将图像转灰度、二值化，然后使用连通域检测方法，检测出前景内容相连接的块，通过设定块的长度阈值和宽度阈值，筛选出表格，得到表格的整体轮廓；所述前景内容为图像中位于图像底面上的内容；检测水平线和竖直线，水平线和竖直线的交点，任取四个交点，如果这四个交点直接有连线且连线可以组成矩形，则记录这个矩形为一单元格；重复这一步骤，直至找出所有的单元格；所有单元格中，若一单元格与其他任意单元格有部分重合，则删除面积较大的单元格，逐一遍历所有单元格，得到由互不重叠的单元格构成的表格。

本发明还提供一种基于表格特征归一化图像的设备。

本发明技术方案二如下：

一种基于表格特征归一化图像的设备，包括存储器和处理器，所述存储器存储有指令，所述指令适于由处理器加载并执行如下步骤：

确定待识别图对应的模板图，所述待识别图为需要被自动识别的图像，所述模板图为与所述待识别图对应的标准模板图像；分别从所述待识别图和模板图中选取至少一个位置相对应的单元格，并分别从选取的单元格中至少确认四个位于外边框上的顶点，所述待识别图中确认的顶点与所述模板图中确认的顶点位置相对应，形成至少四组相对应的顶点坐标；根据所述相对应的顶点坐标计算出透视变换矩阵；创建一空白图片，所述空白图片的尺寸与所述模板图尺寸相同，根据所述透视变换矩阵计算待识别图中各像素点变换后的像素值，将该像素值写入所述空白图片，从而得到透视变换图像，实现图像归一化。

本发明具有如下有益效果：

1、本发明一种基于表格特征归一化图像的方法及设备，利用图像中表格这一固定特征，使用单元格顶点坐标进行计算，获取透视变换矩阵，利用透视变化矩阵完成图像归一化，使得需要识别的区域都能比较准确地出现在模板识别框内，以提高最终票据识别率；

2、本发明一种基于表格特征归一化图像的方法及设备，用于计算透视变换矩阵的单元格选取方式灵活多样化，可根据表格形状及单元格的数量选择区域；

3、本发明一种基于表格特征归一化图像的方法及设备，选用整张表格的顶点计算透视变换矩阵的，其图像归一化效果更优；

4、本发明一种基于表格特征归一化图像的方法及设备，创建与模板图大小尺寸一致的空白图像，用透视变化矩阵获取空白图像上各点的像素值，处理速度快，图像归一化效果好；

5、本发明一种基于表格特征归一化图像的方法及设备，使用透视变换矩阵结合图像插值法计算待识别图中各像素点变换后的像素值，生成较少锯齿的透视变换图像，提高图像质量；

6、本发明一种基于表格特征归一化图像的方法及设备，以相同排序规则对单元格进行排序，相同序号单元格进行对比匹配，定位准确，能够快速确定待识别图中的单元格是否对应该模板图；

7、本发明一种基于表格特征归一化图像的方法及设备，匹配过程对各单元格的长、宽、面积进行匹配，匹配精准。

附图说明

图1为现有技术中通过套打打印出来的票据示意图；

图2为本发明一种基于表格特征归一化图像的方法的流程图；

图3为本发明的模板图示意图；

图4为本发明的待识别图像示意图；

图5为本发明的连通区域检测后的示意图；

图6为本发明的水平线检测示意图；

图7为本发明的竖直线检测示意图；

图8为本发明的交点检测示意图；

图9为本发明的单元格排序示意图；

图10为本发明的实现图像归一化后的示意图。

具体实施方式

下面结合附图和具体实施例来对本发明进行详细的说明。

实施例一

请参阅图2，一种基于表格特征归一化图像的方法，所述表格由多个互不重叠的单元格组成，包括如下步骤：获取待识别图(如图4所示)，生成待识别图对应的模板图(如图3所示)，所述模板图为与所述待识别图对应的标准模板图像；分别从所述待识别图和模板图中选取至少一个位置相对应的单元格，并分别从选取的单元格中至少确认四个位于外边框上的顶点，所述待识别图中确认的顶点与所述模板图中确认的顶点位置相对应，形成至少四组相对应的顶点坐标；根据所述相对应的顶点坐标计算出透视变换矩阵；创建一空白图片，所述空白图片的尺寸与所述模板图尺寸相同，根据所述透视变换矩阵计算待识别图中各像素点变换后的像素值，将该像素值写入所述空白图片，从而得到透视变换图像，实现图像归一化。

本发明尤其适用于票据图像的归一化，在票据图像中，由于票据结构简单，固定区域太少，无法使用OCR进行归一化，然后表格是固定特征，使用单元格的顶点坐标进行匹配，可以完成透视变化矩阵的计算，使用透视变换矩阵，可以将存在格式差异问题(包括尺寸、旋转、透视、偏移)的待识别图转换成与模板图同一格式的图像，即透视变换图像，实现图像归一化，需要识别的区域都能比较准确地出现在模板识别框内，以提高最终票据识别率。.

其中，所述待识别图中的单元格与模板图中的单元格可以通过如下步骤进行检测：将图像转灰度、二值化，然后使用连通域检测方法，检测出前景内容相连接的块，通过设定块的长度阈值和宽度阈值，筛选出表格，过滤掉文字块，得到表格的整体轮廓，如图5所示；所述长度阈值和宽度阈值根据实际样本尺寸决定，一般地，长度阈值取图像宽度的一半，宽度阈值取图像高度的一般。所述前景内容为图像中位于图像底面上的内容；检测水平线(如图6所示)和竖直线(如图7所示)，水平线和竖直线的交点(如图8所示)，任取四个交点，如果这四个交点直接有连线且连线可以组成矩形，则记录这个矩形为一单元格；重复这一步骤，直至找出所有的单元格；所有单元格中，若一单元格与其他任意单元格有部分重合，则删除面积较大的单元格，逐一遍历所有单元格，得到由互不重叠的单元格构成的表格。

请参阅图9，所述确定待识别图对应的模板图的步骤具体为：所述待识别图中的单元格与模板图中的单元格进行匹配：将模板图中的单元格和待识别图中的单元格按照相同的排序规则进行排序，逐一提取相同序号的单元格进行匹配。所述模板图中的表格有N个单元格，Wa(i)、Ha(i)、Sa(i)分别表示模板图中中第i个单元格的宽、高和面积，Wb(i)、Hb(i)、Sb(i)分别表示待识别图中第i个单元格的宽、高和面积，计算：Wa(i)/Wb(i)＝Kw(i)，Ha(i)/Hb(i)＝Kh(i)，Sa(i)/Sb(i)＝Ks(i)，设阈值T，若

且

则单元格匹配成功，否则匹配失败。一般地，所述阈值T范围在0.01～0.2，较优地，所述阈值T＝0.1。

上述过程通过识别单元格，获取单元格的坐标，对比匹配单元格，可以确定是否属于同一模板，如果是同一个模板，就可以用单元格的坐标进行透视变换，进而完成图像归一化。

在选取单元格及其顶点的步骤中，单元格面积越大，则图像归一化效果越好。因此选取单元格的方式有多种，其一：分别从所述待识别图和模板图中选取两个以上单元格，且选中的单元格之间两两相邻，形成一整体的区域，再分别从所述待识别图和模板图中的区域中选取四个位于区域外边框上的顶点，所述待识别图中确认的顶点与所述模板图中确认的顶点位置相对应，形成至少四组相对应的顶点坐标；其二：较优地，分别从所述待识别图和模板图中选取全部单元格，即选取整张表格，并分别从表格中至少确认四个位于外边框上的顶点，所述待识别图中确认的顶点与所述模板图中确认的顶点位置相对应，形成至少四组相对应的顶点坐标。

用所述相对应的顶点坐标计算透视变换矩阵的过程为：透视变换是指利用透视中心、像点、目标点三点共线的条件，按透视旋转定律使承影面(透视面)绕迹线(透视轴)旋转某一角度，破坏原有的投影光线束，仍能保持承影面上投影几何图形不变的变换。简单的说，透视变换是三维空间中两个平面之间的转换。透视变换的公式为：

其中，u，v，w是变换前三维空间坐标，即待识别图中点的三维坐标，x’,y’,w’是变换后三维空间的坐标，即模板图中相对应的点坐标；通过

投影到二维平面，即得到透视变换图像上的坐标x，y，其中，w＝1。所述

为透视变换矩阵。

用透视变换矩阵计算待识别图中各像素点变换后的像素值，从而得到透视变换图像，实现图像归一化，如图10所示。具体地，在生成归一化图像的过程中，用空白图像中的点坐标乘以所述透视变换矩阵，求出该点在待识别图中的坐标，根据求出的坐标从待识别图中获取对应的像素值，将该像素值写入所述空白图像中该点坐标位置，逐一遍历空白图像中的各点坐标，从而得到透视变换图像。但是求出的坐标值可能是小数，不是刚好在整数坐标上，因此，在这种情况下，需要使用图像插值法，计算所述求出的坐标的像素值，将该像素值写入所述空白图像中该点坐标位置。对于求出的坐标值刚好为整数点的坐标，同样也可以采用图像插值法处理像素值。采用图像插值法处理像素值，可以获取较少锯齿的图像，即减少透视变换图像中的出现锯齿的概率。所述图像插值法包括最近邻插值法、双线性插值法、双平方插值法和双立方插值法。

以双线性插值算法为例，计算所述求出的坐标位置周围与之距离最近的四个整数点坐标，利用该四个整数点坐标上的像素值，计算出该坐标的像素值，将计算出的像素值作为透视变换图像上的点坐标的像素值。

需要说明的是：线性插值法，可以简单的认为是预估两个相邻点之间位置的值。线性插值法假设两点间的像素值关系是线性的。假设插值点P在图像相邻两点A,B之间，点A到点B像素增量为dg＝g(b)-g(a)，则点P的像素值为g(p)＝g(a)+dg*|PA|。双线性插值，在数学上，双线性插值是对线性插值在二维直角网格上的扩展，用于对双变量函数(例如x和y)进行插值，其核心思想是在两个方向分别进行一次线性插值。

实施例二

本实施例提供一种基于表格特征归一化图像的设备，包括存储器和处理器，所述存储器存储有指令，所述指令适于由处理器加载并执行如下步骤：

将待识别图中的单元格与模板图中的单元格进行匹配，所述待识别图为需要自动识别的图像，所述模板图为与所述待识别图对应的标准模板图像，若匹配成功，执行如下步骤：分别从所述待识别图和模板图中选取至少一个位置相对应的单元格，并分别从选取的单元格中至少确认四个位于外边框上的顶点，所述待识别图中确认的顶点与所述模板图中确认的顶点位置相对应，形成至少四组相对应的顶点坐标；用所述相对应的顶点坐标计算透视变换矩阵；创建一空白图片，所述空白图片的大小尺寸与所述模板图相同，用透视变换矩阵计算待识别图中各像素点变换后的像素值，将该像素值写入所述空白图片，从而得到透视变换图像，实现图像归一化。

本实施例的具体步骤可以参见方法实施例中的相关说明部分。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于表格特征归一化图像的方法，所述表格由多个互不重叠的单元格组成，其特征在于，执行如下步骤：

获取待识别图，确定待识别图对应的模板图，所述模板图为与所述待识别图对应的标准模板图像；

分别从所述待识别图和模板图中选取至少一个位置相对应的单元格，并分别从选取的单元格中至少确认四个位于外边框上的顶点，所述待识别图中确认的顶点与所述模板图中确认的顶点位置相对应，形成至少四组相对应的顶点坐标；

根据所述相对应的顶点坐标计算出透视变换矩阵；

创建一空白图片，所述空白图片的尺寸与所述模板图的尺寸相同，根据所述透视变换矩阵计算待识别图中各像素点变换后的像素值，将该像素值写入所述空白图片，从而得到透视变换图像，实现图像归一化；

所述确定待识别图对应的模板图的步骤为：所述待识别图中的单元格与模板图中的单元格进行匹配：将模板图中的单元格和待识别图中的单元格按照相同的排序规则进行排序，逐一提取相同序号的单元格进行匹配；

所述模板图中的表格有N个单元格，Wa(i)、Ha(i)、Sa(i)分别表示模板图中第i个单元格的宽、高和面积，Wb(i)、Hb(i)、Sb(i)分别表示待识别图中第i个单元格的宽、高和面积，计算：Wa(i)/Wb(i)＝Kw(i)，Ha(i)/Hb(i)＝Kh(i)，Sa(i)/Sb(i)＝Ks(i)，设阈值T，若

且

且

则单元格匹配成功，否则匹配失败。

2.根据权利要求1所述的一种基于表格特征归一化图像的方法，其特征在于：分别从所述待识别图和模板图中选取两个以上单元格，且选中的单元格之间两两相邻，从而形成一整体的区域，再分别从所述待识别图和模板图中的区域中选取四个位于区域外边框上的顶点，所述待识别图中确认的顶点与所述模板图中确认的顶点位置相对应，形成至少四组相对应的顶点坐标。

3.根据权利要求1所述的一种基于表格特征归一化图像的方法，其特征在于：分别从所述待识别图和模板图中选取全部单元格，即选取整张表格，并分别从表格中至少确认四个位于外边框上的顶点，所述待识别图中确认的顶点与所述模板图中确认的顶点位置相对应，形成至少四组相对应的顶点坐标。

4.根据权利要求1所述的一种基于表格特征归一化图像的方法，其特征在于：所述透视变换图像上任意一坐标的像素值的计算过程为：用空白图像中的点坐标乘以所述透视变换矩阵，求出该点在待识别图中的坐标，根据求出的坐标从待识别图中获取对应的像素值，将该像素值写入所述空白图像中该点坐标位置，逐一遍历空白图像中的各点坐标，从而得到透视变换图像。

5.根据权利要求1所述的一种基于表格特征归一化图像的方法，其特征在于：所述透视变换图像上任意一坐标的像素值的计算过程为：用空白图像中的点坐标乘以所述透视变换矩阵，求出该点在待识别图中的坐标，利用图像插值法，计算所述求出的坐标的像素值，将该像素值写入所述空白图像中该点坐标位置，逐一遍历空白图像中的各点坐标，从而得到透视变换图像。

6.根据权利要求5所述的一种基于表格特征归一化图像的方法，其特征在于：所述图像插值法包括最近邻插值法、双线性插值法和双立方插值法。

7.根据权利要求1所述的一种基于表格特征归一化图像的方法，其特征在于：所述待识别图中的单元格与模板图中的单元格通过如下步骤进行检测：

将图像转灰度、二值化，然后使用连通域检测方法，检测出前景内容相连接的块，通过设定块的长度阈值和宽度阈值，筛选出表格，得到表格的整体轮廓；所述前景内容为图像中位于图像底面上的内容；

检测水平线和竖直线，水平线和竖直线的交点，任取四个交点，如果这四个交点直接有连线且连线可以组成矩形，则记录这个矩形为一单元格；重复这一步骤，直至找出所有的单元格；

所有单元格中，若一单元格与其他任意单元格有部分重合，则删除面积较大的单元格，逐一遍历所有单元格，得到由互不重叠的单元格构成的表格。

8.一种基于表格特征归一化图像的设备，其特征在于：包括存储器和处理器，所述存储器存储有指令，所述指令适于由处理器加载并执行权利要求1至7任一项的基于表格特征归一化图像的方法。

Images