CN105786957A - 一种基于单元格邻接关系与深度优先遍历的表格排序方法 - Google Patents

Abstract

本发明公开了一种基于单元格邻接关系与深度优先遍历的表格排序方法，对手机扫描或拍照表格文件中的单元格进行排序，以便用于对指定单元格内容的提取，因此，在处理之前需要对每个单元格的位置进行统一规则的排序。首先，对表格图像的二值轮廓图信息进行处理，该轮廓即是表格图像中所有单元格的边缘信息；然后，根据每个单元格的轮廓信息判断出四个角点的位置，并根据每个单元格的轮廓建立表格图像中各个单元格的邻接关系图；最后，通过对该连通图进行深度优先遍历实现对单元格的排序。本发明提供了一种有效的排序方法，可以很好地解决因扫描或拍照发生扭曲的表格图像中单元格的排序问题。

Description

一种基于单元格邻接关系与深度优先遍历的表格排序方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于单元格邻接关系与深度优先遍历的表格单元排序方法。

背景技术

对表格图像中的单元格内容进行提取、分析，从而实现对填表数据进行汇总分析，是各类信息化系统中一项常见工作，若能对手工填写的表格进行自动识别处理，将大大减少手工录入数据的烦琐和易错性，提高计算机自动处理能力和系统的效率。

现有的图像处理方法，大多针对计算机打印的标准图像，比如医院药方、烟厂徽标等，处理效果很好。但是，对于手工填写并通过手机扫描(拍照)的表格图像进行识别处理的，尤其对填写表格中指定单元格定位提取的应用，目前尚未很好解决。这是因为手机扫描(拍照)时，不可避免会导致表格图像发生扭曲，所以，要对表单图像中的指定单元格进行分析处理，前提是要解决各个单元格的位序问题，即必须对可能发生了扭曲的表格图像中的单元格的位置进行统一规则的排序，这是表格自动处理的基础。因此，我们针对表格图像中单元格之间相对位置的不变性，提出了一种基于单元格邻接关系与连通图深度优先遍历的表格排序算法，根据单元格的轮廓判断出四个角点的位置，然后再根据每个单元格的轮廓建立表格图像中各个单元格的邻接关系图；最后通过对连通图进行深度优先遍历实现单元格的排序。

发明内容

为了解决现有技术存在的上述问题，本发明提出了一种基于单元格邻接关系与深度优先遍历的表格单元排序方法。首先对表格图像的二值轮廓图信息进行处理，根据每个单元格的轮廓所建立的直角坐标系，找到单元格的四个角点，进而根据四个角点与坐标轴的关系判断出四个角点的具体位置关系；然后根据表格图像中各个单元格的四个角点间的位置关系，建立单元格的邻接关系图；最后通过对邻接关系图进行深度优先遍历，实现表格中单元格的排序。具体方法为：

步骤1，读取一个表格图像的所有单元格轮廓数据(Counters)，该轮廓数据为对扫描(拍照)的表格图像进行分割后生成的二值图像数据；

步骤2，构建各个单元格轮廓的邻接关系表(adjacency)：

(1)计算单元格轮廓各相邻点之间的距离，找到最长的矢量连线，标记为计算单元格的中心点，标记为C；计算中心点C到的投影点P₁，得到矢量直线计算与垂直的矢量

(2)根据与建坐标系，将单元格的轮廓数据按照象限分为四部分，设P为单元格轮廓上的任意点，判断P与的位置关系，判断规则为(以为例)：计算P到与垂直距离S＝(C(x)-P(x))*(P₁(y-P(y))-(C(y)-P(y))*(P₁(x)-P(x))，若S正数，则P在矢量的左侧；若S为负数，则P在的右侧；如果S为0，则P在上，但此时记P在左侧。根据P与的左右侧关系的组合，将P分到某一象限部分(象限无需明确)；

(3)计算所有轮廓点到中心C的距离，并选出每个象限部分中距中心C最远的一个点作为该象限的角点，得到单元格的四个角点(P_i1，P_i2，P_i3，P_i4)；

(4)判断单元格四个角点的位置关系，关系分为左上、右上、左下和右下：

a)首先，找出矢量左侧的两个点构成第一角点组G₁(P_i1，P_i2)，另外两个点构成第二角点组G₂(P_i3，P_i4)；

b)其次，判断G₁和G₂相对于的相对位置垂直划分和水平划分关系，分别计算角点组G₁和G₂的x坐标均值m_x1、m_x2：

$m_{x1}=\frac{\underset{k=1}{\overset{2}{\Σ}}{P}_{ik}\left(x\right)}{2}---\left(1\right)$

$m_{x2}=\frac{\underset{k=3}{\overset{4}{\Σ}}{P}_{ik}\left(x\right)}{2}---\left(2\right)$

计算y坐标均值m_y1、m_y2：

$m_{y1}=\frac{\underset{k=1}{\overset{2}{\Σ}}{P}_{ik}\left(y\right)}{2}---\left(3\right)$

$m_{y2}=\frac{\underset{k=3}{\overset{4}{\Σ}}{P}_{ik}\left(y\right)}{2}---\left(4\right)$

再计算坐标均值的绝对差值Δ_x和Δ_y：

Δx＝|m_x1-m_x2|(5)

Δy＝|m_y1-m_y2|(6)

当Δx＞Δy，G₁和G₂被垂直划分，否则被水平划分；

c)然后，在某一划分情形下，判断G₁和G₂的相对左右关系或上下关系，在垂直划分时，若m_x1＜m_x2，G₁和G₂为左右关系，否则为右左关系；在水平划分时，若m_y1＞m_y2，G₁和G₂为上下关系，否则为下上关系；d)最后，在某一划分情形下，判断四个角点的具体位置关系。如在垂直划分情形下，若G₁和G₂是左右分布关系，则当P_i1(y)＞P_i2(y)，P_i1是左上角点，P_i2是左下角点，其它划分情形下的角点位置判断方法类似；

(5)根据单元格四个角点的绝对位置关系，建立表格单元格的邻接关系图AG，对于任意一个单元格B_x，计算它的左上角点与其它所有单元格左下角点的距离，其距离最小的单元格即为B_x的上邻接单元格；计算它的左上角点与其它所有单元格右上角点的距离，其距离最小的单元格即为B_x的左邻接单元格；计算它的右上角点与其它所有单元格左上角点的距离，其距离最小的单元格即为B_x的右邻接单元格；计算它的左下角点与其它所有单元格左上角点的距离，其距离最小的单元格即为B_x的下邻接单元格。另外，设一阈值Δ，当邻接单元格的距离大于Δ时，该邻接关系不成立，即B_x无该邻接关系的单元格存在；

步骤3，用深度优先遍历方法对已知邻接关系的表格单元进行排序：

(1)从邻接关系图AG中找出最左上单元格(无左邻接单元格和上邻接单元格)，记为node；

(2)从node出发，对AG进行深度优先遍历，对表格的单元格从左到右、从上到下进行位置遍历顺序；

a)寻找与node右侧相邻的单元格，不断向右搜索，直至找到最右边的单元格(无右邻接单元格)；

b)寻找最右单元格下邻接的单元格，并向左搜索，直至最左(无左邻接单元格)；

c)寻找最左单元格下邻接的单元格，并向右搜索，直至最右单元格；

d)重复上述b)-c)过程，直至遍历完AG中所有表格单元，完成排序。

本发明的有益效果为：本发明有效地结合了表格图像的特点，通过表格单元间角点的邻接关系和深度优先算法实现了对表格图像中每个单元格的位置遍历排序。

附图说明

图1建立以每个单元格图像中心为坐标原点的直角坐标系；

图2坐标点P与坐标系向量的位置关系图；

图3四个角点的位置关系图；

图4单元格四角点位置标记图；

图5标准模板原图；

图6标准模板二值图；

图7标准模板轮廓图；

图8标准模板角点检测图；

图9标准模板检测结果图；

图10用户填表拍照示例1原图；

图11用户填表拍照示例1二值图；

图12用户填表拍照示例1轮廓图；

图13用户填表拍照示例1角点检测图；

图14用户填表拍照示例1检测结果图。

具体实施方式

一种基于单元格邻接关系与深度优先遍历的表格排序方法。下面结合附图1-14和实施例对本发明作进一步详细的说明。

实施例：一种基于单元格邻接关系与深度优先遍历的表格排序方法，主要包含以下步骤：

步骤1，读取一个表格图像的所有单元格轮廓数据(Counters)，该轮廓数据为对表格图像进行分割后生成的二值图像数据；

步骤2，构建各个单元格轮廓的邻接关系表(adjacency)；

(1)计算单元格轮廓各相邻点之间的距离，找到最长的矢量连线，标记为

$\stackrel{\→}{AB}=\max (\underset{i=1}{\overset{N-1}{\Σ}}{\mathrm{Counter}}_i-{\mathrm{Counter}}_{i+1})---\left(1\right)$

计算出单元格的中心点，标记为C；

$C=\frac{\underset{i=1}{\overset{N}{\Σ}}{\mathrm{Counter}}_i}{N}---\left(2\right)$

计算中心点C到的投影点P₁，得到

$\stackrel{\→}{CP}=\frac{\stackrel{\→}{AC}\·\stackrel{\→}{AB}}{\left|\stackrel{\→}{AB}\right|}---\left(3\right)$

计算与垂直的矢量进而以中心C为坐标原点，以和为坐标轴建立直角坐标系，如图1所示。

(2)根据与所建坐标系，将单元格的轮廓点按照象限分为四部分。

以为例，如图2所示，设P为单元格轮廓上的某一点，判断P与的位置关系，判断规则为：计算P到与垂直距离S，若S正数，则P在矢量的左侧；若S为负数，则P在的右侧；如果S为0，则P在上，但此时记P在左侧。据P与的左右侧关系的组合，将P分到某一象限部分，如图3所示。

S＝(C(x)-P(x))*(P₁(y-P(y))-(C(y)-P(y))*(P₁(x)-P(x))(4)

(3)计算所有轮廓点到中心C(x,y)的距离，并选出每个象限部分中距中心C最远的一个点作为该象限的角点，得到单元格的四个角点FourPoints(P_i1，P_i2，P_i3，P_i4)，如图3所示。

d_i＝sqrt((Counter_i(x)-C(x))²+(Counter_i(y)-C(y))²)(5)

FourPoints＝Max(d_i)(6)

(4)判断单元格四个角点的位置关系(左上、右上、左下和右下)。

a)找出矢量左侧的两个点构成第一角点组G₁(P_i1，P_i2)，另外两个点构成第二角点组G₂(P_i3，P_i4)。

b)判断G₁和G₂相对于的相对位置划分关系(垂直划分和水平划分)。

第一步，分别计算角点组G₁和G₂的x坐标均值m_x1、m_x2：

$m_{x1}=\frac{\underset{k=1}{\overset{2}{\Σ}}{P}_{ik}\left(x\right)}{2}---\left(7\right)$

$m_{x2}=\frac{\underset{k=3}{\overset{4}{\Σ}}{P}_{ik}\left(x\right)}{2}---\left(8\right)$

第二步，计算y坐标均值m_y1、m_y2：

$m_{y1}=\frac{\underset{k=1}{\overset{2}{\Σ}}{P}_{ik}\left(y\right)}{2}---\left(9\right)$

$m_{y2}=\frac{\underset{k=3}{\overset{4}{\Σ}}{P}_{ik}\left(y\right)}{2}---\left(10\right)$

第三步，计算坐标均值的绝对差值Δx和Δy：

Δx＝|m_x1-m_x2|(11)

Δy＝|m_y1-m_y2|(12)

判断：当Δx＞Δy，G₁和G₂被垂直划分，否则被水平划分。

c)在某一划分情形下，判断G₁和G₂的相对位置关系(左右关系或上下关系)。

在垂直划分时，若m_x1＜m_x2，G₁和G₂为左右关系，否则为右左关系；在水平划分时，若m_y1＞m_y2，G₁和G₂为上下关系，否则为下上关系，如表1所示。

表1角点组G₁和G₂的相对位置关系

d)在角点组G₁和G₂的相对位置关系判断基础上，判断四个角点的具体位置关系。如在垂直划分情形下，若G₁和G₂是左右分布关系，则当P_i1(y)＞P_i2(y)，P_i1是左上角点，P_i2是左下角点，具体的逻辑判断关系如表2.a，2.b所示。

表2.a角点的绝对位置关系

表2.b角点的绝对位置关系

(5)根据单元格四个角点的绝对位置关系，建立表格单元格的邻接关系图AG。对于一个单元格B_x，通过计算它的某个角点与其它所有单元格某一角点的距离，找到此时距离最小的单元格即为它的某种邻接关系的单元格。如计算它的左上角点与其它所有单元格右上角点的距离，其距离最小的单元格即为B_x的左邻接单元格，具体的邻接关系判断中所需的角点距离及结果判断如表3所示。另外，设一阈值Δ，当邻接单元格的距离大于Δ时，该邻接关系不成立，即B_x无该邻接关系的单元格存在。

表3单元格邻接关系判断的角点距离计算关系

	左上角点	右上角点	左下角点
				左上角点		左邻接	上邻接
右上角点	右邻接
				左下角点	下邻接

步骤3，利用深度优先遍历算法对已知邻接关系的单元格进行排序。

(1)从邻接关系图AG中找出最左上单元格(无左邻接单元格和上邻接单元格)，记为node。

(2)从node出发，对AG进行深度优先遍历，对表格的单元格从左到右、从上到下进行位置遍历顺序。

a)寻找与node右侧相邻的单元格，不断向右搜索，直至找到最右边的单元格(无右邻接单元格)。

b)寻找最右单元格下邻接的单元格，并向左搜索，直至最左(无左邻接单元格)；

c)寻找最左单元格下邻接的单元格，并向右搜索，直至最右单元格；

d)重复上述b)-c)过程，直至遍历完AG中所有表格单元，完成排序。

(3)深度优先遍历的基本思想：

a)访问角点v；

b)从v出发，访问v的一个未被访问的邻接点w，然后从w出发，访问一个未被访问的w的邻接点k，依次类推，直到所有邻接角点都被访问，然后回退，继续该过程，直至图中所有和v有路径相通的角点都被访问。

Claims (1)

1.一种基于单元格邻接关系与深度优先遍历的表格排序方法，其特征在于包含以下步骤：

步骤1，读取一个表格图像的所有单元格轮廓数据，该轮廓数据为对扫描或拍照的表格图像进行分割后生成的二值图像数据；

步骤2，构建各个单元格轮廓的邻接关系表：

(1)计算单元格轮廓各相邻点之间的距离，找到最长的矢量连线，标记为计算单元格的中心点，标记为C；计算中心点C到的投影点P₁，得到矢量直线计算与垂直的矢量

(2)根据与建坐标系，将单元格的轮廓数据按照象限分为四部分，设P为单元格轮廓上的任意点，判断P与的位置关系，判断规则为(以为例)：计算P到与垂直距离S＝(C(x)-P(x))*(P₁(y-P(y))-(C(y)-P(y))*(P₁(x)-P(x))，若S正数，则P在矢量的左侧；若S为负数，则P在的右侧；如果S为0，则P在上，但此时记P在左侧。根据P与的左右侧关系的组合，将P分到某一象限部分；

(3)计算所有轮廓点到中心C的距离，并选出每个象限部分中距中心C最远的一个点作为该象限的角点，得到单元格的四个角点(P_i1，P_i2，P_i3，P_i4)；

(4)判断单元格四个角点的位置关系(左上、右上、左下和右下)：

a)首先，找出矢量左侧的两个点构成第一角点组G₁(P_i1，P_i2)，另外两个点构成第二角点组G₂(P_i3，P_i4)；

b)其次，判断G₁和G₂相对于的相对位置垂直划分和水平划分关系，分别计算角点组G₁和G₂的x坐标均值m_x1、m_x2：

$m_{x1}=\frac{\underset{k=1}{\overset{2}{\Σ}}{P}_{ik}\left(x\right)}{2}---\left(1\right)$

$m_{x2}=\frac{\underset{k=3}{\overset{4}{\Σ}}{P}_{ik}\left(x\right)}{2}---\left(2\right)$

计算y坐标均值m_y1、m_y2：

$m_{y1}=\frac{\underset{k=1}{\overset{2}{\Σ}}{P}_{ik}\left(y\right)}{2}---\left(3\right)$

$m_{y2}=\frac{\underset{k=3}{\overset{4}{\Σ}}{P}_{ik}\left(y\right)}{2}---\left(4\right)$

再计算坐标均值的绝对差值Δx和Δy：

Δx＝|m_x1-m_x2|(5)

Δy＝|m_y1-m_y2|(6)

当Δx＞Δy，G₁和G₂被垂直划分，否则被水平划分；

c)然后，在某一划分情形下，判断G₁和G₂的相对左右关系和上下关系，在垂直划分时，若m_x1＜m_x2，G₁和G₂为左右关系，否则为右左关系；在水平划分时，若m_y1＞m_y2，G₁和G₂为上下关系，否则为下上关系；

d)最后，在某一划分情形下，判断四个角点的具体位置关系，如在垂直划分情形下，若G₁和G₂是左右分布关系，则当P_i1(y)＞P_i2(y)，P_i1是左上角点，P_i2是左下角点，其它划分情形下的

角点位置判断方法类似；

(5)根据单元格四个角点的绝对位置关系，建立表格单元格的邻接关系图AG，对于任意一个单元格B_x，计算它的左上角点与其它所有单元格左下角点的距离，其距离最小的单元格即为B_x的上邻接单元格；计算它的左上角点与其它所有单元格右上角点的距离，其距离最小的单元格即为B_x的左邻接单元格；计算它的右上角点与其它所有单元格左上角点的距离，其距离最小的单元格即为B_x的右邻接单元格；计算它的左下角点与其它所有单元格左上角点的距离，其距离最小的单元格即为B_x的下邻接单元格。另外，设一阈值Δ，当邻接单元格的距离大于Δ时，该邻接关系不成立，即B_x无该邻接关系的单元格存在；

步骤3，用深度优先遍历方法对已知邻接关系的单元格进行排序：

(1)从邻接关系图AG中找出最左上单元格，记为node；

(2)从node出发，对AG进行深度优先遍历，对表格的单元格从左到右、从上到下进行位置遍历顺序；

a)寻找与node右侧相邻的单元格，不断向右搜索，直至找到最右边的单元格；

b)寻找最右单元格下邻接的单元格，并向左搜索，直至最左；

c)寻找最左单元格下邻接的单元格，并向右搜索，直至最右单元格；

d)重复上述b)-c)过程，直至遍历完AG中所有表格单元，完成排序。