CN105354550A - 一种基于图像局部特征点配准的表单内容提取方法 - Google Patents

Abstract

本发明提出了一种基于图像局部特征点配准的表单内容提取方法，包括以下步骤：提取输入图像中的SIFT特征点；求出输入图像与其对应基准图像的各局部图像块的匹配特征点对集合；根据匹配特征点对，计算基准图像的各局部图像块的变换矩阵；根据变换矩阵，求出输入图像中的各对应局部图像块；以局部图像块为节点、以局部图像块间几何关系为边建立图模型，通过图匹配运算对输入图像的各局部图像块和基准图像的各局部图像块进行匹配，求得匹配图像块集合；根据匹配图像块集合中的匹配特征点对集合，求得全局变换矩阵；通过全局变换矩阵变换输入图像；将变换后的输入图像与基准图像相减，得到对应像素的差值；对相减后的输入图像进行二值化，得到表单内容。

Description

一种基于图像局部特征点配准的表单内容提取方法

技术领域

本发明涉及图像处理领域，尤其涉及一种基于图像局部特征点配准的表单内容提取方法。

背景技术

近些年来随着电商的迅猛发展，快递包裹的数量急剧增加。快递包裹中的表单中含有包裹寄件人、收件人、收件人地址、邮寄物品等很多信息，这些信息对邮件的分拣、信息的提取及安检等都有非常重要的意义。而识别包裹表单上的信息，首先需要提取用户输入的内容，然后才进行识别等进一步的工作。

由于因为光照、图像采集设备、包裹的尺寸等差异，包裹表单图像在分辨率、亮度、倾斜角度等处理方面比较复杂。因此，现在市场上亟需一种新的图像处理方法来克服上述缺陷。

发明内容

本发明的目的在于克服现有技术中的缺陷，提出了一种基于图像局部特征点配准的表单内容提取方法。

本发明提出的基于图像局部特征点配准的表单内容提取方法，包括以下步骤：

步骤一：提取输入图像中的SIFT特征点；

步骤二：求出所述输入图像与其对应基准图像的各局部图像块的匹配特征点对集合；

步骤三：根据所述匹配特征点对，计算所述基准图像的各局部图像块的变换矩阵；

步骤四：根据所述变换矩阵，求出所述输入图像中的各对应局部图像块；

步骤五：以所述局部图像块为节点、以所述局部图像块间几何关系为边建立图模型，通过图匹配运算对所述输入图像的各局部图像块和所述基准图像的各局部图像块进行匹配，求得匹配图像块集合；

步骤六：根据所述匹配图像块集合中的匹配特征点对集合，求得全局变换矩阵；

步骤七：通过所述全局变换矩阵变换所述输入图像；

步骤八：将变换后的所述输入图像与所述基准图像相减，得到对应像素的差值；

步骤九：对相减后的所述输入图像进行二值化，得到表单内容。

本发明提出的基于图像局部特征点配准的表单内容提取方法中，所述基准图像的局部图像块为矩形图像块。

本发明提出的基于图像局部特征点配准的表单内容提取方法中，所述步骤一之前先选取所述基准图像中具有代表性的图像块作为局部图像块。其中，具有代表性的图像块是指检测到SIFT特征点比较多的图像块。

本发明提出的基于图像局部特征点配准的表单内容提取方法中，所述步骤二采用基于特征描述子的欧几里德距离的最近邻与次近邻比值法。

本发明提出的基于图像局部特征点配准的表单内容提取方法中，所述步骤三和步骤六中，采用RANSAC方法计算所述变换矩阵。

本发明提出的基于图像局部特征点配准的表单内容提取方法中，所述步骤五中，同一图像上任意两个局部图像块间的几何关系定义为：两局部图像块中心的距离与局部图像块的两个角之间距离的比值。

本发明提出的基于图像局部特征点配准的表单内容提取方法中，对所述基准图像的局部图像块，两个角为左上角和右上角；对所述输入图像的局部图像块，两个角为与所述基准图像的局部图像块的左上角和右上角对应的两个角。

本发明方法基于图像局部特征点配准，涉及图像局部特征、图匹配、图像变换等内容，克服了复杂分辨率、亮度、倾斜角度等方面的干扰。

本发明在图像特征方面，基于图像梯度分布的SIFT(scale-invariantfeaturetransform)具有尺度不变性和旋转不变性等优异特性，其性能得到公认。然而，SIFT特征点匹配时，不考虑特征点之间的位置关系，只依据特征描述子之间的相似性，在图像配准时存在一定的局限性。本发明基于局部图像块进行分析，以图像块为节点、图像块间几何关系为边建立图模型，从而加入了特征点之间的位置关系，对结果有一定的改善。

本发明在图匹配方面，求解两图的匹配问题可以转化为求解该两图生成的associationgraph的最大(权)团问题。本发明中将图匹配问题转化为了最大权团问题，其中加权可以更合理的对相似性建模。

本发明在图像变换方面采用投影变换模型，以及采用RANSAC方法来根据匹配数据估计变换模型的参数。

本发明方法应用范围广，可以用于各种表单的内容提取，包括包裹表单、票据等。

附图说明

图1为本发明基于图像局部特征点配准的表单内容提取方法中输入图像的示意图。

图2为本发明基于图像局部特征点配准的表单内容提取方法中基准图像的示意图。

图3为实施例中基于图像局部特征点配准的表单内容提取方法的流程图。

图4为本发明方法中基准图像的局部图像块的示意图。

图5a为本发明方法中基准图像的SIFT特征点示例图(局部)。

图5b为本发明方法中输入图像的SIFT特征点示例图(局部)。

图6为本发明方法中输入图像的局部图像块的示意图。

图7为本发明方法中基准图像图模型的示意图。

图8为本发明方法中输入图像图模型的示意图。

图9为本发明方法中输入图像在图匹配后的公共子图示意图。

图10为本发明方法中基准图像在图匹配后的公共子图示意图。

图11为本发明中变换后的输入图像的示意图。

图12为本发明方法中输入图像与基准图像相减后的图像示意图。

图13为本发明方法提取出的表单内容示意图。

图14为本发明基于图像局部特征点配准的表单内容提取方法的流程图。

具体实施方式

结合以下具体实施例和附图，对发明作进一步的详细说明。实施本发明的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明没有特别限制内容。

本发明提出了一种基于图像局部特征点配准的表单内容提取方法，包括以下步骤：

步骤一：提取输入图像中的SIFT特征点；

步骤二：求出输入图像与其对应基准图像的各局部图像块的匹配特征点对集合；

步骤三：根据匹配特征点对，计算基准图像的各局部图像块的变换矩阵；

步骤四：根据变换矩阵，求出输入图像中的各对应局部图像块；

步骤五：以局部图像块为节点、以局部图像块间几何关系为边建立图模型，通过图匹配运算对输入图像的各局部图像块和基准图像的各局部图像块进行匹配，求得匹配图像块集合；

步骤六：根据匹配图像块集合中的匹配特征点对集合，求得全局变换矩阵；

步骤七：通过全局变换矩阵变换输入图像；

步骤八：将变换后的输入图像与基准图像相减，得到对应像素的差值；

步骤九：对相减后的输入图像进行二值化，得到表单内容。

本发明中，基准图像的局部图像块为矩形图像块。

本发明中，步骤一之前先选取基准图像中SIFT特征点较多的图像区域作为局部图像块。

本发明中，步骤二采用基于特征描述子的欧几里德距离的最近邻与次近邻比值法。

本发明中，步骤三和步骤六中，采用RANSAC方法计算变换矩阵。

本发明中，步骤五中，同一图像上任意两个局部图像块间的几何关系定义为：两局部图像块中心的距离与局部图像块的两个角之间距离的比值。

本发明中，对基准图像的局部图像块，两个角是指左上角和右上角；对输入图像的局部图像块，两个角是指与基准图像的局部图像块的左上角和右上角对应的两个角。

实施例

本实施例中，以提取邮政包裹表单内容为例描述本发明的实施方法，实际本发明方法可以应用于其他表单内容的提取。

本实施例基于图像局部特征点配准的表单内容提取方法中，以采集所得的贴有表单的包裹图像作为输入图像，如图1所示，本发明方法需要未填写任何内容但格式与输入图像中的表单相同的空白标准表单图像作为基准图像，如图2所示，在通过特征点匹配求得变换模型后，将输入图像变换入与基准图像相同的坐标空间中，再进行类似图像减法的操作，得到输入图像与基准图像的差异部分，即为用户输入的内容。

本实施例的整体流程图如图3所示，具体包括以下步骤：

针对不同基准图像的不同表单类型，选取若干有代表性的矩形图像块，称为局部图像块。如图4所示，每个矩形框内为一个局部图像块。

本实施例采用SIFT特征，需要在输入图像全图中提取SIFT特征点，并在基准图像的各个图像块中提取SIFT特征点。见图5a和5b，图5a为基准图像中“收件人”处图像块中提取出的SIFT特征点，图5b为输入图像中提取出的SIFT特征点的局部(“中国邮政logo”处)。

本实施例中，首先求出输入图像与各个基准图像块的匹配特征点对集合。求解方法为SIFT特征点匹配中经典的最近邻与次近邻比值法。然后，根据已经得到的匹配点对，求出各个变换矩阵。求解后保留与各基准图像块对应的内点，在本实施例的后续步骤中使用。最后，根据各个变换矩阵，求出各个基准图像块在输入图像中的对应四边形图像块，即为输入图像的局部图像块。从图6可见，输入图像中可能得出不合法的图像块或位置错误的图像块。

本实施例中使用的变换模型为投影变换：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right]=H\left[\begin{array}{c}x\\ y\\ 1\end{array}\right],H=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& 1\end{array}\right].$

其中，(x,y)为像素坐标，H为变换矩阵。

可以在得到匹配点对后，使用RANSAC方法，会只使用一部分匹配点对(内点)计算变换矩阵，而排除另一部分“异常点”(外点)，从而对错误匹配有一定的鲁棒性。

得到输入图像的局部图像块以后，在输入图像和基准图像中以局部图像块为节点、局部图像块间几何关系为边建立图模型，然后通过图匹配运算对输入图像的局部图像块和基准图像的局部图像块进行匹配。

同一图像上任意两个图像块Pi和Pj间的几何关系，定义为两图像块中心的距离与Pi的两个角之间距离的比值：

$dist(P^i,P^j)=\frac{dist\left(center\right(P^i),center(P^j\left)\right)}{dist\left({\mathrm{corner}}_0\right(P^i),{\mathrm{corner}}_1(P^i\left)\right)}$

本实施例中定义为比值，可以尺度无关；而距离则可以旋转无关。

对基准图像块，两个角是指左上角和右上角。对基准图像建立完全图Gb，节点对应基准图像块，边的权值对应两个基准图像块间的几何关系，见图7。

对输入图像块，两个角是指与基准图像块的左上角和右上角对应的两个角。对输入图像建立完全图Gf，节点对应输入图像块，边的权值对应两个输入图像块间几何关系，见图8。

求解Gb与Gf的图匹配问题，即实现了考虑图像块间几何关系的图像块匹配。为求解图匹配问题，可以由Gb与Gf生成AssociationGraph，求解该AssociationGraph的最大权团问题。求解结果见图9与图10，公共子图中为几何关系正确的匹配块。可以看到，使得SIFT特征点所得到的匹配图像块中，错误的两对被排除在了公共子图之外。

根据图匹配后的公共子图中的节点所对应的图像块中的内点，使用RANSAC方法求解全局变换矩阵H。使用H对输入图像进行变换，所得结果见图11。

将变换后的输入图像与基准图像相减，求对应像素的差值，见图12。

对相减后的图像做二值化，得到最后输出，见图13，黑色部分为提取的表单输入，白色部分为去除的背景。

本发明提出了一种基于图像局部特征点配准、用于表单内容提取的方法。本发明通过对采集所得表单图像(例如，贴有表单的包裹图像，作为输入图像)和未填写任何内容但格式与输入图像中的表单相同的空白表单图像(作为基准图像)进行配准，之后将输入图像变换到基准图像坐标空间中，再进行图像减法的操作，得到输入图像与基准图像的差异部分，即为用户输入的内容。由于输入图像存在旋转、缩放、分辨率等差异，本发明选择了具有旋转不变性和尺度不变性的SIFT算子。由于SIFT特征点匹配时，只考虑局部特征描述子，而忽略特征点之间的位置关系，在图像配准中存在一定的局限性，因此本发明以局部图像块为单位进行处理。首先选定基准图像的局部图像块，在局部图像块上进行SIFT特征点提取，同时在输入图像中进行SIFT特征点提取，然后根据特征点的匹配在输入图像中搜索与基准图像的局部图像块相匹配的图像块，接下来对基准图像和输入图像中的图像块分别建立图模型，并通过图模型的匹配对局部图像块进行匹配，从而实现输入图像中的表单与基准图像中的表单的配准。最后通过图像减运算提取表单中的内容。实验表明，本发明能有效提取表单中用户输入的内容。

本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。

Claims (7)

1.一种基于图像局部特征点配准的表单内容提取方法，其特征在于，包括以下步骤：

步骤一：提取输入图像中的SIFT特征点；

步骤二：求出所述输入图像与其对应基准图像的各局部图像块的匹配特征点对集合；

步骤三：根据所述匹配特征点对，计算所述基准图像的各局部图像块的变换矩阵；

步骤四：根据所述变换矩阵，求出所述输入图像中的各对应局部图像块；

步骤五：以所述局部图像块为节点、以所述局部图像块间几何关系为边建立图模型，通过图匹配运算对所述输入图像的各局部图像块和所述基准图像的各局部图像块进行匹配，求得匹配图像块集合；

步骤六：根据所述匹配图像块集合中的匹配特征点对集合，求得全局变换矩阵；

步骤七：通过所述全局变换矩阵变换所述输入图像；

步骤八：将变换后的所述输入图像与所述基准图像相减，得到对应像素的差值；

步骤九：对相减后的所述输入图像进行二值化，得到表单内容。

2.如权利要求1所述的基于图像局部特征点配准的表单内容提取方法，其特征在于，所述基准图像的局部图像块为矩形图像块。

3.如权利要求1所述的基于图像局部特征点配准的表单内容提取方法，其特征在于，所述步骤一之前选取所述基准图像中SIFT特征点较多的图像区域作为局部图像块。

4.如权利要求1所述的基于图像局部特征点配准的表单内容提取方法，其特征在于，所述步骤二采用基于特征描述子的欧几里德距离的最近邻与次近邻比值法。

5.如权利要求1所述的基于图像局部特征点配准的表单内容提取方法，其特征在于，所述步骤三和步骤六中，采用RANSAC方法计算所述变换矩阵。

6.如权利要求1所述的基于图像局部特征点配准的表单内容提取方法，其特征在于，所述步骤五中，同一图像上任意两个局部图像块间的几何关系定义为：两局部图像块中心的距离与局部图像块的两个角之间距离的比值。

7.如权利要求6所述的基于图像局部特征点配准的表单内容提取方法，其特征在于，对所述基准图像的局部图像块，两个角为左上角和右上角；对所述输入图像的局部图像块，两个角为与所述基准图像的局部图像块的左上角和右上角对应的两个角。