CN104424457A - 一种非线性扭曲情况下的二维码识别方法 - Google Patents

Abstract

本发明属于二维码识别领域，涉及对扭曲情况下的二维码进行识别技术，具体设计一种非线性扭曲情况下的二维码识别方法，适用于由于拍摄角度或二维码本身的扭曲使原本为正方形的二维码发生了形变时，对二维码进行校正并识别。本发明方法通过对非线性扭曲情况下的二维码进行二维码区域提取、二维码校正、解码识别原始二维码。其中：二维码区域提取即将二维码区域从背景图像中提取出来，通过图像预处理、位置探测图形提取、图像孔洞填充、二维码区域提取实现。二维码校正通过二维码关键点提取、校正图像对应点坐标，映射关系进行校正。本发明方法还具有能够自动校正识别扭曲二维码的功能。

Description

一种非线性扭曲情况下的二维码识别方法

技术领域

本发明涉及对扭曲情况下的二维码进行识别技术，适用于由于拍摄角度或二维码本身的扭曲使原本为正方形的二维码发生了形变时，对二维码进行校正并识别。

背景技术

伴随着经济和计算机技术的不断发展，人们对商品质量的要求越来越高，以往每种商品上贴一种标签的方式已经不能满足我们的需求，更向每件商品有一个唯一标识的需求发展。二维码由于其高信息量大低成本等特点，在商品标识领域如雨后春笋般快速发展。当你在超市购物的时候，看到一个杯子，通过扫描贴在杯子上的二维码就可以知道这个世界上唯一的杯子是由哪里的陶土，经过哪位大师的手精心制作而成。这不是梦想，马上就会成为现实。

然而，二维码贴在商品上方便我们探索物品来源的同时也带来了另一个问题，二维码由于拍摄角度、自身扭曲等原因，会发生不同程度的扭曲，已有算法对发生线性扭曲情况通过寻找二维码的四个角点，根据反透视变换求出校正图形，但是对于非线性形变的二维码校正并能识别，现在还没有相应的算法及软件。

发明内容

鉴于上述问题，本发明的目的在于提供一种在非线性扭曲下的二维码识别方法，根据扭曲情况，将二维码从复杂背景中提取出来，在自适应地确定映射关键点对，再根据映射关系求出校正的二维码。

具体说，本发明提供一种对扭曲二维码识别的方法，即通过图像采集设备，得到二维码的图像，再经过二维码区域提取、二维码校正、解码三个步骤来实现二维码的识别。

二维码区域提取是实现二维码识别的基础，在一幅图像中如果找不到待识别的二维码，后面的工作就无法完成。二维码的定位就是找到二维码的图像区域，对有明显二维码特征的区域进行提取。具体包括：图像预处理、位置探测图形提取、图像孔洞填充、二维码区域提取四部分。二维码区域提取首先对图像预处理，目的是在不影响处理效果的情况下减少图像占用空间以提高处理速度，并降低噪声的影响，包括：图像灰度化、图像二值化、图像去噪。图像预处理后是位置探测图形提取，其包括：位置探测图形估计、位置探测图形提炼两部分。位置探测图形估计即用传统方法以任何方向检测水平垂直都满足1:1:3:1:1比例的特点找到二维码候选区域，由于复杂背景的某些区域可能也满足此比例，为了排除背景区域干扰，通过面积比及重心检测及通过基于面积比的位置探测图形提炼算法从候选区域中提取真正的二维码，最后运用填洞算法填补二维码区域空洞，使二维码在一个区域内，经过提炼后的区域，以一个位置探测图形的中心为种子点，再结合区域增长得到二维码区域。

二维码校正是在得到二维码区域之后，由于拍摄角度或二维码本身的扭曲使原本为正方形的二维码发生了形变，需要对二维码进行校正。对二维码进行校正，通过二维码关键点提取、二维码边缘拟合、校正图像对应点坐标，映射关系，求出二维码的部分关键点及对应校正图形上的坐标，并结合映射关系，求出校正的二维码图形。二维码关键点提取通过自适应角点检测算法求出四个角点，再求出位置探测图形的部分角点，作为扭曲二维码的关键点；二维码边缘拟合通过寻找关键点在校正图形上的对应点，由四条曲线拟合扭曲二维码的边缘，得到拟合曲线，进而求出关键点之间的曲线距离，并根据伸缩比求出校正图形上的对应坐标，最后结合映射关系求出校正二维码。

解码是在得到一幅标准的二维码图像后，对该图像进行网格采样，对网格每一个交点上的图像像素取样，并根据阈值确定该像素位置是深色模块还是浅色模块。构造一个位图，用二进制的“1”表示深色像素，“0”表示浅色像素，从而得到二维码的原始二进制序列值，然后对这些数据进行纠错和译码，最后根据条码的逻辑编码规则把这些原始的数据位流转换成数据码字。

本发明的优点在于：可以自适应地校正识别非线性扭曲二维码。

附图说明

图1：二维码识别流程图；

图2：二维码区域提取流程图；

图3：位置探测图形；

图4：二维码校正流程图。

具体实施方式

下面结合附图对本发明的方案进行详细说明。

图1为二维码识别流程图。图2为二维码区域提取流程图，图3为位置探测图形，图4为二维码校正流程图。结合图1，本发明二维码识别方法包括：二维码提取、二维码校正、解码三部分。解码部分可利用现有成熟的软件算法进行。

二维码提取包括：图像预处理、位置探测图形提取、图像孔洞填充、二维码区域提取四个部分。

首先要进行图像预处理，目的是在不影响处理效果的情况下减少图像占用空间以提高处理速度，并降低噪声的影响。包括：图像灰度化、图像二值化、图像去噪。本发明方法采用加权平均法求得灰度化图像，最大类间方差法求得二值化图像，先开运算后闭运算的形态学方法去除图像噪声。

图像预处理后是位置探测图形提取，这是二维码区域提取的关键也是复杂背景下二维码识别的关键。位置探测图形提取包括：位置探测图形估计、位置探测图形提炼两部分。位置探测图形估计即用传统方法检测水平垂直满足1:1:3:1:1比例的区域，如图3。由于复杂背景的某些区域可能也满足此比例，为了排除背景区域干扰，在传统算法基础上本文提出了基于面积比的位置探测图形提炼算法。

经过提炼后的区域，以一个位置探测图形的中心为种子点，结合区域增长，得到二维码所在区域。

二维码校正包括：二维码关键点提取，二维码边缘拟合、校正图像对应点坐标、映射关系四个部分。

对二维码所在区域，首先进行二维码关键点的提取，由于同时有二维码扭曲及拍摄角度等问题，在图像上表现的扭曲为非线性，四个角点不足以求出映射关系，因此我们在二维码的四个角点做为关键点的同时，还要寻找其它边缘关键点。利用两组直线逼近的角点检测算法，两组直线由远及近逼近二维码，直到与二维码相切，记录切点的个数，找出两组直线中切点数少的一组，其中的四条直线切点的重心即为二维码的角点，而二维码边缘上的其它关键点则通过搭桥法求出，具体步骤如下：

具体方法如下，以二维码上边界为例

1）由于二维码区域提取过程中的位置探测图形提炼已经估计位置探测图形边长，即为板桥的长度。

2）以左端点为起点，以起点为圆心，长为N的线段顺时针旋转，直到线段与二维码上边界接触。

3）如果接触点的个数大于1个，选择离起点距离最近的切点，记录其坐标，并在下次迭代时以此切点为起点；如果接触点的个数为1，记录其坐标，并在下次迭代时以此切点为起点。

4）直到起点的坐标与上边界另一个端点的距离小于N，迭代结束。所有的起始点，即为我们求得的关键边缘点。

对其它三条边界做同样的处理，得到四组关键边缘点。再对关键点进行稀疏化处理，即得到二维码的关键点。

再以二维码的关点用最小二乘法拟合得到四条边界的轮廓。

通过上述的步骤我们求出扭曲图像上的关键点包括：二维码角点、位置探测图形的部分角点以及四条边的拟合曲线，要求这些关键点在校正图像上的对应点。观察图像可知，位置探测图形的部分角点与最近的焦点之间的曲线距离应该是位置探测图形的边长，由于扭曲形变，曲线距离有所变化。用积分的方法，求出四条边拟合曲线和扭曲图像上位置探测图形的边长。由于二维码发生非线性形变，每条边的形变大小不相同。根据校正图形的大小n，用积分方式求出扭曲二维码每条边长及伸缩系数，接下来找出与关键点位置最近的拟合曲线上点的坐标，为扭曲图像的对应点。求出扭曲图像上的对应点在拟合曲线上的对应长度，再求出相应的校正图形上的对应点。

最后是映射关系。物体按照理想针孔模型成像，所得的图像为理想图，由于实际拍摄的二维码与理想二维码不完全一致，因此所成的图像有扭曲，成为扭曲图。假定理想图中的点(x',y')在扭曲图中对应坐标为(x,y),(x,y)与(x',y')之间的映射关系为

$\left\{\begin{array}{c}{x}^{\′}={\mathrm{\Σ}}_{i=0}^k{\mathrm{\Σ}}_{j=0}^{k-i}{u}_{\mathrm{ij}}{x}^i{y}^j\\ y^{\′}={\mathrm{\Σ}}_{i=0}^k{\mathrm{\Σ}}_{j=0}^{k-i}{v}_{\mathrm{ij}}{x}^i{y}^i\end{array}\right\}$

为了确定多项式系数，在扭曲图中找n个点(x₁,y₁),(x₂,y₂)…(x_n,y_n)，它们在理想图像中的对应坐标为(x′₁,y′₁),(x'₂,y'₂)…(x'_n,y'_n)，这些点称为约束点。基于这n对约束点数据用最小二乘法可以辨识出式中的参数，从而确定坐标映射关系。

对于理想图像中的一点，利用式可得到它在扭曲图中对应的位置，然后使用灰度插值的方法即可得到该点的灰度。对校正图像中的每一点做这样的处理，就完成了图像的扭曲校正。

通过以上步骤，得到扭曲二维码的校正图像。

最后应说明的是：以上实施例仅用以说明本发明方法而非限制，尽管参照较佳实施例对本文进行了详细说明，本领域的普通技术人员应当理解，在不脱离本发明的精神和范围的前提下对本发明进行的修改或者等同替换，均应涵盖在本发明的权利要求范围内。

Claims (1)

1.一种非线性扭曲情况下的二维码识别方法，包括二维码提取、二维码校正、解码，其特征在于：

二维码提取，根据有明显二维码特征的区域进行提取，首先对图像预处理，图像预处理后是对位置探测图形提取，通过位置探测图形估计、位置探测图形提炼以任何方向检测水平垂直都满足1:1:3:1:1比例的特点找到二维码候选区域和通过面积比及重心检测及通过基于面积比的位置探测图形提炼算法从候选区域中提取真正的二维码，然后运用填洞算法填补二维码区域空洞，使二维码在一个区域内，经过提炼后的区域，以一个位置探测图形的中心为种子点，再结合区域增长得到二维码区域；

二维码校正，对二维码区域进行二维码关键点的提取，通过自适应角点检测算法求出四个角点，同时，通过搭桥法求出二维码边缘上的其它边缘关键点，作为扭曲二维码的关键点，用最小二乘法对稀疏化的边缘关键点拟合得到边界的轮廓；然后寻找出关键点在校正图形上的对应点，用四条曲线拟合扭曲二维码的边缘，得到拟合曲线，进而求出关键点之间的曲线距离，并根据伸缩比求出校正图形上的对应坐标，最后结合映射关系求出校正二维码。