CN100456314C - 基于聊天用摄像头的快速响应矩阵码识读方法 - Google Patents

Abstract

本发明公开了一种基于聊天用摄像头的快速响应矩阵码自动识读方法，对于目前已广泛普及的聊天用摄像头所读取的QR二维条码，能够快速有效的识别。本发明不局限于专用二维条码识读设备，可对输入条码的限制条件放宽。针对自然光照下的QR条码图像，设计了自适应阈值分割算法进行条码图像的二值化。在精确定位QR条码的四个顶点时，根据QR条码中位置探测图形的特性确定了其中的三个顶点；在定位第四个顶点时，通过挖空算法将QR条码图像挖空，排除了条码内部点对使用Hough变换时的干扰；同时针对传统的Hough变换计算量大、空间复杂度高的缺点，设计了过已知点的Hough变换。根据QR码图像不失真时为正方形的特点，采用控制点变换的方法进行几何失真校正，变换时的灰度插值采用双线性插值法。

Description

基于聊天用摄像头的快速响应矩阵码识读方法

技术领域

本发明属于电子条码自动识别技术，对根据国标GB/T 18284-2000《快速响应矩阵码》生成的快速响应矩阵码(或称QR二维条码，QR二维条形码，简称QR Code或QR码)，基于已普及的聊天用摄像头进行自动识别。

背景技术

国内外普遍采用的电子条码技术是一维条码编码和自动识别技术，常见的编码方式有EAN-8、EAN-13、UPC-A及UPC-E等各种标准。然而，其内含信息量相当少，只限于使用数字，在这个信息爆炸的时代已不敷使用。由于信息技术及硬件技术的进步，使我们得以扩展电子条码的容量，因而产生了二维条码的标准及技术。常见的二维条码有PDF417、Data Matrix、MaxiCode及快速响应矩阵码(QR Code)等各种国际标准，除了数字及符号外，包括快速响应矩阵码在内的一些编码方式还具有可表示各国语言文字信息和图像信息、携带信息量大、精确描述物品、防伪功能、不依赖计算机数据库等优点，从而提高了条码技术的应用水平，拓展了应用领域。

快速响应矩阵码是具有代表性的二维条码，国标GB/T 18284-2000中的技术规定，“每个快速响应矩阵码符号有正方形模块组成的一个正方形阵列构成”。快速响应矩阵码符号共有40个规格，分别为版本1、版本2……版本40。版本1的规格为21模块×21模块，版本2的规格为25模块×25模块，依次类推，每一版本比前一版本每边增加四个模块，直到版本40，其规格为177模块×177模块。

国内发明公开说明书CN 1665182A公开了一种快速响应矩阵码的编码及译码方法，它是在编码时增加了一个加密程序，对应的在译码模块中含有一个解密程序，增强了信息的安全性。其译码模块在条码图像二值化时采用的K均值聚类法(K-mean clustering)，此方法的缺点是群组的初始中心值随机性太强，可能进入死循环，得不到预期的结果；同时该算法计算量大，消耗时间多。

发明内容

本发明的目的在于提出利用已普及的聊天用摄像头采集快速响应矩阵码，以高识别率，快速有效地自动识读快速响应矩阵码的方法。

为了实现本发明的目的，技术方案如下：对通过摄像头采集的彩色图像进行灰度化处理；根据所提出的基于直方图特性的自适应阈值化算法，获取二值图像；根据位置探测图形的特殊性质(黑色∶白色∶黑色∶白色∶黑色＝1∶1∶3∶1∶1)初步确定码图位置并将其提取出来；利用三个位置探测图形的特性确定快速响应矩阵码四个顶点中的其中三个顶点，采用挖空算法得到快速响应矩阵码的边缘信息，再利用过已知点的Hough变换确定条码的第四个顶点，根据不失真的快速响应矩阵码为正方形的特性利用控制点变换法进行几何失真校正；为得到条码图像的码字，需要得到行与列交叉处的条码模块，可以参照国标GB/T 18284-2000给出的参考译码算法；再来侦测是否有校正图形来决定版本，并利用定位图形来切割快速响应矩阵码图像，再读出掩模信息解除掩模，最后依序读出二进制值字符串并译码，便可以得到字符串信息。

主要技术特点如下：

(1)二值化

首先获取灰度化后图像的直方图，对其进行中值滤波后分析直方图的峰值特性。如果得到明显双峰的直方图，取双峰间的波谷最低值或平坦波谷的中间值作为全局阈值，对条码图像进行二值化。对于直方图是单峰，并且单峰处于低灰度区，则认为条码处在弱光下，反之条码处于强光下，使用二次阈值选取的处理方式，取低灰度区或高灰度区的中心值和初始全局阈值的平均值作为阈值。如果直方图呈现三峰或者多峰状态，说明条码处于光照不均匀或背景复杂的情况下，采用局部阈值法进行二值化。

(2)挖空算法

根据快速响应矩阵码的三个位置探测图形的特性可以精确的定位条码的三个顶点。但是第四个顶点处不存在位置探测图形，而且该顶点处是否存在黑色模块也是不确定的。为此先将条码挖空，得到边缘信息，在排除了条码内部的点对使用Hough变换的干扰，此时求出的旋转角度是比较精确的。

挖空算法：因为快速响应矩阵码是一幅二值图像，只有0和255两种灰度。故凡是处于码图中间部分的点，其四个方向(上、下、左、右)上都有黑色像素点存在(灰度值为0)，此时可将该点去掉(灰度值变为255)。而边缘部分不可能四个方向上同时存在黑色像素点，所以通过这个方法可以将快速响应矩阵码码图的边缘信息提取出来。

(3)过已知点的Hough变换

过已知点的改进Hough变换方法，是在Hough变换基本原理的基础上，将逐点向整个参数空间的投票转化为仅向一个“已知点”参数空间投票的快速直线检测方法。其基本思想是：首先找到属于直线上的一个点，将这个已知点p₀的坐标定义为(x₀，y₀)，将通过p₀的直线斜率定义为m，则坐标和斜率的关系可用下式表示：

(y-y₀)＝m(x-x₀)    (1)

定义区域内目标像素p_i的坐标为(x_i，y_i)，(0≤i＜n，n为区域内目标像素总数)，则p_i点与p₀点之间连线的斜率m_i可用下式表示：

m_i＝(y_i-y₀)/(x_i-x₀)(2)

将斜率值映射到一组累加器上，每求得一个斜率，将使其对应的累加器的值加1，因为同一条直线上的点求得的斜率一致，所以当目标区域中有直线成分时，其对应的累加器出现局部最大值，将该值所对应的斜率作为所求直线的斜率。

当x_i＝x₀时，m_i为无穷大，这时公式(2)不成立。为了避免这一现象，当x_i＝x₀时，令m_i＝2，当m_i＞1或m_i＜-1时，采用下式(3)的计算值替代m_i，这样无限域的m_i被限定在了(-1，3)的有限范围内。在实际操作时设定斜率区间为[-2，4]。

m_i′＝1/m_i+2               (3)

本发明提供的快速响应矩阵码的自动识读方法，与前述其它已知技术相比较时，具有以下的优点：

(1)不需要辅助光源，对自然光照下的条码可自动识读。

(2)二值化算法由于兼顾图像在不同光照下的各种可能和实时性要求，可以很好实现图像的二值化分割，模型简单，阈值选择容易，处理速度快，空间占用少。

(3)挖空算法排除了条码内部点对使用Hough变换的干扰，过已知点的Hough变换相对于传统的Hough计算量少，空间复杂度低。

(4)控制点几何变换纠正了快速响应矩阵码图像的几何失真。

附图说明

下面结合附图对本发明的具体实施方式做进一步详细的说明：

图1是本发明中快速响应矩阵码结构图；

图2是本发明中位置探测图形(Finder Patterns)结构图；

图3是本发明中利用快速响应矩阵码的位置探测图形的特性定位条码的其中三个顶点的示意图；

图4是本发明中挖空算法的示意图，其中(a)为二值化后的条码图像，(b)为挖空后的图像；

图5是本发明中过已知点Hough变换直线检测过程示意图；

图6是本发明中几何失真校正的原理图；

图7是本发明中几何失真校正的实际效果图；

图8是本发明中双线性插值原理图；

图9是本发明中解码系统的流程图。

具体实施方式

(1)灰度化

因为快速响应矩阵码图像是由0或1的黑白模块组成，而通过摄像头采集到的是彩色图像。彩色图像包含着大量的信息，不但在存储上开销很大，而且处理上也会降低系统的执行速度。由于图像的每个像素都具有三个不同的颜色分量，存在许多与识别无关的信息，不便于进一步的识别工作，因此在对图像进行识别等处理中经常将彩色图像转变为灰度图像，以加快处理速度。由彩色图像转换为灰度图像的过程叫做灰度化处理。灰度图像是只有强度信息而没有颜色信息的图像。由于人眼对绿色的敏感度最高，对红色的敏感度次之，对蓝色的敏感度最低，经过大量的实践经验，人们总结出绿色的权值为0.59，红色的权值为0.30，蓝色的权值为0.11时，得到的灰度图效果最好、最真实。即

I＝0.59G+0.30R+0.11B

(2)自适应阈值化处理

在用摄像头采集图像时，由于没有辅助光源，光照不均的现象经常存在，这时采用固定单一的阈值无法进行正确的图像分割。另外一方面，条码的应用要求实时性强，考虑到用户的使用要求，从而决定图像分割不应采用耗时，占用空间较多的算法。因此，选取阈值化处理作为获取二值图像的方法。

首先对灰度化后图像进行中值滤波，然后分析其直方图的峰值特性。如果得到明显双峰的直方图，取双峰间的波谷最低值或平坦波谷的中间值作为全局阈值，对条码图像进行阈值化处理。对于直方图是单峰，并且单峰处于低灰度区，则认为条码处在弱光下，反之条码处于强光下，使用二次阈值选取的处理方式，取低灰度区或高灰度区的中心值和初始全局阈值的平均值作为阈值。如果直方图呈现三峰或者多峰状态，说明条码处于光照不均匀或背景复杂的情况下，采用局部阈值法进行阈值化处理。

(3)条码定位和提取

快速响应矩阵码中包含三个大小和形状相同的位置探测图形(FinderPatterns)A、B、C。每个探测图形(图2)由3个重叠的同心正方形组成，模块宽度比例为：黑色∶白色∶黑色∶白色∶黑色＝1∶1∶3∶1∶1，对本译码算法，每一模块宽度的允许偏差为0.5。它们对于条码图像的大小和旋转具有不变性的特点，同时在符号图像中出现类似图形的可能性极小，因此可以通过查找满足近似比例的区域来迅速确定探测图形的位置。由于图像中边缘模糊性的影响，满足要求的图形往往多于3个，根据位置探测图形A、B、C之间的距离关系(A、B、C构成近似等腰直角三角形)，可以最终确定位置探测图形。同时在这个过程我们可以得到位置探测图形的中心点坐标(x_A，y_A)，(x_B，y_B)，(x_c，y_c)及其宽度(h_A，h_B，h_C)和高度(w_A，w_B，w_c)，根据x_A，y_A，x_B，y_B，x_C，y_C之间的大小关系确定其位置关系，将位置探测图形的中心点坐标往外延伸对应的高度及宽度的1/2再加上一定的余量即可大致确定条码区域，并将其提取出来。

(4)图像几何失真的校正和复原

先利用快速响应矩阵码的位置探测图形的特性得到条码的其中三个顶点，方法如下：

①从条码区域的八个方向(如图3所示)由外至里用直线进行扫描，当直线与条码的黑色模块有2个以上的交点则停止。

②八个方向上的扫描结束后，至少可以获得16个点。

③那些同时在两个方向上出现的点即为顶点。

这些步骤完成之后，将获得3个或3个以上的顶点。又因为其中的三个顶点分别离各自的位置探测图形的中心点的距离是最近的，这样的话可以确定三个顶点。但是第四个顶点处不存在位置探测图形，而且该顶点处是否存在黑色模块也是不确定的。为此将条码挖空(如图4所示)，得到边缘信息，在排除了条码内部的点对使用Hough变换的干扰，此时求出的旋转角度是比较精确的。同时针对传统的Hough变换，提出利用过已知点的Hough变换的直线检测方法检测条码边缘。

过已知点的改进Hough变换方法，是在Hough变换基本原理的基础上，将逐点向整个参数空间的投票转化为仅向一个“已知点”参数空间投票的快速直线检测方法。其基本思想是：首先找到属于直线上的一个点，将这个已知点p₀的坐标定义为(x₀，y₀)，将通过p₀的直线斜率定义为m，则坐标和斜率的关系可用下式表示：

(y-y₀)＝m(x-x₀)     (1)

定义区域内目标像素p_i的坐标为(x_i，y_i)，(0≤i＜n，n为区域内目标像素总数)，则p_i点与p₀点之间连线的斜率m_i可用下式表示：

m_i＝(y_i-y₀)/(x_i-x₀)     (2)

将斜率值映射到一组累加器上，每求得一个斜率，将使其对应的累加器的值加1(如图5所示)，因为同一条直线上的点求得的斜率一致，所以当目标区域中有直线成分时，其对应的累加器出现局部最大值，将该值所对应的斜率作为所求直线的斜率。

当x_i＝x₀时，m_i为无穷大，这时公式(2)不成立。为了避免这一现象，当x_i＝x₀时，令m_i＝2，当m_i＞1或m_i＜-1时，采用下式(3)的计算值替代m_i，这样无限域的m_i被限定在了(-1，3)的有限范围内。在实际操作时设定斜率区间为[-2，4]。

m_i′＝1/m_i+2    (3)

具体步骤如下：

①使用挖空算法将条码挖空，只留下其边缘信息，如图4所示。

②根据已知的三个顶点的位置关系确定出第四个顶点位于条码的方位(左上、左下、右上、右下)。

③以与第四个顶点相邻的二个顶点作为已知点利用Hough变换得到这两条边界直线的斜率，从而利用两条直线相交得到第四个顶点。

利用图像中若干个能表示特征的控制点实现空间的变换，以达到几何校正的目的。考虑到无失真的条码是一个正方形，而失真后的条码通常会变成一般四边形，这样，可利用4个顶点的正方形特征，如图6所示，将失真图像中的4个顶点A′，B′，C′和D′(控制点)还原成正方形A，B，C和D，同时，考虑图像变形不太大时，使用下述变换：

s(x，y)＝xk₁+yk₂+xyk₃+k₄     (4)

t(x，y)＝xk₅+yk₆+xyk₇+k₈     (5)

上面两式中有8个未知数，当确定了原图像上4个点A′~D′和坐标变换后的4个点A~D坐标之后，就可以计算出8个参数k₁、k₂、…、k₈。从而实现由一般四边形到正方形的校正变换。图像变换的另一项工作是实现像素值的变换，可以进行双线性插值(如图8所示)，即假定变换后图像中的某点在原图像中的坐标为(x′_i，y′_i)，而其4个相邻像素分别为(x′_i0，y′_i0)、(x′_i0，y′_i1)、(x′_i1，y′_i0)、(x′_i1，y′_i1)，灰度值分别为f₀₀、f₀₁、f₁₀、f₁₁，则该点的灰度值可表示为：

f_xy＝(f₁₀-f₀₀)×(x′_i-x′_i0)+(f₀₁-f₀₀)×(y′_i-y′_i0)+(f₁₁+f₀₀-f₀₁-f₁₀)×(y′_i-y′_i0)+f₀₀

(6)

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (3)

1.一种基于聊天用摄像头的快速响应矩阵码识读方法，其特征在于：对通过摄像头采集的彩色图像进行灰度化；再对图像采用自适应阈值法获取阈值并进行二值化，得到黑白图像；根据快速响应矩阵码位置探测图形的特殊性质：黑色∶白色∶黑色∶白色∶黑色＝1∶1∶3∶1∶1，初步确定码图位置并将其提取出来；利用三个位置探测图形的特性确定快速响应矩阵码四个顶点中的其中三个顶点；采用挖空算法得到快速响应矩阵码的边缘信息，挖空算法是对于一幅快速响应矩阵码二值图像将该条码内部满足其上、下、左、右四个方向上都有黑色像素点存在的点变为白色，进而得到快速响应矩阵码的边缘；再利用过已知点的Hough变换确定条码的第四个顶点；根据不失真的快速响应矩阵码为正方形的特性利用控制点变换法进行几何失真校正；为得到条码图像的码字，参照国标GB/T 18284-2000给出的条码识别参考算法，得到行与列交叉处的条码模块；再来侦测是否有校正图形来决定版本，并利用定位图形来切割快速响应矩阵码图像，再读出掩模信息解除掩模，最后依序读出二进制值字符串并译码，便可以得到字符串信息。

2.如权利要求1所述的基于聊天用摄像头的快速响应矩阵码识读方法，其特征在于：其中的自适应阈值法，是根据图像的直方图特性不同确定不同的阈值选取方法。

3.如权利要求1所述的基于聊天用摄像头的快速响应矩阵码识读方法，其特征在于：其中的过已知点的Hough变换是根据快速响应矩阵码已知的三个顶点的位置关系确定出第四个顶点位于条码的哪个方位，以与第四个顶点相邻近的两个顶点作为已知点利用Hough变换得到这两条边界直线的斜率，从而利用两条直线相交得到第四个顶点。

Images