CN104463067A - 一种Grid Matrix二维条码宏模块提取方法 - Google Patents

Abstract

一种Grid Matrix二维条码宏模块提取方法，包括：对图像进行自适应的二值化；对二值化图像中的轮廓进行连通体检测，并按照逆时针顺序排列轮廓上的点；根据轮廓上前后点的距离，提取其中的清晰线段，建立端点集合及有向线段与端点的映射关系表，通过有向线段的广度优先搜索，检测四边的闭合环；最后用后处理排除闭合环中的错误检测，以将检测作为宏模块输出进而根据几何关系采样并译码。上述Grid Matrix二维条码模块提取方法能快速得到模块数据，且能适应条码模块被显著遮挡和无损，提供高可靠性的译码数据。

Description

一种Grid Matrix二维条码宏模块提取方法

技术领域

本发明涉及二维条码识别技术领域，具体为一种Grid Matrix二维条码宏模块提取方法。

背景技术

Grid Matrix二维条码为作为我国具有自主知识产权的二维条码技术，是信息与物体之间的智能设备媒介。相比于其他识别手段，二维条码技术具有成本低、使用方便、可靠性高等优点。在迅速发展的社会需求下，传统的一维条码由于信息量小，呈现出很大的局限性。在此形势下，信息容量更大、纠错能力更高的各种二维条码被相继提出，其中各国都提出并发展了不同的二维条码，并指定了标准；Grid Matrix二维条码为作为我国具有自主知识产权的二维条码技术，对我国在信息化大发展的前景下，有深远的战略意义。另一方面，二维条码识读设备普遍摒弃了传统的激光扫描方式，而采用更为低成本的基于可见光图像技术的数字摄像头。采用数字摄像机和数字图像处理技术成为二维条码图像数据采集设备的低成本解决方案。近年来，二维条码被逐渐重视，并开始应用于各种带有视频功能的智能终端设备；在信息传播过程中，二维条码作为信息的载体和传输接口，例如在物品的出库、运输、分发、存储、转移等等环节，可以通过扫描读取物品对应的二维条码快速的获取相关信息。因此发展先进性的二维条码技术对未来国民经济和生活具有深远影响。

Grid Matrix二维条码是一种正方形的二维条码码制，该码制的码图由正方形的白色宏模块和黑色宏模块组成，每个宏模块由6乘6个正方形单元模块组成(如图1所示)。然而和所有二维条码一样，由于Grid Matrix二维条码在实际应用中会受到污损和遮挡的影响，虽然其在设计之初就考虑了通过增强定位信息的冗余性提高条码的鲁棒性。但通过算法可进一步增强处理能力对异常情况的适应，在关键情况下少许的改善即可将译码的成功率大幅提升。更需注意的是，国家标准仅仅定义了在标准的Grid Matrix二维条码图形下的宏模块提取方法，并未详细解释如何从真实的传感器图形转换到分割图像。而不标准的二维条码分割图形，将导致Grid Matrix二维条码无法被检测。然而实际使用过程的环境复杂多变。因此，研制在在复杂情况下Grid Matrix二维条码的高可靠性宏模块提取快速方法具有积极意义。

发明内容

针对上述问题，本发明的目的是提供一种基于数字图像处理技术的Grid Matrix二维条码宏模块的提取方法，以解决复杂的成像环境情况下检测Grid Matrix二维条码和分割宏模块图形的问题。它能适应真实情况下的涂改、缺损、遮挡、折痕、扭曲、光照不均匀等等问题，并且处理速率更高。技术方案如下：

一种Grid Matrix二维条码宏模块提取方法，其特征在于，按以下步骤进行：

1)读取Grid Matrix二维条码图像；

2)对上述图像做二值化处理；

3)对二值化图像求逆运算，使黑白色翻转；

4)使用连通体检测算法计算翻转后的二值化图像中的白色连通体区域；

5)遍历每个连通体像素，按照逆时针顺序记录连通体区域边界上的点，生成边界点链表；

6)对边界点链表进行简化；

7)建立轮廓上清晰线段的线段集和清晰线段端点的端点集，以及该线段集与端点集的元素间映射关系；

8)对线段集中的端点坐标信息进行融合；

9)遍历端点集，删除不属于任何线段的端点；

10)搜寻线段集中每个有向线段，记录该有向线段的后续线段及其与该有向线段之间的连接角度是否为凸；

11)遍历线段集中的所有线段：对任一线段逐次递归地找连接角度为凸且顺次连接的4条后续线段，若其最后一条线段与当前线段重合，则形成4边逆时针闭合环，记录该4个线段及相对应端点，生成4边逆时针闭合环的链表，该链表对应白色宏模块；否则继续遍历直至完成；

12)遍历线段集中的所有线段：对任一线段逐次递归地找连接角度为凹且顺次连接的4条后续线段，若其最后一条线段与当前线段重合，则形成4边顺时针闭合环，记录该4个线段及相对应端点，生成4边顺时针闭合环的链表，该链表对应黑色宏模块；否则继续遍历直至完成；

13)判断上述白色宏模块和黑色宏模块的连通，性并建立起相对几何坐标；

14)将连通的4边逆时针闭合环和4边顺时针闭合环及其相对坐标和图像区域传递给译码模块进行译码；将译码结果输出。

进一步的，上述对图像做二值化处理的方法为：

a)对图像进行预处理，包括去噪声和平滑滤波；

b)将处理后的图像转换为灰度图像；

c)使用laplace算子计算灰度图像中的边缘；

d)计算边缘图形的积分图；

e)将图像分割成若干块，并对每块子图像计算其中的边缘数量之和；

f)遍历所有子图像，若子图像中边缘数量和大于设定阈值，则认为该区域是二维码图形区域，设置对应的判别矩阵的值为1；否则设定为0；

g)提升子图像的分辨率一倍，同样子图像的尺度缩小为原来的一半，利用预先获取的积分图重新计算判别矩阵中边缘对应的子图像中边缘数量和；

h)若分辨率达到最大分辨率，则转入下一步，否则返回上一步；

i)对判别矩阵中为1的位置用Otsu算法计算其自适应分割值；

j)扩张判别矩阵；

k)利用判别矩阵分割图像，即图像中的像素灰度值若大于判别矩阵对应值，则设置为255；否则设置为0。

更进一步的，上述对边界点链表简化的方法为：若某点位于其前后两点所构成的直线上，则从边界点链表中删除该点。

更进一步的，上述线段集和端点集建立的方法为：按照逆时针方向遍历简化后的边界点链表，依次计算连续两边界点的距离，若距离超过预先设置的阈值，则该两点属于轮廓上的清晰线段的端点，保留该清晰线段和相对应的端点，生成线段集和端点集；若距离小于预先设置的阈值，则删除该线段。

更进一步的，上述线段集中的端点坐标信息进行融合的方法为：遍历线段集中的每一个端点，若线段集中的其他端点与该端点坐标的欧氏距离小于预先设定的阈值，则将两个端点的几何均值替换两个端点；若两点间的欧氏距离大于设定阈值，则不做处理。

更进一步的，上述判断宏模块的连通性及建立起相对几何坐标的方法为：将所述4边逆时针闭合环链表中的第一个4逆时针边闭合环的坐标设置为相对几何坐标系的原点(0,0)；读取与其相邻的8个4边闭合环；按照空间关系给予每个新读取的闭合环以坐标值，并再如此迭代地访问新读取的闭合环的领域，读出连通的4边闭合环之间坐标相对关系；并且从最小最大x和y坐标指导连通管4边闭合环的范围。

本发明的有益效果在于：

1、本发明可以最大程度的提高对Grid Matrix二维条码宏模块图形的提取能力，不受版本、印刷尺寸和颜色的影响，且具有较高的抗噪声、抗污损的能力；

2、本发明的宏模块提取方法可同时提取黑白模块，而无需像传统方法那样要同时提取黑白模块需分两次处理；

3、本发明的处理流程面向一维的有向线段，比面向二维图像的传统方法的处理速率更高；

4、本发明采用可见光视频，比基于激光扫描的方法成本更低。

附图说明

图1为Grid Matrix二维条码外观的示意图。

图2为本发明处理流程图。

图3为本发明的处理过程示意图，按照从左至右从上至下的顺序分别表示了Grid Matrix二维条码原图、自适应二值化图像、逆运算之后的图像、连通体轮廓、有向线段连接情况和提取 的宏模块区域的情况。

图4为本发明完成处理后提取宏模块内容获取的标准化Grid Matrix二维条码。

图5为本发明对有向线段的方向性说明，其中黑色宏模块的有向线段构成的四边形是逆时针方向，而白色宏模块的有向线段为顺时针方向。

图6为本发明处理遮挡的情况与国标叙述方法的处理情况的对比，其中国标方法结果为左图，本发明方法的结果为右图。对比可见，在同样的遮挡情况下，本文方法可用多直接提取出两个模块(灰色标记)。尽管仅多出两个模块，但在解码上可能就是能否成功的信息分界线。

具体实施方式

本发明方法应用于二维码扫描器设备，其工作过程是，视频采集部分根据用户指令，开启摄像头并按照固定帧率采集彩色视频图像；Grid Matrix二维条码检测部分对摄像机采集的视频图像进行基于自适应二值化轮廓的向线段的预处理，再提取并输出其中的Grid Matrix码宏模块信息以供译码模块识别；人机交互部分接受到用户的工作指令后，首先打开补光装置提示用户设备由休眠转为开始工作，并用激光定位指示灯提示用户扫描范围，当扫描成功后用蜂鸣器提示完成。

本发明处理过程主要包含两个部分：从图像中提取有向线段的预处理部分和处理有向线段以鲁棒性地提取Grid Matrix二维码宏模块的核心部分。其中前者是从观测图像中提取有向线段并建立线段和端点集的映射表；后者是核心的处理算法，采用广度优先的遍历方法从有向线段中组合出可能为Grid Matrix二维码条码宏模块的区域，最后处理去除干扰。

通过分区域的局部信息自适应地二值化视频采集的图片，提取二值化轮廓中的显著线段并按照逆时针排序，记录端点集合及其与逆时针导向的有向线段；进而广度优先的扫描优先线段中后续线段，从中组合获取四边的闭合环，最后用后处理排除闭合环中的错误检测，以将检测作为宏模块输出进而根据几何关系采样并译码。具体步骤如下：

1)读取采集到的Grid Matrix二维条码图像。

2)对上述图像做二值化处理；具体步骤如下：

a)对图像进行预处理，包括去噪声和平滑滤波；

b)将处理后的图像转换为灰度图像；

c)使用laplace算子计算灰度图像中的边缘；

d)计算边缘图形的积分图；

e)将图像分割成若干块，并对每块子图像计算其中的边缘数量之和；

f)遍历所有子图像，若子图像中边缘数量和大于设定阈值，则认为该区域是二维码图形区域，设置对应的判别矩阵的值为1；否则设定为0；

g)提升子图像的分辨率一倍，同样子图像的尺度缩小为原来的一半，利用预先获取的积分图重新计算判别矩阵中边缘对应的子图像中边缘数量和；

h)若分辨率达到最大分辨率，则转入下一步，否则返回上一步；

i)对判别矩阵中为1的位置用Otsu算法计算其自适应分割值；

j)扩张判别矩阵；

k)利用判别矩阵分割图像，即图像中的像素灰度值若大于判别矩阵对应值，则设置为255；否则设置为0。

3)对二值化图像求逆运算，使黑白色翻转。

4)使用连通体检测算法计算翻转后的二值化图像中的白色连通体区域。

5)遍历每个连通体像素，按照逆时针顺序记录连通体区域边界上的点，生成边界点链表；由于链表中的点按照逆时针次序记录，因此相邻边界点之间始终存在前后关系，由相邻边界点定义的线段可以认为是从前一个点指向后一个点，线段具有方向性，在此称其为有向线段。在本文所述处理中，每个线段皆赋予了方向性，皆为有向线段。

6)对边界点链表进行简化；具体方法为：若某点位于其前后两点所构成的直线上，则从边界点链表中删除该点。

7)建立轮廓上清晰线段的线段集和清晰线段端点的端点集，以及该线段集与端点集的元素间映射关系。具体方法为：按照逆时针方向遍历简化后的边界点链表，依次计算连续两边界点的距离，若距离超过预先设置的阈值，则该两点属于轮廓上的清晰线段的端点，保留该清晰线段和相对应的端点，生成线段集和端点集；若距离小于预先设置的阈值，则删除该线段。

8)对线段集中的端点坐标信息进行融合。具体做法为，遍历线段集中的端点，判断线段集中的其他端点与其坐标的欧氏距离是否小于预先设定的阈值，若小于阈值则可认为此两点非常近似有待融合，则将两个端点的几何均值替换两个端点。若两点间的欧氏距离大于设定阈值，则说明两点分别从属于不同的端点，不予进一步考虑。其中的阈值是通过预先的样本统计获取，并在程序中设置固定。该处理的好处是，可以减少由于图像模糊等干扰导致的边角模糊而引起的定位偏差。

9)遍历端点集，删除不属于任何线段的端点。

10)搜寻线段集中每个有向线段，记录该有向线段的后续线段及其与该有向线段之间的连接角度是否为凸。有向线段间夹角是否为凸的定义，是由两个有向线段所代表的矢量外积的正负所决定，在本文中定义外积为正时夹角为凸。

11)遍历线段集中的所有线段：对任一线段逐次递归地找连接角度为凸且顺次连接的4条后续线段，若其最后一条线段与当前线段重合，则形成4边逆时针闭合环，记录该4个线段及 相对应端点，生成4边逆时针闭合环的链表，该链表对应白色宏模块；否则继续遍历直至完成。

12)遍历线段集中的所有线段：对任一线段逐次递归地找连接角度为凹且顺次连接的4条后续线段，若其最后一条线段与当前线段重合，则形成4边顺时针闭合环，记录该4个线段及相对应端点，生成4边顺时针闭合环的链表，该链表对应黑色宏模块；否则继续遍历直至完成。

13)判断上述白色宏模块和黑色宏模块的连通，性并建立起相对几何坐标。具体做法为：将步骤11)中获取的4边逆时针闭合环链表中的第一个4边闭合环的坐标设置为相对几何坐标系的原点(0,0)；读取该与闭合环的4条边相邻四个闭合环，即为该闭合环的上下左右的领域闭合环；再读取该闭合环在相对几何坐标系下的对角线领域,即左上、左下、右下和右上领域的闭合环。按照空间关系给予每个新读取的与其相邻的8个4边闭合环以坐标值，并再如此迭代地访问新读取的闭合环的领域。如此循环可悉数读出连通的4边闭合环之间坐标相对关系。并且从最小最大x和y坐标可以指导连通管4边闭合环的范围。

14)将连通的4边逆时针闭合环和4边顺时针闭合环及其相对坐标和图像区域传递给译码模块进行译码；译码过程参照国家标准GB/T 27766-2011进行。译码结果输出到终端设备。

在以上步骤中，由于自适应的阈值计算过程总是在提升分辨率后的图形区域的边缘进行的，因此计算复杂度由传统穷举搜索方法的O(n²)减为了O(n)，即计算复杂度大为降低，加速了二维条码检测提取过程。因此，快速判断观测图像中是否有二维条码图形并快速分割的意义在于，可以改善检测识别的速率。首先判断场景中是否有二维条码的计算代价比较小，如果观测图像中没有二维条码，则可回避后续无用的操作，直接循环处理下一帧图像。其次，如果场景中有二维条码，则需对二维条码图形区域进行提取。此时的关键要求不是处理速度快，而是尽量准确获得高质量的分割图像，进而减少扫描译码模块尝试的次数。换句话说，尽管高质量的分割过程会适当增加运算量，但由于提高了命中率，因此从全局看仍然是提高了识别速率。由于还采用了高精度分割的加速方法，因此使计算效率进一步提升。

硬件列表如下：

摄像机参数说明：

摄像机成像效果主要受感光芯片和镜头两方面影响。其中，感光芯片可采用CCD芯片也 可用CMOS芯片，需尽量采用较大尺寸，以降低成像噪声和提高动态范围。镜头采用定焦镜头，焦距采用等效于135相机的50mm光学镜头，以使拍摄Grid Matrix二维条码的距离和使用习惯相符合。镜头无需自动对焦，只需设计适当的景深范围，使手持或定位扫描时，GridMatrix二维条码的图像正好在镜头的精神范围之内。摄像机的感光芯片、镜头需相对固定，整合到一起。

硬件连接说明：

摄像机镜头通过固定装置保持与摄像头感光芯片的相对位置恒定。感光芯片的信号通过内置的AD装换后输出给二维条码检测计算机，计算机连接并控制补光设备和定位设备，同时显示屏和蜂鸣器也通过插槽连接至计算机。

Claims (6)

1.一种Grid Matrix二维条码宏模块提取方法，其特征在于，按以下步骤进行：

1）读取Grid Matrix二维条码图像；

2）对上述图像做二值化处理；

3）对二值化图像求逆运算，使黑白色翻转；

4）使用连通体检测算法计算翻转后的二值化图像中的白色连通体区域；

5）遍历每个连通体像素，按照逆时针顺序记录连通体区域边界上的点，生成边界点链表；

6）对边界点链表进行简化；

7）建立轮廓上清晰线段的线段集和清晰线段端点的端点集，以及该线段集与端点集的元素间映射关系；

8）对线段集中的端点坐标信息进行融合；

9）遍历端点集，删除不属于任何线段的端点；

10）搜寻线段集中每个有向线段，记录该有向线段的后续线段及其与该有向线段之间的连接角度是否为凸；

11）遍历线段集中的所有线段：对任一线段逐次递归地找连接角度为凸且顺次连接的4条后续线段，若其最后一条线段与当前线段重合，则形成4边逆时针闭合环，记录该4个线段及相对应端点，生成4边逆时针闭合环的链表，该链表对应白色宏模块；否则继续遍历直至完成；

12）遍历线段集中的所有线段：对任一线段逐次递归地找连接角度为凹且顺次连接的4条后续线段，若其最后一条线段与当前线段重合，则形成4边顺时针闭合环，记录该4个线段及相对应端点，生成4边顺时针闭合环的链表，该链表对应黑色宏模块；否则继续遍历直至完成；

13）判断上述白色宏模块和黑色宏模块的连通，性并建立起相对几何坐标；

14）将连通的4边逆时针闭合环和4边顺时针闭合环及其相对坐标和图像区域传递给译码模块进行译码；将译码结果输出。

2.根据权利要求1所述的一种Grid Matrix二维条码宏模块提取方法，其特征在于，所述对图像做二值化处理的方法为：

a) 对图像进行预处理，包括去噪声和平滑滤波；

b) 将处理后的图像转换为灰度图像；

c) 使用 laplace 算子计算灰度图像中的边缘；

d) 计算边缘图形的积分图；

e) 将图像分割成若干块，并对每块子图像计算其中的边缘数量之和；

f) 遍历所有子图像，若子图像中边缘数量和大于设定阈值，则认为该区域是二维码图形区域，设置对应的判别矩阵的值为1；否则设定为0；

g) 提升子图像的分辨率一倍，同样子图像的尺度缩小为原来的一半，利用预先获取的积分图重新计算判别矩阵中边缘对应的子图像中边缘数量和；

h) 若分辨率达到最大分辨率，则转入下一步，否则返回上一步；

i) 对判别矩阵中为 1 的位置用 Otsu 算法计算其自适应分割值；

j) 扩张判别矩阵；

k) 利用判别矩阵分割图像，即图像中的像素灰度值若大于判别矩阵对应值，则设置为 255；否则设置为0。

3. 根据权利要求1所述的一种Grid Matrix二维条码宏模块提取方法，其特征在于，所述对边界点链表简化的方法为：若某点位于其前后两点所构成的直线上，则从边界点链表中删除该点。

4. 根据权利要求1所述的一种Grid Matrix二维条码宏模块提取方法，其特征在于，所述线段集和端点集建立的方法为：按照逆时针方向遍历简化后的边界点链表，依次计算连续两边界点的距离，若距离超过预先设置的阈值，则该两点属于轮廓上的清晰线段的端点，保留该清晰线段和相对应的端点，生成线段集和端点集；若距离小于预先设置的阈值，则删除该线段。

5. 根据权利要求1所述的一种Grid Matrix二维条码宏模块提取方法，其特征在于，所述线段集中的端点坐标信息进行融合的方法为：遍历线段集中的每一个端点，若线段集中的其他端点与该端点坐标的欧氏距离小于预先设定的阈值，则将两个端点的几何均值替换两个端点；若两点间的欧氏距离大于设定阈值，则不做处理。

6. 根据权利要求1所述的一种Grid Matrix二维条码宏模块提取方法，其特征在于，所述判断宏模块的连通性及建立起相对几何坐标的方法为：将所述4边逆时针闭合环链表中的第一个4逆时针边闭合环的坐标设置为相对几何坐标系的原点（0,0）；读取与其相邻的8个4边闭合环；按照空间关系给予每个新读取的闭合环以坐标值，并再如此迭代地访问新读取的闭合环的领域，读出连通的4边闭合环之间坐标相对关系；并且从最小最大x和y坐标指导连通管4边闭合环的范围。