CN108229234B - 一种融合数字编码的可扫描图像生成方法 - Google Patents

Abstract

本发明公开了一种融合数字编码的可扫描图像生成方法，属于二维码生成技术领域。本发明首先利用一种基于局部自适应的图像亮度调整算法对待融合图像进行处理，突出图像色彩；其次提取图像的显著性区域获得调整二维码模块优先级的权重矩阵，利用高斯消元对二维码模块进行调整；最后对亮度调整的待融合图像和模块调整后的二维码基于权重矩阵进行融合，生成最终的可扫描二维码图像。本发明生成的二维码兼容传统二维码的编解码标准，在保证扫描健壮性的前提下，大大提高了二维码的视觉效果，较好地解决了二维码美感和健壮性的冲突问题，拓宽了二维码的应用场景。

Description

一种融合数字编码的可扫描图像生成方法

技术领域

本发明属于二维码领域，涉及二维码视觉效果优化，尤其涉及一种融合数字编码的可扫描图像生成方法。

背景技术

如今，随着手机的普及和移动互联网的飞速发展，二维码作为一种信息的载体，越来越普遍地出现在人们的日常生活中，常常扮演连接着线上和线下的“桥梁”的角色。二维码的外观是一种二维平面上的图形，我们将二维码的最小单位称为“模块”。由于计算机内部的逻辑基础是二进制的“0”和“1”，因此二维码的模块也被设计为两种状态，分别代表着“0”或“1”。通过对于不同的黑白模块进行不同位置的有序排列来达到携带信息的目的。在识别的时候，可以通过手机或者其它光电扫描设备对二维码进行扫码，来达到对二维码信息自动处理的目的。

在日常生活中，二维码已经与人们息息相关，二维码的最常见的使用方式是人们将某些信息编码成某一类型的二维码然后在广告中使用。用户看见相应的二维码后，可以使用自己的手机或者其它扫描设备对二维码进行扫描，得益于手机计算能力的巨大提升的手机优秀的拍摄能力，用户在扫码后可以实时获得二维码中的信息，然后用户就可以获取有关产品进一步的相关信息。然而，传统的二维码比如QuickRespond code(QR Code)和DataMatrix Code (DM Code)一开始并不是专门为手机扫码而设计的。

如图1所示，列举了几种不同的二维码。这些二维码设计之初是为了携带信息，因此设计的时候更多注重的是扫描的健壮性，并没有考虑二维码的视觉效果，因此给现在二维码的使用带来了不便：第一，现有二维码由杂乱无章的黑白块组成，没有良好的视觉效果，与背景并不协调；第二，现有二维码没有对于二维码内容的提示信息。用户在扫描二维码的时候，在扫码成功之前无法得知自己在扫描的二维码所携带的信息是什么。这两个缺点极大的限制了潜在用户在扫描二维码时的积极性，影响了二维码的发展和应用。

发明内容

本发明的目的是提供一种融合数字编码的可扫描图像生成技术，同时保证生成的可扫描图像兼顾视觉效果和扫描健壮性。

本发明提供的融合数字编码的可扫描图像生成方法，主要包括以下步骤：

步骤1、对待融合图像进行亮度调整，设调整后的图像为I_p；

步骤2、对输入信息编码获得二维码DM，将图像I_p以二维码模块为基本单位转变为二值图像I_m，对待融合图像提取显著性区域生成权重矩阵W；权重矩阵W用来标记模块处理的优先级，按照模块的优先级，对DM中与I_m中对应位置颜色不同的模块，进行高斯消元操作，直到无法继续为止，获得二维码DM_g；

步骤3、将二维码DM_g与图像I_p基于模块进行融合，生成可扫描的二维码图像DM+。

所述的步骤3中，根据二维码在扫描阶段的采样原理，设定二维码模块内像素被采样到的概率满足二维高斯分布，在进行模块融合时，按照模块内二维高斯分布的权重，优先调整模块中心区域亮度，使模块中心点及周围像素优先达到预期亮度。

本发明在步骤1中实现了一种自适应方法调整图像亮度，对图像的不同区域进行不同程度的调整，从而突出图像的主体部分，获得色彩更加鲜亮的图像，为二维码融合奠定基础；在步骤2中基于显著性和高斯消元法对二维码模块进行调整，使生成的二维码中间结果与待融合的输入图像具有更好的结构相似性；在步骤3中基于二维码在扫描阶段的采样原理，来进行模块融合，优先调整模块中心区域亮度，使模块中心点及周围像素优先达到预期亮度，以便更加有效地提高该模块被采样正确的概率。与现有技术相比，本发明提供的技术方案具有如下优点和积极效果：

(1)生成速度快：生成400像素以下的二维码图片耗时小于1秒钟。

(2)视觉效果好：如图7，通过调查问卷的方式，对不同种的艺术二维码的视觉效果进行主观评测，视觉效果好，得分情况如图8。

(3)扫描健壮性高：对不同种艺术二维码进行扫描健壮性测试，扫描健壮性高，扫描结果见图9。

附图说明

图1为现有技术中几种不同的二维码示意图；

图2为本发明方法的整体流程示意图；

图3为本发明使用的模块化结果样例示意图；

图4为本发明方法进行高斯消元的结果示意图；

图5为本发明方法中进行模块融合的示意图；

图6为本发明中生成的新型二维码效果示意图，图中将彩色图变为灰度图；

图7为使用的不同方案生成的艺术二维码的对比示意图，图中将彩色图变为灰度图；

图8为本发明中使用的不同美化二维码视觉效果的评分；

图9为使用两款手机对不同方案生成的艺术二维码进行扫描测试的结果图。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

本发明提出了一种融合数字编码的可扫描图像生成方法，主要包括了基于局部自适应的亮度调整方法、基于高斯消元与图像显著性的模块顺序调整方法和基于权重矩阵的模块融合方法。本发明方法在DM码的基础上进行一系列的改变和美化，生成的新的二维码，称之为 DM+码。如图2所示为整体流程，下面说明各个步骤。

步骤1、利用基于局部自适应的亮度调整方法对输入的原始图像I₀进行处理，设亮度调整后的图像为I_p。

图片与Data Matrix码融合之前，需要对其进行预处理，获得视觉效果和扫描健壮性良好的编码图案，有利于进行融合操作。在实际扫描过程中，摄像头拍摄所获得的图像可能受光照、角度、拍摄设备的影响，使其与原图的色彩有所差异。此外，目前扫码器在获得图像之后，均是将彩色图像直接转换为二值图像，并在二值图像上进行数据的采样和解码，所以，阈值化的结果正确与否与二维码的扫描健壮性密切相关。

目前几乎所有扫码器都是在开源库Zxing的基础上开发，均采用局部阈值化方法，即根据像素点周围像素亮度情况确定该点阈值，由此可知：(1)某像素周围的像素亮度分布情况会影响该像素阈值化结果；(2)某像素与周围像素的整体亮度分布差异越大，该像素被阈值化正确的概率越大。因此，本发明设计了一种图像局部自适应亮度调整方法，通过改变局部亮度分布情况，提高像素被阈值化正确概率，从而间接保障生成二维码的扫描健壮性。

在实际亮度调整过程中，根据原始输入图像的亮度变化情况进行划分，对于图像局部亮度变化较大，其本身与周围像素具有较大差异的区域，仅进行细微调整，而对于局部亮度变化较小，其往往与周围像素色彩近似的区域，通过扩大其亮度分布差异，从而提高该区域在扫描时阈值化正确的概率。

本发明提供的图像局部自适应亮度调整方法，实现如下：

首先，假定L(x,y)为待融合图像I₀中(x,y)点的亮度值，选定(2n+1)×(2n+1)的滤波窗口，则有：

M_L(x,y)为滤波窗口内的图像像素点的平均亮度值，n为正整数。

然后，计算局部方差

则有：

得到局部方差后，即可对像素点的亮度进行调整：

其中f(x,y)为调整后(x,y)位置的亮度值；D为常数；

保证了算法是自适应的。根据式(3)可以看出，在图像的边缘以及变化剧烈的区域，局部方差比较大，算法对亮度的调整比较小，较好地保留了图片的视觉信息。而对于亮度差异较小的区域，较大的亮度调整可以保证模块阈值化准确性。此外，该调整算法通过调整图像的亮度，有助于在图像融合阶段，很好地避免原始输入图像与二维码模块之间的视觉冲突，有利于提高DM+码的视觉效果。

步骤2、对输入信息编码获得二维码DM，基于高斯消元与图像显著性对二维码DM进行模块顺序调整。

在对二维码图像进行模块顺序调整时，需要确定以模块为单位的图像亮度，因此要获得模块化图像I_m。此处对获得亮度调整后的图像I_p进行预处理。首先对图像I_p进行灰度化获得图像I_g，之后将灰度图像I_g转变为模块化二值图像I_m，在该过程中，I_g是以像素为基本单位，而I_m以二维码模块为基本单位，此处二维码模块是指二维码的最小单位。将图像I_g中的任意一点表示为I_g(x,y)，而I_m中的任意一个模块表示为I_m(k)，当像素点(x,y)的位置对应于第k个模块位置时，将其记为(x,y)∈I_m(k)。对于第k个模块的整体亮度

可以表示为：

其中G(x,y)为点(x,y)处根据二维高斯分布获得的权重值，且满足：

进一步，可以通过阈值化操作获得第k个模块的阈值化结果I_m(k)：

得到的二值图像的大小与所要生成的二维码的大小是相同的。可按照预先设定的尺寸大小来获取图像I₀，进而得到统一尺寸的二值图像I_m。

如图3所示，为将一个图像进行处理得到的模块化二值图像。

由于生成的DM+码必须保证原始输入信息不变，所以，在进行模块顺序调整过程中，必须使其满足里德所罗门的编码约束。根据文献可知，可以通过高斯消元方法选取部分模块进行细微调整，因此，如何筛选需要调整编码顺序的模块，成为影响融合后二维码整体视觉结构的关键因素。为此，需要确定一个模块处理优先级矩阵，也就是一个权重矩阵。根据不同的优先级来决定操作顺序。使用两个显著性算法的加权和来获得权重矩阵。对于二维码的第k个模块的权重W(k)有：

W(k)＝0.7Fre(k)+0.3Heu(k) (7)

其中Fre(k)为对待融合图像进行显著性提取得到的第k个模块的显著性值，而Heu(k)为利用一种启发式规则获得的第k个模块的启发式值，其规定了越靠近图片中心的区域会获得越高的权重。

显著性值Fre(k)的获取依据文献1[Radhakrishna Achanta,Sheila S.Hemami,Francisco J. Estrada,et al.Frequency-tuned salient region detection//Proceedings of the Computer Vision and Pattern Recognition.Alaska,America,2009:1597-1604]来获得。

如图2所示，设对待融合图像像I₀进行显著性提取后的图像为I_s。

在获得每个模块的权重W(k)之后，即可通过比较确定模块调整的优先级，同时，利用高斯消元方法调整模块顺序。由于DM码的底层编码为里德所罗门编码，其具有一定的冗余性，在扫描过程中，扫码设备通过采样并获得每个模块所代表的0或者1，然后，通过里德所罗门校验方法进行信息校验，只要通过校验，即可被认为是能够正常扫描的二维码。

为保证生成二维码的健壮性，必须尽可能保障高斯消元后生成的二维码DM_g的编码模块信息序列完全满足里德所罗门码规则。在进行高斯消元的过程中，主要利用里德所罗门码的以下两个性质：1)里德所罗门码是定长码，输入的数据将被处理成固定长度的输出，且输出中依次为原始输入、填充码以及纠错码三部分对应的编码结果；2)里德所罗门编码是一种可以进行“异或”操作的编码，即两个里德所罗门码进行异或操作，得到的结果仍然是一个合法的里德所罗门码。

由于二维码在编码过程中，所需要包含信息量的不同，原码信息部分又可以被划分为原始数据部分和填充数据部分。如图4所示，给出某个二维码DM当中的某个里德所罗门序列 O，其中左侧为原始数据部分，中间部分为填充数据部分，而最右侧为根据原始数据和填充数据生成的里德所罗门码纠错数据部分。

根据O的长度，可以构造一组用于高斯消元的里德所罗门码，可称其为基向量。所有基向量满足如下特征：1)原始数据部分全为0；2)填充数据部分各不相同，且只有一位为1，其余均为0；3)满足里德所罗门规则，即纠错数据部分由该基向量的原始数据部分和填充数据部分通过里德所罗门纠错算法生成。

不难发现，可以用任何一个基向量与原始里德所罗门序列O进行异或，其结果仍然能保证其包含的原始信息不受影响，且完全满足里德所罗门码校验规则。因此，当需要将某一个模块(填充数据部分和纠错数据部分)对应的值从0变为1，或者从1变为0时，只需要从基向量集合中找到一个对应位置为1的基向量将其与O进行异或，即可获得预期的结果。

例如，当想要改变O中间部分的倒数第二位，图4中箭头标注的位置，首先在基向量集合中找到一个这一位是“1”的基向量B₂，然后用B₂与O进行异或操作得到O’，从而改变了这一位值。然后，在调整过程中，需要注意的是，有时候为了更改某一位的值，可能会影响到之前已经更改过的值，所以，需要同时将选中的基向量与基向量集合中所有该位为“1”的基向量(包含自身)进行异或操作，以用于将基向量集合中所有该位对应的列全部设置为“0”，从而避免在后续操作中误更改之前已经更改过的值。

根据公式(7)获得模块处理优先级的权重矩阵，根据权重矩阵对二维码的模块顺序进行调整。按照模块的优先级，即每个模块权重值的大小，在DM中不断尝试对不满足要求的模块，即与I_m中对应位置颜色不同的模块，尝试进行高斯消元操作直到无法继续为止，完成整个模块排布顺序的调整过程，从而获取中间结果。其生成的结果如图4所示，其中，图4(b)为待融合的DM码，图4(c)为原始输入图像，而图4(d)为获得的模块顺序调整结果，可以看出，在整体视觉结构上，其与原始输入图像具有一定的相似性。

步骤3、将二维码DM_g与图像I_p利用基于权重矩阵的模块融合方法进行融合。

在得到模块调整结果DM_g和预处理图像I_p后，将它们基于模块进行融合即可以获得最终的新型二维码。如图5所示，展示了模块的融合方法，其中(a)表示一个模块。根据二维码在扫描阶段的采样原理可知，越靠近模块中心位置的像素，被采样到的概率也就越大，而越偏离中心点位置的像素，被采样到的概率越小。因此，不妨假定模块内像素被采样到的概率满足二维高斯分布，并将整个图像中(x,y)位置对应的模块内高斯分布值记为G(x,y)。

在进行模块融合时，同样可以按照模块内二维高斯分布的权重，如图5(b)，优先调整模块中心区域亮度，使模块中心点及周围像素优先达到预期亮度，以便更加有效地提高该模块被采样正确的概率，调整后的结果如图5(c)所示。

为了比较容易地评估模块调整后的效果，本发明将融合后获得的DM+码图像(x,y)位置的亮度值记为L_DM+(x,y)，第k个模块的整体亮度值记作

并令

其中，DM+(k)表示DM+码的第k个模块。

为了保证融合后生成二维码的视觉效果与扫描健壮性之间的平衡，首先根据模块k在整幅图像中的权重，规定模块亮度调整的预期值约束，即：

其中，

T_min和T_max用于辅助表示第k个模块整体亮度值约束t(k)的浮动范围，其取值为： 0≤T_min≤T_max≤128；W(k)为模块权重，其取值在[0,1]区间。当融合后生成的DM+码第k个模块预期采样结果为白色时，该模块的预期整体亮度

必须大于或者等于约束值t(k)，且该约束值在[128+T_min,128+T_max]之间，反之，当模块的预期采样结果为黑色时，该模块的预期整体亮度

必须小于或者等于约束值t(k)，且该约束值在[128-T_max,128-T_min]之间。

为了方便融合，引入变量φ(k)，用于表示第k个模块调整的目标亮度值，则有：

为了满足约束，可以对模块内每个像素的亮度值进行调整，则有：

使调整后的模块整体亮度值

与φ(k)一致。

在实际亮度调整过程中，往往先将获得的图像I_p置为初始的DM+码，并将其转换为灰度图，调整每个像素的灰度值，最后，再将其重新还原为彩色图像。由于颜色空间的限制，在灰度值调整过程中，可能会出现L_DM+(x,y)大于颜色约束等问题，所以，为了满足亮度约束，通常需要经过反复多轮调整，以确保生成的DM+码的每个模块整体亮度达到约束要求。如图 5所示，为一系列经过模块融合后生成的DM+码示例，每一组图片中，左侧为输入的原始图片，右侧为生成的DM+码。图6是将彩色图变为灰度图的示意图，从图中可以看出，本发明方法实现的效果是，在对原始图片进行亮度调整后，在保持图片整体色彩的基础上，将输入信息的二维码以黑白点的形式嵌入，整体视觉效果好。

如图7所示，9幅图分别是：a为中心嵌入图标的二维码，b为Appearance码，c为Halftone 码，d为Aesthetic码，e为Visualead艺术二维码[参考文献2：Visualead,http://www.visualead.com/ 2017,11,10]，f为Facial码，g为PiCode，h为Efficient码，i为本发明方法的DM+码。从图中可以看出，本发明方法生成的DM+码整体视觉效果好，彩色图片色彩的整体保留度高。

为了更好的对比新型二维码的视觉效果，本发明采用用户调查的方法进行主观分析。首先，实验随机选取了多种类型的图片进行新型二维码的生成，选取的图片包括人脸图片、卡通图片、动物图片、商标图片、建筑物图片、艺术图片等。对于每一张图片，采用了九种不同的艺术二维码生成方案，从而生成九种不同的二维码进行对比。

本实验随机选取100名志愿者进行了问卷调查，其中大部分为在校学生，年龄在20到 25岁且男女比例基本相同。问卷中包含30道题目，每道题目向志愿者展示了一组由九种艺术二维码组成的图像，同一组中的艺术二维码由相似的输入图片生成，要求参加的志愿者根据自己的主观感受分别判断上述二维码的美观程度并对其进行评分。依据参考文献3[Horita Y, Sato M,Kawayoke Y,et al.Quality evaluation model using localfeatures of still picture//Proceedings of the Signal ProcessingConference.Florence,Italy,2006:1-5]，制定了表1 的评价标准。

表1艺术二维码主观评价尺度

分数	评价尺度
		5	融合图片无损伤
4	融合图片有轻微损伤，不易察觉
		3	融合图片有损伤，不影响观看
2	融合图片严重损伤，勉强可以看清
		1	融合图片严重损伤，几乎无法看清

分数从1到5，代表二维码美观程度依次升高，计算每种艺术二维码所有对应图片得分的平均值作为该种艺术二维码的视觉效果得分。

图8为所选择的9种二维码的视觉效果评价得分，从中可看到，本发明方法生成的DM+ 码取得的分数为3.67分，说明视觉效果好。

本发明生成的二维码经测试，扫描健壮性高，如图9所示。其中，实验中用华为P10和金立GN708T对9种二维码进行扫描，每个二维码都用微信和支付宝扫描测试，其中本发明方法生成的DM+码扫描成功率比较高，扫描速度也比较快。

从上述实验可以看出，本发明提供的方法，在保证二维码视觉效果的基础上也保证了扫描的健壮性。

Claims (4)

1.一种融合数字编码的可扫描图像生成方法，其特征在于，包括如下实现步骤：

步骤1，对待融合图像进行亮度调整，设调整后的图像为I_p；

所述的步骤1，采用局部自适应方法进行亮度调整，包括：

设L(x,y)为图像中(x,y)点的亮度值，选定(2n+1)×(2n+1)的滤波窗口，滤波窗口内的图像像素点的平均亮度值M_L(x,y)为：

其中，n为正整数；

计算局部方差

调整图像中(x,y)点的亮度值为

其中，D为常数；

步骤2，对输入信息编码获得二维码DM，将图像I_p以二维码模块为基本单位转变为二值图像I_m，对待融合图像提取显著性区域生成权重矩阵W；权重矩阵W用来标记模块处理的优先级，按照模块的优先级，对DM中与I_m中对应位置颜色不同的模块，进行高斯消元操作，直到无法继续为止，获得二维码DM_g；

步骤3，将二维码DM_g与图像I_p基于权重矩阵W进行模块融合，生成可扫描的二维码图像DM+；

根据二维码在扫描阶段的采样原理，设定二维码模块内像素被采样到的概率满足二维高斯分布，在进行模块融合时，按照模块内二维高斯分布的权重，优先调整模块中心区域亮度，使模块中心点及周围像素优先达到预期亮度。

2.如权利要求1所述的一种融合数字编码的可扫描图像生成方法，其特征在于，所述的步骤2中，生成权重矩阵W，矩阵中第k个模块的权重W(k)计算为：

W(k)＝0.7Fre(k)+0.3Heu(k)

其中，k为正整数，Fre(k)为对待融合图像进行显著性提取得到的第k个模块的显著性值，Heu(k)为利用启发式规则获得的第k个模块的启发式值，该启发式规则中规定在一幅二维码图像中，越靠近图像中间区域的模块获得更高的权重值。

3.如权利要求1所述的一种融合数字编码的可扫描图像生成方法，其特征在于，所述的步骤3中，模块进行融合的方法是：

设融合后获得的DM+码图像(x,y)位置的亮度值为L_DM+(x,y)，设(x,y)位置对应的模块内高斯分布值为G(x,y)，则DM+码的第k个模块的整体亮度值

为：

其中，DM+(k)表示图像DM+的第k个模块；

设置第k个模块亮度调整的预期约束为：

其中，DM_g(k)为二维码DM_g的第k个模块，为该模块设置的约束值t(k)如下设置：

其中，W(k)为权重矩阵W中第k个模块的权重，取值在[0,1]区间；T_min和T_max的取值关系是0≤T_min≤T_max≤128；

融合时引入变量φ(k)，用于表示第k个模块调整的目标亮度值，则有：

对模块内每个像素的亮度值进行调整，如下：

使调整后的模块整体亮度值

与φ(k)一致。

4.如权利要求3所述一种融合数字编码的可扫描图像生成方法，其特征在于，所述的二维码图像DM+，当第k个模块预期采样结果为白色时，该模块的预期整体亮度

必须大于或者等于约束值t(k)，且该约束值在[128+T_min,128+T_max]之间，当第k个模块预期采样结果为黑色时，该模块的预期整体亮度

必须小于或者等于约束值t(k)，且该约束值在[128-T_max,12-8T_min]之间。

Images