CN111783494B - 结合二值分割的卷积自编码器的受损二维码恢复方法 - Google Patents

结合二值分割的卷积自编码器的受损二维码恢复方法 Download PDF

Info

Publication number
CN111783494B
CN111783494B CN202010586043.8A CN202010586043A CN111783494B CN 111783494 B CN111783494 B CN 111783494B CN 202010586043 A CN202010586043 A CN 202010586043A CN 111783494 B CN111783494 B CN 111783494B
Authority
CN
China
Prior art keywords
dimensional code
code image
damaged
layer
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010586043.8A
Other languages
English (en)
Other versions
CN111783494A (zh
Inventor
王向鹏
林凡强
强孙源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Mingdengyun Engineering Technology Co ltd
Chengdu Univeristy of Technology
Original Assignee
Chengdu Mingdengyun Engineering Technology Co ltd
Chengdu Univeristy of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Mingdengyun Engineering Technology Co ltd, Chengdu Univeristy of Technology filed Critical Chengdu Mingdengyun Engineering Technology Co ltd
Priority to CN202010586043.8A priority Critical patent/CN111783494B/zh
Publication of CN111783494A publication Critical patent/CN111783494A/zh
Application granted granted Critical
Publication of CN111783494B publication Critical patent/CN111783494B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/146—Methods for optical code recognition the method including quality enhancement steps
    • G06K7/1482—Methods for optical code recognition the method including quality enhancement steps using fuzzy logic or natural solvers, such as neural networks, genetic algorithms and simulated annealing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Electromagnetism (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Toxicology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Fuzzy Systems (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种结合二值分割的卷积自编码器的受损二维码恢复方法，包括：准备训练数据集；构建深度卷积自编码神经网络，所述深度卷积自编码神经网络包括编码器、解码器和二值分割层；其中解码器采用U‑net网络的上采样部分，所述二值分割层用于对解码器输出的特征张量中的每一个特征元素点、按黑白像素进行二值分类；损失函数采用交叉熵损失函数；最终训练模型，用于图像恢复。本发明将卷积自编码器、U‑net、二值分割层等有机结合，最终能对模糊、非均匀光照、噪声、以及同时出现上述问题的二维码图像实现端到端的修复。

Description

结合二值分割的卷积自编码器的受损二维码恢复方法
技术领域
本发明涉及一种二维码图像恢复方法，尤其涉及一种结合二值分割的卷积自编码器的受损二维码恢复方法。
背景技术
现实生活中，二维码的识别过程易受到多种因素的影响，相机运动模糊，失焦模糊，光照不均以及随机噪声的影响均会导致二维码无法识别的问题，且图像受损的方式通常并不是单一出现。在光照较暗的区域，相机抖动模糊，非均匀光照以及噪声的因素往往会同时出现，极大的降低了用户的体验和识别率，所以有必要对识别过程中的二维码进行降噪恢复，达到识别的效果。目前对二维码恢复的方法有：
(1)陈柯成等人提出了一种基于SDAE的受损QR码恢复算法。通过深度学习模型堆叠去噪自编码器，可以将受到噪声干扰的像素点根据受损像素数据映射到以标准数据为参照的高概率数值点，实现整个受损QR码图像像素级的重构恢复，从而提高识别率。作为一种基于深度学习的技术，此方法需要依靠足够的数据样本，其首先对干净原始的未受损的二维码图像添加高斯噪声、旋转，模拟受损二维码图像数据矩阵；再将原始未损坏的二维码图像也数值矩阵化，作为对应标签，这样即得到了数据集样本对。然后搭建SDAE堆叠降噪自编码器网络，并使用RELU激活函数，通过随机梯度下降的方法优化网络参数以使数据集样本对之间的损失最小化。最后训练完成后，SDAE模型就具有将受损二维码像素值点映射到正确的数值，实现降噪恢复。
(2)林凡强等人提出了一种基于生成对抗网络的二维码去模糊算法。采用深度学习模型生成对抗网络对模糊核和环境噪声具有的强大拟合和估计能力，提取模糊二维码图像与真实图像的深层特征和差距，并通过生成器与判别器不断迭代对抗，使生成器具有由输入的模糊二维码产生与之对应的去模糊二维码图像的能力。
(3)Van Gennip等人提出了一种通过高阶平滑正则化估计模糊核的方法，他们将去模糊过程分成了单独的步骤，包括图像去噪，PSF估计，去模糊等。林凡强等[3]提出了一种基于生成对抗网络的二维码去模糊算法。采用深度学习模型生成对抗网络对模糊核和环境噪声具有的强大拟合和估计能力，提取模糊二维码图像与真实图像的深层特征和差距，并通过生成器与判别器不断迭代对抗，使生成器具有由输入的模糊二维码产生与之对应的去模糊二维码图像的能力。同样作为基于深度学习的方法，需要较多的训练样本，文中也提出一种获取模糊二维码数据集的方法：利用fspecial函数模拟模糊核和高斯噪声，得到模糊二维码图像。最后，经过训练收敛后的生成对抗网络可以直接应用于模糊二维码的去模糊。
(4)胡建国等人提出了一种基于机器学习的污损二维码修复方法及系统。首先对获取的彩色二维码图像进行灰度化处理并进行图像增强。采用训练好的SVM模型对增强处理后的灰度二维码图像进行二维码区域定位处理，获取二维码区域图像。然后采用训练好的图像修复模型对所述二维码区域内的污损二维码进行修复处理，获取修复后的二维码图像。
对于方法(1)(2)中，陈柯成和林凡强等人提出的基于深度学习模型的算法并没有充分利用到二维码的黑白像素先验，在模型端到端映射的过程中，像素值的二值分割并不明显，仍然存在有部分灰色的错误像素值；同时上述两种方法并不能解决光照明暗的问题。
对于方法(3)，胡建国等人提出二维码修复方法中，灰度增强过程并不能很好保持二维码黑白特性。而且用SVM训练确定二维码区域的方法过于繁琐，现如今，通过语义分割网络]就能够实现像素级的预测。该方法与方法(4)中Van Gennip等人提出的方法一样，步骤较多，并不具有端到端的优势。
所以综上，目前二维码识别过程中，依然存在不能解决光照明暗的问题、灰度增强过程并不能很好保持二维码黑白特性、训练方法过于繁琐等技术缺陷。
发明内容
本发明的目的就在于提供一种解决上述问题，能对模糊、非均匀光照、噪声、以及同时出现上述问题的的二维码图像实现端到端修复的，结合二值分割的卷积自编码器的受损二维码恢复方法。
为了实现上述目的，本发明采用的技术方案是这样的：一种结合二值分割的卷积自编码器的受损二维码恢复方法，包括以下步骤：
(1)准备模拟数据集和真实数据集，共同作为训练数据集，其中，
模拟实验数据集：仿真生成多张数据内容和样式不同的清晰二维码图像，对其添加不同程度的模糊、明暗和/或加性噪声，得到多张受损二维码图像；
真实采集数据集：采用相机拍摄，保持与二维码的相对位置不变，拍摄清晰二维码图像，再调整相机参数及控制其抖动，拍摄多张不同程度模糊、不同程度明暗的受损二维码图像；
将清晰二维码图像作为其对应受损二维码图像的标签，所述受损二维码图像的分辨率均为480×480；
(2)构建一深度卷积自编码神经网络，所述深度卷积自编码神经网络包括编码器、解码器和二值分割层；
所述编码器为11层，第1层为卷积层，用于将单通道的二维码图像转变为64通道，第2层至第11层，卷积层与最大池化层交错设置，卷积层的核为3，池化层的核为2，二维码图像每一次经过卷积层，特征张量的通道数量加倍，每一次经过池化层，特征张量的长宽减半，最终得到长宽为15、通道数为1024的特征张量；
所述解码器采用U-net网络的上采样部分，包括5组依次设置的卷积层、转置卷积层、跳跃连接层、卷积层，且卷积层的核为3；用于将编码器输出端的特征张量，转化成长宽为480、通道数为2的特征张量；
所述二值分割层用于对解码器输出的特征张量中的每一个特征元素点、按黑白像素进行二值分类；
定义交叉熵损失函数；
(3)训练网络模型；
将模拟数据集和真实数据集中的训练样本送入深度卷积自编码神经网络进行训练至收敛，得到深度卷积自编码神经网络模型。
作为优选：所述二值分类采用下式计算
Figure GDA0003777481670000041
其中xi表示输出张量的通道i所在的特征表示，n代表黑白像素两种类别，取值为2，p(xi)为对应通道的输出概率；
所述交叉熵损失函数为
Figure GDA0003777481670000051
式中，w(xi)是受损二维码图像像素点的标签。
本发明构建了一种新的深度卷积自编码神经网络，该网络能将U-net网络和深度卷积自编码器进行有机的结合。
在编码器的部分：我们采用卷积层和最大池化层交错设置的方式，二维码图像每一次经过卷积层，特征通道的数量加倍，并且都通过Leaky ReLU激活函数非线性化，每一次经过池化层，特征张量的长宽减半，最终在编码器阶段结束时，得到长宽为1024、通道数为64的特征张量；
在解码器部分：我们采用了U-net网络的上采样部分，U-net网络本身包括up-sample、down-sample部分，也就是上采样、下采样部分，而本发明中，我们结合使用U-net网络的上采样部分，这种网络构架由多组卷积层、转置卷积层、跳跃连接层、卷积层构成，能将编码器提取的潜在二维码图像特征表示转化为长宽为480、通道数为2的特征张量。
自编码器作为深度学习的一项重要技术，最初应用于无监督学习领域。去噪自编码器的提出，引出了通过自编码器架构，实现输入向输出有条件地映射的思想。深度卷积自编码器和U-net提出为利用自编码器架构实现图像恢复和图像语义分割作出了理论和实验基础。本方法通过编码器提取出二维码图像的潜在特征表示，以便解码器部分实现图像重构。特别地，在解码器部分，添加了跳跃连接层，以便图像张量细节能够向下层传递，使模型的训练及梯度更新过程更加高效。
在二值分割层部分：对于图像的重构问题，一般直接采用L1或者L2作为损失函数。而本发明借助二维码图像二值先验和图像语义分割技术，采用了二值分割层对解码器输出的特征张量中每一个特征元素点进行二值分类，二维码图像重构恢复的过程转换成了黑白像素类别预测过程。受损二维码的恢复过程并不再是端到端映射输出像素值，而是结合黑白二值先验的约束，实现像素点的精准预测恢复。损失函数也转变成了了交叉熵。
与现有技术相比，本发明的优点在于：
(1)主要为了解决对遭受模糊，光照，噪声因素影响的二维码图像、以及上述三种情况的随机结合的二维码图像的恢复，提出了一种新的恢复方法，由于此类图像情况复杂，我们在构建数据集的时候，就采用了模拟数据集和真实数据集，以及多种情况的二维码图像作为训练样本。
(2)基于本发明的情况，构建了一种新的深度卷积自编码神经网络，将深度卷积自编码器、U-net网络构架、二值分割层有机的结合，深度卷积自编码器和U-net架构相似，能够提取出图像的潜在特征表示，并且能够实现图像到图像的端到端映射。二值分割层利用二维码二值黑白特征，对网络映射进行约束。将三者结合起来实现本方法的整体网络架构。本发明所提出的二值分割层结合二维码黑白二值先验特征，能够对网络端到端映射过程加以约束，定向的恢复出黑白像素，并不存在网络映射过程中出现黑白以外灰度值。
(3)提出了使用二值分割层对解码器输出的特征张量中的每一个特征元素点进行二值分类，从而使图像恢复，输出的二维码图像品质得到提升。
(4)本方法的数据集部分包含模糊和光照因素影响的二维码图像，数据集种类充分，模型泛化能力强。
附图说明
图1为本发明深度卷积自编码神经网络的模型图；
图2为本发明流程图；
图3为训练过程中损失函数值变化图；
图4为训练过程中素预测准确率变化图；
图5为训练过程中受损二维码图像输出变化图；
图6为过暗受损二维码图像和经本发明恢复后的图像；
图7为过暗和失焦模糊受损二维码图像和经本发明恢复后的图像；
图8为过暗和运动模糊受损二维码图像和经本发明恢复后的图像；
图9为失焦模糊受损二维码图像和经本发明恢复后的图像；
图10为高斯模糊受损二维码图像和经本发明恢复后的图像；
图11为过亮受损二维码图像和经本发明恢复后的图像；
图12为过亮和失焦模糊受损二维码图像和经本发明恢复后的图像；
图13为过亮和运动模糊受损二维码图像和经本发明恢复后的图像；
图14为运动模糊受损二维码图像和经本发明恢复后的图像；
图15为明亮不均受损二维码图像和经本发明恢复后的图像；
图16为真实失焦模糊受损二维码图像和经本发明恢复后的图像；
图17为真实运动模糊受损二维码图像和经本发明恢复后的图像；
图18为本发明方法和现有技术四种方法对运动模糊受损二维码图像恢复对比图；
图19为本发明方法和现有技术四种方法对过暗受损二维码图像恢复对比图。
具体实施方式
下面将结合附图对本发明作进一步说明。
实施例1：参见图1到图2，一种结合二值分割的卷积自编码器的受损二维码恢复方法，包括以下步骤：
(1)准备模拟数据集和真实数据集，共同作为训练数据集，其中，
模拟实验数据集：仿真生成多张数据内容和样式不同的清晰二维码图像，对其添加不同程度的模糊、明暗和/或加性噪声，得到多张受损二维码图像；
真实采集数据集：采用相机拍摄，保持与二维码的相对位置不变，拍摄清晰二维码图像，再调整相机参数及控制其抖动，拍摄多张不同程度模糊、不同程度明暗的受损二维码图像；
将清晰二维码图像作为其对应受损二维码图像的标签，所述受损二维码图像的分辨率均为480×480；
(2)构建一深度卷积自编码神经网络，所述深度卷积自编码神经网络包括编码器、解码器和二值分割层；
所述编码器为11层，第1层为卷积层，用于将单通道的二维码图像转变为64通道，第2层至第11层，卷积层与最大池化层交错设置，卷积层的核为3，池化层的核为2，二维码图像每一次经过卷积层，特征张量的通道数量加倍，每一次经过池化层，特征张量的长宽减半，最终得到长宽为15、通道数为1024的特征张量；
所述解码器采用U-net网络的上采样部分，包括5组依次设置的卷积层、转置卷积层、跳跃连接层、卷积层，且卷积层的核为3；用于将编码器输出端的特征张量，转化成长宽为480、通道数为2的特征张量；
所述二值分割层用于对解码器输出的特征张量中的每一个特征元素点、按黑白像素进行二值分类；
定义交叉熵损失函数；
(3)训练网络模型；
将模拟数据集和真实数据集中的训练样本送入深度卷积自编码神经网络进行训练至收敛，得到深度卷积自编码神经网络模型。
需注意的是：在编码器部分，二维码图像每一次经过卷积层，特征张量的通道数量加倍，并且都通过Leaky ReLU激活函数非线性化。
实施例2：参见图1到图5，为了更好的解释本发明方案，在实施例1的基础上，我们增加如下技术特征：
所述二值分类采用下式计算
Figure GDA0003777481670000091
其中xi表示输出张量的通道i所在的特征表示，n代表黑白像素两种类别，取值为2，p(xi)为对应通道的输出概率；
所述交叉熵损失函数为
Figure GDA0003777481670000092
式中，w(xi)是受损二维码图像像素点的标签。其余与实施例1相同。
实施例3：参见图1到图5，为了更好的解释本发明方案，在实施例1的基础上，我们具体描述如下：
(1)准备模拟数据集和真实数据集，共同作为训练数据集，其中，
模拟实验数据集：仿真生成多张数据内容和样式不同的清晰二维码图像，对其添加不同程度的模糊、明暗和/或加性噪声，得到多张受损二维码图像；模拟生成受损二维码图像的参数设置如下表1所示：
表1：模拟生成受损二维码图像参数设置范围
Figure GDA0003777481670000101
其中模拟生成二维码图像明亮和黑暗的像素调整比例参数分别设置为0.8至0.9和0.1至0.2；失焦模糊的模糊半径大小设置范围为7至9；运动模糊的像素模糊长度设置为18至22，模糊角度设置为0至
Figure GDA0003777481670000102
的任意角度；高斯模糊的大小设置为11至15，方差参数设置为6至9。
真实采集数据集：采用相机拍摄，保持与二维码的相对位置不变，拍摄清晰二维码图像，再调整相机参数及控制其抖动，拍摄多张不同程度模糊、不同程度明暗的受损二维码图像；这里我们还需要对图像进行剪裁，清晰二维码图像还需根据原始的二维码图像人为调整部分像素保证标签图像的准确；
将清晰二维码图像作为其对应受损二维码图像的标签，所述受损二维码图像的分辨率均为480×480，也就是长、宽均为480；
(2)构建一深度卷积自编码神经网络，我们给出一种具体的深度卷积自编码神经网络的架构图。
本实施例中，深度卷积自编码神经网络包括编码器、解码器和二值分割层；具体可参见下表2：
表2：深度卷积自编码神经网络架构表
Figure GDA0003777481670000111
Figure GDA0003777481670000121
从表2可知，编码器中，除了开始的0-1卷积层外，其余的编码器部分包含了5个卷积层，并且同最大池化层交替使用，整个编码层的目的是得到二维码图像的潜在编码表示。我们输入的二维码图像，为分辨率是1282的单通道灰度二维码图像，也就是长宽均为128的单通道灰度二维码图像；
在编码器部分：
经过0-1的卷积层后，变成长、宽均为480，通道数为64的特征张量；
经1-2的卷积层后，变成长、宽为480，通道数为128的特征张量；
经2-3的最大池化层后，变成长、宽为240，通道数为128的特征张量；
依次类推，经过5次卷积和池化，长、宽为15、通道数为1024的特征张量；
在解码器部分：解码器为5组依次设置的卷积层、转置卷积层、跳跃连接层、卷积层，这也是U-net的上采样过程，我们以一组为例：也即是11-12层、12-13层、13-14层、14-15层；
编码器输出的为长、宽为15、通道数为1024的特征张量；
(1)经11-12层卷积层时：变成长、宽为15、通道数为512的特征张量；
(2)经12-13层转置卷积层、也就是反卷积时，变为长、宽为30、通道数为512的特征张量；
(3)经13-14层跳跃连接层时，上述(2)中特征张量与编码层过程中对应同等大小的特征张量跳跃连接成长宽为30、通道数为1024的特征张量；
(4)经14-15层卷积层时，上述(3)中国的特征张量变成长宽为30、通道数为512的特征张量；
总共经过上述五组U-net的上采样过程后，在前四组上采样过程后，得到长宽均为240，通道数为64的特征张量，在最后一组上采样过程中，我们将其与原始的长宽均为480的单通道灰度二维码图像进行跳跃连接处理，最终得到长宽均为480、通道数为2的特征张量。
在二值分割层部分：我们提出了使用二值分割层对解码器输出的特征张量中的每一个特征元素点进行二值分类的方法。解码器输出的特征张量，我们对其每个特征元素点逐点进行二值分割。分割采用Softmax函数，我们将类别分为黑像素、白像素两类，n表示类别，则n＝2，i为通道，由于解码器输出的特征张量通道数为2，所以i为1或2。
建立好网络后，我们对该网络进行训练，我们将所有二维码图像照4:1划分为训练集和测试集。训练过程中，使用ADAM学习器更新权重，batch size大小为2，进行30000次迭代。初始学习速率为1e-4，并应用指数衰减函数以0.9为底数，每1000次迭代衰减一次。特别地，将上述两组数据集进行了交错处理，使模型能够学习真实场景和模拟图像还原。
另外，在训练时，我们采用了模拟实验数据集、和真实采集数据集，来构成训练数据集，采用多张不同程度模糊、不同程度明暗、包括静态模糊、动态模糊等，多种情况的二维码图像。最终，受损的二维码图像经本发明处理后，能实现高品质的恢复。
图3和图4分别显示了本方法所提出框架的训练过程中的的损失函数变化值和像素预测准确率变化图。初始阶段，模型的损失值在前5000次迭代中从26.03快速下降至0.12。随着训练的进行，由于学习率的降低和模型的逐步稳定，交叉熵损失的衰减程度大大减小。模型框架的受损二维码图像恢复的像素预测准确率在前15000次迭代过程中起伏较大，随着模型继续训练，准确率逐步趋向于1。可以看出，经过25,000次迭代后，交叉熵值和像素预测精度均趋于稳定，分别接近于0和1。
模型对一张黑暗条件下的运动模糊二维码图像的恢复结果随迭代过程的变化如图5所示。输入运动模糊和变暗退化的二维码图像。在迭代过程中，逐步消除运动模糊的成分，最终得到一幅高质量的二维码图像。
实施例3：参见图6到图19，为采用本发明的方法，输出多组图像。其中每一组图包含4张二维码图像，从左到右依次编号为1号、2号、3号、4号，其中，1号、3号分别为来自数据集和测试集的同种类型受损的图像，1号经本发明方法恢复后得到2号图像，3号经本发明方法恢复后，得到4号图像。
本方法通过PSNR值和SSIM值对相关二维码图像恢复方法进行评价。PSNR是以均方差MSE为基础的，PSNR越高，图像恢复结果越好。如下式所示，其中MAX是图像的灰度级，I(i,j)与K(i,j)分别表示图像。
Figure GDA0003777481670000141
Figure GDA0003777481670000142
结构相似指数(SSIM)被用来测量两张图像之间的相似性。当SSIM值为1的时候表示图像相同，无失真。如下式中μx，μy分别是图像x，y的平均值，σx，σy，σxy分别是图像x，y的方差与协方差，c1，c2是稳定常数。
Figure GDA0003777481670000143
参见图18，我们以一张运动模糊受损二维码图像为例，经现有技术中四种方法、及本方法的方法恢复后得到对比图。图中，第一行为运动模糊受损二维码图图像，第三行从左到右依次为：运动模糊受损二维码图、维纳滤波方法、Richardson–Lucy(RL)方法、林凡强等人提出的基于生成对抗网络的二维码去模糊算法、本发明方法。四种方法恢复结果的PSNR值分别为12.1、9.9、9.8、18.5，SSIM值分别0.37、0.34、0.64、0.94。维纳滤波和RL方法均是假设模糊核已知，对模糊图像进行反卷积的方法，恢复的结果出现大量错误的噪声像素，效果较差，PSNR值和SSIM值均处于较低水平，林凡强等人的方法的恢复结果不能很好处理像素平移的问题，SSIM值有较高提升水平，但PSNR值仍然处于10左右。而本方法的恢复结果黑白分明，PSNR值和SSIM值均处于较高水平，展现了优良的恢复结果。
参见图19，我们以一张过暗受损二维码图像为例，经现有技术中四种方法、及本方法的方法恢复后得到对比图。图中，第一行为过暗受损二维码图图像，第三行从左到右依次为：Otsu方法、Niblack法、Liu等人自适应多级阈值方法、本发明方法。四种方法恢复结果的PSNR值分别为7.3,6.6,10.2,27.8，SSIM值分别0.23，0.25，0.50，0.99。Otsu和Niblack方法作为经典的阈值分割算法，无法有效恢复噪声像素，同时并不能正确恢复出白色像素值，PSNR值和SSIM值均处于较低水平。Liu等人方法通过计算直方图来分析图像的照度，然后根据不同的照度类别对二维码图像进行二值化实现恢复，恢复结果能够实现黑白颜色分明，但同样包含有大量噪声像素点。而本方法过暗受损二维码图像的恢复结果PSNR值和SSIM值均处于较高水平，展现了优良的恢复结果。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种结合二值分割的卷积自编码器的受损二维码恢复方法，其特征在于：包括以下步骤：
(1)准备模拟数据集和真实数据集，共同作为训练数据集，其中，
模拟实验数据集：仿真生成多张数据内容和样式不同的清晰二维码图像，对其添加不同程度的模糊、明暗和/或加性噪声，得到多张受损二维码图像；
真实采集数据集：采用相机拍摄，保持与二维码的相对位置不变，拍摄清晰二维码图像，再调整相机参数及控制其抖动，拍摄多张不同程度模糊、不同程度明暗的受损二维码图像；
将清晰二维码图像作为其对应受损二维码图像的标签，所述受损二维码图像的分辨率均为480×480；
(2)构建一深度卷积自编码神经网络，所述深度卷积自编码神经网络包括编码器、解码器和二值分割层；
所述编码器为11层，第1层为卷积层，用于将单通道的二维码图像转变为64通道，第2层至第11层，卷积层与最大池化层交错设置，卷积层的核为3，池化层的核为2，二维码图像每一次经过卷积层，特征张量的通道数量加倍，每一次经过池化层，特征张量的长宽减半，最终得到长宽为15、通道数为1024的特征张量；
所述解码器采用U-net网络的上采样部分，包括5组依次设置的卷积层、转置卷积层、跳跃连接层、卷积层，且卷积层的核为3；用于将编码器输出端的特征张量，转化成长宽为480、通道数为2的特征张量；
所述二值分割层用于对解码器输出的特征张量中的每一个特征元素点、按黑白像素进行二值分类；
定义交叉熵损失函数；
(3)训练网络模型；
将模拟数据集和真实数据集中的训练样本送入深度卷积自编码神经网络进行训练至收敛，得到深度卷积自编码神经网络模型。
2.根据权利要求1所述的结合二值分割的卷积自编码器的受损二维码恢复方法，其特征在于：所述二值分类采用下式计算
Figure FDA0003777481660000021
其中xi表示输出张量的通道i所在的特征表示，n代表黑白像素两种类别，取值为2，p(xi)为对应通道的输出概率；
所述交叉熵损失函数为
Figure FDA0003777481660000022
式中，w(xi)是受损二维码图像像素点的标签。
CN202010586043.8A 2020-06-24 2020-06-24 结合二值分割的卷积自编码器的受损二维码恢复方法 Active CN111783494B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010586043.8A CN111783494B (zh) 2020-06-24 2020-06-24 结合二值分割的卷积自编码器的受损二维码恢复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010586043.8A CN111783494B (zh) 2020-06-24 2020-06-24 结合二值分割的卷积自编码器的受损二维码恢复方法

Publications (2)

Publication Number Publication Date
CN111783494A CN111783494A (zh) 2020-10-16
CN111783494B true CN111783494B (zh) 2022-11-04

Family

ID=72759881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010586043.8A Active CN111783494B (zh) 2020-06-24 2020-06-24 结合二值分割的卷积自编码器的受损二维码恢复方法

Country Status (1)

Country Link
CN (1) CN111783494B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348806B (zh) * 2020-11-14 2022-08-26 四川大学华西医院 一种无参考数字病理切片模糊度评价方法
CN112233047A (zh) * 2020-12-10 2021-01-15 北京沃东天骏信息技术有限公司 一种图像处理方法、装置、设备和计算机可读存储介质
CN113191170B (zh) * 2021-07-01 2021-09-24 智广海联(天津)大数据技术有限公司 公共设施二维码损毁巡检有效性预测方法及系统
CN113780492A (zh) * 2021-08-02 2021-12-10 南京旭锐软件科技有限公司 一种二维码二值化方法、装置、设备及可读存储介质
TWI779927B (zh) * 2021-11-17 2022-10-01 宏碁股份有限公司 降噪卷積自編碼裝置及降噪卷積自編碼方法
CN116894792B (zh) * 2023-09-08 2023-12-19 创新奇智(浙江)科技有限公司 一种二维码修复方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919830A (zh) * 2019-01-23 2019-06-21 复旦大学 一种基于美学评价的带参考人眼图像修复方法
CN110689499A (zh) * 2019-09-27 2020-01-14 北京工业大学 一种基于密集扩张卷积自编码对抗网络的人脸图像修复方法
CN111091503A (zh) * 2019-11-09 2020-05-01 复旦大学 基于深度学习的图像去失焦模糊方法
WO2020096368A1 (en) * 2018-11-09 2020-05-14 Samsung Electronics Co., Ltd. Image resynthesis using forward warping, gap discriminators, and coordinate-based inpainting

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020096368A1 (en) * 2018-11-09 2020-05-14 Samsung Electronics Co., Ltd. Image resynthesis using forward warping, gap discriminators, and coordinate-based inpainting
CN109919830A (zh) * 2019-01-23 2019-06-21 复旦大学 一种基于美学评价的带参考人眼图像修复方法
CN110689499A (zh) * 2019-09-27 2020-01-14 北京工业大学 一种基于密集扩张卷积自编码对抗网络的人脸图像修复方法
CN111091503A (zh) * 2019-11-09 2020-05-01 复旦大学 基于深度学习的图像去失焦模糊方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于SDAE的受损QR码恢复算法;陈柯成等;《包装工程》;20180831;第39卷(第15期);第221-226页 *
基于深度卷积自编码神经网络的手写数字识别研究;曾文献等;《计算机应用研究》;20200430;第37卷(第04期);第1239-1243页 *

Also Published As

Publication number Publication date
CN111783494A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
CN111783494B (zh) 结合二值分割的卷积自编码器的受损二维码恢复方法
Zhang et al. Image restoration: From sparse and low-rank priors to deep priors [lecture notes]
Mao et al. Image restoration using convolutional auto-encoders with symmetric skip connections
CN111028177B (zh) 一种基于边缘的深度学习图像去运动模糊方法
CN111275637A (zh) 一种基于注意力模型的非均匀运动模糊图像自适应复原方法
CN111028163A (zh) 一种基于卷积神经网络的联合图像去噪与弱光增强方法
CN111754446A (zh) 一种基于生成对抗网络的图像融合方法、系统及存储介质
US20060070256A1 (en) Context-based denoiser that simultaneously updates probabilities for multiple contexts
CN111583285B (zh) 一种基于边缘关注策略的肝脏影像语义分割方法
CN110288550B (zh) 基于先验知识引导条件生成对抗网络的单张图像去雾方法
CN114463218B (zh) 一种基于事件数据驱动的视频去模糊方法
US7498961B2 (en) Context identification using a denoised signal
CN109872326B (zh) 基于深度强化网络跳跃连接的轮廓检测方法
CN113392711A (zh) 一种基于高层语义与噪声抑制的烟雾语义分割方法及系统
CN111696049A (zh) 基于深度学习的水下扭曲图像重建方法
CN115063318A (zh) 自适应频率分解的低光照图像增强方法与相关设备
CN116681584A (zh) 一种多级扩散图像超分辨算法
CN115272072A (zh) 一种基于多特征图像融合的水下图像超分辨率方法
Heo et al. Automatic sketch colorization using DCGAN
CN117333359A (zh) 基于可分离卷积网络的山水画图像超分辨率重建方法
CN116452469B (zh) 一种基于深度学习的图像去雾处理方法及装置
CN111986102B (zh) 一种数字病理图像去模糊方法
CN117422653A (zh) 一种基于权重共享和迭代数据优化的低光照图像增强方法
Burlin et al. Deep image inpainting
CN116703750A (zh) 基于边缘注意力和多阶微分损失的图像去雾方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Three road 610059 Sichuan city of Chengdu province Chenghua District Erxian Qiaodong No. 1

Applicant after: Chengdu University of Technology

Applicant after: Chengdu mingdengyun Engineering Technology Co.,Ltd.

Address before: No. 266-817, Zhiqiang Road, Chenghua District, Chengdu, Sichuan 610000

Applicant before: Chengdu mingdengyun Engineering Technology Co.,Ltd.

Applicant before: Chengdu University of Technology

GR01 Patent grant
GR01 Patent grant