CN112580381A - 一种基于深度学习的二维码超辨率重构增强方法及系统 - Google Patents

一种基于深度学习的二维码超辨率重构增强方法及系统 Download PDF

Info

Publication number
CN112580381A
CN112580381A CN202011538775.6A CN202011538775A CN112580381A CN 112580381 A CN112580381 A CN 112580381A CN 202011538775 A CN202011538775 A CN 202011538775A CN 112580381 A CN112580381 A CN 112580381A
Authority
CN
China
Prior art keywords
resolution
dimensional code
super
image
qrsr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011538775.6A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Shuzhilian Technology Co Ltd
Original Assignee
Chengdu Shuzhilian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Shuzhilian Technology Co Ltd filed Critical Chengdu Shuzhilian Technology Co Ltd
Priority to CN202011538775.6A priority Critical patent/CN112580381A/zh
Publication of CN112580381A publication Critical patent/CN112580381A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/146—Methods for optical code recognition the method including quality enhancement steps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Toxicology (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的二维码超辨率重构增强方法及系统，该方法包括：步骤1：采集含有二维码的高分辨率图片并存储；对采集的图片分别进行下采样处理并保存至图像数据库；步骤2：构建QRSR超分辨率网络模型，且训练该模型；步骤3：剪枝和量化处理QRSR超分辨率网络模型得到压缩后的模型；步骤4：获取低分辨率二维码图片，将其输入压缩后的模型，QRSR超分辨率网络模型的输出为高分辨率的二维码图像；步骤5：对步骤4所获取的高分辨率二维码图像进行灰度处理，并对灰度图进行图像开运算，保存处理后的高分辨率二维码灰度图。本发明提高了真实场景下计算机在识别低分辨率二维码图像信息时的识别率。

Description

一种基于深度学习的二维码超辨率重构增强方法及系统
技术领域
本发明涉及图像增强技术领域，具体涉及一种基于深度学习的二维码超辨率重构增强方法及系统。
背景技术
二维码技术自发明以来因其方便易用等优点被广泛应用于各行各业，如企业营业执照，食品经营许可证等上都含有二维码，通过手机摄像头等图像输入设备扫描二维码可以自动实现信息的处理，从而获取证照图片中的相关文本信息。然而，由于自然场景下获取的证照图片的分辨率、模糊程度等存在较大差异，这就导致在部分场景下由于二维码图像的分辨率低而无法直接扫描二维码并提取其中的信息，传统的方法是对二维码区域进行双线性插值等超分辨率方法对其进行上采样从而提高二维码图像的分辨率，然而由于自然场景的复杂性等特点，导致直接采用双线性插值等进行图像上采样方法的效果参差不齐，难以满足实际应用场景的需求。
发明内容
本发明所要解决的技术问题是由于自然场景下获取的证照图片的分辨率、模糊程度等存在较大差异，这就导致在部分场景下由于二维码图像的分辨率低而无法直接扫描二维码并提取其中的信息，传统的方法是对二维码区域进行双线性插值等超分辨率方法对其进行上采样从而提高二维码图像的分辨率，然而由于自然场景的复杂性等特点，导致直接采用双线性插值等进行图像上采样方法的效果参差不齐，难以满足实际应用场景的需求。
本发明目的在于提供一种基于深度学习的二维码超辨率重构增强方法及系统，为低分辨率二维码图像的图像增强提供了一种新的解决方案，提高了真实场景下计算机在识别低分辨率二维码图像信息时的识别率。
本发明通过下述技术方案实现：
一种基于深度学习的二维码超辨率重构增强方法，该方法包括以下步骤：
步骤1：采集含有二维码的高分辨率图片并存储；其中：将采集的图片按照一定的比例划分为训练集、验证集和测试集三部分；对采集的图片分别进行下采样处理并保存至图像数据库；
步骤2：构建QRSR超分辨率网络模型，用于对低分辨率二维码图片进行上采样图像增强，且利用图像数据库中保存的训练数据集训练所述QRSR超分辨率网络模型；
步骤3：剪枝和量化处理所述QRSR超分辨率网络模型，得到压缩后的QRSR超分辨率网络模型；其中：首先对训练好的所述QRSR超分辨率网络模型进行剪枝操作，然后对剪枝后的所述QRSR超分辨率网络模型进行量化操作；
步骤4：获取低分辨率二维码图片，将其作为模型压缩后的所述QRSR超分辨率网络模型的输入，所述QRSR超分辨率网络模型的输出为高分辨率的二维码图像；
步骤5：对步骤4所获取的高分辨率二维码图像进行灰度处理，并对灰度图进行图像开运算，保存处理后的高分辨率二维码灰度图。
工作原理是：由于自然场景下获取的证照图片的分辨率、模糊程度等存在较大差异，导致在部分场景下由于二维码图像的分辨率低而无法直接扫描二维码并提取其中的信息，传统的方法是对二维码区域进行双线性插值等超分辨率方法对其进行上采样提高二维码图像的分辨率，然而由于自然场景的复杂性等特点，导致直接采用双线性插值等进行图像上采样方法的效果参差不齐，难以满足实际应用场景的需求。
因此，本发明提供一种基于深度学习的二维码超辨率重构增强方法，为低分辨率二维码图像的图像增强提供了一种新的解决方案，提高了计算机在真实场景下识别低分辨率二维码图像信息时的识别率。
本发明能最大程度地提高低分辨图像中二维码所在区域图像的增强效果，进而提高真实场景下二维码的识别率。本发明首先裁剪原始证照图片得到图片中二维码所在的区域，然后利用处理后的图像训练超分辨率图像增强模型，最后利用训练好的模型提高图像中二维码所在区域的分辨率。该方法首先使用爬虫技术从互联网爬取不同自然场景下拍摄的含有二维码的高分辨率图片，然后剪裁爬取的含有二维码的图片只保留二维码区域，接着对剪裁后的图片进行下采样处理，并将剪裁后的原始高分辨率图片数据下采样后得到的低分辨率图片同时保存在相应的图像数据库中。最后构建一个基于卷积神经网络的二维码图像超分辨率模型QRSR(QR Super Resolution)，并采用上述保存的低分辨率和高分辨率二维码图像数据集训练该模型，然后利用训练好的模型低分辨率二维码图片进行上采样图像增强。
进一步地，步骤1中的含有二维码的高分辨率图片包括不同真实场景下拍摄的二维码高清图片。
进一步地，步骤1中对采集的图片分别进行下采样处理的下采样倍数与步骤2中对低分辨率二维码图片进行上采样图像增强的上采样倍数相等。
进一步地，步骤1中对采集的图片分别进行下采样处理的下采样倍数为s，在这里设置s＝4；
步骤2中对低分辨率二维码图片进行上采样图像增强的上采样倍数为r，在这里r＝4。
进一步地，步骤2中所述QRSR超分辨率网络模型包括特征提取模块和上采样模块，其中，所述特征提取模块采用ResNet网络提取低分辨率二维码图像的特征，所述上采样模块对进行特征提取后的特征图进行r倍上采样。
进一步地，所述特征提取模块由8个ResNet Block依次串行连接，其中每个ResNetBlock由3个2D卷积层串行连接且其输入和输入之间含有短跳级连接(short skipconnection)，同时特征提取模块的输入和输出之间含有长跳级连接(long skipconnection)。
进一步地，所述上采样模块由两个分支组成，分别为亚像素卷积层(sub-pixelconvolutional layer)和反卷积层(deconvolutional layer)，经过特征提取模块提取的特征图分别经过这两个分支进行上采样，然后对上采样后的结果进行特征融合，具体的：将这两个分支的输出结果沿着图像的通道方向逐像素相加，接着将结果输入1个卷积层进行降通道处理，最后输出进行超分辨率上采样后的二维码图像。
进一步地，步骤2中所述QRSR超分辨率网络模型的训练过程包括：
训练数据获取和数据集的划分；
建立QRSR超分辨率网络模型；其中：QRSR超分辨率网络模型使用的对应得损失函数为：L＝L1+λL2，其中L1为L1范数损失函数，其中L2为L2范数损失函数，λ为二者之间的权重，在这里设置λ＝1。
进一步地，步骤3中采用Distiller开源库对训练好的所述QRSR超分辨率网络模型进行剪枝和量化模型压缩操作。
另一方面，本发明还提供了一种基于深度学习的二维码超辨率重构增强系统，该系统支持所述的一种基于深度学习的二维码超辨率重构增强方法，该系统包括：
采集和存储单元，用于采集不同自然场景下拍摄的高分辨率二维码图片，对高分辨率二维码图片进行s倍下采样，在这里s＝4；及将处理后的高分辨率和对应的低分辨率二维码图像划分为训练数据集、验证数据集和测试数据集并存储；
模型搭建和训练单元，构建QRSR超分辨率网络模型，将采集好的训练数据集中的低分辨率和对应的高分辨率二维码图像输入所述QRSR超分辨率网络模型，训练模型；
模型量化和剪枝单元，用于对训练好的所述QRSR超分辨率网络模型进行模型压缩，其中，依次采用Distiller开源库对所述QRSR超分辨率网络模型进行剪枝和量化操作；
低分辨率二维码图像增强单元，用于将自然场景下采集的低分辨率二维码图像输入训练好的所述QRSR超分辨率网络模型，获取对应上采样后的高分辨率二维码图像；
高分辨率二维码图像存储单元，用于保存所述QRSR超分辨率网络模型输出的高分辨率二维码灰度图；
高分辨率二维码图像输出单元，用于输出处理后的高分辨率二维码灰度图。
本发明与现有技术相比，具有如下的优点和有益效果：
本发明方法采用全卷积人工神经网络来对自然场景下拍摄的低分辨率的二维码图像进行图像增强，和传统的插值上采样方法相比能极大的提升低分辨率二维码图像的图像增强效果；其次该方法可以有效提高自然场景下低分辨率二维码图像的扫描识别率，解决了由于图像分辨率低等原因而使二维码图像无法被相关扫描和信息提取设备识别的问题，极大的扩展了自然场景下二维码技术的适用场景；最后，该方法对训练好的QRSR超分辨率网络模型进行了剪枝和量化操作，使得其在识别准确性和速度上都达到了较高的水平，能够很好的满足实际部署时对识别准确率和识别速度的要求。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明一种基于深度学习的二维码超辨率重构增强方法流程示意图。
图2为本发明中QRSR超分辨率网络模型的网络结构示意图。
具体实施方式
在下文中，可在本发明的各种实施例中使用的术语“包括”或“可包括”指示所发明的功能、操作或元件的存在，并且不限制一个或更多个功能、操作或元件的增加。此外，如在本发明的各种实施例中所使用，术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
在本发明的各种实施例中，表述“或”或“A或/和B中的至少一个”包括同时列出的文字的任何组合或所有组合。例如，表述“A或B”或“A或/和B中的至少一个”可包括A、可包括B或可包括A和B二者。
在本发明的各种实施例中使用的术语仅用于描述特定实施例的目的并且并非意在限制本发明的各种实施例。如在此所使用，单数形式意在也包括复数形式，除非上下文清楚地另有指示。除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1
如图1、图2所示，本发明一种基于深度学习的二维码超辨率重构增强方法，该方法包括以下步骤：
步骤1：采集含有二维码的高分辨率图片并存储；其中：将采集的图片按照一定的比例划分为训练集、验证集和测试集三部分；对采集的图片分别进行下采样处理并保存至图像数据库；
步骤2：构建QRSR超分辨率网络模型，用于对低分辨率二维码图片进行上采样图像增强，且利用图像数据库中保存的训练数据集训练所述QRSR超分辨率网络模型；
步骤3：剪枝和量化处理所述QRSR超分辨率网络模型，得到压缩后的QRSR超分辨率网络模型；其中：首先对训练好的所述QRSR超分辨率网络模型进行剪枝操作，然后对剪枝后的所述QRSR超分辨率网络模型进行量化操作；
步骤4：获取低分辨率二维码图片，将其作为模型压缩后的所述QRSR超分辨率网络模型的输入，所述QRSR超分辨率网络模型的输出为高分辨率的二维码图像；
步骤5：对步骤4所获取的高分辨率二维码图像进行灰度处理，并对灰度图进行图像开运算，保存处理后的高分辨率二维码灰度图。
实施时：本发明建立了一种超分辨率人工神经网络QRSR，该模型可以对自然场景下拍摄的低分辨率二维码图像进行上采样图像增强，进而提高二维码的扫描识别率。训练QRSR超分辨率网络模型，运用该模型对地分辨二维码图像进行图像增强。请参考图1，整个二维码图像超分辨率增强方法的过程如下：
步骤1：高分辨率二维码图像的采集和存储。采用爬虫技术在互联网爬取高分辨的二维码图像数据，然后对采集的高分辨图像进行s倍下采样操作，在这里s＝4,然后保存高分辨率二维码图像和其对应的下采样后的低分辨图像。接着将保存后的图像按照7:2:1的比例划分为训练集、验证集和测试集三部分。
步骤2：搭建并训练QRSR超分辨率网络模型。将步骤1中保存的高低分辨率二维码图像所对应的训练数据集输入QRSR超分辨率网络模型训练模型，该模型的网络结构包括特征提取模块和上采样模块，其示意图如2所示。其中特征提取模块采用ResNet网络结构提取低分辨率二维码图像的特征，然后采用上采样模块对进行特征提取后的特征图进行r倍上采样，在这里r＝4。
QRSR超分辨率网络模型对应得损失函数为：L＝L1+λL2，其中L1为L1范数损失函数，其中L2为L2范数损失函数，λ为二者之间的权重，在这里设置λ＝1。
图2中，Input为模型输入的原始低分辨率图像，Con2D表示二维卷积层，ResidualBlock表示ResNet结构中的残差块，long/short skip connection表示ResNet结构中的长/短跳跃连接，主要用于特征增强和防止梯度消失，Upscale Module为上采样模块，其主要作用是提高特征图的分辨率，最后Output为模型的输出结果
步骤3：QRSR超分辨率网络模型的量化和剪枝。采用Distiller开源库对训练好的QRSR超分辨率网络模型依次进行模型剪枝和模型量化操作。
步骤4：测试QRSR超分辨率网络模型，首先将测试数据集中的低分辨二维码图像数据输入QRSR超分辨率网络模型得到预测的高分辨二维码图像，然后采用pyzbar二维码扫描库对测试数据集中的低分辨率二维码图像和对应预测的高分辨率二维码图像进行扫描。统计超分辨率图像增强前和增强后的二维码识别率如表1-1所示，从表中可以看出增强前的识别率αl和增强后的识别率αh分别为0.43和0.65，说明在采用该模型对低分辨率二维码图像进行超分辨率图像增强之后可以显著提高二维码图像的扫描识别率。
表1-1测试集实验结果
测试图像个数 原始图像识别率α<sub>l</sub> 超分辨率增强后识别率α<sub>h</sub>
250 0.43 0.64
识别率
Figure BDA0002853969630000061
其中N为待测试图片的个数，这里采用了250张低分辨率二维码图像和对应的QRSR超分辨率网络模型预测的高分辨率二维码图像进行测试，Nk为采用pyzbar二维码扫描库能够识别出其中信息的二维码图像。
步骤5：对步骤4所获取的高分辨率二维码图像进行灰度处理，并对灰度图进行图像开运算，保存处理后的高分辨率二维码灰度图。
本方法中的图像可以使用网络爬取的各种二维码图像，也可以是自然场景中拍摄的二维码图像或采集计算机生成的二维码图像，本发明对处理的二维码图像不进行限定。
本方法提出的超分辨率二维码图像增强方案对提高自然场景下二维码的扫描识别率至关重要，可以极大地拓展二维码技术的使用场景和鲁棒性。
工作原理是：本发明提供一种基于深度学习的二维码超辨率重构增强方法，为低分辨率二维码图像的图像增强提供了一种新的解决方案，提高了真实场景下计算机在识别低分辨率二维码图像信息时的识别率。本发明能最大程度地提高低分辨图像中二维码所在区域图像的增强效果，进而提高真实场景下二维码的识别率。本发明提供一种先对原始证照图片进行剪裁，得到图片中二维码所在的区域，然后利用处理后的图像训练超分辨率图像增强模型，最后利用训练好的模型提高图像中二维码所在区域的分辨率。该方法首先使用爬虫技术从互联网爬取不同自然场景下拍摄的含有二维码的高分辨率图片，然后对爬取的含有二维码的图片进行剪裁且只保留图像中的二维码区域，接着对剪裁后的图片进行下采样处理，并将剪裁后的原始高分辨率图片数据下采样后的低分辨率图片同时保存在相应的图像数据库中。最后构建一个基于卷积神经网络的二维码图像超分辨率模型QRSR(QRSuper Resolution)，并利用上述保存的低分辨率和高分辨率二维码图像数据集训练该模型，然后利用训练好的模型用于对低分辨率二维码图片进行上采样图像增强。
实施例2
如图1、图2所示，本实施例与实施例1的区别在于，本实施例提供了一种基于深度学习的二维码超辨率重构增强系统，该系统支持实施例1所述的一种基于深度学习的二维码超辨率重构增强方法，该系统包括：
采集和存储单元，用于采集不同自然场景下拍摄的高分辨率二维码图片，对高分辨率二维码图片进行s倍下采样，在这里s＝4；及将处理后的高分辨率和对应的低分辨率二维码图像划分为训练数据集、验证数据集和测试数据集并存储；
模型搭建和训练单元，构建QRSR超分辨率网络模型，将采集好的训练数据集中的低分辨率和对应的高分辨率二维码图像输入所述QRSR超分辨率网络模型训练模型；
模型量化和剪枝单元，用于对训练好的所述QRSR超分辨率网络模型进行模型压缩，其中，依次采用Distiller开源库对所述QRSR超分辨率网络模型进行剪枝和量化操作；
低分辨率二维码图像增强单元，用于将自然场景下采集的低分辨率二维码图像输入训练好的所述QRSR超分辨率网络模型，获取对应上采样后的高分辨率二维码图像；
高分辨率二维码图像存储单元，用于保存所述QRSR超分辨率网络模型输出的高分辨率二维码灰度图；
高分辨率二维码图像输出单元，用于输出处理后的高分辨率二维码灰度图。
本实施例中，采集和存储单元中的含有二维码的高分辨率图片包括不同真实场景下拍摄的二维码高清图片。
本实施例中，采集和存储单元中对采集的图片分别进行下采样处理的下采样倍数与模型搭建和训练单元中对低分辨率二维码图片进行上采样图像增强的上采样倍数相等。
本实施例中，采集和存储单元中对采集的图片分别进行下采样处理的下采样倍数为s，在这里设置s＝4；
模型搭建和训练单元中对低分辨率二维码图片进行上采样图像增强的上采样倍数为r，在这里r＝4。
本实施例中，模型搭建和训练单元中所述QRSR超分辨率网络模型包括特征提取模块和上采样模块，其中，所述特征提取模块采用ResNet网络提取低分辨率二维码图像的特征，所述上采样模块对进行特征提取后的特征图进行r倍上采样。
本实施例中，所述特征提取模块由8个ResNet Block依次串行连接，其中每个ResNet Block由3个2D卷积层串行连接且其输入和输入之间含有短跳级连接(short skipconnection)，同时特征提取模块的输入和输出之间含有长跳级连接(long skipconnection)。
本实施例中，所述上采样模块由两个分支组成，分别为亚像素卷积层(sub-pixelconvolutional layer)和反卷积层(deconvolutional layer)，经过特征提取模块提取的特征图分别经过这两个分支进行上采样，然后对上采样后的结果进行特征融合，具体的：将这两个分支的输出结果沿着图像的通道方向逐像素相加，接着将结果输入给1个卷积层进行降通道处理，最后输出进行超分辨率上采样后的二维码图像。
本实施例中，模型搭建和训练单元中所述QRSR超分辨率网络模型的训练过程包括：
训练数据获取和数据集的划分；
建立QRSR超分辨率网络模型；其中：QRSR超分辨率网络模型使用的对应得损失函数为：L＝L1+λL2，其中L1为L1范数损失函数，其中L2为L2范数损失函数，λ为二者之间的权重，在这里设置λ＝1。
本实施例中，模型量化和剪枝单元中采用Distiller开源库对训练好的所述QRSR超分辨率网络模型进行剪枝和量化模型压缩操作。
本系统提高的超分辨率二维码图像增强方案对提高自然场景下二维码的扫描识别率至关重要，可以极大地拓展二维码技术的使用场景和鲁棒性。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的二维码超辨率重构增强方法，其特征在于，该方法包括以下步骤：
步骤1：采集含有二维码的高分辨率图片并存储；其中：将采集的图片按照一定的比例划分为训练集、验证集和测试集三部分；对采集的图片分别进行下采样处理并保存至图像数据库；
步骤2：构建QRSR超分辨率网络模型，用于对低分辨率二维码图片进行上采样图像增强，且利用图像数据库中保存的训练数据集训练所述QRSR超分辨率网络模型；
步骤3：剪枝和量化处理所述QRSR超分辨率网络模型，得到压缩后的QRSR超分辨率网络模型；其中：首先对训练好的所述QRSR超分辨率网络模型进行剪枝操作，然后对剪枝后的所述QRSR超分辨率网络模型进行量化操作；
步骤4：获取低分辨率二维码图片，将其作为模型压缩后的所述QRSR超分辨率网络模型的输入，所述QRSR超分辨率网络模型的输出为高分辨率的二维码图像；
步骤5：对步骤4所获取的高分辨率二维码图像进行灰度处理，并对灰度图进行图像开运算，保存处理后的高分辨率二维码灰度图。
2.根据权利要求1所述的一种基于深度学习的二维码超辨率重构增强方法，其特征在于，步骤1中的含有二维码的高分辨率图片包括不同真实场景下拍摄的二维码高清图片。
3.根据权利要求1所述的一种基于深度学习的二维码超辨率重构增强方法，其特征在于，步骤1中对采集的图片分别进行下采样处理的下采样倍数与步骤2中对低分辨率二维码图片进行上采样图像增强的上采样倍数相等。
4.根据权利要求3所述的一种基于深度学习的二维码超辨率重构增强方法，其特征在于，步骤1中对采集的图片分别进行下采样处理的下采样倍数、步骤2中对低分辨率二维码图片进行上采样图像增强的上采样倍数均为4。
5.根据权利要求1所述的一种基于深度学习的二维码超辨率重构增强方法，其特征在于，步骤2中所述QRSR超分辨率网络模型包括特征提取模块和上采样模块，其中，所述特征提取模块采用ResNet网络提取低分辨率二维码图像的特征，所述上采样模块对进行特征提取后的特征图进行r倍上采样。
6.根据权利要求5所述的一种基于深度学习的二维码超辨率重构增强方法，其特征在于，所述特征提取模块由8个ResNet Block依次串行连接，其中每个ResNet Block由3个2D卷积层串行连接且其输入和输入之间含有短跳级连接，同时特征提取模块的输入和输出之间含有长跳级连接。
7.根据权利要求5所述的一种基于深度学习的二维码超辨率重构增强方法，其特征在于，所述上采样模块由两个分支组成，分别为亚像素卷积层和反卷积层，经过特征提取模块提取的特征图分别经过这两个分支进行上采样，然后对上采样后的结果进行特征融合，具体的：将这两个分支的输出结果沿着图像的通道方向逐像素相加，接着将结果输入1个卷积层进行降通道处理，最后输出进行超分辨率上采样后的二维码图像。
8.根据权利要求1所述的一种基于深度学习的二维码超辨率重构增强方法，其特征在于，步骤2中所述QRSR超分辨率网络模型的训练过程包括：
训练数据获取和数据集的划分；
建立QRSR超分辨率网络模型；其中：所述QRSR超分辨率网络模型使用的对应得损失函数为：L＝L1+λL2，其中L1为L1范数损失函数，其中L2为L2范数损失函数，λ为二者之间的权重，在这里设置λ＝1。
9.根据权利要求1所述的一种基于深度学习的二维码超辨率重构增强方法，其特征在于，步骤3中采用Distiller开源库对训练好的所述QRSR超分辨率网络模型进行剪枝和量化模型压缩操作。
10.一种基于深度学习的二维码超辨率重构增强系统，其特征在于，该系统支持如权利要求1至9中任意一项所述的一种基于深度学习的二维码超辨率重构增强方法，该系统包括：
采集和存储单元，用于采集不同自然场景下拍摄的高分辨率二维码图片，对高分辨率二维码图片进行下采样，及将处理后的高分辨率和对应的低分辨率二维码图像划分为训练数据集、验证数据集和测试数据集并存储；
模型搭建和训练单元，构建QRSR超分辨率网络模型，将采集好的训练数据集中的低分辨率和对应的高分辨率二维码图像输入所述QRSR超分辨率网络模型，训练模型；
模型量化和剪枝单元，用于对训练好的所述QRSR超分辨率网络模型进行模型压缩，其中，依次采用Distiller开源库对所述QRSR超分辨率网络模型进行剪枝和量化操作；
低分辨率二维码图像增强单元，用于将自然场景下采集的低分辨率二维码图像输入训练好的所述QRSR超分辨率网络模型，获取对应上采样后的高分辨率二维码图像；
高分辨率二维码图像存储单元，用于保存所述QRSR超分辨率网络模型输出的高分辨率二维码灰度图；
高分辨率二维码图像输出单元，用于输出处理后的高分辨率二维码灰度图。
CN202011538775.6A 2020-12-23 2020-12-23 一种基于深度学习的二维码超辨率重构增强方法及系统 Pending CN112580381A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011538775.6A CN112580381A (zh) 2020-12-23 2020-12-23 一种基于深度学习的二维码超辨率重构增强方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011538775.6A CN112580381A (zh) 2020-12-23 2020-12-23 一种基于深度学习的二维码超辨率重构增强方法及系统

Publications (1)

Publication Number Publication Date
CN112580381A true CN112580381A (zh) 2021-03-30

Family

ID=75139480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011538775.6A Pending CN112580381A (zh) 2020-12-23 2020-12-23 一种基于深度学习的二维码超辨率重构增强方法及系统

Country Status (1)

Country Link
CN (1) CN112580381A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379604A (zh) * 2021-06-15 2021-09-10 华南理工大学 针对超分辨率网络的剪枝量化压缩方法、系统及介质
CN115936037A (zh) * 2023-02-22 2023-04-07 青岛创新奇智科技集团股份有限公司 二维码的解码方法及装置
CN116757231A (zh) * 2023-08-22 2023-09-15 北京紫光青藤微系统有限公司 用于条码图像的超分辨率训练图集的生成方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146788A (zh) * 2018-08-16 2019-01-04 广州视源电子科技股份有限公司 基于深度学习的超分辨率图像重建方法和装置
CN109300090A (zh) * 2018-08-28 2019-02-01 哈尔滨工业大学（威海） 一种基于亚像素和条件对抗生成网络的单幅图像去雾方法
CN110310227A (zh) * 2019-06-27 2019-10-08 电子科技大学 一种基于高低频信息分解的图像超分辨率重建方法
CN110532859A (zh) * 2019-07-18 2019-12-03 西安电子科技大学 基于深度进化剪枝卷积网的遥感图像目标检测方法
CN110992265A (zh) * 2019-12-02 2020-04-10 北京数码视讯科技股份有限公司 图像处理方法及模型、模型的训练方法及电子设备
CN111932461A (zh) * 2020-08-11 2020-11-13 西安邮电大学 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统
CN112069853A (zh) * 2020-09-16 2020-12-11 福州大学 基于深度学习的二维条码图像超分辨方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146788A (zh) * 2018-08-16 2019-01-04 广州视源电子科技股份有限公司 基于深度学习的超分辨率图像重建方法和装置
CN109300090A (zh) * 2018-08-28 2019-02-01 哈尔滨工业大学（威海） 一种基于亚像素和条件对抗生成网络的单幅图像去雾方法
CN110310227A (zh) * 2019-06-27 2019-10-08 电子科技大学 一种基于高低频信息分解的图像超分辨率重建方法
CN110532859A (zh) * 2019-07-18 2019-12-03 西安电子科技大学 基于深度进化剪枝卷积网的遥感图像目标检测方法
CN110992265A (zh) * 2019-12-02 2020-04-10 北京数码视讯科技股份有限公司 图像处理方法及模型、模型的训练方法及电子设备
CN111932461A (zh) * 2020-08-11 2020-11-13 西安邮电大学 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统
CN112069853A (zh) * 2020-09-16 2020-12-11 福州大学 基于深度学习的二维条码图像超分辨方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谢朋言: "基于深度学习的快速图像超分辨率方法", 《舰船电子对抗》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379604A (zh) * 2021-06-15 2021-09-10 华南理工大学 针对超分辨率网络的剪枝量化压缩方法、系统及介质
CN113379604B (zh) * 2021-06-15 2022-09-20 华南理工大学 针对超分辨率网络的剪枝量化压缩方法、系统及介质
WO2022262660A1 (zh) * 2021-06-15 2022-12-22 华南理工大学 针对超分辨率网络的剪枝量化压缩方法、系统及介质
CN115936037A (zh) * 2023-02-22 2023-04-07 青岛创新奇智科技集团股份有限公司 二维码的解码方法及装置
CN116757231A (zh) * 2023-08-22 2023-09-15 北京紫光青藤微系统有限公司 用于条码图像的超分辨率训练图集的生成方法及装置

Similar Documents

Publication Publication Date Title
Zhang et al. Pan-sharpening using an efficient bidirectional pyramid network
Anwar et al. Densely residual laplacian super-resolution
CN112580381A (zh) 一种基于深度学习的二维码超辨率重构增强方法及系统
Abdollahi et al. Improving road semantic segmentation using generative adversarial network
CN109146788A (zh) 基于深度学习的超分辨率图像重建方法和装置
CN114758383A (zh) 基于注意力调制上下文空间信息的表情识别方法
CN105046651B (zh) 一种图像的超分辨率重构方法和装置
CN112801901A (zh) 基于分块多尺度卷积神经网络的图像去模糊算法
Couturier et al. Image denoising using a deep encoder-decoder network with skip connections
Cao et al. New architecture of deep recursive convolution networks for super-resolution
CN115937794B (zh) 小目标对象检测方法、装置、电子设备及存储介质
CN111932480A (zh) 去模糊视频恢复方法、装置、终端设备以及存储介质
He et al. Remote sensing image super-resolution using deep–shallow cascaded convolutional neural networks
Pham et al. Low-light image enhancement for autonomous driving systems using DriveRetinex-Net
Liu et al. Facial image inpainting using multi-level generative network
CN113870283A (zh) 人像抠图方法、装置、计算机设备及可读存储介质
CN117575915A (zh) 一种图像超分辨率重建方法、终端设备及存储介质
CN117274059A (zh) 基于图像编码-解码的低分辨率图像重构方法及其系统
Schirrmacher et al. Sr 2: Super-resolution with structure-aware reconstruction
CN115272131B (zh) 基于自适应多光谱编码的图像去摩尔纹系统及方法
CN115035402B (zh) 一种用于土地覆盖分类问题的多级特征聚合系统及方法
CN113554655B (zh) 基于多特征增强的光学遥感图像分割方法及装置
CN113191367B (zh) 基于密集尺度动态网络的语义分割方法
CN115131244A (zh) 基于对抗学习的单幅图像去雨方法及系统
CN116958317A (zh) 一种结合边缘信息和外观流操作的图像修复方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 610000 No. 270, floor 2, No. 8, Jinxiu street, Wuhou District, Chengdu, Sichuan

Applicant after: Chengdu shuzhilian Technology Co.,Ltd.

Address before: 610000 No.2, 4th floor, building 1, Jule Road intersection, West 1st section of 1st ring road, Wuhou District, Chengdu City, Sichuan Province

Applicant before: CHENGDU SHUZHILIAN TECHNOLOGY Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210330