CN114820326B - 基于可调节核稀疏化的高效单帧图像超分方法 - Google Patents
基于可调节核稀疏化的高效单帧图像超分方法 Download PDFInfo
- Publication number
- CN114820326B CN114820326B CN202210579505.2A CN202210579505A CN114820326B CN 114820326 B CN114820326 B CN 114820326B CN 202210579505 A CN202210579505 A CN 202210579505A CN 114820326 B CN114820326 B CN 114820326B
- Authority
- CN
- China
- Prior art keywords
- model
- threshold
- sparsity
- weight
- superdivision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000006870 function Effects 0.000 claims abstract description 42
- 238000012549 training Methods 0.000 claims description 40
- 238000005457 optimization Methods 0.000 claims description 24
- 238000013507 mapping Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 230000003321 amplification Effects 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000000452 restraining effect Effects 0.000 claims 1
- 238000011160 research Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 abstract description 2
- 238000002474 experimental method Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013138 pruning Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000013140 knowledge distillation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Abstract
基于可调节核稀疏化的高效单帧图像超分方法，涉及图像处理领域。通过将用户预定义的稀疏度隐式分配给每个单独的卷积核来实现权重级别的可调节模型稀疏，并由此提供一种基于可调节核稀疏化的高效单帧图像超分方法。为了诱导核稀疏性，引入软阈值函数作为门限约束从而过滤不重要的权重值。为了满足可调节的稀疏度，提出一种动态阈值学习算法，即阈值与网络权重一起更新，与此同时阈值在目标稀疏性引导下进行自适应衰减。该方法本质上为现有的超分大模型提供了在给定资源限制下的动态参数重分配。该方法研究高效轻量级图像超分模型，可用于智能安防、高清画质增强、历史老照片修复等。
Description
技术领域
本发明涉及图像处理领域，尤其是涉及可用于智能安防、高清画质增强、历史老照片修复等的一种基于可调节核稀疏化的高效单帧图像超分方法。
背景技术
单图像超分辨率旨在从其退化的低分辨率图像重建出相应的高分辨率图像。随着模型容量的增加，深度图像超分模型取得显着的进展。然而，大模型依赖于大量的计算和存储，导致其在移动端和便携式设备等工业场景中的应用部署。
轻量级图像超分因其应用前景以及实际应用价值，近年来受到广泛的关注，并涌现出许多优秀的算法。现有的大多数轻量级超分模型主要侧重于网络结构设计。如递归学习常被用来通过权重共享来减少模型存储，多级感受野用于增大长范围像素依赖关系，神经架构搜索用于自动学习网络连接关系。这些超分模型需要精心设计，这不仅耗时还需要反复试错。此外，知识蒸馏和模型量化也被引入设计轻量级图像超分模型。所有这些模型都属于具有固定数量卷积核的静态方法。
稀疏表示通过减少非零元素的数量来进行有效的表示，在鲁棒性和高效率方面具有优势。权重稀疏作为一种剪枝方法，旨在去除冗余和不重要的权重参数，以减少模型参数和计算量。根据权重裁剪的位置可分为结构化稀疏和非结构化稀疏。结构化稀疏可分为低秩参数张量、通道及滤波器裁剪、组稀疏等。此外，还有大量研究通过去除整个神经元或卷积滤波器以实现并行高级加速。然而，结构化稀疏通常会遭受严重的性能下降。一般来说，非结构化稀疏方法可以实现比结构化剪枝方法相对更高的权重稀疏度，同时保持原始精度或可接受的精度，其中零元素可位于权重矩阵中的任何位置。为了克服非结构化稀疏导致的不规则权重分布的计算效率，人工智能加速器设计的最新进展有针对性地支持高效的稀疏矩阵乘法和累加运算。有相关研究设计非结构化稀疏矩阵乘法的加速，从而保证了非结构化稀疏对于有效推理的重要性。此外，稀疏矩阵也比标准矩阵占据更少的存储。本发明主要探索图像超分中的非结构化稀疏，从而实现可调节的模型稀疏度。
中国专利CN113628114A公开一种双通道稀疏编码的图像超分辨率重建方法，该方法首先使用双三次插值和双线性插值算法对LR图像进行预处理，对于预处理后的图像块利用基于非局部自相似度的字典训练方法训练字典；然后提出一种改进的基于稀疏表示的重建模型，建立了自适应双通道，设计两个自适应系数来控制这两个通道各自的比例，根据模型计算稀疏表示系数；最后根据稀疏表示系数重构HR图像块，将所有HR图像块融合得到最终的HR图像。
发明内容
本发明的目的在于进一步探索核稀疏性以裁剪超分模型中不重要的权重参数，提供一种简单而有效的单个核稀疏方法来实现高效的图像超分的基于可调节核稀疏化的高效单帧图像超分方法，该方法可以通过将用户定义的目标稀疏度隐式分配给每个卷积核从而实现模型稀疏度可调从而应用于资源受限的条件。
本发明包括以下步骤：
(1)获取自然图像超分辨率数据集，包含低分辨率图像集和高分辨率图像集/>其中m表示图像样本总数，Yi和Xi分别表示第i个成对的低分辨率和高分辨率样本；对数据集进行采样，每个批次中分别选取若干张成对的低分辨率图像和高分辨率图像作为当前的网络输入；
(2)对输入的成对图像进行随机裁剪，低分辨率图像块尺寸大小为48*48，高分辨率图像块尺寸为低分辨率图像尺寸乘上相应的放大因子，采用随机翻转进行数据增强；
(3)加载预训练好的超分模型并输入一个批次的低分辨率图像；
(4)超分模型核稀疏的优化问题建模，实现超分模型的可调节核稀疏化从而满足给定资源限制条件；
(5)采用软阈值函数对模型稀疏进行约束，每个权重参数对应一个相应的阈值参数；
(6)学习动态阈值更新以满足可调节的模型稀疏度；阈值在网络优化期间与超分模型的权重参数一起更新，同时通过目标稀疏度引导的自适应衰减进行更新；
(7)确定阈值后，采用权重稀疏步骤进行稀疏超分模型的训练；
(8)使用平均绝对误差L1对模型输出的超分结果与高分辨率图像进行像素级别约束；
(9)根据图像质量的评价指标得出峰值信噪比，根据模型参数中零元素的占比得出模型稀疏度。
在步骤(3)中，所述超分模型包括三个部分：i.浅层特征提取模块，用于将数据从图像空间转换到特征空间；ii.深度特征映射模块，用于学习低分辨率的特征空间到高分辨率特征空间的映射关系；iii.上采样模块，用于将高分辨率特征转换到图像空间。
在步骤(4)中，所述超分模型核稀疏的优化问题建模：
(4.1)超分模型参数表示为{Wi:1≤i≤L}，其中是第i层的参数矩阵，L是总的卷积层数，co和ci分别表示输出和输入通道的数量，w和h表示卷积核尺寸大小；模型稀疏度的优化目标可以表示为：
其中，γ是正则化系数，||·||0表示L0范数，f(·)表示激活函数，式(1)中省略偏置项；
(4.2)单个核稀疏通过对参数集W中的Wi施加一个显式的门限函数g(·)，从而过滤掉不重要的权重来实现；将所需的用户自定义的目标稀疏度整合到稀疏超分模型的训练中；结合这两点，式(1)中的优化目标改写为：
其中，Ti表示阈值。
在步骤(5)中，所述采用软阈值函数对模型稀疏进行约束的具体步骤如下：
(5.1)采用软阈值函数soft(·)作为门控约束函数；g(·)＝soft(·)，即：
g(W,T)＝soft(W,T)＝sign(W)max{|W|-T,0}, (3)
其中，阈值T为正，用于控制模型的稀疏度，将绝对值小于T的权重设置为0；式(3)是元素级别的；卷积核的每个权重wij对应着其本身的阈值tij，为所有的权重参数提供差异化的约束；将soft(·)的输出作为新的权重与输入的特征相乘。
在步骤(6)中，所述学习动态阈值更新以满足可调节的模型稀疏度：
(6.1)提出一种用于动态阈值学习的交替优化算法；首先根据梯度下降算法进行权重和阈值的更新，然后将式(2)中的约束条件通过阈值衰减的方式整合到阈值更新当中；
(6.2)为了进行阈值的学习，首先引入阈值变换操作来匹配阈值和权重的范围，即把一个任意数值映射到权重所在范围区域，从而自适应地过滤不重要的权重；为了确定合适的变换，可视化已有预训练的大超分模型的权重范围，观察到超分模型中的所有权重值都非常小，并且由于学习率很小，权重范围在训练过程中不会发生大幅改变；采用Sigmoid函数来进行阈值转换，即tij＝sigm(sij)，其中，sij被视为隐式阈值；tij的范围在[0,1]，覆盖到权重范围；同时，将初始隐式阈值设置为小于0的数从而不断提升模型稀疏度；
(6.3)阈值tij在训练过程中是可动态学习的，从而找到一种较优的设置用于自适应地控制单个核稀疏度；该核稀疏化方法采用soft(·)作为门控约束来诱导模型稀疏性；为实现反向传播，采用次梯度的方式进行更新，即：
其中，1[·]表示指标函数；第k步的权重和阈值的梯度下降(GD)更新方程表示为：
其中，L是损失函数，η是学习率；模型可以进行端到端的训练；
所述阈值衰减，是将Star整合到模型优化训练中，隐式阈值sij通过乘以衰减率ρ(>0)来更新，并且该衰减率根据当前模型稀疏度Scur与目标稀疏度Star之间的差异计算得出；sij是负数，经过Sigmoid转换函数得到最终的阈值tij；同时，为实现Star可调，ρ应满足以下规则：
a.若Scur小于Star，则ρ应小于1从而增大sij以提高模型稀疏度；并且，Scur和Star之间的差异越大，ρ应该越小；
b.若Scur大于Star，则ρ应大于1从而减小sij以降低稀疏度；
结合以上两点，将衰减因子ρ建模为：
ρ＝λ*(Scur-Star)+1, (8)
其中，λ∈(0,1/Star)是衰减斜率，用于控制阈值衰减的速度；阈值sij的更新进一步表示为：
其中，Δ＝Scur-Star，δ是允许误差，D是衰减间隔，e是当前训练轮次，ed是上一个衰减轮次；通过阈值衰减策略，能够以较快的收敛速度达到任意可调节的模型稀疏度。
在步骤(7)中，所述采用权重稀疏步骤进行稀疏超分模型的训练，具体包括：i.模型预训练：在不加稀疏的情况下训练超分模型，直接加载预训练好的超分模型；ii.模型稀疏：预训练的超分模型作为初始化权重加载，经过具有动态可学习阈值的soft(·)函数诱导核稀疏；iii.模型微调：对于稀疏后的模型进行学习训练，从而维持较好的性能。
针对在计算资源受限的情况下，容量较大的超分模型难以应用于实际工业场景中。目前大多数超分模型都采用紧致化的结构设计，却忽略了模型参数的冗余。仅有的核稀疏超分的工作也只是通过在滤波器级别施加组稀疏性约束，这无法实现任何可调节的模型稀疏度。本发明通过的模型的改进与优化，较大程度上提高重构过程的鲁棒性，而且提高HR图像的质量，在定性和定量上都有较好的重建效果。本发明为高效的图像超分模型提供一种简单有效的单个核稀疏化方法，该方法可以在不破坏原有模型结构的情况下实现对已有超分模型的可调节稀疏度。本发明提出一种由软阈值函数诱导的动态阈值学习方法来诱导核稀疏性。其中阈值不仅与超分模型的权重一起学习，而且还通过目标稀疏度引导的自适应衰减进行更新。将本发明应用于已有的超分模型，如EDSR，可以达到在80％的稀疏度下仍保持模型的重建性能。本发明可广泛应用于智能安防、高清画质增强、历史老照片修复等领域。
附图说明
图1是本发明的基于可调节核稀疏化的高效单帧图像超分方法框架。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下实施例将结合附图对本发明进行作进一步的说明。
本发明实施例包括以下步骤：
(1)获取自然图像超分辨率数据集，包含低分辨率图像集和高分辨率图像集/>其中m表示图像样本总数，Yi和Xi分别表示第i个成对的低分辨率和高分辨率样本；对数据集进行采样，每个批次中分别选取16张成对的低分辨率图像和高分辨率图像作为当前的网络输入；
(2)对输入的成对图像进行随机裁剪，低分辨率图像块尺寸大小为48*48，高分辨率图像块尺寸为低分辨率图像尺寸乘上相应的放大因子，采用随机翻转进行数据增强；
(3)加载预训练好的超分模型并输入一个批次的低分辨率图像，其中超分模型主要包括三个部分：i.浅层特征提取模块，将数据从图像空间转换到特征空间；ii.深度特征映射模块，学习低分辨率的特征空间到高分辨率特征空间的映射关系；iii.上采样模块，将高分辨率特征转换到图像空间；
(4)为了实现超分模型的可调节核稀疏化从而满足给定资源限制条件，进行超分模型核稀疏的优化问题建模；
(5)采用软阈值函数对模型稀疏进行约束，每个权重参数对于一个相应的阈值参数，其中小于阈值的权重参数将被设置为0，大于设定阈值的权重参数也会因软阈值函数发生改变；
(6)采用动态阈值学习以满足可调节的模型稀疏化；为了使模型稀疏度可调，设计一种动态阈值学习算法，其中阈值不仅在网络优化期间与超分模型的权重参数一起更新，而且还通过目标稀疏度引导的自适应衰减进行更新；
(7)确定阈值后，即可进行稀疏超分模型的训练。采用常见的权重稀疏步骤来过的稀疏超分模型：i.模型预训练(在不加稀疏的情况下训练超分模型，可直接加载预训练好的超分模型)；ii.模型稀疏(预训练的超分模型作为初始化权重加载，经过具有动态可学习阈值的soft(·)函数诱导核稀疏)；iii.模型微调(对于稀疏后的模型进行学习训练，从而维持较好的性能)；
(8)在模型的整个训练过程中，使用常用的平均绝对误差L1对模型输出的超分结果与高分辨率图像进行像素级别约束；
(9)根据图像质量的评价指标算得峰值信噪比(PSNR(dB))，根据模型参数中零元素的占比计算得到模型稀疏度(Sparsity(％))。
在步骤(4)中，所述深度超分模型的核稀疏化优化问题建模：
(4.1)超分模型参数表示为{Wi:1≤i≤L}，其中是第i层的参数矩阵，L是总的卷积层数，co和ci分别表示输出和输入通道的数量，w和h表示卷积核尺寸大小。模型稀疏度的优化目标可以表示为：
其中γ是正则化系数，||·||0表示L0范数，f(·)表示激活函数，注意式(1)中省略偏置项。
(4.2)该核稀疏化方法旨在解决两个重要问题：1)如何使单个核稀疏；2)如何使模型稀疏度可调。从技术上讲，单个核稀疏可以通过对参数集W中的Wi施加一个显式的门限函数g(·)，从而过滤掉不重要的权重来实现。此外，应将所需的用户自定义的目标稀疏度整合到稀疏超分模型的训练中。因此，为了结合这两点，式(1)中的优化目标可进一步改写为：
其中Ti表示阈值。式(1)和式(2)之间的主要区别是权重通过门控函数g(·)来约束权重从而实现用户定义的目标稀疏度。
在步骤(5)中，所述利用软阈值门限函数来进行诱导模型稀疏：
(5.1)软阈值函数soft(·)在求解稀疏表示问题中较为常见，采用其作为门控约束函数。若无特殊说明，则后述部分中g(·)＝soft(·)，即
g(W,T)＝soft(W,T)＝sign(W)max{|W|-T,0}, (3)
其中阈值T为正，可以控制模型的稀疏度，其将绝对值小于T的权重设置为0。值得注意的是式(3)是元素级别的。换句话说，卷积核的每个权重wij对应着其本身的阈值tij，从而为所有的权重参数提供差异化的约束。因此，代替将权重直接约束为0，该方法将soft(·)的输出作为新的权重与输入的特征相乘。
在步骤(6)中，所述学习动态阈值更新以满足可调节的模型稀疏度：
(6.1)为了实现可调模型稀疏度，提出了一种用于动态阈值学习的交替优化算法。具体地，首先根据梯度下降算法进行权重和阈值的更新，然后将式(2)中的约束条件通过阈值衰减的方式整合到阈值更新当中。
(6.2)为了进行阈值的学习，首先引入阈值变换操作来匹配阈值和权重的范围，即把一个任意数值映射到权重所在范围区域，从而自适应地过滤不重要的权重。为了确定合适的变换，可视化已有预训练的大超分模型的权重范围，观察到超分模型中的所有权重值都非常小，并且由于学习率很小，权重范围在训练过程中不会发生大幅改变。因此，考虑采用Sigmoid函数来进行阈值转换，即tij＝sigm(sij)，其中sij被视为隐式阈值。tij的范围在[0,1]，可以充分覆盖到权重范围。同时，将初始隐式阈值设置为小于0的数从而不断提升模型稀疏度。
(6.3)阈值tij在训练过程中是可动态学习的，从而找到一种较优的设置用于自适应地控制单个核稀疏度。该核稀疏化方法采用soft(·)作为门控约束来诱导模型稀疏性。可以发现soft(·)函数本质上是不可导的，导致反向传播算法不能同时学习权重和阈值。为了实现反向传播，采用次梯度的方式进行更新，即：
其中1[·]表示指标函数。因此，第k步的权重和阈值的梯度下降(GD)更新方程可表示为：
其中L是损失函数，η是学习率。因此，模型可以进行端到端的训练。
此外，考虑到对于可学习的阈值sij缺乏显式的更新指导，仅仅依赖于最终的优化损失无法实现可调节的目标稀疏度。受到权重衰减正则化的启发，设计了一种阈值衰减方案，即将Star整合到模型优化训练中，隐式阈值sij通过乘以衰减率ρ(>0)来更新，并且该衰减率是根据当前模型稀疏度Scur与目标稀疏度Star之间的差异计算得出。值得注意的是sij是负数，其经过Sigmoid转换函数得到最终的阈值tij。同时，为实现Star可调，ρ应满足以下规则：
a.若Scur小于Star，则ρ应小于1从而增大sij以提高模型稀疏度。并且，Scur和Star之间的差异越大，ρ应该越小。
b.若Scur大于Star，则ρ应大于1从而减小sij以降低稀疏度。
结合以上两点，一个直观的想法是将衰减因子ρ建模为：
ρ＝λ*(Scur-Star)+1, (8)
其中λ∈(0,1/Star)是衰减斜率，用于控制阈值衰减的速度。因此，阈值sij的更新可进一步表示为：
其中Δ＝Scur-Star，δ是允许误差，D是衰减间隔，e是当前训练轮次，ed是上一个衰减轮次。通过阈值衰减策略，该方法能够以较快的收敛速度达到任意可调节的模型稀疏度。
如图1，本发明的框架为：
步骤1，获取模型的输入图像。
对数据集进行采样，每个批次中分别选取16张成对的低分辨率图像和高分辨率图像作为当前的网络输入；
对输入的成对图像进行随机裁剪，低分辨率图像块尺寸大小为48*48，高分辨率图像块尺寸为低分辨率图像尺寸乘上相应的放大因子，采用随机翻转进行数据增强。
步骤2，进行深度超分模型的核稀疏化优化问题建模。
(2a)采用软阈值函数对模型稀疏进行约束，每个权重参数对于一个相应的阈值参数，其中小于阈值的权重参数将被设置为0，大于设定阈值的权重参数也会因软阈值函数发生改变；
(2b)采用动态阈值学习以满足可调节的模型稀疏化。为了使模型稀疏度可调，设计一种动态阈值学习算法，其中阈值不仅在网络优化期间与超分模型的权重参数一起更新，而且还通过目标稀疏度引导的自适应衰减进行更新。
步骤3，对网络权重和阈值进行更新训练。
(3a)确定阈值后，即可进行稀疏超分模型的训练。采用常见的权重稀疏步骤来过的稀疏超分模型：i.模型预训练(在不加稀疏的情况下训练超分模型，可直接加载预训练好的超分模型)；ii.模型稀疏(预训练的超分模型作为初始化权重加载，经过具有动态可学习阈值的soft(·)函数诱导核稀疏)；iii.模型微调(对于稀疏后的模型进行学习训练，从而维持较好的性能)；
(3b)在模型的整个训练过程中，使用常用的平均绝对误差L1对模型输出的超分结果与高分辨率图像进行像素级别约束。
2.实验结果以及结果分析：
实验1，用本发明在Set5数据集上进行核稀疏消融实验。
为了验证算法的有效性，基准模型设置为缩减版的RCAN，即G5R10，同时在Set5测试集上，进行消融实验，表1为实验结果。其中，‘GUT’表示基于梯度更新的更新项，‘SDT’表示基于稀疏度引导的衰减项，‘√’和‘×’表示分别表示使用和不使用对应项的阈值更新，‘Sparsity(％)’和‘PSNR(dB)’分别表示模型的稀疏度(0元素的参数在总参数中的占比)和峰值信噪比。实验结果表明，本发明所提出的动态阈值更新方式分别对超分模型稀疏化任务上，都有较大程度的性能提升，验证动态可学习阈值对于核稀疏的有效性。
实验1，用本发明在超分基准数据集上针对EDSR模型进行稀疏化。
为了验证算法的有效性，在超分基准数据集Set5、Set14、B100、Urban100上对代表性超分模型EDSR进行核稀疏化测试：包含2倍，3倍以及4倍超分。表2为实验结果,从中可以发现，本发明提出的基于可调节核稀疏化的高效单帧图像超分方法在超分基准数据集上同样获得了卓越的性能，在2倍、3倍、4倍放大因子下，能够以对应80％、75％、75％的稀疏度维持模型相当的重建性能。
表1
表2
结合实验1和实验2可以看出，本发明在现有的四个超分基准数据集上都有显著的性能优势，超越当前学术领域的最高水平，验证本发明提出的可调节稀疏核的有效性。
本发明为了诱导核稀疏性，引入软阈值函数作为门限约束从而过滤不重要的权重值。为了满足可调节的稀疏度，提出一种动态阈值学习算法，即阈值与网络权重一起更新，与此同时阈值在目标稀疏性引导下进行自适应衰减。该方法本质上为现有的超分大模型提供在给定资源限制下的动态参数重分配。本发明旨在研究高效轻量级图像超分模型，可用于智能安防、高清画质增强、历史老照片修复等。
上述实施例仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。
Claims (3)
1.基于可调节核稀疏化的高效单帧图像超分方法，其特征在于包括以下步骤：
(1)获取自然图像超分辨率数据集，包含低分辨率图像集和高分辨率图像集其中m表示图像样本总数，Yi和Xi分别表示第i个成对的低分辨率和高分辨率样本；对数据集进行采样，每个批次中分别选取若干张成对的低分辨率图像和高分辨率图像作为当前的网络输入；
(2)对输入的成对图像进行随机裁剪，低分辨率图像块尺寸大小为48*48，高分辨率图像块尺寸为低分辨率图像尺寸乘上相应的放大因子，采用随机翻转进行数据增强；
(3)加载预训练好的超分模型并输入一个批次的低分辨率图像；
(4)超分模型核稀疏的优化问题建模，实现超分模型的可调节核稀疏化从而满足给定资源限制条件；
所述超分模型核稀疏的优化问题建模：
(4.1)超分模型参数表示为{Wi:1≤i≤L}，其中是第i层的参数矩阵，L是总的卷积层数，co和ci分别表示输出和输入通道的数量，w和h表示卷积核尺寸大小；模型稀疏度的优化目标表示为：
其中，γ是正则化系数，||·||0表示L0范数，f(·)表示激活函数，式(1)中省略偏置项；
(4.2)单个核稀疏通过对参数集W中的Wi施加一个显式的门限函数g(·)，从而过滤掉不重要的权重来实现；将所需的用户自定义的目标稀疏度整合到稀疏超分模型的训练中；结合这两点，式(1)中的优化目标改写为：
其中，Ti表示阈值；
(5)采用软阈值函数对模型稀疏进行约束，每个权重参数对应一个相应的阈值参数；
所述采用软阈值函数对模型稀疏进行约束的具体步骤如下：
(5.1)采用软阈值函数soft(·)作为门控约束函数；g(·)＝soft(·)，即：
g(W,T)＝soft(W,T)＝sign(W)max{|W|-T,0}, (3)
其中，阈值T为正，用于控制模型的稀疏度，将绝对值小于T的权重设置为0；式(3)是元素级别的；卷积核的每个权重wij对应着其本身的阈值tij，为所有的权重参数提供差异化的约束；将soft(·)的输出作为新的权重与输入的特征相乘；
(6)学习动态阈值更新以满足可调节的模型稀疏度；阈值在网络优化期间与超分模型的权重参数一起更新，同时通过目标稀疏度引导的自适应衰减进行更新；
所述学习动态阈值更新以满足可调节的模型稀疏度：
(6.1)提出一种用于动态阈值学习的交替优化算法；首先根据梯度下降算法进行权重和阈值的更新，然后将式(2)中的约束条件通过阈值衰减的方式整合到阈值更新当中；
(6.2)为了进行阈值的学习，首先引入阈值变换操作来匹配阈值和权重的范围，即把一个任意数值映射到权重所在范围区域，从而自适应地过滤不重要的权重；为了确定合适的变换，可视化已有预训练的大超分模型的权重范围，观察到超分模型中的所有权重值都非常小，并且由于学习率很小，权重范围在训练过程中不会发生大幅改变；采用Sigmoid函数来进行阈值转换，即tij＝sigm(sij)，其中，sij被视为隐式阈值；tij的范围在[0,1]，覆盖到权重范围；同时，将初始隐式阈值设置为小于0的数从而不断提升模型稀疏度；
(6.3)阈值tij在训练过程中是可动态学习的，从而找到一种较优的设置用于自适应地控制单个核稀疏度；该核稀疏化方法采用soft(·)作为门控约束来诱导模型稀疏性；为实现反向传播，采用次梯度的方式进行更新，即：
其中，1[·]表示指标函数；第k步的权重和阈值的梯度下降(GD)更新方程表示为：
其中，L是损失函数，η是学习率；模型进行端到端的训练；
所述阈值衰减，是将Star整合到模型优化训练中，隐式阈值sij通过乘以衰减率ρ(>0)来更新，并且该衰减率根据当前模型稀疏度Scur与目标稀疏度Star之间的差异计算得出；sij是负数，经过Sigmoid转换函数得到最终的阈值tij；同时，为实现Star可调，ρ应满足以下规则：
a.若Scur小于Star，则ρ应小于1从而增大sij以提高模型稀疏度；并且，Scur和Star之间的差异越大，ρ应该越小；
b.若Scur大于Star，则ρ应大于1从而减小sij以降低稀疏度；
结合以上两点，将衰减因子ρ建模为：
ρ＝λ*(Scur-Star)+1, (8)
其中，λ∈(0,1/Star)是衰减斜率，用于控制阈值衰减的速度；阈值sij的更新进一步表示为：
其中，Δ＝Scur-Star，δ是允许误差，D是衰减间隔，e是当前训练轮次，ed是上一个衰减轮次；通过阈值衰减策略，能够以较快的收敛速度达到任意可调节的模型稀疏度；
(7)确定阈值后，采用权重稀疏步骤进行稀疏超分模型的训练；
(8)使用平均绝对误差L1对模型输出的超分结果与高分辨率图像进行像素级别约束；
(9)根据图像质量的评价指标得出峰值信噪比，根据模型参数中零元素的占比得出模型稀疏度。
2.如权利要求1所述基于可调节核稀疏化的高效单帧图像超分方法，其特征在于在步骤(3)中，所述超分模型包括三个部分：i.浅层特征提取模块，用于将数据从图像空间转换到特征空间；ii.深度特征映射模块，用于学习低分辨率的特征空间到高分辨率特征空间的映射关系；iii.上采样模块，用于将高分辨率特征转换到图像空间。
3.如权利要求1所述基于可调节核稀疏化的高效单帧图像超分方法，其特征在于在步骤(7)中，所述采用权重稀疏步骤进行稀疏超分模型的训练，具体包括：i.模型预训练：在不加稀疏的情况下训练超分模型，直接加载预训练好的超分模型；ii.模型稀疏：预训练的超分模型作为初始化权重加载，经过具有动态可学习阈值的soft(·)函数诱导核稀疏；iii.模型微调：对于稀疏后的模型进行学习训练，从而维持较好的性能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210579505.2A CN114820326B (zh) | 2022-05-25 | 基于可调节核稀疏化的高效单帧图像超分方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210579505.2A CN114820326B (zh) | 2022-05-25 | 基于可调节核稀疏化的高效单帧图像超分方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114820326A CN114820326A (zh) | 2022-07-29 |
| CN114820326B true CN114820326B (zh) | 2024-05-31 |
Family
ID=
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105069825A (zh) * | 2015-08-14 | 2015-11-18 | 厦门大学 | 基于深度置信网络的图像超分辨率重建方法 |
| WO2018120329A1 (zh) * | 2016-12-28 | 2018-07-05 | 深圳市华星光电技术有限公司 | 基于稀疏域重构的单帧图像超分辨重建方法及装置 |
| CN109064406A (zh) * | 2018-08-26 | 2018-12-21 | 东南大学 | 一种正则化参数自适应的稀疏表示图像重建方法 |
| CN109741256A (zh) * | 2018-12-13 | 2019-05-10 | 西安电子科技大学 | 基于稀疏表示和深度学习的图像超分辨率重建方法 |
| CN112529777A (zh) * | 2020-10-30 | 2021-03-19 | 肇庆市博士芯电子科技有限公司 | 基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法 |
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105069825A (zh) * | 2015-08-14 | 2015-11-18 | 厦门大学 | 基于深度置信网络的图像超分辨率重建方法 |
| WO2018120329A1 (zh) * | 2016-12-28 | 2018-07-05 | 深圳市华星光电技术有限公司 | 基于稀疏域重构的单帧图像超分辨重建方法及装置 |
| CN109064406A (zh) * | 2018-08-26 | 2018-12-21 | 东南大学 | 一种正则化参数自适应的稀疏表示图像重建方法 |
| CN109741256A (zh) * | 2018-12-13 | 2019-05-10 | 西安电子科技大学 | 基于稀疏表示和深度学习的图像超分辨率重建方法 |
| CN112529777A (zh) * | 2020-10-30 | 2021-03-19 | 肇庆市博士芯电子科技有限公司 | 基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111079781B (zh) | 基于低秩与稀疏分解的轻量化卷积神经网络图像识别方法 | |
| CN107516129B (zh) | 基于维度自适应的Tucker分解的深度网络压缩方法 | |
| WO2022006919A1 (zh) | 基于激活定点拟合的卷积神经网络训练后量化方法及系统 | |
| CN114387486A (zh) | 基于持续学习的图像分类方法以及装置 | |
| CN112508125A (zh) | 一种图像检测模型的高效全整数量化方法 | |
| CN112183742A (zh) | 基于渐进式量化和Hessian信息的神经网络混合量化方法 | |
| CN114970853A (zh) | 一种跨范围量化的卷积神经网络压缩方法 | |
| CN114118406A (zh) | 一种卷积神经网络的量化压缩方法 | |
| CN115019173A (zh) | 基于ResNet50的垃圾识别与分类方法 | |
| Pietron et al. | Retrain or not retrain?-efficient pruning methods of deep cnn networks | |
| CN111461978A (zh) | 一种基于注意力机制的逐分辨率提升图像超分辨率复原方法 | |
| Kulkarni et al. | AI model compression for edge devices using optimization techniques | |
| CN114882278A (zh) | 一种基于注意力机制和迁移学习的轮胎花纹分类方法和装置 | |
| CN114692830A (zh) | 晋级网络自强化的图像语音深度学习模型 | |
| CN111931927B (zh) | 一种在npu中减少计算资源占用的方法及装置 | |
| CN113610192A (zh) | 一种基于连续性剪枝的神经网络轻量化方法及系统 | |
| CN113962882A (zh) | 一种基于可控金字塔小波网络的jpeg图像压缩伪影消除方法 | |
| CN114820326B (zh) | 基于可调节核稀疏化的高效单帧图像超分方法 | |
| US20240054605A1 (en) | Methods and systems for wavelet domain-based normalizing flow super-resolution image reconstruction | |
| CN114677545B (zh) | 一种基于相似性剪枝和高效模块的轻量化图像分类方法 | |
| CN116597146A (zh) | 一种针对激光雷达稀疏点云数据的语义分割方法 | |
| CN110782396A (zh) | 一种轻量化的图像超分辨率重建网络和重建方法 | |
| US20230306255A1 (en) | Method and system for smooth training of a quantized neural network | |
| CN113554104B (zh) | 一种基于深度学习模型的图像分类方法 | |
| CN116229154A (zh) | 一种基于动态混合模型的类增量图像分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |