CN112734645A - 一种基于特征蒸馏复用的轻量化图像超分辨率重建方法 - Google Patents
一种基于特征蒸馏复用的轻量化图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN112734645A CN112734645A CN202110070243.2A CN202110070243A CN112734645A CN 112734645 A CN112734645 A CN 112734645A CN 202110070243 A CN202110070243 A CN 202110070243A CN 112734645 A CN112734645 A CN 112734645A
- Authority
- CN
- China
- Prior art keywords
- image
- multiplexing
- resolution
- distillation
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004821 distillation Methods 0.000 title claims abstract description 117
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000012549 training Methods 0.000 claims abstract description 65
- 230000004927 fusion Effects 0.000 claims abstract description 16
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 238000007670 refining Methods 0.000 claims description 51
- 238000000605 extraction Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 4
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims description 3
- 230000003190 augmentative effect Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000006798 recombination Effects 0.000 claims description 3
- 238000005215 recombination Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像超分辨率重建技术领域，涉及一种基于特征蒸馏复用的轻量化图像超分辨率重建方法，该方法包括：构建训练数据图像；构建特征蒸馏复用网络；构建图像重建部分，对由多层次蒸馏复用部分输入的特征通过特征融合层进行融合，并通过亚像素反卷积重建出高分辨率图像；第二部分是使用双线性插值法将步骤S1获得的低分辨率图像上采样至与高分辨率图像具有相同像素大小，获得高分辨率低质量的图像；最后将两部分的图像进行逐像素相加，即重建出超分辨率图像；训练构建的特征蒸馏复用网络；将低分辨率图像输入训练后的特征蒸馏复用网络，获得图像超分辨率结果；该方法减少了模型参数和计算量，能够在计算能力低的设备上应用。
Description
技术领域：
本发明属于图像超分辨率重建技术领域，涉及一种基于特征蒸馏复用的轻量化图像超分辨率重建方法，该方法充分利用各层次的特征以及对特征进行复制重用，减少了模型参数和计算量，生成的高分辨率图像具有更好的峰值信噪比(PSNR)和结构相似性(SSIM)。
背景技术：
图像超分辨率是一个旨在从低分辨率图像恢复成高分辨率图像的计算机视觉任务，一直是计算机视觉领域中非常热门的研究课题，具有非常广泛的应用，如视频监控、刑侦分析、图像视频压缩和医学影像分析等。由于任何低分辨率图像输入都有多种解决方案，因此图像超分辨率是一个不适定问题。传统的图像超分辨率方法包括基于插值的算法、基于重建的算法和基于学习的算法，基于插值的算法包括双线性插值法和双三次插值法；基于重建的算法包括迭代反投影法、最大后验概率估计法；基于学习的算法包括领域嵌入法、稀疏表示法等。
现有技术如中国专利CN201310296581.3公开了一种基于稀疏表示的图像超分辨率重建方法，包括样本训练步骤和图像超分辨率重建步骤；所述样本训练步骤包括：计算低分辨率图像的梯度信息和高分辨率图像与低分辨率图像的残差信息；通过稀疏表达方法得到低分辨率特征集合和高分辨率特征集合；所述图像超分辨率重建步骤包括：计算待处理低分辨率图像的梯度信息；在低分辨率特征集合中找到其稀疏表示系数向量；在高分辨率特征集合中找到对应的残差信息，将此残差信息融合到低分辨率图像上，获得高分辨率图像；中国专利CN201510195192.0公开了一种基于字典学习的遥感图像超分辨率方法，该方法包括：步骤1：针对不同地物类型的图像库，进行对应地物类型的字典学习；步骤2、对原始图像进行地物类型识别；步骤3、使用对应地物类型字典，进行图像超分辨率重构过程。本发明利用地物分类的思想，提出的基于分类字典的超分辨率方法。由于在重构过程使用的字典中原子的数目大幅降低，使得字典规模大幅降低，且使用的分类字典中有效原子数目的比例大幅增加，所以在重构过程使用字典中有效原子数目与通用字典几乎相同，保证重构质量的同时，大幅提高了重构速度；中国专利CN201811525354.2公开了一种基于稀疏表示和深度学习的图像超分辨率重建方法，步骤包括：收集提取训练数据块，色度和亮度字典联合优化训练；高分辨率图像块独立重构；稀疏表示的高分辨率图像重构；基于深度学习训练残差网络优化高频细节；图像超分辨率重建。
传统的方法虽然复杂度低，计算量少，但是重建图像的质量不足，缺乏高频信息。基于学习的图像超分辨率方法是发展成为比较火热的研究领域，该学习方法是指利用图像数据库或图像本身，通过学习获得高、低分辨率图像之间的关联，并利用其作为先验约束条件生成高分辨率图像。近年来，基于深度学习的图像超分辨率方法在图像的重建质量上取得了突破性进展，但多数先进方法是以不断加深网络而达到更好的图像评价指标峰值信噪比(PSNR)和结构相似性(SSIM)，而随着网络不断地加深，模型的参数和计算量也急剧增加，这使得那些模型很难在计算能力低的设备上应用。
发明内容：
本发明的目的在于克服现有技术的缺点，设计一种基于特征蒸馏复用的轻量化图像超分辨率重建方法，只含有更少参数，计算复杂度低，保证低分辨率图像重建质量的同时解决现有方法参数大和推理慢的问题。
为达到上述目的，本发明涉及的基于特征蒸馏复用的轻量化图像超分辨率重建方法，具体步骤包括：
S1、构建训练数据图像；
S2、构建特征蒸馏复用网络，具体过程为：
S21、构建特征提取部分，使用一个卷积层来提取低分辨率图像特征；
S22、构建多层次特征蒸馏复用部分，多层次特征蒸馏复用部分由多个特征蒸馏复用部分串联组成，每一个特征蒸馏复用部分的特征信息除依次传递给下一个特征蒸馏复用部分外，还通过递归快捷连接的方式传递到多层次特征蒸馏复用部分的末端，在末端将各特征蒸馏复用部分的特征信息按通道进行合并；
S23、构建图像重建部分，图像重建部分包括两部分，第一部分是对由多层次蒸馏复用部分输入的特征通过特征融合层进行融合，并通过亚像素反卷积重建出高分辨率图像；第二部分是使用双线性插值法将步骤S1获得的低分辨率图像上采样至与高分辨率图像具有相同像素大小，获得高分辨率低质量的图像；最后将两部分的图像进行逐像素相加，即重建出超分辨率图像。
S3、训练构建的特征蒸馏复用网络，得到最优的特征蒸馏复用网络；
S4、将低分辨率图像输入训练后的特征蒸馏复用网络，获得图像超分辨率结果。
进一步的，步骤S1的具体步骤为：先收集一组高分辨率的图像数据集，再对高分辨率图像进行下采样操作，获得低分辨率图像；然后将高分辨率图像和低分辨率图像的顺序一一对应，组成成对的训练数据集。
进一步的，特征提取部分使用的卷积层的卷积核为3×3，输入通道数是3，输出通道数是64。
进一步的，每个特征蒸馏复用部分由沿网络传输方向依次设置的n层网络结构、通道合并层、特征融合层和通道关系建模层组成；前n-1层网络结构均对输入的图像特征分别进行精炼操作和精细化操作，得到图像精炼特征和图像精细化特征，对得到的图像精炼特征进行特征复制操作获得复用特征，将复用特征与图像精细化特征按通道合并，合并结果作为下一层网络结构计算的输入；第n层网络结构对输入的图像特征仅进行精炼操作，得到图像精炼特征；将各层网络结构得到的图像精炼特征经通道合并层按通道进行合并，然后通过特征融合层对合并的特征进行融合；最后通过通道关系建模层采用归一化方法对通道关系建模，重新分配通道特征的权重，输出特征图。
进一步的，所述精炼操作是使用一个卷积核大小为1x1的卷积层对输入的Cdist个通道特征图精炼出Cdist/2个通道特征图，得到精炼特征；所述精细化操作是使用一个卷积核大小为3x3的卷积层对输入的Cret个通道特征图精细化出Cret/2个通道特征图，得到精细化特征；所述特征复制操作是使用一个卷积核大小为3x3的、分组数量为输出通道数的分组卷积层对所在网络结构层的1x1卷积层得到的精炼特征进行复制，获得复用特征；所述特征融合层为卷积核为1x1，输入通道数为n×Cdist/2，输出通道数为64的卷积层。
进一步的，步骤S3的具体训练过程为：
S31，初始化特征蒸馏复用网络的训练参数，包括模型的初始学习率为2×10-4，训练批大小设置为16；
S32，选取Adam为优化器，选取的损失函数为：
式子中，||*||1为L1范数，
为第i个训练样本通过本发明提出的网络生成的高分辨率图像，
为第i个训练样本的真实图像；N为训练样本数量；
步骤S33，网络加载训练图像并进行90度和180度旋转操作，增广训练数据；
步骤S34，将低分辨率图像输入特征蒸馏复用网络进行前向传播获得预估的超分辨率图像；
步骤S35，使用损失函数计算高分辨率图像和预估的超分辨率图像之间的损失值并进行误差反向传播，利用Adam优化器更新网络参数；
步骤S36，特征蒸馏复用网络训练完一次整个数据集后，使用测试集验证PSNR指标是否收敛，并且每进行500次数据集训练，学习率减半，当测试集验证的指标达到收敛，结束训练过程，否则返回执行S34步骤。
进一步的，该方法所使用的重建系统包括训练数据图像模块、特征蒸馏复用网络模块、训练模块和图像超分辨率输出模块；
所述训练数据图像模块，用于将收集的高分辨率的图像数据集进行下采样操作，获得低分辨率图像，然后将高分辨率图像和低分辨率图像的顺序一一对应，组成成对的训练数据集；
所述特征蒸馏复用网络模块，包括特征提取模块、多层次特征蒸馏复用模块和图像重建模块，特征提取模块，用于对输入的图像提取低分辨率图像特征,并输出到多层次特征蒸馏复用模块；多层次特征蒸馏复用模块由多个特征蒸馏复用模块串联组成，每一个特征蒸馏复用模块的特征信息除依次传递给下一个特征蒸馏复用模块外，还通过递归快捷连接的方式传递到多层次特征蒸馏复用模块的末端；多层次特征蒸馏复用模块的末端含有一个通道合并层，用于将前面各特征蒸馏复用模块的特征信息按通道进行合并，并输出到图像重建模块；所述图像重建模块，用于将由多层次特征蒸馏复用模块输入的特征进行融合并通过亚像素反卷积重建出的高分辨率图像，以及将特征提取模块获得的低分辨率图像上采样至与高分辨率图像具有相同像素大小的高分辨率低质量图像进行逐像素相加，重建出超分辨率图像；所述训练模块，用于初始化特征蒸馏复用网络模块的训练参数，设置初始学习率、训练批大小、选取优化器和损失函数，获得最优的特征蒸馏复用网络模块作为图像超分辨率重建模型；所述图像超分辨率输出模块，用于将待测低分辨率图像输入图像超分辨率重建模型，获得图像超分辨率结果。
进一步的，特征蒸馏复用模块，用于对输入的图像特征进行分层提炼再合并，包括n层网络结构模块、通道合并模块、特征融合模块和通道关系建模模块，每层网络结构模块均对输入的图像特征进行精炼操作得到精炼特征，将精炼特征传递到通道合并模块；通道合并模块用于将各层网络结构模块得到的精炼特征按通道进行合并，并输出到特征融合模块；特征融合模块用于对输入的特征进行融合，并输出到通道关系建模模块；通道关系建模模块用于采用归一化方法对通道关系建模，重新分配通道特征的权重。
进一步的，前n-1层网络通道模块还对输入的图像特征进行精细化操作以及对所在层得到的精炼特征进行复制，得到精细化特征和复用特征，将精细化特征和复用特征进行合并作为下一层网络结构模块的输入。
本发明与现有技术相比，该方法充分利用了各层次的特征以及对特征进行复制重用，减少了模型参数和计算量，生成的高分辨率图像具有更好的峰值信噪比(PSNR)和结构相似性(SSIM)，该方法能够在计算能力低的设备上应用。
附图说明：
图1是本发明涉及的基于特征蒸馏复用的轻量化图像超分辨率重建方法的流程图。
图2是本发明涉及的特征蒸馏复用网络结构图。
图3是本发明涉及的单个特征蒸馏复用模块结构图。
具体实施方式：
下面通过具体实施例并结合附图对本发明进行详细说明。
实施例1：
本实施例涉及的基于特征蒸馏复用的轻量化图像超分辨率重建方法，具体步骤包括：
S1、构建训练数据图像：先收集一组高分辨率的图像数据集，再使用Matlab 2017b工具对高分辨率图像进行4倍下采样操作，获得低分辨率图像，下采样函数是双三次插值法；将获得的低分辨率图像和相应的高分辨率图像和一一对应，并使用python的工具库numpy分别把两组图像转化为npy格式的文件，构成训练数据集。
S2、构建特征蒸馏复用网络，具体过程为：
S21、构建特征提取部分，使用一个卷积层来提取低分辨率图像特征，该卷积层的卷积核为3×3，输入通道数是3，输出通道数是64；
S22、构建多层次特征蒸馏复用部分，多层次特征蒸馏复用部分由多个特征蒸馏复用部分串联组成，每一个特征蒸馏复用部分的特征信息除依次传递给下一个特征蒸馏复用部分外，还通过递归快捷连接的方式传递到多层次特征蒸馏复用部分的末端，在末端将各特征蒸馏复用部分的特征信息按通道进行合并；
每个特征蒸馏复用部分由沿网络传输方向依次设置的5层网络结构、通道合并层、特征融合层和通道关系建模层组成；前4层网络结构均对输入的图像特征分别进行精炼操作和精细化操作，得到图像精炼特征和图像精细化特征，对得到的图像精炼特征进行特征复制操作获得复用特征，将复用特征与图像精细化特征按通道合并，合并结果作为下一层网络结构计算的输入；第5层网络结构对输入的图像特征仅进行精炼操作，得到图像精炼特征；将各层网络结构得到的图像精炼特征经通道合并层按通道进行合并，然后通过特征融合层对合并的特征进行融合；最后通过通道关系建模层采用归一化方法对通道关系建模，重新分配通道特征的权重，输出特征图；
所述精炼操作是使用一个卷积核大小为1x1、输入通道数为64、输出通道数为32的卷积层对输入的64个通道特征图精炼出32个通道特征图，得到精炼特征；
所述精细化操作是使用一个卷积核大小为3x3、输入通道数为64、输出通道数为32的卷积层对输入的64个通道特征图精细化出32个通道特征图，得到精细化特征；
所述特征复制操作是使用一个卷积核大小为3x3、输入通道数为32、输出通道数为32，分组数量为输出通道数的分组卷积层对所在网络结构层的1x1卷积层得到的精炼特征进行复制，获得复用特征；
所述特征融合层为卷积核为1x1，输入通道数为n×Cdist/2，输出通道数为64的卷积层；
S23、构建图像重建部分，图像重建部分包括两部分，第一部分是对由多层次蒸馏复用部分输入的特征通过特征融合层进行融合，，并通过亚像素反卷积重建出高分辨率图像；第二部分是使用双线性插值法将步骤S1获得的低分辨率图像上采样至与高分辨率图像具有相同像素大小，获得高分辨率低质量的图像；最后将两部分的图像进行逐像素相加，即重建出超分辨率图像。
S3、训练特征蒸馏复用网络，得到最优的特征蒸馏复用网络，即为图像超分辨率重建模型；用步骤S1得到的训练数据图像训练特征蒸馏复用网络，具体步骤为：
S31，初始化特征蒸馏复用网络的训练参数，包括模型的初始学习率为2×10-4，训练批大小设置为16；
S32，选取Adam为优化器，选取的损失函数为：
式子中，||*||1为L1范数，
为第i个训练样本通过本发明提出的网络生成的高分辨率图像，
为第i个训练样本的真实图像；N为训练样本数量；
步骤S33，网络加载训练图像并进行90度和180度旋转操作，增广训练数据；
步骤S34，将低分辨率图像输入特征蒸馏复用网络进行前向传播获得预估的超分辨率图像；
步骤S35，使用损失函数计算高分辨率图像和预估的超分辨率图像之间的损失值并进行误差反向传播，利用Adam优化器更新网络参数；
步骤S36，特征蒸馏复用网络训练完一次整个数据集后，使用测试集验证PSNR指标是否收敛，并且每进行500次数据集训练，学习率减半，当测试集验证的指标达到收敛，结束训练过程，否则返回执行S34步骤。
S4、将低分辨率图像输入图像超分辨率重建模型，获得图像超分辨率结果。
本实施例使用标准的测试集Set5，Set14，BSD100和Urban100对上述方法进行测试，并对测试结果重建质量评估，评估指标为峰值信噪比(PSNR)和结构相似性度量(SSIM)。测试结果见表1。
表1本实施例方法与现有方法在4倍超分辨率任务上的测试结果
由表1可以看出，本利用本实施例的轻量化图像超分辨率重建方法得到的结果的峰值信噪比(PSNR)和结构相似性度量(SSIM)都优于其他方法。
本实施例涉及的轻量化图像超分辨率重建方法通过中间层特征逐层提炼再合并的方式学习特征，学习不同层次的特征有助于提高重建图像的质量；通过对特征通道间的关系进行建模，对通道进行权重再分配而实现模型性能的提升；通过对中间层特征进行复制重用的方式减少了模型参数和计算量，具有更好的峰值信噪比(PSNR)和结构相似性(SSIM)。
实施例2：
本实施例为实施例涉及基于特征蒸馏复用的轻量化图像超分辨率重建方法所使用的重新系统，包括训练数据图像模块、特征蒸馏复用网络模块、训练模块和图像超分辨率输出模块。
所述训练数据图像模块，用于将收集的高分辨率的图像数据集进行下采样操作，获得低分辨率图像，然后将高分辨率图像和低分辨率图像的顺序一一对应，组成成对的训练数据集。
所述特征蒸馏复用网络模块，包括特征提取模块、多层次特征蒸馏复用模块和图像重建模块。特征提取模块，用于对输入的图像提取低分辨率图像特征,并输出到多层次特征蒸馏复用模块；多层次特征蒸馏复用模块由多个特征蒸馏复用模块串联组成，每一个特征蒸馏复用模块的特征信息除依次传递给下一个特征蒸馏复用模块外，还通过递归快捷连接的方式传递到多层次特征蒸馏复用模块的末端；特征蒸馏复用模块用于对输入的图像特征进行分层提炼再合并，包括n层网络结构模块、通道合并模块、特征融合模块和通道关系建模模块，每层网络结构模块均对输入的图像特征进行精炼操作得到精炼特征，将精炼特征传递到通道合并模块；前n-1层网络通道模块还对输入的图像特征进行精细化操作以及对所在层得到的精炼特征进行复制，得到精细化特征和复用特征，将精细化特征和复用特征进行合并作为下一层网络结构模块的输入；通道合并模块用于将各层网络结构模块得到的精炼特征按通道进行合并，并输出到特征融合模块；特征融合模块用于对输入的特征进行融合，并输出到通道关系建模模块；通道关系建模模块用于采用归一化方法对通道关系建模，重新分配通道特征的权重；多层次特征蒸馏复用模块的末端含有一个通道合并层，用于将前面各特征蒸馏复用模块的特征信息按通道进行合并，并输出到图像重建模块；
所述图像重建模块，用于将由多层次特征蒸馏复用模块输入的特征进行融合并通过亚像素反卷积重建出的高分辨率图像，以及将特征提取模块获得的低分辨率图像上采样至与高分辨率图像具有相同像素大小的高分辨率低质量图像进行逐像素相加，重建出超分辨率图像。
所述训练模块，用于初始化特征蒸馏复用网络模块的训练参数，设置初始学习率、训练批大小、选取优化器和损失函数，获得最优的特征蒸馏复用网络模块作为图像超分辨率重建模型；
所述图像超分辨率输出模块，用于将待测低分辨率图像输入图像超分辨率重建模型，获得图像超分辨率结果。
Claims (9)
1.一种基于特征蒸馏复用的轻量化图像超分辨率重建方法，其特征在于，具体步骤包括：
S1、构建训练数据图像；
S2、构建特征蒸馏复用网络，具体过程为：
S21、构建特征提取部分，使用一个卷积层来提取低分辨率图像特征；
S22、构建多层次特征蒸馏复用部分，多层次特征蒸馏复用部分由多个特征蒸馏复用部分串联组成，每一个特征蒸馏复用部分的特征信息除依次传递给下一个特征蒸馏复用部分外，还通过递归快捷连接的方式传递到多层次特征蒸馏复用部分的末端，在末端将各特征蒸馏复用部分的特征信息按通道进行合并；
S23、构建图像重建部分，图像重建部分包括两部分，第一部分是对由多层次蒸馏复用部分输入的特征通过特征融合层进行融合，并通过亚像素反卷积重建出高分辨率图像；第二部分是使用双线性插值法将步骤S1获得的低分辨率图像上采样至与高分辨率图像具有相同像素大小，获得高分辨率低质量的图像；最后将两部分的图像进行逐像素相加，即重建出超分辨率图像。
S3、训练构建的特征蒸馏复用网络，得到最优的特征蒸馏复用网络；
S4、将低分辨率图像输入训练后的特征蒸馏复用网络，获得图像超分辨率结果。
2.根据权利要求1所述的基于特征蒸馏复用的轻量化图像超分辨率重建方法，其特征在于，步骤S1的具体步骤为：先收集一组高分辨率的图像数据集，再对高分辨率图像进行下采样操作，获得低分辨率图像；然后将高分辨率图像和低分辨率图像的顺序一一对应，组成成对的训练数据集。
3.根据权利要求1所述的基于特征蒸馏复用的轻量化图像超分辨率重建方法，其特征在于，特征提取部分使用的卷积层的卷积核为3×3，输入通道数是3，输出通道数是64。
4.根据权利要求1所述的基于特征蒸馏复用的轻量化图像超分辨率重建方法，其特征在于，每个特征蒸馏复用部分由沿网络传输方向依次设置的n层网络结构、通道合并层、特征融合层和通道关系建模层组成；前n-1层网络结构均对输入的图像特征分别进行精炼操作和精细化操作，得到图像精炼特征和图像精细化特征，对得到的图像精炼特征进行特征复制操作获得复用特征，将复用特征与图像精细化特征按通道合并，合并结果作为下一层网络结构计算的输入；第n层网络结构对输入的图像特征仅进行精炼操作，得到图像精炼特征；将各层网络结构得到的图像精炼特征经通道合并层按通道进行合并，然后通过特征融合层对合并的特征进行融合；最后通过通道关系建模层采用归一化方法对通道关系建模，重新分配通道特征的权重，输出特征图。
5.根据权利要求4所述的基于特征蒸馏复用的轻量化图像超分辨率重建方法，其特征在于，所述精炼操作是使用一个卷积核大小为1x1的卷积层对输入的Cdist个通道特征图精炼出Cdist/2个通道特征图，得到精炼特征；所述精细化操作是使用一个卷积核大小为3x3的卷积层对输入的Cret个通道特征图精细化出Cret/2个通道特征图，得到精细化特征；所述特征复制操作是使用一个卷积核大小为3x3的、分组数量为输出通道数的分组卷积层对所在网络结构层的1x1卷积层得到的精炼特征进行复制，获得复用特征；所述特征融合层为卷积核为1x1，输入通道数为n×Cdist/2，输出通道数为64的卷积层。
6.根据权利要求1所述的基于特征蒸馏复用的轻量化图像超分辨率重建方法，其特征在于，步骤S3的具体训练过程为：
S31，初始化特征蒸馏复用网络的训练参数，包括模型的初始学习率为2×10-4，训练批大小设置为16；
S32，选取Adam为优化器，选取的损失函数为：
式子中，||*||1为L1范数，
为第i个训练样本通过本发明提出的网络生成的高分辨率图像，
为第i个训练样本的真实图像；N为训练样本数量；
步骤S33，网络加载训练图像并进行90度和180度旋转操作，增广训练数据；
步骤S34，将低分辨率图像输入特征蒸馏复用网络进行前向传播获得预估的超分辨率图像；
步骤S35，使用损失函数计算高分辨率图像和预估的超分辨率图像之间的损失值并进行误差反向传播，利用Adam优化器更新网络参数；
步骤S36，特征蒸馏复用网络训练完一次整个数据集后，使用测试集验证PSNR指标是否收敛，并且每进行500次数据集训练，学习率减半，当测试集验证的指标达到收敛，结束训练过程，否则返回执行S34步骤。
7.根据权利要求1所述的基于特征蒸馏复用的轻量化图像超分辨率重建方法，其特征在于，该方法所使用的重建系统包括训练数据图像模块、特征蒸馏复用网络模块、训练模块和图像超分辨率输出模块；
所述训练数据图像模块，用于将收集的高分辨率的图像数据集进行下采样操作，获得低分辨率图像，然后将高分辨率图像和低分辨率图像的顺序一一对应，组成成对的训练数据集；
所述特征蒸馏复用网络模块，包括特征提取模块、多层次特征蒸馏复用模块和图像重建模块，特征提取模块，用于对输入的图像提取低分辨率图像特征,并输出到多层次特征蒸馏复用模块；多层次特征蒸馏复用模块由多个特征蒸馏复用模块串联组成，每一个特征蒸馏复用模块的特征信息除依次传递给下一个特征蒸馏复用模块外，还通过递归快捷连接的方式传递到多层次特征蒸馏复用模块的末端；多层次特征蒸馏复用模块的末端含有一个通道合并层，用于将前面各特征蒸馏复用模块的特征信息按通道进行合并，并输出到图像重建模块；
所述图像重建模块，用于将由多层次特征蒸馏复用模块输入的特征进行融合并通过亚像素反卷积重建出的高分辨率图像，以及将特征提取模块获得的低分辨率图像上采样至与高分辨率图像具有相同像素大小的高分辨率低质量图像进行逐像素相加，重建出超分辨率图像；
所述训练模块，用于初始化特征蒸馏复用网络模块的训练参数，设置初始学习率、训练批大小、选取优化器和损失函数，获得最优的特征蒸馏复用网络模块作为图像超分辨率重建模型；
所述图像超分辨率输出模块，用于将待测低分辨率图像输入图像超分辨率重建模型，获得图像超分辨率结果。
8.根据权利要求7所述的基于特征蒸馏复用的轻量化图像超分辨率重建方法，其特征在于，特征蒸馏复用模块，用于对输入的图像特征进行分层提炼再合并，包括n层网络结构模块、通道合并模块、特征融合模块和通道关系建模模块，每层网络结构模块均对输入的图像特征进行精炼操作得到精炼特征，将精炼特征传递到通道合并模块；通道合并模块用于将各层网络结构模块得到的精炼特征按通道进行合并，并输出到特征融合模块；特征融合模块用于对输入的特征进行融合，并输出到通道关系建模模块；通道关系建模模块用于采用归一化方法对通道关系建模，重新分配通道特征的权重。
9.根据权利要求8所述的基于特征蒸馏复用的轻量化图像超分辨率重建方法，其特征在于，前n-1层网络通道模块还对输入的图像特征进行精细化操作以及对所在层得到的精炼特征进行复制，得到精细化特征和复用特征，将精细化特征和复用特征进行合并作为下一层网络结构模块的输入。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110070243.2A CN112734645B (zh) | 2021-01-19 | 2021-01-19 | 一种基于特征蒸馏复用的轻量化图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110070243.2A CN112734645B (zh) | 2021-01-19 | 2021-01-19 | 一种基于特征蒸馏复用的轻量化图像超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112734645A true CN112734645A (zh) | 2021-04-30 |
| CN112734645B CN112734645B (zh) | 2023-11-03 |
Family
ID=75592433
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110070243.2A Active CN112734645B (zh) | 2021-01-19 | 2021-01-19 | 一种基于特征蒸馏复用的轻量化图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112734645B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113628115A (zh) * | 2021-08-25 | 2021-11-09 | Oppo广东移动通信有限公司 | 图像重建的处理方法、装置、电子设备和存储介质 |
| CN113837941A (zh) * | 2021-09-24 | 2021-12-24 | 北京奇艺世纪科技有限公司 | 图像超分模型的训练方法、装置及计算机可读存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170293825A1 (en) * | 2016-04-08 | 2017-10-12 | Wuhan University | Method and system for reconstructing super-resolution image |
| CN108537731A (zh) * | 2017-12-29 | 2018-09-14 | 西安电子科技大学 | 基于压缩多尺度特征融合网络的图像超分辨率重建方法 |
| CN108830813A (zh) * | 2018-06-12 | 2018-11-16 | 福建帝视信息科技有限公司 | 一种基于知识蒸馏的图像超分辨率增强方法 |
| CN109509152A (zh) * | 2018-12-29 | 2019-03-22 | 大连海事大学 | 一种基于特征融合的生成对抗网络的图像超分辨率重建方法 |
| CN109741256A (zh) * | 2018-12-13 | 2019-05-10 | 西安电子科技大学 | 基于稀疏表示和深度学习的图像超分辨率重建方法 |
| CN109949255A (zh) * | 2017-12-20 | 2019-06-28 | 华为技术有限公司 | 图像重建方法及设备 |
| CN110111258A (zh) * | 2019-05-14 | 2019-08-09 | 武汉高德红外股份有限公司 | 基于多核处理器的红外超分辨率重建图像方法及系统 |
| CN110675321A (zh) * | 2019-09-26 | 2020-01-10 | 兰州理工大学 | 一种基于渐进式的深度残差网络的超分辨率图像重建方法 |
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
-
2021
- 2021-01-19 CN CN202110070243.2A patent/CN112734645B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170293825A1 (en) * | 2016-04-08 | 2017-10-12 | Wuhan University | Method and system for reconstructing super-resolution image |
| CN109949255A (zh) * | 2017-12-20 | 2019-06-28 | 华为技术有限公司 | 图像重建方法及设备 |
| CN108537731A (zh) * | 2017-12-29 | 2018-09-14 | 西安电子科技大学 | 基于压缩多尺度特征融合网络的图像超分辨率重建方法 |
| CN108830813A (zh) * | 2018-06-12 | 2018-11-16 | 福建帝视信息科技有限公司 | 一种基于知识蒸馏的图像超分辨率增强方法 |
| CN109741256A (zh) * | 2018-12-13 | 2019-05-10 | 西安电子科技大学 | 基于稀疏表示和深度学习的图像超分辨率重建方法 |
| CN109509152A (zh) * | 2018-12-29 | 2019-03-22 | 大连海事大学 | 一种基于特征融合的生成对抗网络的图像超分辨率重建方法 |
| CN110111258A (zh) * | 2019-05-14 | 2019-08-09 | 武汉高德红外股份有限公司 | 基于多核处理器的红外超分辨率重建图像方法及系统 |
| CN110675321A (zh) * | 2019-09-26 | 2020-01-10 | 兰州理工大学 | 一种基于渐进式的深度残差网络的超分辨率图像重建方法 |
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
Non-Patent Citations (4)
| Title |
|---|
| Z.HUI: "Fast and accurate single image super-resolution via information distillation network", PRO-CEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, vol. 2018, pages 723 - 731, XP033476033, DOI: 10.1109/CVPR.2018.00082 * |
| Z.HUI: "Lightweight image super-resolution with information multi-distillation network", PROCEEDINGS OF THE 27TH ACM INTERNATIONAL CONFERENCE ON MULTIMEDIA, vol. 2019, pages 2024 - 2032, XP058640375, DOI: 10.1145/3343031.3351084 * |
| 席志红: "基于残差通道注意力和多级特征融合的图像超分辨率重建", 激光与光电子学进展, vol. 57, no. 04, pages 262 - 270 * |
| 李岚;张云;杜佳;马少斌;: "基于改进残差亚像素卷积神经网络的超分辨率图像重建方法研究", 长春师范大学学报, no. 08, pages 23 - 29 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113628115A (zh) * | 2021-08-25 | 2021-11-09 | Oppo广东移动通信有限公司 | 图像重建的处理方法、装置、电子设备和存储介质 |
| CN113628115B (zh) * | 2021-08-25 | 2023-12-05 | Oppo广东移动通信有限公司 | 图像重建的处理方法、装置、电子设备和存储介质 |
| CN113837941A (zh) * | 2021-09-24 | 2021-12-24 | 北京奇艺世纪科技有限公司 | 图像超分模型的训练方法、装置及计算机可读存储介质 |
| CN113837941B (zh) * | 2021-09-24 | 2023-09-01 | 北京奇艺世纪科技有限公司 | 图像超分模型的训练方法、装置及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112734645B (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111047515B (zh) | 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法 | |
| CN112862688B (zh) | 基于跨尺度注意力网络的图像超分辨率重建系统及方法 | |
| CN111353940B (zh) | 一种基于深度学习迭代上下采样的图像超分辨率重建方法 | |
| CN113592718A (zh) | 基于多尺度残差网络的矿井图像超分辨率重建方法及系统 | |
| CN112734645B (zh) | 一种基于特征蒸馏复用的轻量化图像超分辨率重建方法 | |
| Luo et al. | Lattice network for lightweight image restoration | |
| CN110889895A (zh) | 一种融合单帧重建网络的人脸视频超分辨率重建方法 | |
| CN113269818B (zh) | 一种基于深度学习的地震数据纹理特征重建方法 | |
| CN112950480A (zh) | 一种融合多感受野和密集残差注意的超分辨率重建方法 | |
| CN113902658B (zh) | 基于密集多尺度网络的rgb图像到高光谱图像重建方法 | |
| CN111696042B (zh) | 基于样本学习的图像超分辨重建方法 | |
| CN116485741A (zh) | 一种无参考图像质量评价方法、系统、电子设备及存储介质 | |
| CN117474781A (zh) | 一种基于注意力机制的高光谱与多光谱图像融合方法 | |
| CN114972024A (zh) | 一种基于图表示学习的图像超分辨率重建装置及方法 | |
| CN113379606A (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
| CN116823610A (zh) | 一种基于深度学习的水下图像超分辨率生成方法和系统 | |
| CN116797541A (zh) | 一种基于Transformer的肺部CT图像超分辨率重建方法 | |
| CN116228616A (zh) | 基于边界约束的可解释压缩感知图像重建方法 | |
| CN115861749A (zh) | 一种基于窗口交叉注意力的遥感图像融合方法 | |
| CN113205005B (zh) | 一种面向低光照低分辨率的人脸图像幻构方法 | |
| CN115330631A (zh) | 一种基于堆叠沙漏网络的多尺度融合去雾方法 | |
| CN114757825A (zh) | 基于特征分离的红外图像超分辨率重建方法及装置 | |
| CN115035170A (zh) | 基于全局纹理与结构的图像修复方法 | |
| CN112150566A (zh) | 一种基于特征融合的密集残差网络图像压缩感知重建方法 | |
| Qin et al. | Remote sensing image super-resolution using multi-scale convolutional neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |