CN112634136B - 一种基于图像特征快速拼接的图像超分辨率方法及其系统 - Google Patents

一种基于图像特征快速拼接的图像超分辨率方法及其系统 Download PDF

Info

Publication number
CN112634136B
CN112634136B CN202011556673.7A CN202011556673A CN112634136B CN 112634136 B CN112634136 B CN 112634136B CN 202011556673 A CN202011556673 A CN 202011556673A CN 112634136 B CN112634136 B CN 112634136B
Authority
CN
China
Prior art keywords
image
resolution
super
feature
rapid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011556673.7A
Other languages
English (en)
Other versions
CN112634136A (zh
Inventor
梁可弘
史景伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202011556673.7A priority Critical patent/CN112634136B/zh
Publication of CN112634136A publication Critical patent/CN112634136A/zh
Application granted granted Critical
Publication of CN112634136B publication Critical patent/CN112634136B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于图像特征快速拼接的图像超分辨率方法及其系统，该系统包括多级快速的大视野图像信息提取模块、图像特征快速拼接模块、图像上采样重建模块以及对抗神经网络判别器。其中，所述多级快速的大视野图像信息提取模块从图像中快速提取大视野的信息；所述图像特征快速拼接模块将各级视野的图像信息以不均衡加权的方式整合起来；所述图像上采样重建模块使用亚像素卷积的方法从图像信息中重建出超分辨率图像；所述对抗神经网络判别器为算法模型的训练提供对抗损失。本发明将图像下采样的卷积计算引入到图像超分辨率重建的问题中，提升了图像超分辨率重建的计算速度和精度，具有广阔的应用前景。

Description

一种基于图像特征快速拼接的图像超分辨率方法及其系统
技术领域
本发明涉及计算机视觉领域、图像处理领域和深度学习领域，尤其涉及一种基于图像特征快速拼接的图像超分辨率方法及其系统。
背景技术
近年来，随着计算机硬件性能的飞速发展和并行计算的广泛普及，深度学习和计算机视觉成为了越来越热门的研究方向。一些本来计算量很庞大的智能算法被业界学者广泛研究，并正被许多企业应用到产品中去。神经网络的方法，尤其是特别适合应用于图像处理与计算机视觉的卷积神经网络方法，被应用于处理画面防抖、去雾、分割、识别等丰富多样的产品中。逐年增加的图像数据集更进一步地提升了这些只能算法的准确率和表现效果，使传统非深度学习的处理方法正逐渐被取代。
图像的超分辨率重建算法一直是一个热门的研究领域。它的主要目标是将给定不清晰、小尺寸的低分辨率图像重建为细节清晰、大尺寸的高分辨率图像。尽管从信息论的角度上看，我们不可能确定地补全缺失的图像信息，但我们仍可以预测一个看起来清晰的图片来提升大尺寸图片的预测效果。传统的超分辨率方法主要是通过简单的计算来补全缺失的像素，如经典的双立方插值算法等。这些方法计算的输入范围往往较小，且对复杂细节的重建效果较差，在放大倍数较大时表现很差。
深度学习，尤其是卷积神经网络在深度学习的应用很大程度上解决了上述的难题，如超分辨率卷积神经网络(SRCNN、FSRCNN)、超分辨率对抗网络(SRGAN)、拉普拉斯金字塔网络(LapSRN)等。通过整理数据量庞大的训练数据集，对设计的卷积神经网络模型进行训练和调参，使其超分辨率重建的预测图片更加准确、清晰。但随着图像超分辨率重建研究的深入发展，更多基于深度学习的超分辨率重建方法会倾向于增大算法模型的计算量，从而提升图像的重建效果。但这种改进方法往往会导致计算量增大，降低算法的处理速度，并提高了处理硬件的性能要求，不利于算法的实际应用。
因此，针对现有方法计算量过大、硬件性能要求高的问题，有必要发明一种计算量更少、更加快速高效的超分辨率重建方法及其系统(Yang W,Zhang X,Tian Y,et al.DeepLearning for Single Image Super-Resolution:A Brief Review[J].2018.)。在超分辨率重建中应用内部特征降采样的方法可以有效地降低算法的计算量，并可以通过快速特征拼接的方法提升重建图像的准确度和视觉效果，从而提升超分辨率重建的效率。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于图像特征快速拼接的图像超分辨率方法及其系统。
本发明至少通过如下技术方案之一实现。
一种基于图像特征快速拼接的图像超分辨率方法，包括以下步骤：
S1、构造超分辨率重建模型；
S2、结合欧几里得距离和预训练VGG卷积神经网络得到超分辨率重建模型的损失，用于超分辨率重建算法模型的参数训练；
S3、将所述超分辨率重建模型的损失通过反向传播算法，更新算法模型所有的可训练参数，再向该模型输入不同的训练集图片组，得到最优化的超分辨率重建模型；
S4、输入任意低分辨率图像至最优化的超分辨率重建模型得到相应的超分辨率重建图像。
优选的，所述超分辨率重建模型包括低分辨率图像特征初步提取模块、级联的快速的大视野图像信息提取模块以及图像拼接重建模块。
优选的，所述低分辨率图像特征初步提取模块包括单个卷积神经网络层，所述单个卷积神经网络层使用权值共享的卷积核对输入的低分辨率图像进行特征初步提取，得到原始特征；
所述低分辨率图像为RGB图像，通过量化像素读取图片文件并将图片量化为三通道的低分辨率图像张量ILR；
所述单个卷积神经网络层包使用可训练参数的卷积核，对输入的低分辨率图像进行初步的特征提取，得到初步提取的图像原始特征x0，其数学表达形式如下：
x0＝fconv0(ILR)＝tanh(W0*ILR+b0)
其中，W0和b0分别为初步特征提取卷积层可训练的卷积核权重和偏移值，低分辨率图像张量ILR在与卷积核权重进行二维卷积之后，输出张量的各个通道再加上偏移值，最后经过tanh函数激活，得到图像的原始特征输出。
优选的，所述级联的快速的大视野图像信息提取模块从原始特征中提取出多级高层特征；每一级的大视野图像信息提取模块对输入的特征进行尺寸压缩，提取图像信息产生高层特征；多个提取模块级联，产生不同级别的高层特征。
优选的，所述大视野图像信息提取模块提取图像信息包括如下步骤：
S201、通过最小尺寸填充，将图像原始特征x0的空间尺寸填充至能够降采样的最小值；
S202、将最小尺寸填充处理后的原始特征x0输入到带步长的卷积层，使用可学习参数的卷积核进行d倍的降采样，随后使用多个残差块对降采样的特征进行非线性映射，得到大视野的层级特征输出x1，其等效的数学表达形式如下：
降采样部分的计算公式：
x′0＝fconv1(pad(x0),d)
其中，pad(·)为降采样前的最小尺寸填充，fconv1(·)为可训练参数的带步长卷积层下采样运算，d为本次下采样的尺寸缩小系数；
多个残差块运算的计算公式：
Figure BDA0002858461810000041
其中，fi(·),1≤i≤n为单个残差块对输入特征的非线性映射，
Figure BDA0002858461810000042
代表多个残差块级联的非线性映射总运算；
S203、将步骤S202的降采样和非线性映射定义为一级的快速的大视野图像信息提取块，则将若干个快速的大视野图像信息提取块级联，对输入特征进行处理，从而得到多级高层特征输出x2,x3,...xn。
优选的，所述图像拼接重建模块包括图像特征快速拼接模块和图像上采样重建模块；
所述图像特征快速拼接模块对多级高层特征和原始特征进行尺寸调整和快速拼接，得到融合特征张量；
所述图像上采样重建模块接收所述融合特征张量进行特征映射和亚像素卷积上采样，从融合特征重建中预测的重建图像ISR，完成超分辨率重建的预测。
优选的，所述图像特征快速拼接模块获取融合特征张量，具体包括如下步骤：
S301、使用亚像素卷积将多级高层特征x2,x3,...xn分别进行d倍的上采样，并根据最小尺寸填充所填充的量对上采样的多级高层特征进行尺寸裁剪，使尺寸与步骤S102所述的原始特征x0的尺寸相等；
S302、使用特征拼接将原始特征x0以及上采样多级高层特征x1,x2,...xn沿通道维拼接，得到拼接特征X，其数学表达形式如下：
X＝[x0,fsub(x1),…,fsub(xn)]
其中，fsub(·)代表步骤S301所述的亚像素卷积和尺寸裁剪，[·]代表不同张量沿通道维的拼接；
所述图像上采样重建模块预测重建图像ISR，具体包括如下步骤：
S303、使用若干个可学习参数的卷积层对步骤S302所述的拼接特征X进行全通道的非线性映射特征；
S304、使用亚像素卷积对步骤S303所述的非线性映射特征进行上采样，得到预测的超分辨率重建图像ISR，其数学表达形式如下：
Figure BDA0002858461810000051
其中，
Figure BDA0002858461810000052
为步骤S303所述的若干个可学习参数的卷积层，fsub(·)表示亚像素卷积的计算。
优选的，步骤S2具体包括如下步骤：
S401、使用高清晰度的图片作为训练集，对高清晰度图片使用双立方插值的下采样，得到超分辨率重建算法模型的训练输入即训练集中的高分辨率图像IHR；
S402、使用对抗神经网络的判别器区分所述重建图像ISR与其相应的训练集中高分辨率图像IHR，其数学表达形式如下：
所述对抗神经网络的判别器图像特征提取的公式为：
Figure BDA0002858461810000053
其中，
Figure BDA0002858461810000054
为若干个可训练的卷积层级联计算，I为输入所述判别器的待判别图像，F为多个卷积层所提取的图像特征；
所述对抗神经网络的判别器分类部分采用全连接网络分类器，公式为：
C(F)＝[max(WF+b,0)](n)
其中，max(WF+b,0)为单个全连接层的计算公式，W为全连接层的可训练权重，b为全连接层的可训练偏置值，n为全连接网络分类器中全连接层的数量；
所述对抗神经网络的判别器对超分辨率重建图像ISR与其相应的训练集高分辨率图像IHR的判别结果公式：
D(IHR,ISR)＝σ(C(FHR)-ESR[C(FSR)])
其中，C(·)为分类部分的计算结果，ESR[C(FSR)]为所有超分辨率重建图像ISR在分类部分计算结果的平均值，σ(·)为sigmoid激活函数，D(IHR,ISR)为所述判别器判断高分辨率图像IHR相对于超分辨率图像ISR更为清晰的预测概率值。
优选的，所述的步骤S3具体包括如下步骤：
S501、使用步所述训练集的高分辨率图像IHR，通过人为降采样的方法得到步骤S101所述低分辨率图像ILR，并将输入所述超分辨率重建算法模型中进行预测，得到超分辨率预测图像ISR；
S502、使用均方误差和所述对抗神经网络的判别器，对超分辨率重建图像ISR与其相应的训练集高分辨率图像IHR的差别进行量化计算，得到超分辨率重建模型的损失，其数学表达形式如下：
所述对抗神经网络判别器得到的对抗损失公式：
Ladv(IHR,ISR)＝-EHR[log(D(IHR,ISR))]-ESR[log(1-D(ISR,IHR))]
其中，D(IHR,ISR)和D(ISR,IHR)为步骤S501所述判别器预测结果，EHR(·)和ESR(·)分别为计算结果在所有高分辨率图像和超分辨率图像中的平均值；
所述均方误差损失公式：
Figure BDA0002858461810000061
所述超分辨率重建算法模型在训练中的总损失公式：
L(IHR,ISR)＝Lmse(IHR,ISR)+λLadv(IHR,ISR)
其中，λ为所述对抗损失的调节系数，通过调整λ的大小，控制算法模型预测超分辨率图像的细节丰富程度；
所述超分辨率重建算法模型的参数训练使用梯度回传方法更新算法模型的参数，其数学表达形式为：
某参数在一次迭代中的更新量公式：
Figure BDA0002858461810000062
其中，Δθn为第n次参数迭代更新中算法模型参数θ的变化量，η为所述算法模型参数训练的学习率，L为本次迭代更新中算法模型的误差，m为所述算法模型参数训练的动量系数。
实现所述的一种基于图像特征快速拼接的图像超分辨率方法的系统，包括低分辨率图像特征初步提取模块、多级快速的大视野图像信息提取模块、图像特征快速拼接模块、图像上采样重建模块以及对抗神经网络的判别器；
所述低分辨率图像特征初步提取模块，用于量化低分辨率图像、提取低分辨率图像的特征；
所述多级快速的大视野图像信息提取模块，用于填充特征张量的最小尺寸、可学习参数的降采样、对多级残差块进行非线性映射以及输出多级的大视野特征；
所述图像特征快速拼接模块包括亚像素卷积的上采样、尺寸裁剪以及通道维拼接；
所述图像上采样重建模块包括拼合特征的非线性映射以及亚像素卷积上采样；
所述对抗神经网络的判别器采用二分类的卷积神经网络分类器，包括图像特征提取以及清晰度对比预测分类，为超分辨率重建模型的训练提供对抗损失。
本发明相对于现有技术具有如下的优点及效果：
1、本发明采用多级快速的大视野图像信息提取模块，极大地降低了获取大视野域信息所需要的计算量；
2、本发明对特征张量采用最小尺寸填充和裁剪的方法，调整特征张量的空间尺寸，使任意尺寸的输入张量都能被降采样提取特征并还原尺寸；
3、本发明的图像特征快速拼接模块可以在特征融合中保留各级的特征张量，并减少拼接特征的通道数，有效地提升了特征融合的效率，并减少了后续处理所需要的计算量。
附图说明
图1是本发明实现基于图像特征快速拼接的图像超分辨率系统的整体结构图；
图2是本发明中单个快速的大视野图像信息提取模块原理图；
图3是本发明中图像特征快速拼接模块原理图；
图4是本发明中对抗神经网络判别器计算出对抗损失的原理图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本实施例公开了一种基于图像特征快速拼接的图像超分辨率方法，涉及图像超分辨率重建过程中图像特征的下采样和图像特征的快速拼接。
所述一种基于图像特征快速拼接的图像超分辨率方法的系统包括低分辨率图像特征初步提取模块、多级快速的大视野图像信息提取模块、图像特征快速拼接模块、图像上采样重建模块以及对抗神经网络判别器。所述图像特征快速拼接模块和图像上采样重建模块构成图像拼接重建模块。所述低分辨率图像特征初步提取模块、多级快速的大视野图像信息提取模块以及图像拼接重建模块构成超分辨率重建模型。
所述低分辨率图像特征初步提取模块包括低分辨率图像的量化、低分辨率图像的特征提取；
所述多级快速的大视野图像信息提取模块包括：特征张量的最小尺寸填充、可学习参数的降采样卷积层、多级残差块非线性映射以及多级高层特征输出；
所述图像特征快速拼接模块包括：亚像素卷积的上采样、尺寸裁剪以及通道维拼接；所述亚像素卷积的上采样、所述尺寸裁剪将所述多级的大视野特征输出从不同的空间维尺寸放大至相等值，并减少其通道数。
所述图像上采样重建模块包括：拼合特征的非线性映射以及亚像素卷积上采样；
所述对抗神经网络的判别器包括图像特征提取以及清晰度对比预测分类，为算法模型的训练提供对抗损失；
所述清晰度对比预测分类是先各自计算超分辨率图像和高分辨率图像的清晰度特征值，再对某一幅图像与该图像相对组别平均特征的区别作概率预测。
所述超分辨率重建模型的参数训练包括：超分辨率图像重建预测、对抗损失计算、均方误差损失计算以及梯度回传。
超分辨率重建模型的训练阶段和算法模型的预测阶段，其中算法模型的训练阶段采用若干高分辨率图像作为算法模型的训练目标，将高分辨率图像降采样至低分辨率图像作为算法模型的训练输入；训练阶段会以旋转、翻转等方法对高分辨率图像作处理，以增加训练图像的等效规模。
其中，低分辨率图像特征初步提取模块可以输入任意尺寸的低分辨率图片，将其量化为长、宽、通道的三维低分辨率图像张量，并使用单层可学习参数的卷积层进行图像特征的初步提取图像的原始特征。
其中，多级快速的大视野图像信息提取模块对所述图像原始特征进行多级快速的大视野图像信息提取。每一级的大视野图像信息提取操作包括了对输入特征张量进行的最小尺寸填充、带步长的卷积层下采样以及级联残差块的非线性映射等，如图2所示。所述特征张量的最小尺寸填充是用于对特征张量的空间维作填充操作，使所述特征张量的高和宽(H,W)在进行所述填充之后，其填充尺寸(H′,W′)被下采样倍数d所整除。
所述可学习参数的降采样卷积层通过带步长的卷积层提取输入特征的大视野信息，以降低所述多级残差块非线性映射所消耗的计算量。
其中，图像特征快速拼接模块对所述多级快速的大视野图像信息提取模块输出的多级特征张量进行亚像素卷积的上采样和尺寸裁剪操作，使所有待拼合的特征张量具有相同的空间域尺寸，之后再对多级张量进行快速的拼接操作，得到拼接特征张量，如图3所示。
其中，图像上采样重建模块使用多个级联的卷积神经网络层对拼合特征进行非线性映射，并使用亚像素卷积上采样的方法得到预测的超分辨率重建图像。
其中，算法模型的参数训练将算法预测的超分辨率图像与训练集高分辨率图像的差异量化为算法模型的损失。所述算法模型的损失包括了图像像素的均方误差，以及对抗神经网络判别器所计算的对抗损失。对抗损失的计算过程如图4所示。
一种基于图像特征快速拼接的图像超分辨率方法，包括以下步骤：
S1、单个卷积神经网络层使用权值共享的卷积核对输入的低分辨率图像进行特征初步提取，得到低层的原始特征；
所述低分辨率图像为小尺寸不清晰的RGB图像，通过量化像素读取图片文件并将其量化为三通道的低分辨率图像张量ILR；
低分辨率图像特征初步提取是通过单个卷积神经网络层，使用可训练参数的卷积核，对输入的低分辨率图像进行初步的特征提取，得到初步提取的图像原始特征x0，其数学表达形式如下：
x0＝fconv0(ILR)＝tanh(W0*ILR+b0)
其中，W0和b0分别为初步特征提取卷积层可训练的卷积核权重和偏移值，低分辨率图像张量ILR在与卷积核权重进行二维卷积之后，输出张量的各个通道再加上偏移值，最后经过tanh函数激活，得到图像的原始特征输出。
S2、采用级联的快速的大视野图像信息提取模块从步骤S1所述原始特征中提取出多级的高层特征；每一级的提取模块对输入的特征进行尺寸压缩，提取图像信息产生高层特征；多个提取模块级联，可产生不同级别的高层特征输出；
大视野图像信息提取模块的提取图像信息包括如下步骤：
S201、通过最小尺寸填充，将图像原始特征x0的空间尺寸填充至能够降采样的最小值；
S202、将步骤S201所述的最小尺寸填充处理后的原始特征x0输入到带步长的卷积层，使用可学习参数的卷积核进行d倍的降采样，随后使用多个残差块对降采样的特征进行非线性映射，得到大视野的层级特征输出x1，其等效的数学表达形式如下：
降采样部分的计算公式：
x′0＝fconv1(pad(x0),d)
其中，pad(·)为降采样前的最小尺寸填充，fconv1(·)为可训练参数的带步长卷积层下采样运算，d为本次下采样的尺寸缩小系数；
多个残差块运算的计算公式：
Figure BDA0002858461810000111
其中，fi(·),1≤i≤n为单个残差块对输入特征的非线性映射，
Figure BDA0002858461810000112
代表多个残差块级联的非线性映射总运算；
S203、将步骤S202所述的降采样和非线性映射定义为一级的快速的大视野图像信息提取块，则将若干个快速的大视野图像信息提取块级联，对输入特征进行处理，从而得到多级高层特征输出x2,x3,...xn。
S3、图像特征快速拼接模块对步骤S2所述多级高层特征和步骤S1所述原始特征进行尺寸调整和快速拼接，得到少通道的融合特征张量，具体包括如下步骤：
S301、使用亚像素卷积将多级高层特征x2,x3,...xn分别进行d倍的上采样，并根据步骤S201所述的最小尺寸填充所填充的量对上采样的多级高层特征进行尺寸裁剪，使尺寸与步骤S102所述的原始特征x0的尺寸相等；
S302、使用特征拼接将步骤S102所述的原始特征x0以及步骤S202、步骤S203所述的多级高层特征x1,x2,...xn沿通道维拼接，得到拼接特征X，其数学表达形式如下：
X＝[x0,fsub(x1),…,fsub(xn)]
其中，fsub(·)代表步骤S301所述的亚像素卷积和尺寸裁剪，[·]代表不同张量沿通道维的拼接。
S4、图像上采样重建模块对步骤S3所述融合特征张量进行特征映射和亚像素卷积上采样，从融合特征重建中预测的重建图像ISR和，完成超分辨率重建的预测，具体包括如下步骤：
S401、使用若干个可学习参数的卷积层对步骤S302所述的拼接特征X进行全通道的非线性映射特征；
S402、使用亚像素卷积对步骤S401所述的非线性映射特征进行上采样，得到预测的超分辨率重建图像ISR，其数学表达形式如下：
Figure BDA0002858461810000121
/>
其中，
Figure BDA0002858461810000122
为步骤S401所述的若干个可学习参数的卷积层，fsub(·)表示亚像素卷积的计算。
S5、采用对抗神经网络的判别器对步骤S4所述的算法预测的重建图像ISR和高分辨率图像IHR进行判别预测，结合欧几里得距离和预训练VGG卷积神经网络计算出用于训练超分辨率重建模型的损失，具体包括如下步骤：
S501、所述训练使用大量高清晰度的图片作为训练集；其中高清晰度图片作为S5所述算法模型的训练目标(即训练集中的高分辨率图像IHR)；对高清晰度图片使用双立方插值的下采样，得到S5所述算法模型的训练输入(即训练集中的高分辨率图像ILR)；
S502、所述对抗神经网络的判别器采用二分类的卷积神经网络分类器，用于在超分辨率重建模型训练过程中区分所述超分辨率重建图像ISR与其相应的的高分辨率图像IHR，其数学表达形式如下：
所述对抗神经网络的判别器图像特征提取的公式为：
Figure BDA0002858461810000131
其中，
Figure BDA0002858461810000132
为若干个可训练的卷积层级联计算，I为输入所述判别器的待判别图像，F为多个卷积层所提取的图像特征；
所述对抗神经网络的判别器分类部分采用全连接层级联，公式为：
C(F)＝[max(WF+b,0)](n)
其中，max(WF+b,0)为单个全连接层的计算公式，W为全连接层的可训练权重，b为全连接层的可训练偏置值，n为全连接网络分类器中全连接层的数量；
所述对抗神经网络的判别器对超分辨率重建图像ISR与其相应的训练集高分辨率图像IHR的判别结果公式：
D(IHR,ISR)＝σ(C(FHR)-ESR[C(FSR)])
其中，C(·)为分类部分的计算结果，ESR[C(FSR)]为所有超分辨率重建图像ISR在分类部分计算结果的平均值，σ(·)为sigmoid激活函数，D(IHR,ISR)为所述判别器判断高分辨率图像IHR相对于超分辨率图像ISR更为清晰的预测概率值。
S6、超分辨率重建模型的参数训练中，将步骤S5所述的算法模型的损失通过反向传播算法，更新算法模型所有的可训练参数；通过输入不同的训练集图片组，完成算法模型的训练，具体包括如下步骤：
S601、所述图像拼接重建算法模型的参数训练使用所述的训练集的高分辨率图像IHR，通过人为降采样的方法得到步骤S101所述低分辨率图像ILR，并将其输入所述的超分辨率重建模型中进行预测，得到步骤S402所述超分辨率预测图像ISR；
S602、所述算法模型的参数训练使用均方误差和步骤S5所述对抗神经网络的判别器，对超分辨率重建图像ISR与其相应的训练集高分辨率图像IHR的差别进行量化计算，得到算法模型的损失，其数学表达形式如下：
S5所述对抗神经网络判别器得到的对抗损失公式：
Ladv(IHR,ISR)＝-EHR[log(D(IHR,ISR))]-ESR[log(1-D(ISR,IHR))]
其中，D(IHR,ISR)和D(ISR,IHR)为步骤S501所述判别器预测结果，EHR(·)和ESR(·)分别为计算结果在所有高分辨率图像和超分辨率图像中的平均值；
所述均方误差损失公式：
Figure BDA0002858461810000141
所述算法模型在训练中的总损失公式：
L(IHR,ISR)＝Lmse(IHR,ISR)+λLadv(IHR,ISR)
其中，λ为所述对抗损失的调节系数，通过调整λ的大小，控制算法模型预测超分辨率图像的细节丰富程度；
S603、所述算法模型的参数训练使用梯度回传方法更新算法模型的参数，其数学表达形式为：
某参数在一次迭代中的更新量公式：
Figure BDA0002858461810000142
其中，Δθn为第n次参数迭代更新中算法模型参数θ的变化量，η为所述算法模型参数训练的学习率，L为本次迭代更新中算法模型的误差，m为所述算法模型参数训练的动量系数。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种基于图像特征快速拼接的图像超分辨率方法，其特征在于，包括以下步骤：
S1、构造超分辨率重建模型；
S2、结合欧几里得距离和预训练VGG卷积神经网络得到超分辨率重建模型的损失，用于超分辨率重建算法模型的参数训练；
S3、将所述超分辨率重建模型的损失通过反向传播算法，更新算法模型所有的可训练参数，再向该模型输入不同的训练集图片组，得到最优化的超分辨率重建模型；
S4、输入任意低分辨率图像至最优化的超分辨率重建模型得到相应的超分辨率重建图像；
所述超分辨率重建模型包括低分辨率图像特征初步提取模块、级联的快速的大视野图像信息提取模块以及图像拼接重建模块；所述大视野图像信息提取模块提取图像信息包括如下步骤：
S201、通过最小尺寸填充，将图像原始特征x0的空间尺寸填充至能够降采样的最小值；
S202、将最小尺寸填充处理后的原始特征x0输入到带步长的卷积层，使用可学习参数的卷积核进行d倍的降采样，随后使用多个残差块对降采样的特征进行非线性映射，得到大视野的层级特征输出x1，其等效的数学表达形式如下：
降采样部分的计算公式：
x′0＝fconv1(pad(x0),d)
其中，pad(·)为降采样前的最小尺寸填充，fconv1(·)为可训练参数的带步长卷积层下采样运算，d为本次下采样的尺寸缩小系数；
多个残差块运算的计算公式：
Figure QLYQS_1
其中，fi(·),1≤i≤n为单个残差块对输入特征的非线性映射，
Figure QLYQS_2
代表多个残差块级联的非线性映射总运算；
S203、将步骤S202的降采样和非线性映射定义为一级的快速的大视野图像信息提取块，则将若干个快速的大视野图像信息提取块级联，对输入特征进行处理，从而得到多级高层特征输出x2,x3,...xn。
2.根据权利要求1所述的一种基于图像特征快速拼接的图像超分辨率方法，其特征在于，所述低分辨率图像特征初步提取模块包括单个卷积神经网络层，所述单个卷积神经网络层使用权值共享的卷积核对输入的低分辨率图像进行特征初步提取，得到原始特征；
所述低分辨率图像为RGB图像，通过量化像素读取图片文件并将图片量化为三通道的低分辨率图像张量ILR；
所述单个卷积神经网络层包括使用可训练参数的卷积核，对输入的低分辨率图像进行初步的特征提取，得到初步提取的图像原始特征x0，其数学表达形式如下：
x0＝fconv0(ILR)＝tanh(W0*ILR+b0)
其中，W0和b0分别为初步特征提取卷积层可训练的卷积核权重和偏移值，低分辨率图像张量ILR在与卷积核权重进行二维卷积之后，输出张量的各个通道再加上偏移值，最后经过tanh函数激活，得到图像的原始特征输出。
3.根据权利要求2所述的一种基于图像特征快速拼接的图像超分辨率方法，其特征在于，所述级联的快速的大视野图像信息提取模块从原始特征中提取出多级高层特征；每一级的大视野图像信息提取模块对输入的特征进行尺寸压缩，提取图像信息产生高层特征；多个提取模块级联，产生不同级别的高层特征。
4.根据权利要求3所述的一种基于图像特征快速拼接的图像超分辨率方法，其特征在于，所述图像拼接重建模块包括图像特征快速拼接模块和图像上采样重建模块；
所述图像特征快速拼接模块对多级高层特征和原始特征进行尺寸调整和快速拼接，得到融合特征张量；
所述图像上采样重建模块接收所述融合特征张量进行特征映射和亚像素卷积上采样，从融合特征重建中预测的重建图像ISR，完成超分辨率重建的预测。
5.根据权利要求4所述的一种基于图像特征快速拼接的图像超分辨率方法，其特征在于，所述图像特征快速拼接模块获取融合特征张量，具体包括如下步骤：
S301、使用亚像素卷积将多级高层特征x2,x3,...,xn分别进行d倍的上采样，并根据最小尺寸填充所填充的量对上采样的多级高层特征进行尺寸裁剪，使尺寸与步骤S201所述的原始特征x0的尺寸相等；
S302、使用特征拼接将原始特征x0以及上采样多级高层特征x2,x3,...,xn沿通道维拼接，得到拼接特征X，其数学表达形式如下：
X＝[x0,fsub(x2),…,fsub(xn)]
其中，fsub(·)代表亚像素卷积和尺寸裁剪，[x0,fsub(x2),…,fsub(xn)]代表不同张量沿通道维的拼接；
所述图像上采样重建模块预测重建图像ISR，具体包括如下步骤：
S303、使用若干个可学习参数的卷积层对步骤S302所述的拼接特征X进行全通道的非线性映射特征；
S304、使用亚像素卷积对步骤S303所述的非线性映射特征进行上采样，得到预测的超分辨率重建图像ISR，其数学表达形式如下：
Figure QLYQS_3
其中，
Figure QLYQS_4
为步骤S303所述的若干个可学习参数的卷积层，fsub(·)表示亚像素卷积和尺寸裁剪。
6.根据权利要求5所述的一种基于图像特征快速拼接的图像超分辨率方法，其特征在于，步骤S2具体包括如下步骤：
S401、使用高清晰度的图片作为训练集，对高清晰度图片使用双立方插值的下采样，得到训练集中的高分辨率图像IHR，作为超分辨率重建算法模型的训练输入；
S402、使用对抗神经网络的判别器区分所述重建图像ISR与其相应的训练集中高分辨率图像IHR，其数学表达形式如下：
所述对抗神经网络的判别器图像特征提取的公式为：
Figure QLYQS_5
其中，
Figure QLYQS_6
为若干个可学习参数的卷积层，I为输入所述判别器的待判别图像，F为多个卷积层所提取的图像特征；/>
所述对抗神经网络的判别器分类部分采用全连接网络分类器，公式为：
C(F)＝[max(WF+b,0)](H)
其中，max(WF+b,0)为单个全连接层的计算公式，W为全连接层的可训练权重，b为全连接层的可训练偏置值，H为全连接网络分类器中全连接层的数量；
所述对抗神经网络的判别器对超分辨率重建图像ISR与其相应的训练集高分辨率图像IHR的判别结果公式：
D(IHR,ISR)＝σ(C(FHR)-ESR(C(FSR)))
其中，C(·)为分类部分的计算结果，ESR(C(FSR))为所有超分辨率重建图像ISR在分类部分计算结果的平均值，σ(·)为sigmoid激活函数，D(IHR,ISR)为所述判别器判断高分辨率图像IHR相对于超分辨率图像ISR更为清晰的预测概率值。
7.根据权利要求6所述的一种基于图像特征快速拼接的图像超分辨率方法，其特征在于，步骤S3具体包括如下步骤：
S501、使用所述训练集高分辨率图像IHR，通过人为降采样的方法得到所述低分辨率图像ILR，并将输入所述超分辨率重建算法模型中进行预测，得到超分辨率预测图像ISR；
S502、使用均方误差和所述对抗神经网络的判别器，对超分辨率重建图像ISR与其相应的训练集中的高分辨率图像IHR的差别进行量化计算，得到超分辨率重建模型的损失，其数学表达形式如下：
所述对抗神经网络的判别器得到的对抗损失公式：
Ladv(IHR，ISR)＝-EHR(log(D(IHR，ISR)))-ESR(log(1-D(ISR，IHR)))
其中，D(IHR，ISR)和D(ISR，IHR)为步骤S501所述判别器预测结果，EHR(·)和ESR(·)分别为计算结果在所有高分辨率图像和超分辨率图像中的平均值；
均方误差损失公式：
Figure QLYQS_7
所述超分辨率重建算法模型在训练中的总损失公式：
L(IHR，ISR)＝Lmse(IHR，ISR)+λLadv(IHR，ISR)
其中，λ为所述对抗损失的调节系数，通过调整λ的大小，控制算法模型预测超分辨率图像的细节丰富程度；
所述超分辨率重建算法模型的参数训练使用梯度回传方法更新算法模型的参数，其数学表达形式为：
某参数在一次迭代中的更新量公式：
Figure QLYQS_8
其中，Δθn为第n次参数迭代更新中算法模型参数θ的变化量，η为算法模型参数训练的学习率，L为本次迭代更新中算法模型的误差，m为算法模型参数训练的动量系数。
8.实现权利要求7所述的一种基于图像特征快速拼接的图像超分辨率方法的系统，其特征在于，包括低分辨率图像特征初步提取模块、多级快速的大视野图像信息提取模块、图像特征快速拼接模块、图像上采样重建模块以及对抗神经网络的判别器；
所述低分辨率图像特征初步提取模块，用于量化低分辨率图像、提取低分辨率图像的特征；
所述多级快速的大视野图像信息提取模块，用于填充特征张量的最小尺寸、可学习参数的降采样、对多级残差块进行非线性映射以及输出多级的大视野特征；
所述图像特征快速拼接模块包括亚像素卷积的上采样、尺寸裁剪以及通道维拼接；
所述图像上采样重建模块包括拼合特征的非线性映射以及亚像素卷积上采样；
所述对抗神经网络的判别器采用二分类的卷积神经网络分类器，包括图像特征提取以及清晰度对比预测分类，为超分辨率重建模型的训练提供对抗损失。
CN202011556673.7A 2020-12-24 2020-12-24 一种基于图像特征快速拼接的图像超分辨率方法及其系统 Active CN112634136B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011556673.7A CN112634136B (zh) 2020-12-24 2020-12-24 一种基于图像特征快速拼接的图像超分辨率方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011556673.7A CN112634136B (zh) 2020-12-24 2020-12-24 一种基于图像特征快速拼接的图像超分辨率方法及其系统

Publications (2)

Publication Number Publication Date
CN112634136A CN112634136A (zh) 2021-04-09
CN112634136B true CN112634136B (zh) 2023-05-23

Family

ID=75324743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011556673.7A Active CN112634136B (zh) 2020-12-24 2020-12-24 一种基于图像特征快速拼接的图像超分辨率方法及其系统

Country Status (1)

Country Link
CN (1) CN112634136B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116095355A (zh) * 2023-01-18 2023-05-09 百果园技术(新加坡)有限公司 视频显示控制方法及其装置、设备、介质、产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340711A (zh) * 2020-05-21 2020-06-26 腾讯科技（深圳）有限公司 一种超分辨率重建方法、装置、设备和存储介质
CN111402128A (zh) * 2020-02-21 2020-07-10 华南理工大学 一种基于多尺度金字塔网络的图像超分辨率重建方法
CN111461983A (zh) * 2020-03-31 2020-07-28 华中科技大学鄂州工业技术研究院 一种基于不同频度信息的图像超分辨率重建模型及方法
CN111861961A (zh) * 2020-07-25 2020-10-30 安徽理工大学 单幅图像超分辨率的多尺度残差融合模型及其复原方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11354577B2 (en) * 2017-03-15 2022-06-07 Samsung Electronics Co., Ltd System and method for designing efficient super resolution deep convolutional neural networks by cascade network training, cascade network trimming, and dilated convolutions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402128A (zh) * 2020-02-21 2020-07-10 华南理工大学 一种基于多尺度金字塔网络的图像超分辨率重建方法
CN111461983A (zh) * 2020-03-31 2020-07-28 华中科技大学鄂州工业技术研究院 一种基于不同频度信息的图像超分辨率重建模型及方法
CN111340711A (zh) * 2020-05-21 2020-06-26 腾讯科技（深圳）有限公司 一种超分辨率重建方法、装置、设备和存储介质
CN111861961A (zh) * 2020-07-25 2020-10-30 安徽理工大学 单幅图像超分辨率的多尺度残差融合模型及其复原方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Embedded Block Residual Network：A Recursive Restoration Model for Single-Image Super-Resolution;Yajun Qiu et al;《The IEEE International Conference on Computer Vision (ICCV)》;20191217;第4180-4189页 *
Film: Visual reasoning with a general conditioning;Perez E et al;《Proceedings of the AAAI Conference on Artificial Intelligence》;20181231;3942-3951页 *
基于多尺度特征映射网络的图像超分辨率重建;段然 等;《浙江大学学报(工学版)》;20190731;第1331-1339页 *

Also Published As

Publication number Publication date
CN112634136A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
US11501415B2 (en) Method and system for high-resolution image inpainting
Parmar et al. Image transformer
CN112132023B (zh) 基于多尺度上下文增强网络的人群计数方法
WO2019120110A1 (zh) 图像重建方法及设备
WO2021018163A1 (zh) 神经网络的搜索方法及装置
CN110533712A (zh) 一种基于卷积神经网络的双目立体匹配方法
Jiang et al. Learning lightweight super-resolution networks with weight pruning
US20220230276A1 (en) Generative Adversarial Networks with Temporal and Spatial Discriminators for Efficient Video Generation
Zeng et al. Single image super-resolution using a polymorphic parallel CNN
CN110060204B (zh) 一种基于可逆网络的单一图像超分辨率方法
US11216913B2 (en) Convolutional neural network processor, image processing method and electronic device
CN109389667B (zh) 一种基于深度学习的高效全局光照明绘制方法
EP4163832A1 (en) Neural network training method and apparatus, and image processing method and apparatus
WO2023279936A1 (en) Methods and systems for high definition image manipulation with neural networks
CN113744136A (zh) 基于通道约束多特征融合的图像超分辨率重建方法和系统
Liu et al. Facial image inpainting using attention-based multi-level generative network
CN115565043A (zh) 结合多表征特征以及目标预测法进行目标检测的方法
US20220215617A1 (en) Viewpoint image processing method and related device
CN116563682A (zh) 一种基于深度霍夫网络的注意力方案和条带卷积语义线检测的方法
CN112634136B (zh) 一种基于图像特征快速拼接的图像超分辨率方法及其系统
Jia et al. AFcIHNet: Attention feature-constrained network for single image information hiding
US20230073175A1 (en) Method and system for processing image based on weighted multiple kernels
WO2023086198A1 (en) Robustifying nerf model novel view synthesis to sparse data
CN113344110B (zh) 一种基于超分辨率重建的模糊图像分类方法
CN115223079A (zh) 一种视频分类方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant