CN117391959A - 基于多粒度匹配及多尺度聚合的超分辨率重建方法及系统 - Google Patents

基于多粒度匹配及多尺度聚合的超分辨率重建方法及系统 Download PDF

Info

Publication number
CN117391959A
CN117391959A CN202311703500.7A CN202311703500A CN117391959A CN 117391959 A CN117391959 A CN 117391959A CN 202311703500 A CN202311703500 A CN 202311703500A CN 117391959 A CN117391959 A CN 117391959A
Authority
CN
China
Prior art keywords
feature
scale
features
matching
granularity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311703500.7A
Other languages
English (en)
Other versions
CN117391959B (zh
Inventor
黄磊
于克逸
魏志强
史佳璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN202311703500.7A priority Critical patent/CN117391959B/zh
Publication of CN117391959A publication Critical patent/CN117391959A/zh
Application granted granted Critical
Publication of CN117391959B publication Critical patent/CN117391959B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理技术领域，公开了基于多粒度匹配及多尺度聚合的超分辨率重建方法及系统，包括以下步骤：低分辨率图像特征提取、参考图像特征提取、多粒度特征匹配、多尺度特征聚合、超分辨率重建，最终得到超分辨率重建的输出图像，本发明通过由粗粒度到细粒度的特征匹配，完成图像间由低分辨率到高分辨率、由结构到细节的特征匹配，并将匹配得到的多尺度特征聚合加强各尺度特征，显著提升了图像超分辨率重建的性能。

Description

基于多粒度匹配及多尺度聚合的超分辨率重建方法及系统
技术领域
本发明属于图像处理技术领域，特别涉及基于多粒度匹配及多尺度聚合的超分辨率重建方法及系统。
背景技术
图像超分辨率重建是一种提高图像分辨率，增加图像像素密度、纹理细节，从而提高图像质量和可信赖度的图像处理技术。随着深度学习的发展，超分辨率重建的主流方法是通过构建深度学习模型学习低分辨率图像到高分辨率图像的对应关系从而获得重建能力。然而因为低分辨率图像在传输、压缩和转换过程中损失了大量复杂的细节和纹理信息，图像超分辨率重建模型很难通过有限的信息重建复杂的纹理和细节。因此，针对重建模型不能恢复复杂细节纹理的问题，基于参考图像的超分辨率重建方法被提出，该类方法通过额外引入一张与低分辨率图像内容结构相似的高分辨率图像做参考，在图像重建过程中将参考图像中的细节纹理转移到低分辨率图像中，补充低分辨率图像中损失的信息，从而重建具有丰富细节纹理的图像。
基于参考图像的超分辨率重建方法主要分为两步：第一步将参考图像与低分辨率图像进行特征匹配，找到参考图像中的有用信息。第二步将匹配到的特征处理后与低分辨率图像融合从而生成具有丰富细节的图像。因此重建具有丰富细节的图像关键是能否精准找到细节信息并充分利用。然而，因为低分辨率图像与参考图像存在较大分辨率差距，现有方法大多在降分辨率的参考图像与低分辨率图像间进行特征匹配并将相似区域的坐标映射到高分辨率参考图像中，但是因为低分辨率输入图像与降分辨率的参考图像都损失了细节信息，两者匹配得到的相似区域只是图像中物体结构、轮廓相似区域而非细节相似区域；同时此前方法在处理匹配后的参考特征时大多只通过低分辨率图像的特征纠正、增强参考特征，却忽略了不同尺度参考图像特征存在特征互补性，导致参考图像特征利用率低。
发明内容
针对现有技术存在的不足，本发明提供基于多粒度匹配及多尺度聚合的超分辨率重建方法及系统，本发明通过由粗粒度到细粒度的特征匹配，完成图像间由低分辨率到高分辨率由结构到细节的特征匹配，并将匹配得到的多尺度特征聚合加强各尺度特征。具体包括两个方面，（1）设计了多粒度特征匹配模块，通过进行多次渐进式的由图像中物体结构间的特征匹配到图像中结构相似区域间细节纹理的特征匹配。此过程中，不断将匹配到的特征转移到低分辨率图像中提升其分辨率，缓解输入图像与参考图像间的细节、分辨率差距，从而精准找到参考图像中的细节特征。（2）设计了多尺度特征聚合模块，该模块将匹配到的不同尺度的参考图像特征聚合到一起，通过大尺度特征为小尺度特征补充细节信息，通过小尺度特征为大尺度特征提供更平滑的结构特征，充分利用不同尺度特征的互补性，提高参考图像特征的利用率。
为了解决上述技术问题，本发明采用的技术方案是：
首先，本发明提供一种基于多粒度匹配及多尺度聚合的超分辨率重建方法，包括以下步骤：
步骤S1、低分辨率图像特征提取：
将低分辨率图像作为输入图像输入到低分辨率图像特征提取网络中得到低分辨率图像特征图/>，其中低分辨率图像特征图的高度、宽度和通道数分别是H1、W1、C；
步骤S2、参考图像特征提取：
将与低分辨率图像内容、结构相似的高分辨率图像/>作为参考图像输入到参考图像特征提取网络得到参考图像特征图/>，、/>、/>分别是大、中、小尺度参考图像特征图，其中H2、W2分别表示高度和宽度；
步骤S3、多粒度特征匹配：包括粗粒度特征匹配、中粒度特征匹配和细粒度特征匹配，得到匹配后的多尺度特征，分别如下：
步骤S31、粗粒度特征匹配：
在低分辨率图像特征图与小尺度参考图像特征图/>间进行粗粒度特征匹配，得到小尺度匹配特征图 />；
步骤S32、中粒度特征匹配：
在特征匹配前首先将步骤S31中得到的特征图中的细节信息转移到/>并上采样，得到/>；
进行中粒度特征匹配时，只在与/>两者间结构相似区域进行中粒度特征匹配，得到中尺度匹配特征图/>；
步骤S33、细粒度特征匹配：
按照与步骤S32相同的流程将中的细节特征转移到/>并上采样得到，然后在/>与/>中粒度相似区域间进行细粒度特征匹配、拼接后得到大尺度特征图/>；
步骤S4、多尺度特征聚合：
将步骤S3得到的大尺度特征、中尺度特征聚合到小尺度特征得到小尺度聚合特征，将小尺度特征、大尺度特征聚合到中尺度特征得到中尺度聚合特征/>；将中尺度特征、小尺度特征聚合到大尺度特征得到大尺度聚合特征/>；
步骤S5、超分辨率重建：
将步骤S4中得到的聚合特征按尺度由小到大依次与步骤S1得到的低分辨率图像特征按通道方向拼接，并通过多层残差网络融合特征，得到输出图像。
进一步的，步骤S2中，参考图像特征提取网络是一个包含两次池化操作的卷积神经网络，大尺度参考图像特征图是第一次池化操作前一层网络的输出，中尺度参考图像特征图/>是第二次池化操作前一层网络的输出，小尺度参考图像特征图/>是参考图像特征提取网络的最终输出。
进一步的，步骤S31粗粒度特征匹配时，首先，找到低分辨率图像与参考图像间结构相似的区域，方法是：分别将低分辨率图像特征图和小尺度参考图像特征图/>分割成特征块得到/>、/>，其中/>、/>分别表示/>、/>分割后的特征块集合；然后计算/>中每个特征块与/>中每个特征块的相似度，为/>中每个特征块找到/>中最相似的特征块，并从/>中记录对应相似特征块的索引得到相似区域索引图/>；最后根据相似区域索引图/>取出/>中的特征块，对应/>特征块在/>中的位置依次拼接得到小尺度匹配特征图/>。
进一步的，步骤S32中，在中粒度特征匹配前首先将步骤S31中得到的特征图中的细节信息转移到/>缓解参考图像与低分辨率图像间的细节信息差距，方法是：令特征图/>依次进行下采样、上采样操作过滤掉特征中的高频信息，然后用/>减过滤掉高频信息的特征得到只保留了高频细节信息的特征/>，将/>中的信息转移到/>中补充细节信息，并通过上采样提升特征分辨率得到/>。
进一步的，中粒度特征匹配时，匹配方法如下：（1）按照步骤S31中的索引找到两者间结构相似区域：将/>和/>分割成与/>、/>相同数量的特征块得到/>、，/>、/>与/>、/>中的特征块在特征空间上具有一对一映射关系，索引/>代表和/>间的相似关系，按照相似索引图/>依次取出/>中的块得到特征块集合/>，其中/>、/>中序号相同的特征块互为结构特征相似块；（2）将结构特征相似块以中粒度进行特征匹配：将/>、/>中结构相似的特征块一一取出，进行再分割，计算两者间特征块的相似度，得到中粒度相似索引，并将/>分割成的特征块按中粒度相似索引重新拼接得到特征块集合/>，其中N为特征块的数量，N = H1×W1；根据步骤S31相似区域索引图/>依次取出/>集合中的特征块，对应/>中特征块在/>中的位置依次拼接，得到中尺度匹配特征图/>。
进一步的，步骤S4多尺度特征聚合时，中尺度聚合特征公式如下：
其中表示矩阵元素相乘，/>、/>表示约束矩阵，/>、/>表示补充矩阵；小尺度聚合特征/>和大尺度聚合特征/>公式同理。
进一步的，步骤S5，输出图像的公式如下：
其中、/>、/>表示由多层残差网络组成的非线性层，/>表示将特征按通道方向拼接，/>表示上采样。
进一步的，所述的基于多粒度匹配及多尺度聚合的超分辨率重建方法，还包括步骤S6、优化网络：将步骤S5中得到的输出图像与真实标签图像/>进行损失计算优化网络，包括两步，第一步仅使用重建损失/>训练网络，公式为：
；
第二步使用重建损失、内容损失/>和对抗损失/>共同训练网络，
内容损失通过一个预训练的卷积神经网络计算，公式为：
；
其中、/>分别表示/>、/>在预训练的卷积神经网络中第 m 层网络的特征表示；
对抗损失的定义为：
；
其中，是基于交叉熵得到的对抗损失函数，D表示预训练好的判别器，/>表示/>图像被判别器判断为真实图像的概率；
总损失L为：
；
其中、/>、/>为重建损失、内容损失、对抗损失的权重参数。
其次，本发明还提供一种基于多粒度匹配及多尺度聚合的超分辨率重建系统，用于实现如前所述的基于多粒度匹配及多尺度聚合的超分辨率重建方法，包括参考图像提取网络、低分辨率图像提取网络、多粒度特征匹配模块、多尺度特征聚合模块和重建网络；所述低分辨率图像提取网络用于提取低分辨率图像特征，所述参考图像提取网络用于提取参考图像特征，所述多粒度特征匹配模块用于进行多粒度特征匹配，输出匹配后的多尺度特征，所述多尺度特征聚合模块用于聚合多粒度特征匹配模块输出的多尺度特征，输出聚合特征，所述重建网络用于将多尺度特征聚合模块输出的聚合特征与低分辨率图像提取网络提取的低分辨率图像特征进行拼接融合，得到重建的输出图像。
与现有技术相比，本发明优点在于：
（1）设计了多粒度特征匹配模块，通过多次渐进式的由低分辨率图像中物体结构间的特征匹配，到高分辨率图像中结构相似区域间细节纹理的匹配，精准找到参考图像中有用的细节信息。此过程中，不断将匹配到的特征转移到低分辨率图像中提升其分辨率，缓解输入图像与参考图像间的细节、分辨率差距，从而精准找到参考图像中的细节特征。
（2）设计了多尺度特征聚合模块，该模块将匹配到的不同尺度的参考图像特征聚合到一起，通过大尺度特征为小尺度特征补充细节信息，通过小尺度特征为大尺度特征提供更平滑的结构特征，充分利用不同尺度特征的互补性，提高参考图像特征的利用率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的流程图；
图2为本发明的多尺度特征聚合模块结构图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的说明。
实施例1
结合图1所示，本实施例提供一种基于多粒度匹配及多尺度聚合的超分辨率重建方法，包括以下步骤：
步骤S1、低分辨率图像特征提取。
将低分辨率图像作为输入图像输入到低分辨率图像特征提取网络中得到低分辨率图像特征图/>，其中低分辨率图像特征图的高度、宽度和通道数分别是H1、W1、C。在应用时，输入图像的通道数可以是单通道，也可以是三个通道的彩色图，本实施例验证时是采用了三通道，即/>，/>。
步骤S2、参考图像特征提取。
将与低分辨率图像内容、结构相似的高分辨率图像/>作为参考图像输入到参考图像特征提取网络得到不同尺度的参考图像特征图/>，是大尺度参考图像特征图、/>是中尺度参考图像特征图、/>是小尺度参考图像特征图，其中H2、W2表示高度、宽度。
作为一个优选的实施方式，参考图像特征提取网络是一个包含两次池化操作的卷积神经网络，大尺度参考图像特征图是第一次池化操作前一层网络的输出，中尺度参考图像特征图/>是第二次池化操作前一层网络的输出，小尺度参考图像特征图/>是参考图像特征提取网络的最终输出。
公式如下：
；
；
；
其中、/>、/>表示由卷积和ReLU激活函数组成的非线性层，AvgPool( )表示平均池化操作，4H2、4W2和C分别是大尺度特征图的高度、宽度和通道数，中尺度参考图像特征图的长宽为大尺度参考图像特征图的二分之一，小尺度参考图像特征图的长宽为大尺度参考图像特征图的四分之一。
步骤S3、多粒度特征匹配：包括粗粒度特征匹配、中粒度特征匹配和细粒度特征匹配，得到匹配后的多尺度特征。下面分别介绍。
步骤S31、粗粒度特征匹配。
首先，在低分辨率图像特征图与小尺度参考图像特征图/>间进行粗粒度特征匹配，找到低分辨率图像与参考图像间结构相似的区域，方法是：分别将低分辨率图像特征图/>和小尺度参考图像特征图/>分割成特征块得到/>、/>，其中/>、/>分别表示/>、/>分割后的特征块集合，然后计算/>中每个特征块与/>中每个特征块的相似度，为/>中每个特征块找到/>中最相似的特征块，并从/>中记录对应相似特征块的索引得到相似区域索引图/>，最后根据相似区域索引图/>取出/>中的特征块，对应/>特征块在/>中的位置依次拼接得到小尺度匹配特征图/>，其中小尺度匹配特征图的H1、W1、C （即高度、宽度、通道数通道数）与低分辨率图像特征图相同，拼接操作为分块的逆操作。
作为一个优选的实施方式，将步骤S1中得到的低分辨率图像特征图按步长为1大小为p×p分割成特征块得到/>，将步骤S2中得到的小尺度参考图像特征图/>按相同方法分割成大小为p×p的特征块得到，其中N = H1×W1为低分辨率特征块的数量，M = H2×W2为参考图像特征块的数量，i为第i个低分辨率特征块的序号，j为第j个参考图像特征块的序号；计算/>中每个特征块与/>中每个特征块的相似度，得到相似索引图，索引图/>记录块/>中每个块与块/>中最相似特征块的索引，相似度计算及相似索引公式为如下：
；
；
；
其中表示/>特征块与/>特征块两者的余弦相似度，/>表示/>与/>中每个特征块的相似度集合，/>表示/>中与/>最相似块的索引。
步骤S32、中粒度特征匹配。
在特征匹配前，首先将步骤S31中得到的特征图中的细节信息转移到/>缓解参考图像与低分辨率图像间的细节信息差距，方法是：令特征图/>依次进行下采样、上采样操作去掉特征中的高频信息，然后用/>减去掉高频信息的特征得到只保留了高频细节信息的特征/>，公式如下：
；
其中Dconv( )表示卷积层，用于对下采样，本实施例中以步长为2、卷积核大小为3×3的卷积层实验，效果较好，其他步长和卷积层只要搭配合理亦能实现本技术方案。表示上采样，一般为双线性三次插值上采样。
将中的信息转移到/>中补充细节信息，并通过上采样提升特征分辨率得到/>，公式如下：
；
其中Conv1( )、Conv2( )均表示卷积层，在实验时，以表示步长为1、卷积核大小为3×3的卷积层为例，取得较好的技术效果，其他步长和卷积层只要搭配合理亦能实现本技术方案。表示上采样。
由于细节相似的区域大多存在于结构相似的区域附近，因此进行中粒度特征匹配时，只在与/>两者间结构相似区域进行中粒度特征匹配（即在结构相似区域附近进行更细粒度的特征匹配）。
作为一个优选的实施方式，匹配方法如下：
（1）按照步骤S31中的索引找到两者间结构相似区域：将/>和/>分割成与/>、/>相同数量的特征块得到/>、/>，其中/>和/>分别表示/>、/>分割后特征块的集合，N为/>中特征块的数量，M为/>中特征块的数量，N = H1×W1；因为/>、/>与/>、/>中的特征块在特征空间上具有一对一映射关系，索引/>同样可以代表/>和/>间的相似关系，所以按照相似索引图/>依次取出/>中的块得到特征块集合/>，其中/>、/>中序号相同的特征块互为结构特征相似块。（2）将结构特征相似块以中粒度进行特征匹配：将/>、/>中结构相似的特征块一一取出，并进行再分割，分割成更小的特征块，计算两者间特征块的相似度，得到中粒度相似索引，并将/>分割成的特征块按中粒度相似索引重新拼接得到特征块集合/>，根据步骤S31相似区域索引图/>依次取出集合中的特征块，对应/>中特征块在/>中的位置依次拼接，得到中尺度匹配特征图/>。
作为一个举例，将按步长为2分割成大小为4×4的块，将/>按步长为2分割成大小为q×q的块，按照相似索引图/>依次取出/>中的块得到，其中/>、/>中序号相同的块/>，/>互为结构特征相似块，n为块的序号。将结构特征相似块以中细粒度（即更小的粒度）进行特征匹配：将、/>中块以步长为1大小为3×3进行再分割，将/>，/>分块得到，/>，其中L = q×q为特征块的数量，以步骤S31相同公式计算/>与/>中特征块的相似度，得到相似索引图，按照相似索引图依次取出/>中的块，重新拼接得到匹配后特征图/>，将得到的所有特征图/>拼接得到匹配后中尺度特征图。
步骤S33、细粒度特征匹配。
按照与步骤S32相同的流程将中的细节特征转移到/>并上采样得到，然后在/>与/>中粒度相似区域间进行细粒度特征匹配、拼接后得到大尺度特征图/>。此处不再赘述。
步骤S4、多尺度特征聚合。
将步骤S3得到的不同尺度的特征、/>、/>（即多尺度特征）进行聚合，本步骤通过图2所示的多尺度特征聚合模块实现。
具体来说，将步骤S3得到的大尺度特征、中尺度特征聚合到小尺度特征得到小尺度聚合特征，将小尺度特征、大尺度特征聚合到中尺度特征得到中尺度聚合特征；将中尺度特征、小尺度特征聚合到大尺度特征得到大尺度聚合特征/>。
以中尺度聚合特征为例，将小尺度特征/>、大尺度特征/>聚合到中尺度特征/>得到中尺度聚合特征/>，公式如下：
其中表示矩阵元素相乘，/>、/>表示约束矩阵，/>、/>表示补充矩阵，/>、/>、/>、/>的公式如下：
；
；
；
；
其中，表示将特征按通道方向拼接，/>、/>表示由卷积和ReLU激活函数组成的非线性层，通过特征约束矩阵/>、/>可以加强不同尺度特征共有的信息，削减中不利于重建的干扰信息，通过特征补充矩阵/>、/>可以将小尺度参考特征中的整体轮廓边缘聚合到大尺度参考特征中，提高大尺度参考特征结构稳定性，将大尺度参考特征中的细节补充到小尺度参考特征中，丰富小尺度参考特征的细节。
步骤S5、超分辨率重建。
将步骤S4中得到的聚合特征按尺度由小到大依次与步骤S1得到的低分辨率图像特征按通道方向拼接，并通过多层残差网络融合特征，渐进的提高输入图像的分辨率及细节信息，得到输出图像。
具体公式如下：
其中、/>、/>表示由多层残差网络组成的非线性层，/>表示将特征按通道方向拼接，/>表示上采样，/>表示整个网络的输出结果，即输出图像，长宽是输入图像四倍，通道数跟低分辨率图像一致。
作为一个优选的实施方式，本发明的基于多粒度匹配及多尺度聚合的超分辨率重建方法，还包括步骤S6、优化网络：将步骤S5中得到的输出图像与真实标签图像/>进行损失计算优化网络。
本方法优化网络包括两步，第一步仅使用重建损失训练网络，使网络具有初步生成细节信息的能力，公式为：
。
第二步使用重建损失、内容损失/>和对抗损失/>共同训练网络，使网络具有生成丰富纹理细节的能力。
内容损失通过一个预训练的神经网络来计算，通常使用预训练的卷积神经网络（Convolutional Neural Network，CNN），这些网络已经在大规模的数据集上进行了训练，可以提取图像的高级特征。例如，VGG-19网络中的卷积层可以提取图像的纹理和结构信息，而网络的全连接层可以提取图像的语义信息。内容损失是把输出结果跟真实标签重新输入到一个预训练的卷积神经网络中，得到它们在网络中的特征表示，计算他们之间特征的差距，一般通过欧氏距离或曼哈顿距离来表示两者在特征空间的距离，此部分内容为现有技术，不过多赘述。
公式为：
；
其中、/>分别表示/>、/>在预训练的卷积神经网络中第 m 层网络的特征表示。
对抗损失通过一个预训练好的判别器模型计算，生成器（即超分辨网络）、判别器计算对抗损失的原理为现有技术，此处不过多赘述。本发明的对抗损失/>公式为：
；
其中，是基于交叉熵得到的对抗损失函数，D表示预训练好的判别器模型，用于判断一张图像是/>还是/>，/>表示/>图像被判别器判断为真实图像（即/>）的概率。
总损失L为：
；
其中、/>、/>为重建损失、内容损失、对抗损失的权重参数。
实施例2
作为另一实施例，还提供一种基于多粒度匹配及多尺度聚合的超分辨率重建系统，可以实现如实施例1部分记载的基于多粒度匹配及多尺度聚合的超分辨率重建方法。该网络包括参考图像提取网络、低分辨率图像提取网络、多粒度特征匹配模块、多尺度特征聚合模块和重建网络；所述低分辨率图像提取网络用于提取低分辨率图像特征，所述参考图像提取网络用于提取参考图像特征，所述多粒度特征匹配模块用于进行多粒度特征匹配，输出匹配后的多尺度特征，所述多尺度特征聚合模块用于聚合多粒度特征匹配模块输出的多尺度特征，输出聚合特征，所述重建网络用于将多尺度特征聚合模块输出的聚合特征与低分辨率图像提取网络提取的低分辨率图像特征进行拼接融合，得到重建的输出图像。具体实现方法可参见实施例1部分的记载，此处不再赘述。
综上所述，现有的基于参考图像的超分辨率重建方法在特征匹配过程中，仅在低分辨率输入图像与降分辨率的参考图像间进行相似特征匹配，由于两者都缺乏细节信息，使得低分辨率图像仅能找到参考图像中形状结构相似区域，而不能精准匹配到参考图像中的细节区域。对此本发明设计了多粒度特征匹配模块，通过多次渐进式的由低分辨率图像中物体结构间的特征匹配，到高分辨率图像中结构相似区域间细节纹理的匹配，精准找到参考图像中有用的细节信息。另外对于特征匹配后得到的不同尺度的参考图像特征，此前的方法忽略了不同尺度参考图像信息的互补性，对此本发明设计了多尺度特征聚合模块，在特征转移前将不同尺度特征聚合，通过大尺度特征为小尺度特征补充细节信息，通过小尺度特征为大尺度特征提供更平滑的结构特征，提高了参考图像特征的利用率。本发明通过以上创新设计，显著提升了图像超分辨率重建的性能。
当然，上述说明并非是对本发明的限制，本发明也并不限于上述举例，本技术领域的普通技术人员，在本发明的实质范围内，做出的变化、改型、添加或替换，都应属于本发明的保护范围。

Claims (9)

1.基于多粒度匹配及多尺度聚合的超分辨率重建方法，其特征在于，包括以下步骤：
步骤S1、低分辨率图像特征提取：
将低分辨率图像作为输入图像输入到低分辨率图像特征提取网络中得到低分辨率图像特征图/>，其中低分辨率图像特征图的高度、宽度和通道数分别是H1、W1、C；
步骤S2、参考图像特征提取：
将与低分辨率图像内容、结构相似的高分辨率图像/>作为参考图像输入到参考图像特征提取网络得到参考图像特征图/>，、/>、/>分别是大、中、小尺度参考图像特征图，其中H2、W2分别表示高度和宽度；
步骤S3、多粒度特征匹配：包括粗粒度特征匹配、中粒度特征匹配和细粒度特征匹配，得到匹配后的多尺度特征，分别如下：
步骤S31、粗粒度特征匹配：
在低分辨率图像特征图与小尺度参考图像特征图/>间进行粗粒度特征匹配，得到小尺度匹配特征图 />；
步骤S32、中粒度特征匹配：
在特征匹配前首先将步骤S31中得到的特征图中的细节信息转移到/>并上采样，得到/>；
进行中粒度特征匹配时，只在与/>两者间结构相似区域进行中粒度特征匹配，得到中尺度匹配特征图/>；
步骤S33、细粒度特征匹配：
按照与步骤S32相同的流程将中的细节特征转移到/>并上采样得到，然后在/>与/>中粒度相似区域间进行细粒度特征匹配、拼接后得到大尺度特征图/>；
步骤S4、多尺度特征聚合：
将步骤S3得到的大尺度特征、中尺度特征聚合到小尺度特征得到小尺度聚合特征，将小尺度特征、大尺度特征聚合到中尺度特征得到中尺度聚合特征/>；将中尺度特征、小尺度特征聚合到大尺度特征得到大尺度聚合特征/>；
步骤S5、超分辨率重建：
将步骤S4中得到的聚合特征按尺度由小到大依次与步骤S1得到的低分辨率图像特征按通道方向拼接，并通过多层残差网络融合特征，得到输出图像。
2.根据权利要求1所述的基于多粒度匹配及多尺度聚合的超分辨率重建方法，其特征在于，步骤S2中，参考图像特征提取网络是一个包含两次池化操作的卷积神经网络，大尺度参考图像特征图是第一次池化操作前一层网络的输出，中尺度参考图像特征图/>是第二次池化操作前一层网络的输出，小尺度参考图像特征图/>是参考图像特征提取网络的最终输出。
3.根据权利要求1所述的基于多粒度匹配及多尺度聚合的超分辨率重建方法，其特征在于，步骤S31粗粒度特征匹配时，首先，找到低分辨率图像与参考图像间结构相似的区域，方法是：分别将低分辨率图像特征图和小尺度参考图像特征图/>分割成特征块得到/>、/>，其中/>、/>分别表示/>、/>分割后的特征块集合；然后计算/>中每个特征块与/>中每个特征块的相似度，为/>中每个特征块找到/>中最相似的特征块，并从/>中记录对应相似特征块的索引得到相似区域索引图/>；最后根据相似区域索引图/>取出/>中的特征块，对应/>特征块在/>中的位置依次拼接得到小尺度匹配特征图/>。
4.根据权利要求1所述的基于多粒度匹配及多尺度聚合的超分辨率重建方法，其特征在于，步骤S32中，在中粒度特征匹配前首先将步骤S31中得到的特征图中的细节信息转移到/>缓解参考图像与低分辨率图像间的细节信息差距，方法是：令特征图/>依次进行下采样、上采样操作过滤掉特征中的高频信息，然后用/>减过滤掉高频信息的特征得到只保留了高频细节信息的特征/>，将/>中的信息转移到/>中补充细节信息，并通过上采样提升特征分辨率得到/>。
5.根据权利要求3所述的基于多粒度匹配及多尺度聚合的超分辨率重建方法，其特征在于，步骤S32中，中粒度特征匹配时，匹配方法如下：（1）按照步骤S31中的索引找到两者间结构相似区域：将/>和/>分割成与/>、/>相同数量的特征块得到/>、/>，、/>与/>、/>中的特征块在特征空间上具有一对一映射关系，索引/>代表/>和间的相似关系，按照相似索引图/>依次取出/>中的块得到特征块集合/>，其中、/>中序号相同的特征块互为结构特征相似块；（2）将结构特征相似块以中粒度进行特征匹配：将/>、/>中结构相似的特征块一一取出，进行再分割，计算两者间特征块的相似度，得到中粒度相似索引，并将/>分割成的特征块按中粒度相似索引重新拼接得到特征块集合/>，其中N为特征块的数量，N = H1/>W1；根据步骤S31相似区域索引图/>依次取出/>集合中的特征块，对应/>中特征块在中的位置依次拼接，得到中尺度匹配特征图/>。
6.根据权利要求1所述的基于多粒度匹配及多尺度聚合的超分辨率重建方法，其特征在于，步骤S4多尺度特征聚合时，中尺度聚合特征公式如下：
其中表示矩阵元素相乘，/>、/>表示约束矩阵，/>、/>表示补充矩阵；小尺度聚合特征/>和大尺度聚合特征/>公式同理。
7.根据权利要求1所述的基于多粒度匹配及多尺度聚合的超分辨率重建方法，其特征在于，步骤S5，输出图像的公式如下：
其中、/>、/>表示由多层残差网络组成的非线性层，/>表示将特征按通道方向拼接，/>表示上采样。
8.根据权利要求1所述的基于多粒度匹配及多尺度聚合的超分辨率重建方法，其特征在于，还包括步骤S6、优化网络：将步骤S5中得到的输出图像与真实标签图像/>进行损失计算优化网络，包括两步，第一步仅使用重建损失/>训练网络，公式为：
；
第二步使用重建损失、内容损失/>和对抗损失/>共同训练网络，
内容损失通过一个预训练的卷积神经网络计算，公式为：
；
其中、/>分别表示/>、/>在预训练的卷积神经网络中第 m 层网络的特征表示；
对抗损失的定义为：
；
其中，是基于交叉熵得到的对抗损失函数，D表示预训练好的判别器，/>表示图像被判别器判断为真实图像的概率；
总损失L为：
；
其中、/>、/>为重建损失、内容损失、对抗损失的权重参数。
9.基于多粒度匹配及多尺度聚合的超分辨率重建系统，其特征在于，用于实现如权利要求1-8任一项所述的基于多粒度匹配及多尺度聚合的超分辨率重建方法，包括参考图像提取网络、低分辨率图像提取网络、多粒度特征匹配模块、多尺度特征聚合模块和重建网络；所述低分辨率图像提取网络用于提取低分辨率图像特征，所述参考图像提取网络用于提取参考图像特征，所述多粒度特征匹配模块用于进行多粒度特征匹配，输出匹配后的多尺度特征，所述多尺度特征聚合模块用于聚合多粒度特征匹配模块输出的多尺度特征，输出聚合特征，所述重建网络用于将多尺度特征聚合模块输出的聚合特征与低分辨率图像提取网络提取的低分辨率图像特征进行拼接融合，得到重建的输出图像。
CN202311703500.7A 2023-12-13 2023-12-13 基于多粒度匹配及多尺度聚合的超分辨率重建方法及系统 Active CN117391959B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311703500.7A CN117391959B (zh) 2023-12-13 2023-12-13 基于多粒度匹配及多尺度聚合的超分辨率重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311703500.7A CN117391959B (zh) 2023-12-13 2023-12-13 基于多粒度匹配及多尺度聚合的超分辨率重建方法及系统

Publications (2)

Publication Number Publication Date
CN117391959A true CN117391959A (zh) 2024-01-12
CN117391959B CN117391959B (zh) 2024-02-20

Family

ID=89468847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311703500.7A Active CN117391959B (zh) 2023-12-13 2023-12-13 基于多粒度匹配及多尺度聚合的超分辨率重建方法及系统

Country Status (1)

Country Link
CN (1) CN117391959B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107657599A (zh) * 2017-08-07 2018-02-02 北京航空航天大学 基于混合粒度划分和动态负载分配的遥感图像融合系统并行实现方法
US20210342974A1 (en) * 2020-04-29 2021-11-04 Adobe Inc. Texture hallucination for large-scale image super-resolution
CN116797681A (zh) * 2023-05-16 2023-09-22 山东师范大学 渐进式多粒度语义信息融合的文本到图像生成方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107657599A (zh) * 2017-08-07 2018-02-02 北京航空航天大学 基于混合粒度划分和动态负载分配的遥感图像融合系统并行实现方法
US20210342974A1 (en) * 2020-04-29 2021-11-04 Adobe Inc. Texture hallucination for large-scale image super-resolution
CN116797681A (zh) * 2023-05-16 2023-09-22 山东师范大学 渐进式多粒度语义信息融合的文本到图像生成方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
卫星;杨国强;李佳;陆阳;石雷;: "结合多尺度条件生成对抗网络的井下轨道检测", 中国图象图形学报, no. 02 *

Also Published As

Publication number Publication date
CN117391959B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
Mo et al. Fake faces identification via convolutional neural network
CN106991646B (zh) 一种基于密集连接网络的图像超分辨率方法
CN107240066A (zh) 基于浅层和深层卷积神经网络的图像超分辨率重建算法
CN109035146B (zh) 一种基于深度学习的低质量图像超分方法
CN110349087B (zh) 基于适应性卷积的rgb-d图像高质量网格生成方法
CN110060204B (zh) 一种基于可逆网络的单一图像超分辨率方法
CN111861886B (zh) 一种基于多尺度反馈网络的图像超分辨率重建方法
CN113837946B (zh) 一种基于递进蒸馏网络的轻量化图像超分辨率重建方法
CN111242999B (zh) 基于上采样及精确重匹配的视差估计优化方法
CN113538246A (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN113506224A (zh) 基于多尺度生成对抗网络的图像修复方法
CN104899835A (zh) 基于盲模糊估计与锚定空间映射的图像超分辨处理方法
Xia et al. Meta-learning-based degradation representation for blind super-resolution
CN112581423A (zh) 一种基于神经网络的汽车表面缺陷的快速检测方法
Liu et al. Facial image inpainting using multi-level generative network
Li Image super-resolution using attention based densenet with residual deconvolution
CN110047038B (zh) 一种基于层级递进网络的单图像超分辨重建方法
CN113096015B (zh) 基于渐进式感知和超轻量级网络的图像超分辨率重建方法
CN109272450B (zh) 一种基于卷积神经网络的图像超分方法
Quan et al. Deep learning-based image and video inpainting: A survey
CN113379606A (zh) 一种基于预训练生成模型的人脸超分辨方法
CN116797456A (zh) 图像超分辨率重建方法、系统、设备和存储介质
CN117391959B (zh) 基于多粒度匹配及多尺度聚合的超分辨率重建方法及系统
CN116128722A (zh) 基于频域-纹理特征融合的图像超分辨率重建方法及系统
Wang et al. Deep residual network for single image super-resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant