CN112767255A - 基于特征分离融合网络的图像超分辨率重构方法及系统 - Google Patents
基于特征分离融合网络的图像超分辨率重构方法及系统 Download PDFInfo
- Publication number
- CN112767255A CN112767255A CN202110240193.8A CN202110240193A CN112767255A CN 112767255 A CN112767255 A CN 112767255A CN 202110240193 A CN202110240193 A CN 202110240193A CN 112767255 A CN112767255 A CN 112767255A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- module
- super
- fusion network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 76
- 238000000926 separation method Methods 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000005070 sampling Methods 0.000 claims abstract description 24
- 238000000605 extraction Methods 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims 1
- 239000010410 layer Substances 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 238000011161 development Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 3
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于计算机视觉图像技术领域，提供了一种基于特征分离融合网络的图像超分辨率重构方法及系统。其中，该方法包括获取待重构图像，并将其输入至特征分离融合网络中，由特征分离融合网络输出重构的超分辨率图像；其中，所述特征分离融合网络由依次串联的浅层特征提取模块、全局残差学习模块和上采样模块构成；所述浅层特征提取模块用于提取待重构图像的浅层特征，全局残差学习模块用于接收浅层特征，输出精提取的特征，上采样模块用于基于精提取的特征进行上采样，得到超分辨率图像。
Description
技术领域
本发明属于计算机视觉图像技术领域，尤其涉及一种基于特征分离融合网络的图像超分辨率重构方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
随着深度学习技术的快速发展以及计算机计算性能的提升，人们对于图像超分辨率重建这个问题的解决得到了有效提升。图像超分辨率问题本身是一个病态的问题。主要是基于一个真实的高清图像(HR)，在不同的环境下具有不同的退化方向，正是由于一个高清图像可以退化成多个不同的低分辨率图像，所以两者之间的关系就是属于多对一的关系。早期通过数学模型的方法很难使图像超分辨率重建的效果得到有效提升。深度学习技术的快速发展使得这类问题的解决得到了提升的契机，目前已经有大量的关于深度学习解决图像超分辨率的工作被提出，使得这一方向得到了广泛的发展。基于此，随着硬件成像技术，计算机图形学技术等技术的快速发展，图像超分辨率在日常生活中有着广泛的应用。主要的应用领域主要由以下几部分组成：视频图像压缩传输、医学成像、卫星遥感成像、公共安防领域。目前该技术的应用远不止上述领域，在智能手机，抖音短视频，文物图像修复，旧影片重建等领域也已经得到了广泛的应用。超分辨率技术的发展，在各个带动了经济的发展，同时随着深度学习技术的发展，关于该技术的研究得到广大研究人员的热情投入。
近年来，基于深度学习技术的图像超分辨率(SR)取得了显著进展。然而大多数研究方法都具有大量的参数和计算复杂度，所以很难将这些方法应用于实际的生活中。最近，残差学习被广泛应用于超分辨率问题。它可以使从输入图像中提取的浅层特征通过长连接和短连接作用于各个中间层。因此，残差学习可以集中处理高频特征信息，显著提高了网络的SR性能。然而，发明人发现，随着网络的深度不断加深，可以有效利用的特征仍然是从输入图像中提取的浅层特征，这样使得重构的图像分辨率并不能达到设定要求。
发明内容
为了解决上述背景技术中存在的至少一项技术问题，本发明提供一种基于特征分离融合网络的图像超分辨率重构方法及系统，其基于特征分离融合网络(FSFN)，将提取过的特征和未被提取的特征进行分离，然后再融合，这样就进一步提升了特征层次的丰富度，从而使得提取的特征朝着更加逼近于真实图像特征的方向发展，最终能够提高图像重构的分辨率。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种基于特征分离融合网络的图像超分辨率重构方法，其包括：
获取待重构图像，并将其输入至特征分离融合网络中，由特征分离融合网络输出重构的超分辨率图像；
其中，所述特征分离融合网络由依次串联的浅层特征提取模块、全局残差学习模块和上采样模块构成；所述浅层特征提取模块用于提取待重构图像的浅层特征，全局残差学习模块用于接收浅层特征，输出精提取的特征，上采样模块用于基于精提取的特征进行上采样，得到超分辨率图像。
本发明的第二个方面提供一种基于特征分离融合网络的图像超分辨率重构系统，包括：
图像获取模块，其用于获取待重构图像；
图像重构模块，其用于将待重构图像输入至特征分离融合网络中，由特征分离融合网络输出重构的超分辨率图像；
其中，所述特征分离融合网络由依次串联的浅层特征提取模块、全局残差学习模块和上采样模块构成；所述浅层特征提取模块用于提取待重构图像的浅层特征，全局残差学习模块用于接收浅层特征，输出精提取的特征，上采样模块用于基于精提取的特征进行上采样，得到超分辨率图像。
本发明的第三个方面提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于特征分离融合网络的图像超分辨率重构方法中的步骤。
本发明的第四个方面提供一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于特征分离融合网络的图像超分辨率重构方法中的步骤。
与现有技术相比，本发明的有益效果是：
(1)相比于现有基于模型的方法，本方法采用了特征分离融合模块，解决了单层卷积特征提取能力不足的问题，可以做到将提取特征和未被提取特征进行分离，再融合，提高了特征层次的丰富度和准确度；
(2)本方法采用了分块的思想，采用全局级联和局部级联的方式形成了全局残差学习模块和特征分离模块，使得不同层级的特征能够被其他层所学习；
(3)本方法采用了特征分离融合网络，在数学指标以及视觉比较上相较于一些其他算法都表现出最优。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例中特征分离融合网络框架示意图；
图2(a)是本发明实施例中特征分离示意图；
图2(b)是本发明实施例中特征融合示意图；
图3是本发明实施例中特征分离融合模块提取的特征；
图4是本发明实施例中特征分离融合模块未被提取的特征；
图5是本发明实施例中不同算法对来自Urban100数据集中的一张图像重建后的视觉效果。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
本实施例提供了基于特征分离融合网络的图像超分辨率重构方法，其包括：
获取待重构图像，并将其输入至特征分离融合网络中，由特征分离融合网络输出重构的超分辨率图像；
其中，所述特征分离融合网络由依次串联的浅层特征提取模块、全局残差学习模块和上采样模块构成；所述全局残差模块由若干个特征残差学习模块和一个卷积层，外加一个跳跃连接组成；所述特征残差学习模块由若干个特征分离融合模块，一个卷积层和一个短连接组成。
在具体实施中，浅层特征提取模块用于提取待重构图像的浅层特征；
全局残差模块用于接收浅层特征，输出精提取的特征；
上采样模块用于基于精提取的特征进行上采样，得到超分辨率图像。
其中，述浅层特征提取模块由一个卷积层构成。
例如：浅层特征提取模块由一个3×3卷积构成，维度为3，整个卷积核的个数设置为32，输入一副图像的维度为1×F×F×3，那么经过特征提取模块之后特征为定义为sf，输出的维度为1×F×F×32。
浅层特征提取模块具有如下结构：
给定低分辨率图像ILR，高分辨率IHR，超分辨率图像ISR，那么可以从如下公式可得ISR。
ISR＝FFSFN(ILR)
这里FFSFN(·)代表特征分离融合网络。和大多数其他先进的算法一样，浅层特征提取模块也只用到了一个卷积层。如下公式描述所示
sf＝FSFEM(ILR)
这里的FSFEM(·)代表浅层特征提取模块。sf表示提取的浅层特征。提取的浅层特征将被用于全局残差模块的输入，以得到精提取的特征。
如图1所示，全局残差模块(GRLM)共有N个特征残差学习模块和一个卷积层，外加一个跳跃连接组成。特征残差学习模块(FRLM)由M个特征分离融合模块(FSFM)，一个卷积层和一个短连接组成。在我们提出的特征分离融合网络(FSFN)中，设置N＝3，M＝6。
其中，特征残差学习模块(FRLM)以特征分离融合模块为最小单元，进一步提取前一层级提取的特征，这样加深了网络的深度，有利于网络更好的训练学习，提升模型性能。
跳跃连接在图像超分辨率问题上，表现出来的作用就是随着训练的逐步趋向于稳定时，可以将图像的进行频域分离，网络的主体通道处理的是高频信息，而低频信息则会通过跳跃连接最后和学习处理后的高频信息融合。
卷积层用于特征提取。
短连接本质是跳跃连接，按照跨模块的长度来分，跨过一个基础单元的为短连接，跨过多个大的单元的为长连接。
此处需要说明的是，本领域技术人员可以根据实际情况来设置N和M的数值。
全局残差模块具有如下结构：
rf＝FGRLM(sf)
这里的FGRLM(·)代表提出的全局残差学习模块。rf代表精提取的特征。最后rf被用于上采样模块的输入最后生成我们的超分辨率图像ISR。
具体地，全局特征残差学习模块可以由如下公式表示：
rf＝Fconv(ffn)+sf
在上述公式中，Fconv(·)表示一个卷积层，rf表示的是精提取的特征，维度为1×F×F×32，ffj表示的是第i个残差特征学习模块(FRLM)的输出特征，维度为1×F×F×32，该特征又被定义为融合特征。特征残差学习模块可以由如下公式定义：
ffj+1＝Fconv(fm)+ffj
上式中fi表示的是第i+1个特征分离融合模块(FSFMi+1)的输入，维度为1×F×F×32，同时也是第i个特征分离融合模块(FSFMi)的输出。
下面详细介绍特征分离融合模块(FSFM)：
首先我们保存住第一个卷积层(也就是第一个特征残差学习模块中的第一个特征分离融合模块)提取过的特征，和未被提取的特征。图3和图4分别展示了提取的特征和未被提取的特征。然后再将此未被提取的特征再提取，再与第一个提取的特征进行融合，依次类推，所述特征分离融合模块用于接收前一个特征残差学习模块提取的特征及未被提取的特征，将未被提取的特征再提取，再与对应特征残差学习模块提取的特征进行融合。将此模块定义为局部特征提取模块(LFEM)。
正如图2(a)和图2(b)所示。该网络模型可以由如下公式描述：
eufi＝FLFEM(ufi)
在上式中ufi表示的是未被提取的特征，输出的维度为1×F×F×32，eufi表示的是提取未被提取的特征，输出的维度为1×F×F×32。所以特征融合模块(FSFM)可以描述如下：
fi+1＝FFSFM(fi)＝FFFM(FFSM(fi))+fi
上式中FFSFM(·)表示的是我们提出的特征分离融合模块。
如图1所示，本实施例的该特征分离融合网络框架中通用卷积核大小为3，作为特征融合的卷积核大小为1，然后为了保证特征图的一致性，统一维度为32。
需要说明的是，本领域技术人员可根据实际情况来设置特征分离融合网络框架中的通用卷积核大小及维度。
在本实施例中，上采样模块的结构如图1所示，采用的是一个卷积核大小为3的卷积和一个亚像素卷积组成，其中最后一个卷积的维度为32×3×3×3，所以最后输出的图像维度为1×σF×σF×3。σ表示为缩放因子。
上采用模块具有如下结构：
ISR＝FURM(rf)
这里的FURM(·)代表上采样模块。本实施例采用亚像素卷积作为上采样层，这已经被证明是一个非常高效的上采样方法。
在本实施例中，特征分离融合网络的训练过程为：
(1)提供高分辨率图像和其对应的缩放因子为2，3，4的低分辨率图像，并对所述图像进行预处理，获取预处理后的图像，将其组织为训练集和测试集。
例如：提供800张DIV2K数据集含有高分辨率和低分辨率的不同缩放因子图像对，然后准备Set5，Set14，BSD100，Urban100作为测试集。里面的低分辨率图像所采用的方法为双三次插值下采样。
(2)计算目标损失函数；
给定一个训练数据集，表示有N个低分辨率和高分辨率图像对。损失函数就可以用如下方程表示：
上式中θ代表的是模型训练过程中更新的参数，而||·||1表示的就是l1范式。
(3)训练特征分离融合网络，将输入图像进行打包输入，一次输入16张rgb图像，然后按照端到端的训练方式，进行训练得到输出重建图像。然后再按照上述过程进行交替训练。直到损失函数不再下降，则网络训练完成，保存网络参数。
具体地，利用训练集，训练生成特征分离融合网络。我们的网络模型的高清图像采用的是在DIV2K数据集随机剪切192x192大小的。输入图像是对相应的HR图像根据缩放因子(x2，x3，x4)进行双三次下采样插值进行退化所得。训练一次性输入的包大小为16，我们设置滤波器的大小为3，滤波器的数量设置为32。我们的优化器设置为β1＝0.9，β2＝0.999，ε＝10-8，学习速率设置为10-4，并且每训练200次学习速率设置减少一半。我们在单核Titan XpGPU上应用Pytorch框架训练我们的网络。
在测试阶段，将测试集中的图像输入到网络模型中，然后输出超分辨率图像，然后保存。最后将真实高清图像和重建后的超分辨率图像进行计算P峰值信噪比(PSNR)和图像结构相似度(SSIM)。
具体地，在测试阶段，分别将Set5，Set14，BSD100，Urban100测试集中的2，3，4倍率的缩放图像作为输入，然后经过特征分离融合网络得出超分辨率图像，保存图像。图5所示为在Urban100数据集随意挑选的一张图像，各个不同的算法重建后的图像视觉比较。然后再根据超分辨率图像和真实高清图像，计算图像间的峰值信噪比，以及结构相似度。表1和表2分别表示各个算法在不同的数据集上的PSNR和SSIM性能，其中黑色加粗标记部分为最右结果。
表1
表2
实施例二
本实施例提供了一种基于特征分离融合网络的图像超分辨率重构系统，其包括：
图像获取模块，其用于获取待重构图像；
图像重构模块，其用于将待重构图像输入至特征分离融合网络中，由特征分离融合网络输出重构的超分辨率图像；
其中，所述特征分离融合网络由依次串联的浅层特征提取模块、全局残差学习模块和上采样模块构成；所述浅层特征提取模块用于提取待重构图像的浅层特征，全局残差学习模块用于接收浅层特征，输出精提取的特征，上采样模块用于基于精提取的特征进行上采样，得到超分辨率图像。
此处需要说明的是，本实施例的基于特征分离融合网络的图像超分辨率重构系统中的各个模块，与实施例一中的基于特征分离融合网络的图像超分辨率重构方法中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的基于特征分离融合网络的图像超分辨率重构方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的基于特征分离融合网络的图像超分辨率重构方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于特征分离融合网络的图像超分辨率重构方法，其特征在于，包括：
获取待重构图像，并将其输入至特征分离融合网络中，由特征分离融合网络输出重构的超分辨率图像；
其中，所述特征分离融合网络由依次串联的浅层特征提取模块、全局残差学习模块和上采样模块构成；所述浅层特征提取模块用于提取待重构图像的浅层特征，全局残差学习模块用于接收浅层特征，输出精提取的特征，上采样模块用于基于精提取的特征进行上采样，得到超分辨率图像。
2.如权利要求1所述的基于特征分离融合网络的图像超分辨率重构方法，其特征在于，所述全局残差模块由若干个特征残差学习模块和一个卷积层，外加一个跳跃连接组成，所述特征残差学习模块用于提取前一层级提取的特征。
3.如权利要求2所述的基于特征分离融合网络的图像超分辨率重构方法，其特征在于，所述特征残差学习模块由若干个特征分离融合模块，一个卷积层和一个短连接组成，所述特征分离融合模块用于接收前一个特征残差学习模块提取的特征及未被提取的特征，将未被提取的特征再提取，再与对应特征残差学习模块提取的特征进行融合。
4.如权利要求1所述的基于特征分离融合网络的图像超分辨率重构方法，其特征在于，所述浅层特征提取模块由一个卷积层构成。
5.如权利要求1所述的基于特征分离融合网络的图像超分辨率重构方法，其特征在于，所述上采样模块采用亚像素卷积。
6.如权利要求1所述的基于特征分离融合网络的图像超分辨率重构方法，其特征在于，在训练特征分离融合网络的过程中，通过计算目标损失函数来更新目标损失函数中的参数。
7.如权利要求1所述的基于特征分离融合网络的图像超分辨率重构方法，其特征在于，在测试特征分离融合网络的过程中，将真实高清图像和重建后的超分辨率图像进行计算P峰值信噪比和图像结构相似度，以判断重建后的超分辨率图像是否达到设定要求。
8.一种基于特征分离融合网络的图像超分辨率重构系统，其特征在于，包括：
图像获取模块，其用于获取待重构图像；
图像重构模块，其用于将待重构图像输入至特征分离融合网络中，由特征分离融合网络输出重构的超分辨率图像；
其中，所述特征分离融合网络由依次串联的浅层特征提取模块、全局残差学习模块和上采样模块构成；所述浅层特征提取模块用于提取待重构图像的浅层特征，全局残差学习模块用于接收浅层特征，输出精提取的特征，上采样模块用于基于精提取的特征进行上采样，得到超分辨率图像。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的基于特征分离融合网络的图像超分辨率重构方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的基于特征分离融合网络的图像超分辨率重构方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110240193.8A CN112767255B (zh) | 2021-03-04 | 2021-03-04 | 基于特征分离融合网络的图像超分辨率重构方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110240193.8A CN112767255B (zh) | 2021-03-04 | 2021-03-04 | 基于特征分离融合网络的图像超分辨率重构方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112767255A true CN112767255A (zh) | 2021-05-07 |
| CN112767255B CN112767255B (zh) | 2022-11-29 |
Family
ID=75691029
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110240193.8A Active CN112767255B (zh) | 2021-03-04 | 2021-03-04 | 基于特征分离融合网络的图像超分辨率重构方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112767255B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113628115A (zh) * | 2021-08-25 | 2021-11-09 | Oppo广东移动通信有限公司 | 图像重建的处理方法、装置、电子设备和存储介质 |
| CN113658046A (zh) * | 2021-08-18 | 2021-11-16 | 中科天网（广东）科技有限公司 | 基于特征分离的超分辨率图像生成方法、装置、设备和介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109064398A (zh) * | 2018-07-14 | 2018-12-21 | 深圳市唯特视科技有限公司 | 一种基于残差密集网络的图像超分辨率实现方法 |
| CN109903226A (zh) * | 2019-01-30 | 2019-06-18 | 天津城建大学 | 基于对称残差卷积神经网络的图像超分辨率重建方法 |
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
| CN112070702A (zh) * | 2020-09-14 | 2020-12-11 | 中南民族大学 | 多尺度残差特征判别增强的图像超分辨率重构系统及方法 |
| CN112330542A (zh) * | 2020-11-18 | 2021-02-05 | 重庆邮电大学 | 基于crcsan网络的图像重建系统及方法 |
-
2021
- 2021-03-04 CN CN202110240193.8A patent/CN112767255B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109064398A (zh) * | 2018-07-14 | 2018-12-21 | 深圳市唯特视科技有限公司 | 一种基于残差密集网络的图像超分辨率实现方法 |
| CN109903226A (zh) * | 2019-01-30 | 2019-06-18 | 天津城建大学 | 基于对称残差卷积神经网络的图像超分辨率重建方法 |
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
| CN112070702A (zh) * | 2020-09-14 | 2020-12-11 | 中南民族大学 | 多尺度残差特征判别增强的图像超分辨率重构系统及方法 |
| CN112330542A (zh) * | 2020-11-18 | 2021-02-05 | 重庆邮电大学 | 基于crcsan网络的图像重建系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 刘超等: "图像超分辨率卷积神经网络加速算法", 《国防科技大学学报》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113658046A (zh) * | 2021-08-18 | 2021-11-16 | 中科天网（广东）科技有限公司 | 基于特征分离的超分辨率图像生成方法、装置、设备和介质 |
| CN113628115A (zh) * | 2021-08-25 | 2021-11-09 | Oppo广东移动通信有限公司 | 图像重建的处理方法、装置、电子设备和存储介质 |
| CN113628115B (zh) * | 2021-08-25 | 2023-12-05 | Oppo广东移动通信有限公司 | 图像重建的处理方法、装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112767255B (zh) | 2022-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sánchez et al. | Brain MRI super-resolution using 3D generative adversarial networks | |
| CN110969577B (zh) | 一种基于深度双重注意力网络的视频超分辨率重建方法 | |
| Caballero et al. | Real-time video super-resolution with spatio-temporal networks and motion compensation | |
| CN112801901A (zh) | 基于分块多尺度卷积神经网络的图像去模糊算法 | |
| CN112767255B (zh) | 基于特征分离融合网络的图像超分辨率重构方法及系统 | |
| CN109272452B (zh) | 小波域中基于集团结构子带共同学习超分辨率网络的方法 | |
| Ye et al. | Depth super-resolution with deep edge-inference network and edge-guided depth filling | |
| CN116309648A (zh) | 一种基于多注意力融合的医学图像分割模型构建方法 | |
| CN115564649B (zh) | 一种图像超分辨率重建方法、装置及设备 | |
| CN112991231B (zh) | 单图像超分与感知图像增强联合任务学习系统 | |
| Rivadeneira et al. | Thermal image super-resolution challenge-pbvs 2021 | |
| CN113793286B (zh) | 一种基于多阶注意力神经网络的媒体图像水印移除方法 | |
| Zhang et al. | MSFSR: A multi-stage face super-resolution with accurate facial representation via enhanced facial boundaries | |
| CN110852948A (zh) | 基于特征相关性的图像超分辨方法、存储介质及终端设备 | |
| Huang et al. | Hybrid image enhancement with progressive laplacian enhancing unit | |
| CN116563100A (zh) | 一种基于内核引导网络的盲超分辨率重建方法 | |
| CN114972036A (zh) | 一种基于融合退化先验的盲图像超分辨率重建方法和系统 | |
| CN109993701B (zh) | 一种基于金字塔结构的深度图超分辨率重建的方法 | |
| Su et al. | Local-global fusion network for video super-resolution | |
| Liu et al. | Facial image inpainting using multi-level generative network | |
| CN115082306A (zh) | 一种基于蓝图可分离残差网络的图像超分辨率方法 | |
| Zhang et al. | 3d cross-scale feature transformer network for brain mr image super-resolution | |
| CN111462004B (zh) | 图像增强方法和装置、计算机设备、存储介质 | |
| CN106157251A (zh) | 一种基于柯西正则化的人脸超分辨率方法 | |
| CN110895790A (zh) | 基于后验降质信息估计的场景图像超分辨方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |