CN116385272B - 一种图像超分辨率重建方法、系统及设备 - Google Patents
一种图像超分辨率重建方法、系统及设备 Download PDFInfo
- Publication number
- CN116385272B CN116385272B CN202310509122.2A CN202310509122A CN116385272B CN 116385272 B CN116385272 B CN 116385272B CN 202310509122 A CN202310509122 A CN 202310509122A CN 116385272 B CN116385272 B CN 116385272B
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- super
- reference image
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012549 training Methods 0.000 claims abstract description 25
- 230000004927 fusion Effects 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000005070 sampling Methods 0.000 claims abstract description 15
- 230000009977 dual effect Effects 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 14
- 230000015654 memory Effects 0.000 claims description 14
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 101100247599 Hordeum vulgare RCAB gene Proteins 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0463—Neocognitrons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种图像超分辨率重建方法、系统及设备，所述方法包括：通过第一参考图像获取第一图像和输入图像；利用卷积结构下采样提取输入图像浅层特征，得到第二参考图像；通过组合操作处理第二参考图像，得到融合特征图像；将融合特征图像进行迭代上下采样操作，得到第一图像的超分辨率图像；将第一图像超分辨率图像利用对偶卷积结构进行降采样，获得超分辨率降采样图像；通过训练得到图像超分辨率重建模型，使用模型对低分辨率图像进行重建，得到重建完成的超分辨率图像；采用上述方案，可以使超分辨率图像具有丰富纹理，提高了图像超分辨率的性能，实现了充分利用浅层深层图像特征完成图像超分辨率重建。
Description
技术领域
本发明涉及一种图像超分辨率重建方法、系统及设备，尤其涉及一种基于深度学习的图像超分辨率重建方法、系统及设备。
背景技术
图像超分辨率重建是指由一张低分辨率(Low-resolution，LR)图像或者图像序列恢复出高分辨率(High-resolution，HR)图像的技术；高分辨率图像在科学、医学和工程等领域应用广泛，但制作高分辨率图像需要耗费大量时间和资源；因此，通过图像超分辨率重建技术可以从现有的低分辨率图像中获取更多的细节信息，实现高分辨率图像的生成；超分辨率重建技术可分为两类：一种是通过多张低分辨率图像来提高图像分辨率，另一种是仅使用单张低分辨率图像进行超分辨率重建；其中，单图像超分辨率技术因其简便易行而被广泛关注；这种技术通常基于重构方法、基于样例方法或深度学习方法，对输入的低分辨率图像进行处理，并推断出高分辨率图像的细节信息；图像超分辨率重建技术对于提高图像质量、增强图像特征表达能力以及改善视觉效果具有重要意义。
近年来，基于深度学习的图像超分辨率重建方法备受关注；卷积神经网络(Convolution Neural Network,CNN)是一种有效的学习模型，可以通过传统梯度下降法训练模型学习图像特征，适合应用于图像特征的学习与表达；因此，自开创性工作SRCNN被提出以来，许多基于CNN的超分辨率模型被提出，包括使用残差块、密集块等更精细的神经网络架构设计，以及通道注意力、非局部注意力和自适应块聚合等注意力机制；使用基于CNN的图像超分辨率重建方法可以有效提高图像质量；但是，目前现有技术中，卷积核对图像内容的建模效果并不好，尤其是在处理长期依赖关系时，CNN其固定的局部感受野在处理长序列时可能丢失一些上下文信息，且参数量较大，增加模型容量可以改善结果，但通常会导致图像细节和纹理细节的恢复不足。
发明内容
发明目的：本发明的目的是提供一种可以精确重建纹理细节的基于深度学习的图像超分辨率重建方法、系统及设备。
技术方案：本发明所述的图像超分辨率重建方法，包括以下步骤：
(1)将原始高分辨率图像设为第一参考图像，通过第一参考图像获取第一图像和输入图像；
(2)利用卷积结构下采样提取输入图像的浅层特征，得到第二参考图像；
(3)通过组合操作处理第二参考图像，获得第二参考图像的放大特征图，对其进行融合操作，得到融合特征图像；
(4)将融合特征图像进行迭代上下采样操作，提取出深层图像信息进行重建，得到第一图像的超分辨率图像；
(5)将第一图像的超分辨率图像利用对偶卷积结构进行降采样，获得超分辨率降采样图像；
(6)通过训练得到图像超分辨率重建模型，使用模型对低分辨率图像进行重建，得到重建完成的超分辨率图像。
步骤(1)所述的第一图像由第一参考图像通过双三次插值法降采样4倍分辨率得到。
步骤(1)所述的输入图像由第一图像通过卷积结构放大4倍分辨率得到。
步骤(3)所述的组合操作，具体包括依次执行的：多次由若干个剩余通道注意力处理操作、一次转换器操作和一次上采样操作。
步骤(3)所述的融合操作具体为，将第二参考图像的放大特征图与输入图像的浅层特征进行融合操作。
步骤(6)所述的通过训练得到图像超分辨率重建模型，具体方法为将超分辨率图像与第一参考图像进行迭代更新运算，采用最小绝对值偏差损失函数训练预训练模型，以及将超分辨率降采样图像与所述第一图像进行迭代更新运算，采用最小绝对值偏差损失函数训练预训练模型，得到完成训练的图像超分辨率重建模型。
本发明还提供了一种图像超分辨率重建系统，包括发送单元和接收单元。
所述发送单元，包含图像预处理模块和发送模块，其中：所述图像预处理模块，用于通过第一参考图像获取第一图像和输入图像；所述发送模块，用于将第一图像和输入图像发送到接收单元。
所述接收单元，包含接收模块、特征提取模块、图像重建模块和输出模块，其中：所述接收模块，用于接收发送单元输出的结果；所述特征提取模块，用于利用卷积结构下采样提取输入图像的浅层特征，得到第二参考图像；所述图像重建模块，用于通过组合操作处理第二参考图像，获得第二参考图像的放大特征图，对其进行融合操作，得到融合特征图像；将融合特征图像进行迭代上下采样操作，提取出深层图像信息进行重建，得到第一图像的超分辨率图像；将第一图像的超分辨率图像利用对偶卷积结构进行降采样，获得超分辨率降采样图像；通过训练得到图像超分辨率重建模型，使用模型对低分辨率图像进行重建，得到重建完成的超分辨率图像；所述输出模块，用于将得到的重建完成的超分辨率图像输出到指定位置。
本发明还提供了一种图像超分辨率重建设备，包括存储器、处理器、接口装置和通信装置，其中：所述存储器，用于存储程序指令；所述处理器，用于调用存储器中存储的程序指令，执行所述图像超分辨率重建方法的步骤(1)-(6)；所述接口装置，用于提供有线或无线通讯的接口；所述通信装置，用于进行短程或远程通信。
有益效果：与现有技术相比，本发明具有如下显著优点：1、去除多余伪影保留高频细节的同时获得更清晰的边缘与纹理，重建的超分辨率图像更加逼真；2、减少了重建LR图像时额外映射空间，提高了图像超分辨率重建模型性能，更加充分利用所述第一图像的浅层及深层特征。
附图说明
图1为本发明实施例提供的图像超分辨率重建方法的流程示意图；
图2为本发明实施例图像接收后应用图像超分辨率重建方法的具体流程图；
图3为本发明实施例的特征提取模块的图像处理过程示意图；
图4为本发明实施例的图像重建模块中残差转换网络图像处理过程示意图；
图5为本发明实施例的图像重建模块的图像处理过程示意图；
图6为本发明实施例的对偶回归模块的图像处理过程示意图；
图7为本发明实施例的图像超分辨率重建方法的全过程示意图；
图8为本发明实施例提供的图像超分辨率重建系统的示意图；
图9为本发明实施例提供的图像超分辨率重建设备的示意图。
具体实施方式
下面结合附图与实施例对本发明的技术方案作进一步说明。
如附图1所示，本发明实施例供的图像超分辨率重建方法的流程图，具体步骤包括：
步骤S101：将原始高分辨率图像设为第一参考图像，通过第一参考图像获取第一图像和输入图像；第一图像由第一参考图像通过双三次插值法降采样4倍分辨率得到，再将第一图像通过卷积结构放大4倍分辨率，获得输入图像。其中，第一图像小于256*256，第一参考图像不小于256*256，输入图像不小于256*256；例如，第一图像分辨率为64*64，第一参考图像分辨率为256*256，输入图像分辨率为256*256。
步骤S102：利用卷积结构下采样提取输入图像的浅层特征，得到第二参考图像；将输入图像传输至特征提取模块，利用卷积结构下采样提取输入图像浅层特征，获得第二参考图像。其中，第二参考图像分辨率等于第一图像分辨率。第二参考图像分辨率不小于64*64；例如，第二参考图像分辨率为64*64。
步骤S103：通过组合操作处理第二参考图像，获得第二参考图像的放大特征图，对其进行融合操作，得到融合特征图像；将第二参考图像依次进行剩余通道注意力机制、转换器及上采样处理，获得第二参考图像的放大特征图。再将第二参考图像的放大特征图与输入图像的浅层特征进行融合操作，获得融合特征图像。
步骤S104：将融合特征图像进行迭代上下采样操作，提取深层图像信息进行重建，得到第一图像的超分辨率图像；其中，第一图像的超分辨率图像的分辨率等于第一参考图像的分辨率；例如，第一参考图像分辨率为256*256，第一图像的超分辨率图像的分辨率为256*256。
步骤S105：将第一图像的超分辨率图像利用对偶卷积结构，获得超分辨率降采样图像；其中，超分辨率降采样图像分辨率等于第一图像分辨率；例如，第一图像分辨率为64*64，超分辨率降采样图像分辨率为64*64。
步骤S106：通过训练得到图像超分辨率重建模型，使用模型对低分辨率图像进行重建，得到重建完成的超分辨率图像；将超分辨率图像与第一参考图像进行迭代更新运算，采用最小绝对值偏差损失函数训练预训练模型，以及将超分辨率降采样图像与所述第一图像进行迭代更新运算，采用最小绝对值偏差损失函数训练预训练模型，得到完成训练的图像超分辨率重建模型。使用模型对低分辨率图像进行重建，得到重建完成的超分辨率图像。
图像接收后应用本实施例的图像超分辨率重建方法的具体流程图如附图2所示。
如附图3所示，在具体实施例中特征提取模块的图像处理的过程，采用具体数据对方法进行阐述，包括：图片接收第一图像ILR∈RC×H×W、第一参考图像IHR∈RC ×(H·scale)×(W·scale)，第一图像首先经过一个卷积核大小为3×3，步长为1，padding为1，通道数为3的卷积层，得到输入图像Imgx∈RC×(H·scale)×(W·scale)。
再将输入图像输入到特征提取模块。经过两个下采样结构，下采样结构CLC为一个卷积核k大小为3×3，步长为2，padding为1的卷积层、一个LeakyRelu激活函数及一个卷积核k大小为3×3，步长为1，padding为1的卷积层组成。输入图像的浅层特征利用下采样结构提取，将输入图像下采样4倍获得第二参考图像Imgi∈RC×H×W，公式表示为
如附图4所示，在具体实施例中图像重建模块中残差转换网络图像处理过程，包括：将第二参考图像输入至重建模块后经过一个RSTP网络，RSTP网络由4个剩余通道注意块RCAB结构、1个RSTB结构及一个上采样组成。其中RCAB结构由四个卷积核大小为3×3的Conv卷积层、一个Relu激活函数、一个池化层、一个Sigmoid激活函数及注意力机制组成。使用RCAB结构构建基本RSTP网络增加网络深度并使网络能专注于第二参考图像特征中信息量更多的部分。从而获得第二参考图像的放大特征图Imgt∈RC×(H·scale)×(W·scale)，公式表示为Imgt＝F(Imgi)。其中RSTB结构由6个STL结构及一个卷积层组成，STL结构由两个LayerNorm层、一个多头注意力机制及一个多层感知器组成，将第二参考图像特征重新塑造为的特征，首先划分为M×M个不重叠窗口，窗口数量为/>再计算每个窗口的自注意力。其中，上采样结构由一个卷积核大小为3×3的Conv卷积层、一个PixelShuffle像素重组函数及一个卷积核大小为1×1的Conv卷积层组成。
如附图5所示，在具体实施例中图像重建模块的图像处理过程，提供了一种将残差转换网络与迭代上下采样相结合的图像重建方法，具体如下：将第二参考图像Imgi∈RC×H×W输入至图像重建模块，经过两个RSTP网络及两个迭代上下采样方法对第二参考图像特征进行深度提取，并将输入图像的浅层特征F0与从第二参考图像中提取到的放大特征Ff相融合,公式表示为F＝Concat(F0+Ff)。其次提取出深层图像信息进行重建，得到第一图像的超分辨率图像ISR∈RC×(H·scale)×(W·scale)，全重建流程公式表示为ISR＝G(ILR)。
如附图6所示，在具体实施例中对偶回归模块的图像处理过程，包括：将第一图像的超分辨率图像ISR∈RC×(H·scale)×(W·scale)输入到CLCT模块，CLCT模块和下采样结构CLC相似，由一个卷积核k大小为3×3，步长为1，padding为1的卷积层、一个LeakyRelu激活函数及一个卷积核k大小为3×3，步长为2，padding为1的卷积层组成。两个CLCT模块使第一图像的超分辨率图像下采样到与第二参考图像同等分辨率的图像，获得超分辨率降采样图像，表示为ILR'∈RC×H×W，将ILR'图像与ILR图像通过最小绝对偏差损失作差得到对偶回归损失函数。
在具体实施例中，BatchSize设定为12，PatchSize设定为64，初始学习率设定为10-5，迭代总次数为1000次。使用最小绝对偏差L1及对偶回归损失LD为损失函数，选择Adam优化器优化训练，m为m个未配对高分辨率图像，n为n组通过双三次插值法合成的配对数据集(LR-HR)，其中m与n的数量占比为3:7，公式表示为使用训练完成的图像超分辨率重建模型对低分辨率图像进行重建，可得到重建完成的超分辨率图像。
如附图7所示，为具体实施例的图像超分辨率重建方法的全过程示意图。如图7所示，包括：将附图3、附图4、附图5和附图6结合起来，包括：特征提取模块、残差转换网络模块、图像重建模块及对偶回归模块。
如附图8所示，其为本发明实施例中提供的图像超分辨率重建装置的系统示意图，包括：发送单元与接收单元，该系统能够实现步骤S101-S106，发送单元包括：发送模块71，用于将经过压缩后的低分辨率图像，即第一图像，发送到指定接收位置；图像预处理模块72，将原始高分辨率图像，即第一参考图像，通过双三次插值法压缩至低分辨率图像；接收单元包括：接收模块73，用于接收经过压缩后的低分辨率图像，即第一图像；特征提取模块74，用于对第一图像放大后的输入图像进行特征提取，得到第二参考图像；其中第二参考图像包含第一图像的高低频信息；图像重建模块75，采用残差转换网络对第二参考图像进行深层特征提取，并重建出超分辨率图像；其中残差转换网络具有4个级联的剩余通道注意块及6个STL块(Swin Transformer Layer),在每一级剩余通道注意块和STL块中对第二参考图像进行放大操作，得到第二参考图像放大特征图像；再对第二参考图像放大特征图像与特征提取模块中提取到输入图像的浅层特征进行特征融合，再进行迭代上下采样操作，得到第一图像的超分辨率图像将第一图像的超分辨率图像利用对偶卷积结构，获得超分辨率降采样图像，通过训练得到图像超分辨率重建模型，使用模型对低分辨率图像进行重建，最终得到重建的超分辨率图像；输出模块76，用于将得到重建得到的超分辨率图像输出到指定位置。
如附图9所示，其为本发明实施例中提供的图像超分辨率重建设备的硬件结构示意图，包括：图像发送设备及图像接收设备，图像发送设备通过有线或无线的方式与图像接收设备连接并通信，传输相关图像数据；发送方的图像发送设备可通过处理器500中的计算机程序将存储器600中的原始高分辨率图像压缩为低分辨率图像，并通过接口装置700和通信装置800将其发送给接收方的图像接收设备；接收方的设备在存储器600中保存接收到的图像，并通过处理器500中的本实施例的图像超分辨率重建方法将图像恢复为超分辨率图像；该图像超分辨率重建设备该设备可以包含图8的发送装置和接收装置，也可以是其他有能力进行图像处理的装置，在此不做限定；其中，计算机程序产品包括计算机可读存储介质，上面存储着用于实现本发明的计算机可读程序指令，这些指令可以是机器指令、汇编语言指令、高级语言指令和脚本语言指令等；计算机可读介质是一种有形设备，例如硬盘、随机存取存储器、只读存储器或便携式压缩盘只读存储器，它可以保存和存储由指令执行设备使用的指令。
该系统可适用于各种类型的图像，如自然图像、视频帧图像、公开遥感图像等。图像发送设备和图像接收设备均包括处理器500、存储器600、接口装置700和通信装置800，并具备不同类型的存储器和接口装置，通信装置支持有线或无线通信，例如有线通信包括以太网、USB、HDMI及串口，短程无线通信协议Wi-Fi、Bluetooth、ZigBee等。图像发送设备的存储器600中存储有计算机程序，可以用来执行特定操作；该程序可用于压缩原始高分辨率图像，产生压缩后的低分辨率图像，并把它发送到图像接收设备。图像接收设备的存储器600中同样存储有计算机程序，用于处理器500执行基于本实现例的图像超分辨率方法。该方法能够通过接收到的低分辨率图像，即第一图像，重建出高分辨率原始图像，即第一图像的超分辨率图像，以完成图像恢复。
Claims (3)
1.一种图像超分辨率重建方法，其特征在于，包括以下步骤：
(1)将原始高分辨率图像设为第一参考图像，通过第一参考图像获取第一图像和输入图像；所述第一图像由第一参考图像通过双三次插值法降采样4倍分辨率得到，所述输入图像由第一图像通过卷积结构放大4倍分辨率得到；
(2)利用卷积结构下采样提取输入图像的浅层特征，得到第二参考图像；所述第二参考图像分辨率等于第一图像分辨率；
(3)通过组合操作处理第二参考图像，获得第二参考图像的放大特征图，对其进行融合操作，得到融合特征图像；所述第二参考图像的放大特征图，由第二参考图像依次进行剩余通道注意力机制、转换器及上采样处理得到；所述融合特征图像，由第二参考图像的放大特征图与输入图像的浅层特征进行融合操作得到；
(4)将融合特征图像进行迭代上下采样操作，提取出深层图像信息进行重建，得到第一图像的超分辨率图像；所述第一图像的超分辨率图像的分辨率等于第一参考图像的分辨率；
(5)将第一图像的超分辨率图像利用对偶卷积结构进行降采样，获得超分辨率降采样图像；所述超分辨率降采样图像分辨率等于第一图像分辨率；
(6)通过训练得到图像超分辨率重建模型，将超分辨率图像与第一参考图像进行迭代更新运算，采用最小绝对值偏差损失函数训练预训练模型，以及将超分辨率降采样图像与所述第一图像进行迭代更新运算，采用最小绝对值偏差损失函数训练预训练模型，得到完成训练的图像超分辨率重建模型，使用模型对低分辨率图像进行重建，得到重建完成的超分辨率图像。
2.一种图像超分辨率重建系统，其特征在于，包括发送单元和接收单元；
所述发送单元，包含图像预处理模块和发送模块，其中：
所述图像预处理模块，用于将原始高分辨率图像设为第一参考图像，通过第一参考图像获取第一图像和输入图像；所述第一图像由第一参考图像通过双三次插值法降采样4倍分辨率得到，所述输入图像由第一图像通过卷积结构放大4倍分辨率得到；
所述发送模块，用于将第一图像和输入图像发送到接收单元；
所述接收单元，包含接收模块、特征提取模块、图像重建模块和输出模块，其中：
所述接收模块，用于接收发送单元输出的结果；
所述特征提取模块，用于利用卷积结构下采样提取输入图像的浅层特征，得到第二参考图像；所述第二参考图像分辨率等于第一图像分辨率；
所述图像重建模块，用于通过组合操作处理第二参考图像，获得第二参考图像的放大特征图，对其进行融合操作，得到融合特征图像，所述第二参考图像的放大特征图，由第二参考图像依次进行剩余通道注意力机制、转换器及上采样处理得到；所述融合特征图像，由第二参考图像的放大特征图与输入图像的浅层特征进行融合操作得到；将融合特征图像进行迭代上下采样操作，提取出深层图像信息进行重建，得到第一图像的超分辨率图像，所述第一图像的超分辨率图像的分辨率等于第一参考图像的分辨率；将第一图像的超分辨率图像利用对偶卷积结构进行降采样，获得超分辨率降采样图像，所述超分辨率降采样图像分辨率等于第一图像分辨率；通过训练得到图像超分辨率重建模型，将超分辨率图像与第一参考图像进行迭代更新运算，采用最小绝对值偏差损失函数训练预训练模型，以及将超分辨率降采样图像与所述第一图像进行迭代更新运算，采用最小绝对值偏差损失函数训练预训练模型，得到完成训练的图像超分辨率重建模型，使用模型对低分辨率图像进行重建，得到重建完成的超分辨率图像；
所述输出模块，用于将得到的重建完成的超分辨率图像输出到指定位置。
3.一种图像超分辨率重建设备，其特征在于，包括存储器、处理器、接口装置和通信装置，其中：
所述存储器，用于存储程序指令；
所述处理器，用于调用存储器中存储的程序指令，执行如权利要求1中所述图像超分辨率重建方法的步骤(1)-(6)；
所述接口装置，用于提供有线或无线通讯的接口；
所述通信装置，用于进行短程或远程通信。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310509122.2A CN116385272B (zh) | 2023-05-08 | 2023-05-08 | 一种图像超分辨率重建方法、系统及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310509122.2A CN116385272B (zh) | 2023-05-08 | 2023-05-08 | 一种图像超分辨率重建方法、系统及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116385272A CN116385272A (zh) | 2023-07-04 |
| CN116385272B true CN116385272B (zh) | 2023-12-19 |
Family
ID=86967600
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310509122.2A Active CN116385272B (zh) | 2023-05-08 | 2023-05-08 | 一种图像超分辨率重建方法、系统及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116385272B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
| CN115063297A (zh) * | 2022-06-30 | 2022-09-16 | 中国人民解放军战略支援部队信息工程大学 | 基于参数重构的图像超分辨率重建方法及系统 |
| CN115564649A (zh) * | 2022-09-27 | 2023-01-03 | 苏州大学 | 一种图像超分辨率重建方法、装置及设备 |
| CN115937707A (zh) * | 2022-12-29 | 2023-04-07 | 南京信息工程大学 | 基于多尺度残差注意力模型的sar影像水体提取方法 |
-
2023
- 2023-05-08 CN CN202310509122.2A patent/CN116385272B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
| CN115063297A (zh) * | 2022-06-30 | 2022-09-16 | 中国人民解放军战略支援部队信息工程大学 | 基于参数重构的图像超分辨率重建方法及系统 |
| CN115564649A (zh) * | 2022-09-27 | 2023-01-03 | 苏州大学 | 一种图像超分辨率重建方法、装置及设备 |
| CN115937707A (zh) * | 2022-12-29 | 2023-04-07 | 南京信息工程大学 | 基于多尺度残差注意力模型的sar影像水体提取方法 |
Non-Patent Citations (2)
| Title |
|---|
| Deep residual networks with a fully connected reconstruction layer for single image super-resolution;Yongliang Tang 等;《Neurocomputing》;第405卷;186-199 * |
| 融合多路径与混合注意力的遥感图像超分辨率重建;李千 等;《小型微型计算机系统》;第44卷(第7期);1508-1513 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116385272A (zh) | 2023-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109903228B (zh) | 一种基于卷积神经网络的图像超分辨率重建方法 | |
| CN111047515A (zh) | 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法 | |
| CN111667424B (zh) | 一种基于无监督的真实图像去噪方法 | |
| CN109146788A (zh) | 基于深度学习的超分辨率图像重建方法和装置 | |
| CN111932461B (zh) | 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统 | |
| CN111402128A (zh) | 一种基于多尺度金字塔网络的图像超分辨率重建方法 | |
| CN109146813B (zh) | 一种多任务图像重建方法、装置、设备和介质 | |
| CN112950471A (zh) | 视频超分处理方法、装置、超分辨率重建模型、介质 | |
| CN111353939B (zh) | 一种基于多尺度特征表示与权值共享卷积层的图像超分辨率方法 | |
| CN111028153A (zh) | 图像处理和神经网络训练方法、装置及计算机设备 | |
| CN114331831A (zh) | 一种轻量化的单张图像超分辨率重建方法 | |
| CN115953303B (zh) | 结合通道注意力的多尺度图像压缩感知重构方法及系统 | |
| CN112767243B (zh) | 一种高光谱图像超分辨率的实现方法及系统 | |
| CN113902658B (zh) | 基于密集多尺度网络的rgb图像到高光谱图像重建方法 | |
| CN112699844A (zh) | 一种基于多尺度残差层级密连接网络的图像超分辨率方法 | |
| CN109118428B (zh) | 一种基于特征增强的图像超分辨率重建方法 | |
| CN111353938A (zh) | 一种基于网络反馈的图像超分辨率学习方法 | |
| CN115829834A (zh) | 基于半耦合深度卷积字典学习的图像超分辨率重建方法 | |
| CN111667412A (zh) | 基于交叉学习网络的图像超分辨率的重建方法及装置 | |
| CN116385272B (zh) | 一种图像超分辨率重建方法、系统及设备 | |
| CN116188272B (zh) | 适用于多模糊核的两阶段深度网络图像超分辨率重建方法 | |
| CN116385265B (zh) | 一种图像超分辨率网络的训练方法及装置 | |
| CN116797541A (zh) | 一种基于Transformer的肺部CT图像超分辨率重建方法 | |
| CN114529482B (zh) | 基于小波多通道深度网络的图像压缩感知重建方法 | |
| CN116468812A (zh) | 一种基于多分支和多尺度的图像压缩感知重构方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |