CN113658044A - 提高图像分辨率的方法、系统、装置及存储介质 - Google Patents
提高图像分辨率的方法、系统、装置及存储介质 Download PDFInfo
- Publication number
- CN113658044A CN113658044A CN202110884842.8A CN202110884842A CN113658044A CN 113658044 A CN113658044 A CN 113658044A CN 202110884842 A CN202110884842 A CN 202110884842A CN 113658044 A CN113658044 A CN 113658044A
- Authority
- CN
- China
- Prior art keywords
- characteristic information
- information
- resolution
- image
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000004821 distillation Methods 0.000 claims abstract description 44
- 238000000605 extraction Methods 0.000 claims description 52
- 238000012545 processing Methods 0.000 claims description 27
- 230000008713 feedback mechanism Effects 0.000 claims description 13
- 230000007246 mechanism Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 36
- 238000012360 testing method Methods 0.000 description 19
- 238000004364 calculation method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 8
- 230000007547 defect Effects 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 8
- 230000003321 amplification Effects 0.000 description 6
- 230000006872 improvement Effects 0.000 description 6
- 238000003199 nucleic acid amplification method Methods 0.000 description 6
- 230000008447 perception Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000012418 validation experiment Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 206010047571 Visual impairment Diseases 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000009916 joint effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种提高图像分辨率的方法，所述方法包括：获取低分辨率图像的特征信息并进行卷积操作得到浅层特征信息；将所述浅层特征信息和反馈特征信息进行增强信息多重蒸馏模块(EIMDB)得到中层特征信息；将所述中层特征信息进行信息多重蒸馏模块(IMDB)得到深层特征信息；根据所述浅层特征信息、中层特征信息和所述深层特征信息得到所述反馈特征信息；根据所述中层特征信息、深层特征信息和所述低分辨率图像的特征信息得到低分辨率图像重建后的超分辨率图片信息。本发明还公开一种提高图像分辨率的系统、装置及存储介质。本发明旨在提高低分辨率图片的重建效果的同时进一步减少参数量和计算量。
Description
技术领域
本发明涉及单图像超分辨率领域，尤其涉及一种提高图像分辨率的方法、系统、装置及存储介质。
背景技术
图片是记录人们生活和历史场景重现的重要载体，特别是在交通流量预测、遥感以及刑侦取证等城市治理方面拥有非常多的图像数据。随着高分辨率的显示设备的涌现，低分辨率的图片无法在高分辨率设备上获得良好的视觉效果。单图像超分辨率(SingleImage Super-Resolution，SISR)重建算法目的是将低分辨率图片通过一系列算法恢复成视觉效果良好的高分辨率图像。实际上，单图像超分辨率属于不适定的算法问题，即对于任意的低分辨率图像，都有可能存在无数的高分辨率图像与之对应。单图像超分辨率技术不仅能够从清晰度较低的图片中恢复清晰度，而且由于超分辨率方法是对所拍摄的照片进行处理，能够节约更换或升级摄像头元器件的成本。现有技术缺点①：大型超分辨率网络参数量和计算量高；现有技术缺点②：轻量级超分辨率算法降低了超分辨率重建效果。
针对现有技术缺点①提出的改进，由Dong等人提出的基于卷积神经网络的超分辨率重建网络(SRCNN，Super-Resolution Convolution Neural Network) 首次将三层卷积神经网络应用于图像超分辨率领域，并取得了比传统方法更好的效果。由Kim等人提出的基于深度递归卷积的神经网络(DRCN，Deep Recursive Convolution Network)将递归神经网络应用于超分辨率，在不增加网络参数量的情况下使得特征提取部分通过循环结构重复学习。然而早期基于深度学习的超分辨率将图像放大后直接输入进网络，这导致特征映射较大，增加了网络的参数量和计算量。由Dong等人提出的加速超分辨率卷积神经网络(FSRCNN，,Faster Super-Resolution Convolution Neural Network)和由Shi 等人提出的亚像素卷积神经网络(ESPCN，Enhance Sub-Pixel Convolution Network)分别采用了反卷积和亚像素卷积的方法，低分辨率图像直接通过网络进行特征提取，减少了由于特征映射放大导致的计算量增加。但是，为了提高超分辨率重建的效果，通常会加深网络结构。即便是使用了反卷积或亚像素卷积的重建方法，网络的计算量与参数量还是不可避免的增加。
针对现有技术缺点②提出的改进，由Ahn等人提出的瀑布残差网络CARN(Cascading Residual Network)使用瀑布级联的方式，虽然在拥有少量参数量的同时增加了卷积层之间的信息交互，但是增加的级联操作大幅提高了计算量，由Hui等人提出的信息蒸馏网络(IDN，Information Distillation Network) 将特征提取模块分成信息增强单元和压缩单元，分别将特征进行提取和去除特征中冗余信息。但是网络大部分都是前馈传播，特征信息缺少相互学习，导致重建效果一般。因此，亟需采用一种提高图像超分辨率重建效果的同时，还可以进一步减少参数量和计算量的图像处理方法。
发明内容
本发明的主要目的在于提供一种提高图像分辨率的方法、系统、装置及存储介质，旨在解决现有的低分辨率图片利用单图像超分辨率技术无法保障在提高分辨率重建效果的同时进一步减少参数量和计算量的技术问题。
为实现上述目的，本发明提供一种提高图像分辨率的方法，所述方法包括以下步骤：
获取低分辨率图像的特征信息并进行卷积操作得到浅层特征信息；
将所述浅层特征信息和反馈特征信息进行增强信息多重蒸馏模块 (EIMDB，Enhance Information Multi-Distillation Network Block)操作得到中层特征信息；
将所述中层特征信息进行信息多重蒸馏模块(IMDB，Information Multi-Distillation Block)操作得到深层特征信息；
根据所述浅层特征信息、中层特征信息和所述深层特征信息得到所述反馈特征信息；
根据所述中层特征信息、深层特征信息和所述低分辨率图像的特征信息得到低分辨率图像重建后的超分辨率图片信息。
可选地，所述信息多重蒸馏模块(IMDB)操作的步骤，包括：
将接收到的第一初始图像特征信息依次进行四次3×3卷积操作得到对应的第一分处理目标特征信息；
将各第一分处理目标特征信息进行级联操作得到处理后的第一目标特征信息；
将所述处理后的第一目标特征信息进行坐标注意力(CA,Coordinate Attention)机制处理和1×1卷积，并与接收到的第一初始图像特征信息进行相加得到一次信息多重蒸馏模块(IMDB)操作后的输出图像特征信息。
可选地，所述增强信息多重蒸馏模块(EIMDB)操作的步骤，包括：
将接收到的第二初始图像特征信息依次进行四次残影模块(Ghost Module)操作得到第二目标特征信息；
将所述处理后的第二目标特征信息进行坐标注意力(CA,Coordinate Attention)机制处理和1×1卷积操作，并与接收到的第二初始图像特征信息进行相加得到一次增强信息多重蒸馏模块(EIMDB)操作后的输出图像特征信息。
可选地，所述残影模块(Ghost Module)操作的步骤，包括：
将接收的第三初始图像特征信息进行1×1卷积操作得到卷积后的初始特征信息；
将所述主要特征信息进行1×1分组卷积操作得到分组特征信息；
将所述初始特征信息和分组特征信息进行级联操作得到一次残影模块 (GhostModule)操作后的输出图像特征信息。
可选地，所述获取低分辨率图像的特征信息并进行卷积操作得到浅层特征信息的步骤，包括：
将获取的低分辨率图像的特征信息采用3×3卷积和1×1卷积操作输出浅层特征信息，所述操作公式如下：
FL＝conv1×1(ReLU((conv3×3(ReLU(ILR)))))；
其中，FL表示浅层特征信息，conv1×1和conv3×3分别表示卷积核大小为1×1 和3×3的卷积操作，ILR表示输入的低分辨率图像的特征信息，ReLU()是激活函数；
所述将所述浅层特征信息和反馈特征信息进行增强信息多重蒸馏模块 (EIMDB)操作得到中层特征信息的步骤，包括：
将所述浅层特征信息、反馈特征信息采用N个EIMDB模块来进行中层特征信息的提取，所述操作公式如下：
其中，FM表示中层特征信息，Fi EIMDB表示中层特征提取里第i个EIMDB 模块的输出信息(1<i≤N),FFB表示反馈特征信息。
可选地，所述将所述中层特征信息进行信息多重蒸馏模块(IMDB)操作得到深层特征信息的步骤，包括：
将所述中层特征信息采用M个IMDB模块进行深层特征信息的提取，所述操作公式如下：
其中，FH表示深层特征信息，Fj IMDB表示深层特征提取里第j个IMDB模块的输出(1<j≤M)；
所述根据所述浅层特征信息、中层特征信息和所述深层特征信息得到所述反馈特征信息的步骤，包括：
将所述浅层特征信息、中层特征信息和所述深层特征信息经过级联操作和两次1×1卷积得到反馈特征信息，所述操作公式如下：
FFB＝conv1×1(concat(conv1×1(ReLU((concat(FM,FH))),FL))；
其中，FFB表示反馈特征信息，FL表示浅层特征信息，FM表示中层特征信息，FM表示中层特征信息。
可选地，所述根据所述中层特征信息、深层特征信息进和所低分辨率图像的特征信息得到低分辨率图像重建后的超分辨率图片信息的步骤，包括：
将所述深层特征信息和中层特征信息通过级联操作和1×1卷积得到初始重建特征信息并将所述初始重建特征信息与浅层特征提取进行相加操作、3× 3卷积和一个亚像素卷积操作得到低分辨率图像重建后的超分辨率图片信息；
所述操作公式如下：
FR＝fsub(conv3×3(conv1×1(ReLU(concat(FM,FH)))+ILR))；
ISR＝FR；
其中ISR表示超分辨率图片信息，FR表示图像重建特征信息，fsub表示亚像素卷积操作。
此外，为实现上述目的，本发明提高图像分辨率的系统，包括：
浅层特征提取模块，用于获取低分辨率图像的特征信息并进行卷积操作得到浅层特征信息；
中层特征提取模块，用于将所述浅层特征信息和反馈特征信息进行增强信息多重蒸馏模块(EIMDB)操作得到中层特征信息；
深层特征提取模块，用于将所述中层特征信息进行信息多重蒸馏模块 (IMDB)操作得到深层特征信息；
反馈机制模块，用于根据所述浅层特征信息、中层特征信息和所述深层特征信息得到所述反馈特征信息；
重建模块，用于根据所述中层特征信息、深层特征信息和所述低分辨率图像的特征信息得到低分辨率图像重建后的超分辨率图片信息。
此外，为实现上述目的，本发明提高图像分辨率的装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的提高图像分辨率的程序，所述提高图像分辨率的程序被所述处理器执行时实现如上述所述的提高图像分辨率的方法的步骤。
此外，为实现上述目的，本发明还提供一种存储介质，所述存储介质上存储有提高图像分辨率的程序，所述提高图像分辨率的程序被处理器执行时实现如上述所述的提高图像分辨率的方法的步骤。
本发明提供一种提高图像分辨率的方法，通过获取低分辨率图像的特征信息并进行卷积操作得到浅层特征信息；将所述浅层特征信息和反馈特征信息进行增强信息多重蒸馏模块(EIMDB)得到中层特征信息；将所述中层特征信息进行信息多重蒸馏模块(IMDB)得到深层特征信息；根据所述浅层特征信息、中层特征信息和所述深层特征信息得到所述反馈特征信息；根据所述中层特征信息、深层特征信息和所述低分辨率图像的特征信息得到低分辨率图像重建后的超分辨率图片信息。采用低分辨率图像分批次处理有效地降低了数据参数量和数据计算量，并引用了反馈机制模块可以实现提高低层和高层特征信息之间的联系，进而实现将低分辨率图片转换成超分辨率图片，使得提高了低分辨率图片的重建效果的同时也降低了重建过程中的计算量和参数量。
附图说明
图1是本发明实施例方案涉及的提高图像分辨率的装置的结构示意图；
图2为本发明提高图像分辨率的方法的实施例的流程示意图；
图3为本发明实施例方案涉及的提高图像分辨率的系统的模块结构示意图；
图4为图3中的IMDB模块结构示意图；
图5为图3中的EIMDB模块结构示意图；
图6为图5中的GhostModule模块结构示意图；
图7为图4和图5中的CA机制模块结构示意图；
图8为本申请验证实验中的Set14测试集中的第一测试图片不同方式处理后的对比图；
图9为本申请验证实验的Urban100测试集中的第二测试图片图片不同方式处理后的对比图；
图10为本申请验证实验的Urban100测试集中的第三测试图片不同方式处理后的对比图；
图11为本申请验证实验的Urban100测试集中的第四测试图片不同方式处理后的对比图；
图12为本申请验证实验中的Urban100测试集在放大两倍数下的参数量对比散点图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：
由于现有技术缺点①：大型超分辨率网络参数量和计算量高；现有技术缺点②：轻量级超分辨率算法降低了超分辨率重建效果。
针对现有技术缺点①提出的改进，由Dong等人提出的基于卷积神经网络的超分辨率重建网络(SRCNN)首次将三层卷积神经网络应用于图像超分辨率领域，并取得了比传统方法更好的效果。由Kim等人提出的基于深度递归卷积的神经网络(DRCN)将递归神经网络应用于超分辨率，在不增加网络参数量的情况下使得特征提取部分通过循环结构重复学习。然而早期基于深度学习的超分辨率将图像放大后直接输入进网络，这导致特征映射较大，增加了网络的参数量和计算量。由Dong等人提出的加速超分辨率卷积神经网络(FSRCNN)和由Shi等人提出的亚像素卷积神经网络(ESPCN)分别采用了反卷积和亚像素卷积的方法，低分辨率图像直接通过网络进行特征提取，减少了由于特征映射放大导致的计算量增加。但是，为了提高超分辨率重建的效果，通常会加深网络结构。即便是使用了反卷积或亚像素卷积的重建方法，网络的计算量与参数量还是不可避免的增加。针对现有技术缺点②提出的改进，由Ahn等人提出的CARN使用瀑布级联的方式，虽然在拥有少量参数量的同时增加了卷积层之间的信息交互，但是增加的级联操作大幅提高了计算量，由Hui等人提出的信息蒸馏网络(IDN)将特征提取模块分成信息增强单元和压缩单元，分别将特征进行提取和去除特征中冗余信息。但是网络大部分都是前馈传播，特征信息缺少相互学习，导致重建效果一般。
本发明提供一种解决方案，使通过获取低分辨率图像的特征信息并进行卷积操作得到浅层特征信息；将所述浅层特征信息和反馈特征信息进行增强信息多重蒸馏模块(EIMDB)得到中层特征信息；将所述中层特征信息进行信息多重蒸馏模块(IMDB)得到深层特征信息；根据所述浅层特征信息、中层特征信息和所述深层特征信息得到所述反馈特征信息；根据所述中层特征信息、深层特征信息和所述低分辨率图像的特征信息得到低分辨率图像重建后的超分辨率图片信息。采用低分辨率图像分批次处理有效地降低了数据参数量和数据计算量，并引用了反馈机制模块可以实现提高低层和高层特征信息之间的联系，进而实现将低分辨率图片转换成超分辨率图片，使得提高了低分辨率图片的重建效果的同时也降低了重建过程中的计算量和参数量。
如图1所示，图1是本发明实施例方案涉及的提高图像分辨率的装置的结构示意图。
如图1所示，该装置可以包括：处理器1001，例如CPU，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以红外接收模块，用于接收用户通过遥控器触发的控制指令，可选的用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如 WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器 (non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。其中该装置可以应用在物联网摄像头设备中，进而可以减少更换高清像素摄像头的开销；同时，基于该装置中参数量和计算量较低，因此，还可以应用在低算力设备上进行高分辨率图像重建操作。
本领域技术人员可以理解，图1中示出的提高图像分辨率的装置的结构并不构成对提高图像分辨率的系统的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明提高图像分辨率的装置的具体实施例与下述提高图像分辨率的方法各实施例基本相同，在此不作赘述。
参照图2至3，图3为本发明实施例方案涉及的提高图像分辨率的系统的模块结构示意图，图2为本发明提高图像分辨率的方法提供第一实施例的操作流程示意图，所述方法包括：
步骤S10，获取低分辨率图像的特征信息并进行卷积操作得到浅层特征信息。
本实施例中，获取低分辨率图像的浅层特征信息，如图3所示的浅层特征提取模块FL，所述浅层特征提取模块用于将接收的低分辨率图像进行处理得到浅层特征信息；具体地，将低分辨率图像的特征信息采用3×3卷积和1 ×1卷积操作输出浅层特征信息，其中，浅层特征信息的提取是将网络输入的低分辨率图像的红绿蓝(RGB,Red Blue Green)通道通过卷积的方式增加通道数，使得在后续中层和深层特征信息提取时能从更多的通道数中提取特征，并且在进行3×3卷积和1×1卷积操作之前，会预先将接收到的特征信息进行激活处理，即采用激活函数(Rectified Linear Unit,ReLU)操作；其中，上述中采用了一个3×3卷积和一个1×1卷积，输出通道数分别为和256和64，所述操作公式如下：
FL＝conv1×1(ReLU((conv3×3(ReLU(ILR)))))；
其中，FL表示浅层特征提取模块的输出，conv1×1和conv3×3分别表示卷积核大小为1×1和3×3的卷积操作，ILR表示输入的低分辨率图像，ReLU() 是激活函数。
步骤S20，将所述浅层特征信息和反馈特征信息进行增强信息多重蒸馏模块(EIMDB，Enhance Information Multi-Distillation Network Block)操作得到中层特征信息。
本实施例中，获取中层特征信息，如图3所示的中层特征提取模块FM和反馈机制模块FFB，所述中层特征提取模块用于将所述浅层特征提取模块和反馈机制模块输入的特征信息进行处理得到中层特征信息，具体地，采用了 EIMDB模块来对接收的浅层特征信息和反馈特征信息进行处理，其中所述反馈特征信息是由反馈机制模块生成的，在具体地进行中层特征信息的获取是采用N个EIMDB模块来进行，且中层特征提取的输入维度为48×48×64(长×宽×通道数)，输出维度为48×48×64，中层特征提取可由下列公式表示：
其中，FM表示中层特征提取模块的输出，Fi EIMDB表示中层特征提取里第 i个EIMDB模块的输出(1<i≤N),FFB表示反馈机制模块的输出，FL表示浅层特征提取模块的输出。
步骤S30，将所述中层特征信息进行信息多重蒸馏模块(IMDB，InformationMulti-Distillation Block)操作得到深层特征信息；
本实施例中，获取深层特征信息，如图3所示的深层特征提取模块FH，所述深层特征提取模块用于将中层特征提取模块的特征信息进行处理得到深层特征信息，具体地，基于步骤S20中的EIMDB模块操作后拥有大幅下降的参数量和计算量，但是深层特征信息的效果的能力也随之减弱。因此，通过使用原始的M个IMDB模块对中层特征信息进行处理，得到的将是更深层次的特征信息。因此，在EIMDB模块和IMDB模块共同作用下，最终得到的特征信息既可以减少了参数量和计算量，又保证了特征信息的提取效果。其中， IMDB模块操作中，其输入维度为48×48×64(长×宽×通道数)，输出维度为48×48×64，所述操作公式如下：
其中，FH表示深层提取模块的输出，Fj IMDB表示深层特征提取里第j个 IMDB模块的输出(1<j≤M)，FM表示中层提取模块的输出。
步骤S40，根据所述浅层特征信息、中层特征信息和所述深层特征信息得到所述反馈特征信息；
本实施例中，获取反馈特征信息是需要接触多个模块共同作用来实现，包括浅层特征提取模块、中层特征提取模块和深层特征提取模块，具体地，将中层特征信息FM和深层特征信息FH通过通过级联操作、ReLU操作和一次 1×1卷积操作，进而结合浅层特征信息FL继续进行级联操作和1×1卷积得到反馈特征信息，将前述步骤中获得的深层特征信息与中层特征信息进行特征融合操作，实现在不增加较多参数量的前提下提高特征的上下文的关联性。
所述操作公式如下：
FFB＝conv1×1(concat(conv1×1(ReLU(concat(FM,FH))),FL))；
其中，FFB表示反馈机制模块的输出，FL表示浅层特征提取模块的输出， FM表示中层特征提取模块的输出，FH表示深层特征提取模块的输出，concat() 表示级联操作，conv1×1表示卷积核大小为1×1的卷积操作。
步骤S50，根据所述中层特征信息、深层特征信息和所述低分辨率图像的特征信息得到低分辨率图像重建后的超分辨率图片信息。
本实施例中，获取低分辨率图像重建后的超分辨率图片信息，如图3的重建模块FR，将根据所述中层特征提取模块和深层特征提取模块输出的特征信息与所述低分辨率图像的特征信息相加得到得到低分辨率图像重建后的超分辨率图片信息，具体地，将所述深层特征信息和中层特征信息通过级联操作、ReLU操作和1×1卷积得到初始重建特征信息，并将所述初始重建特征信息与浅层特征提取进行相加操作、3×3卷积和一个亚像素卷积操作得到低分辨率图像重建后的超分辨率图片信息；
所述操作公式如下：
FR＝fsub(conv3×3(conv1×1(ReLU(concat(FM,FH)))+ILR))；
ISR＝FR；
其中ISR表示超分辨率图片信息，FR表示重建模块的输出，fsub表示亚像素卷积操作。
本实施例中，通过将获取低分辨率图像的特征信息并进行卷积操作得到浅层特征信息；并将所述浅层特征信息和反馈特征信息进行增强信息多重蒸馏模块(EIMDB)得到中层特征信息；以及将所述中层特征信息进行信息多重蒸馏模块(IMDB)得到深层特征信息；其中，所述浅层特征信息、中层特征信息和所述深层特征信息得到所述反馈特征信息；并根据所述中层特征信息、深层特征信息和所述低分辨率图像的特征信息得到低分辨率图像重建后的超分辨率图片信息。采用低分辨率图像分批次处理有效地降低了数据参数量和数据计算量，并引用了反馈机制模块可以实现提高低层和高层特征信息之间的联系，进而实现将低分辨率图片转换成超分辨率图片，使得提高了低分辨率图片的重建效果的同时也降低了重建过程中的计算量和参数量。
进一步地，如图4所示为上述实施例中的信息多重蒸馏模块(IMDB)结构示意图，具体的详情如下：
首先，将接收到的第一初始图像特征信息依次进行四次3×3卷积操作得到对应的第一分处理目标特征信息；在图像实际处理中，首次进行3×3卷积操作的第一初始图像特征信息为中层特征提取模块FM输出的图像特征信息，后续三次3×3卷积操作的输入的图像特征信息就是前一次卷积操作完成后输出的图像特征信息，同时，前三次3×3卷积操作之前会预先进行ReLU操作，以及每一次3×3卷积后都将部分通道分离出来，作为下一层卷积的输入，剩余通道保留。具体的操作公式如下：
第一次卷积操作的公式：
第二次卷积操作的公式；
第三次卷积操作的公式：
第四次卷积操作的公式：
其中Fi IMDB_in表示第i个IMDB的输入，Fi refine_1和Fi coarse_1分别代表被剪裁的特征映射和进行进一步特征提取特征映射，fsplit表示特征通道分割操作。
其次，将上述卷积操作得到的将各第一分处理目标特征信息进行级联操作得到处理后的第一目标特征信息，即将上述四次卷积所保留的16层通道重新通过concatenate操作将特征通道数合并为64层；以及将所述处理后的第一目标特征信息进行坐标注意力(CA,Coordinate Attention)机制处理和1×1 卷积操作，并与接收到的第一初始图像特征信息进行相加得到一次信息多重蒸馏模块(IMDB)操作后的输出图像特征信息。
具体的操作公式如下：
其中Fi IMDB表示第i个IMDB的输出。
进一步地，如图5所示为上述实施例中的增强信息多重蒸馏模块(EIMDB) 结构示意图，具体的详情如下：
首先，将接收到的第二初始图像特征信息依次进行四次残影模块(Ghost Module)操作得到第二目标特征信息；在图像实际处理中，首次进行残影模块(Ghost Module)操作的第二初始图像特征信息为浅层特征提取模块FL输出的图像特征信息，后续三次残影模块操作的输入的图像特征信息就是前一次残影模块操作完成后输出的图像特征信息。具体地，第一次Ghost Module 操作的输入特征通道数为64，后三次Ghost Module操作的输入特征通道数为 48层，前三次Ghost Module操作输出为通道数为64层，最后一次Ghost Module操作的特征通道数的输出为16。然后将前三次的输出特征层数64层分割为 48层和16层，将48层作为最后将四次Ghost Module操作的输入。具体的操作公式如下：
第一次残影模块操作的公式：
第二次残影模块操作的公式；
第三次残影模块操作的公式：
第四次残影模块操作的公式：
其中F’i EIMDB_in表示第i个EIMDB的输入，F’i refine_1和F’i coarse_1分别代表被剪裁的特征映射和进行进一步特征提取特征映射，fsplit表示特征通道分割操作。
其次，将上述残影模块操作得到的将各第一分处理目标特征信息进行级联操作得到处理后的第一目标特征信息，即将上述四次Ghost Module操作所保留的16层通道重新通过concatenate操作将特征通道数合并为64层。以及将所述处理后的第二目标特征信息进行坐标注意力(CA,Coordinate Attention) 机制处理和1×1卷积操作，并与接收到的第二初始图像特征信息进行相加得到一次增强信息多重蒸馏模块(EIMDB)操作后的输出图像特征信息。
具体的操作公式如下：
其中F’i EIMDB表示第i个EIMDB的输出。
进一步地，如图6所示，为图5所示的增强信息多重蒸馏模块(EIMDB) 中的GhostModule模块结构示意图，具体详情如下：
首先，将接收的第三初始图像特征信息进行1×1卷积操作得到卷积后的初始特征信息；在实际的图像处理过程中，其中首次第三初始图像特征信息是指浅层特征提取模块FL输出的图像特征信息。具体地，将接收的第三初始图像特征信息进行特征通道的划分，例如，假设输入特征通道数为M，输出 Ghost Module的特征通道数为N，部分分组卷积负责去除冗余的特征通道，经过分组卷积后的特征通道数为d(0<d<M)，其中Ghost Module操作中卷积操作会预先进行ReLU操作，具体的操作公式如下：
Feat1＝conv1×1(ReLU(IF))；
其中Feat1表示primary卷积后的特征映射，IF表示Ghost Module模块的输入。
其次，将所述初始特征信息进行3×3分组卷积操作得到分组特征信息，具体的操作公式如下：
Feat2＝g_conv3×3(ReLU(Feat1))；
其中Feat2表示cheap operation后的特征映射，g_conv3×3表示卷积核大小为3×3的分组卷积。
第三，将所述初始特征信息和分组特征信息进行级联操作得到一次残影模块(Ghost Module)操作后的输出图像特征信息。具体的操作公式如下：
FGM＝concat(Feat1,Feat2)；
其中，FGM表示Ghost Module模块的输出。
本实施例中的残影模块(Ghost Module)操作通过将接收的特征信息进行特征通道的划分，部分用于去除冗余的特征通道，部分用于卷积操作，进而可以实现减少整个系统运行的计算量和参数量。
进一步地，如图7所示，为图4或5所示的CA机制模块结构示意图，具体详情如下：
首先，通过接收输入的第四初始图像特征信息，所述第四初始图像特征信息包括垂直输入的特征信息和水平输入的特征信息，以及将所述垂直输入的特征信息和水平输入的特征信息分别进行两个一维全局平均池化处理得到垂直方向的感知特征信息和水平方向的感知特征信息。
具体地，所述第四初始图像特征信息是指在EIMDB操作或IMDB操作中进行级联操作后得到的图像特征信息，并将得到的图像特征信息进行垂直输入的特征信息和水平输入的特征信息的划分，以及采用两个一维全局平均池化对垂直输入的特征信息和水平输入的特征信息进行处理得到垂直方向的感知特征信息和水平方向的感知特征信息。具体的操作公式如下：
其中FX pool(W)和FY pool(h)分别代表以宽为方向和以长为方向的一维池化， W和H分别为输入特征映射的宽和长，χc()表示固定位置的像素点之值。
其次，将所述垂直方向的感知特征信息和水平方向的感知特征信息进行萃取操作。
具体地，将所述垂直方向的感知特征信息和水平方向的感知特征信息进行级联操作，并分别通过通道注意力的萃取操作提取垂直或水平方向的依赖关系，进而将生成的注意力映射分别通过水平和垂直的逐像素乘法将坐标注意力信息保存在所述第四初始图像特征信息通过CA操作后的图像特征信息中，以便开启进行后续的卷积操作。
采用上述CA操作，不仅能提取重要通道的信息，还能获取空间位置信息，并且只增加了较少的计算量和参数量。
此外，为了验证得到上述提高图像分辨率的系统的处理图像信息的情况，常采用损失函数来衡量。
具体地，用到两次迭代的超分辨率图片输出，和原低分辨率图片分别进行L损失函数计算然后取平均值，可由下列公式表示：
其中为θ网络参数，T＝2为总体迭代次数，t为此次迭代，ILR和It SR分别代表原始低分辨率图片和超分辨重建图片。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有提高图像分辨率的程序，所述提高图像分辨率的程序被处理器执行时实现如上述提高图像分辨率的方法的步骤。
本发明可读存储介质的具体实施例与上述提高图像分辨率的方法各实施例基本相同，在此不作赘述。
最后，为了验证上述提供的提高图像分辨率的方法的实际适用性情况，采用下述具体的验证实验进行说明。
实验内容：预先对网络参数进行初始化，其中，初始化学习率为10-4，每训练200次将学习率以0.5，总共迭代1000次。使用Adam算法(β1＝0.9，β2＝0.999)对网络参数进行优化。设置batch-size大小为16，图像块大小为 48×48。
实验环境采用GPU版本的Pytorch1.6.0，GPU使用RTX2070Super进行训练，操作系统为Ubuntu16.08。
如表1实验采用的训练集为DIV2K，包括800张类型为人物、手工制品、建筑(城市，村庄)、动植物以及自然风光等2K分辨率的图片。通过对DIV2K 进行数据增强处理，包括旋转、翻转以及等比例缩小，进行数据增强后的图片为8000张。实验采用的测试集为Set5、Set14、BSD100、Urban100、Manga109 五个广泛使用的超分辨率基准测试集进行模型性能评估。其中Urban100包含 100张具有挑战性的城市场景图片，包含密集的高频特征细节。Manga109为 109张漫画封面图片，具有高频和低频信息以及文字信息，考验模型对文字和图片的综合的处理能力。
表1-数据集来源
实验对比
通过两种模型EIMDN-L(Ehance Information Multi-distillation NetworkLarge)和EIMDN-S(Ehance Information Multi-distillation Network-Small)一大一小作为实验的网络模型，EIMDB个数为N，IMDB个数为M。EIMDN-L使用的EIMDB和IMDB个数分别为N＝6、M＝6，EIMDN-S使用的EIMDB和 IMDB个数分别为N＝3、M＝3。
采用峰值信噪比(PSNR,peak signal-to-noise ratio)和结构相似度(SSIM,structure similarity)作为评价标准在YCbCr色彩编码格式下选取Y通道进行评估，具体的公式如下：
MAX是表示图像点颜色的最大数值，MSE为原图像与处理图像之间均方误差；μx为x的均值，μy为y的均值，δx为x的方差，δy为y的方差，δxy为x和y的协方差，c1、c2为常数。
并随着放大倍数的增加，图像超分辨率重建的难度也会随之增加，如下述表2展示了近几年较为优秀的轻量级超分辨率算法与本申请中的采用的提高图像分辨率的方法得到的图片效果对比，其中EIMDN-S取得了中等的重建效果。可以看出EIMDN-L在放大倍数为3倍和4倍的条件下要优于大部分模型。
表2在测试集上PSNR和SSIM的效果对比
基于上述表2中的内容，在放大倍数为4倍的条件下，本申请对应的模型在测试集Manga109中PSNR值比经典模型VDSR提升了2.35dB，比第二的 CARN提升了0.11dB。说明本申请对应的模型能够将高放大倍数中难以学习到的高频细节通过反馈机制模块，加深对高频信息学习的深度，从而在高放大倍数中取得良好的重建效果。本申请对应的模型EIMDN-L在Urban100测试集中效果明显高于其他数据集，是因为Urban100数据集包含城市建筑的图片，高频细节较多。而本申请对应的模型中使用的CA注意力机制能够筛选通道和空间中包含高频信息较多的特征并保留，所以能够在Urban测试集中取得更好的重建效果。在放大倍数为2倍的情况下，本申请对应的模型中采用的方法相比其他模型并未总是取得最好效果，说明本申请中的EIMDB采用的Ghost Module虽然能够减少参数量，并去除特征通道的冗余通道，而较低放大倍数中每个通道保留的高频细节较多，这会导致某些重要的特征通道在去除冗余步骤中有所丢失，达不到在2倍放大倍数下最好的效果。
视觉效果对比
通过选取了信息蒸馏网络IDN(Information Distillation Network)、 CARN-M(Cascading Residual Network-Mobile)、瀑布残差网络 CARN(Cascading ResidualNetwork)、信息多重蒸馏网络IMDN(Information Multi-distillation Network)方法，在放大倍数2倍、3倍和4倍条件下， Set14和Urban100数据集中的重建图片进行视觉效果对比。如图8和图9所示，对于Set14中的第一测试图片和Urban100中的第二测试图片，本申请对应的模型EIMDN-L能较好地恢复女性的头巾以及玻璃格栅的正确纹理。而 EIMDN-S也和其他轻量级方法恢复效果相似。此外，如图10和图11所示，对于在数据集Urban中的第三测试图片和第四测试图片，也可以观察到本申请对应的模型的重建效果更有利，可以恢复更多的细节。本申请对应的模型 EIMDN-S与对比方法相比具有相似的性能，但EIMDN-L方法明显优于对比方法。
进一步地，构建一个轻量级的SR模型，需要在减少网络参数量的同时保证重建效果。如图12所示，在Urban100数据集中建立在2倍放大倍数下的参数量对比，对比SOTA方法，本申请对应的模型EIMDN-L在参数量略微增加的条件下获得了不错的PSNR效果。而EIMDN-S也在更低参数量的情况下取得了较好的效果，达到了图像超分辨率重建与模型大小之间的权衡。
进一步地，通过使用CARN方法中提出的Multi-Add运算来评估模型的计算复杂度，即对单个图像尺寸为720p的条件下进行复合乘法累加运算的次数统计。如表3所示，与SOTA算法对比，本申请对应的模型中EIMDN-S保持了较低的计算量。而本申请对应的模型EIMDN-L在获得了更好的重建效果情况下略微提升了计算量。
表3在2倍、3倍和4倍放大倍数下模型的计算量对比
结果分析
通过两组消融实验对结果进行分析。
第一组，加入反馈机制模块和使用CA注意力机制代替IMDB原有的CCA 注意力机制对超分辨率图像重建的影响，如表4所示。可见，第一组中采用 EIMDN-S模型的图像，最终得到的图像重建效果更好。
表4加入反馈机制模块和CA注意力机制对网络重建效果的影响
第二组，对比不同个数的IMDB和EIMDB模块对超分辨率重建效果的影响，如表5所示。可见，第二组中IMDB和EIMDB模块的数量越多最后得到的PSNR 和SSIM效果越好。
表5 EIMDB和IMDB在网络中的个数PSNR和SSIM效果对比
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是提高图像分辨率的系统、物联网摄像头设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种提高图像分辨率的方法，其特征在于，所述方法包括以下步骤：
获取低分辨率图像的特征信息并进行卷积操作得到浅层特征信息；
将所述浅层特征信息和反馈特征信息进行增强信息多重蒸馏模块(EIMDB，EnhanceInformation Multi-Distillation Network Block)操作得到中层特征信息；
将所述中层特征信息进行信息多重蒸馏模块(IMDB，Information Multi-Distillation Block)操作得到深层特征信息；
根据所述浅层特征信息、中层特征信息和所述深层特征信息得到所述反馈特征信息；
根据所述中层特征信息、深层特征信息和所述低分辨率图像的特征信息得到低分辨率图像重建后的超分辨率图片信息。
2.根据权利要求1中所述的提高图像分辨率的方法，其特征在于，所述信息多重蒸馏模块(IMDB)操作的步骤，包括：
将接收到的第一初始图像特征信息依次进行四次3×3卷积操作得到对应的第一分处理目标特征信息；
将各第一分处理目标特征信息进行级联操作得到处理后的第一目标特征信息；
将所述处理后的第一目标特征信息进行坐标注意力(CA,Coordinate Attention)机制处理和1×1卷积，并与接收到的第一初始图像特征信息进行相加得到一次信息多重蒸馏模块(IMDB)操作后的输出图像特征信息。
3.根据权利要求1或2所述的提高图像分辨率的方法，其特征在于，所述增强信息多重蒸馏模块(EIMDB)操作的步骤，包括：
将接收到的第二初始图像特征信息依次进行四次残影模块(Ghost Module)操作得到第二分处理目标特征信息；
将各第二分处理目标特征信息进行级联操作得到处理后的第二目标特征信息；
将所述处理后的第二目标特征信息进行坐标注意力(CA,Coordinate Attention)机制处理和1×1卷积操作，并与接收到的第二初始图像特征信息进行相加得到一次增强信息多重蒸馏模块(EIMDB)操作后的输出图像特征信息。
4.根据权利要求3中所述的提高图像分辨率的方法，其特征在于，所述残影模块(GhostModule)操作的步骤，包括：
将接收的第三初始图像特征信息进行1×1卷积操作得到卷积后的初始特征信息；
将所述初始特征信息进行3×3分组卷积操作得到分组特征信息；
将所述初始特征信息和分组特征信息进行级联操作得到一次残影模块(GhostModule)操作后的输出图像特征信息。
5.根据权利要求1所述的提高图像分辨率的方法，其特征在于，所述获取低分辨率图像的特征信息并进行卷积操作得到浅层特征信息的步骤，包括：
将获取的低分辨率图像的特征信息采用3×3卷积和1×1卷积操作输出浅层特征信息，所述操作公式如下：
FL＝conv1×1(ReLU((conv3×3(ReLU(ILR)))))；
其中，FL表示浅层特征信息，conv1×1和conv3×3分别表示卷积核大小为1×1和3×3的卷积操作，ILR表示输入的低分辨率图像的特征信息，ReLU()是激活函数；
所述将所述浅层特征信息和反馈特征信息进行增强信息多重蒸馏模块(EIMDB)操作得到中层特征信息的步骤，包括：
将所述浅层特征信息、反馈特征信息采用N个EIMDB模块来进行中层特征信息的提取，所述操作公式如下：
其中，FM表示中层特征信息，Fi EIMDB表示中层特征提取里第i个EIMDB模块的输出信息(1<i≤N),FFB表示反馈特征信息。
6.根据权利要求1或5所述的提高图像分辨率的方法，其特征在于，所述将所述中层特征信息进行信息多重蒸馏模块(IMDB)操作得到深层特征信息的步骤，包括：
将所述中层特征信息采用M个IMDB模块进行深层特征信息的提取，所述操作公式如下：
其中，FH表示深层特征信息，Fj IMDB表示深层特征提取里第j个IMDB模块的输出(1<j≤M)；
所述根据所述浅层特征信息、中层特征信息和所述深层特征信息得到所述反馈特征信息的步骤，包括：
将所述浅层特征信息、中层特征信息和所述深层特征信息经过级联操作和两次1×1卷积得到反馈特征信息，所述操作公式如下：
FFB＝conv1×1(concat(conv1×1(ReLU((concat(FM,FH))),FL))；
其中，FFB表示反馈特征信息，FL表示浅层特征信息，FM表示中层特征信息，FM表示中层特征信息。
7.根据权利要求6所述的提高图像分辨率的方法，其特征在于，所述根据所述中层特征信息、深层特征信息和所低分辨率图像的特征信息得到低分辨率图像重建后的超分辨率图片信息的步骤，包括：
将所述深层特征信息和中层特征信息通过级联操作和1×1卷积得到初始重建特征信息并将所述初始重建特征信息与浅层特征提取进行相加操作、3×3卷积和一个亚像素卷积操作得到低分辨率图像重建后的超分辨率图片信息；
所述操作公式如下：
FR＝fsub(conv3×3(conv1×1(ReLU((concat(FM,FH))))+ILR)))；
ISR＝FR；
其中ISR表示超分辨率图片信息，FR表示图像重建特征信息，fsub表示亚像素卷积操作。
8.一种提高图像分辨率的系统，其特征在于，包括：
浅层特征提取模块，用于获取低分辨率图像的特征信息并进行卷积操作得到浅层特征信息；
中层特征提取模块，用于将所述浅层特征信息和反馈特征信息进行增强信息多重蒸馏模块(EIMDB)操作得到中层特征信息；
深层特征提取模块，用于将所述中层特征信息进行信息多重蒸馏模块(IMDB)操作得到深层特征信息；
反馈机制模块，用于根据所述浅层特征信息、中层特征信息和所述深层特征信息得到所述反馈特征信息；
重建模块，用于根据所述中层特征信息、深层特征信息和所述低分辨率图像的特征信息得到低分辨率图像重建后的超分辨率图片信息。
9.一种提高图像分辨率的装置，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的提高图像分辨率的程序，所述提高图像分辨率的程序被所述处理器执行时实现如权利要求1至7中任一项所述的提高图像分辨率的方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有提高图像分辨率的程序，所述提高图像分辨率的程序被处理器执行时实现如权利要求1至7中任一项所述的提高图像分辨率的方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110884842.8A CN113658044B (zh) | 2021-08-03 | 2021-08-03 | 提高图像分辨率的方法、系统、装置及存储介质 |
| PCT/CN2022/077832 WO2023010831A1 (zh) | 2021-08-03 | 2022-02-25 | 提高图像分辨率的方法、系统、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110884842.8A CN113658044B (zh) | 2021-08-03 | 2021-08-03 | 提高图像分辨率的方法、系统、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113658044A true CN113658044A (zh) | 2021-11-16 |
| CN113658044B CN113658044B (zh) | 2024-02-27 |
Family
ID=78490640
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110884842.8A Active CN113658044B (zh) | 2021-08-03 | 2021-08-03 | 提高图像分辨率的方法、系统、装置及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113658044B (zh) |
| WO (1) | WO2023010831A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023010831A1 (zh) * | 2021-08-03 | 2023-02-09 | 长沙理工大学 | 提高图像分辨率的方法、系统、装置及存储介质 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117078516B (zh) * | 2023-08-11 | 2024-03-12 | 济宁安泰矿山设备制造有限公司 | 基于残差混合注意力的矿井图像超分辨率重建方法 |
| CN117132472B (zh) * | 2023-10-08 | 2024-05-31 | 兰州理工大学 | 基于前向-反向可分离自注意力的图像超分辨率重建方法 |
| CN117152546B (zh) * | 2023-10-31 | 2024-01-26 | 江西师范大学 | 一种遥感场景分类方法、系统、存储介质及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100294916A1 (en) * | 2007-12-06 | 2010-11-25 | U.S. Government As Represented By The Secretary Of The Army | Method and system for creating an image using the quantum properties of sound or quantum particles |
| CN112200724A (zh) * | 2020-10-22 | 2021-01-08 | 长沙理工大学 | 一种基于反馈机制的单图像超分辨率重建系统及方法 |
| CN112819910A (zh) * | 2021-01-08 | 2021-05-18 | 上海理工大学 | 基于双鬼注意力机制网络的高光谱图像重建方法 |
| CN113052254A (zh) * | 2021-04-06 | 2021-06-29 | 安徽理工大学 | 多重注意力幽灵残差融合分类模型及其分类方法 |
| CN113160062A (zh) * | 2021-05-25 | 2021-07-23 | 烟台艾睿光电科技有限公司 | 一种红外图像目标检测方法、装置、设备及存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11132772B2 (en) * | 2019-06-11 | 2021-09-28 | Samsung Electronics Co., Ltd. | Asymmetric normalized correlation layer for deep neural network feature matching |
| CN111353938A (zh) * | 2020-02-29 | 2020-06-30 | 杭州电子科技大学 | 一种基于网络反馈的图像超分辨率学习方法 |
| CN111882485B (zh) * | 2020-06-19 | 2023-08-18 | 北京交通大学 | 分级特征反馈融合的深度图像超分辨率重建方法 |
| CN113658044B (zh) * | 2021-08-03 | 2024-02-27 | 长沙理工大学 | 提高图像分辨率的方法、系统、装置及存储介质 |
-
2021
- 2021-08-03 CN CN202110884842.8A patent/CN113658044B/zh active Active
-
2022
- 2022-02-25 WO PCT/CN2022/077832 patent/WO2023010831A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100294916A1 (en) * | 2007-12-06 | 2010-11-25 | U.S. Government As Represented By The Secretary Of The Army | Method and system for creating an image using the quantum properties of sound or quantum particles |
| CN112200724A (zh) * | 2020-10-22 | 2021-01-08 | 长沙理工大学 | 一种基于反馈机制的单图像超分辨率重建系统及方法 |
| CN112819910A (zh) * | 2021-01-08 | 2021-05-18 | 上海理工大学 | 基于双鬼注意力机制网络的高光谱图像重建方法 |
| CN113052254A (zh) * | 2021-04-06 | 2021-06-29 | 安徽理工大学 | 多重注意力幽灵残差融合分类模型及其分类方法 |
| CN113160062A (zh) * | 2021-05-25 | 2021-07-23 | 烟台艾睿光电科技有限公司 | 一种红外图像目标检测方法、装置、设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| AVIVA BRIEFEL: "Rules of Digital Attraction: The Lure of the Ghost in Joel Anderson\'s Lake Mungo", pages 1 - 19, Retrieved from the Internet <URL:《网页在线公开：https://www.tandfonline.com/doi/abs/10.1080/10509208.2016.1192909》> * |
| 陈波等: "改进生成对抗网络的图像超分辨率重建算法", 《福州大学学报(自然科学版)》, vol. 49, no. 3, pages 295 - 301 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023010831A1 (zh) * | 2021-08-03 | 2023-02-09 | 长沙理工大学 | 提高图像分辨率的方法、系统、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113658044B (zh) | 2024-02-27 |
| WO2023010831A1 (zh) | 2023-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111047516B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN113658044A (zh) | 提高图像分辨率的方法、系统、装置及存储介质 | |
| CN112070670B (zh) | 全局-局部分离注意力机制的人脸超分辨率方法及系统 | |
| US20100124383A1 (en) | Systems and methods for resolution-invariant image representation | |
| CN111275034B (zh) | 从图像中提取文本区域的方法、装置、设备和存储介质 | |
| WO2019186407A1 (en) | Systems and methods for generative ensemble networks | |
| CN111667410B (zh) | 图像分辨率提升方法、装置及电子设备 | |
| US20220076459A1 (en) | Image optimization method, apparatus, device and storage medium | |
| KR20200132682A (ko) | 이미지 최적화 방법, 장치, 디바이스 및 저장 매체 | |
| CN110958469A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN113034358A (zh) | 一种超分辨率图像处理方法以及相关装置 | |
| CN110418139B (zh) | 一种视频超分辨修复方法、装置、设备及存储介质 | |
| CN114627034A (zh) | 一种图像增强方法、图像增强模型的训练方法及相关设备 | |
| CN116468605A (zh) | 基于时空分层掩膜注意力融合的视频超分辨率重建方法 | |
| CN115294055A (zh) | 图像处理方法、装置、电子设备和可读存储介质 | |
| CN102222321A (zh) | 一种视频序列盲重建方法 | |
| CN115965844B (zh) | 基于视觉显著性先验知识的多聚焦图像融合方法 | |
| US20230060988A1 (en) | Image processing device and method | |
| US20230099539A1 (en) | Methods and devices for image restoration using sub-band specific transform domain learning | |
| CN108846798A (zh) | 一种图像重建法 | |
| CN113240589A (zh) | 一种多尺度特征融合的图像去雾方法及系统 | |
| CN103077396B (zh) | 一种彩色图像的向量空间特征点提取方法及装置 | |
| CN115631115B (zh) | 基于递归Transformer的动态图像复原方法 | |
| CN117635478B (zh) | 一种基于空间通道注意力的低光照图像增强方法 | |
| CN112435192B (zh) | 一种轻量级的图像清晰度增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |