CN113139899A - 高质量轻量级超分辨率重建网络模型设计方法 - Google Patents
高质量轻量级超分辨率重建网络模型设计方法 Download PDFInfo
- Publication number
- CN113139899A CN113139899A CN202110345763.XA CN202110345763A CN113139899A CN 113139899 A CN113139899 A CN 113139899A CN 202110345763 A CN202110345763 A CN 202110345763A CN 113139899 A CN113139899 A CN 113139899A
- Authority
- CN
- China
- Prior art keywords
- super
- network model
- resolution reconstruction
- features
- reconstruction network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000013461 design Methods 0.000 title claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 45
- 239000002131 composite material Substances 0.000 claims abstract description 42
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 18
- 230000004927 fusion Effects 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000009191 jumping Effects 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 25
- 238000012795 verification Methods 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 abstract description 3
- 238000007670 refining Methods 0.000 abstract description 3
- 238000012360 testing method Methods 0.000 description 20
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000003321 amplification Effects 0.000 description 5
- 238000003199 nucleic acid amplification method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012821 model calculation Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
- G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种高质量轻量级超分辨率重建网络模型设计方法，对获取的图像进行预处理，并对得到的输入图像进行底层细化特征提取；对所述输入图像进行多级复合特征的多种程度的特征提取；采用跳跃连接的方式对得到的底层细微特征和多级复合特征进行融合；基于超分辨率算法对融合得到的多尺度复合特征进行重构放大，得到超分辨率重建网络模型，在残差网络的基础上，提出了结合多尺度、多抽象度的卷积神经网络来实现特征提取，并对提取的各局部特征与全局特征进行融合，从而充分利用不同尺度、不同抽象程度特征信息进行超分辨率重构，能重建出更清晰纹理细节的图像。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种高质量轻量级超分辨率重建网络模型设计方法。
背景技术
图像超分辨率重建能针对输入的细节缺失低分辨率图像，重建输出细节更丰富、画质更清晰的高分辨率图像，它是图像处理和计算机视觉领域中的经典命题，在医学图像处理、卫星遥感影像、安防监控以及图像压缩传输等领域中都有着非常广泛的应用。但一幅低分辨率图像，有无数幅与其对应的高分辨率图像，故超分辨率重建是一个病态问题。为解决这个问题，研究人员提出了多种图像超分辨率重建算法，大体上可以分为两大类：一是基于传统的重建方法；二是基于深度学习的方法。
传统的超分辨率重建算法有插值法、迭代反投影法等，算法相对简单，效率较高，虽然在一定程度上提高了图像的分辨率，但是在图像纹理细节上由于无法准确预测对象的纹理结构信息远远达不到人们对图像质量的需求。
发明内容
本发明的目的在于提供一种高质量轻量级超分辨率重建网络模型设计方法，能重建出更清晰纹理细节的图像。
为实现上述目的，本发明提供了一种高质量轻量级超分辨率重建网络模型设计方法，包括以下步骤：
对获取的图像进行预处理，并对得到的输入图像进行底层细化特征提取；
对所述输入图像进行多级复合特征的多种程度的特征提取；
采用跳跃连接的方式对得到的底层细微特征和多级复合特征进行融合；
基于超分辨率算法对融合得到的多尺度复合特征进行重构放大，得到超分辨率重建网络模型。
其中，所述方法还包括：
获取多张RGB训练集图像，并对所述RGB训练集图像进行增强和裁剪处理，然后将处理后的所述RGB训练集图像输入所述超分辨率重建网络模型进行训练；
获取多张RGB验证集图像，并输入训练后的所述超分辨率重建网络模型进行验证。
其中，对所述输入图像进行多级复合特征的多种程度的特征提取，包括：
通过1ⅹ1的卷积对输入特征数量进行线性扩增；
对所得的特征图进行切分，并分别输入到不同路径进行特征提取，得到多级复合特征。
其中，采用跳跃连接的方式对得到的底层细微特征和多级复合特征进行融合，包括：
采用跳跃连接的方式，将得到的底层细微特征和多个多级复合特征进行求和；
对得到的和值进行卷积运算，得到多尺度复合特征。
其中，基于超分辨率算法对融合得到的多尺度复合特征进行重构放大，得到超分辨率重建网络模型，包括：
基于设定的上采样因子对得到的多尺度复合特征进行上采样运算；
使用尺寸为3X3的卷积核对上采样运算后的结果进行卷积运算，得到超分辨率重建网络模型。
本发明的一种高质量轻量级超分辨率重建网络模型设计方法，对获取的图像进行预处理，并对得到的输入图像进行底层细化特征提取；对所述输入图像进行多级复合特征的多种程度的特征提取；采用跳跃连接的方式对得到的底层细微特征和多级复合特征进行融合；基于超分辨率算法对融合得到的多尺度复合特征进行重构放大，得到超分辨率重建网络模型，在残差网络的基础上，提出了结合多尺度、多抽象度的卷积神经网络来实现特征提取，并对提取的各局部特征与全局特征进行融合，从而充分利用不同尺度、不同抽象程度特征信息进行超分辨率重构；改进传统的残差模块，提取到更丰富的纹理特征信息；同时，提出的网络结构采用局部和全局的复合连接方式，克服了直连网络单调性和密集网络冗余性的弊端，充分利用网络中分层特征进行超分辨率重建，，能重建出更清晰纹理细节的图像。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种高质量轻量级超分辨率重建网络模型设计方法的步骤示意图。
图2是本发明提供的网络总体结构图。
图3是本发明提供的特征提取单元结构对比图。
图4是本发提供的测试效果对比图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
请参阅图1和图2，本发明提供一种高质量轻量级超分辨率重建网络模型设计方法，包括以下步骤：
S101、对获取的图像进行预处理，并对得到的输入图像进行底层细化特征提取。
具体的，获取对应的需要重建的图像，并对所述图像进行预处理，得到输入图像，预处理为对图像作增强预处理，每一张图像随机旋转90°、180°和270°，同时进行水平随机翻转，同时参照EDSR处理的方法(Bulat等，2017)，在训练初始阶段，先对数据进行归一化、中心偏移处理(其中，图像的预处理只有在模型的训练时才需要)。通过3*3的卷积层，对输入图像进行底层细微特征提取。
S102、对所述输入图像进行多级复合特征的多种程度的特征提取。
具体的，每级复合特征提取模块的结构采用了类似于RES2NET结构的分组卷积结构(图3(a))，但为了融合多尺度、增强特征提取能力本发明对RES2NET结构进行了改进。本发明的特征提取模块如图3(b)所示，总体结构上首先通过1ⅹ1的卷积对输入特征数量进行线性扩增；然后对所得的特征图进行切分，分别输入到模块中的不同路径中进行分组卷积、在各组中采用小的残差结构来增加卷积层的感受野，两组并联合使用3ⅹ3和5ⅹ5的卷积核进行特征提取，实现多尺度特征提取，在模块的最后使用1ⅹ1的卷积核将模块中每层提取到的特征进行融合，得到多尺度复合特征。总体通过多级复合特征提取模块提取图像不同程度抽象特征(本发明测试使用了6级复合特征提取模块)，本发明设计的复合特征提取模块内部融合有多尺度多阶段特征，增加了小的残差块，增加了每一层的感受野，并且利用分组卷积，在不增加网络计算负载的前提下，使特征提取能力更加强大。
S103、采用跳跃连接的方式对得到的底层细微特征和多级复合特征进行融合。
具体的，通过1ⅹ1的卷积层进行全局特征融合，把提取到的各级特征进行全局融合，有效地利用网络中不同抽象程度信息；将底层细微特征提取模块3*3卷积层的所有通道及各级复合特征提取模块的所有通道通过跳跃连接方式输入全局特征融合模块，将各局部多尺度特征与全局特征通过卷积融合在一起。这样可充分利用不同抽象程度特征，有效地将低层的特征快速传到高层，使得低层特征信息在最终结果中也有很好的体现，同时也加快了网络的收敛速度，减少了模型的计算量。全局特征融合模块如下表示：
Fout＝∫(Fin+F1+...+Fi) (1)
其中，Fin为底层细微特征，F为第个i特征提取模块的输出(i＝1,2,……,6)，也就是多级复合特征，“+”为连接运算，∫为卷积运算，这里使用1X1的卷积核进行计算。
S104、基于超分辨率算法对融合得到的多尺度复合特征进行重构放大，得到超分辨率重建网络模型。
具体的，利用重构放大模块重建出纹理细节清晰的超分辨率图像，本发明中利用shi等人提出的基于亚像素图像放大的超分辨率算法ESPCN(Shi等，2016)进行重构放大。针对低分辨率影像中的不同亚像素位置，通过滤波器卷积时周期性地激活，各通道数据周期性地映射到亚像素位置，从而将WⅹH大小r2个通道数据卷积扩展成r*Wⅹr*H大小(r为放大倍率)。重构放大模块表达式如公式(2)：
SR＝∫(Ps(Fout)) (2)
式中，P为上采样运算，s为其上采样因子，为卷积运算，这里使用尺寸为3X3的卷积核进行计算，最后输出通道为三的超分辨率图像SR。
本发明训练测试的图像为RGB图像，训练的数据集为开源数据集DIV2K(Namhyu等，2018)，它包含800张训练集图像，100张验证集图像；在训练时先将图像作增强预处理，每一张图像随机旋转90°、180°和270°，同时进行水平随机翻转，同时参照EDSR处理的方法(Bulat等，2017)，在训练初始阶段，先对数据进行归一化、中心偏移处理。测试图像数据选用的是四个被广泛使用的基准数据集Set5、Set14、Urban100和B100(Namhyu等，2018)。训练、测试所用的电脑系统为ubuntu16.04,CPU型号为英特尔i9-10900K，GPU为RTX2080TI，通过python3.6、pytorch1.2编程实现。
1.在训练过程中为加快训练速度、减小训练的内存消耗，对模型输入数据作裁剪处理，分割为大小为64ⅹ64的图像块，批处理的大小为64。文中使用Adam优化器进行模型的训练，利用梯度的一阶矩阵估计和二阶矩阵估计来动态地调整网络中每个参数的学习率。在训练初始时，将两个动量参数分别设置为0.9和0.999、学习率设置为0.0001，根据训练的进行，不断向下调整学习率，在梯度计算过程中，以10为上限对梯度大于10的作梯度进行裁剪处理。训练时以L1范数作为损失函数，定义如式(3)所示：
式中，IHR为原始高分率图像，ISR为重建出来的超分辨率图像。
2.为了验证新超分模型的有效性，本发明从特征提取模块的数量和多尺度卷积的有效性方面设计了多次消融测试，对比分析了模型参数量及超分性能的变化：在特征提取模块数量的有效性分析时，用控制变量法对多尺度卷积核尺寸固定，只改变特征提取模块的数量，在此过程中测试的特征提取模块数量有5、6和7三类；在多尺度的有效性分析中，控制特征提取模块的数量，测试的卷积核大小有：5ⅹ5、3ⅹ3两种情况，分别进行了6种模型的测试，其结果如表1所示。
从实验结果可以发现：特征提取模块的数量和多尺度卷积对实验的结果产生了显著影响。在特征提取模块数量一定时，模块中用5ⅹ5卷积核的模型取得更优的结果(特征提取模块个数为6时，峰值信噪比在Set5、Set14和B100上分别提高了0.03db、0.04d和0.01db)，说明5ⅹ5的卷积核在模块中起到了相比于3ⅹ3卷积核更有效的特征提取；在采有5ⅹ5卷积核基础上，比较特征提取模块的数量时，发现模块数量为6时，相比于模块数量为5，指标提升明显(Set5上峰值信噪比提高了0.09db，结构相似度提高了0.0002；在Set14上峰值信噪比提高了0.09db，结构相似度提高了0.0007等)；而模块数量为7时，相比于模块数量为6，则效果提升没那么显著(Set5上峰值信噪比仅提高了0.03db，结构相似度提高了0.0001；在Set14上峰值信噪比提高了0.01，结构相似度提高了0.0003等)。因此，本发明在进行实际超分时，选择特征提取模块数据为6进行特征提取，即保证了网络的重建质量，同时兼顾了网络的参数和计算复杂度。
表1消融测试结果
3.为了证明本发明提出的复合特征提取模块相的有效性，本发明将将模型结构中的特征提取模块分别取用传统残差结构(RESNET)、RES2NET结构及新的复合特征提取结构在标准测试集Set5、Set14、Urban100、B100上进行了对比测试，其测试结果如表2所示。从表2中可以看出，相比于RESNET和RES2NET，本发明提出的特征提取模块的PSNR值及SSIM值都高于传统算法，取得了一定的优越性，也表明了新复合特征提取结构的有效性。
本发明从峰值信噪比(PSNR)、结构相似度(SSIM)、模型计算量及参数量大小几个方面在标准测试集Set5、Set14、Urban100及B100上与经典超分辨率重构网络(SRCNN(Dong等，2014)、FSRCNN(Dong等，2016)、VDSR(Kim等，2016)、DRCN(Kim等，2016)、LapSRN(Lai等，2017)、DRRN(Tai等，2017)、MemNet(Tai等，2017)、CARN(NamhyukAhn等，2018)、FALSR(Chu等，2019))进行了2倍超分对比测试，得出的结果数据如表3所示。从表3中可以看到，本发明提出的算法相比于SRCNN、VDSR等2018年以前的经典算法在各测试集中均有更好的性能指标，针对所有测试集都有更高的PSNR值及SSIM值；与最近两年提出的轻量级网络(CARN、FALSR)进行对比可以发现，新算法在参数量及计算量上更低的情况下，对各测试集也均取得了略高的指标，在Set5、B100数据集上，峰值信噪比分别为37.83db和32.10db，均为最优；在Set14数据集上，与CARN、FALSR网络基本一致。
表2不同特征提取模块对比
| 模型 | Set5 | Set14 | Urban100 | B100 |
| RESNET | 37.56/0.9583 | 33.22/0.9139 | 30.77/0.9220 | 31.91/0.8960 |
| RES2NET | 37.64/0.9597 | 33.35/0.9151 | 31.09/0.9267 | 32.01/0.8975 |
| 本发明 | 37.83/0.9592 | 33.52/0.9163 | 31.38/0.9299 | 32.10/0.8983 |
表3与经典网络对比测试数据
在对比实验中，除了对重建图像的质量在PSNR和SSIM两个评价指标上进行对比，同时也从视觉效果上与经典算法进行了对比测试，对比测试结果如图4所示。在对比时，主要对比真实高清效果HR，从图4(a)和(b)上的实际进行对比的局部细节可以发现，本发明所使用的方法的效果明显好于传统的BICUBIC、FSRCNN、LapSRN与VDSR，采用本发明的超分辨率重建网络模型能重建出纹理细节更加清晰的图像，进一步验证了本发明网络结构的有效性和实用性。
有益效果
本发明提出了高质量轻量级超分辨率重建网络模型，通过多阶段多尺度的特征提取融合网络，将各层间分层特征充分利用，同时通过新的特征提取模块分组计算，将超分辨率重建网络的计算量与性能得到了很好的均衡。新算法在提高重建质量的同时，并没有明显的增加模型计算复杂度和参数量。测试结果表明，本发明提出的算法与之前的轻量级神经网络比较，在峰值信噪比(PSNR)和结构相似度(SSIM)超分辨率评价指标上有一定的改善，同时也有明显的超分辨率重建视觉效果。
本发明的一种高质量轻量级超分辨率重建网络模型设计方法，对获取的图像进行预处理，并对得到的输入图像进行底层细化特征提取；对所述输入图像进行多级复合特征的多种程度的特征提取；采用跳跃连接的方式对得到的底层细微特征和多级复合特征进行融合；基于超分辨率算法对融合得到的多尺度复合特征进行重构放大，得到超分辨率重建网络模型，在残差网络的基础上，提出了结合多尺度、多抽象度的卷积神经网络来实现特征提取，并对提取的各局部特征与全局特征进行融合，从而充分利用不同尺度、不同抽象程度特征信息进行超分辨率重构；改进传统的残差模块，提取到更丰富的纹理特征信息；同时，提出的网络结构采用局部和全局的复合连接方式，克服了直连网络单调性和密集网络冗余性的弊端，充分利用网络中分层特征进行超分辨率重建，，能重建出更清晰纹理细节的图像。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。
Claims (5)
1.一种高质量轻量级超分辨率重建网络模型设计方法，其特征在于，包括以下步骤：
对获取的图像进行预处理，并对得到的输入图像进行底层细化特征提取；
对所述输入图像进行多级复合特征的多种程度的特征提取；
采用跳跃连接的方式对得到的底层细微特征和多级复合特征进行融合；
基于超分辨率算法对融合得到的多尺度复合特征进行重构放大，得到超分辨率重建网络模型。
2.如权利要求1所述的高质量轻量级超分辨率重建网络模型设计方法，其特征在于，所述方法还包括：
获取多张RGB训练集图像，并对所述RGB训练集图像进行增强和裁剪处理，然后将处理后的所述RGB训练集图像输入所述超分辨率重建网络模型进行训练；
获取多张RGB验证集图像，并输入训练后的所述超分辨率重建网络模型进行验证。
3.如权利要求1所述的高质量轻量级超分辨率重建网络模型设计方法，其特征在于，对所述输入图像进行多级复合特征的多种程度的特征提取，包括：
通过1ⅹ1的卷积对输入特征数量进行线性扩增；
对所得的特征图进行切分，并分别输入到不同路径进行特征提取，得到多级复合特征。
4.如权利要求1所述的高质量轻量级超分辨率重建网络模型设计方法，其特征在于，采用跳跃连接的方式对得到的底层细微特征和多级复合特征进行融合，包括：
采用跳跃连接的方式，将得到的底层细微特征和多个多级复合特征进行求和；
对得到的和值进行卷积运算，得到多尺度复合特征。
5.如权利要求1所述的高质量轻量级超分辨率重建网络模型设计方法，其特征在于，基于超分辨率算法对融合得到的多尺度复合特征进行重构放大，得到超分辨率重建网络模型，包括：
基于设定的上采样因子对得到的多尺度复合特征进行上采样运算；
使用尺寸为3X3的卷积核对上采样运算后的结果进行卷积运算，得到超分辨率重建网络模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110345763.XA CN113139899A (zh) | 2021-03-31 | 2021-03-31 | 高质量轻量级超分辨率重建网络模型设计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110345763.XA CN113139899A (zh) | 2021-03-31 | 2021-03-31 | 高质量轻量级超分辨率重建网络模型设计方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113139899A true CN113139899A (zh) | 2021-07-20 |
Family
ID=76810193
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110345763.XA Pending CN113139899A (zh) | 2021-03-31 | 2021-03-31 | 高质量轻量级超分辨率重建网络模型设计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113139899A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113610912A (zh) * | 2021-08-13 | 2021-11-05 | 中国矿业大学 | 三维场景重建中低分辨率图像单目深度估计系统及方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109255755A (zh) * | 2018-10-24 | 2019-01-22 | 上海大学 | 基于多列卷积神经网络的图像超分辨率重建方法 |
| AU2020100200A4 (en) * | 2020-02-08 | 2020-06-11 | Huang, Shuying DR | Content-guide Residual Network for Image Super-Resolution |
| CN111861961A (zh) * | 2020-07-25 | 2020-10-30 | 安徽理工大学 | 单幅图像超分辨率的多尺度残差融合模型及其复原方法 |
| CN111915490A (zh) * | 2020-08-14 | 2020-11-10 | 深圳清研智城科技有限公司 | 一种基于多尺度特征的车牌图像超分辨率重建模型及方法 |
| CN112070702A (zh) * | 2020-09-14 | 2020-12-11 | 中南民族大学 | 多尺度残差特征判别增强的图像超分辨率重构系统及方法 |
| CN112200720A (zh) * | 2020-09-29 | 2021-01-08 | 中科方寸知微(南京)科技有限公司 | 一种基于滤波器融合的超分辨率图像重建方法及系统 |
-
2021
- 2021-03-31 CN CN202110345763.XA patent/CN113139899A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109255755A (zh) * | 2018-10-24 | 2019-01-22 | 上海大学 | 基于多列卷积神经网络的图像超分辨率重建方法 |
| AU2020100200A4 (en) * | 2020-02-08 | 2020-06-11 | Huang, Shuying DR | Content-guide Residual Network for Image Super-Resolution |
| CN111861961A (zh) * | 2020-07-25 | 2020-10-30 | 安徽理工大学 | 单幅图像超分辨率的多尺度残差融合模型及其复原方法 |
| CN111915490A (zh) * | 2020-08-14 | 2020-11-10 | 深圳清研智城科技有限公司 | 一种基于多尺度特征的车牌图像超分辨率重建模型及方法 |
| CN112070702A (zh) * | 2020-09-14 | 2020-12-11 | 中南民族大学 | 多尺度残差特征判别增强的图像超分辨率重构系统及方法 |
| CN112200720A (zh) * | 2020-09-29 | 2021-01-08 | 中科方寸知微(南京)科技有限公司 | 一种基于滤波器融合的超分辨率图像重建方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| YUANFEI HUANG等: "Improving Image Super-Resolution via Feature Re-Balancing Fusion", 《2019 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO (ICME)》 * |
| 汪宋等: "SSD（Single Shot MultiBox Detector）目标检测算法的研究与改进", 《工业控制计算机》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113610912A (zh) * | 2021-08-13 | 2021-11-05 | 中国矿业大学 | 三维场景重建中低分辨率图像单目深度估计系统及方法 |
| CN113610912B (zh) * | 2021-08-13 | 2024-02-02 | 中国矿业大学 | 三维场景重建中低分辨率图像单目深度估计系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112329658B (zh) | 一种对于yolov3网络的检测算法改进方法 | |
| CN112507997B (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 | |
| CN111325751A (zh) | 基于注意力卷积神经网络的ct图像分割系统 | |
| CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
| CN111028146A (zh) | 基于双判别器的生成对抗网络的图像超分辨率方法 | |
| CN113313657A (zh) | 一种用于低光照图像增强的非监督学习方法和系统 | |
| CN102243711B (zh) | 一种基于邻域嵌套的图像超分辨率重建方法 | |
| CN113436076B (zh) | 逐步融合特征的图像超分辨率重建方法及电子设备 | |
| CN111951164B (zh) | 一种图像超分辨率重建网络结构及图像重建效果分析方法 | |
| CN115546032B (zh) | 一种基于特征融合与注意力机制的单帧图像超分辨率方法 | |
| CN110738663A (zh) | 双域适应模块金字塔型网络及无监督域适应图像分割方法 | |
| Gendy et al. | Lightweight image super-resolution based on deep learning: State-of-the-art and future directions | |
| CN115331104A (zh) | 一种基于卷积神经网络的农作物种植信息提取方法 | |
| CN116485934A (zh) | 一种基于CNN和ViT的红外图像彩色化方法 | |
| CN111882516B (zh) | 一种基于视觉显著性和深度神经网络的图像质量评价方法 | |
| CN113066065A (zh) | 无参考图像质量检测方法、系统、终端及介质 | |
| CN115660955A (zh) | 高效多注意力特征融合的超分辨率重建模型、方法、设备及存储介质 | |
| Zheng et al. | T-net: Deep stacked scale-iteration network for image dehazing | |
| CN117252936A (zh) | 一种适配多种训练策略的红外图像彩色化方法及系统 | |
| CN115170392A (zh) | 一种基于注意力机制的单图像超分辨率算法 | |
| Chen et al. | Underwater-image super-resolution via range-dependency learning of multiscale features | |
| CN113139899A (zh) | 高质量轻量级超分辨率重建网络模型设计方法 | |
| CN117575915A (zh) | 一种图像超分辨率重建方法、终端设备及存储介质 | |
| CN117152019A (zh) | 一种基于双分支特征处理的低照度图像增强方法和系统 | |
| CN116777745A (zh) | 一种基于稀疏自适应聚类的图像超分辨率重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210720 |
|
| RJ01 | Rejection of invention patent application after publication |