CN117078516A - 基于残差混合注意力的矿井图像超分辨率重建方法 - Google Patents
基于残差混合注意力的矿井图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN117078516A CN117078516A CN202311011161.6A CN202311011161A CN117078516A CN 117078516 A CN117078516 A CN 117078516A CN 202311011161 A CN202311011161 A CN 202311011161A CN 117078516 A CN117078516 A CN 117078516A
- Authority
- CN
- China
- Prior art keywords
- convolution
- module
- attention
- feature
- residual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000000605 extraction Methods 0.000 claims abstract description 62
- 230000004927 fusion Effects 0.000 claims abstract description 29
- 238000007670 refining Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 36
- 238000011176 pooling Methods 0.000 claims description 15
- 230000007246 mechanism Effects 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 230000002708 enhancing effect Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 6
- 238000004364 calculation method Methods 0.000 description 11
- 230000004438 eyesight Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 210000002569 neuron Anatomy 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000008447 perception Effects 0.000 description 4
- 230000016776 visual perception Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像处理技术领域，具体地说，是一种基于残差混合注意力的矿井图像超分辨率重建方法，具体包括，构建一个多尺度残差密集混合注意力的超分辨率网络，包括浅层特征提取模块、深层特征提取模块、重建模块；其中，在浅层特征提取部分，构建了一个多分支卷积模块，获得不同尺度的信息和丰富的特征空间，其输出作为深层特征提取部分的输入；在深层特征提取部分，构建了残差密集混合注意力模块，对浅层特征提取部分的输出进行进一步的特征精炼以得到更深度和更充分的特征信息，并通过混合注意力模块获得相应的权重，使网络关注更高频的信息；在重建模块中，包含图像信息进一步增强模块和多尺度融合特征块。
Description
技术领域
本发明属于图像处理技术领域，具体地说，是一种基于残差混合注意力的矿井图像超分辨率重建方法。
背景技术
图像超分辨率重建是计算机底层视觉任务中非常重要的研究方向，其主要任务是根据输入的一幅或多幅低分辨率图像重建出相应的高分辨率图像。超分辨率重建技术在目标识别、图像检索和图像分类等计算机高级视觉任务中对于提高识别和分类的准确率有着重要作用。特别是在矿井视频监控中，对安全监控与报警有着重要作用，但由于矿井特有的环境和设备的限制，所拍摄的矿井图片或多或少存在着质量和视觉问题。此时，通过图像超分辨率技术对矿井图像进行重建进而恢复成清晰的高质量图像则具有重大意义。图像超分辨率技术的两大评价指标分别是：峰值信噪比(PSNR)和结构相似性(SSIM)，相比于前者，后者考虑了人眼的视觉特征，更符合人的主观感觉。相较于传统重建方法，基于卷积神经网络实现的图像超分辨率重建效果显著提升，但目前仍存在着一些问题。例如，在特征提取过程中低频信息的忽略和丢失，缺少纹理、边缘等更细节的信息；随着网络深度的增加，网络没有充分利用所有卷积层的信息；以及重建图像与真实图像存在差距，不符合人类视觉的主观感受等。因此，如何在提取低频图像的更细节信息的前提下，重建出更高质量的、更符合人类感知的图像，是一个具有重大意义的问题。
一般来说，大多数的超分辨率任务，包含三个模块：前面的浅层特征提取、中间的深层特征提取以及最后的重建部分。我们了解到，在多数的网络结构中，其浅层特征提取部分和重建部分都是类似的：多是浅层特征提取是通过一个3*3卷积，重建部分包含一个1*1卷积和一个亚像素卷积层。主要集中在深层特征提取部分对网络进行改进。而精心设计的模型构架和复杂的优化方法对训练神经网络至关重要。
综述，现有图像超分辨率重建存在以下缺陷：
第一，现有的超分辨率网络大多追求指标的提升，并没有注重重建出的图像是否符合人的感知，与真值图像是否接近等；
第二，直接加入不变的知识，并不能很大提升网络的性能；
第三，当前的部分超分辨网络中存在低频信息的忽略或丢失，没有持续关注原始低分辨率图像边缘、纹理等更细节的信息。
发明内容
为了解决上述技术问题，本发明披露了一种基于残差混合注意力的矿井图像超分辨率重建方法，其主要目的是通过多尺度特征融合提取前部的浅层特征信息和残差混合注意力模块获取中间的深层特征信息，以此达到提高图像重建质量的结果。
本发明采用的具体技术方案如下：
一种基于残差混合注意力的矿井图像超分辨率重建方法，包括以下步骤：构建一个多尺度残差密集混合注意力的超分辨率网络，其结构主要包括：浅层特征提取模块、深层特征提取模块、重建模块；
在上述步骤中，在浅层特征提取部分，构建了一个多分支卷积模块，可以获得不同尺度的信息和丰富的特征空间，其输出作为深层特征提取部分的输入；在深层特征提取部分，构建了残差密集混合注意力模块，对浅层特征提取部分的输出进行进一步的特征精炼以得到更深度和更充分的特征信息，并通过混合注意力模块获得相应的权重，使网络关注更高频的信息；在重建模块中，包含图像信息进一步增强模块和多尺度融合特征块。
在上述技术方案中，浅层特征提取在图像信号分辨率重建网络任务中的作用是从输入图像中提取低级别的特征。通过浅层特征提取模块，超分辨率重建网络能够学习到原始低分辨率图像中的纹理和细节等特征信息。在当下常见的超分辨率网络中，其浅层特征提取模块大多通过一个标准的3*3卷积来实现。本发明启发于多尺度多通道特征融合的思想，先是将原始低分辨率图像通过一个标准的3*3卷积来学习丰富的特征表示，然后将其输出输入到多分支卷积模块中。多分支卷积模块是通过3个分支进行特征提取，分别是1*1卷积、3*3卷积和5*5卷积，而且在3*3卷积后连接平均池化、在5*5卷积后连接最大池化。最后将三个分支提取到的特征信息进行特征融合。如此，这种包含不同感受野的结构能够获得图像纹理、细节更加丰富的特征信息，增强特征表示能力。
假设将原始低分辨率图像表示为LR，浅层特征提取部分可以表示为：
X0＝F3x3(ILR) (1)
X1＝F1x1(X0)+GAP(F3x3(X0))+GMP(F5x5(X0)) (2)
其中，F1x1(·)是1X1卷积，F3x3(·)是3X3卷积，F5x5(·)是5X5卷积，GAP(·)表示全局平均池化，GMP(·)表示全局最大池化，X0表示经3X3卷积提取后的特征，X1表示经多分支卷积模块提取后的特征。
在上述技术方案中，经浅层特征提取的X1作为输入，被输入到深层特征提取部分中，该深层特征提取模块由三个残差密集混合注意力模块(Residual Dense HybridizedAttention Block，RDHAB)密集连接，允许每个RDHAB提取的特征信息都能够传递到下一个RDHAB中，最后将三个RDHAB提取的特征信息融合在一起。RDHAB由一个残差密集块(Residual Dense Block，RDB)和一个混合注意力(Hybridized Attention，HA)模块组成。该过程可表达为：
X3 1＝FRDHA1(X1) (3)
X3 k＝FRDHAk(X3 k-1)，k≥2 (4)
Xc＝Cat(X3 1，……，X3 k) (5)
其中，X3 1和X3 k分别表示第1个和第k个残差密集混合注意力块的输出特征图，Xc表示深层特征提取后的特征图，FRDHA1(·)和FRDHAk(·)分别表示第1个和第k个残差密集混合注意力模块的映射函数，Cat(·)表示特征融合操作。
在上述技术方案中，残差密集块(ResidualDenseBlock，RDB)包含密集连接层、局部特征融合层和局部残差学习。启发于RDN，通过构建一种新的残差密集块来使SR模型充分利用原始低分辨率(LR)图像的层次特征并且充分利用了所有模块和卷积层的层次特征，它迭代地将输入特征与输出特征连接起来，使每个卷积块能够接收来自所有先前块的原始信息，从而实现了相对较高的性能。该RDB模块中包含4个3*3卷积和一个1*1卷积。在原始RDN中，在RDB中每个3*3卷积后跟一个Relu激活函数。考虑到Relu函数将负输入值直接置为0，也就是将所有负数值变为非激活状态，而正输入值保持不变，然而当Relu函数处理较大的负输入值时存在问题，即神经元在训练过程中有一个较大的负权重，并且对应的输入也为负数，那么该神经元的输出将一直为零，故该神经元对网络没有贡献。针对这一问题，提出用Lrelu激活函数替代Relu函数，通过调整斜率参数的大小，可以控制在负输入值时激活的程度，设置斜率参数为0.25。
因为每个卷积层中的特征将具有不同的感受野。前面的卷积层和每一层的输出都直接连接到所有后续层，这不仅保留了前馈性质，而且提取了局部密集特征，这同时也减少了参数量。在每个RDB中，经4个3*3卷积密集连接特征融合后，送入一个1*1卷积层来自适应地控制输出信息。之后便将经1*1卷积后的特征图像与输入该RDB的特征图像进行局部残差学习。局部残差学习可以进一步改善信息流同时进一步提高网络表示能力，从而获得更好的性能。
自从注意力机制被引入计算机视觉领域并被证明在提高计算机视觉任务的模型性能方面显示出巨大的优势，通道和空间等注意力机制便被应用于各种图像超分辨率网络中。考虑到单一的通道注意力只关注每个通道的重要性，而不考虑通道之间的依赖关系，可能会导致部分重要的信息被丢失或忽略；同样单一的空间注意力只关注每个像素的重要性，而忽略每个像素之间的空间关系，有时还会导致较高的计算复杂度，从而限制模型的速度和效率。为克服这些缺点，提出了通过像素注意力和通道-空间联合注意力级联的混合注意力机制。像素注意力可以根据每个像素的重要性自适应的调整权重，从而引导模型关注图像中更重要的内容，如边缘、纹理、目标等，这有助于提高模型对重要细节的捕捉和表示能力。同时避免了对所有像素进行全局计算，而是仅仅关注感兴趣的部分，这大大减少了计算量。这样一来，不仅可以在保留重要信息的同时考虑通道和空间间的关联性，还可以不引入额外的参数，有助于减少模型的计算复杂度，提高计算效率。
像素注意力可以根据每个像素的重要性自适应的调整权重，从而引导模型关注图像中更重要的内容，如边缘、纹理、目标等，这有助于提高模型对重要细节的捕捉和表示能力。同时避免了对所有像素进行全局计算，而是仅仅关注感兴趣的部分，这大大减少了计算量。不仅如此，像素注意力可以抑制图像中的噪声、图像伪影或者其他干扰，提高图像处理任务中的鲁棒性和去噪能力。像素注意力仅有两个分支，上分支仅有一个1*1卷积和一个Sigmoid函数来获得注意力图，下分支仅是通过短连接将获得的注意力图与输入特征相乘。换句话说，像素注意力为特征图的所有像素生成注意力系数。将输入和输出像素注意力的图像特征分别表示为Xm-1和Xm，则PA层可以表示为：
Xm＝FPA(Xm-1)·Xm-1 (6)
其中，FPA(·)表示1*1卷积，后面跟着Sigmoid函数。
通道注意力可以根据每个通道的重要性自适应地调整通道权重，突出对于任务而言具有关键作用的特征通道。通过增强重要特征通道的表示能力，网络可以更好地捕捉到与任务相关的特征，从而提升了模型的性能。空间注意力可以根据每个空间位置的重要性调整空间权重，使得网络能够更加关注图像的有用区域。在处理图像时，不同的位置可能对于任务的结果具有不同的重要性。引入空间注意力可以提升对于重要区域的关注度，从而有助于更好地利用有限的模型容量和计算资源。本发明中提出的通道-空间联合注意力模块CSJAM是一种同时考虑了通道维度和空间维度信息的注意力机制，其可以使得网络同时聚焦“关注哪里”和“关注什么”，能够提升模型的表示能力，优化空间信息分配，提高模型的鲁棒性，并且减少计算负担。这些都能使得图像超分辨任务获得良好的性能和效果。通道-空间联合注意力模块CSJAM可以分为通道注意力分支和空间注意力分支。通道注意力分支包含一个3*3卷积、一个Lrelu函数、一个1*1卷积以及Sigmoid函数，根据每个通道的重要性自适应地调整通道权重，增强特征通道的表示能力。空间注意力分支包含一个1*1卷积和一个Sigmoid函数。可以根据每个像素的重要性自适应的调整权重，从而引导模型关注图像中更重要的内容。可以看出，该模块具有很少的参数但能实现较好的重建效果。之后便将两分支的输出进行一个加法运算来进行特征融合得到相应的权重，再将该权重与输入该模块的输入特征进行相乘之后的输出特征图与输入特征图进行相加，便得到了经通道-空间联合注意力模块的输出特征图。该过程可以表示为：
Xc＝δs(F1*1(δLre(F3*3(Xin))))
Xs＝δs(F1*1(Xin))
Xc-s＝Xin×(Xc+Xs)
XCSJAM＝Xin+Xc-s
其中，Xc和Xs分别表示通道注意力分支和空间注意力分支输出的特征信息，Xc-s表示形成的通道-空间联合注意力特征信息，XCSJAM表示CSJAM输出的最终特征信息。δs(·)表示的是Sigmoid函数操作，δLre(·)表示的是Lrelu函数操作，F1x1(·)是1X1卷积，F3x3(·)是3X3卷积。
在大多数常见的图像超分辨率网络中，其重建部分是由一个3*3卷积和一个亚像素卷积层组成。受人类视觉系统中的视网膜群体感受野(pRF)和RFBNet的启发，本发明提出在3*3卷积前加一个接收场模块(RFB)，旨在对深层特征提取部分提取的特征信息进行进一步的增强和细化。考虑到经过复杂的特征提取过程之后获得的特征图像可能会丢失部分重要的低频信息，故并没有简单的输出特征图像，而是对原始低分辨率图像进行双三次上采样，并将LR图像的双三次上采样结果与其进行加法运算来进行特征融合，最终得到重建后的图像。
受RFBNet的启发，对其中的RFB模块进行微调得到RFB-s：
(3)将RFB模块内部结构中的5*5卷积用两个3*3卷积代替；
(4)将RFB模块内部结构中替换的3*3卷积用一个1*3卷积和一个3*1卷积的并联代替。
如此一来，这种微调在保证相同感受野的同时，可以减少参数量并在一定程度上提高计算效率、增强网络的泛化能力和层次表示能力。
本发明中所提出的RFB-s是一个多分支卷积块，其内部可以分为两部分：具有不同核的多分支卷积层和尾部扩张池化或卷积层。
在多分支卷积层中，设置有4个分支，在每个分支中首先都要先进行1*1卷积和最后都要经过具有不同卷积率的3*3卷积，其卷积率分别为1、3、5。然后四个分支的输出特征图像进行特征融合后，再进行一个1*1卷积进行平滑和调整输出特征图像的尺寸大小，再将其输出特征与该模块的输入特征进行融合得到RFB模块的输出特征信息XRFB，之后再将XRFB输入到一个3*3卷积和亚像素上采样层中得到亚像素上采样的输出特征图像Xup，最后XRFB与原始低分辨率图像经双三次上采样后的输出特征图像进行加法运算来进行特征融合，最终得到重建图像。
综述：
第一、首先本发明考虑到当下部分超分辨率网络中没有充分利用原始低分辨率图像，在深层次结构中会造成低频信息的忽略和缺失，避免生成过拟合、与真实图像偏差过大的高分辨率图像，故我们在浅层特征提取层中引入了多分支卷积块以及在重建模块中加入一个经过双三次下采样操作的长跳跃连接。多分支卷积块包含多种感受野，可以获得纹理、细节等更丰富的低频特征信息，增强网络的特征表示能力。经过双三次下采样的长跳跃连接将原始低分辨率图像与亚像素卷积层的输出图像进行特征融合，可以帮助网络更好的底层的低级特征，从而更好的重建出更高质量的输出图像。
第二、针对当下注意力机制网络中的，单一的通道注意力和单一的空间注意力存在无法充分利用通道间的依赖关系和像素之间的空间关系以及通过串联的空间和通道联合注意力存在参数量大、计算复杂等问题，我们提出了在改进的RDB块后紧跟着一种混合注意力机制进行密集连接。该混合注意力由像素注意力和新提出的通道-空间联合注意力并联组成，来对网络对输入的图像特征根据任务自适应的分配权重，使得网络关注更感兴趣的区域，并且改进后的通道-空间联合注意力含有更好的参数，可以保障不损失网络性能的前提下提高模型的计算速率。
第三、本发明针对目前超分辨率网络的结构进行思考，认为目前的超分辨率网络追求指标上的提升，没有很好地考虑到重建的图像是否符合人类感知，与真值图像是否更加符合等问题。本发明的网络通过在重建部分增加RFB模块来模拟人类视觉系统中RF的大小和偏心率的配置，增强了网络中深层特征提取部分输出的特征图像，得到更符合人类视觉感知的、更高质量的超分辨率网络。并且在提出的RFB-s模块中，对比原始的RFB模块，我们做出了一些微调，将5*5卷积等效替换成两个3*3卷积，再将该替换的3*3卷积等效替换成一个1*3卷积和一个3*1卷积的并联结构。通过结构的微调，可以使得网络获得相同的感受野下适当的减少参数、提高计算效率并增强图像的特征表示能力。
本发明的有益效果：
第一、将RDB模块和混合注意力模块同时引入到超分辨率重建的计算机视觉任务进行结合，来改善现今超分辨率网络中普遍存在的缺陷，提升网络的性能。
第二、考虑到现有图像超分辨率任务中重建图像与真实图像的差距，没有考虑到人类的视觉感知效果。因此在重建部分引入了类似于人类视觉感知的接受场模块RFB来重建出更符合人类视觉感知的图像。
第三、本发明在浅层特征提取部分加入了多感受野的多分支卷积块。相较于其他工作，该操作可以帮助网络提取到纹理、边缘等更细节的特征信息。
附图说明
图1是本发明的框架结构图。
图2是本发明中浅层特征提取块图。
图3是本发明中残差密集模块图。
图4是本发明中像素注意力机制图。
图5是本发明中通道-空间联合注意力模块图。
图6是本发明中RFB-s模块图。
具体实施方式
为了加深对本发明的理解，下面将结合附图和实施例对本发明做进一步详细描述，该实施例仅用于解释本发明，并不对本发明的保护范围构成限定。
实施例：如图1所示，本发明讲述了一种增强图像超分辨率网络性能的新方法，该方法是基于残差混合注意力的矿井图像超分辨率重建方法，其主要目的是通过多尺度特征融合提取前部的浅层特征信息和残差混合注意力模块获取中间的深层特征信息，以此达到提高图像重建质量的结果。
该方法主要包括这几部分：1、构建一个多尺度残差密集混合注意力的超分辨率网络，其结构主要包括浅层特征提取模块、深层特征提取模块、重建模块；2、在浅层特征提取部分，构建了一个多分支卷积模块，可以获得不同尺度的信息和丰富的特征空间，其输出作为深层特征提取部分的输入；3、在深层特征提取部分，构建了残差密集混合注意力模块，对浅层特征提取部分的输出进行进一步的特征精炼以得到更深度和更充分的特征信息，并通过混合注意力模块获得相应的权重，使网络关注更高频的信息；4、在重建模块中，包含图像信息进一步增强模块和多尺度融合特征块。
第一部分：浅层特征提取
浅层特征提取在图像信号分辨率重建网络任务中的作用是从输入图像中提取低级别的特征。通过浅层特征提取模块，超分辨率重建网络能够学习到原始低分辨率图像中的纹理和细节等特征信息。在当下常见的超分辨率网络中，其浅层特征提取模块大多通过一个标准的3*3卷积来实现。本发明启发于多尺度多通道特征融合的思想，先是将原始低分辨率图像通过一个标准的3*3卷积来学习丰富的特征表示，然后将其输出输入到多分支卷积模块中。如图2所示，多分支卷积模块是通过3个分支进行特征提取，分别是1*1卷积、3*3卷积和5*5卷积，而且在3*3卷积后连接平均池化、在5*5卷积后连接最大池化。最后将三个分支提取到的特征信息进行特征融合。如此，这种包含不同感受野的结构能够获得图像纹理、细节更加丰富的特征信息，增强特征表示能力。
假设将原始低分辨率图像表示为LR，浅层特征提取部分可以表示为：
X0＝F3x3(ILR) (1)
X1＝F1x1(X0)+GAP(F3x3(X0))+GMP(F5x5(X0)) (2)
其中，F1x1(·)是1X1卷积，F3x3(·)是3X3卷积，F5x5(·)是5X5卷积，GAP(·)表示全局平均池化，GMP(·)表示全局最大池化，X0表示经3X3卷积提取后的特征，X1表示经多分支卷积模块提取后的特征。
第二部分：深层特征提取
经浅层特征提取的X1作为输入，被输入到深层特征提取部分中，该深层特征提取模块由三个残差密集混合注意力模块(ResidualDenseHybridizedAttentionBlock，RDHAB)密集连接，允许每个RDHAB提取的特征信息都能够传递到下一个RDHAB中，最后将三个RDHAB提取的特征信息融合在一起。RDHAB由一个残差密集块(ResidualDenseBlock，RDB)和一个混合注意力(HybridizedAttention，HA)模块组成。该过程可表达为：
X3 1＝FRDHA1(X1) (3)
X3 k＝FRDHAk(X3 k-1)，k≥2 (4)
Xc＝Cat(X3 1，……，X3 k) (5)
其中，X3 1和X3 k分别表示第1个和第k个残差密集混合注意力块的输出特征图，Xc表示深层特征提取后的特征图，FRDHA1(·)和FRDHAk(·)分别表示第1个和第k个残差密集混合注意力模块的映射函数，Cat(·)表示特征融合操作。
残差密集快(RDB)
现在，我们在图3中展示了我们提出的残差密集块(RDB)的细节。所提出的RDB包含密集连接层、局部特征融合层和局部残差学习。启发于RDN，我们通过构建一种新的残差密集块来使SR模型充分利用原始低分辨率(LR)图像的层次特征并且充分利用了所有模块和卷积层的层次特征，它迭代地将输入特征与输出特征连接起来，使每个卷积块能够接收来自所有先前块的原始信息，从而实现了相对较高的性能。该RDB模块中包含4个3*3卷积和一个1*1卷积。在原始RDN中，在RDB中每个3*3卷积后跟一个Relu激活函数。考虑到Relu函数将负输入值直接置为0，也就是将所有负数值变为非激活状态，而正输入值保持不变，然而当Relu函数处理较大的负输入值时存在问题，即神经元在训练过程中有一个较大的负权重，并且对应的输入也为负数，那么该神经元的输出将一直为零，故该神经元对网络没有贡献。针对这一问题，我们提出用Lrelu激活函数替代Relu函数。通过调整斜率参数的大小，可以控制在负输入值时激活的程度。这里我们设置斜率参数为0.25。
因为每个卷积层中的特征将具有不同的感受野。前面的卷积层和每一层的输出都直接连接到所有后续层，这不仅保留了前馈性质，而且提取了局部密集特征，这同时也减少了参数量。在每个RDB中，经4个3*3卷积密集连接特征融合后，送入一个1*1卷积层来自适应地控制输出信息。之后便将经1*1卷积后的特征图像与输入该RDB的特征图像进行局部残差学习。局部残差学习可以进一步改善信息流同时进一步提高网络表示能力，从而获得更好的性能。
混合注意力模块
自从注意力机制被引入计算机视觉领域并被证明在提高计算机视觉任务的模型性能方面显示出巨大的优势，通道和空间等注意力机制便被应用于各种图像超分辨率网络中。我们考虑到单一的通道注意力只关注每个通道的重要性，而不考虑通道之间的依赖关系，可能会导致部分重要的信息被丢失或忽略；同样单一的空间注意力只关注每个像素的重要性，而忽略每个像素之间的空间关系，有时还会导致较高的计算复杂度，从而限制模型的速度和效率。为克服这些缺点，我们提出了通过像素注意力和通道-空间联合注意力级联的混合注意力机制。像素注意力可以根据每个像素的重要性自适应的调整权重，从而引导模型关注图像中更重要的内容，如边缘、纹理、目标等，这有助于提高模型对重要细节的捕捉和表示能力。同时避免了对所有像素进行全局计算，而是仅仅关注感兴趣的部分，这大大减少了计算量。这样一来，不仅可以在保留重要信息的同时考虑通道和空间间的关联性，还可以不引入额外的参数，有助于减少模型的计算复杂度，提高计算效率。
像素注意力机制
像素注意力可以根据每个像素的重要性自适应的调整权重，从而引导模型关注图像中更重要的内容，如边缘、纹理、目标等，这有助于提高模型对重要细节的捕捉和表示能力。同时避免了对所有像素进行全局计算，而是仅仅关注感兴趣的部分，这大大减少了计算量。不仅如此，像素注意力可以抑制图像中的噪声、图像伪影或者其他干扰，提高图像处理任务中的鲁棒性和去噪能力。
如图4所示，像素注意力仅有两个分支，上分支仅有一个1*1卷积和一个Sigmoid函数来获得注意力图，下分支仅是通过短连接将获得的注意力图与输入特征相乘。换句话说，像素注意力为特征图的所有像素生成注意力系数。我们将输入和输出像素注意力的图像特征分别表示为Xm-1和Xm，则PA层可以表示为：
Xm＝FPA(Xm-1) ·Xm-1 (6)
其中，FPA(·)表示1*1卷积，后面跟着Sigmoid函数。
通道-空间联合注意力机制(CSJAM)
通道注意力可以根据每个通道的重要性自适应地调整通道权重，突出对于任务而言具有关键作用的特征通道。通过增强重要特征通道的表示能力，网络可以更好地捕捉到与任务相关的特征，从而提升了模型的性能。空间注意力可以根据每个空间位置的重要性调整空间权重，使得网络能够更加关注图像的有用区域。在处理图像时，不同的位置可能对于任务的结果具有不同的重要性。引入空间注意力可以提升对于重要区域的关注度，从而有助于更好地利用有限的模型容量和计算资源。
我们提出的通道-空间联合注意力模块CSJAM是一种同时考虑了通道维度和空间维度信息的注意力机制。其可以使得网络同时聚焦“关注哪里”和“关注什么”，能够提升模型的表示能力，优化空间信息分配，提高模型的鲁棒性，并且减少计算负担。这些都能使得图像超分辨任务获得良好的性能和效果。如图5所示，通道-空间联合注意力模块CSJAM可以分为通道注意力分支和空间注意力分支。由图5可知，通道注意力分支包含一个3*3卷积、一个Lrelu函数、一个1*1卷积以及Sigmoid函数，根据每个通道的重要性自适应地调整通道权重，增强特征通道的表示能力。空间注意力分支包含一个1*1卷积和一个Sigmoid函数。可以根据每个像素的重要性自适应的调整权重，从而引导模型关注图像中更重要的内容。可以看出，该模块具有很少的参数但能实现较好的重建效果。之后便将两分支的输出进行一个加法运算来进行特征融合得到相应的权重，再将该权重与输入该模块的输入特征进行相乘之后的输出特征图与输入特征图进行相加，便得到了经通道-空间联合注意力模块的输出特征图。该过程可以表示为：
Xc＝δs(F1*1(δLre(F3*3(Xin))))
Xs＝δs(F1*1(Xin))
Xc-s＝Xin×(Xc+Xs)
XCSJAM＝Xin+Xc-s
其中，Xc和Xs分别表示通道注意力分支和空间注意力分支输出的特征信息，Xc-s表示形成的通道-空间联合注意力特征信息，XCSJAM表示CSJAM输出的最终特征信息。δs(·)表示的是Sigmoid函数操作，δLre(·)表示的是Lrelu函数操作，F1x1(·)是1X1卷积，F3x3(·)是3X3卷积。
第三部分：重建部分
在大多数常见的图像超分辨率网络中，其重建部分是由一个3*3卷积和一个亚像素卷积层组成。受人类视觉系统中的视网膜群体感受野(pRF)和RFBNet的启发，我们提出在3*3卷积前加一个接收场模块(RFB)，旨在对深层特征提取部分提取的特征信息进行进一步的增强和细化。我们还考虑到经过复杂的特征提取过程之后获得的特征图像可能会丢失部分重要的低频信息，故我们并没有简单的输出特征图像，而是对原始低分辨率图像进行双三次上采样，并将LR图像的双三次上采样结果与其进行加法运算来进行特征融合，最终得到重建后的图像。
如图6所示，我们受RFBNet的启发，对其中的RFB模块进行微调得到RFB-s：(1)将RFB模块内部结构中的5*5卷积用两个3*3卷积代替；(2)将RFB模块内部结构中替换的3*3卷积用一个1*3卷积和一个3*1卷积的并联代替。如此一来，这种微调在保证相同感受野的同时，可以减少参数量并在一定程度上提高计算效率、增强网络的泛化能力和层次表示能力。发明中所提出的RFB-s是一个多分支卷积块，其内部可以分为两部分：具有不同核的多分支卷积层和尾部扩张池化或卷积层。
在多分支卷积层中，我们设置有4个分支，在每个分支中首先都要先进行1*1卷积和最后都要经过具有不同卷积率的3*3卷积，其卷积率分别为1、3、5。然后四个分支的输出特征图像进行特征融合后，再进行一个1*1卷积进行平滑和调整输出特征图像的尺寸大小，再将其输出特征与该模块的输入特征进行融合得到RFB模块的输出特征信息XRFB，之后再将XRFB输入到一个3*3卷积和亚像素上采样层中得到亚像素上采样的输出特征图像Xup，最后XRFB与原始低分辨率图像经双三次上采样后的输出特征图像进行加法运算来进行特征融合，最终得到重建图像。
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (9)
1.一种基于残差混合注意力的矿井图像超分辨率重建方法，其特征在于，构建一个多尺度残差密集混合注意力的超分辨率网络，包括：浅层特征提取模块、深层特征提取模块、重建模块；
其中，
在浅层特征提取部分，构建了一个多分支卷积模块，获得不同尺度的信息和丰富的特征空间，其输出作为深层特征提取部分的输入；
在深层特征提取部分，构建了残差密集混合注意力模块，对浅层特征提取部分的输出进行进一步的特征精炼以得到更深度和更充分的特征信息，并通过混合注意力模块获得相应的权重，使网络关注更高频的信息；
在重建模块中，包含图像信息进一步增强模块和多尺度融合特征块。
2.根据权利要求1所述的基于残差混合注意力的矿井图像超分辨率重建方法，其特征在于，在所述浅层特征提取部分中，先是将原始低分辨率图像通过一个标准的3*3卷积来学习丰富的特征表示，然后将其输出输入到多分支卷积模块中。
3.根据权利要求2所述的基于残差混合注意力的矿井图像超分辨率重建方法，其特征在于，所述多分支卷积模块是通过3个分支进行特征提取，分别是1*1卷积、3*3卷积和5*5卷积，而且在3*3卷积后连接平均池化、在5*5卷积后连接最大池化，最后将三个分支提取到的特征信息进行特征融合；
将原始低分辨率图像表示为LR，浅层特征提取部分表示为：
X0＝F3x3(ILR) (1)
X1＝F1x1(X0)+GAP(F3x3(X0))+GMP(F5x5(X0)) (2)
其中，F1x1(·)是1X1卷积，F3x3(·)是3X3卷积，F5x5(·)是5X5卷积，GAP(·)表示全局平均池化，GMP(·)表示全局最大池化，X0表示经3X3卷积提取后的特征，X1表示经多分支卷积模块提取后的特征。
4.根据权利要求3所述的基于残差混合注意力的矿井图像超分辨率重建方法，其特征在于，经浅层特征提取的X1作为输入，被输入到深层特征提取部分中，该深层特征提取模块由三个残差密集混合注意力模块密集连接，允许每个残差密集混合注意力模块提取的特征信息都能够传递到下一个残差密集混合注意力模块中，最后将三个残差密集混合注意力模块提取的特征信息融合在一起。
5.根据权利要求4所述的基于残差混合注意力的矿井图像超分辨率重建方法，其特征在于，残差密集混合注意力模块由一个残差密集块和一个混合注意力模块组成，该过程可表达为：
X3 1＝FRDHA1 (X1) (3)
X3 k＝FRDHAk (X3 k-1)， k≥2 (4)
Xc＝Cat(X3 1 ， ……， X3 k) (5)
其中，X3 1和X3 k分别表示第1个和第k个残差密集混合注意力块的输出特征图，Xc表示深层特征提取后的特征图，FRDHA1(·)和FRDHAk(·)分别表示第1个和第k个残差密集混合注意力模块的映射函数，Cat(·)表示特征融合操作。
6.根据权利要求5所述的基于残差混合注意力的矿井图像超分辨率重建方法，其特征在于，所述残差密集块包含密集连接层、局部特征融合层和局部残差学习，所述残差密集块中包含4个3*3卷积和一个1*1卷积，用Lrelu激活函数替代Relu函数，通过调整斜率参数的大小，控制在负输入值时激活的程度，设置斜率参数为0.25。
7.根据权利要求6所述的基于残差混合注意力的矿井图像超分辨率重建方法，其特征在于，还包括通过像素注意力和通道-空间联合注意力级联的混合注意力机制，其中，像素注意力仅有两个分支，上分支仅有一个1*1卷积和一个Sigmoid函数来获得注意力图，下分支仅是通过短连接将获得的注意力图与输入特征相乘，将输入和输出像素注意力的图像特征分别表示为Xm-1和Xm，则PA层可以表示为：
Xm＝FPA(Xm-1) ·Xm-1 (6)
FPA(·)表示1*1卷积，后面跟着Sigmoid函数；
通道-空间联合注意力模块CSJAM分为通道注意力分支和空间注意力分支，通道注意力分支包含一个3*3卷积、一个Lrelu函数、一个1*1卷积以及Sigmoid函数，根据每个通道的重要性自适应地调整通道权重，增强特征通道的表示能力，空间注意力分支包含一个1*1卷积和一个Sigmoid函数，将两分支的输出进行一个加法运算来进行特征融合得到相应的权重，再将该权重与输入该模块的输入特征进行相乘之后的输出特征图与输入特征图进行相加，便得到了经通道-空间联合注意力模块的输出特征图，该过程表示为：
Xc＝δs(F1*1(δLre(F3*3(Xin))))
Xs＝δs(F1*1(Xin))
Xc-s＝Xin×(Xc+Xs)
XCSJAM＝Xin+Xc-s
其中，Xc和Xs分别表示通道注意力分支和空间注意力分支输出的特征信息，Xc-s表示形成的通道-空间联合注意力特征信息，XCSJAM表示CSJAM输出的最终特征信息。δs(·)表示的是Sigmoid函数操作，δLre(·)表示的是Lrelu函数操作，F1x1(·)是1X1卷积，F3x3(·)是3X3卷积。
8.根据权利要求7所述的基于残差混合注意力的矿井图像超分辨率重建方法，其特征在于，在重建模块中，在3*3卷积前加一个接收场模块，旨在对深层特征提取部分提取的特征信息进行进一步的增强和细化，对其中的RFB模块进行微调得到RFB-s：
(1)将RFB模块内部结构中的5*5卷积用两个3*3卷积代替；
(2)将RFB模块内部结构中替换的3*3卷积用一个1*3卷积和一个3*1卷积的并联代替。
9.根据权利要求8所述的基于残差混合注意力的矿井图像超分辨率重建方法，其特征在于，所述RFB-s是一个多分支卷积块，其内部分为两部分：具有不同核的多分支卷积层和尾部扩张池化或卷积层；在多分支卷积层中，设置有4个分支，在每个分支中首先都要先进行1*1卷积和最后都要经过具有不同卷积率的3*3卷积，其卷积率分别为1、3、5，然后四个分支的输出特征图像进行特征融合后，再进行一个1*1卷积进行平滑和调整输出特征图像的尺寸大小，再将其输出特征与该模块的输入特征进行融合得到RFB模块的输出特征信息XRFB，之后再将XRFB输入到一个3*3卷积和亚像素上采样层中得到亚像素上采样的输出特征图像Xup，最后XRFB与原始低分辨率图像经双三次上采样后的输出特征图像进行加法运算来进行特征融合，最终得到重建图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311011161.6A CN117078516B (zh) | 2023-08-11 | 2023-08-11 | 基于残差混合注意力的矿井图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311011161.6A CN117078516B (zh) | 2023-08-11 | 2023-08-11 | 基于残差混合注意力的矿井图像超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117078516A true CN117078516A (zh) | 2023-11-17 |
| CN117078516B CN117078516B (zh) | 2024-03-12 |
Family
ID=88718768
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311011161.6A Active CN117078516B (zh) | 2023-08-11 | 2023-08-11 | 基于残差混合注意力的矿井图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117078516B (zh) |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
| AU2020100200A4 (en) * | 2020-02-08 | 2020-06-11 | Huang, Shuying DR | Content-guide Residual Network for Image Super-Resolution |
| CN111583115A (zh) * | 2020-04-30 | 2020-08-25 | 西安交通大学 | 基于深度注意力网络的单幅图像超分辨率重建方法及系统 |
| CN112686804A (zh) * | 2020-12-29 | 2021-04-20 | 中国矿业大学 | 面向矿井低光照环境的图像超分辨率重建方法及装置 |
| CN113592718A (zh) * | 2021-08-12 | 2021-11-02 | 中国矿业大学 | 基于多尺度残差网络的矿井图像超分辨率重建方法及系统 |
| CN114049261A (zh) * | 2022-01-13 | 2022-02-15 | 武汉理工大学 | 一种关注前景信息的图像超分辨率重建方法 |
| CN114429422A (zh) * | 2021-12-22 | 2022-05-03 | 山东师范大学 | 基于残差通道注意力网络的图像超分辨率重建方法及系统 |
| US20220261960A1 (en) * | 2020-05-21 | 2022-08-18 | Tencent Technology (Shenzhen) Company Limited | Super-resolution reconstruction method and related apparatus |
| CN114972024A (zh) * | 2022-05-13 | 2022-08-30 | 山西大学 | 一种基于图表示学习的图像超分辨率重建装置及方法 |
| CN115239564A (zh) * | 2022-08-18 | 2022-10-25 | 中国矿业大学 | 一种结合语义信息的矿井图像超分辨率重建方法 |
| CN115311137A (zh) * | 2022-07-01 | 2022-11-08 | 西安电子科技大学 | 一种基于网络二值化推理加速的图像超分辨率重建方法 |
| CN115660955A (zh) * | 2022-10-20 | 2023-01-31 | 安徽理工大学 | 高效多注意力特征融合的超分辨率重建模型、方法、设备及存储介质 |
| WO2023010831A1 (zh) * | 2021-08-03 | 2023-02-09 | 长沙理工大学 | 提高图像分辨率的方法、系统、装置及存储介质 |
| CN115797181A (zh) * | 2022-12-29 | 2023-03-14 | 中国矿业大学 | 一种面向矿井模糊环境的图像超分辨率重建方法 |
| CN116071243A (zh) * | 2023-03-27 | 2023-05-05 | 江西师范大学 | 一种基于边缘增强的红外图像超分辨率重建方法 |
| US20230153946A1 (en) * | 2021-11-15 | 2023-05-18 | Northeastern University | System and Method for Image Super-Resolution |
| CN116205789A (zh) * | 2022-12-20 | 2023-06-02 | 闽江学院 | 基于通道融合自注意力机制的单幅图像超分辨率重建方法 |
-
2023
- 2023-08-11 CN CN202311011161.6A patent/CN117078516B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
| AU2020100200A4 (en) * | 2020-02-08 | 2020-06-11 | Huang, Shuying DR | Content-guide Residual Network for Image Super-Resolution |
| CN111583115A (zh) * | 2020-04-30 | 2020-08-25 | 西安交通大学 | 基于深度注意力网络的单幅图像超分辨率重建方法及系统 |
| US20220261960A1 (en) * | 2020-05-21 | 2022-08-18 | Tencent Technology (Shenzhen) Company Limited | Super-resolution reconstruction method and related apparatus |
| CN112686804A (zh) * | 2020-12-29 | 2021-04-20 | 中国矿业大学 | 面向矿井低光照环境的图像超分辨率重建方法及装置 |
| WO2023010831A1 (zh) * | 2021-08-03 | 2023-02-09 | 长沙理工大学 | 提高图像分辨率的方法、系统、装置及存储介质 |
| CN113592718A (zh) * | 2021-08-12 | 2021-11-02 | 中国矿业大学 | 基于多尺度残差网络的矿井图像超分辨率重建方法及系统 |
| US20230153946A1 (en) * | 2021-11-15 | 2023-05-18 | Northeastern University | System and Method for Image Super-Resolution |
| CN114429422A (zh) * | 2021-12-22 | 2022-05-03 | 山东师范大学 | 基于残差通道注意力网络的图像超分辨率重建方法及系统 |
| CN114049261A (zh) * | 2022-01-13 | 2022-02-15 | 武汉理工大学 | 一种关注前景信息的图像超分辨率重建方法 |
| CN114972024A (zh) * | 2022-05-13 | 2022-08-30 | 山西大学 | 一种基于图表示学习的图像超分辨率重建装置及方法 |
| CN115311137A (zh) * | 2022-07-01 | 2022-11-08 | 西安电子科技大学 | 一种基于网络二值化推理加速的图像超分辨率重建方法 |
| CN115239564A (zh) * | 2022-08-18 | 2022-10-25 | 中国矿业大学 | 一种结合语义信息的矿井图像超分辨率重建方法 |
| CN115660955A (zh) * | 2022-10-20 | 2023-01-31 | 安徽理工大学 | 高效多注意力特征融合的超分辨率重建模型、方法、设备及存储介质 |
| CN116205789A (zh) * | 2022-12-20 | 2023-06-02 | 闽江学院 | 基于通道融合自注意力机制的单幅图像超分辨率重建方法 |
| CN115797181A (zh) * | 2022-12-29 | 2023-03-14 | 中国矿业大学 | 一种面向矿井模糊环境的图像超分辨率重建方法 |
| CN116071243A (zh) * | 2023-03-27 | 2023-05-05 | 江西师范大学 | 一种基于边缘增强的红外图像超分辨率重建方法 |
Non-Patent Citations (5)
| Title |
|---|
| HAO SHENG等: "Joint operation and attention block search for lightweight image restoration", 《ELSEVIER》, vol. 132, pages 1 - 13 * |
| HENGYUAN ZHAO等: "Efficient Image Super-Resolution Using Pixel Attention", 《SPRINGER LINK》, pages 56 - 72 * |
| 周登文等: "基于区域互补注意力和多维注意力的轻量级图像超分辨率网络", 《模式识别与人工智能》, vol. 35, no. 07, pages 625 - 636 * |
| 王瑞君等: "基于模糊核估计的矿井低照度图像超分辨率重建", 《现代矿业》, vol. 38, no. 12, pages 9 - 13 * |
| 赵捷: "基于深度学习的单幅图像超分辨率重建算法研究", 《中国优秀硕士论文全文数据库 信息科技辑》, pages 138 - 1366 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117078516B (zh) | 2024-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111062872B (zh) | 一种基于边缘检测的图像超分辨率重建方法及系统 | |
| CN109671023B (zh) | 一种人脸图像超分辨率二次重建方法 | |
| CN112507997B (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 | |
| CN110363716B (zh) | 一种基于条件生成对抗网络复合降质图像高质量重建方法 | |
| CN110599401A (zh) | 遥感图像超分辨率重建方法、处理装置及可读存储介质 | |
| CN108259994B (zh) | 一种提高视频空间分辨率的方法 | |
| CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
| CN110675321A (zh) | 一种基于渐进式的深度残差网络的超分辨率图像重建方法 | |
| CN111696033B (zh) | 基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型及方法 | |
| CN111932461B (zh) | 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统 | |
| CN113298718A (zh) | 一种单幅图像超分辨率重建方法及系统 | |
| CN110070489A (zh) | 一种基于视差注意力机制的双目图像超分辨方法 | |
| CN111951164B (zh) | 一种图像超分辨率重建网络结构及图像重建效果分析方法 | |
| Yang et al. | Image super-resolution based on deep neural network of multiple attention mechanism | |
| CN113139585B (zh) | 一种基于统一多尺度密集连接网络的红外与可见光图像融合方法 | |
| CN112070668A (zh) | 一种基于深度学习和边缘增强的图像超分辨方法 | |
| CN112767283A (zh) | 一种基于多图像块划分的非均匀图像去雾方法 | |
| CN116402691B (zh) | 基于图像特征快速拼接的图像超分辨率方法和系统 | |
| CN112950480A (zh) | 一种融合多感受野和密集残差注意的超分辨率重建方法 | |
| CN115526779A (zh) | 一种基于动态注意力机制的红外图像超分辨率重建方法 | |
| Li et al. | Real-world image super-resolution by exclusionary dual-learning | |
| Zheng et al. | T-net: Deep stacked scale-iteration network for image dehazing | |
| CN109272450A (zh) | 一种基于卷积神经网络的图像超分方法 | |
| CN113240581A (zh) | 一种针对未知模糊核的真实世界图像超分辨率方法 | |
| CN117408924A (zh) | 一种基于多重语义特征融合网络的低光照图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |