CN116993592B - 一种图像超分辨率重建模型的构建方法、装置及应用 - Google Patents
一种图像超分辨率重建模型的构建方法、装置及应用 Download PDFInfo
- Publication number
- CN116993592B CN116993592B CN202311260523.5A CN202311260523A CN116993592B CN 116993592 B CN116993592 B CN 116993592B CN 202311260523 A CN202311260523 A CN 202311260523A CN 116993592 B CN116993592 B CN 116993592B
- Authority
- CN
- China
- Prior art keywords
- layer
- convolution
- fusion
- feature
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010276 construction Methods 0.000 title claims abstract description 13
- 230000004927 fusion Effects 0.000 claims abstract description 184
- 238000000605 extraction Methods 0.000 claims abstract description 96
- 238000012549 training Methods 0.000 claims abstract description 21
- 230000006798 recombination Effects 0.000 claims description 63
- 238000005215 recombination Methods 0.000 claims description 63
- 238000000034 method Methods 0.000 claims description 45
- 230000006870 function Effects 0.000 claims description 30
- 230000008447 perception Effects 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 7
- 230000008521 reorganization Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims 4
- 238000010586 diagram Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请提出了一种图像超分辨率重建模型的构建方法、装置及应用，包括以下步骤：构建图像超分辨率重建模型包括浅层特征提取、深层特征提取、特征融合和输出模块；输入低分辨率图像经过浅层提取得到特征，再经过深层提取得到深层特征；深浅特征融合使用卷积和融合注意力层，生成融合结果；输出模块通过特征重建生成超分辨率图像，并计算损失函数；在满足条件时停止训练得到训练好的超分辨率模型。本方案通过融合注意力层可以考虑输入图像的更多细节，从而可以生成质量更高的超分辨率图像。
Description
技术领域
本申请涉及深度学习领域，特别是涉及一种图像超分辨率重建模型的构建方法、装置及应用。
背景技术
近年来，随着深度学习技术的进步和可供训练数据的不断增加，车牌识别(Licensed Plate Recognition，LPR)领域取得了重大进展，然而，从低分辨率(LowResolution，LR)监控视频中识别车牌(Licensed Plate ，LP)仍然具有不小的难度。
目前现有技术基于卷积神经网络(CNN)的超分辨率方法来处理车牌，比如SRCNN，当然这种方法已经取得了很好的结果，但这个方案是通过插值生成的预处理图像，增加了计算复杂度，并且专注于提高峰值信噪比(PSNR)和结构相似性指标(SSIM)，并没有考虑实际应用场景，而且卷积神经网络的图像和卷积核之间的交互与内容是无关的，在局部处理的原则下，卷积对于长距离依赖建模是无效的，这就导致了在LPR领域，基于卷积神经网络的超分辨率方法无法有效地处理相似字符的识别，例如“浙”和“湘”，“T”和“7”，“Z”和“2”，这些相似的字符给LPR带来了极大的难度。
发明内容
本申请实施例提供了一种图像超分辨率重建模型的构建方法、装置及应用，可以通过融合注意力层更好的提取图像的结构、纹理和几何结构特征，从而得到质量更高的超分辨率图像。
第一方面，本申请实施例提供了一种图像超分辨率重建模型的构建方法，所述方法包括：
获取至少一低分辨率图像作为训练样本，构建图像超分辨率重建模型，所述图像超分辨率重建模型包括浅层特征提取模块、深层特征提取模块、特征融合模块以及输出模块组成；
将所述低分辨率图像输入到所述浅层特征提取模块中，所述浅层特征提取模块通过像素重组层以及像素逆重组层对所述低分辨率图像进行特征提取得到浅层特征；
将所述浅层特征输入到所述深层特征提取模块中，所述深层特征提取模块通过残差结构对所述浅层特征进行深度特征提取得到深层特征；
将所述浅层特征与所述深层特征输入到所述特征融合模块中，所述特征融合模块由第一融合卷积层、融合注意力层以及第二融合卷积层顺序串联组成，所述第一融合卷积层对所述深层特征进行卷积后得到第一融合卷积结果，将所述第一融合卷积结果输入到所述融合注意力层中，所述融合注意力层由融合注意力卷积单元、通道单元、位置单元以及几何感知单元组成，所述融合注意力卷积单元对所述第一融合卷积结果进行卷积得到融合注意力卷积结果，将所述融合注意力卷积结果分别输入到通道单元、位置单元以及几何感知单元中分别得到通道特征、位置特征以及几何感知特征，将所述位置特征与所述通道特征进行元素相加后再与所述几何感知特征进行元素相乘得到融合注意力掩码，将所述融合注意力掩码与所述第一融合卷积结果进行特征相乘得到特征融合结果；
所述输出模块根据所述低分辨率图像、深层特征以及特征融合结果进行特征重建得到输出结果，获取与低分辨率图像对应的高分辨率图像，根据所述输出结果与对应的高分辨率图像构建损失函数，当损失函数满足设定条件时停止训练得到训练好的图像超分辨率重建模型。
第二方面，本申请实施例提供了一种图像超分辨率识别方法，所述方法包：
获取一待识别图像，将所述待识别图像输入到通过如第一方面所述的一种图像超分辨率重建模型的构建方法训练好的图像超分辨率重建模型中；
所述图像超分辨率重建模型通过浅层特征提取模块对待识别图像进行特征提取得到浅层特征；
将所述浅层特征输入到图像超分辨率重建模型中的深层特征提取模块中得到深层特征；
将所述浅层特征与所述深层特征输入到图像超分辨率重建模型中的特征融合模块中得到特征融合结果；
所述输出模块根据所述低分辨率图像、深层特征以及特征融合结果进行特征重建得到与待识别图像对应的超分辨率图像。
第三方面，本申请实施例提供了一种图像超分辨率重建模型的构建装置，包括：
构建模块：获取至少一低分辨率图像作为训练样本，构建图像超分辨率重建模型，所述图像超分辨率重建模型包括浅层特征提取模块、深层特征提取模块、特征融合模块以及输出模块组成；
浅层特征提取模块：将所述低分辨率图像输入到所述浅层特征提取模块中，所述浅层特征提取模块通过像素重组层以及像素逆重组层对所述低分辨率图像进行特征提取得到浅层特征；
深层特征提取模块：将所述浅层特征输入到所述深层特征提取模块中，所述深层特征提取模块通过残差结构对所述浅层特征进行深度特征提取得到深层特征；
特征融合模块：将所述浅层特征与所述深层特征输入到所述特征融合模块中，所述特征融合模块由第一融合卷积层、融合注意力层以及第二融合卷积层顺序串联组成，所述第一融合卷积层对所述深层特征进行卷积后得到第一融合卷积结果，将所述第一融合卷积结果输入到所述融合注意力层中，所述融合注意力层由融合注意力卷积单元、通道单元、位置单元以及几何感知单元组成，所述融合注意力卷积单元对所述第一融合卷积结果进行卷积得到融合注意力卷积结果，将所述融合注意力卷积结果分别输入到通道单元、位置单元以及几何感知单元中分别得到通道特征、位置特征以及几何感知特征，将所述位置特征与所述通道特征进行元素相加后再与所述几何感知特征进行元素相乘得到融合注意力掩码，将所述融合注意力掩码与所述第一融合卷积结果进行特征相乘得到特征融合结果；
输出模块：所述输出模块根据所述低分辨率图像、深层特征以及特征融合结果进行特征重建得到输出结果，获取与低分辨率图像对应的高分辨率图像，根据所述输出结果与对应的高分辨率图像构建损失函数，当损失函数满足设定条件时停止训练得到训练好的图像超分辨率重建模型。
第四方面，本申请实施例提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行一种图像超分辨率重建模型的构建方法或一种图像超分辨率识别方法。
第五方面，本申请实施例提供了一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括一种图像超分辨率重建模型的构建方法或一种图像超分辨率识别方法。
本发明的主要贡献和创新点如下：
本申请实施例通过像素重组和像素逆重组的方法来提取图像的浅层特征，并且在进行像素重组和像素逆重组之前通过深度可分离卷积处理图像可以有效的减少卷积的参数量和计算成本；本方案通过在深层特征提取模块中使用残差结构来提取图像的深层特征，使得得到的深层特征具有丰富的层级信息，保证了信息不丢失；本方案在融合注意力层设置通道单元、位置单元以及几何感知单元来获取图像中每一通道的位置信息，并且更好地提取图像中文字的突出结构、纹理特征和几何特征，提高了图像的复原效果；本方案在计算损失时结合了光学字符识别模型的特征提取结果从而提高了模型的超分辨性能。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的一种图像超分辨率重建模型的构建方法的流程图；
图2是根据本申请实施例的浅层特征提取模块的结构示意图：
图3是根据本申请实施例的深层特征提取模块的结构示意图；
图4是根据本申请实施例的特征融合模块的结构示意图：
图5是根据本申请实施例的通道单元的结构示意图；
图6是根据本申请实施例的位置单元的结构示意图；
图7是根据本申请实施例的几何感知单元的结构示意图；
图8是根据本申请实施例的输出模块的结构示意图；
图9是根据本申请实施例的一种图像超分辨率重建模型的构建装置的结构框图；
图10是根据本申请实施例的电子装置的硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
实施例一
本申请实施例提供了一种图像超分辨率重建模型的构建方法，具体地，参考图1，所述方法包括：
获取至少一低分辨率图像作为训练样本，构建图像超分辨率重建模型，所述图像超分辨率重建模型包括浅层特征提取模块、深层特征提取模块、特征融合模块以及输出模块组成；
将所述低分辨率图像输入到所述浅层特征提取模块中，所述浅层特征提取模块通过像素重组层以及像素逆重组层对所述低分辨率图像进行特征提取得到浅层特征；
将所述浅层特征输入到所述深层特征提取模块中，所述深层特征提取模块通过残差结构对所述浅层特征进行深度特征提取得到深层特征；
将所述浅层特征与所述深层特征输入到所述特征融合模块中，所述特征融合模块由第一融合卷积层、融合注意力层以及第二融合卷积层顺序串联组成，所述第一融合卷积层对所述深层特征进行卷积后得到第一融合卷积结果，将所述第一融合卷积结果输入到所述融合注意力层中，所述融合注意力层由融合注意力卷积单元、通道单元、位置单元以及几何感知单元组成，所述融合注意力卷积单元对所述第一融合卷积结果进行卷积得到融合注意力卷积结果，将所述融合注意力卷积结果分别输入到通道单元、位置单元以及几何感知单元中分别得到通道特征、位置特征以及几何感知特征，将所述位置特征与所述通道特征进行元素相加后再与所述几何感知特征进行元素相乘得到融合注意力掩码，将所述融合注意力掩码与所述第一融合卷积结果进行特征相乘得到特征融合结果；
所述输出模块根据所述低分辨率图像、深层特征以及特征融合结果进行特征重建得到输出结果，获取与低分辨率图像对应的高分辨率图像，根据所述输出结果与对应的高分辨率图像构建损失函数，当损失函数满足设定条件时停止训练得到训练好的图像超分辨率重建模型。
在本方案中，获取存在车牌信息的高分辨率图像，对高分辨率图像进行下采样得到低分辨率图像，所述低分辨率图像作为训练样本。
在“所述浅层特征提取模块通过像素重组层以及像素逆重组层对所述低分辨率图像进行特征提取得到浅层特征”步骤中，所述浅层特征提取模块如图2所示，所述浅层特征提取模块由第一浅层卷积单元、第一像素逆重组单元、第二像素逆重组单元、第一像素重组单元、第二像素重组单元、第二浅层卷积单元顺序串联组成，所述第一浅层卷积单元对所述低分辨率图像进行卷积得到第一浅层卷积结果，所述第一浅层卷积结果依次通过第一像素逆重组单元、第二像素逆重组单元、第一像素重组单元、第二像素重组单元、第二浅层卷积单元后与所述第一浅层卷积结果进行元素相加得到浅层特征。
具体的，所述第一浅层卷积单元为5*5卷积，所述第二浅层卷积单元为3*3卷积。
具体的，所述像素逆重组单元用于将输入特征进行下采样处理使其还原到原始状态，所述像素重组单元用于将输入特征的通道进行上采样处理进行重新排列，并将像素进行交错以保持较高的信息密度。
具体的，本方案通过特征重组单元和特征逆重组单元的结合作为自动编码器，以实现对对输入图像进行特征降维从而更好的提取浅层特征。
进一步的，每一像素逆重组单元由卷积层、像素逆重组层以及激活函数层顺序串联。进一步的，每一像素重组单元由卷积层、像素重组层以及激活函数层顺序串联。
具体的，所述浅层特征提取模块中的卷积层为深度可分离卷积，在本方案的实施例中，深层可分离卷积选择为7*7可分离卷积，采用深度可分离卷积可以有效减少接卷积的参数量和计算成本。
在“所述深层特征提取模块通过残差结构对浅层特征进行深度特征提取得到深层特征”步骤中，所述深层特征提取模块如图3所示，所述深层特征提取模块由三个卷积层以残差连接的方式对所述浅层特征进行特征提取，再通过深层拼接层进行拼接得到深层拼接结果，将所述深层拼接结果与所述浅层特征进行特征相加得到深层特征。
具体的，本方案通过残差结构来对所述浅层特征进行特征提取可以使模型的训练更加稳定并加速训练过程，提高网络性能。
进一步的，所述深层特征提取模块由第一深层卷积层、第二深层卷积层、第三深层卷积层、深层拼接层顺序串联，将所述浅层特征输入到所述第一深层卷积层得到第一深层卷积结果，所述第一深层卷积结果与所述浅层特征进行第一残差连接得到第一残差结果，将所述第一残差结果输入到所述第二深层卷积层中得到第二深层卷积结果，将所述第二深层卷积结果、浅层特征以及第一残差结果进行第二残差连接得到第二残差结果，将所述第二残差结果输入到所述第三深层卷积层中得到第三深层卷积结果，将所述第三深层卷积结果、第二残差结果、第一残差结果以及浅层特征输入到所述深层拼接层进行拼接得到深层拼接结果，将所述深层拼接结果与所述浅层特征进行特征相加得到深层特征。
具体的，相连的第一深层卷积层、第二深层卷积层、第三深层卷积层保证了连续的信息记忆，每一个卷积层的输出会连接上一个卷积层的输出，所以其包含的局部特征及其丰富，同时也包含了层级信息，保证了信息的完整性，避免信息丢失。
在一些具体实施例中表明，本方案的深层特征提取模块在去模糊方面表现的更加优秀，在使用25×25的高斯模块核添加噪声的情况下，所述深层特征提取模块在PSNR和SSIM指标上都有更高的得分，另外深层特征提取模块重建的图像边缘和细节更加清晰，因此深层特征提取模块在图像去模糊方面的表现在定量和定性方面效果很好。
进一步的，所述第一深层卷积层、第二深层卷积层、第三深层卷积层都由一个卷积层和一个激活函数组成，所述深层拼接层有拼接层和卷积层组成，在本方案中，深层拼接层中的卷积层为1*1的卷积。
在本方案中，所述特征融合模块如图4所示，其中所述第一融合卷积层为3*3卷积，所述第二融合卷积层为1*1卷积。
具体的，所述特征融合模块通过融合浅层特征与深层特征并结合所述融合注意力层来提取特征，不同深度的特征携带不同尺度的感受野信息，随着网络深度的增加，提取的特征会逐渐分级，且越来越抽象，这些特征图对图像重建提供了重要信息，因此需要对提取的特征融合，在通道维度上进行连接。
在“将所述融合注意力卷积结果分别输入到通道单元、位置单元以及几何感知单元中分别得到通道特征、位置特征以及几何感知特征”步骤中，所述通道单元如图5所示，所述通道单元由两个并联的通道卷积层、通道像素逆重组层、第一通道可分离卷积层、通道像素重组层、第二通道可分离卷积层组成，将所述融合注意力卷积结果分别输入到两个并联的通道卷积层中得到第一通道卷积输出和第二通道卷积输出，将第一通道卷积输出与第二通道卷积输出连接得到连接通道卷积输出，所述连接通道卷积输出顺序通过通道像素逆重组层、第一通道可分离卷积层、通道像素重组层、第二通道可分离卷积层后在与所述融合注意力卷积结果进行拼接得到通道特征。
具体的，通道单元中的两个并联的通道卷积层为3*3的卷积，所述第一通道可分离卷积层和所述第二通道可分离卷积层为3*3的深度可分离卷积。
具体的，图像一般由不同通道的关系组成（比如RGB三个通道），其中每个通道贡献独特的特征来形成最终图像，因此，这些特征的提取对于正确的图像恢复至关重要，本方案中的通道单元用于识别和保留通道间的关系特征，同时剔除不太相关的特征，所述通道单元有效的总结了增强图像恢复的通道间关系特征。
在“将所述融合注意力卷积结果分别输入到通道单元、位置单元以及几何感知单元中分别得到通道特征、位置特征以及几何感知特征”步骤中，所述位置单元的结构如图6所示，所述位置单元由位置平均池化层、位置最大池化层、第一位置可分离卷积层、位置像素重组层，第二位置可分离卷积层顺序串联，所述融合注意力卷积结果顺序通过位置平均池化层、位置最大池化层、第一位置可分离卷积层、位置像素重组层，第二位置可分离卷积层得到位置特征。
具体的，所述位置单元通过所述位置平均池化层以及所述位置最大池化层提取一阶统计量，所述一阶统计量一组数据的基本统计量，通常包括平均值、中位数、众数、最小值和最大值等。这些统计量用于描述数据的集中趋势、离散程度和分布情况，将提取到的一阶统计量经过所述第一位置可分离卷积层、位置像素重组层，第二位置可分离卷积层来恢复原始特征维度来实现，最后得到的位置特征突出了相关通道间关系特征的位置，从而进一步提高了图像恢复质量。
也就是说，本方案通过所述位置单元来提取图像中的位置信息来提高图像恢复质量。
在“将所述融合注意力卷积结果分别输入到通道单元、位置单元以及几何感知单元中分别得到通道特征、位置特征以及几何感知特征”步骤中，所述几何感知单元的结构如图7所示，所述几何感知单元由第一分支、第二分支以及第三分支并联组成，将所述融合注意力卷积结果输入到第一分支中顺序经过第一平均池化层、第一卷积层以及第一激活函数层得到第一分支特征，将所述融合注意力卷积结果输入到第二分支中顺序经过第二平均池化层、第二卷积层以及第二激活函数层得到第二分支特征，将所述融合注意力卷积结果输入到第三分支中顺序经过第三卷积层和第三激活函数层得到第三分支特征，将所述第一分支特征、第二分支特征以及第三分支特征进行特征相乘得到几何感知特征。
具体的，所述几何感知特征可以从输入图像中提取结构特征、纹理特征以及几何特征这些关键特征，从而可以捕捉图像中的字符自提的突出结构，提高图像的复原的效果。
具体的，所述几何感知单元中的卷积层为1*1卷积，激活函数为sigmoid函数，1*1卷积可以保证提取足够特征信息。
在“所述输出模块根据所述低分辨率图像、深层特征以及特征融合结果进行特征重建得到输出结果”步骤中，所述输出模块的结构如图8所示，所述输出模块由输出插值分支以及输出重建分支组成，将所述低分辨率图像与所述深层特征进行结合后输入到所述输出插值分支中得到输出插值结果，所述输出重建分支由第一输出像素重组单元、第二输出像素重组单元以及深层特征提取模块组成，将所述特征融合结果输入到所述输出重建分支中得到输出重建结果，将所述输出重建结果与所述输出插值结果进行特征相加得到所述输出结果。
具体的，本方案中的输出插值分支通过双三次插值对所述低分辨率图像与所述深层特征的结合结果进行处理得到输出插值结果。
具体的，本方案通过双三次插值可以适应不同的场景。
进一步的，所述第一输出像素重组单元、第二输出像素重组单元结构相同，由卷积层与像素重组层组成，第一输出像素重组单元、第二输出像素重组单元中的卷积层为3*3卷积。
具体的，所述输出重建分支中的深层特征提取模块与图像超分辨率重建模型第二部分的深层特征提取模块相同，所述深层特征提取模块都是用来提取深层特征来增强图像的深层特征细节。
在“根据所述输出结果与对应的高分辨率图像构建损失函数”步骤中，使用光学识别字符模型来对所述输出结果与高分辨率图像进行特征提取，基于使用光学识别模型提取的特征与原有特征进行L1损失的计算得到L1损失，使用输出结果与对应的高分辨率图像构建期望损失，结合L1损失与期望损失得到所述图像超分辨率重建模型的损失函数。
具体的，L1损失的计算公式如下所示：
其中，Hi和Si分别表示高分辨率图像与对应的输出结果，FORC()表示使用光学识别字符模型进行特征提取的结果。
具体的，本方案可以使用任何光学字符识别模型，在此不对光学字符识别模型进行限定。
具体的，本方案基于使用光学识别模型提取的特征与原有特征进行L1损失的计算得到L1损失可以通过光学识别模型来提高重建的准确性。
期望损失是计算期望输出与输出结果之间像素值的均方误差（MeanSquaredError, MSE），差越大损失值会更大，这种方法有利于提高图像的整体质量。同时，MSE有效地保留了图像中的结构信息，这在超分辨率任务中是必不可少的。同时，L1损失确保了对噪声和离群值的鲁棒性，并有助于通过考虑预期特征来保留生成图像中的锐利边缘。结合MSE和L1损失可以对生成的图像进行更全面的评估，并有助于在保留结构信息和最小化错误之间取得平衡。
在一些具体实施例中，本方案的学习率为0.001，使用Adam优化器，训练过程在20个epoch后损失函数没有降低后停止。
实施例二
一种图像超分辨率识别方法，具体的，包括：
获取一待识别图像，将所述待识别图像通过如实施例一所述的一种图像超分辨率重建模型的构建方法训练好的图像超分辨率重建模型中；
所述图像超分辨率重建模型通过浅层特征提取模块对待识别图像进行特征提取得到浅层特征；
将所述浅层特征输入到图像超分辨率重建模型中的深层特征提取模块中得到深层特征；
将所述浅层特征与所述深层特征输入到图像超分辨率重建模型中的特征融合模块中得到特征融合结果；
所述输出模块根据所述低分辨率图像、深层特征以及特征融合结果进行特征重建得到与待识别图像对应的超分辨率图像。
实施例三
基于相同的构思，参考图9，本申请还提出了一种图像超分辨率重建模型的构建装置，包括：
构建模块：获取至少一低分辨率图像作为训练样本，构建图像超分辨率重建模型，所述图像超分辨率重建模型包括浅层特征提取模块、深层特征提取模块、特征融合模块以及输出模块组成；
浅层特征提取模块：将所述低分辨率图像输入到所述浅层特征提取模块中，所述浅层特征提取模块通过像素重组层以及像素逆重组层对所述低分辨率图像进行特征提取得到浅层特征；
深层特征提取模块：将所述浅层特征输入到所述深层特征提取模块中，所述深层特征提取模块通过残差结构对所述浅层特征进行深度特征提取得到深层特征；
特征融合模块：将所述浅层特征与所述深层特征输入到所述特征融合模块中，所述特征融合模块由第一融合卷积层、融合注意力层以及第二融合卷积层顺序串联组成，所述第一融合卷积层对所述深层特征进行卷积后得到第一融合卷积结果，将所述第一融合卷积结果输入到所述融合注意力层中，所述融合注意力层由融合注意力卷积单元、通道单元、位置单元以及几何感知单元组成，所述融合注意力卷积单元对所述第一融合卷积结果进行卷积得到融合注意力卷积结果，将所述融合注意力卷积结果分别输入到通道单元、位置单元以及几何感知单元中分别得到通道特征、位置特征以及几何感知特征，将所述位置特征与所述通道特征进行元素相加后再与所述几何感知特征进行元素相乘得到融合注意力掩码，将所述融合注意力掩码与所述第一融合卷积结果进行特征相乘得到特征融合结果；
输出模块：所述输出模块根据所述低分辨率图像、深层特征以及特征融合结果进行特征重建得到输出结果，获取与低分辨率图像对应的高分辨率图像，根据所述输出结果与对应的高分辨率图像构建损失函数，当损失函数满足设定条件时停止训练得到训练好的图像超分辨率重建模型。
实施例三
本实施例还提供了一种电子装置，参考图10，包括存储器404和处理器402，该存储器404中存储有计算机程序，该处理器402被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
具体地，上述处理器402可以包括中央处理器（CPU），或者特定集成电路（ApplicationSpecificIntegratedCircuit，简称为ASIC），或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器404可以包括用于数据或指令的大容量存储器404。举例来说而非限制，存储器404可包括硬盘驱动器（HardDiskDrive，简称为HDD）、软盘驱动器、固态驱动器（SolidStateDrive，简称为SSD）、闪存、光盘、磁光盘、磁带或通用串行总线（UniversalSerialBus，简称为USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器404可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器404可在数据处理装置的内部或外部。在特定实施例中，存储器404是非易失性（Non-Volatile）存储器。在特定实施例中，存储器404包括只读存储器（Read-OnlyMemory，简称为ROM）和随机存取存储器（RandomAccessMemory，简称为RAM）。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM（ProgrammableRead-OnlyMemory，简称为PROM）、可擦除PROM（ErasableProgrammableRead-OnlyMemory，简称为EPROM）、电可擦除PROM（ElectricallyErasableProgrammableRead-OnlyMemory，简称为EEPROM）、电可改写ROM（ElectricallyAlterableRead-OnlyMemory，简称为EAROM）或闪存（FLASH）或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器（StaticRandom-AccessMemory，简称为SRAM）或动态随机存取存储器（DynamicRandomAccessMemory，简称为DRAM），其中，DRAM可以是快速页模式动态随机存取存储器404（FastPageModeDynamicRandomAccessMemory，简称为FPMDRAM）、扩展数据输出动态随机存取存储器（ExtendedDateOutDynamicRandomAccessMemory，简称为EDODRAM）、同步动态随机存取内存（SynchronousDynamicRandom-AccessMemory，简称SDRAM）等。
存储器404可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器402所执行的可能的计算机程序指令。
处理器402通过读取并执行存储器404中存储的计算机程序指令，以实现上述实施例中的任意一种图像超分辨率重建模型的构建方法。
可选地，上述电子装置还可以包括传输设备406以及输入输出设备408，其中，该传输设备406和上述处理器402连接，该输入输出设备408和上述处理器402连接。
传输设备406可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备406可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。
输入输出设备408用于输入或输出信息。在本实施例中，输入的信息可以是低分辨率图像、与低分辨率图像对应的高分辨率图像等，输出的信息可以是低分辨率图像对应的超分辨率图像等。
可选地，在本实施例中，上述处理器402可以被设置为通过计算机程序执行以下步骤：
S101、通获取至少一低分辨率图像作为训练样本，构建图像超分辨率重建模型，所述图像超分辨率重建模型包括浅层特征提取模块、深层特征提取模块、特征融合模块以及输出模块组成；
S102、将所述低分辨率图像输入到所述浅层特征提取模块中，所述浅层特征提取模块通过像素重组层以及像素逆重组层对所述低分辨率图像进行特征提取得到浅层特征；
S103、将所述浅层特征输入到所述深层特征提取模块中，所述深层特征提取模块通过残差结构对所述浅层特征进行深度特征提取得到深层特征；
S104、将所述浅层特征与所述深层特征输入到所述特征融合模块中，所述特征融合模块由第一融合卷积层、融合注意力层以及第二融合卷积层顺序串联组成，所述第一融合卷积层对所述深层特征进行卷积后得到第一融合卷积结果，将所述第一融合卷积结果输入到所述融合注意力层中，所述融合注意力层由融合注意力卷积单元、通道单元、位置单元以及几何感知单元组成，所述融合注意力卷积单元对所述第一融合卷积结果进行卷积得到融合注意力卷积结果，将所述融合注意力卷积结果分别输入到通道单元、位置单元以及几何感知单元中分别得到通道特征、位置特征以及几何感知特征，将所述位置特征与所述通道特征进行元素相加后再与所述几何感知特征进行元素相乘得到融合注意力掩码，将所述融合注意力掩码与所述第一融合卷积结果进行特征相乘得到特征融合结果；
S105、所述输出模块根据所述低分辨率图像、深层特征以及特征融合结果进行特征重建得到输出结果，获取与低分辨率图像对应的高分辨率图像，根据所述输出结果与对应的高分辨率图像构建损失函数，当损失函数满足设定条件时停止训练得到训练好的图像超分辨率重建模型。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
通常，各种实施例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。本发明的一些方面可以以硬件来实现，而其他方面可以以可以由控制器、微处理器或其他计算设备执行的固件或软件来实现，但是本发明不限于此。尽管本发明的各个方面可以被示出和描述为框图、流程图或使用一些其他图形表示，但是应当理解，作为非限制性示例，本文中描述的这些框、装置、系统、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某种组合来实现。
本发明的实施例可以由计算机软件来实现，该计算机软件由移动设备的数据处理器诸如在处理器实体中可执行，或者由硬件来实现，或者由软件和硬件的组合来实现。包括软件例程、小程序和/或宏的计算机软件或程序(也称为程序产品)可以存储在任何装置可读数据存储介质中，并且它们包括用于执行特定任务的程序指令。计算机程序产品可以包括当程序运行时被配置为执行实施例的一个或多个计算机可执行组件。一个或多个计算机可执行组件可以是至少一个软件代码或其一部分。另外，在这一点上，应当注意，如图10中的逻辑流程的任何框可以表示程序步骤、或者互连的逻辑电路、框和功能、或者程序步骤和逻辑电路、框和功能的组合。软件可以存储在诸如存储器芯片或在处理器内实现的存储块等物理介质、诸如硬盘或软盘等磁性介质、以及诸如例如DVD及其数据变体、CD等光学介质上。物理介质是非瞬态介质。
本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (9)
1.一种图像超分辨率重建模型的构建方法，其特征在于，包括以下步骤：
获取至少一低分辨率图像作为训练样本，构建图像超分辨率重建模型，所述图像超分辨率重建模型包括浅层特征提取模块、深层特征提取模块、特征融合模块以及输出模块组成；
将所述低分辨率图像输入到所述浅层特征提取模块中，所述浅层特征提取模块通过像素重组层以及像素逆重组层对所述低分辨率图像进行特征提取得到浅层特征，所述浅层特征提取模块由第一浅层卷积单元、第一像素逆重组单元、第二像素逆重组单元、第一像素重组单元、第二像素重组单元、第二浅层卷积单元顺序串联组成，所述第一浅层卷积单元对所述低分辨率图像进行卷积得到第一浅层卷积结果，所述第一浅层卷积结果依次通过第一像素逆重组单元、第二像素逆重组单元、第一像素重组单元、第二像素重组单元、第二浅层卷积单元后与所述第一浅层卷积结果进行元素相加得到浅层特征；
将所述浅层特征输入到所述深层特征提取模块中，所述深层特征提取模块通过残差结构对所述浅层特征进行深度特征提取得到深层特征，所述深层特征提取模块由三个卷积层以残差连接的方式对所述浅层特征进行特征提取，再通过深层拼接层进行拼接得到深层拼接结果，将所述深层拼接结果与所述浅层特征进行特征相加得到深层特征；
将所述浅层特征与所述深层特征输入到所述特征融合模块中，所述特征融合模块由第一融合卷积层、融合注意力层以及第二融合卷积层顺序串联组成，所述第一融合卷积层对所述深层特征进行卷积后得到第一融合卷积结果，将所述第一融合卷积结果输入到所述融合注意力层中，所述融合注意力层由融合注意力卷积单元、通道单元、位置单元以及几何感知单元组成，所述融合注意力卷积单元对所述第一融合卷积结果进行卷积得到融合注意力卷积结果，将所述融合注意力卷积结果分别输入到通道单元、位置单元以及几何感知单元中分别得到通道特征、位置特征以及几何感知特征，将所述位置特征与所述通道特征进行元素相加后再与所述几何感知特征进行元素相乘得到融合注意力掩码，将所述融合注意力掩码与所述第一融合卷积结果进行特征相乘得到特征融合结果；
所述输出模块根据所述低分辨率图像、深层特征以及特征融合结果进行特征重建得到输出结果，获取与低分辨率图像对应的高分辨率图像，根据所述输出结果与对应的高分辨率图像构建损失函数，当损失函数满足设定条件时停止训练得到训练好的图像超分辨率重建模型。
2.根据权利要求1所述的一种图像超分辨率重建模型的构建方法，其特征在于，在“将所述融合注意力卷积结果分别输入到通道单元、位置单元以及几何感知单元中分别得到通道特征、位置特征以及几何感知特征”步骤中，所述通道单元由两个并联的通道卷积层、通道像素逆重组层、第一通道可分离卷积层、通道像素重组层、第二通道可分离卷积层组成，将所述融合注意力卷积结果分别输入到两个并联的通道卷积层中得到第一通道卷积输出和第二通道卷积输出，将第一通道卷积输出与第二通道卷积输出连接得到连接通道卷积输出，所述连接通道卷积输出顺序通过通道像素逆重组层、第一通道可分离卷积层、通道像素重组层、第二通道可分离卷积层后在与所述融合注意力卷积结果进行拼接得到通道特征。
3.根据权利要求1所述的一种图像超分辨率重建模型的构建方法，其特征在于，在“将所述融合注意力卷积结果分别输入到通道单元、位置单元以及几何感知单元中分别得到通道特征、位置特征以及几何感知特征”步骤中，所述位置单元由位置平均池化层、位置最大池化层、第一位置可分离卷积层、位置像素重组层，第二位置可分离卷积层顺序串联，所述融合注意力卷积结果顺序通过位置平均池化层、位置最大池化层、第一位置可分离卷积层、位置像素重组层，第二位置可分离卷积层得到位置特征。
4.根据权利要求1所述的一种图像超分辨率重建模型的构建方法，其特征在于，在“将所述融合注意力卷积结果分别输入到通道单元、位置单元以及几何感知单元中分别得到通道特征、位置特征以及几何感知特征”步骤中，所述几何感知单元由第一分支、第二分支以及第三分支并联组成，将所述融合注意力卷积结果输入到第一分支中顺序经过第一平均池化层、第一卷积层以及第一激活函数层得到第一分支特征，将所述融合注意力卷积结果输入到第二分支中顺序经过第二平均池化层、第二卷积层以及第二激活函数层得到第二分支特征，将所述融合注意力卷积结果输入到第三分支中顺序经过第三卷积层和第三激活函数层得到第三分支特征，将所述第一分支特征、第二分支特征以及第三分支特征进行特征相乘得到几何感知特征。
5.根据权利要求1所述的一种图像超分辨率重建模型的构建方法，其特征在于，在“所述输出模块根据所述低分辨率图像、深层特征以及特征融合结果进行特征重建得到输出结果”步骤中，所述输出模块由输出插值分支以及输出重建分支组成，将所述低分辨率图像与所述深层特征进行结合后输入到所述输出插值分支中得到输出插值结果，所述输出重建分支由第一输出像素重组单元、第二输出像素重组单元以及深层特征提取模块组成，将所述特征融合结果输入到所述输出重建分支中得到输出重建结果，将所述输出重建结果与所述输出插值结果进行特征相加得到所述输出结果。
6.一种图像超分辨率识别方法，其特征在于，包括：
获取一待识别图像，将所述待识别图像输入到通过如权利要求 1 所述的一种图像超分辨率重建模型的构建方法训练好的图像超分辨率重建模型中；
所述图像超分辨率重建模型通过浅层特征提取模块对待识别图像进行特征提取得到浅层特征；
将所述浅层特征输入到图像超分辨率重建模型中的深层特征提取模块中得到深层特征；
将所述浅层特征与所述深层特征输入到图像超分辨率重建模型中的特征融合模块中得到特征融合结果；
所述输出模块根据所述低分辨率图像、深层特征以及特征融合结果进行特征重建得到与待识别图像对应的超分辨率图像。
7.一种图像超分辨率重建模型的构建装置，其特征在于，包括：
构建模块：获取至少一低分辨率图像作为训练样本，构建图像超分辨率重建模型，所述图像超分辨率重建模型包括浅层特征提取模块、深层特征提取模块、特征融合模块以及输出模块组成；
浅层特征提取模块：将所述低分辨率图像输入到所述浅层特征提取模块中，所述浅层特征提取模块通过像素重组层以及像素逆重组层对所述低分辨率图像进行特征提取得到浅层特征，所述浅层特征提取模块由第一浅层卷积单元、第一像素逆重组单元、第二像素逆重组单元、第一像素重组单元、第二像素重组单元、第二浅层卷积单元顺序串联组成，所述第一浅层卷积单元对所述低分辨率图像进行卷积得到第一浅层卷积结果，所述第一浅层卷积结果依次通过第一像素逆重组单元、第二像素逆重组单元、第一像素重组单元、第二像素重组单元、第二浅层卷积单元后与所述第一浅层卷积结果进行元素相加得到浅层特征；
深层特征提取模块：将所述浅层特征输入到所述深层特征提取模块中，所述深层特征提取模块通过残差结构对所述浅层特征进行深度特征提取得到深层特征，所述深层特征提取模块由三个卷积层以残差连接的方式对所述浅层特征进行特征提取，再通过深层拼接层进行拼接得到深层拼接结果，将所述深层拼接结果与所述浅层特征进行特征相加得到深层特征；
特征融合模块：将所述浅层特征与所述深层特征输入到所述特征融合模块中，所述特征融合模块由第一融合卷积层、融合注意力层以及第二融合卷积层顺序串联组成，所述第一融合卷积层对所述深层特征进行卷积后得到第一融合卷积结果，将所述第一融合卷积结果输入到所述融合注意力层中，所述融合注意力层由融合注意力卷积单元、通道单元、位置单元以及几何感知单元组成，所述融合注意力卷积单元对所述第一融合卷积结果进行卷积得到融合注意力卷积结果，将所述融合注意力卷积结果分别输入到通道单元、位置单元以及几何感知单元中分别得到通道特征、位置特征以及几何感知特征，将所述位置特征与所述通道特征进行元素相加后再与所述几何感知特征进行元素相乘得到融合注意力掩码，将所述融合注意力掩码与所述第一融合卷积结果进行特征相乘得到特征融合结果；
输出模块：所述输出模块根据所述低分辨率图像、深层特征以及特征融合结果进行特征重建得到输出结果，获取与低分辨率图像对应的高分辨率图像，根据所述输出结果与对应的高分辨率图像构建损失函数，当损失函数满足设定条件时停止训练得到训练好的图像超分辨率重建模型。
8.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1-5任一所述的一种图像超分辨率重建模型的构建方法或权利要求6所述的一种图像超分辨率识别方法。
9.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据权利要求1-5任一所述的一种图像超分辨率重建模型的构建方法或权利要求6所述的一种图像超分辨率识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311260523.5A CN116993592B (zh) | 2023-09-27 | 2023-09-27 | 一种图像超分辨率重建模型的构建方法、装置及应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311260523.5A CN116993592B (zh) | 2023-09-27 | 2023-09-27 | 一种图像超分辨率重建模型的构建方法、装置及应用 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116993592A CN116993592A (zh) | 2023-11-03 |
| CN116993592B true CN116993592B (zh) | 2023-12-12 |
Family
ID=88525280
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311260523.5A Active CN116993592B (zh) | 2023-09-27 | 2023-09-27 | 一种图像超分辨率重建模型的构建方法、装置及应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116993592B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117237197B (zh) * | 2023-11-08 | 2024-03-01 | 华侨大学 | 基于交叉注意力机制的图像超分辨率方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113592718A (zh) * | 2021-08-12 | 2021-11-02 | 中国矿业大学 | 基于多尺度残差网络的矿井图像超分辨率重建方法及系统 |
| CN114331831A (zh) * | 2021-11-19 | 2022-04-12 | 长春理工大学 | 一种轻量化的单张图像超分辨率重建方法 |
| CN114926342A (zh) * | 2022-05-31 | 2022-08-19 | 武汉大学 | 图像超分辨率重建模型构建方法、装置、设备及存储介质 |
| WO2022241995A1 (zh) * | 2021-05-18 | 2022-11-24 | 广东奥普特科技股份有限公司 | 视觉图像增强的生成方法、系统、装置及存储介质 |
| CN115496654A (zh) * | 2022-08-31 | 2022-12-20 | 中国农业银行股份有限公司山东省分行 | 基于自注意力机制的图像超分辨率重建方法、设备及介质 |
| CN116309122A (zh) * | 2023-02-13 | 2023-06-23 | 西安理工大学 | 一种基于深度学习的相位条纹图像散斑噪声抑制方法 |
-
2023
- 2023-09-27 CN CN202311260523.5A patent/CN116993592B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022241995A1 (zh) * | 2021-05-18 | 2022-11-24 | 广东奥普特科技股份有限公司 | 视觉图像增强的生成方法、系统、装置及存储介质 |
| CN113592718A (zh) * | 2021-08-12 | 2021-11-02 | 中国矿业大学 | 基于多尺度残差网络的矿井图像超分辨率重建方法及系统 |
| CN114331831A (zh) * | 2021-11-19 | 2022-04-12 | 长春理工大学 | 一种轻量化的单张图像超分辨率重建方法 |
| CN114926342A (zh) * | 2022-05-31 | 2022-08-19 | 武汉大学 | 图像超分辨率重建模型构建方法、装置、设备及存储介质 |
| CN115496654A (zh) * | 2022-08-31 | 2022-12-20 | 中国农业银行股份有限公司山东省分行 | 基于自注意力机制的图像超分辨率重建方法、设备及介质 |
| CN116309122A (zh) * | 2023-02-13 | 2023-06-23 | 西安理工大学 | 一种基于深度学习的相位条纹图像散斑噪声抑制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116993592A (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Coherent semantic attention for image inpainting | |
| CN110147864B (zh) | 编码图案的处理方法和装置、存储介质、电子装置 | |
| CN116993592B (zh) | 一种图像超分辨率重建模型的构建方法、装置及应用 | |
| CN108764039B (zh) | 神经网络、遥感影像的建筑物提取方法、介质及计算设备 | |
| WO2016019484A1 (en) | An apparatus and a method for providing super-resolution of a low-resolution image | |
| CN113221925B (zh) | 一种基于多尺度图像的目标检测方法及装置 | |
| CN114170167B (zh) | 基于注意力引导上下文校正的息肉分割方法和计算机设备 | |
| CN115345866B (zh) | 一种遥感影像中建筑物提取方法、电子设备及存储介质 | |
| CN111696057B (zh) | 一种深度图像去噪方法及装置 | |
| CN113066034A (zh) | 人脸图像的修复方法与装置、修复模型、介质和设备 | |
| CN115631112B (zh) | 一种基于深度学习的建筑轮廓矫正方法及装置 | |
| CN114266894A (zh) | 一种图像分割方法、装置、电子设备及存储介质 | |
| CN116612280A (zh) | 车辆分割方法、装置、计算机设备和计算机可读存储介质 | |
| CN116091322B (zh) | 超分辨率图像重建方法和计算机设备 | |
| CN113160078A (zh) | 雨天交通车辆图像去雨方法、装置、设备及可读存储介质 | |
| CN117252890A (zh) | 颈动脉斑块分割方法、装置、设备及介质 | |
| CN115984574B (zh) | 一种基于循环Transformer的图像信息提取模型、方法及其应用 | |
| Zheng et al. | Joint residual pyramid for joint image super-resolution | |
| CN115375715A (zh) | 目标提取方法、装置、电子设备及存储介质 | |
| CN113744158A (zh) | 图像生成方法、装置、电子设备和存储介质 | |
| CN114782720A (zh) | 文案的配图确定方法、装置、电子设备、介质及程序产品 | |
| CN111142751A (zh) | 一种图像处理方法、装置、智能终端及存储介质 | |
| Jang et al. | PUCA: patch-unshuffle and channel attention for enhanced self-supervised image denoising | |
| CN113111891B (zh) | 一种图像重建方法、装置、终端设备和存储介质 | |
| CN112001268B (zh) | 人脸校准方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |