CN112614056B - 图像超分辨率处理方法 - Google Patents
图像超分辨率处理方法 Download PDFInfo
- Publication number
- CN112614056B CN112614056B CN202011637663.6A CN202011637663A CN112614056B CN 112614056 B CN112614056 B CN 112614056B CN 202011637663 A CN202011637663 A CN 202011637663A CN 112614056 B CN112614056 B CN 112614056B
- Authority
- CN
- China
- Prior art keywords
- image
- model
- fourier domain
- channel attention
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 72
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 58
- 230000007246 mechanism Effects 0.000 claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims description 94
- 230000004913 activation Effects 0.000 claims description 69
- 238000000605 extraction Methods 0.000 claims description 23
- 238000003062 neural network model Methods 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 12
- 238000001228 spectrum Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 230000008707 rearrangement Effects 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 abstract description 17
- 238000005286 illumination Methods 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000001000 micrograph Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000000799 fluorescence microscopy Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 206010034972 Photosensitivity reaction Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 208000007578 phototoxic dermatitis Diseases 0.000 description 2
- 231100000018 phototoxicity Toxicity 0.000 description 2
- 238000010869 super-resolution microscopy Methods 0.000 description 2
- 238000010870 STED microscopy Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 231100000086 high toxicity Toxicity 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000010857 super resolution fluorescence microscopy Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像超分辨率处理方法，其包括：获取训练图像集，训练图像集包括多组图像组，每组图像组均包括彼此对应的第一图像和第二图像，第一图像的分辨率低于第二图像的分辨率；基于傅里叶域特征通道注意力机制和卷积神经网络搭建第一模型或第二模型；通过训练图像集训练第一模型，或者通过训练图像集训练第二模型；通过训练完成的第一模型或第二模型完成待处理图像的超分辨率处理。该方法可以更加有效地提取图像特征，在不同超分辨模态和不同成像条件下，实现比现有方法更精确、更鲁棒的超分辨率图像预测和重建。
Description
技术领域
本发明涉及图像处理领域，特别涉及一种图像超分辨率处理方法。
背景技术
在显微成像领域，荧光显微成像是一种可以在活体条件下观测生物细胞、组织、器官的显微成像技术，是生命科学发展强有力的助推器。但是通常来讲，荧光显微成像的分辨率会被光学衍射极限限制在荧光波长的一半(250nm)左右，使得传统荧光显微成像技术无法看清比衍射极限更细微的生物结构。近年来，基于光学系统改进的超分辨率荧光显微成像技术蓬勃发展。随机激发光学重建超分辨显微技术(Stochastic opticalreconstruction microscopy，简称STORM技术)可以将光学成像的分辨率提高到10nm，但是成像速度较慢；受激发射损耗超分辨显微技术(Stimulated emission depletionmicroscopy，简称STED技术)可以将分辨率提升至60nm，同时保持较高的成像速度，但是其需要的激光功率较高，对生物组织造成的光毒性和光漂白比较严重。
基于算法的图像超分辨率处理方法在近年来也取得了巨大的发展。基于深度学习算法的图像超分辨率处理方法被广泛应用于自然图像领域，超分辨卷积神经网络(Superresolution convolutional neural network)、增强深度残差网络(Enhanced deepresidual network)、残差特征通道注意力网络(Residual channel attention network)等基于深度卷积神经网络的方法在自然图像超分辨任务中表现出了极佳的性能。而在显微成像领域，相比于基于光学系统改进的图像超分辨率处理方法，虽然基于算法的图像超分辨率处理方法可以避免光毒性和光漂白，但是当前已有的基于算法的图像超分辨率处理方法虽然在很多特定的成像条件下表现出了不错的效果，但是仍然存在预测不准确、细节模糊等问题，特别是在原始数据信噪比较低的条件下，现有的基于算法的图像超分辨率处理方法无法达到理想效果。
发明内容
鉴于此，本发明提供一种图像超分辨率处理方法，能够实现比现有方法更好的超分辨率处理效果，也能够避免在原始数据信噪比较低的条件下，图像预测不准确、细节模糊等问题。
具体而言，包括以下的技术方案：
本发明实施例提供了一种图像超分辨率处理方法，包括：
获取训练图像集，所述训练图像集包括多组图像组，每组所述图像组均包括彼此对应的第一图像和第二图像，所述第一图像的分辨率低于所述第二图像的分辨率；
基于傅里叶域特征通道注意力机制和卷积神经网络搭建第一模型或第二模型；
通过所述训练图像集训练所述第一模型，或者通过所述训练图像集训练所述第二模型；
通过训练完成的所述第一模型或所述第二模型完成待处理图像的超分辨率处理。
可选地，所述基于傅里叶域特征通道注意力机制和卷积神经网络搭建第一模型或第二模型，包括：
基于所述傅里叶域特征通道注意力机制构建傅里叶域特征通道注意力卷积模块，基于所述傅里叶域特征通道注意力卷积模块在所述卷积神经网络中搭建所述第一模型或所述第二模型。
可选地，所述傅里叶域特征通道注意力机制通过傅里叶域特征通道注意力模块来实现，所述傅里叶域特征通道注意力模块包括：
快速傅里叶变换模块，其包括快速傅里叶变换层，以用于对输入的n个特征通道进行快速傅里叶变换，并顺次取模、取对数或伽马校正，得到特征通道的能量谱；
卷积-激活模块，其包括一个卷积层和一个ReLU激活函数，以用于使所述特征通道的能量谱依次经过一个卷积层和一个ReLU激活函数，以进行特征提取，其中，所述ReLU激活函数用以下表达式表示：
池化模块，其包括全局平均池化层，以用于对所述能量谱进行全局平均池化，得到对应于所述特征通道的数量的n个系数，所述n个系数分别作为所述n个特征通道的频域信息代表数值；
自适应加权模块，其包括一个全链接层、一个所述ReLU激活函数、一个全链接层和一个Sigmoid激活函数，以用于使所述n个系数依次通过一个全链接层、一个所述ReLU激活函数、一个全链接层和一个Sigmoid激活函数，以得到n个加权系数，并用所述n个加权系数对输入的所述n个特征通道进行加权，输出加权之后的特征通道，其中，所述Sigmoid激活函数用以下表达式表示：
可选地，所述傅里叶域特征通道注意力卷积模块包括：
特征提取模块，其包括顺次连接的一个卷积层、一个GELU激活函数、一个卷积层和一个GELU激活函数，其中，所述GELU激活函数用以下表达式表示：
所述傅里叶域特征通道注意力模块，其用于实现傅里叶域特征通道注意力机制，以赋予卷积神经网络自适应地调节特征通道权重的能力；
残差输出模块，其用于将所述特征提取模块的原始输入与所述傅里叶域特征通道注意力模块的输出相加，以作为所述傅里叶域特征通道注意力卷积模块的最终输出。
可选地，所述第一模型为傅里叶域特征通道注意力卷积神经网络模型，所述第一模型包括：
浅层特征提取模块，其包括一个卷积层和一个所述GELU激活函数，以用于使输入的预处理图像依次通过一个卷积层和一个所述GELU激活函数，以提取浅层特征；
深层特征提取模块，其包括p个残差模块、一个卷积层和一个所述GELU激活函数，以用于提取预处理图像的深层特征，其中，所述残差模块包括q个所述傅里叶域特征通道注意力卷积模块，输入的特征通道经过q个所述傅里叶域特征通道注意力卷积模块，输出的特征通道再与所述输入的特征通道相加作为所述残差模块的输出；
上采样输出模块，其包括一个像素重排层、一个卷积层和一个所述Sigmoid激活函数，以用于对预处理图像进行上采样并输出超分辨率处理后的最终图像。
可选地，所述第二模型为傅里叶域特征通道注意力生成对抗卷积神经网络模型，所述第二模型包括傅里叶域特征通道注意力生成器模型和卷积神经网络判别器模型。
可选地，所述傅里叶域特征通道注意力生成器模型包括：
浅层特征提取模块，其包括一个卷积层和一个所述GELU激活函数，以用于使输入的预处理图像依次通过一个卷积层和一个所述GELU激活函数，以提取浅层特征；
深层特征提取模块，其包括p个残差模块、一个卷积层和一个所述GELU激活函数，以用于提取预处理图像的深层特征，其中，所述残差模块包括q个所述傅里叶域特征通道注意力卷积模块，输入的特征通道经过q个所述傅里叶域特征通道注意力卷积模块，输出的特征通道再与所述输入的特征通道相加作为所述残差模块的输出；
上采样输出模块，其包括一个像素重排层、一个卷积层和一个所述Sigmoid激活函数，以用于对预处理图像进行上采样并输出超分辨率处理后的最终图像。
可选地，所述卷积神经网络判别器模型包括：
卷积-激活模块，其包括卷积层和跟随在卷积层之后的LReLU激活函数，所述LReLU激活函数用以下表达式表示：
LReLU(x,α)＝max(0,x)-αmax(0,-x)，
其中，α为泄露值，并且设定为α＝0.1；
池化-激活模块，其包括顺次连接的一个全局平均池化层、一个全链接层、一个所述LReLU激活函数、一个全链接层和一个所述Sigmoid激活函数。
可选地，所述通过所述训练图像集训练所述第一模型，包括：
将所述第一图像输入所述第一模型得到输出图像，将所述输出图像与所述第二图像进行比对，训练时的第一模型损失函数与所述输出图像和所述第二图像之间的均方误差和结构相似度的关系由如下表达式表示：
其中，
表示所述输出图像，
Y表示所述第二图像，
表示所述第一模型损失函数，
表示所述输出图像和所述第二图像之间的均方误差，
表示所述输出图像和所述第二图像之间的结构相似度，
λ表示结构相似度损失的权重。
可选地，所述通过所述训练图像集训练所述第二模型，包括：
将所述第一图像输入所述第二模型的所述傅里叶域特征通道注意力生成器模型得到输出图像，将所述输出图像与所述第二图像进行比对，计算均方误差和结构相似度，同时将所述输出图像输入第二模型的判别器，得到置信度，用于计算判别损失，训练时的第二模型的所述傅里叶域特征通道注意力生成器模型损失函数与所述输出图像和所述第二图像之间的均方误差和结构相似度以及与所述判别损失的关系由如下表达式表示：
其中，/>表示所述第二模型的所述傅里叶域特征通道注意力生成器模型损失函数，
表示所述输出图像和所述第二图像之间的均方误差，
表示所述输出图像和所述第二图像之间的结构相似度，
表示所述判别损失，
λ表示结构相似度损失的权重，
β表示所述均方误差和结构相似度损失的共同权重，
γ表示所述判别损失的权重，
表示所述卷积神经网络判别器模型以所述傅里叶域特征通道注意力生成器模型的输出图像为输入而计算出来的置信度，
所述傅里叶域特征通道注意力生成器模型的损失函数由所述输出图像和所述第二图像之间的均方误差和结构相似度以及所述判别损失组成；
将所述傅里叶域特征通道注意力生成器模型的输出图像或所述第二图像输入所述卷积神经网络判别器模型中，将输出的置信度与真值进行比对，计算所述卷积神经网络判别器模型的二值交叉熵损失，所述卷积神经网络判别器模型的损失函数由如下表达式表示：
其中，
表示所述卷积神经网络判别器模型输出的置信度，
p表示所述真值，在所述卷积神经网络判别器模型的输入为所述傅里叶域特征通道注意力生成器模型的输出图像的情况下，所述真值为0，在所述卷积神经网络判别器模型的输入为所述第二图像的情况下，所述真值为1。
本发明实施例提供的技术方案的有益效果至少包括：
本发明提供了一种图像超分辨率处理方法，该方法通过基于傅里叶域特征通道注意力机制和卷积神经网络搭建第一模型或第二模型，低分辨率的图像经过第一模型或第二模型的超分辨率处理可以得到高分辨率图像，该方法可以更加有效地提取图像特征，在不同超分辨模态(自然图像超分辨、显微图像超分辨等)和不同成像条件(不同信噪比、不同成像速度，或分辨率提高不同倍数等)下，实现比现有方法更精确、更鲁棒的超分辨率图像预测和重建。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明实施例所述的图像超分辨率处理方法的流程图；
图2为根据本发明实施例所述的傅里叶域特征通道注意力卷积模块的结构框图；
图3为根据本发明实施例所述的第一模型的结构框图；
图4为根据本发明实施例所述的第二模型中的卷积神经网络判别器模型的结构框图；
图5为根据本发明实施例所述的对第一模型进行训练的流程图；
图6为根据本发明实施例所述的对第二模型中的傅里叶域特征通道注意力生成器模型进行训练的流程图；
图7示出了根据实例1所述的低分辨率自然图像与经过第一模型的超分辨率预测后得到的高分辨率自然图像的对比图；
图8示出了根据实例2所述的低分辨率显微图像与经过第二模型的超分辨率预测后得到的高分辨率显微图像的对比图；
图9示出了根据实例3所述的低分辨率结构光照明原始图像与经过第一模型的超分辨率重建后得到的高分辨率重建图像的对比图。
通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本发明实施例所用的所有技术术语均具有与本领域技术人员通常理解的相同的含义。在对发明实施方式作进一步地详细描述之前，对理解本发明实施例一些术语进行说明。
“超分辨率”是通过硬件或软件的方法提高原有图像的分辨率，即，通过低分辨率的图像来得到高分辨率的图像过程。在本文中，图像超分辨率处理包括自然图像超分辨率预测以及显微图像超分辨率预测和重建，其中，对单张低分辨率自然图像或单张低分辨率显微图像进行超分辨率处理得到高分辨率图像的过程称为图像超分辨率预测，对多张受衍射极限约束的低分辨率显微图像进行超分辨率处理得到单张高分辨率显微图像的过程称为图像超分辨率重建。
在本文中，“低分辨率”和“高分辨率”是相对的概念，在此并不具体限定“低分辨率”和“高分辨率”的具体数值。
“卷积神经网络”是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。
为使本发明的技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
图1为根据本发明实施例所述的图像超分辨率处理方法的流程图。
如图1所示，根据本发明实施例所述的图像超分辨率处理方法，包括：
步骤S100：获取训练图像集，该训练图像集包括多组图像组，每组图像组均包括彼此对应的第一图像和第二图像，第一图像的分辨率低于第二图像的分辨率；
步骤S200：基于傅里叶域特征通道注意力机制和卷积神经网络搭建第一模型或第二模型；
步骤S300：通过训练图像集训练第一模型，或者通过训练图像集训练第二模型；
步骤S400：通过训练完成的第一模型或第二模型完成待处理图像的超分辨率处理。
本发明提供了一种图像超分辨率处理方法，该方法通过基于傅里叶域特征通道注意力机制和卷积神经网络搭建第一模型或第二模型，低分辨率的图像经过第一模型或第二模型的超分辨率处理可以得到高分辨率图像，该方法可以更加有效地提取图像特征，在不同超分辨模态(自然图像超分辨、显微图像超分辨等)和不同成像条件(不同信噪比、不同成像速度，或分辨率提高不同倍数等)下，实现比现有方法更精确、更鲁棒的超分辨率图像预测和重建。
在步骤S100中，例如，可以通过光学显微系统拍摄或从公开数据库下载来获取图像集，可以对该图像集进行归一化、标准化等预处理，预处理后的图像集再通过随机剪裁、随机角度旋转、图像对称等方式进行扩增，从而得到训练图像集。训练图像集中包括多组图像组，每组图像组均包括彼此对应的第一图像和第二图像，第一图像的分辨率低于第二图像的分辨率，例如，第一图像可以是对第二图像进行降采样而得到的分辨率低于第二图像的图像。第一图像用于输入第一模型或第二模型来得到输出图像，第二图像用于与输出图像进行比对。
在步骤S200中，通过在卷积神经网络中构建傅里叶域特征通道注意力机制，来搭建第一模型或第二模型，即，对特征通道进行傅里叶变换，并利用其傅里叶频谱的强度和相位信息对特征通道进行加权调整，提高卷积神经网络的特征提取能力，实现更好的超分辨率效果。
由于利用了傅里叶频谱的强度和相位信息对特征通道进行加权调整，提高了卷积神经网络的特征提取能力，从而使得第一模型和第二模型在不同超分辨模态(自然图像超分辨、显微图像超分辨等)和不同成像条件(不同信噪比、不同成像速度，或分辨率提高不同倍数等)下，实现比现有方法更精确、更鲁棒的超分辨率预测和重建。
进一步地，在步骤S200中，基于傅里叶域特征通道注意力机制和卷积神经网络搭建第一模型或第二模型，包括：
基于傅里叶域特征通道注意力机制构建傅里叶域特征通道注意力卷积模块10，基于傅里叶域特征通道注意力卷积模块10在卷积神经网络中搭建第一模型或第二模型。
图2为根据本发明实施例所述的傅里叶域特征通道注意力卷积模块的结构框图。
如图2所示，根据本发明实施例的傅里叶域特征通道注意力卷积模块10包括：
特征提取模块，其包括顺次连接的一个卷积层101、一个GELU激活函数102、一个卷积层101和一个GELU激活函数102，其中，GELU激活函数102用以下表达式表示：
傅里叶域特征通道注意力模块，其用于实现傅里叶域特征通道注意力机制，以赋予卷积神经网络自适应地调节特征通道权重的能力，其中，
该傅里叶域特征通道注意力模块包括：
快速傅里叶变换模块，其包括快速傅里叶变换层103，以用于对输入的n个特征通道进行快速傅里叶变换，并顺次取模、取对数或伽马校正，得到特征通道的能量谱；
卷积-激活模块30，其包括一个卷积层101和一个ReLU激活函数104，以用于使特征通道的能量谱依次经过一个卷积层101和一个ReLU激活函数104，以进行特征提取，其中，ReLU激活函数104用以下表达式表示：
池化模块，其包括全局平均池化层105，以用于对能量谱进行全局平均池化，得到对应于特征通道的数量的n个系数，n个系数分别作为n个特征通道的频域信息代表数值；
自适应加权模块，其包括一个全链接层106、一个ReLU激活函数104、一个全链接层106和一个Sigmoid激活函数107，以用于使n个系数依次通过一个全链接层106、一个ReLU激活函数104、一个全链接层106和一个Sigmoid激活函数107，以得到n个加权系数，并用n个加权系数对输入的n个特征通道进行加权，输出加权之后的特征通道，其中，Sigmoid激活函数107用以下表达式表示：
残差输出模块108，其用于将特征提取模块的原始输入与傅里叶域特征通道注意力模块的输出相加，以作为傅里叶域特征通道注意力卷积模块10的最终输出。
图3为根据本发明实施例所述的第一模型的结构框图。
根据本发明的实施例，第一模型为傅里叶域特征通道注意力卷积神经网络模型，如图3所示，第一模型包括：
浅层特征提取模块，其包括一个卷积层101和一个GELU激活函数102，以用于使输入的预处理图像依次通过一个卷积层101和一个GELU激活函数102，以提取浅层特征；
深层特征提取模块，其包括p个残差模块20(典型值为p＝4)、一个卷积层101和一个GELU激活函数102，以用于提取预处理图像的深层特征，其中，残差模块20包括q个傅里叶域特征通道注意力卷积模块10(典型值为q＝4)，输入的特征通道经过q个傅里叶域特征通道注意力卷积模块10，输出的特征通道再与输入的特征通道相加作为残差模块20的输出；
上采样输出模块，其包括一个像素重排层109、一个卷积层101和一个Sigmoid激活函数107，以用于对预处理图像进行上采样并输出超分辨率处理后的最终图像。
根据本发明的实施例，第二模型为傅里叶域特征通道注意力生成对抗卷积神经网络模型，第二模型包括傅里叶域特征通道注意力生成器模型和卷积神经网络判别器模型。
在根据本发明的实施例中，傅里叶域特征通道注意力生成器模型与第一模型基本相同(可以参见图3)，傅里叶域特征通道注意力生成器模型包括：
浅层特征提取模块，其包括一个卷积层101和一个GELU激活函数102，以用于使输入的预处理图像依次通过一个卷积层101和一个GELU激活函数102，以提取浅层特征；
深层特征提取模块，其包括p个残差模块20(典型值为p＝4)、一个卷积层101和一个GELU激活函数102，以用于提取预处理图像的深层特征，其中，残差模块20包括q个傅里叶域特征通道注意力卷积模块10(典型值为q＝4)，输入的特征通道经过q个傅里叶域特征通道注意力卷积模块10，输出的特征通道再与输入的特征通道相加作为残差模块20的输出；
上采样输出模块，其包括一个像素重排层109、一个卷积层101和一个Sigmoid激活函数107，以用于对预处理图像进行上采样并输出超分辨率处理后的最终图像。
图4为根据本发明实施例所述的第二模型中的卷积神经网络判别器模型的结构框图。
如图4所示，根据本发明实施例的卷积神经网络判别器模型包括：
卷积-激活模块30，其包括卷积层101和跟随在卷积层101之后的LReLU激活函数110，在本实施例中具有十个卷积-激活模块30，LReLU激活函数110用以下表达式表示：
LReLU(x,α)＝max(0,x)-αmax(0,-x)，
其中，α为泄露值，并且设定为α＝0.1；
池化-激活模块，其包括顺次连接的一个全局平均池化层105、一个全链接层106、一个LReLU激活函数110、一个全链接层106和一个Sigmoid激活函数107。
图5为根据本发明实施例所述的对第一模型进行训练的流程图。
如图5所示，在步骤S300中，通过训练图像集训练第一模型包括：
将第一图像输入第一模型，得到输出图像，将输出图像与第二图像进行比对，其中，训练时的第一模型损失函数与输出图像和第二图像之间的均方误差和结构相似度的关系由如下表达式表示：
其中，
表示输出图像，
Y表示第二图像，
表示第一模型损失函数，
表示输出图像和第二图像之间的均方误差，
表示输出图像和第二图像之间的结构相似度，
λ表示结构相似度损失的权重。
图6为根据本发明实施例所述的对第二模型中的傅里叶域特征通道注意力生成器模型进行训练的流程图。
如图6所示，在步骤300中，通过训练图像集训练第二模型包括：
将所述第一图像输入所述第二模型的所述傅里叶域特征通道注意力生成器模型得到输出图像，将所述输出图像与所述第二图像进行比对，计算均方误差和结构相似度，同时将所述输出图像输入第二模型的判别器，得到置信度，用于计算判别损失，训练时的第二模型的所述傅里叶域特征通道注意力生成器模型损失函数与所述输出图像和所述第二图像之间的均方误差和结构相似度以及与所述判别损失的关系由如下表达式表示：
其中，表示所述第二模型的所述傅里叶域特征通道注意力生成器模型损失函数，
表示所述输出图像和所述第二图像之间的均方误差，
表示所述输出图像和所述第二图像之间的结构相似度，
表示所述判别损失，
λ表示结构相似度损失的权重，
β表示所述均方误差和结构相似度损失的共同权重，
γ表示所述判别损失的权重，
表示所述卷积神经网络判别器模型以所述傅里叶域特征通道注意力生成器模型的输出图像为输入而计算出来的置信度，
所述傅里叶域特征通道注意力生成器模型的损失函数由所述输出图像和所述第二图像之间的均方误差和结构相似度以及所述判别损失组成；
将所述傅里叶域特征通道注意力生成器模型的输出图像或所述第二图像输入所述卷积神经网络判别器模型中，将输出的置信度与真值进行比对，计算所述卷积神经网络判别器模型的二值交叉熵损失，所述卷积神经网络判别器模型的损失函数由如下表达式表示：
其中，
表示所述卷积神经网络判别器模型输出的置信度，
p表示所述真值，在所述卷积神经网络判别器模型的输入为所述傅里叶域特征通道注意力生成器模型的输出图像的情况下，所述真值为0，在所述卷积神经网络判别器模型的输入为所述第二图像的情况下，所述真值为1。
为了更好地理解根据本发明的图像超分辨率处理方法，以下提供了三个实例。
实例1：
图7示出了根据实例1所述的低分辨率自然图像与经过第一模型的超分辨率预测后得到的高分辨率自然图像的对比图。
如图7所示，低分辨率自然图像经过第一模型(傅里叶域特征通道注意力卷积神经网络模型)的超分辨率预测后得到了高分辨率自然图像，具体步骤如下：
下载公开数据集DIV2K，将图片进行降采样，生成与高分辨率图片一一对应的低分辨率图片，然后对数据进行扩增，包括随机剪裁、随机角度旋转和图像对称等操作，产生30,000对低分辨率(尺寸为128×128×3)-高分辨率(尺寸为256×256×3)的RGB图像对(训练图像集，低分辨率图像对应于第一图像，高分辨率图像对应于第二图像)，以用于模型训练；
使用基于Tensorflow的Keras深度学习框架和Python编程语言搭建如图3所示的第一模型(傅里叶域特征通道注意力卷积神经网络模型)；
训练第一模型模型，训练时，可以设定初始学习率为1×10-4，训练批大小为3，使用Adam优化器进行反向传播迭代优化。如图5所示，训练时的损失函数由输出图像与真值图像(相当于第二图像)(Y)之间的均方误差(Mean square error，简写为MSE)和结构相似度(Structural similarity，简写为SSIM)两部分组成，可表示为：
其中，λ为结构相似度损失的权重；
将单张低分辨率自然图像输入训练完成的第一模型(傅里叶域特征通道注意力卷积神经网络模型)，经过超分辨率预测后即可输出对应的高分辨率图像。
实例2：
图8示出了根据实例2所述的低分辨率显微图像与经过第二模型的超分辨率预测后得到的高分辨率显微图像的对比图；
如图8所示，低分辨率显微图像经过第二模型(傅里叶域特征通道注意力生成对抗卷积神经网络模型)的超分辨率预测后得到了高分辨率显微图像，具体步骤如下：
利用自主搭建的光学显微镜以结构光照明模式拍摄多组原始图像，在结构光照明超分辨率成像模式下，每个区域对应9张原始图像，将9张图像求平均得到宽场照明低分辨率图像(其可作为训练模型时输入的图像，相当于第一图像)，同时用传统的结构光照明超分辨率重建算法对所拍摄的原始数据进行超分辨率重建，得到低分辨率图像对应的高分辨率图像(其可作为模型训练时的真值图像，相当于第二图像)；
对显微图像数据集进行预处理和数据扩增(可以参考实例1中的相应步骤，但无需进行降采样)，产生30,000对低分辨率(尺寸为128×128)-高分辨率(尺寸为256×256)的灰度图像对(训练图像集，低分辨率图像对应于第一图像，高分辨率图像对应于第二图像)，以用于模型训练；
使用基于Tensorflow的Keras深度学习框架和Python编程语言搭建第二模型(即傅里叶域特征通道注意力生成对抗卷积神经网络模型，其包括傅里叶域特征通道注意力生成器模型和卷积神经网络判别器模型)；
训练第二模型，傅里叶域特征通道注意力生成对抗卷积神经网络模型需要交替训练傅里叶域特征通道注意力生成器模型和卷积神经网络判别器模型，使二者相互抗衡，初始学习率分别设定为1×10-4和1×10-5,训练批大小为3，均使用Adam优化器进行迭代优化，训练过程中，判别器的损失函数使用二值化交叉熵(Binary cross entropy)，傅里叶域特征通道注意力生成对抗卷积神经网络模型的损失函数由均方误差、结构相似度和判别损失三项构成，可表示为：
其中，β、λ和γ用于调整各项权重，表示卷积神经网络判别器模型以傅里叶域特征通道注意力生成器模型的输出图像为输入计算出来的置信度；
将单张低分辨率显微图像输入到已经训练完成的第二模型(傅里叶域特征通道注意力生成对抗卷积神经网络模型的傅里叶域特征通道注意力生成器模型中，即可得到对应的高分辨率显微图像。
实例3：
图9示出了根据实例3所述的低分辨率结构光照明原始图像与经过第一模型的超分辨率重建后得到的高分辨率重建图像的对比图。
如图9所示，结构光照明原始图像经过第一模型(傅里叶域特征通道注意力卷积神经网络模型)的超分辨率重建后得到了高分辨率重建图像，具体步骤如下：
利用自主搭建的光学显微镜以结构光照明模式拍摄多组原始图像并用传统的结构光照明超分辨率重建算法对所拍摄的原始图像进行超分辨率重建，得到用于形成训练图像集的图像集，对该图像集进行预处理和扩增，产生30,000组低分辨率(尺寸为128×128)-高分辨率(尺寸为256×256)的灰度图像组(训练图像集)以用于模型训练，特别地，每组图像包含9张低分辨率的结构光照明原始图像(相当于第一图像)和1张高分辨率的结构光照明图像(相当于第二图像)。
使用基于Tensorflow的Keras深度学习框架和Python编程语言搭建第一模型(傅里叶域特征通道注意力卷积神经网络模型)；
训练第一模型，第一模型的输入为9通道数据，对应9张结构光照明原始图像，而输出为1通道数据，即1张高分辨率重建图像，损失函数的表示可以参照实例1的描述；
将9张低分辨率结构光照明原始图像输入训练完成的第一模型(傅里叶域特征通道注意力卷积神经网络模型)，经过超分辨率重建，即可输出对应的1张高分辨率重建图像，完成结构光照明超分辨率重建。
本发明仅以上述实例进行说明，训练神经网络模型所使用的训练集、傅里叶域特征通道注意力卷积神经网络的超参数、输入和输出图像通道数等都是可以变化的，本发明也有很多潜在的、未举例说明的应用场景。在本发明技术方案的基础上，凡根据本发明原理对傅里叶域特征通道注意力卷积神经网络模型或傅里叶域特征通道注意力生成对抗卷积神经网络模型细节进行调整的，均不应排除在本发明的保护范围之外。
本领域技术人员在考虑说明书并且实践这里所公开的本发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的。
Claims (10)
1.一种图像超分辨率处理方法，其特征在于，包括：
获取训练图像集，所述训练图像集包括多组图像组，每组所述图像组均包括彼此对应的第一图像和第二图像，所述第一图像的分辨率低于所述第二图像的分辨率；
基于傅里叶域特征通道注意力机制和卷积神经网络搭建第一模型或第二模型，其中，所述傅里叶域特征通道注意力机制用于对特征通道进行傅里叶变换，并利用其傅里叶频谱的强度和相位信息对特征通道进行加权调整；
通过所述训练图像集训练所述第一模型，或者通过所述训练图像集训练所述第二模型；
通过训练完成的所述第一模型或所述第二模型完成待处理图像的超分辨率处理。
2.根据权利要求1所述的图像超分辨率处理方法，其特征在于，所述基于傅里叶域特征通道注意力机制和卷积神经网络搭建第一模型或第二模型，包括：
基于所述傅里叶域特征通道注意力机制构建傅里叶域特征通道注意力卷积模块，基于所述傅里叶域特征通道注意力卷积模块在所述卷积神经网络中搭建所述第一模型或所述第二模型。
3.根据权利要求2所述的图像超分辨率处理方法，其特征在于，所述傅里叶域特征通道注意力机制通过傅里叶域特征通道注意力模块来实现，所述傅里叶域特征通道注意力模块包括：
快速傅里叶变换模块，其包括快速傅里叶变换层，以用于对输入的n个特征通道进行快速傅里叶变换，并顺次取模、取对数或伽马校正，得到特征通道的能量谱；
卷积-激活模块，其包括一个卷积层和一个ReLU激活函数，以用于使所述特征通道的能量谱依次经过一个卷积层和一个ReLU激活函数，以进行特征提取，其中，所述ReLU激活函数用以下表达式表示：
池化模块，其包括全局平均池化层，以用于对所述能量谱进行全局平均池化，得到对应于所述特征通道的数量的n个系数，所述n个系数分别作为所述n个特征通道的频域信息代表数值；
自适应加权模块，其包括一个全链接层、一个所述ReLU激活函数、一个全链接层和一个Sigmoid激活函数，以用于使所述n个系数依次通过一个全链接层、一个所述ReLU激活函数、一个全链接层和一个Sigmoid激活函数，以得到n个加权系数，并用所述n个加权系数对输入的所述n个特征通道进行加权，输出加权之后的特征通道，其中，所述Sigmoid激活函数用以下表达式表示：
4.根据权利要求3所述的图像超分辨率处理方法，其特征在于，所述傅里叶域特征通道注意力卷积模块包括：
特征提取模块，其包括顺次连接的一个卷积层、一个GELU激活函数、一个卷积层和一个GELU激活函数，其中，所述GELU激活函数用以下表达式表示：
所述傅里叶域特征通道注意力模块，其用于实现傅里叶域特征通道注意力机制，以赋予卷积神经网络自适应地调节特征通道权重的能力；
残差输出模块，其用于将所述特征提取模块的原始输入与所述傅里叶域特征通道注意力模块的输出相加，以作为所述傅里叶域特征通道注意力卷积模块的最终输出。
5.根据权利要求4所述的图像超分辨率处理方法，其特征在于，所述第一模型为傅里叶域特征通道注意力卷积神经网络模型，所述第一模型包括：
浅层特征提取模块，其包括一个卷积层和一个所述GELU激活函数，以用于使输入的预处理图像依次通过一个卷积层和一个所述GELU激活函数，以提取浅层特征；
深层特征提取模块，其包括p个残差模块、一个卷积层和一个所述GELU激活函数，以用于提取预处理图像的深层特征，其中，所述残差模块包括q个所述傅里叶域特征通道注意力卷积模块，输入的特征通道经过q个所述傅里叶域特征通道注意力卷积模块，输出的特征通道再与所述输入的特征通道相加作为所述残差模块的输出；
上采样输出模块，其包括一个像素重排层、一个卷积层和一个所述Sigmoid激活函数，以用于对预处理图像进行上采样并输出超分辨率处理后的最终图像。
6.根据权利要求4所述的图像超分辨率处理方法，其特征在于，所述第二模型为傅里叶域特征通道注意力生成对抗卷积神经网络模型，所述第二模型包括傅里叶域特征通道注意力生成器模型和卷积神经网络判别器模型。
7.根据权利要求6所述的图像超分辨率处理方法，其特征在于，所述傅里叶域特征通道注意力生成器模型包括：
浅层特征提取模块，其包括一个卷积层和一个所述GELU激活函数，以用于使输入的预处理图像依次通过一个卷积层和一个所述GELU激活函数，以提取浅层特征；
深层特征提取模块，其包括p个残差模块、一个卷积层和一个所述GELU激活函数，以用于提取预处理图像的深层特征，其中，所述残差模块包括q个所述傅里叶域特征通道注意力卷积模块，输入的特征通道经过q个所述傅里叶域特征通道注意力卷积模块，输出的特征通道再与所述输入的特征通道相加作为所述残差模块的输出；
上采样输出模块，其包括一个像素重排层、一个卷积层和一个所述Sigmoid激活函数，以用于对预处理图像进行上采样并输出超分辨率处理后的最终图像。
8.根据权利要求6所述的图像超分辨率处理方法，其特征在于，所述卷积神经网络判别器模型包括：
卷积-激活模块，其包括卷积层和跟随在卷积层之后的LReLU激活函数，所述LReLU激活函数用以下表达式表示：
LReLU(x,α)＝max(0,x)-αmax(0,-x)，
其中，α为泄露值，并且设定为α＝0.1；
池化-激活模块，其包括顺次连接的一个全局平均池化层、一个全链接层、一个所述LReLU激活函数、一个全链接层和一个所述Sigmoid激活函数。
9.根据权利要求5所述的图像超分辨率处理方法，其特征在于，所述通过所述训练图像集训练所述第一模型，包括：
将所述第一图像输入所述第一模型得到输出图像，将所述输出图像与所述第二图像进行比对，训练时的第一模型损失函数与所述输出图像和所述第二图像之间的均方误差和结构相似度的关系由如下表达式表示：
其中，
表示所述输出图像，
Y表示所述第二图像，
表示所述第一模型损失函数，
表示所述输出图像和所述第二图像之间的均方误差，
表示所述输出图像和所述第二图像之间的结构相似度，
λ表示结构相似度损失的权重。
10.根据权利要求6所述的图像超分辨率处理方法，其特征在于，所述通过所述训练图像集训练所述第二模型，包括：
将所述第一图像输入所述第二模型的所述傅里叶域特征通道注意力生成器模型得到输出图像，将所述输出图像与所述第二图像进行比对，计算均方误差和结构相似度，同时将所述输出图像输入第二模型的判别器，得到置信度，用于计算判别损失，训练时的第二模型的所述傅里叶域特征通道注意力生成器模型损失函数与所述输出图像和所述第二图像之间的均方误差和结构相似度以及与所述判别损失的关系由如下表达式表示：
其中，
表示所述输出图像，
Y表示所述第二图像，
表示所述第二模型的所述傅里叶域特征通道注意力生成器模型损失函数，表示所述输出图像和所述第二图像之间的均方误差，
表示所述输出图像和所述第二图像之间的结构相似度，
表示所述判别损失，
λ表示结构相似度损失的权重，
β表示所述均方误差和结构相似度损失的共同权重，
γ表示所述判别损失的权重，
表示所述卷积神经网络判别器模型以所述傅里叶域特征通道注意力生成器模型的输出图像为输入而计算出来的置信度，
所述傅里叶域特征通道注意力生成器模型的损失函数由所述输出图像和所述第二图像之间的均方误差和结构相似度以及所述判别损失组成；
将所述傅里叶域特征通道注意力生成器模型的输出图像或所述第二图像输入所述卷积神经网络判别器模型中，将输出的置信度与真值进行比对，计算所述卷积神经网络判别器模型的二值交叉熵损失，所述卷积神经网络判别器模型的损失函数由如下表达式表示：
其中，
表示所述卷积神经网络判别器模型输出的置信度，
p表示所述真值，在所述卷积神经网络判别器模型的输入为所述傅里叶域特征通道注意力生成器模型的输出图像的情况下，所述真值为0，在所述卷积神经网络判别器模型的输入为所述第二图像的情况下，所述真值为1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011637663.6A CN112614056B (zh) | 2020-12-31 | 2020-12-31 | 图像超分辨率处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011637663.6A CN112614056B (zh) | 2020-12-31 | 2020-12-31 | 图像超分辨率处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112614056A CN112614056A (zh) | 2021-04-06 |
| CN112614056B true CN112614056B (zh) | 2023-09-05 |
Family
ID=75253122
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011637663.6A Active CN112614056B (zh) | 2020-12-31 | 2020-12-31 | 图像超分辨率处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112614056B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113781298B (zh) * | 2021-08-05 | 2023-09-15 | 中国科学院生物物理研究所 | 超分辨率图像的处理方法及装置、电子设备、存储介质 |
| CN113917677B (zh) * | 2021-09-09 | 2023-05-05 | 北京纳析光电科技有限公司 | 一种三维超分辨率光片显微成像方法和显微镜 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106650629A (zh) * | 2016-11-21 | 2017-05-10 | 河海大学 | 一种基于核稀疏表示的快速遥感目标检测识别方法 |
| CN109325503A (zh) * | 2018-09-05 | 2019-02-12 | 西安工业大学 | 一种用于压缩编码孔径成像的目标轮廓识别方法 |
| CN109584161A (zh) * | 2018-11-29 | 2019-04-05 | 四川大学 | 基于通道注意力的卷积神经网络的遥感图像超分辨率重建方法 |
| CN111696168A (zh) * | 2020-06-13 | 2020-09-22 | 中北大学 | 基于残差自注意力图像增强的高倍速采mri重建方法 |
| CN111784578A (zh) * | 2020-06-28 | 2020-10-16 | Oppo广东移动通信有限公司 | 图像处理、模型训练方法及装置、设备、存储介质 |
| CN112151059A (zh) * | 2020-09-25 | 2020-12-29 | 南京工程学院 | 面向麦克风阵列的通道注意力加权的语音增强方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7222358B2 (en) * | 1999-12-13 | 2007-05-22 | Finisar Corporation | Cable television return link system with high data-rate side-band communication channels |
-
2020
- 2020-12-31 CN CN202011637663.6A patent/CN112614056B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106650629A (zh) * | 2016-11-21 | 2017-05-10 | 河海大学 | 一种基于核稀疏表示的快速遥感目标检测识别方法 |
| CN109325503A (zh) * | 2018-09-05 | 2019-02-12 | 西安工业大学 | 一种用于压缩编码孔径成像的目标轮廓识别方法 |
| CN109584161A (zh) * | 2018-11-29 | 2019-04-05 | 四川大学 | 基于通道注意力的卷积神经网络的遥感图像超分辨率重建方法 |
| CN111696168A (zh) * | 2020-06-13 | 2020-09-22 | 中北大学 | 基于残差自注意力图像增强的高倍速采mri重建方法 |
| CN111784578A (zh) * | 2020-06-28 | 2020-10-16 | Oppo广东移动通信有限公司 | 图像处理、模型训练方法及装置、设备、存储介质 |
| CN112151059A (zh) * | 2020-09-25 | 2020-12-29 | 南京工程学院 | 面向麦克风阵列的通道注意力加权的语音增强方法 |
Non-Patent Citations (1)
| Title |
|---|
| MRI RECONSTRUCTION VIA CASCADED CHANNEL-WISE ATTENTION NETWORK;Qiaoying Huang等;2019 IEEE 16th International Symposium on Biomedical Imaging;第1-5页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112614056A (zh) | 2021-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Single hyperspectral image super-resolution with grouped deep recursive residual network | |
| CN112016507B (zh) | 基于超分辨率的车辆检测方法、装置、设备及存储介质 | |
| CN112102177B (zh) | 基于压缩与激励机制神经网络的图像去模糊方法 | |
| CN113313657B (zh) | 一种用于低光照图像增强的非监督学习方法和系统 | |
| CN112614056B (zh) | 图像超分辨率处理方法 | |
| CN111768342A (zh) | 基于注意力机制和多级反馈监督的人脸超分辨方法 | |
| CN114240810B (zh) | 一种基于渐进式生成网络的人脸素描-照片合成方法 | |
| CN112288632B (zh) | 基于精简esrgan的单图像超分辨率方法及系统 | |
| CN109993702B (zh) | 基于生成对抗网络的满文图像超分辨率重建方法 | |
| CN111861906A (zh) | 一种路面裂缝图像虚拟增广模型建立及图像虚拟增广方法 | |
| CN112669214B (zh) | 一种基于交替方向乘子算法的模糊图像超分辨率重建方法 | |
| CN111583113A (zh) | 一种基于生成对抗网络的红外图像超分辨率重建方法 | |
| CN115100039B (zh) | 一种基于深度学习的轻量级图像超分辨率重建方法 | |
| Peng et al. | Progressive training of multi-level wavelet residual networks for image denoising | |
| CN116051411A (zh) | 基于深度卷积网络的显微图像模糊核提取与离焦复原方法 | |
| CN113379606B (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
| CN113160057B (zh) | 基于生成对抗网络的rpgan图像超分辨率重建方法 | |
| CN117593275A (zh) | 一种医学图像分割系统 | |
| CN112906591A (zh) | 基于多级跳线残差网络的雷达辐射源识别方法 | |
| CN116503499A (zh) | 一种基于循环生成对抗网络的素描画生成方法及系统 | |
| CN114463176B (zh) | 基于改进esrgan的图像超分辨重建方法 | |
| CN116542924A (zh) | 一种前列腺病灶区域检测方法、装置及存储介质 | |
| CN115861062A (zh) | 多尺度学习小波注意力机制网络及图像超分辨率重建方法 | |
| CN112991257B (zh) | 基于半监督孪生网络的异质遥感图像变化快速检测方法 | |
| CN116977188A (zh) | 一种基于深度全卷积神经网络的红外图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Li Dong Inventor after: Qiao Chang Inventor after: Li Di Inventor before: Li Dong Inventor before: Qiao Chang Inventor before: Li Di Inventor before: Dai Qionghai |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230328 Address after: 303-1, Floor 3, Building 4, No. 9 Hospital, Life Science Park, Changping District, Beijing 102206 Applicant after: Beijing Nathan Optoelectronic Technology Co.,Ltd. Address before: 100101 Beijing city Chaoyang District Datun Road No. 15 Applicant before: Institute of Biophysics, Chinese Academy of Sciences |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |