CN115147315A - 一种基于变压器模块的神经网络荧光显微图像去噪方法 - Google Patents
一种基于变压器模块的神经网络荧光显微图像去噪方法 Download PDFInfo
- Publication number
- CN115147315A CN115147315A CN202211075406.7A CN202211075406A CN115147315A CN 115147315 A CN115147315 A CN 115147315A CN 202211075406 A CN202211075406 A CN 202211075406A CN 115147315 A CN115147315 A CN 115147315A
- Authority
- CN
- China
- Prior art keywords
- denoising
- network model
- module
- image
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 71
- 230000006870 function Effects 0.000 claims abstract description 51
- 238000005457 optimization Methods 0.000 claims abstract description 32
- 238000012360 testing method Methods 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 230000015654 memory Effects 0.000 claims description 25
- 238000005070 sampling Methods 0.000 claims description 25
- 230000007246 mechanism Effects 0.000 claims description 19
- 238000003384 imaging method Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 8
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 230000017105 transposition Effects 0.000 claims description 5
- 238000002073 fluorescence micrograph Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 abstract description 4
- 230000008901 benefit Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000000799 fluorescence microscopy Methods 0.000 description 4
- 238000001000 micrograph Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 206010034972 Photosensitivity reaction Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 208000007578 phototoxic dermatitis Diseases 0.000 description 1
- 231100000018 phototoxicity Toxicity 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 210000004895 subcellular structure Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于变压器模块的神经网络荧光显微图像去噪方法，该方法包括获取包含荧光显微图像对的数据集，并对数据集进行预处理，得到训练数据；基于变压器模块和3D卷积相结合的级联U型神经网络构建去噪网络模型；设置去噪网络模型的超参数、损失函数和优化方法；将训练数据输入至去噪网络模型中，并基于优化方法对损失函数进行优化，直到去噪网络模型训练完成；向训练好的去噪网络模型输入测试图像数据，得到去噪图像，并基于结构相似性指标对去噪图像进行评估。本申请实现了采用带有编解码器的U型级联神经网络作为整体架构，能够更好的进行多尺度特征融合，从而有助于提高图像去噪的性能。
Description
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种基于变压器模块的神经网络荧光显微图像去噪方法。
背景技术
荧光显微镜光是生命科学和医学研究中的重要而有力的工具，用于观察细胞，组织和发育中的生物体的时空动力学行为。最先进的光片显微镜、结构照明显微镜和超分辨率显微镜等能够实现高分辨率的细胞体积成像。然而，传统的荧光显微成像的质量受限于光学设备的质量、荧光团的物理化学性质以及实验持续时间等，在成像速度、成像深度、分辨率、光毒性和光漂白性等方面相互制约，使其在亚细胞结构观测、活体生物超精密成像和分子结构研究领域的应用上仍存在一定缺陷。
针对上述问题，优化显微镜硬件是一种可行方案，但是由于物理条件的限制，光路硬件的优化设计很难获取大的突破。计算成像算法可以巧妙地绕过物理限制，优化提取信息的效率，在一定程度上克服荧光显微镜的缺陷，提高显微成像的质量。相比于传统算法，深度学习利用神经网络进行数据驱动的统计推断，不需要对成像过程进行数值建模或估计点扩散函数，可以实现端到端的图像转换，已经成为一种缓解荧光显微镜缺点的有效方法。
目前，基于自注意力机制的变压器模块在多个视觉任务中均取得了优异的效果，相比于卷积神经网络的局部信息处理机制，变压器模块能捕捉全局的信息，更适合处理如图像去噪、图像去雾等输入输出数据维度一致的任务。然而大多基于变压器结构的神经网络需要大量的训练数据，难以应用于显微图像去噪任务中。
发明内容
为了解决上述问题，本申请实施例提供了一种基于变压器模块的神经网络荧光显微图像去噪方法。
第一方面，本申请实施例提供了一种基于变压器模块的神经网络荧光显微图像去噪方法，所述方法包括：
获取包含荧光显微图像对的数据集，并对所述数据集进行预处理，得到训练数据，所述荧光显微图像对包括低信噪比荧光显微图像对和高信噪比荧光显微图像对；
基于变压器模块和3D卷积相结合的级联U型神经网络构建去噪网络模型；
设置所述去噪网络模型的超参数、损失函数和优化方法；
将所述训练数据输入至所述去噪网络模型中，并基于所述优化方法对所述损失函数进行优化，直到所述去噪网络模型训练完成；
向训练好的所述去噪网络模型输入测试图像数据，得到去噪图像，并基于结构相似性指标对所述去噪图像进行评估；
其中，所述去噪网络模型包括输入卷积层、U型编码器-解码器结构的特征提取层和输出卷积层；
所述输入卷积层由至少一个3*3*3卷积核以及非线性激活函数GLU组成，用于接收所述训练数据中的输入噪声图像并提取图像浅层特征；
所述U型编码器-解码器结构由变压器模块、下采样卷积模块和上采样反卷积模块级联组成；
所述输出卷积层由至少一个3*3*3的三维卷积核组成，用于还原原始图像的尺寸。
优选的，所述获取包含荧光显微图像对的数据集，包括：
获取预设的各成像条件，交错各所述成像条件，逐个采集图像平面，得到包含荧光显微图像对的数据集。
优选的，所述对所述数据集进行预处理，得到训练数据，包括：
基于百分位数的归一化方法对所述数据集进行归一化；
基于预设比例划分归一化后的所述数据集，得到训练数据和测试数据；
在预设比率范围内随机选取目标比率，并基于所述目标比率大小的裁剪区域对所述训练数据进行裁剪。
优选的，所述U型编码器-解码器结构包括；至少一个由变压器模块和所述下采样卷积模块组成的编码器，一个所述变压器模块组成的深层特征提取器和至少一个所述变压器模块和所述上采样反卷积模块组成的解码器，在编码层和解码层中的所述变压器模块间附加残差连接；
所述变压器模块基于非重叠窗口的多头自注意力机制和滑动窗口多头自注意力机制计算全局相关性；
所述下采样卷积模块接收前一层所述变压器模块输出的特征映射作为输入，由步长为2，核大小为4的三维卷积构成；
所述上采样反卷积模块接收前一层所述变压器模块输出的特征映射作为输入，由步长为2，核大小为2的三维转置卷积构成。
优选的，所述超参数包括窗口大小、多头大小和变压器模块的深度、批量大小、学习率和迭代次数；所述损失函数为Charbonnier loss；所述优化方法为自适应矩估计Adam优化器。
优选的，所述将所述训练数据输入至所述去噪网络模型中，并基于所述优化方法对所述损失函数进行优化，直到所述去噪网络模型训练完成，包括：
将所述训练数据输入至所述去噪网络模型中，并基于所述优化方法对所述损失函数进行优化；
每经过第一预设迭代次数，保存所述去噪网络模型的网络参数，直至当前迭代次数满足第二预设迭代次数时，所述去噪网络模型训练完成。
第二方面，本申请实施例提供了一种基于变压器模块的神经网络荧光显微图像去噪装置，所述装置包括：
获取模块，用于获取包含荧光显微图像对的数据集，并对所述数据集进行预处理，得到训练数据，所述荧光显微图像对包括低信噪比荧光显微图像对和高信噪比荧光显微图像对；
构建模块，用于基于变压器模块和3D卷积相结合的级联U型神经网络构建去噪网络模型；
设置模块，用于设置所述去噪网络模型的超参数、损失函数和优化方法；
训练模块，用于将所述训练数据输入至所述去噪网络模型中，并基于所述优化方法对所述损失函数进行优化，直到所述去噪网络模型训练完成；
处理模块，用于向训练好的所述去噪网络模型输入测试图像数据，得到去噪图像，并基于结构相似性指标对所述去噪图像进行评估；
其中，所述去噪网络模型包括输入卷积层、U型编码器-解码器结构的特征提取层和输出卷积层；
所述输入卷积层由至少一个3*3*3卷积核以及非线性激活函数GLU组成，用于接收所述训练数据中的输入噪声图像并提取图像浅层特征；
所述U型编码器-解码器结构由变压器模块、下采样卷积模块和上采样反卷积模块级联组成；
所述输出卷积层由至少一个3*3*3的三维卷积核组成，用于还原原始图像的尺寸。
第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面或第一方面的任意一种可能的实现方式提供的方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第一方面的任意一种可能的实现方式提供的方法。
本发明的有益效果为：1.采用变压器模块作为骨干结构，充分利用了自注意力机制的长依赖建模优势，能够更好的提取图像全局信息，同时基于窗口的注意力机制大大降低了计算复杂度。
2.采用带有编解码器的U型级联神经网络作为整体架构，能够更好的进行多尺度特征融合，从而有助于提高图像去噪的性能。
3.训练好的去噪网络模型在无需任何迭代或参数搜索即可快速实现高性能的荧光显微图像去噪功能。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于变压器模块的神经网络荧光显微图像去噪方法的流程示意图；
图2为本申请实施例提供的去噪网络模型的结构示意图；
图3为本申请实施例提供的变压器模块的结构示意图；
图4为本申请实施例提供的3D移动窗口自注意力机制的原理示意图；
图5为本申请实施例提供的一种基于变压器模块的神经网络荧光显微图像去噪装置的结构示意图；
图6为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
在下述介绍中，术语“第一”、“第二”仅为用于描述的目的，而不能理解为指示或暗示相对重要性。下述介绍提供了本申请的多个实施例，不同实施例之间可以替换或者合并组合，因此本申请也可认为包含所记载的相同和/或不同实施例的所有可能组合。因而，如果一个实施例包含特征A、B、C，另一个实施例包含特征B、D，那么本申请也应视为包括含有A、B、C、D的一个或多个所有其他可能的组合的实施例，尽管该实施例可能并未在以下内容中有明确的文字记载。
下面的描述提供了示例，并且不对权利要求书中阐述的范围、适用性或示例进行限制。可以在不脱离本申请内容的范围的情况下，对描述的元素的功能和布置做出改变。各个示例可以适当省略、替代或添加各种过程或组件。例如所描述的方法可以以所描述的顺序不同的顺序来执行，并且可以添加、省略或组合各种步骤。此外，可以将关于一些示例描述的特征组合到其他示例中。
参见图1，图1是本申请实施例提供的一种基于变压器模块的神经网络荧光显微图像去噪方法的流程示意图。在本申请实施例中，所述方法包括：
S101、获取包含荧光显微图像对的数据集，并对所述数据集进行预处理，得到训练数据，所述荧光显微图像对包括低信噪比荧光显微图像对和高信噪比荧光显微图像对。
本申请的执行主体可以是云端服务器。
在本申请实施例中，为了训练构建出去噪网络模型，云端服务器首先将会获取包含有荧光显微图像对的数据集，并对其进行预处理，得到后续用以进行模型训练的训练数据。
在一种可实施方式中，所述获取包含荧光显微图像对的数据集，包括：
获取预设的各成像条件，交错各所述成像条件，逐个采集图像平面，得到包含荧光显微图像对的数据集。
在本申请实施例中，将预先设置有不同的成像条件，在逐个对各个图像平面的图像采集过程中，会将不同的成像条件交错进行采集，以此来正确获取到对齐的显微图像对。
在一种可实施方式中，所述对所述数据集进行预处理，得到训练数据，包括：
基于百分位数的归一化方法对所述数据集进行归一化；
基于预设比例划分归一化后的所述数据集，得到训练数据和测试数据；
在预设比率范围内随机选取目标比率，并基于所述目标比率大小的裁剪区域对所述训练数据进行裁剪。
在本申请实施例中，首先将对获取的显微图像数据进行归一化。值得说明的是，由于显微镜图像通常具有极其暗淡的像素的孤立像素，不代表实际图像内容。因此本发明使用简单的基于百分位数的归一化对获取的显微图像数据进行归一化，计算公式如下：
其中，
表示u的所有像素值的第p百分位数。
接着，将标准化后的数据按照8:2的比例进行划分，生成训练数据集和测试数据集。
此外，为保证训练的效果，还要将训练数据集中的图像按照随机0.6~1.0比率大小的区域进行裁剪，生成图像块用于训练网络。
S102、基于变压器模块和3D卷积相结合的级联U型神经网络构建去噪网络模型。
在本申请实施例中，为构建出符合需求的去噪网络模型，去噪网络模型将基于变压器模块和3D卷积相结合的级联U型神经网络构建得到。其采用变压器模块作为骨干结构，充分利用了自注意力机制的长依赖建模优势，能够更好的提取图像全局信息，同时基于窗口的注意力机制大大降低了计算复杂度。且采用带有编解码器的U型级联神经网络作为整体架构，能够更好的进行多尺度特征融合，从而有助于提高图像去噪的性能。
在一种可实施方式中，所述去噪网络模型包括输入卷积层、U型编码器-解码器结构的特征提取层和输出卷积层；
所述输入卷积层由至少一个3*3*3卷积核以及非线性激活函数GLU组成，用于接收所述训练数据中的输入噪声图像并提取图像浅层特征；
所述U型编码器-解码器结构由变压器模块、下采样卷积模块和上采样反卷积模块级联组成；
所述输出卷积层由至少一个3*3*3的三维卷积核组成，用于还原原始图像的尺寸。
在本申请实施例中，请参阅图2，图2为本发明中所述的去噪网络模型图，所述模型包括输入卷积层、U型编码器-解码器结构的特征提取层和输出卷积层；其中，所述输入卷积层由C个3*3*3卷积核以及非线性激活函数GLU组成，接收输入噪声图像并提取图像浅层特征；所述U型编码器-解码器结构由多个变压器模块和下/上采样模块级联组成；所述输出卷积层由3个3*3*3的三维卷积核组成，用于还原原始图像的尺寸。
在一种可实施方式中，所述U型编码器-解码器结构包括；至少一个由变压器模块和所述下采样卷积模块组成的编码器，一个所述变压器模块组成的深层特征提取器和至少一个所述变压器模块和所述上采样反卷积模块组成的解码器，在编码层和解码层中的所述变压器模块间附加残差连接；
所述变压器模块基于非重叠窗口的多头自注意力机制和滑动窗口多头自注意力机制计算全局相关性；
所述下采样卷积模块接收前一层所述变压器模块输出的特征映射作为输入，由步长为2，核大小为4的三维卷积构成；
所述上采样反卷积模块接收前一层所述变压器模块输出的特征映射作为输入，由步长为2，核大小为2的三维转置卷积构成。
在本申请实施例中，请参阅图3，图3为本发明中所述变压器模块的具体结构图，所述U型编码器-解码器结构具体包括；4个变压器模块和下采样卷积模块组成的编码器，一个变压器模块组成的深层特征提取器和4个变压器模块和上采样反卷积模块组成的解码器，在编码层和解码层中的变压器模块间附加残差连接，从而可以实现多尺度的特征融合；其中所述变压器模块基于非重叠窗口的多头自注意力（W-MSA）机制和滑动窗口多头自注意力（SW-MSA）机制计算全局相关性，计算公式如下：
其中，LN表示层归一化Layer Norm，
和
分别表示3D W-MSA 模块和3D
SW-MAS模块的输出特性，
和
表示前向全连接网络模块的输出特征。
每个多头注意力机制的计算公式如下：
其中，Q、K、V分别表示query、key和value矩阵，d表示Q矩阵和K矩阵的维度，B表示3D相对位置偏差。值得说明的是，基于窗口的自注意力机制能够大大降低变压器模块的计算复杂度。如图4所示，采用了三维移动窗口的设计，引入了前一层中相邻的不重叠的3D窗口之间的连接，从而能够提高图像去噪的性能；
所述下采样模块接收前一层变压器模块输出的特征映射作为输入，由步长为2，核大小为4的三维卷积构成，输出特征图尺寸减半，通道数翻倍；
所述上采样模块接收前一层变压器模块输出的特征映射作为输入，由步长为2，核大小为2的三维转置卷积构成，输出特征图尺寸翻倍，通道数减半。
S103、设置所述去噪网络模型的超参数、损失函数和优化方法。
在本申请实施例中，去噪网络模型构建完毕后，模型开始训练之前，还需要为模型设置超参数、损失函数以及优化方法。
在一种可实施方式中，所述超参数包括窗口大小、多头大小和变压器模块的深度、批量大小、学习率和迭代次数；所述损失函数为Charbonnier loss；所述优化方法为自适应矩估计Adam优化器。
在本申请实施例中，去噪网络模型的超参数包括模型相关参数：窗口大小、多头的
大小和变压器模块的深度，训练相关参数：批量大小、学习率和迭代次数。在本次实施例中，
优选地，所述模型相关参数窗口大小为8，多头大小为6，变压器模块深度为2；所述训练相关
参数批量大小batch size为8，学习率learning rate为
，迭代次数iterations为
100000次。
所述损失函数为Charbonnier loss，计算公式为：
其中，
表示网络输出的去噪图像，
表示真值ground truth，
是根据经
验设置为
的常量。
所述优化方法为自适应矩估计Adam优化器。
S104、将所述训练数据输入至所述去噪网络模型中，并基于所述优化方法对所述损失函数进行优化，直到所述去噪网络模型训练完成。
在本申请实施例中，确定了模型的参数和优化方法等之后，便可以将训练数据输入至去噪网络模型中进行训练，且在迭代训练的过程中，根据优化方法对损失函数进行优化，直到最终完成对去噪网络模型的训练。
在一种可实施方式中，所述将所述训练数据输入至所述去噪网络模型中，并基于所述优化方法对所述损失函数进行优化，直到所述去噪网络模型训练完成，包括：
将所述训练数据输入至所述去噪网络模型中，并基于所述优化方法对所述损失函数进行优化；
每经过第一预设迭代次数，保存所述去噪网络模型的网络参数，直至当前迭代次数满足第二预设迭代次数时，所述去噪网络模型训练完成。
在本申请实施例中，云端服务器会将预处理后得到的训练数据集输入到网络中，对所述损失函数进行优化；接着，每隔固定迭代次数保存网络参数，直到满足迭代次数，完成模型训练。在本次实施例中，优选地，每隔5000次迭代保存模型参数。
S105、向训练好的所述去噪网络模型输入测试图像数据，得到去噪图像，并基于结构相似性指标对所述去噪图像进行评估。
在本申请实施例中，训练完成后，将使用测试数据对网络模型进行验证。由于网络
预测的恢复图像和真值图像再其像素值的动态范围存在很大差异，因此需要对真值数据进
行归一化处理，具体可以使用前述步骤预处理过程中的归一化方法，优选地，
和
分别为0.1和99.9。进一步，使用变换
，根据参数对恢复图像的每
个像素进行缩放和平移。
其中，
，
。因此，
的选择应确保
和
之
间的均方误差（MSE）最小。
结构相似性评价指标的计算公式如下：
其中，X、Y分别表示使用训练模型得到的预测图像和真实图像，
、
分别表示
图像X和图像Y的均值，
、
分别表示图像X和图像Y的标准差，
表示图像X、图像Y
的协方差，C1、C2为常量。
下面将结合附图5，对本申请实施例提供的基于变压器模块的神经网络荧光显微图像去噪装置进行详细介绍。需要说明的是，附图5所示的基于变压器模块的神经网络荧光显微图像去噪装置，用于执行本申请图1所示实施例的方法，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请图1所示的实施例。
请参见图5，图5是本申请实施例提供的一种基于变压器模块的神经网络荧光显微图像去噪装置的结构示意图。如图5所示，所述装置包括：
获取模块501，用于获取包含荧光显微图像对的数据集，并对所述数据集进行预处理，得到训练数据，所述荧光显微图像对包括低信噪比荧光显微图像对和高信噪比荧光显微图像对；
构建模块502，用于基于变压器模块和3D卷积相结合的级联U型神经网络构建去噪网络模型；
设置模块503，用于设置所述去噪网络模型的超参数、损失函数和优化方法；
训练模块504，用于将所述训练数据输入至所述去噪网络模型中，并基于所述优化方法对所述损失函数进行优化，直到所述去噪网络模型训练完成；
处理模块505，用于向训练好的所述去噪网络模型输入测试图像数据，得到去噪图像，并基于结构相似性指标对所述去噪图像进行评估；
其中，所述去噪网络模型包括输入卷积层、U型编码器-解码器结构的特征提取层和输出卷积层；
所述输入卷积层由至少一个3*3*3卷积核以及非线性激活函数GLU组成，用于接收所述训练数据中的输入噪声图像并提取图像浅层特征；
所述U型编码器-解码器结构由变压器模块、下采样卷积模块和上采样反卷积模块级联组成；
所述输出卷积层由至少一个3*3*3的三维卷积核组成，用于还原原始图像的尺寸。
在一种可实施方式中，获取模块501包括：
获取单元，用于获取预设的各成像条件，交错各所述成像条件，逐个采集图像平面，得到包含荧光显微图像对的数据集。
在一种可实施方式中，获取模块501还包括：
归一化单元，用于基于百分位数的归一化方法对所述数据集进行归一化；
划分单元，用于基于预设比例划分归一化后的所述数据集，得到训练数据和测试数据；
裁剪单元，用于在预设比率范围内随机选取目标比率，并基于所述目标比率大小的裁剪区域对所述训练数据进行裁剪。
在一种可实施方式中，所述去噪网络模型包括输入卷积层、U型编码器-解码器结构的特征提取层和输出卷积层；
所述输入卷积层由至少一个3*3*3卷积核以及非线性激活函数GLU组成，用于接收所述训练数据中的输入噪声图像并提取图像浅层特征；
所述U型编码器-解码器结构由变压器模块、下采样卷积模块和上采样反卷积模块级联组成；
所述输出卷积层由至少一个3*3*3的三维卷积核组成，用于还原原始图像的尺寸。
在一种可实施方式中，所述U型编码器-解码器结构包括；至少一个由变压器模块和所述下采样卷积模块组成的编码器，一个所述变压器模块组成的深层特征提取器和至少一个所述变压器模块和所述上采样反卷积模块组成的解码器，在编码层和解码层中的所述变压器模块间附加残差连接；
所述变压器模块基于非重叠窗口的多头自注意力机制和滑动窗口多头自注意力机制计算全局相关性；
所述下采样卷积模块接收前一层所述变压器模块输出的特征映射作为输入，由步长为2，核大小为4的三维卷积构成；
所述上采样反卷积模块接收前一层所述变压器模块输出的特征映射作为输入，由步长为2，核大小为2的三维转置卷积构成。
在一种可实施方式中，所述超参数包括窗口大小、多头大小和变压器模块的深度、批量大小、学习率和迭代次数；所述损失函数为Charbonnier loss；所述优化方法为自适应矩估计Adam优化器。
在一种可实施方式中，训练模块504包括：
优化单元，用于将所述训练数据输入至所述去噪网络模型中，并基于所述优化方法对所述损失函数进行优化；
迭代单元，用于每经过第一预设迭代次数，保存所述去噪网络模型的网络参数，直至当前迭代次数满足第二预设迭代次数时，所述去噪网络模型训练完成。
本领域的技术人员可以清楚地了解到本申请实施例的技术方案可借助软件和/或硬件来实现。本说明书中的“单元”和“模块”是指能够独立完成或与其他部件配合完成特定功能的软件和/或硬件，其中硬件例如可以是现场可编程门阵列（Field－ProgrammableGate Array，FPGA）、集成电路（Integrated Circuit，IC）等。
本申请实施例的各处理单元和/或模块，可通过实现本申请实施例所述的功能的模拟电路而实现，也可以通过执行本申请实施例所述的功能的软件而实现。
参见图6，其示出了本申请实施例所涉及的一种电子设备的结构示意图，该电子设备可以用于实施图1所示实施例中的方法。如图6所示，电子设备600可以包括：至少一个中央处理器601，至少一个网络接口604，用户接口603，存储器605，至少一个通信总线602。
其中，通信总线602用于实现这些组件之间的连接通信。
其中，用户接口603可以包括显示屏（Display）、摄像头（Camera），可选用户接口603还可以包括标准的有线接口、无线接口。
其中，网络接口604可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。
其中，中央处理器601可以包括一个或者多个处理核心。中央处理器601利用各种接口和线路连接整个电子设备600内的各个部分，通过运行或执行存储在存储器605内的指令、程序、代码集或指令集，以及调用存储在存储器605内的数据，执行终端600的各种功能和处理数据。可选的，中央处理器601可以采用数字信号处理（Digital SignalProcessing，DSP）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）、可编程逻辑阵列（Programmable Logic Array，PLA）中的至少一种硬件形式来实现。中央处理器601可集成中央中央处理器（Central Processing Unit，CPU）、图像中央处理器（GraphicsProcessing Unit，GPU）和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到中央处理器601中，单独通过一块芯片进行实现。
其中，存储器605可以包括随机存储器（Random Access Memory，RAM），也可以包括只读存储器（Read-Only Memory）。可选的，该存储器605包括非瞬时性计算机可读介质（non-transitory computer-readable storage medium）。存储器605可用于存储指令、程序、代码、代码集或指令集。存储器605可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令（比如触控功能、声音播放功能、图像播放功能等）、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器605可选的还可以是至少一个位于远离前述中央处理器601的存储装置。如图6所示，作为一种计算机存储介质的存储器605中可以包括操作系统、网络通信模块、用户接口模块以及程序指令。
在图6所示的电子设备600中，用户接口603主要用于为用户提供输入的接口，获取用户输入的数据；而中央处理器601可以用于调用存储器605中存储的基于变压器模块的神经网络荧光显微图像去噪应用程序，并具体执行以下操作：
获取包含荧光显微图像对的数据集，并对所述数据集进行预处理，得到训练数据，所述荧光显微图像对包括低信噪比荧光显微图像对和高信噪比荧光显微图像对；
基于变压器模块和3D卷积相结合的级联U型神经网络构建去噪网络模型；
设置所述去噪网络模型的超参数、损失函数和优化方法；
将所述训练数据输入至所述去噪网络模型中，并基于所述优化方法对所述损失函数进行优化，直到所述去噪网络模型训练完成；
向训练好的所述去噪网络模型输入测试图像数据，得到去噪图像，并基于结构相似性指标对所述去噪图像进行评估；
其中，所述去噪网络模型包括输入卷积层、U型编码器-解码器结构的特征提取层和输出卷积层；
所述输入卷积层由至少一个3*3*3卷积核以及非线性激活函数GLU组成，用于接收所述训练数据中的输入噪声图像并提取图像浅层特征；
所述U型编码器-解码器结构由变压器模块、下采样卷积模块和上采样反卷积模块级联组成；
所述输出卷积层由至少一个3*3*3的三维卷积核组成，用于还原原始图像的尺寸。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。其中，计算机可读存储介质可以包括但不限于任何类型的盘，包括软盘、光盘、DVD、CD-ROM、微型驱动器以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪速存储器设备、磁卡或光卡、纳米系统（包括分子存储器IC），或适合于存储指令和/或数据的任何类型的媒介或设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器（Read-Only Memory， ROM）、随机存取存储器（Random Access Memory，RAM）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通进程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器（Read-Only Memory， ROM）、随机存取器（Random AccessMemory，RAM）、磁盘或光盘等。
以上所述者，仅为本公开的示例性实施例，不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰，皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践这里的公开后，将容易想到本公开的其实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的范围和精神由权利要求限定。
Claims (9)
1.一种基于变压器模块的神经网络荧光显微图像去噪方法，其特征在于，所述方法包括：
获取包含荧光显微图像对的数据集，并对所述数据集进行预处理，得到训练数据，所述荧光显微图像对包括低信噪比荧光显微图像对和高信噪比荧光显微图像对；
基于变压器模块和3D卷积相结合的级联U型神经网络构建去噪网络模型；
设置所述去噪网络模型的超参数、损失函数和优化方法；
将所述训练数据输入至所述去噪网络模型中，并基于所述优化方法对所述损失函数进行优化，直到所述去噪网络模型训练完成；
向训练好的所述去噪网络模型输入测试图像数据，得到去噪图像，并基于结构相似性指标对所述去噪图像进行评估；
其中，所述去噪网络模型包括输入卷积层、U型编码器-解码器结构的特征提取层和输出卷积层；
所述输入卷积层由至少一个3*3*3卷积核以及非线性激活函数GLU组成，用于接收所述训练数据中的输入噪声图像并提取图像浅层特征；
所述U型编码器-解码器结构由变压器模块、下采样卷积模块和上采样反卷积模块级联组成；
所述输出卷积层由至少一个3*3*3的三维卷积核组成，用于还原原始图像的尺寸。
2.根据权利要求1所述的方法，其特征在于，所述获取包含荧光显微图像对的数据集，包括：
获取预设的各成像条件，交错各所述成像条件，逐个采集图像平面，得到包含荧光显微图像对的数据集。
3.根据权利要求1所述的方法，其特征在于，所述对所述数据集进行预处理，得到训练数据，包括：
基于百分位数的归一化方法对所述数据集进行归一化；
基于预设比例划分归一化后的所述数据集，得到训练数据和测试数据；
在预设比率范围内随机选取目标比率，并基于所述目标比率大小的裁剪区域对所述训练数据进行裁剪。
4.根据权利要求1所述的方法，其特征在于，所述U型编码器-解码器结构包括；至少一个由变压器模块和所述下采样卷积模块组成的编码器，一个所述变压器模块组成的深层特征提取器和至少一个所述变压器模块和所述上采样反卷积模块组成的解码器，在编码层和解码层中的所述变压器模块间附加残差连接；
所述变压器模块基于非重叠窗口的多头自注意力机制和滑动窗口多头自注意力机制计算全局相关性；
所述下采样卷积模块接收前一层所述变压器模块输出的特征映射作为输入，由步长为2，核大小为4的三维卷积构成；
所述上采样反卷积模块接收前一层所述变压器模块输出的特征映射作为输入，由步长为2，核大小为2的三维转置卷积构成。
5.根据权利要求1所述的方法，其特征在于，所述超参数包括窗口大小、多头大小和变压器模块的深度、批量大小、学习率和迭代次数；所述损失函数为Charbonnier loss；所述优化方法为自适应矩估计Adam优化器。
6.根据权利要求1所述的方法，其特征在于，所述将所述训练数据输入至所述去噪网络模型中，并基于所述优化方法对所述损失函数进行优化，直到所述去噪网络模型训练完成，包括：
将所述训练数据输入至所述去噪网络模型中，并基于所述优化方法对所述损失函数进行优化；
每经过第一预设迭代次数，保存所述去噪网络模型的网络参数，直至当前迭代次数满足第二预设迭代次数时，所述去噪网络模型训练完成。
7.一种基于变压器模块的神经网络荧光显微图像去噪装置，其特征在于，所述装置包括：
获取模块，用于获取包含荧光显微图像对的数据集，并对所述数据集进行预处理，得到训练数据，所述荧光显微图像对包括低信噪比荧光显微图像对和高信噪比荧光显微图像对；
构建模块，用于基于变压器模块和3D卷积相结合的级联U型神经网络构建去噪网络模型；
设置模块，用于设置所述去噪网络模型的超参数、损失函数和优化方法；
训练模块，用于将所述训练数据输入至所述去噪网络模型中，并基于所述优化方法对所述损失函数进行优化，直到所述去噪网络模型训练完成；
处理模块，用于向训练好的所述去噪网络模型输入测试图像数据，得到去噪图像，并基于结构相似性指标对所述去噪图像进行评估；
其中，所述去噪网络模型包括输入卷积层、U型编码器-解码器结构的特征提取层和输出卷积层；
所述输入卷积层由至少一个3*3*3卷积核以及非线性激活函数GLU组成，用于接收所述训练数据中的输入噪声图像并提取图像浅层特征；
所述U型编码器-解码器结构由变压器模块、下采样卷积模块和上采样反卷积模块级联组成；
所述输出卷积层由至少一个3*3*3的三维卷积核组成，用于还原原始图像的尺寸。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-6任一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211075406.7A CN115147315B (zh) | 2022-09-05 | 2022-09-05 | 一种基于变压器模块的神经网络荧光显微图像去噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211075406.7A CN115147315B (zh) | 2022-09-05 | 2022-09-05 | 一种基于变压器模块的神经网络荧光显微图像去噪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115147315A true CN115147315A (zh) | 2022-10-04 |
| CN115147315B CN115147315B (zh) | 2022-12-09 |
Family
ID=83415898
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211075406.7A Active CN115147315B (zh) | 2022-09-05 | 2022-09-05 | 一种基于变压器模块的神经网络荧光显微图像去噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115147315B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115984107A (zh) * | 2022-12-21 | 2023-04-18 | 中国科学院生物物理研究所 | 自监督多模态结构光显微重建方法和系统 |
| CN116016064A (zh) * | 2023-01-12 | 2023-04-25 | 西安电子科技大学 | 基于u型卷积去噪自编码器的通信信号降噪方法 |
| CN116721017A (zh) * | 2023-06-20 | 2023-09-08 | 中国科学院生物物理研究所 | 自监督显微图像超分辨处理方法和系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020222985A1 (en) * | 2019-04-30 | 2020-11-05 | The Trustees Of Dartmouth College | System and method for attention-based classification of high-resolution microscopy images |
| CN113610719A (zh) * | 2021-07-19 | 2021-11-05 | 河南大学 | 一种注意力和密集连接残差块卷积核神经网络图像去噪方法 |
| CN114140353A (zh) * | 2021-11-25 | 2022-03-04 | 苏州大学 | 一种基于通道注意力的Swin-Transformer图像去噪方法及系统 |
| CN114565528A (zh) * | 2022-02-28 | 2022-05-31 | 中南大学 | 一种基于多尺度和注意力机制的遥感影像降噪方法及系统 |
| US20220198254A1 (en) * | 2020-12-17 | 2022-06-23 | UMNAI Limited | Explainable transducer transformers |
| CN114677300A (zh) * | 2022-03-25 | 2022-06-28 | 西安交通大学 | 一种基于双阶段学习框架的高光谱图像深度降噪的方法及系统 |
| CN114820341A (zh) * | 2022-03-17 | 2022-07-29 | 西北工业大学 | 一种基于增强Transformer的图像盲去噪方法及系统 |
-
2022
- 2022-09-05 CN CN202211075406.7A patent/CN115147315B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020222985A1 (en) * | 2019-04-30 | 2020-11-05 | The Trustees Of Dartmouth College | System and method for attention-based classification of high-resolution microscopy images |
| US20220198254A1 (en) * | 2020-12-17 | 2022-06-23 | UMNAI Limited | Explainable transducer transformers |
| WO2022129610A1 (en) * | 2020-12-17 | 2022-06-23 | UMNAI Limited | Explainable transducer transformers |
| CN113610719A (zh) * | 2021-07-19 | 2021-11-05 | 河南大学 | 一种注意力和密集连接残差块卷积核神经网络图像去噪方法 |
| CN114140353A (zh) * | 2021-11-25 | 2022-03-04 | 苏州大学 | 一种基于通道注意力的Swin-Transformer图像去噪方法及系统 |
| CN114565528A (zh) * | 2022-02-28 | 2022-05-31 | 中南大学 | 一种基于多尺度和注意力机制的遥感影像降噪方法及系统 |
| CN114820341A (zh) * | 2022-03-17 | 2022-07-29 | 西北工业大学 | 一种基于增强Transformer的图像盲去噪方法及系统 |
| CN114677300A (zh) * | 2022-03-25 | 2022-06-28 | 西安交通大学 | 一种基于双阶段学习框架的高光谱图像深度降噪的方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| HAO LI ET AL: "DnSwin: Toward real-world denoising via a continuous Wavelet Sliding Transformer", 《KNOWLEDGE-BASED SYSTEMS》 * |
| JINGYUN LIANG ET AL: "SwinIR: Image Restoration Using Swin Transformer", 《2021 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOPS (ICCVW)》 * |
| ZE LIU ET AL: "Video Swin Transformer", 《ARXIV》 * |
| 王俊等: "结合深度学习去噪和超分辨的SAR检测识别", 《空天防御》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115984107A (zh) * | 2022-12-21 | 2023-04-18 | 中国科学院生物物理研究所 | 自监督多模态结构光显微重建方法和系统 |
| CN115984107B (zh) * | 2022-12-21 | 2023-08-11 | 中国科学院生物物理研究所 | 自监督多模态结构光显微重建方法和系统 |
| CN116016064A (zh) * | 2023-01-12 | 2023-04-25 | 西安电子科技大学 | 基于u型卷积去噪自编码器的通信信号降噪方法 |
| CN116721017A (zh) * | 2023-06-20 | 2023-09-08 | 中国科学院生物物理研究所 | 自监督显微图像超分辨处理方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115147315B (zh) | 2022-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115147315B (zh) | 一种基于变压器模块的神经网络荧光显微图像去噪方法 | |
| Wei et al. | 3-D quasi-recurrent neural network for hyperspectral image denoising | |
| Rad et al. | Srobb: Targeted perceptual loss for single image super-resolution | |
| CN109523470B (zh) | 一种深度图像超分辨率重建方法及系统 | |
| CN109753996B (zh) | 基于三维轻量化深度网络的高光谱图像分类方法 | |
| CN111127354A (zh) | 一种基于多尺度字典学习的单图像去雨方法 | |
| CN112465700B (zh) | 一种基于深度聚类的图像拼接定位装置及方法 | |
| CN116740362B (zh) | 一种基于注意力的轻量化非对称场景语义分割方法及系统 | |
| Wali et al. | Recent progress in digital image restoration techniques: a review | |
| CN114037893A (zh) | 一种基于卷积神经网络的高分辨率遥感图像建筑提取方法 | |
| CN116246138A (zh) | 基于全卷积神经网络的红外-可见光图像目标级融合方法 | |
| CN114331913B (zh) | 基于残差注意力块的运动模糊图像复原方法 | |
| CN116188272A (zh) | 适用于多模糊核的两阶段深度网络图像超分辨率重建方法 | |
| CN115358952A (zh) | 一种基于元学习的图像增强方法、系统、设备和存储介质 | |
| CN115713462A (zh) | 超分辨模型训练方法、图像识别方法、装置及设备 | |
| Hu et al. | Hierarchical discrepancy learning for image restoration quality assessment | |
| CN116403064B (zh) | 图片处理方法、系统、设备及介质 | |
| CN103530860B (zh) | 基于自适应的自回归模型的高光谱图像超分辨率方法 | |
| CN112132253B (zh) | 3d动作识别方法、装置、计算机可读存储介质及设备 | |
| CN115546028A (zh) | 一种光片荧光显微镜图像的条纹伪影消除方法及装置 | |
| CN116091763A (zh) | 苹果叶部病害图像语义分割系统及分割方法、设备和介质 | |
| CN115578274A (zh) | 一种基于边缘约束的双分支图像去雾方法 | |
| Kumar et al. | Image resolution enhancement using convolutional autoencoders | |
| Wu et al. | Detail-aware image denoising via structure preserved network and residual diffusion model | |
| CN117689760B (zh) | 基于直方图信息网络的oct轴向超分辨率方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |