CN116757955A - 一种基于全维动态卷积多融合对比网络 - Google Patents
一种基于全维动态卷积多融合对比网络 Download PDFInfo
- Publication number
- CN116757955A CN116757955A CN202310732511.1A CN202310732511A CN116757955A CN 116757955 A CN116757955 A CN 116757955A CN 202310732511 A CN202310732511 A CN 202310732511A CN 116757955 A CN116757955 A CN 116757955A
- Authority
- CN
- China
- Prior art keywords
- image
- denoising
- convolution
- scale
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 32
- 230000007246 mechanism Effects 0.000 claims abstract description 15
- 238000013507 mapping Methods 0.000 claims abstract description 6
- 230000000295 complement effect Effects 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 21
- 230000004927 fusion Effects 0.000 claims description 18
- 238000011176 pooling Methods 0.000 claims description 17
- 230000000694 effects Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 238000007499 fusion processing Methods 0.000 claims description 4
- 230000003068 static effect Effects 0.000 claims description 4
- 230000009286 beneficial effect Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000005303 weighing Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000002349 favourable effect Effects 0.000 claims 2
- 238000013528 artificial neural network Methods 0.000 claims 1
- 230000010485 coping Effects 0.000 claims 1
- 230000010339 dilation Effects 0.000 claims 1
- 239000006185 dispersion Substances 0.000 claims 1
- 230000008278 dynamic mechanism Effects 0.000 claims 1
- 238000003384 imaging method Methods 0.000 claims 1
- 230000011218 segmentation Effects 0.000 claims 1
- 230000002195 synergetic effect Effects 0.000 claims 1
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 230000007850 degeneration Effects 0.000 abstract description 2
- 238000003062 neural network model Methods 0.000 abstract description 2
- 238000012216 screening Methods 0.000 abstract description 2
- 238000009412 basement excavation Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 14
- 238000005070 sampling Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000008521 reorganization Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于全维动态卷积多融合对比网络的图像去噪方法。在单尺度网络中引入了分组全维动态卷积，在保持轻量化的同时，自适应的学习每个样本的不同退化，增强了模型的去噪灵活性，保持了图像原有内容的结构信息。同时，在编解码网络中引入了残差单元、密集连接、跳跃连接以及多重对比注意力机制，在密集卷积层的学习能力和注意力层的筛选能力能获取良好特征的基础上，在捕获图像完整的语义信息的同时加强了图像信息的保留。最后，将编解码网络与单尺度网络的输出图像进行有效融合，学习两者互补的特征信息，并通过对比学习机制，不断缩小去噪子空间，有利于挖掘更接近干净图像的重构信息。本发明中极大地增强了神经网络模型的学习能力，建立起了噪声图像到干净图像的准确映射，从而实现对高斯白噪声和真实噪声图像的实时去噪。
Description
技术领域
本发明涉及计算机视觉与数字图像处理领域，具体来说，尤其涉及一种基于全维动态卷积多融合对比网络的图像去噪方法。
背景技术
由于图像在拍摄和传输过程中会不可避免地引入不必要的噪声，导致图像信号不佳，质量下降，缺乏可读性，从而影响后续图像处理任务的学习以及处理结果，因此在带噪声的图像中恢复出清晰图像是计算机视觉领域重要的研究内容之一。在早期，一些传统的去噪方法如NLM方法和BM3D方法利用自相似补丁对图像先验进行显式建模，另外，基于稀疏模型、梯度模型、马尔可夫随机场模型的手工图像先验的方法，对不同噪声水平的噪声图像进行灵活去噪。但其去噪过程耗时长，计算效率低。随着深度学习的发展，一系列使用卷积神经网络的方法通过从大规模数据中捕获自然图像统计数据来隐式地学习更多的一般先验。尽管很多基于深度学习的高斯白噪声图像去噪方法取得了很好的成果，但对去噪后图像的细节保留还有所欠缺，并且由于真实噪声的复杂性，去噪模型对于真实噪声图像去噪的泛化性还有待提升。
发明内容
为解决上述技术问题，本发明公开了一种基于全维动态卷积多融合对比网络的图像去噪方法，极大增强了编解码网络的去噪能力，建立起噪声图像到干净图像的准确映射，并在图像去噪和细节保留之间得到了很好的权衡。包括以下步骤：
数据预处理：本发明分别针对真实噪声图像和合成噪声图像训练特定的模型，以便用于精准去噪。其中，获取SIDD数据集中的320对图像用于真实噪声模型训练，以及DIV2K数据集中的800对图像用于合成噪声模型训练，将每一个全分辨率图像对分别随机切割为多个256×256的图像对，并将其写入lmdb进行键值对存储，以便训练时进行高速访问，在训练时，对数据集进行旋转、翻转等数据增强操作，增强模型的泛化能力。
构建多尺度编解码架构：利用编码器首先采用卷积降维操作去学习图像的映射关系及表达模式，在提取多尺度图像语义特征的同时，对数据进行压缩编码，将图像中的噪声过滤再借助解码过程还原图片信息。在解码过程中与编码器相应尺寸的特征进行联系，缓解图像信息缺失问题。另外，为了使重构的图像尺寸与特征信息足够丰富，本发明采用像素重组来实现上采样的操作，通过对图像进行亚像素层面的反卷积操作，使图像关注于亚像素层面的细节信息，使重构图像具备丰富的结构纹理信息。
多尺度编解码静态卷积去噪：构建具有全局建模能力和局部建模能力的模块并插入到编解码每个尺度中。
在全局建模部分，利用平均池化和对比方差池化捕获空间和通道全局信息，学习不同特征图通道和空间之间的联系。
在通道特征方面，学习图像特征在通道维度的均值和方差来加强图像的离散程度，捕获通道间的相关性。若以空间大小为H×W、通道为C的向量作为输入，各特征图均值为μc，标准差为σc，则所对应的对比信息值为：
CFc＝μc+σc
CFc为第c个通道的对比信息输出，计算每个通道特征图的对比信息之后，通过两个1×1卷积操作对通道进行挤压-激励操作，并经过Sigmoid激活后，得到对应通道的权重比例，与原始特征信息相乘，得到通道过滤后的信息。
在空间特征方面，利用平均池化和最大池化捕获通道全局信息，学习不同特征图空间之间的联系。若输入向量特征图为X2，首先做一个基于通道的全局最大池化和全局平均池化，得到两个H×W×1的特征图，然后对其进行通道拼接处理，并经过一个5×5卷积操作，降维为1个通道。最后经过sigmoid生成空间注意特征图，最后将该特征图和该模块的输入特征图做乘法，得到最终生成的特征。
在局部建模部分，通过密集连接的卷积层提取丰富的局部特征。将前一个特征状态直接连接到当前残差密集块的所有层，从而形成一个连续的内存机制，并使用1×1的卷积操作作为一个局部融合操作，来自适应控制输出信息。
单尺度残差全维动态卷积去噪：在原始分辨率图像上，采用带残差结构的卷积网络进行特征提取，以保留更多图像细节的目的达到去噪效果。在每个残差块中，所有卷积操作为全维动态组卷积，首先将输入进行分组，在每组内，引入了一种具有并行策略的多维注意力机制，以学习卷积核在核空间的所有四个维度上的不同注意力，这些维度包括核的数量、大小，输入、输出的通道数量，通过对所有四个维度的核空间学习到的注意力分别进行线性组合，从而有效应对不同特征的样本输入。不同核空间的线性组合如下所示：
y＝(αω1*αf1*αc1*αs1*W1+…+αωn*αfn*αcn*αsn*Wn)*x
其中，αωi、αfi、αci、αsi分别表示四个学习到的注意权重，它们分别沿着卷积核的核空间的大小、空间维度、输入通道维度和输出通道维度计算，x和y分别为输入输出的特征图。
阶段特征融合：对多尺度去噪结果与单尺度去噪结果进行特征融合处理，从互补的角度权衡语义特征和细节特征的关系，互相学习两者的优势。
对比学习机制：将单尺度与多尺度融合后的去噪图像作为锚点，将不带噪声的干净图像作为正样本，将单尺度和多尺度的去噪图像分别作为负样本1和负样本2，通过双重对比学习来衡量正样本和负样本与锚点的差异。
与现有技术相比，本发明的有益效果在于：本发明的基于全维动态卷积多融合对比网络的图像去噪方法在单尺度网络中引入了分组全维动态卷积，在保持轻量化的同时，自适应的学习每个样本的不同退化，增强了模型的去噪灵活性，保持了图像原有内容的结构信息。同时，在编解码网络中引入了残差单元、密集连接、跳跃连接以及多重对比注意力机制，在密集卷积层的学习能力和注意力层的筛选能力能获取良好特征的基础上，在捕获图像完整的语义信息的同时加强了图像信息的保留。最后，通过对比学习机制，不断缩小去噪子空间，有利于挖掘更接近干净图像的重建信息。本发明中极大地增强了神经网络模型的学习能力，建立起了噪声图像到干净图像的准确映射，从而实现对高斯白噪声和真实噪声图像的实时去噪。
在进一步的方案中，本发明还可以具有以下有益效果：
本发明搭建的基于全维动态卷积多融合对比网络模型中的每个卷积层后面的激活函数均选用LeakyReLU函数，在图像去噪任务中，图像像素的敏感性比较大，使用ReLU函数会损失掉很多细节信息，而LeakyReLU函数是ReLU函数的变体，其输出对负值输入有很小的坡度，解决了ReLU函数进入负区间后神经元不学习的问题，从而能使去噪后的结果能保留更多的细节。
本发明搭建的基于全维动态卷积多融合对比网络模型中的单尺度去噪过程中，采用不同卷积核交替进行特征提取的模式，这使得网络不需要再额外引入池化层就可以训练并有足够的能力去获得很好的去噪效果，从而避免因引入池化层使得参数减少而导致的模型去噪效果不理想，结果不精确等问题。
本发明搭建的基于全维动态卷积多融合对比网络模型采用单尺度与多尺度联合学习的方式进行去噪，极大减缓了重建图像的噪声残留问题和细节平滑问题。
本发明搭建的基于全维动态卷积多融合对比网络模型通过采用双重对比学习机制，衡量正样本和负样本与锚点的差异。使最终输出的去噪图像更加接近原始干净图像，更加远离重构不足的去噪图像，进一步减小了图像恢复过程中的解空间。
本发明搭建基于全维动态卷积多融合对比网络模型时，以最小化损失函数为目标，其中重建损失函数选为Charbonnier损失函数，将双重对比损失作为正则化项提高模型的泛化能力，在不断最小化损失函数的过程中来获得高的PSNR值。其中Charbonnier损失函数是另一种类似于L1损失的稳定的损失函数：
Charbonnier损失在接近零点的值的梯度由于常数ε的存在，梯度也不会太小，避免梯度消失；远离零点的值的梯度由于开方，梯度也不会太大，避免梯度爆炸。
因此总的损失函数为：
loss＝lcb+γ1lcl+γ2lcl2
其中γ1和γ2为正则化系数。
附图说明
图1是本发明优选实施例的基于全维动态卷积多融合对比网络的图像去噪方法的流程图；
具体实施方式
下面对照附图和具体实施例对本发明作进一步的详细说明。对于以下实施例中的步骤编号，仅为了便于阐述说明而设置，下面所描述的实施例仅为本发明的一部分，不应理解为局限在上述方式的全部范例。
S01：数据预处理：对于真实噪声图像去噪，获取SIDD数据集中的320对图像用于训练，将原始每一张高分辨率图像对分别裁剪为20个大小为128×128的图像对。对于合成噪声图像去噪，获取DIV2K数据集中的800对图像用于训练，将原始每一张高分辨率图像对分别裁剪为50个大小为128×128的图像对，施加不同水平的高斯噪声形成噪声-图像对用于训练。然后将所有图像对写入lmdb进行键值对存储，以便训练时进行高速访问。在训练时，对数据集进行不同方向的旋转、翻转等数据增强操作，增强模型的泛化能力。基于注意力机制的渐进式编解码对比网络的训练参数包括每次输入模型训练的图像块数量、图像深度、网络学习率、图像噪声水平、网络训练轮数等。本发明中将噪声图像和干净图像分别分割成同一分辨率的图像块，其数量和大小都相同。由于本发明针对的是彩色图像去噪，因此图像深度设置为3，即3个通道，学习率初始设置为2×10-4，每训练一个epoch进行一次验证，方便观察模型的效果以便更好的调整模型的相关参数。本发明选取Kodak24和CBSD68数据集作为合成图像测试集测试外加高斯白噪声图像的去噪效果，除此之外，采用RNI15、Real3、SIDD、DND数据集作为真实噪声图像数据集测试真实噪声图像的去噪效果。
S02：多尺度静态卷积去噪：利用编码器首先采用卷积降维操作去学习图像的映射关系及表达模式，在提取多尺度图像语义特征的同时，对数据进行压缩编码，去除图像噪声，再借助解码过程还原图片信息。所述编解码网络模型由三个上、下采样尺度组成，上采样操作由像素重组操作完成，下采样操作对应步长为2的转置卷积。网络每个尺度的模块包含提取全局特征的双重注意力模块和提取局部特征的残差密集块，以实现互补的图像先验建模能力。
S021：提取全局特征：在通道特征方面，利用平均池化和对比方差池化捕获空间全局信息，学习不同特征图通道之间的联系；在空间特征方面，利用平均池化和最大池化捕获通道全局信息，学习不同特征图空间之间的联系。
S022：提取局部特征：通过密集连接的卷积层提取丰富的局部特征。将前一个特征状态直接连接到当前残差密集块的所有层，从而形成一个连续的内存机制，并使用1×1的卷积操作作为一个局部融合操作，来自适应控制输出信息。
S03：单尺度全维动态卷积去噪：在原始分辨率图像上，采用多个不同卷积核组合的残差卷积网络交替进行特征提取，使得网络不需要再额外引入池化层就可以训练，并有足够的能力去获得很好的去噪效果，从而避免因引入池化层使得参数减少而导致的模型去噪效果不理想，结果不精确等问题。其中，所有卷积操作均为全维动态组卷积，通过分组学习卷积核不同维度之间的线性组合，来应对不同空间变化和通道相关的噪声样本输入，从而达到在高轻量化的同时进行有效的去噪推理。
S04：阶段特征融合：对多尺度去噪结果与单尺度去噪结果进行特征融合处理，从互补的角度权衡语义特征和细节特征的关系，互相学习两者的优势。
S05：对比学习机制：将单尺度与多尺度融合后的去噪图像作为锚点，将不带噪声的干净图像作为正样本，将单尺度和多尺度的去噪图像分别作为负样本1和负样本2，通过双重对比学习来衡量正样本和负样本与锚点的差异。使最终输出的去噪图像更加接近原始干净图像，更加远离重构不足的去噪图像，进一步减小了图像恢复过程中的解空间。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。
Claims (8)
1.一种基于全维动态卷积多融合对比网络的图像去噪方法，其特征在于，包括以下步骤：
S1：数据预处理：获取SIDD数据集中的320对图像用于真实噪声模型训练，以及DIV2K数据集中的800对图像用于合成噪声模型训练，将每一个全分辨率图像对分别随机切割为多个256×256的图像对，并将其写入1mdb进行键值对存储，以便训练时进行高速访问，在训练时，对数据集进行旋转、翻转等数据增强操作，增强模型的泛化能力。
S2：构建多尺度编解码架构：利用编码器首先采用卷积降维操作去学习图像的映射关系及表达模式，在提取多尺度图像语义特征的同时，对数据进行压缩编码，过滤图像噪声，再借助解码过程还原图片信息。
S3：多尺度编解码静态卷积去噪：将具有全局建模能力和局部建模能力的模块插入到编解码每个尺度中。在全局建模方面，利用平均池化和对比方差池化分别捕获空间和通道的全局信息，学习不同特征图通道和空间之间的联系。在局部建模方面：通过密集连接的卷积层提取丰富的局部特征。S4：构建单尺度残差架构，在原始分辨率图像上，采用带残差结构的卷积网络进行特征提取，以保留更多图像细节的目的达到去噪效果。
S5：单尺度全维动态卷积去噪：在单尺度去噪模块，所有卷积操作为全维动态组卷积，首先将输入进行分组，每组内在卷积核的数量、每个卷积核的大小、输入通道数量和输出通道数量方面，学习它们之间的线性组合，并将其与输入相关的注意力加权，来应对不同空间变化和通道相关的噪声，从而达到在高轻量化的同时进行有效的去噪推理。
S6：阶段特征融合：对多尺度去噪结果与单尺度去噪结果进行特征融合处理，从互补的角度权衡语义特征和细节特征的关系，互相学习两者的优势。
S7：对比学习机制：将单尺度与多尺度融合后的去噪图像作为锚点，将不带噪声的干净图像作为正样本，将单尺度和多尺度的去噪图像分别作为负样本1和负样本2，通过双重对比学习来衡量正样本和负样本与锚点的差异。
2.根据权利要求1所述的基于全维动态卷积多融合对比网络的图像去噪方法S1步骤，其特征在于，在真实噪声图像去噪方面，由于光圈和传感器的大小，智能手机会比单反相机产生更多的噪声，而SIDD数据集包含了由五种手机相机拍摄的噪声图像数据集，其中包含了噪声图像对应的干净图像，便于作为训练集学习真实噪声的分布。在合成噪声图像方面，DIV2K数据集包含的800张图像具有超高分辨率，便于对数据集进行分割与数据增强，有利于提高模型训练的泛化能力。
3.根据权利要求1所述的基于全维动态卷积多融合对比网络的图像去噪方法S2步骤，其特征在于，由于编码器与解码器的对称特性，在编码器对图像进行压缩编码和噪声去除后，有利于解码器在对应尺度进行重建处理，通过编解码器的强大分割能力，能有效处理各种空间噪声水平的噪声图像。
4.根据权利要求1所述的基于全维动态卷积多融合对比网络的图像去噪方法S3步骤，其特征在于，自然图像在相机的成像过程中与各通道的相关性以及空间像素的分布相关性很强。为了对特征图的重要通道和空间元素进行激活处理，挖掘图像中重要的细节、纹理和边缘信息，引入基于方差的对比池化注意力机制，提高根据图像中像素的离散程度，找出需要增强的特征，加强模型的全局建模能力。同时，在卷积操作与激活操作的深度联合学习下，深层特征与浅层特征的关联度逐渐降低，利用残差密集块，加强浅层特征对深层特征的复用，加强模型的全局建模能力，便于重建细节更丰富的去噪图像。
5.根据权利要求1所述的基于全维动态卷积多融合对比网络的图像去噪方法S4步骤，其特征在于，单尺度去噪的关键在于提高感受野的大小，尽可能通过多层的局部操作取得一个良好的全局效果。扩张卷积能够在不引入额外参数量的情况下在卷积核间增加适当空隙，从而捕获更全面的特征，重构更具细节的干净图像。
6.根据权利要求1所述的基于全维动态卷积多融合对比网络的图像去噪方法S5步骤，其特征在于，利用动态机制，分别学习卷积核的数量、每个卷积核的大小、输入通道数量和输出通道数量各自的线性组合，使神经网络的权重具有样本自适应性，有利于去除图像中含有的相机真实产生的噪声。
7.根据权利要求1所述的基于全维动态卷积多融合对比网络的图像去噪方法S7步骤，其特征在于，通过对比学习，对上述训练的模型进行微调处理，能够进一步缩小去噪任务中的解空间，与将噪声图像作为负样本相比，将单一网络重建后的去噪图像作为负样本有利于缩小去噪结果的下界。而采用双重对比学习能够在两类负样本中取得权衡，以重建语义和细节丰富的去噪图像。对于对比学习的计算，使用预先训练好的VGG19模型分别提取相应的中间特征。为了使锚点的特征嵌入更接近于正样本的特征嵌入，而不是负样本的特征嵌入，将对比损失表示为：
其中，为VGG19预训练模型中的第i层，特征，M是总的隐藏层数量，N是训练样本的数量，/>是第i层的权重，Ft、Ff、Fo分别为正样本、负样本和目标样本的特征。
8.一种基于全维动态卷积多融合对比网络的图像去噪方法，包括：
多尺度编解码静态卷积模块，在通道和空间注意力机制协同捕获全局特征和残差密集块捕获局部特征的帮助下，将其作为主要构建块插入编解码器的主干网络中，以学习多尺度全局和局部特征。
单尺度全维动态卷积模块，在原始分辨率图像上，利用不同卷积核的协同作用，来应对不同空间位置和通道相关的噪声，在高轻量化的同时，以保留更多图像细节的目的达到去噪效果。
阶段特征融合模块，对多尺度去噪结果与单尺度去噪结果进行特征融合处理，学习两种网络架构去噪的优势。
双重对比学习机制，通过双重对比学习来衡量正样本和负样本与锚点的差异。使最终输出的去噪图像更加接近原始干净图像，更加远离重构不足的去噪图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310732511.1A CN116757955A (zh) | 2023-06-20 | 2023-06-20 | 一种基于全维动态卷积多融合对比网络 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310732511.1A CN116757955A (zh) | 2023-06-20 | 2023-06-20 | 一种基于全维动态卷积多融合对比网络 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116757955A true CN116757955A (zh) | 2023-09-15 |
Family
ID=87958566
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310732511.1A Pending CN116757955A (zh) | 2023-06-20 | 2023-06-20 | 一种基于全维动态卷积多融合对比网络 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116757955A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116992400A (zh) * | 2023-09-27 | 2023-11-03 | 之江实验室 | 一种基于时空特征融合的协同感知方法及协同感知装置 |
| CN117197727A (zh) * | 2023-11-07 | 2023-12-08 | 浙江大学 | 一种基于全局时空特征学习的行为检测方法与系统 |
-
2023
- 2023-06-20 CN CN202310732511.1A patent/CN116757955A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116992400A (zh) * | 2023-09-27 | 2023-11-03 | 之江实验室 | 一种基于时空特征融合的协同感知方法及协同感知装置 |
| CN116992400B (zh) * | 2023-09-27 | 2024-01-05 | 之江实验室 | 一种基于时空特征融合的协同感知方法及协同感知装置 |
| CN117197727A (zh) * | 2023-11-07 | 2023-12-08 | 浙江大学 | 一种基于全局时空特征学习的行为检测方法与系统 |
| CN117197727B (zh) * | 2023-11-07 | 2024-02-02 | 浙江大学 | 一种基于全局时空特征学习的行为检测方法与系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112233038B (zh) | 基于多尺度融合及边缘增强的真实图像去噪方法 | |
| Zhang et al. | Adaptive residual networks for high-quality image restoration | |
| CN111192200A (zh) | 基于融合注意力机制残差网络的图像超分辨率重建方法 | |
| CN116757955A (zh) | 一种基于全维动态卷积多融合对比网络 | |
| CN112037131A (zh) | 一种基于生成对抗网络的单图像超分辨率重建方法 | |
| CN111260584A (zh) | 基于gan网络的水下退化图像增强的方法 | |
| CN112132959A (zh) | 数字岩心图像处理方法、装置、计算机设备及存储介质 | |
| CN112580473B (zh) | 一种融合运动特征的视频超分辨率重构方法 | |
| CN113379601A (zh) | 基于降质变分自编码器的真实世界图像超分辨方法及系统 | |
| CN113129272A (zh) | 一种基于去噪卷积自编码器的缺陷检测方法及装置 | |
| CN112862689A (zh) | 一种图像超分辨率重建方法及系统 | |
| CN114820341A (zh) | 一种基于增强Transformer的图像盲去噪方法及系统 | |
| CN113538246B (zh) | 基于无监督多阶段融合网络的遥感图像超分辨率重建方法 | |
| Min et al. | Blind deblurring via a novel recursive deep CNN improved by wavelet transform | |
| CN112967327A (zh) | 基于联合自注意力机制的单目深度方法 | |
| CN115457568B (zh) | 一种基于生成对抗网络的历史文档图像降噪方法及系统 | |
| Liu et al. | Single image super resolution techniques based on deep learning: Status, applications and future directions | |
| CN111402138A (zh) | 一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法 | |
| CN112614061A (zh) | 基于双路编解码器的低照度图像亮度增强及超分辨率方法 | |
| CN116309122A (zh) | 一种基于深度学习的相位条纹图像散斑噪声抑制方法 | |
| CN113592715A (zh) | 一种面向小样本图像集的超分辨率图像重构方法 | |
| CN116152591A (zh) | 模型训练方法、红外小目标检测方法、装置及电子设备 | |
| CN115272072A (zh) | 一种基于多特征图像融合的水下图像超分辨率方法 | |
| CN116739899A (zh) | 基于saugan网络的图像超分辨率重建方法 | |
| Zhang et al. | Dense haze removal based on dynamic collaborative inference learning for remote sensing images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |