CN116862779A - 一种真实图像自监督去噪方法和系统 - Google Patents
一种真实图像自监督去噪方法和系统 Download PDFInfo
- Publication number
- CN116862779A CN116862779A CN202310492058.1A CN202310492058A CN116862779A CN 116862779 A CN116862779 A CN 116862779A CN 202310492058 A CN202310492058 A CN 202310492058A CN 116862779 A CN116862779 A CN 116862779A
- Authority
- CN
- China
- Prior art keywords
- module
- image
- noise
- local
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000000605 extraction Methods 0.000 claims abstract description 49
- 238000005070 sampling Methods 0.000 claims abstract description 19
- 230000004927 fusion Effects 0.000 claims abstract description 17
- 230000007246 mechanism Effects 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000012986 modification Methods 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 230000001419 dependent effect Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 230000003993 interaction Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 abstract description 5
- 238000001514 detection method Methods 0.000 abstract description 4
- 238000004140 cleaning Methods 0.000 abstract description 2
- 238000005286 illumination Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 11
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000000306 component Substances 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000035558 fertility Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种真实图像自监督去噪方法及系统，属于计算机视觉技术领域。首先，对于局部信息引入一个密集采样的斑块掩码卷积处理。基于真实噪声空间相关性的先验统计，将更多的相邻像素纳入考虑范围，使得网络有一个更密集的感受野，使网络能够恢复更详细的结构，对于全局信息引入一个扩展的Transformer，可以更好地利用长距离的相互作用，能够分别充分地利用本地和远距离信息。系统包括特征提取模块、特征融合模块、密集采样掩码卷积模块和空洞Transformer模块。本发明可以在无需干净图像的情况下完成去噪过程，显著提升现有自监督真实图像去噪方法的质量，适用于低光照条件下的深海探测、近地探测等多种应用领域。
Description
技术领域
本发明涉及一种真实图像自监督去噪方法及系统，具体涉及一种能够充分利用图像中局部及全局信息的图像自监督去噪方法及系统，属于计算机视觉技术领域。
背景技术
图像去噪是低层次视觉图像处理技术领域中的一个基础性问题。噪声会大大降低拍摄图像的质量，从而对后续的下游任务带来不利影响。近年来，随着神经网络的快速发展，与传统的基于模型的方法相比，基于学习的方法显示出了显著的进步。
但是，基于学习的方法往往依赖大量的标记图像对进行训练。而训练数据不足的问题，却不能简单地通过合成加性白高斯噪声(AWGN)对来解决，因为AWGN和真实的噪声分布之间的差距，严重降低了它们在现实世界中的性能。为此，技术人员在收集真实世界的数据集方面做了一些努力和尝试。尽管如此，其应用仍然受到严格控制的拍摄条件，以及需要大量劳动的采集过程的阻碍。例如，采集干净图像需要长时间的曝光或多次拍摄，而这在复杂情况下是不可用的。又例如，在运动的动态场景中，使用这种拍摄条件将导致图像模糊，无法得到干净的有噪声图像。
为了缓解对大规模配对数据集的依赖，无需干净图像的方法已经引起了越来越多的关注。目前，一些开拓性的工作使用成对的噪声观测进行训练，消除了对干净图像的需求。尽管如此，在同一场景下获得这样的噪声对还是不太可行的。为了使自监督的方法更加实用，研究人员寻求从单个而不是成对的观测中学习。在这些方法中，盲点网络通过利用邻近的像素来恢复干净的像素。
尽管上述方法在简单的噪声上取得了很好的效果，但仍然不适合真实的噪声。因为其噪声分布极其复杂，并呈现出强烈的空间相关性。因此，一些其他方法已经被提出用于自监督的真实世界图像噪声去除。例如，一些方法基于一个循环的多变量函数将噪声成分从噪声图像中分离出来。但它假定真实的噪声是空间不变的，而忽略了空间相关性，这与真实的噪声分布相矛盾。另外一些方法，如AP-BSN结合了像素下采样(PD)和盲点网络(BSN)。尽管可以利用PD来满足盲点网络的噪声假设，但简单地将PD与基于卷积的盲点网络结合起来，对于处理空间相关的真实噪声来说是次优的。它对局部细节造成破坏，从而给采样图像带来伪影。另外，以前基于卷积的盲点网络未能捕捉到长距离的相互作用，受阻于有限的感受野和推理时的静态权重，这两者都大大限制了它的性能。另外，尽管更先进的盲点网络已经被提出，但基于卷积的盲点网络由于其卷积算子而无法捕捉到长距离的相互作用，在盲点要求下进一步受到有限的感受野的约束。
发明内容
本发明的目的是为了克服现有技术存在的缺陷，创造性地提出一种真实图像自监督去噪方法及系统。
本发明的创新点在于：首先，对于局部信息，引入一个密集采样的斑块掩码卷积处理。基于真实噪声空间相关性的先验统计，将更多的相邻像素纳入考虑范围，使得网络有一个更密集的感受野，使网络能够恢复更详细的结构。第二，对于全局信息，引入了一个扩展的Transformer，可以更好地利用长距离的相互作用。在特殊的盲点要求下，与以前基于卷积的盲点网络相比，极大地扩大了感受野，允许在预测中央育点像素时利用更多的邻居信息。通过上述两种设计，能够分别充分地利用本地和远距离信息。实验表明，该方法在真实图像去噪上的表现优于其他最先进的无/自监督方法。
为达到以上目的，本发明采用以下技术方案：
一方面，本发明提出了一种真实图像自监督去噪方法，包括以下步骤：
步骤1：噪声相关性统计。包括以下步骤：
步骤1.1：获得真实图像噪声图。
首先，对于成对的有噪声-无噪声数据集，将有噪声图像素值减去干净图像像素值，得到每个位置的逐通道噪声强度信息；
步骤1.2：确定噪声强度信息后，将整体噪声图展开为有重叠的局部窗口图像，并对每个窗口内部的相关性统计信息进行计算。
在每个局部窗口内部，依次对所有位置的噪声强度值与中心像素的噪声强度值，计算相关系数ρ：
其中，Ncen为中心点噪声值，Nnei为邻居点噪声值；cov()表示协方差计算；表示中间点噪声值标准差，/>表示邻居点噪声值标准差。
步骤1.3：对每个局部窗口计算得到的噪声相关系数进行平均，得到最终的噪声相关性统计信息。
步骤2：训练阶段。包括以下步骤：
步骤2.1：特征提取。
包括局部信息提取和全局信息提取共两个分支。这两个分支分别专注于对网络的局部信息和全局信息进行并行提取。
其中，对于局部特征提取部分，输入图像首先经过密集采样的掩码卷积(大小可以为9*9)，得到的特征经过空洞卷积，进一步对局部特征进行提取。
对于全局特征提取部分，输入图像首先经过密集采样掩码卷积(大小可以为21*21大小)，以更好的获取更大尺度上的图像信息。
然后，将提取得到的特征输入至含有空洞的Transformer中，以捕获全局的依赖信息。具体地，根据输入和相依的映射矩阵，得到相应的QKV矩阵，以及通道间相关性矩阵：
Attention(Q，K，V)＝VSoftmax(KQ)
其中，Attention()表示注意力机制，Q表示注意力机制中的查询矩阵，K表示注意力机制中的键矩阵，V表示注意力机制中的值矩阵，X表示模块输入，表示模块输出，Softmax()表示Softmax非线性激活函数。
对于前馈层，将输入特征分为两部分，通过门控机制获取相应的非线性变化，提升网络的表达能力。具体地，门控机制通过两部分特征之间的点乘进行实现：
G1＝g1(LN(X))
G2＝g2(LN(X))
其中，G1表示第一个门控函数的输出值，G2表示第二个门控函数的输出值，g1表示第一个门控函数，g2表示第二个门控函数，LN()表示Layemorm归一化层，GELU()表示Gelu非线性激活函数。
步骤2.2：特征融合。
当得到网络的局部信息和全局信息之后，对两个并行分支的信息进行融合，将两个并行分支所提取到的特征降低至三通道，最终得到去噪后的输出图像。
步骤3：损失函数计算系统读取真实有噪声图片与网络输出图片，对比计算损失值并将损失值回传至网络参数用于训练。
各神经网络层根据损失函数计算系统回传的损失值进行参数修改，完成一次训练迭代。
步骤4：重复执行步骤2至步骤3，生成最终的去噪图，将真实值与生成图送至评价系统，计算得到相应的指标。
另一方面，本发明还提出了一种真实图像自监督去噪系统，包括特征提取模块和特征融合模块。
其中，特征提取模块负责对输入图像的特征进行初步提取，提取出的特征输入至局部特征提取模块和全局特征提取模块。该模块包括局部特征提取模块和全局特征提取模块，局部特征提取模块用于提取图像中的局部细节信息，全局特征提取模块用于提取图像中存在的远距离依赖关系。
特征融合模块用于对提取出的局部特征和全局特征进行融合，并得到最终的输出。特征融合模块包括密集采样掩码卷积模块和空洞Transformer模块。其中，密集采样掩码卷积模块用于在空间相关的真实图像噪声下对无相关性邻居像素的特征进行提取。空洞卷积模块用于在自监督的限制下，对自然图像中的细节纹理特征进行提取。空洞Transformer模块用于在自监督的限制下对特征中的长距离相似特征进行聚合。
上述模块之间的连接关系如下：
特征提取模块的输出端与特征融合模块的输入端相连。
特征提取模块的输入为自然有噪声图像，输出为去噪后的图像。其中，密集采样掩码卷积模块的输出经过特征PD下采样操作后，与空洞卷积模块的输入端相连。其中，密集采样掩码卷积模块的输出经过特征PD下采样之后，与空洞Transformer模块的输入端相连。
有益效果
本发明，与现有技术相比，具有以下优点：
1.本发明利用自监督方式实现真实图像去噪，可以在无需干净图像的情况下完成去噪过程。
2.本发明充分利用了图像间的局部细节信息和全局依赖信息，显著提升现有自监督真实图像去噪方法的质量。
3.本发明方法，回复质量高，适用于手机相机传感器、单反相机传感器、红外相机传感器等多种设备，适用于低光照条件下的深海探测、近地探测等多种应用领域。
附图说明
图1是本发明方法的流程图。
图2是本发明方法所述的自监督去噪方法的结构图。
图3是本发明方法与现有方法的感受野对比图。
具体实施方式
为了更好的说明本发明的目的和优点，下面结合附图对发明方法做进一步说明。
如图1所示，一种真实图像自监督去噪方法，包括以下步骤：
步骤1：获得真实图像噪声图。
首先，对于成对的有噪声-无噪声数据集，将有噪声图像素值减去干净图像像素值，得到每个位置的逐通道噪声强度信息。
步骤2：在确定噪声强度信息后，将整体噪声图利用unfold操作，展开为有重叠的局部窗口图像，并依次对每个窗口内部的相关性统计信息进行计算。在每个局部窗口内部，依次对所有位置的噪声强度值与中心像素的噪声强度值计算相关系数。具体地，使用Pearson相关系数对相关性随相对位置的关系进行统计：
其中，Ncen为中心点噪声值，Nnei为邻居点噪声值。
根据计算得到的相关性信息，对中心点相关的邻居像素分为高相关性像素点、低相关性像素点。
通过对高相关性像素点进行规避，并充分利用低相关性像素点的信息，从而实现对图像细节纹理信息的充分使用。
步骤3：在完成对相关性信息的统计后，对网络进行训练。
首先，从采样密度的角度实现了对细节纹理的更好提取。通过密集采样的掩码卷积模块，能够利用更多的相邻像素实现更密集的采样率，进而提高重建质量的上限。
在完成初步特征提取后，浅层特征分别输入至空洞卷积中进行局部信息提取，以及空洞Transformer中进行全局关系提取。通过其强大的全局建模能力，可以弥补基于卷积的盲点网络的有限感受野。
步骤3.1：对于局部特征提取分支，首先应用9*9大小尺寸的密集采样的掩码卷积模块。然后对密集提取的特征进行下采样，以打破空间上的关联性。步长为4。然后，特征图经过空洞卷积，扩张度为2。
步骤3.2:对于全局分支，输入的图像首先经过一个具有较大感受野的21*21大小尺寸的密集采样的掩码卷积模块，然后由空洞Transformer进行处理。然而，在感受野的特殊盲点约束下，直接将正常的Transformer块引入盲点网络是不可行的。
本发明仔细考虑了Transformer中两个核心部件的设计：自注意力计算和前馈层。首先，对于自注意层，本发明采用通道间注意力机制，因为它不知道空间位置，从而符合盲点网络的限制。此外，为了增强局部交互，同时防止相邻像素的信息沟通，我们在计算特征相似性之前引入了空洞深度卷积。
对于前馈层，只采用1*1卷积未能捕捉到局部环境，这对于恢复高频细节至关重要。本发明通过在前馈层的正常3*3卷积中引入空洞来解决这个问题。然后，通过空洞深度卷积提取的特征要经过一个非线性的门控单元。这个门控单元是两个并行分支进行点乘得到，其中一个由GELU单元激活。
步骤4：来自上述两个并行分支的局部和全局信息需要被融合在一起，形成最终的输出。为了符合盲点网络的感受野要求，融合模块由多个1*1大小的卷积组成的。通过融合模块，高维度特征会被最终融合为3通道的去噪后的结果图。
步骤5：损失函数计算系统读取相应的有噪声图片，对比计算损失值并将损失值回传至网络参数用于训练。各神经网络层根据损失函数计算系统回传的损失值进行参数修改，完成一次训练迭代；
步骤6：执行步骤3至5，生成最终的去噪图，并将真实值与生成图送至评价系统计算相应的指标。
另一方面，如图2所示，本发明还提出了一种真实图像自监督去噪系统，包括特征提取模块和特征融合模块。
其中，特征提取模块负责对输入图像的特征进行初步提取，提取出的特征输入至局部特征提取模块和全局特征提取模块。该模块包括局部特征提取模块和全局特征提取模块，局部特征提取模块用于提取图像中的局部细节信息，全局特征提取模块用于提取图像中存在的远距离依赖关系。
特征融合模块用于对提取出的局部特征和全局特征进行融合，并得到最终的输出。特征融合模块包括密集采样掩码卷积模块和空洞Transformer模块。其中，密集采样掩码卷积模块用于在空间相关的真实图像噪声下对无相关性邻居像素的特征进行提取。空洞卷积模块用于在自监督的限制下，对自然图像中的细节纹理特征进行提取。空洞Transformer模块用于在自监督的限制下对特征中的长距离相似特征进行聚合。
上述模块之间的连接关系如下：
特征提取模块的输出端与特征融合模块的输入端相连。
特征提取模块的输入为自然有噪声图像，输出为去噪后的图像。其中，密集采样掩码卷积模块的输出经过特征PD下采样操作后，与空洞卷积模块的输入端相连。其中，密集采样掩码卷积模块的输出经过特征PD下采样之后，与空洞Transformer模块的输入端相连。
本发明与现有技术的感受野对比，如图3所示。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (3)
1.一种真实图像自监督去噪方法，其特征在于，包括以下步骤：
步骤1：噪声相关性统计；
步骤2:训练阶段，包括以下步骤：
步骤2.1：特征提取；
包括局部信息提取和全局信息提取共两个分支，两个分支分别专注于对网络的局部信息和全局信息进行并行提取；
其中，对于局部特征提取部分，输入图像首先经过密集采样的掩码卷积，得到的特征经过空洞卷积，进一步对局部特征进行提取；
对于全局特征提取部分，输入图像首先经过密集采样掩码卷积；
然后，将提取得到的特征输入至含有空洞的Transformer中，以捕获全局的依赖信息：根据输入和相依的映射矩阵，得到相应的QKV矩阵，以及通道间相关性矩阵：
Attention(Q,K,V)＝VSoftmax(KQ)
其中，Attention()表示注意力机制，Q表示注意力机制中的查询矩阵，K表示注意力机制中的键矩阵，V表示注意力机制中的值矩阵，X表示模块输入，表示模块输出，Softmax()表示Softmax非线性激活函数；
对于前馈层，将输入特征分为两部分，通过门控机制获取相应的非线性变化，提升网络的表达能力；门控机制通过两部分特征之间的点乘进行实现：
G1＝g1(LN(X))
G2＝g2(LN(X))
其中，G1表示第一个门控函数的输出值，G2表示第二个门控函数的输出值，g1表示第一个门控函数，g2表示第二个门控函数，LN()表示Layernorm归一化层，GELU()表示Gelu非线性激活函数；
步骤2.2：特征融合；
当得到网络的局部信息和全局信息之后，对两个并行分支的信息进行融合，将两个并行分支所提取到的特征降低至三通道，最终得到去噪后的输出图像；
步骤3：损失函数计算系统读取真实有噪声图片与网络输出图片，对比计算损失值并将损失值回传至网络参数用于训练；
各神经网络层根据损失函数计算系统回传的损失值进行参数修改，完成一次训练迭代；
步骤4：重复执行步骤2至步骤3，生成最终的去噪图，将真实值与生成图送至评价系统，计算得到相应的指标。
2.如权利要求1所述的一种真实图像自监督去噪方法，其特征在于，步骤1包括以下步骤：
步骤1.1：获得真实图像噪声图；
首先，对于成对的有噪声-无噪声数据集，将有噪声图像素值减去干净图像像素值，得到每个位置的逐通道噪声强度信息；
步骤1.2：确定噪声强度信息后，将整体噪声图展开为有重叠的局部窗口图像，并对每个窗口内部的相关性统计信息进行计算；
在每个局部窗口内部，依次对所有位置的噪声强度值与中心像素的噪声强度值，计算相关系数ρ：
其中，Ncen为中心点噪声值，Nnei为邻居点噪声值；cov()表示协方差计算；表示中间点噪声值标准差，/>表示邻居点噪声值标准差；
步骤1.3：对每个局部窗口计算得到的噪声相关系数进行平均，得到最终的噪声相关性统计信息。
3.一种实现权利要求1所述方法的真实图像自监督去噪系统，其特征在于，包括特征提取模块和特征融合模块；
其中，特征提取模块负责对输入图像的特征进行初步提取，提取出的特征输入至局部特征提取模块和全局特征提取模块；该模块包括局部特征提取模块和全局特征提取模块，局部特征提取模块用于提取图像中的局部细节信息，全局特征提取模块用于提取图像中存在的远距离依赖关系；
特征融合模块用于对提取出的局部特征和全局特征进行融合，并得到最终的输出；特征融合模块包括密集采样掩码卷积模块和空洞Transformer模块；其中，密集采样掩码卷积模块用于在空间相关的真实图像噪声下对无相关性邻居像素的特征进行提取；空洞卷积模块用于在自监督的限制下，对自然图像中的细节纹理特征进行提取；空洞Transformer模块用于在自监督的限制下对特征中的长距离相似特征进行聚合；
上述模块之间的连接关系如下：
特征提取模块的输出端与特征融合模块的输入端相连；
特征提取模块的输入为自然有噪声图像，输出为去噪后的图像；其中，密集采样掩码卷积模块的输出经过特征PD下采样操作后，与空洞卷积模块的输入端相连；其中，密集采样掩码卷积模块的输出经过特征PD下采样之后，与空洞Transformer模块的输入端相连。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310492058.1A CN116862779A (zh) | 2023-05-04 | 2023-05-04 | 一种真实图像自监督去噪方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310492058.1A CN116862779A (zh) | 2023-05-04 | 2023-05-04 | 一种真实图像自监督去噪方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116862779A true CN116862779A (zh) | 2023-10-10 |
Family
ID=88223996
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310492058.1A Pending CN116862779A (zh) | 2023-05-04 | 2023-05-04 | 一种真实图像自监督去噪方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116862779A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117710240A (zh) * | 2023-12-15 | 2024-03-15 | 山东财经大学 | 一种自监督图像去噪方法、系统、装置及可读存储介质 |
-
2023
- 2023-05-04 CN CN202310492058.1A patent/CN116862779A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117710240A (zh) * | 2023-12-15 | 2024-03-15 | 山东财经大学 | 一种自监督图像去噪方法、系统、装置及可读存储介质 |
| CN117710240B (zh) * | 2023-12-15 | 2024-05-24 | 山东财经大学 | 一种自监督图像去噪方法、系统、装置及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110706157B (zh) | 一种基于身份先验生成对抗网络的人脸超分辨率重建方法 | |
| CN108230264B (zh) | 一种基于ResNet神经网络的单幅图像去雾方法 | |
| CN113362223B (zh) | 基于注意力机制和双通道网络的图像超分辨率重建方法 | |
| Tran et al. | GAN-based noise model for denoising real images | |
| CN111462013B (zh) | 一种基于结构化残差学习的单图去雨方法 | |
| CN110223242A (zh) | 一种基于时空域残差生成对抗网络的视频湍流移除方法 | |
| CN111062880A (zh) | 一种基于条件生成对抗网络的水下图像实时增强方法 | |
| CN110689482A (zh) | 一种基于有监督逐像素生成对抗网络的人脸超分辨率方法 | |
| CN111325165A (zh) | 考虑空间关系信息的城市遥感影像场景分类方法 | |
| CN112241939B (zh) | 一种基于多尺度和非局部的轻量去雨方法 | |
| CN111861894A (zh) | 基于生成式对抗网络的图像去运动模糊方法 | |
| CN112801900A (zh) | 一种基于双向循环卷积生成对抗网络的视频模糊去除方法 | |
| CN116862779A (zh) | 一种真实图像自监督去噪方法和系统 | |
| CN112785626A (zh) | 一种基于多尺度特征融合的孪生网络小目标跟踪方法 | |
| CN111340718A (zh) | 一种基于渐进式导向强监督神经网络的图像去雾方法 | |
| CN116543168A (zh) | 一种基于多维度图像信息融合的垃圾图像去噪方法 | |
| CN115293986A (zh) | 一种多时相遥感图像云区重建方法 | |
| CN115984747A (zh) | 一种基于动态滤波器的视频显著性目标检测方法 | |
| Xue et al. | Research on gan-based image super-resolution method | |
| CN114936976A (zh) | 一种基于记忆感知模块的生成对抗网络雾霾图像复原方法 | |
| CN114359167A (zh) | 一种复杂场景下基于轻量化YOLOv4的绝缘子缺陷检测方法 | |
| CN113537306A (zh) | 一种基于渐进式成长元学习的图像分类方法 | |
| CN116823610A (zh) | 一种基于深度学习的水下图像超分辨率生成方法和系统 | |
| CN113723468B (zh) | 一种三维点云的物体检测方法 | |
| CN114037884A (zh) | 一种输变电设备图像数据增广方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |