CN116739932A - 一种基于盲点自监督的图像去噪深度学习算法 - Google Patents
一种基于盲点自监督的图像去噪深度学习算法 Download PDFInfo
- Publication number
- CN116739932A CN116739932A CN202310722880.2A CN202310722880A CN116739932A CN 116739932 A CN116739932 A CN 116739932A CN 202310722880 A CN202310722880 A CN 202310722880A CN 116739932 A CN116739932 A CN 116739932A
- Authority
- CN
- China
- Prior art keywords
- pixel
- image
- query
- supervision
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 16
- 238000000605 extraction Methods 0.000 claims abstract description 36
- 238000010276 construction Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims abstract description 7
- 230000004927 fusion Effects 0.000 claims description 30
- 238000013507 mapping Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000013461 design Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000000873 masking effect Effects 0.000 claims description 2
- 230000007547 defect Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000012360 testing method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 235000002566 Capsicum Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像生成(Image Generation)技术领域,尤其为通过设计一种基于盲点自监督的图像去噪深度学习算法,其步骤具体如下:步骤S1,数据构建、数据预处理,步骤S2,Pixel‑ST主干网络构建,步骤S3,Pixel‑UNet网络整体架构和步骤S4,对输入的图像进行预处理,本发明针对现阶段图像去噪算法的缺陷以及Transformer技术的成功应用,提供一种基于盲点自监督的图像去噪深度学习算法,在Swin‑Transformer的特征提取模块加入掩码实现自监督特征提取,同时在UNet的启发下,选取不同像素P进行特征的编码和解码,且每个像素P的编解码输入是独立的,最终融合多维度的特征,得到最终去噪的图像,并且在开源数据集上中位于前列位置。
Description
技术领域
本发明涉及图像生成(Image Generation)技术领域,具体为一种基于盲点自监督的图像去噪深度学习算法。
背景技术
图像去噪的目的是重建给定噪声输入的真实值。噪声取决于摄像机传感器、信号处理器和图像采集过程等方面,可以采取高斯噪声、泊松噪声、椒盐噪声等多种形式。Lehtinen等人提出的方法需要大量成对的有噪声和干净的图像来进行监督学习,这种方法需要收集多个图像样本,而这可能在现有的数据集中不存在。
盲点特性通常是通过掩码的方式实现,可以很好的解决传统卷积神经网络的感受野小的问题。Honzatko等人提出了一个盲点卷积,设计了一个架构,在解码器中有十个这样的层,聚合来自编码器各个级别的信息。该方法的主要局限性是假设噪声分布已知,而网络的任务只是估计其参数。
Transformer技术广泛用于监督设置中的图像恢复,但很少用于自监督去噪。Liu等人利用与卷积层交织的自注意块构建了一个单图像去噪变压器,但该体系结构没有在大型数据集上进行自监督去噪测试。
综上所述,本发明通过设计一种基于盲点自监督的图像去噪深度学习算法来解决存在的问题。
发明内容
针对现阶段图像去噪算法的缺陷以及Transformer技术的成功应用,本发明提供一种基于盲点自监督的图像去噪深度学习算法,在Swin-Transformer的特征提取模块加入掩码实现自监督特征提取,同时在UNet的启发下,选取不同像素P进行特征的编码和解码,且每个像素P的编解码输入是独立的,最终融合多维度的特征,得到最终去噪的图像。
为实现上述目的,本发明提供如下技术方案:
一种基于盲点自监督的图像去噪深度学习算法,包括以下步骤:
步骤S1,数据构建、数据预处理:图像去噪算法的开源数据集主要是BSD68Dataset、ImageNet Dataset和 sRGB Dataset,如需在自己的数据集上进行训练,需要将数据格式准备为与上述几个数据集一致;
步骤S2,Pixel-ST主干网络构建:图像特征提取的网络为改进的Swin-Transformer,记为Pixel-ST,对输入的图像经过线性映射,得到图像特征的查询、键、值,根据像素P的大小对查询、键、值进行洗牌分割操作,再对查询进行归一化操作,接下来,对输入的注意力矩阵的对角线进行掩码处理,使得每个像素不关注自身的值,在下一阶段注意力矩阵计算过程中,每个像素都访问不到上一级对应像素的状态,以达到自监督的目的;掩码特征提取后对查询、键、值进行拼接,并将查询的原始值进行跨连接融合操作,最后层的正则化以及多层感知机的融合得到Pixel-ST特征提取结果;
步骤S3,Pixel-UNet网络整体架构:整体网络架构设计遵循UNet网络结构,是一个全局跳跃连接思想,设定像素P(P=1,2,4,6),由此网络设计为四个Pixel-ST特征编码器和三个Pixel-ST解码器组成,其中像素为1是在像素级图像上操作,其他像素P是对图像进行下采样的操作,为了满足盲点特性,不同像素大小特征提取块的键、值输入大小都为固定的输入数据值;
步骤S4,对输入的图像进行预处理,利用高斯噪声或者泊松噪声生成带有噪声的图像,输入到UNet范式的网络架构中,经过线性映射,得到图像特征的查询、键、值,经过掩码自监督特征提取以及盲点式多维度特征融合,得到最终去噪的图像。
作为本发明优选的方案,所述 S1中的图像长为512,宽为512,通道数为3。
作为本发明优选的方案,所述 S2中利用高斯噪声或者泊松噪声生成带有噪声的图像作为输入数据,首先根据输入图像大小经过线性映射得到图像特征的查询,键,值三个部分,这里查询是所有窗口和注意力头的位置编码。在获取到查询、键、值之后,对查询进行归一化操作。其次将归一化的查询和键、值输入到自监督模块,对注意力矩阵的对角线进行掩码处理,此外查询的连接和线性投影是在每个块周围跳过连接到原始的嵌入维度,由此得到新的查询,至此改进的Swin-Transformer特征提取块构建完成,记为Pixel-ST。
作为本发明优选的方案,所述 S3中的整体网络架构的输入是带有高斯噪声或者泊松噪声的图像,根据步骤S2中得到查询、键、值之后,查询按顺序通过块传播,而键和值被固定,并用与查询相同的位置嵌入求和,不变地传递到每个Pixel-ST特征提取块中,以保持输入隔离;将查询、键、值分别输入像素P(P=1、2、4、6)的图像编码中,由UNet的结构,像素P=6的Pixel-ST特征提取块输出的查询与像素P=4的Pixel-ST特征提取块输出的查询进行concat操作,得到的结果作为像素P=4解码器的输出,同理对像素P=2、1进行相同的操作。
作为本发明优选的方案,所述S4中在对图片进行预处理,利用高斯噪声或者泊松噪声生成带有噪声的图像,输入到UNet范式的网络架构中,经过像素P(P=1、2、4、6)多个维度特征融合,得到最终去噪的图像。
作为本发明优选的方案,所述查询为Q,键为K、值为V。
与现有技术相比,本发明的有益效果是:
针对现阶段图像去噪算法的缺陷以及Transformer技术的成功应用,本发明提供一种基于盲点自监督的图像去噪深度学习算法,在Swin-Transformer的特征提取模块加入掩码实现自监督特征提取,同时在UNet的启发下,选取不同像素P进行特征的编码和解码,且每个像素P的编解码输入是独立的,最终融合多维度的特征,得到最终去噪的图像,并且在开源数据集上中位于前列位置。
附图说明
图1为本发明Piexl-ST主干网络结构图;
图2为本发明Pixel-UNet网络架构图。
实施方式
下面将结合本发明实施例,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了便于理解本发明,下面将参照相关附图对本发明进行更全面的描述,给出了本发明的若干实施例,但是,本发明可以以许多不同的形式来实现,并不限于本文所描述的实施例,相反地,提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
需要说明的是,当元件被称为“固设于”另一个元件,它可以直接在另一个元件上或者也可以存在居中的元件,当一个元件被认为是“连接”另一个元件,它可以是直接连接到另一个元件或者可能同时存在居中元件,本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同,本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明,本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
实施例,请参阅图1-2,本发明提供一种技术方案:
本发明创造提供一种基于盲点自监督的图像去噪深度学习算法,该算法只使用摄像机图像作为输入,首先利用高斯噪声或者泊松噪声生成带有噪声的图像,经过线性映射,得到图像特征的查询(Q)、键(K)、值(V),输入到UNet范式的网络架构中,首先进行特征编码,将Q、K、V输入像素为1的Pixel-ST特征提取块中,经过洗牌分割、查询(Q)进行归一化、自监督掩码特征提取、Q、K、V进行拼接、查询(Q)的原始值进行跨连接融合等操作,经过正则化以及多层感知机的融合,最后与原始值进行跨连接融合操作得到像素为1的Pixel-ST特征提取结果;再将Q、K、V输入像素为2、4、6的Pixel-ST特征提取块中,进行如像素为1的相同步骤,依次得到像素为2、4、6的特征编码结果,接下来进行解码操作,除像素为6 ,其余像素都是编码和解码成对计算,将像素为6的Pixel-ST特征编码结果与原始值进行跨连接融合操作,再与像素为4的Pixel-ST特征编码结果进行特征融合(Concat)作为像素为4的Pixel-ST特征解码的输入,像素为4的Pixel-ST特征解码的结果与原始值进行跨连接融合操作作为像素为2的Pixel-ST特征解码的输入,像素为2的Pixel-ST特征解码的结果与原始值进行跨连接融合操作作为像素为1的Pixel-ST特征解码的输入,最终像素为1的Pixel-ST特征解码的结果即为最终的去噪图像。本发明主要包括以下步骤,数据构建,数据预处理,Pixel-ST主干网络构建、Pixel-UNet网络设计。
下面对采用的技术方案进行说明:
数据构建,数据预处理,Pixel-ST主干网络构建、Pixel-UNet网络整体架构
步骤S1,数据构建、数据预处理:图像去噪算法的开源数据集主要是BSD68Dataset、ImageNet Dataset和 sRGB Dataset,如需在自己的数据集上进行训练,需要将数据格式准备为与上述几个数据集一致;
步骤S2,Pixel-ST主干网络构建:图像特征提取的网络为改进的Swin-Transformer,记为Pixel-ST,对输入的图像经过线性映射,得到图像特征的查询(Q)、键(K)、值(V),根据像素P的大小对Q、K、V进行洗牌分割操作,再对查询(Q)进行归一化操作,接下来,对输入的注意力矩阵的对角线进行掩码处理,使得每个像素不关注自身的值,在下一阶段注意力矩阵计算过程中,每个像素都访问不到上一级对应像素的状态,以达到自监督的目的。掩码特征提取后对Q、K、V进行拼接,并将查询(Q)的原始值进行跨连接融合操作,最后层的正则化以及多层感知机的融合得到Pixel-ST特征提取结果,具体网络结果图见图1;
步骤S3,Pixel-UNet网络整体架构:将Q、K、V输入像素为1的Pixel-ST特征提取块中,经过洗牌分割、查询(Q)进行归一化、自监督掩码特征提取以及查询(Q)、键(K)、值(V)进行拼接、查询(Q)的原始值进行跨连接融合等操作,经过正则化以及多层感知机的融合,最后与原始值进行跨连接融合操作得到像素为1的Pixel-ST特征提取结果;再将查询(Q)、键(K)、值(V)输入像素为2、4、6的Pixel-ST特征提取块中,进行如像素为1的相同步骤,依次得到像素为2、4、6的特征编码结果,接下来进行解码操作,除像素为6 ,其余像素都是编码和解码成对计算,将像素为6的Pixel-ST特征编码结果与原始值进行跨连接融合操作,再与像素为4的Pixel-ST特征编码结果进行特征融合(Concat)作为像素为4的Pixel-ST特征解码的输入,像素为4的Pixel-ST特征解码的结果与原始值进行跨连接融合操作作为像素为2的Pixel-ST特征解码的输入,像素为2的Pixel-ST特征解码的结果与原始值进行跨连接融合操作作为像素为1的Pixel-ST特征解码的输入,得到像素为1的Pixel-ST特征解码即为最终的去噪图像。整体Pixel-UNet网络架构如图2。
基于分段平面先验的单目相机深度估计算法具体实施分为以下部分:
Step1: 数据准备
图像去噪算法的开源数据集主要是BSD68 Dataset、ImageNet Dataset和 sRGBDataset,如需在自己的数据集上进行训练,需要将数据格式准备为与上述几个数据集一致;
Step2:训练阶段
输入为512*512*3的摄像机图像,首先利用高斯噪声或者泊松噪声生成带有噪声的图像,经过线性映射,得到图像特征的查询(Q)、键(K)、值(V),输入到UNet范式的网络架构中,首先进行特征编码,将查询(Q)、键(K)、值(V)输入像素为1的Pixel-ST特征提取块中,经过洗牌分割、查询(Q)进行归一化、自监督掩码特征提取以及查询(Q)、键(K)、值(V)进行拼接、查询(Q)的原始值进行跨连接融合等操作,经过正则化以及多层感知机的融合,最后与原始值进行跨连接融合操作得到像素为1的Pixel-ST特征提取结果;再将Q、K、V输入像素为2、4、6的Pixel-ST特征提取块中,进行如像素为1的相同步骤,依次得到像素为2、4、6的特征编码结果,接下来进行解码操作,除像素为6 ,其余像素都是编码和解码成对计算,将像素为6的Pixel-ST特征编码结果与原始值进行跨连接融合操作,再与像素为4的Pixel-ST特征编码结果进行特征融合(Concat)作为像素为4的Pixel-ST特征解码的输入,像素为4的Pixel-ST特征解码的结果与原始值进行跨连接融合操作作为像素为2的Pixel-ST特征解码的输入,像素为2的Pixel-ST特征解码的结果与原始值进行跨连接融合操作作为像素为1的Pixel-ST特征解码的输入,最终像素为1的Pixel-ST特征解码的结果即为最终的去噪图像。
Step3:测试阶段
输入测试图片,送入Pixel-UNet网络进行推理,得到最终的去噪图像,计算峰值信噪比PSNR度量算法的最终精度。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (6)
1.一种基于盲点自监督的图像去噪深度学习算法,包括以下步骤:
步骤S1,数据构建、数据预处理:图像去噪算法的开源数据集主要是BSD68 Dataset、ImageNet Dataset和 sRGB Dataset,如需在自己的数据集上进行训练,需要将数据格式准备为与上述几个数据集一致;
步骤S2,Pixel-ST主干网络构建:图像特征提取的网络为改进的Swin-Transformer,记为Pixel-ST,对输入的图像经过线性映射,得到图像特征的查询、键、值,根据像素P的大小对查询、键、值进行洗牌分割操作,再对查询进行归一化操作,接下来,对输入的注意力矩阵的对角线进行掩码处理,使得每个像素不关注自身的值,在下一阶段注意力矩阵计算过程中,每个像素都访问不到上一级对应像素的状态,以达到自监督的目的;掩码特征提取后对查询、键、值进行拼接,并将查询的原始值进行跨连接融合操作,最后层的正则化以及多层感知机的融合得到Pixel-ST特征提取结果;
步骤S3,Pixel-UNet网络整体架构:整体网络架构设计遵循UNet网络结构,是一个全局跳跃连接思想,设定像素P(P=1,2,4,6),由此网络设计为四个Pixel-ST特征编码器和三个Pixel-ST解码器组成,其中像素为1是在像素级图像上操作,其他像素P是对图像进行下采样的操作,为了满足盲点特性,不同像素大小特征提取块的键、值输入大小都为固定的输入数据值;
步骤S4,对输入的图像进行预处理,利用高斯噪声或者泊松噪声生成带有噪声的图像,输入到UNet范式的网络架构中,经过线性映射,得到图像特征的查询、键、值,经过掩码自监督特征提取以及盲点式多维度特征融合,得到最终去噪的图像。
2.根据权利要求1所述的一种基于盲点自监督的图像去噪深度学习算法, 其特征在于:所述 S1中的图像长为512,宽为512,通道数为3。
3.根据权利要求1所述的一种基于盲点自监督的图像去噪深度学习算法, 其特征在于:所述 S2中利用高斯噪声或者泊松噪声生成带有噪声的图像作为输入数据,首先根据输入图像大小经过线性映射得到图像特征的查询,键,值三个部分,这里查询是所有窗口和注意力头的位置编码。在获取到查询、键、值之后,对查询进行归一化操作。其次将归一化的查询和键、值输入到自监督模块,对注意力矩阵的对角线进行掩码处理,此外查询的连接和线性投影是在每个块周围跳过连接到原始的嵌入维度,由此得到新的查询,至此改进的Swin-Transformer特征提取块构建完成,记为Pixel-ST。
4.根据权利要求1所述的一种基于盲点自监督的图像去噪深度学习算法,其特征在于:所述 S3中的整体网络架构的输入是带有高斯噪声或者泊松噪声的图像,根据步骤S2中得到查询、键、值之后,查询按顺序通过块传播,而键和值被固定,并用与查询相同的位置嵌入求和,不变地传递到每个Pixel-ST特征提取块中,以保持输入隔离;将查询、键、值分别输入像素P(P=1、2、4、6)的图像编码中,由UNet的结构,像素P=6的Pixel-ST特征提取块输出的查询与像素P=4的Pixel-ST特征提取块输出的查询进行concat操作,得到的结果作为像素P=4解码器的输出,同理对像素P=2、1进行相同的操作。
5.根据权利要求1所述的一种基于盲点自监督的图像去噪深度学习算法, 其特征在于:所述S4中在对图片进行预处理,利用高斯噪声或者泊松噪声生成带有噪声的图像,输入到UNet范式的网络架构中,经过像素P(P=1、2、4、6)多个维度特征融合,得到最终去噪的图像。
6.根据权利要求1所述的一种基于盲点自监督的图像去噪深度学习算法,其特征在于:所述查询为Q,键为K、值为V。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310722880.2A CN116739932A (zh) | 2023-06-19 | 2023-06-19 | 一种基于盲点自监督的图像去噪深度学习算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310722880.2A CN116739932A (zh) | 2023-06-19 | 2023-06-19 | 一种基于盲点自监督的图像去噪深度学习算法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116739932A true CN116739932A (zh) | 2023-09-12 |
Family
ID=87902510
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310722880.2A Pending CN116739932A (zh) | 2023-06-19 | 2023-06-19 | 一种基于盲点自监督的图像去噪深度学习算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116739932A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117710240A (zh) * | 2023-12-15 | 2024-03-15 | 山东财经大学 | 一种自监督图像去噪方法、系统、装置及可读存储介质 |
-
2023
- 2023-06-19 CN CN202310722880.2A patent/CN116739932A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117710240A (zh) * | 2023-12-15 | 2024-03-15 | 山东财经大学 | 一种自监督图像去噪方法、系统、装置及可读存储介质 |
CN117710240B (zh) * | 2023-12-15 | 2024-05-24 | 山东财经大学 | 一种自监督图像去噪方法、系统、装置及可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108765296B (zh) | 一种基于递归残差注意力网络的图像超分辨率重建方法 | |
CN111681166B (zh) | 一种堆叠注意力机制编解码单元的图像超分辨率重建方法 | |
CN111260560B (zh) | 一种融合注意力机制的多帧视频超分辨率方法 | |
CN115049936A (zh) | 一种面向高分遥感影像的边界增强型语义分割方法 | |
Hu et al. | Underwater image restoration based on convolutional neural network | |
CN115082308A (zh) | 基于多尺度局部自注意力的视频超分辨率重建方法及系统 | |
US20240320787A1 (en) | Joint denoising and demosaicking method for color raw images guided by monochrome images | |
CN113378775B (zh) | 一种基于深度学习的视频阴影检测与消除方法 | |
CN116739932A (zh) | 一种基于盲点自监督的图像去噪深度学习算法 | |
WO2022141660A1 (zh) | 基于神经网络的高分辨率图像复原方法及系统 | |
CN116205962B (zh) | 基于完整上下文信息的单目深度估计方法及系统 | |
CN114549985A (zh) | 一种基于自监督对比学习的目标检测方法及系统 | |
Wang et al. | Gridformer: Residual dense transformer with grid structure for image restoration in adverse weather conditions | |
CN114596378A (zh) | 一种稀疏角ct伪影去除的方法 | |
CN113379606B (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
Chai et al. | CSENMT: A deep image compressed sensing encryption network via multi-color space and texture feature | |
Lin et al. | Multiple hypotheses based motion compensation for learned video compression | |
CN114140366A (zh) | 一种红外图像与可见光图像融合方法、系统、设备及终端 | |
Li et al. | Image reflection removal using end‐to‐end convolutional neural network | |
CN112132757B (zh) | 一种基于神经网络的通用图像复原方法 | |
CN116468638A (zh) | 一种基于生成和鉴别平衡对抗的人脸图像修复方法及系统 | |
CN116012272A (zh) | 一种基于重建流场的压缩视频质量增强方法 | |
CN116208812A (zh) | 一种基于立体事件和强度相机的视频插帧方法及系统 | |
CN113112464B (zh) | 基于跨模态交流编码器的rgbd显著性物体检测方法及系统 | |
Wu et al. | Deep learning‐based super‐resolution with feature coordinators preservation for vision‐based measurement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |