CN113066033B - 一种彩色图像的多阶段去噪系统及方法 - Google Patents
一种彩色图像的多阶段去噪系统及方法 Download PDFInfo
- Publication number
- CN113066033B CN113066033B CN202110420545.8A CN202110420545A CN113066033B CN 113066033 B CN113066033 B CN 113066033B CN 202110420545 A CN202110420545 A CN 202110420545A CN 113066033 B CN113066033 B CN 113066033B
- Authority
- CN
- China
- Prior art keywords
- denoising
- channel
- image
- module
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000005070 sampling Methods 0.000 claims abstract description 63
- 238000000926 separation method Methods 0.000 claims abstract description 30
- 238000010586 diagram Methods 0.000 claims description 25
- 230000015572 biosynthetic process Effects 0.000 claims description 14
- 238000003786 synthesis reaction Methods 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 9
- 230000008713 feedback mechanism Effects 0.000 abstract description 5
- 238000012545 processing Methods 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种彩色图像的多阶段去噪系统及方法,包括通道分离模块、通道内去噪网络和通道间去噪网络;通道分离模块用于将带有噪声的彩色图像分离为多个通道的原始噪声图像;通道内去噪网络用于对原始噪声图像进行初步去噪;通道间去噪网络用于根据初步去噪的结果和原始噪声图像进一步去噪,获得干净图像。在具体实现时,将去噪任务分为两个阶段:利用单个通道内空间维度信息进行图像通道内去噪,然后利用通道间的关联信息进一步进行通道间去噪;同时在进行去噪处理时,在上采样和下采样部分加入了误差反馈机制,增强了去噪效果。
Description
技术领域
本发明涉及计算机视觉图像处理技术领域,具体而言,涉及一种彩色图像的多阶段去噪系统及方法。
背景技术
图像在采集、传输、存储的过程中,不可避免会受到各类噪声的干扰。图像噪声使图像模糊,有时甚至掩盖图像特征,同时给图像视觉效果和后续数据分析工作带来不利影响。因此,如何高效地对真实图像进行去噪,进而提高图像的质量,是计算机视觉领域的一个重要的研究课题。
目前,传统图像去噪算法包括PCA降噪、DCT降噪、BM3D降噪等,其中BM3D是目前效果较好的传统去噪方法,它通过搜索相似块并在变换域进行滤波,得到块评估值,最后对图像中每个点进行加权得到最终干净图像。这些传统算法共同的缺点是在使用阶段涉及复杂的优化步骤,因此时间代价较高。
随着深度学习技术的发展以及大规模去噪数据集被提出,人们陆续提出了使用深度神经网络模型进行图像去噪的方法,比如深度去噪卷积神经网络(DnCNN)和极深残差编解码网络(REDNet),将分类和去噪任务结合的去噪网络,注意力引导的去噪网络等。由于U型网络(Unet)的编解码结构对于图像去噪任务十分适合,一些基于Unet的图像去噪算法被提出,如基于真实噪声图像的盲去噪网络(CBDNet),结合了多级小波变换的去噪网络(MWCNN)。但是上述的深度学习方法均没有考虑到:同时提取图像通道内和通道间的信息会加大去噪难度;与单一的前馈方法相比,人类视觉系统更接近于反馈机制;输入图像信息会随着网络加深而丢失或者被清洗。所以上述基于深度学习的方法在图像去噪时效果较为受限。因此,亟需提供一种方案以提高彩色图像的去噪效果。
发明内容
本发明的目的在于提供一种彩色图像的多阶段去噪系统及方法,用以实现提高彩色图像的去噪效果,得到更干净的图片的技术效果。
第一方面,本发明提供了一种彩色图像的多阶段去噪系统,包括通道分离模块、通道内去噪网络和通道间去噪网络;所述通道分离模块用于将带有噪声的彩色图像分离为多个通道的原始噪声图像;所述通道内去噪网络用于对所述原始噪声图像进行初步去噪;所述通道间去噪网络用于根据初步去噪的结果和原始噪声图像进一步去噪,获得干净图像;所述通道内去噪网络包括多个与各个通道对应连接的去噪子网络;所述通道间去噪网络和所述去噪子网络均包括卷积运算单元、第一通道注意力模块、若干个串联的下采样单元以及与所述下采样单元数量相同的若干个串联的上采样单元;所述第一通道注意力模块获取每个通道的重要性并输出带有注意力的特征图;所述下采样单元用于对输入的特征图进行下采样并根据下采样误差对输出进行反馈补偿;所述卷积运算单元用于根据最后一个下采样单元输出的特征图进行多次卷积运算并输送给第一个所述上采样单元;所述上采样单元用于对输入的特征图进行上采样并根据上采样误差对输出进行反馈补偿。
进一步地,所述下采样单元包括第一密集残差连接模块、第二通道注意力模块和下采样反馈输出模块;所述第二通道注意力模块设置在所述第一密集残差连接模块和所述下采样反馈输出模块之间;所述第一密集残差连接模块用于对输入的特征图的通道数进行初始化,使其与下一个下采样反馈输出模块的输出通道数保持一致;所述第二通道注意力模块用于获取经所述第一密集残差连接模块初始化后的每个通道的重要性并输出带有注意力的特征图;所述下采样反馈输出模块用于对输入的特征图进行下采样并根据采样误差进行反馈补偿。
进一步地,所述上采样单元包括上采样反馈输出模块、1*1卷积模块、第二密集残差连接模块和第三通道注意力模块;所述上采样反馈输出模块用于对输入的特征图进行上采样并根据上采样误差对输出进行反馈补偿;所述1*1卷积模块用于对相同层数的下采样反馈输出模块的输入和上采样反馈输出模块的输出一起进行卷积运算;所述第二密集残差连接模块用于对1*1卷积模块输出的特征图的通道数进行初始化,使其与下一个上采样反馈输出模块的输出通道数保持一致;第三通道注意力模块用于获取第二密集残差连接模块初始化后的每个通道的重要性并输出带有注意力的特征图。
进一步地,所述通道间去噪网络还包括与最后一个上采样单元连接的输出模块;所述输出模块包括3*3卷积层、线性修正单元和图像合成单元;所述3*3卷积层的输入与最后一个上采样单元的输出连接;所述线性修正单元的输入与所述3*3卷积层的输出连接,所述3*3卷积层和线性修正单元用于根据最后一个上采样单元的输出进行噪声估计;所述图像合成单元用于根据所述噪声估计和所述通道间去噪网络的初始输入进行图像合成,获得最终的干净图像。
进一步地,所述通道分离模块包括RAW图像通道分离单元和RGB图像通道分离单元;所述RAW图像通道分离单元用于将RAW图像通过空间到通道映射的方式采样成四个颜色通道R、G1、G2和B,且空间分辨率相应较原图像降低2倍;所述RGB图像通道分离单元用于对RGB图像进行通道分离得到R、G、B三个通道,且空间分辨率与原图像保持一致。
进一步地,所述通道内去噪网络包括RAW图像去噪网络和RGB图像去噪网络;所述RAW图像去噪网络通过FR、FG1、FG2、FB四个去噪子网络进行去噪;所述RGB图像去噪网络通过F’R、F’G、F’B三个去噪子网络进行去噪;所述RAW图像去噪网络中的卷积核通道数为通道间去噪网络的内部卷积核通道数的1/4;所述RGB图像去噪网络中的卷积核通道数为通道间去噪网络的内部卷积核通道数的1/2。
第二方面,本发明提供了一种彩色图像的多阶段去噪方法,应用于上述的多阶段去噪系统,包括:S1.获取带有噪声的原始噪声图像并进行通道分离;S2.将所述原始噪声图像分离出的通道分别输入通道内去噪网络中的各个去噪子网络进行去噪,得到初步去噪结果;S3.将所述初步去噪结果和所述原始噪声图像一起输入到通道间去噪网络,获得最终的干净图像。
进一步地,所述S1包括:若所述原始噪声图像是RAW图像,则将所述原始噪声图像通过空间到通道映射的方式采样成四个颜色通道R、G1、G2和B,且空间分辨率相应较原图像降低2倍;若所述原始噪声图像是RGB图像,则进行通道分离得到R、G、B三个通道,且空间分辨率与原图像保持一致。
进一步地,所述S2中的所述通道内去噪网络包括RAW图像去噪网络和RGB图像去噪网络;所述RAW图像去噪网络通过FR、FG1、FG2、FB四个去噪子网络进行去噪;所述RGB图像去噪网络通过F’R、F’G、F’B三个去噪子网络进行去噪;所述RAW图像去噪网络中的卷积核通道数为通道间去噪网络的内部卷积核通道数的1/4;所述RGB图像去噪网络中的卷积核通道数为通道间去噪网络的内部卷积核通道数的1/2,且各个去噪子网络不共享参数。
进一步地,所述S3包括:
通过第一通道注意力模块获取每个通道的重要性并输出带有注意力的特征图;
通过多个串联的下采样单元对输入的特征图依次进行下采样并根据下采样误差对输出进行反馈补偿;
通过卷积运算单元对最后一个下采样单元的输出进行多次卷积运算;
通过多个串联的上采样单元用于对输入的特征图依次进行上采样并根据上采样误差对输出进行反馈补偿;
通过输出模块根据原始噪声图像和最后一个上采样单元的输出进行图像合成,得到最终的干净图像。
本发明能够实现的有益效果是:本发明提供的彩色图像的多阶段去噪系统及方法将去噪任务分为两个阶段:利用单个通道内空间维度信息进行图像通道内去噪,然后利用通道间的关联信息进一步进行通道间去噪;同时在进行去噪处理时,在上采样和下采样部分加入了误差反馈机制,增强了去噪效果。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种彩色图像的多阶段去噪系统的拓扑结构示意图;
图2为本发明实施例提供的一种通道间去噪网络的拓扑结构示意图;
图3为本发明实施例提供的一种通道注意力机制的框架图;
图4为本发明实施例提供的一种密集残差连接模块的框架图;
图5为本发明实施例提供的一种彩色图像的多阶段去噪方法流程示意图。
图标:10-多阶段去噪系统;100-通道分离模块;200-通道内去噪网络;300-通道间去噪网络;310-第一通道注意力模块;320-下采样单元;330-卷积运算单元;340-上采样单元;350-输出模块。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行描述。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
请参看图1、图2、图3和图4,图1为本发明实施例提供的一种彩色图像的多阶段去噪系统的拓扑结构示意图;图2为本发明实施例提供的一种通道间去噪网络的拓扑结构示意图;图3为本发明实施例提供的一种通道注意力机制的框架图;图4为本发明实施例提供的一种密集残差连接模块的框架图。
在一种实施方式中,本发明实施例提供了一种彩色图像的多阶段去噪系统10,包括通道分离模块100、通道内去噪网络200和通道间去噪网络300;通道分离模块100用于将带有噪声的彩色图像分离为多个通道的原始噪声图像;通道内去噪网络200用于对原始噪声图像进行初步去噪;通道间去噪网络300用于根据初步去噪的结果和原始噪声图像进一步去噪,获得干净图像;通道内去噪网络200包括多个与各个通道对应连接的去噪子网络;通道间去噪网络300和去噪子网络均包括卷积运算单元330、第一通道注意力模块310、若干个串联的下采样单元320以及与下采样单元320数量相同的若干个串联的上采样单元340;第一通道注意力模块310获取每个通道的重要性并输出带有注意力的特征图;下采样单元320用于对输入的特征图进行下采样并根据下采样误差对输出进行反馈补偿;卷积运算单元330用于根据最后一个下采样单元320输出的特征图进行多次卷积运算并输送给第一个上采样单元340;上采样单元340用于对输入的特征图进行上采样并根据上采样误差对输出进行反馈补偿。
通过上述实现方式,将去噪任务分为两个阶段:利用单个通道内空间维度信息进行图像通道内去噪,然后利用通道间的关联信息进一步进行通道间去噪;同时在进行去噪处理时,在上采样和下采样部分加入了误差反馈机制,增强了去噪效果。
在一种实施方式中,通道分离模块100包括RAW图像通道分离单元和RGB图像通道分离单元;RAW图像通道分离单元用于将RAW图像通过空间到通道映射的方式采样成四个颜色通道R、G1、G2和B,且空间分辨率相应较原图像降低2倍;RGB图像通道分离单元用于对RGB图像进行通道分离得到R、G、B三个通道,且空间分辨率与原图像保持一致。
进一步地,通道内去噪网络200包括RAW图像去噪网络和RGB图像去噪网络;RAW图像去噪网络通过FR、FG1、FG2、FB四个去噪子网络进行去噪;RGB图像去噪网络通过F’R、F’G、F’B三个去噪子网络进行去噪;RAW图像去噪网络中的卷积核通道数为通道间去噪网络300的内部卷积核通道数的1/4;RGB图像去噪网络中的卷积核通道数为通道间去噪网络300的内部卷积核通道数的1/2。卷积运算模块可以进行6次卷积操作,每次卷积操作的卷积核大小为3*3。
示例性地,下采样单元320和上采样单元340的数量均可以设为两个。其中,下采样单元320包括第一密集残差连接模块、第二通道注意力模块和下采样反馈输出模块;第二通道注意力模块设置在第一密集残差连接模块和下采样反馈输出模块之间;第一密集残差连接模块用于对输入的特征图的通道数进行初始化,使其与下一个下采样反馈输出模块的输出通道数保持一致;第二通道注意力模块用于获取经第一密集残差连接模块初始化后的每个通道的重要性并输出带有注意力的特征图;下采样反馈输出模块用于对输入的特征图进行下采样并根据采样误差进行反馈补偿。
具体地,下采样反馈输出模块的计算流程如下:
首先,用一层卷积神经网络对输入特征图Hi进行下采样,得到特征图downi;
其次,用一层反卷积神经网络对downi进行上采样得到upi;
再次,计算输入特征图Hi和经过下采样、上采样操作之后的特征图upi之间的误差errori;
然后,对errori进行反馈,,用一层卷积网络对其进行下采样,得到down_errori;
最后,将原始下采样结果downi和对采样误差得到的下采样结果down_errori相加,得到输出。
上采样单元340包括上采样反馈输出模块、1*1卷积模块、第二密集残差连接模块和第三通道注意力模块;上采样反馈输出模块用于对输入的特征图进行上采样并根据上采样误差对输出进行反馈补偿;1*1卷积模块用于对相同层数的下采样反馈输出模块的输入和上采样反馈输出模块的输出一起进行卷积运算;第二密集残差连接模块用于对1*1卷积模块输出的特征图的通道数进行初始化,使其与下一个上采样反馈输出模块的输出通道数保持一致;第三通道注意力模块用于获取第二密集残差连接模块初始化后的每个通道的重要性并输出带有注意力的特征图。
具体地,上采样反馈输出模块先将输入特征图先进行上采样,再将其通过下采样映射回原有尺寸,计算此过程产生的信息损失(即上采样误差),然后将上采样误差再次进行上采样编码,与经过上采样的输入特征图相加,得到上采样结果。
在一种实施方式中,第一密集残差连接模块和第二密集残差连接模块均由三层3*3卷积和一层1*1卷积以及紧跟其后的ReLU激活函数组成,输出的每一层特征图都通过密集连接的方式进行连接,最终进行残差连接。各个通道注意力模块的执行步骤包括:对于给定特征图,首先通过全局平均池化层进行池化,然后通过两个全连接层以及sigmoid激活函数获得表征注意力的权重,最后将获得的权重与输入特征图进行相乘,得到具有注意力的特征图。
在上述实现过程中,下采样过程加入了通道注意力模块、密集残差连接模块和下采样反馈输出模块,使下采样时输出的特征图更加准确;上采样过程加入了通道注意力模块、密集残差连接模块和上采样反馈输出模块,使上采样时输出的特征图更加准确。
在一种实施方式中,通道间去噪网络300还包括与最后一个上采样单元340连接的输出模块350;输出模块350包括3*3卷积层、线性修正单元(图2中的RELU函数)和图像合成单元;3*3卷积层的输入与最后一个上采样单元340的输出连接;线性修正单元的输入与3*3卷积层的输出连接,3*3卷积层和线性修正单元用于根据最后一个上采样单元340的输出进行噪声估计;图像合成单元用于根据噪声估计和通道间去噪网络300的初始输入进行图像合成,获得最终的干净图像。其中,对RAW图像去噪时,线性修正单元输出特征图数量可以设置为1;对RGB图像去噪时,线性修正单元输出特征图的数量可以设置为3。
在上述实现过程中,通过3*3卷积层和线性修正单元可以得到最终的噪声估计;然后像合成单元根据该噪声估计和输入的原始噪声图像进行图像合成,即可得到最终的干净图像。
请参看图5,图5为本发明实施例提供的一种彩色图像的多阶段去噪方法流程示意图。
在一种实施方式中,本发明实施例还提供了一种彩色图像的多阶段去噪方法,主要包括以下几个步骤:
S1.获取带有噪声的原始噪声图像并进行通道分离;
在一种实施方式中,若原始噪声图像是RAW图像,则将原始噪声图像通过空间到通道映射的方式采样成四个颜色通道R、G1、G2和B,且空间分辨率相应较原图像降低2倍;若原始噪声图像是RGB图像,则进行通道分离得到R、G、B三个通道,且空间分辨率与原图像保持一致。
S2.将所述原始噪声图像分离出的通道分别输入通道内去噪网络中的各个去噪子网络进行去噪,得到初步去噪结果;
在一种实施方式中,通道内去噪网络包括RAW图像去噪网络和RGB图像去噪网络;RAW图像去噪网络通过FR、FG1、FG2、FB四个去噪子网络进行去噪;RGB图像去噪网络通过F’R、F’G、F’B三个去噪子网络进行去噪;RAW图像去噪网络中的卷积核通道数为通道间去噪网络的内部卷积核通道数的1/4;RGB图像去噪网络中的卷积核通道数为通道间去噪网络的内部卷积核通道数的1/2,且各个去噪子网络不共享参数。
S3.将所述初步去噪结果和所述原始噪声图像一起输入到通道间去噪网络,获得最终的干净图像。
在一种实施方式中,S3主要包括以下几个步骤:
S31.通过第一通道注意力模块获取每个通道的重要性并输出带有注意力的特征图;
S32.通过多个串联的下采样单元对输入的特征图进行下采样并根据下采样误差对输出进行反馈补偿;
具体地,下采样单元中的密集残差连接模块先通过3*3卷积将输入特征图通道数初始化,使其和后面卷积输出通道数一致,以便执行局部残差连接操作。输出的每一层特征图都通过密集连接的方式进行连接,最终进行残差连接,得到此密集连接模块输出。下采样反馈输出模块对输入的特征图进行二倍的下采样,再进行上采样映射回原有尺寸,计算此过程产生的下采样误差,对误差再次进行编码,与经过下采样的输入特征图相加,得到此次下采样结果。
S33.通过卷积运算单元对最后一个下采样单元的输出进行多次卷积运算;
S34.通过多个串联的上采样单元用于对输入的特征图进行上采样并根据上采样误差对输出进行反馈补偿;
S35.通过输出模块根据原始噪声图像和最后一个上采样单元的输出进行图像合成,得到最终的干净图像。
综上所述,本发明实施例提供一种彩色图像的多阶段去噪系统及方法,在实现过程中,将去噪任务分为两个阶段:利用单个通道内空间维度信息进行图像通道内去噪,然后利用通道间的关联信息进一步进行通道间去噪;同时在进行去噪处理时,在上采样和下采样部分加入了误差反馈机制,增强了去噪效果。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种彩色图像的多阶段去噪系统,其特征在于,包括:通道分离模块、通道内去噪网络和通道间去噪网络;所述通道分离模块用于将带有噪声的彩色图像分离为多个通道的原始噪声图像;所述通道内去噪网络用于对所述原始噪声图像进行初步去噪;所述通道间去噪网络用于根据初步去噪的结果和原始噪声图像进一步去噪,获得干净图像;所述通道内去噪网络包括多个与各个通道对应连接的去噪子网络;所述通道间去噪网络和所述去噪子网络均包括卷积运算单元、第一通道注意力模块、若干个串联的下采样单元以及与所述下采样单元数量相同的若干个串联的上采样单元;所述第一通道注意力模块获取每个通道的重要性并输出带有注意力的特征图;所述下采样单元用于对输入的特征图进行下采样并根据下采样误差对输出进行反馈补偿;所述卷积运算单元用于根据最后一个下采样单元输出的特征图进行多次卷积运算并输送给第一个所述上采样单元;所述上采样单元用于对输入的特征图进行上采样并根据上采样误差对输出进行反馈补偿。
2.根据权利要求1所述的多阶段去噪系统,其特征在于,所述下采样单元包括第一密集残差连接模块、第二通道注意力模块和下采样反馈输出模块;所述第二通道注意力模块设置在所述第一密集残差连接模块和所述下采样反馈输出模块之间;所述第一密集残差连接模块用于对输入的特征图的通道数进行初始化,使其与下一个下采样反馈输出模块的输出通道数保持一致;所述第二通道注意力模块用于获取经所述第一密集残差连接模块初始化后的每个通道的重要性并输出带有注意力的特征图;所述下采样反馈输出模块用于对输入的特征图进行下采样并根据采样误差进行反馈补偿。
3.根据权利要求1所述的多阶段去噪系统,其特征在于,所述上采样单元包括上采样反馈输出模块、1*1卷积模块、第二密集残差连接模块和第三通道注意力模块;所述上采样反馈输出模块用于对输入的特征图进行上采样并根据上采样误差对输出进行反馈补偿;所述1*1卷积模块用于对相同层数的下采样反馈输出模块的输入和上采样反馈输出模块的输出一起进行卷积运算;所述第二密集残差连接模块用于对1*1卷积模块输出的特征图的通道数进行初始化,使其与下一个上采样反馈输出模块的输出通道数保持一致;第三通道注意力模块用于获取第二密集残差连接模块初始化后的每个通道的重要性并输出带有注意力的特征图。
4.根据权利要求1所述的多阶段去噪系统,其特征在于,所述通道间去噪网络还包括与最后一个上采样单元连接的输出模块;所述输出模块包括3*3卷积层、线性修正单元和图像合成单元;所述3*3卷积层的输入与最后一个上采样单元的输出连接;所述线性修正单元的输入与所述3*3卷积层的输出连接,所述3*3卷积层和线性修正单元用于根据最后一个上采样单元的输出进行噪声估计;所述图像合成单元用于根据所述噪声估计和所述通道间去噪网络的初始输入进行图像合成,获得最终的干净图像。
5.根据权利要求1所述的多阶段去噪系统,其特征在于,所述通道分离模块包括RAW图像通道分离单元和RGB图像通道分离单元;所述RAW图像通道分离单元用于将RAW图像通过空间到通道映射的方式采样成四个颜色通道R、G1、G2和B,且空间分辨率相应较原图像降低2倍;所述RGB图像通道分离单元用于对RGB图像进行通道分离得到R、G、B三个通道,且空间分辨率与原图像保持一致。
6.根据权利要求5所述的多阶段去噪系统,其特征在于,所述通道内去噪网络包括RAW图像去噪网络和RGB图像去噪网络;所述RAW图像去噪网络通过FR、FG1、FG2、FB四个去噪子网络进行去噪;所述RGB图像去噪网络通过F’R、F’G、F’B三个去噪子网络进行去噪;所述RAW图像去噪网络中的卷积核通道数为通道间去噪网络的内部卷积核通道数的1/4;所述RGB图像去噪网络中的卷积核通道数为通道间去噪网络的内部卷积核通道数的1/2。
7.一种彩色图像的多阶段去噪方法,应用于权利要求1-6任一项所述的多阶段去噪系统,其特征在于,包括:
S1.获取带有噪声的原始噪声图像并进行通道分离;
S2.将所述原始噪声图像分离出的通道分别输入通道内去噪网络中的各个去噪子网络进行去噪,得到初步去噪结果;
S3.将所述初步去噪结果和所述原始噪声图像一起输入到通道间去噪网络,获得最终的干净图像。
8.根据权利要求7所述的方法,其特征在于,所述S1包括:
若所述原始噪声图像是RAW图像,则将所述原始噪声图像通过空间到通道映射的方式采样成四个颜色通道R、G1、G2和B,且空间分辨率相应较原图像降低2倍;若所述原始噪声图像是RGB图像,则进行通道分离得到R、G、B三个通道,且空间分辨率与原图像保持一致。
9.根据权利要求7所述的方法,其特征在于,所述S2中的所述通道内去噪网络包括RAW图像去噪网络和RGB图像去噪网络;所述RAW图像去噪网络通过FR、FG1、FG2、FB四个去噪子网络进行去噪;所述RGB图像去噪网络通过F’R、F’G、F’B三个去噪子网络进行去噪;所述RAW图像去噪网络中的卷积核通道数为通道间去噪网络的内部卷积核通道数的1/4;所述RGB图像去噪网络中的卷积核通道数为通道间去噪网络的内部卷积核通道数的1/2,且各个去噪子网络不共享参数。
10.根据权利要求7所述的方法,其特征在于,所述S3包括:
通过第一通道注意力模块获取每个通道的重要性并输出带有注意力的特征图;
通过多个串联的下采样单元对输入的特征图依次进行下采样并根据下采样误差对输出进行反馈补偿;
通过卷积运算单元对最后一个下采样单元的输出进行多次卷积运算;
通过多个串联的上采样单元用于对输入的特征图依次进行上采样并根据上采样误差对输出进行反馈补偿;
通过输出模块根据原始噪声图像和最后一个上采样单元的输出进行图像合成,得到最终的干净图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110420545.8A CN113066033B (zh) | 2021-04-19 | 2021-04-19 | 一种彩色图像的多阶段去噪系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110420545.8A CN113066033B (zh) | 2021-04-19 | 2021-04-19 | 一种彩色图像的多阶段去噪系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113066033A CN113066033A (zh) | 2021-07-02 |
CN113066033B true CN113066033B (zh) | 2023-11-17 |
Family
ID=76567070
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110420545.8A Active CN113066033B (zh) | 2021-04-19 | 2021-04-19 | 一种彩色图像的多阶段去噪系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113066033B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113808032B (zh) * | 2021-08-04 | 2023-12-15 | 北京交通大学 | 多阶段渐进式的图像去噪算法 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102156964A (zh) * | 2011-03-31 | 2011-08-17 | 杭州海康威视软件有限公司 | 彩色图像去噪声的方法及其系统 |
EP2360906A2 (en) * | 2007-03-29 | 2011-08-24 | Sony Corporation | Method of and apparatus for image denoising |
CN102184526A (zh) * | 2011-04-22 | 2011-09-14 | 西安电子科技大学 | 基于字典学习和块匹配的自然图像去噪方法 |
CN102663703A (zh) * | 2012-04-20 | 2012-09-12 | 西安电子科技大学 | 基于Treelet的Bayer型CFA图像去噪方法 |
CN107240081A (zh) * | 2017-06-20 | 2017-10-10 | 长光卫星技术有限公司 | 夜景影像去噪与增强处理方法 |
CN108389165A (zh) * | 2018-02-02 | 2018-08-10 | 成都西纬科技有限公司 | 一种图像去噪方法 |
CN110766632A (zh) * | 2019-10-22 | 2020-02-07 | 广东启迪图卫科技股份有限公司 | 基于通道注意力机制和特征金字塔的图像去噪方法 |
CN111080541A (zh) * | 2019-12-06 | 2020-04-28 | 广东启迪图卫科技股份有限公司 | 基于比特分层和注意力融合机制的彩色图像去噪方法 |
CN111275643A (zh) * | 2020-01-20 | 2020-06-12 | 西南科技大学 | 基于通道和空间注意力的真实噪声盲去噪网络模型及方法 |
WO2020126023A1 (en) * | 2018-12-21 | 2020-06-25 | Huawei Technologies Co., Ltd. | Image processor |
CN111741211A (zh) * | 2019-03-25 | 2020-10-02 | 华为技术有限公司 | 图像显示方法和设备 |
CN112233038A (zh) * | 2020-10-23 | 2021-01-15 | 广东启迪图卫科技股份有限公司 | 基于多尺度融合及边缘增强的真实图像去噪方法 |
CN112348914A (zh) * | 2020-11-12 | 2021-02-09 | 中国科学院合肥物质科学研究院 | 一种基于车联网的深度学习图像压缩感知算法及系统 |
-
2021
- 2021-04-19 CN CN202110420545.8A patent/CN113066033B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2360906A2 (en) * | 2007-03-29 | 2011-08-24 | Sony Corporation | Method of and apparatus for image denoising |
CN102156964A (zh) * | 2011-03-31 | 2011-08-17 | 杭州海康威视软件有限公司 | 彩色图像去噪声的方法及其系统 |
CN102184526A (zh) * | 2011-04-22 | 2011-09-14 | 西安电子科技大学 | 基于字典学习和块匹配的自然图像去噪方法 |
CN102663703A (zh) * | 2012-04-20 | 2012-09-12 | 西安电子科技大学 | 基于Treelet的Bayer型CFA图像去噪方法 |
CN107240081A (zh) * | 2017-06-20 | 2017-10-10 | 长光卫星技术有限公司 | 夜景影像去噪与增强处理方法 |
CN108389165A (zh) * | 2018-02-02 | 2018-08-10 | 成都西纬科技有限公司 | 一种图像去噪方法 |
WO2020126023A1 (en) * | 2018-12-21 | 2020-06-25 | Huawei Technologies Co., Ltd. | Image processor |
CN111741211A (zh) * | 2019-03-25 | 2020-10-02 | 华为技术有限公司 | 图像显示方法和设备 |
CN110766632A (zh) * | 2019-10-22 | 2020-02-07 | 广东启迪图卫科技股份有限公司 | 基于通道注意力机制和特征金字塔的图像去噪方法 |
CN111080541A (zh) * | 2019-12-06 | 2020-04-28 | 广东启迪图卫科技股份有限公司 | 基于比特分层和注意力融合机制的彩色图像去噪方法 |
CN111275643A (zh) * | 2020-01-20 | 2020-06-12 | 西南科技大学 | 基于通道和空间注意力的真实噪声盲去噪网络模型及方法 |
CN112233038A (zh) * | 2020-10-23 | 2021-01-15 | 广东启迪图卫科技股份有限公司 | 基于多尺度融合及边缘增强的真实图像去噪方法 |
CN112348914A (zh) * | 2020-11-12 | 2021-02-09 | 中国科学院合肥物质科学研究院 | 一种基于车联网的深度学习图像压缩感知算法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113066033A (zh) | 2021-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110969577B (zh) | 一种基于深度双重注意力网络的视频超分辨率重建方法 | |
CN111667424B (zh) | 一种基于无监督的真实图像去噪方法 | |
CN110992275B (zh) | 一种基于生成对抗网络的细化单幅图像去雨方法 | |
CN110163815B (zh) | 基于多阶段变分自编码器的低照度还原方法 | |
CN111080541B (zh) | 基于比特分层和注意力融合机制的彩色图像去噪方法 | |
CN110276726B (zh) | 一种基于多通道网络先验信息引导的图像去模糊方法 | |
CN111179167A (zh) | 一种基于多阶段注意力增强网络的图像超分辨方法 | |
CN110070517B (zh) | 基于退化成像机理和生成对抗机制的模糊图像合成方法 | |
CN110942424A (zh) | 一种基于深度学习的复合网络单图像超分辨率重建方法 | |
CN113066033B (zh) | 一种彩色图像的多阶段去噪系统及方法 | |
CN114723630A (zh) | 基于空洞双残差多尺度深度网络的图像去模糊方法及系统 | |
CN113222855A (zh) | 一种图像恢复方法、装置和设备 | |
CN116485741A (zh) | 一种无参考图像质量评价方法、系统、电子设备及存储介质 | |
CN116563108A (zh) | 一种基于残差多谱通道注意力网络水下图像超分辨率方法 | |
CN117173025B (zh) | 基于跨层混合注意力Transformer的单帧图像超分辨率方法及系统 | |
CN112767277B (zh) | 一种基于参考图像的深度特征排序去模糊方法 | |
CN112200752B (zh) | 一种基于er网络多帧图像去模糊系统及其方法 | |
CN113724134A (zh) | 一种基于残差蒸馏网络的航拍图像盲超分辨率重建方法 | |
CN113096032A (zh) | 一种基于图像区域划分的非均匀一致模糊去除方法 | |
CN117593199A (zh) | 一种基于高斯先验分布自注意力的双流遥感图像融合方法 | |
CN107133921B (zh) | 基于多层次邻域嵌入的图像超分辨率重建方法及系统 | |
CN116957940A (zh) | 基于轮廓波知识引导网络的多尺度图像超分辨率重建方法 | |
CN113496460A (zh) | 一种基于特征调整的神经风格迁移方法及系统 | |
CN113128586B (zh) | 基于多尺度机制和串联膨胀卷积遥感图像时空融合方法 | |
CN114757825A (zh) | 基于特征分离的红外图像超分辨率重建方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |