CN111932474A - 基于深度学习的图像去噪方法 - Google Patents
基于深度学习的图像去噪方法 Download PDFInfo
- Publication number
- CN111932474A CN111932474A CN202010748359.2A CN202010748359A CN111932474A CN 111932474 A CN111932474 A CN 111932474A CN 202010748359 A CN202010748359 A CN 202010748359A CN 111932474 A CN111932474 A CN 111932474A
- Authority
- CN
- China
- Prior art keywords
- image
- noise
- image processing
- scaling
- processing model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000013135 deep learning Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 91
- 230000008569 process Effects 0.000 claims abstract description 27
- 230000009466 transformation Effects 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims description 25
- 230000004913 activation Effects 0.000 claims description 13
- 238000005457 optimization Methods 0.000 claims description 13
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 7
- 239000000126 substance Substances 0.000 claims 1
- 230000008859 change Effects 0.000 abstract description 3
- 239000010410 layer Substances 0.000 description 41
- 238000013527 convolutional neural network Methods 0.000 description 23
- 238000013507 mapping Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 241001497337 Euscorpius gamma Species 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- JJWKPURADFRFRB-UHFFFAOYSA-N carbonyl sulfide Chemical compound O=C=S JJWKPURADFRFRB-UHFFFAOYSA-N 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的图像去噪方法，涉及图像处理领域。基于深度学习的图像去噪方法包括：将噪声图像和噪声水平输入到图像处理模型中进行处理；利用所述图像处理模型对所述噪声图像去噪过程进行多层缩放和偏移特征变换调节。本发明能够通过获取噪声图像和噪声水平，并将噪声图像输入到图像处理模型中，同时，通过噪声水平输入图像处理模型后形成缩放特征调节参数和偏移特征调节参数，对噪声图像去噪过程进行多层缩放和偏移特征变化的调节，从而输出清晰图片，通过图像处理模型中对噪声图像去噪过程进行多层缩放以及调节偏移特征来解决了目前图像去噪方法存在的灵活性和可控性低的问题，提高了图像去噪的灵活性和可控性。
Description
技术领域
本发明涉及图像处理领域，尤其是涉及一种基于深度学习的图像去噪方法。
背景技术
图像处理是指用图像处理设备对图像进行一系列的处理，最终达到人们要求的水平。例如，图像去噪就是图像处理中相对重要的一项处理，现实中的图像在数字化和传输过程中常常受到各种因素的影响，形成了噪声图像，图像去噪能够有效减少图像中的噪声，使图像更加清晰。
目前，图像去噪方法存在灵活性和可控性低的问题，图像去噪效果并不理想。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于深度学习的图像去噪方法，能够提高图像去噪的灵活性和可控性。
本发明还提出一种图像处理装置。
本发明还提出一种电子设备。
本发明还提出一种计算机可读存储介质。
根据本发明的第一方面实施例的基于深度学习的图像去噪方法，包括：
将噪声图像和噪声水平输入到图像处理模型中进行处理；利用所述图像处理模型对所述噪声图像去噪过程进行多层缩放和偏移特征变换调节。
根据本发明实施例的基于深度学习的图像去噪方法，至少具有如下有益效果：能够通过获取噪声图像和噪声水平，并将噪声图像输入到图像处理模型中，同时，通过噪声水平输入图像处理模型后形成缩放特征调节参数和偏移特征调节参数，对噪声图像去噪过程进行多层缩放和偏移特征变化的调节，从而输出清晰图片，通过图像处理模型中对噪声图像去噪过程进行多层缩放以及调节偏移特征来解决了目前图像去噪方法存在的灵活性和可控性低的问题，提高了图像去噪的灵活性和可控性。
根据本发明的一些实施例，所述图像处理模型包括参数生成网络和图像去噪子网络；所述利用所述图像处理模型对所述噪声图像去噪过程进行多层缩放和偏移特征变换调节，包括：根据所述参数生成网络生成缩放特征调节参数和偏移特征调节参数；将所述缩放特征调节参数和偏移特征调节参数输入到所述图像去噪子网络中，对所述噪声图像的特征进行处理。
根据本发明的一些实施例，所述缩放系数由Sigmoid激活函数生成。
根据本发明的一些实施例，所述偏移系数由Tanh激活函数生成。
根据本发明的一些实施例，所述利用所述图像处理模型对所述噪声图像去噪过程进行多层缩放和偏移特征变换调节包括：利用优化算法加入到所述图像处理模型中对所述噪声图像进行优化处理后输出清晰图像。
根据本发明的一些实施例，所述优化算法包括Adam优化算法。
根据本发明的一些实施例，所述图像处理模型可以为多个；利用所述图像处理模型对所述噪声图像去噪过程进行多层缩放和偏移特征变换调节，包括：分别将所述噪声图像和所述噪声水平输入到每个所述图像处理模型中进行处理。
根据本发明的第二方面实施例的图像处理装置，包括：输入模块，将噪声图像和噪声水平输入到图像处理模型中进行处理；图像处理模块，利用所述图像处理模型对所述噪声图像进行多层缩放和偏移特征变换调节。
根据本发明的第三方面实施例的电子设备，包括：至少一个处理器，以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行所述指令时实现如第一方面所述的基于深度学习的图像去噪方法。
根据本发明的第四方面实施例的计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行第一方面所述的基于深度学习的图像去噪方法。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例提供的基于深度学习的图像去噪方法流程图；
图2为本发明实施例提供的图像处理过程示意图；
图3为本发明实施例提供的图像处理过程中特征调节机制示意图；
图4为本发明实施例提供的图像处理参数生成示意图；
图5为本发明实施例提供的图像处理装置示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
图像处理是指用图像处理设备对图像进行一系列的处理，最终达到人们要求的水平。例如，图像去噪就是图像处理中相对重要的一项处理，现实中的图像在数字化和传输过程中常常受到各种因素的影响，形成了噪声图像，图像去噪能够有效减少图像中的噪声，使图像更加清晰。
目前，图像去噪方法存在灵活性和可控性低的问题，使图像去噪效果并不理想。
基于此，本发明提出一种基于深度学习的图像去噪方法、装置、设备及存储介质，能够提高图像去噪的灵活性和可控性。
第一方面，本发明实施例提供了一种基于深度学习的图像去噪方法。
参照图1，为本发明实施例提供的基于深度学习的图像去噪方法流程图。
在一些实施例中，基于深度学习的图像去噪方法包括：
步骤S100：将噪声图像和噪声水平输入到图像处理模型中进行处理；
步骤S200：利用图像处理模型对噪声图像去噪过程进行多层缩放和偏移特征变换调节。
本实施例能够通过获取噪声图像和噪声水平，并将噪声图像输入到图像处理模型中，通过噪声水平输入图像处理模型后形成缩放特征调节参数和偏移特征调节参数，对噪声图像进行多层缩放和偏移特征变化的调节，从而输出清晰图片，通过图像处理模型中对噪声图像去噪过程进行多层缩放以及调节偏移特征来解决了目前图像去噪方法存在的灵活性和可控性低的问题，提高了图像去噪的灵活性和可控性。
在一些实施例中，步骤S100中噪声图像是指有噪声的图像，噪声是指在图像数据中的不必要的或者多的干扰信息，为了使本实施例中的方法优势更加明显，图像中噪声的来源有许多种，这些噪声来源于图像采集、传输或者压缩等各个环节，噪声的种类也不相同，例如：椒盐噪声，高斯噪声等，本实施例选用的为高斯噪声图像。高斯噪声是指概率密度函数服从高斯分布(即正态分布)的一类噪声。常见的高斯噪声包括起伏噪声、宇宙噪声、热噪声和散粒噪声等等，尤其是在电信和计算机网络中，通信信道可能受到来自许多自然源的宽带高斯噪声的影响，所以本实施例中采用高斯噪声，具有更多的实际意义。
具体的，步骤S100中的噪声水平在本实施例中采用基于对比度增强的滤波算法(CEF)进行估计，能够很好地自动估计噪声水平。
在一些实施例中，步骤S200中多层缩放和偏移特征变换调节即LSSFM(Layer-wiseScaling and Shifting Feature Modulation)，以下简称为LSSFM。其主要是在卷积神经网络的一些关键中间层中添加依赖于噪声水平的阈值，其起到局部特征调节的作用，考虑到局部特征调制可能在几层后丢失噪声图像中的噪声水平信息，因此需要进一步全局变换，就形成了LSSFM。
具体的，步骤S200中图像处理模型包括了图像去噪子网络和参数生成网络，其中，去噪子网络是对上述噪声图像进行去噪形成第一处理图像特征，参数生成网络是使用输入的噪声水平通过参数生成网络生成LSSFM的缩放特征调节参数和偏移特征调节参数，根据LSSFM的缩放特征调节参数和偏移特征调节参数对第一处理图像特征进行处理后形成第二处理图像特征。
更为具体的，缩放特征调节参数和偏移特征调节参数是通过噪声水平图生成的，为了便于描述，把噪声水平图生成缩放特征调节参数和偏移特征调节参数的图像处理过程的调节支路以参数生成网络进行描述。
可以理解的，在图像处理模型中输入噪声水平的目的在于，利用噪声水平图生成缩放特征调节参数和偏移特征调节参数，以使参数生成网络输出LSSFM调节机制的缩放和偏移的两个特征调节参数。
本实施例中采用了MapReduce模型对卷积神经网络图像数据进行处理，其中MapReduce模型是面向大数据并行处理的计算模型、框架和平台，适用于本实施例中图像大数据的处理，以下MapReduce模型简称为MAP模型。
具体的，利用半二次分裂HQS(Half Quadratic Splitting)算法，以下简称HQS来分析上述MAP模型。
具体的，噪声图像y的无噪部分x可以通过求解以下公式得到：
其中
是图像保真项，Φ(x)是正则化项，λ是折衷参数。在HQS中，通过引入一个辅助变量z，公式(1)等价于下面的损失函数:
其中μ是一个惩罚参数，μ如果取得值较大，z越近似等于x，通常在下面的方程迭代求解过程中，μ以非降序顺序变化：
xk+1＝argminx||y-x||2+μσ2||x-zk||2 (3)
容易知道公式(3)的近似解为:
更为具体的，公式(4)的结果可以通过联合训练几个卷积神经网络块来得到。
具体的，通过将zk视作为神经网络某一层的特征映射，公式(5)可以被近似为缩放和偏移操作，且缩放和偏移操作的参数是与输入的噪声水平紧密相关的，所以将MAP模型应用于本实施例中能够很好地对噪声图像的数据进行分析，以更加接近于真实数据。
参照图2，为本发明实施例提供的图像处理过程示意图。
在一些实施例中，整个图像处理的过程中，噪声图像先经过图像去噪子网络中第一卷积层网络去噪，然后形成第一处理图像特征，同时参数生成网络将噪声水平经过处理后形成γ特征和β特征，其中γ特征作为缩放系数，β特征作为偏移系数，第一处理图像特征在与γ特征点乘处理之后再和β特征相加形成第二处理图像特征，第二处理图像特征再经过第二卷积层网络去噪之后形成清晰图像。
可以理解的，其中卷积层网络的数量不限于两个，可以为多个，根据其收敛需求以及具体应用需求设定。
具体的，上述参数生成网络中特征图的通道数与图像去噪子网络中第一卷积网络处理后的第一处理图像特征中的特征图通道相同，目的是为了对每个图像的特征映射都能够进行γ参数的点乘运算，以便形成所需要的图像特征。
可以理解的，图像特征主要有图像的颜色特征、纹理特征、形状特征、空间关系特征等，以便于根据上述图像特征进行相关图像的处理。
可以理解的，第一卷积层网络和第二卷积层网络为同一个卷积神经网络的卷积层，为了实现本实施例中的图像的缩放和偏移，在两个卷积层网络之间增加了函数运算，以便于提高图像去噪的灵活性和可控性。
在一些实施例中，LSSFM模型包括参数生成网络和图像去噪子网络；步骤S200包括：
步骤S210：根据参数生成网络生成缩放特征调节参数和偏移特征调节参数；
步骤S220：将缩放特征调节参数和偏移特征调节参数输入到图像去噪子网络中，对噪声图像的特征进行处理。
本实施例中参数生成网络的作用是生成缩放特征调节参数和偏移特征调节参数，作用在卷积神经网络的卷积层上的特征映射。可以通过下述公式表示：
其中，F表示图像特征，
表示点乘，
表示加法，变换参数γ和β由以下函数求得：
(γ,β)＝f(M)
其中，f表述参数生成网络对应的映射函数，M表示噪声水平。
参照图3，为本发明实施例提供的图像处理过程中特征调节机制示意图。
在一些实施例中，参照卷积神经网络模型，LSSFM模型是利用内部或者外部条件信息自适应地特征调节机制进行调整网络，本发明实施例采用的FiLM((Feature-wiseLinear Modulation))特征调节机制，以下简称FiLM，调制工作通过仿射变换实现，可以写成如下形式：
FiLM(Fi,c|γi,c,βi,c)＝γi,cFi,c+βi,c
其中，γi,c＝fe(ti)，βi,c＝he(ti)，fe和he是学习函数，e为学习函数内元素内容，输入是文本信息ti，Fi,c为神经网络的特征映射，下标i表示第i个输入，下标c表示第c个特征映射，γi,c表示第i个输入第c个特征映射的γ参数，βi,c表示第i个输入第c个特征映射的β参数。
其中f和h可以是任意的函数，例如是循环神经网络。
参照图4，为本发明实施例提供的图像处理参数生成示意图。
在一些实施例中，在模型训练时，使用全连方式来训练上述参数生成网络中的参数，此时参数生成网络的输入是一个实数，即噪声水平为一实数σ，FiLM特征调节机制所产生的γi,c和βi,c参数也都是实数，即在模型训练时，γi,c和βi,c是全连接或者1*1卷积；但是在测试时，模型输入产生缩放特征调节参数和偏移特征调节参数的噪声水平图是和噪声图像等大小的，可以理解的，等大小表示噪声水平图和噪声图像的特征映射数相同，输入到卷积神经网络模型的可以为一个矩阵，卷积神经网络模型所产生的γi,c和βi,c参数也都是H*W的矩阵。
具体的，输入的噪声水平σ先通过基本块，被处理为噪声水平特征映射，基本块的输出再被所有的其他γ特征生成块和β特征生成块所共享，γ和β生成块的最后一层特征映射通道数必须与对应的卷积神经网络模型中卷积层的中间特征映射通道数相同，保证了卷积神经网络模型中卷积层网络的中间特征映射的每个通道进行单独的仿射变换。
可以理解的，卷积神经网络中所有包含参数的网络层都是全连接层的网络，可以等价于一个参数层全是由1×1卷积层，而其他层如BN层、池化层不变的卷积网络，这样我们的参数生成网络的输入既可以是一个实数也可以是一个和噪声图像同等大小的矩阵。
在一些实施例中，缩放系数的生成由Sigmoid激活函数生成。
具体的，是γ特征的生成采用的是Sigmoid激活函数把生成的参数值限定为(0,1)；该函数是将取值为(-∞，+∞)的数映射到(0，1)之间，其公式为：
其中，参数z取值为(-∞，+∞)。
可以理解的，激活函数可以提供卷积神经网络模型的非线性建模能力，如果没有激活函数，卷积神经网络模型仅能够表达线性映射，此时即使有再多的隐藏层，整个卷积神经网络模型跟单层神经网络也是等价的，只有加入了激活函数之后，卷积神经网络模型才具备分层的非线性映射学习能力。
在一些实施例中，偏移系数β的由Tanh激活函数生成。
具体的，Tanh激活函数即双曲正切激活函数，其作用是将输入值转换为-1至1之间。此激活函数在一定程度上减轻了卷积神经网络模型梯度消失的问题，tanh的输出和输入能够保持非线性单调上升和下降关系，提高卷积神经网络模型的容错性。为了使卷积神经网络模型具备分层的非线性映射学习能力，需要在卷积神经网络模型中加入激活函数，以便于模型具备非线性映射的学习能力。
在一些实施例中，步骤S200包括：
步骤S220：将优化算法加入到LSSFM模型中对噪声图像进行优化处理后输出清晰图像。
在一些实施例中，优化算法包括Adam优化算法，以便将参数值限定在(-1,1)之间。LSSFM是对卷积神经网络模型的中间特征映射操作，增加了卷积神经网络模型的灵活性。
具体的，Adam是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重。Adam算法即自适应时刻估计方法，能计算每个参数的自适应学习率，从而提高计算效率的同时占用内存较小。
可以理解的，Adam算法的使用可以在图像处理模型训练之后图像去噪效果不好之后添加到图像处理模型中，也可以在第一轮进行图像去噪的时候进行Adam算法的优化。
在一些实施例中，LSSFM模型可以为多个。
具体的，上述步骤S200包括：分别将噪声图像和噪声水平输入到每个图像处理模型中进行处理。
具体的，卷积神经网络模型应用到图像去噪中可以降低计算的复杂度，达到更快速准确的收敛。
可以理解的，卷积神经网络模型是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。它包括了输入层、卷积层、激活层、池化层和全连接层，其中卷积层是提取图像特征的重要一层，通过对图像中的每一个特征首先局部感知，然后更高层次对局部进行综合操作，从而得到全局信息。
第二方面，本发明实施例提供了一种图像处理装置。
参照图5，为本发明实施例提供的图像处理装置示意图。
在一些实施例中，图像处理装置包括：输入模块100、图像处理模块200，其中输入模块100用于将噪声图像和噪声水平输入到图像处理模型中进行处理；
图像处理模块200，利用图像处理模型对噪声图像进行多层缩放和偏移特征变换调节。
第三方面，本发明实施例提供了一种电子设备，包括：至少一个处理器，以及，与至少一个处理器通信连接的存储器；其中，存储器存储有指令，指令被至少一个处理器执行，以使至少一个处理器执行指令时实现如第一方面的基于深度学习的图像去噪方法。
具体的，申请实施例中的控制设备可以是平板电脑、桌面型、膝上型、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)、增强现实(augmented reality，AR)\虚拟现实(virtual reality，VR)设备等包括上述折叠屏的设备，本申请实施例对该电子设备的具体形态不作特殊限制。
第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行如第一方面的基于深度学习的图像去噪方法。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (10)
1.基于深度学习的图像去噪方法，其特征在于，包括：
将噪声图像和噪声水平输入到图像处理模型中进行处理；
利用所述图像处理模型对所述噪声图像去噪过程进行多层缩放和偏移特征变换调节。
2.根据权利要求1所述的方法，其特征在于，所述图像处理模型包括参数生成网络和图像去噪子网络；
所述利用所述图像处理模型对所述噪声图像去噪过程进行多层缩放和偏移特征变换调节，包括：
根据所述参数生成网络生成缩放特征调节参数和偏移特征调节参数；
将所述缩放特征调节参数和偏移特征调节参数输入到所述图像去噪子网络中，对所述噪声图像的特征进行处理。
3.根据权利要求2所述的方法，其特征在于，所述缩放系数由Sigmoid激活函数生成。
4.根据权利要求2所述的方法，其特征在于，所述偏移系数由Tanh激活函数生成。
5.根据权利要求1所述的方法，其特征在于，所述利用所述图像处理模型对所述噪声图像去噪过程进行多层缩放和偏移特征变换调节包括：
利用优化算法加入到所述图像处理模型中对所述噪声图像进行优化处理后输出清晰图像。
6.根据权利要求5所述的方法，其特征在于，所述优化算法包括Adam优化算法。
7.根据权利要求1所述的方法，其特征在于，所述图像处理模型可以为多个；
利用所述图像处理模型对所述噪声图像去噪过程进行多层缩放和偏移特征变换调节，包括：分别将所述噪声图像和所述噪声水平输入到每个所述图像处理模型中进行处理。
8.图像处理装置，其特征在于，包括：
输入模块，将噪声图像和噪声水平输入到图像处理模型中进行处理；
图像处理模块，利用所述图像处理模型对所述噪声图像去噪过程进行多层缩放和偏移特征变换调节。
9.电子设备，其特征在于，包括：
至少一个处理器，以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行所述指令时实现如权利要求1至7任一项所述的方法。
10.计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010748359.2A CN111932474A (zh) | 2020-07-30 | 2020-07-30 | 基于深度学习的图像去噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010748359.2A CN111932474A (zh) | 2020-07-30 | 2020-07-30 | 基于深度学习的图像去噪方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111932474A true CN111932474A (zh) | 2020-11-13 |
Family
ID=73315861
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010748359.2A Pending CN111932474A (zh) | 2020-07-30 | 2020-07-30 | 基于深度学习的图像去噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111932474A (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160247263A1 (en) * | 2015-02-24 | 2016-08-25 | Siemens Aktiengesellschaft | Simultaneous Edge Enhancement And Non-Uniform Noise Removal Using Refined Adaptive Filtering |
| US20170213321A1 (en) * | 2016-01-22 | 2017-07-27 | Siemens Healthcare Gmbh | Deep Unfolding Algorithm For Efficient Image Denoising Under Varying Noise Conditions |
| CN109285129A (zh) * | 2018-09-06 | 2019-01-29 | 哈尔滨工业大学 | 基于卷积神经网络的图像真实噪声去除系统 |
| CN109712086A (zh) * | 2018-12-11 | 2019-05-03 | 上海集成电路研发中心有限公司 | 一种高效的cmos图像传感器片上去噪算法 |
| CN109949235A (zh) * | 2019-02-26 | 2019-06-28 | 浙江工业大学 | 一种基于深度卷积神经网络的胸部x光片去噪方法 |
| CN110717851A (zh) * | 2019-10-18 | 2020-01-21 | 京东方科技集团股份有限公司 | 图像处理方法及装置、神经网络的训练方法、存储介质 |
| CN110782399A (zh) * | 2019-08-22 | 2020-02-11 | 天津大学 | 一种基于多任务cnn的图像去模糊方法 |
| CN111192211A (zh) * | 2019-12-24 | 2020-05-22 | 浙江大学 | 一种基于单个深度神经网络的多噪声类型盲去噪方法 |
| CN111242862A (zh) * | 2020-01-09 | 2020-06-05 | 西安理工大学 | 多尺度融合并行稠密残差卷积神经网络图像去噪方法 |
| CN111738956A (zh) * | 2020-06-24 | 2020-10-02 | 哈尔滨工业大学 | 一种基于特征调制的图像去噪系统 |
-
2020
- 2020-07-30 CN CN202010748359.2A patent/CN111932474A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160247263A1 (en) * | 2015-02-24 | 2016-08-25 | Siemens Aktiengesellschaft | Simultaneous Edge Enhancement And Non-Uniform Noise Removal Using Refined Adaptive Filtering |
| US20170213321A1 (en) * | 2016-01-22 | 2017-07-27 | Siemens Healthcare Gmbh | Deep Unfolding Algorithm For Efficient Image Denoising Under Varying Noise Conditions |
| CN109285129A (zh) * | 2018-09-06 | 2019-01-29 | 哈尔滨工业大学 | 基于卷积神经网络的图像真实噪声去除系统 |
| CN109712086A (zh) * | 2018-12-11 | 2019-05-03 | 上海集成电路研发中心有限公司 | 一种高效的cmos图像传感器片上去噪算法 |
| CN109949235A (zh) * | 2019-02-26 | 2019-06-28 | 浙江工业大学 | 一种基于深度卷积神经网络的胸部x光片去噪方法 |
| CN110782399A (zh) * | 2019-08-22 | 2020-02-11 | 天津大学 | 一种基于多任务cnn的图像去模糊方法 |
| CN110717851A (zh) * | 2019-10-18 | 2020-01-21 | 京东方科技集团股份有限公司 | 图像处理方法及装置、神经网络的训练方法、存储介质 |
| CN111192211A (zh) * | 2019-12-24 | 2020-05-22 | 浙江大学 | 一种基于单个深度神经网络的多噪声类型盲去噪方法 |
| CN111242862A (zh) * | 2020-01-09 | 2020-06-05 | 西安理工大学 | 多尺度融合并行稠密残差卷积神经网络图像去噪方法 |
| CN111738956A (zh) * | 2020-06-24 | 2020-10-02 | 哈尔滨工业大学 | 一种基于特征调制的图像去噪系统 |
Non-Patent Citations (1)
| Title |
|---|
| 李传朋;秦品乐;张晋京;: "基于深度卷积神经网络的图像去噪研究", 计算机工程, no. 03, 15 March 2017 (2017-03-15), pages 253 - 260 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10360664B2 (en) | Image processing apparatus and method using machine learning | |
| Yin et al. | Highly accurate image reconstruction for multimodal noise suppression using semisupervised learning on big data | |
| CN110276726B (zh) | 一种基于多通道网络先验信息引导的图像去模糊方法 | |
| CN107133923B (zh) | 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法 | |
| US9569684B2 (en) | Image enhancement using self-examples and external examples | |
| CN109003234B (zh) | 针对运动模糊图像复原的模糊核计算方法 | |
| CN106981056B (zh) | 一种基于分数阶偏微分方程的图像对比度增强滤波器 | |
| US11741579B2 (en) | Methods and systems for deblurring blurry images | |
| CN112991493A (zh) | 基于vae-gan和混合密度网络的灰度图像着色方法 | |
| CN114359073A (zh) | 一种低光照图像增强方法、系统、装置及介质 | |
| Sandoub et al. | A low‐light image enhancement method based on bright channel prior and maximum colour channel | |
| Yang et al. | Optimization algorithm for low‐light image enhancement based on Retinex theory | |
| CN113256519A (zh) | 图像的恢复方法、设备、存储介质及程序产品 | |
| CN111145103B (zh) | 基于细节保留神经网络模型的蒙特卡洛去噪方法 | |
| CN113222856A (zh) | 一种逆半色调图像处理方法、终端设备及可读存储介质 | |
| WO2023142904A1 (zh) | 图像处理方法、电子设备和非瞬态计算机可读介质 | |
| CN111932474A (zh) | 基于深度学习的图像去噪方法 | |
| CN116029932A (zh) | 一种超高分辨率图像曝光错误矫正方法及系统 | |
| CN113888405B (zh) | 基于分簇自适应膨胀卷积神经网络的去噪去马赛克方法 | |
| CN116152128A (zh) | 基于注意力机制的高动态范围多曝光图像融合模型及方法 | |
| CN107977929B (zh) | 图像超分辨率处理方法和装置 | |
| CN116309190B (zh) | 一种基于最佳区域中值先验的湍流退化图像恢复方法 | |
| CN113792862B (zh) | 基于级联注意力机制的改正单图生成对抗网络的设计方法 | |
| CN117726542B (zh) | 基于扩散模型的可控噪声去除方法及系统 | |
| JP6994572B2 (ja) | データ処理システムおよびデータ処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |