CN109285129A - 基于卷积神经网络的图像真实噪声去除系统 - Google Patents

基于卷积神经网络的图像真实噪声去除系统 Download PDF

Info

Publication number
CN109285129A
CN109285129A CN201811040207.6A CN201811040207A CN109285129A CN 109285129 A CN109285129 A CN 109285129A CN 201811040207 A CN201811040207 A CN 201811040207A CN 109285129 A CN109285129 A CN 109285129A
Authority
CN
China
Prior art keywords
image
convolutional layer
convolution operation
noise
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811040207.6A
Other languages
English (en)
Inventor
左旺孟
果实
闫子飞
张凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201811040207.6A priority Critical patent/CN109285129A/zh
Publication of CN109285129A publication Critical patent/CN109285129A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

基于卷积神经网络的图像真实噪声去除系统，属于图像去噪领域，解决了现有基于卷积神经网络的图像去噪方法对于图像真实噪声的去除效果不理想的问题。本发明所述的基于卷积神经网络的图像真实噪声去除系统，先通过图像真实噪声水平估计子网络估计待去噪图像的真实噪声等级值，再通过图像噪声去除子网络，并根据待去噪图像的真实噪声等级估计值对待去噪图像的真实噪声进行去除。与现有基于卷积神经网络的图像去噪方法相比，本发明所述的基于卷积神经网络的图像真实噪声去除系统因引入了真实噪声等级估计环节而具有更好的图像真实噪声去除效果。

Description

基于卷积神经网络的图像真实噪声去除系统
技术领域
本发明涉及一种图像去噪系统，属于图像去噪领域。
背景技术
图像去噪是计算机视觉和图像处理领域的一项基本问题。在人们通过图像采集设备获 取图像的过程中，由于图像采集设备的自身物理约束以及外界光环境的限制，使得采集到 的图像中不可避免地存在噪声，进而影响成像质量。为此，现有的图像采集设备均采用图 像去噪技术来提高自身的成像质量。然而，由于图像真实噪声具有成分复杂性和来源多样 性的特点，以及每个图像采集设备的真实噪声模型都有所差异，使得图像真实噪声去除的 难度较大。
近年来，学者们尝试将卷积神经网络应用于图像去噪领域，并在高斯白噪声的去除上 取得了比现有基于三维块匹配的图像去噪方法和基于加权核范数最小化的图像去噪方法 更好的效果。然而，由于图像真实噪声的复杂度远大于高斯白噪声的复杂度，使得现有基 于卷积神经网络的图像去噪方法对于图像真实噪声的去除效果并不理想。
发明内容
本发明为解决现有基于卷积神经网络的图像去噪方法对于图像真实噪声的去除效果 不理想的问题，提出了一种基于卷积神经网络的图像真实噪声去除系统。
本发明所述的基于卷积神经网络的图像真实噪声去除系统包括图像真实噪声水平估 计子网络和图像噪声去除子网络；
图像真实噪声水平估计子网络和图像噪声去除子网络均基于卷积神经网络实现；
图像真实噪声水平估计子网络将待去噪图像作为其输入，输出该图像的真实噪声等级 估计值；
图像噪声去除子网络将待去噪图像及其真实噪声等级估计值作为其输入，输出去噪后 图像。
作为优选的是，图像真实噪声水平估计子网络为前向浅层卷积神经网络。
作为优选的是，图像真实噪声水平估计子网络包括卷积层C1～卷积层C5；
卷积层C1用于对待去噪图像依次进行第一卷积操作和激活操作；
卷积层C2用于对卷积层C1的输出结果依次进行第二卷积操作和激活操作；
卷积层C3用于对卷积层C2的输出结果依次进行第三卷积操作和激活操作；
卷积层C4用于对卷积层C3的输出结果依次进行第四卷积操作和激活操作；
卷积层C5用于对卷积层C4的输出结果依次进行第五卷积操作和激活操作；
卷积层C5的输出结果为待去噪图像的真实噪声等级估计值；
第一卷积操作和第五卷积操作均为96个3×3、步长为1的卷积操作；
第二卷积操作～第四卷积操作均为1024个3×3、步长为1的卷积操作；
激活操作采用ReLU函数。
作为优选的是，图像噪声去除子网络为U型卷积神经网络。
作为优选的是，图像噪声去除子网络包括卷积层C6～卷积层C23、卷积层D1、卷积层D2、反卷积层U1、反卷积层U2和残差层R；
卷积层C6用于对待去噪图像及其真实噪声等级估计值进行第六卷积操作和激活操 作；
卷积层C7用于对卷积层C6的输出结果依次进行第七卷积操作和激活操作；
卷积层C8用于对卷积层C7的输出结果依次进行第八卷积操作和激活操作；
卷积层D1用于对卷积层C8的输出结果进行第一下采样操作；
卷积层C9用于对卷积层D1的输出结果依次进行第九卷积操作和激活操作；
卷积层C10用于对卷积层C9的输出结果依次进行第十卷积操作和激活操作；
卷积层C11用于对卷积层C10的输出结果依次进行第十一卷积操作和激活操作；
卷积层D2用于对卷积层C11的输出结果进行第二下采样操作；
卷积层C12用于对卷积层D2的输出结果依次进行第十二卷积操作和激活操作；
卷积层C13用于对卷积层C12的输出结果依次进行第十三卷积操作和激活操作；
卷积层C14用于对卷积层C13的输出结果依次进行第十四卷积操作和激活操作；
卷积层C15用于对卷积层C14的输出结果依次进行第十五卷积操作和激活操作；
卷积层C16用于对卷积层C15的输出结果依次进行第十六卷积操作和激活操作；
卷积层C17用于对卷积层C16的输出结果依次进行第十七卷积操作和激活操作；
反卷积层U1用于对卷积层C17的输出结果进行第一上采样操作；
卷积层C18用于对卷积层C11的输出结果与反卷积层U1的输出结果的加和结果依次进行第十八卷积操作和激活操作；
卷积层C19用于对卷积层C18的输出结果依次进行第十九卷积操作和激活操作；
卷积层C20用于对卷积层C19的输出结果依次进行第二十卷积操作和激活操作；
反卷积层U2用于对卷积层C20的输出结果进行第二上采样操作；
卷积层C21用于对卷积层C8的输出结果与反卷积层U2的输出结果的加和结果依次进行第二十一卷积操作和激活操作；
卷积层C22用于对卷积层C21的输出结果依次进行第二十二卷积操作和激活操作；
卷积层C23用于对卷积层C22的输出结果进行第二十三卷积操作；
残差层R用于对待去噪图像与卷积层C23的输出结果进行加和操作；
残差层R的输出结果为去噪后图像；
第六卷积操作为384个3×3、步长为1的卷积操作；
第七卷积操作、第八卷积操作、第二十一卷积操作和第二十二卷积操作均为4096个 3×3、步长为1的卷积操作；
第九卷积操作～第十一卷积操作和第十八卷积操作～第二十卷积操作均为16384个 3×3、步长为1的卷积操作；
第十二卷积操作～第十七卷积操作均为65536个3×3、步长为1的卷积操作；
第二十三卷积操作为192个3×3、步长为1的卷积操作；
第一下采样操作为8192个3×3、步长为2的卷积操作；
第二下采样操作为32768个3×3、步长为2的卷积操作；
第一上采样操作为32768个3×3、步长为2的反卷积操作；
第二上采样操作为8192个3×3、步长为2的反卷积操作；
激活操作采用ReLU函数。
作为优选的是，所述图像真实噪声去除系统还包括训练子网络；
训练子网络包括训练图像生成环节，训练图像生成环节基于输入的高清图像生成带有 仿真真实噪声的训练图像，训练图像用于训练图像真实噪声水平估计子网络和图像噪声去 除子网络；
训练网络还包括图像真实噪声水平估计损失重建环节，图像真实噪声水平估计损失重 建环节通过重建图像真实噪声水平估计损失来约束图像真实噪声水平估计子网络学习；
训练网络还包括图像去噪损失重建环节，图像去噪损失重建环节通过重建图像去噪损 失来约束图像噪声去除子网络学习；
训练网络还包括交替训练环节，交替训练环节交替采用带有真实噪声的自然图像和带 有仿真真实噪声的训练图像来训练图像真实噪声水平估计子网络和图像噪声去除子网络。
作为优选的是，训练图像生成环节基于图像真实噪声仿真模型实现；
图像真实噪声仿真模型定义为：
y＝f(M-1(M(L+n(L))))
式中，y为带有仿真真实噪声的训练图像，f为相机响应曲线，M-1表示将图像从Bayer 图像转换为sRGB图像，M表示将图像从sRGB图像转换为Bayer图像，L为照度，n(L) 为添加信号依赖的噪声；
L＝f-1(x)，式中，x为输入的高清图像；
n(L)＝ns(L)+nc，式中，ns(L)为信号相关噪声，nc为信号无关噪声；
ns(L)采用方差为的AWGN模型建模，nc采用方差为的AWGN模型建模。
作为优选的是，图像真实噪声水平估计损失重建环节基于非对称的图像真实噪声水平 估计损失函数实现；
图像真实噪声水平估计损失函数Lasy定义为：
式中，σ(yi)为图像真实噪声等级估计值，为图像真实噪声等级值，α为惩罚系数；
当时，0＜α＜0.5；
当时，0.5＜α＜1；
Ie<0表示当e＜0时，I＝1，否则I＝0。
作为优选的是，训练子网络采用Adam优化算法对图像真实噪声水平估计子网络和图 像噪声去除子网络进行端对端的训练。
作为优选的是，所述图像真实噪声去除系统还包括人工调节网络；
人工调节网络用于采用调节系数γ来调节σ(yi)，并将γ·σ(yi)输入至图像噪声去除 子网络；
当0＜γ＜1，图像噪声去除子网络能够输出纹理更加清晰的去噪后图像；
当1＜γ＜2，图像噪声去除子网络能够去除更多的噪声。
本发明所述的基于卷积神经网络的图像真实噪声去除系统，先通过图像真实噪声水平 估计子网络估计待去噪图像的真实噪声等级值，再通过图像噪声去除子网络，并根据待去 噪图像的真实噪声等级估计值对待去噪图像的真实噪声进行去除。与现有基于卷积神经网 络的图像去噪方法相比，本发明所述的基于卷积神经网络的图像真实噪声去除系统因引入 了真实噪声等级估计环节而具有更好的图像真实噪声去除效果。
附图说明
在下文中将基于实施例并参考附图来对本发明所述的基于卷积神经网络的图像真实 噪声去除系统进行更详细的描述，其中：
图1为实施例所述的基于卷积神经网络的图像真实噪声去除系统的结构框图；
图2为实施例提及的待去噪图像；
图3为实施例提及的去噪后图像。
具体实施方式
下面将结合附图对本发明所述的基于卷积神经网络的图像真实噪声去除系统作进一 步说明。
实施例：下面结合图1至图3详细地说明本实施例。
本实施例所述的基于卷积神经网络的图像真实噪声去除系统包括图像真实噪声水平 估计子网络和图像噪声去除子网络；
图像真实噪声水平估计子网络和图像噪声去除子网络均基于卷积神经网络实现；
图像真实噪声水平估计子网络将待去噪图像作为其输入，输出该图像的真实噪声等级 估计值；
图像噪声去除子网络将待去噪图像及其真实噪声等级估计值作为其输入，输出去噪后 图像。
本实施例的图像真实噪声水平估计子网络为前向浅层卷积神经网络。
本实施例的图像真实噪声水平估计子网络包括卷积层C1～卷积层C5；
卷积层C1用于对待去噪图像依次进行第一卷积操作和激活操作；
卷积层C2用于对卷积层C1的输出结果依次进行第二卷积操作和激活操作；
卷积层C3用于对卷积层C2的输出结果依次进行第三卷积操作和激活操作；
卷积层C4用于对卷积层C3的输出结果依次进行第四卷积操作和激活操作；
卷积层C5用于对卷积层C4的输出结果依次进行第五卷积操作和激活操作；
卷积层C5的输出结果为待去噪图像的真实噪声等级估计值；
第一卷积操作和第五卷积操作均为96个3×3、步长为1的卷积操作；
第二卷积操作～第四卷积操作均为1024个3×3、步长为1的卷积操作；
激活操作采用ReLU函数。
本实施例的图像噪声去除子网络为U型卷积神经网络。
本实施例的图像噪声去除子网络包括卷积层C6～卷积层C23、卷积层D1、卷积层D2、 反卷积层U1、反卷积层U2和残差层R；
卷积层C6用于对待去噪图像及其真实噪声等级估计值进行第六卷积操作和激活操 作；
卷积层C7用于对卷积层C6的输出结果依次进行第七卷积操作和激活操作；
卷积层C8用于对卷积层C7的输出结果依次进行第八卷积操作和激活操作；
卷积层D1用于对卷积层C8的输出结果进行第一下采样操作；
卷积层C9用于对卷积层D1的输出结果依次进行第九卷积操作和激活操作；
卷积层C10用于对卷积层C9的输出结果依次进行第十卷积操作和激活操作；
卷积层C11用于对卷积层C10的输出结果依次进行第十一卷积操作和激活操作；
卷积层D2用于对卷积层C11的输出结果进行第二下采样操作；
卷积层C12用于对卷积层D2的输出结果依次进行第十二卷积操作和激活操作；
卷积层C13用于对卷积层C12的输出结果依次进行第十三卷积操作和激活操作；
卷积层C14用于对卷积层C13的输出结果依次进行第十四卷积操作和激活操作；
卷积层C15用于对卷积层C14的输出结果依次进行第十五卷积操作和激活操作；
卷积层C16用于对卷积层C15的输出结果依次进行第十六卷积操作和激活操作；
卷积层C17用于对卷积层C16的输出结果依次进行第十七卷积操作和激活操作；
反卷积层U1用于对卷积层C17的输出结果进行第一上采样操作；
卷积层C18用于对卷积层C11的输出结果与反卷积层U1的输出结果的加和结果依次进行第十八卷积操作和激活操作；
卷积层C19用于对卷积层C18的输出结果依次进行第十九卷积操作和激活操作；
卷积层C20用于对卷积层C19的输出结果依次进行第二十卷积操作和激活操作；
反卷积层U2用于对卷积层C20的输出结果进行第二上采样操作；
卷积层C21用于对卷积层C8的输出结果与反卷积层U2的输出结果的加和结果依次进行第二十一卷积操作和激活操作；
卷积层C22用于对卷积层C21的输出结果依次进行第二十二卷积操作和激活操作；
卷积层C23用于对卷积层C22的输出结果进行第二十三卷积操作；
残差层R用于对待去噪图像与卷积层C23的输出结果进行加和操作；
残差层R的输出结果为去噪后图像；
第六卷积操作为384个3×3、步长为1的卷积操作；
第七卷积操作、第八卷积操作、第二十一卷积操作和第二十二卷积操作均为4096个 3×3、步长为1的卷积操作；
第九卷积操作～第十一卷积操作和第十八卷积操作～第二十卷积操作均为16384个 3×3、步长为1的卷积操作；
第十二卷积操作～第十七卷积操作均为65536个3×3、步长为1的卷积操作；
第二十三卷积操作为192个3×3、步长为1的卷积操作；
第一下采样操作为8192个3×3、步长为2的卷积操作；
第二下采样操作为32768个3×3、步长为2的卷积操作；
第一上采样操作为32768个3×3、步长为2的反卷积操作；
第二上采样操作为8192个3×3、步长为2的反卷积操作；
激活操作采用ReLU函数。
本实施例所述的基于卷积神经网络的图像真实噪声去除系统还包括训练子网络；
训练子网络包括训练图像生成环节，训练图像生成环节基于输入的高清图像生成带有 仿真真实噪声的训练图像，训练图像用于训练图像真实噪声水平估计子网络和图像噪声去 除子网络；
训练网络还包括图像真实噪声水平估计损失重建环节，图像真实噪声水平估计损失重 建环节通过重建图像真实噪声水平估计损失来约束图像真实噪声水平估计子网络学习；
训练网络还包括图像去噪损失重建环节，图像去噪损失重建环节通过重建图像去噪损 失来约束图像噪声去除子网络学习；
训练网络还包括交替训练环节，交替训练环节交替采用带有真实噪声的自然图像和带 有仿真真实噪声的训练图像来训练图像真实噪声水平估计子网络和图像噪声去除子网络。
本实施例的训练图像生成环节基于图像真实噪声仿真模型实现；
图像真实噪声仿真模型定义为：
y＝f(M-1(M(L+n(L))))
式中，y为带有仿真真实噪声的训练图像，f为相机响应曲线，M-1表示将图像从Bayer 图像转换为sRGB图像，M表示将图像从sRGB图像转换为Bayer图像，L为照度，n(L) 为添加信号依赖的噪声；
L＝f-1(x)，式中，x为输入的高清图像；
n(L)＝ns(L)+nc，式中，ns(L)为信号相关噪声，nc为信号无关噪声；
ns(L)采用方差为的AWGN模型建模，nc采用方差为的AWGN模型建模。
本实施例的图像真实噪声水平估计损失重建环节基于非对称的图像真实噪声水平估 计损失函数实现；
图像真实噪声水平估计损失函数Lasy定义为：
式中，σ(yi)为图像真实噪声等级估计值，为图像真实噪声等级值，α为惩罚系数；
当时，0＜α＜0.5；
当时，0.5＜α＜1；
Ie<0表示当e＜0时，I＝1，否则I＝0。
本实施例的图像去噪损失重建环节基于MSE函数实现。
本实施例的训练子网络采用Adam优化算法对图像真实噪声水平估计子网络和图像 噪声去除子网络进行端对端的训练。
本实施例所述的基于卷积神经网络的图像真实噪声去除系统还包括人工调节网络；
人工调节网络用于采用调节系数γ来调节σ(yi)，并将γ·σ(yi)输入至图像噪声去除 子网络；
当0＜γ＜1，图像噪声去除子网络能够输出纹理更加清晰的去噪后图像；
当1＜γ＜2，图像噪声去除子网络能够去除更多的噪声。
虽然在本文中参照了特定的实施方法来描述本发明，但是应该理解的是，这些实施例 仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修 改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。 应该理解的是，可以通过不同于原始权利要求所描述的方法来结合不同的从属权利要求和 本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述 实施例中。

Claims (10)

1.基于卷积神经网络的图像真实噪声去除系统，其特征在于，所述图像真实噪声去除系统包括图像真实噪声水平估计子网络和图像噪声去除子网络；
图像真实噪声水平估计子网络和图像噪声去除子网络均基于卷积神经网络实现；
图像真实噪声水平估计子网络将待去噪图像作为其输入，输出该图像的真实噪声等级估计值；
图像噪声去除子网络将待去噪图像及其真实噪声等级估计值作为其输入，输出去噪后图像。
2.如权利要求1所述的基于卷积神经网络的图像真实噪声去除系统，其特征在于，图像真实噪声水平估计子网络为前向浅层卷积神经网络。
3.如权利要求2所述的基于卷积神经网络的图像真实噪声去除系统，其特征在于，图像真实噪声水平估计子网络包括卷积层C1～卷积层C5；
卷积层C1用于对待去噪图像依次进行第一卷积操作和激活操作；
卷积层C2用于对卷积层C1的输出结果依次进行第二卷积操作和激活操作；
卷积层C3用于对卷积层C2的输出结果依次进行第三卷积操作和激活操作；
卷积层C4用于对卷积层C3的输出结果依次进行第四卷积操作和激活操作；
卷积层C5用于对卷积层C4的输出结果依次进行第五卷积操作和激活操作；
卷积层C5的输出结果为待去噪图像的真实噪声等级估计值；
第一卷积操作和第五卷积操作均为96个3×3、步长为1的卷积操作；
第二卷积操作～第四卷积操作均为1024个3×3、步长为1的卷积操作；
激活操作采用ReLU函数。
4.如权利要求3所述的基于卷积神经网络的图像真实噪声去除系统，其特征在于，图像噪声去除子网络为U型卷积神经网络。
5.如权利要求4所述的基于卷积神经网络的图像真实噪声去除系统，其特征在于，图像噪声去除子网络包括卷积层C6～卷积层C23、卷积层D1、卷积层D2、反卷积层U1、反卷积层U2和残差层R；
卷积层C6用于对待去噪图像及其真实噪声等级估计值进行第六卷积操作和激活操作；
卷积层C7用于对卷积层C6的输出结果依次进行第七卷积操作和激活操作；
卷积层C8用于对卷积层C7的输出结果依次进行第八卷积操作和激活操作；
卷积层D1用于对卷积层C8的输出结果进行第一下采样操作；
卷积层C9用于对卷积层D1的输出结果依次进行第九卷积操作和激活操作；
卷积层C10用于对卷积层C9的输出结果依次进行第十卷积操作和激活操作；
卷积层C11用于对卷积层C10的输出结果依次进行第十一卷积操作和激活操作；
卷积层D2用于对卷积层C11的输出结果进行第二下采样操作；
卷积层C12用于对卷积层D2的输出结果依次进行第十二卷积操作和激活操作；
卷积层C13用于对卷积层C12的输出结果依次进行第十三卷积操作和激活操作；
卷积层C14用于对卷积层C13的输出结果依次进行第十四卷积操作和激活操作；
卷积层C15用于对卷积层C14的输出结果依次进行第十五卷积操作和激活操作；
卷积层C16用于对卷积层C15的输出结果依次进行第十六卷积操作和激活操作；
卷积层C17用于对卷积层C16的输出结果依次进行第十七卷积操作和激活操作；
反卷积层U1用于对卷积层C17的输出结果进行第一上采样操作；
卷积层C18用于对卷积层C11的输出结果与反卷积层U1的输出结果的加和结果依次进行第十八卷积操作和激活操作；
卷积层C19用于对卷积层C18的输出结果依次进行第十九卷积操作和激活操作；
卷积层C20用于对卷积层C19的输出结果依次进行第二十卷积操作和激活操作；
反卷积层U2用于对卷积层C20的输出结果进行第二上采样操作；
卷积层C21用于对卷积层C8的输出结果与反卷积层U2的输出结果的加和结果依次进行第二十一卷积操作和激活操作；
卷积层C22用于对卷积层C21的输出结果依次进行第二十二卷积操作和激活操作；
卷积层C23用于对卷积层C22的输出结果进行第二十三卷积操作；
残差层R用于对待去噪图像与卷积层C23的输出结果进行加和操作；
残差层R的输出结果为去噪后图像；
第六卷积操作为384个3×3、步长为1的卷积操作；
第七卷积操作、第八卷积操作、第二十一卷积操作和第二十二卷积操作均为4096个3×3、步长为1的卷积操作；
第九卷积操作～第十一卷积操作和第十八卷积操作～第二十卷积操作均为16384个3×3、步长为1的卷积操作；
第十二卷积操作～第十七卷积操作均为65536个3×3、步长为1的卷积操作；
第二十三卷积操作为192个3×3、步长为1的卷积操作；
第一下采样操作为8192个3×3、步长为2的卷积操作；
第二下采样操作为32768个3×3、步长为2的卷积操作；
第一上采样操作为32768个3×3、步长为2的反卷积操作；
第二上采样操作为8192个3×3、步长为2的反卷积操作；
激活操作采用ReLU函数。
6.如权利要求5所述的基于卷积神经网络的图像真实噪声去除系统，其特征在于，所述图像真实噪声去除系统还包括训练子网络；
训练子网络包括训练图像生成环节，训练图像生成环节基于输入的高清图像生成带有仿真真实噪声的训练图像，训练图像用于训练图像真实噪声水平估计子网络和图像噪声去除子网络；
训练网络还包括图像真实噪声水平估计损失重建环节，图像真实噪声水平估计损失重建环节通过重建图像真实噪声水平估计损失来约束图像真实噪声水平估计子网络学习；
训练网络还包括图像去噪损失重建环节，图像去噪损失重建环节通过重建图像去噪损失来约束图像噪声去除子网络学习；
训练网络还包括交替训练环节，交替训练环节交替采用带有真实噪声的自然图像和带有仿真真实噪声的训练图像来训练图像真实噪声水平估计子网络和图像噪声去除子网络。
7.如权利要求6所述的基于卷积神经网络的图像真实噪声去除系统，其特征在于，训练图像生成环节基于图像真实噪声仿真模型实现；
图像真实噪声仿真模型定义为：
y＝f(M-1(M(L+n(L))))
式中，y为带有仿真真实噪声的训练图像，f为相机响应曲线，M-1表示将图像从Bayer图像转换为sRGB图像，M表示将图像从sRGB图像转换为Bayer图像，L为照度，n(L)为添加信号依赖的噪声；
L＝f-1(x)，式中，x为输入的高清图像；
n(L)＝ns(L)+nc，式中，ns(L)为信号相关噪声，nc为信号无关噪声；
ns(L)采用方差为的AWGN模型建模，nc采用方差为的AWGN模型建模。
8.如权利要求7所述的基于卷积神经网络的图像真实噪声去除系统，其特征在于，图像真实噪声水平估计损失重建环节基于非对称的图像真实噪声水平估计损失函数实现；
图像真实噪声水平估计损失函数Lasy定义为：
式中，σ(yi)为图像真实噪声等级估计值，为图像真实噪声等级值，α为惩罚系数；
当时，0＜α＜0.5；
当时，0.5＜α＜1；
Ie<0表示当e＜0时，I＝1，否则I＝0。
9.如权利要求8所述的基于卷积神经网络的图像真实噪声去除系统，其特征在于，训练子网络采用Adam优化算法对图像真实噪声水平估计子网络和图像噪声去除子网络进行端对端的训练。
10.如权利要求9所述的基于卷积神经网络的图像真实噪声去除系统，其特征在于，所述图像真实噪声去除系统还包括人工调节网络；
人工调节网络用于采用调节系数γ来调节σ(yi)，并将γ·σ(yi)输入至图像噪声去除子网络；
当0＜γ＜1，图像噪声去除子网络能够输出纹理更加清晰的去噪后图像；
当1＜γ＜2，图像噪声去除子网络能够去除更多的噪声。
CN201811040207.6A 2018-09-06 2018-09-06 基于卷积神经网络的图像真实噪声去除系统 Pending CN109285129A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811040207.6A CN109285129A (zh) 2018-09-06 2018-09-06 基于卷积神经网络的图像真实噪声去除系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811040207.6A CN109285129A (zh) 2018-09-06 2018-09-06 基于卷积神经网络的图像真实噪声去除系统

Publications (1)

Publication Number Publication Date
CN109285129A true CN109285129A (zh) 2019-01-29

Family

ID=65183698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811040207.6A Pending CN109285129A (zh) 2018-09-06 2018-09-06 基于卷积神经网络的图像真实噪声去除系统

Country Status (1)

Country Link
CN (1) CN109285129A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110189354A (zh) * 2019-04-18 2019-08-30 北京迈格威科技有限公司 图像处理方法与图像处理器、图像处理设备及介质
CN110544234A (zh) * 2019-07-30 2019-12-06 北京达佳互联信息技术有限公司 图像噪声检测方法、装置、电子设备及存储介质
CN110852966A (zh) * 2019-11-04 2020-02-28 西北工业大学 基于深度卷积神经网络的图像噪声估计方法
CN111028171A (zh) * 2019-12-06 2020-04-17 北京金山云网络技术有限公司 确定图像噪声等级的方法、装置和服务器
CN111091548A (zh) * 2019-12-12 2020-05-01 哈尔滨市科佳通用机电股份有限公司 基于深度学习的铁路货车承载鞍错位故障图像识别方法及系统
CN111192211A (zh) * 2019-12-24 2020-05-22 浙江大学 一种基于单个深度神经网络的多噪声类型盲去噪方法
CN111669522A (zh) * 2019-03-05 2020-09-15 佳能株式会社 图像处理方法、装置、系统、存储介质和学习模型制造法
WO2020187423A1 (en) * 2019-03-21 2020-09-24 Huawei Technologies Co., Ltd. Noise estimation
CN111738956A (zh) * 2020-06-24 2020-10-02 哈尔滨工业大学 一种基于特征调制的图像去噪系统
CN111932474A (zh) * 2020-07-30 2020-11-13 深圳市格灵人工智能与机器人研究院有限公司 基于深度学习的图像去噪方法
CN112634175A (zh) * 2021-01-05 2021-04-09 西南石油大学 基于双重卷积网络的手机拍摄图像去噪方法
CN113034408A (zh) * 2021-04-30 2021-06-25 广东工业大学 一种红外热成像深度学习图像去噪方法及装置
WO2022126809A1 (zh) * 2020-12-15 2022-06-23 电子科技大学中山学院 一种以错因强化方式动态优化损失函数的方法
CN114663307A (zh) * 2022-03-22 2022-06-24 哈尔滨工业大学 基于不确定性网络的集成图像去噪系统
WO2022143812A1 (zh) * 2020-12-29 2022-07-07 北京航空航天大学合肥创新研究院 一种图像复原方法、装置、图像复原设备及存储介质
CN114764803A (zh) * 2022-06-16 2022-07-19 深圳深知未来智能有限公司 一种基于真实噪场景的噪声评估方法、装置及可存储介质
WO2023284236A1 (zh) * 2021-07-15 2023-01-19 浙江宇视科技有限公司 图像盲去噪方法、装置、电子设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHI GUO等: "Toward Convolutional Blind Denoising of Real Photographs", 《ARXIV》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111669522A (zh) * 2019-03-05 2020-09-15 佳能株式会社 图像处理方法、装置、系统、存储介质和学习模型制造法
WO2020187423A1 (en) * 2019-03-21 2020-09-24 Huawei Technologies Co., Ltd. Noise estimation
CN110189354A (zh) * 2019-04-18 2019-08-30 北京迈格威科技有限公司 图像处理方法与图像处理器、图像处理设备及介质
CN110189354B (zh) * 2019-04-18 2021-12-28 北京迈格威科技有限公司 图像处理方法与图像处理器、图像处理设备及介质
CN110544234A (zh) * 2019-07-30 2019-12-06 北京达佳互联信息技术有限公司 图像噪声检测方法、装置、电子设备及存储介质
CN110852966A (zh) * 2019-11-04 2020-02-28 西北工业大学 基于深度卷积神经网络的图像噪声估计方法
CN110852966B (zh) * 2019-11-04 2022-04-22 西北工业大学 基于深度卷积神经网络的图像噪声估计方法
CN111028171A (zh) * 2019-12-06 2020-04-17 北京金山云网络技术有限公司 确定图像噪声等级的方法、装置和服务器
CN111028171B (zh) * 2019-12-06 2023-04-18 北京金山云网络技术有限公司 确定图像噪声等级的方法、装置和服务器
CN111091548A (zh) * 2019-12-12 2020-05-01 哈尔滨市科佳通用机电股份有限公司 基于深度学习的铁路货车承载鞍错位故障图像识别方法及系统
CN111192211A (zh) * 2019-12-24 2020-05-22 浙江大学 一种基于单个深度神经网络的多噪声类型盲去噪方法
CN111192211B (zh) * 2019-12-24 2022-07-01 浙江大学 一种基于单个深度神经网络的多噪声类型盲去噪方法
CN111738956A (zh) * 2020-06-24 2020-10-02 哈尔滨工业大学 一种基于特征调制的图像去噪系统
CN111932474A (zh) * 2020-07-30 2020-11-13 深圳市格灵人工智能与机器人研究院有限公司 基于深度学习的图像去噪方法
WO2022126809A1 (zh) * 2020-12-15 2022-06-23 电子科技大学中山学院 一种以错因强化方式动态优化损失函数的方法
WO2022143812A1 (zh) * 2020-12-29 2022-07-07 北京航空航天大学合肥创新研究院 一种图像复原方法、装置、图像复原设备及存储介质
CN112634175A (zh) * 2021-01-05 2021-04-09 西南石油大学 基于双重卷积网络的手机拍摄图像去噪方法
CN113034408B (zh) * 2021-04-30 2022-08-12 广东工业大学 一种红外热成像深度学习图像去噪方法及装置
CN113034408A (zh) * 2021-04-30 2021-06-25 广东工业大学 一种红外热成像深度学习图像去噪方法及装置
WO2023284236A1 (zh) * 2021-07-15 2023-01-19 浙江宇视科技有限公司 图像盲去噪方法、装置、电子设备和存储介质
CN114663307A (zh) * 2022-03-22 2022-06-24 哈尔滨工业大学 基于不确定性网络的集成图像去噪系统
CN114764803A (zh) * 2022-06-16 2022-07-19 深圳深知未来智能有限公司 一种基于真实噪场景的噪声评估方法、装置及可存储介质
CN114764803B (zh) * 2022-06-16 2022-09-20 深圳深知未来智能有限公司 一种基于真实噪场景的噪声评估方法、装置及可存储介质

Similar Documents

Publication Publication Date Title
CN109285129A (zh) 基于卷积神经网络的图像真实噪声去除系统
CN108520504A (zh) 一种基于生成对抗网络端到端的模糊图像盲复原方法
CN109300090A (zh) 一种基于亚像素和条件对抗生成网络的单幅图像去雾方法
CN108765338A (zh) 基于卷积自编码卷积神经网络的空间目标图像复原方法
CN110223259A (zh) 一种基于生成式对抗网络的道路交通模糊图像增强方法
CN109035189B (zh) 基于柯西模糊函数的红外与弱可见光图像融合方法
CN111161360B (zh) 基于Retinex理论的端到端网络的图像去雾方法
CN111723701B (zh) 一种水中目标识别方法
CN110517203B (zh) 一种基于参考图像重建的去雾方法
CN110634108A (zh) 一种基于元-循环一致性对抗网络的复合降质网络直播视频增强方法
CN111223062A (zh) 基于生成对抗网络的图像去模糊方法
CN109993804A (zh) 一种基于条件生成对抗网络的道路场景去雾方法
CN109410144A (zh) 一种基于深度学习的端到端图像去雾处理方法
CN111986108A (zh) 一种基于生成对抗网络的复杂海空场景图像去雾方法
CN108564166A (zh) 基于带对称跨层连接的卷积神经网络半监督特征学习方法
CN106204482A (zh) 基于加权稀疏的混合噪声去除方法
CN106791273A (zh) 一种结合帧间信息的视频盲复原方法
CN107833182A (zh) 基于特征提取的红外图像超分辨率重建方法
CN112598602A (zh) 一种基于掩码的深度学习视频去摩尔纹方法
CN110647891A (zh) 基于cnn和自编码器时序数据特征自动提取方法及系统
CN113436101A (zh) 基于高效通道注意力机制的龙格库塔模块去雨的方法
CN110163489B (zh) 一种戒毒运动锻炼成效评价方法
CN116433518A (zh) 一种基于改进Cycle-Dehaze神经网络的火灾图像烟雾去除方法
CN116228550A (zh) 一种基于生成对抗网络的图像自增强去雾算法
CN115619677A (zh) 一种基于改进的CycleGAN的图像去雾方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190129

RJ01 Rejection of invention patent application after publication