CN116385280B - 一种图像降噪系统、方法及降噪神经网络训练方法 - Google Patents

一种图像降噪系统、方法及降噪神经网络训练方法 Download PDF

Info

Publication number
CN116385280B
CN116385280B CN202310027337.0A CN202310027337A CN116385280B CN 116385280 B CN116385280 B CN 116385280B CN 202310027337 A CN202310027337 A CN 202310027337A CN 116385280 B CN116385280 B CN 116385280B
Authority
CN
China
Prior art keywords
image
noise
residual
noise reduction
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310027337.0A
Other languages
English (en)
Other versions
CN116385280A (zh
Inventor
周杰旻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aixin Yuanzhi Semiconductor Shanghai Co Ltd
Original Assignee
Aixin Yuanzhi Semiconductor Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aixin Yuanzhi Semiconductor Shanghai Co Ltd filed Critical Aixin Yuanzhi Semiconductor Shanghai Co Ltd
Priority to CN202310027337.0A priority Critical patent/CN116385280B/zh
Publication of CN116385280A publication Critical patent/CN116385280A/zh
Application granted granted Critical
Publication of CN116385280B publication Critical patent/CN116385280B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration by non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种图像降噪系统、方法及降噪神经网络训练方法，涉及图像处理技术领域。采用本申请提供的图像降噪系统，降噪神经网络不直接输出降噪后的图像，而是输出n张残差图像，每一残差图像的像素值为不同频段的噪声的负值，即降噪神经网络输出不同频段的噪声的残差。通过相应配置不同频段的残差对应衰减因子，上述残差乘上各自对应的衰减因子，再将该残差加回降噪前的图像，得到最终的降噪后的图像。由于衰减因子为相应配置，可以根据需求对最终降噪图像的噪声形态进行控制，从而实现对多种不同的应用场景进行适配。

Description

一种图像降噪系统、方法及降噪神经网络训练方法
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种图像降噪系统、方法及降噪神经网络训练方法。
背景技术
图像降噪是指利用特定的处理手段，去除图像中的噪声，估计并恢复出图像的真实信号值。近年来，利用神经网络训练，进行图像降噪的技术越来越普遍，该技术的优势在于克服了传统人工设计的降噪算法的一些缺点，例如降噪后的图像模糊，降噪效果不够明显等。
神经网络的训练依赖大量的训练数据集，以及复杂庞大的模型结构，如此的复杂度通常使得训练中的人为干预变得不可能或者结果无法预估。因此，常见的降噪神经网络都是“端到端”的结构。所谓“端到端”的结构，即降噪神经网络的输入为降噪前的图像，输出为降噪后的图像。
实际的应用中通常对噪声的形态有比较具体的要求，并且，这种对噪声形态的要求对不同的应用，不同的场景来说也是各不相同的，例如：对于消费电子类的相机用户，通常会期望降噪后的图像中依然保留一部分高频噪声，使得整体的图像看上去更有颗粒感；而对于安防监控类的应用，通常会期待降噪后的图像干净，没有多与的噪声。
然而由于现有的降噪神经网络是一个“端到端”的降噪网络，无法根据需求对中间的计算过程进行控制或者调参，导致图像降噪的结果完全由网络来决定，降噪后的噪声形态不可控，不能适配多种不同的应用不同的场景中。
发明内容
本申请实施例的目的在于提供一种图像降噪系统、方法及降噪神经网络训练方法，用以解决现有的降噪方案，无法人为对中间的计算过程进行控制或者调参，导致图像降噪的结果完全由网络来决定，降噪后的噪声形态不可控，不能适配多种不同的应用不同的场景中的问题。
本申请实施例提供的一种图像降噪系统，包括：
神经网络降噪模块，用于利用训练后的降噪神经网络模型对待处理图像进行降噪处理，并得到n张残差图像；其中，每一残差图像的像素值为不同频段的噪声的负值；
降噪后处理模块，用于将每一残差图像与对应的衰减因子相乘，将所有残差图像与对应衰减因子相乘的结果与待处理图像叠加，得到降噪图像。
上述技术方案中，降噪神经网络不直接输出降噪后的图像，而是输出n张残差图像，每一残差图像的像素值为不同频段的噪声的负值，即降噪神经网络输出不同频段的噪声的残差。通过相应配置不同频段的残差对应衰减因子，上述残差乘上各自对应的衰减因子，再将该残差加回降噪前的图像，得到最终的降噪后的图像。由于衰减因子为相应配置，可以根据需求对最终降噪图像的噪声形态进行控制(例如通过人工进行人为的控制)，图像降噪系统从而实现对多种不同的应用场景进行适配。
在一些可选的实施方式中，降噪神经网络模型包括n个缩小层和n个残差生成层；其中，每一缩小层用于控制残差图像的频段，每一残差生成层包括至少一个卷积层和激活层。
在一些可选的实施方式中，还包括：
图像传感器，用于通过镜头的光信号转换为数字信号并进行成像，得到原始图像；
图像前处理模块，用于对原始图像进行预处理，得到待处理图像；其中，预处理包括黑电平矫正、坏点矫正、镜头阴影矫正、白平衡矫正和图像位宽压缩中的至少一个。
上述技术方案中，图像传感器，通常为半导体器件，常见的有CMOS图像传感器，CCD图像传感器等，其功能是将通过镜头的光信号转换为数字信号，输入至ISP(Image SignalProcessing，图像信号处理)进行成像。图像前处理模块，通常是半导体集成电路，其功能是对图像进行一些预处理，例如黑电平矫正，坏点矫正，镜头阴影矫正，白平衡矫正，图像位宽压缩等，图像前处理模块的输出图像是一张带有噪声的图像。
在一些可选的实施方式中，还包括：
图像后处理模块，用于对降噪图像进行矫正处理，其中，矫正处理包括颜色矫正、锐化和畸变矫正中的至少一个。
上述技术方案中，图像后处理模块，通常是半导体集成电路，其功能是将降噪后处理模块输出的降噪图像进行必要的图像处理，进行进一步的成像，上述处理包括颜色矫正，锐化，畸变矫正等。
在一些可选的实施方式中，还包括：
存储模块，用于存储待处理图像和所有残差图像。
上述技术方案中，存储模块，通常是DRAM，SRAM等存储器件，其功能为保存处理后的图像，如待处理图像、残差图像等。
本申请实施例提供的一种降噪神经网络模型的训练方法，包括：
获取没有噪声的图像作为目标图像；
将目标图像与噪声图像叠加，得到具有噪声的输入图像；
将输入图像输入降噪神经网络模型，得到n张训练残差图像；
根据n张训练残差图像与噪声图像对应的噪声分量，得到整体误差；
判断整体误差是否达到收敛条件，若否，则通过参数的梯度反向传播，迭代更新降噪神经网络模型中的参数，直到达到收敛条件，则训练结束，得到训练后的降噪神经网络模型。
其中，收敛条件包括整体误差的值足够小或者训练次数到达上限阈值等。
上述技术方案中，降噪神经网络模型的输出不是降噪后的图像，而是不同频段的噪声的残差，在面对不同应用场景时，可以根据实际需要设置这些残差对应的衰减因子，以控制噪声的形态。
在一些可选的实施方式中，根据n张训练残差图像与噪声图像对应的频段图像，得到整体误差，包括：
对噪声图像进行图像分频处理，得到n个频段的噪声分量；
将每一训练残差图像与对应频段的噪声分量叠加，得到每一频段的误差值；
根据所有频段的误差值，得到整体误差。
上述技术方案中，在降噪神经网络训练时，利用图像分频技术创造训练数据对，利用上述数据对进行网络训练，使网络不直接输出降噪后的图像，而是输出不同频段的噪声的残差。其中，图像分频技术可以采用构建图像金字塔、构建DoG(Difference ofGaussian)、傅里叶变换等。
在一些可选的实施方式中，对噪声图像进行图像分频处理，得到n个频段的噪声分量，包括：
对噪声图像进行高斯滤波，得到滤波后图像；
将噪声图像与滤波后图像做差，得到第一频段的噪声分量；
将上一频段的噪声分量进行高斯滤波，得到下一滤波后图像，将上一频段的噪声分量与下一滤波后图像做差，得到下一频段的噪声分量，重复该步骤，直到得到第n频段的噪声分量。
在一些可选的实施方式中，根据所有频段的误差值，得到整体误差，包括：
根据所有频段的误差值，计算均方误差，得到整体误差；
或，根据所有频段的误差值，计算峰值信噪比，得到整体误差。
本申请实施例提供的一种图像降噪方法，包括：
利用训练后的降噪神经网络模型对待处理图像进行降噪处理，并得到n张残差图像；其中，每一残差图像的像素值为不同频段的噪声的负值；
将每一残差图像与对应的衰减因子相乘，将所有残差图像与对应衰减因子相乘的结果与待处理图像叠加，得到降噪图像。
上述技术方案中，降噪神经网络不直接输出降噪后的图像，而是输出n张残差图像，每一残差图像的像素值为不同频段的噪声的负值，即降噪神经网络输出不同频段的噪声的残差。通过相应配置不同频段的残差对应衰减因子，上述残差乘上各自对应的衰减因子，再将该残差加回降噪前的图像，得到最终的降噪后的图像。由于衰减因子为相应配置，可以根据需求对最终降噪图像的噪声形态进行控制，图像降噪方法从而实现对多种不同的应用场景进行适配。
本申请实施例提供的一种电子设备，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时执行如以上任一所述的图像降噪方法或降噪神经网络训练方法。
本申请实施例提供的一种计算机可读存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如以上任一所述的图像降噪方法或降噪神经网络训练方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种图像降噪系统功能模块图；
图2为本申请实施例提供的一种降噪神经网络模型示意图；
图3为本申请另一实施例提供的图像降噪系统的功能模块图；
图4为本申请实施例提供的一种降噪神经网络模型的训练方法步骤流程图；
图5为本申请实施例提供的一种图像降噪方法步骤流程图；
图6为本申请实施例提供的电子设备的一种结构示意图。
图标：1-图像传感器，2-图像前处理模块，3-神经网络降噪模块，4-降噪后处理模块，5-图像后处理模块，6-存储模块，71-处理器，72-存储器，73-通信接口，74-通信总线。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
请参照图1，图1为本申请实施例提供的一种图像降噪系统功能模块图，该系统包括神经网络降噪模块3和降噪后处理模块4。
其中，神经网络降噪模块3，用于利用训练后的降噪神经网络模型对待处理图像进行降噪处理，并得到n张残差图像；其中，每一残差图像的像素值为不同频段的噪声的负值；降噪后处理模块4，用于将每一残差图像与对应的衰减因子相乘，将所有残差图像与对应衰减因子相乘的结果与待处理图像叠加，得到降噪图像。
本申请实施例中，降噪神经网络不直接输出降噪后的图像，而是输出n张残差图像，每一残差图像的像素值为不同频段的噪声的负值，即降噪神经网络输出不同频段的噪声的残差。通过相应配置不同频段的残差对应衰减因子，上述残差乘上各自对应的衰减因子，再将该残差加回降噪前的图像，得到最终的降噪后的图像。由于衰减因子为相应配置，可以根据需求对最终降噪图像的噪声形态进行控制，图像降噪系统从而实现对多种不同的应用场景进行适配。
其中，降噪神经网络模型包括n个缩小层和n个残差生成层；其中，每一缩小层用于控制残差图像的频段，每一残差生成层包括至少一个卷积层和激活层。在一个可能的实施例中，降噪神经网络模型如图2所示，该降噪神经网络包括n个缩小层和n个残差生成层，每个残差生成层输出一个残差图像，每个缩小层控制对应残差图像的频段，每个残差生成层包括一个卷积层和一个激活层。
请参照图3，图3为本申请另一实施例提供的图像降噪系统的功能模块图，该系统中除了神经网络降噪模块3和降噪后处理模块4，还包括了图像传感器1、图像前处理模块2、图像后处理模块5和存储模块6。
其中，图像传感器1，用于通过镜头的光信号转换为数字信号并进行成像，得到原始图像；本申请实施例中，图像传感器1，通常为半导体器件，常见的有CMOS图像传感器1，CCD图像传感器1等，其功能是将通过镜头的光信号转换为数字信号，输入至ISP(ImageSignal Processing，图像信号处理)进行成像。
图像前处理模块2，用于对原始图像进行预处理，得到待处理图像；其中，预处理包括黑电平矫正、坏点矫正、镜头阴影矫正、白平衡矫正和图像位宽压缩中的至少一个。本实施例中图像前处理模块2，通常是半导体集成电路，其功能是对图像进行一些预处理，例如黑电平矫正，坏点矫正，镜头阴影矫正，白平衡矫正，图像位宽压缩等，图像前处理模块2的输出图像是一张带有噪声的图像。
图像后处理模块5，用于对降噪图像进行矫正处理，其中，矫正处理包括颜色矫正、锐化和畸变矫正中的至少一个。本申请实施例中，图像后处理模块5，通常是半导体集成电路，其功能是将降噪后处理模块4输出的降噪图像进行必要的图像处理，进行进一步的成像，上述处理包括颜色矫正，锐化，畸变矫正等。
存储模块6，用于存储待处理图像和所有残差图像。存储模块6，通常是DRAM(动态随机存取存储器)，SRAM(静态随机存取存储器)等存储器件，其功能为保存处理后的图像，如待处理图像、残差图像等。
请参照图4，图4为本申请实施例提供的一种降噪神经网络模型的训练方法步骤流程图，包括：
步骤101、获取没有噪声的图像作为目标图像；
步骤102、将目标图像与噪声图像叠加，得到具有噪声的输入图像；
步骤103、将输入图像输入降噪神经网络模型，得到n张训练残差图像；
步骤104、根据n张训练残差图像与噪声图像对应的噪声分量，得到整体误差；
步骤105、判断整体误差是否达到收敛条件，若否，则通过参数的梯度反向传播，迭代更新降噪神经网络模型中的参数，直到达到收敛条件，则训练结束，得到训练后的降噪神经网络模型。
其中，收敛条件包括整体误差的值足够小或者训练次数到达上限阈值等。
本申请实施例中，降噪神经网络模型的输出不是降噪后的图像，而是不同频段的噪声的残差，在面对不同应用场景时，可以根据实际需要设置这些残差对应的衰减因子，以控制噪声的形态。
在一些可选的实施方式中，根据n张训练残差图像与噪声图像对应的频段图像，得到整体误差，包括：对噪声图像进行图像分频处理，得到n个频段的噪声分量；将每一训练残差图像与对应频段的噪声分量叠加，得到每一频段的误差值；根据所有频段的误差值，得到整体误差。
本申请实施例中，在降噪神经网络训练时，利用图像分频技术创造训练数据对，利用上述数据对进行网络训练，使网络不直接输出降噪后的图像，而是输出不同频段的噪声的残差。其中，图像分频技术可以采用构建图像金字塔、构建DoG(Difference ofGaussian)、傅里叶变换等。
在一些可选的实施方式中，对噪声图像进行图像分频处理，得到n个频段的噪声分量，包括：对噪声图像进行高斯滤波，得到滤波后图像；将噪声图像与滤波后图像做差，得到第一频段的噪声分量；将上一频段的噪声分量进行高斯滤波，得到下一滤波后图像，将上一频段的噪声分量与下一滤波后图像做差，得到下一频段的噪声分量，重复该步骤，直到得到第n频段的噪声分量。
在一些可选的实施方式中，根据所有频段的误差值，得到整体误差，包括：根据所有频段的误差值，计算均方误差，得到整体误差；或，根据所有频段的误差值，计算峰值信噪比，得到整体误差。
在一个具体的实施例中，降噪神经网络模型的训练包括以下步骤：
S1、算法设计人员准备一系列没有噪声的图像，作为训练的目标图像集DATA0。以DATA0中的一张图像DATA0_0为例，对其操作步骤进行说明。
通过人工增加噪声，构成带噪声的图像DATA0_0_NS。这里噪声的类型可以是均匀分布的噪声，高斯分布的噪声，泊松分布的噪声等，噪声类型不限。例如，假设图像DATA0_0的高度为H个像素，宽度为W个像素，则可以生成一张同样高度为H个像素，宽度为W个像素的图像NS_0，图像的每个像素的像素值为-0.5×NLV～0.5×NLV的随机数。其中NLV为噪声幅度，可以根据不同的应用进行调整。将无噪声图像DATA0_0和NS_0相加，就可以完成噪声图像DATA0_0_NS的构建。
S2、通过搭建好的神经网络结构，对输入图像DATA0_0_NS进行推理(降噪)，得到n张残差图像RES0_1，...，RES0_n，n代表可控制的频段的个数。上述残差图像的像素值为神经网络推理得到的噪声的负值，因此，将此残差加回噪声图像DATA0_0_NS，即可得到降噪图像。残差图像的格式、大小与上述神经网络降噪模块3输出的噪声残差图像相同。
S3、通过图像分频处理，对噪声图像NS_0进行分解。得到n张噪声的残差图像RES0_1，...，RES0_n。此处的图像分频方法采用构建DoG，具体包括：
S3.1将NS_0进行高斯滤波，得到滤波后图像NS_1_G1；
S3.2将NS_0减去NS_0_G1，得到第一频段的噪声分量NS_F1＝NS_0-NS_0_G1；
S3.3将NS_0_G1进行高斯滤波，得到滤波后图像NS_0_G2；
S3.4将NS_0_G1减去NS_0_G2，得到第二频段的噪声分量NS_F2＝NS_0_G1-NS_0_G2；
重复S3.3～S3.4的步骤，直到：
S3.5将NS_0_Gn-1进行高斯滤波，得到滤波后图像NS_0_Gn；
S3.6将NS_0_Gn-1减去NS_0_Gn，得到第n频段的噪声分量NS_Fn＝NS_0_Gn-1-NS_0_Gn；
通过上述方法即可构建n个频段的噪声图像。
S4、通过计算RES0_1，...，RES0_n和NS_F1，...，NS_Fn对应相加的值，来计算的到整体的误差E，误差计算的方法可使用MSE(均方误差)、PSNR(峰值信噪比)等。
S5、判断是否训练达到收敛的条件，如果已经达到则停止训练；如果没有达到收敛的条件，则通过参数的梯度反向传播，对S2中的参数进行调整。
重复S2～S6的步骤直至训练收敛，结束训练，得到训练后的降噪神经网络模型。
请参照图5，图5为本申请实施例提供的一种图像降噪方法步骤流程图，具体包括：
步骤201、利用训练后的降噪神经网络模型对待处理图像进行降噪处理，并得到n张残差图像；其中，每一残差图像的像素值为不同频段的噪声的负值；
步骤202、将每一残差图像与对应的衰减因子相乘，将所有残差图像与对应衰减因子相乘的结果与待处理图像叠加，得到降噪图像。其中，残差图像RES1，...，RESn，乘以各自的衰减因子A1，...，An，得到降噪图像IMG1：
IMG1＝IMG0+A1×RES1+A2×RES2+...+An×RESn
本申请实施例中，降噪神经网络不直接输出降噪后的图像，而是输出n张残差图像，每一残差图像的像素值为不同频段的噪声的负值，即降噪神经网络输出不同频段的噪声的残差。通过相应配置不同频段的残差对应衰减因子，上述残差乘上各自对应的衰减因子，再将该残差加回降噪前的图像，得到最终的降噪后的图像。由于衰减因子为相应配置，可以根据需求对最终降噪图像的噪声形态进行控制，图像降噪方法从而实现对多种不同的应用场景进行适配。
图6示出了本申请实施例提供的电子设备的一种可能的结构。参照图6，电子设备包括：处理器71、存储器72和通信接口73，这些组件通过通信总线74和/或其他形式的连接机构(未示出)互连并相互通讯。
其中，存储器72包括一个或多个(图中仅示出一个)，其可以是，但不限于，随机存取存储器(Random Access Memory，简称RAM)，只读存储器(Read Only Memory，简称ROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，电可擦除可编程只读存储器(Electric Erasable Programmable Read-Only Memory，简称EEPROM)等。处理器71以及其他可能的组件可对存储器72进行访问，读和/或写其中的数据。
处理器71包括一个或多个(图中仅示出一个)，其可以是一种集成电路芯片，具有信号的处理能力。上述的处理器71可以是通用处理器，包括中央处理器(CentralProcessing Unit，简称CPU)、微控制单元(Micro Controller Unit，简称MCU)、网络处理器(Network Processor，简称NP)或者其他常规处理器；还可以是专用处理器，包括神经网络处理器(Neural-network Processing Unit，简称NPU)、图形处理器(Graphics ProcessingUnit，简称GPU)、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuits，简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。并且，在处理器71为多个时，其中的一部分可以是通用处理器，另一部分可以是专用处理器。
通信接口73包括一个或多个(图中仅示出一个)，可以用于和其他设备进行直接或间接地通信，以便进行数据的交互。通信接口73可以包括进行有线和/或无线通信的接口。
在存储器72中可以存储一个或多个计算机程序指令，处理器71可以读取并运行这些计算机程序指令，以实现本申请实施例提供的方法。
可以理解的，图6所示的结构仅为示意，电子设备还可以包括比图6中所示更多或者更少的组件，或者具有与图6所示不同的结构。图6中所示的各组件可以采用硬件、软件或其组合实现。电子设备可能是实体设备，例如PC机、笔记本电脑、平板电脑、手机、服务器、嵌入式设备等，也可能是虚拟设备，例如虚拟机、虚拟化容器等。并且，电子设备也不限于单台设备，也可以是多台设备的组合或者大量设备构成的集群。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被计算机的处理器读取并运行时，执行本申请实施例提供的方法。例如，计算机可读存储介质可以实现为图6中电子设备中的存储器72。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (7)

1.一种图像降噪系统，其特征在于，包括：
神经网络降噪模块，用于利用训练后的降噪神经网络模型对待处理图像进行降噪处理，并得到n张残差图像；其中，每一残差图像的像素值为不同频段的噪声的负值；
降噪后处理模块，用于将每一残差图像与对应的衰减因子相乘，将所有残差图像与对应衰减因子相乘的结果与待处理图像叠加，得到降噪图像；
所述降噪神经网络模型包括n个缩小层和n个残差生成层，每个残差生成层输出一个残差图像；其中，每一缩小层用于控制残差图像的频段，每一残差生成层包括至少一个卷积层和激活层。
2.如权利要求1所述的系统，其特征在于，还包括：
图像传感器，用于通过镜头的光信号转换为数字信号并进行成像，得到原始图像；
图像前处理模块，用于对原始图像进行预处理，得到待处理图像；其中，所述预处理包括黑电平矫正、坏点矫正、镜头阴影矫正、白平衡矫正和图像位宽压缩中的至少一个。
3.如权利要求1所述的系统，其特征在于，还包括：
图像后处理模块，用于对降噪图像进行矫正处理，其中，矫正处理包括颜色矫正、锐化和畸变矫正中的至少一个。
4.如权利要求1所述的系统，其特征在于，还包括：
存储模块，用于存储待处理图像和所有残差图像。
5.一种降噪神经网络模型的训练方法，其特征在于，包括：
获取没有噪声的图像作为目标图像；
将目标图像与噪声图像叠加，得到具有噪声的输入图像；
将输入图像输入降噪神经网络模型，得到n张训练残差图像；
根据n张训练残差图像与噪声图像对应的噪声分量，得到整体误差；
判断整体误差是否达到收敛条件，若否，则通过参数的梯度反向传播，迭代更新降噪神经网络模型中的参数，直到达到收敛条件，则训练结束，得到训练后的降噪神经网络模型；
所述降噪神经网络模型包括n个缩小层和n个残差生成层，每个残差生成层输出一个残差图像；其中，每一缩小层用于控制残差图像的频段，每一残差生成层包括至少一个卷积层和激活层；
所述根据n张训练残差图像与噪声图像对应的噪声分量，得到整体误差，包括：
对噪声图像进行图像分频处理，得到n个频段的噪声分量；
将每一训练残差图像与对应频段的噪声分量叠加，得到每一频段的误差值；
根据所有频段的误差值，得到整体误差；
所述对噪声图像进行图像分频处理，得到n个频段的噪声分量，包括：
对噪声图像进行高斯滤波，得到滤波后图像；
将噪声图像与滤波后图像做差，得到第一频段的噪声分量；
将上一频段的噪声分量进行高斯滤波，得到下一滤波后图像，将上一频段的噪声分量与下一滤波后图像做差，得到下一频段的噪声分量，重复该步骤，直到得到第n频段的噪声分量。
6.如权利要求5所述的方法，其特征在于，所述根据所有频段的误差值，得到整体误差，包括：
根据所有频段的误差值，计算均方误差，得到整体误差；
或，根据所有频段的误差值，计算峰值信噪比，得到整体误差。
7.一种图像降噪方法，其特征在于，包括：
利用训练后的降噪神经网络模型对待处理图像进行降噪处理，并得到n张残差图像；其中，每一残差图像的像素值为不同频段的噪声的负值；
将每一残差图像与对应的衰减因子相乘，将所有残差图像与对应衰减因子相乘的结果与待处理图像叠加，得到降噪图像；
所述降噪神经网络模型包括n个缩小层和n个残差生成层，每个残差生成层输出一个残差图像；其中，每一缩小层用于控制残差图像的频段，每一残差生成层包括至少一个卷积层和激活层。
CN202310027337.0A 2023-01-09 2023-01-09 一种图像降噪系统、方法及降噪神经网络训练方法 Active CN116385280B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310027337.0A CN116385280B (zh) 2023-01-09 2023-01-09 一种图像降噪系统、方法及降噪神经网络训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310027337.0A CN116385280B (zh) 2023-01-09 2023-01-09 一种图像降噪系统、方法及降噪神经网络训练方法

Publications (2)

Publication Number Publication Date
CN116385280A CN116385280A (zh) 2023-07-04
CN116385280B true CN116385280B (zh) 2024-01-23

Family

ID=86979454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310027337.0A Active CN116385280B (zh) 2023-01-09 2023-01-09 一种图像降噪系统、方法及降噪神经网络训练方法

Country Status (1)

Country Link
CN (1) CN116385280B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117541501A (zh) * 2024-01-09 2024-02-09 清华大学 扫描光场自监督网络去噪方法、装置、电子设备及介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156962A (zh) * 2009-12-24 2011-08-17 佳能株式会社 信息处理设备及其处理方法
CN106204467A (zh) * 2016-06-27 2016-12-07 深圳市未来媒体技术研究院 一种基于级联残差神经网络的图像去噪方法
CN109658344A (zh) * 2018-11-12 2019-04-19 哈尔滨工业大学（深圳） 基于深度学习的图像去噪方法、装置、设备和存储介质
CN111091517A (zh) * 2019-12-26 2020-05-01 东软医疗系统股份有限公司 一种残差加权成像方法和装置
CN111127300A (zh) * 2020-03-26 2020-05-08 眸芯科技（上海）有限公司 基于图像金字塔分解的去噪方法、装置及系统
CN111192226A (zh) * 2020-04-15 2020-05-22 苏宁云计算有限公司 一种图像融合去噪方法及装置、系统
CN111402172A (zh) * 2020-03-24 2020-07-10 湖南国科微电子股份有限公司 一种图像降噪方法、系统、设备及计算机可读存储介质
CN111402128A (zh) * 2020-02-21 2020-07-10 华南理工大学 一种基于多尺度金字塔网络的图像超分辨率重建方法
CN112073603A (zh) * 2019-06-10 2020-12-11 佳能株式会社 图像处理设备、摄像设备、图像处理方法和存储介质
CN112435182A (zh) * 2020-11-17 2021-03-02 浙江大华技术股份有限公司 图像降噪方法及装置
CN112488958A (zh) * 2020-12-15 2021-03-12 西安交通大学 一种基于尺度空间的图像对比度增强方法
CN112801897A (zh) * 2021-01-19 2021-05-14 西安理工大学 一种基于宽卷积神经网络的图像去噪方法
WO2021230708A1 (en) * 2020-05-15 2021-11-18 Samsung Electronics Co., Ltd. Image processing method, electronic device and readable storage medium
CN115049918A (zh) * 2022-06-14 2022-09-13 中国科学院沈阳自动化研究所 一种用于水下机器人的图像目标快速检测方法及装置
KR20220165121A (ko) * 2021-06-07 2022-12-14 한양대학교 산학협력단 뉴럴 네트워크가 포함된 상미분 방정식을 이용하는 점진적 이미지 해상도 향상 방법 및 장치와 이를 이용하는 이미지 초해상도 방법
CN115511705A (zh) * 2021-06-04 2022-12-23 天津城建大学 一种基于可变形残差卷积神经网络的图像超分辨率重建方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7257271B2 (en) * 2003-12-17 2007-08-14 Eastman Kodak Company Noise reduction in color digital images using pyramid decomposition
US8594446B2 (en) * 2012-01-12 2013-11-26 Eastman Kodak Company Method for enhancing a digitized document
WO2018131266A1 (ja) * 2017-01-10 2018-07-19 富士フイルム株式会社 ノイズ処理装置及びノイズ処理方法
US11783451B2 (en) * 2020-03-02 2023-10-10 GE Precision Healthcare LLC Systems and methods for reducing colored noise in medical images using deep neural network
US11341616B2 (en) * 2020-03-23 2022-05-24 Ge Precision Healthcare Methods and system for selective removal of streak artifacts and noise from images using deep neural networks
CN111861930A (zh) * 2020-07-27 2020-10-30 京东方科技集团股份有限公司 图像去噪方法、装置以及电子设备、图像超分去噪方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156962A (zh) * 2009-12-24 2011-08-17 佳能株式会社 信息处理设备及其处理方法
CN106204467A (zh) * 2016-06-27 2016-12-07 深圳市未来媒体技术研究院 一种基于级联残差神经网络的图像去噪方法
CN109658344A (zh) * 2018-11-12 2019-04-19 哈尔滨工业大学（深圳） 基于深度学习的图像去噪方法、装置、设备和存储介质
CN112073603A (zh) * 2019-06-10 2020-12-11 佳能株式会社 图像处理设备、摄像设备、图像处理方法和存储介质
CN111091517A (zh) * 2019-12-26 2020-05-01 东软医疗系统股份有限公司 一种残差加权成像方法和装置
CN111402128A (zh) * 2020-02-21 2020-07-10 华南理工大学 一种基于多尺度金字塔网络的图像超分辨率重建方法
CN111402172A (zh) * 2020-03-24 2020-07-10 湖南国科微电子股份有限公司 一种图像降噪方法、系统、设备及计算机可读存储介质
CN111127300A (zh) * 2020-03-26 2020-05-08 眸芯科技（上海）有限公司 基于图像金字塔分解的去噪方法、装置及系统
CN111192226A (zh) * 2020-04-15 2020-05-22 苏宁云计算有限公司 一种图像融合去噪方法及装置、系统
WO2021230708A1 (en) * 2020-05-15 2021-11-18 Samsung Electronics Co., Ltd. Image processing method, electronic device and readable storage medium
CN112435182A (zh) * 2020-11-17 2021-03-02 浙江大华技术股份有限公司 图像降噪方法及装置
CN112488958A (zh) * 2020-12-15 2021-03-12 西安交通大学 一种基于尺度空间的图像对比度增强方法
CN112801897A (zh) * 2021-01-19 2021-05-14 西安理工大学 一种基于宽卷积神经网络的图像去噪方法
CN115511705A (zh) * 2021-06-04 2022-12-23 天津城建大学 一种基于可变形残差卷积神经网络的图像超分辨率重建方法
KR20220165121A (ko) * 2021-06-07 2022-12-14 한양대학교 산학협력단 뉴럴 네트워크가 포함된 상미분 방정식을 이용하는 점진적 이미지 해상도 향상 방법 및 장치와 이를 이용하는 이미지 초해상도 방법
CN115049918A (zh) * 2022-06-14 2022-09-13 中国科学院沈阳自动化研究所 一种用于水下机器人的图像目标快速检测方法及装置

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
An image denoising method of picking robot vision based on feature pyramid network;Jiqing Chen 等;Journal of Food Process Engineering;1-16 *
Deep Inception-Residual Laplacian Pyramid Networks for Accurate Single-Image Super-Resolution;Yongliang Tang 等;IEEE Transactions on Neural Networks and Learning Systems;第31卷(第5期);1514-1528 *
Multi-scale Attention Network for Single Image Super-Resolution;Yan Wang 等;arXiv;1-13 *
Parallel Feature Pyramid Network for Image Denoising;Sung-Jin Cho 等;2020 IEEE International Conference on Consumer Electronics (ICCE);1-2 *
Real Image Denoising Based on Multi-Scale Residual Dense Block and Cascaded U-Net with Block-Connection;Long Bao 等;2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW);1823-1831 *
Single-image super-resolution based on multi-branch residual pyramid network;Jiayu Ou 等;Journal of Real-Time Image Processing;2569-2581 *
面向实际图像的联合噪声估计与去除研究;周生笛;中国优秀硕士学位论文全文数据库 信息科技辑;第2022年卷(第1期);I138-1829 *
领域知识驱动的深度学习单幅图像去雨研究;傅雪阳;中国博士学位论文全文数据库 信息科技辑;第2020年卷(第12期);I138-12 *

Also Published As

Publication number Publication date
CN116385280A (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
CN109410123B (zh) 基于深度学习的去除马赛克的方法、装置及电子设备
Liu et al. Learning converged propagations with deep prior ensemble for image enhancement
Klatzer et al. Learning joint demosaicing and denoising based on sequential energy minimization
JP6656111B2 (ja) 画像のノイズを除去する方法及びシステム
Liu et al. Deep proximal unrolling: Algorithmic framework, convergence analysis and applications
US20190294931A1 (en) Systems and Methods for Generative Ensemble Networks
CN107133923B (zh) 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法
CN112541877B (zh) 基于条件生成对抗网络的去模糊方法、系统、设备及介质
Liu et al. Graph-based joint dequantization and contrast enhancement of poorly lit JPEG images
CN105765607A (zh) 用于图像反卷积的多阶段方法
CN116385280B (zh) 一种图像降噪系统、方法及降噪神经网络训练方法
CN110782406B (zh) 一种基于信息蒸馏网络的图像去噪方法及装置
Huang et al. Two-step approach for the restoration of images corrupted by multiplicative noise
CN113469897A (zh) 图像增强模型的训练、图像增强方法、装置及电子设备
Korus et al. Content authentication for neural imaging pipelines: End-to-end optimization of photo provenance in complex distribution channels
CN114299180A (zh) 图像重建方法、装置、设备及存储介质
Zheng et al. Windowing decomposition convolutional neural network for image enhancement
CN111861940A (zh) 一种基于条件连续调节的图像调色增强方法
CN114820389B (zh) 一种基于无监督解耦表征的人脸图像去模糊方法
CN108898557B (zh) 图像恢复方法及装置、电子设备、计算机程序及存储介质
Tan et al. Denoising real bursts with squeeze‐and‐excitation residual network
CN114387188A (zh) 基于动态先验条件滤波的图像去噪方法与系统
CN113284059A (zh) 模型训练方法、图像增强方法、装置、电子设备及介质
CN112184568A (zh) 图像处理方法、装置、电子设备及可读存储介质
CN111932514A (zh) 一种图像噪声水平估计、抑制方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant