CN114418873A - 一种暗光图像降噪方法及装置 - Google Patents
一种暗光图像降噪方法及装置 Download PDFInfo
- Publication number
- CN114418873A CN114418873A CN202111641889.8A CN202111641889A CN114418873A CN 114418873 A CN114418873 A CN 114418873A CN 202111641889 A CN202111641889 A CN 202111641889A CN 114418873 A CN114418873 A CN 114418873A
- Authority
- CN
- China
- Prior art keywords
- image
- noise reduction
- network model
- light image
- dim light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009467 reduction Effects 0.000 title claims abstract description 128
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000009466 transformation Effects 0.000 claims abstract description 84
- 238000003062 neural network model Methods 0.000 claims description 42
- 238000004891 communication Methods 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 9
- 230000002093 peripheral effect Effects 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000011946 reduction process Methods 0.000 abstract description 10
- 238000012545 processing Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 11
- 230000001629 suppression Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本申请实施例提供了一种暗光图像降噪方法及装置，方法包括：获取RAW域暗光图像；对RAW域暗光图像进行预设图像增强变换，将变换后的图像输入预先训练的降噪网络模型，得到输出图像；其中，降噪网络模型是根据样本图像训练的，样本图像包括：模拟坏点暗光图像和无噪图像；对输出图像进行预设图像增强变换的逆变换，得到降噪图像。能够显著降低图像坏点对暗光图像降噪过程产生的影响，提高暗光图像的降噪质量。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种暗光图像降噪方法及装置。
背景技术
随着计算机视觉技术和光学影像技术的快速发展，利用视频图像采集设备获取图像或视频，并对图像或视频进行处理的方式，被广泛应用于安防、海防、智能交通等各个方面。
然而，当成像设备处于暗光条件下时，由于光线严重不足，会导致采集到的图像包含非常多的噪声，使得图像不清晰，画质差，进而，会降低后期图像处理结果的准确度。因此，此类图像在进行分析处理之前需要进行降噪处理，而在降噪过程中，图像存在的坏点，会严重影响图像降噪质量。
成像设备的成像元件通常是CCD(Charge-coupled Device，电荷耦合元件)或CMOS(Complementary Metal-Oxide-Semiconductor，互补金属氧化物半导体)，包含数百万个感光单元，如果某个感光单元损坏，则成为坏点，图像中对应像素位置的像素值会明显异于周围像素点。对于暗光图像，坏点通常为高亮坏点。
在基于深度学习的暗光图像RAW域降噪技术中，本身图像的像素值就相对较小，输入数据中的高亮坏点，经过卷积神经网络的感受野(receptive-field，RF)机制放大，会由单点影响扩散至几个像素甚至几十个像素范围，严重降低了图像的视觉质量。参见图1，图1为采用现有技术进行降噪处理后RAW域暗光图像中坏点影响的一种示意图，降噪处理前的原始暗光图像中有一个高亮坏点，如图1所示，经过降噪处理后，坏点已经影响周边的多个像素点。
虽然很多图像信号处理(Image Signal Processing，ISP)的算法中包含了坏点校正这一环节，但由于坏点的多样性和复杂性，基于传统的图像处理方法一般不能完全消除，而且，去坏点的强度较大，会导致图像产生类似于中值滤波的平滑效果，损害图像的边缘细节。
发明内容
本发明实施例的目的在于提供一种暗光图像降噪方法及装置，以实现显著降低图像坏点对暗光图像降噪过程产生的影响，提高暗光图像的降噪质量。
具体技术方案如下：
本申请提供了一种暗光图像降噪方法，所述方法包括：
获取RAW域暗光图像；
对所述RAW域暗光图像进行预设图像增强变换，将变换后的图像输入预先训练的降噪网络模型，得到输出图像；其中，所述降噪网络模型是根据样本图像训练的，所述样本图像包括：模拟坏点暗光图像和无噪图像；
对所述输出图像进行所述预设图像增强变换的逆变换，得到降噪图像。
可选的，所述对所述RAW域暗光图像进行预设图像增强变换的步骤，包括：
依次对所述RAW域暗光图像进行归一化、gamma变换。
可选的，采用如下步骤训练所述降噪网络模型：
获取初始神经网络模型和所述样本图像；
将进行所述预设图像增强变换后的模拟坏点暗光图像输入所述初始神经网络模型；
基于所述初始神经网络模型输出结果和进行所述预设图像增强变换后的无噪图像，计算损失值；
基于所述损失值调整所述初始神经网络的模型参数，并返回将进行所述预设图像增强变换后的模拟坏点暗光图像输入所述初始神经网络模型的步骤，直到所述初始神经网络模型收敛；
将收敛的初始神经网络模型确定为所述降噪网络模型。
可选的，采用如下步骤获得所述模拟坏点暗光图像：
获取暗光噪声图像；
基于预先统计的传感器坏点比例，在所述暗光噪声图像中随机生成特定数量的坏点，得到模拟坏点暗光图像，其中，所生成的坏点的像素值为高亮值或所生成的坏点的像素值与周边像素点的像素值不满足预设分布。
本申请实施例还提供了一种暗光图像降噪装置，所述装置包括：
获取模块，用于获取RAW域暗光图像；
降噪模块，用于对所述RAW域暗光图像进行预设图像增强变换，将变换后的图像输入预先训练的降噪网络模型，得到输出图像；其中，所述降噪网络模型是根据样本图像训练的，所述样本图像包括：模拟坏点暗光图像和无噪图像；
逆变换模块，用于对所述输出图像进行所述预设图像增强变换的逆变换，得到降噪图像。
可选的，所述降噪模块包含增强变换子模块，所述增强变换子模块，具体用于：
依次对所述RAW域暗光图像进行归一化、gamma变换。
可选的，还包括训练模块，所述训练模块，具体用于：
获取初始神经网络模型和所述样本图像；
将进行所述预设图像增强变换后的模拟坏点暗光图像输入所述初始神经网络模型；
基于所述初始神经网络模型输出结果和进行所述预设图像增强变换后的无噪图像，计算损失值；
基于所述损失值调整所述初始神经网络的模型参数，并返回将进行所述预设图像增强变换后的模拟坏点暗光图像输入所述初始神经网络模型的步骤，直到所述初始神经网络模型收敛；
将收敛的初始神经网络模型确定为所述降噪网络模型。
可选的，还包括：生成模块，所述生成模块具体用于：
获取暗光噪声图像；
基于预先统计的传感器坏点比例，在所述暗光噪声图像中随机生成特定数量的坏点，得到模拟坏点暗光图像，其中，所生成的坏点的像素值为高亮值或所生成的坏点的像素值与周边像素点的像素值不满足预设分布。
本申请实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一暗光图像降噪方法步骤。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一暗光图像降噪方法步骤。
本发明实施例有益效果：
应用本申请实施例提供的暗光图像降噪方法及装置，获取RAW域暗光图像；对RAW域暗光图像进行预设图像增强变换，将变换后的图像输入预先训练的降噪网络模型，得到输出图像；其中，降噪网络模型是根据样本图像训练的，样本图像包括：模拟坏点暗光图像和无噪图像；对输出图像进行预设图像增强变换的逆变换，得到降噪图像。
可见，通过模拟坏点的分布情况生成模拟坏点暗光图像，结合无噪图像训练降噪网络模型，在训练完成后，降噪网络模型能够对输入的RAW域图像进行降噪处理，且自动进行坏点抑制，即大幅降低图像中坏点对图像降噪的影响，提高了图像降噪的质量。由于降噪网络模型在图像降噪过程中能够自动进行坏点抑制，因此无需专门进行坏点矫正这一环节，避免损失图像的边缘细节。
并且，在将RAW域暗光图像输入网络模型之前，先进行图像增强变换，对极大值坏点进行有效的抑制，增强图像暗部细节，更利于在后续的网络模型中进行降噪处理，进一步提高图像降噪质量。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
图1为采用现有技术进行降噪处理后RAW域暗光图像中坏点影响的一种示意图；
图2为本申请实施例提供的暗光图像降噪方法的一种流程示意图；
图3(a)为采用现有技术进行降噪处理的结果示意图；
图3(b)为采用本申请实施例提供的暗光图像降噪方法进行降噪处理的结果示意图；
图4为本申请实施例提供的降噪网络模型的一种结构示意图；
图5为经过本申请实施例提供的暗光图像降噪方法处理后RAW域暗光图像中坏点影响的一种示意图；
图6为本申请实施例提供的暗光图像降噪装置的一种结构示意图；
图7为本申请实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本发明保护的范围。
为了降低图像坏点对暗光图像降噪过程产生的影响，提高暗光图像的降噪质量，本申请实施例提供了一种暗光图像降噪方法及装置。
参见图2，图2为本申请实施例提供的暗光图像降噪方法的一种流程示意图，如图2所示，方法包括以下步骤：
S201：获取RAW域暗光图像。
本申请实施例提供的暗光图像降噪方法针对RAW域暗光图像。本步骤中，获取需要降噪处理的RAW域暗光图像。
成像设备处于暗光条件下采集的图像即为暗光图像，由于光线严重不足，导致采集到的图像包含非常多的噪声，使得图像不清晰，画质差。因此需要进行降噪处理。
本领域技术人员可以理解，传感器输出的图像即为RAW域图像(也叫原始图像文件)，在对RAW域图像进行ISP处理之后，图像的噪声性质会变得更为复杂，难以处理。因此，通常在ISP处理之前，也就是在RAW域对图像进行降噪处理。
S202：对RAW域暗光图像进行预设图像增强变换，将变换后的图像输入预先训练的降噪网络模型，得到输出图像；其中，降噪网络模型是根据样本图像训练的，样本图像包括：模拟坏点暗光图像和无噪图像。
本申请实施例中，采用深度学习的思想，训练神经网络模型，实现在降噪过程中自动进行坏点抑制。
为了增强RAW域暗光图像的暗部细节，在将RAW域暗光图像输入预先训练的降噪网络模型之前，先进行预设图像增强变换。
图像增强变换可以包括图像归一化和gamma变换。其中，图像归一化能够降低RAW域暗光图像中高亮部分的影响，并且便于后续进行gamma变换。gamma变换可以压缩图像中灰度级高的部分，拉伸灰度级低的部分，从而增强暗部细节。
在经过预设图像增强变换后，将图像输入降噪网络模型，由于降噪网络模型是基于样本图像预先训练完成的，因此能够对图像进行降噪处理，得到输出图像。
其中，用于训练降噪网络模型的样本图像包括大量的模拟坏点暗光图像和无噪图像。其中，模拟坏点暗光图像和无噪图像可以是一一对应的，例如，样本图像中包含1000张模拟坏点暗光图像和1000张无噪图像，每张模拟坏点暗光图像对应一张无噪图像，相互对应的模拟坏点暗光图像和无噪图像的图像内容相同，但图像质量不同。
本申请的一个实施例中，获取暗光噪声图像；基于预先统计的传感器坏点比例，在暗光噪声图像中随机生成特定数量的坏点，得到模拟坏点暗光图像，其中，所生成的坏点的像素值为高亮值或所生成的坏点的像素值与周边像素点的像素值不满足预设分布。
具体的，在模拟噪声图像的过程中，先获取暗光噪声图像，即包含噪声的暗光图像，再根据统计的CMOS或CCD传感器的坏点比例情况，随机生成特定数量且位置随机分布的坏点。
例如，通常一张1080p分辨率的图像中坏点数目范围为几百到几千，和传感器的工艺有关。则本申请实施例中，可以在包含噪声的RAW域暗光图像上随机确定一些像素坐标，将这些位置的像素值置为异常值，或明显不满足泊松分布及高斯分布的像素值，以模拟坏点分布情况，生成模拟坏点暗光图像。
此外，获取RAW域暗光图像相对应的无噪图像，无噪图像可以理解为理想状态下的图像，不包含噪声也不包含坏点。
本申请实施例中，预先采用模拟坏点暗光图像和无噪图像训练降噪网络模型，训练完成的降噪网络模型能够对输入的RAW图像进行降噪处理。
本步骤中，将变换后的图像输入降噪网络模型，得到输出图像。
S203：对输出图像进行预设图像增强变换的逆变换，得到降噪图像。
在得到降噪网络模型输出的图像后，进行预设图像增强变换的逆变换，即可得到降噪后的RAW域图像。
由于预设图像增强变换依次包括：归一化和gamma变换，因此逆变换可以依次包括逆gamma变换和逆归一化变换。
应用本申请实施例提供的暗光图像降噪方法，获取RAW域暗光图像；对RAW域暗光图像进行预设图像增强变换，将变换后的图像输入预先训练的降噪网络模型，得到输出图像；其中，降噪网络模型是根据样本图像训练的，样本图像包括：模拟坏点暗光图像和无噪图像；对输出图像进行预设图像增强变换的逆变换，得到降噪图像。
可见，通过模拟坏点的分布情况生成模拟坏点暗光图像，结合无噪图像训练降噪网络模型，在训练完成后，降噪网络模型能够对输入的RAW域图像进行降噪处理，且自动进行坏点抑制，即大幅降低图像中坏点对图像降噪的影响，提高了图像降噪的质量。由于降噪网络模型在图像降噪过程中能够自动进行坏点抑制，因此无需专门进行坏点矫正这一环节，避免损失图像的边缘细节。
并且，在将RAW域暗光图像输入网络模型之前，先进行图像增强变换，对极大值坏点进行有效的抑制，增强图像暗部细节，更利于在后续的网络模型中进行降噪处理，进一步提高图像降噪质量。
作为一个示例，参见图3(a)和图3(b)，图3(a)对应的原始图像和图3(b)对应的原始图像相同，且均来自公开数据集。图3(a)为采用现有技术进行降噪处理的结果示意图，图3(b)为采用本申请实施例提供的暗光图像降噪方法进行降噪处理的结果示意图。
可见，图3(a)无法消除坏点的影响，导致图像中包含较多像素值异常的像素点，看上去较为模糊，即图像降噪质量差。而图3(b)采用了本申请实施例提供的暗光图像降噪方法，能够基本消除坏点对图像降噪的影响，因此基本不包含像素值异常的像素点，图像整体更为干净、清晰。
下面对降噪网络模型的训练过程进行介绍，具体的训练步骤可以包括：
步骤11：获取初始神经网络模型和样本图像。
具体的，初始神经网络模型可以是卷积神经网络模型，网络模型的结构可以为编码器-解码器结构。
作为一个示例，参见图4，图4为本申请实施例提供的降噪网络模型的一种结构示意图。图4中，input表示输入图像，output表示输入图像；conv1表示第一卷积结构，kernelsize(卷积核)＝3×3，stride(步长)为1；conv2表示第一卷积结构，卷积核＝2×2，步长为2；deconv表示反卷积(transposed convolution)结构，卷积核＝2×2，步长为2；relu表示线性整流函数。
样本图像包括大量相互对应的模拟坏点暗光图像和无噪图像，具体参见步骤S202中相关介绍。
步骤12：将进行预设图像增强变换后的模拟坏点暗光图像输入初始神经网络模型；基于初始神经网络模型输出结果和进行预设图像增强变换后的无噪图像，计算损失值；
本申请实施例中，可以分别对模拟坏点暗光图像和无噪图像进行预设图像增强变换。预设图像增强变换包括归一化和gamma变换。
以对模拟坏点暗光图像进行预设图像增强变换处理为例，设模拟坏点暗光图像为I，(i，j)为像素坐标，坐标(i，j)的像素点的像素值为xij。
设模拟坏点暗光图像中像素点最大亮度为max_b，则对模拟坏点暗光图像中像素点xij进行归一化处理，得到x‘ij。
用公式可以表示为：
通常，像素点占用存储空间为10bits，则max_b＝1023；像素点占用存储空间为12bits，则max_b＝4095。
归一化处理能够显著降低RAW域高亮部分的影响，归一化处理后的图像表示为I’，再对其进行gamma变换。
作为一个示例，对I’中像素点x‘ij做gamma变换，获得x’‘ij，其中gamma系数可以根据需求进行设定，当gamma系数为
上述变换可以表示为：
系数小于1的gamma变换，能够压缩图像中灰度级高的部分，拉伸灰度级低的部分，从而增强暗光图像的暗部细节。
将进行预设图像增强变换后的模拟坏点暗光图像输入初始神经网络模型，得到初始神经网络模型的输出结果，再结合进行预设图像增强变换后的无噪图像，可以计算损失值。
用公式可以表示为：
其中，x为图像增强变换后的模拟坏点暗光图像，y为图像增强变换后的无噪图像，f为网络模型拟合的函数关系，
为神经网络模型输出的结果，y与
的差的绝对值可以作为损失值。
作为一个示例，分别计算y和
中对应位置像素点的像素值的差值绝对值，再进行平均，得到损失值。
步骤13：基于损失值调整初始神经网络的模型参数，并返回将进行预设图像增强变换后的模拟坏点暗光图像输入初始神经网络模型的步骤，直到初始神经网络模型收敛。
根据损失值采用反向传播的方式，调整模型参数，完成一轮训练。
随后返回步骤12进行下一轮的训练，在经过多次迭代训练后能够得到稳定的模型参数，此时可以认为初始神经网络模型收敛。
步骤14：将收敛的初始神经网络模型确定为降噪网络模型。
可见，本申请实施例中，通过模拟坏点的分布情况生成模拟坏点暗光图像，结合无噪图像训练降噪网络模型。在训练过程中，不断调整网络模型的参数，使得网络模型能够对输入图像进行处理，且处理结果不断接近无噪图像，实现图像降噪。并且，由于输入图像是模拟的带有坏点的暗光图像，因此，训练完成的降噪网络模型能够很好的适用于带有坏点的暗光图像的降噪，即自动抑制坏点对图像降噪的影响，提高图像降噪质量。
作为一个示例，参见图5，图5为经过本申请实施例提供的暗光图像降噪方法处理后RAW域暗光图像中坏点影响的一种示意图。
图5对应的降噪处理前的原始暗光图像中有一个高亮坏点，经过本申请实施例提供的暗光图像降噪方法处理后，已看不到高亮坏点，可见，经过本申请提供的暗光图像降噪方法处理后，对暗光图像中高亮坏点起到明显的抑制作用，高亮坏点不再如图1所示那样扩散至几个甚至几十个像素范围。
参见图6，图6为本申请实施例提供的暗光图像降噪装置的一种结构示意图，如图6所示，装置可以包括：
获取模块601，用于获取RAW域暗光图像；
降噪模块602，用于对RAW域暗光图像进行预设图像增强变换，将变换后的图像输入预先训练的降噪网络模型，得到输出图像；其中，降噪网络模型是根据样本图像训练的，样本图像包括：模拟坏点暗光图像和无噪图像；
逆变换模块603，用于对输出图像进行预设图像增强变换的逆变换，得到降噪图像。
在本申请的一个实施例中，降噪模块602包含增强变换子模块，所述增强变换子模块，具体用于：
依次对所述RAW域暗光图像进行归一化、gamma变换。
在本申请的一个实施例中，在图6所示装置基础上，还可以包括训练模块，所述训练模块，具体用于：
获取初始神经网络模型和所述样本图像；
将进行所述预设图像增强变换后的模拟坏点暗光图像输入所述初始神经网络模型；
基于所述初始神经网络模型输出结果和进行所述预设图像增强变换后的无噪图像，计算损失值；
基于所述损失值调整所述初始神经网络的模型参数，并返回将进行所述预设图像增强变换后的模拟坏点暗光图像输入所述初始神经网络模型的步骤，直到所述初始神经网络模型收敛；
将收敛的初始神经网络模型确定为所述降噪网络模型。
在本申请的一个实施例中，在图6所示装置基础上，还可以包括生成模块，所述生成模块具体用于：
获取暗光噪声图像；
基于预先统计的传感器坏点比例，在所述暗光噪声图像中随机生成特定数量的坏点，得到模拟坏点暗光图像，其中，所生成的坏点的像素值为高亮值或所生成的坏点的像素值与周边像素点的像素值不满足预设分布。
应用本申请实施例提供的暗光图像降噪装置，获取RAW域暗光图像；对RAW域暗光图像进行预设图像增强变换，将变换后的图像输入预先训练的降噪网络模型，得到输出图像；其中，降噪网络模型是根据样本图像训练的，样本图像包括：模拟坏点暗光图像和无噪图像；对输出图像进行预设图像增强变换的逆变换，得到降噪图像。
可见，通过模拟坏点的分布情况生成模拟坏点暗光图像，结合无噪图像训练降噪网络模型，在训练完成后，降噪网络模型能够对输入的RAW域图像进行降噪处理，且自动进行坏点抑制，即大幅降低图像中坏点对图像降噪的影响，提高了图像降噪的质量。由于降噪网络模型在图像降噪过程中能够自动进行坏点抑制，因此无需专门进行坏点矫正这一环节，避免损失图像的边缘细节。
并且，在将RAW域暗光图像输入网络模型之前，先进行图像增强变换，对极大值坏点进行有效的抑制，增强图像暗部细节，更利于在后续的网络模型中进行降噪处理，进一步提高图像降噪质量。
本发明实施例还提供了一种电子设备，如图7所示，包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信，
存储器703，用于存放计算机程序；
处理器701，用于执行存储器703上所存放的程序时，实现如下步骤：
获取RAW域暗光图像；
对所述RAW域暗光图像进行预设图像增强变换，将变换后的图像输入预先训练的降噪网络模型，得到输出图像；其中，所述降噪网络模型是根据样本图像训练的，所述样本图像包括：模拟坏点暗光图像和无噪图像；
对所述输出图像进行所述预设图像增强变换的逆变换，得到降噪图像。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
应用本申请实施例提供的电子设备，获取RAW域暗光图像；对RAW域暗光图像进行预设图像增强变换，将变换后的图像输入预先训练的降噪网络模型，得到输出图像；其中，降噪网络模型是根据样本图像训练的，样本图像包括：模拟坏点暗光图像和无噪图像；对输出图像进行预设图像增强变换的逆变换，得到降噪图像。
可见，通过模拟坏点的分布情况生成模拟坏点暗光图像，结合无噪图像训练降噪网络模型，在训练完成后，降噪网络模型能够对输入的RAW域图像进行降噪处理，且自动进行坏点抑制，即大幅降低图像中坏点对图像降噪的影响，提高了图像降噪的质量。由于降噪网络模型在图像降噪过程中能够自动进行坏点抑制，因此无需专门进行坏点矫正这一环节，避免损失图像的边缘细节。
并且，在将RAW域暗光图像输入网络模型之前，先进行图像增强变换，对极大值坏点进行有效的抑制，增强图像暗部细节，更利于在后续的网络模型中进行降噪处理，进一步提高图像降噪质量。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一暗光图像降噪方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一暗光图像降噪方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于暗光图像降噪装置、电子设备、计算机可读存储介质、计算机程序产品实施例而言，由于其基本相似于暗光图像降噪方法实施例，所以描述的比较简单，相关之处参见暗光图像降噪方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (10)
1.一种暗光图像降噪方法，其特征在于，所述方法包括：
获取RAW域暗光图像；
对所述RAW域暗光图像进行预设图像增强变换，将变换后的图像输入预先训练的降噪网络模型，得到输出图像；其中，所述降噪网络模型是根据样本图像训练的，所述样本图像包括：模拟坏点暗光图像和无噪图像；
对所述输出图像进行所述预设图像增强变换的逆变换，得到降噪图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述RAW域暗光图像进行预设图像增强变换的步骤，包括：
依次对所述RAW域暗光图像进行归一化、gamma变换。
3.根据权利要求1所述的方法，其特征在于，采用如下步骤训练所述降噪网络模型：
获取初始神经网络模型和所述样本图像；
将进行所述预设图像增强变换后的模拟坏点暗光图像输入所述初始神经网络模型；
基于所述初始神经网络模型输出结果和进行所述预设图像增强变换后的无噪图像，计算损失值；
基于所述损失值调整所述初始神经网络的模型参数，并返回将进行所述预设图像增强变换后的模拟坏点暗光图像输入所述初始神经网络模型的步骤，直到所述初始神经网络模型收敛；
将收敛的初始神经网络模型确定为所述降噪网络模型。
4.根据权利要求1所述的方法，其特征在于，采用如下步骤获得所述模拟坏点暗光图像：
获取暗光噪声图像；
基于预先统计的传感器坏点比例，在所述暗光噪声图像中随机生成特定数量的坏点，得到模拟坏点暗光图像，其中，所生成的坏点的像素值为高亮值或所生成的坏点的像素值与周边像素点的像素值不满足预设分布。
5.一种暗光图像降噪装置，其特征在于，所述装置包括：
获取模块，用于获取RAW域暗光图像；
降噪模块，用于对所述RAW域暗光图像进行预设图像增强变换，将变换后的图像输入预先训练的降噪网络模型，得到输出图像；其中，所述降噪网络模型是根据样本图像训练的，所述样本图像包括：模拟坏点暗光图像和无噪图像；
逆变换模块，用于对所述输出图像进行所述预设图像增强变换的逆变换，得到降噪图像。
6.根据权利要求5所述的装置，其特征在于，所述降噪模块包含增强变换子模块，所述增强变换子模块，具体用于：
依次对所述RAW域暗光图像进行归一化、gamma变换。
7.根据权利要求5所述的装置，其特征在于，还包括训练模块，所述训练模块，具体用于：
获取初始神经网络模型和所述样本图像；
将进行所述预设图像增强变换后的模拟坏点暗光图像输入所述初始神经网络模型；
基于所述初始神经网络模型输出结果和进行所述预设图像增强变换后的无噪图像，计算损失值；
基于所述损失值调整所述初始神经网络的模型参数，并返回将进行所述预设图像增强变换后的模拟坏点暗光图像输入所述初始神经网络模型的步骤，直到所述初始神经网络模型收敛；
将收敛的初始神经网络模型确定为所述降噪网络模型。
8.根据权利要求5所述的装置，其特征在于，还包括：生成模块，所述生成模块具体用于：
获取暗光噪声图像；
基于预先统计的传感器坏点比例，在所述暗光噪声图像中随机生成特定数量的坏点，得到模拟坏点暗光图像，其中，所生成的坏点的像素值为高亮值或所生成的坏点的像素值与周边像素点的像素值不满足预设分布。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-4任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-4任一所述的方法步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111641889.8A CN114418873B (zh) | 2021-12-29 | 2021-12-29 | 一种暗光图像降噪方法及装置 |
| PCT/CN2022/142230 WO2023125503A1 (zh) | 2021-12-29 | 2022-12-27 | 一种暗光图像降噪方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111641889.8A CN114418873B (zh) | 2021-12-29 | 2021-12-29 | 一种暗光图像降噪方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114418873A true CN114418873A (zh) | 2022-04-29 |
| CN114418873B CN114418873B (zh) | 2022-12-20 |
Family
ID=81268846
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111641889.8A Active CN114418873B (zh) | 2021-12-29 | 2021-12-29 | 一种暗光图像降噪方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114418873B (zh) |
| WO (1) | WO2023125503A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023125503A1 (zh) * | 2021-12-29 | 2023-07-06 | 英特灵达信息技术(深圳)有限公司 | 一种暗光图像降噪方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170278221A1 (en) * | 2016-03-22 | 2017-09-28 | Samsung Electronics Co., Ltd. | Method and apparatus of image representation and processing for dynamic vision sensor |
| CN110766621A (zh) * | 2019-10-09 | 2020-02-07 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110992272A (zh) * | 2019-10-18 | 2020-04-10 | 深圳大学 | 基于深度学习的暗光图像增强方法、装置、设备及介质 |
| CN111402153A (zh) * | 2020-03-10 | 2020-07-10 | 上海富瀚微电子股份有限公司 | 一种图像处理方法及系统 |
| CN112529775A (zh) * | 2019-09-18 | 2021-03-19 | 华为技术有限公司 | 一种图像处理的方法和装置 |
| CN113052814A (zh) * | 2021-03-23 | 2021-06-29 | 浙江工业大学 | 基于Retinex和注意力机制的暗光图像增强方法 |
| CN113052768A (zh) * | 2019-12-27 | 2021-06-29 | 武汉Tcl集团工业研究院有限公司 | 一种处理图像的方法、终端及计算机可读存储介质 |
| CN113822812A (zh) * | 2021-09-15 | 2021-12-21 | 维沃移动通信有限公司 | 图像降噪方法和电子设备 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111064904A (zh) * | 2019-12-26 | 2020-04-24 | 深圳深知未来智能有限公司 | 一种暗光图像增强方法 |
| CN113850741B (zh) * | 2021-10-10 | 2023-04-07 | 杭州知存智能科技有限公司 | 图像降噪方法、装置、电子设备以及存储介质 |
| CN114418873B (zh) * | 2021-12-29 | 2022-12-20 | 英特灵达信息技术(深圳)有限公司 | 一种暗光图像降噪方法及装置 |
-
2021
- 2021-12-29 CN CN202111641889.8A patent/CN114418873B/zh active Active
-
2022
- 2022-12-27 WO PCT/CN2022/142230 patent/WO2023125503A1/zh unknown
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170278221A1 (en) * | 2016-03-22 | 2017-09-28 | Samsung Electronics Co., Ltd. | Method and apparatus of image representation and processing for dynamic vision sensor |
| CN112529775A (zh) * | 2019-09-18 | 2021-03-19 | 华为技术有限公司 | 一种图像处理的方法和装置 |
| CN110766621A (zh) * | 2019-10-09 | 2020-02-07 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110992272A (zh) * | 2019-10-18 | 2020-04-10 | 深圳大学 | 基于深度学习的暗光图像增强方法、装置、设备及介质 |
| CN113052768A (zh) * | 2019-12-27 | 2021-06-29 | 武汉Tcl集团工业研究院有限公司 | 一种处理图像的方法、终端及计算机可读存储介质 |
| CN111402153A (zh) * | 2020-03-10 | 2020-07-10 | 上海富瀚微电子股份有限公司 | 一种图像处理方法及系统 |
| CN113052814A (zh) * | 2021-03-23 | 2021-06-29 | 浙江工业大学 | 基于Retinex和注意力机制的暗光图像增强方法 |
| CN113822812A (zh) * | 2021-09-15 | 2021-12-21 | 维沃移动通信有限公司 | 图像降噪方法和电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| BIJU VENKADATH SOMASUNDARAN ET AL: "Image Denoising for Image Retrieval by Cascading a Deep Quality Assessment Network", 《2018 25TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 * |
| 果实: "基于卷积神经网络的真实相机图像去噪的研究", 《中国优秀硕士学位论文全文数据库（电子期刊）》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023125503A1 (zh) * | 2021-12-29 | 2023-07-06 | 英特灵达信息技术(深圳)有限公司 | 一种暗光图像降噪方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023125503A1 (zh) | 2023-07-06 |
| CN114418873B (zh) | 2022-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Schwartz et al. | Deepisp: Toward learning an end-to-end image processing pipeline | |
| Hou et al. | Hue preserving‐based approach for underwater colour image enhancement | |
| Zhang et al. | An adaptive bilateral filter based framework for image denoising | |
| CN111080527A (zh) | 一种图像超分辨率的方法、装置、电子设备及存储介质 | |
| US20190294931A1 (en) | Systems and Methods for Generative Ensemble Networks | |
| US11836898B2 (en) | Method and apparatus for generating image, and electronic device | |
| CN111932646B (zh) | 一种用于对抗攻击的图像处理方法 | |
| Tan et al. | Pixelwise Estimation of Signal‐Dependent Image Noise Using Deep Residual Learning | |
| CN113538286B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN111223061A (zh) | 图像修正方法、修正装置、终端设备及可读存储介质 | |
| CN110909663A (zh) | 一种人体关键点识别方法、装置及电子设备 | |
| CN114418873B (zh) | 一种暗光图像降噪方法及装置 | |
| CN114331902B (zh) | 一种降噪方法、装置、电子设备及介质 | |
| Wu et al. | Reflectance-guided histogram equalization and comparametric approximation | |
| CN115965544A (zh) | 自适应亮度调节的图像增强方法及系统 | |
| CN111325671A (zh) | 网络训练方法、装置、图像处理方法及电子设备 | |
| CN116645305A (zh) | 基于多注意力机制与Retinex的低光照图像增强方法 | |
| CN113160103B (zh) | 图像处理方法及装置、存储介质、终端 | |
| CN115619682A (zh) | 基于深度学习的去噪色调映射方法及装置 | |
| Lv et al. | Low‐light image haze removal with light segmentation and nonlinear image depth estimation | |
| CN114494080A (zh) | 一种图像生成方法、装置、电子设备及存储介质 | |
| Jin et al. | Optimal Weights Mixed Filter for removing mixture of Gaussian and impulse noises | |
| CN112581401A (zh) | 一种raw图片的获取方法、装置及电子设备 | |
| CN114119377A (zh) | 一种图像处理方法及装置 | |
| CN116366990B (zh) | 一种应用于夜视仪的算法系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |