CN111340713A - 图像数据的噪声估计与去噪方法及装置、存储介质、终端 - Google Patents

图像数据的噪声估计与去噪方法及装置、存储介质、终端 Download PDF

Info

Publication number
CN111340713A
CN111340713A CN201811548643.4A CN201811548643A CN111340713A CN 111340713 A CN111340713 A CN 111340713A CN 201811548643 A CN201811548643 A CN 201811548643A CN 111340713 A CN111340713 A CN 111340713A
Authority
CN
China
Prior art keywords
noise
image data
data
variance
gaussian
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811548643.4A
Other languages
English (en)
Inventor
杨傲
陈欢
彭晓峰
张玉光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spreadtrum Communications Shanghai Co Ltd
Original Assignee
Spreadtrum Communications Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spreadtrum Communications Shanghai Co Ltd filed Critical Spreadtrum Communications Shanghai Co Ltd
Priority to CN201811548643.4A priority Critical patent/CN111340713A/zh
Publication of CN111340713A publication Critical patent/CN111340713A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

一种图像数据的噪声估计与去噪方法及装置、存储介质、终端，所述噪声估计方法包括：基于单张图像的拜耳数据对高斯‑泊松联合分布的噪声进行建模；根据建模结果对所述拜耳数据进行小波域分析，以得到小波系数，并将所述小波系数划分为多个水平集；对每一水平集进行期望估计和方差估计，并根据估计出的各个水平集的期望和方差，采用最大似然估计法拟合高斯‑泊松联合分布曲线；根据拟合得到的高斯‑泊松联合分布曲线确定包含所述噪声的噪声参数的后验似然函数；求解所述后验似然函数的最优解，以得到所述噪声参数。本发明提供的技术方案可以优化图像的噪声估计方法，以提高噪声估计精度，降低噪声估计复杂度。

Description

图像数据的噪声估计与去噪方法及装置、存储介质、终端
技术领域
本发明涉及图像处理技术，具体地涉及一种图像数据的噪声估计与去噪方法及装置、存储介质、终端。
背景技术
当前，移动端的图像传感器通常采用互补金属氧化物半导体(ComplementaryMetal-Oxide-Semiconductor transistor，简称CMOS)芯片制成。考虑到CMOS传感器具有噪声大的缺点以及传感器的制造工艺问题，基于图像信号处理器(Image Signal Processor，简称ISP)得到的图像数据通常也含有噪声。CMOS芯片输出的图像数据通常为拜耳(Bayer)数据。为了在Bayer域对所述图像数据进行去噪，首先必须对所述图像数据的噪声进行建模并通过参数估计完成噪声估计；之后进行方差稳定变换(Variance Stable Transform，简称VST)以去噪；最后采用逆方差稳定变换(Inverse Variance Stable Transform，简称IVST)得到去噪后的Bayer数据。
一般情况下，图像去噪算法通常将图像噪声建模为高斯白噪声。然而，从CMOS传感器采集到的数据通常为包括四个通道的Bayer数据，并不服从高斯分布，且四个通道的数据噪声参数也可能不一致。因而，采用高斯白噪声建模估计噪声的方式无疑会降低噪声估计精度。
进一步，为估计出CMOS图像数据的噪声模型参数，传统的噪声估计方案需要在不同照度下进行多次采样标定才能进行参数估计，其噪声估计过程往往比较复杂。
发明内容
本发明解决的技术问题是如何优化图像的噪声估计方法，以提高噪声估计精度，降低噪声估计复杂度。
为解决上述技术问题，本发明实施例提供一种图像数据的噪声估计方法，包括：基于单张图像的拜耳数据对高斯-泊松联合分布的噪声进行建模；根据建模结果对所述拜耳数据进行小波域分析，以得到小波系数，并将所述小波系数划分为多个水平集；对每一水平集进行期望估计和方差估计，并根据估计出的各个水平集的期望和方差，采用最大似然估计法拟合高斯-泊松联合分布曲线；根据拟合得到的高斯-泊松联合分布曲线确定包含所述噪声的噪声参数的后验似然函数；求解所述后验似然函数的最优解，以得到所述噪声参数。
可选的，所述小波系数包括低频小波系数和高频小波系数，所述将所述小波系数划分为多个水平集包括：对所述低频小波系数进行平滑滤波，以得到平滑滤波后的低频数据集；对所述平滑滤波后的低频数据集进行边缘检测，以得到非边缘平滑数据集，并基于所述非边缘平滑数据集的坐标，得到对应的高频数据集；将所述高频数据集划分为多个互不重叠的水平集。
可选的，采用如下公式对所述低频小波系数进行平滑滤波：
Figure BDA0001910037140000021
其中，zsmo表示平滑滤波后的低频数据集，zwapp表示所述小波低频系数，w表示平滑滤波器核，且所述平滑滤波器的系数和为1。
可选的，采用如下公式对所述平滑滤波后的低频数据集进行边缘检测：
Figure BDA0001910037140000022
其中，Xsmo表示所述高频数据集，x表示Xsmo的元素，↓2X表示对数据X进行下2采样，X表示所述数据，zwapp表示所述低频小波系数，
Figure BDA0001910037140000023
表示zwapp中值滤波后进行拉普拉斯变换得到的结果，
Figure BDA0001910037140000024
表示对Λ(zwapp)进行梯度计算，
Figure BDA0001910037140000026
表示梯度算子，
Figure BDA0001910037140000025
表示拉普拉斯算子，τ为大于0的预设常数，s(x)为所述拜耳数据。
可选的，采用如下公式表示第i个水平集，i为正整数：
Si＝{x∈Xsmo:zsmo(x)∈[ui-Δi/2,ui+Δi/2]}；
其中，Si表示第i个水平集，x表示Si的元素，ui表示第i个水平集的中心数据值，Δi表示第i个水平集的元素数量。
可选的，采用如下公式对每一水平集进行期望估计：
Figure BDA0001910037140000031
其中，ni表示第i个水平集Si的元素数量，ni为正整数，xj表示第i个水平集Si的第j个元素的坐标，zwapp(xj)表示坐标xj对应的低频小波系数，
Figure BDA0001910037140000036
表示第i个水平集Si的期望估计值。
可选的，采用如下公式对每一划分后的水平集进行方差估计：
Figure BDA0001910037140000032
其中，
Figure BDA0001910037140000033
表示第i个水平集的方差估计值，ni表示第i个水平集Si的元素数量，ni>1，
Figure BDA0001910037140000034
表示所述高频小波系数的均值，xj表示Si的第j个元素的坐标；zwdet(xj)表示坐标xj对应的高频小波系数。
为解决上述技术问题，本发明实施例提供一种图像数据的去噪方法，包括：采用上述图像数据的噪声估计方法确定所述图像数据的噪声参数；将所述噪声参数代入至建模得到的高斯-泊松联合分布模型中，以得到服从高斯-泊松联合分布的图像数据；对所述高斯-泊松联合分布的图像数据进行方差稳定变换，以得到方差稳定变换后的图像数据；对所述方差稳定变换后的图像数据进行去噪，并对去噪后的图像数据进行逆方差稳定变换，以得到拜耳域的图像数据。
可选的，所述对所述高斯-泊松联合分布的图像数据进行方差稳定变换包括：采用公式
Figure BDA0001910037140000035
对所述高斯-泊松联合分布的图像数据进行方差稳定变换，其中，t表示所述方差稳定变换后的图像数据，s表示未进行方差稳定变换的拜耳数据，g表示所述拜耳数据s的均值，α、σ表示所述噪声参数。
可选的，所述对所述方差稳定变换后的图像数据进行去噪包括：采用非局部平均去噪算法对所述方差稳定变换后的图像数据进行去噪。
可选的，所述对去噪后的图像数据进行逆方差稳定变换包括：采用公式
Figure BDA0001910037140000041
对去噪后的图像数据进行逆方差稳定变换，其中，t表示所述方差稳定变换后的图像数据，σ2表示所述图像数据的噪声方差。
为解决上述技术问题，本发明实施例还提供一种图像数据的噪声估计装置，包括：建模模块，适于基于单张图像的拜耳数据进行高斯-泊松联合分布的噪声建模；划分模块，适于对所述拜耳数据进行小波域分析，以得到小波系数，并将所述小波系数划分为多个水平集；估计拟合模块，适于对每一水平集进行期望估计和方差估计，并根据估计出的各个水平集的期望和方差，采用最大似然估计法拟合高斯-泊松联合分布曲线；确定模块，适于根据拟合得到的高斯-泊松联合分布曲线确定包含高斯-泊松联合分布的噪声参数的后验似然函数；求解模块，适于利用最优化方法求解所述后验似然函数的最优解，以得到所述高斯-泊松联合分布的噪声参数。
为解决上述技术问题，本发明实施例还提供一种图像的去噪装置，包括：确定模块，适于采用上述图像的噪声估计装置确定所述图像的噪声参数；代入模块，适于将所述噪声参数代入至建模得到的高斯-泊松联合分布数据中；方差稳定变换模块，适于对所述高斯-泊松联合分布数据进行方差稳定变换，以得到方差稳定变换后的图像数据；去噪模块，适于对方差稳定变换后的图像数据进行去噪；逆方差稳定变换模块，适于对去噪后的图像数据进行逆方差稳定变换，以得到拜耳域的图像数据。
为解决上述技术问题，本发明实施例还提供一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述方法的步骤。
为解决上述技术问题，本发明实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述方法的步骤。
与现有技术相比，本发明实施例的技术方案具有以下有益效果：
本发明实施例提供一种图像数据的噪声估计方法，包括：基于单张图像的拜耳数据对高斯-泊松联合分布的噪声进行噪声建模；根据建模结果对所述拜耳数据进行小波域分析，以得到小波系数，并将所述小波系数划分为多个水平集；对每一水平集进行期望估计和方差估计，并根据估计出的各个水平集的期望和方差，采用最大似然估计法拟合高斯-泊松联合分布曲线；根据拟合得到的高斯-泊松联合分布曲线确定包含所述噪声的噪声参数的后验似然函数；求解所述后验似然函数的最优解，以得到所述噪声参数。对比现有技术方案，本发明实施例可以基于单张图像数据进行建模，无需通过不同照度的多张图像数据进行建模，很大程度上降低了采样标定过程的复杂度。进一步，本发明实施例的噪声模型服从高斯-泊松联合分布，并利用小波域分析估计服从高斯-泊松联合分布的噪声的噪声参数，其噪声估计精度优于高斯分布模型的估计精度。
进一步，本发明实施例提供一种图像数据的去噪方法，包括：采用上述图像数据的噪声估计方法确定所述图像数据的噪声参数；将所述噪声参数代入至建模得到的高斯-泊松联合分布模型中，以得到服从高斯-泊松联合分布的图像数据；对所述高斯-泊松联合分布的图像数据进行方差稳定变换，以得到方差稳定变换后的图像数据；对所述方差稳定变换后的图像数据进行去噪；对去噪后的图像数据进行逆方差稳定变换，以得到拜耳域的图像数据。本发明实施例以CMOS图像传感器采集到的拜耳域的图像数据进行高斯-泊松联合分布噪声建模，对噪声参数进行估计，基于估计的噪声参数进行方差稳定变换，以利用高斯噪声去噪方法进行图像去噪，可以在拜耳域进行去噪，可以保留更多的图像细节，之后，对去噪后的图像数据进行逆方差稳定变换，从而得到图像细节损失较小的去噪后的图像数据。
附图说明
图1是本发明实施例的一种图像数据的噪声估计方法的流程示意图；
图2是本发明实施例的一种图像数据的四通道Bayer数据的示意图；
图3是对图2所示的四通道Bayer数据进行重组得到的图像数据的示意图；
图4是图1所示步骤S102的一种具体实施方式的流程示意图；
图5是本发明实施例的一种图像数据的去噪方法的流程示意图；
图6是本发明实施例的一种图像数据的噪声估计装置的结构示意图；
图7是本发明实施例的一种图像数据的去噪装置的结构示意图。
具体实施方式
如背景技术所言，现有图像数据的噪声估计方法不仅估计精度低，且估计复杂度高。
具体而言，图像去噪是数字图像信号处理器(Image Signal Processor，简称ISP)中极其重要的一个环节，去噪的好坏往往直接反映了ISP的水平。本申请的发明人经研究发现，CMOS传感器输出的拜耳数据可以包含采集到的图像原始数据。因而，基于拜耳数据去噪往往能够保留更多的图像细节。
当前，很多ISP去噪步骤要么位于亮度色度(即YUV)域进行，要么位于拜耳域。当在拜耳域对拜耳数据进行噪声估计时，传统方法通常直接将拜耳数据假设为服从高斯分布。然而，由于图像传感器本身的噪声模型各有差异，同时经过ISP处理之后得到的图像通常不再服从高斯分布的基本假设，而且噪声的颗粒度也大小不一，因此，基于传统统计的高斯分布假设，直接套用经典的去噪算法进行去噪将导致去噪之后的拜耳域图像细节损失严重。
另外，当前也存在将图像数据假设为服从高斯-泊松联合分布的技术方案。不过，现有噪声估计方案均需要在不同照度下进行多次采样标定才能进行参数拟合，以估计出CMOS图像数据的噪声模型参数。然而，采用不同照度采集图像数据，无疑会加大处理复杂度。
本发明实施例提供一种图像数据的噪声估计方法，包括：基于单张图像的拜耳数据对高斯-泊松联合分布的噪声进行建模；根据建模结果对所述拜耳数据进行小波域分析，以得到小波系数，并将所述小波系数划分为多个水平集；对每一水平集进行期望估计和方差估计，并根据估计出的各个水平集的期望和方差，采用最大似然估计法拟合高斯-泊松联合分布曲线；根据拟合得到的高斯-泊松联合分布曲线确定包含所述噪声的噪声参数的后验似然函数；求解所述后验似然函数的最优解，以得到所述噪声参数。
对比现有技术方案，本发明实施例可以基于单张图像数据进行建模，无需通过不同照度的多张图像数据进行建模，很大程度上降低了采样标定过程的复杂度。进一步，本发明实施例的噪声模型服从高斯-泊松联合分布，并利用小波域分析估计服从高斯-泊松联合分布的噪声的噪声参数，其噪声估计精度优于高斯分布模型的估计精度。
为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
图1是本发明实施例的一种图像数据的噪声估计方法的流程示意图。所述噪声估计方法可以用于估计Bayer域的CMOS图像数据的噪声。具体而言，所述噪声估计方法可以包括以下步骤：
步骤S101，基于单张图像的拜耳数据对高斯-泊松联合分布的噪声进行建模；
步骤S102，根据建模结果对所述拜耳数据进行小波域分析，以得到小波系数，并将所述小波系数划分为多个水平集；
步骤S103，对每一水平集进行期望估计和方差估计，并根据估计出的各个水平集的期望和方差，采用最大似然估计法拟合高斯-泊松联合分布曲线；
步骤S104，根据拟合得到的高斯-泊松联合分布曲线确定包含所述噪声的噪声参数的后验似然函数；
步骤S105，求解所述后验似然函数的最优解，以得到所述噪声参数。
更具体而言，在步骤S101中，可以基于单张CMOS图像的Bayer数据对噪声进行建模。通常情况下，包含噪声的Bayer域图像数据(即，Bayer数据)服从高斯-泊松联合分布。因而，可以在Bayer域中直接将所述图像数据建模为高斯-泊松联合分布。其中，高斯噪声对应于CMOS成像系统中的感光器件本身的噪声，而泊松过程对应于光子打到CMOS传感器上的计数过程，二者相互独立。
在步骤S102中，可以基于建模结果对所述Bayer数据进行小波域分析，以得到小波系数。
具体而言，对于含有噪声的图像数据，其小波系数中的细节系数含有大量的噪声，细节系数的方差近似等于低频系数期望的方差。在具体实施中，可以将四通道Bayer域数据重组为新的图像数据，并对重组后的图像数据进行二维小波变换。
例如，图2是本发明实施例的一种图像数据的四通道Bayer数据的示意图。参考图2，每种不同填充的方格表示一个通道的数据，四个不同填充的方格表示4个通道的数据。图2中，Bayer数据未进行重组，未重组的Bayer数据各个相邻通道的数据是彼此独立的。假设每一通道对应一种图像色彩，那么四通道表示四种色彩数据，所述图像的四种色彩是间隔排列的。图3是对图2所示的四通道Bayer数据进行重组得到的图像数据的示意图。参考图3可知，重组后的Bayer数据中，所述图像的四种色彩数据分别排列，同一色彩的数据一起排列。
之后，采用两个一维小波的张量积构成二维小波，小波核分别为
Figure BDA0001910037140000081
Figure BDA0001910037140000082
和
Figure BDA0001910037140000083
Figure BDA0001910037140000084
表示张量积。其中，Ψ1为一维多贝西(Daubechies)小波，
Figure BDA0001910037140000085
为一维Daubechies小波的母小波函数，其具体系数如下：
Ψ1＝[0.035，-0.135，-0.460，0.807，-0.333]；
Figure BDA0001910037140000086
在得到包括低频小波系数和高频小波系数的小波系数之后，可以将所述小波系数划分为多个水平集。
参考图4，所述步骤S102中，将所述小波系数划分为多个水平集可以包括以下步骤：
步骤S1021，对所述低频小波系数进行平滑滤波，以得到平滑滤波后的低频数据集；
步骤S1022，对所述平滑滤波后的低频数据集进行边缘检测，以得到非边缘平滑数据集，并基于所述非边缘平滑数据集的坐标，得到对应的高频数据集；
步骤S1023，将所述高频数据集划分为多个互不重叠的水平集。
具体而言，在步骤S1021中，可以对所述低频小波系数进行平滑，例如，可以采用如下公式进行平滑，以得到平滑滤波后的低频数据集：
Figure BDA0001910037140000091
其中，zsmo表示平滑滤波后的低频数据集，zwapp表示所述小波低频系数，w表示平滑滤波器核，
Figure BDA0001910037140000092
表示卷积。具体实施时，w可以为7×7的平滑滤波器核，且所述平滑滤波器的系数和为1。优选地，所述平滑滤波器为平均滤波器。
在步骤S1022中，可以对所述平滑滤波后的低频数据集进行边缘检测，以得到非边缘平滑数据集，所述非边缘平滑数据集是低频数据。之后，可以根据所述平滑滤波后的低频数据集确定与之坐标位置相同的高频小波系数。本领域技术人员理解，此时得到的高频小波系数是剔除了边缘数据的平滑高频数据集。
在具体实施中，为了更准确地估计所述噪声参数，需要对图像数据(例如，所述平滑滤波后的低频数据集)进行边缘检测，以剔除图像的边缘部分，得到所述平滑的、非边缘的低频数据集。之后，可以利用高频数据集与低频数据集的坐标一一对应的特点，得到对应的高频数据集，所述高频数据集是平滑数据且剔除了边缘数据。之后，可以采用所述高频数据集进行参数估计。具体而言，可以采用如下公式进行边缘检测：
Figure BDA0001910037140000093
其中，Xsmo表示所述高频数据集，x表示Xsmo的元素，↓2X表示对数据X进行下2采样，X表示所述数据，zwapp表示所述低频小波系数，
Figure BDA0001910037140000094
表示zwapp中值滤波后进行拉普拉斯变换得到的结果，
Figure BDA0001910037140000095
表示对Λ(zwapp)进行梯度计算，
Figure BDA0001910037140000096
表示梯度算子，
Figure BDA0001910037140000097
表示拉普拉斯算子，τ为大于0的预设常数，s(x)为所述Bayer数据。
在具体实施中，可以采用3×3中值滤波器对zwapp进行中值滤波。
在步骤S1023中，可以将所述平滑后的高频数据集划分为多个互不重叠的水平集。每个水平集中的数据元素可以近似看作服从同样的概率分布。
具体实施中，可以将所述高频数据集Xsmo划分为N个不重叠的水平集。
每个水平集Si定义为：
Si＝{x∈Xsmo:zsmo(x)∈[ui-Δi/2,ui+Δi/2]}，
其中，Si表示第i个水平集，x表示Si的元素，ui表示第i个水平集的中心数据值，Δi表示第i个水平集的元素数量，zsmo表示平滑滤波后的低频数据集。实际应用中，Δi可以为均值，例如Δi＝1/300。
通常，可以将x的值归一化至区间[0,1]，水平集Si彼此没有重叠元素，直接剔除Si中小于2的元素，之后，采用Si对所述噪声参数进行参数估计。
在步骤S103中，估计每一水平集的数学期望和方差，之后，可以利用估计得到的数学期望和方差，采用最大似然估计法拟合确定高斯-泊松分布曲线。
具体而言，可以采用如下公式估计Si的均值(也即，数学期望)：
Figure BDA0001910037140000101
其中，ni表示第i个水平集Si的元素数量，ni为正整数，xj表示第i个水平集Si的第j个元素的坐标，zwapp(xj)表示坐标xj对应的低频小波系数，y^i表示第i个水平集Si的期望估计值。
之后，可以估计每一水平集的方差：
Figure BDA0001910037140000102
其中，
Figure BDA0001910037140000103
表示第i个水平集的方差估计值，ni表示第i个水平集Si的元素数量，ni>1，
Figure BDA0001910037140000104
表示所述高频小波系数的均值，xj表示Si的第j个元素的坐标，zwdet(xj)表示坐标xj对应的高频小波系数。
之后，可以按照如下公式计算所述平滑后的高频数据集的方差，其中，var表示方差：
Figure BDA0001910037140000111
其中，
Figure BDA0001910037140000112
表示对
Figure BDA0001910037140000113
取范数后，再平方，
Figure BDA0001910037140000114
之后，可以采用最大似然估计方法，利用估计得到的数据集
Figure BDA0001910037140000115
拟合高斯-泊松分布的全局参数σ。由于所述噪声建模采用的是高斯-泊松联合分布模型，因而可以得到σ2＝ay+b，其中，a为服从泊松分布的噪声参数，b为服从高斯分布的噪声强度(例如，噪声能量或噪声功率)。
进一步，为了简化计算，可以对估计得到的方差进行正则化，于是有
Figure BDA0001910037140000116
其中，εreg是很小的大于零的正则化常数，根据假设，在给定yi＝y的条件下，估计所述噪声参数的条件概率服从正态分布，于是：
Figure BDA0001910037140000117
Figure BDA0001910037140000118
由于上述两个条件概率相互独立，于是有联合分布：
Figure BDA0001910037140000119
假设
Figure BDA00019100371400001110
的先验概率为ρ0，在对数据集
Figure BDA00019100371400001111
进行滤波之后，可以得到
Figure BDA00019100371400001112
的后验似然函数L(a,b)，即：
Figure BDA00019100371400001113
其中，a、b为所述噪声参数。通常情况下，先验概率ρ0服从[0,1]的均匀分布，于是ρ0＝1，根据最大似然估计理论，理论上是可以估计出a、b的估计值
Figure BDA00019100371400001114
的。然而，当N很大时，利用解析方法求解几乎难以求解。此时，可以采用数值优化方法进行求解。具体地，对上述似然函数进行变换，可以将其描述为一个优化问题，即：
Figure BDA0001910037140000121
因此，标准差σ的估计值为：
Figure BDA0001910037140000122
对于参数
Figure BDA0001910037140000123
估计的最优化问题，可以采用单纯形(Nelder-Mead)迭代下山法求解最优值。考虑到数据集中的数据是离散数据，上述优化公式可以由积分换成有限项之和。假设数据集中N取值300，那么上述优化公式可以变换为求解300个估计值的离散求和。
本领域技术人员理解，采用单纯形迭代下山法需要初始值，在本发明实施例中，
Figure BDA0001910037140000124
的初始值如下：
Figure BDA0001910037140000125
其中，ΦT表示对Φ的转置，
Figure BDA0001910037140000126
Figure BDA0001910037140000127
至此，可以估计出高斯-泊松联合分布的噪声参数
Figure BDA0001910037140000128
对于高斯-泊松联合分布，其泊松分布参数
Figure BDA0001910037140000129
高斯分布参数
Figure BDA00019100371400001210
在估计出所述噪声参数之后，可以得到所述图像数据的高斯-泊松联合分布。进一步，可以对所述图像数据进行去噪处理。
需要说明的是，在进行噪声估计时，可以一并标定传统CMOS传感器输出的Bayer数据的四个通道，不过，对于之字形高动态范围图像(zigzag High Dynamic Range，简称zzHDR)传感器，由于通道之间曝光时间不一致，标定的结果差异性特别大，需要区别不同通道。
图5是本发明实施例的一种图像数据的去噪方法的流程示意图。所述去噪方法可以对CMOS图像数据进行去噪。具体而言，所述去噪方法可以包括以下步骤：
步骤S501，采用上述图像数据的噪声估计方法确定所述图像数据的噪声参数；
步骤S502，将所述噪声参数代入至建模得到的高斯-泊松联合分布模型中，以得到服从高斯-泊松联合分布的图像数据；
步骤S503，对所述高斯-泊松联合分布的图像数据进行方差稳定变换，以得到方差稳定变换后的图像数据；
步骤S504，对所述方差稳定变换后的图像数据进行去噪；
步骤S505，对去噪后的图像数据进行逆方差稳定变换，以得到拜耳域的图像数据。
更具体而言，在步骤S501中，可以采用图1至图4所述的图像数据的噪声估计方法确定所述图像数据的噪声参数，这里不再赘述。
在步骤S502中，可以将所述噪声参数代入至建模得到的高斯-泊松联合分布模型中，从而得到服从高斯-泊松联合分布的图像数据，具体实施细节可以参考现有技术方案实施，这里不再重复。
在步骤S503中，可以对所述高斯-泊松联合分布的图像数据进行方差稳定变换(Variance Stabilizing Transform，简称VST)，以得到方差稳定变换后的图像数据。VST变换是一种将对信号依赖的噪声转换为高斯白噪声的方法。VST的目的就是寻找函数f，使其应用于数据x，使得y＝f(x)的方差与x的均值无关。
在具体实施中，对于服从高斯-泊松分布的Bayer数据，可以对其进行VST变换，将图像数据转化为服从高斯分布的图像数据，从而可以利用已有的基于高斯白噪声假设的图像去噪算法对经过VST变换的图像数据进行去噪。
VST变换公式如下：
Figure BDA0001910037140000141
其中，t表示所述方差稳定变换后的图像数据，s表示未进行方差稳定变换的Bayer数据，g表示所述Bayer数据s的均值，α、σ表示所述噪声参数。
本领域技术人员理解，在进行VST变换之后，所述图像数据噪声模型服从高斯白噪声分布。
在步骤S504中，可以对所述方差稳定变换后的图像数据进行去噪。此时可以对变换后的图像数据进行去噪。通常情况下，可以采用兼顾边缘保持和去噪的双边滤波进行去噪；或者，利用局部相似性进行加权的非局部平均(Non-local Mean，简称NLM)去噪算法进行去噪；或者，采用导向滤波(Guided Image Filter，简称GIF)等滤波器进行去噪，这里不再赘述。
需要说明的是，由于Bayer数据的四个通道是有区别的，因此在进行去噪时可以分别对四个通道进行去噪，每个通道的邻域可以取自各自通道的数据。
在步骤S505中，可以对去噪后的图像数据进行逆方差稳定变换(InverseVariance Stabilizing Transform，简称IVST)，以得到去噪后的Bayer域图像数据。
在具体实施中，可以采用如下公式进行IVST变换：
Figure BDA0001910037140000142
其中，t表示所述VST变换后的图像数据，σ2表示所述图像数据的噪声方差。
由上，本发明实施例对CMOS图像传感器输出的图像数据噪声建模为高斯-泊松联合分布模型，并采用小波分析完成参数估计，VST变换然后进行去噪，可以仅仅利用单张图像进行标定就能够估计出噪声模型的噪声参数。进一步，本发明实施例提供的噪声估计方法无需对不同照度下的图像进行多次采样才能标定，很大程度上降低了采样标定过程的复杂性。而且，由于高斯-泊松联合分布模型相对于直接高斯白噪声模型而言，可以保留更多图像信息，因而进行去噪后，可以保留更多的图像细节信息。
图6是本发明实施例的一种图像数据的噪声估计装置的结构示意图。所述图像数据的噪声估计装置6(以下简称噪声估计装置6)可以应用于终端设备，对CMOS图像传感器输出的图像进行去噪。本领域技术人员理解，本发明实施例可以用于实施上述图1至图4所示的方法技术方案。
具体而言，上述噪声估计装置6可以包括：建模模块61，适于基于单张图像的拜耳数据进行高斯-泊松联合分布的噪声建模；划分模块62，适于对所述拜耳数据进行小波域分析，以得到小波系数，并将所述小波系数划分为多个水平集；估计拟合模块63，适于对每一水平集进行期望估计和方差估计，并根据估计出的各个水平集的期望和方差，采用最大似然估计法拟合高斯-泊松联合分布曲线；确定模块64，适于根据拟合得到的高斯-泊松联合分布曲线确定包含高斯-泊松联合分布的噪声参数的后验似然函数；求解模块65，适于利用最优化方法求解所述后验似然函数的最优解，以得到所述高斯-泊松联合分布的噪声参数。
在具体实施中，所述小波系数包括低频小波系数和高频小波系数，所述划分模块62可以包括：平滑子模块621，适于对所述低频小波系数进行平滑滤波，以得到平滑滤波后的低频数据集；检测子模块622，适于对所述平滑滤波后的低频数据集进行边缘检测，以得到非边缘平滑数据集，并基于所述非边缘平滑数据集的坐标，得到对应的高频数据集；划分子模块623，适于将所述高频数据集划分为多个互不重叠的水平集。
具体而言，所述平滑子模块621还适于采用如下公式对所述低频小波系数进行平滑滤波：
Figure BDA0001910037140000151
其中，zsmo表示平滑滤波后的低频数据集，zwapp表示所述小波低频系数，w表示平滑滤波器核，且所述平滑滤波器的系数和为1。
在具体实施中，所述平滑子模块621还适于采用如下公式对所述平滑滤波后的低频数据集进行边缘检测：
Figure BDA0001910037140000161
其中，Xsmo表示所述高频数据集，x表示Xsmo的元素，↓2X表示对数据X进行下2采样，X表示所述数据，zwapp表示所述低频小波系数，
Figure BDA0001910037140000162
表示zwapp中值滤波后进行拉普拉斯变换得到的结果，
Figure BDA0001910037140000163
表示对Λ(zwapp)进行梯度计算，
Figure BDA0001910037140000168
表示梯度算子，
Figure BDA0001910037140000167
表示拉普拉斯算子，τ为大于0的预设常数，s(x)为所述拜耳数据。
在具体实施中，可以采用如下公式表示第i个水平集，i为正整数：
Si＝{x∈Xsmo:zsmo(x)∈[ui-Δi/2,ui+Δi/2]}；
其中，Si表示第i个水平集，x表示Si的元素，ui表示第i个水平集的中心数据值，Δi表示第i个水平集的元素数量。
在具体实施中，所述估计拟合模块63可以包括第一估计子模块631，适于采用如下公式对每一水平集进行期望估计：
Figure BDA0001910037140000164
其中，ni表示第i个水平集Si的元素数量，ni为正整数，xj表示第i个水平集Si的第j个元素的坐标，zwapp(xj)表示坐标xj对应的低频小波系数，y^i表示第i个水平集Si的期望估计值。
所述估计拟合模块63还可以包括第二估计子模块632，适于采用如下公式对每一划分后的水平集进行方差估计：
Figure BDA0001910037140000165
其中，
Figure BDA0001910037140000166
表示第i个水平集的方差估计值，ni表示第i个水平集Si的元素数量，ni>1，
Figure BDA0001910037140000171
表示所述高频小波系数的均值，xj表示Si的第j个元素的坐标；zwdet(xj)表示坐标xj对应的高频小波系数。
关于所述噪声估计装置6的工作原理、工作方式的更多内容，可以参照上述图1至图4中的相关描述，这里不再赘述。
图7是本发明实施例的一种图像数据的去噪装置的结构示意图。所述图像数据的去噪装置7(为简便，简称为去噪装置7)可以用于对CMOS传感器输出的图像数据进行去噪。
具体地，所述去噪装置7可以包括：确定模块71，适于采用上述图像数据的噪声估计方法确定所述图像数据的噪声参数；代入模块72，适于将所述噪声参数代入至建模得到的高斯-泊松联合分布模型中，以得到服从高斯-泊松联合分布的图像数据；方差稳定变换模块73，适于对所述高斯-泊松联合分布的图像数据进行方差稳定变换，以得到方差稳定变换后的图像数据；去噪模块74，适于对所述方差稳定变换后的图像数据进行去噪；逆方差稳定变换模块75，适于对去噪后的图像数据进行逆方差稳定变换，以得到拜耳域的图像数据。
在具体实施中，所述方差稳定变换模块73可以包括：VST变换子模块731，适于采用公式
Figure BDA0001910037140000172
对所述高斯-泊松联合分布的图像数据进行方差稳定变换，其中，t表示所述方差稳定变换后的图像数据，s表示未进行方差稳定变换的拜耳数据，g表示所述拜耳数据s的均值，α、σ表示所述噪声参数。
所述去噪模块74可以包括：去噪子模块741，适于采用非局部平均去噪算法对所述方差稳定变换后的图像数据进行去噪。
进一步，所述逆方差稳定变换模块75还可以包括IVST变换子模块751，适于采用公式
Figure BDA0001910037140000173
对去噪后的图像数据进行逆方差稳定变换，其中，t表示所述方差稳定变换后的图像数据，σ2表示所述图像数据的噪声方差。
关于所述去噪装置7的工作原理、工作方式的更多内容，可以参照上述图5中的相关描述，这里不再赘述。
进一步地，本发明实施例还公开一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述图1至图5所示实施例中所述的方法技术方案。优选地，所述存储介质可以包括诸如非挥发性(Non-Volatile)存储器或者非瞬态(Non-Transitory)存储器等计算机可读存储介质。所述存储介质可以包括ROM、RAM、磁盘或光盘等。
进一步地，本发明实施例还公开一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述图1至图5所示实施例中所述的方法技术方案。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (15)

1.一种图像数据的噪声估计方法，其特征在于，包括：
基于单张图像的拜耳数据对高斯-泊松联合分布的噪声进行建模；
根据建模结果对所述拜耳数据进行小波域分析，以得到小波系数，并将所述小波系数划分为多个水平集；
对每一水平集进行期望估计和方差估计，并根据估计出的各个水平集的期望和方差，采用最大似然估计法拟合高斯-泊松联合分布曲线；
根据拟合得到的高斯-泊松联合分布曲线确定包含所述噪声的噪声参数的后验似然函数；
求解所述后验似然函数的最优解，以得到所述噪声参数。
2.根据权利要求1所述的噪声估计方法，其特征在于，所述小波系数包括低频小波系数和高频小波系数，所述将所述小波系数划分为多个水平集包括：对所述低频小波系数进行平滑滤波，以得到平滑滤波后的低频数据集；
对所述平滑滤波后的低频数据集进行边缘检测，以得到非边缘平滑数据集，并基于所述非边缘平滑数据集的坐标，得到对应的高频数据集；
将所述高频数据集划分为多个互不重叠的水平集。
3.根据权利要求2所述的噪声估计方法，其特征在于，采用如下公式对所述低频小波系数进行平滑滤波：
Figure FDA0001910037130000011
其中，zsmo表示平滑滤波后的低频数据集，zwapp表示所述小波低频系数，w表示平滑滤波器核，且所述平滑滤波器的系数和为1。
4.根据权利要求2所述的噪声估计方法，其特征在于，采用如下公式对所述平滑滤波后的低频数据集进行边缘检测：
Figure FDA0001910037130000012
其中，Xsmo表示所述高频数据集，x表示Xsmo的元素，↓2X表示对数据X进行下2采样，X表示所述数据，zwapp表示所述低频小波系数，
Figure FDA0001910037130000013
表示zwapp中值滤波后进行拉普拉斯变换得到的结果，
Figure FDA0001910037130000021
表示对Λ(zwapp)进行梯度计算，▽表示梯度算子，▽2表示拉普拉斯算子，τ为大于0的预设常数，s(x)为所述拜耳数据。
5.根据权利要求4所述的噪声估计方法，其特征在于，采用如下公式表示第i个水平集，i为正整数：
Si＝{x∈Xsmo:zsmo(x)∈[ui-Δi/2,ui+Δi/2]}；
其中，Si表示第i个水平集，x表示Si的元素，ui表示第i个水平集的中心数据值，Δi表示第i个水平集的元素数量。
6.根据权利要求5所述的噪声估计方法，其特征在于，采用如下公式对每一水平集进行期望估计：
Figure FDA0001910037130000022
其中，ni表示第i个水平集Si的元素数量，ni为正整数，xj表示第i个水平集Si的第j个元素的坐标，zwapp(xj)表示坐标xj对应的低频小波系数，
Figure FDA0001910037130000023
表示第i个水平集Si的期望估计值。
7.根据权利要求5所述的噪声估计方法，其特征在于，采用如下公式对每一划分后的水平集进行方差估计：
Figure FDA0001910037130000024
其中，
Figure FDA0001910037130000025
表示第i个水平集的方差估计值，ni表示第i个水平集Si的元素数量，ni>1，
Figure FDA0001910037130000026
Figure FDA0001910037130000027
表示所述高频小波系数的均值，xj表示Si的第j个元素的坐标；zwdet(xj)表示坐标xj对应的高频小波系数。
8.一种图像数据的去噪方法，其特征在于，包括：
采用权利要求1至7任一项所述的图像数据的噪声估计方法确定所述图像数据的噪声参数；
将所述噪声参数代入至建模得到的高斯-泊松联合分布模型中，以得到服从高斯-泊松联合分布的图像数据；
对所述高斯-泊松联合分布的图像数据进行方差稳定变换，以得到方差稳定变换后的图像数据；
对所述方差稳定变换后的图像数据进行去噪；
对去噪后的图像数据进行逆方差稳定变换，以得到拜耳域的图像数据。
9.根据权利要求8所述的去噪方法，其特征在于，所述对所述高斯-泊松联合分布的图像数据进行方差稳定变换包括：
采用公式
Figure FDA0001910037130000031
对所述高斯-泊松联合分布的图像数据进行方差稳定变换，其中，t表示所述方差稳定变换后的图像数据，s表示未进行方差稳定变换的拜耳数据，g表示所述拜耳数据s的均值，α、σ表示所述噪声参数。
10.根据权利要求8所述的去噪方法，其特征在于，所述对所述方差稳定变换后的图像数据进行去噪包括：
采用非局部平均去噪算法对所述方差稳定变换后的图像数据进行去噪。
11.根据权利要求8所述的去噪方法，其特征在于，所述对去噪后的图像数据进行逆方差稳定变换包括：
采用公式
Figure FDA0001910037130000032
对去噪后的图像数据进行逆方差稳定变换，其中，t表示所述方差稳定变换后的图像数据，σ2表示所述图像数据的噪声方差。
12.一种图像数据的噪声估计装置，其特征在于，包括：
建模模块，适于基于单张图像的拜耳数据进行高斯-泊松联合分布的噪声建模；
划分模块，适于对所述拜耳数据进行小波域分析，以得到小波系数，并将所述小波系数划分为多个水平集；
估计拟合模块，适于对每一水平集进行期望估计和方差估计，并根据估计出的各个水平集的期望和方差，采用最大似然估计法拟合高斯-泊松联合分布曲线；
确定模块，适于根据拟合得到的高斯-泊松联合分布曲线确定包含高斯-泊松联合分布的噪声参数的后验似然函数；
求解模块，适于利用最优化方法求解所述后验似然函数的最优解，以得到所述高斯-泊松联合分布的噪声参数。
13.一种图像的去噪装置，其特征在于，包括：
确定模块，适于采用权利要求12所述的图像的噪声估计装置确定所述图像的噪声参数；
代入模块，适于将所述噪声参数代入至建模得到的高斯-泊松联合分布数据中；
方差稳定变换模块，适于对所述高斯-泊松联合分布数据进行方差稳定变换，以得到方差稳定变换后的图像数据；
去噪模块，适于对方差稳定变换后的图像数据进行去噪；
逆方差稳定变换模块，适于对去噪后的图像数据进行逆方差稳定变换，以得到拜耳域的图像数据。
14.一种存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求1至7任一项或权利要求8至11任一项所述的方法的步骤。
15.一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求1至7任一项或权利要求8至11任一项所述的方法的步骤。
CN201811548643.4A 2018-12-18 2018-12-18 图像数据的噪声估计与去噪方法及装置、存储介质、终端 Pending CN111340713A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811548643.4A CN111340713A (zh) 2018-12-18 2018-12-18 图像数据的噪声估计与去噪方法及装置、存储介质、终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811548643.4A CN111340713A (zh) 2018-12-18 2018-12-18 图像数据的噪声估计与去噪方法及装置、存储介质、终端

Publications (1)

Publication Number Publication Date
CN111340713A true CN111340713A (zh) 2020-06-26

Family

ID=71184965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811548643.4A Pending CN111340713A (zh) 2018-12-18 2018-12-18 图像数据的噪声估计与去噪方法及装置、存储介质、终端

Country Status (1)

Country Link
CN (1) CN111340713A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529854A (zh) * 2020-11-30 2021-03-19 华为技术有限公司 一种噪声估计方法、装置、存储介质及设备
CN114529509A (zh) * 2022-01-11 2022-05-24 北京的卢深视科技有限公司 图像噪声评价方法、电子设备和计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ALESSANDRO FOI ET AL: "Practical Poissonian-Gaussian Noise Modeling and Fitting for Single-Image Raw-Data", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
MARKKU MÄKITALO ET AL: "Optimal Inversion of the Generalized Anscombe Transformation for Poisson-Gaussian Noise", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529854A (zh) * 2020-11-30 2021-03-19 华为技术有限公司 一种噪声估计方法、装置、存储介质及设备
CN112529854B (zh) * 2020-11-30 2024-04-09 华为技术有限公司 一种噪声估计方法、装置、存储介质及设备
CN114529509A (zh) * 2022-01-11 2022-05-24 北京的卢深视科技有限公司 图像噪声评价方法、电子设备和计算机可读存储介质
CN114529509B (zh) * 2022-01-11 2022-12-16 合肥的卢深视科技有限公司 图像噪声评价方法、电子设备和计算机可读存储介质

Similar Documents

Publication Publication Date Title
Whyte et al. Deblurring shaken and partially saturated images
Lebrun et al. Secrets of image denoising cuisine
Talebi et al. Global image denoising
Yu et al. Solving inverse problems with piecewise linear estimators: From Gaussian mixture models to structured sparsity
Cai et al. Linearized Bregman iterations for frame-based image deblurring
US7778484B2 (en) Method and apparatus for reducing noise in an image using wavelet decomposition
US6801672B1 (en) Removing noise from a color image using wavelets
US9619755B2 (en) Method for estimating parameters of a graph spectral filter using training data
US20160253787A1 (en) Methods and systems for denoising images
JP7362297B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN107133923B (zh) 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法
Nnolim An adaptive RGB colour enhancement formulation for logarithmic image processing-based algorithms
CN114022393B (zh) 基于全变分和低秩方向稀疏约束的图像条带噪声去除方法
Thai et al. Generalized signal-dependent noise model and parameter estimation for natural images
CN110032704A (zh) 数据处理方法、装置、终端及存储介质
CN108734658B (zh) 一种高分辨率图像的重建方法及系统
CN107180418A (zh) 一种基于Tetrolet变换的遥感图像增强方法及装置
CN111340713A (zh) 图像数据的噪声估计与去噪方法及装置、存储介质、终端
Zhuang et al. Divide-and-conquer framework for image restoration and enhancement
Ma et al. Image deblurring via total variation based structured sparse model selection
US8478062B2 (en) Reducing signal-dependent noise in digital cameras
US9159123B2 (en) Image prior as a shared basis mixture model
JP6541454B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
Colom et al. Analysis and extension of the percentile method, estimating a noise curve from a single image
Krishnan et al. An efficient operator splitting method for noise removal in images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200626

RJ01 Rejection of invention patent application after publication