CN107945119B - 基于拜耳模式的图像内相关噪声估计方法 - Google Patents

Abstract

本发明属于计算机视觉领域，为提供更为精确的噪声估计的方法，为此，本发明采用的技术方案是，基于拜耳模式的图像内相关噪声估计方法，步骤如下：1)建立噪声模型：

2)对噪声图像进行下采样；3)对四副子图进行初步去噪；4)估计每副子图的噪声方差图：41)为去除RGB通道之间的相关性；42)搜索相似块；43)估计噪声方差；44)聚合估计方差；45)恢复整副图的方差图。本发明主要应用于计算机视觉场合。

Description

基于拜耳模式的图像内相关噪声估计方法

技术领域

本发明属于计算机视觉领域。涉及实际图像去噪过程中噪声估计的方法，具体讲，通过基于Bayer(拜耳)模式下采样的方法分别估计四副子图的噪声方差图，进而上采样恢复整图实际图像的噪声方差图。

背景技术

噪声估计和图像去噪作为数字图像领域的一个基础问题，对很多图像处理算法的研究都具有重要作用。自从数字图像诞生，有关图像噪声的研究就开始了。而大部分的去噪算法都是在假设已经获知噪声类型和噪声水平的基础上进行的，这个必然需要先进行噪声估计。

在大部分的噪声估计算法中，噪声都通常被假设为加性高斯白噪声，并且是跟图像内容和空间分布是无关的。然而这种简单的高斯白噪声模型并不适用于由复杂的实际成像系统(单反相机、智能手机等)在拍摄过程中产生的信号相关噪声。

噪声模型可以分为三种类型：点模型、线模型和图模型。点模型主要是指针对于高斯白噪声而设计的传统噪声估计方法，用一单一方差表示图像噪声水平，并不适用于各种复杂噪声混合在一起的情况；线模型用NLF(噪声水平函数)曲线描述噪声水平与信号强度之间的映射关系；图模型认为图像噪声水平不仅与图像像素值有关，而且与像素周围内容有关，用噪声方差图对应噪声图像中每一个像素点的噪声水平。

目前主要有两种较好的噪声估计方法：一种是噪声水平函数(NLF)的估计，通过建立一个过完备字典，选取光滑图像块的方差作为样本，并利用稀疏表示的方法估计出图像的噪声水平函数。另一种是噪声方差图的估计，基于采用数据驱动的方式，采用MLP(多层感知机)学习噪声图像和噪声方差图之间的映射关系。

但是据查，这两种方法能够取得较好的结果，但是对于一些纹理丰富的图像，这两种方法的鲁棒性都不好。

发明内容

为克服现有技术的不足，本发明的目旨在提供更为精确的噪声估计的方法，为此，本发明采用的技术方案是，基于拜耳模式的图像内相关噪声估计方法，步骤如下：

1)建立噪声模型：

建立噪声模型为噪声方差图，即每个像素点都对应一个噪声水平，方程(1)中，(x,y)为当前像素的坐标，∑(x,y)是当前像素位置对应的方差矩阵。

分别为该像素位置在YUV通道的噪声方差；

2)对噪声图像进行下采样：依照Bayer模式对图像进行下采样，得到四副子图{I₁,I₂,I₃,I₄}，用I_i(i＝1,2,3,4)表示其中一幅子图；

3)对四副子图进行初步去噪：采用彩色3维块匹配CBM3D算法分别对四副子图去噪，得到它们的去噪图像

用

表示其中一幅去噪图像，i＝1,2,3,4，该算法包含一个噪声水平参数σ，按照相机拍摄时采用的ISO值来确定，其计算公式为：

采用CBM3D(彩色3维块匹配)算法对四副子图进行去噪时，参数σ的值是固定的，并且由公式(2)计算出的σ通常要比噪声图像的实际噪声水平要大,从而彻底滤出噪声；

4)估计每副子图的噪声方差图

41)为去除RGB通道之间的相关性，分别将子图I_i和去噪子图

从RGB空间变换到YUV空间，变换公式为：

A是变换矩阵，变换后图像分别表示为

42)搜索相似块：以步长为s,将

分为k×k的图像块，对于每一个图像块,在包含其的一定范围的区域内搜索与之最为相似的m个图像块，分为一组记为

利用

中图像块的坐标在

中选取相应的图像块，分为一组记为G；

43)估计噪声方差：估计G携带的噪声样本N，公式为：

计算N中噪声样本的方差σ²，即为当前图像块中像素所对应的噪声水平。计算公式为：

n是N中噪声样本总数，x_i是N中第i个样本点，

是N中所有样本均值；

44)聚合估计方差：由于设定的步长s一般小于图像块尺寸，所以对于一个像素点将会出现估计出多个方差的情况，对这个像素点所有估计出来的方差进行聚合，作为该像素点所对应的方差。

45)恢复整副图的方差图：按照上述步骤分别估计出四副子图在YUV通道的噪声方差图

由四副子图的方差图通过上采样分别恢复整幅图像的YUV通道的噪声方差图。

在一个实例中，步骤4)具体是：

41)将图像从RGB空间转换到YUV空间，其变换矩阵为：

42)为保证估计精度，将步长s设置为1，图像块尺寸为4×4，通过最小化参考块和匹配块之间l₂距离搜索相似块：

B_xR和B_x分别表示参考块和匹配块,||·||₂表示l₂范数，k²是B_xR中的像素数，选取d(B_xR,B_x)前m个最小值对应的B_x自适应地搜索出B_xR的相似块。另外，搜索相似块只在Y通道进行，UV通道直接采用Y通道的分组方式；

44)由于搜索相似块时，步长s设置为1，参考块之间将会相互重叠，进而每个像素点将估计出多个噪声水平，求取均值作为最终估计的噪声水平；

45)将

按照Bayer模式上采样到原始位置，恢复出整副噪声图像的噪声方差图。

本发明的技术特点及效果：

本发明方法针对实际相机拍摄图像噪声水平难以估计的问题，通过观察噪声水平的分布情况，且利用基于Bayer模式的下采样方案，将噪声水平相近的像素点集中，进而估计出精确度较高的噪声水平方差图。本发明具有以下特点：

1、通过估计出下采样四副子图的噪声方差图进而恢复原图对应的噪声水平图。

2、为去除RGB通道的相关性，将噪声图转换到YUV通道进行噪声估计。

3、利用了图像内部相关性，搜索相似块集中噪声水平相似的图像块。

4、采用均值的方式聚合同一像素点将估计出多个噪声水平。

附图说明

图1是算法流程图；

图2是本发明的输入和输出：输入是(a)噪声图像,,输出是(b)噪声方差图(包括YUV三个通道的方差图)。

图3是不同ISO设定下各个方法的结果比较。由于噪声水平函数(NLF)模型只能表示Y通道噪声水平，所以本发明结果只和NLF模型比较Y通道噪声估计结果。第一组为NikonD800 ISO为1600的噪声估计结果(a)为噪声图，(b)NLF模型估计结果(只有Y通道)，MSE:0.901；(c)MLP估计结果(YUV三个通道)，MSE：(1.835,1.4,0.599)；(d)为本发明估计结果，MSE：(0.673,0.259,0.543)。图4为Nikon D800 ISO为3200的噪声估计结果(a)为噪声图，(b)NLF模型估计结果，MSE:1.462；(c)MLP估计结果，MSE：(1.332,1.787,2.162)；(d)为本发明估计结果，MSE：(0.537,0.449,0.539)。图5为Nikon D800 ISO为6400的噪声估计结果(a)为噪声图，(b)NLF模型估计结果，MSE：2.028；(c)MLP估计结果，MSE：(9.984,0.547,9.282)；(d)为本发明估计结果，MSE：(0.794,0.682,2.325)。

具体实施方式

1)给定一实际噪声图像，本发明的目的是估计出该噪声图像对应的噪声方差图(包括YUV三个通道)。本发明基于拜耳Bayer模式(即按照Bayer对进行下采样分成四副子图)的噪声模型如下：

实际拍摄图像的噪声并不是简单的高斯白噪声或者泊松噪声，实际拍摄图像噪声为信号相关噪声，即对于实际噪声图像中每一个像素点，其噪声水平不仅与该像素点的像素值有关，而且与图像的内容有关。所以建立噪声模型为噪声方差图，即每个像素点都对应一个噪声水平。方程(1)中，(x,y)为当前像素的坐标，∑(x,y)是当前像素位置对应的方差矩阵。

分别为该像素位置在YUV通道的噪声方差。

2)对噪声图像进行下采样：依照Bayer(拜耳)模式对图像进行下采样，得到四副子图{I₁,I₂,I₃,I₄}，用I_i(i＝1,2,3,4)表示其中一幅子图；

3)对四副子图进行初步去噪：采用CBM3D(彩色3维块匹配)算法分别对四副子图去噪，得到它们的去噪图像

用

表示其中一幅去噪图像。该算法包含一个噪声水平参数σ，可以按照相机拍摄时采用的ISO值来确定，其计算公式为：

采用CBM3D算法对四副子图进行去噪时，参数σ的值是固定的，并且由公式(2)计算出的σ通常要比噪声图像的实际噪声水平要大,从而彻底滤出噪声。

4)估计每副子图的噪声方差图。

41)为去除RGB通道之间的相关性，分别将子图I_i和去噪子图

从RGB空间变换到YUV空间，变换公式为：

A是变换矩阵，变换后图像分别表示为

42)搜索相似块：以步长为s,将

分为k×k的图像块，对于每一个图像块,在包含其的一定范围的区域内搜索与之最为相似的m个图像块，分为一组记为

利用

中图像块的坐标在

中选取相应的图像块，分为一组记为G；

43)估计噪声方差：估计G携带的噪声样本N，公式为：

计算N中噪声样本的方差σ²，即为当前图像块中像素所对应的噪声水平。计算公式为：

n是N中噪声样本总数，x_i是N中第i个样本点，

是N中所有样本均值。

44)聚合估计方差：由于设定的步长s一般小于图像块尺寸，所以对于一个像素点将会出现估计出多个方差的情况，对这个像素点所有估计出来的方差进行聚合，作为该像素点所对应的方差。

45)恢复整副图的方差图：按照上述步骤分别估计出四副子图在YUV通道的噪声方差图

由四副子图的方差图通过上采样分别恢复整幅图像的YUV通道的噪声方差图。

步骤4)的具体步骤是：

41)将图像从RGB空间转换到YUV空间，其变换矩阵为：

42)为保证估计精度，将步长s设置为1，图像块尺寸为4×4。通过最小化参考块和匹配块之间l₂距离搜索相似块：

B_xR和B_x分别表示参考块和匹配块,||·||₂表示l₂范数，k²是B_xR中的像素数。选取d(B_xR,B_x)前m个最小值对应的B_x自适应地搜索出B_xR的相似块。另外，搜索相似块只在Y通道进行，UV通道直接采用Y通道的分组方式。

46)由于搜索相似块时，步长s设置为1，参考块之间将会相互重叠，进而每个像素点将估计出多个噪声水平，求取均值作为最终估计的噪声水平。

47)将

按照Bayer(拜耳)模式上采样到原始位置，恢复出整副噪声图像的噪声方差图。

下面结合附图和实施例对本发明作详细说明(算法流程图如图1所示)。

1)给定一实际噪声图像，本发明的目的是估计出该噪声图像对应的噪声方差图(包括YUV三个通道)如图2所示。本发明基于Bayer模式(即按照Bayer对进行下采样分成四副子图)的噪声模型如下：

实际拍摄图像的噪声并不是简单的高斯白噪声或者泊松噪声，实际拍摄图像噪声为信号相关噪声，即对于实际噪声图像中每一个像素点，其噪声水平不仅与该像素点的像素值有关，而且与图像的内容有关。所以建立噪声模型为噪声方差图，即每个像素点都对应一个噪声水平。方程(1)中，(x,y)为当前像素的坐标，∑(x,y)是当前像素位置对应的方差矩阵。

分别为该像素位置在YUV通道的噪声方差。

2)对噪声图像进行下采样：依照Bayer(拜耳)模式对图像进行下采样，得到四副子图{I₁,I₂,I₃,I₄}，用I_i(i＝1,2,3,4)表示其中一幅子图；

3)对四副子图进行初步去噪：采用CBM3D(彩色3维块匹配)算法分别对四副子图去噪，得到它们的去噪图像

用

表示其中一幅去噪图像。该算法包含一个噪声水平参数σ，可以按照相机拍摄时采用的ISO值来确定，其计算公式为：

采用CBM3D算法对四副子图进行去噪时，参数σ的值是固定的，并且由公式(2)计算出的σ通常要比噪声图像的实际噪声水平要大,从而彻底滤出噪声。

4)估计每副子图的噪声方差图。

41)为去除RGB通道之间的相关性，分别将子图I_i和去噪子图

从RGB空间变换到YUV空间，变换公式为：

A是变换矩阵，变换后图像分别表示为

42)搜索相似块：以步长为s,将

分为k×k的图像块，对于每一个图像块,在包含其的一定范围的区域内搜索与之最为相似的m个图像块，分为一组记为

利用

中图像块的坐标在

中选取相应的图像块，分为一组记为G；

43)估计噪声方差：估计G携带的噪声样本N，公式为：

计算N中噪声样本的方差σ²，即为当前图像块中像素所对应的噪声水平。计算公式为：

n是N中噪声样本总数，x_i是N中第i个样本点，

是N中所有样本均值。

44)聚合估计方差：由于设定的步长s一般小于图像块尺寸，所以对于一个像素点将会出现估计出多个方差的情况，对这个像素点所有估计出来的方差进行聚合，作为该像素点所对应的方差。

45)恢复整副图的方差图：按照上述步骤分别估计出四副子图在YUV通道的噪声方差图

由四副子图的方差图通过上采样分别恢复整幅图像的YUV通道的噪声方差图。

步骤4)的具体步骤是：

41)将图像从RGB空间转换到YUV空间，其变换矩阵为：

42)为保证估计精度，将步长s设置为1，图像块尺寸为4×4。通过最小化参考块和匹配块之间l2距离搜索相似块：

B_xR和B_x分别表示参考块和匹配块,||·||₂表示l₂范数，k²是B_xR中的像素数。选取d(B_xR,B_x)前m个最小值对应的B_x自适应地搜索出B_xR的相似块。另外，搜索相似块只在Y通道进行，UV通道直接采用Y通道的分组方式。

48)由于搜索相似块时，步长s设置为1，参考块之间将会相互重叠，进而每个像素点将估计出多个噪声水平，求取均值作为最终估计的噪声水平。

49)将

按照Bayer模式上采样到原始位置，恢复出整副噪声图像的噪声方差图。

实验结果：本发明采用MSE(最小均方误差)作为噪声估计结果的度量测度：

其中Γ(x,y)代表真是的噪声方差图，

为估计出的噪声方差图，h为图像的高度，w为图像的宽度，(x,y)为第x行第y列的像素值，Σ表示求和运算，|·|为绝对值。

Claims (2)

1.一种基于拜耳模式的图像内相关噪声估计方法，其特征是，步骤如下：

1)建立噪声模型：

建立噪声模型为噪声方差图，即每个像素点都对应一个噪声水平，方程(1)中，(x,y)为当前像素的坐标，∑(x,y)是当前像素位置对应的方差矩阵，

分别为该像素位置在YUV通道的噪声方差；

2)对噪声图像进行下采样：依照Bayer模式对图像进行下采样，得到四幅子图{I₁,I₂,I₃,I₄}，用I_i表示其中一幅子图，i＝1,2,3,4；

3)对四幅子图进行初步去噪：采用彩色3维块匹配CBM3D算法分别对四幅子图去噪，得到它们的去噪图像

用

表示其中一幅去噪图像，该算法包含一个噪声水平参数σ，按照相机拍摄时采用的ISO值来确定，其计算公式为：

采用CBM3D(彩色3维块匹配)算法对四幅子图进行去噪时，参数σ的值是固定的，并且由公式(2)计算出的σ通常要比噪声图像的实际噪声水平要大,从而彻底滤出噪声；

4)估计每幅子图的噪声方差图

41)为去除RGB通道之间的相关性，分别将子图I_i和去噪子图

从RGB空间变换到YUV空间，变换公式为：

A是变换矩阵，变换后图像分别表示为

42)搜索相似块：以步长为s,将

分为k×k的图像块，对于每一个图像块,在包含其的一定范围的区域内搜索与之最为相似的m个图像块，分为一组记为

利用

中图像块的坐标在

中选取相应的图像块，分为一组记为G；

43)估计噪声方差：估计G携带的噪声样本N，公式为：

计算N中噪声样本的方差σ²，即为当前图像块中像素所对应的噪声水平，计算公式为：

n是N中噪声样本总数，xi是N中第i个样本点，

是N中所有样本均值；

44)聚合估计方差：由于设定的步长s一般小于图像块尺寸，所以对于一个像素点将会出现估计出多个方差的情况，对这个像素点所有估计出来的方差进行聚合，作为该像素点所对应的方差；

45)恢复整幅图的方差图：按照上述步骤分别估计出四幅子图在YUV通道的噪声方差图

i＝1,2,3,4；c＝y,u,v，由四幅子图的方差图通过上采样分别恢复整幅图像的YUV通道的噪声方差图。

2.如权利要求1所述的基于拜耳模式的图像内相关噪声估计方法，其特征是，步骤4)具体是：

41)将图像从RGB空间转换到YUV空间，其变换矩阵为：

42)为保证估计精度，将步长s设置为1，图像块尺寸为4×4，通过最小化参考块和匹配块之间l₂距离搜索相似块：

B_xR和B_x分别表示参考块和匹配块,||·||₂表示l₂范数，k²是B_xR中的像素数，选取d(B_xR,B_x)前m个最小值对应的B_x自适应地搜索出B_xR的相似块，另外，搜索相似块只在Y通道进行，UV通道直接采用Y通道的分组方式；

44)由于搜索相似块时，步长s设置为1，参考块之间将会相互重叠，进而每个像素点将估计出多个噪声水平，求取均值作为最终估计的噪声水平；

45)将

按照Bayer模式上采样到原始位置，恢复出整幅噪声图像的噪声方差图。

Images