CN110324541A - 一种滤波联合去噪插值方法及装置 - Google Patents

Abstract

本发明提供一种滤波联合去噪插值方法及装置，滤波联合去噪插值方法包括：以待还原像素作为中心，获得一3*3的像素阵列；将该3*3的像素阵列划分为四个2*2的子像素阵列，该四个子像素阵列皆包括该待还原像素；根据子像素阵列及覆盖各像素的滤色片的转换系数获得对应子像素阵列的转换矩阵；获取对应子像素阵列的电信号强度矩阵；对每一子像素阵列，采用最小二乘法根据对应该子像素阵列的转换矩阵及电信号强度矩阵计算该子像素阵列的三个不同色的像素值；计算各子像素阵列的每一色的平均像素值；以及将各色的平均像素值作为所述待还原像素的三个不同色的像素值。本发明加大通光量并通过相邻像素的彼此约束降低像素自身的噪声。

Description

一种滤波联合去噪插值方法及装置

技术领域

本发明涉及图像信号处理，尤其涉及一种滤波联合去噪插值方法及装置。

背景技术

CCD(Charge-coupled Device，电荷耦合元件)/CMOS(Complementary MetalOxide Semiconductor，互补金属氧化物半导体)都是将光照强度转化为电学信号的器件，标准的彩色摄影系统通过增加分光棱镜对光线进行滤波进行光的分解，后期进行合成。光线先通过镜头照射在分光棱镜上，光线被分成“三束”，然后“三束”光线通过RGB分色棱镜，这时候光线本身就具备了RGB三种单色，然后这三色光照在对应的三片CCD上，于是CCD就可以将RGB对应的光信号，转换成电信号以进行放大，最终合成千千万万的彩色世界的景观。

事实上，现有的一些技术尝试过非RGBG构造的拜尔滤色镜，例如RGBE(红、绿、蓝、宝石蓝)、CYYM(青、黄、黄、紫红)、CYGM(青、黄、绿、紫红)等，传统拜尔滤色镜采用RGBG构造(Bayer filter，这种滤色器的排列有50％是绿色，25％是红色，另外25％是蓝色，因此，除了RGBG外，也可称做GRGB，或者RGGB)。传统拜尔滤色镜采用RGBG构造会形成两大缺陷：第一，单一通道只能通过RGBG中一个主分量的光照，所以透光量大大降低，需要后期电路通过放大的方式对信号进行处理，放大倍数越大，噪声越大；第二，RGBG彼此信号独立，当任意马赛克位置出现信息异常无法彼此校验，如果存在噪声，并通过去噪算法降低噪声时，由于去噪半径过大，跨距至少在两个像素以上，使得信号常常需要在噪声与细节处理上进行权衡。

发明内容

本发明为了克服上述现有技术存在的缺陷，提供一种滤波联合去噪插值方法及装置，加大通光量并通过相邻像素的彼此约束降低像素自身的噪声。

根据本发明的一个方面，提供一种滤波联合去噪插值方法，包括：

以待还原像素作为中心，获得一3*3的像素阵列；

将该3*3的像素阵列划分为四个2*2的子像素阵列M₁至M₄，该四个子像素阵列M₁至M₄皆包括该待还原像素；

根据子像素阵列M₁至M₄及覆盖各像素的滤色片的转换系数获得对应子像素阵列M₁至M₄的转换矩阵m₁至m₄；

获取对应子像素阵列M₁至M₄的电信号强度矩阵n₁至n₄；

对每一子像素阵列，采用最小二乘法根据对应该子像素阵列的转换矩阵及电信号强度矩阵计算该子像素阵列的三个不同色的像素值；

计算各子像素阵列M₁至M₄的每一色的平均像素值；以及

将各色的平均像素值作为所述待还原像素的三个不同色的像素值。

可选地，覆盖该像素阵列的p个不同色的滤波片的转换系数集r_x＝{x|x∈{r_i},0<i≤p}，p为大于等于3的整数，r_i为对应第i色的滤波片的转换系数，其中，转换系数集r_x中对应不同色的滤波片的转换系数不同。

可选地，‖rx‖最大。

可选地，覆盖该像素阵列的p个不同色的滤波片的转换系数形成主转换矩阵m＝(r₁ ^T…r_i ^T…r_p ^T)^T，其中，主转换矩阵m列满秩。

可选地，基于主转换矩阵m定义中间值k＝(m^Tm)^-1m^T，其中，‖k‖‖k^-1‖最小。

可选地，不同色的滤波片的转换系数根据实验检测获得。

可选地，所述对每一子像素阵列，采用最小二乘法根据对应该子像素阵列的转换矩阵及电信号强度矩阵计算该子像素阵列的三个不同色的像素值之后，且所述计算各子像素阵列M₁至M₄的每一色的平均像素值之前包括：

过滤异常像素值。

可选地，对一图像的总像素阵列，将该总像素阵列中除了边缘像素外的各像素以此作为所述待还原像素。

可选地，子像素阵列M₁至M₄中每一子像素阵列包括不同色的四个像素。

根据本发明的又一方面，还提供一种滤波联合去噪插值装置，包括：

像素阵列确定模块，用于以待还原像素作为中心，获得一3*3的像素阵列；

划分模块，用于将该3*3的像素阵列划分为四个2*2的子像素阵列M₁至M₄，该四个子像素阵列M₁至M₄皆包括该待还原像素；

转换矩阵模块，用于根据子像素阵列M₁至M₄及覆盖各像素的滤色片的转换系数获得对应子像素阵列M₁至M₄的转换矩阵m₁至m₄；

信号强度矩阵模块，用于获取对应子像素阵列M₁至M₄的电信号强度矩阵n₁至n₄；

第一计算模块，用于对每一子像素阵列，采用最小二乘法根据对应该子像素阵列的转换矩阵及电信号强度矩阵计算该子像素阵列的三个不同色的像素值；

第二计算模块，用于计算各子像素阵列M₁至M₄的每一色的平均像素值；以及

确定模块，用于将各色的平均像素值作为所述待还原像素的三个不同色的像素值。

与现有技术比较，本发明具有以下有益效果：

本发明通过利用邻近滤色片之间的相关性对彼此信息进行矫正，任意感光点都受到周围八个感光点权重约束，通过最小二乘法拟合可有效降低高斯噪声带来的误差，使得该感光点的误差大大降低，同时去噪算法大大简化。

附图说明

通过参照附图详细描述其示例实施方式，本发明的上述和其它特征及优点将变得更加明显。

图1是本发明实施例提供的一种滤波联合去噪插值方法的流程图；

图2至图8是本发明一具体实施例提供的滤波联合去噪插值方法的示意图；

图9是本发明实施例提供的一种滤波联合去噪插值装置的模块图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或逻辑电路装置和/或微控制器装置中实现这些功能实体。

图1是本发明实施例提供的一种滤波联合去噪插值方法的流程图，具体而言，图1包括如下步骤：

步骤S110：以待还原像素作为中心，获得一3*3的像素阵列。

步骤S120：将该3*3的像素阵列划分为四个2*2的子像素阵列M₁至M₄，该四个子像素阵列M₁至M₄皆包括该待还原像素。

步骤S130：根据子像素阵列M₁至M₄及覆盖各像素的滤色片的转换系数获得对应子像素阵列M₁至M₄的转换矩阵m₁至m₄。

步骤S140：获取对应子像素阵列M₁至M₄的电信号强度矩阵n₁至n₄。

步骤S150：对每一子像素阵列，采用最小二乘法根据对应该子像素阵列的转换矩阵及电信号强度矩阵计算该子像素阵列的三个不同色的像素值。

步骤S160：计算各子像素阵列M₁至M₄的每一色的平均像素值。

步骤S170：将各色的平均像素值作为所述待还原像素的三个不同色的像素值。

在本发明提供的滤波联合去噪插值方法中，通过利用邻近滤色片之间的相关性对彼此信息进行矫正，任意感光点都受到周围八个感光点权重约束，通过最小二乘法拟合可有效降低高斯噪声带来的误差，使得该感光点的误差大大降低，同时去噪算法大大简化。

具体而言，可以通过实验检测所应用的p个不同颜色的滤波片(结合感光电路)的转换系数，p为大于等于3的整数。下面以四个不同色的滤波片为例，参见图2。设定三基色光R、G、B，则任意光Tx可等价于x份R，y份G，z份B进行混合，记对应的系数为t_x＝(x,y,z)。四个不同颜色的滤波片(结合感光电路)abcd构成的阵列M需满足如下约束：设abcd对应转化系数为r₁、r₂、r₃、r₄，r₁＝(x1,y1,z1)，r₂＝(x2,y2,z2)，r₃＝(x3,y3,z3)，r₄＝(x4,y4,z4)，设Rx＝{x|x∈{a,b,c,d}}，当任意光Tx通过Rx时，对应的转化系数集为r_x＝{x|x∈{r_i},0<i≤4}，均满足接收光强所转化的电信号为n＝t_x·r_x，即内积形式，所转化的电信号如图3所示。

在上述实施例的一些优选例中，转换系数集r_x中对应不同色的滤波片的转换系数皆不同。

在上述实施例的一些优选例中，定义‖r_x‖为r_x的L2范数，‖rx‖最大。

在上述实施例的一些优选例中，定义阵列M对应4行3列的主转换矩阵m＝(r₁ ^T，r₂ ^T，r₃ ^T，r₄ ^T)^T。主转换矩阵m满足列满秩。各转换矩阵m₁至m₄按与主转换矩阵m相同的方式，根据对应的像素排列的滤波片计算。

在上述实施例的一些优选例中，基于主转换矩阵m定义中间值k＝(m^Tm)^-1m^T，‖k‖‖k^-1‖最小。

当满足上述各优选例中的约束条件时，联合插值去噪效果越好，由此，可以最优的方式加大通光量并通过相邻像素的彼此约束降低像素自身的噪声。

下面仍以四个不同色的滤光片为例，将图4中的A点作为待还原像素，将该待还原像素A作为中心，获取一3*3的像素阵列(如图4)，该3*3的像素阵列划分为四个2*2的子像素阵列M₁至M₄(如图5至图8)，该四个子像素阵列M₁至M₄皆包括该待还原像素A。具体而言，在本实施例中，M₁包括3*3的像素阵列中第二行第二列、第二行第三列、第三行第二列及第三行第三列的像素；M₂包括3*3的像素阵列中第二行第一列、第二行第二列、第三行第一列及第三行第二列的像素；M₃包括3*3的像素阵列中第一行第二列、第一行第三列、第二行第二列及第二行第三列的像素；M₄包括3*3的像素阵列中第一行第一列、第一行第二列、第二行第一列及第二行第二列的像素。

以RGBW(红、绿、蓝、白)四色滤波片为例，一束光打在9个滤色片(每个滤色片底下为一个像素)上，9个滤色片(对应图4的3*3像素阵列)的排布为：

R G R

B W B

R G R

此时，假设r₁＝(1,0,0)，r₂＝(0,1,0)，r₃＝(0,0,1)，r₄＝(1,1,1)，则m1＝[1,0,0；0,1,0；0,0,1；1,1,1]。所以m1是4行3列矩阵。另外，由于m₁至m₄皆包括RGBW，因此，在本实施例中，m₁至m₄可以按RGBW的顺序形成相同的四行三列矩阵。

如果这束光为全白光，全白光为RGB以1:1:1混合而成，全白光总能量为3，当全白光通过R滤波片时，能量为1；当全白光通过G滤波片时，能量为1；当全白光通过B滤波片时，能量为1；当全白光通过白色滤波片时，能量能够全部通过，即通过能量为3。则9个像素实际获得的电信号强度单位n如下：

1 1 1

1 3 1

1 1 1

为了以下算法时有区分度，把以标号的形式说明电信号强度矩阵n：

q₁q₂q₃

q₄q₅q₆

q₇q₈q₉

由此，n₁为n₂为n₃为n₄为

每9个滤波片对当中一个像素(图4像素A)进行插值，除外围像素，所有像素都可以找到以自身为中心的9个像素。

假设M₁四个像素颜色相同(若颜色不同，后续可进行颜色修正)，则对应RGB值分别相等，且为三个不同色的像素值V₁(R₁,G₁,B₁)，其中，R₁为红色像素值，G₁为绿色像素值，B₁为蓝色像素值。

根据m₁及n₁建立方程组：

1*R₁+0*G₁+0*B₁＝q₉

0*R₁+1*G₁+0*B₁＝q₈

0*R₁+0*G₁+1*B₁＝q₆

1*R₁+1*G₁+1*B₁＝q₅

上述方程可以记为m₁*V₁＝n₁

采用最小二乘法求解：V₁＝(m₁ ^Tm₁)^-1m₁ ^Tn₁

同理可得V₂，V₃，V₄。

像素a的红色像素值可以根据子像素阵列M₁至M₄的三色的像素值V₁，V₂，V₃，V₄的红色像素值求得，像素a的绿色像素值可以根据子像素阵列M₁至M₄的三色的像素值V₁，V₂，V₃，V₄的绿色像素值求得，像素a的蓝色像素值可以根据子像素阵列M₁至M₄的三色的像素值V₁，V₂，V₃，V₄的蓝色像素值求得。本发明采用各子像素阵列的同色的平均像素值以作为像素a该色像素值。在一些具体实施中，可以在求平均像素值之前剔除异常值。剔除异常值的方式可以包括：在各同色像素值中去除最大值后，对去除了最大值的各同色像素值求同色的平均像素值；在各同色像素值中去除最小值后，对去除了最小值的各同色像素值求同色的平均像素值；在各同色像素值中去除最大值和最小值后，对去除了最大值和最小值的各同色像素值求同色的平均像素值；或者计算中位数后求标准差，在中位数加减标准差范围内的数据求平均，本发明并非以此为限制。

由此，对一图像的总像素阵列，将该总像素阵列中除了边缘像素外的各像素以此作为所述待还原像素，执行上述步骤，以获得该图像中各像素的差值。

以上仅仅是示意性地描述本发明的一个具体实现方式，本发明并非以此为限。

根据本发明的又一方面，还提供一种滤波联合去噪插值装置，图9是本发明实施例提供的一种滤波联合去噪插值装置的模块图。滤波联合去噪插值装置200包括像素阵列确定模块210、划分模块220、转换矩阵模块230、信号强度矩阵模块240、第一计算模块250、第二计算模块260及确定模块270。

像素阵列确定模块210用于以待还原像素作为中心，获得一3*3的像素阵列。

划分模块220用于将该3*3的像素阵列划分为四个2*2的子像素阵列M₁至M₄，该四个子像素阵列M₁至M₄皆包括该待还原像素。

转换矩阵模块230用于根据子像素阵列M₁至M₄及覆盖各像素的滤色片的转换系数获得对应子像素阵列M₁至M₄的转换矩阵m₁至m₄。

信号强度矩阵模块240用于获取对应子像素阵列M₁至M₄的电信号强度矩阵n₁至n₄。

第一计算模块250用于对每一子像素阵列，采用最小二乘法根据对应该子像素阵列的转换矩阵及电信号强度矩阵计算该子像素阵列的三个不同色的像素值。

第二计算模块260用于计算各子像素阵列M₁至M₄的每一色的平均像素值。

确定模块270用于将各色的平均像素值作为所述待还原像素的三个不同色的像素值。

在本发明提供的滤波联合去噪插值装置中，通过利用邻近滤色片之间的相关性对彼此信息进行矫正，任意感光点都受到周围八个感光点权重约束，通过最小二乘法拟合可有效降低高斯噪声带来的误差，使得该感光点的误差大大降低，同时去噪算法大大简化。

图9仅仅是示意性的示出本发明提供的滤波联合去噪插值装置200，在不违背本发明构思的前提下，模块的拆分、合并、增加都在本发明的保护范围之内。本发明提供的滤波联合去噪插值装置200可以由软件、硬件、固件、插件及他们之间的任意组合来实现，本发明并非以此为限。

与现有技术比较，本发明具有以下有益效果：

本发明通过利用邻近滤色片之间的相关性对彼此信息进行矫正，任意感光点都受到周围八个感光点权重约束，通过最小二乘法拟合可有效降低高斯噪声带来的误差，使得该感光点的误差大大降低，同时去噪算法大大简化。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (10)

1.一种滤波联合去噪插值方法，其特征在于，包括：

以待还原像素作为中心，获得一3*3的像素阵列；

将该3*3的像素阵列划分为四个2*2的子像素阵列M₁至M₄，该四个子像素阵列M₁至M₄皆包括该待还原像素；

根据子像素阵列M₁至M₄及覆盖各像素的滤色片的转换系数获得对应子像素阵列M₁至M₄的转换矩阵m₁至m₄；

获取对应子像素阵列M₁至M₄的电信号强度矩阵n₁至n₄；

对每一子像素阵列，采用最小二乘法根据对应该子像素阵列的转换矩阵及电信号强度矩阵计算该子像素阵列的三个不同色的像素值；

计算各子像素阵列M₁至M₄的每一色的平均像素值；以及

将各色的平均像素值作为所述待还原像素的三个不同色的像素值。

2.如权利要求1所述的滤波联合去噪插值方法，其特征在于，覆盖该像素阵列的p个不同色的滤波片的转换系数集r_x＝{x|x∈{r_i},0<i≤p}，p为大于等于3的整数，r_i为对应第i色的滤波片的转换系数，其中，转换系数集r_x中对应不同色的滤波片的转换系数不同。

3.如权利要求2所述的滤波联合去噪插值方法，其特征在于，‖rx‖最大。

4.如权利要求1所述的滤波联合去噪插值方法，其特征在于，覆盖该像素阵列的p个不同色的滤波片的转换系数形成主转换矩阵m＝(r₁ ^T…r_i ^T…r_p ^T)^T，其中，主转换矩阵m列满秩。

5.如权利要求4所述的滤波联合去噪插值方法，其特征在于，基于主转换矩阵m定义一中间值k＝(m^Tm)^-1m^T，其中，‖k‖‖k^-1‖最小。

6.如权利要求1至5任一项所述的滤波联合去噪插值方法，其特征在于，不同色的滤波片的转换系数根据实验检测获得。

7.如权利要求1至5任一项所述的滤波联合去噪插值方法，其特征在于，所述对每一子像素阵列，采用最小二乘法根据对应该子像素阵列的转换矩阵及电信号强度矩阵计算该子像素阵列的三个不同色的像素值之后，且所述计算各子像素阵列M₁至M₄的每一色的平均像素值之前包括：

过滤异常像素值。

8.如权利要求1至5任一项所述的滤波联合去噪插值方法，其特征在于，对一图像的总像素阵列，将该总像素阵列中除了边缘像素外的各像素以此作为所述待还原像素。

9.如权利要求1至5任一项所述的滤波联合去噪插值方法，其特征在于，子像素阵列M₁至M₄中每一子像素阵列包括不同色的四个像素。

10.一种滤波联合去噪插值装置，其特征在于，包括：

像素阵列确定模块，用于以待还原像素作为中心，获得一3*3的像素阵列；

划分模块，用于将该3*3的像素阵列划分为四个2*2的子像素阵列M₁至M₄，该四个子像素阵列M₁至M₄皆包括该待还原像素；

转换矩阵模块，用于根据子像素阵列M₁至M₄及覆盖各像素的滤色片的转换系数获得对应子像素阵列M₁至M₄的转换矩阵m₁至m₄；

信号强度矩阵模块，用于获取对应子像素阵列M₁至M₄的电信号强度矩阵n₁至n₄；

第一计算模块，用于对每一子像素阵列，采用最小二乘法根据对应该子像素阵列的转换矩阵及电信号强度矩阵计算该子像素阵列的三个不同色的像素值；

第二计算模块，用于计算各子像素阵列M₁至M₄的每一色的平均像素值；以及

确定模块，用于将各色的平均像素值作为所述待还原像素的三个不同色的像素值。