CN101399996A - 一种彩色滤镜阵列插值方法 - Google Patents

Abstract

本发明属于数字图像处理领域，提供了一种彩色滤镜阵列插值方法，所述方法包括如下步骤：以插值点为中心像素点建立5×5的Bayer矩阵；根据色彩变化趋势，选择插值运算基准；根据选定的插值运算基准，按照色彩的非突变性和边缘的非突变性计算所述中心像素点的两个插值分量的值。该方法综合考虑了中心像素点周围同种颜色值和周围不同颜色值对插值分量的影响，同时充分考虑了中心像素点的边缘特性对插值分量的影响，并尽量消除噪声可能对边缘特性判断产生的影响，可以使得图像输出清晰，色彩无偏差，避免伪彩出现等。

Description

一种彩色滤镜阵列插值方法

技术领域

本发明属于数字图像处理领域，尤其涉及一种彩色滤镜阵列插值方法。

背景技术

目前，数字图像采集装置往往采用单传感器结构，使用彩色滤镜阵列(ColorFilter Array，CFA)确保每个传感器只会收到一种颜色(R或G或B)的光。为了得到全彩色图像，必须通过对彩色滤镜阵列进行插值来恢复丢失的色彩分量，插值算法的优劣决定了输出图像的质量。

彩色滤镜阵列可以使用不同的模式，最常用的是拜耳(Bayer)模式的彩色滤镜阵列。Bayer模式交替使用一组红色和绿色滤镜以及一组绿色和蓝色滤镜，其中绿色像素的总数为红色和蓝色像素数之和，其原始图像的像素排列格式如图1，2，3，4所示。

在现有技术中，对彩色滤镜阵列进行插值，如图1所示，对于B₃₃像素点：像素点(3，3)的原始分量为B分量，求取该像素点G分量的插值时，计算水平方向两个相邻像素点G₃₂和G₃₄的差的绝对值，计算垂直方向两个相邻像素点G₂₃和G₄₃的差的绝对值，取上述差值的绝对值小的两个相邻像素点的G值的平均值为G₃₃；即若|G₃₂-G₃₄|<|G₂₃-G₄₃|，则G₃₃＝(G₃₂+G₃₄)/2；若|G₃₂-G₃₄|>|G₂₃-G₄₃|，则G₃₃＝(G₂₃+G₄₃)/2。

求取该像素点R分量的插值时，计算左斜对角方向两个相邻像素点R₂₂和R₄₄的差的绝对值，计算右斜对角方向两个相邻像素点R₂₄和R₄₂的差的绝对值，取上述差值的绝对值小的两个相邻像素点的R值的平均值为R₃₃；即若|R₂₂-R₄₄|<|R₂₄-R₄₂|，则R₃₃＝(R₂₂+R₄₄)/2；若|R₂₂-R₄₄|>|R₂₄-R₄₂|，则R₃₃＝(R₂₄+R₄₂)/2。

如图2所示，对于R₃₃像素点：像素点(3，3)的原始分量为R分量，求取该像素点G分量的插值时，计算水平方向两个相邻像素点G₃₂和G₃₄的差的绝对值，计算垂直方向两个相邻像素点G₂₃和G₄₃的差的绝对值，取上述差值的绝对值小的两个相邻像素点的G值的平均值为G₃₃；即若|G₃₂-G₃₄|<|G₂₃-G₄₃|，则G₃₃＝(G₃₂+G₃₄)/2；若|G₃₂-G₃₄|>|G₂₃-G₄₃|，则G₃₃＝(G₂₃+G₄₃)/2。

求取该像素点B分量的插值时，计算左斜对角方向两个相邻像素点B₂₂和B₄₄的差的绝对值，计算右斜对角方向两个相邻像素点B₂₄和B₄₂的差的绝对值，取上述差值的绝对值小的两个相邻像素点的B值的平均值为B₃₃；即若|B₂₂-B₄₄|<|B₂₄-B₄₂|，则B₃₃＝(B₂₂+B₄₄)/2；若|B₂₂-B₄₄|>|B₂₄-B₄₂|，则B₃₃＝(B₂₄+B₄₂)/2。

如图3所示，对于G₃₃像素点：像素点(3，3)的原始分量为G分量，且左右相邻像素点为B值的像素点，该像素点R分量的插值为R3₃＝(R2₃+R4₃)/2；该像素点B分量的插值为B₃₃＝(B₃₂+B₃₄)/2。

如图4所示，对于G₃₃像素点：像素点(3，3)的原始分量为G分量，且左右相邻像素点为R值的像素点，该像素点B分量的插值为B₃₃＝(B₂₃+B₄₃)/2；该像素点R分量的插值为R₃₃＝(R₃₂+R₃₄)/2。

综上所述可知，采用中心像素点周围同一种颜色值来估计插值分量，而没有考虑周围其他颜色值对插值分量的影响，这种方法计算量相对较小，但生成的图像模糊，图像质量损失大，并且会产生伪彩。

发明内容

本发明实施例的目的在于提供一种彩色滤镜阵列插值方法，旨在解决现有技术对彩色滤镜阵列进行插值时，对中心像素点周围各种颜色分量运用不够充分，不够合理，或者对中心像素点的位置特征未加以充分重视，或者对噪声对图像处理产生影响的估计不足导致输出图像不清晰，图像质量损失大，且会产生伪彩的问题。

本发明实施例是这样实现的，一种彩色滤镜阵列插值方法，其特征在于，所述方法包括如下步骤：

以插值点为中心像素点建立5×5的Bayer矩阵；

根据色彩变化趋势，选择插值运算基准；

根据选定的插值运算基准，按照色彩的非突变性和边缘的非突变性计算所述中心像素点的两个插值分量的值。

本发明实施例在对彩色滤镜阵列进行插值时，考虑了中心像素点周围同种颜色值和周围不同颜色值对插值分量的影响，同时充分考虑了中心像素点的边缘特性对插值分量的影响，并尽量消除噪声可能对边缘特性判断产生的影响，从而使得图像输出清晰，色彩无偏差，避免伪彩出现等。

附图说明

图1是中心像素点为B分量的Bayer模式的原始图像的像素排列格式图；

图2是中心像素点为R分量的Bayer模式的原始图像的像素排列格式图；

图3是中心像素点为G分量，且该行包含原始值为B分量的Bayer模式的原始图像的像素排列格式图；

图4是中心像素点为G分量，且该行包含原始值为R分量的Bayer模式的原始图像的像素排列格式图；

图5是本发明实施例提供的彩色滤镜阵列插值方法的实现流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本发明实施例中，考虑到噪声对图像的影响，用一个3×5的Bayer矩阵和一个5×3的Bayer矩阵来确定水平方向和垂直方向上的二阶梯度值，从而比较准确的预测色彩变化趋势，选择插值运算基准，按照色彩的非突变性和边缘的非突变性来计算插值分量的值。

本发明实施例中，色彩的非突变性为：假定某个像素点周围像素点的颜色相同，只是亮度有差别，则根据RGB空间到YCbCr空间的转换公式：

Y＝0.299R+0.587G+0.114BL L (1)

Cb＝-0.1687R-0.3313G+0.5BL L (2)

Cr＝0.5R-0.4187G-0.0813BL L (3)

其中，Y是亮度分量，Cb是蓝色色度分量，Cr是红色色度分量；由(1)(2)(3)式可得：当R、G、B同时变化相同的Diff时，Cb，Cr不变，Y变化Diff，即如果两个像素点a，b颜色相同，则G_a-G_b＝R_a-R_b＝B_a-B_b。

边缘的非突变性是指某个像素点的周围像素点的边缘特性不会突变，即：如果某像素点的边缘特性是水平方向，那么其周围所有与该像素点相邻的像素点的边缘特性均可视作水平方向。

图5为本发明实施例彩色滤镜阵列插值方法的实现流程，详述如下：

在步骤S501中，以插值点为中心像素点建立5×5的Bayer矩阵，各像素点均以一个原始分量和两个插值分量来表示，例如原始分量为R，则两个插值分量为G和B。

在步骤S502中，根据色彩变化趋势，确定插值运算基准；

作为本发明的一个实施例，色彩变化趋势可以用二阶梯度值来反应。

首先，由一个3×5的Bayer矩阵和一个5×3的Bayer矩阵来计算中心像素点在水平方向上的二阶梯度值H和垂直方向上的二阶梯度值V，从而消除噪声的影响，比较准确的预测中心像素点的边缘特性。

在本发明实施例中，当中心像素点的原始分量为蓝色值时，如图1所示，中心像素点在水平方向上的二阶梯度值为： $H=\frac{2H_1+H_2+H_3}{4}$

其中：H₁＝|G₃₂-G₃₄|+|2B₃₃-B₃₁-B₃₅|；

H₂＝|R₂₂-R₂₄|+|2G₂₃-G₂₁-G₂₅|；

H₃＝|R₄₂-R₄₄|+|2G₄₃-G₄₁-G₄₅|；

在垂直方向上的二阶梯度值为： $V=\frac{2V_1+V_2+V_3}{4}$

其中：V₁＝|G₂₃-G₄₃|+|2B₃₃-B₁₃-B₅₃|；

V₂＝|R₂₂-R₄₂|+|2G₃₂-G₁₂-G₅₂|；

V₃＝|R₂₄-R₄₄|+|2G₃₄-G₁₄-G₅₄|。

当中心像素点的原始分量为红色值时，如图2所示，中心像素点在水平方向上二阶梯度值为： $H=\frac{2H_1+H_2+H_3}{4}$

其中：H₁＝|G₃₂-G₃₄|+|2R₃₃-R₃₁-R₃₅|；

H₂＝|B₂₂-B₂₄|+|2G₂₃-G₂₁-G₂₅|；

H₃＝|B₄₂-B₄₄|+|2G₄₃-G₄₁-G₄₅|；

在垂直方向上的二阶梯度值为： $V=\frac{2V_1+V_2+V_3}{4}$

其中：V₁＝|G₂₃-G₄₃|+|2R₃₃-R₁₃-R₅₃|；

V₂＝|B₂₂-B₄₂|+|2G₃₂-G₁₂-G₅₂|；

V₃＝|B₂₄-B₄₄|+|2G₃₄-G₁₄-G₅₄|。

当中心像素点的原始分量为绿色值，且左右相邻像素点为蓝色值时，如图3所示，中心像素点在水平方向上的二阶梯度值为： $H=\frac{2H_1+H_2+H_3}{4}$

其中：H₁＝|B₃₂-B₃₄|+|2G₃₃-G₃₁-G₃₅|；

H₂＝|G₂₂-G₂₄|+|2R₂₃-R₂₁-R₂₅|；

H₃＝|G₄₂-G₄₄|+|2R₄₃-R₄₁-R₄₅|；

在垂直方向上的二阶梯度值为： $V=\frac{2V_1+V_2+V_3}{4}$

其中：V₁＝|R₂₃-R₄₃|+|2G₃₃-G₁₃-G₅₃|；

V₂＝|G₂₂-G₄₂|+|2B₃₂-B₁₂-B₅₂|；

V₃＝|G₂₄-G₄₄|+|2B₃₄-B₁₄-B₅₄|。

当中心像素点的原始分量为绿色值，且左右相邻像素点为红色值时，如图4所示，中心像素点在水平方向上的二阶梯度值为： $H=\frac{2H_1+H_2+H_3}{4}$

其中：H₁＝|R₃₂-R₃₄|+|2G₃₃-G₃₁-G₃₅|；

H₂＝|G₂₂-G₂₄|+|2B₂₃-B₂₁-B₂₅|；

H₃＝|G₄₂-G₄₄|+|2B₄₃-B₄₁-B₄₅|；

在垂直方向上的二阶梯度值为： $V=\frac{2V_1+V_2+V_3}{4}$

其中：V₁＝|B₂₃-B₄₃|+|2G₃₃-G₁₃-G₅₃|；

V₂＝|G₂₂-G₄₂|+|2R₃₂-R₁₂-R₅₂|；

V₃＝|G₂₄-G₄₄|+|2R₃₄-R₁₄-R₅₄|。

然后，将|H-V|与给定阈值TH_{_edge}进行比较，当|H-V|>TH_{_edge}时，按照边缘点情况来处理，当|H-V|<TH_{_edge}时，按照非边缘点情况来处理，其中当H-V<-TH_{_edge}时，以水平方向为插值运算基准；当H-V>TH_{_edge}时，以垂直方向为插值运算基准。

在步骤S503中，根据选定的插值运算基准，按照色彩的非突变性和边缘的非突变性计算所述中心像素点的两个插值分量的值。

以下根据中心像素点的颜色和相应的插值运算基准分别进行描述：

1、中心像素点的原始分量为蓝色值，计算G、R两个分量，如图1所示：

(1)计算中心像素点的绿色分量值G₃₃；

(a)当H-V<-TH_{_edge}时，以水平方向为插值运算基准，由色彩的非突变性可得，相邻像素点(3，3)和(3，2)，以及(3，3)和(3，4)的色彩之间的关系：

$G_{33}^{\&prime;}-G_{32}=B_{33}-B_{32},G_{33}^{\&prime;\&prime;}-G_{34}=B_{33}-B_{34}\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\left(\mathrm{1.1.1}\right)$

$G_{33}=(G_{33}^{\&prime;}+G_{33}^{\&prime;\&prime;})/2\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\left(\mathrm{1.1.2}\right)$

同时，由边缘的非突变性可知，像素点(3，2)和(3，4)同样可视作水平方向上的点：

B₃₂＝(B₃₁+B₃₃)/2，B₃₄＝(B₃₃+B₃₅)/2......(1.1.3)

由(1.1.1)(1.1.2)(1.1.3)可得：

(b)当H-V>TH_edge时，以垂直方向为插值运算基准，由色彩的非突变性可得，相邻像素点(3，3)和(2，3)，以及(3，3)和(4，3)的色彩之间的关系：

$G_{33}^{\&prime;}-G_{23}=B_{33}-B_{23},$ $G_{33}^{\&prime;\&prime;}-G_{43}=B_{33}-B_{43}\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\left(\mathrm{1.1.4}\right)$

$G_{33}=(G_{33}^{\&prime;}+G_{33}^{\&prime;\&prime;})/2\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\left(\mathrm{1.1.5}\right)$

同时，由边缘的非突变性可知，像素点(2，3)和(4，3)同样可视作垂直方向上的点：

B₂₃＝(B₁₃+B₃₃)/2，B₄₃＝(B₃₃+B₅₃)/2......(1.1.6)

由(1.1.4)(1.1.5)(1.1.6)得：

(c)当|H-V|<TH_{_edge}时，按照非边缘情况来处理，非边缘像素点的插值可视为水平方向和垂直方向的插值的均值：

         $=\frac{G_{32}+G_{34}+G_{23}+G_{43}}{4}+\frac{4B_{33}-B_{31}-B_{35}-B_{13}-B_{53}}{8}.$

(2)计算中心像素点的红色分量值R₃₃；

(a)当H-V<-TH_{_edge}时，以水平方向为插值运算基准，由边缘的非突变性知，可将像素点(2，1)、(2，2)、(2，3)、(2，4)和(2，5)以及像素点(4，1)、(4，2)、(4，3)、(4，4)和(4，5)分别视作水平方向上的点，与上述1.(1).(a)中计算G₃₃(水平)的方法类似，可得：

R₂₃＝(R₂₂+R₂₄)/2+(2G₂₃-G₂₁-G₂₅)/4......(1.2.1)

R₄₃＝(R₄₂+R₄₄)/2+(2G₄₃-G₄₁-G₄₅)/4......(1.2.2)

再由色彩的非突变性可得，相邻像素点(3，3)和(2，3)，以及(3，3)和(4，3)的色彩之间的关系：

$G_{33}-G_{23}=R_{33}^{\&prime;}-R_{23},$ $G_{33}-G_{43}=R_{33}^{\&prime;\&prime;}-R_{43}\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\left(\mathrm{1.2.3}\right)$

$R_{33}=(R_{33}^{\&prime;}+R_{33}^{\&prime;})/2\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\left(\mathrm{1.2.4}\right)$

由(1.2.1)(1.2.2)(1.2.3)(1.2.4)可得：

其中，

(b)当H-V>TH_{_edge}，以垂直方向为插值运算基准，由边缘的非突变性知，可将像素点(1，2)、(2，2)、(3，2)、(4，2)和(5，2)以及像素点(1，4)、(2，4)、(3，4)、(4，4)和(5，4)分别视作垂直方向上的点，与上述1.(1).(b)中计算G₃₃(垂直)的方法类似，可得：

R₃₂＝(R₂₂+R₄₂)/2+(2G₃₂-G₁₂-G₅₂)/4......(1.2.5)

R₃₄＝(R₂₄+R₄₄)/2+(2G₃₄-G₁₄-G₅₄)/4......(1.2.6)

再由色彩的非突变性可得，相邻像素点(3，3)和(3，2)，以及(3，3)和(3，4)的色彩之间的关系：

$G_{33}-G_{32}=R_{33}^{\&prime;}-R_{32},$ $G_{33}-G_{34}=R_{33}^{\&prime;\&prime;}-R_{34}\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\left(\mathrm{1.2.7}\right)$

$R_{33}=(R_{33}^{\&prime;}+R_{33}^{\&prime;})/2\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\left(\mathrm{1.2.8}\right)$

由(1.2.5)(1.2.6)(1.2.7)(1.2.8)可得：

其中，

(c)当|H-V|<TH_{_edge}时，按照非边缘情况来处理，非边缘像素点的插值可视为水平方向和垂直方向的插值的均值：

$=\frac{R_{22}+R_{24}+R_{42}+R_{44}}{4}+G_{33}$

$-\frac{2(G_{32}+G_{34}+G_{23}+G_{43})+G_{12}+G_{52}+G_{14}+G_{54}+G_{21}+G_{25}+G_{41}+G_{45}}{16}$

其中，

2、中心像素点的原始分量为红色值，计算G、B两个分量，如图2所示：

(1)计算中心像素点的绿色分量值G₃₃；

(a)当H-V<-TH_{_edge}时，以水平方向为插值运算基准，由色彩的非突变性可得相邻像素点(3，3)和(3，2)，以及(3，3)和(3，4)的色彩之间的关系：

$G_{33}^{\&prime;}-G_{32}=R_{33}-R_{32},$ $G_{33}^{\&prime;\&prime;}-G_{34}=R_{33}-R_{34}\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\left(\mathrm{2.1.1}\right)$

$G_{33}=(G_{33}^{\&prime;}+G_{33}^{\&prime;\&prime;})/2\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\left(\mathrm{2.1.2}\right)$

同时，由边缘的非突变性可知，像素点(3，2)和(3，4)同样可视为水平方向上的点：

R₃₂＝(R₃₁+R₃₃)/2，R₃₄＝(R₃₃+R₃₅)/2......(2.1.3)

由(2.1.1)(2.1.2)(2.1.3)得：

(b)当H-V>TH_{_edge}，以垂直方向为插值运算基准，由色彩的非突变性可得，相邻像素点(3，3)和(2，3)，以及(3，3)和(4，3)的色彩之间的关系：

$G_{33}^{\&prime;}-G_{23}=R_{33}-R_{23},$ $G_{33}^{\&prime;\&prime;}-G_{43}=R_{33}-R_{43}\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\left(\mathrm{2.1.4}\right)$

$G_{33}=(G_{33}^{\&prime;}+G_{33}^{\&prime;\&prime;})/2\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\left(\mathrm{2.1.5}\right)$

同时，由边缘的非突变性可知，像素点(2，3)和(4，3)同样可视作垂直方向上的点：

R₂₃＝(R₁₃+R₃₃)/2，R₄₃＝(R₃₃+R₅₃)/2......(2.1.6)

由(2.1.4)(2.1.5)(2.1.6)得：

(c)当|H-V|<TH_{_edge}时，按照非边缘情况来处理，非边缘像素点的插值可视为水平方向和垂直方向的插值的均值：

         $=\frac{G_{32}+G_{34}+G_{23}+G_{43}}{4}+\frac{4R_{33}-R_{31}-R_{35}-R_{13}-R_{53}}{8}.$

(2)计算中心像素点的蓝色分量值B₃₃；

(a)当H-V<-TH_{_edge}时，以水平方向为插值运算基准，由边缘的非突变性可知，可将像素点(2，1)、(2，2)、(2，3)、(2，4)和(2，5)以及像素点(4，1)、(4，2)、(4，3)、(4，4)和(4，5)分别视作水平方向上的点，与上述2.(1).(a)中计算G₃₃(水平)的方法类似，可得：

B₂₃＝(B₂₂+B₂₄)/2+(2G₂₃-G₂₁-G₂₅)/4......(2.2.1)

B₄₃＝(B₄₂+B₄₄)/2+(2G₄₃-G₄₁-G₄₅)/4......(2.2.2)

再由色彩的非突变性可得，相邻像素点(3，3)和(2，3)，以及(3，3)和(4，3)的色彩之间的关系：

$G_{33}-G_{23}=B_{33}^{\&prime;}-B_{23},$ $G_{33}-G_{43}=B_{33}^{\&prime;\&prime;}-B_{43}\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\left(\mathrm{2.2.3}\right)$

$B_{33}=(B_{33}^{\&prime;}+B_{33}^{\&prime;})/2\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\left(\mathrm{2.2.4}\right)$

由(2.2.1)(2.2.2)(2.2.3)(2.2.4)可得：

其中，

(b)当H-V>TH_{_edge}，以垂直方向为插值运算基准，由边缘的非突变性可知，可将像素点(1，2)、(2，2)、(3，2)、(4，2)和(5，2)以及像素点(1，4)、(2，4)、(3，4)、(4，4)和(5，4)分别视作垂直方向上的点，与上述2.(1).(b)中计算G₃₃(垂直)的方法类似，可得：

B₃₂＝(B₂₂+B₄₂)/2+(2G₃₂-G₁₂-G₅₂)/4......(2.2.5)

B₃₄＝(B₂₄+B₄₄)/2+(2G₃₄-G₁₄-G₅₄)/4......(2.2.6)

再由色彩的非突变性可得相邻像素点(3，3)和(3，2)，以及(3，3)和(3，4)的色彩之间的关系：

$G_{33}-G_{32}=B_{33}^{\&prime;}-B_{32},$ $G_{33}-G_{34}=B_{33}^{\&prime;\&prime;}-B_{34}\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;(2.2.7)$

$B_{33}=(B_{33}^{\&prime;}+B_{33}^{\&prime;})/2\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\left(\mathrm{2.2.8}\right)$

由(2.2.5)(2.2.6)(2.2.7)(2.2.8)可得：

其中，

(c)当|H-V|<TH_{_edge}时，按照非边缘情况来处理，非边缘像素点的插值可视为水平方向和垂直方向的插值的均值：

         $=\frac{B_{22}+B_{24}+B_{42}+B_{44}}{4}+G_{33}$

         $-\frac{2(G_{32}+G_{34}+G_{23}+G_{43})+G_{12}+G_{52}+G_{14}+G_{54}+G_{21}+G_{25}+G_{41}+G_{45}}{16}$

其中，

3、中心像素点的原始分量为绿色，且左右相邻像素点为蓝色值，计算B、R两个分量，如图3所示：

(1)计算中心像素点的蓝色分量值B₃₃；

(a)当H-V<-TH_{_edge}时，以水平方向为插值运算基准，由色彩的非突变性可得相邻像素点(3，3)和(3，2)，以及(3，3)和(3，4)的色彩之间的关系：

$B_{33}^{\&prime;}-B_{32}=G_{33}-G_{32},$ $B_{33}^{\&prime;\&prime;}-B_{34}=G_{33}-G_{34}\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\left(\mathrm{3.1.1}\right)$

$B_{33}=(B_{33}^{\&prime;}+B_{33}^{\&prime;\&prime;})/2\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\left(\mathrm{3.1.2}\right)$

同时，由边缘的非突变性可知，像素点(3，2)和(3，4)同样可视作水平方向上的点：

G₃₂＝(G₃₁+G₃₃)/2，G₃₄＝(G₃₃+G₃₅)/2......(3.1.3)

由(3.1.1)(3.1.2)(3.1.3)得：

(b)当H-V>TH_{_edge}，以垂直方向为插值运算基准，由边缘的非突变性可知，可将像素点(1，2)、(2，2)、(3，2)、(4，2)和(5，2)以及像素点(1，4)、(2，4)、(3，4)、(4，4)和(5，4)分别视作垂直方向上的点，与上述2.(1).(b)中计算G₃₃(垂直)的方法类似，可得：

G₃₂＝(G₂₂+G₄₂)/2+(2B₃₂-B₁₂-B₅₂)/4......(3.1.4)

G₃₄＝(G₂₄+G₄₄)/2+(2B₃₄-B₁₄-B₅₄)/4......(3.1.5)

再由色彩的非突变性可得：相邻像素点(3，3)和(3，2)，以及(3，3)和(3，4)的色彩之间的关系与上式(3.1.1)和(3.1.2)相同，在此不再赘述。

由(3.1.4)(3.1.5)(3.1.1)(3.1.2)可得：

(c)当|H-V|<TH_{_edge}时，按照非边缘情况来处理，由色彩的非突变性可得：相邻像素点(3，3)和(3，2)，以及(3，3)和(3，4)的色彩之间的关系与上式(3.1.1)和(3.1.2)相同，在此不再赘述。

G₃₂的值可以由周围绿色像素点(2，2)、(2，4)、(1，3)、(3，3)的值求平均值得到，而G₃₄的值也可由周围绿色像素点(4，2)、(4，4)、(3，3)、(5，3)的值求平均值得到：

G₃₂＝(G₂₂+G₂₄+G₁₃+G₃₃)/4......(3.1.6)

G₃₄＝(G₄₂+G₄₄+G₃₃+G₅₃)/4......(3.1.7)

由(3.1.6)(3.1.7)(3.1.1)(3.1.2)可得：

(2)计算中心像素点的红色分量值R₃₃；

(a)当H-V<-TH_{_edge}时，以水平方向为插值运算基准，由边缘的非突变性可知，可将像素点(2，1)、(2，2)、(2，3)、(2，4)和(2，5)以及像素点(4，1)、(4，2)、(4，3)、(4，4)和(4，5)分别视作水平方向上的点，与上述2.(1).(a)中计算G₃₃(水平)的方法类似，可得：

G₂₃＝(G₂₂+G₂₄)/2+(2R₂₃-R₂₁-R₂₅)/4......(3.2.1)

G₄₃＝(G₄₂+G₄₄)/2+(2R₄₃-R₄₁-R₄₅)/4......(3.2.2)

再由色彩的非突变性可得相邻像素点(3，3)和(2，3)，以及(3，3)和(4，3)的色彩之间的关系：

$R_{33}^{\&prime;}-R_{23}=G_{33}-G_{23},$ $R_{33}^{\&prime;\&prime;}-R_{43}=G_{33}-G_{43}\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\left(\mathrm{3.2.3}\right)$

$R_{33}=(R_{33}^{\&prime;}+R_{33}^{\&prime;\&prime;})/2\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\left(\mathrm{3.2.4}\right)$

由(3.2.1)(3.2.2)(3.2.3)(3.2.4)可得：

(b)当H-V>TH_{_edge}，以垂直方向为插值运算基准，由色彩的非突变性可得相邻像素点(3，3)和(2，3)，以及(3，3)和(4，3)的色彩之间的关系与上式(3.2.3)和(3.2.4)相同，在此不再赘述。

同时，由边缘的非突变性可知，像素点(2，3)和(4，3)同样可视作垂直方向上的点：

G₂₃＝(G₁₃+G₃₃)/2，G₄₃＝(G₃₃+G₅₃)/2......(3.2.5)

由(3.2.3)(3.2.4)(3.2.5)得：

(c)当|H-V|<TH_{_edge}时，按照非边缘情况来处理，由色彩的非突变性可得相邻像素点(3，3)和(2，3)，以及(3，3)和(4，3)的色彩之间的关系与上式(3.2.3)和(3.2.4)相同，在此不再赘述。

G₂₃的值可以由周围绿色像素点(2，2)、(2，4)、(1，3)、(3，3)的值求平均值得到，而G₄₃的值也可由周围绿色像素点(4，2)、(4，4)、(3，3)、(5，3)的值求平均值得到：

G₂₃＝(G₂₂+G₂₄+G₁₃+G₃₃)/4......(3.2.6)

G₄₃＝(G₄₂+G₄₄+G₃₃+G₅₃)/4......(3.2.7)

由(3.2.3)(3.2.4)(3.2.6)(3.2.7)可得：

4、中心像素点的原始分量为绿色值，且左右相邻像素点为红色值，计算B、R两个分量，如图4所示：

(1)计算中心像素点的蓝色分量值B₃₃；

(a)当H-V<-TH_{_edge}时，以水平方向为插值运算基准，由边缘的非突变性可知，可将像素点(2，1)、(2，2)、(2，3)、(2，4)和(2，5)以及像素点(4，1)、(4，2)、(4，3)、(4，4)和(4，5)分别视作水平方向上的点，与上述2.(1).(a)中计算G₃₃(水平)的方法类似，可得：

G₂₃＝(G₂₂+G₂₄)/2+(2B₂₃-B₂₁-B₂₅)/4......(4.1.1)

G₄₃＝(G₄₂+G₄₄)/2+(2B₄₃-B₄₁-B₄₅)/4......(4.1.2)

由色彩的非突变性可得相邻像素点(3，3)和(2，3)，以及(3，3)和(4，3)的色彩之间的关系：

$B_{33}^{\&prime;}-B_{23}=G_{33}-G_{23},$ $B_{33}^{\&prime;\&prime;}-B_{43}=G_{33}-G_{43}\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\left(\mathrm{4.1.3}\right)$

$B_{33}=(B_{33}^{\&prime;}+B_{33}^{\&prime;\&prime;})/2\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\left(\mathrm{4.1.4}\right)$

由(4.1.1)(4.1.2)(4.1.3)(4.1.4)可得：

(b)当H-V>TH_{_edge}，以垂直方向为插值运算基准，由色彩的非突变性可得相邻像素点(3，3)和(2，3)，以及(3，3)和(4，3)的色彩之间的关系与上式(4.1.3)和(4.1.4)相同，在此不再赘述。

同时，由边缘的非突变性可知，像素点(2，3)和像素点(4，3)同样可视作垂直方向上的点：

G₂₃＝(G₁₃+G₃₃)/2；G₄₃＝(G₃₃+G₅₃)/2......(4.1.5)

由(4.1.3)(4.1.4)(4.1.5)得：

(c)当|H-V|<TH_{_edge}时，按照非边缘情况来处理，由色彩的非突变性可得，相邻像素点(3，3)和(2，3)，以及(3，3)和(4，3)的色彩之间的关系与上式(4.1.3)(4.1.4)相同，在此不再赘述。

G₂₃的值可以由周围绿色像素点(2，2)、(2，4)、(1，3)、(3，3)的值求平均值得到，而G₄₃的值也可由周围绿色像素点(4，2)、(4，4)、(3，3)、(5，3)的值求平均值得到：

G₂₃＝(G₂₂+G₂₄+G₁₃+G₃₃)/4......(4.1.6)

G₄₃＝(G₄₂+G₄₄+G₃₃+G₅₃)/4......(4.1.7)

由(4.1.3)(4.1.4)(4.1.6)(4.1.7)可得：

(2)计算中心像素点的红色分量值R₃₃；

(a)当H-V<-TH_{_edge}时，以水平方向为插值运算基准，由色彩的非突变性可得相邻像素点(3，3)和(3，2)，以及(3，3)和(3，4)的色彩之间的关系：

$R_{33}^{\&prime;}-R_{32}=G_{33}-G_{32},$ $R_{33}^{\&prime;\&prime;}-R_{34}=G_{33}-G_{34}\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\left(\mathrm{4.2.1}\right)$

$R_{33}=(R_{33}^{\&prime;}+R_{33}^{\&prime;\&prime;})/2\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\left(\mathrm{4.2.2}\right)$

同时，由边缘的非突变性可知，像素点(3，2)和(3，4)同样可视作水平方向上的点：

G₃₂＝(G₃₁+G₃₃)/2，G₃₄＝(G₃₃+G₃₅)/2......(4.2.3)

由(4.2.1)(4.2.2)(4.2.3)得：

(b)当H-V>TH_{_edge}，以垂直方向为插值运算基准，由边缘的非突变性知，可将像素点(1，2)、(2，2)、(3，2)、(4，2)和(5，2)以及像素点(1，4)、(2，4)、(3，4)、(4，4)和(5，4)分别视作垂直方向上的点，与上述2.(1).(b)中计算G₃₃(垂直)的方法类似，可得：

G₃₂＝(G₂₂+G₄₂)/2+(2R₃₂-R₁₂-R₅₂)/4......(4.2.4)

G₃₄＝(G₂₄+G₄₄)/2+(2R₃₄-R₁₄-R₅₄)/4......(4.2.5)

再由色彩的非突变性可得相邻像素点(3，3)和(3，2)，以及(3，3)和(3，4)的色彩之间的关系与上式(4.2.1)和(4.2.2)相同，在此不再赘述。由(4.2.4)(4.2.5)(4.2.1)(4.2.2)可得：

(c)当|H-V|<TH_{_edge}时，按照非边缘情况来处理，由色彩的非突变性可得，相邻像素点(3，3)和(3，2)，以及(3，3)和(3，4)的色彩之间的关系与上式(4.2.1)和(4.2.2)相同，在此不再赘述。

G₃₂的值可由周围绿色像素点(2，2)、(4，2)、(3，1)、(3，3)的值求平均值得到，而G₃₄的值也可由周围绿色像素点(2，4)、(4，4)、(3，3)、(3，5)的值求平均值得到：

G₃₂＝(G₂₂+G₄₂+G₃₁+G₃₃)/4......(4.2.6)

G₃₄＝(G₂₄+G₄₄+G₃₃+G₃₅)/4......(4.2.7)

由(4.2.1)(4.2.2)(4.2.6)(4.2.7)可得：

由上述可知，本发明实施例在对彩色滤镜阵列进行插值时，综合考虑了中心像素点周围同种颜色值和周围不同颜色值对插值分量的影响，同时充分考虑了中心像素点的边缘特性对插值分量的影响，并尽量消除噪声可能对边缘特性判断产生的影响，使得图像输出清晰，色彩无偏差，避免伪彩出现等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (11)

1、一种彩色滤镜阵列插值方法，其特征在于，所述方法包括如下步骤：

以插值点为中心像素点建立5×5的Bayer矩阵；

根据色彩变化趋势，选择插值运算基准；

根据选定的插值运算基准，按照色彩的非突变性和边缘的非突变性计算所述中心像素点的两个插值分量的值。

2、如权利要求1所述的插值方法，其特征在于，所述色彩变化趋势由一个3×5的Bayer矩阵和一个5×3的Bayer矩阵分别确定的水平和垂直方向的二阶梯度值决定。

3、如权利要求2所述的插值方法，其特征在于，所述根据色彩变化趋势，选择插值运算基准的步骤具体为：

由一个3×5的Bayer矩阵和一个5×3的Bayer矩阵计算所述中心像素点在水平方向上的二阶梯度值H和在垂直方向上的二阶梯度值V；

然后，将|H-V|与给定阈值TH_{_edge}进行比较，当|H-V|>TH_{_edge}时，按照边缘点情况来处理，当|H-V|<TH_{_edge}时，按照非边缘点情况来处理，其中当H-V<-TH_{_edge}时，以水平方向为插值运算基准；当H-V>TH_{_edge}时，以垂直方向为插值运算基准。

4、如权利要求2或3所述的插值方法，其特征在于，当中心像素点的原始分量为蓝色值时，中心像素点在水平方向上的二阶梯度值为： $H=\frac{{2H}_1+H_2+H_3}{4}$

其中：H₁＝|G₃₂-G₃₄|+|2B₃₃-B₃₁-B₃₅|；

      H₂＝|R₂₂-R₂₄|+|2G₂₃-G₂₁-G₂₅|；

      H₃＝|R₄₂-R₄₄|+|2G₄₃-G₄₁-G₄₅|；

在垂直方向上的二阶梯度值为： $V=\frac{{2V}_1+V_2+V_3}{4}$

其中：V₁＝|G₂，-G₄₃|+|2B₃₃-B₁₃-B₅₃|；

V₂＝|R₂₂-R₄₂|+|2G₃₂-G₁₂-G₅₂|；

V₃＝|R₂₄-R₄₄|+|2G₃₄-G₁₄-G₅₄|。

5、如权利要求2或3所述的插值方法，其特征在于，当中心像素点的原始分量为红色值时，中心像素点在水平方向上二阶梯度值为： $H=\frac{{2H}_1+H_2+H_3}{4}$

其中：H₁＝|G₃₂-G₃₄|+|2R₃₃-R₃₁-R₃₅|；

      H₂＝|B₂₂-B₂₄|+|2G₂₃-G₂₁-G₂₅|；

      H₃＝|B₄₂-B₄₄|+|2G₄₃-G₄₁-G₄₅|；

在垂直方向上的二阶梯度值为： $V=\frac{{2V}_1+V_2+V_3}{4}$

其中：V₁＝|G₂，-G₄₃|+|2R₃₃-R₁₃-R₅₃|；

      V₂＝|B₂₂-B₄₂|+|2G₃₂-G₁₂-G₅₂|；

      V₃＝|B₂₄-B₄₄|+|2G₃₄-G₁₄-G₅₄|。

6、如权利要求2或3所述的插值方法，其特征在于，当中心像素点的原始分量为绿色值，且左右相邻像素点为蓝色值时，中心像素点在水平方向上的二阶梯度值为： $H=\frac{{2H}_1+H_2+H_3}{4}$

其中：H₁＝|B₃₂-B₃₄|+|2G₃₃-G₃₁-G₃₅|；

      H₂＝|G₂₂-G₂₄|+|2R₂₃-R₂₁-R₂₅|；

      H₃＝|G₄₂-G₄₄|+|2R₄₃-R₄₁-R₄₅|；

在垂直方向上的二阶梯度值为： $V=\frac{{2V}_1+V_2+V_3}{4}$

其中：V₁＝|R₂₃-R₄₃|+|2G₃₃-G₁₃-G₅₃|；

      V₂＝|G₂₂-G₄₂|+|2B₃₂-B₁₂-B₅₂|；

      V₃＝|G₂₄-G₄₄|+|2B₃₄-B₁₄-B₅₄|。

7、如权利要求2或3所述的插值方法，其特征在于，当中心像素点的原始分量为绿色值，且左右相邻像素点为红色值时，中心像素点在水平方向上的二阶梯度值为： $H=\frac{{2H}_1+H_2+H_3}{4}$

其中：H₁＝|R₃₂-R₃₄|+|2G₃₃-G₃₁-G₃₅|；

      H₂＝|G₂₂-G₂₄|+|2B₂₃-B₂₁-B₂₅|；

      H₃＝|G₄₂-G₄₄|+|2B₄₃-B₄₁-B₄₅|；

在垂直方向上的二阶梯度值为： $V=\frac{{2V}_1+V_2+V_3}{4}$

其中：V₁＝|B₂₃-B₄₃|+|2G₃₃-G₁₃-G₅₃|；

      V₂＝|G₂₂-G₄₂|+|2R₃₂-R₁₂-R₅₂|；

      V₃＝|G₂₄-G₄₄|+|2R₃₄-R₁₄-R₅₄|。

8、如权利要求3所述的插值方法，其特征在于，当所述中心像素点的原始分量为蓝色值时，以水平方向为插值运算基准，其对应的两个插值分量G、R的值按下式计算：

以垂直方向为插值运算基准，其对应的两个插值分量G、R的值按下式计算：

以非边缘像素点的情况为插值运算基准，其对应的两个插值分量G、R的值按下式计算：

9、如权利要求3所述的插值方法，其特征在于，当所述中心像素点的原始分量为红色值时，以水平方向为插值运算基准，其对应的两个插值分量G、B的值按下式计算：

以垂直方向为插值运算基准，其对应的两个插值分量G、B的值按下式计算：

以非边缘像素点的情况为插值运算基准，其对应的两个插值分量G、B的值按下式计算：

$-\frac{2(G_{32}+G_{34}+G_{23}+G_{43})+G_{12}+G_{52}+G_{14}+G_{54}+G_{21}+G_{25}+G_{41}+G_{45}}{16}.$

10、如权利要求3所述的插值方法，其特征在于，当所述中心像素点的原始分量为绿色值，且其左右相邻像素点为蓝色值时，以水平方向为插值运算基准，其对应的两个插值分量B、R的值按下式计算：

以垂直方向为插值运算基准，其对应的两个插值分量B、R的值按下式计算：

以非边缘像素点的情况为插值运算基准，其对应的两个插值分量B、R的值按下式计算：

11、如权利要求3所述的插值方法，其特征在于，当所述中心像素点的原始分量为绿色值，且左右相邻像素点为红色值时，以水平方向为插值运算基准，其对应的两个插值分量B、R的值按下式计算：

以垂直方向为插值运算基准，其对应的两个插值分量B、R的值按下式计算：

以非边缘像素点的情况为插值运算基准，其对应的两个插值分量B、R的值按下式计算：

Images