CN102170572A - 一种新型边缘自适应cfa彩色图像插值方法 - Google Patents

Abstract

本申请公开了一种用于从Bayer型彩色滤波阵列滤波得到的马赛克图像恢复得到全彩色图像的彩色图像插值方法。所述方法可以分为在红色/蓝色采样点恢复绿色分量、在红色/蓝色采样点恢复蓝色/红色分量、在绿色采样点恢复蓝色/红色分量和校正绿色分量四个主要步骤，其中第一个和最后一个步骤在硬件上可以采用相同的单元实现。在恢复遗失颜色分量的过程中，应用高分辨率的边缘检测算子，通过计算不同方向的梯度的和来判别待恢复颜色分量处于边缘区域还是平滑区域，对于不同区域的待恢复颜色分量采取不同的插值策略：对于边缘区域采取能够保持边缘细节的有理函数插值，对于平滑区域选取计算结构简单的线性插值。

Description

一种新型边缘自适应CFA彩色图像插值方法

技术领域：

本申请涉及应用于数码相机或数码摄像机等便携数码成像设备的从经过Bayer型彩色滤波阵列采集的每个像素只有红、绿、蓝其中一种颜色分量的马赛克彩色图像原本的全彩色图像的方法。

背景技术：

由于物理结构的限制，CCD和CMOS彩色图像传感器在一个像素上智能采集RGB颜色的一个分量，并且是通过使用彩色滤波阵列(Color FilterArray，或称CFA)来实现的。为了恢复出另外两个颜色分量，必须使用插值的方法，通常称这种插值为彩色插值(Color Interpolation)或者彩色去马赛克(Color Demosaicing)处理。目前业界应用最为普遍的是Bayer型彩色滤波阵列。

关于demosaicing算法的研究在过去二十年来一直是研究热点，文献中报道了大量有价值的算法，一般可分为两类：一类是插值在R、G、B三通道内独立进行；另一类则是结合通道间的相关性进行插值。前者中典型方法有最近邻法、双线性法、双立方法和基于样条的插值方法，这种算法简单，易于硬件实现，但用这些方法插值得到的图像的质量并不理想，主要是图像边缘的失真比较明显，包括边缘模糊效应和颜色失真效应。

后一类算法利用了各个颜色分量之间的相关性，在一定程度上提高了得到的插值图像的质量。早期有基于色度比恒定的算法，它采用在图像的小平滑区域内，色度(定义为R/G，B/G，G≠0)基本保持恒定的理论，实现时首先恢复绿色分量，然后利用色度恒定的原则对红色和蓝色通道进行插值。在此基础上，发展出了基于色度差恒定的算法，它利用了在图像的小平滑区域内色差(定义为R-G，B-G)基本保持恒定的理论。这两种方法都比较简单有效，但对边界区域并不支持。

为合理解决边界插值问题，发展出了基于边界的插值算法。为避免插值跨越边界，在恢复绿色分量时，首先计算方向算子来检测边界，从而选择不同的插值方向。为进一步减小图像边缘的颜色失真，基于色度比恒定原则或色度差恒定原则，通过增加颜色校正过程进一步降低了边缘的颜色失真。

文献提出了基于协方差特征的通用图像插值算法，并将其应用于彩色插值领域，其主要思想是用基于协方差特征的插值来代替线性插值，由于这种方法具有良好的边缘自适应特性，从而获得了比普通的基于色差空间的线性插值方法更好的效果，其缺点是计算量比较大。

文献提出了一种基于有理函数的通用图像插值方法，并将其推广到通用的彩色图像插值领域。由于基于有理函数的插值算子是一种非线性算子，其本具有保持边界和保持细节的特性，因而用这种方法可以获得比普通的线性插值更好的效果。

本申请综合考虑以上各种算法的优缺点，提出了一种新型边缘自适应的CFA彩色图像插值方法。

申请内容：

本申请的目的在于提供一种用于数码相机或数码摄像机等移动数码成像设备的，快速有效的从经过Bayer型彩色滤波阵列采集的每个像素只有红、绿、蓝其中一种颜色分量的马赛克彩色图像出高质量的全彩色图像的彩色插值方法。

下面详细介绍本申请的具体技术方案：

一种新型边缘自适应CFA彩色图像插值方法，该方法包括：

在红色/蓝色采样点上恢复绿色分量；

在红色/蓝色采样点上恢复蓝色/红色分量；

在绿色采样点上恢复红色/蓝色分量；

校正在红色/蓝色采样点上恢复的绿色分量。

其特征在于：

本申请所述方法在红色/蓝色采样点上恢复绿色分量时，首先计算得到该采样点在十二个不同方向上的梯度，然后根据计算结果判断该采样点是位于平滑区域还是边缘区域，最终根据采样点所处的不同区域采取不同的插值方案在色差空间(R-G or B-G)进行插值恢复绿色分量。

本申请所述方法在上述步骤计算色差值时，绿色分量都是原始采样点，而红色/蓝色分量遵循如下的规则：如果参与计算的采样点区域的红色/蓝色分量已经通过插值恢复，则用恢复的分量参与色差计算；如果参与计算的采样点区域的红色/蓝色分量尚未通过插值恢复，则通过最近两个邻域相同颜色分量线性插值恢复采样点红色/蓝色分量，并参与色差计算。

本申请所述方法在红色/蓝色采样点上恢复蓝色/红色分量时，仅考虑待恢复分量四个最近相同颜色的采样点，计算得到相应的方向上的梯度，并判断该采样点的区域，采取不同的插值方案在色差空间(R-G or B-G)进行插值恢复蓝色/红色分量。

本申请所述方法在绿色采样点上恢复红色/蓝色分量时，与在红色/蓝色采样点上恢复绿色分量类似，考虑与待恢复分量十二个最近先同颜色的采样点(包括原始采样点以及插值恢复得到的采样点)，计算不同方向的梯度，判断采样点的区域，并采取不同的插值方案在色差空间(R-G or B-G)插值恢复待恢复分量。

本申请所述方法在校正红色/蓝色采样点上恢复的绿色分量时，根据已经通过插值恢复的红色/蓝色分量，在色差空间(R-G or B-G)上重新插值恢复绿色分量，从而得到经过校正的绿色分量。

本申请所述方法在实现时，由于考虑了平滑区域与边缘区域的划分，并针对不同的区域采取了不同的插值方案，对平滑区域的插值采用运算简单的线性插值方案，对边缘区域的插值采用可以保持边缘细节的有理函数插值方案，从而可以通过增加有限的计算复杂度和资源需求，最大限度的提高插值恢复得到的全彩色图像的质量。

附图说明：

以下结合附图和具体实施方式来进一步说明本申请。

图1为典型的Bayer彩色滤波阵列模式。

图2为在红色采样点上恢复绿色分量的高分辨率边缘方向示意图。

图3为恢复全彩色图像的插值区域示意图。

图4为在红色采样点上恢复绿色分量的流程示意图。

图5为恢复全彩色图像的流程示意图。

图6为单元像素及Line Buffer的数据结构示意图。

具体实施方式：

下面将结合附图进一步阐述本申请。

如图1所示为典型的Bayer彩色滤波阵列模式。绝大部分商用数码相机、数码摄像机通过覆盖着一层彩色滤波阵列的单个CCD或CMOS图像传感器捕获图像，从而得到每个像素只有红、绿、蓝其中一种颜色分量的原始全彩色图像的降采样图像，必须通过彩色插值来恢复每个像素上的其他两种颜色分量来得到全彩色图像。如图1所示是目前应用最为广泛的一种Bayer型彩色滤波阵列，本申请所述的方法主要针对经过该彩色滤波阵列滤波得到的马赛克图像的恢复，但是经过简单的变化也可以应用于经过其他模式的彩色滤波阵列滤波得到的马赛克图像的恢复，这种变化显然应该在权利要求书的保护范围内。

单元像素的数据结构如图6(a)所示，Line Buffer的数据结构如图6(b)所示。单元像素的每个颜色分量均对应一个标志位flag：flag＝2’b00表示缺失相应的颜色分量；flag＝2’b01表示已经预插值恢复相应的颜色分量；flag＝2’b10表示已经最终插值恢复相应的颜色分量；flag＝2’b11表示相应的颜色分量为原始的采样颜色分量。单元像素以行为单位缓存在Line Buffer中，Line Buffer的大小根据实际的应用而决定。

如图4所示为在红色采样点上恢复绿色分量的流程示意图。从Line Buffer中读取5×5的像素数据块，如图2所示。分别计算12个方向的梯度：

I_n(i，j)＝K_n(abs(P(i+v_n，j+h_n)-P(i-v_n，j-h_n))+abs(P(i+2v_n，j+2h_n)-P(i，j)))其中P(i，j)表示位置(i，j)的原始采样颜色的颜色值，h_n和v_n的值如下表：

n	hn	vn	N	hn	vn	n	hn	vn
									1	-1	0	5	-2	-1	9	+2	+1
2	0	-1	6	-1	-2	10	+1	+2
									3	+1	0	7	+1	-2	11	-1	+2
4	0	+1	8	+2	-1	12	-2	+1

由于在各个方向计算梯度时，相同颜色像素之间的距离是不相等的，需要对计算得到的插值进行调整，本申请采取随机调整，即取

$\mathrm{Kn}=\left\{\begin{array}{cc}1,& n=\mathrm{1,2,3,4}\\ 0.5,& n=\mathrm{5,6},...,12\end{array}\right.$

计算得到12个方向的梯度后，进一步计算所有梯度的和值，如果其和值大于某个指定的阈值，可以认为待插值的采样点位于边缘区域，否则待插值的采样点位于平滑区域。

在计算12个方向的梯度的同时，根据单元像素的flag确认是否需要对5×5像素数据块的绿色采样点相应位置的红色分量进行估计，如果flag＝2’b00，则根据区域内相邻的两个红色采样点的红色颜色值通过线性插值得到预插值的红色分量，并回写到Line Buffer的相应位置，并计算相应的色差K_r，n(i+v_n，j+h_n)＝G(i+v_n，j+h_n)-R(i+v_n，j+h_n1)；否则直接计算相应的色差。

如果待插值的红色采样点位于边缘区域，则通过有理函数插值恢复绿色分量：

$G(i,j)=R(i,j)+{\mathrm{\Σ}}_{n=1}^{12}\mathrm{Wn}(i,j)*K_{r,n}(i+\mathrm{Vn},j+\mathrm{hn})$

其中

如果待插值的红色采样点位于平滑区域，则通过线性插值恢复绿色分量：

$G(i,j)=R(i,j)+\frac{1}{12}{\mathrm{\Σ}}_{n=1}^{12}{K}_{r,n}(i+v_{n,}j+h_n).$

类推可以在蓝色采样点上恢复绿色分量。由于在本申请所述方法的最后阶段还需要对恢复得到的绿色分量进行校正，所以这一步恢复得到的绿色分量的flag＝2’b01。

如图3所示为恢复全彩色图像的插值区域示意图。根据该示意图，通过分别在红色、蓝色采样点上根据相邻的12个绿色采样点可以插值恢复得到全部的绿色分量；通过在红色/蓝色采样点上根据相邻的4个蓝色/红色采样点可以插值恢复红色/蓝色采样点上的蓝色/红色分量，继而在绿色采样点上根据相邻的12个蓝色/红色采样点或已插值恢复的蓝色/红色分量可以插值恢复绿色采样点上的蓝色/红色分量，即恢复了全部的蓝色/红色分量。插值恢复蓝色/红色分量可以参考在红色采样点上插值恢复绿色分量的步骤，只需要在细节上作少量的变化，在本申请中不再加以描述，但是这显然也应该在权利要求书的保护范围之内。

如图5为恢复全彩色图像的流程示意图。恢复全彩色图像主要分为4个步骤，分别是在红色/蓝色采样点上恢复绿色分量，在红色/蓝色采样点上恢复蓝色/红色分量，在绿色采样点上恢复蓝色/红色分量，校正绿色分量。这四个步骤之间存在数据依赖性，如在红色/蓝色采样点上恢复蓝色/红色分量需要已经得到相关红色/蓝色采样点上恢复的绿色分量，从而可以在色差空间(G-B or G-R)上插值恢复相应的蓝色/红色分量；在绿色采样点上恢复蓝色/红色分量需要已经得到相关红色/蓝色采样点上恢复的蓝色/红色分量和绿色分量，并在色差空间上插值恢复相应的蓝色/红色分量；校正绿色分量需要已经得到相关绿色采样点上的红色/蓝色分量，并在蓝色/红色采样点上采取与在红色/蓝色采样点上恢复绿色分量类似的方法计算得到校正后的绿色分量。根据各个环节的数据依赖性，可以将整个流程大致分为3个主循环，分别是loop 1、loop 2以及1oop 3，其中loop 1作为一个实体在实现中分别作为在红色/蓝色采样点上恢复绿色分量和校正绿色分量两个模块被实现了两次。

上述计算和操作过程是本发明所述方法的一种典型的实施方式，对于本领域的一般技术人员，在上述实施例的基础上可以做多种变化，同样能够实现本发明的目的。但是，这种变化显然应该在本发明的权利要求书的保护范围内。

Claims (3)

1.一种高分辨率边缘方向梯度计算方法，其特征在于：

(1)在传统的4方向梯度基础上，增加了8个不同的方向梯度；

(2)由于参与增加的8个方向梯度计算的采样颜色点之间的距离比参与传统的4个方向梯度计算的采样颜色点之间的距离远，所以计算得到的值需要乘上一个小于1的系数以抵消不同的距离带来的影响。

2.一种新型边缘自适应CFA彩色图像插值方法，其特征在于包括以下步骤：

(1)采用5×5的窗口扫描待恢复的CFA马赛克图像；

(2)根据权利要求1，在红色/蓝色采样点上计算相应的高分辨率方向梯度，并在色差空间恢复绿色分量；

(3)在红色/蓝色采样点上计算相应的4方向梯度，并恢复蓝色/红色分量；

(4)根据权利要求1，在绿色采样点上计算相应的高分辨率方向梯度，并在色差空间恢复蓝色/红色分量；

(5)根据权利要求1和已经插值恢复的蓝色/红色分量，在红色/蓝色采样点上计算相应的高分辨率方向梯度，并在色差空间校正绿色分量。

3.根据权利要求2所述的新型边缘自适应CFA彩色图像插值方法，其特征在于：

(1)步骤2、4、5计算色差值时，绿色分量都是原始采样点，而红色/蓝色分量遵循如下的规则：如果参与计算的采样点区域的红色/蓝色分量已经通过插值恢复，则用恢复的分量参与色差计算；如果参与计算的采样点区域的红色/蓝色分量尚未通过插值恢复，则通过最近两个邻域相同颜色分量线性插值恢复采样点红色/蓝色分量，并参与色差计算；

(2)步骤2、4、5根据权利要求1计算12个方向梯度，并计算12个方向梯度的和值，如果和值大于某个阈值，则该点位于边缘区域，根据12个方向梯度计算各个方向插值的权重值，采用有理函数插值恢复待恢复的颜色分量；否则该店位于平滑区域，采用双线性插值或双立方插值等线性插值方法恢复待恢复的颜色分量；

(3)步骤3计算色差值时，红色/蓝色分量是原始采样点，绿色分量是通过 步骤2插值恢复的值；

(4)步骤3计算4个方向的方向梯度，并根据不同的区域(边缘区域或平滑区域)选择不同的插值方法(有理函数插值或线性插值)插值恢复待恢复的颜色分量。

Images