CN101197916A - 基于梯度的边缘增强颜色插值方法 - Google Patents

Abstract

本发明公开了一种基于梯度的边缘增强颜色插值方法，包括以下步骤：(1)设定梯度阈值，使其取值范围为[0，255]；(2)对所有缺损的绿色分量进行插值：获得要插值点对应位置的水平和垂直梯度，若两者都大于步骤(1)阈值，则通过边缘增强获得绿色分量；(3)对当前点为非绿色分量进行相应颜色插值：获得出当前点两对角线梯度，若两者都大于步骤(1)阈值，则通过边缘增强获得相应分量；(4)对当前点为绿色分量进行红色和蓝色分量插值：获得出当前点对应位置的水平和垂直梯度，若两者都大于步骤(1)阈值，则通过边缘增强获得相应分量。采用本发明所述方法既能消除颜色插值带来的边缘噪声，又能增加边缘锐化效果。

Description

基于梯度的边缘增强颜色插值方法

技术领域

本发明涉及一种颜色插值方法，特别涉及一种基于梯度的边缘增强颜色插值方法。

背景技术

在现有的各种成像设备中，绝大多数都是采用CFA图像传感器。这种类型的CCD或CMOS传感器中的每个感光元器件只能采集像素颜色的一个特定分量，而在整个传感器点阵中，每个点只有一个感光器，也就是说对于每一像素只能采集到一个颜色分量，而其它两个分量将丢失。因此，必须提供一种方法补回丢失的两个分量，使得每个输出像素都具有红色(R)、绿色(G)、蓝色(B)分量输出。

目前，有一种比较简单的方法，即采用周围相应颜色分量的平均值来计算当前缺损的分量。

如图1所示，要计算R33位置丢失的绿色与蓝色分量，采用5×5的区域计算，则计算公式为：

$G33=\frac{G12+G14+G21+G23+G25+G32+G34+G41+G43+G45+G52+G54}{12}---\left(1\right)$

$B33=\frac{B22+B24+B42+B44}{4}$

对于整幅图像数据，采用相应的方法计算出所有缺损的数据。

采用这种方法，由于边缘区域的值与非边缘区域的值相互作用，将会导致图像产生严重的边缘噪声，不利于对输出数据的后续处理。

而另外一种改进的双线性插值(Bilinear Interpolation)方法，则是采用梯度判断来自适应计算缺损的颜色分量。

对在红色分量像素位置插值绿色分量，采用下面的公式计算：

$\hat{g}(i,j)={\hat{g}}_B(i,j)+{\mathrm{\α\Δ}}_R(i,j)---\left(2\right)$

α为当前梯度的校正系数，

为当前位置周围的绿色分量的平均值，Δ_R(i，j)为r(i，j)所处位置的梯度值，采用下面公式计算：

$(m,n)=\{(0,-2),\left(\mathrm{0,2}\right),(-\mathrm{2,0}),\left(\mathrm{2,0}\right)\}$

${\hat{g}}_B(i,j)=\frac{1}{4}\mathrm{\Σg}(i+m,j+n)---\left(4\right)$

$(m,n)=\{(0,-1),\left(\mathrm{0,1}\right),(-\mathrm{1,0}),\left(\mathrm{1,0}\right)\}$

对在蓝色分量像素位置插值绿色分量，也同样采用上述方法。

对在绿色分量像素位置插值红色分量，采用下述方法：

$\hat{r}(i,j)={\hat{r}}_B(i,j)+{\mathrm{\β\Δ}}_G(i,j)---\left(5\right)$

Δ_G(i，j)采用九个点按公式(3)计算，见图2。

对在蓝色分量像素位置插值红色分量，采用下述方法：

$\hat{r}(i,j)={\hat{r}}_B(i,j)+{\mathrm{\γ\Δ}}_B(i,j)---\left(6\right)$

如图2所示Δ_B(i，j)采用五个点按公式(3)计算。

而对于计算缺损的蓝色分量，按照计算缺损的红色分量计算(见图2)。

而对于α、β、γ三个系数的选取，则是计算处理前与处理后的两幅图像的均方差(Mean Square Error(MSE))。使MSE最小的α、β、γ值为最佳值。在该方法中给出了一组最佳值为α＝1/2、β＝5/8、γ＝3/4。将上述参数带入上述公式，转换为矩阵形式(见图2)，颜色块中的数字表示该颜色分量的计算系数。

虽然该方法减少了边缘区域的值与非边缘区域的值相互作用的影响，降低了边缘噪声。但是由于采用比较MSE的方式来计算α、β、γ三个系数，使得处理后的图片最接近原始图片，故也没有起到边缘锐化的效果。

发明内容

本发明的目的是要提供一种既能消除颜色插值带来的边缘噪声，又能增加边缘锐化效果的基于梯度的边缘增强颜色插值方法。

为了实现上述目的，本发明提供的一种基于梯度的边缘增强颜色插值方法，包括以下步骤：

(1)、设定梯度阈值，使其取值范围为[0，255]；

(2)、对所有缺损的绿色分量进行插值：获得要插值点对应位置的水平和垂直梯度，若两梯度都大于步骤(1)阈值，则通过边缘增强来获得缺损的绿色分量；若至少一梯度值小于阈值则按相应的平均值方法插值；

(3)、对当前点为非绿色分量进行相应颜色插值：获得当前点对应位置的两对角线梯度，若两梯度都大于步骤(1)阈值，则通过边缘增强来获得相应分量；若至少一梯度值小于阈值则按相应的平均值方法插值；

(4)、对当前点为绿色分量进行红色和蓝色分量插值：获得当前点对应位置的水平和垂直梯度，若两梯度都大于步骤(1)阈值，则通过边缘增强来获得相应分量；若至少一梯度值小于阈值则按相应的平均值方法插值。

本发明所述步骤(2)若两梯度都小于阈值，则采用两梯度对应方向平均值获得缺损的绿色分量；若只有一梯度小于阈值，则采用相对值小的梯度对应方向的平均值获得缺损的绿色分量。

本发明所述步骤(2)通过边缘增强来获得缺损的绿色分量为：根据水平和垂直梯度的大小关系分别按水平梯度大于、等于或小于垂直梯度三种情况获得绿色分量。

本发明所述步骤(3)至少一梯度值小于阈值情况下，采用相对值小的梯度所对应方向的平均值获得其颜色分量。

本发明所述步骤(3)若两梯度都大于阈值，通过边缘增强获取颜色分量过程为：

$C(i,j)=\frac{C(i-1,j-1)-G(i-1,j-1)+C(i-1,j+1)-G(i-1,j+1)}{4}$

$+\frac{C(i+1,j-1)-G(i+1,j-1)+C(i+1,j+1)-G(i+1,j+1)}{4}+G(i,j)$

其中，C(i，j)表示当前i，j位置的原始颜色分量，G(i，j)表示当前i，j位置的绿色分量。

本发明所述步骤(4)至少一梯度值小于阈值情况下，其中相对值小的梯度所对应方向的颜色分量用其方向平均值来获得，另一颜色分量则用按其边缘增强来获得。

本发明所述步骤(4)若两梯度都大于阈值，通过边缘增强获取颜色分量过程为：

$B(i,j-1)=\frac{(C(i,j-2)-G(i,j-2))+(C(i,j)-G(i,j))}{2}+C(i,j-1)$

$R(i,j-1)=\frac{C(i-1,j-1)-G(i-1,j-1)+C(i+1,j-1)-G(i+1,j-1)}{2}+C(i,j-1)$

其中，B(i，j)、R(i，j)和G(i，j)分别表示当前i，j位置的蓝色、红色和绿色分量，C(i，j)表示当前i，j位置的原始颜色分量。

本发明通过利用已有的颜色分量值计算四个方向的梯度，并与事先设置好的梯度阈值比较，来判断当前位置是否处于边缘。如果处于边缘，则通过当前位置的四个方向的梯度关系进行相应的边缘增强，而不会引入噪声；反之，则采用平均颜色插值的方法进行插值，有利于去除图像中非边缘地区的传感器产生的电源噪声。

附图说明

图1为平均值插值法中的5×5模式示意图；

图2为双线性插值法示意图；

图3为本发明插值方法流程示意图；

图4为本发明对缺损的绿色分量插值流程示意图；

图5为本发明对当前点为非绿色分量进行相应颜色插值的流程示意图。

具体实施方式

本发明中采用判断垂直、水平与正负对角线四个方向来判断当前像素位置的梯度方向。设定梯度阈值Thre，同过比较四个方向的最大梯度值与Thre的大小关系来判断当前点是否为边界点，由此来进行边缘增强，在本发明中规定Thre取值范围为[0，255]，当当前位置的梯度值大于Thre时，则可确定当前位置处于边缘位置，通过相应的计算来进行边缘增强。

如图3所示，本发明主要包括以下步骤：

(1)、设定梯度阈值，使其取值范围为[0，255]；

(2)、如图4所示，对所有缺损的绿色分量进行插值：获得要插值点对应位置的水平和垂直梯度，若至少一梯度值小于步骤(1)阈值则按相应的平均值方法插值。其中，若两梯度都小于阈值，则采用两梯度对应方向平均值获得缺损的绿色分量；若只有一梯度小于阈值，则采用相对值小的梯度对应方向的平均值获得缺损的绿色分量。而当两梯度都大于阈值，则根据水平和垂直梯度的大小关系分别按水平梯度大于、等于或小于垂直梯度三种情况，依次通过边缘增强来获得缺损的绿色分量：

当HG＞VG

$G(i,j)=\frac{C(i-1,j)+C(i+1,j)}{2}+\frac{2\×C(i,j)-C(i+2,j)-C(i-2,j)}{4}$

当HG＜VG

$G(i,j)=\frac{C(i,j-1)+C(i,j+1)}{2}+\frac{2\×C(i,j)-C(i,j+2)-C(i,j-2)}{4}$

当HG＝VG

$G(i,j)=\frac{C(i-1,j)+C(i+1,j)+C(i,j-1)+C(i,j+1)}{4}$

$+\frac{2\×C(i,j)-C(i+2,j)-C(i-2,j)+2\×C(i,j)-C(i,j+2)-C(i,j-2)}{8}$

其中，G(i，j)当前i，j位置的绿色分量，C(i，j)表示当前i，j位置的原始颜色分量，HG和VG分别表示水平和垂直梯度。

(3)、如图5所示，对当前点为非绿色分量进行相应颜色插值：获得当前点对应位置的两对角线梯度，若至少一梯度值小于步骤(1)阈值，则采用相对值小的梯度所对应方向的平均值获得其颜色分量：

当NEG＝minG，采用45度方向上的值计算其颜色分量，

当NWG＝minG，采用-45度方向上的值计算其颜色分量(minG为两对角线梯度NEG、NWG的最小值)；若两梯度都大于阈值，则通过边缘增强来获得相应分量：

$C(i,j)=\frac{C(i-1,j-1)-G(i-1,j-1)+C(i-1,j+1)-G(i-1,j+1)}{4}$

$+\frac{C(i+1,j-1)-G(i+1,j-1)+C(i+1,j+1)-G(i+1,j+1)}{4}+G(i,j)$

其中，C(i，j)表示当前i，j位置的原始颜色分量，G(i，j)当前i，j位置的绿色分量。

(4)、对当前点为绿色分量进行红色和蓝色分量插值：获得当前点对应位置的水平和垂直梯度，若至少一梯度值小于步骤(1)阈值则其中相对值小的梯度所对应方向的颜色分量用其方向平均值来获得，另一颜色分量则用按其边缘增强来获得：

minG＝min(HG，VG)

当minG＜Thre时：

$\left\{\begin{array}{c}B(i,j-1)=\frac{C(i,j-2)+C(i,j)}{2}\\ R(i,j-1)=\frac{C(i-1,j-1)-G(i-1,j-1)+C(i+1,j-1)-G(i+1,j-1)}{2}+C(i,j-1)\end{array}\right\}\min G=\mathrm{HG}$

$\left\{\begin{array}{c}B(i,j-1)=\frac{(C(i,j-2)-G(i,j-2))+(C(i,j)-G(i,j))}{2}+C(i,j-1)\\ R(i,j-1)=\frac{C(i-1,j-1)+C(i+1,j-2)}{2}\end{array}\right\}$ 其它

其中，HG和VG分别是水平和垂直梯度，Thre为阈值。若两梯度都大于步骤(1)阈值，则通过边缘增强来获得相应分量：

$B(i,j-1)=\frac{(C(i,j-2)-G(i,j-2))+(C(i,j)-G(i,j))}{2}+C(i,j-1)$

$R(i,j-1)=\frac{C(i-1,j-1)-G(i-1,j-1)+C(i+1,j-1)-G(i+1,j-1)}{2}+C(i,j-1)$

其中，B(i，j)当前i，j位置的蓝色分量，R(i，j)当前i，j位置的红色分量，C(i，j)表示当前i，j位置的原始颜色分量。

其中，水平、垂直和两对角线梯度计算依次为：

HG＝|2×C(i，j)-C(i，j-2)-C(i，j+2)|+|C(i，j+1)-C(i，j-1)|

VG＝|2×C(i，j)-C(i+2，j)-C(i-2，j)|+|C(i+1，j)-C(i-1，j)|

NEG＝|2×C(i，j)-C(i+2，j-2)-C(i-2，j+2)|+|C(i+1，j-1)-C(i-1，j+1)|

NWG＝|2×C(i，j)-C(i+2，j+2)-C(i-2，j-2)|+|C(i+1，j+1)-C(i-1，j-1)|

如下例子为具体过程按的实施过程，以图1中的B44位置为例，首先计算蓝色分量位置的绿色分量值G44，其步骤如下：

(1)计算对应位置的水平梯度(HG)与垂直梯度(VG)。

HG＝|2×B44-B42-B46|+|G45-G43|

VG＝|2×B44-B64-B24|+|G54-G34|

(2)根据梯度大小，计算当前的绿色分量。

(a)如果HG＜Thre和VG＜Thre同时成立；

$G44=\frac{G43+G34+G45+G54}{4}$

(b)如果HG＜Thre成立；

$G44=\frac{G43+G45}{2}$

(c)如果VG＜Thre成立；

$G44=\frac{G34+G54}{2}$

(d)其它但不属于上述三种条件；

$G44=\frac{G34+G54}{2}+\frac{2\×B44-B64-B24}{4}$ 当HG＞VG

$G44=\frac{G43+G45}{2}+\frac{2\×B44-B42-B46}{4}$ 当HG＜VG

$G44=\frac{G34+G54+G43+G45}{4}+\frac{2\×B44-B64-B24+2*B44-B42-B46}{8}$ 当HG＝＝VG

其中，采用同样的方法可计算红色分量位置的绿色分量值。

然后，计算蓝色分量位置的红色分量值。计算R44，需要使用上一步计算出的G44的值，其步骤如下：

(1)计算对角线的梯度NEG、NWG以及最小值minG。

NEG＝|2×B44-B62-B26|+|R53-R35|

NWG＝|2×B44-B66-B22|+|R55-R33|

minG＝min(NEG，NWG)

(2)根据梯度大小，计算R44的值。

(a)如果minG＜Thre成立；

$R44=\frac{R53+R35}{2}$ 当minG＝＝NEG

$R44=\frac{R33+R55}{2}$ 其它

(b)其它但不属于上述条件。

$R44=\frac{(R33-G33)+(R35-G35)+(R53-G53)+(R55-G55)}{4}+G44$

其中，采用同样的方法可计算红色分量位置的蓝色分量值，比如B33。

最后，计算绿色分量位置缺损的红色分量与蓝色分量。以G43为例，计算B43与R43，其步骤如下：

(1)计算水平方向的梯度HG、垂直方向的梯度VG以及最小值minG。

HG＝|2×G43-G41-G45|+|B44-B42|

VG＝|2×G43-G23-G63|+|R53-R33|

minG＝min(HG，VG)

(2)根据梯度大小计算相应的值。

(a)如果minG＜Thre成立；

当minG＝＝HG时：

$B43=\frac{B42+B44}{2}$

$R43=\frac{(R33-G33)+(R53-G53)}{2}+G43$

其它：

$B43=\frac{(B42-G42)+(B44-G44)}{2}+G43$

$R43=\frac{R33+R53}{2}$

(b)其它但不属于上述条件。

$B43=\frac{(B42-G42)+(B44-G44)}{2}+G43;$

$R43=\frac{(R33-G33)+(R53-G53)}{2}+G43$

Claims (7)

1.一种基于梯度的边缘增强颜色插值方法，其特征在于包括以下步骤：

(1)、设定梯度阈值，使其取值范围为[0，255]；

(2)、对所有缺损的绿色分量进行插值：获得要插值点对应位置的水平和垂直梯度，若两梯度都大于步骤(1)阈值，则通过边缘增强来获得缺损的绿色分量；若至少一梯度值小于阈值则按相应的平均值方法插值；

(3)、对当前点为非绿色分量进行相应颜色插值：获得当前点对应位置的两对角线梯度，若两梯度都大于步骤(1)阈值，则通过边缘增强来获得相应分量；若至少一梯度值小于阈值则按相应的平均值方法插值；

(4)、对当前点为绿色分量进行红色和蓝色分量插值：获得当前点对应位置的水平和垂直梯度，若两梯度都大于步骤(1)阈值，则通过边缘增强来获得相应分量；若至少一梯度值小于阈值则按相应的平均值方法插值。

2.根据权利要求1所述的边缘增强颜色插值方法，其特征在于：所述步骤(2)若两梯度都小于阈值，则采用两梯度对应方向平均值获得缺损的绿色分量；若只有一梯度小于阈值，则采用相对值小的梯度对应方向的平均值获得缺损的绿色分量。

3.根据权利要求1所述的边缘增强颜色插值方法，其特征在于：所述步骤(2)通过边缘增强来获得缺损的绿色分量为：根据水平和垂直梯度的大小关系分别按水平梯度大于、等于或小于垂直梯度三种情况获得绿色分量。

4.根据权利要求1所述的边缘增强颜色插值方法，其特征在于：所述步骤(3)至少一梯度值小于阈值情况下，采用相对值小的梯度所对应方向的平均值获得其颜色分量。

5.根据权利要求1所述的边缘增强颜色插值方法，其特征在于：所述步骤(3)若两梯度都大于阈值，通过边缘增强获取颜色分量过程为：

$C(i,j)=\frac{C(i-1,j-1)-G(i-1,j-1)+C(i-1,j+1)-G(i-1,j+1)}{4}$

$+\frac{C(i+1,j-1)-G(i+1,j-1)+C(i+1,j+1)-G(i+1,j+1)}{4}+G(i,j)$

其中，C(i，j)表示当前i，j位置的原始颜色分量，G(i，j)表示当前i，j位置的绿色分量。

6.根据权利要求1所述的边缘增强颜色插值方法，其特征在于：所述步骤(4)至少一梯度值小于阈值情况下，其中相对值小的梯度所对应方向的颜色分量用其方向平均值来获得，另一颜色分量则用按其边缘增强来获得。

7.根据权利要求1所述的边缘增强颜色插值方法，其特征在于：所述步骤(4)若两梯度都大于阈值，通过边缘增强获取颜色分量过程为：

$B(i,j-1)=\frac{(C(i,j-2)-G(i,j-2))+(C(i,j)-G(i,j))}{2}+C(i,j-1)$

$R(i,j-1)=\frac{C(i-1,j-1)-G(i-1,j-1)+C(i+1,j-1)-G(i+1,j-1)}{2}+C(i,j-1)$

其中，B(i，j)表示当前i，j位置的蓝色分量，R(i，j)表示当前i，j位置的红色分量，G(i，j)表示当前i，j位置的绿色分量，C(i，j)表示当前i，j位置的原始颜色分量。

Images