CN104038746B - 一种bayer格式图像数据插值方法 - Google Patents

Abstract

本发明公开了一种BAYER格式图像数据插值方法，该方法包括如下步骤：(1)选择BAYER格式图像中缺少G值数据的像素点(i，j)进行G值填充，具体步骤为，①以像素点(i，j)为中心选取n*n计算区域；②统计①中选取的区域内所有像素点的水平梯度值、垂直梯度值，得到水平梯度总值SUM_H和垂直梯度总值SUM_V；③比较水平梯度总值SUM_H和垂直梯度总值SUM_V的大小，对像素点(i，j)进行G值填充；(2)完成步骤(1)后对BAYER格式图像中缺少R、G、B中至少一种数据的像素点进行填充。本发明的运算量比常规的CFA算法的运算量要小很多，并且在运算过程中占用内存资源比较小，比较容易的在FPGA和DSP中实现。

Description

一种BAYER格式图像数据插值方法

技术领域

本发明涉及数据图像处理技术领域，具体而言，涉及一种BAYER格式图像数据插值方法。

背景技术

随着数码相机、扫描仪和其他计算机输入设备越来越普及，作为图像系统中最重要的组成部分，CCD和CMOS传感器也逐渐的被人们所熟知。为了能够得到对原始图像最详尽的描述，一般需要三组CCD传感器。但是，目前的CFA算法在处理BAYER数据的时候，如果保证输出效果好，就的采用较大的数据处理量，这样很大程度上增加了制造相机的成本。一般会在数字相机图像传感器上覆盖颜色滤波阵列，因为Bayer格式颜色滤波阵列具有很好的颜色信号敏感性和颜色恢复特性，而每一个敏感点只允许一种颜色分量通过，因此图像的每一个像素点都只有一种颜色灰度值。为了恢复完整的彩色图像，需要通过颜色插值技术利用每个采样点周围的颜色来计算另外两种缺失的颜色分量。目前数字相机系统中，大多数颜色滤波阵列只有一种颜色分量有较高的采样频率，相比其他两种颜色分量采样也较多。在Bayer格式颜色滤波阵列中，绿色分量(G)是红色分量(R)或蓝色分量(B)的两倍，占图像总采样点的一半。因此绿色能更好的体现细节，插值时一般先插绿色像素。在处理BAYER数据的时候，如果保证输出效果好，就的采用较大的数据处理量，这样很大程度上增加了制造相机的成本。

同时，在绿色分量插值时，采用梯度组队思想，扫描在一定区域内与水平或垂直方向平行的不同梯度，从而得到水平和垂直方向的两个梯度组，判断出梯度组的值最小(相关性最大)的方向，然后再此方向上插值绿色分量；在红色和蓝色像素的插值中，根据色度的相关性，不同颜色分量之间有一定的相关性，由此再根据已经得到的绿色分量来恢复红色和蓝色分量。并且在插值过程中，根据区域的平衡程度的不同来变化梯度搜索区域的大小，以便提高精度和减少计算量。Chang等人提出的基于梯度的插值算法，此算法首先在以被插值像素为中心的5×5邻域内计算不同方向的梯度集合；其次定义一个阈值来选择符合要求的子梯度；最后沿着选择的子梯度方向来计算所有位置的像素值；这样就可以选择多个方向来恢复图像，从而增加了方向选择的正确性，同时也增加了算法的复杂度。多梯度的区域自适应插值算法。在绿色分量插值时，采用梯度组的思想，扫描在一定区域内与水平或垂直方向平行的不同梯度，从而得到水平和垂直方向的两个梯度组，判断出梯度组的值最小(相关性最大)的方向，然后在此方向上插值绿色分量。但是该算法通过计算两个梯度组的比率来和设定阈值进行比较，计算量大。

发明内容

为解决现有技术中目前CFA处理后的图像的拉链效果比较严重、边沿锯齿效果比较严重、强光源边缘经过目前CFA处理后紫边现象比较严重，并节省成本的目的，本发明提出一种BAYER格式图像数据插值方法，该方法包括如下步骤：

(1)选择BAYER格式图像中缺少G值数据的像素点(i，j)进行G值填充：具体步骤为，

①以像素点(i，j)为中心选取n*n计算区域；

②统计①中选取的区域内所有像素点的水平梯度值、垂直梯度值，得到水平梯度总值SUM_H和垂直梯度总值SUM_V；

③比较水平梯度总值SUM_H和垂直梯度总值SUM_V的大小，对像素点(i，j)进行G值填充；

其中，(n-1)/2<i<[M-(n-1)/2-1]；(n-1)/2<j<[N-(n-1)/2-1]，M和N分别表示该BAYER格式图像的行数、列数，n为预设值且为不小7的奇数；

将模板的值n设为7选取的模板是最小的能方便计算，减少计算量，同时能够保证插值后的图像最大限度的接近原始图像；并且模板的值n还可以选择大于7的奇数，这是为了增大模板内的所有像素点计算梯度总值的精度，模板越大，图像在水平或者垂直方向的明暗程度、色差程度越能分析出它的趋势，以此来选择计算G值所选取的点。通过比较n*n的计算区域内所有像素点的水平梯度总值和垂直梯度总值的大小，来选取相关性大的方向的像素点来填充像素点(i，j)的G值的方法，比起仅比较填充点邻域内的水平梯度和垂直梯度的方法来选取与填充点相关性大的方向精度更高。

(2)对完成步骤(1)后的BAYER格式图像中缺少R、G、B三个数据中至少一种的像素点进行填充。填充完绿色像素值后，再采用现有方法填充该BAYER格式图像中其它仍然缺失像素值的像素点，利用本方法处理后的填充到G值的像素点缺少的是R值或B值，而本身就有绿色像素的像素点则缺少的是R值和B值。填充仅仅缺少R值的像素点利用与该点距离最近的R值像素点进行填充，一般利用四个；填充仅仅缺少B值的像素点利用与该点距离最近的B值像素点进行填充，一般利用四个；填充既缺少R值又缺少B值的G通道的像素点的R值，则利用在该点水平方向或竖直方向临近的R值像素点的R值、G值填充该点的R值，一般利用距离该G通道的像素点最近的两个R值像素点；填充既缺少R值又缺少B值的G通道的像素点的B值，利用在该点水平方向或竖直方向临近的B值像素点的B值、G值填充该点的B值，一般利用距离该点最近的两个B通道像素点。在未填充到G值的区域中，也就是边缘区域，同样可利用距离该边缘区域距离最近的像素点的值进行填充。还可选择的，将该BAYER格式图像未能按照步骤(1)中填充G值的方法填充中的边缘区域进行复制，使得该BAYER格式图像中所有像素点都能选择步骤(1)中所述的计算区域，然后再根据步骤(1)中的方法进行填充。

进一步地，步骤(1)中②包括计算计算区域内每个像素点的水平梯度值H_CONV(i,j)、垂直梯度值V_CONV(i,j)；计算计算区域内的所有像素点的水平梯度总值、垂直梯度总值。

进一步地，步骤(1)中②中包括

a、计算每个像素点的水平梯度值H_CONV(i,j)

H_CONV(i,j)＝|Bay(i-1,j)-Bay(i+1,j)|，其中，2≤i≤n,1≤j≤n；Bay(i-1,j)和Bay(i+1,j)分别表示(i-1,j)的像素值、(i+1,j)的像素值；

b、计算每个像素点的垂直梯度值V_CONV(i,j)

V_CONV(i,j)＝|Bay(i,j-1)-Bay(i,j+1)|，其中，1≤i≤n-1,2≤j≤n-1；Bay(i,j-1)和Bay(i,j+1)分别表示(i,j-1)的像素值、(i,j+1)的像素值；

c、统计水平梯度总值 $\mathrm{SUM}\_H=\underset{i=2}{\overset{n-1}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}H\_\mathrm{CONV}(i,j);$

统计垂直梯度总值 $\mathrm{SUM}\_V=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{j=2}{\overset{n-1}{\mathrm{\&Sigma;}}}V\_\mathrm{CONV}(i,j).$

进一步地，步骤(1)中③包括当SUM_H<SUM_V时，填充(i,j)点的G值利用该点以及与该点水平方向最临近的四个像素点的值进行确定。

更进一步地，填充(i,j)点的G值按照如下公式：

Bay(i,j)＝(-1*Bay(i-2,j)+2*Bay(i-1)j+2*Bay(i,j)+2*Bay(i+1,j)-Bay(i+2,j))/4。

进一步地，步骤(1)中③包括当SUM_H>SUM_V时，填充(i,j)点的G值利用该点以及与该点竖直方向最临近的四个像素点的值进行确定。

更进一步地，填充(i,j)点的G值按照如下公式

Bay(i,j)＝(-1*Bay(i,j-2)+2*Bay(i,j-1)+2*Bay(i,j)+2*Bay(i,j+1)-Bay(i,j+2))/4。

进一步地，步骤(1)中③包括当SUM_H＝SUM_V时,填充(i,j)点G值利用该点以及与该点在水平方向、垂直方向分别最临近的四个像素点的值进行确定。

更进一步地，填充(i,j)点的G值按照如下公式

Bay(i,j)＝(-1*Bay(i-2,j)+2*Bay(i-1,j)+2*Bay(i,j)+2*Bay(i+1,j)-Bay(i+2,j)-Bay(i,j-2)+2*Bay(i,j-1)+2*Bay(i,j)+2*Bay(i,j+1)-Bay(i,j+2))/8。

梯度值计算的不同导致利用的插值点的方向不同，因此计算梯度的算法算出的结果可能与本发明算法不同，本发明采取的上述公式都是为了最大限度的减低计算量，同时保证精确的填充。

本发明算法与自适应插值算法相比较、多梯度区域插值算法相比较计算梯度的公式不一样，从而导致插值的像素点也不同。与自适应插值算法相比较，本发明插值利用的是被插值点的像素值以及最邻近该被插值点的四个像素点的像素值，而自适应插值算法利用的则是水平方向或垂直方向临近的两个G值像素点。因此梯度的计算是导致插值的像素点的方向不同，使得图像插值效果的不同的原因。

本发明的有益效果为：以填充点为中心划定一个较小的计算区域进行多个方向检测，通过比较该计算区域内的水平梯度总值和垂直梯度总值来选择如何填充。这种方法能够利用较小的FPGA资源，实现较好的显示效果。对R、G和B三个通道的缺失量填充的时候采用不同大小的模板进行处理，这样能够较好的输出高品质的画面。

附图说明

图1所示为本发明方法流程示意图一；

图2所示为本发明bayer数据结构示意图二；

具体实施方式

下面通过具体的实施例并结合附图对本发明做进一步的详细描述。

如图1所示的一种BAYER格式图像数据插值方法，该方法包括如下步骤：

(1)选择BAYER格式图像中缺少G值数据的像素点(i，j)进行G值填充：具体步骤为，

①以像素点(i，j)为中心选取n*n计算区域；

②统计①中选取的区域内所有像素点的水平梯度值、垂直梯度值，得到水平梯度总值SUM_H和垂直梯度总值SUM_V；

③比较水平梯度总值SUM_H和垂直梯度总值SUM_V的大小，对像素点(i，j)进行G值填充；

其中，(n-1)/2<i<[M-(n-1)/2-1]；(n-1)/2<j<[N-(n-1)/2-1]，M和N分别表示该BAYER格式图像的行数、列数，n为预设值且为不小7的奇数；

(2)对完成步骤(1)后BAYER格式图像中缺少R、G、B三个数据中至少一种的像素点进行填充。

步骤(1)中②包括计算①中选取的区域内的每个像素点的水平梯度值H_CONV(i,j)、垂直梯度值V_CONV(i,j)；计算计算区域内的所有像素点的水平梯度总值、垂直梯度总值。步骤(1)中②中包括

a、计算每个像素点的水平梯度值H_CONV(i,j)

H_CONV(i,j)＝|Bay(i-1,j)-Bay(i+1,j)|，其中，2≤i≤n,1≤j≤n；Bay(i-1,j)和Bay(i+1,j)分别表示(i-1,j)的像素值、(i+1,j)的像素值

b、计算每个像素点的垂直梯度值V_CONV(i,j)

V_CONV(i,j)＝|Bay(i,j-1)-Bay(i,j+1)|，其中，1≤i≤n-1,2≤j≤n-1；Bay(i,j-1)和Bay(i,j+1)分别表示(i,j-1)的像素值、(i,j+1)的像素值。

c、统计水平梯度总值 $\mathrm{SUM}\_H=\underset{i=2}{\overset{n-1}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}H\_\mathrm{CONV}(i,j);$

统计垂直梯度总值 $\mathrm{SUM}\_V=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{j=2}{\overset{n-1}{\mathrm{\&Sigma;}}}V\_\mathrm{CONV}(i,j).$

步骤(1)中③包括当SUM_H<SUM_V时，填充(i,j)点的G值利用该点以及与该点水平方向最临近的四个像素点的值进行确定。填充(i,j)点的G值按照如下公式

Bay(i,j)＝(-1*Bay(i-2,j)+2*Bay(i-1)j+2*Bay(i,j)+2*Bay(i+1,j)-Bay(i+2,j))/4；

步骤(1)中③包括当SUM_H>SUM_V时，填充(i,j)点的G值利用该点以及与该点竖直方向最临近的四个像素点的值进行确定。填充(i，j)点的G值按照如下公式

Bay(i,j)＝(-1*Bay(i,j-2)+2*Bay(i,j-1)+2*Bay(i,j)+2*Bay(i,j+1)-Bay(i,j+2))/4；

步骤(1)中③包括当SUM_H＝SUM_V时,填充(i,j)点G值利用该点以及与该点在水平方向、垂直方向分别最临近的四个像素点的值进行确定。填充(i,j)点的G值按照如下公式

Bay(i,j)＝(-1*Bay(i-2,j)+2*Bay(i-1,j)+2*Bay(i,j)+2*Bay(i+1,j)-Bay(i+2,j)-Bay(i,j-2)+2*Bay(i,j-1)+2*Bay(i,j)+2*Bay(i,j+1)-Bay(i,j+2))/8。

下面我们以Bayer数据格式中以为中心，选取如图2所示的7*7的模板为例，填充B₄₄点的G值--B(G)₄₄为例说明本发明。

首先，计算该模板内的每个像素点的水平梯度，

每个像素点的水平梯度计算公式为：

H_CONV(i,j)＝|Bay(i-1,j)-Bay(i+1,j)|，

其中i的取值为2到6，j的取值范围为1到7；

例如B₄₄点的水平梯度H_CONV(4,4)＝|Bay(3,4)-Bay(5,4)|，由图2中可知，即，G₄₃点的G值与G₄₅点的G值的差的绝对值，同理计算该模板内的所有像素点的水平梯度。

计算该Bay₇₇区域的每个像素点的垂直梯度，

每个像素点的垂直梯度计算公式为：

V_CONV(i,j)＝|Bay(i,j-1)-Bay(i,j+1)|，

其中i的取值范围为1到7，j的取值范围为2到6。同理B₄₄垂直梯度为G₃₄点的G值与G₅₄点的G值的差的绝对值，同理计算该模板内所有像素点的垂直梯度。

因此，该模板内所有填充点的水平梯度总值，

$\mathrm{SUM}\_H=\underset{i=2}{\overset{6}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{7}{\mathrm{\&Sigma;}}}H\_\mathrm{CONV}(i,j);$

统计该区域内所有填充点的垂直梯度值，

$\mathrm{SUM}\_V=\underset{i=1}{\overset{7}{\mathrm{\&Sigma;}}}\underset{j=2}{\overset{6}{\mathrm{\&Sigma;}}}V\_\mathrm{CONV}(i,j);$

再次，比较SUM_H和SUM_V的值的大小，选择填充G通道公式。当SUM_H<SUM_V时，填充(i,j)点的G值利用该点以及与该点水平方向最临近的四个像素点的值进行确定。

B₄₄点的G值为B(G)₄₄＝(-1*B₂₄+2*G₃₄+2*B₄₄+2*G₅₄-B₆₄)/4；

当SUM_H>SUM_V时，填充(i,j)点的G值利用该点以及与该点竖直方向最临近的四个像素点的值进行确定。

B₄₄点的G值为B(G)₄₄＝(-1*B₄₂+2*G₄₃+2*B₄₄+2*G₄₅-B₄₆)/4；

当SUM_H＝SUM_V时,填充(i,j)点G值利用该点以及与该点在水平方向、垂直方向最临近的四个像素点的值进行确定。

B₄₄点的G值为

B(G)₄₄＝(-1*B₂₄+2*G₃₄+2*B₄₄+2*G₅₄-B₆₄-B₄₂+2*G₄₃+2*B₄₄+2*G₄₅-B₄₆)/8。

衡量CFA算法的好坏大部分采用PSNR(峰值信噪比)指标进行比较，下表PSNR中给出了几种算法的PSNR值，从数值上可以更加直观的说明了本发明算法处理bayer格式数据后的图像与原始图像的接近度。

表PSNR

本发明中，n的取值为7，选取的模板为7*7；还可选择的将n取值为大于7，在这种n>7的取值的计算区域中，填充点填充值均可参照本实施例中选择的填充点及填充公式进行确定。n的取值越大，所选取的计算区域内的像素点越多，参与计算水平梯度总值和垂直梯度总值的像素点就越多，获得的水平梯度总值与垂直梯度总值就越精确。

采取上述方法将图像的G值全部填充完，接下来还以如图2所示的模板上的像素点的G₃₄点的R值、G₄₃的B值和B₄₄点的R值的填充步骤如下。

填充G₃₄点

从图2中可以看到距离G₃₄最近的两个红色像素点为R₃₃和R₃₅，所以利用这两个点对G₃₄进行R值填充，填充公式如下：

G(R)₃₄＝(R₃₃+R₃₅-G₃₃-G₃₅)/2+G₃₄；G(R)₃₄表示G₃₄点的R值；

填充G₄₃

从图2中可以看到距离G₄₃最近的两个蓝色像素点为B₄₂和B₄₄，所以利用这两个点对G₄₃进行填充，填充公式如下：

G(B)₄₃＝(B₄₂+B₄₄-G₄₂-G₄₄)/2+G₄₃；G(B)₄₃表示G₄₃点的B值；

填充B₄₄

从图2中可以看到距离B₄₄最近的有四个红色像素点，且到B₄₄的距离是一样的，为R₃₃、R₃₅、R₅₃和R₅₅，所以采用最近的这四个R像素进行填充填充B₄₄，填充公式如下：

B(R)₄₄＝(R₃₃+R₃₅+R₅₃+R₅₅-G₃₃-G₃₅-G₅₃-G₅₅)/4+G₄₄；B(R)₄₄表示B₄₄点的R值。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明发明可以有各种更改和变化。凡在本发明发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种BAYER格式图像数据插值方法，其特征在于，该方法包括如下步骤：

(1)选择BAYER格式图像中缺少G值数据的像素点(i，j)进行G值填充：具体步骤为，

①以像素点(i，j)为中心选取n*n计算区域；

②统计①中选取的区域内所有像素点的水平梯度值、垂直梯度值，得到水平梯度总值SUM_H和垂直梯度总值SUM_V，计算①中选取的区域内的每个像素点的水平梯度值H_CONV(i,j)、垂直梯度值V_CONV(i,j)；计算计算区域内的所有像素点的水平梯度总值SUM_H、垂直梯度总值SUM_V，a、采用如下公式计算每个像素点的水平梯度值H_CONV(i,j)

H_CONV(i,j)＝|Bay(i-1,j)-Bay(i+1,j)|，其中，2≤i≤n,1≤j≤n；Bay(i-1,j)、Bay(i+1,j)分别表示BAYER格式图像中像素点(i-1,j)、(i+1,j)的像素值；

b、采用如下公式计算每个像素点的垂直梯度值V_CONV(i,j),

V_CONV(i,j)＝|Bay(i,j-1)-Bay(i,j+1)|，其中，1≤i≤n,2≤j≤n-1；Bay(i,j-1)和Bay(i,j+1)分别表示BAYER格式图像中像素点(i,j-1)、(i,j+1)的像素值；

c、统计水平梯度总值 $SUM\_H=\underset{i=2}{\overset{n-1}{\&Sigma;}}\underset{j=1}{\overset{n}{\&Sigma;}}H\_CONV(i,j);$

统计垂直梯度总值 $SUM\_V=\underset{i=1}{\overset{n}{\&Sigma;}}\underset{j=2}{\overset{n-1}{\&Sigma;}}V\_CONV(i,j);$

③比较水平梯度总值SUM_H和垂直梯度总值SUM_V的大小，对像素点(i，j)进行G值填充，SUM_H<SUM_V时，对(i,j)点的G值进行填充时，利用沿该点水平方向最临近的四个像素点的值进行填充，填充(i,j)点的G值的按照如下公式

Bay(i,j)＝(-1*Bay(i-2,j)+2*Bay(i-1,j)+2*Bay(i,j)+2*Bay(i+1,j)-Bay(i+2,j))/4；当SUM_H>SUM_V时，对(i,j)点的G值进行填充时，利用沿该点竖直方向最临近的四个像素点的值进行填充，填充(i,j)点的G值的按照如下公式：

Bay(i,j)＝(-1*Bay(i,j-2)+2*Bay(i,j-1)+2*Bay(i,j)+2*Bay(i,j+1)-Bay(i,j+2))/4；当SUM_H＝SUM_V时,填充(i,j)点G值利用该点以及与该点在水平方向、垂直方向分别最临近的四个像素点的值进行确定，填充(i,j)点的G值的按照如下公式：

Bay(i,j)＝(-1*Bay(i-2,j)+2*Bay(i-1,j)+2*Bay(i,j)+2*Bay(i+1,j)-Bay(i+2,j)-Bay(i,j-2)+2*Bay(i,j-1)+2*Bay(i,j)+2*Bay(i,j+1)-Bay(i,j+2))/8；

其中，(n-1)/2<i<[M-(n-1)/2-1]；(n-1)/2<j<[N-(n-1)/2-1]，M和N分别表示该BAYER格式图像的行数、列数，n为预设值且为不小7的奇数；

(2)对完成步骤(1)后的BAYER格式图像中缺少R、G、B三个数据中至少一种的像素点进行填充。