CN102682427A - 应用于cmos图像传感器的新型实时插补算法 - Google Patents

Abstract

本发明涉及数字图像处理领域。为在算法复杂度不高的基础上，对像素边缘和通道相关度的判断更为精确，能得到更好的图像插补效果。且在硬件实现阶段，将数据的输入和输出设计为流水线形式以实现插补的实时性。本发明采取的技术方案是,应用于CMOS图像传感器的新型实时插补算法，包括如下步骤：红色、蓝色像素中缺失的绿色像素值的恢复：像素中缺失红色、蓝色像素值的恢复：红色、蓝色像素中缺失的蓝色、红色像素值的恢复：此两个像素分量的恢复采用的双线性方法，即R、B中缺失的B、R像素值分别由其最相邻的四个对角线上的四个B、R像素的平均值得到；本发明主要应用于数字图像处理。

Description

应用于CMOS图像传感器的新型实时插补算法

技术领域

本发明涉及数字图像处理领域，尤其涉及一种基于边界的双相关插值算法及其在硬件实现部分为满足实时性要求对数据的传输结构所采取的流水线设计方法。具体讲，涉及应用于CMOS图像传感器的新型实时插补算法。

背景技术

近年，CCD和CMOS图像传感器相继发展，数码相机、摄像机、PC摄像头等都采用CCD或CMOS作为图像传感器，相比而言，CMOS图像传感器具有更高的集成度、读出速度以及更低的功耗和价格，但是，其显著的缺点是图像质量较差。

其中最重要的影响图像质量的因素是目前的图像采集设备多采用单个的图像传感器和颜色滤波阵列来采集彩色图像，这种彩色滤波阵列把输入光信号分为RGB(红绿蓝)三基色，得到的图像的每一个像素点只采集一种颜色的光的亮度。因此，要满足输出图像的质量，在图像处理的后期就要对采集到的图像信息进行数字信号图像处理，一般来讲，就是根据周边的像素值得到每个像素所缺失的另外两个色彩值，实现对颜色的实时插补。要保证图像处理的实时性，又要保证具有良好的插补效果，以适应图像传感器在市场和生活应用中的迅速发展。

由图像传感器最终所获取的全彩色图像中，每个像素值由R、G、B三个颜色值组成，理论上就需要三个不同的图像传感器来分别获取R、G、B中一种颜色的数据，如图1所示。但是在实际应用中，为了减小体积、降低成本、简化三个通道的同步和矫正步骤，通常都在一个图像传感器之前覆盖上一个颜色滤波阵列，如图2所示，这种彩色图像的成像方法目前被大多数产品所使用，最常用的颜色滤波阵列为Bayer模型，如图3所示。这样，每个像素点只能获得一种颜色的值，而缺少了另外两种颜色，因此，为了得到全彩色的图像，就需要根据当前像素的周围像素的相关程度来估计计算当前像素所缺失的另外两个颜色的值，这个过程就称为彩色插值。

在Bayer模型的彩色滤波阵列中，R、G、B三个颜色的采样点比例为1∶2∶1，绿色像素的信息占总像素点的一半，红色和蓝色像素则分别占1/4。这是因为对于一幅彩色图片，人眼对亮度信息最敏感，而绿色像素对亮度的贡献最大，而且缺失的绿色像素的插值不仅严重影响绿色通道自身的图像质量，还会影响到整幅图像插补后的质量效果。所以，对于缺失的绿色像素的插补方法和效果是整个彩色滤波阵列插值算法的关键，在整体算法复杂程度基本一致的情况下，对于缺失绿色像素的插补算法要占整个算法空间的大部分内容，以得到更好的插值效果。

发明内容

本发明旨在解决克服现有技术的不足，在算法复杂度不高的基础上，对像素边缘和通道相关度的判断更为精确，能得到更好的图像插补效果。且在硬件实现阶段，将数据的输入和输出设计为流水线形式以实现插补的实时性。为达到上述目的，本发明采取的技术方案是，应用于CMOS图像传感器的新型实时插补算法，包括如下步骤：

红色、蓝色像素中缺失的绿色像素值的恢复：

(1)对于位于偶数行奇数列的R₄₃

G₄₃＝R₄₃+K_R43                            (1-1)

K_R43＝(K_R33+K_R53+K_R42+K_R44)/4            (1-2)

其中K_R33＝G₃₃-R₃₃＝G₃₃-(R₂₃+R₄₃)/2       (1-3)

K_R53＝G₅₃-R₅₃＝G₅₃-(R₄₃+R₆₃)/2           (1-4)

K_R42＝G₄₂-R₄₂＝G₄₂-(R₄₁+R₄₃)/2           (1-5)

K_R44＝G₄₄-R₄₄＝G₄₄-(R₄₃+R₄₅)/2           (1-6)

根据以上公式，首先对像素所处位置进行边缘判定，设：

UP＝|R₄₃-R₂₃|           DOWN＝|R₆₃-R₄₃|

LEFT＝|R₄₁-R₄₃|         RIGHT＝|R₄₅-R₄₃|

1)若UP+DOWN＞LEFT+RIGHT则该像素位置在水平方向存在边界，根据(1-1)，此时K_R43只取水平方向的两个K_R值：

K_R43＝(K_R42+K_R44)/2                     (1-7)

2)若UP+DOWN＜LEFT+RIGHT则该像素位置在垂直方向存在边界，根据(1-1)，此时K_R43只取垂直方向的两个K_R值：

K_R43＝(K_R33+K_R53)/2                    (1-8)

3)若UP+DOWN＝LEFT+RIGHT则该像素位置附近不存在边界，K_R43值即为(1-1)；

(2)对于位于奇数行偶数列的B₃₄

G₃₄＝B₃₄+K_B34                          (1-9)

K_B34＝(K_B33+K_B35+K_B24+K_B44)/4          (1-10)

其中K_B33＝G₃₃-B₃₃＝G₃₃-(B₃₂+B₃₄)/2     (1-11)

K_B35＝G₃₅-B₃₅＝G₃₅-(B₃₄+B₃₆)/2         (1-12)

K_B24＝G₂₄-B₂₄＝G₂₄-(B₁₄+B₃₄)/2         (1-13)

K_B44＝G₄₄-B₄₄＝G₄₄-(B₃₄+B₅₄)/2         (1-14)

根据以上公式，首先对像素所处位置进行边缘判定，设：

UP＝|B₁₄-B₃₄|             DOWN＝|B₅₄-B₃₄|

LEFT＝|B₃₂-B₃₄|           RIGHT＝|B₃₆-B₃₄|

1)若UP+DOWN＞LEFT+RIGHT则该像素位置在水平方向存在边界，根据(1-9)，此时K_R43只取水平方向的两个K_R值：

K_B34＝(K_B33+K_B35)/2                    (1-15)

2)若UP+DOWN＜LEFT+RIGHT则该像素位置在垂直方向存在边界，根据(1-9)，此时K_R43只取垂直方向的两个K_R值：

K_B34＝(K_B24+K_B44)/2                (1-16)

3)若UP+DOWN＝LEFT+RIGHT则该像素位置附近不存在边界，K_B34值即为(1-9)；

像素中缺失红色、蓝色像素值的恢复：

对于当前绿色像素的红色和蓝色分量值的恢复采用相同的方法，以G₃₃为例：

(1)对于奇数行奇数列的绿色像素G₃₃缺失的蓝色像素的恢复：

B₃₃＝G₃₃-K_B33                    (1-17)

K_B33＝(K_B32+K_B34)/2              (1-18)

K_B32＝G₃₂-B₃₂                    (1-19)

K_B34＝G₃₄-B₃₄                    (1-20)

其中G₃₂＝(G₃₁+G₃₃+G₂₂+G₂₄)/4     (1-21)

G₃₄＝(G₃₃+G₃₅+G₂₄+G₄₄)/4         (1-22)

(2)对于奇数行奇数列的绿色像素G₃₃缺失的红色像素的恢复：

R₃₃＝G₃₃-K_R33                   (1-23)

K_R33＝(K_R23+K_R43)/2             (1-24)

K_R23＝G₂₃-R₂₃                   (1-25)

K_R43＝G₄₃-R₄₃                   (1-26)

其中G₂₃＝(G₁₃+G₂₂+G₂₄+G₃₃)/4    (1-27)

G₄₃＝(G₃₃+G₄₂+G₄₄+G₅₃)/4        (1-28)

红色、蓝色像素中缺失的蓝色、红色像素值的恢复：

此两个像素分量的恢复采用的双线性方法，即R、B中缺失的B、R像素值分别由其最相邻的四个对角线上的四个B、R像素的平均值得到；

1)对于位于偶数行奇数列的R₂₃

B₂₃＝(B₁₂+B₁₄+B₃₂+B₃₄)/4        (1-29)

2)对于位于奇数行偶数列的B₃₂

R₃₂＝(R₂₁+R₂₃+R₄₁+R₄₃)/4        (1-30)

其中R、G、B分别代表红、绿、蓝三个颜色的像素分量，K_B和K_R表示颜色通道间的相关性，角标代表其在Bayer图中对应的行和列。

采用25个寄存器以及4个RAM来实时存储数据，25个寄存器组成第一级5×5寄存器窗口，窗口中间寄存器中对应的像素为当前像素；当从传感器模型传输过来的帧同步信号和行同步信号同时有效时，最末尾的寄存器读入传感器传输过来的Bayer数据；在下一个时钟周期到来时，最末尾的寄存器的数据传递到前一个寄存器中，同时最末尾的寄存器读进新传递过来的Bayer数据，像这样依次传递，传输经过4个RAM，直到传递到第一个寄存器中；当第一级5×5寄存器窗口填满像素数据后，在每下一个时钟周期要将每级5×5寄存器窗口中的值传到下一级的5×5寄存器窗口中去；即横向实时串行开始向第一级5×5寄存器窗口输入像素信息的同时将每级5×5寄存器窗口像素信息纵向并行传输至下一级5×5寄存器窗口保存，依次类推，直至当前像素按权1所述步骤进行插补计算、处理完毕。

本发明的技术特点及效果：

本发明在双相关插值算法的基础上所提出的算法不仅同时考虑了不同颜色像素间通道的关系和边缘效应的影响，而且整个运算过程是在以插值像素为中心的5×5的Bayer模型中进行的。此种基于边界的双相关图像插值算法在算法复杂度不高的基础上，对像素边缘和通道相关度的判断更为精确，能得到更好的图像插补效果。

附图说明

图1理想的三图像传感器彩色图像成像示意图。

图2实际的单图像传感器彩色图像成像示意图。

图3CFA图像Bayer模型。

图4带有脚标的Bayer模型图。

图5流水线实现结构图。

具体实施方式

基于边界的双相关插值算法实现：

如图4给出的是带有脚标的Bayer模型图。

1、红色、蓝色像素中缺失的绿色像素值的恢复

(1)对于位于偶数行奇数列的R₄₃

G₄₃＝R₄₃+K_R43                         (1-1)

K_R43＝(K_R33+K_R53+K_R42+K_R44)/4         (1-2)

其中K_R33＝G₃₃-R₃₃＝G₃₃-(R₂₃+R₄₃)/2    (1-3)

K_R53＝G₅₃-R₅₃＝G₅₃-(R₄₃+R₆₃)/2        (1-4)

K_R42＝G₄₂-R₄₂＝G₄₂-(R₄₁+R₄₃)/2        (1-5)

K_R44＝G₄₄-R₄₄＝G₄₄-(R₄₃+R₄₅)/2        (1-6)

根据以上公式，首先对像素所处位置进行边缘判定，这里的边缘梯度判定采取了一种不同的方法，在以R₄₃为中心的5×5的模型中，通过对当前R像素的插值大小的判断来确定有无边缘以及边缘的方向。在运算中为了避免不必要的误差，两个方向的红色像素值分别与当前红色像素值相减，并分别取绝对值再相加进行比较。

UP＝|R₄₃-R₂₃|         DOWN＝|R₆₃-R₂₃|

LEFT＝|R₂₁-R₂₃|       RIGHT＝|R₂₅-R₂₃|

1)若UP+DOWN＞LEFT+RIGHT则该像素位置在水平方向存在边界，根据(1-1)，此时K_R43只取水平方向的两个K_R值：

K_R43＝(K_R42+K_R44)/2                    (1-7)

2)若UP+DOWN＜LEFT+RIGHT则该像素位置在垂直方向存在边界，根据(1-1)，此时K_R43只取垂直方向的两个K_R值：

K_R43＝(K_R33+K_R53)/2                    (1-8)

3)若UP+DOWN＝LEFT+RIGHT则该像素位置附近不存在边界，K_R43值即为(1-1)所示。

(2)对于位于奇数行偶数列的B₃₄

G₃₄＝B₃₄+K_B34                           (1-9)

K_B34＝(K_B33+K_B35+K_B24+K_B44)/4           (1-10)

其中K_B33＝G₃₃-B₃₃＝G₃₃-(B₃₂+B₃₄)/2      (1-11)

K_B35＝G₃₅-B₃₅＝G₃₅-(B₃₄+B₃₆)/2          (1-12)

K_B24＝G₂₄-B₂₄＝G₂₄-(B₁₄+B₃₄)/2          (1-13)

K_B44＝G₄₄-B₄₄＝G₄₄-(B₃₄+B₅₄)/2          (1-14)

根据以上公式，首先对像素所处位置进行边缘判定，设：

UP＝|B₁₄-B₃₄|        DOWN＝|B₅₄-B₃₄|

LEFT＝|B₃₂-B₃₄|      RIGHT＝|B₃₆-B₃₄|

1)若UP+DOWN＞LEFT+RIGHT则该像素位置在水平方向存在边界，根据(1-9)，此时K_R43只取水平方向的两个K_R值：

K_B34＝(K_B33+K_B35)/2                     (1-15)

2)若UP+DOWN＜LEFT+RIGHT则该像素位置在垂直方向存在边界，根据(1-9)，此时K_R43只取垂直方向的两个K_R值：

K_B34＝(K_B24+K_B44)/2                     (1-16)

3)若UP+DOWN＝LEFT+RIGHT则该像素位置附近不存在边界，K_B34值即为(1-9)；

2、绿色像素中缺失红色、蓝色像素值的恢复

对于当前绿色像素的红色和蓝色分量值的恢复采用相同的方法，以G₃₃为例。

(1)对于奇数行奇数列的绿色像素G₃₃缺失的蓝色像素的恢复：

B₃₃＝G₃₃-K_B33                           (1-17)

K_B33＝(K_B32+K_B34)/2                     (1-18)

K_B32＝G₃₂-B₃₂                           (1-19)

K_B34＝G₃₄-B₃₄                           (1-20)

其中G₃₂＝(G₃₁+G₃₃+G₂₂+G₂₄)/4            (1-21)

G₃₄＝(G₃₃+G₃₅+G₂₄+G₄₄)/4                (1-22)

(2)对于奇数行奇数列的绿色像素G₃₃缺失的红色像素的恢复：

R₃₃＝G₃₃-K_R33                           (1-23)

K_R33＝(K_R23+K_R43)/2                     (1-24)

K_R23＝G₂₃-R₂₃                           (1-25)

K_R43＝G₄₃-R₄₃                           (1-26)

其中G₂₃＝(G₁₃+G₂₂+G₂₄+G₃₃)/4            (1-27)

G₄₃＝(G₃₃+G₄₂+G₄₄+G₅₃)/4                (1-28)

3、红色、蓝色像素中缺失的蓝色、红色像素值的恢复

此两个像素分量的恢复采用的双线性方法，即R、B中缺失的B、R像素值分别由其最相邻的四个对角线上的四个B、R像素的平均值得到。

1)对于位于偶数行奇数列的R₂₃

B₂₃＝(B₁₂+B₁₄+B₃₂+B₃₄)/4                 (1-29)

2)对于位于奇数行偶数列的B₃₂

R₃₂＝(R₂₁+R₂₃+R₄₁+R₄₃)/4                 (1-30)

实时性实现：

在本发明中，使用了一个图像传感器模型来表征输入到算法模块的bayer数据，输入的数据为0到1023的循环。那么，要满足实时性的意思就是随着图像传感器中数据输入到算法模块中，插补后的数值要及时的从算法模块中输出，才能实时的处理动态图像。为满足这一要求，本设计中使用流水线的方法来实现插补算法，即横向实时串行输入像素信息的同时将每周期的像素信息纵向并行传输至下一级保存直至当前像素插补算法运算完毕。如图5中所示，采用了多级5×5寄存器以及4个RAM来实时存储数据。在第一级的5×5的窗口中，reg23中储存的像素点为当前像素。当从传感器模型传输过来的帧同步信号和行同步信号同时有效时，最末尾的reg45寄存器读入传感器传输过来的Bayer数据。在下一个时钟周期到来时，reg45中的数据传递到reg44中，同时reg45读进新传递过来的Bayer数据，像这样依次传递，传输经过4个RAM，直到传递到reg01中。而且，为了计算reg23所在的当前像素的梯度以确定边缘而不影响下一个数据的实时性读入，在下一个时钟周期要将25个寄存器中的像素信息并行传输到下一级的5×5的寄存器窗口中去，并在此进行下一步的插补计算，即横向实时串行向第一级寄存器输入像素信息的同时将每周期的像素信息纵向并行传输至下一级保存直至当前像素按权1所述步骤进行插补计算、处理完毕，依次类推直至计算完毕输出插补后的像素值，整个硬件实施过程和时序控制通过编程下载入FPGA实现。

具体讲：欲得到的像素信息都是位于5*5的寄存器窗口的中心位置，通过对其上下左右等像素信息的比较和计算得到结果，所以说位于5*5的中心位置的寄存器中的像素被认为是当前像素。最开始像素从开始依次逐级传输，但需要等到将寄存器全部填满之后才要开始进行插补，也就是说一开始是放弃位于最边缘的两行像素的插补运算。由于一个周期完成不了全部插补运算，第一级填充满像素后形成的Bayer图即第一级5×5寄存器窗口25个寄存器数据在一个周期内并行传送到第二级5×5寄存器窗口，在第二级5×5寄存器窗口继续处理，以此类推，传递到第n级5×5寄存器窗口，直到对该Bayer图插补计算、处理完毕。

评价使用某种算法插补后图像性能好坏的基本思想是将插补所得图像与显示成Bayer图像以前的真彩图像进行比较，差距越小则证明插补算法效果越好。具体的说，在计算机中每个图像都是以数字矩阵的形式表示出来的，可采取方法对每个像素点的值进行比较来得出结论。

1、MSE(Mean Squared Error)均方误差

均方误差是一个非常常用的评价样品性能的标准，应用十分广泛。在相同测量条件下进行的测量称为等精度测量，对于等精度测量来说，最好的表示误差的方法就是标准误差。标准误差定义为各测量值误差的平方和的平均值的平方根，故又称为均方误差。数理统计中均方误差是指参数估计值与参数真值之差平方的期望值，记为MSE。对于图像插补来说，所得图像的每个像素点的值即相当于测量估计值，与原图像的对应位置的像素值进行计算，公式如下：

$\mathrm{MSE}=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{[f(i,j)-f^{\′}(i,j)]}^2/M\×N---(2-1)$

其中，M为图像像素的行数，N为图像像素的列数，f(i，j)表示原始图像中的像素值，f’(i，j)表示经颜色插补后与之对应位置的像素值，MSE值越大表明插补后图像的质量越好。

2、SNR(Singal to Noise Ratio)信噪比

图像的信噪比应该等于信号与噪声的功率谱之比，但是通常功率谱难以计算，常常寻找其他方法来近似估计图像信噪比。在此设计中，使用原图像像素值的平方比上原、现图像像素点值之差的平方的总和来表示图像的信噪比。SNR值越大，表示算法的插补性能越好，公式如下：

$\mathrm{SNR}=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\frac{f^2(i,j)}{{[f(i,j)-f^{\′}(i,j)]}^2}---(2-2)$

3、PSNR(Pesk Singal-noise Ratio)峰值信噪比

峰值信噪比是一种评价图像质量的客观标准，是最普遍、最广泛使用的评鉴图像质量的客观测量法。peak的中文意思是顶点。而radio的意思是比率。整个意思就是到达噪音比率的顶点信号，psnr一般是用于最大值信号和背景噪音之间的一个工程项目。通常在经过影像压缩或某种运算之后，输出的图像通常都会有某种程度与原始图像不一样。为了衡量经过处理后的影像品质，通常会参考PSNR值来认定某个处理程序够不够令人满意。它是原始图像与处理图像之间均方误差相对于(2^n 1)^2的对数值(信号最大值的平方，n是每个采样值的比特数)，它的单位是dB。在本设计中，图像均以8bits表示法来表示，peak就是指其最大值255。PSNR值越大，就代表插补后图像的失真越少，图像质量越好，公式如下：

$\mathrm{PSNR}=10{\log }_{10}\frac{{255}^2\×M\×N}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{[f(i,j)-f^{\′}(i,j)]}^2}---(2-3)$

Claims (2)

1.一种应用于CMOS图像传感器的新型实时插补算法，其特征是，包括如下步骤：

红色、蓝色像素中缺失的绿色像素值的恢复：

(1)对于位于偶数行奇数列的R43

G₄₃＝R₄₃+K_R43                            (1-1)

K_R43＝(K_R33+K_R53+K_R42+K_R44)/4            (1-2)

其中K_R33＝G₃₃-R₃₃＝G₃₃-(R₂₃+R₄₃)/2       (1-3)

K_R53＝G₅₃-R₅₃＝G₅₃-(R₄₃+R₆₃)/2           (1-4)

K_R42＝G₄₂-R₄₂＝G₄₂-(R₄₁+R₄₃)/2           (1-5)

K_R44＝G₄₄-R₄₄＝G₄₄-(R₄₃+R₄₅)/2           (1-6)

根据以上公式，首先对像素所处位置进行边缘判定，设：

UP＝|R₄₃-R₂₃|             DOWN＝|R₆₃-R₄₃|

LEFT＝|R₄₁-R₄₃|           RIGHT＝|R₄₅-R₄₃|

1)若UP+DOWN＞LEFT+RIGHT则该像素位置在水平方向存在边界，根据(1-1)，此时K_R43只取水平方向的两个K_R值：

K_R43＝(K_R42+K_R44)/2                      (1-7)

2)若UP+DOWN＜LEFT+RIGHT则该像素位置在垂直方向存在边界，根据(1-1)，此时K_R43只取垂直方向的两个K_R值：

K_R43＝(K_R33+K_R53)/2                      (1-8)

3)若UP+DOWN＝LEFT+RIGHT则该像素位置附近不存在边界，K_R43值即为(1-1)；

(2)对于位于奇数行偶数列的B₃₄

G₃₄＝B₃₄+K_B34                            (1-9)

K_B34＝(K_B33+K_B35+K_B24+K_B44)/4            (1-10)

其中K_B33＝G₃₃-B₃₃＝G₃₃-(B₃₂+B₃₄)/2       (1-11)

K_B35＝G₃₅-B₃₅＝G₃₅-(B₃₄+B₃₆)/2           (1-12)

K_B24＝G₂₄-B₂₄＝G₂₄-(B₁₄+B₃₄)/2           (1-13)

K_B44＝G₄₄-B₄₄＝G₄₄-(B₃₄+B₅₄)/2           (1-14)

根据以上公式，首先对像素所处位置进行边缘判定，设：

UP＝|B₁₄-B₃₄|         DOWN＝|B₅₄-B₃₄|

LEFT＝|B₃₂-B₃₄|       RIGHT＝|B₃₆-B₃₄|

1)若UP+DOWN＞LEFT+RIGHT则该像素位置在水平方向存在边界，根据(1-9)，此时K_R43只取水平方向的两个K_R值：

K_B34＝(K_B33+K_B35)/2                    (1-15)

2)若UP+DOWN＜LEFT+RIGHT则该像素位置在垂直方向存在边界，根据(1-9)，此时K_R43只取垂直方向的两个K_R值：

K_B34＝(K_B24+K_B44)/2            (1-16)

3)若UP+DOWN＝LEFT+RIGHT则该像素位置附近不存在边界，K_B34值即为(1-9)；

像素中缺失红色、蓝色像素值的恢复：

对于当前绿色像素的红色和蓝色分量值的恢复采用相同的方法，以G₃₃为例：

(1)对于奇数行奇数列的绿色像素G₃₃缺失的蓝色像素的恢复：

B₃₃＝G₃₃-K_B33                  (1-17)

K_B33＝(K_B32+K_B34)/2            (1-18)

K_B32＝G₃₂-B₃₂                  (1-19)

K_B34＝G₃₄-B₃₄                  (1-20)

其中G₃₂＝(G₃₁+G₃₃+G₂₂+G₂₄)/4   (1-21)

G₃₄＝(G₃₃+G₃₅+G₂₄+G₄₄)/4       (1-22)

(2)对于奇数行奇数列的绿色像素G₃₃缺失的红色像素的恢复：

R₃₃＝G₃₃-K_R33                  (1-23)

K_R33＝(K_R23+K_R43)/2            (1-24)

K_R23＝G₂₃-R₂₃                  (1-25)

K_R43＝G₄₃-R₄₃                  (1-26)

其中G₂₃＝(G₁₃+G₂₂+G₂₄+G₃₃)/4   (1-27)

G₄₃＝(G₃₃+G₄₂+G₄₄+G₅₃)/4       (1-28)

红色、蓝色像素中缺失的蓝色、红色像素值的恢复：

此两个像素分量的恢复采用的双线性方法，即R、B中缺失的B、R像素值分别由其最相邻的四个对角线上的四个B、R像素的平均值得到；

1)对于位于偶数行奇数列的R₂₃

B₂₃＝(B₁₂+B₁₄+B₃₂+B₃₄)/4       (1-29)

2)对于位于奇数行偶数列的B₃₂

R₃₂＝(R₂₁+R₂₃+R₄₁+R₄₃)/4       (1-30)

其中R、G、B分别代表红、绿、蓝三个颜色的像素分量，K_B和K_R表示颜色通道间的相关性，角标代表其在Bayer图中对应的行和列。

2.如权利要求1所述的应用于CMOS图像传感器的新型实时插补算法，其特征是，采用25个寄存器以及4个RAM来实时存储数据，25个寄存器组成第一级5×5寄存器窗口，窗口中间寄存器中对应的像素为当前像素；当从传感器模型传输过来的帧同步信号和行同步信号同时有效时，最末尾的寄存器读入传感器传输过来的Bayer数据；在下一个时钟周期到来时，最末尾的寄存器的数据传递到前一个寄存器中，同时最末尾的寄存器读进新传递过来的Bayer数据，像这样依次传递，传输经过4个RAM，直到传递到第一个寄存器中；当第一级5×5寄存器窗口填满像素数据后，在每下一个时钟周期要将每级5×5寄存器窗口中的值传到下一级的5×5寄存器窗口中去；即横向实时串行开始向第一级5×5寄存器窗口输入像素信息的同时将每级5×5寄存器窗口像素信息纵向并行传输至下一级5×5寄存器窗口保存，依次类推，直至当前像素按权1所述步骤进行插补计算、处理完毕。

Images