CN106303474A - 一种基于g模式色彩滤波阵列的去马赛克方法及装置 - Google Patents

Abstract

一种基于G模式色彩滤波阵列的去马赛克方法及装置，包括以下步骤：(a)输入一幅通过G模式色彩滤镜阵列得到的原始图像；(b)通过方向插值法对所得原始图像中的R/B像素点，即原始值分量为R/B分量的像素点的G分量进行插值，恢复R/B像素点的G分量；(c)对步骤(b)中已进行G分量插值的R/B像素点进行B/R分量插值，恢复R/B像素点的B/R分量；(d)对原始图像中的G像素点进行R、B分量插值，恢复G像素点的R、B分量；(e)输出去除马赛克后的彩色图像。本发明方法过程清晰，步骤相对简单，G模式色彩滤波阵列较传统的滤波阵列具有更高的绿色滤镜，其占整体像素点比例大幅提高，解决了G模式色彩滤波阵列的图像传感器的图像去马赛克的技术问题。

Description

一种基于G模式色彩滤波阵列的去马赛克方法及装置

技术领域

本发明所涉及一种图像的去马赛克方法及装置，具体是一种基于G模式色彩滤波阵列的去马赛克方法及装置。

背景技术

数字图像采样装置的光学传感器通常采用CCD(charge coupled device，电荷耦合元件)或CMOS(Complementary Metal-Oxide Semiconductor，金属氧化物半导体元件)技术，是由横竖两个方向密集排列的感光元件(CCD或CMOS)组成的一个二维矩阵，而CCD或CMOS传感器本身只是一个单色电子原件，只能响应光线的强度，不能响应光线的色彩信息。因此，在光线进入图像传感器的感光阵列之前，需要对光线进行基色分离。通过基色分离来过滤其他颜色的光线，使得特定颜色的光线投射到图像传感器的感光阵列。常用的基色分离的方法是在图像传感器前加上一块色彩滤波阵列(Color Filter Array，简称CFA)，每一个色彩滤镜单元对应一个像素，只允许一种颜色的光通过，使得传感器捕获的每一个像素只保留一个颜色成分。

色彩滤波阵列可以使用不同的模式，目前常用的CFA是Bayer pattern CFA拜耳色彩滤波阵列，如图1a、图1b、图1c和图1d所示，为其四种不同的像素排列格式，它交替使用一组红色和绿色滤镜以及一组绿色和蓝色滤镜，每一2×2阵列由2个绿色(G)、1个红色(R)和1个蓝色(B)单元组成，因此能捕获1/2的绿光、1/4的红光以及1/4的蓝光。

然而，经过拜耳色彩滤波阵列后，图像传感器得到的是每一个像素点只有红、蓝、绿三种颜色中的一种颜色分量的马赛克的图像。为了重建完整的彩色图像，使得每个像素点均包括红、蓝、绿三种颜色分量，需要对CFA图像进行插值算法来去除马赛克。现有的插值算法很多，包括最近邻复制、双线性插值、三次样条插值、梯度插值等等。梯度插值具体算法还如下：

如图1(a)所示，对于R_m，n像素点，即像素点(m，n)的原始值分量为R分量的像素点，对该像素点G分量进行插值，即计算G(R_m，n)时，算法如下：

$G\left(R_{m,n}\right)=\left\{\begin{array}{cc}\frac{G_{m,n-1}+G_{m,n+1}}{2},& |G_{m,n-1}-G_{m,n+1}|\≤|G_{m-1,n}-G_{m+1,n}|\\ \frac{G_{m-1,n}+G_{m+1,n}}{2},& |G_{m,n-1}-G_{m,n+1}|\≥|G_{m-1,n}-G_{m+1,n}|\end{array}\right.$

对R_m，n像素点B分量进行插值，即计算B(R_m，n)时，算法如下：

$B\left(R_{m,n}\right)=\left\{\begin{array}{cc}\frac{B_{m-1,n-1}+B_{m+1,n+1}}{2},& |B_{m-1,n-1}-B_{m+1,n+1}|\≤|B_{m-1,n+1}-B_{m+1,n-1}|\\ \frac{B_{m-1,n+1}+B_{m+1,n-1}}{2},& |B_{m-1,n-1}-B_{m+1,n+1}|\≥|B_{m-1,n+1}-B_{m+1,n-1}|\end{array}\right.$

同理，如图1(b)所示，对B_m，n像素点G分量进行插值，即计算G(B_m，n)时，算法如下：

$G\left(B_{m,n}\right)=\left\{\begin{array}{cc}\frac{G_{m,n-1}+G_{m,n+1}}{2},& |G_{m,n-1}-G_{m,n+1}|\≤|G_{m-1,n}-G_{m+1,n}|\\ \frac{G_{m-1,n}+G_{m+1,n}}{2},& |G_{m,n-1}-G_{m,n+1}|\≥|G_{m-1,n}-G_{m+1,n}|\end{array}\right.$

对B_m，n像素点R分量进行插值，即计算R(B_m，n)时，算法如下：

$B\left(b_{m,n}\right)=\left\{\begin{array}{cc}\frac{R_{m-1,n-1}+R_{m+1,n+1}}{2},& |R_{m-1,n-1}-R_{m+1,n+1}|\≤|R_{m-1,n+1}-R_{m+1,n-1}|\\ \frac{R_{m-1,n+1}+R_{m+1,n-1}}{2},& |R_{m-1,n-1}-R_{m+1,n+1}|\≥|R_{m-1,n+1}-R_{m+1,n-1}|\end{array}\right.$

如图1(c)所示，对于Gr_m，n像素点，即像素点(m，n)的原始值分量为G分量，且其左右相邻像素点为R值的像素点，对该像素点R及B分量进行插值，即计算R(Gr_m，n)及B(Gr_m，n)时，算法如下：

$\left\{\begin{array}{c}R\left(G{r}_{m,n}\right)=\frac{R_{m,n-1}+R_{m,n+1}}{2}\\ B\left(G{r}_{m,n}\right)=\frac{B_{m-1,n}+B_{m+1,n}}{2}\end{array}\right.$

同理，如图1(d)所示，对于Gb_m，n像素点，即像素点(m，n)的原始值分量为G分量，且其左右相邻像素点为B值的像素点，对该像素点R及B分量进行插值，即计算R(Gb_m，n)及B(Gb_m，n)时，算法如下：

$\left\{\begin{array}{c}R\left(G{b}_{m,n}\right)=\frac{R_{m-1,n}+R_{m+1,n}}{2}\\ B\left(G{b}_{m,n}\right)=\frac{B_{m,n-1}+B_{m,n+1}}{2}\end{array}\right.$

由于现有的发明专利中没有基于G模式色彩滤波阵列的去马赛克方法和装置的专利，因此发明一种基于G模式色彩滤波阵列的去马赛克的方法和装置具有重要的意义。

发明内容

本发明的目的是为了克服上述背景技术的不足，而提供一种基于G模式色彩滤镜阵列的去马赛克的方法及装置，通过基于方向判断的插值方法，先进行G分量插值，然后进行R/B分量插值，简化去马赛克的步骤流程，并使得图像更加贴近人眼的视觉标准，提高了图像的清晰度。

为了实现上述目的，本发明采用如下的技术方案：

一种基于G模式色彩滤波阵列的图像去马赛克方法，它包括以下步骤：

(a)输入一幅通过G模式色彩滤镜阵列得到的原始图像；

(b)通过方向插值法对所得原始图像中的R/B像素点，即原始值分量为R/B分量的像素点的G分量进行插值，恢复R/B像素点的G分量；

(c)对步骤(b)中已进行G分量插值的R/B像素点进行B/R分量插值，恢复R/B像素点的B/R分量；

(d)对原始图像中的G像素点进行R、B分量插值，恢复G像素点的R、B分量；

(e)输出去除马赛克后的清晰图像。

进一步地，所述步骤(b)中采用方向插值法进行R/B像素点的G分量插值，具体步骤如下：

(b1)插值方向选取：R/B像素点八邻域内均为G像素点，插值方向四个可选，即中心R/B像素点水平方向、垂直方向以及45°和135°斜对角方向；

(b2)各插值方向梯度计算：利用R/B像素点八邻域内8个G像素点原始值，分别计算该R/B像素点水平方向差分梯度|DH|、垂直方向差分梯度|DV|、以及45°和135°斜对角方向的差分梯度|D45°|和|D135°|；

(b3)插值方向确定：通过两两比较步骤(b2)中四个方向的差分梯度值，取差分梯度最小值的方向为中心R/B像素的插值方向；

(b4)计算中心R/B像素的G值：将插值方向上相邻两个G像素点的均值作为该R/B像素所插的G值，记为G(R)/G(B)。

进一步地，所述步骤(c)中对已进行G插值后的R/B像素点进行B/R插值，具体算法如下：

(c1)插值方向选取：与中心R/B像素点邻近的B/R像素点分别位于其水平及垂直方向上，插值方向两个可选，即中心R/B像素点水平及垂直方向；

(c2)各插值方向梯度计算：选取各插值方向上5个像素点，即中心像素点加上其两边各两个像素点，利用所选5个像素点已有的G值分别计算中心R/B像素点水平方向差分梯度|D_H|和垂直方向差分梯度|D_V|；

(c3)插值方向确定：比较步骤(c2)中|D_H|与|D_V|的大小，取差分梯度小的方向为中心R/B像素的B/R插值方向；

(c4)计算中心R/B像素的B/R值：将插值方向上与中心R/B像素最近邻的两个B/R像素点的均值作为该R/B像素所插的B/R值，记为R(B)/B(R)。

进一步地，所述步骤(d)中对原始图像中的G像素点进行R、B分量插值，具体算法如下：

(d1)插值方向选取：原始R、B像素点在中心G像素点周围的分布存在三种情况，即水平方向、垂直方向以及45°和135°斜对角方向。①对于原始R、B像素点分布于中心G像素点水平或垂直方向上的情况，插值方向只有一个；②对于原始R、B像素点分布于中心G像素点45°和135°斜对角方向上的情况，插值方向有两个可选，即45°方向和135°方向。

(d2)各插值方向梯度计算：对于原始R、B像素点分布于中心G像素点45°和135°斜对角方向上的情况，利用斜对角上已经恢复RGB三分量的R、B像素点的G分量分别计算中心G像素点45°和135°方向的差分梯度|D_45°|和|D_135°|。

(d3)插值方向确定：对于原始R、B像素点分布于中心G像素点45°和135°斜对角方向上的情况，比较步骤(d2)中|D_45°|和|D_135°|的大小，取差分梯度小的方向为中心G像素的R、B分量插值方向；

(d4)计算中心G像素的R、B值：①对于原始R、B像素点分布于中心G像素点水平或垂直方向上的情况，利用该中心像素点水平或垂直方向上相邻两个像素点的R、B分量的均值作为该G像素点的R、B分量；②对于原始R、B像素点分布于中心G像素点45°和135°斜对角方向上的情况，将插值方向上相邻两个像素点的R、B分量的均值作为该G像素点的R、B分量，记为R(G)、B(G)。

一种基于G模式色彩滤波阵列的图像去马赛克装置，包括依次连接的原始图像输入单元、G分量插值单元、R/B分量插值单元以及去马赛克后的图像输出单元；

所述原始图像输入单元用于输入搭配G模式色彩滤镜阵列的图像传感器捕获的原始图像；

所述G分量插值单元用于对原始R、B像素点进行G分量插值，根据R、B像素点邻域内的G分量恢复R、B像素点的G分量值；

所述R/B分量插值单元用于对原始R/B像素点进行B/R分量插值以及对原始G像素点进行R、B分量插值，包括一个对R/B像素点插值B/R分量的子模块和一个对G像素点插值R、B分量的子模块；

所述去马赛克后的图像输出单元用于输出去除马赛克后的彩色图像。

进一步地，所述G分量插值单元包括梯度方向判断模块和方向插值模块，梯度方向判断模块用于判断R或B中心像素点水平、垂直、45°和135°斜对角这四个方向差分梯度值最小的方向；方向插值模块用于根据梯度方向判断模块的输出，取该插值方向上相邻两个G值的均值作为该像素点插值的G分量。

进一步地，所述R/B分量插值单元包括R/B像素点上的B/R分量插值子单元以及G像素点上R、B分量插值子单元；

R/B像素点上的B/R分量插值子单元用于插值原始R或B像素点上的B/R分量，其包括梯度方向判断模块和方向插值模块，梯度方向判断模块用于判断R或B中心像素点水平及垂直方向上差分梯度值最小的方向；方向插值模块用于根据梯度方向判断模块的输出，取该插值方向上最相邻两个B/R分量的均值作为该R/B像素点的B/R分量；

G像素点上R、B分量插值子单元用于插值原始G像素点的R、B分量，即得到R(G)、B(G)。

进一步地，所述G像素点上R、B分量插值子单元包括R、B水平或垂直方向上的G像素点插值子单元及R、B斜对角上G像素点插值子单元：

R、B水平或垂直方向上的G像素点插值子单元用于插值位于R、B像素点的水平或垂直方向上的G像素点的R、B分量，该子单元只有一个方向插值模块，此模块取该像素点有R/B分量的方向上的相邻两个R/B分量的均值作为该像素点的R/B分量；

R、B斜对角上G像素点插值子单元用于插值位于R、B像素点斜对角方向上的G像素点的R、B分量，该子单元同样分为梯度方向判断模块和方向插值模块，其中梯度方向判断模块用于判断该G像素点的45°和135°斜对角方向的差分梯度值最小的方向；方向插值模块用于根据方向判断模块的输出，取该插值方向上的R/B分量的均值作为该像素点的R/B分量。

本发明的有益效果是：本发明创新性地在G模式色彩滤波阵列的基础上进行图像去马赛克方法，该去马赛克方法过程清晰，步骤相对简单，易于复制和实现并有利于广泛推广和工业化应用。并且，G模式色彩滤波阵列较传统的滤波阵列具有更高的绿色滤镜，其占整体像素点比例大幅提高，解决了G模式色彩滤波阵列的图像传感器的图像去马赛克的技术问题，绿色滤镜比例增加从而使得最后去马赛克所得的图像具有更高的清晰度，更容易被人眼所接受并对人眼起到一定的保护作用。

附图说明

图1a、图1b、图1c和图1d是现有技术中CFA拜耳色彩滤波阵列图。

图2是本发明的一种G模式色彩滤波阵列。

图3是本发明的一种G模式色彩滤波阵列的像素结构单元。

图4是本发明的图像去马赛克方法处理流程图。

图5是本发明G模式色彩滤波阵列的一种具体实施方式的结构示意图。

图6是本发明的图像去马赛克装置的结构示意图。

图7是本发明图像去马赛克装置一种具体实施方式的结构示意图。

具体实施方式

下面对本发明的实施例作进一步的说明。以下实施例仅对本申请进行进一步说明，不应理解为对本申请的限制。

如图2示的一种G模式色彩滤波阵列，它包括若干个大小、形状相同的像素结构单元(图3所示)，像素结构单元排列形成G模式色彩滤波阵列。

图3所示的结构单元，像素结构单元1包括第一基本滤镜单元11和第二基本滤镜单元12，通过混合排列第一基本滤镜单元11和第二基本滤镜单元12而形成一个4×4阵列的最小结构单元，本发明通过对绿色、蓝色和红色的滤镜在像素结构单元1矩阵中的排列方式进行更换，实现了整体色彩滤波阵列绿色的滤镜比例的大幅提高的技术效果，且分布和排列方式简单，易于统一形成并实现。

所述像素结构单元中每两个相同的第一基本滤镜单元11或第二基本滤镜单元12成对角线排列方式，使整个色彩滤波阵列中绿色的滤镜比例的大幅增加，提高图像清晰度。

本发明的第一基本滤镜单元11为一个2×2阵列，包括3个G滤镜和1个R滤镜；第二基本滤镜单元12同样是2×2阵列，包括3个G滤镜和1个B滤镜，第一基本滤镜单元中的R滤镜与第二基本滤镜单元中的B滤镜均位于所在2×2阵列的相同位置，比如在2×2阵列中左上角、右下角、右上角或左下角。以下以R、B滤镜在2×2阵列中处于右下角为例进行说明。

G模式色彩滤波阵列的4×4阵列最小结构单元不限于上述示例。例如改变第一基本滤镜单元和第二基本滤镜单元中的R、B滤镜所处的位置，使其均位于所在2×2阵列的左上角或任意位置，则可排列成不同的阵列结构，其构成原理相同。

所述像素结构单元中的G滤镜占总滤镜的比例为3/4，R、B滤镜分别占总滤镜的1/8，除边角外的每个R、B滤镜的八邻域均为G滤镜。本发明的像素结构单元相互间隔的两行、相互间隔的两列的滤镜均为绿色，其余的滤镜在其所在的一行或者一列上均相互间隔地呈现红色或者蓝色，即保证了绿色滤镜的高比例，又能简易且有效实现G模式色彩滤波阵列的图像清晰度。

如图4所示，本发明的一种基于上述G模式色彩滤波阵列的图像去马赛克方法，它包括以下步骤：

(a)输入一幅通过G模式色彩滤镜阵列得到的原始图像；

(b)通过方向插值法对所得原始图像中的R/B像素点，即原始值分量为R/B分量的像素点的G分量进行插值，恢复R/B像素点的G分量；

(c)对步骤(b)中已进行G分量插值的R/B像素点进行B/R分量插值，恢复R/B像素点的B/R分量；

(d)对原始图像中的G像素点进行R、B分量插值，恢复G像素点的R、B分量；

(e)输出去除马赛克后的清晰图像。

进一步地，所述步骤(b)中采用方向插值法进行R/B像素点的G分量插值，具体步骤如下：

(b1)插值方向选取：R/B像素点八邻域内均为G像素点，插值方向四个可选，即中心R/B像素点水平方向、垂直方向以及45°和135°斜对角方向；

(b2)各插值方向梯度计算：利用R/B像素点八邻域内8个G像素点原始值，分别计算该R/B像素点水平方向差分梯度|DH|、垂直方向差分梯度|DV|、以及45°和135°斜对角方向的差分梯度|D45°|和|D135°|；

(b3)插值方向确定：通过两两比较步骤(b2)中四个方向的差分梯度值，取差分梯度最小值的方向为中心R/B像素的插值方向；

(b4)计算中心R/B像素的G值：将插值方向上相邻两个G像素点的均值作为该R/B像素所插的G值，记为G(R)/G(B)。

进一步地，所述步骤(c)中对已进行G插值后的R/B像素点进行B/R插值，具体算法如下：

(c1)插值方向选取：与中心R/B像素点邻近的B/R像素点分别位于其水平及垂直方向上，插值方向两个可选，即中心R/B像素点水平及垂直方向；

(c2)各插值方向梯度计算：选取各插值方向上5个像素点，即中心像素点加上其两边各两个像素点，利用所选5个像素点已有的G值分别计算中心R/B像素点水平方向差分梯度|D_H|和垂直方向差分梯度|D_V|；

(c3)插值方向确定：比较步骤(c2)中|D_H|与|D_V|的大小，取差分梯度小的方向为中心R/B像素的B/R插值方向；

(c4)计算中心R/B像素的B/R值：将插值方向上与中心R/B像素最近邻的两个B/R像素点的均值作为该R/B像素所插的B/R值，记为R(B)/B(R)。

进一步地，所述步骤(d)中对原始图像中的G像素点进行R、B分量插值，具体算法如下：

(d1)插值方向选取：原始R、B像素点在中心G像素点周围的分布存在三种情况，即水平方向、垂直方向以及45°和135°斜对角方向。①对于原始R、B像素点分布于中心G像素点水平或垂直方向上的情况，插值方向只有一个；②对于原始R、B像素点分布于中心G像素点45°和135°斜对角方向上的情况，插值方向有两个可选，即45°方向和135°方向。

(d2)各插值方向梯度计算：对于原始R、B像素点分布于中心G像素点45°和135°斜对角方向上的情况，利用斜对角上已经恢复RGB三分量的R、B像素点的G分量分别计算中心G像素点45°和135°方向的差分梯度|D_45°|和|D_135°|。

(d3)插值方向确定：对于原始R、B像素点分布于中心G像素点45°和135°斜对角方向上的情况，比较步骤(d2)中|D_45°|和|D_135°|的大小，取差分梯度小的方向为中心G像素的R、B分量插值方向；

(d4)计算中心G像素的R、B值：①对于原始R、B像素点分布于中心G像素点水平或垂直方向上的情况，利用该中心像素点水平或垂直方向上相邻两个像素点的R、B分量的均值作为该G像素点的R、B分量；②对于原始R、B像素点分布于中心G像素点45°和135°斜对角方向上的情况，将插值方向上相邻两个像素点的R、B分量的均值作为该G像素点的R、B分量，记为R(G)、B(G)。

如图6所示，一种G模式色彩滤波阵列的图像去马赛克装置，包括依次连接的原始图像输入单元、G分量插值单元、R/B分量插值单元以及去马赛克后的图像输出单元；

所述原始图像输入单元用于输入搭配G模式色彩滤镜阵列的图像传感器捕获的原始图像；

所述G分量插值单元用于对原始R、B像素点进行G分量插值，根据R、B像素点邻域内的G分量恢复R、B像素点的G分量值；

所述R/B分量插值单元用于对原始R/B像素点进行B/R分量插值以及对原始G像素点进行R、B分量插值，包括一个对R/B像素点插值B/R分量的子模块和一个对G像素点插值R、B分量的子模块；

所述去马赛克后的图像输出单元用于输出去除马赛克后的彩色图像。

进一步地，所述G分量插值单元包括梯度方向判断模块和方向插值模块，梯度方向判断模块用于判断R或B中心像素点水平、垂直、45°和135°斜对角这四个方向差分梯度值最小的方向；方向插值模块用于根据梯度方向判断模块的输出，取该插值方向上相邻两个G值的均值作为该像素点插值的G分量。

进一步地，所述R/B分量插值单元包括R/B像素点上的B/R分量插值子单元以及G像素点上R、B分量插值子单元；

R/B像素点上的B/R分量插值子单元用于插值原始R或B像素点上的B/R分量，其包括梯度方向判断模块和方向插值模块，梯度方向判断模块用于判断R或B中心像素点水平及垂直方向上差分梯度值最小的方向；方向插值模块用于根据梯度方向判断模块的输出，取该插值方向上最相邻两个B/R分量的均值作为该R/B像素点的B/R分量；

G像素点上R、B分量插值子单元用于插值原始G像素点的R、B分量，即得到R(G)、B(G)。

进一步地，所述G像素点上R、B分量插值子单元包括R、B水平或垂直方向上的G像素点插值子单元及R、B斜对角上G像素点插值子单元：

R、B水平或垂直方向上的G像素点插值子单元用于插值位于R、B像素点的水平或垂直方向上的G像素点的R、B分量，该子单元只有一个方向插值模块，此模块取该像素点有R/B分量的方向上的相邻两个R/B分量的均值作为该像素点的R/B分量；

R、B斜对角上G像素点插值子单元用于插值位于R、B像素点斜对角方向上的G像素点的R、B分量，该子单元同样分为梯度方向判断模块和方向插值模块，其中梯度方向判断模块用于判断该G像素点的45°和135°斜对角方向的差分梯度值最小的方向；方向插值模块用于根据方向判断模块的输出，取该插值方向上的R/B分量的均值作为该像素点的R/B分量。

实施例1：

附图5为输入的一幅通过G模式色彩滤镜阵列得到的原始图像，下面以此为例进行去马赛克方法演示，详细步骤如下：

(1)对原始图像的R/B像素点进行G分量插值，以图5中B₄₄中心像素点为例，即计算G(B₄₄)，算法如下：

其中，B₄₄像素点水平方向差分梯度|D_H|＝|G₄₃-G₄₅|，垂直方向差分梯度|D_V|＝|G₃₄-G₅₄|，45°斜对角方向差分梯度|D_45°|＝|G₃₅-G₅₃|，135°斜对角方向差分梯度|D_135°|＝|G₃₃-G₅₅|。

同理，利用上述算法可以计算出R像素点上的G分量值，以图5中R₄₆像素点为例：

其中，R₄₆像素点水平方向差分梯度|D_H|＝|G₄₅-G₄₇|，垂直方向差分梯度|D_V|＝|G₃₆-G₅₆|，45°斜对角方向差分梯度|D_45°|＝|G₃₇-G₅₅|，135°斜对角方向差分梯度|D_135°|＝|G₃₅-G₅₇|。

(2)对已进行G分量插值的B(R)像素点进行R(B)分量插值，同样以图5中B₄₄中心像素点为例，即计算R(B₄₄)，算法如下：

$R\left(B_{44}\right)=\left\{\begin{array}{cc}\frac{R_{42}+R_{46}}{2},& \left(\right|D_H|<|D_V\left|\right)\\ \frac{R_{24}+R_{64}}{2},& \left(\right|D_V|<|D_H\left|\right)\end{array}\right.$

其中，B₄₄像素点水平方向差分梯度|D_H|＝|G₄₃-G₄₅|+α|2G(B₄₄)-G(R₄₂)-G(R₄₆)|,垂直方向差分梯度|D_V|＝|G₃₄-G₅₄|+α|2G(B₄₄)-G(R₂₄)-G(R₆₄)|，0＜α＜1。G(B₄₄)、G(R₄₂)、G(R₄₆)等已通过步骤(1)计算出。

同理，利用上述算法可以计算出R像素点上的B分量值，以图5中R₄₆像素点为例：

$R\left(B_{46}\right)=\left\{\begin{array}{cc}\frac{R_{44}+R_{48}}{2},& \left(\right|D_H|<|D_V\left|\right)\\ \frac{R_{26}+R_{66}}{2},& \left(\right|D_V|<|D_H\left|\right)\end{array}\right.$

其中，R₄₆像素点水平方向差分梯度|G_H|＝|G₄₅-G₄₇|+α|2G(R₄₆)-G(B₄₄)-G(B₄₉)|，垂直方向差分梯度|D_V|＝|G₃₆-G₅₆|+α|2G(R₄₆)-G(B₂₆)-G(B₆₆)|，0＜α＜1。

(3)对原始图像的G像素点进行R、B分量插值，可分为以下三种情况：

①对于原始R、B像素点分布于中心G像素点水平方向上的情况，以图5中G₄₅像素点为例，即计算R(G₄₅)及B(G₄₅)，算法如下：

$\left\{\begin{array}{c}R\left(G_{45}\right)=\frac{R_{46}+R\left(B_{44}\right)}{2}\\ B\left(G_{45}\right)=\frac{B_{44}+B\left(R_{46}\right)}{2}\end{array}\right.$

其中，R(B₄₄)及B(R₄₆)已通过步骤(2)计算出。

②对于原始R、B像素点分布于中心G像素点垂直方向上的情况，以图5中G₅₄像素点为例，即计算R(G₅₄)及B(G₅₄)，算法如下：

$\left\{\begin{array}{c}R\left(G_{54}\right)=\frac{R_{64}+R\left(B_{44}\right)}{2}\\ B\left(G_{54}\right)=\frac{B_{44}+B\left(R_{64}\right)}{2}\end{array}\right.$

③对于原始R、B像素点分布于中心G像素点45°和135°斜对角方向上的情况，以图5中G₅₅像素点为例，即计算R(G₅₅)及B(G₅₅)，算法如下：

其中，G₅₅像素点45°斜对角方向差分梯度|D_45°|＝|G(R₄₆)-G(R₆₄)|，135°斜对角方向差分梯度|D_135°|＝|G(B₄₄)-G(B₄₆)|。

经过上述三个步骤的插值运算，全幅图像各像素点的RGB分量均已恢复，从而得到了基于G模式色彩滤镜阵列的具有较高清晰度的全幅彩色图像。

如图7所示是本发明实施例方法所对应的一种基于G模式色彩滤镜阵列的去马赛克装置的结构框图，包括原始图像输入单元、G分量插值单元、R/B分量插值单元以及去马赛克后的图像输出单元，其中：

原始图像输入单元用于输入基于G模式色彩滤镜阵列的原始图像，原始图像中各颜色像素比例为：3/4的G像素，1/8的R像素，1/8的B像素。

G分量插入单元用于对原始R_m，n或B_m，n像素点进行G分量插值，得到G(R_m，n)或G(B_m，n)，实现对R、B像素点的G分量插值。该单元又分为梯度方向判断和方向插值这两个模块。其中，梯度方向判断模块用于判断R_m，n或B_m，n中心像素点水平、垂直、45°和135°斜对角这四个方向差分梯度值最小的方向；方向插值模块用于根据梯度方向判断模块的输出，取该插值方向上相邻两个G值的均值作为该像素点插值的G分量。

R/B分量插值单元用于实现两个功能，可分为R/B像素点上的B/R分量插值子单元以及G像素点上R、B分量插值子单元：

①R/B像素点上的B/R分量插值子单元用于插值原始R_m，n或B_m，n像素点上的B/R分量，即得到B(R_m，n)或R(B_m，n)。此子单元同样分为梯度方向判断模块和方向插值模块。其中，梯度方向判断模块用于判断R_m，n或B_m，n中心像素点水平及垂直方向上差分梯度值最小的方向；方向插值模块用于根据梯度方向判断模块的输出，取该插值方向上最相邻两个B/R分量的均值作为该R/B像素点的B/R分量。

②G像素点上R、B分量插值子单元用于插值原始G_m，n像素点的R、B分量，即得到R(G_m，n)、B(G_m，n)。根据中心G像素点周围原始R、B像素点分布的不同，G像素点上R、B分量插值子单元又可分为R、B水平或垂直方向上的G像素点插值及R、B斜对角上G像素点插值这两个子单元：

i.R、B水平或垂直方向上的G像素点插值子单元用于插值位于R、B像素点的水平或垂直方向上的G像素点的R、B分量。该子单元只有一个方向插值模块，此模块取该像素点有R/B分量的方向上的相邻两个R/B分量的均值作为该像素点的R/B分量。

ii.R、B斜对角上G像素点插值子单元用于插值位于R、B像素点斜对角方向上的G像素点的R、B分量。此子单元同样分为梯度方向判断模块和方向插值模块。其中，梯度方向判断模块用于判断该G像素点的45°和135°斜对角方向的差分梯度值最小的方向；方向插值模块用于根据方向判断模块的输出，取该插值方向上的R/B分量的均值作为该像素点的R/B分量。

去马赛克后的图像输出单元用于输出去除马赛克的彩色图像。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种基于G模式色彩滤波阵列的去马赛克方法，其特征在于包括以下步骤：

(a)输入一幅通过G模式色彩滤镜阵列得到的原始图像；

(b)通过方向插值法对所得原始图像中的R/B像素点，即原始值分量为R/B分量的像素点的G分量进行插值，恢复R/B像素点的G分量；

(c)对步骤(b)中已进行G分量插值的R/B像素点进行B/R分量插值，恢复R/B像素点的B/R分量；

(d)对原始图像中的G像素点进行R、B分量插值，恢复G像素点的R、B分量；

(e)输出去除马赛克后的彩色图像。

2.如权利要求1所述的一种基于G模式色彩滤波阵列的去马赛克方法，其特征在于，所述步骤(b)中采用方向插值法进行R/B像素点的G分量插值，具体步骤如下：

(b1)插值方向选取：R/B像素点八邻域内均为G像素点，插值方向四个可选，即中心R/B像素点水平方向、垂直方向以及45°和135°斜对角方向；

(b2)各插值方向梯度计算：利用R/B像素点八邻域内8个G像素点原始值，分别计算该R/B像素点水平方向差分梯度|DH|、垂直方向差分梯度|DV|、以及45°和135°斜对角方向的差分梯度|D45°|和|D135°|；

(b3)插值方向确定：通过两两比较步骤(b2)中四个方向的差分梯度值，取差分梯度最小值的方向为中心R/B像素的插值方向；

(b4)计算中心R/B像素的G值：将插值方向上相邻两个G像素点的均值作为该R/B像素所插的G值，记为G(R)/G(B)。

3.如权利要求1所述的一种基于G模式色彩滤波阵列的去马赛克方法，其特征在于，所述步骤(c)中对已进行G插值后的R/B像素点进行B/R插值，具体步骤如下：

(c1)插值方向选取：与中心R/B像素点邻近的B/R像素点分别位于其水平及垂直方向上，插值方向两个可选，即中心R/B像素点水平及垂直方向；

(c2)各插值方向梯度计算：选取各插值方向上5个像素点，即中心像素点加上其两边各两个像素点，利用所选5个像素点已有的G值分别计算中心R/B像素点水平方向差分梯度|D_H|和垂直方向差分梯度|D_V|；

(c3)插值方向确定：比较步骤(c2)中|D_H|与|D_V|的大小，取差分梯度小的方向为中心R/B像素的B/R插值方向；

(c4)计算中心R/B像素的B/R值：将插值方向上与中心R/B像素最近邻的两个B/R像素点的均值作为该R/B像素所插的B/R值，记为R(B)/B(R)。

4.如权利要求1所述的一种基于G模式色彩滤波阵列的去马赛克方法，其特征在于，所述步骤(d)中对原始图像中的G像素点进行R、B分量插值，具体步骤如下：

(d1)插值方向选取：原始R、B像素点在中心G像素点周围的分布存在三种情况，即水平方向、垂直方向以及45°和135°斜对角方向。①对于原始R、B像素点分布于中心G像素点水平或垂直方向上的情况，插值方向只有一个；②对于原始R、B像素点分布于中心G像素点45°和135°斜对角方向上的情况，插值方向有两个可选，即45°方向和135°方向。

(d2)各插值方向梯度计算：对于原始R、B像素点分布于中心G像素点45°和135°斜对角方向上的情况，利用斜对角上已经恢复RGB三分量的R、B像素点的G分量分别计算中心G像素点45°和135°方向的差分梯度|D_45°|和|D_135°|。

(d3)插值方向确定：对于原始R、B像素点分布于中心G像素点45°和135°斜对角方向上的情况，比较步骤(d2)中|D_45°|和|D_135°|的大小，取差分梯度小的方向为中心G像素的R、B分量插值方向；

(d4)计算中心G像素的R、B值：①对于原始R、B像素点分布于中心G像素点水平或垂直方向上的情况，利用该中心像素点水平或垂直方向上相邻两个像素点的R、B分量的均值作为该G像素点的R、B分量；②对于原始R、B像素点分布于中心G像素点45°和135°斜对角方向上的情况，将插值方向上相邻两个像素点的R、B分量的均值作为该G像素点的R、B分量，记为R(G)、B(G)。

5.一种如权利要求1-4中任一项的G模式色彩滤波阵列的去马赛克装置，其特征在于，包括依次连接的原始图像输入单元，G分量插值单元，R/B分量插值单元以及去马赛克后的图像输出单元；

所述原始图像输入单元用于输入搭配G模式色彩滤镜阵列的图像传感器捕获的原始图像；

所述G分量插值单元用于对原始R、B像素点进行G分量插值，根据R、B像素点邻域内的G分量恢复R、B像素点的G分量值；

所述R/B分量插值单元用于对原始R/B像素点进行B/R分量插值以及对原始G像素点进行R、B分量插值，包括一个对R/B像素点插值B/R分量的子模块和一个对G像素点插值R、B分量的子模块；

所述去马赛克后的图像输出单元用于输出去除马赛克后的彩色图像。

6.如权利要求5所述的G模式色彩滤波阵列的去马赛克装置，其特征在于，所述G分量插值单元包括梯度方向判断模块和方向插值模块，梯度方向判断模块用于判断R或B中心像素点水平、垂直、45°和135°斜对角这四个方向差分梯度值最小的方向；方向插值模块用于根据梯度方向判断模块的输出，取该插值方向上相邻两个G值的均值作为该像素点插值的G分量。

7.如权利要求5所述的G模式色彩滤波阵列的去马赛克装置，其特征在于，所述R/B分量插值单元包括R/B像素点上的B/R分量插值子单元以及G像素点上R、B分量插值子单元；

R/B像素点上的B/R分量插值子单元用于插值原始R或B像素点上的B/R分量，其包括梯度方向判断模块和方向插值模块，梯度方向判断模块用于判断R或B中心像素点水平及垂直方向上差分梯度值最小的方向；方向插值模块用于根据梯度方向判断模块的输出，取该插值方向上最相邻两个B/R分量的均值作为该R/B像素点的B/R分量；

G像素点上R、B分量插值子单元用于插值原始G像素点的R、B分量，即得到R(G)、B(G)。

8.如权利要求7所述的G模式色彩滤波阵列的去马赛克装置，其特征在于，所述G像素点上R、B分量插值子单元包括R、B水平或垂直方向上的G像素点插值子单元及R、B斜对角上G像素点插值子单元：

R、B水平或垂直方向上的G像素点插值子单元用于插值位于R、B像素点的水平或垂直方向上的G像素点的R、B分量，该子单元包括一个方向插值模块，此模块取该像素点有R/B分量的方向上的相邻两个R/B分量的均值作为该像素点的R/B分量；

R、B斜对角上G像素点插值子单元用于插值位于R、B像素点斜对角方向上的G像素点的R、B分量，该子单元同样分为梯度方向判断模块和方向插值模块，其中梯度方向判断模块用于判断该G像素点的45°和135°斜对角方向的差分梯度值最小的方向；方向插值模块用于根据方向判断模块的输出，取该插值方向上的R/B分量的均值作为该像素点的R/B分量。