CN102752603B - 一种色彩滤镜阵列图像的色彩恢复方法及系统 - Google Patents

Abstract

本发明适用于图像处理技术领域，提供了一种色彩滤镜阵列图像的色彩恢复方法及系统，所述方法包括：获取CFA采样图像信号；分别通过红绿色差调制信号及蓝绿色差调制信号，调制所述CFA采样图像信号，使CFA采样图像信号中的红绿色差信号及蓝绿色差信号调制至低频段；分别对红绿色差调制信号及蓝绿色差调制信号调制后的CFA采样图像信号进行低通滤波，获取红绿色差信号和蓝绿色差信号，根据所述红绿色差信号和蓝绿色差信号，恢复绿色通道信号，红色通道信号及蓝色通道信号。降低了CFA图像的全彩色恢复计算复杂度，并可以提高恢复的图像质量。

Description

一种色彩滤镜阵列图像的色彩恢复方法及系统

技术领域

本发明属于图像处理技术领域，尤其涉及一种色彩滤镜阵列图像的色彩恢复方法及系统。

背景技术

目前，大多数数码相机采用单传感器结构，通过在传感器上敷一层色彩滤镜阵列（ColorFilterArray，CFA），例如目前普遍使用的BayerCFA滤镜上不同的色块按G-R-G-B(绿—红—绿—蓝)的顺序像马赛克一样排列，每一片“马赛克”下的像素感应不同的颜色，当光从红、绿、蓝滤镜中穿过时，就可以得到每种色光的反应值，这样，原始图像中的每一个象素点只有一种颜色分量通过，而缺失另外2中颜色，但在图像再现设备中，每一个象素点需要红，绿，蓝三个分量，这就要求人们从原始信号中插值出所缺的颜色分量，以得到全彩色图像，这就是CFA色彩插值，此插值技术称为“去马赛克”（demosaicking）。

插值方法的优劣影响恢复的全彩色图像的质量，现有的插值方法可以概括为线性插值方法和非线性插值方法。线性插值方法实现简单、速度快，但恢复的全彩色图像存在严重的失真。而非线性插值方法由于考虑了RGB通道间的相关性，其插值效果明显优于线性插值方法，但这种方法复杂度大，计算代价大。综上，现有技术的CFA图像的色彩恢复方法还无法提供一种恢复的全彩图像质量好，且恢复过程简单的方法。

发明内容

本发明实施例的目的在于提供一种色彩滤镜阵列图像的色彩恢复方法，旨在解决现有技术的CFA图像的色彩恢复方法还无法提供一种恢复的全彩图像质量好，且恢复过程简单的方法的问题。

为了实现上述目的，本发明实施例提供如下技术方案：

本发明实施例是这样实现的，一种色彩滤镜阵列图像的色彩恢复方法，所述方法包括：

获取CFA采样图像信号；

分别通过红绿色差调制信号及蓝绿色差调制信号，调制所述CFA采样图像信号，使CFA采样图像信号中的红绿色差信号及蓝绿色差信号调制至低频段；

分别对红绿色差调制信号及蓝绿色差调制信号调制后的CFA采样图像信号进行低通滤波，获取红绿色差信号和蓝绿色差信号；

根据所述红绿色差信号和蓝绿色差信号，恢复绿色通道信号，红色通道信号及蓝色通道信号。

本发明实施例还提供了一种色彩滤镜阵列图像的色彩恢复系统，所述系统包括：

获取单元，用于获取CFA采样图像信号；

调制单元，用于分别通过红绿色差调制信号及蓝绿色差调制信号，调制所述CFA采样图像信号，使CFA采样图像信号中的红绿色差信号及蓝绿色差信号调制至低频段；

滤波单元，用于分别对红绿色差调制信号及蓝绿色差调制信号调制后的CFA采样图像信号进行低通滤波，获取红绿色差信号和蓝绿色差信号；

恢复单元，用于根据所述红绿色差信号和蓝绿色差信号，恢复绿色通道信号，红色通道信号及蓝色通道信号。

本发明实施例与现有技术相比，有益效果在于：通过获取CFA采样图像信号，分别通过红绿色差调制信号及蓝绿色差调制信号，调制所述CFA采样图像信号，使CFA采样图像信号中的红绿色差信号及蓝绿色差信号调制至低频段，并分别对红绿色差调制信号及蓝绿色差调制信号调制后的CFA采样图像信号进行低通滤波，获取红绿色差信号和蓝绿色差信号，根据所述红绿色差信号和蓝绿色差信号，恢复绿色通道信号，红色通道信号及蓝色通道信号，降低了CFA图像的全彩色恢复计算复杂度，并可以提高恢复的图像质量。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的色彩滤镜阵列图像的色彩恢复方法的实现的流程图；

图2是本发明实施例二提供的色彩滤镜阵列图像的色彩恢复方法的实现的流程图；

图3是本发明实施例三提供的色彩滤镜阵列图像的色彩恢复系统的结构图；

图4是本发明实施例四提供的色彩滤镜阵列图像的色彩恢复系统的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

一种色彩滤镜阵列图像的色彩恢复方法，所述方法包括：

获取CFA采样图像信号；

分别通过红绿色差调制信号及蓝绿色差调制信号，调制所述CFA采样图像信号，使CFA采样图像信号中的红绿色差信号及蓝绿色差信号调制至低频段；

分别对红绿色差调制信号及蓝绿色差调制信号调制后的CFA采样图像信号进行低通滤波，获取所述CFA采样图像信号的红绿色差信号和蓝绿色差信号；

根据所述红绿色差信号和蓝绿色差信号，恢复所述CFA采样图像信号的绿色通道信号，红色通道信号及蓝色通道信号。

本发明实施例还提供了一种色彩滤镜阵列图像的色彩恢复系统，所述系统包括：

获取单元，用于获取CFA采样图像信号；

调制单元，用于分别通过红绿色差调制信号及蓝绿色差调制信号，调制所述CFA采样图像信号，使CFA采样图像信号中的红绿色差信号及蓝绿色差信号调制至低频段；

滤波单元，用于分别对红绿色差调制信号及蓝绿色差调制信号调制后的CFA采样图像信号进行低通滤波，获取所述CFA采样图像信号的红绿色差信号和蓝绿色差信号；

恢复单元，用于根据所述红绿色差信号和蓝绿色差信号，恢复所述CFA采样图像信号的绿色通道信号，红色通道信号及蓝色通道信号。

以下结合具体实施例对本发明的实现进行详细描述：

实施例一

图1示出了本发明实施例一提供的色彩滤镜阵列图像的色彩恢复方法的实现的流程图，详述如下：

在S101中，获取CFA采样图像信号；

在S102中，分别通过红绿色差调制信号及蓝绿色差调制信号，调制所述CFA采样图像信号，使CFA采样图像信号中的红绿色差信号及蓝绿色差信号调制至低频段；

在S103中，分别对红绿色差调制信号及蓝绿色差调制信号调制后的CFA采样图像信号进行低通滤波，获取红绿色差信号和蓝绿色差信号；

本实施例中，可以采用二维低通滤波。

本实施例中，通分别通过红绿色差调制信号或蓝绿色差调制信号，调制所述CFA采样图像信号，使得每一调制信号调制后的CFA采样图像信号在低频段只包含一种色差信号，然后再进行滤波，可以降低滤波计算代价。

在S104中，根据所述红绿色差信号和蓝绿色差信号，恢复绿色通道信号，红色通道信号及蓝色通道信号。

可选的，S104可以采用以下方式实现：

根据所述红绿色差信号和蓝绿色差信号，恢复绿色通道信号；

根据所述红绿色差信号及所述绿色通道信号，恢复红色通道信号，根据所述蓝绿色差信号及所述绿色通道信号，恢复蓝色通道信号。

可选的，S104之后，所述方法还可以包括：

修正所述绿色通道信号，红色通道信号及蓝色通道信号。具体修正过程为：用CFA采样图像中采样点的颜色信号替换重构的全彩图像中相应位置对应的颜色信号，例如，若当CFA图像存在采样点的颜色信号，则用该采样点的颜色信号作为恢复后的彩色通道信号，若当CFA图像不存在采样点的颜色信号，则用恢复的彩色通道信号作为恢复后的彩色通道信号。通过修正可以使恢复的CFA图像的质量更好。

为了便于理解，以下通过实现示例对本实施例的色彩滤镜阵列图像的色彩恢复方法进行说明，但不以此实现示例为限，本实现示例中，假设CFA采样图像信号为s(n)：

s(n)=c_r(n)r(n)+c_g(n)g(n)+c_b(n)b(n)（1）

其中，n=(n1,n2)，表示像素位置，r(n)、g(n)和b(n)分别表示原始图像三基色值，c_r(n)、c_g(n)和c_b(n)分别表示色彩滤镜阵列的红、绿、蓝颜色分量，且c_r(n)+c_g(n)+c_b(n)=1，因此s(n)可以表示为：

s(n)=g(n)+c_r(n)(r(n)-g(n))+c_b(n)(b(n)-g(n))

（2）

=g(n)+c_r(n)α(n)+c_b(n)β(n)

其中，α(n)=r(n)-g(n)表示红绿色差信号，β(n)=b(n)-g(n)表示蓝绿色差信号。

该实现示例具体实现过程如下：

步骤1、获取CFA采样图像信号s(n)；

步骤2、通过红绿色差的调制信号c_α(n)、蓝绿色差的调制信号c_β(n)，调制CFA采样图像信号s(n)，s(n)经c_α(n)调制后为：s_α(n)=s(n)c_α(n)，s(n)经c_β(n)调制后为：s_β(n)=s(n)c_β(n)；

例如，对于BayerCFA：

步骤3、分别对步骤2中CFA采样图像经红绿色差调制信号调制后得到的信号s_α(n)和经蓝绿色差调制信号调制后得到的信号s_β(n)进行低通滤波，得到红绿色差信号和蓝绿色差信号为：

$\left\{\begin{array}{c}\widehat{\mathrm{\α}}\left(n\right)=h\left(n\right)*s_{\mathrm{\α}}\left(n\right)\\ \widehat{\mathrm{\β}}\left(n\right)=h\left(n\right)*s_{\mathrm{\β}}\left(n\right)\end{array}\right.$

其中，h(n)表示低通滤波器，符号*代表卷积操作。

步骤4、恢复绿色通道信号

1）由公式（2）可知，s(n)是由绿色信号g(n)及α(n)、β(n)分别经过c_r(n)、c_b(n)调制后三者叠加而成的，则通过步骤3得到的和即可恢复绿色通道信号即

$\hat{g}\left(n\right)=s\left(n\right)-c_r\left(n\right)\widehat{\mathrm{\α}}\left(n\right)-c_b\left(n\right)\widehat{\mathrm{\β}}\left(n\right)$

2）用采样图像s(n)上G采样点信号对绿色通道信号进行修正。

其中，当采样图像s(n)上存在G采样点的颜色信号，用G采样点的颜色信号作为恢复后绿色通道信号，当采样图像s(n)上不存在G采样点的颜色信号，则用计算的绿色通道信号作为恢复后绿色通道信号。

步骤5、恢复红色通道信号蓝色通道信号

1）通过步骤4得到的绿色通道信号及步骤3得到的红绿色差信号恢复的红色通道信号即

通过步骤4得到的绿色通道信号及步骤3得到的蓝绿色差信号恢复红色通道信号即

2）分别用采样图像s(n)上R、B采样点对红色通道信号蓝色通道信号进行修正。

本实施例中，通过获取CFA采样图像信号，分别通过红绿色差调制信号及蓝绿色差调制信号，调制所述CFA采样图像信号，使CFA采样图像信号中的红绿色差信号及蓝绿色差信号调制至低频段，并分别对红绿色差调制信号及蓝绿色差调制信号调制后的CFA采样图像信号进行低通滤波，获取所述CFA采样图像信号的红绿色差信号和蓝绿色差信号，根据所述红绿色差信号和蓝绿色差信号，恢复绿色通道信号，红色通道信号及蓝色通道信号，降低了CFA图像的全彩色恢复计算复杂度，并可以提高恢复的图像质量。

实施例二

本实施例在实施例一的基础上，对红绿色差调制信号及蓝绿色差调制信号的计算过程进行说明，该计算过程是实施例一中计算红绿色差调制信号及蓝绿色差调制信号的一种实现方式，因此，实施例二提供的计算方法可以与实施例一中的方法结合使用，但不以本实施例提供的方法为限，图2示出了本发明实施例二提供的色彩滤镜阵列图像的色彩恢复方法的实现的流程图，详述如下：

在S201中，获取CFA采样图像信号；

在S202中，通过对CFA采样图像信号，及色彩滤镜阵列的红色分量信号和蓝色分量信号在傅里叶变换域进行分析，计算红绿色差信号的调制信号和蓝绿色差信号的调制信号，即红绿色差调制信号及蓝绿色差调制信号；

在S203中，分别通过红绿色差调制信号及蓝绿色差调制信号，调制所述CFA采样图像信号，使CFA采样图像信号中的红绿色差信号及蓝绿色差信号调制至低频段；

在S204中，分别对红绿色差调制信号及蓝绿色差调制信号调制后的CFA采样图像信号进行低通滤波，获取红绿色差信号和蓝绿色差信号；

在S205中，根据所述红绿色差信号和蓝绿色差信号，恢复绿色通道信号，红色通道信号及蓝色通道信号。

本实施例中，在傅里叶变换域进行分析，将红绿色差信号和蓝绿色差信号调制到低频段，并用低通滤波的方式滤出红绿色差信号和蓝绿色差信号，例如，二维低通滤波，方法简单、方便。

可选的，S202红绿色差调制信号及蓝绿色差调制信号的生成过程，具体可以为：

1、计算CFA采样图像信号的傅里叶变换，及色彩滤镜阵列的红色分量信号和蓝色分量信号的傅里叶变换；

2、根据所述红色分量信号和蓝色分量信号的傅里叶变换的载频，设计调制信号的傅里叶变换；

3、通过调制信号，调制CFA采样图像信号，并对调制后的CFA采样图像信号进行傅里叶变换，调制后的CFA采样图像信号的傅里叶变换为：CFA采样图像信号的傅里叶变换与调制信号的傅里叶变换的卷积；

4、通过调整所述调制信号的傅里叶变换系数，调整所述调制后的CFA采样图像信号经调制后的傅里叶变换所包含的色差分量，计算红绿色差信号的调制信号，及蓝绿色差信号的调制信号。

为了便于理解，以下通过具体的实现示例对S202中设计红绿色差信号的调制信号及蓝绿色差信号的调制信号的实现过程进行说明，但不以此示例的情况为限，本实现示例中，以计算实施例一实现示例中的红绿色差的调制信号c_α(n)、蓝绿色差的调制信号c_β(n)为例：

步骤1：仍然用c_r(n)、c_g(n)和c_b(n)分别表示色彩滤镜阵列的红、绿、蓝颜色分量，分别计算c_r(n)、c_b(n)的傅里叶变换C_r(w)和C_b(w)，以下面形式表示：

$C_r\left(w\right)=r_0\mathrm{\δ}\left(w\right)+\underset{i}{\mathrm{\Σ}}[r_i\mathrm{\δ}(w-{\mathrm{\λ}}_{\mathrm{ri}})+{\stackrel{\‾}{r}}_i\mathrm{\δ}(w+{\mathrm{\λ}}_{\mathrm{ri}})]---\left(3\right)$

$C_b\left(w\right)=b_0\mathrm{\δ}\left(w\right)+\underset{i}{\mathrm{\Σ}}[b_i\mathrm{\δ}(w-{\mathrm{\λ}}_{\mathrm{bi}})+{\stackrel{\‾}{b}}_i\mathrm{\δ}(w+{\mathrm{\λ}}_{\mathrm{bi}})]---\left(4\right)$

其中，n=(n1,n2)，表示像素位置，w=(w_x,w_y)为角频率，且w_x,w_y∈[-π,π)分别为水平方向与垂直方向上的角频率，δ(w)为克罗内克δ函数，λ_ri、λ_bi分别代表c_r(n)、c_b(n)傅里叶变换中非零频率点，也可以称为载频，r_i、b_i表示相应频率点的傅里叶变换系数，分别为r_i、b_i的共轭，r₀、b₀表示频率为零点的傅里叶变换系数，即直流分量。

2）计算CFA采样图像信号s(n)的傅里叶表达式S(w)，其中，通过A(w)、B(w)表示S(w)，根据实施例一中的公式（2）及公式（3）（4）可以得到：

$S\left(w\right)=G\left(w\right)+C_r\left(w\right)*A\left(w\right)+C_b\left(w\right)*B\left(w\right)$

$=G\left(w\right)+r_{0}A\left(w\right)+b_{0}B\left(w\right)+$

$\underset{i}{\mathrm{\Σ}}[r_{i}A(w-{\mathrm{\λ}}_{\mathrm{ri}})+\stackrel{\‾}{r_i}A(w+{\mathrm{\λ}}_{\mathrm{ri}})]+\underset{i}{\mathrm{\Σ}}[b_{i}B(w-{\mathrm{\λ}}_{\mathrm{bi}})+\stackrel{\‾}{b_i}B(w-{\mathrm{\λ}}_{\mathrm{bi}})]$

其中，A(w)为α(n)=r(n)-g(n)的傅里叶变换表示，B(w)为β(n)=b(n)-g(n)的傅里叶变换。

步骤2：假设调制信号为c(n)，其傅里叶变换为C(w)，并用c_α(n)、c_β(n)分别表示红绿色差的调制信号、蓝绿色差的调制信号，其傅里叶变换分别为C_α(w)和C_β(w)，用步骤1中得到的C_r(w)和C_b(w)设计C(w)的表达式：

当存在不同的λ_ri、λ_bi时，假设为λ_ri、λ_bk

$C_{\mathrm{\α}}\left(w\right)=\frac{1}{2r_j{\stackrel{\‾}{r}}_j}[r_j\mathrm{\δ}(w-{\mathrm{\λ}}_{\mathrm{rj}})+{\stackrel{\‾}{r}}_j\mathrm{\δ}(w+{\mathrm{\λ}}_{\mathrm{rj}})]$

$C_{\mathrm{\β}}\left(w\right)=\frac{1}{2b_k{\stackrel{\‾}{b}}_k}[b_k\mathrm{\δ}(w-{\mathrm{\λ}}_{\mathrm{bk}})+{\stackrel{\‾}{b}}_k\mathrm{\δ}(w+{\mathrm{\λ}}_{\mathrm{bk}})]$

当λ_ri和λ_bi均相同时，假设λ_i为λ_ri或者λ_bi

$C\left(w\right)=\underset{i}{\mathrm{\Σ}}[a_i\mathrm{\δ}(w-{\mathrm{\λ}}_i)+\stackrel{\‾}{a_i}\mathrm{\δ}(w+{\mathrm{\λ}}_i)]$

其中，λ_rj、λ_bk、λ_i为分别代表c_α(n)、c_β(n)傅里叶变换中非零频率点，r_j、b_k、a_k、表示相应频率点的傅里叶变换系数。

步骤3：用步骤2中的c(n)调制s(n)得到s'(n)=s(n)c(n)，对s'(n)进行傅里叶变换为：

$\mathrm{DFT}\left[h\left(n\right)s^{\′}\left(n\right)\right]=H\left(w\right)*S\left(w\right)*C\left(w\right)$

$=\underset{i}{\mathrm{\Σ}}[(a_i\stackrel{\‾}{r_i}+\stackrel{\‾}{a_i}{r}_i)A\left(w\right)+(a_i\stackrel{\‾}{b_i}+\stackrel{\‾}{a_i}{b}_i)B\left(w\right)]---\left(5\right)$

其中，DFT表示傅里叶变换，h(n)为低通滤波器，符号*代表卷积操作， 分别为a_i、b_i的共轭。

步骤4：计算红绿色差信号α(n)的调制信号c_α(n)：

使步骤3中的公式（5）中C(w)=C_α(w)，则公式（5）表达式中系数满足条件：

$\left\{\begin{array}{c}\underset{i}{\mathrm{\Σ}}{a}_i\stackrel{\‾}{r_i}+{\stackrel{\‾}{a_i}}_i{r}_i=1\\ \underset{i}{\mathrm{\Σ}}{a}_i\stackrel{\‾}{b_i}+\stackrel{\‾}{a_i}{b}_i=0\end{array}\right.$

若存在非零解，则c_α(n)=IDFT[C_α(w)]；IDFT表示傅里叶反变换。

步骤5：计算蓝绿色差信号β(n)的调制信号c_β(n)：

使步骤3中的公式（5）中C(w)=C_β(w)则公式（5）表达式中系数满足条件：

$\left\{\begin{array}{c}\underset{i}{\mathrm{\Σ}}{a}_i\stackrel{\‾}{r_i}+\stackrel{\‾}{a_i}{r}_i=0\\ \underset{i}{\mathrm{\Σ}}{a}_i\stackrel{\‾}{b_i}+\stackrel{\‾}{a_i}{b}_i=1\end{array}\right.$

若存在非零解，则c_β(n)=IDFT[C_β(w)]，IDFT表示傅里叶反变换。

例如，以BayerCFA为例，说明红绿色差调制信号及蓝绿色差调制信号的计算过程：

1、表示BayerCFA中红色像素采样点位置；表示BayerCFA中绿色像素采样点位置；

表示BayerCFA中蓝色像素采样点位置。

其中，C_r(w)、C_g(w)、C_b(w)（w∈R²）分别表示c_r(n)、c_g(n)和c_b(n)的傅里叶变换：

$\left\{\begin{array}{c}{C}_r\left(w\right)=\frac{1}{4}[\mathrm{\δ}\left(w\right)-\mathrm{\δ}(w-\left[\begin{array}{c}\mathrm{\π}\\ 0\end{array}\right])+\mathrm{\δ}(w-\left[\begin{array}{c}0\\ \mathrm{\π}\end{array}\right])-\mathrm{\δ}(w-\left[\begin{array}{c}\mathrm{\π}\\ \mathrm{\π}\end{array}\right])]\\ C_g\left(w\right)=\frac{1}{2}[\mathrm{\δ}\left(w\right)+\mathrm{\δ}(w-\left[\begin{array}{c}\mathrm{\π}\\ \mathrm{\π}\end{array}\right])]\\ C_b\left(w\right)=\frac{1}{4}[\mathrm{\δ}\left(w\right)+\mathrm{\δ}(w-\left[\begin{array}{c}\mathrm{\π}\\ 0\end{array}\right])-\mathrm{\δ}(w-\left[\begin{array}{c}0\\ \mathrm{\π}\end{array}\right])-\mathrm{\δ}(w-\left[\begin{array}{c}\mathrm{\π}\\ \mathrm{\π}\end{array}\right])]\end{array}\right.$

2、BayerCFA频谱结构为：

$S_{\mathrm{Bayer}}=\mathrm{DFT}\left[\begin{array}{cc}g& r\\ b& g\end{array}\right]=\frac{1}{4}\left[\begin{array}{cc}R+2G+B& B-R\\ R-B& -R+2G-B\end{array}\right]$

即，

$S\left(w\right)=\frac{1}{4}[A\left(w\right)+4G\left(w\right)+B\left(w\right)$

$+A\left(w-\left[\begin{array}{c}0\\ \mathrm{\π}\end{array}\right]\right)-A(w-\left[\begin{array}{c}\mathrm{\π}\\ 0\end{array}\right])-A(w-\left[\begin{array}{c}\mathrm{\π}\\ \mathrm{\π}\end{array}\right])$

$-B\left(w-\left[\begin{array}{c}0\\ \mathrm{\π}\end{array}\right]\right)+B(w-\left[\begin{array}{c}\mathrm{\π}\\ 0\end{array}\right])-B(w-\left[\begin{array}{c}\mathrm{\π}\\ \mathrm{\π}\end{array}\right])$

3、从S(w)表达式中可以看出α(n)和β(n)色差信号在频谱上载频一样，为了用滤波的方法得到2种色差信号，可以分别将α(n)和β(n)调制到低频段，设C(w)为调制信号c(n)的离散傅里叶变换，则s(n)经c(n)调制后为s'(n)=s(n)·c(n)，其傅里叶变换为S'(w)=S(w)*C(w)（符号*代表卷积操作），令

$C\left(w\right)=\mathrm{a\δ}\left(w-\left[\begin{array}{c}0\\ \mathrm{\π}\end{array}\right]\right)+\mathrm{b\δ}(w-\left[\begin{array}{c}\mathrm{\π}\\ \mathrm{\π}\end{array}\right])+\mathrm{c\δ}(w-\left[\begin{array}{c}\mathrm{\π}\\ 0\end{array}\right])$

$S^{\′}\left(w\right)=S\left(w\right)*C\left(w\right)$

$=\frac{1}{4}[(a-b-c)A\left(w\right)-(a+b-c)B\left(w\right)$

$+4\mathrm{aG}\left(w-\left[\begin{array}{c}0\\ \mathrm{\π}\end{array}\right]\right)+4\mathrm{bG}(w-\left[\begin{array}{c}\mathrm{\π}\\ \mathrm{\π}\end{array}\right])+4\mathrm{cG}(w-\left[\begin{array}{c}\mathrm{\π}\\ 0\end{array}\right])$

$+(a-b-c)A\left(w-\left[\begin{array}{c}0\\ \mathrm{\π}\end{array}\right]\right)+(b-a+c)A(w-\left[\begin{array}{c}\mathrm{\π}\\ \mathrm{\π}\end{array}\right])+(b-a+c)A(w-\left[\begin{array}{c}\mathrm{\π}\\ 0\end{array}\right])$

$+(a+b-c)A\left(w-\left[\begin{array}{c}0\\ \mathrm{\π}\end{array}\right]\right)+(b+a-c)A(w-\left[\begin{array}{c}\mathrm{\π}\\ \mathrm{\π}\end{array}\right])-(a+b-c)A(w-\left[\begin{array}{c}\mathrm{\π}\\ 0\end{array}\right])$

1）为了使s'(n)在低频段只包含α(n)色差信号，须使得 $\left\{\begin{array}{c}\frac{1}{4}(a-b-c)=1\\ a+b-c=0\end{array}\right.,$ 可选择 $\left\{\begin{array}{c}a=2\\ b=-2\\ c=0\end{array}\right.,$ 即调制信号 $c\left(n\right)=\left[\begin{array}{cc}0& 4\\ 0& -4\end{array}\right],$ 此处调制阵列为c_α(n)，c_α(n)由阵列 $c\left(n\right)=\left[\begin{array}{cc}0& 4\\ 0& -4\end{array}\right]$ 周期重复而成。

2）为了使s'(n)在低频段只包含β(n)色差信号，须使得 $\left\{\begin{array}{c}a-b-c=0\\ -\frac{1}{4}(a+b-c)=1\end{array}\right.,$ 可选择 $\left\{\begin{array}{c}a=-2\\ b=-2\\ c=0\end{array}\right.,$ 即调制信号 $c\left(n\right)=\left[\begin{array}{cc}-4& 0\\ 4& 0\end{array}\right],$ 此处调制阵列为c_β(n)，c_β(n)由阵列 $c\left(n\right)=\left[\begin{array}{cc}-4& 0\\ 4& 0\end{array}\right]$ 周期重复而成。

实施例三

图3示出了本发明实施例三提供的色彩滤镜阵列图像的色彩恢复系统的结构图，为了便于说明，仅示出了与本发明实施例相关的部分。

所述系统包括：获取单元31、调制单元32、滤波单元33及恢复单元34。

获取单元31，用于获取CFA采样图像信号；

调制单元32，用于分别通过红绿色差调制信号及蓝绿色差调制信号，调制所述CFA采样图像信号，使CFA采样图像信号中的红绿色差信号及蓝绿色差信号调制至低频段；

滤波单元33，用于分别对红绿色差调制信号及蓝绿色差调制信号调制后的CFA采样图像信号进行低通滤波，获取红绿色差信号和蓝绿色差信号；

恢复单元34，用于根据所述红绿色差信号和蓝绿色差信号，恢复绿色通道信号，红色通道信号及蓝色通道信号。

可选的，所述恢复单元34：具体用于根据所述红绿色差信号和蓝绿色差信号，恢复绿色通道信号，以及根据所述红绿色差信号及所述绿色通道信号，恢复红色通道信号，根据所述蓝绿色差信号及所述绿色通道信号，恢复蓝色通道信号。

可选的，所述系统还包括修正单元，用于修正所述绿色通道信号，红色通道信号及蓝色通道信号。

本发明实施例提供的色彩滤镜阵列图像的色彩恢复系统可以使用在前述对应的方法实施例一中，详情参见上述实施例一的描述，在此不再赘述。

实施例四

图4示出了本发明实施例四提供的色彩滤镜阵列图像的色彩恢复系统的结构图，为了便于说明，仅示出了与本发明实施例相关的部分。

所述系统包括：获取单元41、计算单元42、调制单元43、滤波单元44、恢复单元45及修正单元46。

本实施例与实施例三的区别在于：

可选的，计算单元42，用于通过对CFA采样图像信号，及色彩滤镜阵列的红色分量信号和蓝色分量信号在傅里叶变换域进行分析，计算红绿色差信号的调制信号和蓝绿色差信号的调制信号。

可选的，所述计算单元42还包括：

计算模块421，用于计算CFA采样图像信号的傅里叶变换，及色彩滤镜阵列的红色分量信号和蓝色分量信号的傅里叶变换；

设计模块422，用于根据所述红色分量信号和蓝色分量信号的傅里叶变换的载频，设计调制信号的傅里叶变换；

调制模块423，用于通过调制信号，调制CFA采样图像信号，并对调制后的CFA采样图像信号进行傅里叶变换，调制后的CFA采样图像信号的傅里叶变换为：CFA采样图像信号的傅里叶变换与调制信号的傅里叶变换的卷积；

所述计算模块421，还用于通过调整所述调制信号的傅里叶变换系数，调整所述调制后的CFA采样图像信号经调制后的傅里叶变换所包含的色差分量，计算红绿色差信号的调制信号，及蓝绿色差信号的调制信号。

本发明实施例提供的色彩滤镜阵列图像的色彩恢复系统可以使用在前述对应的方法实施例二中，详情参见上述实施例二的描述，在此不再赘述。

值得注意的是，上述装置和系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘或光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种色彩滤镜阵列图像的色彩恢复方法，其特征在于，所述方法包括：

获取CFA采样图像信号；

分别通过红绿色差调制信号及蓝绿色差调制信号，调制所述CFA采样图像信号，使CFA采样图像信号中的红绿色差信号及蓝绿色差信号调制至低频段；

分别对红绿色差调制信号及蓝绿色差调制信号调制后的CFA采样图像信号进行低通滤波，获取红绿色差信号和蓝绿色差信号；

根据获取的红绿色差信号和蓝绿色差信号，恢复绿色通道信号，红色通道信号及蓝色通道信号；

所述根据所述获取的红绿色差信号和蓝绿色差信号，恢复绿色通道信号，红色通道信号及蓝色通道信号具体为：

根据所述获取的红绿色差信号和蓝绿色差信号以及CFA采样图像信号，恢复所述CFA采样图像信号的绿色通道信号；

根据获取的红绿色差信号与所述恢复的绿色通道信号进行加和，恢复CFA采样图像的红色通道信号，根据获取的蓝绿色差信号与所述恢复的绿色通道信号进行加和，恢复CFA采样图像的蓝色通道信号；

所述分别通过红绿色差调制信号及蓝绿色差调制信号，调制所述CFA采样图像信号至低频之前，所述方法还包括：

通过对CFA采样图像信号，及色彩滤镜阵列的红色分量信号和蓝色分量信号在傅里叶变换域进行分析，计算红绿色差信号的调制信号和蓝绿色差信号的调制信号；

所述通过对CFA采样图像信号，及色彩滤镜阵列的红色分量信号和蓝色分量信号在傅里叶变换域进行分析，计算红绿色差信号的调制信号和蓝绿色差信号的调制信号具体为：

计算CFA采样图像信号的傅里叶变换，及色彩滤镜阵列的红色分量信号和蓝色分量信号的傅里叶变换；

根据所述红色分量信号和蓝色分量信号的傅里叶变换的载频，设计调制信号的傅里叶变换；

通过调制信号，调制CFA采样图像信号，并对调制后的CFA采样图像信号进行傅里叶变换，调制后的CFA采样图像信号的傅里叶变换为：CFA采样图像信号的傅里叶变换与调制信号的傅里叶变换的卷积；

通过调整所述调制信号的傅里叶变换系数，调整所述调制后的CFA采样图像信号经调制后的傅里叶变换所包含的色差分量，计算红绿色差信号的调制信号，及蓝绿色差信号的调制信号；

所述计算CFA采样图像信号的傅里叶变换，及色彩滤镜阵列的红色分量信号和蓝色分量信号的傅里叶变换为：

CFA采样图像信号s(n)的傅里叶变换S(w)、色彩滤镜阵列的红色分量信号c_r(n)和蓝色分量信号c_b(n)的傅里叶变换C_r(w)和C_b(w)为：

$C_r\left(w\right)=r_0\mathrm{\δ}\left(w\right)+\underset{i}{\Σ}\[r_i\mathrm{\δ}(w-{\mathrm{\λ}}_{ri})+\stackrel{\‾}{r_i}\mathrm{\δ}(w+{\mathrm{\λ}}_{ri})\]$

$C_b\left(w\right)=b_0\mathrm{\δ}\left(w\right)+\underset{i}{\Σ}\[b_i\mathrm{\δ}(w-{\mathrm{\λ}}_{bi})+\stackrel{\‾}{b_i}\mathrm{\δ}(w+{\mathrm{\λ}}_{bi})\]$

$\begin{array}{c}S\left(w\right)=G\left(w\right)+C_r\left(w\right)*A\left(w\right)+C_b\left(w\right)*B\left(w\right)\\ =G\left(w\right)+r_{0}A\left(w\right)+b_{0}B\left(w\right)+\\ \underset{i}{\Σ}\[r_{i}A\left(w-{\mathrm{\λ}}_{ri}\right)+\stackrel{\‾}{r_i}A\left(w+{\mathrm{\λ}}_{ri}\right)\]+\underset{i}{\Σ}\[b_{i}B\left(w-{\mathrm{\λ}}_{bi}\right)+\stackrel{\‾}{b_i}B\left(w-{\mathrm{\λ}}_{bi}\right)\]\end{array}$

其中，n＝(n1,n2)，表示像素位置，w＝(w_x,w_y)为角频率，且w_x,w_y∈[-π,π)分别为水平方向与垂直方向上的角频率，δ(w)为克罗内克δ函数，λ_ri、λ_bi分别代表c_r(n)、c_b(n)傅里叶变换中非零频率点，r_i、b_i表示相应频率点的傅里叶变换系数，分别为r_i、b_i的共轭，r₀、b₀表示表示c_r(n)、c_b(n)的直流分量，A(w)表示红绿色差信号α(n)＝r(n)-g(n)的傅里叶变换、B(w)表示蓝绿色差信号β(n)＝b(n)-g(n)的傅里叶变换，符号*代表卷积操作，其中，i，n1，n2为非负整数，G(w)为绿色分量信号；

所述根据所述红色分量信号和蓝色分量信号的傅里叶变换的载频，设计调制信号的傅里叶变换具体为：

根据所述红色分量信号c_r(n)的傅里叶变换C_r(w)和蓝色分量信号c_b(n)的傅里叶变换C_b(w)的载频，设计调制信号c(n)的傅里叶变换C(w)、红绿色差信号的调制信号c_α(n)的傅里叶变换C_α(w)、以及蓝绿色差信号的调制信号c_β(n)的傅里叶变换C_β(w)为：

a、当λ_ri与λ_bi的值不同时，假设为λ_rj、λ_bk时：

$C_{\mathrm{\α}}\left(w\right)=\frac{1}{2r_j\stackrel{\‾}{r_j}}\[r_j\mathrm{\δ}(w-{\mathrm{\λ}}_{rj})+\stackrel{\‾}{r_j}\mathrm{\δ}(w+{\mathrm{\λ}}_{rj})\]$

$C_{\mathrm{\β}}\left(w\right)=\frac{1}{2b_k{\stackrel{\‾}{b}}_k}\[b_k\mathrm{\δ}(w-{\mathrm{\λ}}_{bk})+{\stackrel{\‾}{b}}_k\mathrm{\δ}(w+{\mathrm{\λ}}_{bk})\]$

b、当λ_ri与λ_bi的值相同时，λ_i为λ_ri或者λ_bi，其中，j、k为非负整数，a_i表示相应频率点的傅里叶变换系数，为a_i的共轭；

所述通过所述调制信号，调制CFA采样图像信号，并对调制后的CFA采样图像信号进行傅里叶变换，调制后的CFA采样图像信号的傅里叶变换为：所述CFA采样图像信号的傅里叶变换与调制信号的傅里叶变换的卷积具体为：

根据调制信号c(n)调制CFA采样图像信号s(n)，得到调制后的CFA采样图像信号s'(n)＝s(n)c(n)，对s'(n)进行傅里叶变换为：

$\begin{array}{c}DFT\[h\left(n\right)s^{\′}\left(n\right)\]=H\left(w\right)*S\left(w\right)*C\left(w\right)\\ =\underset{i}{\Σ}\[\left(a_i\stackrel{\‾}{r_i}+\stackrel{\‾}{a_i}{r}_i\right)A\left(w\right)+\left(a_i\stackrel{\‾}{b_i}+\stackrel{\‾}{a_i}{b}_i\right)B\left(w\right)\]\end{array}$ 公式1

其中，DFT表示傅里叶变换，h(n)为低通滤波器，符号*代表卷积操作， 分别为a_i、b_i的共轭，其中，i为非负整数；

所述通过调整所述调制信号的傅里叶变换系数，调整所述调制后的CFA采样图像信号经调制后的傅里叶变换所包含的色差分量，计算红绿色差信号的调制信号，及蓝绿色差信号的调制信号具体为：

c、在公式1中，使C(w)＝C_α(w)，则公式1表达式中系数满足条件：

$\left\{\begin{array}{c}\underset{i}{\Σ}{a}_i\stackrel{\‾}{r_i}+\stackrel{\‾}{a_i}{r}_i=1\\ \underset{i}{\Σ}{a}_i\stackrel{\‾}{b_i}+\stackrel{\‾}{a_i}{b}_i=0\end{array}\right.$

若存在非零解，则c_α(n)＝IDFT[C_α(w)]，IDFT表示傅里叶反变换；

d、在公式1中，使C(w)＝C_β(w)，则公式1表达式中系数满足条件：

$\left\{\begin{array}{c}\underset{i}{\Σ}{a}_i\stackrel{\‾}{r_i}+\stackrel{\‾}{a_i}{r}_i=0\\ \underset{i}{\Σ}{a}_i\stackrel{\‾}{b_i}+\stackrel{\‾}{a_i}{b}_i=1\end{array}\right.$

若存在非零解，则c_β(n)＝IDFT[C_β(w)]，IDFT表示傅里叶反变换。

2.如权利要求1所述的方法，其特征在于，所述根据获取的红绿色差信号和蓝绿色差信号，恢复绿色通道信号，红色通道信号及蓝色通道信号之后，所述方法还包括：

修正所述绿色通道信号，红色通道信号及蓝色通道信号。

3.一种色彩滤镜阵列图像的色彩恢复系统，其特征在于，所述系统包括：

获取单元，用于获取CFA采样图像信号；

调制单元，用于分别通过红绿色差调制信号及蓝绿色差调制信号，调制所述CFA采样图像信号，使CFA采样图像信号中的红绿色差信号及蓝绿色差信号调制至低频段；

滤波单元，用于分别对红绿色差调制信号及蓝绿色差调制信号调制后的CFA采样图像信号进行低通滤波，获取红绿色差信号和蓝绿色差信号；

恢复单元，用于根据获取的红绿色差信号和蓝绿色差信号，恢复绿色通道信号，红色通道信号及蓝色通道信号；

所述恢复单元：具体用于根据所述获取的红绿色差信号和蓝绿色差信号以及CFA采样图像信号，恢复所述CFA采样图像信号的绿色通道信号，以及根据获取的红绿色差信号与所述恢复的绿色通道信号进行加和，恢复CFA采样图像的红色通道信号，根据获取的蓝绿色差信号与所述恢复的绿色通道信号进行加和，恢复CFA采样图像的蓝色通道信号；

所述系统还包括：

计算单元，用于通过对CFA采样图像信号，及色彩滤镜阵列的红色分量信号和蓝色分量信号在傅里叶变换域进行分析，计算红绿色差信号的调制信号和蓝绿色差信号的调制信号；

所述计算单元包括：

计算模块，用于计算CFA采样图像信号的傅里叶变换，及色彩滤镜阵列的红色分量信号和蓝色分量信号的傅里叶变换；

设计模块，用于根据所述红色分量信号和蓝色分量信号的傅里叶变换的载频，设计调制信号的傅里叶变换；

调制模块，用于通过调制信号，调制CFA采样图像信号，并对调制后的CFA采样图像信号进行傅里叶变换，调制后的CFA采样图像信号的傅里叶变换为：CFA采样图像信号的傅里叶变换与调制信号的傅里叶变换的卷积；

所述计算模块，还用于通过调整所述调制信号的傅里叶变换系数，调整所述调制后的CFA采样图像信号经调制后的傅里叶变换所包含的色差分量，计算红绿色差信号的调制信号，及蓝绿色差信号的调制信号；所述计算CFA采样图像信号的傅里叶变换，及色彩滤镜阵列的红色分量信号和蓝色分量信号的傅里叶变换为：

CFA采样图像信号s(n)的傅里叶变换S(w)、色彩滤镜阵列的红色分量信号c_r(n)和蓝色分量信号c_b(n)的傅里叶变换C_r(w)和C_b(w)为：

$C_r\left(w\right)=r_0\mathrm{\δ}\left(w\right)+\underset{i}{\Σ}\[r_i\mathrm{\δ}(w-{\mathrm{\λ}}_{ri})+\stackrel{\‾}{r_i}\mathrm{\δ}(w+{\mathrm{\λ}}_{ri})\]$

$C_b\left(w\right)=b_0\mathrm{\δ}\left(w\right)+\underset{i}{\Σ}\[b_i\mathrm{\δ}(w-{\mathrm{\λ}}_{bi})+\stackrel{\‾}{b_i}\mathrm{\δ}(w+{\mathrm{\λ}}_{bi})\]$

$\begin{array}{c}S\left(w\right)=G\left(w\right)+C_r\left(w\right)*A\left(w\right)+C_b\left(w\right)*B\left(w\right)\\ =G\left(w\right)+r_{0}A\left(w\right)+b_{0}B\left(w\right)+\\ \underset{i}{\Σ}\[r_{i}A\left(w-{\mathrm{\λ}}_{ri}\right)+\stackrel{\‾}{r_i}A\left(w+{\mathrm{\λ}}_{ri}\right)\]+\underset{i}{\Σ}\[b_{i}B\left(w-{\mathrm{\λ}}_{bi}\right)+\stackrel{\‾}{b_i}B\left(w-{\mathrm{\λ}}_{bi}\right)\]\end{array}$

其中，n＝(n1,n2)，表示像素位置，w＝(w_x,w_y)为角频率，且w_x,w_y∈[-π,π)分别为水平方向与垂直方向上的角频率，δ(w)为克罗内克δ函数，λ_ri、λ_bi分别代表c_r(n)、c_b(n)傅里叶变换中非零频率点，r_i、b_i表示相应频率点的傅里叶变换系数，分别为r_i、b_i的共轭，r₀、b₀表示表示c_r(n)、c_b(n)的直流分量，A(w)表示红绿色差信号α(n)＝r(n)-g(n)的傅里叶变换、B(w)表示蓝绿色差信号β(n)＝b(n)-g(n)的傅里叶变换，符号*代表卷积操作，其中，i，n1，n2为非负整数，G(w)为绿色分量信号；

所述根据所述红色分量信号和蓝色分量信号的傅里叶变换的载频，设计调制信号的傅里叶变换具体为：

根据所述红色分量信号c_r(n)的傅里叶变换C_r(w)和蓝色分量信号c_b(n)的傅里叶变换C_b(w)的载频，设计调制信号c(n)的傅里叶变换C(w)、红绿色差信号的调制信号c_α(n)的傅里叶变换C_α(w)、以及蓝绿色差信号的调制信号c_β(n)的傅里叶变换C_β(w)为：

a、当λ_ri与λ_bi的值不同时，假设为λ_rj、λ_bk时：

$C_{\mathrm{\α}}\left(w\right)=\frac{1}{2r_j\stackrel{\‾}{r_j}}\[r_j\mathrm{\δ}(w-{\mathrm{\λ}}_{rj})+\stackrel{\‾}{r_j}\mathrm{\δ}(w+{\mathrm{\λ}}_{rj})\]$

$C_{\mathrm{\β}}\left(w\right)=\frac{1}{2b_k{\stackrel{\‾}{b}}_k}\[b_k\mathrm{\δ}(w-{\mathrm{\λ}}_{bk})+{\stackrel{\‾}{b}}_k\mathrm{\δ}(w+{\mathrm{\λ}}_{bk})\]$

b、当λ_ri与λ_bi的值相同时，λ_i为λ_ri或者λ_bi，其中，j、k为非负整数，a_i表示相应频率点的傅里叶变换系数，为a_i的共轭；

所述通过所述调制信号，调制CFA采样图像信号，并对调制后的CFA采样图像信号进行傅里叶变换，调制后的CFA采样图像信号的傅里叶变换为：所述CFA采样图像信号的傅里叶变换与调制信号的傅里叶变换的卷积具体为：

根据调制信号c(n)调制CFA采样图像信号s(n)，得到调制后的CFA采样图像信号s'(n)＝s(n)c(n)，对s'(n)进行傅里叶变换为：

$\begin{array}{c}DFT\[h\left(n\right)s^{\′}\left(n\right)\]=H\left(w\right)*S\left(w\right)*C\left(w\right)\\ =\underset{i}{\Σ}\[\left(a_i\stackrel{\‾}{r_i}+\stackrel{\‾}{a_i}{r}_i\right)A\left(w\right)+\left(a_i\stackrel{\‾}{b_i}+\stackrel{\‾}{a_i}{b}_i\right)B\left(w\right)\]\end{array}$ 公式1

其中，DFT表示傅里叶变换，h(n)为低通滤波器，符号*代表卷积操作， 分别为a_i、b_i的共轭，其中，i为非负整数；

所述通过调整所述调制信号的傅里叶变换系数，调整所述调制后的CFA采样图像信号经调制后的傅里叶变换所包含的色差分量，计算红绿色差信号的调制信号，及蓝绿色差信号的调制信号具体为：

c、在公式1中，使C(w)＝C_α(w)，则公式1表达式中系数满足条件：

$\left\{\begin{array}{c}\underset{i}{\Σ}{a}_i\stackrel{\‾}{r_i}+\stackrel{\‾}{a_i}{r}_i=1\\ \underset{i}{\Σ}{a}_i\stackrel{\‾}{b_i}+\stackrel{\‾}{a_i}{b}_i=0\end{array}\right.$

若存在非零解，则c_α(n)＝IDFT[C_α(w)]，IDFT表示傅里叶反变换；

d、在公式1中，使C(w)＝C_β(w)，则公式1表达式中系数满足条件：

$\left\{\begin{array}{c}\underset{i}{\Σ}{a}_i\stackrel{\‾}{r_i}+\stackrel{\‾}{a_i}{r}_i=0\\ \underset{i}{\Σ}{a}_i\stackrel{\‾}{b_i}+\stackrel{\‾}{a_i}{b}_i=1\end{array}\right.$

若存在非零解，则c_β(n)＝IDFT[C_β(w)]，IDFT表示傅里叶反变换。

4.如权利要求3所述的系统，其特征在于，所述系统还包括：

修正单元，用于修正所述绿色通道信号，红色通道信号及蓝色通道信号。