CN102752603A - 一种色彩滤镜阵列图像的色彩恢复方法及系统 - Google Patents

一种色彩滤镜阵列图像的色彩恢复方法及系统 Download PDF

Info

Publication number
CN102752603A
CN102752603A CN2012101873152A CN201210187315A CN102752603A CN 102752603 A CN102752603 A CN 102752603A CN 2012101873152 A CN2012101873152 A CN 2012101873152A CN 201210187315 A CN201210187315 A CN 201210187315A CN 102752603 A CN102752603 A CN 102752603A
Authority
CN
China
Prior art keywords
signal
modulation
fourier transform
blue
green
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012101873152A
Other languages
English (en)
Other versions
CN102752603B (zh
Inventor
吴美芬
邵诗强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL Corp
Original Assignee
TCL Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TCL Corp filed Critical TCL Corp
Priority to CN201210187315.2A priority Critical patent/CN102752603B/zh
Publication of CN102752603A publication Critical patent/CN102752603A/zh
Application granted granted Critical
Publication of CN102752603B publication Critical patent/CN102752603B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)

Abstract

本发明适用于图像处理技术领域,提供了一种色彩滤镜阵列图像的色彩恢复方法及系统,所述方法包括:获取CFA采样图像信号;分别通过红绿色差调制信号及蓝绿色差调制信号,调制所述CFA采样图像信号,使CFA采样图像信号中的红绿色差信号及蓝绿色差信号调制至低频段;分别对红绿色差调制信号及蓝绿色差调制信号调制后的CFA采样图像信号进行低通滤波,获取红绿色差信号和蓝绿色差信号,根据所述红绿色差信号和蓝绿色差信号,恢复绿色通道信号,红色通道信号及蓝色通道信号。降低了CFA图像的全彩色恢复计算复杂度,并可以提高恢复的图像质量。

Description

一种色彩滤镜阵列图像的色彩恢复方法及系统
技术领域
本发明属于图像处理技术领域,尤其涉及一种色彩滤镜阵列图像的色彩恢复方法及系统。
背景技术
目前,大多数数码相机采用单传感器结构,通过在传感器上敷一层色彩滤镜阵列(Color Filter Array,CFA),例如目前普遍使用的Bayer CFA滤镜上不同的色块按G-R-G-B(绿—红—绿—蓝)的顺序像马赛克一样排列,每一片“马赛克”下的像素感应不同的颜色,当光从红、绿、蓝滤镜中穿过时,就可以得到每种色光的反应值,这样,原始图像中的每一个象素点只有一种颜色分量通过,而缺失另外2中颜色,但在图像再现设备中,每一个象素点需要红,绿,蓝三个分量,这就要求人们从原始信号中插值出所缺的颜色分量,以得到全彩色图像,这就是CFA色彩插值,此插值技术称为“去马赛克”(demosaicking)。
插值方法的优劣影响恢复的全彩色图像的质量,现有的插值方法可以概括为线性插值方法和非线性插值方法。线性插值方法实现简单、速度快,但恢复的全彩色图像存在严重的失真。而非线性插值方法由于考虑了RGB通道间的相关性,其插值效果明显优于线性插值方法,但这种方法复杂度大,计算代价大。综上,现有技术的CFA图像的色彩恢复方法还无法提供一种恢复的全彩图像质量好,且恢复过程简单的方法。
发明内容
本发明实施例的目的在于提供一种色彩滤镜阵列图像的色彩恢复方法,旨在解决现有技术的CFA图像的色彩恢复方法还无法提供一种恢复的全彩图像质量好,且恢复过程简单的方法的问题。
为了实现上述目的,本发明实施例提供如下技术方案:
本发明实施例是这样实现的,一种色彩滤镜阵列图像的色彩恢复方法,所述方法包括:
获取CFA采样图像信号;
分别通过红绿色差调制信号及蓝绿色差调制信号,调制所述CFA采样图像信号,使CFA采样图像信号中的红绿色差信号及蓝绿色差信号调制至低频段;
分别对红绿色差调制信号及蓝绿色差调制信号调制后的CFA采样图像信号进行低通滤波,获取红绿色差信号和蓝绿色差信号;
根据所述红绿色差信号和蓝绿色差信号,恢复绿色通道信号,红色通道信号及蓝色通道信号。
本发明实施例还提供了一种色彩滤镜阵列图像的色彩恢复系统,所述系统包括:
获取单元,用于获取CFA采样图像信号;
调制单元,用于分别通过红绿色差调制信号及蓝绿色差调制信号,调制所述CFA采样图像信号,使CFA采样图像信号中的红绿色差信号及蓝绿色差信号调制至低频段;
滤波单元,用于分别对红绿色差调制信号及蓝绿色差调制信号调制后的CFA采样图像信号进行低通滤波,获取红绿色差信号和蓝绿色差信号;
恢复单元,用于根据所述红绿色差信号和蓝绿色差信号,恢复绿色通道信号,红色通道信号及蓝色通道信号。
本发明实施例与现有技术相比,有益效果在于:通过获取CFA采样图像信号,分别通过红绿色差调制信号及蓝绿色差调制信号,调制所述CFA采样图像信号,使CFA采样图像信号中的红绿色差信号及蓝绿色差信号调制至低频段,并分别对红绿色差调制信号及蓝绿色差调制信号调制后的CFA采样图像信号进行低通滤波,获取红绿色差信号和蓝绿色差信号,根据所述红绿色差信号和蓝绿色差信号,恢复绿色通道信号,红色通道信号及蓝色通道信号,降低了CFA图像的全彩色恢复计算复杂度,并可以提高恢复的图像质量。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的色彩滤镜阵列图像的色彩恢复方法的实现的流程图;
图2是本发明实施例二提供的色彩滤镜阵列图像的色彩恢复方法的实现的流程图;
图3是本发明实施例三提供的色彩滤镜阵列图像的色彩恢复系统的结构图;
图4是本发明实施例四提供的色彩滤镜阵列图像的色彩恢复系统的结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
一种色彩滤镜阵列图像的色彩恢复方法,所述方法包括:
获取CFA采样图像信号;
分别通过红绿色差调制信号及蓝绿色差调制信号,调制所述CFA采样图像信号,使CFA采样图像信号中的红绿色差信号及蓝绿色差信号调制至低频段;
分别对红绿色差调制信号及蓝绿色差调制信号调制后的CFA采样图像信号进行低通滤波,获取所述CFA采样图像信号的红绿色差信号和蓝绿色差信号;
根据所述红绿色差信号和蓝绿色差信号,恢复所述CFA采样图像信号的绿色通道信号,红色通道信号及蓝色通道信号。
本发明实施例还提供了一种色彩滤镜阵列图像的色彩恢复系统,所述系统包括:
获取单元,用于获取CFA采样图像信号;
调制单元,用于分别通过红绿色差调制信号及蓝绿色差调制信号,调制所述CFA采样图像信号,使CFA采样图像信号中的红绿色差信号及蓝绿色差信号调制至低频段;
滤波单元,用于分别对红绿色差调制信号及蓝绿色差调制信号调制后的CFA采样图像信号进行低通滤波,获取所述CFA采样图像信号的红绿色差信号和蓝绿色差信号;
恢复单元,用于根据所述红绿色差信号和蓝绿色差信号,恢复所述CFA采样图像信号的绿色通道信号,红色通道信号及蓝色通道信号。
以下结合具体实施例对本发明的实现进行详细描述:
实施例一
图1示出了本发明实施例一提供的色彩滤镜阵列图像的色彩恢复方法的实现的流程图,详述如下:
在S101中,获取CFA采样图像信号;
在S102中,分别通过红绿色差调制信号及蓝绿色差调制信号,调制所述CFA采样图像信号,使CFA采样图像信号中的红绿色差信号及蓝绿色差信号调制至低频段;
在S103中,分别对红绿色差调制信号及蓝绿色差调制信号调制后的CFA采样图像信号进行低通滤波,获取红绿色差信号和蓝绿色差信号;
本实施例中,可以采用二维低通滤波。
本实施例中,通分别通过红绿色差调制信号或蓝绿色差调制信号,调制所述CFA采样图像信号,使得每一调制信号调制后的CFA采样图像信号在低频段只包含一种色差信号,然后再进行滤波,可以降低滤波计算代价。
在S104中,根据所述红绿色差信号和蓝绿色差信号,恢复绿色通道信号,红色通道信号及蓝色通道信号。
可选的,S104可以采用以下方式实现:
根据所述红绿色差信号和蓝绿色差信号,恢复绿色通道信号;
根据所述红绿色差信号及所述绿色通道信号,恢复红色通道信号,根据所述蓝绿色差信号及所述绿色通道信号,恢复蓝色通道信号。
可选的,S104之后,所述方法还可以包括:
修正所述绿色通道信号,红色通道信号及蓝色通道信号。具体修正过程为:用CFA采样图像中采样点的颜色信号替换重构的全彩图像中相应位置对应的颜色信号,例如,若当CFA图像存在采样点的颜色信号,则用该采样点的颜色信号作为恢复后的彩色通道信号,若当CFA图像不存在采样点的颜色信号,则用恢复的彩色通道信号作为恢复后的彩色通道信号。通过修正可以使恢复的CFA图像的质量更好。
为了便于理解,以下通过实现示例对本实施例的色彩滤镜阵列图像的色彩恢复方法进行说明,但不以此实现示例为限,本实现示例中,假设CFA采样图像信号为s(n):
s(n)=cr(n)r(n)+cg(n)g(n)+cb(n)b(n)    (1)
其中,n=(n1,n2),表示像素位置,r(n)、g(n)和b(n)分别表示原始图像三基色值,cr(n)、cg(n)和cb(n)分别表示色彩滤镜阵列的红、绿、蓝颜色分量,且cr(n)+cg(n)+cb(n)=1,因此s(n)可以表示为:
s(n)=g(n)+cr(n)(r(n)-g(n))+cb(n)(b(n)-g(n))
                                              (2)
=g(n)+cr(n)α(n)+cb(n)β(n)
其中,α(n)=r(n)-g(n)表示红绿色差信号,β(n)=b(n)-g(n)表示蓝绿色差信号。
该实现示例具体实现过程如下:
步骤1、获取CFA采样图像信号s(n);
步骤2、通过红绿色差的调制信号cα(n)、蓝绿色差的调制信号cβ(n),调制CFA采样图像信号s(n),s(n)经cα(n)调制后为:sα(n)=s(n)cα(n),s(n)经cβ(n)调制后为:sβ(n)=s(n)cβ(n);
例如,对于Bayer CFA:
Figure BDA00001738048400061
Figure BDA00001738048400062
Figure BDA00001738048400063
Figure BDA00001738048400064
步骤3、分别对步骤2中CFA采样图像经红绿色差调制信号调制后得到的信号sα(n)和经蓝绿色差调制信号调制后得到的信号sβ(n)进行低通滤波,得到红绿色差信号
Figure BDA00001738048400065
和蓝绿色差信号
Figure BDA00001738048400066
为:
α ^ ( n ) = h ( n ) * s α ( n ) β ^ ( n ) = h ( n ) * s β ( n )
其中,h(n)表示低通滤波器,符号*代表卷积操作。
步骤4、恢复绿色通道信号
1)由公式(2)可知,s(n)是由绿色信号g(n)及α(n)、β(n)分别经过cr(n)、cb(n)调制后三者叠加而成的,则通过步骤3得到的
Figure BDA00001738048400069
Figure BDA000017380484000610
即可恢复绿色通道信号
g ^ ( n ) = s ( n ) - c r ( n ) α ^ ( n ) - c b ( n ) β ^ ( n )
2)用采样图像s(n)上G采样点信号对绿色通道信号
Figure BDA000017380484000613
进行修正。
其中,当采样图像s(n)上存在G采样点的颜色信号,用G采样点的颜色信号作为恢复后绿色通道信号,当采样图像s(n)上不存在G采样点的颜色信号,则用计算的绿色通道信号作为恢复后绿色通道信号。
步骤5、恢复红色通道信号蓝色通道信号
Figure BDA00001738048400073
1)通过步骤4得到的绿色通道信号
Figure BDA00001738048400074
及步骤3得到的红绿色差信号恢复的红色通道信号
Figure BDA00001738048400076
Figure BDA00001738048400077
通过步骤4得到的绿色通道信号
Figure BDA00001738048400078
及步骤3得到的蓝绿色差信号
Figure BDA00001738048400079
恢复红色通道信号
Figure BDA000017380484000710
Figure BDA000017380484000711
2)分别用采样图像s(n)上R、B采样点对红色通道信号蓝色通道信号进行修正。
本实施例中,通过获取CFA采样图像信号,分别通过红绿色差调制信号及蓝绿色差调制信号,调制所述CFA采样图像信号,使CFA采样图像信号中的红绿色差信号及蓝绿色差信号调制至低频段,并分别对红绿色差调制信号及蓝绿色差调制信号调制后的CFA采样图像信号进行低通滤波,获取所述CFA采样图像信号的红绿色差信号和蓝绿色差信号,根据所述红绿色差信号和蓝绿色差信号,恢复绿色通道信号,红色通道信号及蓝色通道信号,降低了CFA图像的全彩色恢复计算复杂度,并可以提高恢复的图像质量。
实施例二
本实施例在实施例一的基础上,对红绿色差调制信号及蓝绿色差调制信号的计算过程进行说明,该计算过程是实施例一中计算红绿色差调制信号及蓝绿色差调制信号的一种实现方式,因此,实施例二提供的计算方法可以与实施例一中的方法结合使用,但不以本实施例提供的方法为限,图2示出了本发明实施例二提供的色彩滤镜阵列图像的色彩恢复方法的实现的流程图,详述如下:
在S201中,获取CFA采样图像信号;
在S202中,通过对CFA采样图像信号,及色彩滤镜阵列的红色分量信号和蓝色分量信号在傅里叶变换域进行分析,计算红绿色差信号的调制信号和蓝绿色差信号的调制信号,即红绿色差调制信号及蓝绿色差调制信号;
在S203中,分别通过红绿色差调制信号及蓝绿色差调制信号,调制所述CFA采样图像信号,使CFA采样图像信号中的红绿色差信号及蓝绿色差信号调制至低频段;
在S204中,分别对红绿色差调制信号及蓝绿色差调制信号调制后的CFA采样图像信号进行低通滤波,获取红绿色差信号和蓝绿色差信号;
在S205中,根据所述红绿色差信号和蓝绿色差信号,恢复绿色通道信号,红色通道信号及蓝色通道信号。
本实施例中,在傅里叶变换域进行分析,将红绿色差信号和蓝绿色差信号调制到低频段,并用低通滤波的方式滤出红绿色差信号和蓝绿色差信号,例如,二维低通滤波,方法简单、方便。
可选的,S202红绿色差调制信号及蓝绿色差调制信号的生成过程,具体可以为:
1、计算CFA采样图像信号的傅里叶变换,及色彩滤镜阵列的红色分量信号和蓝色分量信号的傅里叶变换;
2、根据所述红色分量信号和蓝色分量信号的傅里叶变换的载频,设计调制信号的傅里叶变换;
3、通过调制信号,调制CFA采样图像信号,并对调制后的CFA采样图像信号进行傅里叶变换,调制后的CFA采样图像信号的傅里叶变换为:CFA采样图像信号的傅里叶变换与调制信号的傅里叶变换的卷积;
4、通过调整所述调制信号的傅里叶变换系数,调整所述调制后的CFA采样图像信号经调制后的傅里叶变换所包含的色差分量,计算红绿色差信号的调制信号,及蓝绿色差信号的调制信号。
为了便于理解,以下通过具体的实现示例对S202中设计红绿色差信号的调制信号及蓝绿色差信号的调制信号的实现过程进行说明,但不以此示例的情况为限,本实现示例中,以计算实施例一实现示例中的红绿色差的调制信号cα(n)、蓝绿色差的调制信号cβ(n)为例:
步骤1:仍然用cr(n)、cg(n)和cb(n)分别表示色彩滤镜阵列的红、绿、蓝颜色分量,分别计算cr(n)、cb(n)的傅里叶变换Cr(w)和Cb(w),以下面形式表示:
C r ( w ) = r 0 δ ( w ) + Σ i [ r i δ ( w - λ ri ) + r ‾ i δ ( w + λ ri ) ] - - - ( 3 )
C b ( w ) = b 0 δ ( w ) + Σ i [ b i δ ( w - λ bi ) + b ‾ i δ ( w + λ bi ) ] - - - ( 4 )
其中,n=(n1,n2),表示像素位置,w=(wx,wy)为角频率,且wx,wy∈[-π,π)分别为水平方向与垂直方向上的角频率,δ(w)为克罗内克δ函数,λri、λbi分别代表cr(n)、cb(n)傅里叶变换中非零频率点,也可以称为载频,ri、bi表示相应频率点的傅里叶变换系数,
Figure BDA00001738048400093
分别为ri、bi的共轭,r0、b0表示频率为零点的傅里叶变换系数,即直流分量。
2)计算CFA采样图像信号s(n)的傅里叶表达式S(w),其中,通过A(w)、B(w)表示S(w),根据实施例一中的公式(2)及公式(3)(4)可以得到:
S ( w ) = G ( w ) + C r ( w ) * A ( w ) + C b ( w ) * B ( w )
= G ( w ) + r 0 A ( w ) + b 0 B ( w ) +
Σ i [ r i A ( w - λ ri ) + r i ‾ A ( w + λ ri ) ] + Σ i [ b i B ( w - λ bi ) + b i ‾ B ( w - λ bi ) ]
其中,A(w)为α(n)=r(n)-g(n)的傅里叶变换表示,B(w)为β(n)=b(n)-g(n)的傅里叶变换。
步骤2:假设调制信号为c(n),其傅里叶变换为C(w),并用cα(n)、cβ(n)分别表示红绿色差的调制信号、蓝绿色差的调制信号,其傅里叶变换分别为Cα(w)和Cβ(w),用步骤1中得到的Cr(w)和Cb(w)设计C(w)的表达式:
当存在不同的λri、λbi时,假设为λri、λbk
C α ( w ) = 1 2 r j r ‾ j [ r j δ ( w - λ rj ) + r ‾ j δ ( w + λ rj ) ]
C β ( w ) = 1 2 b k b ‾ k [ b k δ ( w - λ bk ) + b ‾ k δ ( w + λ bk ) ]
当λri和λbi均相同时,假设λi为λri或者λbi
C ( w ) = Σ i [ a i δ ( w - λ i ) + a i ‾ δ ( w + λ i ) ]
其中,λrj、λbk、λi为分别代表cα(n)、cβ(n)傅里叶变换中非零频率点,rj
Figure BDA00001738048400101
bk
Figure BDA00001738048400102
ak
Figure BDA00001738048400103
表示相应频率点的傅里叶变换系数。
步骤3:用步骤2中的c(n)调制s(n)得到s'(n)=s(n)c(n),对s'(n)进行傅里叶变换为:
DFT [ h ( n ) s ′ ( n ) ] = H ( w ) * S ( w ) * C ( w )
= Σ i [ ( a i r i ‾ + a i ‾ r i ) A ( w ) + ( a i b i ‾ + a i ‾ b i ) B ( w ) ] - - - ( 5 )
其中,DFT表示傅里叶变换,h(n)为低通滤波器,符号*代表卷积操作,
Figure BDA00001738048400107
分别为ai、bi的共轭。
步骤4:计算红绿色差信号α(n)的调制信号cα(n):
使步骤3中的公式(5)中C(w)=Cα(w),则公式(5)表达式中系数满足条件:
Σ i a i r i ‾ + a i ‾ i r i = 1 Σ i a i b i ‾ + a i ‾ b i = 0
若存在非零解,则cα(n)=IDFT[Cα(w)];IDFT表示傅里叶反变换。
步骤5:计算蓝绿色差信号β(n)的调制信号cβ(n):
使步骤3中的公式(5)中C(w)=Cβ(w)则公式(5)表达式中系数满足条件:
Σ i a i r i ‾ + a i ‾ r i = 0 Σ i a i b i ‾ + a i ‾ b i = 1
若存在非零解,则cβ(n)=IDFT[Cβ(w)],IDFT表示傅里叶反变换。
例如,以Bayer CFA为例,说明红绿色差调制信号及蓝绿色差调制信号的计算过程:
1、表示Bayer CFA中红色像素采样点位置;
Figure BDA000017380484001011
表示Bayer CFA中绿色像素采样点位置;
Figure BDA00001738048400111
表示Bayer CFA中蓝色像素采样点位置。
其中,Cr(w)、Cg(w)、Cb(w)(w∈R2)分别表示cr(n)、cg(n)和cb(n)的傅里叶变换:
C r ( w ) = 1 4 [ δ ( w ) - δ ( w - π 0 ) + δ ( w - 0 π ) - δ ( w - π π ) ] C g ( w ) = 1 2 [ δ ( w ) + δ ( w - π π ) ] C b ( w ) = 1 4 [ δ ( w ) + δ ( w - π 0 ) - δ ( w - 0 π ) - δ ( w - π π ) ]
2、Bayer CFA频谱结构为:
S Bayer = DFT g r b g = 1 4 R + 2 G + B B - R R - B - R + 2 G - B
即,
S ( w ) = 1 4 [ A ( w ) + 4 G ( w ) + B ( w )
+ A ( w - 0 π ) - A ( w - π 0 ) - A ( w - π π )
- B ( w - 0 π ) + B ( w - π 0 ) - B ( w - π π )
3、从S(w)表达式中可以看出α(n)和β(n)色差信号在频谱上载频一样,为了用滤波的方法得到2种色差信号,可以分别将α(n)和β(n)调制到低频段,设C(w)为调制信号c(n)的离散傅里叶变换,则s(n)经c(n)调制后为s'(n)=s(n)·c(n),其傅里叶变换为S'(w)=S(w)*C(w)(符号*代表卷积操作),令
C ( w ) = aδ ( w - 0 π ) + bδ ( w - π π ) + cδ ( w - π 0 )
S ′ ( w ) = S ( w ) * C ( w )
= 1 4 [ ( a - b - c ) A ( w ) - ( a + b - c ) B ( w )
+ 4 aG ( w - 0 π ) + 4 bG ( w - π π ) + 4 cG ( w - π 0 )
+ ( a - b - c ) A ( w - 0 π ) + ( b - a + c ) A ( w - π π ) + ( b - a + c ) A ( w - π 0 )
+ ( a + b - c ) A ( w - 0 π ) + ( b + a - c ) A ( w - π π ) - ( a + b - c ) A ( w - π 0 )
1)为了使s'(n)在低频段只包含α(n)色差信号,须使得 1 4 ( a - b - c ) = 1 a + b - c = 0 , 可选择 a = 2 b = - 2 c = 0 , 即调制信号 c ( n ) = 0 4 0 - 4 , 此处调制阵列为cα(n),cα(n)由阵列 c ( n ) = 0 4 0 - 4 周期重复而成。
2)为了使s'(n)在低频段只包含β(n)色差信号,须使得 a - b - c = 0 - 1 4 ( a + b - c ) = 1 , 可选择 a = - 2 b = - 2 c = 0 , 即调制信号 c ( n ) = - 4 0 4 0 , 此处调制阵列为cβ(n),cβ(n)由阵列 c ( n ) = - 4 0 4 0 周期重复而成。
实施例三
图3示出了本发明实施例三提供的色彩滤镜阵列图像的色彩恢复系统的结构图,为了便于说明,仅示出了与本发明实施例相关的部分。
所述系统包括:获取单元31、调制单元32、滤波单元33及恢复单元34。
获取单元31,用于获取CFA采样图像信号;
调制单元32,用于分别通过红绿色差调制信号及蓝绿色差调制信号,调制所述CFA采样图像信号,使CFA采样图像信号中的红绿色差信号及蓝绿色差信号调制至低频段;
滤波单元33,用于分别对红绿色差调制信号及蓝绿色差调制信号调制后的CFA采样图像信号进行低通滤波,获取红绿色差信号和蓝绿色差信号;
恢复单元34,用于根据所述红绿色差信号和蓝绿色差信号,恢复绿色通道信号,红色通道信号及蓝色通道信号。
可选的,所述恢复单元34:具体用于根据所述红绿色差信号和蓝绿色差信号,恢复绿色通道信号,以及根据所述红绿色差信号及所述绿色通道信号,恢复红色通道信号,根据所述蓝绿色差信号及所述绿色通道信号,恢复蓝色通道信号。
可选的,所述系统还包括修正单元,用于修正所述绿色通道信号,红色通道信号及蓝色通道信号。
本发明实施例提供的色彩滤镜阵列图像的色彩恢复系统可以使用在前述对应的方法实施例一中,详情参见上述实施例一的描述,在此不再赘述。
实施例四
图4示出了本发明实施例四提供的色彩滤镜阵列图像的色彩恢复系统的结构图,为了便于说明,仅示出了与本发明实施例相关的部分。
所述系统包括:获取单元41、计算单元42、调制单元43、滤波单元44、恢复单元45及修正单元46。
本实施例与实施例三的区别在于:
可选的,计算单元42,用于通过对CFA采样图像信号,及色彩滤镜阵列的红色分量信号和蓝色分量信号在傅里叶变换域进行分析,计算红绿色差信号的调制信号和蓝绿色差信号的调制信号。
可选的,所述计算单元42还包括:
计算模块421,用于计算CFA采样图像信号的傅里叶变换,及色彩滤镜阵列的红色分量信号和蓝色分量信号的傅里叶变换;
设计模块422,用于根据所述红色分量信号和蓝色分量信号的傅里叶变换的载频,设计调制信号的傅里叶变换;
调制模块423,用于通过调制信号,调制CFA采样图像信号,并对调制后的CFA采样图像信号进行傅里叶变换,调制后的CFA采样图像信号的傅里叶变换为:CFA采样图像信号的傅里叶变换与调制信号的傅里叶变换的卷积;
所述计算模块421,还用于通过调整所述调制信号的傅里叶变换系数,调整所述调制后的CFA采样图像信号经调制后的傅里叶变换所包含的色差分量,计算红绿色差信号的调制信号,及蓝绿色差信号的调制信号。
本发明实施例提供的色彩滤镜阵列图像的色彩恢复系统可以使用在前述对应的方法实施例二中,详情参见上述实施例二的描述,在此不再赘述。
值得注意的是,上述装置和系统实施例中,所包括的各个单元只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
另外,本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,相应的程序可以存储于一计算机可读取存储介质中,所述的存储介质,如ROM/RAM、磁盘或光盘等。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (11)

1.一种色彩滤镜阵列图像的色彩恢复方法,其特征在于,所述方法包括:
获取CFA采样图像信号;
分别通过红绿色差调制信号及蓝绿色差调制信号,调制所述CFA采样图像信号,使CFA采样图像信号中的红绿色差信号及蓝绿色差信号调制至低频段;
分别对红绿色差调制信号及蓝绿色差调制信号调制后的CFA采样图像信号进行低通滤波,获取红绿色差信号和蓝绿色差信号;
根据所述红绿色差信号和蓝绿色差信号,恢复绿色通道信号,红色通道信号及蓝色通道信号。
2.如权利要求1所述的方法,其特征在于,所述根据所述红绿色差信号和蓝绿色差信号,恢复绿色通道信号,红色通道信号及蓝色通道信号之后,所述方法还包括:
修正所述绿色通道信号,红色通道信号及蓝色通道信号。
3.如权利要求1所述的方法,其特征在于,所述根据所述红绿色差信号和蓝绿色差信号,恢复绿色通道信号,红色通道信号及蓝色通道信号具体为:
根据所述红绿色差信号和蓝绿色差信号,恢复所述CFA采样图像信号的绿色通道信号;
根据所述红绿色差信号及所述绿色通道信号,恢复CFA采样图像的红色通道信号,根据所述蓝绿色差信号及所述绿色通道信号,恢复CFA采样图像的蓝色通道信号。
4.如权利要求1所述的方法,其特征在于,所述分别通过红绿色差调制信号及蓝绿色差调制信号,调制所述CFA采样图像信号至低频之前,所述方法还包括:
通过对CFA采样图像信号,及色彩滤镜阵列的红色分量信号和蓝色分量信号在傅里叶变换域进行分析,计算红绿色差信号的调制信号和蓝绿色差信号的调制信号。
5.如权利要求4所述的方法,其特征在于,所述通过对CFA采样图像信号,及色彩滤镜阵列的红色分量信号和蓝色分量信号在傅里叶变换域进行分析,计算红绿色差信号的调制信号和蓝绿色差信号的调制信号具体为:
计算CFA采样图像信号的傅里叶变换,及色彩滤镜阵列的红色分量信号和蓝色分量信号的傅里叶变换;
根据所述红色分量信号和蓝色分量信号的傅里叶变换的载频,设计调制信号的傅里叶变换;
通过调制信号,调制CFA采样图像信号,并对调制后的CFA采样图像信号进行傅里叶变换,调制后的CFA采样图像信号的傅里叶变换为:CFA采样图像信号的傅里叶变换与调制信号的傅里叶变换的卷积;
通过调整所述调制信号的傅里叶变换系数,调整所述调制后的CFA采样图像信号经调制后的傅里叶变换所包含的色差分量,计算红绿色差信号的调制信号,及蓝绿色差信号的调制信号。
6.如权利要求5所述的方法,其特征在于,所述计算CFA采样图像信号的傅里叶变换,及色彩滤镜阵列的红色分量信号和蓝色分量信号的傅里叶变换为:
CFA采样图像信号s(n)的傅里叶变换S(w)、色彩滤镜阵列的红色分量信号cr(n)和蓝色分量信号cb(n)的傅里叶变换Cr(w)和Cb(w)为:
C r ( w ) = r 0 δ ( w ) + Σ i [ r i δ ( w - λ ri ) + r ‾ i δ ( w + λ ri ) ]
C b ( w ) = b 0 δ ( w ) + Σ i [ b i δ ( w - λ bi ) + b ‾ i δ ( w + λ bi ) ]
S ( w ) = G ( w ) + C r ( w ) * A ( w ) + C b ( w ) * B ( w )
= G ( w ) + r 0 A ( w ) + b 0 B ( w ) +
Σ i [ r i A ( w - λ ri ) + r i ‾ A ( w + λ ri ) ] + Σ i [ b i B ( w - λ bi ) + b i ‾ B ( w - λ bi ) ]
其中,n=(n1,n2),表示像素位置,w=(wx,wy)为角频率,且wx,wy∈[-π,π)分别为水平方向与垂直方向上的角频率,δ(w)为克罗内克δ函数,λri、λbi分别代表cr(n)、cb(n)傅里叶变换中非零频率点,ri、bi表示相应频率点的傅里叶变换系数,
Figure FDA00001738048300031
分别为ri、bi的共轭,r0、b0表示表示cr(n)、cb(n)的直流分量,A(w)表示红绿色差信号α(n)=r(n)-g(n)的傅里叶变换、B(w)表示蓝绿色差信号β(n)=b(n)-g(n)的傅里叶变换,符号*代表卷积操作;
所述根据所述红色分量信号和蓝色分量信号的傅里叶变换的载频,设计调制信号的傅里叶变换具体为:
根据所述红色分量信号cr(n)的傅里叶变换Cr(w)和蓝色分量信号cb(n)的傅里叶变换Cb(w)的载频,设计调制信号c(n)的傅里叶变换C(w)、红绿色差信号的调制信号cα(n)的傅里叶变换为Cα(w)、以及蓝绿色差信号的调制信号cβ(n)的傅里叶变换Cβ(w)为:
a、当存在不同的λri、λbi时,假设为λrj、λbk时:
C α ( w ) = 1 2 r j r ‾ j [ r j δ ( w - λ rj ) + r ‾ j δ ( w + λ rj ) ]
C β ( w ) = 1 2 b k b ‾ k [ b k δ ( w - λ bk ) + b ‾ k δ ( w + λ bk ) ]
b、当λri和λbi均相同时,
Figure FDA00001738048300034
λi为λri或者λbi
所述通过所述调制信号,调制CFA采样图像信号,并对调制后的CFA采样图像信号进行傅里叶变换,调制后的CFA采样图像信号的傅里叶变换为:所述CFA采样图像信号的傅里叶变换与调制信号的傅里叶变换的卷积具体为:
根据调制信号c(n)调制CFA采样图像信号s(n),得到调制后的CFA采样图像信号s'(n)=s(n)c(n),对s'(n)进行傅里叶变换为:
DFT [ h ( n ) s ′ ( n ) ] = H ( w ) * S ( w ) * C ( w ) 公式1
= Σ i [ ( a i r i ‾ + a i ‾ r i ) A ( w ) + ( a i b i ‾ + a i ‾ b i ) B ( w ) ]
其中,DFT表示傅里叶变换,h(n)为低通滤波器,符号*代表卷积操作,
Figure FDA00001738048300037
Figure FDA00001738048300038
分别为ai、bi的共轭;
所述通过调整所述调制信号的傅里叶变换系数,调整所述调制后的CFA采样图像信号经调制后的傅里叶变换所包含的色差分量,计算红绿色差信号的调制信号,及蓝绿色差信号的调制信号具体为:
c、在公式1中,使C(w)=Cα(w),则公式1表达式中系数满足条件:
Σ i a i r i ‾ + a i ‾ i r i = 1 Σ i a i b i ‾ + a i ‾ b i = 0
若存在非零解,则cα(n)=IDFT[Cα(w)],IDFT表示傅里叶反变换;
d、在公式1中,使C(w)=Cβ(w),则公式1表达式中系数满足条件:
Σ i a i r i ‾ + a i ‾ r i = 0 Σ i a i b i ‾ + a i ‾ b i = 1
若存在非零解,则cβ(n)=IDFT[Cβ(w)],IDFT表示傅里叶反变换。
7.一种色彩滤镜阵列图像的色彩恢复系统,其特征在于,所述系统包括:
获取单元,用于获取CFA采样图像信号;
调制单元,用于分别通过红绿色差调制信号及蓝绿色差调制信号,调制所述CFA采样图像信号,使CFA采样图像信号中的红绿色差信号及蓝绿色差信号调制至低频段;
滤波单元,用于分别对红绿色差调制信号及蓝绿色差调制信号调制后的CFA采样图像信号进行低通滤波,获取红绿色差信号和蓝绿色差信号;
恢复单元,用于根据所述红绿色差信号和蓝绿色差信号,恢复绿色通道信号,红色通道信号及蓝色通道信号。
8.如权利要求7所述的系统,其特征在于,所述系统还包括:
修正单元,用于修正所述绿色通道信号,红色通道信号及蓝色通道信号。
9.如权利要求7所述的系统,其特征在于,所述恢复单元:具体用于根据所述红绿色差信号和蓝绿色差信号,恢复所述CFA采样图像信号的绿色通道信号,以及根据所述红绿色差信号及所述绿色通道信号,恢复CFA采样图像的红色通道信号,根据所述蓝绿色差信号及所述绿色通道信号,恢复CFA采样图像的蓝色通道信号。
10.如权利要求7所述的系统,其特征在于,所述系统还包括:
计算单元,用于通过对CFA采样图像信号,及色彩滤镜阵列的红色分量信号和蓝色分量信号在傅里叶变换域进行分析,计算红绿色差信号的调制信号和蓝绿色差信号的调制信号。
11.如权利要求10所述的系统,其特征在于,所述计算单元包括:
计算模块,用于计算CFA采样图像信号的傅里叶变换,及色彩滤镜阵列的红色分量信号和蓝色分量信号的傅里叶变换;
设计模块,用于根据所述红色分量信号和蓝色分量信号的傅里叶变换的载频,设计调制信号的傅里叶变换;
调制模块,用于通过调制信号,调制CFA采样图像信号,并对调制后的CFA采样图像信号进行傅里叶变换,调制后的CFA采样图像信号的傅里叶变换为:CFA采样图像信号的傅里叶变换与调制信号的傅里叶变换的卷积;
所述计算模块,还用于通过调整所述调制信号的傅里叶变换系数,调整所述调制后的CFA采样图像信号经调制后的傅里叶变换所包含的色差分量,计算红绿色差信号的调制信号,及蓝绿色差信号的调制信号。
CN201210187315.2A 2012-06-07 2012-06-07 一种色彩滤镜阵列图像的色彩恢复方法及系统 Expired - Fee Related CN102752603B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210187315.2A CN102752603B (zh) 2012-06-07 2012-06-07 一种色彩滤镜阵列图像的色彩恢复方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210187315.2A CN102752603B (zh) 2012-06-07 2012-06-07 一种色彩滤镜阵列图像的色彩恢复方法及系统

Publications (2)

Publication Number Publication Date
CN102752603A true CN102752603A (zh) 2012-10-24
CN102752603B CN102752603B (zh) 2015-12-02

Family

ID=47032477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210187315.2A Expired - Fee Related CN102752603B (zh) 2012-06-07 2012-06-07 一种色彩滤镜阵列图像的色彩恢复方法及系统

Country Status (1)

Country Link
CN (1) CN102752603B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107451954A (zh) * 2017-05-23 2017-12-08 南京邮电大学 基于图像低秩性质的迭代像素插值方法
CN107851306A (zh) * 2015-08-20 2018-03-27 高通股份有限公司 用于可配置解调制的系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101227620A (zh) * 2007-11-14 2008-07-23 北京大学 滤色阵列及其获取方法
CN102170572A (zh) * 2010-06-22 2011-08-31 上海盈方微电子有限公司 一种新型边缘自适应cfa彩色图像插值方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101227620A (zh) * 2007-11-14 2008-07-23 北京大学 滤色阵列及其获取方法
CN102170572A (zh) * 2010-06-22 2011-08-31 上海盈方微电子有限公司 一种新型边缘自适应cfa彩色图像插值方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107851306A (zh) * 2015-08-20 2018-03-27 高通股份有限公司 用于可配置解调制的系统及方法
CN107851306B (zh) * 2015-08-20 2022-02-11 高通股份有限公司 用于可配置解调制的系统及方法
CN107451954A (zh) * 2017-05-23 2017-12-08 南京邮电大学 基于图像低秩性质的迭代像素插值方法

Also Published As

Publication number Publication date
CN102752603B (zh) 2015-12-02

Similar Documents

Publication Publication Date Title
US8229212B2 (en) Interpolation system and method
Ramanath et al. Demosaicking methods for Bayer color arrays
CN102170572A (zh) 一种新型边缘自适应cfa彩色图像插值方法
CN102655564A (zh) 图像处理设备、图像处理方法以及程序
JP6476716B2 (ja) チャネル間の非線形劣化の補償装置及び補償方法
JP2000134634A (ja) 画像変換方法
CN102752603A (zh) 一种色彩滤镜阵列图像的色彩恢复方法及系统
CN108734668A (zh) 图像色彩恢复方法、装置、计算机可读存储介质及终端
Wang et al. Image demosaicking for Bayer-patterned CFA images using improved linear interpolation
US20120294513A1 (en) Image processing apparatus, image processing method, program, storage medium, and learning apparatus
TWI686083B (zh) 影像增強電路及影像增強方法
US20050058361A1 (en) Image processing apparatus
De Lavarène et al. Practical implementation of LMMSE demosaicing using luminance and chrominance spaces
CN1189259A (zh) 一种信号编码和译码的方法及装置
CN102769745A (zh) 插值依赖的图像自适应下采样方法
Condat A new color filter array with optimal sensing properties
CN114612347A (zh) 一种多模块级联的水下图像增强方法
CN114066736A (zh) 一种模板信息辅助的彩色图像去马赛克方法
Zhang et al. Joint denoising and demosaicking of noisy cfa images based on inter-color correlation
Li et al. The frequency structure matrix: A representation of color filter arrays
CN101227620A (zh) 滤色阵列及其获取方法
US20190251669A1 (en) Image enhancement circuit and method thereof
Singh et al. Linear universal demosaicking of regular pattern color filter arrays
KR20090020918A (ko) 영상 보간 방법 및 장치
Iriyama et al. Color filter array interpolation using cellular neural networks considering self-congruence

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151202