CN103873837A - 用于颜色恢复的设备和方法 - Google Patents

Abstract

提供一种用于颜色恢复的设备和方法。所述方法包括：通过使用输入图像中的颜色通道和NIR通道之间的相关性，从输入图像的信息分离近红外（NIR）通道的多个频带信息；从NIR通道的多个频带信息和从颜色通道估计的NIR通道的估计的多个频带信息获得NIR通道的估计的不可见光频带信息；基于NIR通道的估计的不可见光频带信息估计颜色通道的不可见光频带信息；通过从包括在输入图像的信息中的颜色通道的多个频带信息去除颜色通道的估计的不可见光频带信息，来恢复颜色通道的可见光频带图像。

Description

用于颜色恢复的设备和方法

本申请要求于2012年12月14日提交到韩国知识产权局的第10-2012-0146625号韩国专利申请的优先权，其公开通过引用全部合并于此。

技术领域

与示例性实施例一致的设备和方法涉及恢复从多光谱滤光器阵列（MFA）获得的图像的颜色。

背景技术

从多光谱滤光器阵列（MFA）获得图像，以便同时获得自然颜色、关于近红外（NIR）频带的详细信息、或在夜间环境中提高的灵敏度。

为了这个目的，应提高每个通道图像的分辨率，并且应恢复它们的颜色。具体地，MFA图像处理操作中的颜色恢复应优于原本的颜色。就这一点而言，已进行了将输入图像转换为具有用户期望的色调和基调的照片的研究。该研究的目的是为了基于输入图像和目标图像的特性的分析来实现颜色变换。也就是说，已研究了通过基于两个图像（输入图像和目标图像）之间的相似性来对每个图像的统计颜色分布进行分析，以实现颜色变换的技术。

例如，存在在相同颜色空间中的颜色变换方法（如颜色变换），从而在可见光频带中的图像被变换为在可见光频带中的另一图像。然而，在颜色变换方法中，当在不同颜色空间中执行颜色变换时，颜色被严重损坏。

另外，当在颜色恢复处理中考虑信噪比（SNR）时，存在图像的细节被损坏或颜色恢复性能被降低的妥协（trade-off）。详细地，当假设信噪比的相对重要性高于真实性时，保持颜色恢复性能而不保持SNR。因此，可在平坦区域产生损坏低频信号的分量，或可损坏高频信号的细节。与此不同，当假设信噪比的相对重要性低于真实性时，执行颜色恢复处理的相对重要性降低。因此，倾向于保持输入图像的原始信号分量和细节，同时平坦区域的分量被较好地保护，但是颜色的色度大大低于真实性。

发明内容

一个或多个示例性实施例提供在图像融合操作中恢复图像的颜色的方法，所述图像融合操作融合关于可见光频带的信息和关于可见光频带的信息。

一个或多个示例性实施例还提供这样一种方法，该方法从在不使用额外物理滤光器的情况下从多光谱滤光器阵列（MFA）获得的R、G、B和N图像R_all、G_all、B_all和N_all（下标“all”是包括可见光频带和不可见光频带的所有频带图像）恢复R、G和B颜色R_vis、G_vis和B_vis（下标“vis”是可见光频带图像）。

一个或多个示例性实施例还提供一种恢复图像的颜色的方法，其中，通过克服当在不同颜色空间中执行颜色变换（如在将可同时获得可见光频带和不可见光频带的传感器的颜色空间移动到仅可获得可见光频带的传感器的颜色空间的操作中）时发生的颜色空间之间的差。

一个或多个示例性实施例还提供一种通过使用自适应颜色系数来恢复图像的颜色的方法，以即使当考虑信噪比（SNR）时，也提高颜色恢复性能并防止损坏图像的细节。

根据一方面，提供一种颜色恢复方法，所述方法包括：通过使用输入图像中的颜色通道和NIR通道之间的相关性，从输入图像的信息分离近红外（NIR）通道的多个频带信息；从NIR通道的多个频带信息和从颜色通道估计的NIR通道的估计的多个频带信息获得NIR通道的估计的不可见光频带信息；基于NIR通道的估计的不可见光频带信息估计颜色通道的不可见光频带信息；通过从包括在输入图像的信息中的颜色通道的多个频带信息去除颜色通道的估计的不可见光频带信息，来恢复颜色通道的可见光频带图像。

可通过下面的等式指示颜色通道和NIR通道之间的相关性：

$\left(\begin{array}{c}{R}_v\\ G_v\\ B_v\end{array}\right)=\left(\begin{array}{c}R\\ G\\ B\end{array}\right)-K\left(\begin{array}{ccc}{\mathrm{\α}}_r\left(c\right)& 0& 0\\ 0& {\mathrm{\α}}_g\left(c\right)& 0\\ 0& 0& {\mathrm{\α}}_b\left(c\right)\end{array}\right)\left(\begin{array}{cccc}-{\widetilde{\mathrm{\ω}}}_r& -{\widetilde{\mathrm{\ω}}}_g& -{\widetilde{\mathrm{\ω}}}_b& 1\\ -{\widetilde{\mathrm{\ω}}}_r& -{\widetilde{\mathrm{\ω}}}_g& -\widetilde{{\mathrm{\ω}}_b}& 1\\ -{\widetilde{\mathrm{\ω}}}_r& -{\widetilde{\mathrm{\ω}}}_g& -{\widetilde{\mathrm{\ω}}}_b& 1\end{array}\right)\left(\begin{array}{c}R\\ G\\ B\\ N\end{array}\right)$

其中，α_r(c)、α_g(c)和α_b(c)是针对输入图像的实际可见光频带信息和估计的可见光频带信息之间的差最小的情况选择的自适应色度系数，c是像素的色度分量，K是常数，

和

是指示考虑噪声值的在可见光频带中的R、G和B通道与NIR通道之间的相关性的估计值。

所述方法可还包括：计算输入图像的可见光频带信息和估计的可见光频带信息之间的差，其中，基于差是最小的情况，执行从输入图像分离NIR通道的多个频带信息的步骤。

所述方法可还包括：针对差最小的情况，获得自适应色度系数；使用自适应色度系数抑制颜色通道和NIR通道之间的干扰。

根据另一方面，提供一种颜色恢复设备包括：通道相关性检查单元，配置用于通过使用输入图像中的颜色通道和NIR通道之前的相关性从输入图像的信息分离近红外（NIR）通道的多个频带信息；自适应增益控制（AGC）单元，配置用于从NIR通道的多个频带信息和从颜色通道估计的NIR通道的估计的多个频带信息获得NIR通道的估计的不可见光频带信息；可见光频带信息恢复单元，配置用于基于NIR通道的估计的不可见光频带信息估计颜色通道的不可见光频带信息，通过从包括在输入图像的信息中的颜色通道的多个频带信息去除颜色通道的估计的不可见光频带信息来恢复颜色通道的可见光频带图像。

AGC单元可被配置用于通过使用等式

获得NIR通道的估计的不可见光频带信息，

其中， $\mathrm{\λ}=\frac{\frac{1}{r}\×{\hat{N}}_{\mathrm{nir}}}{(\frac{1}{r}-1)\×N_{\mathrm{all}}\×K+{\hat{N}}_{\mathrm{nir}}}$

其中，N_all是NIR通道的多个频带信息，N^_all是从颜色通道估计的估计的多个频带信息，r是大于0小于1的常数，K是另一常数。

附图说明

通过参照附图详细描述示例性实施例，上述和其它方面将变得更加清楚，其中：

图1是根据示例性实施例的相机系统的示意性框图；

图2示出理想滤光器的光谱分布的示例；

图3示出显示根据示例性实施例的R通道、G通道和B通道与N通道之间的相关性的示图；

图4示出根据示例性实施例的获得指示N通道与R通道、G通道和B通道之间的线性相关性的系数的示例；

图5示出根据示例性实施例的自适应地估计颜色系数的实施例；

图6示出根据示例性实施例的用于即使当近红外（NIR）频带信息的相对重要性大时，也防止损坏图像的细节的自适应增益控制（AGC）的构思；

图7示出根据示例性实施例的等式12的r被设置为4并且在模糊中使用均匀掩膜（uniform mask）的实施例；

图8示出根据示例性实施例的当使用RGBN传感器时，在颜色恢复处理中的损坏的示例；

图9示出根据示例性实施例的光学饱和曲线的示例；

图10示出根据示例性实施例的颜色恢复设备的内部结构的示例；

图11示出根据另一示例性实施例的颜色恢复设备的内部结构。

具体实施方式

在这里使用的术语用于描述本发明构思的示例性实施例，而不是限制本发明构思。除非另有定义，否则单数形式可包括复数形式。术语“包括”和/或“包含”表示提及的形状、数量、步骤、操作、元件、组件和/或它们的组，但不排除存在或添加其它形状、数量、步骤、操作、元件、组件和/或它们的组中的至少一个。

除非另有定义，否则这里使用的所有术语（包括技术术语和科学术语）具有与示例性实施例所属领域的普通技术人员通常理解的含义相同的含义。还将理解，除非这里确切地定义，否则术语（诸如在常用词典中定义的那些术语）应被解释为具有与它们在相关技术的上下文中的含义一致的含义，而不应被理想化或过于正式地解释。

图1是根据示例性实施例的相机系统1的示意性框图。

本发明可应用于使用具有RGB+NIR结构的传感器的数字相机系统。

参照图1，相机系统1包括图像传感器10、图像处理设备30和显示设备50。相机系统1可以是图像捕获系统（诸如，数字相机、摄像机或监视相机），并还可被安装在计算机、个人数字助理（PDA）、便携式多媒体播放器（PMP）或移动电话上。

图像传感器10使用光电转换装置，诸如电荷耦合器件（CCD）或互补金属氧化物半导体（CMOS）图像传感器。图像传感器10包括像素阵列，在所述像素阵列中，多个像素通过使用光电转换装置将光信号转换为电子图像信号。

通过可见光和不可见光的多光谱滤光器阵列（MFA）被布置在图像传感器10上。MFA包括颜色滤光器RCF、GCF、BCF和近红外滤光器（NIRF），其中，颜色滤光器RCF、GCF和BCF允许可见频带（400nm到700nm）的范围中的可见光频带中的光的分量（诸如，R、G和B光）通过颜色滤光器RCF、GCF和BCF，NIRF允许不可见频带（700nm到1100nm）的范围中的近红外区域中的光分量通过NIRF。

MFA的颜色滤光器RCF、GCF和BCF以及NIRF被布置与图像传感器10的各个像素的数量相应，图像传感器10的各个像素检测颜色通道信号R、G和B以及NIR通道信号（在下文中，称为“N”）。接收光信号的镜头（未示出）可被布置在图像传感器10的前端。

[根据照明环境的颜色分布限制]

在通过MFA的颜色通道信号R、G和B以及近红外通道信号N中，关于四个通道之中的一个通道的光谱频带的信息可能无法与关于四个通道之中的另一个通道的光谱频带的信息分离。而是，可同时获得关于不同的通道的光谱频带的信息。

详细地，当近红外频带受限制并且仅获得关于可见光频带的信息时，颜色通道获得分别关于与RGB相应的三个波长（或光谱）频带的信息，从而可基于关于所述三个波长频带的信息区分颜色。也就是说，当使用红外截止滤光器（IRCF）只接收关于可见光频带的信息时，可区分与人眼识别的信息和颜色相同的信息和颜色。

然而，当在每个颜色通道在没有任何限制的情况下接收到关于NIR频带的信息时，每个颜色通道获得关于NIR频带的信息，从而难以获得关于每个颜色通道的独立波长频带的信息。

具体地，当通过不具有或去除IRCF来使可见光频带中的图像和NIR频带中的图像彼此混合时，可见光频带的全部颜色可变得与它的原始颜色不同。

关于颜色对比度，不论IRCF是否存在，通道的输入波长几乎均匀地分布在400nm到700nm的可见光频带中，但由于IRCF的存在，使它们不同地分布在700nm或以上的频带中。

详细地，在550nm至700nm的范围中的R通道的带宽从550nm增加到1100nm，使得在去除了IRCF的图像中的红色必然增加。另外，G通道和B通道的波长分布在700nm或以上的频带中非线性变化。另外，R、G和B通道的输入在900nm或以上的频带中相似，使得在该频带中接收到的光具有单色。作为结果，如果关于近红外频带的信息被添加到每个颜色通道，则R、G和B通道之间的相似性增加，使颜色之间的对比度受限制。

在诸如太阳光或荧光灯光的照明环境（其中，NIR频带的相对重要性比可见光频带的相对重要性小）中，NIR频带的影响不大。然而，在诸如白炽灯或卤素灯的照明环境（其中，NIR频带的相对重要性比可见光频带的相对重要性大）中，与关于可见光频带的颜色信息相比，关于NIR频带的信息影响颜色获取。作为结果，根据照明环境会限制颜色分布。

[考虑通道之间的相关性的颜色恢复]

根据示例性实施例，建议用于解决与颜色损坏相关的问题的颜色恢复方法，其中，当可同时获得可见光频带和不可见光频带的多频带滤光传感器的颜色空间被移动到仅可获得可见光频带的传感器的颜色空间时，发生所述颜色损坏。

当使用多频带滤光传感器获得图像时，NIRD通道与三个通道（R、G和B通道）一起被获得，这可被表示为等式1a至1d：

R_all=R_vis+R_nir…(1a)

G_all=G_vis+G_nir…(1b)

B_all=B_vis+B_nir…(1c)

N_all=N_vis+N_nir…(1d)

在等式1中示出的使用多频带滤光传感器获得的R_all、G_all、B_all和N_all的波长频带范围在400nm和1100nm之间，除了可见光频带信息以外，获得多条NIR信息。

在这种情况下，可根据波长频带从每个通道获得像素的强度，如等式2中所示：

C=C_vis+C_nir…(2),

其中，C表示由多频带滤光传感器获得的像素的强度。可还通过下面的等式3获得像素的强度。

在等式3中，可通过使用IRCF将仅接收到可见光频带的图像表示为关于光源I(λ)、反射率ρ(λ)和传感器的灵敏度S(λ)的函数。

$C(i,j)={\∫}_{400}^{1100}I\left(\mathrm{\λ}\right){\mathrm{\ρ}}_C\left(\mathrm{\λ}\right)S(i,j,\mathrm{\λ})\mathrm{d\λ}$

在等式2和等式3中，C_vis和C_nir分别表示可见光频带的强度和不可见光频带的强度。也就是说，当使用包括混合的NIR信息的滤光传感器时，可见光频带的强度和不可见光频带的强度可被表示为可见光频带信息和不可见光频带信息的线性和。

因此，理想地，可通过从全部频带信息中仅去除不可见光频带信息来获得可见光频带的自然色。也就是说，可通过使用等式1从R_all、G_all、B_all和N_all去除R_nir、G_nir和B_nir来获得可见光频带的颜色。

也就是说，在当前实施例中，可通过在从R_all、G_all、B_all和N_all去除N_all之后从R_all、G_all、B_all去除R_nir、G_nir和B_nir，来获得可见光频带的颜色。

为了这个目的，在当前实施例中，使用可见光频带中的波长频带之间的相关性和NIR频带中的波长频带之间的相关性，如等式4a到4c中所示：

N_all(i,j)=N_vis(i,j)+N_nir(i,j)…(4a)

N_vis(i,j)=a_v,r(i,j)×R_vis(i,j)+a_v,g(i,j)×G_vis(i,j)+a_v,b(i,j)×B_vis(i,j)…(4b)

N_nir(i,j)=a_v,r(i,j)×R_nir(i,j)+a_v,g(i,j)×G_nir(i,j)+a_v,b(i,j)×B_nir(i,j)…(4c)

在等式4a到4c中，a_v,r、a_v,g,和a_v,b是指示可见光频带中的R、G和B通道与N通道之间的相关性的变量，a_n,r、a_n,g和a_n,b是指示在NIR频带中的R、G和B通道与N通道之间的相关性的变量。N通道可被称为NIR通道。然而，在文本的描述中，用N通道代替NIR通道。

如图2A所示，在理想滤光器的光谱分布中，可仅在N通道获得NIR频带信息。因此，可使用这些通道之间的关系执行R、G和B通道的颜色恢复。

然而，如图2B所示，在实际滤光器的光谱分布中，可在N通道获得关于可见光频带的信息以及关于NIR频带的信息。因此，如等式4所示，可在N通道将关于可见光频带的信息和关于NIR频带的信息彼此区分。可使用等式4表示R、G和B通道的光谱和N通道的光谱之间的相关性。

根据另一示例性实施例，在以下两种假设下，等式4可不同地表示为如等式5所示：

首先，假设滤光器的像素位置不影响通道之间的光谱关系。也就是说，假设在滤光器的整个像素位置中，物理特性相同。其次，假设可见光频带中的R、G和B通道与N通道之间的相关性，和NIR频带中的R、G和B通道与N通道之间的相关性彼此相似。等式5如下：

N_all=N_vis+N_nirj=ω_r(R_vis+a_v,n×R_nir)+ω_g(G_vis+a_v,n×G_nir)+ω_b(R_vis+a_v,n×R_nir)…(5)

在等式5中，ω_r,、ω_g,和ω_b是指示可见光频带中的R、G和B通道与N通道之间的相关性的变量，a_v,n是补充在NIR频带中的R、G和B通道与N通道之间的不同相对重要性的变量。

在当前实施例中，为了通过在从R_all、G_all、B_all和N_all去除N_all之后从R_all、G_all、B_all去除R_nir、G_nir和B_nir，来获得可见光频带的颜色，首先，在从N_all通道分离NIR频带信息N_nir之后，应基于分离的N^_nir（不是确切的N_nir值，而是指示通过计算估计的值）从R、G和B通道估计NIR频带信息R^_nir、G^_nir和B^_nir（见图3和图4）。

在当前实施例中，可使用等式10至等式12来计算N^_nir。

图3示出显示R、G和B通道与N通道之间的相关性的曲线图。

如图3所示，N通道与R、G和B通道中的每一个之间的相关性不同。然而，N通道与R、G和B通道中的每一个之间具有线性相关性310、320和330。

图4示出获得指示N通道与R、G和B通道之间的线性相关性的系数的示例。

在图4中，集1和集2表示在考虑噪声水平之前和之后在N通道获得的最终系数α_R、α_G和α_B。集3通过使用采用在理想情况下的物理滤光器获得的N通道表示最终系数α_R、α_G和α_B。

在这种情况下，各个系数具有不同特性，但是R、G和B通道的系数的比例（即，NIR频带中的R、G和B通道的值的比例）可恒定地保持（400）。当通过使用相同方法从户外图像获得系数时，与线性相关性有关的梯度不同，但是不论方法（410）如何，R、G和B通道的系数的比例可恒定地保持。

如图3和图4所示，在等式6中示出基于R、G和B通道与N通道之间的相关性来恢复可见光频带图像的颜色的方法。

$\left(\begin{array}{c}{R}_v\\ G_v\\ B_v\end{array}\right)=\left(\begin{array}{c}R\\ G\\ B\end{array}\right)-K\left(\begin{array}{ccc}{\mathrm{\α}}_r& 0& 0\\ 0& {\mathrm{\α}}_g& 0\\ 0& 0& {\mathrm{\α}}_b\end{array}\right)\left(\begin{array}{cccc}-{\mathrm{\ω}}_r& -{\mathrm{\ω}}_g& -{\mathrm{\ω}}_b& 1\\ -{\mathrm{\ω}}_r& -{\mathrm{\ω}}_g& -{\mathrm{\ω}}_b& 1\\ -{\mathrm{\ω}}_r& -{\mathrm{\ω}}_g& -{\mathrm{\ω}}_b& 1\end{array}\right)\left(\begin{array}{c}R\\ G\\ B\\ N\end{array}\right)\·\·\·\left(6\right)$

在等式6，K是被定义为a_v,n/(a_v,n-1)的常数，α_r、α_g和α_b是指示NIR频带中的N通道与R、G和B通道的比例的变量。ω_r、ω_g和ω_b是指示在可见光频带中的R、G和B通道与N通道之间的相关性的变量。

[通道和颜色恢复之间的干扰的抑制]

等式1到等式6基于以下构思：理想地，可通过从整个频带信息去除NIR频带信息来获得可见光频带的自然色。

然而，从实际输入图像获得除了可见光频带信息和NIR频带信息以外噪声分量。例如，存在由传感器的不均匀的灵敏性引起的噪声和由热引起的噪声。当在不考虑这些的情况下执行颜色恢复时，没有在实际信号中突出的噪声被突出。

因此，当通过从整个频带信息仅去除NIR频带信息来执行颜色恢复时，实际上，信号分量的相对重要性降低，而由于颜色恢复的误差，在颜色恢复处理中增加或添加噪声分量，使得信噪比（SNR）可能大大降低。具体地，在诸如白炽灯的光源中这个现象可经常发生，在白炽灯中，NIR频带的能量的相对重要性比可见光频带的能量的相对重要性大。

当假设从白炽光源获得的图像作为SNR正常输入条件，如果在输入图像中考虑比实际低的SNR，则颜色恢复性能降低，并且大量NIR频带分量保持。与此相反，当在输入图像中考虑比实际高的SNR时，NIR频带分量被较好地去除，颜色恢复性能提高，但在平坦区域中的颜色恢复的误差可被放大。

作为结果，与如等式1到等式6所示的基于R、G和B通道与N通道之间的相关性的颜色恢复方法相比，颜色恢复的误差被放大。具体地，用于N通道光谱分离的系数（等式6的K、ω_r、ω_g、ω_b）的误差被放大。

因此，在示范性实施例中，建议颜色恢复方法，从而即使当考虑SNR时，也可提高颜色恢复性能，可防止图像的细节的损坏，并且可防止当执行N通道估计处理时发生的误差的放大。

为了这个目的，在当前实施例中，在颜色恢复中使用色度自适应系数。图5示出自适应估计颜色系数的实施例。

使用通过使用两维色度信号平面分析色标（color patch）在色度信号上的分布的方法来总体分析三维RGB颜色信号。在这种情况下，图5中示出的归一化色度信号平面用于去除对强度的影响。

可使用根据基于上述方法的颜色的k均值聚类方法确定具有最小误差的K组，可在色度信号平面上获得K组的中心。K均值聚类方法是基于给定数据之间的相关性来设置多个组的方法，从而通过对K个任意中心执行迭代来找到具有最小误差的最佳组中心。

参照图5，可从示出为R-C相比于G-B、R-C相比于N-B以及G-B相比于N-B的色度信号平面确定各个颜色的三个组，以获得所述组的中心。输入的任意颜色被布置的位置和三个代表性的颜色组之间的距离被计算为用于获得补偿的颜色的权重。

然而，由于当获得色标之间的误差时，在给定颜色图上的颜色采样不包括所有颜色，因此在产生的组之间会发生不平衡。也就是说，当红色采样的数量大时，与红色有关的组增加。作为结果，可能无法较好地考虑其它颜色。

为了补充这点，根据示例性实施例，使用在等式7a和等式7b中示出的基于线性回归的误差估计方法。

$A_k=\underset{A_k}{\arg \min }\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{w}_i{\left|\right|x_i-A_k{y}_i\left|\right|}^2\·\·\·\left(7a\right)$ $A_k={[{\mathrm{\α}}_{r\·k},{\mathrm{\α}}_{g\·k},{\mathrm{\α}}_{b\·k}]}^T\·\·\·\left(7b\right)$

在等式7a和等式7b中，找到A_k，在A_k中，关于实际可见光频带的信息（例如，R_vis）和关于估计的可见光频带的信息R^_vis之间的差最小。

在当前实施例中，对在给定照明环境中捕获的图像执行颜色采样的分组。作为结果，如果获得了组的中心和每个组的变换矩阵，则对相同照明环境中的任意图像执行颜色白适应颜色恢复。

也就是说，当关于每个组的变换矩阵是A_k时，通过使用等式8获得关于任意颜色的变换矩阵。在这种情况下，与色度信号平面上的距离成反比地定义关于每个组的权重。

在等式8中，A_k是关于每个组的变换矩阵，

是关于每个组的权重。作为结果，如等式9中所示，可设置颜色恢复矩阵。

等式9

$\left(\begin{array}{c}{R}_v\\ G_v\\ B_v\end{array}\right)=\left(\begin{array}{c}R\\ G\\ B\end{array}\right)-K\left(\begin{array}{ccc}{\mathrm{\α}}_r\left(c\right)& 0& 0\\ 0& {\mathrm{\α}}_g\left(c\right)& 0\\ 0& 0& {\mathrm{\α}}_b\left(c\right)\end{array}\right)\left(\begin{array}{cccc}-{\widetilde{\mathrm{\ω}}}_r& -{\widetilde{\mathrm{\ω}}}_g& -{\widetilde{\mathrm{\ω}}}_b& 1\\ -{\widetilde{\mathrm{\ω}}}_r& -{\widetilde{\mathrm{\ω}}}_g& -{\widetilde{\mathrm{\ω}}}_b& 1\\ -{\widetilde{\mathrm{\ω}}}_r& -{\widetilde{\mathrm{\ω}}}_g& -{\widetilde{\mathrm{\ω}}}_b& 1\end{array}\right)\left(\begin{array}{c}R\\ G\\ B\\ N\end{array}\right)\·\·\·\left(9\right)$

通过等式9通过从输入图像RGB减去以下值来获得在等式9中由Rv表示的关于估计的可见光频带的信息R＾vis，其中，通过将输入图像RGBN乘以在等式9中解密的系数并将相乘后的值相加来计算所述值。

α_r(c)、α_g(c)和α_b(c)是指示根据色度分量白适应变化的NIR频带中的R、G和B通道与N通道之间的相关性的系数，c表示像素的色度分量。

等式9的系数α_r(c)、α_g(c)和α_b(c)可被表示为关于色度分量的函数的形式，并可通过A_k(A_k=[α_r，k，α_g，k，α_r，k]^T)被获得，并根据颜色白适应变化，在A_k(A_k=[α_r，k,α_g，k，α_b，k，]^T)中，关于实际可见光频带的信息(例如，R_vis)和关于估计的可见光频带的信息R＾_vis之间的差最小。

和

是考虑噪声水平而从等式6的ω_r、ω_g和ω_b估计的系数。这些系数包括根据输入图像的SNR水平而被选择的集。

[防止增加输入图像的误差的颜色恢复]

如参照等式7a到等式9的描述，即使当根据基于误差估计的颜色而白适应地抑制通道之间的干扰来恢复颜色时(其中，所述误差估计基于色度白适应系数和线性回归)，如果NIR频带信息的相对重要性大，则图像的细节可能被损坏。

图6示出根据示例性实施例的用于即使当NIR频带信息的相对重要性大时也防止损坏图像细节的白适应增益控制(AGC)的构思。

如下面等式10所示，推断通过将输入N通道的NIR所有频带信息N_an和从R、G和B通道估计的输入N通道的NIR所有频带信息N＾_all之间的差乘以系数K(其中，K是常数)而估计的NIR分量N＾_nir。

$K(N_{\mathrm{all}}-{\hat{N}}_{\mathrm{all}})={\hat{N}}_{\mathrm{nir}}\·\·\·\left(10\right)$

这里，所有频带信息包括可见频带的信息和不可见频带的信息。

在等式10中，通过将R、G和B通道乘以在等式6或等式9中获得的ω_r、ω_g和ω_b来获得N＾_all。在这种情况下，当未考虑噪声时，可使用等式6，当考虑噪声时，可使用等式9。

在这个过程中，当N_all和N＾_all乘以K时，由于N_all和N＾_all之间的差而发生的噪声分量可被放大。因此，产生具有低估计的NIR分量的SNR，这造成在进一步NIR分解处理中的误差。

具体地，K造成值

被放大。在等式10中，K是常数，因此，整个图像被放大。

因此，根据示例性实施例，通过降低N＾_all(r×N＾_all)可增加值

的SNR(610)。这里，r是大于0且小于1的值。然而，在这种情况下，如果值K不变化，估计的NIR图像的值N＾_nir变得与在通过使用等式10执行估计的情况下的值不同。因此，如下面的等式11和等式12所示，添加用于调整值K的值λ(620)。作为结果，在等式11和等式12中，K是变量(不是常数)。

$\mathrm{\λK}(N_{\mathrm{all}}-r{\hat{N}}_{\mathrm{all}})={\hat{N}}_{\mathrm{nir}}\·\·\·\left(11\right)$ $\mathrm{\λ}=\frac{\frac{1}{4}\×{\hat{N}}_{\mathrm{nir}}}{(\frac{1}{r}-1)\×N_{\mathrm{all}}\×K+{\hat{N}}_{\mathrm{nir}}}\·\·\·\left(12\right)$

等式12中的N＾_nir使用在等式10中获得的值。也就是说，在等式11中，在等式12中基于在等式10中获得的N＾_nir计算λ，使得可重新产生新值N＾_nir。通过在等式11中使用r和λ而重新产生的N＾_nir可在保持整体强度的同时保持高SNR。

当使用等式12使图像N_all和N＾_nir模糊时，图像N＾_nir的噪声分量被抑制，并且如图7中所示，图像N＾_nir遵循输入图像N_all(710)的模式。

在图7中，当等式11被应用于N^_nir(720)时，可获得图像N^_nir的噪声分量被抑制的结果（720）。图7示出等式12的r被设置为4以及在模糊处理中使用均匀掩膜的示例性实施例。

[考虑饱和现象的颜色恢复]

图8示出当使用RGBN传感器820时在颜色恢复处理中的损坏的示例。

具有一般Bayer模式的RGB传感器810对输入信号执行颜色处理；然而，示范性实施例中使用的RGBN传感器820接收NIR频带（830）作为输入信号，因此，输入信号的动态范围被损坏。换句话说，当使用相同的快门速度和可变光圈捕获图像时，在没有本实施例中使用的IRCF的情况下，RGBN传感器820的图像比具有一般Bayer模式的RGB传感器的图像暗。

为了解决这个问题，在示例性实施例中，通过对颜色恢复处理应用图9的权重曲线来抑制接近光饱和的区域的颜色恢复。在等式9中，如下面的等式13所示设置阈值（threshold）：

$\mathrm{threshold}=\mathrm{MAX}\left(N_{i,j}^{\mathrm{input}}\right)*0.7\·\·\·\left(13\right),$

其中，N_i，j ^input是NIR图像的像素值。

如等式14中所示设置光饱和曲线函数（curve(x)）：

$\mathrm{curve}\left(x\right)=e^{\frac{4\×{(x-\mathrm{threshold})}^2}{{\mathrm{normal}}^2}}\·\·\·\left(14\right),$

其中，x是输入到到N像素的输入值，normal是作为标准化量（normalizedterm）的常数。

在当前实施例中，通过使用等式13和等式14执行考虑光饱和现象的颜色恢复，使得可减小饱和区域中的NIR去除比例，并可执行恢复到与外围环境相关的自然颜色。

图10示出根据示例性实施例的颜色恢复设备1000的内部结构的示例。颜色恢复设备1000包括用于不同SNR条件的N通道分解单元1010、自适应增益控制单元1020、通道干扰抑制单元1030和具有饱和处理的RGB通道分解单元1040。

在N通道分解单元1010，通道N_all与包括可见光频带和不可见光频带的所有频带输入图像分离。在这种情况下，根据示例性实施例，由于通道N_all的物理限制（见图2B的210），混合的光谱信息被分离（见等式4、等式5、等式9以及等式10到等式12）。为了这个目的，使用在等式9中示出的颜色通道和NIR通道之间的相关性。由通道干扰抑制单元1030计算在等式9中使用的自适应色度系数α_r(c)、α_g(c)和α_b(c)。

基于等式10到等式12通过使用AGC单元1020从通道N_all分离NIR频带信息N^_NIR。

在RGB通道分解单元1040，基于分离信息N^_NIR从R、G和B通道估计NIR频带信息R^_nir、G^_nir和B^_nir（见图3和图4）。

如上所述，在RGB通道分解单元1040，从包括可见光频带和不可见光频带的所有频带图像R_all、G_all、B_all和N_all恢复可见光频带图像R_vis、G_vis和B_vis。根据示例性实施例，如等式13和等式14所示，可进一步考虑光饱和现象来恢复颜色。

图11示出根据另一示例性实施例的颜色恢复设备1100的内部结构。

参照图11，颜色恢复设备1100包括通道相关性检查单元1110、自适应色度系数产生单元1120、AGC单元1130、可见光频带信息恢复单元1140和光饱和控制单元1150。

如等式9中所示，通道相关性检查单元1110考虑自适应色度系数α_r(c)、α_g(c)和α_b(c)以及实际噪声水平来检查R、G和B通道与N通道之间的相关性。这里，基于K均值聚类方法由自适应色度系数产生单元1120产生色度系数α_r(c)、α_g(c)和α_b(c)，其中，通过所述K均值聚类方法，实际可见光频带中的信息（例如，R_vis）和估计的可见光频带中的信息R^_vis之间的差最小。

通道相关性检查单元1110基于检查的相关性从R_all、G_all、B_all和N_all分离N_all。AGC单元1130通过使用等式10到等式12从N_all分离NIR频带信息N^_NIR。

可见光频带信息恢复单元1140基于通过AGC单元1130分离的信息N^_nir估计R^_nir、G^_nir和B^_nir。之后，从颜色通道所有频带信息R_all、G_all和B_all去除估计的可见光频带信息R^_nir、G^_nir和B^_nir来恢复可见光频带图像R_vis、G_vis和B_vis。

在示例性实施例中，光饱和控制单元1150通过使用等式13和等式14对恢复的可见光频带图像执行光饱和补偿。

上述实施例还可被实现为计算机可读记录介质上的计算机可读代码。所述计算机可读记录介质是任何可存储其后可被计算机系统读取的数据的数据存储装置。计算机可读记录介质的示例包括：只读存储器（ROM）、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光学数据存储装置等。所述计算机可读记录介质还可被分布在联网的计算机系统上，使得所述计算机可读代码以分布式方式被存储和执行。另外，本发明构思所属的领域中的技术程序员可容易地解释用于完成示例性实施例的功能程序、代码和代码段。

如上所述，根据示例性实施例，可抑制当在图像获取处理中可见光频带信息和NIR频带信息相互混合时发生的颜色劣化现象。

根据示例性实施例，通过使用颜色恢复方法逐步恢复图像的颜色，使得可获得与使用物理滤光器的情况相似的结果。

另外，根据示例性实施例，通过使用AGC单元，可在颜色恢复处理中提高图像信息的细节。

虽然已经参照本发明构思的示例性实施例具体示出并描述了本发明构思，但是本领域的普通技术人员将理解：在不脱离由权利要求限定的本发明构思的精神和范围的情况下，可在其中进行各种改变。

Claims (20)

1.一种颜色恢复方法，包括：

通过使用输入图像中的颜色通道和NIR通道之间的相关性，从输入图像的信息分离近红外NIR通道的多个频带信息；从NIR通道的多个频带信息和从颜色通道估计的NIR通道的估计的多个频带信息获得NIR通道的估计的不可见光频带信息；基于NIR通道的估计的不可见光频带信息估计颜色通道的不可见光频带信息；通过从包括在输入图像的信息中的颜色通道的多个频带信息去除颜色通道的估计的不可见光频带信息，来恢复颜色通道的可见光频带图像。

2.如权利要求1所述的颜色恢复方法，还包括：计算输入图像的可见光频带信息和估计的可见光频带信息之间的差，

其中，基于差最小的情况，执行从输入图像分离NIR通道的多个频带信息的步骤。

3.如权利要求2所述的颜色恢复，还包括：

针对差最小的情况，获得自适应色度系数；

使用自适应色度系数抑制颜色通道和NIR通道之间的干扰。

4.如权利要求2所述的颜色恢复方法，其中，通过确定并去除NIR通道的多个频带信息的噪声，执行获得NIR通道的估计的不可见光频带信息的步骤。

5.如权利要求4所述的颜色恢复方法，其中，通过获得NIR通道的多个频带信息与通过将NIR通道的估计的多个频带信息乘以大于0小于1的值而获得的值之间的差来确定噪声。

6.如权利要求1所述的颜色恢复方法，其中，颜色通道的多个频带信息包括颜色通道的可见光频带信息和不可见光频带信息，

其中，NIR通道的多个频带信息包括NIR通道的可见光频带信息和不可见光频带信息。

7.如权利要求1所述的颜色恢复方法，其中，通过下面的等式指示颜色通道和NIR通道之间的相关性：

$\left(\begin{array}{c}{R}_v\\ G_v\\ B_v\end{array}\right)=\left(\begin{array}{c}R\\ G\\ B\end{array}\right)-K\left(\begin{array}{ccc}{\mathrm{\α}}_r\left(c\right)& 0& 0\\ 0& {\mathrm{\α}}_g\left(c\right)& 0\\ 0& 0& {\mathrm{\α}}_b\left(c\right)\end{array}\right)\left(\begin{array}{cccc}-{\widetilde{\mathrm{\ω}}}_r& -{\widetilde{\mathrm{\ω}}}_g& -{\widetilde{\mathrm{\ω}}}_b& 1\\ -{\widetilde{\mathrm{\ω}}}_r& -{\widetilde{\mathrm{\ω}}}_g& {\widetilde{\mathrm{\ω}}}_b& 1\\ -{\widetilde{\mathrm{\ω}}}_r& -{\widetilde{\mathrm{\ω}}}_g& {\widetilde{\mathrm{\ω}}}_b& 1\end{array}\right)\left(\begin{array}{c}R\\ G\\ B\\ N\end{array}\right)$

其中，α_r(c)、α_g(c)和α_b(c)是针对输入图像的实际可见光频带信息和估计的可见光频带信息之间的差最小的情况选择的自适应色度系数，c是像素的色度分量，K是常数，

和

是指示考虑噪声值的在可见光频带中的R、G和B通道与NIR通道之间的相关性的估计值。

8.如权利要求1所述的方法，其中，通过使用等式

获得NIR通道的估计的不可见光频带信息，

其中， $\mathrm{\λ}=\frac{\frac{1}{r}\×{\hat{N}}_{\mathrm{nir}}}{(\frac{1}{r}-1)\×N_{\mathrm{all}}\×K+{\hat{N}}_{\mathrm{nir}}}$

其中，N_all是NIR通道的多个频带信息，N^_all是从颜色通道估计的估计的多个通道信息，r是大于0小于1的常数，K是另一常数。

9.如权利要求1所述的颜色恢复方法，还包括：通过对NIR通道应用下面的权重曲线函数（curve(x)）来执行光饱和补偿，以抑制超过阈值的区域中的颜色恢复，

$\mathrm{curve}\left(x\right)=e^{\frac{{4\×(x-\mathrm{threshold})}^2}{{\mathrm{normal}}^2}}$

其中，x是NIR图像的像素值，normal是作为标准化量的常数，

N_i，j ^input是NIR图像的像素值。

10.如权利要求1所述的颜色恢复方法，还包括：对恢复的可见光频带图像中的NIR通道执行光饱和补偿。

11.一种颜色恢复设备，包括：

通道相关性检查单元，配置用于通过使用输入图像中的颜色通道和NIR通道之前的相关性从输入图像的信息分离近红外NIR通道的多个频带信息；

自适应增益控制AGC单元，配置用于从NIR通道的多个频带信息和从颜色通道估计的NIR通道的估计的多个频带信息获得NIR通道的估计的不可见光频带信息；

可见光频带信息恢复单元，配置用于基于NIR通道的估计的不可见光频带信息估计颜色通道的不可见光频带信息，通过从包括在输入图像的信息中的颜色通道的多个频带信息去除颜色通道的估计的不可见光频带信息，来恢复颜色通道的可见光频带图像。

12.如权利要求11所述的颜色恢复设备，还包括：自适应色度系数产生单元，配置用于计算输入图像的可见光频带信息和估计的可见光频带信息之间的差，

其中，通道相关性检查单元被配置用于基于差最小的情况从输入图像分离NIR通道的多个频带信息。

13.如权利要求12所述的颜色恢复设备，其中，自适应色度系数产生单元被配置用于针对差最小的情况获得自适应色度系数，并使用自适应色度系数抑制颜色通道和NIR通道之间的干扰。

14.如权利要求12所述的颜色恢复设备，其中，AGC单元被配置用于通过确定并去除NIR通道的多个频带信息的噪声来获得NIR通道的估计的不可见光频带信息。

15.如权利要求14所述的颜色恢复设备，其中，AGC单元被配置用于通过获得NIR通道的多个频带信息与通过将NIR通道的估计的多个频带信息乘以大于0小于1的值而获得的值之间的差来确定噪声。

16.如权利要求11所述的颜色恢复设备，其中，颜色通道的多个频带信息包括颜色通道的可见光频带信息和不可见光频带信息，

其中，NIR通道的多个频带信息包括NIR通道的可见光频带信息和不可见光频带信息。

17.如权利要求11所述的颜色恢复设备，其中，通过下面的等式指示颜色通道和NIR通道之间的相关性：

$\left(\begin{array}{c}{R}_v\\ G_v\\ B_v\end{array}\right)=\left(\begin{array}{c}R\\ G\\ B\end{array}\right)-K\left(\begin{array}{ccc}{\mathrm{\α}}_r\left(c\right)& 0& 0\\ 0& {\mathrm{\α}}_g\left(c\right)& 0\\ 0& 0& {\mathrm{\α}}_b\left(c\right)\end{array}\right)\left(\begin{array}{cccc}-{\widetilde{\mathrm{\ω}}}_r& -{\widetilde{\mathrm{\ω}}}_g& -{\widetilde{\mathrm{\ω}}}_b& 1\\ -{\widetilde{\mathrm{\ω}}}_r& -{\widetilde{\mathrm{\ω}}}_g& -{\widetilde{\mathrm{\ω}}}_b& 1\\ -{\widetilde{\mathrm{\ω}}}_r& -{\widetilde{\mathrm{\ω}}}_g& -{\widetilde{\mathrm{\ω}}}_b& 1\end{array}\right)\left(\begin{array}{c}R\\ G\\ B\\ N\end{array}\right)$

其中，α_r(c)、α_g(c)和α_b(c)是针对输入图像的实际可见光频带信息和估计的可见光频带信息之间的差最小的情况选择的自适应色度系数，c是像素的色度分量，K是常数，

和

是指示考虑噪声值的在可见光频带中的R、G和B通道与NIR通道之间的相关性的估计值。

18.如权利要求11所述的颜色恢复设备，其中，AGC单元被配置用于通过使用等式

获得NIR通道的估计的不可见光频带信息，

其中， $\mathrm{\λ}=\frac{\frac{1}{r}\×{\hat{N}}_{\mathrm{nir}}}{(\frac{1}{r}-1)\×N_{\mathrm{all}}\×K+{\hat{N}}_{\mathrm{nir}}}$

其中，N_all是NIR通道的多个频带信息，N^_all是从颜色通道估计的估计的多个频带信息，r是大于0小于1的常数，K是另一常数。

19.如权利要求11所述的颜色恢复设备，还包括：光饱和控制单元，配置用于通过对NIR通道应用下面的权重曲线函数（curve(x)）来执行光饱和补偿，以抑制超过阈值的区域中的颜色恢复，

$\mathrm{curve}\left(x\right)=e^{\frac{4\×{(x-\mathrm{threshold})}^2}{{\mathrm{normal}}^2}}$

其中，x是NIR图像的像素值，normal是作为标准化量的常数，

N_i，j ^input是NIR图像的像素值。

20.如权利要求9所述颜色恢复设备，还包括：光饱和控制单元，配置用于对恢复的可见光频带图像中的NIR通道执行光饱和补偿。

Images