CN103854266A - 用于对图像进行处理的方法和设备 - Google Patents

Abstract

提供一种对图像进行处理的方法和设备。示例性实施例公开了一种对图像进行处理的方法。所述方法包括：通过对MSFA图案图像的至少一个彩色通道和NIR通道的频率特性进行分析来抵消混叠；产生高分辨率基础图像；通过基于模糊图像和高分辨率基础图像之间的像素差值将高分辨率基础图像和模糊图像进行加权来抵消来自高分辨率基础图像的伪像。

Description

用于对图像进行处理的方法和设备

本申请要求于2012年12月05日提交到韩国知识产权局的第10-2012-0140543号韩国专利申请的优先权，其公开通过引用完全合并于此。

技术领域

示例性实施例涉及一种多光谱滤波器阵列（MSFA）图案图像处理。更具体地讲，示例性实施例涉及对图像进行处理的方法，其中，通过增加分辨率并去除MSFA图案图像的伪像来产生高分辨率图像。

背景技术

现有技术的多光谱滤波器阵列（MSFA）用于同时获取可见光波段中的图像和非可见光波段中的近红外（NIR）图像。换言之，现有技术的MSFA用于同时获取通道图像。

然而，由于按照对每个彩色通道和NIR通道进行子采样的方式获取图像，因此通过使用现有技术的MSFA获取的图案图像具有低分辨率。

发明内容

根据实施例，当同时获取在可见光波段中的图像和在非可见光波段中的近红外NIR图像时，防止在可见光波段中的图像和在非可见光波段中的NIR图像的分辨率降级。

根据另一实施例，提供一种用于对具有低多光谱滤波器阵列（MSFA）图案的输入图像进行处理来重构高分辨率基础图像的方法和设备。

另外，在示例性实施例中，使用从来自多光谱滤波器的至少一个彩色通道和NIR通道获取的低分辨率MSFA图案图像来重构高分辨率基础图像。因此，产生在包括大量高频信息的同时具有低伪像的高分辨率基础图像。

根据示例性实施例的一方面，提供一种对图像进行处理的方法，所述方法包括：通过对多光谱滤波器阵列（MSFA）图案图像的至少一个彩色通道和近红外（NIR）通道的频率特性进行分析来抵消混叠；通过将抵消了混叠的所述至少一个彩色通道和NIR通道的分辨率放大到基础图像的分辨率来产生高分辨基础图像；通过基于通过模糊高分辨率基础图像而获取的模糊图像和高分辨率基础图像之间的像素差值将高分辨率基础图像和所述模糊图像进行加权和组合来抵消来自高分辨率基础图像的伪像。

抵消混叠的步骤可包括：在考虑在所述至少一个彩色通道和NIR通道中示出的不同相位特性的同时，将MSFA图案图像的所述至少一个彩色通道和NIR通道进行组合。

产生高分辨率基础图像的步骤可包括：使用辛格函数将抵消了混叠的所述至少一个彩色通道和NIR通道的分辨率放大到基础图像的分辨率。

可根据从MSFA图案图像获取的局部区域的统计特性自适应地设置辛格函数的截止频率w_c，当在局部方差相对高的MSFA图案图像的细节区域中时，可设置截止频率w_c来增加辛格函数的通带，当在局部方差相对低的MSFA图案图像的平坦区域中时，可设置截止频率w_c来减少辛格函数的通带。

可基于使用MSFA图案图像的局部方差作为变量的正切函数来设置辛格函数的截止频率w_c。

抵消伪像的步骤可包括：通过将所述模糊图像和高分辨率基础图像进行加权和组合来抵消伪像，其中，当在高频区域产生很多伪像时，更多地加权模糊图像，当在低频区域产生很少伪像时，更多地加权高分辨率基础图像，模糊图像和高分辨率基础图像的权重的和是1。

根据示例性实施例的另一方面，提供一种对图像进行处理的方法，所述方法包括：通过对多光谱滤波器阵列（MSFA）图案图像的至少一个彩色通道和近红外（NIR）通道的频率特性进行分析并且将所述至少一个彩色通道和NIR通道进行组合使得所述至少一个彩色通道和NIR通道的相位特性彼此抵消来抵消混叠；通过使用辛格函数将抵消了混叠的所述至少一个彩色通道和NIR通道的分辨率放大到基础图像的分辨率来产生高分辨基础图像，其中，根据从MSFA图案图像获取的局部区域的统计特性自适应地设置辛格函数的截止频率w_c；通过基于通过模糊高分辨率基础图像而获取的模糊图像和高分辨率基础图像之间的像素差值将高分辨率基础图像和模糊图像进行加权和组合来抵消高分辨率基础图像的伪像。

根据示例性实施例的另一方面，提供一种用于对图像进行处理的设备，所述设备包括：混叠抵消装置，被配置为通过对多光谱滤波器阵列（MSFA）图案图像的至少一个彩色通道和近红外（NIR）通道的频率特性进行分析来抵消混叠；高分辨率基础图像产生器，被配置为通过将抵消了混叠的所述至少一个彩色通道和NIR通道的分辨率放大到基础图像的分辨率来产生高分辨率基础图像；伪像抵消装置，被配置为通过基于通过模糊高分辨率基础图像而获取的模糊图像和高分辨率基础图像之间的像素差值将高分辨率基础图像和所述模糊图像进行加权和组合来抵消来自高分辨率基础图像的伪像。

根据示例性实施例的另一方面，提供一种用于对图像进行处理的设备，所述设备包括：混叠抵消装置，被配置为通过对多光谱滤波器阵列（MSFA）图案图像的至少一个彩色通道和近红外（NIR）通道的频率特性进行分析，并且将所述至少一个彩色通道和NIR通道进行组合，使得所述至少一个彩色通道和NIR通道的相位特性彼此抵消来抵消混叠；高分辨率基础图像产生器，被配置为通过使用辛格函数将抵消了混叠的所述至少一个彩色通道和NIR通道的分辨率放大到基础图像的分辨率来产生高分辨率基础图像，其中，根据从MSFA图案图像获取的局部区域的统计特性自适应地设置辛格函数的截止频率w_c；伪像抵消装置，被配置为通过基于通过模糊高分辨率基础图像而获取的模糊图像和高分辨率基础图像之间的像素差值将高分辨率基础图像和所述模糊图像进行加权和组合来抵消高分辨率基础图像的伪像。

附图说明

通过参照附图详细描述示例性实施例，示例性实施例的上述和其它特征和优点将变得更加清楚，其中，

图1是根据实施例的用于对图像进行处理的设备的结构框图；

图2是根据实施例的作为用于对图像进行处理的设备的输入图像的多光谱滤波器阵列（MSFA）图案图像的示图；

图3示出根据实施例的根据通道的MSFA图案图像的光谱，其中，MSFA图案图像是用于对图像进行处理的设备的输入图像；

图4A和图4B分别示出通过使用MSFA图案图像的单个通道产生基础图像的情况和通过使用MSFA图案图像的四个通道产生基础图像的情况；

图5示出根据实施例的MSFA图案图像的每个通道的频率特征；

图6是用于描述根据实施例的在考虑MSFA图案图像的每个通道的频率特征的同时去除混叠（aliasing）的示图；

图7是根据实施例的产生高分辨率基础图像的概念性示图；

图8示出根据通带的对辛格（sinc）函数的频率轴的响应；

图9示出根据实施例的根据局部区域的输入图像的统计特征；

图10和图11是用于描述根据实施例的通过反映根据局部区域的输入图像的统计特征来描述核（kernel）的设计；

图12示出正切（双曲正切）函数被用于根据局部方差设置截止频率的情况；

图13是示出根据实施例的对图像进行处理的方法的流程图，其中，从MSFA图案图像产生高分辨率基础图像。

具体实施方式

在下文中，将参照附图更全面地描述示例性实施例，其中，示例性实施例在附图中示出。

在这里使用的术语仅用于描述特定实施例的目的，而不是意在限制示例性实施例。如在这里使用，除非上下文清楚地指示，否则单数形式也意在包括复数形式。还将理解，当在本说明中使用术语“包括”和/或“包含”时，其表示存在叙述的特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或它们的组。

除非另有定义，否则这里使用的所有术语（包括技术术语和科学术语）具有与示例性实施例所属领域的普通技术人员通常理解的含义相同的含义。另外，除非确切地定义，否则术语（诸如在常用词典中定义的那些术语）不应被理想化或过度地解释。

图1是根据实施例的用于对图像进行处理的设备100的框图。

图1的设备100的示例包括可以是图像捕获系统的相机系统，诸如数字相机、摄像机或监控摄像机，并且可被安装在计算机、个人数字助理（PDA）、便携式多媒体播放器（PMP）或移动电话上。

设备100将多光谱滤波器阵列（MSFA）图案图像S101接收为输入图像。可从包括具有彩色滤波器和近红外（NIR）滤波器的MSFA的图像传感器输出MSFA图案图像。

根据实施例，当接收到具有低分辨率的MSFA图案图像S101作为输入图像时，设备100产生具有低伪像的同时包括很多高频信息的高分辨率基础图像。

因此，设备100包括混叠抵消单元110、高分辨率基础图像产生器120和伪像抵消单元130。

混叠抵消单元110对MSFA图案图像S101的R、G和B彩色通道和NIR通道的频率特性进行分析。由于R、G和B彩色通道和NIR通道中的每一个被子采样到1/4，因此MSFA图案图像S101具有混叠。

因此，在R、G和B彩色通道和NIR通道的高频分量相似的假设下，混叠抵消单元110对R、G和B彩色通道和NIR通道的频率特性进行分析，并且通过在考虑不同并重复示出的相位特性的同时，通过将R、G和B彩色通道和NIR通道进行组合来根据通道抵消混叠。

下面参照图2和图3描述作为混叠抵消单元110的输入图像的MSFA图案图像的特性，并且下面参照图4A到图8描述在MSFA图案图像中产生的混叠和用于抵消混叠的相位特性。

高分辨率基础图像产生器120通过使用辛格函数将R、G和B彩色通道和NIR通道的分辨率放大到基础图像的分辨率来产生高分辨率基础图像，其中，通过混叠抵消单元110从所述R、G和B彩色通道和NIR通道去除混叠。

高分辨率基础图像产生器120还通过根据MSFA图案图像S101的局部区域的统计特性自适应地设置辛格函数的截止频率w_c来产生高分辨率基础图像。另外，如下面将参照图9到图14详细地描述，高分辨率基础图像产生器120通过增加MSFA图案图像S101的细节区域中的截止频率(w_c ^high)来恢复高频域的很多信息，并且通过减少MSFA图案图像S101的平坦区域中的截止频率(w_c ^low)来通过更少的高频域的伪像信息。

当经由伪像抵消单元110和高分辨率基础图像产生器120产生高分辨率基础图像时，如果辛格函数的截止频率w_c被增加来提高基础图像的分辨率，则伪像可留在高频带中。另外，由于包括MSFA的图像传感器的非均匀噪声，当高分辨率基础图像产生器120产生基础图像时，伪像的一部分可能没有被去除。

伪像抵消单元130基于通过模糊高分辨率基础图像获取的模糊图像和由高分辨率基础图像产生器120产生的高分辨率基础图像的像素差值对所述高分辨率基础图像和所述模糊图像进行加权，使得抵消高分辨率基础图像的伪像。

图2和图3分别示出MSFA图案图像的形状和光谱。

如图2所示，按照1/4通道210、220、230和240对MSFA图案图像的每个通道进行子采样。MSFA图案图像的每个通道具有低分辨率通道的特性，所述低分辨率通道具有目标分辨率的0.5倍宽度和0.5倍长度。当使用MSFA图案图像的单个通道基础图像被重新排列到高分辨率基础图像时，详细边缘分量未被划分，并且混叠严重（如图4A所示）。

参照图3，在形成MSFA图案图像的R、G和B彩色通道和NIR通道的光谱之间信息重叠。

因此，如图4B所示，需要使用低分辨率R、G和B彩色通道和低分辨率NIR通道中的所有来获取一个基础图像，以便减少混叠。

图4A和图4B示出使用MSFA图案图像的单个通道产生基础图像的情况、以及使用MSFA图案图像的四个通道产生基础图像的情况。

在图4A中，单个NIR通道用于经由插值处理形成高分辨率基础图像。在这种情况下，详细边缘分量未被划分，并且混叠严重。

在图4B中，根据实施例，使用MSFA图案图像的所有彩色通道和NIR通道来产生高分辨率基础信号。在这种情况下，混叠被减少，详细边缘分量也被划分。

图5示出根据实施例的MSFA图案图像的每个通道的频率特性。

查看在2维（2D）傅里叶域501中的子采样G彩色通道500，相似于原信号，按照正符号在8个Π（(-Π,-Π)，(-Π,0)，(-Π,Π)，(0,-Π)，(0,Π)，(Π,-Π)，(Π,0)，(Π,Π)）中重复示出原始信号。

子采样的NIR通道510位于子采样G彩色通道500向右一个像素处。因此，子采样的NIR通道510的2D傅里叶域502沿着垂直方向502a具有与子采样的G彩色通道500的2D傅里叶域501相反的相位。

相似地，在MSFA图案图像中子采样的R通道520位于的子采样的G彩色通道500向下一个像素处。因此，子采样的R通道520的2D傅里叶域503沿着水平方向503a具有与子采样的G彩色通道500的2D傅里叶域501相反的相位。

在MSFA图案图像中子采样的B通道530位于沿着右对角线方向的子采样G彩色通道500的向下一个像素处。因此，子采样的B通道530的2D傅里叶域504沿着对角线方向504a具有与子采样的G彩色通道500的2D傅里叶域501相反的相位。

图6是用于描述根据实施例的在考虑MSFA图案图像的每个通道的频率特性的同时去除混叠的示图。

图6是用于描述图1的混叠抵消单元110的操作的示图。可通过根据MSFA图案图像的每个通道的频率特性（如图5所示）使用重复地不同地示出的相位特性来将R、G和B彩色通道和NIR通道中的所有进行组合，来减少在低频域中的混叠分量。

例如，在(0,Π)处，在G彩色通道610和NIR通道620中的信号的符号是（+），但是由于相位改变，R彩色通道630和B彩色通道640中的信号的符号是（-）。因此，当信号被组合时，在低频域中的高频分量的混叠被抵消。

当使用频率低通滤波器去除位于（0，0）外部的混叠分量时，获取最终的基础信号。

图7是根据实施例的产生高分辨率基础图像770的概念性示图。

在考虑频率特性之后，在操作750，将MSFA图案图像的G彩色通道710、NIR通道720和R彩色通道730和B彩色通道740进行组合（求和），从而抵消混叠，随后通过核760。因此，产生高分辨率基础图像770，其中，按照基础图像的分辨率对去除了混叠的G彩色通道710、R彩色通道730和B彩色通道740以及NIR通道720的分辨率进行放大。

上述情况可由下面的等式1表示：

[等式1]

Base(i，j)＝(C_s(i，j)十N_s(i，j)+R_s(i，j)+B_s(i，j))*Kernel(i，j)

在等式1中，Base（i,j）表示高分辨率基础图像，Gs、Ns、Rs和Bs均表示形成MSFA图案图像的子采样的通道。在等式1中，核按照基础图像的分辨率放大每个子采样的通道图像的分辨率。

如图8所示，可通过辛格函数构造核。图8示出根据通带的对辛格函数的频率轴的响应。随着截止频率增加，在较高频带中的信息被通过。当高频带被通过时，高频带的信息可被恢复。因此，如曲线图800所示，可提高基础图像的分辨率。如图8的标号810所示，辛格函数被二维地应用到实际MSFA图像中。

当理想的辛格函数被傅里叶反变换时，获取下面的等式2：

[等式2]

$H\left(\mathrm{\ω}\right)=\left\{\begin{array}{c}1,\mathrm{\ω}\≤{\mathrm{\ω}}_c\\ 0,\mathrm{\ω}\≥{\mathrm{\ω}}_c\end{array}\right.\→h\left[n\right]=\frac{\sin \left({\mathrm{\ω}}_{c}n\right)}{{\mathrm{\ω}}_{c}n}\frac{{\mathrm{\ω}}_c}{\mathrm{\π}}$

在等式2中，H(w)表示辛格函数的频域的特性，h(n)表示空间域的特性。另外，w_c表示截止频率。

可选择地，可通过兰克泽斯窗口（Lanczos-windowed）辛格函数来实现核。下面的等式3示出兰克泽斯窗口辛格核：

[等式3]

$h\left[n\right]=\frac{\sin \left({\mathrm{\&omega;}}_{c}n\right)}{{\mathrm{\&omega;}}_{c}n}\frac{\sin ({\mathrm{\&omega;}}_{c}n/a)}{{\mathrm{\&omega;}}_{c}n/a};\left|n\right|<a$

在等式3，a表示调整兰克泽斯窗口辛格核的截止频率的因子。

[等式4]

Base(i,j)＝(G_s(i,j)*Sinc(i,j)+N_s(i,j)*Sinc(i,j)

+R_s(i,j)*Sinc(i,j)+B_s(i,j)*Sinc(i,j))

上面的等式4是以辛格函数实现等式1的核的示例，并表示通过将辛格核应用到MSFA图案图像的每个子采样的通道来产生高分辨率基础图像的处理。

图9示出根据实施例的根据局部区域的输入图像的统计特性。

根据实施例，在设计核时，反映了输入图像的局部区域的统计特征。局部方差被用作局部区域的统计特征的示例。

在平坦区域910中，局部方差相对低，在细节区域920中，局部方差相对高。

图10和图11是用于描述根据实施例的通过反映根据局部区域的输入图像的统计特性来设计核的示图。

根据实施例，当局部方差低时，核的通带被减少到通过低伪像（参照图11），当局部方差高时，增加核的通带以恢复很多高频信息（参照图10），从而获取高分辨率基础图像。

在图10中，辛格函数的截止频率w_c被设置为高，并且频率轴处的通带1010是宽的。由于通带1010是宽的，因此产生通过图像的很多高频信息的基础图像。

结果，在局部方差相对高的细节区域中分辨率提高。另外，更多的伪像(诸如，高频带的振铃（ring）和散粒（shooting）)被产生在局部方差相对低的平坦区域。

在图11中，辛格函数的截止频率w_c被设置为低，并且频率轴处的通带1110是窄的。由于通带1110是窄的，因此图像的低伪像通过。

结果，在局部方差相对高的细节区域中分辨率低。另外，在局部方差相对低的平坦区域中产生低伪像。

根据实施例，根据从MSFA图案图像获取的局部区域的统计特性自适应地设置在设计核时使用的辛格函数的截止频率w_c。当局部方差高时，截止频率w_c被设置为增加辛格函数的通带，当局部方差低时，截止频率w_c被设置为减少辛格函数的通带。

根据实施例，截止频率可被设置为具有等于或大于0.5Π的高值，使得产生高分辨率基础图像。

下面的等式5用于根据局部方差自适应地产生高分辨率基础图像。通过在细节区域尽可能多地恢复高频信息来提高分辨率，根据输入图像的局部区域在平坦区域中减少伪像。因此，产生具有高质量的高分辨率基础图像。

[等式5]

$\mathrm{Base}(i,j)=(G_s(i,j)+N_s(i,j)+R_s(i,j)+B_s(i,j))*\mathrm{Kernel}\left({\mathrm{\&omega;}}_c^{\mathrm{adap}}\right)$

可根据下面的等式6获取根据用在辛格函数中的局部区域的统计特性自适应地设置的截止频率w_c ^adap：

${\mathrm{\&omega;}}_c^{\mathrm{adap}}=\frac{{\mathrm{\&omega;}}_c^{\mathrm{high}}-{\mathrm{\&omega;}}_c^{\mathrm{low}}}{\max \left({\mathrm{\&sigma;}}_{\mathrm{local}}^2\right)-\min \left({\mathrm{\&sigma;}}_{\mathrm{local}}^2\right)}\&times;\left(x\right)+{\mathrm{\&omega;}}_c^{\mathrm{low}}$

在等式6中，

表示在MSFA图案图像中的局部区域的局部方差，x是用于获取自适应截止频率的输入，并表示根据s曲线（正切）权重调整的局部图像的方差。

可根据等式7表示x。

[等式7]

$x=\frac{\max \left({\mathrm{\&sigma;}}_{\mathrm{local}}^2\right)}{2}\&times;\tanh (\frac{p}{\max \left({\mathrm{\&sigma;}}_{\mathrm{local}}^2\right)}{\mathrm{\&sigma;}}_{\mathrm{local}}^2-k)$

在等式6中，p和k是用于调整局部方差的因子，其中，p被应用于s曲线中的高权重区域，并且k被应用于s曲线中的低权重区域。

在MSFA图案图像的每个子通道中获取局部方差。根据实施例，在使用辛格函数按照基础图像的分辨率对去除了混叠的MSFA图案图像的彩色通道和NIR通道的分辨率进行放大时，根据等式6自适应地设置辛格函数的截止频率。

在这种情况下，增加函数可以是线性、s曲线或指数。在等式6中，使用s曲线正切（双曲正切）函数，并且截止频率具有下面参照图12描述的特性。

图12示出正切（双曲正切）函数被用于根据局部方差设置截止频率的情况。

如图12中所示，当在预定的高截止频率w_c ^high和低截止频率w_c ^low之间局部方差增加时，在s曲线中截止频率增加。

在去除混叠之后，当高分辨率基础图像被产生时，由于两种原因产生伪像。如上所述，当具有作为通带的高截止频率的辛格核通过输入图像以便提高基础图像的分辨率时，在高频带中的伪像会留下。另外，由于包括MSFA的图像传感器的噪声不统一，当产生基础图像时，一些噪声可能无法被去除。

因此，如上所述，参照图7到图12，通过确定在产生的高分辨率基础图像中的伪像来抵消伪像。

[等式8]

$\mathrm{Base}(i,j)=R_s^{\ker }(i,j)+G_s^{\ker }(i,j)+B_s^{\ker }(i,j)+N_s^{\ker }(i,j)$

在图8中，通过减少MSFA图案图像的子采样的通道中的混叠，并且随后组合通过辛格核的子采样的通道来产生高分辨率基础图像。为了防止根据上面的等式8在高分辨率基础图像中产生伪像，根据下面的等式9，高分辨率基础图像与没有伪像的模糊图像进行组合：

[等式9]

$f\left(R_s^{\ker }\right)=(1-{\mathrm{\&alpha;}}_R)R_s^{\ker }(i,j)+{\mathrm{\&alpha;}}_R\mathrm{Blur}\left(R_s^{\ker }(i,j)\right)$

在等式9中，将没有伪像的模糊图像和具有伪像的高分辨率基础图像进行组合，使得抵消R彩色通道中的伪像。在等式9中，权重α_R是用于确定伪像是否存在于基础图像中的参数，其中，如果具有作为权重的基础图像的强度值的5x5区域内的当前像素和平均值之间的差值小于阈值，则所述差值被确定为最小值。获取的权重α_R被用作用于抵消伪像的权重。

根据下面的等式10获取权重α_R：

[等式10]

${\mathrm{\&alpha;}}_R=\frac{\min \left(\right|R_s^{\ker }(i,j)-\mathrm{Blur}\left(R_s^{\ker }(i,j)\right)|,\mathrm{th})}{\mathrm{th}}$

获取没有伪像的模糊图像和具有伪像的高分辨率基础图像之间的差，权重α_R使用th值被限制在从0到1的范围。这里，当权重α_R高时，确定存在很多伪像，并且使用模糊图像。当权重α_R低时，使用高分辨率基础图像。

[等式11]

$\mathrm{Blur}\left(R_s^{\ker }(i,j)\right)=\underset{(p,q)\&Element;\mathrm{Nof}(i,j)}{\mathrm{\&Sigma;}}{R}_s^{\ker }(i,j)*w_R(p,q)/w_{\mathrm{sum}}$

在上面的等式10和等式11中，基于在具有伪像的图像中的相邻像素的加权和来确定模糊图像。根据基础图像中的当前像素和相邻像素之间的差来确定权重。当所述差增加时，当前像素被确定为与相邻像素不同，并且权重减少。当所述差减少时，当前像素被确定为与相邻像素相似，并且权重增加。

对R、G和B彩色通道和NIR通道执行上述处理，并且随后根据下面的等式12将抵消了伪像的R、G和B彩色通道和NIR通道进行组合以获取最终基础图像：

[等式12]

$\mathrm{Base}(i,j)=f\left(R_s^{\ker }(i,j)\right)+f\left(G_s^{\ker }(i,j)\right)+f\left(B_s^{\ker }(i,j)\right)+f\left(N_s^{\ker }(i,j)\right)$

图13是根据实施例的示出对图像进行处理的方法的流程图，其中，从MSFA图案图像产生高分辨率基础图像。

在操作S1310，对MSFA图案图像的彩色通道和NIR通道的频率特性进行分析（如图5中所示）。随后，在操作S1320，通过将彩色通道和NIR通道进行组合来减少混叠，使得彩色通道和NIR通道的相位特性彼此抵消（如图6所示）。

接下来，在操作S1330，通过使用辛格函数将去除了混叠的彩色通道和NIR通道的分辨率放大到基础图像的分辨率，来产生高分辨率基础图像（如7所示）。

可根据MSFA图案图像的局部区域的统计特性自适应地设置辛格函数的截止频率。上面已经参照等式6和等式7描述了自适应地设置辛格函数的截止频率的方法。

当高分辨率基础图像被产生时，在高分辨率基础图像中伪像的程度被确定。随后，在操作S1340，通过基于高分辨率基础图像和通过模糊高分辨率基础图像而获取的模糊图像之间的像素差值来将高分辨率基础图像和模糊图像进行加权和组合，来抵消高分辨率基础图像中的伪像。

当存在很多伪像时，模糊图像被加权更多，当存在很少伪像时，高分辨率基础图像被加权更多，其中，权重的和被设置为1。上面已经参照等式9到等式12描述了去除伪像的方法。因此，在操作S1350，获取去除了伪像的高分辨率基础图像。

一个或多个实施例可被应用于数字相机系统，例如，使用具有包括RGB像素和NIR像素的结构的传感器的监控摄像机。

根据示例性实施例，可通过从MSFA图案图像去除伪像，并使MSFA图案图像通过基于MSFA图案图像的子采样的彩色通道和子采样的NIR通道的频率特性的核来获取高分辨率基础图像。另外，通过使用输入图像的局部统计特性来抵消伪像，可获取去除了伪像的高分辨率基础图像。

示例性实施例还可被实施为计算机可读记录介质上的计算机可读代码。所述计算机可读记录介质可以是任何可存储其后可以被计算机系统读取的数据的数据存储装置。所述计算机可读记录介质的示例包括：只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光学数据存储装置等。所述计算机可读记录介质也可以被分布在联网的计算机系统上，使得所述计算机可读代码以分布式方式被存储和执行。另外，用于完成示例性实施例的功能程序、代码和代码段可容易地被示例性实施例所属的领域的普通程序员解释。

示例性实施例还可详述本说明书的图1中的混叠抵消单元110和伪像消除单元130的特性。具体地，混叠消除单元110和伪像消除单元130中的任意可包括用于执行它们各自功能的至少一个处理器、硬件模块或电路。

虽然已经具体地示出和描述了这些示例性实施例，但是本领域的普通技术人员将理解，在不脱离由权利要求限定的示例性实施例的精神和范围的情况下，可在其中进行形式和细节上的各种改变。所述示例性实施例应该仅被认为是描述性的意义而不是为了限制的目的。因此，示例性实施例的范围不是由详细描述限定，而是由权利要求限定，并且所述范围内的所有差别将被解释为包括在示例性实施例中。

Claims (20)

1.一种对图像进行处理的方法，所述方法包括：

通过对多光谱滤波器阵列MSFA图案图像的至少一个彩色通道和近红外NIR通道的频率特性进行分析来抵消混叠；

通过将抵消了混叠的所述至少一个彩色通道和NIR通道的分辨率放大到基础图像的分辨率来产生高分辨基础图像；

通过基于通过模糊高分辨率基础图像而获取的模糊图像和高分辨率基础图像之间的像素差值，将高分辨率基础图像和所述模糊图像进行加权和组合来抵消来自高分辨率基础图像的伪像。

2.如权利要求1所述的方法，其中，抵消混叠的步骤包括：在考虑在所述至少一个彩色通道和NIR通道中示出的不同相位特性的同时，将MSFA图案图像的所述至少一个彩色通道和NIR通道进行组合。

3.如权利要求1所述的方法，其中，产生高分辨率基础图像的步骤包括：使用辛格函数将抵消了混叠的所述至少一个彩色通道和NIR通道的分辨率放大到基础图像的分辨率。

4.如权利要求3所述的方法，其中，辛格函数使用等于或大于0.5Π的截止频率w_c。

5.如权利要求3所述的方法，其中，根据从MSFA图案图像获取的局部区域的统计特性自适应地设置辛格函数的截止频率w_c，

当在局部方差相对高的MSFA图案图像的细节区域中时，设置截止频率w_c来增加辛格函数的通带，

当在局部方差相对低的MSFA图案图像的平坦区域中时，设置截止频率w_c来减少辛格函数的通带。

6.如权利要求3所述的方法，其中，Base(i,j)=(Gs(i,j)+Ns(i,j)+Rs(i,j)+Bs(i,j))*Sinc(i,j)，

其中，Rs(i,j)、Gs(i,j)和Bs(i,j)表示MSFA图案图像的所述至少一个彩色通道，Ns(i,j)表示MSFA图案图像的NIR通道，

经由所述至少一个彩色通道和NIR通道的和来抵消混叠，经由辛格函数将所述至少一个彩色通道和NIR通道的分辨率放大到基础图像的分辨率。

7.如权利要求3所述的方法，其中，基于使用MSFA图案图像的局部方差作为变量的正切函数来设置辛格函数的截止频率w_c。

8.如权利要求7所述的方法，其中，根据下式自适应地设置辛格函数的截止频率w_c：

${\mathrm{\&omega;}}_c^{\mathrm{adap}}=\frac{{\mathrm{\&omega;}}_c^{\mathrm{high}}-{\mathrm{\&omega;}}_c^{\mathrm{low}}}{\max \left({\mathrm{\&sigma;}}_{\mathrm{local}}^2\right)-\min \left({\mathrm{\&sigma;}}_{\mathrm{local}}^2\right)}\&times;\left(x\right)+{\mathrm{\&omega;}}_c^{\mathrm{low}}$

其中，根据下式设置x：

$x=\frac{\max \left({\mathrm{\&sigma;}}_{\mathrm{local}}^2\right)}{2}\&times;\tanh (\frac{p}{\max \left({\mathrm{\&sigma;}}_{\mathrm{local}}^2\right)}{\mathrm{\&sigma;}}_{\mathrm{local}}^2-k)$

其中，x是用于获取自适应截止频率w_c ^adap的输入，并且表示根据s曲线（正切）权重调整的局部区域的方差，p和k是用于调整局部区域方差的因子。

9.如权利要求1所述的方法，其中，抵消伪像的步骤包括：通过将所述模糊图像和高分辨率基础图像进行加权和组合来抵消伪像，

其中，

当在高频区域产生很多伪像时，更多地加权所述模糊图像，

当在低频区域产生很少伪像时，更多地加权高分辨率基础图像，

所述模糊图像和高分辨率基础图像的权重的和是1。

10.一种对图像进行处理的方法，所述方法包括：

通过对多光谱滤波器阵列MSFA图案图像的至少一个彩色通道和近红外NIR通道的频率特性进行分析，并且将所述至少一个彩色通道和NIR通道进行组合使得所述至少一个彩色通道和NIR通道的相位特性彼此抵消，来抵消混叠；

通过使用辛格函数将抵消了混叠的所述至少一个彩色通道和NIR通道的分辨率放大到基础图像的分辨率来产生高分辨基础图像，其中，根据从MSFA图案图像获取的局部区域的统计特性自适应地设置辛格函数的截止频率w_c；

通过基于通过模糊高分辨率基础图像而获取的模糊图像和高分辨率基础图像之间的像素差值将高分辨率基础图像和所述模糊图像进行加权和组合来抵消高分辨率基础图像的伪像。

11.如权利要求10所述的方法，其中，Base(i,j)=(Gs(i,j)+Ns(i,j)+Rs(i,j)+Bs(i,j))*Sinc(i,j)，

其中，Rs(i,j)、Gs(i,j)和Bs(i,j)表示MSFA图案图像的所述至少一个彩色通道，Ns(i,j)表示MSFA图案图像的NIR通道，经由所述至少一个彩色通道和NIR通道的和来抵消混叠，经由辛格函数将所述至少一个彩色通道和NIR通道的分辨率放大到基础图像的分辨率。

12.如权利要求10所述的方法，其中，根据从MSFA图案图像获取的局部区域的统计特性自适应地设置辛格函数的截止频率w_c，

当在局部方差相对高的MSFA图案图像的细节区域中时，设置截止频率w_c来增加辛格函数的通带，

当在局部方差相对低的MSFA图案图像的平坦区域中时，设置截止频率w_c来减少辛格函数的通带。

13.如权利要求10所述的方法，其中，根据下式自适应地设置辛格函数的截止频率w_c：

${\mathrm{\&omega;}}_c^{\mathrm{adap}}=\frac{{\mathrm{\&omega;}}_c^{\mathrm{high}}-{\mathrm{\&omega;}}_c^{\mathrm{low}}}{\max \left({\mathrm{\&sigma;}}_{\mathrm{local}}^2\right)-\min \left({\mathrm{\&sigma;}}_{\mathrm{local}}^2\right)}\&times;\left(x\right)+{\mathrm{\&omega;}}_c^{\mathrm{low}}$

其中，根据下式设置x：

$x=\frac{\max \left({\mathrm{\&sigma;}}_{\mathrm{local}}^2\right)}{2}\&times;\tanh (\frac{p}{\max \left({\mathrm{\&sigma;}}_{\mathrm{local}}^2\right)}{\mathrm{\&sigma;}}_{\mathrm{local}}^2-k)$

其中，x是用于获取自适应截止频率w_c ^adap的输入，并且表示根据s曲线（正切）权重调整的局部区域的方差，p和k是用于调整局部区域方差的因子。

14.如权利要求10所述的方法，其中，抵消伪像的步骤包括：通过将所述模糊图像和高分辨率基础图像进行加权和组合来抵消伪像，

其中，

当在高频区域产生很多伪像时，更多地加权所述模糊图像，

当在低频区域产生很少伪像时，更多地加权高分辨率基础图像，

所述模糊图像和高分辨率基础图像的权重的和是1。

15.一种用于对图像进行处理的设备，所述设备包括：

混叠抵消装置，被配置为通过对多光谱滤波器阵列MSFA图案图像的至少一个彩色通道和近红外NIR通道的频率特性进行分析来抵消混叠；

高分辨率基础图像产生器，被配置为通过将抵消了混叠的所述至少一个彩色通道和NIR通道的分辨率放大到基础图像的分辨率来产生高分辨基础图像；

伪像抵消装置，被配置为通过基于通过模糊高分辨率基础图像而获取的模糊图像和高分辨率基础图像之间的像素差值将高分辨率基础图像和所述模糊图像进行加权和组合来抵消来自高分辨率基础图像的伪像。

16.如权利要求15所述的设备，其中，伪像抵消装置在考虑在所述至少一个彩色通道和NIR通道中示出的不同相位特性的同时，将MSFA图案图像的所述至少一个彩色通道和NIR通道进行组合。

17.如权利要求15所述的设备，其中，高分辨率基础图像产生器使用辛格函数将抵消了混叠的所述至少一个彩色通道和NIR通道的分辨率放大到基础图像的分辨率。

18.如权利要求15所述的设备，其中，根据从MSFA图案图像获取的局部区域的统计特性自适应地设置辛格函数的截止频率w_c，

当在局部方差相对高的MSFA图案图像的细节区域中时，设置截止频率w_c来增加辛格函数的通带，

当在局部方差相对低的MSFA图案图像的平坦区域中时，设置截止频率w_c来减少辛格函数的通带。

19.如权利要求15所述的设备，其中，伪像抵消装置通过将所述模糊图像和高分辨率基础图像进行加权和组合来抵消伪像，

其中，

当在高频区域产生很多伪像时，更多地加权所述模糊图像，

当在低频区域产生很少伪像时，更多地加权高分辨率基础图像，

所述模糊图像和高分辨率基础图像的权重的和是1。

20.一种用于对图像进行处理的设备，所述设备包括：

混叠抵消装置，被配置为通过对多光谱滤波器阵列MSFA图案图像的至少一个彩色通道和近红外NIR通道的频率特性进行分析，并且将所述至少一个彩色通道和NIR通道进行组合使得所述至少一个彩色通道和NIR通道的相位特性彼此抵消，来抵消混叠；

高分辨率基础图像产生器，被配置为通过使用辛格函数将抵消了混叠的所述至少一个彩色通道和NIR通道的分辨率放大到基础图像的分辨率来产生高分辨率基础图像，其中，根据从MSFA图案图像获取的局部区域的统计特性自适应地设置辛格函数的截止频率w_c；

伪像抵消装置，被配置为通过基于通过模糊高分辨率基础图像而获取的模糊图像和高分辨率基础图像之间的像素差值将高分辨率基础图像和所述模糊图像进行加权和组合来抵消高分辨率基础图像的伪像。

Images