CN103856767A - 用于处理图像的方法和设备 - Google Patents

Abstract

本发明提供了一种用于处理图像的方法和设备。所述图像处理设备包括：自适应插值装置，基于差值将MFA模式图像转换为梅花形模式图像，并且基于转换的梅花模式图像在垂直和水平像素方向上的差值对色彩通道和NIR通道插值；频率补偿装置，基于线性回归分析和将MFA通道图像的能级与基本图像的能级进行比较来使用高分辨率基本图像的高频和中频分量获得高分辨率MFA图像；通道干扰抑制装置，使用高分辨率MFA图像的每个通道与高分辨率MFA图像的另一通道和基本通道之间的像素值差的加权平均值，来消除高分辨率MFA图像的每个通道与高分辨率MFA图像的所述另一通道和基本通道之间产生的色彩失真。

Description

用于处理图像的方法和设备

本申请要求于2012年11月30日提交到韩国知识产权局的10-2012-0138437号韩国专利申请的优先权，该申请全部公开于此以资参考。

技术领域

示例性实施例涉及一种用于处理图像的设备。具体而言，示例性实施例涉及一种处理通过使用多光谱滤波器阵列（MFA）获得的图像的方法。

背景技术

为了同时获得可见光波段的图像和不可见光波段的近红外（NIR）图像，通过使用现有技术的多光谱滤波器阵列（MFA）来同时获得通道图像。

然而，由于通过对色彩通道和NIR通道进行采样来获得通过使用现有技术的MFA而获得的模式图像，因此所述模式图像的分辨率低。

发明内容

示例性实施例可提供一种用于处理图像的方法和设备，以解决当同时获得可见光波段的图像和不可见光波段的近红外（NIR）图像时每个图像的分辨率有限的问题。

示例性实施例可提供一种用于处理图像的方法和设备，以通过接收低分辨率多光谱滤波器阵列（MFA）模式图像作为输入图像来产生高分辨率基本图像。

此外，在示例性实施例中，使用包括通过多光谱（MS）滤波器获得的色彩（红、绿和蓝）和NIR通道图像的低分辨率MFA模式图像来产生高分辨率基本图像。在这种情况下，生成包括高频信息和小伪影的高分辨率图像。

根据示例性实施例的一方面，提供一种图像处理设备，包括：自适应插值装置，被配置为基于对角线方向上的差值将多光谱滤波器阵列（MFA）模式图像转换为梅花形模式图像，并且基于转换的梅花形模式图像在垂直像素方向和水平像素方向上的差值对MFA模式图像的色彩通道和近红外（NIR）通道插值至最大分辨率；频率补偿装置，被配置为基于线性回归分析和将MFA通道图像的能级与基本图像的能级进行比较的结果，来使用高分辨率基本图像的高频分量和中频分量获得高分辨率MFA图像，其中，高分辨率基本图像的高频分量和中频分量与由自适应插值装置插值的低分辨率MFA图像的高频分量和中频分量对应；通道干扰抑制装置，被配置为使用高分辨率MFA图像的每个通道与高分辨率MFA图像的另一通道与基本通道之间的像素值差的加权平均值，来消除高分辨率MFA图像的每个通道与高分辨率MFA图像的所述另一通道与基本通道之间产生的色彩失真。

根据示例性实施例的另一方面，提供一种图像处理方法，包括：使用自适应插值装置来进行下述步骤：基于对角线方向上的差值将多光谱滤波器阵列（MFA）模式图像转换为梅花形模式图像，并且基于转换的梅花形模式图像在垂直像素方向和水平像素方向上的差值对MFA模式图像的色彩通道和近红外（NIR）通道插值至最大分辨率；使用频率补偿装置来进行下述步骤：基于线性回归分析和将MFA通道图像的能级与基本图像的能级进行比较的结果，来使用高分辨率基本图像的高频分量和中频分量获得高分辨率MFA图像，其中，高分辨率基本图像的高频分量和中频分量与由自适应插值装置插值的低分辨率MFA图像的高频分量和中频分量对应；使用通道干扰抑制装置来进行下述步骤：使用高分辨率MFA图像的每个通道与高分辨率MFA图像的另一通道与基本通道之间的像素值差的加权平均值，来消除高分辨率MFA图像的每个通道与高分辨率MFA图像的所述另一通道与基本通道之间产生的色彩失真。

附图说明

通过参照附图详细描述示例性实施例，示例性实施例的以上和其它特征和优点将变得更加清楚，在附图中：

图1是根据实施例的图像处理设备的结构图；

图2是示出将多光谱滤波器阵列（MFA）模式图像转换为梅花形（quincuncial）模式图像的示例的示图；

图3是示出对MFA模式图像的色彩通道和近红外（NIR）通道插值至最大分辨率的处理的示图；

图4至6是示出根据实施例的在频率补偿单元中通过对MFA模式图像的色彩通道和NIR通道插值至最大分辨率来产生高分辨率MFA图像的处理的示图；

图7是示出通过使用基本通道来重建方向频率分量的示例的示图；

图8是示出在每个通道中检测特征的示例的示图；

图9和图10是示出当频率补偿单元将色差模型简单地应用于MFA图像时产生的问题的曲线图；

图11是用于描述根据实施例的通过在频率补偿单元中使用线性回归分析来消除色彩失真的方法的曲线图；

图12是示出通道的能级被校正之前的色块图像的曲线图；

图13是示出根据实施例的通过使用线性回归分析来校正通道能级以消除色彩失真的示例的曲线图；

图14是示出根据实施例的为何产生通道干扰的曲线图；

图15至18是示出消除R、G、B和NIR通道中的每个通道的通道干扰的处理的概念图；

图19是根据实施例的摄像系统的框图。

具体实施方式

在此使用的术语是为了描述描述特定实施例的目的，而不是意在限制示例性实施例。如在此使用的单数形式意在还包括复数形式，除非上下文清楚地另有指示。还将理解的是，当在此说明书中使用术语“包括”时，该术语指定声明的特征、整体、步骤、操作、元件和/或组件的存在，但是并不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或上述项的组合。

除非定义不同，否则在此说明书中使用的所有术语（包括技术和科学术语）具有与本领域的普通技术人员的一般理解相同的含义。应将常用词典中所定义的术语理解为具有与相关联的技术背景中相同的含义，并且除非在说明书中定义了所述术语，否则不将所述术语理想地或过度地解释为具有正式含义。

图1是根据实施例的图像处理设备100的结构图。

图像处理设备100的示例是一种摄像系统，所述摄像系统可以是图像捕捉系统（诸如数码相机、摄像机或安全摄像头），或者可以被安装在计算机、个人数字助理（PDA）、便携式多媒体播放器（PMP）或移动电话中。

图像处理设备100接收从图像传感器输出的多光谱滤波器阵列（MFA）模式图像作为输入图像，所述图像传感器包括具有滤色器和近红外（NIR）滤波器的MFA。

图像处理设备100接收低分辨率MFA模式图像作为输入图像，并且产生具有大量高频信息和少数伪影的高分辨率基本图像。

图像处理设备100包括自适应插值单元110、频率补偿单元120和通道干扰抑制单元130。

如图2中所示，自适应插值单元110基于对角线像素方向上的差值，将具有在相同单元像素中有1:1:1:1的相等比率的红（R）、绿（G）、蓝（B）像素和NIR通道的MFA模式图像210转换为梅花形模式图像220。梅花形模式图像220是具有与拜耳模式图像相同的几何模型而且具有与拜耳模式图像不同的通道值的模式图像。

将MFA模式图像210转换为梅花形模式图像220，以便通过使MFA模式图像210接近于拜耳模式将现有色彩插值算法应用于根据示例性实施例的R、G、B和NIR通道插值方法。以下将参照图2来提供对形成梅花形模式图像220的处理的详细说明。

如果将MFA模式图像210转换为梅花形模式图像220，则自适应插值单元110基于转换的梅花形模式图像220的水平像素方向和垂直像素方向上的差值，对MFA模式图像210的色彩通道和NIR通道插值至最大分辨率。以下将参照图3来提供对上述内容的详细描述。

频率补偿单元120通过使用高分辨率基本图像的高频和中频分量来获得高分辨率MFA图像，其中，高分辨率基本图像的高频和中频分量与由自适应插值单元110插值的低分辨率MFA图像的高频和中频分量对应。

在此之后，基于考虑从频率补偿单元120获得的高分辨率MFA图像中的通道的能级的线性回归分析，消除通道之间的色彩失真。

更详细地讲，基于考虑通道的能级的线性回归分析，通过强重建具有高能级的高频分量的通道的高频分量以及弱重建具有低能级的高频分量的通道的高频分量来消除通道之间的色彩失真，以便允许通道的边缘是统一的。以下将参照图4至图13来提供对频率补偿单元120的详细说明。

通道干扰抑制单元130通过使用高分辨率MFA图像的每个通道与高分辨率MFA图像的另一通道和基本通道之间的像素值差的加权平均值，来消除在由频率补偿单元120产生的高分辨率MFA图像的每个通道与高分辨率MFA图像的所述另一通道和基本通道之间产生的色彩失真。

甚至在图1中示出的自适应插值单元110通过针对MFA模式图像的每个通道重建分辨率来获得低分辨率MFA图像以及图1中示出的频率补偿单元120执行高频和中频补偿之后，会留下因混淆而产生的假色彩伪影。例如，会在纹理图案、精细细节、强边缘或文本上留下多种色彩。

为了消除这些色彩失真，如图15至18所示，通道干扰抑制单元130通过使用高分辨率MFA图像的每个通道与高分辨率MFA图像的另一通道和基本通道之间的像素值差的加权平均值，来抑制高分辨率MFA图像的R、G、B和NIR通道之间的色彩干扰。

图2是示出将MFA模式图像210转换为梅花形模式图像220的示例的示图。由下面的公式1表示将MFA模式图像210转换为梅花形模式图像220的处理：

【公式1】

$N_{m,n}=\frac{\underset{i,j\∈S_N}{\mathrm{\Σ}}{w}_{m+i,n+j}{N}_{m+i,n+j}}{\underset{i,j\∈S_N}{\mathrm{\Σ}}{w}_{m+i,n+j}}+C_{m,n}^{R,N}\frac{\underset{i,j\∈S_R}{\mathrm{\Σ}}{w}_{m+i,n+j}\{R_{m,n}-R_{m+i,n+j}\}}{\underset{i,j\∈S_R}{\mathrm{\Σ}}{w}_{m+i,n+j}}$

为了对在MFA模式图像210的中心像素（m，n）的通道值进行插值，使用第一加权平均值和第二加权平均值的和，其中，第一加权平均值是在对角线方向上与MFA模式图像210的中心像素（m，n）间隔一个像素的像素211、212、213和214的值的加权平均值，第二加权平均值是通过计算MFA模式图像210的中心像素（m，n）和在对角线方向上与MFA模式图像210的中心像素（m，n）间隔两个像素的像素221、222、223和224之间的差值的加权平均值而获得的加权平均值。

如图2中所示，为了对位置（m，n）的NIR通道值210进行插值，计算在对角线方向上与位置（m，n）间隔一个像素的像素211、212、213和214的值的加权和，以现有色彩插值算法来计算R通道值210与其外围R通道值221、222、223、224之间的差值的加权和，并且计算所述加权和的总和以最终获得NIR通道的插值。

在公式1中，

是用于表现R通道和NIR通道之间的相关性的值。根据示例性实施例的实施例，将

的值设为0.5。由下面的公式2表示计算在对角线方向上与将被插值的像素间隔两个像素的外围像素的权重wm+2,n+2的方法，其中，所述方法与现有的色彩插值算法相似：

【公式2】

$w_{m+i,n+j}=\frac{1}{1+|R_{m+i,n+j}-R_{m,n}|+|N_{m+1,n+1}-N_{m-1,n-1}|+\frac{|G_{m+1+i,n+j}-G_{m+1,n}|}{2}+\frac{|B_{m+1+i,n+j}-B_{m+1,n}|}{2}}$

在公式2中，R、G和B表示MFA模式图像210的色彩通道，N表示MAF模式图像210的NIR通道。

参照公式2，权重w_m+2,n+2与每个像素方向上的差值成反比地增大。换句话说，如果将被计算加权和的像素方向上的差值大，则该方向被确定为边缘，权重减小，并且在插值处理期间防止该边缘钝化。

在公式2中，将被计算加权和的像素方向上的差值是|R_m+2,n+2-R_m,n|、|N_m+1,n+1-N_m-1,n-1|、 $\frac{|G_{m+1+2,n+2}-G_{m+1,n}|}{2}$ 或 $\frac{|B_{m+2,n+1+2}-B_{m,n+1}|}{2}.$ 如果在将被计算加权和的像素方向上存在边缘，则该差值大；如果在将被计算加权和的像素方向上不存在边缘，则该差值小。

当计算w_m+2,n+2时，由于差值与分母成反比，因此如果存在边缘，则差值增大并且权重w_m+2,n+2减小。否则，如果不存在边缘，则差值减小并且权重w_m+2,n+2增大。这样，当计算最终加权和时，防止了边缘钝化。

根据示例性实施例的另一实施例，当将MFA模式图像210转换为梅花形模式图像220时，可以自适应地考虑边缘的方向。

【公式3】

参照公式3，如果对角线方向上的像素值差小于反对角线方向上的像素值差的两倍，则将对角线方向确定为非边缘，并且基于公式1和2在对角线方向上执行插值。

然而，如果对角线方向上的像素值差等于或大于反对角线方向上的像素值差的两倍，则将对角线方向确定为边缘，并且将反对角线方向上的像素值的平均值

用作对角线方向上的像素值。

虽然在对角线方向上的像素值差小于反对角线方向上的像素值差的两倍的情况下使用

，但是也可设置成在对角线方向上的像素值差等于或大于反对角线方向上的像素值差的两倍的情况下使用

图3是示出对MFA模式图像300的色彩通道和NIR通道插值至最大分辨率的处理的示图。

在图1中示出的自适应插值单元110基于对角线像素方向上的差值将MFA模式图像300转换为梅花形模式图像310，并且随后基于转换的梅花形模式图像310的垂直像素方向和水平像素方向上的差值，将MFA模式图像300的色彩通道和NIR通道转换为最大分辨率320。

由下面的公式4表示基于对角线方向上的差值将MFA模式图像300插值为四个梅花形模式图像310的方法：

【公式4】

$N_{m,n}=\frac{\underset{i,j\∈S_N}{\mathrm{\Σ}}{w}_{m+i,n+j}{N}_{m+i,n+j}}{\underset{i,j\∈S_N}{\mathrm{\Σ}}{w}_{m+i,n+j}}+C_{m,n}^{R,N}\frac{\underset{i,j\∈S_R}{\mathrm{\Σ}}{w}_{m+i,n+j}\{R_{m,n}-R_{m+i,n+j}\}}{\underset{i,j\∈S_R}{\mathrm{\Σ}}{w}_{m+i,n+j}}$

S_N={(-1,1),(-1,1),(1,-1),(1,1)}

S_R={(-2,2),(-2,2),(2,-2),(2,2)}

NW:(-1,-1),(-2,-2),

NE:(-1,1),(-2,2),

SW:(1,-1),(2,-2),

SE:(1,1),(2,2)

计算关于将被插值的中心像素值的在呈×形状的西北（NW）、东北（NE）、西南（SW）和东南（SE）方向上的四个像素值的加权平均值，并且将所述加权平均值填充为中心像素值。按照这种方式，将位置（m，n）的通道值（例如，G通道值）填充为在呈×形状的NW、NE、SW和SE方向上的四个邻近的G像素值的加权平均值，从而初步产生使用如棋盘的梅花形模式填充G通道的图像310的插值结果。

也对位置（m+1，n）的通道值（例如，R通道值）执行上述处理，从而初步产生使用如棋盘的梅花形模式填充R通道的图像310的插值结果。

也对位置（m，n+1）的通道值（例如，R通道值）和位置（m+1，n+1）的通道值（例如，N通道值）执行上述处理，从而初步产生每个都使用如棋盘的梅花形模式填充的图像310的插值结果。在这种情况下，按照公式2所表示的那样计算权重w_m+i,n+j。

由下面的公式5表示将图像310插值为图像320的方法：

【公式5】

$N_{m,n}=\frac{\underset{i,j\∈S_N}{\mathrm{\Σ}}{w}_{m+i,n+j}{N}_{m+i,n+j}}{\underset{i,j\∈S_N}{\mathrm{\Σ}}{w}_{m+i,n+j}}+C_{m,n}^{R,N}\frac{\underset{i,j\∈S_R}{\mathrm{\Σ}}{w}_{m+i,n+j}\{R_{m,n}-R_{m+i,n+j}\}}{\underset{i,j\∈S_R}{\mathrm{\Σ}}{w}_{m+i,n+j}}$

S_N={(-1,0),(1,0),(0,-1),(0,1)}

S_R={(-2,0),(2,0),(0,-2),(0,2)}

N:(-1,0),(-2,0),

S:(1,0),(2,0),

W:(0,-1),(0,-2),

E:(0,1),(0,2)

计算关于将被插值的中心像素值的在呈+形状的北（N）、南（S）、东（E）和西（W）方向上的四个像素值的加权平均值，并且将所述加权平均值填充为中心像素值。在这种情况下，按照公式2所表示的那样计算权重w_m+i,n+j。

图4至图6是示出根据示例性实施例的实施例的在图1中示出的频率补偿单元120中通过对MFA模式图像的色彩通道和NIR通道插值至最大分辨率来产生高分辨率MFA图像的处理的示图。

频率补偿单元120通过使用高分辨率基本图像的高频和中频分量来获得高分辨率MFA图像，其中，所述高频和中频分量与由图1中示出的自适应插值单元110插值的低分辨率MFA图像的高频和中频分量对应。每个通道图像被划分为并被认为是低频、中频和高频分量。为了自适应地在垂直、水平和对角线方向上处理频率信息被损坏的高频和中频分量，使用用于根据垂直方向和水平方向对高频和中频分量进行滤波的滤波器。

频率补偿单元120将由自适应插值单元110插值的低分辨率MFA图像410、420、430和440以及高分辨率基本图像400中的每个图像划分为高频、中频和低频分量（S400和S410）。

现在将参照图5A、图6A和图6B来描述划分高频分量的示例。

在图5A中，最初从多光谱（MS）图像划分高频分量。首先，输入图像通过水平低通滤波器（LPF）。通过水平LPF的过滤后图像是这样的图像：水平方向上的高频分量被过滤，并且仅留下中频和低频分量。因此，通过从输入图像减去过滤后图像而获得的图像是在水平方向上仅包括高频分量的图像。换言之，通过使用水平LPF，水平高频与水平中频图像和低频图像会彼此分离。

在那之后，如果水平中频和低频图像通过垂直LPF，则垂直和水平中频和低频图像与垂直高频图像（垂直高频分量）会彼此分离。

如果分离的水平高频图像通过垂直LPF，则专有水平高频图像（水平高频分量）与垂直和水平高频图像（对角线高频分量）会彼此分离。

因此，初始输入图像可通过水平LPF和垂直LPF，以便被划分为四种类型的分量，诸如中频和低频分量、垂直高频分量、水平高频分量和对角线高频分量。以下由下面的公式表示从输入图像划分出来的这四种类型的分量：

${\mathrm{MS}}^{\mathrm{LF}+\mathrm{MF}}=\mathrm{MS}-(\mathrm{MS}*{\mathrm{LPF}}_H^{\mathrm{HF}})-((\mathrm{MS}-(\mathrm{MS}*{\mathrm{LPF}}_H^{\mathrm{HF}}))*{\mathrm{LPF}}_V^{\mathrm{HF}})$

${\mathrm{MS}}_H^{\mathrm{HF}}=(\mathrm{MS}*{\mathrm{LPF}}_H^{\mathrm{HF}})-((\mathrm{MS}*{\mathrm{LPF}}_H^{\mathrm{HF}})*{\mathrm{LPF}}_V^{\mathrm{HF}})$

${\mathrm{MS}}_V^{\mathrm{HF}}=(\mathrm{MS}-(\mathrm{MS}*{\mathrm{LPF}}_H^{\mathrm{HF}}))*{\mathrm{LPF}}_V^{\mathrm{HF}}$

${\mathrm{MS}}_D^{\mathrm{HF}}=(\mathrm{MS}*{\mathrm{LPF}}_H^{\mathrm{HF}})*{\mathrm{LPF}}_V^{\mathrm{HF}}$

频率补偿单元120通过使用1×5水平LPF和5×1垂直LPF将低分辨率MFA图像410、420、430和440以及高分辨率基本图像400中的每个图像划分为垂直高频分量、水平高频分量、对角线高频分量和低频+中频分量。

在这种情况下，可如图5B来设置1×5水平LPF和5×1垂直LPF的系数。然而，在图5B中示出的系数仅作为示例而提供并且可以改变。

在图6A、图6B、图7和图8中示出在完全分离高频分量之后分离中频分量的实施例。频率补偿单元120将高频分量被分离并且中频和低频分量被混合的低分辨率MFA图像410、420、430和440以及高分辨率基本图像400中的每个图像划分为垂直中频分量、水平中频分量、对角线中频分量和低频分量。

如同在高频区域执行的处理，经由使图像通过水平LPF和垂直LPF以及获得不同图像来使图像的垂直中频分量、水平中频分量和对角线中频分量与图像的低频分量分离。

因此，中频和低频分量的图像会被划分为四种类型的分量，诸如低频分量、垂直中频分量、水平中频分量和对角线中频分量。以下由下面的公式表示从输入图像划分出来的这四种类型的分量：

${\mathrm{MS}}^{\mathrm{LF}}={\mathrm{MS}}^{\mathrm{LF}+\mathrm{MF}}-({\mathrm{MS}}^{\mathrm{LF}+\mathrm{MF}}*{\mathrm{LPF}}_H^{\mathrm{MF}})-(({\mathrm{MS}}^{\mathrm{LF}+\mathrm{MF}}-({\mathrm{MS}}^{\mathrm{LF}+\mathrm{MF}}*{\mathrm{LPF}}_H^{\mathrm{MF}}))*{\mathrm{LPF}}_V^{\mathrm{MF}})$

${\mathrm{MS}}_H^{\mathrm{MF}}=({\mathrm{MS}}^{\mathrm{LF}+\mathrm{MF}}*{\mathrm{LPF}}_H^{\mathrm{MF}})-(({\mathrm{MS}}^{\mathrm{LF}+\mathrm{MF}}*{\mathrm{LPF}}_H^{\mathrm{MF}})*{\mathrm{LPF}}_V^{\mathrm{MF}})$

${\mathrm{MS}}_V^{\mathrm{MF}}=({\mathrm{MS}}^{\mathrm{LF}+\mathrm{MF}}-({\mathrm{MS}}^{\mathrm{LF}+\mathrm{MF}}*{\mathrm{LPF}}_H^{\mathrm{MF}}))*{\mathrm{LPF}}_V^{\mathrm{MF}}$

${\mathrm{MS}}_D^{\mathrm{MF}}=({\mathrm{MS}}^{\mathrm{LF}+\mathrm{MF}}*{\mathrm{LPF}}_H^{\mathrm{MF}})*{\mathrm{LPF}}_V^{\mathrm{MF}}$

在这种情况下，可如图6B来设置1×9水平LPF和9×1垂直LPF的系数。然而，在图6B中示出的系数仅作为示例而提供并且可以改变。

图7是示出通过使用基本通道来重建方向频率分量的示例的示图。

使用高分辨率基本图像400的高频分量

和

以及中频分量和来获得高分辨率MFA图像411、421、431和441（例如，

），其中，高分辨率基本图像400的高频分量

和

以及中频分量

和

与通过高频检测器的MFA图像410、420、430和440的高频分量

和以及中频分量

和

对应。

参照示出在水平、垂直和对角线方向的每个方向上检测特征的示例的图8，经由使MFA图像（MS图像）和基本图像的高频和中频分量通过高频检测器来提取能量值En（S420）。在垂直、水平和对角线方向针对每个频率分量来比较提取到的MFA图像和基本图像的能量值En，并且随后按照下面的公式6所表示的那样计算加权和。通过重建MFA图像的中频和高频分量来获得高分辨率MFA图像411、421、431和441。

【公式6】

$C_{B{\mathrm{ase}}_d^k}(i,j)=1=C_{{\mathrm{MS}}_d^k}(i,j)$

${\stackrel{\‾}{\mathrm{MS}}}_d^k(i,j)=C_{{\mathrm{MS}}_d^k}(i,j)\·{\mathrm{MS}}_d^k(i,j)+C_{{\mathrm{Base}}_d^k}(i,j)\·{\mathrm{Base}}_d^k(i,j)$

k∈{MF,HF}

d∈{水平，垂直，对角线}

公式6基于假设高频分量在通道之间相同的色差模型。根据示例性实施例的实施例，如公式6所表示的那样，通过用高分辨率基本图像的中频和高频分量替代损坏的MFA图像的中频和高频分量或者通过计算加权和来重建所述损坏的MFA图像的中频和高频分量。

在这种情况下，分别将权重

和

提供给低分辨率MFA图像的中频和高频分量以及基本图像的中频和高频分量，并且以这样的方式来设置权重

和

将大的权重提供给低分辨率MFA图像和基本图像中其边缘具有更高的能级的那个图像。

C=R、G、B和N，k=中频MF和高频HF，dir=MS图像的垂直、水平和对角线分量。

和基本图像

通过单独的检测器，以计算在每个方向上的局部能级，并对所述局部能级的强度进行比较。因此，按照上面描述的那样计算MS图像和基本图像的权重系数

和

MS图像的高频分量的强度普遍低于原始信号的强度。因此，如果MS图像的局部能级

低于基本图像的局部能级则根据局部能级之间的比率来计算适当的比例（例如，

)），将所述比例乘以MS图像和基本图像的每个方向频率分量，并且获得加权和。因此，计算出最终图像

可选地，如果MS图像

的局部能级

大于基本图像的局部能级则由于MS图像

上很可能产生混淆，因此仅使用基本图像

的频率分量来计算补偿了高频分量的最终图像而不通过将权重系数

设为0来表现MS图像

的频率分量。

图9和图10是示出当频率补偿单元120将色差模型应用于MFA图像时产生的问题的曲线图。

根据示例性实施例的实施例，由于使用等于或大于700nm的宽NIR频带的MFA图像被使用，因此如果简单地应用色差模型，则可能产生问题（如下所述），该问题在现有的拜耳色彩滤波器阵列（CFA）中不会产生。

如图9中所示，在具有陡峭边缘的通道之间的能级差非常大的图像（例如，色表图像）上，由于通过光学系统的R、G、B和NIR通道的折射率之间的差异大，因此如果应用色差模型来执行插值，则会产生伪影900（例如超调现象（overshoot phenomenon））。

图10示出色块上的超调现象。

图10示出色表的一个色块的图像，还示出R通道1010的能级相对地高于其它通道的能级。B通道1020具有最低的能级。

由于色表的边界上形成陡峭边缘，如果在不考虑能级差的情况下通过应用色差模型来重建具有相同的能级的高频分量，则具有相对高的能级的R通道1010的边缘附近的高频分量没有充分地被补偿且变得平滑，并且具有低能级的B通道1020的高频分量被过度补偿以至于导致超调。因此，通道之间形成不均匀的边缘，并且在随后的色彩重建处理中，在边缘附近产生超调现象。

为了解决这个问题，根据示例性实施例的实施例，鉴于由在图1中示出的频率补偿单元120获得的高分辨率MFA图像中的通道的能级，在图1中示出的通道干扰抑制单元130使用线性回归分析来消除通道之间的色彩失真。

图11是用于描述根据示例性实施例的实施例的通过在频率补偿单元120中使用线性回归分析来消除色彩失真的方法的曲线图。

在图11中，x轴表示包括中频和高频分量的MFA图像的频率区域的能量，y轴表示包括中频和高频分量的基本图像的频率区域的能量。换言之，在x轴上表示5×5的小局部窗口的基本图像的能量值，并且在y轴上表示MS图像的能级。因此，将能量值映射到二维平面上。

假设基本图像和MS图像在局部窗口中具有线性比例关系。可按照线性斜率（y=ax+b）来计算MS图像和基本图像的中频和高频分量的能级之间的比率。

可按照下面的公式7所表示的那样计算线性斜率a：

【公式7】

$\left[\begin{array}{c}E\left\{{\mathrm{MS}}^{\mathrm{MF}+\mathrm{HF}}\right\}\\ E\{{\mathrm{MS}}^{\mathrm{MF}+\mathrm{HF}}\·{\mathrm{Base}}^{\mathrm{MF}+\mathrm{HF}}\}\end{array}\right]=\left[\begin{array}{cc}E\left\{{\mathrm{Base}}^{\mathrm{MF}+\mathrm{HF}}\right\}& 1\\ E\{{\mathrm{Base}}^{\mathrm{MF}+\mathrm{HF}}\·{\mathrm{Base}}^{\mathrm{MF}+\mathrm{HF}}\}& E\left\{{\mathrm{Base}}^{\mathrm{MF}+\mathrm{HF}}\right\}\end{array}\right]\·\left[\begin{array}{c}a\\ b\end{array}\right]$

$a=\frac{E\left\{{\mathrm{Base}}^{\mathrm{MF}+\mathrm{HF}}\right\}\·E\left\{{\mathrm{MS}}^{\mathrm{MF}+\mathrm{HF}}\right\}-E\{{\mathrm{MS}}^{\mathrm{MF}+\mathrm{HF}}\·{\mathrm{MS}}^{\mathrm{MF}+\mathrm{HF}}\}}{E\left\{{\mathrm{Base}}^{\mathrm{MF}+\mathrm{HF}}\right\}\·E\left\{{\mathrm{Base}}^{\mathrm{MF}+\mathrm{HF}}\right\}-E\{{\mathrm{Base}}^{\mathrm{MF}+\mathrm{HF}}\·{\mathrm{Base}}^{\mathrm{MF}+\mathrm{HF}}\}}$

在图4中用于提取能量值En的操作S420中，可通过按照下面的公式8所表示的那样通过基于通过使用线性回归分析来计算线性斜率a来进一步校正通道之间的能级差，来重建MFA通道的中频和高频分量：

【公式8】

$C_{{\mathrm{Base}}_{\mathrm{dir}}^k}(i,j)=1-C_{{\mathrm{MS}}_{\mathrm{dir}}^k}(i,j)$

$E_{{\mathrm{Base}}_{\mathrm{dir}}^k}(i,j)=E_{{\mathrm{Base}}_{\mathrm{dir}}^k}(i,j)\·{\left[\begin{array}{cccc}1& 1& 1& 1\end{array}\right]}^T,k\∈\{\mathrm{MF},\mathrm{HF}\},\mathrm{dir}\∈\{V,H,D\}$

${\stackrel{\‾}{\mathrm{MS}}}_{\mathrm{dir}}^k(i,j)=C_{{\mathrm{MS}}_{\mathrm{dir}}^k}(i,j)\·{\mathrm{MS}}_{\mathrm{dir}}^k(i,j)+C_{{\mathrm{Base}}_{\mathrm{dir}}^k}(i,j)\·a(i,j)\·{\mathrm{Base}}_{\mathrm{dir}}^k(i,j)$

C=R、G、B和N，k=中频MF和高频HF，dir=MS图像的垂直、水平和对角线分量和a(i,j)与基本图像的乘积

通过各个检测器以计算每个方向上的局部能级和

并比较所述局部能级的强度。因此，按照下面描述的那样计算MS图像

和a(i,j)与基本图像的乘积

的权重系数和

在此，a(i,j)是通过公式7计算出的值，并且指图像的(i,j)位置的值。当计算a(i,j)与基本图像的乘积

时，以这样的方法来计算基本图像为了防止色彩失真，适当地校正基本图像

的高频分量作为MS图像

的高频分量。

MS图像

的高频分量的强度低于原始信号的强度。因此，如果MS图像

的局部能级

低于a(i,j)与基本图像的乘积

的局部能级a

则根据局部能级之间的比率来计算合适的比率（例如，

将所述合适的比率乘以MS图像

和a(i,j)与基本图像的乘积

的每个方向频率分量，并且获得加权和。因此，计算出最终图像

否则，如果MS图像

的局部能级

高于a(i,j)与基本图像的乘积

的局部能级

则由于在MS图像

上很可能产生混淆，因此仅使用a(i,j)与基本图像的乘积

的频率分量来计算高频分量被补偿的最终图像

而不通过将权重系数

设为0来表现MS图像

的频率分量。

最终，如果a(i,j)与基本图像的乘积的局部能级

小于0，则由于在基本图像上已经产生异常混淆，因此仅使用MS图像

的频率分量来计算高频分量被补偿的最终图像

而不通过将权重系数设为1来表现a(i,j)与基本图像的乘积的频率分量。

图12是示出通道的能级被校正之前的色块图像的曲线图。

如果在不考虑通道之间的能级差的情况下应用色差模型，则具有高能级的R通道的中频和高频分量被弱重建且变得平滑（1210）。然而，具有相对低的能级的B通道的中频和高频分量被过度重建以导致超调（1220）。

图13是示出根据示例性实施例的实施例的通过使用线性回归分析校正通道的能级来抑制色彩失真的示例的曲线图。

根据示例性实施例的实施例，鉴于应用线性回归分析的通道之间的能级差，在由图1中示出的通道干扰抑制单元130重建的MS图像上，由于具有高能级的R通道的中频和高频分量被强补偿，并且具有低能级的B通道的中频和高频分量被弱补偿，因此可均匀地形成通道的边缘。因此，诸如超调的问题可被解决。

图14是示出根据示例性实施例的实施例的为何产生通道干扰的曲线图。

甚至在图1中示出的自适应插值单元110重建MFA模式图像的每个通道的分辨率以获得低分辨率MFA图像以及图1中示出的频率补偿单元120对高频和中频分量执行补偿之后，还会留下因混淆而产生的假色彩伪影。

如图14中所示，每当区域1410的外围像素值被支持以用于在通道1411、1412、1413和1414之间进行插值，考虑的外围像素的位置不同，并且所述外围像素之间的通道信息也不同，如图14的箭头所表示的那样。因此，如图14的箭头所表示的那样，由对通道进行插值计算的边缘方向或高频信息是相似的但略有不同。因此，产生通道干扰。

为了解决这个问题，如图15至图18中所示，根据示例性实施例的实施例，抑制R、G、B和NIR通道中的每个通道中的干扰。图15至图18是示出消除R、G、B和NIR通道中的每个通道的通道干扰的处理的概念图。

参照图15来描述抑制G通道的通道干扰的示例。抑制R、B和NIR通道的通道干扰的方法与抑制G通道的通道干扰的方法实质上是相同或类似的。因此，在此不进行详细描述。

为了抑制G通道的通道干扰，需要高分辨率基本通道信息和R、B和NIR通道信息。在这种情况下，可按照下面的公式9所表示的那样来重新计算基本通道值：

【公式9】

${\mathrm{Base}}_{m,n}=\frac{R_{m,n}+G_{m,n}+B_{m,n}+N_{m,n}}{4}$

按照下面的公式10所表示的那样，可使用通过公式9计算出的基本通道信息来抑制通道值G_m,n的通道干扰。上述基本处理与色彩插值算法相似。换言之，所述处理基于这样的假设：通过将权重α应用到通道值G_m+a,n+b和Base_m+a,n+b之间的差值而获得的值等于通道干扰被抑制的通道值G_m,n和base_m,n之间的最终差值。

【公式10】

${\stackrel{\‾}{G}}_{m,n}-{\mathrm{Base}}_{m,n}=\underset{(a,b)\∈S}{\mathrm{\Σ}}{\mathrm{\α}}_{m,n,m+a,m+b}(G_{m+a,n+b}-{\mathrm{Base}}_{m+a,n+b})$

${\stackrel{\‾}{G}}_{m,n}-{\mathrm{Base}}_{m,n}=\underset{(a,b)\∈S}{\mathrm{\Σ}}{\mathrm{\α}}_{m,n,m+a,m+b}(G_{m+a,n+b}-{\mathrm{Base}}_{m+a,n+b})$

在公式10中，按照下面的公式11所表示的那样来计算权重α_m,n,m+a,n+b：

【公式11】

${\mathrm{\α}}_{m,n,m+a,n+b}=\frac{\underset{(a,b)\∈S,(a,b)=\left(\mathrm{0,0}\right)}{\mathrm{\Σ}}g(d_{m+a,n+b}^{\mathrm{Base},G}-d_{m,n}^{\mathrm{Base},G})}{1+\underset{(a,b)\∈S,(a,b)=\left(\mathrm{0,0}\right)}{\mathrm{\Σ}}g(d_{m+a,n+b}^{\mathrm{Base},G}-d_{m,n}^{\mathrm{Base},G})},{\mathrm{\α}}_{m,n,m+0,n+0}=1$

在公式11中，按照下面的公式12所表示的那样来定义

和函数g(x)：

【公式12】

$d_{m,n}^{\mathrm{Base},G}=G_{m+a,n+b}-{\mathrm{Base}}_{m+a,n+b}$

$g\left(x\right)=\frac{1}{1+x}$

根据示例性实施例的实施例，为了计算通道干扰被消除的估值按照下面的公式13所表示的那样来使用基本、R、B和NIR通道值：

【公式13】

${\mathrm{\β}}_{m.n}^{\mathrm{Base},G}=\frac{{\left({\mathrm{\σ}}_{m,n}^R\right)}^2+{\left({\mathrm{\σ}}_{m,n}^B\right)}^2+{\left({\mathrm{\σ}}_{m,n}^N\right)}^2}{3{\left({\mathrm{\σ}}_{m,n}^{\mathrm{Base}}\right)}^2+3{\left({\mathrm{\σ}}_{m,n}^R\right)}^2+3{\left({\mathrm{\σ}}_{m,n}^B\right)}^2+3{\left({\mathrm{\σ}}_{m,n}^N\right)}^2}$

${\mathrm{\β}}_{m.n}^{R,G}=\frac{{\left({\mathrm{\σ}}_{m,n}^{\mathrm{Base}}\right)}^2+{\left({\mathrm{\σ}}_{m,n}^B\right)}^2+{\left({\mathrm{\σ}}_{m,n}^N\right)}^2}{3{\left({\mathrm{\σ}}_{m,n}^{\mathrm{Base}}\right)}^2+3{\left({\mathrm{\σ}}_{m,n}^R\right)}^2+3{\left({\mathrm{\σ}}_{m,n}^B\right)}^2+3{\left({\mathrm{\σ}}_{m,n}^N\right)}^2}$

${\mathrm{\β}}_{m.n}^{B,G}=\frac{{\left({\mathrm{\σ}}_{m,n}^{\mathrm{Base}}\right)}^2+{\left({\mathrm{\σ}}_{m,n}^R\right)}^2+{\left({\mathrm{\σ}}_{m,n}^N\right)}^2}{3{\left({\mathrm{\σ}}_{m,n}^{\mathrm{Base}}\right)}^2+3{\left({\mathrm{\σ}}_{m,n}^R\right)}^2+3{\left({\mathrm{\σ}}_{m,n}^B\right)}^2+3{\left({\mathrm{\σ}}_{m,n}^N\right)}^2}$

${\mathrm{\β}}_{m.n}^{N,G}=\frac{{\left({\mathrm{\σ}}_{m,n}^{\mathrm{Base}}\right)}^2+{\left({\mathrm{\σ}}_{m,n}^R\right)}^2+{\left({\mathrm{\σ}}_{m,n}^B\right)}^2}{3{\left({\mathrm{\σ}}_{m,n}^{\mathrm{Base}}\right)}^2+3{\left({\mathrm{\σ}}_{m,n}^R\right)}^2+3{\left({\mathrm{\σ}}_{m,n}^B\right)}^2+3{\left({\mathrm{\σ}}_{m,n}^N\right)}^2}$

按照公式13所表示的那样，计算在G通道与基本、R、B和NIR通道之间产生的通道干扰被消除的四个估值

计算所述估值的加权和。随后，按照下面的公式14所表示的那样来计算用于通道干扰被抑制的最终估值：

【公式14】

${\stackrel{\‾}{G}}_{m,n}={\mathrm{\β}}_{m,n}^{\mathrm{Base},G}{\stackrel{\‾}{G}}_{m,n}^{\mathrm{Base}}+{\mathrm{\β}}_{m,n}^{R,G}{\stackrel{\‾}{G}}_{m,n}^R+{\mathrm{\β}}_{m,n}^{B,G}{\stackrel{\‾}{G}}_{m,n}^B+{\mathrm{\β}}_{m,n}^{N,G}{\stackrel{\‾}{G}}_{m,n}^N$

在公式14中，按照下面的公式15所表示的那样来计算每个通道的权重

【公式15】

${\mathrm{\β}}_{m.n}^{\mathrm{Base},G}=\frac{{\left({\mathrm{\σ}}_{m,n}^R\right)}^2+{\left({\mathrm{\σ}}_{m,n}^B\right)}^2+{\left({\mathrm{\σ}}_{m,n}^N\right)}^2}{3{\left({\mathrm{\σ}}_{m,n}^{\mathrm{Base}}\right)}^2+3{\left({\mathrm{\σ}}_{m,n}^R\right)}^2+3{\left({\mathrm{\σ}}_{m,n}^B\right)}^2+3{\left({\mathrm{\σ}}_{m,n}^N\right)}^2}$

${\mathrm{\β}}_{m.n}^{R,G}=\frac{{\left({\mathrm{\σ}}_{m,n}^R\right)}^2+{\left({\mathrm{\σ}}_{m,n}^B\right)}^2+{\left({\mathrm{\σ}}_{m,n}^N\right)}^2}{3{\left({\mathrm{\σ}}_{m,n}^{\mathrm{Base}}\right)}^2+3{\left({\mathrm{\σ}}_{m,n}^R\right)}^2+3{\left({\mathrm{\σ}}_{m,n}^B\right)}^2+3{\left({\mathrm{\σ}}_{m,n}^N\right)}^2}$

${\mathrm{\β}}_{m.n}^{B,G}=\frac{{\left({\mathrm{\σ}}_{m,n}^R\right)}^2+{\left({\mathrm{\σ}}_{m,n}^B\right)}^2+{\left({\mathrm{\σ}}_{m,n}^N\right)}^2}{3{\left({\mathrm{\σ}}_{m,n}^{\mathrm{Base}}\right)}^2+3{\left({\mathrm{\σ}}_{m,n}^R\right)}^2+3{\left({\mathrm{\σ}}_{m,n}^B\right)}^2+3{\left({\mathrm{\σ}}_{m,n}^N\right)}^2}$

${\mathrm{\β}}_{m.n}^{N,G}=\frac{{\left({\mathrm{\σ}}_{m,n}^R\right)}^2+{\left({\mathrm{\σ}}_{m,n}^B\right)}^2+{\left({\mathrm{\σ}}_{m,n}^N\right)}^2}{3{\left({\mathrm{\σ}}_{m,n}^{\mathrm{Base}}\right)}^2+3{\left({\mathrm{\σ}}_{m,n}^R\right)}^2+3{\left({\mathrm{\σ}}_{m,n}^B\right)}^2+3{\left({\mathrm{\σ}}_{m,n}^N\right)}^2}$

在公式15中，按照下面的公式16所示来计算

的值：

【公式16】

${\mathrm{\σ}}_{m,n}^{\mathrm{Base}}=\underset{(a,b)\∈S}{\mathrm{\Σ}}{\mathrm{\α}}_{m,n,m+a,m+b}(G_{m+a,n+b}-{\mathrm{Base}}_{m+a,n+b})$

${\mathrm{\σ}}_{m,n}^R=\underset{(a,b)\∈S}{\mathrm{\Σ}}{\mathrm{\α}}_{m,n,m+a,m+b}(G_{m+a,n+b}-R_{m+a,n+b})$

${\mathrm{\σ}}_{m,n}^B=\underset{(a,b)\∈S}{\mathrm{\Σ}}{\mathrm{\α}}_{m,n,m+a,m+b}(G_{m+a,n+b}-B_{m+a,n+b})$

${\mathrm{\σ}}_{m,n}^N=\underset{(a,b)\∈S}{\mathrm{\Σ}}{\mathrm{\α}}_{m,n,m+a,m+b}(G_{m+a,n+b}-N_{m+a,n+b})$

根据关于NIR通道的示例性实施例的另一实施例，可不考虑因色彩饱和度而产生的通道干扰。在这种情况下，按照下面的公式17所示，NIR通道可在不考虑R、G和B通道的情况下使用仅基本通道的通道干扰被消除的估值：

【公式17】

${\stackrel{\‾}{N}}_{m,n}^{\mathrm{Base}}={\mathrm{Base}}_{m,n}+\underset{(a,b)\∈S}{\mathrm{\Σ}}{\mathrm{\α}}_{m,n,m+a,m+b}(N_{m+a,n+b}-{\mathrm{Base}}_{m+a.n+b})$

可对使用具有RGB和NIR像素的结构的传感器的数字摄像系统应用示例性实施例的实施例。特别是，可对安全摄像头应用实施例。

图19是根据示例性实施例的实施例的摄像系统1的框图。

参照图19，摄像系统1包括图像传感器10、图像处理设备30和显示设备50。摄像系统1可以是图像捕捉系统（诸如数码相机、摄像机或安全摄像头），或者可以被安装在计算机、PDA、PMP或移动电话中。

图像传感器10可以是光电转换装置，诸如电荷耦合装置（CCD）或互补金属氧化物半导体（CMOS）装置。图像传感器10包括光电转换装置将光信号转换为电图像信号的多个像素的像素阵列。将用于发送可见光波段和不可见光波段的光的MFA布置在图像传感器10上。MFA包括：滤色器，用于发送在可见光波段中的特定颜色（诸如RGB）的光分量；NIR滤波器，用于发送在可见光波段中的NIR区域的光分量。

将MFA的滤色器RCF、GCF和BCF以及NIR滤波器NIRF布置为单独地与图像传感器10的像素对应，其中，图像传感器10的像素感测通过MFA的色彩通道信号R、G和B以及NIR通道信号NIR。

可在图像传感器10的前面布置用于接收光信号的镜头（未示出）。

图像处理设备30使用输入到包括MFA的图像传感器10的RGB色彩像素和NIR像素的信息来输出伪影被最小化的高分辨率MFA图像。

根据示例性实施例，可通过将MFA模式图像转换为梅花形模式图像并且随后执行边缘自适应插值来获得低分辨率MFA图像。在那之后，通过使用高分辨率基本图像来对低分辨率MFA图像的高频和中频分量进行补偿，可获得高分辨率MFA图像。此外，为了消除因混淆而产生的色彩伪影，可抑制通道干扰，其中，混淆损坏高分辨率MFA图像的细节部分的插值结果的高频分量。因此，可消除色彩失真。

还可将示例性实施例实现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是可存储此后可由计算机系统读取的数据的任何数据存储装置。计算机可读记录介质的示例包括只读存储器（ROM）、随机存取存储器（RAM）、CD-ROM、磁带、软盘、光数据存储装置等。计算机可读记录介质还可分布在联网的计算机系统中，以便以分布式存储和执行计算机可读代码。此外，本领域的普通技术程序员可容易地理解用于实现示例性实施例的功能程序、代码和代码段。

还可使用结构特征来实现示例性实施例。例如，自适应插值单元110、频率补偿单元120和通道干扰抑制单元中的任何单元可包括用于执行其各自的功能的处理器、硬件模块或电路。

尽管已经参照示例性实施例来具体地示出和描述了示例性实施例，但本领域的普通技术人员应理解，在不脱离由所附权利要求限定的示例性实施例的精神和范围的情况下，可在形式和细节上做出各种改变。所述示例性实施例应仅被认为具有描述性意义，而不是为了限制的目的。因此，示例性实施例的范围不由示例性实施例的详细描述而是由权利要求来限定，而且在所述范围之内的所有差异将被理解为被包括在示例性实施例中。

Claims (16)

1.一种图像处理设备，包括：

自适应插值装置，被配置为基于对角线方向上的差值将多光谱滤波器阵列MFA模式图像转换为梅花形模式图像，并且基于转换的梅花形模式图像在垂直像素方向和水平像素方向上的差值对MFA模式图像的色彩通道和近红外NIR通道插值至最大分辨率；

频率补偿装置，被配置为基于线性回归分析和将MFA通道图像的能级与基本图像的能级进行比较的结果，来使用高分辨率基本图像的高频分量和中频分量获得高分辨率MFA图像，其中，高分辨率基本图像的高频分量和中频分量与由自适应插值装置插值的低分辨率MFA图像的高频分量和中频分量对应；

通道干扰抑制装置，被配置为使用高分辨率MFA图像的每个通道与高分辨率MFA图像的另一通道和基本通道之间的像素值差的加权平均值，来消除高分辨率MFA图像的每个通道与高分辨率MFA图像的所述另一通道和基本通道之间产生的色彩失真。

2.如权利要求1所述的图像处理设备，其中，梅花形模式图像是具有与拜耳模式图像相同的几何模型并且具有与拜耳模式图像不同的通道值的图像。

3.如权利要求1所述的图像处理设备，其中，当将MFA模式图像转换为梅花形模式图像时，自适应插值装置使用第一加权平均值和第二加权平均值的和，其中，第一加权平均值是在对角线方向上与MFA模式图像的特定像素（m，n）间隔一个像素的像素的值的加权平均值，第二加权平均值是通过计算MFA模式图像的特定像素（m，n）和在对角线方向上与MFA模式图像的特定像素（m，n）间隔两个像素的像素之间的差值的加权平均值而获得的加权平均值。

4.如权利要求3所述的图像处理设备，其中，用于计算第一加权平均值和第二加权平均值的每个权重与每个像素方向上的差值成反比。

5.如权利要求1所述的图像处理设备，其中，频率补偿装置通过下述步骤来产生高分辨率MFA图像：在垂直、水平和对角线方向中的每个方向上将由自适应插值装置插值的低分辨率MFA图像的中频分量和高频分量与基本图像的中频分量和高频分量分别进行比较，分别计算所述低分辨率MFA图像的中频分量和高频分量与基本图像的中频分量和高频分量的加权和，并且重建由自适应插值装置插值的低分辨率MFA图像的中频分量和高频分量。

6.如权利要求1所述的图像处理设备，其中，频率补偿装置将权重提供给低分辨率MFA图像的中频分量和高频分量以及基本图像的中频分量和高频分量中的每个分量，

其中，以这样的方式来设置权重：将大的权重提供给低分辨率MFA图像和基本图像中其边缘具有更高的能级的那个图像。

7.如权利要求1所述的图像处理设备，其中，频率补偿装置使用线性回归分析来计算基本图像和MFA图像的中频分量和高频分量的能级之间的比率，并且提供用于校正能级差的权重。

8.如权利要求7所述的图像处理设备，其中，频率补偿装置通过使用用于校正能级差的权重来强重建具有高能级的高频分量的通道的中频分量和高频分量以及弱重建具有低能级的高频分量的通道的中频分量和高频分量来消除通道之间的色彩失真，以便允许通道的边缘在MFA图像的红R、绿G、蓝B和NIR通道的能级方面是统一的。

9.一种图像处理方法，包括：

使用自适应插值装置来进行下述步骤：基于对角线方向上的差值将多光谱滤波器阵列MFA模式图像转换为梅花形模式图像，并且基于转换的梅花形模式图像在垂直像素方向和水平像素方向上的差值对MFA模式图像的色彩通道和近红外NIR通道插值至最大分辨率；

使用频率补偿装置来进行下述步骤：基于线性回归分析和将MFA通道图像的能级与基本图像的能级进行比较的结果，来使用高分辨率基本图像的高频分量和中频分量获得高分辨率MFA图像，其中，高分辨率基本图像的高频分量和中频分量与由自适应插值装置插值的低分辨率MFA图像的高频分量和中频分量对应；

使用通道干扰抑制装置来进行下述步骤：使用高分辨率MFA图像的每个通道之间的像素值差的加权平均值以及高分辨率MFA图像的另一通道与基本通道之间的像素值差的加权平均值，来消除高分辨率MFA图像的每个通道之间产生的色彩失真以及高分辨率MFA图像的所述另一通道与基本通道之间产生的色彩失真。

10.如权利要求9所述的图像处理方法，其中，梅花形模式图像是具有与拜耳模式图像相同的几何模型并且具有与拜耳模式图像不同的通道值的图像。

11.如权利要求9所述的图像处理方法，其中，当将MFA模式图像转换为梅花形模式图像时，使用第一加权平均值和第二加权平均值的和，其中，第一加权平均值是在对角线方向上与MFA模式图像的特定像素（m，n）间隔一个像素的像素的值的加权平均值，第二加权平均值是通过计算MFA模式图像的特定像素（m，n）和在对角线方向上与MFA模式图像210的特定像素（m，n）间隔两个像素的像素之间的差值的加权平均值而获得的加权平均值。

12.如权利要求11所述的图像处理方法，其中，用于计算第一加权平均值和第二加权平均值的每个权重与每个像素方向上的差值成反比。

13.如权利要求9所述的图像处理方法，其中，获得高分辨率MFA图像的步骤包括：在垂直、水平和对角线方向中的每个方向上将由自适应插值装置插值的低分辨率MFA图像的中频分量和高频分量与基本图像的中频分量和高频分量分别进行比较，分别计算所述低分辨率MFA图像的中频分量和高频分量与基本图像的中频分量和高频分量的加权和，并且重建由自适应插值装置插值的低分辨率MFA图像的中频分量和高频分量。

14.如权利要求9所述的图像处理方法，其中，获得高分辨率MFA图像的步骤包括：将权重提供给低分辨率MFA图像的中频分量和高频分量以及基本图像的中频分量和高频分量中的每个分量，

其中，以这样的方式来设置权重：将大的权重提供给低分辨率MFA图像和基本图像中其边缘具有更高的能级的那个图像。

15.如权利要求9所述的图像处理方法，其中，获得高分辨率MFA图像的步骤包括：使用线性回归分析来计算基本图像和MFA图像的中频分量和高频分量的能级之间的比率，并且提供用于校正能级差的权重。

16.如权利要求15所述的图像处理方法，其中，获得高分辨率MFA图像的步骤包括：通过使用用于校正能级差的权重强重建具有高能级的高频分量的通道的中频分量和高频分量以及弱重建具有低能级的高频分量的通道的中频分量和高频分量来消除通道之间的色彩失真，以便允许通道的边缘在MFA图像的红R、绿G、蓝B和NIR通道的能级方面是统一的。

Images