CN101282486A - 图像处理设备 - Google Patents

Abstract

一种图像处理设备，包括：第一平滑单元，其关于沿输入图像中预定的感兴趣像素的邻近区域中的第一方向的多个位置，计算第一通道的第一阶段平滑值，其中已经沿与第一方向不同的第二方向对像素值进行了平滑；第二平滑单元，其关于沿邻近区域中的第一方向的多个位置，计算第二通道的第一阶段平滑值，其中已经沿第二方向对像素值进行了平滑；强度估计单元，其基于第一和第二通道的第一阶段平滑值，估计第二通道的第一阶段平滑值的强度；以及第三平滑单元，其计算第二通道的第二阶段平滑值，其中已经沿第一方向对由所述强度估计单元进行强度估计的第二通道的第一阶段平滑值进行了平滑。

Description

图像处理设备

技术领域

本发明涉及图像处理设备，并且更具体地涉及用于进行马赛克图像的解马赛克处理的图像处理设备及其处理方法、以及使得计算机执行该方法的程序。

背景技术

诸如CCD(电荷耦合设备)图像传感器和CMOS(互补金属氧化物半导体)图像传感器的固态成像设备通常配置有以网格排列的感光器，其中由于在每个感光器处的光电转换而出现的电荷被顺序读出。由于通常的感光器具有奇数光谱属性，因此从固态成像设备获取的图像信号的颜色是一通道的(即，单色的)。为了用单个固态成像设备获取彩色图像(例如，如RGB的三通道图像)，采用了具有过滤器(filter)的固态成像设备，该过滤器对于每个感光器具有不同的光谱属性(颜色)。使用一个这样的彩色固态成像设备的成像装置经常称为单传感器装置或单片装置。由于从彩色固态成像设备获得单通道图像，所以每个像素仅获取相应感光器的过滤器的颜色，因此，获得颜色上类似马赛克图像的图像。由于该原因，这样的彩色固态成像设备的输出图像被称作马赛克图像。

为了从彩色成像设备获得多通道图像，需要使用适当的图像处理，根据周围的像素位置，在马赛克图像的每个像素的颜色信息之间进行内插。这样的图像处理通常称为解马赛克(demosaicing)处理、颜色内插处理、同步等。

如可以从上面的描述理解的，解马赛克处理对于使用彩色固态成像设备的单传感器彩色成像装置是必不可少的，并且这些年来已经开发了各种技术。

解马赛克处理的问题在于，彩色过滤器的每个颜色的采样频率和相位不同，以很多方式影响图像质量。就当今最普遍使用的彩色阵列的原色拜耳阵列(Bayer array)(以下简称作“拜耳阵列”)而言，使用R(红)、G(绿)和B(蓝)的三原色的颜色过滤器，其中G以棋盘图案排列，而G和B以行序排列。使用拜耳阵列，G信号以水平和垂直的所有相位呈现，而R和B以行序呈现，因而对应于R和B的信号仅在水平或垂直方向上每隔一行存在。也就是说，R和B的采样频率是G的采样频率的一半，因此，R和B的可再现图像信号频率的极限与G的极限相比也是1/2。

因此，在图像信号中存在高频分量的情形，可能出现这样的现象：其中高频分量的G分量可以被正确地重建，但是幅度上劣化，而在R分量和B分量中出现伪信号(aliasing)，观测到为输出图像中颜色平衡的偏移。该现象被公知为伪色(颜色moiré)。此外，尽管R和B的采样频率相同，但是采样相位不同。因此，图像上R和G之间由于伪信号而造成的颜色偏移不同，甚至更加强了R和B的伪色现象。

在马赛克处理的相关技术中已经做出了各种尝试来减少劣化输出图像的图像质量的该伪色现象。例如，已经提出了一种技术，其中在感兴趣的像素位置的R强度的估计值由下述表达式表达：

R＝G·(M_R/M_G)

该表达式使用M_R(R的平均值)与M_G(G的平均值)的近似比(见日本未审专利申请公开No.60-58398(图1))。与单独用简单的R采样来重建R信号相比，其尝试通过使用用于重建R的G采样信息来改善频率属性。

发明内容

然而，该相关技术的问题在于，在计算接近奈奎斯特(Nyquist)频率的低频分量时分辨率劣化，导致伪色。

已经认识到对解马赛克处理的需要，在该解马赛克处理中，来自单传感器固态彩色成像设备的马赛克输出图像的多个通道被同步，其中在具有以单像素的增量而重复的诸如黑白行的高频分量的图像中可以减少伪色的出现。

根据本发明的实施例，一种图像处理设备包括：第一平滑单元，被配置用于关于在输入图像中感兴趣的预定像素的邻近区域中沿第一方向的多个位置，对第一通道计算第一阶段平滑值，其中已经沿与第一方向不同的第二方向进行了像素值的平滑；第二平滑单元，被配置用于关于沿邻近区域中的第一方向的多个位置，对第二通道计算第一阶段平滑值，其中已经沿第二方向进行了像素值的平滑；强度估计单元，被配置用于基于第一和第二通道的第一阶段平滑值，估计第二通道的第一阶段平滑值的强度；以及第三平滑单元，被配置用于计算第二通道的第二阶段的平滑值，其中已经沿第一方向对经受由强度估计单元进行的强度估计的第二通道的第一阶段平滑值进行了平滑。这样运作使得基于第一通道(例如，G)和第二通道(例如，R和B)的第一阶段平滑值来估计第二通道的第一阶段平滑值的强度。

而且，所述强度估计单元可包括：高频分量计算单元，被配置用于关于沿第一方向的每个位置，计算在该位置处第一通道的第一阶段平滑值的高频分量；低频分量计算单元，被配置用于关于沿第一方向的每个位置，计算在该位置处第二通道的第一阶段平滑值的低频分量；以及校正值计算单元，被配置用于从沿第一方向的每个位置处第一通道的第一阶段平滑值的高频分量和在该位置的第二通道的第一阶段平滑值的低频分量，计算在该位置处第二通道的校正值。这样运作，以从第一通道的第一阶段平滑值的高频分量和第二通道的第一阶段平滑值的低频分量，校正第二通道的第一阶段平滑值。

而且，所述强度估计单元可包括：高频分量计算单元，被配置用于关于沿第一方向的每个位置，计算在该位置处的第一通道的第一阶段平滑值的高频分量；第一低频分量计算单元，被配置用于关于沿第一方向的每个位置，计算在该位置处第二通道的第一阶段平滑值的低频分量；第二低频分量计算单元，被配置用于关于沿第一方向的每个位置，计算在该位置处第一通道的第一阶段平滑值的低频分量；高频估计单元，被配置用于基于在沿第一方向的每个位置处的第一通道的第一阶段平滑值中的低频分量和第二通道的第一阶段平滑值中的低频分量之间的比率，通过调整第一通道的第一阶段平滑值中的高频分量，估计在该位置处第二通道的第一阶段平滑值中的高频分量；以及校正值计算单元，被配置用于从在沿第一方向的每个位置处的第二通道的第一阶段平滑值的低频分量和在该位置处的第二通道的第一阶段平滑值的估计的高频分量，计算在该位置处的第二通道的校正值。这样运作，以便从第二通道的第一阶段平滑值的低频分量和已经估计的第二通道的第一阶段平滑值的高频分量，校正第二通道的第一阶段平滑值。

而且，该图像处理设备还可包括：第四平滑单元，被配置用于计算第一通道的第二阶段平滑值，其中已经沿第一方向对第一通道的第一阶段平滑值进行了平滑。这样运作，以便进一步计算第一通道的第二通道平滑值。而且，在此情况下，该图像处理设备还可包括：第二强度估计单元，其被配置用于估计在感兴趣的像素的位置处第一通道的强度；以及合成单元，被配置用于从第一通道的强度、第一通道的第二阶段平滑值以及第二通道的第二阶段平滑值，合成在感兴趣的像素的位置处的第二通道的强度。

而且，根据本发明的实施例，一种图像处理设备包括：内插单元，被配置用于关于被取作内插方向的输入图像中预定的感兴趣的像素的邻近区域中的多个方向，生成沿每个内插方向的内插值；方向确定单元，被配置用于确定邻近区域的构造的方向；以及合成单元，被配置用于基于构造方向的确定结果，合成沿每个所述内插方向的内插值；所述内插单元包括用于多个方向的每个的：第一平滑单元，被配置用于关于沿与邻近区域中的内插方向不同的参考方向的多个位置，对第一通道计算第一阶段平滑值，其中已经沿内插方向进行了像素值的平滑；第二平滑单元，被配置用于关于沿邻近区域中的参考方向的多个位置，对第二通道计算第一阶段平滑值，其中已经沿内插方向进行了像素值的平滑；强度估计单元，被配置用于基于第一和第二通道的第一阶段平滑值，估计第二通道的第一阶段平滑值的强度；以及第三平滑单元，被配置用于计算第二通道的第二阶段平滑值，其中已经沿参考方向对经受由强度估计单元进行的强度估计的第二通道的第一阶段平滑值进行了平滑。这样运作，以通过基于第一通道和第二通道的第一阶段平滑值估计第一阶段平滑值的强度来抑制伪色。而且，在此情况下，多个方向可以是水平方向、垂直方向、左下到右上方向以及左上到右下方向的两个或更多的组合。

而且，根据本发明的实施例，一种图像处理设备包括：成像单元，其被配置用于对被摄体成像并且生成输入图像；第一平滑单元，被配置用于关于在输入图像中预定的感兴趣的像素的邻近区域中沿第一方向的多个位置，对第一通道计算第一阶段平滑值，其中已经沿与第一方向不同的第二方向进行了像素值的平滑；第二平滑单元，被配置用于关于沿邻近区域中的第一方向的多个位置，对第二通道计算第一阶段平滑值，其中已经沿第二方向进行了像素值的平滑；强度估计单元，被配置用于基于第一和第二通道的第一阶段平滑值，估计第二通道的第一阶段平滑值的强度；以及第三平滑单元，被配置用于计算第二通道的第二阶段平滑值，其中已经沿第一方向对经受由强度估计单元进行的强度估计的第二通道的第一阶段平滑值进行了平滑。这样运作，以便基于成像的图像的第一通道和第二通道的第一阶段平滑值，估计第二通道的第一阶段平滑值的强度。

而且，成像单元可以前面布置有原色拜耳阵列颜色过滤器的图像传感器，或者成像单元可以是前面布置有颜色过滤器的图像传感器；所述颜色过滤器具有对应于以棋盘图案布置的特定颜色的像素，在剩余的像素位置上布置了至少三个剩余的颜色。该特定颜色可以是具有接近于人类可见度曲线的光谱敏感度的过滤器颜色。而且，所述至少三个颜色中，可以在除了所述特定颜色外的像素位置，在水平方向和垂直方向上以每隔一个像素的正方形网格图案来布置第一颜色，并且在剩余像素位置，在对角线方向上以每隔一个像素的对角线网格来布置第二和第三颜色。在此情况下，对于第一颜色，可以采用与特定颜色相比具有在长波长侧的敏感度的光谱属性的过滤器颜色；并且对于第二和第三颜色的至少一个，可以采用与所述特定颜色相比具有在短波长侧的敏感度的光谱属性的过滤器颜色。而且，特定颜色还可以是具有对红外线的光谱敏感度的过滤器颜色。

而且，根据本发明的实施例，一种图像处理设备方法包括步骤：关于沿输入图像中预定的感兴趣的像素的邻近区域中的第一方向的多个位置，对第一通道计算第一阶段平滑值，其中已经沿与第一方向不同的第二方向进行了像素值的平滑；关于沿邻近区域中的第一方向的多个位置，对第二通道计算第一阶段平滑值，其中已经沿第二方向进行了像素值的平滑；基于第一和第二通道的第一阶段平滑值，估计第二通道的第一阶段平滑值的强度；以及计算第二通道的第二阶段平滑值，其中已经沿第一方向对经受强度估计的第二通道的第一阶段平滑值进行了平滑。还提供了一种用于使得计算机执行这些过程的程序。这样运作，使得基于第一通道和第二通道的第一阶段平滑值，估计第二通道的第一阶段平滑值的强度。

根据本发明的各实施例，可以具有出色的优点在于，在包括高频分量的图像中也可以减少伪色的出现。

附图说明

图1是图示根据本发明的实施例的成像装置的示例的图；

图2是图示根据本发明的实施例的图像处理电路23的处理功能的示例的图；

图3是图示根据本发明的实施例、作为布置在成像设备的前面的颜色过滤器的示例的拜耳阵列的图；

图4是图示根据本发明的实施例的解马赛克处理单元232的功能配置示例的图；

图5是图示根据本发明的实施例的水平方向内插处理单元210的功能配置示例的图；

图6(a)到(d)是根据本发明的实施例的水平方向内插处理单元210的处理的示意图；

图7是图示根据本发明的实施例的强度估计单元2140的功能配置示例的图；

图8是图示根据本发明的实施例的强度估计单元2140的另一功能配置示例的图；

图9是图示根据本发明的实施例的水平方向内插处理单元310的功能配置示例的图；

图10A和10B是图示本发明的实施例使用的内插过滤器的示例的图；

图11是图示根据本发明的实施例的水平方向内插处理单元310的另一功能配置示例的图；

图12是图示根据本发明的实施例的色度信号伪信号强度计算单元330的功能配置示例的图；

图13是图示根据本发明的实施例的解马赛克处理单元232的另一功能配置示例的图；

图14是图示图13中所示的水平方向内插处理单元210的配置示例的图；

图15是图示根据本发明的实施例的图像处理电路23的处理过程示例的图；

图16是图示根据本发明的实施例由解马赛克处理单元232进行的解马赛克处理的处理过程示例的图；

图17是图示根据本发明的实施例用方向内插单元200进行内插处理的处理过程示例的图；

图18是图示根据本发明的实施例用方向确定单元300进行的构造方向确定处理的处理过程示例的图；

图19是图示根据本发明的实施例用水平方向内插处理单元310和垂直方向内插处理单元320进行的单向内插处理的处理过程示例的图；

图20是图示根据本发明的实施例用色度信号伪信号强度计算单元330和340进行的色度信号伪信号强度计算处理的处理过程示例的图；以及

图21A和21B是图示根据本发明的实施例布置在成像设备的前面的另一颜色过滤器的示例的图。

具体实施方式

将参照附图详细描述本发明的实施例。图1是图示根据本发明的实施例的成像装置的示例的图。成像装置通常配置有光学系统、信号处理系统、记录系统、显示系统和控制系统。

光学系统配置有：用于会聚被摄体的光图像的透镜11、用于调整光图像的光量的孔径12、以及用于通过光电转换将会聚的光图像转换成电信号的成像设备13。成像设备13通过例如CCD图像传感器、CMOS图像传感器等实现。

信号处理系统配置有：用于从成像设备13采样电信号的采样电路21、用于将从采样电路21供应的模拟信号转换为数字信号的A/D转换电路22、以及用于使从A/D转换电路22输入的数字信号经历预定图像处理的图像处理电路23。采样电路21例如通过CDS(相关双采样)电路实现。因此，减轻了出现在成像设备13的噪声。而且，图像处理电路23通过例如DSP(数字信号处理器)实现。稍后将描述由图像处理电路23执行的处理的细节。

记录系统配置有：用于记录图像信号的存储器32；以及编解码器31，该编解码器31用于编码由图像处理电路23处理的信号并将其记录在存储器32中，并且还从存储器32读出图像信号并将其解码以供应给图像处理电路23。存储器32可以是磁盘、光盘、磁光盘、半导体存储器等。

显示系统配置有：显示驱动器41，用于将在图像处理电路23处理的图像信号输出到显示单元42；以及显示单元42，用于显示对应于输入图像信号的图像。显示单元42通过例如LCD(液晶显示器)等实现，并且还用作探视镜(viewfinder)。

控制系统配置有：用于控制成像设备13、采样电路21、A/D转换电路22、以及图像处理电路23的操作定时的定时发生器51；用于接收遮光器(shutter)操作和从用户输入的其他命令的操作输入接收单元52；用于连接到外围设备的驱动器53；以及用于控制整个成像装置的控制单元54。磁盘、光盘、磁光盘、半导体存储器等连接到驱动器53。控制单元54经由驱动器53读出存储在这些中的，并且基于从操作输入接收单元52读出的控制程序和来自操作输入接收单元52的用户输入的命令等而执行控制。图像处理电路23、编解码器31、存储器32、显示设备41、定时发生器51、操作输入接收单元52、以及控制单元54通过总线59互相连接。

利用该成像装置，被摄体的光图像(入射光)经由透镜11和孔径12输入到成像设备13，并且经受由成像设备13进行的到电信号的光电转换。所获得的电信号经受由采样单元21进行的噪声分量移除、A/D转换电路22进行的a d数字化，然后暂时存储在内置于图像处理电路23中的图像存储器(未示出)中。

注意，在正常状态下，通过由定时发生器51对信号处理系统执行的控制，内置在图像处理电路23中的图像存储器恒定地具有以恒定帧频重写的图像信号。经由显示驱动器41将内置于图像处理电路23中的图像存储器中的图像信号输出到显示单元42，并且在显示单元42上显示相应的图像。

显示单元42还用作成像装置的探视镜。在用户按下操作输入接收单元52中包括的遮光器按钮的情形下，在遮光器按钮被按下后，控制单元54立刻控制定时发生器51保持图像信号，即，控制信号处理系统使得不将图像信号重写在图像处理电路23的图像存储器上。由编解码器31编码被保持在图像处理电路23的图像存储器中的图像数据，并将其记录在存储器32中。因此，通过成像装置的这些操作完成一个画面的图像数据的获取。

图2是图示根据本发明的实施例的图像处理电路23的处理功能的示例的图。图像处理电路23包括白平衡处理单元231、解马赛克处理单元232、矩阵处理单元233、伽玛校正单元234、以及YC转换单元235。该图像处理电路23用于采取由A/D转换电路22数字化的马赛克图像M作为输入图像，并且进行图像处理。马赛克图像存储对应于像素颜色R、G、B之一的强度信号，其颜色阵列是诸如图3所示的拜耳阵列。

白平衡处理单元231使马赛克图像M经受白平衡处理。白平衡处理单元23根据马赛克图像M的像素强度的颜色而应用适当的系数，使得消色差(achromatic)经受区域的颜色平衡是消色差的。经受了白平衡处理的马赛克图像M_w被供应给解马赛克处理单元232。

解马赛克处理单元232执行内插处理(解马赛克处理)，使得R、G和B的所有通道的强度出现在马赛克图像M_w的所有像素位置。将已经经受了该内插处理的解马赛克图像[R，G，B]^T供应给矩阵处理单元233。注意，矩阵A^T意味着矩阵A的转置矩阵。

矩阵处理单元233将具有预先设置的系数的3乘3线性矩阵应用到从解马赛克处理单元232输出的像素[R，G，B]^T的每个，并进行到三原色强度值[R_m，G_m，B_m]^T的转换。线性矩阵是更接近于人类感知的用于颜色再现的转换系数。将转换后的强度值[R_m，G_m，B_m]^T供应给伽玛校正单元234。

伽玛校正单元234使强度值[R_m，G_m，B_m]^T经受伽玛校正。伽玛校正是用于在显示单元42上再现输入图像作为对输入图像的真实显示的校正。将伽玛校正单元234的输出[Rγ，Gγ，Bγ]^T供应给YC转换单元235。

YC转换单元235使伽玛校正后的三通道图像[Rγ，Gγ，Bγ]^T经受矩阵处理和色度分量频带限制，由此输出亮度信号(Y)和色差信号(Cr，Cb)。将亮度信号和色差信号供应给图像处理电路23下游的编解码器31。

注意，显示驱动器41通常提供有RGB信号。RGB信号是作为YC转换单元235的输出的亮度信号和色差信号，该输出已经被转换为RGB信号。

图3是图示根据本发明的实施例、作为步骤在成像设备的前面的颜色过滤器的示例的拜耳阵列的图。利用该拜耳阵列，以棋盘方式布置G颜色像素，以在其他像素位置的水平方向和垂直方向上每隔一个像素的正方形网格图案布置R颜色像素，并且以在剩余像素位置的水平方向和垂直方向上每隔一个像素的正方形网格图案布置B颜色像素。

G颜色是接近于人类可见度曲线的光谱属性的过滤器颜色。R颜色是具有对相对长波长侧的敏感度的光谱属性的过滤器颜色。另一方面，B颜色是具有对相对短波长侧的敏感度的光谱属性的过滤器颜色。

这些可以被划分为以棋盘方式布置的第一通道(G)、以及剩余的第二通道(R和B)。关于第一通道，无论水平方向或垂直方向，存在对于进行平滑的方向的颜色。另一方面，关于第二通道，在水平方向或垂直方向之一上的平滑的情形，可能有该颜色不存在的情况。在此情况下，可使用第一通道的强度来估计第二通道的强度。

图4是图示根据本发明的实施例的解马赛克处理单元232的功能配置实例的图。解马赛克处理单元232具有邻近区域提取单元100、方向内插单元200、方向确定单元300、以及合成单元400。解马赛克处理是用于对在每个颜色位置不存在的颜色的强度进行顺序内插或估计、使得在所有像素位置存在所有颜色的处理。也就是说，接下来要描述的过程是在顺序设置的感兴趣像素位置执行的、并且在对所有像素重复后结束的过程。

邻近区域提取单元100用于从已经经受了白平衡处理的马赛克图像M_W提取感兴趣的像素位置周围的预定大小的邻近区域。利用根据本发明的实施例，将以感兴趣的像素位置为中心的9×9像素的矩形区域提取作为邻近区域。

例如，在将邻近区域提取单元100作为软件实现的情形，应当进行操作以便以确保存储器中的邻近感兴趣的像素位置的9×9像素的矩形区域内的像素值是以阵列形式的。而且，在将邻近区域提取单元100作为硬件实现的情形，正常的成像装置信号处理系统经常将来自图像传感器的信号改变为水平行像素强度的一维系统形式的数据，因此，在此情况下，可以进行这样的安排，其中使用能够对价值的一行保持像素强度的延迟行，以便确保到上面和下面相邻的水平行中的像素的访问。预备至少八行延迟行足以确保到9×9像素的矩形区域的访问。

方向内插单元200用于沿关于感兴趣的像素位置的多个方向的每个进行内插处理，并且输出在多个方向的每个上的内插结果。关于本发明的实施例，方向内插单元200具有：水平方向内插处理单元210，用于沿水平方向进行内插处理；以及垂直方向内插处理单元220，用于沿垂直方向进行内插处理。水平方向内插处理单元210将水平方向内插值[R_h，G_h，B_h]^T输出到信号线219，并且垂直方向内插处理单元220将垂直方向内插值[R_v，G_v，B_v]^T输出到信号线229。

方向确定单元300确定感兴趣的像素位置的构造(texture)方向，并且指示如何沿多个方向合成内插值。关于本发明的实施例，方向确定单元300计算水平方向和垂直方向上内插值的权重S_h和S_v。方向确定单元200具有：水平方向内插处理单元310，用于沿水平方向进行内插处理；以及垂直方向内插处理单元320，用于沿垂直方向进行内插处理。分别经由信号线319和329将从水平方向内插处理单元310和垂直方向内插处理单元320输出的内插值输入到色度信号伪信号强度计算单元330和340。色度信号伪信号强度计算单元330和340用于计算在内插值中包括的色度信号的伪信号强度。经由信号线339和349将从色度信号混强度计算单元330和340输出的水平方向伪信号强度V_h和垂直方向伪信号强度V_v供应给方向评估单元350。

方向评估单元350基于水平方向和垂直方向伪信号强度V_h和V_v来计算水平方向和垂直方向上的内插值的权重S_h和S_v。经由信号线369和379输出由方向评估单元350计算的水平方向和垂直方向的内插值的权重S_h和S_v。例如，在水平方向伪信号强度V_h小于垂直方向伪信号强度V_v的情形，将水平方向内插值权重S_h设置为“1”，并且将垂直方向内插值权重S_v设置为“0”。另一方面，反过来，将水平方向内插值权重S_h设置为“0”，并且将垂直方向内插值权重S_v设置为“1”。而且，作为另一计算方法，可以根据下面的表达式从伪信号强度的比率计算权重S_h和S_v。

S_h＝1-/V_h/(V_h+V_V)

S_v＝1-/V_v/(V_h+V_V)

合成单元400用于基于由方向确定单元300输出的内插值权重S_h和S_v，合成由方向内插单元200输出的内插值。合成单元400例如通过下面的表达式计算马赛克图像[R，G，B]^T，并且将其输出到信号线409。

$\left[\begin{array}{c}R\\ G\\ B\end{array}\right]=S_h\left[\begin{array}{c}{R}_h\\ G_h\\ B_h\end{array}\right]+S_v\left[\begin{array}{c}{R}_v\\ G_v\\ B_v\end{array}\right]$

因此，在构造方向是如具有例如垂直条纹的垂直方向的情形，可以用权重对垂直方向上的内插值进行合成，并且在构造方向是如具有例如水平条纹的水平方向的情形，可以用权重对水平方向上的内插值进行合成。

图5是图示根据本发明的实施例的水平方向内插处理单元210的功能配置示例的图。水平方向内插处理单元210包括水平方向平滑单元2110和2120、强度估计单元2130和2140、垂直方向平滑单元2170和2180、以及合成单元2190。

水平方向平滑单元2110用于对包括在感兴趣的像素位置的邻近区域中的RGB通道的G通道，在沿着垂直方向的位置(以下称为垂直采样位置)进行水平方向上的平滑。将由水平方向平滑单元2110生成的平滑值输出到信号线2119。

水平方向平滑单元2120用于对感兴趣的像素位置的邻近区域中包括的RGB通道的R通道和B通道，在垂直采样位置进行水平方向上的平滑。注意，关于R通道和B通道，存在这样的情况，其中在给定的垂直采样位置的水平行上没有相关通道的像素，因此在这样的情况下，不能获得平滑值，并且平滑值仍然不存在。将由水平方向平滑单元2120生成的平滑值输出到信号线2129。

强度估计单元2130用于对包括在感兴趣的像素位置的邻近区域中的RGB通道的G通道，进行感兴趣的像素位置的强度估计。在感兴趣的像素位置处存在G通道像素的情形，强度估计单元2130将该值取为强度，并且在感兴趣的像素位置处不存在G通道像素的情形，强度估计单元2130估计水平方向上邻近的G通道像素的像素强度的平均值作为强度。将估计的强度作为G通道内插值输出到信号线2139。

强度估计单元2140用于通过来自水平方向平滑单元2110的G通道平滑值的强度，对来自水平方向平滑单元2120的R通道和B通道的平滑值的强度进行估计。将由强度估计单元2140估计的强度作为R通道和B通道的内插的平滑值而输出到信号线2149。

垂直方向平滑单元2170用于在垂直方向上对来自水平方向平滑单元2110的G通道的水平方向平滑值的强度进行进一步平滑。将因此生成的值作为G通道的低频分量而输出到信号线2179。

垂直方向平滑单元2180用于在垂直方向上对来自强度估计单元2140的、已经进行内插的R通道和B通道的水平方向平滑值的强度进行进一步平滑。将因此生成的值作为R通道和B通道的低频分量而输出到信号线2179。

合成单元2190用于基于来自垂直方向平滑单元2170的G通道的低频分量、来自垂直方向平滑单元2180的R通道和B通道的低频分量、以及来自强度估计单元2130的G通道内插值，合成感兴趣的像素位置的R通道和B通道的强度。现在取R通道作为要合成的通道的示例，R通道的强度R_C是R通道的高频分量R_H和低频分量R_L的合成值。而且，R通道高频分量R_H可以从G通道高频分量和低频分量的比率获得。因此，通过将R通道和G通道的低频分量的比率乘以G通道强度G_c而获得R通道强度R_C，如下面的表达式所示。这对B通道也成立。

R_C＝R_H+R_L＝R_L·((G_C-G_L)/G_L)+R_L＝(R_L/G_L)·G_C

将由合成单元2190合成的R通道和B通道强度作为R通道和B通道内插值而输出到信号线2199。而且，将从强度估计单元2130输出的R通道和B通道内插值、以及G通道内插值作为沿着水平方向的内插处理结果而输出到信号线219。

注意，尽管已经关于水平方向内插处理单元210的功能配置示例进行了描述，但是垂直方向内插处理单元220的基本配置是一样的，仅仅变换水平方向和垂直方向。

图6是根据本发明的实施例的水平方向内插处理单元210的处理的模型图。在图6中，(a)图示了对9x9像素拜耳阵列进行水平方向平滑的方式。通过水平方向平滑单元2110对G通道进行平滑，并且通过水平方向平滑单元2120对R通道和B通道进行平滑。

在图6中，(b)图示水平方向平滑单元2110和2120的平滑结果。所有行上都存在G通道，所以对所有垂直采样位置都获得了平滑值。另一方面，R通道和B通道每隔一行存在，所以可以看到，没有对所有垂直采样位置获得平滑值，并且存在空白位置。

强度估计单元2140估计关于R通道和B通道平滑值的强度，并且如图6中的(c)所示，排列使得对R通道和B通道的所有垂直采样位置也存在平滑值。

在图6中，(c)图示对获得的水平方向平滑值进行垂直方向平滑的方式。用垂直方向平滑单元2170对G通道进行平滑，并且用垂直方向平滑单元2180对R通道和B通道进行平滑。

在图6中，(d)图示垂直方向平滑单元2170和2180的平滑结果。这些平滑值是每个通道的低频分量，并且被供应给合成单元2190。

图7是图示根据本发明的实施例的强度估计单元2140的功能配置示例的图。强度估计单元2140包括高频分量计算单元2141、低频分量计算单元2143、以及校正值计算单元2145。

高频分量计算单元2141用于计算在每个垂直采样位置处由水平方向平滑单元2110生成的平滑值的高频分量。如果说作为参考的垂直采样位置是位置i，则位置i处的G通道的平滑值是G[i]，并且在位置i的相邻位置处的G通道的平滑值是G[i-1]和G[i+1]。现在，在位置i处存在R通道像素的情形，通过G_H[i]＝((G[i+1]+G[i-1])/2-G[i])/2计算G通道高频分量G_H[i]，并且在位置i不存在R通道像素的情形，其通过G_H[i]＝(G[i]-(G[i+1]+G[i-1])/2)/2计算。尽管在此已经关于取R通道位置作为参考而计算G通道的高频分量的方法进行了描述，但是B通道也可以用作参考来代替R通道。

低频分量计算单元2143用于计算在每个垂直采样位置处由水平方向平滑单元2120生成的平滑值的低频分量。如果说作为参考的垂直采样位置是位置i，则在位置i处的R通道的平滑值是R[i]，并且在与垂直采样位置处的位置i相邻的位置处的R通道的平滑值是R[i-1]和R[i+1]。现在，在位置i处存在R通道像素的情形，R通道低频分量R_L[i]通过R_L[i]＝R[i]而计算，并且在位置i不存在R通道像素的情形，其通过R_L[i]＝(R[i+1]+R[i-1])/2而计算。在计算B通道低频分量B_L[i]的情况下也是这样。

校正值计算单元2145用于从由高频分量计算单元2141生成的G通道的高频分量和由低频分量计算单元2143生成的R通道或B通道低频分量，校正在每个垂直采样位置处的R通道或B通道的平滑值。如果说作为参考的垂直采样位置是位置i，则可以通过用下面的表达式将R通道低频分量R_L[i]和G通道高频分量G_H[i]相加而计算R通道校正值R_C[i]。

R_C[i]＝R_L[i]+G_H[i]

这对B通道也成立，并且可以通过将B通道低频分量B_L[i]和G通道高频分量G_H[i]相加而得到B通道校正值B_C[i]。

尽管在此已经关于通过将R通道或B通道低频分量添加到G通道高频分量而计算R通道校正值的示例进行了描述，但是也可以通过估计R通道或B通道的高频分量而计算R通道或B通道校正值，如下所述。

图8是图示根据本发明的实施例的强度估计单元2140的另一功能配置示例的图。该强度估计单元2140包括高频分量计算单元2141、低频分量计算单元2142、低频分量计算单元2143、高频分量估计单元2144、以及校正值计算单元2145。也就是说，这是已经将低频分量计算单元2142和高频分量估计单元2144添加到图7中的示例的配置。

低频分量计算单元2142用于计算在每个垂直采样位置处由水平方向平滑单元2110生成的平滑值的低频分量。如果说作为参考的垂直采样位置为位置i，并且在位置i处的G通道平滑值是G[i]，则通过G_L[i]＝G[i]计算G通道低频分量G_L[i]。

高频分量估计单元2144用于基于由低频分量计算单元2142生成的G通道的低频分量和由低频分量计算单元2143生成的R通道或B通道低频分量，通过调整由高频分量计算单元2141生成的G通道的高频分量来估计R通道或B通道高频分量。如果说作为参考的垂直采样位置为位置i，在位置i处的G通道高频分量为G_H[i]，G通道低频分量为G_L[i]，并且R通道低频分量为R_L[i]，则可以从下面的表达式计算R通道高频分量R_H[i]。

R_H[i]＝(R_L[i]/G_L[i])·G_H[i]

因此，校正值计算单元2145可以通过将R通道低频分量R_L[i]和R通道高频分量R_H[i]相加而计算，如下面的表达式所示。

R_C[i]＝R_L[i]+R_H[i]

注意，尽管已经关于R通道进行了描述，但是这对B通道也成立。

图9是图示根据本发明的实施例的水平方向内插处理单元310的功能配置示例的图。水平方向内插处理单元310包括G强度估计单元311和RB强度估计单元312。

G强度估计单元311用于估计在由邻近区域提取单元100提取的邻近区域中没有G通道像素的位置处的G通道。至于该估计的方法，可以通过使用例如图10A中所示的内插过滤器，获得水平方向上相邻的像素的强度的平均值而做出估计。将G通道估计值输出到信号线318。注意，在垂直方向内插处理单元320处的G强度估计单元是相同的，并且可以通过使用例如图10B中所示的内插过滤器，获得垂直方向上相邻的像素的强度的平均值而做出估计。

RB强度估计单元312用于估计在由邻近区域提取单元100提取的邻近区域中在没有R通道或B通道像素的位置处的R通道和B通道。至于该估计的方法，可以通过使用例如图10A中所示的内插过滤器，获得水平方向上相邻的像素的强度的平均值而做出估计。然而，关于R通道和B通道有在行上不存在通道的情况，因此在此情况下，可以基于由G强度估计单元311估计的G通道强度而估计R通道和B通道强度。将由RB强度估计单元312估计的R通道和B通道强度、以及由G强度估计单元311估计的G通道强度输出到信号线319。

关于图9中所示的示例，对邻近区域中的所有像素估计不存在的通道的强度。因此，将对应于邻近区域的9×9像素中的通道的强度输出到信号线319。相反，可以如下所述进行安排，其中在一个方向上进行平滑后，估计唯独缺少的通道的强度。

图11是图示根据本发明的实施例的水平方向内插处理单元310的另一功能配置实例的图。该水平方向内插处理单元310具有水平方向平滑单元313、水平方向平滑单元314和RB强度估计单元315。

水平方向平滑单元313用于在垂直采样位置对感兴趣的像素位置的邻近区域中包括的G通道进行水平方向上的平滑。将由该水平方向平滑单元313生成的平滑值输出到信号线317。

水平方向平滑单元314用于在垂直采样位置对感兴趣的像素位置的邻近区域中包括的R通道和B通道进行水平方向上的平滑。注意，对R通道和B通道，有在给定垂直采样位置的水平行上不存在相关通道的像素的情况，所以在此情况下，不能获得平滑值，并且平滑值仍然不存在。将由水平方向平滑单元314生成的平滑值输出到信号线316。

RB强度估计单元315用于使用来自水平方向平滑单元313的G通道的平滑值的强度对水平方向平滑单元314的R通道和B通道的平滑值的强度的进行估计。将由RB强度估计单元315估计的R通道和B通道估计值、以及由水平方向平滑单元313平滑的G通道强度输出到信号线319。

关于图11中的该示例，在水平方向上进行平滑邻近区域中的像素的处理。因此，将通过在水平方向上平滑邻近区域的像素而获得的1×9像素中的通道的强度输出到信号线319。也就是说，通过平滑内插方向上有价值的一行而不是对邻近区域中的每个像素进行内插，与图9中的示例相比，可以以更高的速度进行内插处理。因此，现在将描述基于根据图11中的示例的水平方向内插处理单元310的输出(1×9像素)而计算色度信号伪信号强度的情况。

图12是图示根据本发明的实施例的色度信号伪信号强度计算单元330的功能配置示例的图。色度信号伪信号强度计算单元330包括相似度计算单元331和色度信号方差计算单元332。

相似度计算单元331用于计算包括感兴趣的像素的行的内插值与邻近区域的内插值之间的相似度。相似度计算单元331通过例如下面的表达式计算在第i个垂直采样位置处的相似度W_i。现在，G_center是在包括感兴趣的像素的垂直采样位置处的G通道的内插值，而G_i是在第i个垂直采样位置处的G通道的内插值。假设G通道的内插值已经被归一化，从而最大值为1。

w_i＝1-|G_i-G_center|

注意，用于相似度计算单元331的相似度计算表达式不限于上述表达式，并且，并且可以通过例如下面的表达式计算相似度W_i。这里，G_mean是G通道内插值的平均值，并且G_var是G通道内插值的方差。

w_i＝((G_i-G_mean)·(G_center-G_mean)/G_var)×0.5+0.5

以这种方式获得的相似度用于加权以在色度信号方差计算单元332计算色度信号的方差。

色度信号方差计算单元332用于计算色度信号的加权方差值。现在，色度信号是像素信号的色差(颜色差别)，并且通过从像素信号减去亮度信号Y(辉度)而获得。关于本发明的实施例，从下面的表达式计算红色的颜色差别Cr和蓝色的颜色差别Cb。注意，Y＝0.3R+0.6G+0.1B.

Cr＝R-Y

Cb＝B-Y

色度信号方差计算单元332通过下面的表达式计算红色的颜色差别Cr的方差V_Cr和蓝色的颜色差别Cb的方差V_Cb。这里，N是各采样的总数，假设在图11的安排中N＝9。而且，Cr_i和Cb_i是在第i个垂直采样位置处的红色和蓝色色度信号的强度。上划线符号表示平均值。

$V_{\mathrm{Cr}}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i{({\mathrm{Cr}}_i-\stackrel{\‾}{\mathrm{Cr}})}^2$

$V_{\mathrm{Cb}}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i{({\mathrm{Cb}}_i-\stackrel{\‾}{\mathrm{Cb}})}^2$

因此，通过将色度信号的方差值相加而获得的值V＝V_cr+V_cb是色度信号的伪信号强度。从信号线339输出伪信号强度V作为水平方向伪信号强度V_h。

注意，这对色度信号伪信号强度计算单元340也成立，从信号线349输出伪信号强度V作为垂直方向伪信号强度V_V。

关于图4中示出的配置，独立地进行在方向内插单元200的内插处理(由水平方向内插处理单元210和垂直方向内插处理单元220进行的处理)和在方向确定单元300的内插处理(由水平方向内插处理单元310和垂直方向内插处理单元320进行的处理)。然而，它们具有相互重叠的部分，因此可以共享在其一个或另一个处的结果。下面将描述该情形的配置示例。

图13是图示根据本发明的实施例的解马赛克处理单元232的另一功能配置示例的图。在图13的示例中，已经从图4中的示例移除了水平方向内插处理单元310和垂直方向内插处理单元320。替代地，来自水平方向内插处理单元210和垂直方向内插处理单元220的信号线218和228分别输入到色度信号伪信号强度计算单元330和340。

图14是图示图13中所示的水平方向内插处理单元210的配置示例的图。利用该水平方向内插处理单元210，输入到垂直方向平滑单元2170和2180的信号线2119和2149作为信号线218而输出。信号线218的输出等效于图11中的信号线319。因此，供应给色度信号伪信号强度计算单元330的信号与图4中的示例相同。

注意，尽管已经关于水平方向内插处理单元210进行了描述，但是垂直方向内插处理单元220的基本配置是相同的，仅仅变换水平方向和垂直方向。

接下来，将参照附图描述根据本发明的实施例的图像处理设备的操作。

图15是图示根据本发明的实施例的图像处理电路23的处理过程示例的图。在从A/D转换电路22获取到马赛克图像时(步骤S901)，白平衡处理单元231使马赛克图像经受白平衡处理(步骤S902)。解马赛克处理单元232执行内插处理(解马赛克处理)，使得所有通道R、G和B的强度对已经经受白平衡的马赛克图像的所有像素都出现(步骤S903)。矩阵处理单元233将线性矩阵应用到解马赛克处理单元232的输出中的每个像素，并且将其转换为为三原色强度值(步骤S904)。伽玛校正单元234使矩阵处理后的强度值经受伽玛校正(步骤S905)。YC转换单元235使伽玛校正后的三通道图像经受矩阵处理和色度分量频带限制，由此输出亮度信号(Y)和颜色差别信号(Cr，Cb)(步骤S906)。

图16是图示由根据本发明的实施例的解马赛克处理单元232进行的解马赛克处理(图15中的步骤S903)的处理过程示例的图。解马赛克处理是用于对在每个像素位置不存在的颜色的强度进行顺序内插或估计、使得所有颜色在所有像素位置都存在的处理。通过对每个像素位置(p，q)(其中p＝1到m，q＝1到n)重复循环L991实现该处理。

首先，将当前像素位置(p，q)设置为感兴趣的像素位置(步骤S911)，由此邻近区域提取单元100从经受了白平衡处理的马赛克图像中提取感兴趣的像素位置周围的预定大小(例如，9×9)的邻近区域(步骤S912)。方向内插单元200沿关于感兴趣的像素位置的多个方向的每个进行内插处理，并且输出对于多个方向的每个的内插结果(步骤S913)。方向确定单元300确定感兴趣的像素位置的构造方向，并且指示如何沿多个方向合成内插值(步骤S914)。合成单元400基于由方向确定单元300输出的内插值的权重，合成由方向内插单元200输出的内插值，并且将其输出作为感兴趣的像素位置的内插值(步骤S915)。

图17是图示根据本发明的实施例的方向内插单元200的内插处理(图16中的步骤S913)的处理过程示例的图。水平方向平滑单元2110在垂直采样位置处对感兴趣的像素位置的邻近区域中所包括的RGB通道的G通道进行水平方向平滑(步骤S921)。而且，水平方向平滑单元2120在垂直采样位置处对感兴趣的像素位置的邻近区域中所包括的RGB通道的R通道和B通道进行水平方向的平滑(步骤S922)。强度估计单元2140通过来自水平方向平滑单元2110的G通道平滑值的强度，对来自水平方向平滑单元2120的R通道和B通道的平滑值的强度进行估计(步骤S923)。

垂直方向平滑单元2170还在垂直方向上平滑来自水平方向平滑单元2110的G通道的水平方向平滑值的强度(步骤S924)。而且，垂直方向平滑单元2180还在垂直方向上平滑来自强度估计单元2140的、已经被进行内插的R通道和B通道的水平方向平滑值的强度(步骤S925)。

而且，强度估计单元2130对感兴趣的像素位置的邻近区域中所包括的RGB通道的G通道进行感兴趣的像素的强度的估计(步骤S926)。合成单元2190然后基于来自垂直方向平滑单元2170的G通道的低频分量、来自垂直方向平滑单元2180的R通道和B通道的低频分量和来自强度估计单元2130的G通道内插值，合成感兴趣的像素位置的R通道和B通道的强度(步骤S927)。

注意，可以以不同顺序进行这些过程，只要它们遵循图5中的操作的依赖性的关系。

图18是图示根据本发明的实施例的方向确定单元300的构造方向确定处理(图16中的步骤S914)的处理过程示例的图。水平方向内插处理单元310沿着水平方向进行内插处理(步骤S931)。色度信号伪信号强度计算单元330在水平方向上计算内插值中所包括的色度信号的伪信号强度(步骤S932)。

而且，垂直方向内插处理单元320沿着垂直方向进行内插处理(步骤S933)。色度信号伪信号强度计算单元340在垂直方向上计算内插值中所包括的色度信号的伪信号强度(步骤S934)。

方向评估单元350基于水平方向和垂直方向伪信号强度，计算水平方向和垂直方向上的内插值的权重(步骤S935)。

注意，可以以不同顺序进行这些过程，只要它们遵循图4中的操作的依赖性的关系。

图19是图示根据本发明的实施例的水平方向内插处理单元310和垂直方向内插处理单元320的单方向内插处理(图18中的步骤S931和S933)的处理过程示例的图。图9中的水平方向内插处理单元310进行内插处理，使得R、G和B信号对邻近区域中的所有像素都出现。通过对每个像素位置(s，t)(其中对本发明的实施例s＝1到9，t＝1到9)重复循环L992和L993而实现该处理。

在循环L992中，在像素位置(s，t)的颜色不是G的情形(步骤S941)，G强度估计单元311估计在像素位置(s，t)的G通道的强度(步骤S942)。在已经对邻近区域中的所有像素进行了步骤S941的处理后，循环L992结束，并且进行到循环L993。

在循环L993中，在像素位置(s，t)，RB强度估计单元312对没有R通道或B通道像素的位置分别估计R通道和B通道(步骤S943)。在对邻近区域中的所有像素都出现R、G和B后，单方向内插处理结束。

注意，垂直方向内插处理单元320的处理与水平方向内插处理单元310的处理相同，仅变换水平方向和垂直方向。

图20是图示根据本发明的实施例的色度信号伪信号强度计算单元330和340的色度伪信号强度计算处理(图18中的步骤S932和S934)的处理过程示例的图。

在色度信号伪信号强度计算单元330中，相似度计算单元331计算包括感兴趣的像素的行的内插值和邻近区域的内插值之间的相似度(步骤S951)。色度信号方差计算单元332然后计算色度信号的加权方差值(步骤S952)。

注意，色度信号伪信号强度计算单元340的处理与色度信号伪信号强度计算单元330的处理相同，仅仅变换水平方向和垂直方向。

尽管已经关于本发明的实施例描述了使用图3所示的拜耳阵列三原色过滤器的示例，但是本发明也可应用到其他颜色阵列。例如，其可以是四色阵列，其中除了RGB外还添加了E(翠绿色)过滤器，如图21A所示。该四色阵列是用具有一些不同的光谱属性的位置代替三色拜耳阵列中的一半B像素位置的阵列。在该四色阵列的情形，可以用方向内插单元200计算通道R、G、B和E的内插值，并且可以基于在方向确定单元300所确定的构造方向而在合成单元400合成内插值。

关于该四色阵列，以棋盘方式布置G颜色像素，在其他像素位置处在水平方向和垂直方向上以每隔一个像素的正方形网格图案布置R颜色像素，并且在剩余像素位置处在对角线方向上以每隔一个像素的对角线网格图案布置B和E颜色像素。

G颜色是接近于人类可视性曲线的光谱属性的过滤器颜色。R颜色是具有对相对长的波长侧的敏感度的光谱属性的过滤器颜色。另一方面，B和E颜色是具有对相对短波长侧的敏感度的频谱属性的过滤器颜色。

可以如图21B所示一般化该四色阵列。在上面的示例中，G等同于C1，R等同于C2，B等同于C3，并且E等同于C4。这些可以划分为以棋盘方式布置的第一通道(C1)、以及剩余的第二通道(C2到C4)。关于第一通道，关于进行了平滑的方向，或者垂直方向或者水平方向，颜色存在。另一方面，关于第二通道，在水平方向或垂直方向之一平滑的情形，可能有颜色不存在的情况。在此情况下，可以使用第一通道的强度来估计第二通道的强度。

这对五个或更多颜色的阵列也成立。也就是说，只要以棋盘方式布置第一通道，第二通道就可以包括以顺序方式排列的四个或更多颜色。

现在，尽管已经假定接近于人类可视性曲线的光谱属性的过滤器颜色作为以棋盘方式布置的第一通道，但是本发明不限于此，并且其也可以是具有对红外线的光谱敏感度的过滤器颜色。作为其示例，可以考虑透过所有颜色的光线的普通的过滤器。

而且，尽管本发明的实施例已经假定在水平方向和垂直方向系统地排列像素，但是本发明不限于此，并且可以以例如45°倾斜布置。

而且，尽管本发明的实施例已经假定要通过水平方向和垂直方向的内插来确定构造方向，但是本发明不限于此，并且除了水平方向和垂直方向外，可以以左下到右上方向(上升)和左上到右下方向(下降)进行内插和构造方向确定。

这样，根据本发明的实施例，可以通过用高频分量计算单元2141计算第一通道的高频分量并且用校正值计算单元2145校正第二通道的低频分量而抑制在感兴趣的像素位置处伪色的出现。

而且，本发明的实施例图示了用于实现本发明的示例，并且与本发明要求保护的元素相关，但是本发明不限于该实施例，并且可以不背离本发明的实质而进行各种修改。

也就是说，在发明内容中描述的第一平滑单元对应于例如水平方向平滑单元2110，发明内容中描述的第二平滑单元对应于例如水平方向平滑单元2120，发明内容中描述的第二强度估计单元对应于例如强度估计单元2130，发明内容中描述的强度估计单元对应于例如强度估计单元2140，发明内容中描述的第四平滑单元对应于例如垂直方向平滑单元2170，发明内容中描述的第三平滑单元对应于例如垂直方向平滑单元2180，并且发明内容中描述的合成单元对应于例如合成单元2190。

而且，发明内容中描述的高频分量计算单元对应于例如频率分量计算单元2141，发明内容中描述的第一低频分量计算单元对应于例如低频分量计算单元2142，发明内容中描述的第二低频分量计算单元对应于例如低频分量计算单元2143，发明内容中描述的高频分量估计单元对应于例如高频分量估计单元2144，并且发明内容中描述的校正值计算单元对应于例如校正值计算单元2145。

而且，发明内容中描述的内插单元对应于例如方向内插单元200，发明内容中描述的方向确定单元对应于例如方向确定单元300，并且发明内容中描述的合成单元对应于例如合成单元400。

而且，发明内容中描述的成像单元对应于例如成像设备13。而且，发明内容中描述的特定颜色对应于例如G(绿)色，发明内容中描述的第一颜色对应于例如R(红)色，发明内容中描述的第二颜色对应于例如B(蓝)色，并且发明内容中描述的第三颜色对应于例如E(翠绿)色。

而且，发明内容中描述的第一平滑过程对应于例如步骤S921，发明内容中描述的第二平滑过程对应于例如步骤S922，发明内容中描述的强度估计过程对应于例如步骤S923，并且发明内容中描述的第三平滑过程对应于例如步骤S925。

可以将本发明的实施例中描述的处理过程当作具有一系列过程的方法，或可以当作用于使得计算机执行该一系列过程的程序或存储该程序的记录介质。

本领域技术人员应当理解，各种修改、组合、子组合和更改可以依赖于设计需求和其他因素而发生，只要其在权利要求书或其等效物的范围内。

相关申请的交叉引用

本发明包含与2007年4月5日向日本专利局提交的日本专利申请JP2007-098997有关的主题，该申请的全部内容在此通过引用并入。

Claims (19)

1.一种图像处理设备，包括：

第一平滑部件，被配置用于关于在输入图像中预定的感兴趣的像素的邻近区域中沿第一方向的多个位置，对第一通道计算第一阶段平滑值，其中已经沿与所述第一方向不同的第二方向进行了像素值的平滑；

第二平滑部件，被配置用于关于在所述邻近区域中沿所述第一方向的多个位置，对第二通道计算第一阶段平滑值，其中已经沿所述第二方向进行了像素值的平滑；

强度估计部件，被配置用于基于所述第一和第二通道的所述第一阶段平滑值，估计所述第二通道的所述第一阶段平滑值的强度；以及

第三平滑部件，被配置用于计算所述第二通道的第二阶段平滑值，其中已经沿所述第一方向对经受了由所述强度估计部件进行的强度估计的所述第二通道的所述第一阶段平滑值进行了平滑。

2.根据权利要求1所述的图像处理设备，所述强度估计部件包括：

高频分量计算部件，被配置用于关于沿所述第一方向的每个位置，计算在所述位置处所述第一通道的所述第一阶段平滑值的高频分量；

低频分量计算部件，被配置用于关于沿所述第一方向的每个位置，计算在所述位置处所述第二通道的所述第一阶段平滑值的低频分量；以及

校正值计算部件，被配置用于从沿所述第一方向的每个位置处的所述第一通道的所述第一阶段平滑值的所述高频分量和在所述位置处的所述第二通道的所述第一阶段平滑值的所述低频分量，计算在所述位置处所述第二通道的校正值。

3.根据权利要求1所述的图像处理设备，所述强度估计部件包括：

高频分量计算部件，被配置用于关于沿所述第一方向的每个位置，计算在所述位置处所述第二通道的所述第一阶段平滑值的高频分量；

第一低频分量计算部件，被配置用于关于沿所述第一方向的每个位置，计算在所述位置处所述第一通道的所述第一阶段平滑值的低频分量；

第二低频分量计算部件，被配置用于关于沿所述第一方向的每个位置，计算在所述位置处所述第一通道的所述第一阶段平滑值的低频分量；

高频估计部件，被配置用于基于在沿所述第一方向的每个位置处的所述第一通道的所述第一阶段平滑值中的低频分量和所述第二通道的所述第一阶段平滑值中的低频分量之间的比率，通过调整所述第一通道的所述第一阶段平滑值中的高频分量，估计在所述位置处所述第二通道的所述第一阶段平滑值中的高频分量；以及

校正值计算部件，被配置用于从在沿所述第一方向的每个位置处所述第二通道的所述第一阶段平滑值的所述低频分量和在所述位置处所述第二通道的所述第一阶段平滑值的所估计的高频分量，计算在所述位置处所述第二通道的校正值。

4.根据权利要求1所述的图像处理设备，还包括：

第四平滑部件，被配置用于计算所述第一通道的第二阶段平滑值，其中已经沿所述第一方向对所述第一通道的所述第一阶段平滑值进行了平滑。

5.根据权利要求4所述的图像处理设备，还包括：

第二强度估计部件，被配置用于估计在所述感兴趣的像素的位置处所述第一通道的强度；以及

合成部件，被配置用于从以下合成在所述感兴趣的像素的位置处所述第二通道的强度：

所述第一通道的强度，

所述第一通道的第二阶段平滑值，以及

所述第二通道的第二阶段平滑值。

6.一种图像处理设备，包括：

内插部件，被配置用于关于被取作内插方向的输入图像中预定的感兴趣的像素的邻近区域中的多个方向，生成沿每个所述内插方向的内插值；

方向确定部件，被配置用于确定所述邻近区域的构造的方向；以及

合成部件，被配置用于基于所述构造方向的确定结果，合成沿每个所述内插方向的内插值；

所述内插部件包括用于所述多个方向的每个的：

第一平滑部件，被配置用于关于在所述邻近区域中沿与所述内插方向不同的参考方向的多个位置，对第一通道计算第一阶段平滑值，其中已经沿所述内插方向进行了像素值的平滑；

第二平滑部件，被配置用于关于在所述邻近区域中沿所述参考方向的多个位置，对第二通道计算第一阶段平滑值，其中已经沿所述内插方向进行了像素值的平滑；

强度估计部件，被配置用于基于所述第一和第二通道的所述第一阶段平滑值，估计所述第二通道的所述第一阶段平滑值的强度；以及

第三平滑部件，被配置用于计算所述第二通道的第二阶段平滑值，其中已经沿所述参考方向对经受了由所述强度估计部件进行的强度估计的所述第二通道的所述第一阶段平滑值进行了平滑。

7.根据权利要求6所述的图像处理设备，其中所述多个方向是水平方向、垂直方向、左下到右上方向以及左上到右下方向中的两个或多个的组合。

8.一种图像处理设备，包括：

成像部件，被配置用于对被摄体成像并且生成输入图像；

第一平滑部件，被配置用于关于沿输入图像中预定的感兴趣像素的邻近区域中的第一方向的多个位置，对第一通道计算第一阶段平滑值，其中已经沿与所述第一方向不同的第二方向进行了像素值的平滑；

第二平滑部件，被配置用于关于沿所述邻近区域中的所述第一方向的多个位置，对第二通道计算第一阶段平滑值，其中已经沿所述第二方向进行了像素值的平滑；

强度估计部件，被配置用于基于所述第一和第二通道的所述第一阶段平滑值，估计所述第二通道的所述第一阶段平滑值的强度；以及

第三平滑部件，被配置用于计算所述第二通道的第二阶段平滑值，其中已经沿所述第一方向对经受了由所述强度估计部件进行的强度估计的所述第二通道的所述第一阶段平滑值进行了平滑。

9.根据权利要求8所述的图像处理设备，其中所述成像部件是前面布置有原色拜耳阵列颜色过滤器的图像传感器。

10.根据权利要求8所述的图像处理设备，其中所述成像部件是前面布置有颜色过滤器的图像传感器；

所述过滤器具有对应于以棋盘图案布置的特定颜色的像素，在剩余像素位置上布置了至少三个剩余颜色。

11.根据权利要求10所述的图像处理设备，其中所述特定颜色是具有接近于人类可见度曲线的光谱敏感度的过滤器颜色。

12.根据权利要求10所述的图像处理设备，其中在所述至少三个颜色中，在除了所述特定颜色外的像素位置处在水平方向和垂直方向上以每隔一个像素的正方形网格图案布置第一颜色，并且在剩余像素位置处在对角线方向上以每隔一个像素的对角线网格布置第二和第三颜色。

13.根据如权利要求12所述的图像处理设备，其中所述第一颜色是与所述特定颜色相比具有在长波长侧的敏感度的光谱属性的过滤器颜色；

并且其中，所述第二和第三颜色中的至少一个是与所述特定颜色相比具有在短波长侧的敏感度的光谱属性的过滤器颜色。

14.根据权利要求10所述的图像处理设备，其中所述特定颜色也是具有对红外线的光谱敏感度的过滤器颜色。

15.一种图像处理设备方法，包括以下的步骤：

第一计算，关于沿输入图像中预定的感兴趣像素的邻近区域中的第一方向的多个位置，对第一通道计算第一阶段平滑值，其中已经沿与所述第一方向不同的第二方向进行了像素值的平滑；

第二计算，关于沿所述邻近区域中的所述第一方向的多个位置，对第二通道计算第一阶段平滑值，其中已经沿所述第二方向进行了像素值的平滑；

基于所述第一和第二通道的所述第一阶段平滑值，估计所述第二通道的所述第一阶段平滑值的强度；以及

第三计算，计算所述第二通道的第二阶段平滑值，其中已经沿所述第一方向对经受了强度估计的所述第二通道的所述第一阶段平滑值进行了平滑。

16.一种使得计算机执行以下步骤的程序：

第一计算，关于沿输入图像中预定的感兴趣像素的邻近区域中的第一方向的多个位置，对第一通道计算第一阶段平滑值，其中已经沿与所述第一方向不同的第二方向进行了像素值的平滑；

第二计算，关于沿所述邻近区域中的所述第一方向的多个位置，对第二通道计算第一阶段平滑值，其中已经沿所述第二方向进行了像素值的平滑；

基于所述第一和第二通道的所述第一阶段平滑值，估计所述第二通道的所述第一阶段平滑值的强度；以及

第三计算，计算所述第二通道的第二阶段平滑值，其中已经沿所述第一方向对经受了强度估计的所述第二通道的所述第一阶段平滑值进行了平滑。

17.一种图像处理设备，包括：

第一平滑单元，被配置用于关于在输入图像中预定的感兴趣像素的邻近区域中沿第一方向的多个位置，对第一通道计算第一阶段平滑值，其中已经沿与所述第一方向不同的第二方向进行了像素值的平滑；

第二平滑单元，被配置用于关于沿所述邻近区域中的所述第一方向的多个位置，对第二通道计算第一阶段平滑值，其中已经沿所述第二方向进行了像素值的平滑；

强度估计单元，被配置用于基于所述第一和第二通道的所述第一阶段平滑值，估计所述第二通道的所述第一阶段平滑值的强度；以及

第三平滑单元，被配置用于计算所述第二通道的第二阶段平滑值，其中已经沿所述第一方向对经受了由所述强度估计单元进行的强度估计的所述第二通道的所述第一阶段平滑值进行了平滑。

18.一种图像处理设备，包括：

内插单元，被配置用于关于在被取作内插方向的输入图像中预定的感兴趣的像素的邻近区域中的多个方向，沿每个所述内插方向生成内插值；

方向确定单元，被配置用于确定所述邻近区域的构造的方向；以及

合成单元，被配置用于基于所述构造方向的确定结果，合成沿每个所述内插方向的内插值；

所述内插单元包括用于所述多个方向的每个的：

第一平滑单元，被配置用于关于沿与所述邻近区域中所述内插方向不同的参考方向的多个位置，对第一通道计算第一阶段平滑值，其中已经沿所述内插方向进行了像素值的平滑；

第二平滑单元，被配置用于关于沿所述邻近区域中的所述参考方向的多个位置，对第二通道计算第一阶段平滑值，其中已经沿所述内插方向进行了像素值的平滑；

强度估计单元，被配置用于基于所述第一和第二通道的所述第一阶段平滑值，估计所述第二通道的所述第一阶段平滑值的强度；以及

第三平滑单元，被配置用于计算所述第二通道的第二阶段平滑值，其中已经沿所述参考方向对经受了由所述强度估计单元进行的强度估计的所述第二通道的所述第一阶段平滑值进行了平滑。

19.一种图像处理设备，包括：

成像单元，被配置用于对被摄体成像并且生成输入图像；

第一平滑单元，被配置用于关于在输入图像中预定的感兴趣像素的邻近区域中沿第一方向的多个位置，对第一通道计算第一阶段平滑值，其中已经沿与所述第一方向不同的第二方向进行了像素值的平滑；

第二平滑单元，被配置用于关于沿所述邻近区域中的所述第一方向的多个位置，对第二通道计算第一阶段平滑值，其中已经沿所述第二方向进行了像素值的平滑；

强度估计单元，被配置用于基于所述第一和第二通道的所述第一阶段平滑值，估计所述第二通道的所述第一阶段平滑值的强度；以及

第三平滑单元，被配置用于计算所述第二通道的第二阶段平滑值，其中已经沿所述第一方向对经受了由所述强度估计单元进行的强度估计的所述第二通道的所述第一阶段平滑值进行了平滑。

Images