CN101282485B - 图像处理装置 - Google Patents

Abstract

本发明的图像处理装置，可抑制包含彩度高的高频分量的图像中产生伪色。方向插补单元(200)生成在附近区域的水平方向及垂直方向的插补值。方向判断单元(300)评价附近区域中的结构方向，生成水平方向及垂直方向的插补值的权重。合成单元(400)根据方向判断单元生成的权重，对方向插补单元生成的水平方向及垂直方向的插补值进行合成。方向判断单元根据色度信号伪信号强度计算单元(330)以及(340)，计算水平方向以及垂直方向的插补值的色度信号的伪信号强度，从而通过方向评价单元(350)评价结构方向。此时，包含关注像素的线的插补值和附近区域的插补值之间的相似度被算出，将该相似度加权后的色度信号的分散值作为伪信号强度而算出。

Description

图像处理装置

技术领域

本发明涉及图像处理装置，特别涉及进行马赛克(mosaic)图像的解马赛克处理的图像处理装置、以及这些装置中的处理方法以及使计算机执行该方法的程序。

背景技术

通常在CCD(Charge Coupled Devices)图像传感器和CMOS(Complementary Metal Oxide Semiconductor)图像传感器等的固体拍摄元件中，光接收元件以格子状配置，通过各个光接收元件的光电转换所生成的电荷量依次被读出的结构。这里，因通常的光接收元件具有单一的分光特性，所以从固体拍摄元件得到的图像信号关于颜色是一个频道(即，单色)。如果想要通过一个固体拍摄元件而得到彩色图像(例如，RGB等的三个频道图像)的情况下，使用对每个光接收元件安装了分光特性(颜色)不同的滤波器的固体拍摄元件。在使用了一个这样的彩色固体拍摄元件的拍摄装置，一般被称为单板彩色拍摄装置。因从彩色固体拍摄元件得到的图像信号是一个频道图像，所以对每个像素只能得到对应的光接收元件的滤波颜色，其结果，关于颜色而得到马赛克状的图像的情况。根据这样的理由，将该彩色固体拍摄元件的输出图像称为马赛克图像。

为了从彩色拍摄元件得到多频道图像，需要通过适当的图像处理，将马赛克图像的各像素的颜色信息由周围的像素位置进行插补。这样的图像处理，一般被称为解马赛克处理、颜色插补处理或者同步处理等。因此，对于使用了彩色固体拍摄元件的单板彩色拍摄装置来说，解马赛克处理是必需的处理，从以往开发了各种方法。

因在这种解马赛克处理中，对于彩色滤波器的各颜色，采样频率以及相位不同，所以对于图像质量产生各种影响成为问题。作为现在最广泛地使用的颜色排列的原色系拜尔排列(以下，称为Bayer排列)中，使用R(红：Rad)、G(绿：Green)、B(蓝：Blue)的三个原色系颜色滤波器，将G配置为方格状，将R和B配置为线顺序。因在拜尔排列中，G被配置为方格状，所以G信号在水平、垂直的全相位中存在，但因R以及B依次为线顺序，所以与各自对应的信号在水平或者垂直只分别隔一行存在。即，R以及B的采样频率是G的采样频率的一半，所以可再现的图像信号的频率的界限也是R以及B与G相比成为1/2。因此，如果在图像信号中存在高频分量，则其G分量是可以正确地复原，但在R分量以及B分量中产生振幅的恶化和图形失真(aliasing)，它会产生被预测为输出图像中的颜色平衡的偏差的现象，即伪色(颜色波纹(moire))。而且，R和B的采样频率相同，但采样相位不同。因此，在R和G中，图形失真所产生的颜色偏差的输出方式在图像上不同。这样，导致在R和B中的伪色现象更加显著地产生。

为了降低这样的有损输出图像的图像质量的伪色现象，在以往的解马赛克处理中，进行各种努力。例如，提出了一种插补处理(例如，参照专利文献1)，对每个像素检测与附近像素之间的相关，根据相关而自适应地切换插补方式。在这种以往的技术中，计算纵、横以及斜向的各个方向的相关度之后，在相关度成为最大的方向进行插补，从而抑制在其正交方向的分辨率的恶化，降低伪色的产生。

此外，在上述的以往技术中，因有时在奈奎斯特附近，存在插补方向被判定为错误的方向的情况，所以提出了如下的技术(例如，参照专利文献2)：从通过相关度判定而对水平或者垂直的任意方向进行插补处理所得到的色差信号计算彩度，并与从不进行方向选择地进行插补处理所得到的色差信号计算的彩度进行比较，选择彩度较小(即，考虑为伪色的产生少的那一个)的色差信号。由此，在奈奎斯特附近中相关度判定被误判定的情况下，不进行方向选择地进行插补，从而可以降低伪色的产生。

[专利文献1]特开平10-150668号公报(图1)

[专利文献2]特开2002-300590号公报(图1)

发明内容

但是，在上述的以往技术中，例如是由白色和黑色组成的条纹模样的、包括彩度低的高频分量的图像，则可以降低伪色的产生，但是在如彩色的条纹模样的、彩度高的高频的图像的情况下，产生这样的问题：即使在正确的方向进行了插补，彩度也不会降低，无法进行是伪色还是正确的颜色的判断，导致产生伪色。

本发明是鉴于这样的状况而完成，其目的在于，在对单板彩色固体拍摄元件的马赛克输出图像的各频道进行同步的解马赛克处理中，例如在彩色的条形模样那样的包含彩度高的高频分量的图像中，也可以降低伪色的产生。

本发明是为了解决上述课题而完成，其第1方面在于，提供一种图像处理装置，其特征在于，包括：插补部件，将输入图像中的规定的关注像素的附近区域作为对象，沿着所述附近区域中的多个方向的每个方向进行插补，生成各自的插补值；色度(chroma)信号伪信号(alias)强度计算部件，从所述插补部件生成的所述多个方向的各个插补值，分别计算色度信号的伪信号强度；以及方向评价部件，基于所述色度信号伪信号强度计算部件计算的所述多个方向的各个色度信号的伪信号强度，生成对于所述多个方向的每个方向的评价值。由此，产生基于色度信号的伪信号强度而评价多个方向的插补值的作用。

此外，在该第1方面中，所述色度信号伪信号强度计算部件也可以基于所述多个方向的每个方向的插补值的色度信号的统计量，计算所述伪信号强度。此时，所述色度信号伪信号强度计算部件也可以包括：权重计算部件，计算与所述多个方向的每个方向的插补值的各要素对应的权重；以及统计量计算部件，根据所述权重，从所述多个方向的每个方向的插补值计算所述统计量。此外，所述权重计算部件也可以计算所述多个方向的每个方向的插补值中的与所述规定的关注像素对应的要素和其他要素之间的相似度作为所述权重。此外，所述色度信号伪信号强度计算部件也可以计算所述色度信号的分散值作为所述色度信号的统计量。

此外，在该第1方面中，所述插补部件也可以包括：平滑化部件，沿着所述附近区域中的多个方向的每个方向进行平滑化，生成平滑化值；以及插补值生成部件，基于所述平滑化值，生成所述插补值。由此，产生不对每个像素进行插补，而是沿着插补方向进行平滑化，从而使插补处理高速的作用。

此外，在该第1方面中，所述方向评价部件也可以比较所述多个方向的每个方向的色度信号的伪信号强度的大小关系，将伪信号强度最小方向的评价值比规定值高，将剩余方向的评价值比规定值低。另一方面，所述方向评价部件也可以根据所述多个方向的每个方向的色度信号的伪信号强度的比，决定所述多个方向的评价值。

此外，在该第1方面中，所述多个方向也可以是水平方向、垂直方向、右上斜方向以及右下斜方向的任意两个以上的组合。另外，在本发明的实施方式中，以水平方向以及垂直方向的组合为例子进行说明。

此外，在本发明的第2方面中，提供一种图像处理装置，其特征在于，包括：第1插补部件，将输入图像中的规定的关注像素的附近区域作为对象，沿着所述附近区域中的多个方向的每个方向进行插补，生成各自的插补值作为第1插补值；色度信号伪信号强度计算部件，从所述第1插补部件生成的所述多个方向的各个第1插补值，分别计算色度信号的伪信号强度；方向评价部件，基于所述色度信号伪信号强度计算部件计算的所述多个方向的各个色度信号的伪信号强度，生成对于所述多个方向的每个方向的评价值；第2插补部件，沿着所述多个方向的每个方向进行插补，生成各自的插补值作为第2插补值；以及合成部件，基于对于所述多个方向的每个方向的评价值，合成与其评价值对应的方向的所述第2插补值。由此，产生基于色度信号的伪信号强度而合成多个方向的插补值的作用。

此外，在本发明的第3方面中，提供一种图像处理装置，其特征在于，包括：插补部件，将输入图像中的规定的关注像素的附近区域作为对象，沿着所述附近区域中的多个方向的每个方向进行插补，生成各自的插补值；色度信号伪信号强度计算部件，从所述插补部件生成的所述多个方向的各个插补值，分别计算色度信号的伪信号强度；方向评价部件，基于所述色度信号伪信号强度计算部件计算的所述多个方向的各个色度信号的伪信号强度，生成对于所述多个方向的每个方向的评价值；以及合成部件，基于对于所述多个方向的每个方向的评价值，合成与其评价值对应的方向的所述插补值。由此，产生将用于合成的插补值和用于方向评价的插补值公用的作用。

此外，在本发明的第4侧面中，提供一种图像处理装置，其特征在于，包括：拍摄部件，对被摄体进行拍摄，从而生成输入图像；插补部件，将所述输入图像中的规定的关注像素的附近区域作为对象，沿着所述附近区域中的多个方向的每个方向进行插补，生成各自的插补值；色度信号伪信号强度计算部件，从所述插补部件生成的所述多个方向的各个插补值，分别计算色度信号的伪信号强度；以及方向评价部件，基于所述色度信号伪信号强度计算部件计算的所述多个方向的各个色度信号的伪信号强度，生成对于所述多个方向的每个方向的评价值。由此，产生基于拍摄图像的色度信号的伪信号强度而评价多个方向的插补值的作用。

此外，在该第4方面中，所述拍摄部件也可以是将原色系拜尔排列的彩色滤波器配置在前面的图像传感器。

此外，在该第4方面中，所述拍摄部件也可以是将彩色滤波器配置在前面的图像传感器，所述彩色滤波器可以将与特定的颜色对应的像素以方格状地配置，其他的至少三个颜色配置在剩余的像素位置。此外，在此时，所述特定的颜色可以采用具有接近人体的可见度曲线的分光灵敏度的滤波颜色。此外，在所述其他的至少三个颜色中，第1颜色可以在所述特定的颜色以外的像素位置中，在水平方向以及垂直方向以隔一个像素的正方格子状配置，第2以及第3颜色可以在剩余的像素位置中，在斜向以隔一个像素的斜向格子状配置。此时，所述第1颜色可以采用与所述特定的颜色相比，在长波长侧具有灵敏度的分光特性的滤波颜色，所述第2以及第3颜色中的至少一个可以采用与所述特定的颜色相比，在短波长侧具有灵敏度的分光特性的滤波颜色。此外，所述特定的颜色可以采用对红外线也具有分光灵敏度的滤波颜色。

此外，在本发明的第5方面，提供一种程序，其特征在于，使计算机执行以下步骤：插补步骤，将输入图像中的规定的关注像素的附近区域作为对象，沿着所述附近区域中的多个方向的每个方向进行插补，生成各自的插补值；色度信号伪信号强度计算步骤，从所述多个方向的各个插补值，分别计算色度信号的伪信号强度；以及方向评价步骤，基于所述多个方向的各个色度信号的伪信号强度，生成对于所述多个方向的每个方向的评价值。由此，产生基于色度信号的伪信号强度而评价多个方向的插补值的作用。

根据本发明，可以起到即使在包含彩度高的高频分量的图像中，也可以降低伪色的产生的有益效果。

附图说明

图1是表示在本发明的实施方式中的拍摄装置的一例的图。

图2是表示在本发明的实施方式中的图像处理电路23的处理功能的一例的图。

图3是表示在本发明的实施方式中的在拍摄元件的前面配置的作为彩色滤波器的一例的拜尔排列的图。

图4是表示在本发明的实施方式中的解马赛克处理单元232的功能结构例子的图。

图5是表示在本发明的实施方式中的水平方向插补处理单元210的功能结构例子的图。

图6(a)～(d)是在本发明的实施方式中的通过水平方向插补处理单元210的处理的示意图。

图7是表示在本发明的实施方式中的强度估计单元2140的功能结构例子的图。

图8是表示在本发明的实施方式中的强度估计单元2140的其他的功能结构例子的图。

图9是表示在本发明的实施方式中的水平方向插补处理单元310的功能结构例子的图。

图10(a)～(b)是表示在本发明的实施方式中使用的插补滤波器的例子的图。

图11是表示在本发明的实施方式中的水平方向插补处理单元310的其他功能结构例子的图。

图12是表示在本发明的实施方式中的色度信号伪信号强度计算单元330的功能结构例子的图。

图13是表示在本发明的实施方式中的解马赛克处理单元232的其他功能结构例子的图。

图14是表示在图13的例子中的水平方向插补处理单元210的一个结构例子的图。

图15是表示在本发明的实施方式中的图像处理电路23的处理步骤例子的图。

图16是表示在本发明的实施方式中的解马赛克处理单元232的解马赛克处理的处理步骤例子的图。

图17是表示在本发明的实施方式中的方向插补单元200的插补处理的处理步骤例子的图。

图18是表示在本发明的实施方式中的方向判断单元300的结构(texture)方向判断处理的处理步骤例子的图。

图19是表示在本发明的实施方式中的水平方向插补处理单元310以及垂直方向插补处理单元320的一个方向插补处理的处理步骤例子的图。

图20是表示在本发明的实施方式中的色度信号伪信号强度计算单元330以及340的色度信号的伪信号强度计算处理的处理步骤例子的图。

图21(a)～(b)是表示在本发明的实施方式中的在拍摄元件的前面配置的其他的彩色滤波器的例子的图。

具体实施方式

接着，参照附图详细说明本发明的实施方式。

图1是表示本发明的实施方式的拍摄装置的一例的图。该拍摄装置大致由光学系统、信号处理系统、记录系统、显示系统以及控制系统构成。

光学系统包括：对被摄体的光图像进行聚光的透镜11；调整光图像的光量的光圈12；以及将被聚光的光图像进行光电转换而转换为电信号的拍摄元件13。拍摄元件13例如由CCD图像传感器或CMOS图像传感器等实现。

信号处理系统由以下部件构成：对来自拍摄元件13的电信号进行采样的采样电路21；将从采样电路21提供的模拟信号转换为数字信号的A/D转换电路22；以及对从A/D转换电路22输入的数字信号施加规定的图像处理的图像处理电路23。采样电路21例如通过相关双重采样电路(CDS：CorrelatedDouble Sampling)实现。由此，在拍摄元件13中产生的噪声被减轻。此外，图像处理电路23例如通过DSP(Digital Signal Processor)实现。另外，在后面叙述通过图像处理电路23所执行的处理的细节。

记录系统由以下部件构成：用于存储图像信号的存储器32；以及对通过图像处理电路23所处理的图像信号进行编码并记录在存储器32，并从存储器32读出图像信号并将其解码，提供给图像处理电路23的编码/解码器31。另外，存储器32可以是磁盘、光盘、光磁盘或者半导体存储器等。

显示系统由以下部件构成：将通过图像处理电路23所处理的图像信号输出到显示单元42的显示驱动器41；以及用于显示与被输入的图像信号对应的图像的显示单元42。显示单元42例如通过LCD(Liquid Crystal Display)等实现，也具有作为取景器(finder)的功能。

控制系统由以下部件构成：对拍摄元件13、采样电路21、A/D转换电路22以及图像处理电路23的动作定时进行控制的定时生成器51；用于接受用户的快门操作或其他的命令输入的操作输入接受单元52；用于连接周边设备的驱动器53；以及用于控制拍摄装置整体的控制单元54。在驱动器53中，连接了磁盘、光盘、光磁盘或者半导体存储器等。控制单元54通过驱动器53读出存储在它们中的控制用程序，基于读出的控制用程序或从操作输入接受单元52输入的来自用户的命令等进行控制。

通过总线59，图像处理电路23、编码/解码器31、存储器32、显示驱动器41、定时生成器51、操作输入接受单元52以及控制单元54被相互连接。

在该拍摄装置中，被摄体的光学图像(入射光)通过透镜11以及光圈12而入射到拍摄元件13，通过拍摄元件13被光电转换而成为电信号。得到的电信号通过采样电路21而被除去噪声分量，并通过A/D转换电路22而被数字化之后，暂时存储在图像处理电路23内置(未图示)的图像存储器中。

另外，在通常的状态下，通过定时生成器51对信号处理系统的控制，在图像处理电路23内置的图像存储器中图像信号以一定的帧速率被不断地覆写。图像处理电路23内置的图像存储器的图像信号通过显示驱动器41而输出到显示单元42，对应的图像被显示在显示单元42。

显示单元42还起到作为拍摄装置的取景器的功能。在用户按下了操作输入接受单元52中包含的快门键的情况下，控制单元54对定时生成器51控制信号处理系统，使得保持快门键被按压之后的图像信号，即在图像处理电路23的图像存储器中不会被覆写图像信号。在图像处理电路23的图像存储器中保持的图像数据，通过编码/解码器31被编码并存储在存储器32中。通过如上的拍摄装置的动作，一张图像数据的读取结束。

图2是表示在本发明的实施方式中的图像处理电路23的处理功能的一例的图。图像处理电路23包括：白平衡处理单元231、解马赛克处理单元232、矩阵处理单元233、灰度系数校正单元234以及YC变换单元235。该图像处理电路23是将通过A/D转换电路22而被数字化的马赛克图像M作为输入图像而进行图像处理的电路。马赛克图像是在各个像素中存储了与R、G、B的任意颜色对应的强度信号的图像，其颜色排列是如图3所示的拜尔排列。

白平衡处理单元231是对马赛克图像M进行白平衡处理的单元。该白平衡处理单元231对马赛克图像M根据具有各像素强度的颜色而乘以适当的系数，使得无彩色的被摄体区域的色平衡成为无彩色。将进行了该白平衡处理的马赛克图像M_W提供给解马赛克处理单元232。

解马赛克处理单元232是进行插补处理(解马赛克处理)，使得在马赛克图像M_W的各像素位置聚齐R、G、B的全部频道的强度的单元。将进行了该插补处理的解马赛克图像[R，G，B]^T提供给矩阵处理单元233。另外，矩阵A^T表示矩阵A的转置矩阵。

矩阵处理单元233是将预先设定了系数的三行三列的线性矩阵适用于解马赛克处理单元232的输出的各像素[R，G，B]^T，并变换为三原色的强度值[R_m，G_m，B_m]^T的单元。线性矩阵是用于进行接近人体的看法的色再现的变换系数。将该变换后的强度值[R_m，G_m，B_m]^T提供给灰度系数校正单元234。

灰度系数校正单元234是对强度值[R_m，G_m，B_m]^T施加灰度系数校正的单元。灰度系数校正是为了在显示单元42中再现忠于输入图像的显示的校正。该灰度系数校正单元234的输出[R^γ，G^γ，B^γ]^T被提供给YC变换单元235。

YC变换单元235是通过对进行了灰度系数校正的三个频道图像[R^γ，G^γ，B^γ]^T进行YC矩阵处理以及对于色度分量的频带限制，从而输出亮度信号(Y)以及色差信号(Cr，Cb)的单元。该亮度信号以及色差信号被提供给图像处理电路23的后级的编码/解码器31。

另外，在通常的情况下，显示驱动器41中提供RGB信号。该RGB信号是将YC变换单元235的输出的亮度信号以及色差信号变换为RGB信号的信号。

图3是表示在本发明的实施方式中的在拍摄元件的前面配置的作为彩色滤波器的一例的拜尔排列的图。在该拜尔排列中，G的颜色的像素被配置为方格状，在除此之外的像素位置中R的颜色的像素沿水平方向以及垂直方向以隔一个像素的正方格子状地配置，在剩余的像素位置中B的颜色的像素沿水平方向以及垂直方向以隔一个像素的正方格子状地配置。

G的颜色是接近人体的可见度曲线的分光特性的滤波颜色。R的颜色是在比较长的波长侧具有灵敏度的分光特性的滤波颜色。另一方面，B的颜色是在比较短的波长侧具有灵敏度的分光特性的滤波颜色。

它们可以区分为以方格状配置的第1频道(G)和除此之外的第2频道(R以及B)。在第1频道中，即使对水平方向以及垂直方向的任意方向进行平滑化，其颜色都存在。相对于此，在第2频道中，对水平方向以及垂直方向的任一方向进行平滑化时，存在其颜色不存在的情况。此时，可以使用第1频道的强度来估计第2频道的强度。

图4是表示在本发明的实施方式中的解马赛克处理单元232的功能结构例子的图。解马赛克处理单元232包括：附近区域提取单元100、方向插补单元200、方向判断单元300、合成单元400。解马赛克处理是对各像素位置依次插补或者估计那里不存在的颜色的强度，使得在所有像素位置中存在所有颜色。即，在以下说明的各处理是，在设定的关注像素位置中依次进行的处理，在对所有像素重复进行之后结束。

附近区域提取单元100是从进行了白平衡处理的马赛克图像M_W中，提取关注像素位置的周围的规定的大小的附近区域的单元。在本发明的实施方式中，假设提取以关注像素位置为中心的9×9像素的矩形区域作为附近区域。

例如，在将附近区域提取单元100作为软件实现的情况下，将关注像素位置的附近的9×9像素的矩形区域内的像素值以排列的形式进行在存储器上确保的动作即可。此外，在将附近区域提取单元100作为硬件实现的情况下，在通常的拍摄装置的信号处理系统中多数被安装为将来自图像传感器的信号作为水平线的像素强度的一维序列而流过数据，所以此时，确保使用可保持一个水平线的像素强度的延迟线而对上下邻接的水平线的像素的访问即可。为了确保对9×9像素的矩形区域的访问，最少准备8个延迟线就足够。

方向插补单元200是对关注像素位置沿着多个方向的每个方向进行插补处理，并输出多个方向的每个方向的插补结果的单元。在本发明的实施方式中，假设方向插补单元200包括进行沿着水平方向的插补处理的水平方向插补处理单元210和进行沿着垂直方向的插补处理的垂直方向插补处理单元220。水平方向插补处理单元210将水平方向插补值[R_h，G_h，B_h]^T输出到信号线219，垂直方向插补处理单元220将垂直方向插补值[R_v，G_v，B_v]^T输出到信号线229。

方向判断单元300是对关注像素位置判断结构方向，并指示要将沿着多个方向的插补值如何进行合成的单元。在本发明的实施方式中，假设方向判断单元300是计算水平方向以及垂直方向的插补值的权重S_h以及S_v的单元。该方向判断单元300包括进行沿着水平方向的插补处理的水平方向插补处理单元310和进行沿着垂直方向的插补处理的垂直方向插补处理单元320。从这些水平方向插补处理单元310以及垂直方向插补处理单元320经由信号线319以及329所输出的插补值，分别提供给色度信号伪信号强度计算单元330以及340。色度信号伪信号强度计算单元330以及340是计算包含在插补值的色度信号的伪信号强度的单元。从这些色度信号伪信号强度计算单元330以及340经由信号线339以及349所输出的水平方向的伪信号强度V_h以及垂直方向的伪信号强度V_v被提供给方向评价单元350。

方向评价单元350基于水平方向以及垂直方向的伪信号强度V_h以及V_v，计算水平方向以及垂直方向的插补值的权重S_h以及S_v。通过该方向评价单元350所计算的水平方向以及垂直方向的插补值的权重S_h以及S_v通过信号线369以及379而被输出。例如在水平方向的伪信号强度V_h小于垂直方向的伪信号强度V_v的情况下，将水平方向的插补值的权重S_h设为“1”，将垂直方向的插补值的权重S_v设为“0”。另一方面，在除此之外的情况下，将水平方向的插补值的权重S_h设为“0”，将垂直方向的插补值的权重S_v设为“1”。此外，作为其他的计算方法，也可以从伪信号强度的比率如下式那样计算权重S_h以及S_v。

S_h＝1-V_h/(V_h+V_v)

S_v＝1-V_v/(V_h+V_v)

合成单元400是基于通过方向判断单元300所输出的插补值的权重S_h以及S_v，对通过方向插补单元200所输出的插补值进行合成的单元。该合成单元400例如通过以下式计算马赛克图像[R，G，B]^T，输出到信号线409。

[式1]

$\left[\begin{array}{c}R\\ G\\ B\end{array}\right]=S_h\left[\begin{array}{c}{R}_h\\ G_h\\ B_h\end{array}\right]+S_v\left[\begin{array}{c}{R}_v\\ G_v\\ B_v\end{array}\right]$

由此，例如纵条那样结构方向为垂直方向，则可以对垂直方向的插补值追加比重来进行合成，如横条那样结构方向为水平方向，则可以对水平方向的插补值追加比重来进行合成。

图5是表示在本发明的实施方式中的水平方向插补处理单元210的功能结构例子的图。该水平方向插补处理单元210包括：水平方向平滑化单元2110以及2120、强度估计单元2130以及2140、垂直方向平滑化单元2170以及2180、合成单元2190。

水平方向平滑化单元2110是对关注像素位置的附近区域中所包含的RGB的各频道中的G频道，在沿着垂直方向的位置(以下，称为垂直采样位置)中向水平方向进行平滑化的单元。通过该水平方向平滑化单元2110所生成的平滑化值被输出到信号线2119。

水平方向平滑化单元2120是对关注像素位置的附近区域中所包含的RGB的各频道中的R频道以及B频道，在垂直采样位置中向水平方向进行平滑化的单元。其中，对于R频道以及B频道，有在某一垂直采样位置的水平线上不存在对应的频道的像素的情况，此时无法求出平滑化值，平滑化值不存在。通过该水平方向平滑化单元2120所生成的平滑化值被输出到信号线2129。

强度估计单元2130是对关注像素位置的附近区域中所包含的RGB的各频道中的G频道，估计关注像素位置的强度的单元。该强度估计单元2130在关注像素位置中存在G频道的像素的情况下，将其值估计为强度，在关注像素位置中不存在G频道的像素的情况下，将水平方向相邻的G频道的像素强度的平均值估计为强度。该被估计的强度作为G频道的插补值而被输出到信号线2139。

强度估计单元2140是根据水平方向平滑化单元2110的G频道的平滑化值的强度，估计水平方向平滑化单元2120的R频道以及B频道的平滑化值的强度的单元。通过该强度估计单元2140所估计的强度，作为R频道以及B频道的被插补的平滑化值而被输出到信号线2149。

垂直方向平滑化单元2170是将水平方向平滑化单元2110的G频道的水平方向的平滑化值的强度，还向垂直方向进行平滑化的单元。这样生成的值作为G频道的低频分量而被输出到信号线2179。

垂直方向平滑化单元2180是将强度估计单元2140的R频道以及B频道的被插补的水平方向的平滑化值的强度，还向垂直方向进行平滑化的单元。这样生成的值作为R频道以及B频道的低频分量而被输出到信号线2189。

合成单元2190是基于垂直方向平滑化单元2170的G频道的低频分量和垂直方向平滑化单元2180的R频道以及B频道的低频分量以及强度估计单元2130的G频道的插补值，对关注像素位置的R频道以及B频道的强度进行合成的单元。这里，例如以R频道为作为成为合成对象的频道，则R频道的强度R_C成为R频道的高频分量R_H以及低频分量R_L的合成值。此外，R频道的高频分量R_H可以从G频道的高频分量和低频分量的频率分量的比求出。因此，如下式那样，R频道的强度R_C是将R频道以及G频道的低频分量之比和G频道的强度G_C相乘的大小。另外，对于B频道也是相同的。

R_C＝R_H+R_L＝R_L·((G_C-G_L)/G_L)+R_L＝(R_L/G_L)·G_C

通过该合成单元2190所合成的R频道以及B频道的强度作为R频道以及B频道的插补值而被输出到信号线2199。此外，这些R频道以及B频道的插补值以及从强度估计单元2130输出的G频道的插补值作为沿着水平方向的插补处理结果而被输出到信号线219。

另外，在这里说明了水平方向插补处理单元210的功能结构例子，但在垂直方向插补处理单元220的情况下，只有水平方向和垂直方向相反之外，基本的结构相同。

图6是本发明的实施方式中的水平方向插补处理单元210的处理的示意图。图6(a)是表示对9×9像素的拜尔排列进行水平方向的平滑化的情况的图。对于G频道是通过水平方向平滑化单元2110而进行平滑化，对于R频道以及B频道是通过水平方向平滑化单元2120而进行平滑化。

图6(b)是表示水平方向平滑化单元2110以及2120的平滑化的结果的图。因G频道在各个线中存在，所以可对所有的垂直采样位置得到平滑化值。另一方面，因R频道以及B频道隔一行地存在，所以平滑化值不是对所有的垂直采样位置得到，而是产生空缺。

强度估计单元2140对R频道以及B频道的平滑化值，估计强度，并如图6(c)那样，对R频道以及B频道，也对所有的垂直采样位置聚齐平滑化值。

图6(c)是表示对得到的水平方向的平滑化值进行垂直方向的平滑化的情况的图。对于G频道是通过垂直方向平滑化单元2170而进行平滑化，对于R频道和B频道是通过垂直方向平滑化单元2180而进行平滑化。

图6(d)是表示垂直方向平滑化单元2170以及2180的平滑化的结果的图。这些平滑化值是各频道的低频分量，提供给合成单元2190。

图7是表示本发明的实施方式中的强度估计单元2140的功能结构例子的图。该强度估计单元2140包括高频分量计算单元2141、低频分量计算单元2143、校正值计算单元2145。

高频分量计算单元2141是从通过水平方向平滑化单元2110所生成的平滑化值，计算在各垂直采样位置中的高频分量的单元。在将所参照的垂直采样位置设为位置i的情况下，将位置i中的G频道的平滑化值设为G[i]、将与位置i相邻的垂直采样位置的G频道的平滑化值设为G[i-1]以及G[i+1]。此时，在位置i有R频道的像素的情况下，G频道的高频分量G_H[i]通过以下式计算：

G_H[i]＝((G[i+1]+G[i-1])/2-G[i])/2，

在位置i没有R频道的像素的情况下，通过以下式计算：

G_H[i]＝(G[i]-(G[i+1]+G[i-1])/2)/2。

这里，说明了将R频道的位置作为基准来计算G频道的高频分量的方法，但也可以将B频道作为基准来代替R频道。

低频分量计算单元2143是从通过水平方向平滑化单元2120所生成的平滑化值，计算在各垂直采样位置中的低频分量的单元。在将所参照的垂直采样位置设为位置i的情况下，将位置i中的R频道的平滑化值设为R[i]、将与位置i相邻的垂直采样位置的R频道的平滑化值设为R[i-1]以及R[i+1]。此时，在位置i有R频道的像素的情况下，R频道的低频分量R_L[i]通过以下式计算：

R_L[i]＝R[i]，

在位置i没有R频道的像素的情况下，通过以下式计算：

R_L[i]＝(R[i+1]+R[i-1])/2。

另外，计算B频道的低频分量B_L[i]的情况也相同。

校正值计算单元2145是根据通过高频分量计算单元2141所生成的G频道的高频分量和通过低频分量计算单元2143所生成的R频道或B频道的低频分量，校正在R频道或B频道的各垂直采样位置的平滑化值的单元。在将参照的垂直采样位置设为位置i的情况下，在位置i中的R频道的校正值R_C[i]可如下式那样通过R频道的低频分量R_L[i]和G频道的高频分量G_H[i]的加法来计算。

R_C[i]＝R_L[i]+G_H[i]

对于B频道也相同，可通过B频道的低频分量B_L[i]和G频道的高频分量G_H[i]的加法，计算B频道的校正值B_C[i]。

另外，这里，说明了通过R频道或B频道的低频分量和G频道的高频分量的加法来计算R频道的校正值的例子，但也可以如以下那样，通过估计R频道或B频道的高频分量，计算R频道或B频道的校正值。

图8是表示在本发明的实施方式中的强度估计单元2140的其他的功能结构例子的图。该强度估计单元2140包括高频分量计算单元2141、低频分量计算单元2142以及2143、高频分量估计单元2144、校正值计算单元2145。即，与图7的例子相比，成为追加了低频分量计算单元2142以及高频分量估计单元2144的结构。

低频分量计算单元2142是从通过水平方向平滑化单元2110所生成的平滑化值，计算在各垂直采样位置中的低频分量的单元。在将所参照的垂直采样位置设为位置i的情况下，将位置i中的G频道的平滑化值设为G[i]，则G频道的低频分量G_L[i]可由下式计算：

G_L[i]＝G[i]。

高频分量估计单元2144是基于通过低频分量计算单元2142所生成的G频道的低频分量和通过低频分量计算单元2143所生成的R频道或B频道的低频分量之间的比率，调整通过高频分量计算单元2141所生成的G频道的高频分量，从而估计R频道或B频道的高频分量的单元。在将参照的垂直采样位置设为位置i的情况下，在位置i中的G频道的高频分量设为G_H[i]、G频道的低频分量设为G_L[i]、R频道的低频分量设为R_L[i]，则可通过下式计算R频道的高频分量R_H[i]。

R_H[i]＝(R_L[i]/G_L[i])·G_H[i]

由此，校正值计算单元2145可如下式那样，通过R频道的低频分量R_L[i]和R频道的高频分量R_H[i]的加法来计算

R_C[i]＝R_L[i]+R_H[i]

另外，这里，对R频道进行了说明，但对于B频道也相同。

图9是表示在本发明的实施方式中的水平方向插补处理单元310的功能结构例子的图。该水平方向插补处理单元310包括G强度估计单元311和RB强度估计单元312。

G强度估计单元311是在通过附近区域提取单元100所提取的附近区域中，对没有G频道的像素的位置估计G频道的单元。作为此时的估计方法，例如可使用图10(a)所示的插补滤波器，通过求出在水平方向相邻的像素的强度的平均值来进行估计。该G频道的估计值被输出到信号线318。另外，在垂直方向插补处理单元320中的G强度估计单元也相同，例如可使用图10(b)所示的插补滤波器，通过求出在垂直方向相邻的像素的强度的平均值来进行估计。

RB强度估计单元312是在通过附近区域提取单元100所提取的附近区域中，对没有R频道和B频道的像素的位置分别估计R频道和B频道的单元。作为此时的估计方法，例如可使用图10(a)所示的插补滤波器，通过求出在水平方向相邻的像素的强度的平均值来进行估计。其中，对于R频道和B频道，有对应于行的频道不存在的情况，所以此时，可基于通过G强度估计单元311所估计的G频道的强度，估计R频道和B频道的强度。该通过RB强度估计单元312所估计的R频道和B频道的强度以及通过G强度估计单元311所估计的G频道的强度被输出到信号线319。

在该图9的例子中，对附近区域的所有像素估计不存在的频道的强度。因此，在信号线319中，被输出与附近区域对应的9×9像素中的各频道的强度。相对于此，也可以如下那样，沿一个方向进行了平滑化之后，只估计缺少的频道的强度。

图11是表示在本发明的实施方式中的水平方向插补处理单元310的其他的功能结构例子的图。该水平方向插补处理单元310包括水平方向平滑化单元313和314以及RB强度估计单元315。

水平方向平滑化单元313是对关注像素位置的附近区域中所包含的G频道，在垂直采样位置沿水平方向进行平滑化的单元。通过该水平方向平滑化单元313所生成的平滑化值被输出到信号线317。

水平方向平滑化单元314是对关注像素位置的附近区域中所包含的R频道以及B频道，在垂直采样位置沿水平方向进行平滑化的单元。其中，对R频道以及B频道，有时在某一垂直采样位置的水平线，有不存在对应的频道的像素的情况，此时无法求出平滑化值，平滑化值不存在。通过该水平方向平滑化单元314所生成的平滑化值被输出到信号线316。

RB强度估计单元315是通过水平方向平滑化单元313的G频道的平滑化值的强度，估计水平方向平滑化单元314的R频道以及B频道的平滑化值的强度的单元。通过该RB强度估计单元315所估计的R频道和B频道的强度以及通过水平方向平滑化单元313被平滑化的G频道的强度，被输出到信号线319。

在该图11的例子中，将附近区域的各像素在水平方向进行平滑化进行处理。因此，在信号线319中，被输出将附近区域的各像素在水平方向进行平滑化的1×9像素中的各频道的强度。即，对附近区域不是对每个像素进行插补，而是沿着插补方向对一行进行平滑化，从而可以与图9的例子的情况相比，进行高速的插补处理。因此，在以下说明基于图11的例子的水平方向插补处理单元310的输出(1×9像素)，计算色度信号的伪信号强度的情况。

图12是表示在本发明的实施方式中的色度信号伪信号强度计算单元330的功能结构例子的图。该色度信号伪信号强度计算单元330包括相似度计算单元331和色度信号分散计算单元332。

相似度计算单元331是计算包含关注像素的线的插补值和附近区域的插补值之间的相似度的单元。该相似度计算单元331例如通过下式，计算第i垂直采样位置中的相似度W_i。这里，G_center是包含关注像素的垂直采样位置中的G频道的插补值，G_i是在第i垂直采样位置中的G频道的插补值。此外，G频道的各插补值被进行规一化，以使最大值成为1。

W_i＝1-|G_i-G_center|

另外，相似度计算单元331中的相似度的计算式并不限定于上式，例如也可以通过下式来计算相似度W_i。这里，G_mean是G频道的插补值的平均值，G_var是G频道的插补值的分散。

W_i＝((G_i-G_mean)·(G_center-G_mean)/G_var)×0.5+0.5

这样得到的相似度用于在色度信号分散计算单元332中的色度信号的分散值计算的权重。

色度信号分散计算单元332是计算色度信号的权重分散值的单元。这里，色度信号是像素信号的色差(Chrominance)，是像素信号除以亮度信号Y(Luminance)的信号。在本发明的实施方式中，假设从以下式计算红色的色差Cr以及蓝色的色差Cb。其中，Y＝0.3R+0.6G+0.1B。

Cr＝R-Y

Cb＝B-Y

该色度信号分散计算单元332通过下式，计算红色的色差Cr的分散VCr以及蓝色的色差Cb的分散V_Cb作为这样求出的色度信号的相似度的加权分散值。这里，N是采样总数，将图11作为前提的实施方式中是N＝9。此外，Cr_i以及Cb_i是第i垂直采样位置中的红色以及蓝色的色度信号的强度。此外，上划线表示平均值。

[式2]

$V_{\mathrm{Cr}}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{W}_i{({\mathrm{Cr}}_i-\stackrel{\‾}{\mathrm{Cr}})}^2$

$V_{\mathrm{Cb}}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{W}_i{({\mathrm{Cb}}_i-\stackrel{\‾}{\mathrm{Cb}})}^2$

其结果，加上了色度信号的分散值的值V＝V_Cr+V_Cb成为色度信号的伪信号强度。该伪信号强度V作为水平方向的伪信号强度V_h而从信号线339输出。

另外，在色度信号伪信号强度计算单元340中的处理也相同，伪信号强度V作为垂直方向的伪信号强度V_v而从信号线349输出。

在图4的结构例子中，将方向插补单元200中的插补处理(水平方向插补处理单元210以及垂直方向插补处理单元220的处理)和方向判断单元300中的插补处理(水平方向插补处理单元310以及垂直方向插补处理单元320的处理)独立地进行。但是，因在它们之间存在相互重复的部分，所以也可以共用任意一方的结果。以下，说明此时的结构例子。

图13是表示在本发明的实施方式中的解马赛克处理单元232的其他结构例子的图。在该图13的例子中，与图4的例子相比，除去了水平方向插补处理单元310以及垂直方向插补处理单元320。而且，代替它们，来自水平方向插补处理单元210以及垂直方向插补处理单元220的信号线218以及228分别输入到色度信号伪信号强度计算单元330以及340。

图14是表示在图13的例子中的水平方向插补处理单元210的一个结构例子的图。在该水平方向插补处理单元210中，作为对垂直方向平滑化单元2170以及2180的输入的信号线2119以及2149，作为信号线218进行输出。该信号线218的输出与图11中的信号线319等价。因此，对色度信号伪信号强度计算单元330提供的信号与图4的例子相同。

另外，在这里对水平方向插补处理单元210进行了说明，但在垂直方向插补处理单元220的情况只有水平方向和垂直方向相反，基本的结构相同。

接着，参照附图，说明本发明的实施方式的图像处理装置的动作。

图15是表示本发明的实施方式的图像处理电路23的处理步骤例子的图。如果从A/D转换电路22获取马赛克图像(步骤S901)，则白平衡处理单元231对其马赛克图像进行白平衡处理(步骤S902)。解马赛克处理单元232对进行了白平衡处理的马赛克图像的各像素位置进行插补处理(解马赛克处理)(步骤S903)，使得聚齐R、G、B的所有频道的强度。矩阵处理单元235将线性矩阵适用于解马赛克处理单元232的输出的各像素，并变换为三原色的强度值(步骤S904)。灰度系数校正单元234对进行了矩阵处理的强度值进行灰度系数校正(步骤S905)。YC变换单元235通过对进行了灰度系数校正的三个频道图像进行YC矩阵处理以及对于色度分量的频带限制，输出亮度信号(Y)以及色差信号(Cr，Cb)(步骤S906)。

图16是表示在本发明的实施方式中的解马赛克处理单元232的解马赛克处理(图15的步骤S903)的处理步骤例子的图。解马赛克处理是对每个像素位置进行那里不存在的颜色的插补或估计，使得在全部像素位置存在所有颜色的处理。该处理是通过对各像素位置(p，q)(p＝1～m，q＝1～n)重复环路L991而实现。

首先，如果当前的像素位置(p，q)作为关注像素位置而被设定(步骤S911)，则附近区域提取单元100从进行了白平衡处理的马赛克图像中，提取关注像素位置的周围的规定的大小(例如9×9像素)的附近区域(步骤S912)。方向插补单元200对关注像素位置，沿着多个方向的每个方向进行插补处理，输出多个方向的每个方向中的插补结果(步骤S913)。方向判断单元300对关注像素位置判断结构方向，并指示要将沿着多个方向的插补值如何进行合成(步骤S914)。合成单元400基于由方向判断单元300输出的插补值的权重，对由方向插补单元200输出的插补值进行合成，并作为关注像素位置的插补值输出(步骤S915)。

图17是表示在本发明的实施方式的方向插补单元200的插补处理(图16的步骤S913)的处理步骤例子的图。水平方向平滑化单元2110对关注像素位置的附近区域中所包含的RGB的各频道中的G频道，在垂直采样位置对水平方向进行平滑化(步骤S921)。此外，水平方向平滑化单元2120对关注像素位置的附近区域中所包含的RGB的各频道中的R频道和B频道，在垂直采样位置对水平方向进行平滑化(步骤S922)。强度估计单元2140根据水平方向平滑化单元2110的G频道的平滑化值的强度，估计水平方向平滑化单元2120的R频道和B频道的平滑化值的强度(步骤S923)。

而且，垂直方向平滑化单元2170将水平方向平滑化单元2110的G频道的水平方向的平滑化值的强度，还对垂直方向进行平滑化(步骤S924)。此外，垂直方向平滑化单元2180将强度估计单元2140的R频道和B频道的被插补的水平方向的平滑化值的强度，还对垂直方向进行平滑化(步骤S925)。

此外，强度估计单元2130对关注像素位置的附近区域中所包含的RGB的各频道中的G频道，估计关注像素位置的强度(步骤S926)。而且，合成单元2190基于垂直方向平滑化单元2170的G频道的低频分量、和垂直方向平滑化单元2180的R频道和B频道的低频分量、和强度估计单元2130的G频道的插补值，对关注像素位置的R频道和B频道的强度进行合成(步骤S927)。

另外，只要这些步骤按照图5中的动作的依赖关系的情况下，可以以不同的顺序执行。

图18是表示在本发明的实施方式中的方向判断单元300的结构方向判断处理(图16的步骤S914)的处理步骤例子的图。水平方向插补处理单元310进行沿着水平方向进行插补处理(步骤S931)。色度信号伪信号强度计算单元330计算沿着水平方向的插补值中所包含的色度信号的伪信号强度(步骤S932)。

此外，垂直方向插补处理单元320进行沿着垂直方向的插补处理(步骤S933)。色度信号伪信号强度计算单元340计算沿着垂直方向的插补值中所包含的色度信号的伪信号强度(步骤S934)。

而且，方向评价单元350基于水平方向以及垂直方向的伪信号强度，计算水平方向以及垂直方向的插补值的权重(步骤S935)。

另外，只要这些步骤按照图4中的动作的依赖关系的情况下，可以以不同的序执行。

图19是表示在本发明的实施方式中的水平方向插补处理单元310以及垂直方向插补处理单元320的一个方向插补处理(图18的步骤S931以及S933)的处理步骤例子的图。图9的水平方向插补处理单元310对附近区域的所有像素进行插补处理，使得R、G、B信号全部聚齐。该水平方向插补处理单元310的处理是，通过对各像素位置(s，t)(在本发明的实施方式中，s＝1～9，t＝1～9)重复环路L992以及L993而实现。

在环路L992中，如果像素位置(s，t)的颜色不是G(步骤S941)，则G强度估计单元311估计像素位置(s，t)的G频道的强度(步骤S942)。如果对附近区域内的所有像素执行步骤S941的处理，则环路L992结束，转移到环路L993。

在环路L993中，RB强度估计单元312在像素位置(s，t)中，对没有R频道和B频道的像素的位置分别估计R频道和B频道(步骤S943)。如果对附近区域内的所有像素聚齐R、G、B信号，则一个方向插补处理结束。

另外，垂直方向插补处理单元320的处理只是水平方向和垂直方向相反，与水平方向插补处理单元310的处理相同。

图20是表示在本发明的实施方式中的色度信号伪信号强度计算单元330以及340的色度信号的伪信号强度计算处理(图18的步骤S932以及S934)的处理步骤例子的图。

在色度信号伪信号强度计算单元330中，相似度计算单元331计算包含关注像素的线的插补值和附近区域的插补值之间的相似度(步骤S951)。而且，色度信号分散记算单元332计算色度信号的加权分散值(步骤S952)。

另外，色度信号伪信号强度计算单元340的处理只是水平方向和垂直方向相反，与色度信号伪信号强度计算单元330的处理相同。

在本发明的实施方式中，说明了使用了图3所示的拜尔排列的三原色系统的颜色滤波器的例子，但本发明也可以适用于除此以外的颜色排列。例如也可以是如图21(a)那样，除了RGB之外，还加上E(emerald：深黄绿色)的滤波器的四色排列。该四色排列成为将三色的拜尔排列的B像素位置的一半置换为若干的分光特性的不同的排列。在该四色排列的情况下，在方向插补单元200中预先计算R、G、B、E的各频道的插补值，基于在方向判断单元300中的结构方向的判断，在合成单元400中对插补值进行合成。

在该四色排列中，G的颜色的像素以方格状配置，在除此之外的像素位置中R的颜色的像素沿水平方向以及垂直方向以隔一个像素的正方格子状配置，在剩余的像素位置中B以及E的颜色的像素沿斜向以隔一个像素的斜格子状配置。

G的颜色是接近人体的可见度曲线的分光特性的滤波颜色。R的颜色是在比较长的波长侧具有灵敏度的分光特性的滤波颜色。另一方面，B以及E的颜色是在比较短的波长侧具有灵敏度的分光特性的滤波颜色。

该四色排列可以如图21(b)那样进行一般化。在以上的例子中，G相当于C1，R相当于C2，B相当于C3，E相当于C4。这些可以区分为以方格状配置的第1频道(C 1)和除此之外的第2频道(C2至C4)。在第1频道中，即使对水平方向以及垂直方向的任意方向进行平滑化，其颜色都存在。相对于此，在第2频道中，对水平方向以及垂直方向的任一方向或者两个方向进行平滑化时，存在其颜色不存在的情况。此时，可以使用第1频道的强度来估计第2频道的强度。

此外，对于四色以上的排列也相同。即，如果第1频道以方格状配置，则对于第2频道可以包含规则地排列的四色以上的颜色。

另外，这里，作为以方格状配置的第1频道而假设了接近人体的可见度曲线的分光特性的滤波颜色，但不限定于此，也可以采用对红外线也具有分光灵敏度的滤波颜色。作为这样的例子，例如可假设通过所有颜色的光线的透明滤波器。

此外，在本发明的实施方式中，假设了各像素在水平方向以及垂直方向规则地配置的情况，但并不限定于此，例如也可以倾斜45度配置。

此外，在本发明实施方式中，假设了在附近区域中沿水平方向以及垂直方向进行插补而判断结构方向的情况，但并不限定于此，除了水平方向以及垂直方向之外，例如也可以进行右上斜方向(Ascending)以及右下斜方向(Descending)的插补以及结构方向判断，基于这些进行合成。

这样，根据本发明的实施方式，在用于将由方向插补单元200所生成的插补值通过合成单元400进行合成的结构方向的评价中，利用色度信号的伪信号强度，从而例如在彩色的条形那样的包含彩度高的高频分量的图像中，也能够正确地评价插补的方向，可以抑制伪色的产生。

另外，本发明的实施方式是表示用于使本发明具体化的一个例子，如下所示地，与权利要求的范围中的发明特定事项分别具有对应关系，但并不限定于这些，在不脱离本发明的意旨的范围内，可进行各种变形。

即，在技术方案1中，插补部件例如对应于水平方向插补处理单元310以及垂直方向插补处理单元320。此外，色度信号伪信号强度计算部件例如对应于色度信号伪信号强度计算单元330以及340。此外，方向评价部件例如对应于方向评价单元350。

此外，在技术方案3中，权重计算部件例如对应于相似度计算单元331。此外，统计量计算部件例如对应于色度信号分散计算单元332。

此外，在技术方案6中，平滑化部件例如对应于水平方向平滑化单元313以及314。此外，插补值生成部件例如对应于RB强度估计单元315。

此外，在技术方案10中，第1插补部件例如对应于水平方向插补处理单元310以及垂直方向插补处理单元320。此外，色度信号伪信号强度计算部件例如对应于色度信号伪信号强度计算单元330以及340。此外，方向评价部件例如对应于方向评价单元350。此外，第2插补部件例如对应于水平方向插补处理单元210以及垂直方向插补处理单元220。此外，合成部件例如对应于合成单元400。

此外，在技术方案11中，补部件例如对应于水平方向插补处理单元310以及垂直方向插补处理单元320。此外，色度信号伪信号强度计算部件例如对应于色度信号伪信号强度计算单元330以及340。此外，方向评价部件例如对应于方向评价单元350。此外，合成部件例如对应于合成单元400。

此外，在技术方案12中，拍摄部件例如对应于拍摄元件13。此外，插补部件例如对应于水平方向插补处理单元310以及垂直方向插补处理单元320。此外，色度信号伪信号强度计算部件例如对应于色度信号伪信号强度计算单元330以及340。此外，方向评价部件例如对应于方向评价单元350。

此外，在技术方案16中，特定的颜色例如对应于G(绿)色。此外，第1颜色例如对应于R(红)色。此外，第2颜色例如对应于B(蓝)色。此外，第3颜色例如对应于E(深黄绿)色。

此外，在技术方案19以及20中，插补步骤例如对应于步骤S931以及S933。此外，色度信号伪信号强度计算步骤例如对应于步骤S932以及S934。此外，方向评价步骤例如对应于步骤S935。

另外，在本发明的实施方式中说明的处理步骤，可以作为具有一连串的步骤地方法来掌握，此外，也可以作为使计算机执行这些一连串的步骤的程序或存储该程序的存储媒体来掌握。

Claims (19)

1.一种图像处理装置，其特征在于，包括：

插补部件，将输入图像中的规定的关注像素的附近区域作为对象，沿着所述附近区域中的多个方向的每个方向进行插补，生成各自的插补值；

色度信号伪信号强度计算部件，从所述插补部件生成的所述多个方向的各个插补值，分别计算色度信号的伪信号强度；以及

方向评价部件，基于所述色度信号伪信号强度计算部件计算的所述多个方向的各个色度信号的伪信号强度，生成对于所述多个方向的每个方向的评价值。

2.如权利要求1所述的图像处理装置，其特征在于，

所述色度信号伪信号强度计算部件基于所述多个方向的每个方向的插补值的色度信号的统计量，计算所述伪信号强度。

3.如权利要求2所述的图像处理装置，其特征在于，

所述色度信号伪信号强度计算部件包括：

权重计算部件，计算与所述多个方向的每个方向的插补值的各要素对应的权重；以及

统计量计算部件，根据所述权重，从所述多个方向的每个方向的插补值计算所述统计量。

4.如权利要求3所述的图像处理装置，其特征在于，

所述权重计算部件计算所述多个方向的每个方向的插补值中的与所述规定的关注像素对应的要素和其他要素之间的相似度作为所述权重。

5.如权利要求2所述的图像处理装置，其特征在于，

所述色度信号伪信号强度计算部件计算所述色度信号的分散值作为所述色度信号的统计量。

6.如权利要求1所述的图像处理装置，其特征在于，

所述插补部件包括：

平滑化部件，沿着所述附近区域中的多个方向的每个方向进行平滑化，生成平滑化值；以及

插补值生成部件，基于所述平滑化值，生成所述插补值。

7.如权利要求1所述的图像处理装置，其特征在于，

所述方向评价部件比较所述多个方向的每个方向的色度信号的伪信号强度的大小关系，使伪信号强度最小方向的评价比规定值高，使剩余方向的评价值比规定值低。

8.如权利要求1所述的图像处理装置，其特征在于，

所述方向评价部件根据所述多个方向的每个方向的色度信号的伪信号强度的比，决定所述多个方向的评价值。

9.如权利要求1所述的图像处理装置，其特征在于，

所述多个方向为水平方向、垂直方向、右上斜方向以及右下斜方向的任意两个以上的组合。

10.一种图像处理装置，其特征在于，包括：

第1插补部件，将输入图像中的规定的关注像素的附近区域作为对象，沿着所述附近区域中的多个方向的每个方向进行插补，生成各自的插补值作为第1插补值；

色度信号伪信号强度计算部件，从所述第1插补部件生成的所述多个方向的各个第1插补值，分别计算色度信号的伪信号强度；

方向评价部件，基于所述色度信号伪信号强度计算部件计算的所述多个方向的各个方向的色度信号的伪信号强度，生成对于所述多个方向的每个方向的评价值；

第2插补部件，将输入图像中的规定的关注像素的附近区域作为对象，沿着所述附近区域中的所述多个方向的每个方向进行插补，生成各自的插补值作为第2插补值；以及

合成部件，基于对于所述多个方向的每个方向的评价值，合成与其评价值对应的方向的所述第2插补值。

11.一种图像处理装置，其特征在于，包括：

插补部件，将输入图像中的规定的关注像素的附近区域作为对象，沿着所述附近区域中的多个方向的每个方向进行插补，生成各自的插补值；

色度信号伪信号强度计算部件，从所述插补部件生成的所述多个方向的各个插补值，分别计算色度信号的伪信号强度；

方向评价部件，基于所述色度信号伪信号强度计算部件计算的所述多个方向的各个色度信号的伪信号强度，生成对于所述多个方向的每个方向的评价值；以及

合成部件，基于对于所述多个方向的每个方向的评价值，合成与其评价值对应的方向的所述插补值。

12.一种图像处理装置，其特征在于，包括：

拍摄部件，对被摄体进行拍摄，从而生成输入图像；

插补部件，将所述输入图像中的规定的关注像素的附近区域作为对象，沿着所述附近区域中的多个方向的每个方向进行插补，生成各自的插补值；

色度信号伪信号强度计算部件，从所述插补部件生成的所述多个方向的各个插补值，分别计算色度信号的伪信号强度；以及

方向评价部件，基于所述色度信号伪信号强度计算部件计算的所述多个方向的各个色度信号的伪信号强度，生成对于所述多个方向的每个方向的评价值。

13.如权利要求12所述的图像处理装置，其特征在于，

所述拍摄部件是将原色系拜尔排列的彩色滤波器配置在前面的图像传感器。

14.如权利要求12所述的图像处理装置，其特征在于，

所述拍摄部件是将彩色滤波器配置在前面的图像传感器，

所述彩色滤波器是，与特定的颜色对应的像素以方格状地配置，其他的至少三个颜色配置在剩余的像素位置。

15.如权利要求14所述的图像处理装置，其特征在于，

所述特定的颜色是具有接近人体的可见度曲线的分光灵敏度的滤波颜色。

16.如权利要求14所述的图像处理装置，其特征在于，

所述其他的至少三个颜色中，第1颜色在所述特定的颜色以外的像素位置中，在水平方向以及垂直方向以隔一个像素的正方格子状配置，第2以及第3颜色在剩余的像素位置中，在斜向以隔一个像素的斜向格子状配置。

17.如权利要求16所述的图像处理装置，其特征在于，

所述第1颜色是与所述特定的颜色相比，在长波长侧具有灵敏度的分光特性的滤波颜色，

所述第2以及第3颜色中的至少一个是与所述特定的颜色相比，在短波长侧具有灵敏度的分光特性的滤波颜色。

18.如权利要求14所述的图像处理装置，其特征在于，

所述特定的颜色是也对红外线具有分光灵敏度的滤波颜色。

19.一种图像处理方法，其特征在于，包括以下步骤：

插补步骤，将输入图像中的规定的关注像素的附近区域作为对象，沿着所述附近区域中的多个方向的每个方向进行插补，生成各自的插补值；

色度信号伪信号强度计算步骤，从所述多个方向的各个插补值，分别计算色度信号的伪信号强度；以及

方向评价步骤，基于所述多个方向的各个色度信号的伪信号强度，生成对于所述多个方向的每个方向的评价值。

Images