CN102256141A - 图像处理装置及图像处理方法、摄像装置 - Google Patents

Abstract

本发明涉及种图像处理装置及图像处理方法、摄像装置，该图像处理装置用于处理通过具有颜色编码用的滤色器的摄像单元所拍摄的图像，其特征在于，包括：用于输入图像信号的单元；相关值算出单元，对于所述图像信号，算出表示像素之间的相关程度的至少第一相关值和第二相关值；可靠度算出单元，用于算出与通过所述相关值算出单元算出的各相关值有关的可靠度；以及内插单元，用与所述可靠度对应的内插处理进行期望的像素的内插。

Description

图像处理装置及图像处理方法、摄像装置

本申请是申请号为201010253720.0、申请日为2006年6月20日、发明名称为“图像处理装置及图像处理方法、摄像装置”的发明专利申请的分案申请。

技术领域

本发明涉及一种图像处理装置和图像处理方法、使用这些图像处理装置或图像处理方法的摄像装置、以及计算机程序。其中，图像处理装置和图像处理方法用于处理具有规定的颜色编码的滤波器(滤色器)的固体摄像装置的输出信号。

背景技术

照相机作为记录视觉信息的装置具有长久历史。最近，取代使用胶片和感光板进行摄像的银盐照相机，将利用CCD(Charge Coupled Device)和CMOS(Complementary Metal-Oxide Semiconductor)等固体摄像元件捕获的图像数字化的数码照相机广泛普及。

利用固体摄像元件的图像传感器包括以下结构：排列成二维的各像素(光电二极管)利用光电效果将光转换为电荷。通常在受光面上设置包括R(红)、绿(G)、蓝(B)三种颜色的滤色器，将入射光的颜色分解为人眼可见的三原色。并且，对于各像素读取与经过滤色器的入射光量对应地累积的信号电荷，从而可得到人眼可见的RGB图像信号。

而且，将RGB图像信号进行颜色空间转换，成为YUV图像信号，用于显示输出和图像记录。YUV用亮度信号Y和包括红色色差U以及蓝色色差U的两个色度来表现颜色，通过YUV转换，利用人们对于亮度的分辨率高、而对于颜色的分辨率低的视觉灵敏度特性，容易进行数据压缩。例如，在NT SC(National Television Standards committee)标准中，利用以下三个式子进行由RGB到YUV的颜色空间转换。

Y＝0.6G+0.3R+0.1B......(1)

Cr(R-Y)＝R-(0.3R+0.6G+0.1B)......(2)

Cb(B-Y)＝B-(0.3R+0.6G+0.1B)......(3)

例如，已知有一种三片式摄像装置，即、对于三个固体摄像装置，将R(红)、G(绿)、B(蓝)原色滤色器配置在相同空间相位上，从而得到高分辨率的RGB信号，实现提高画质。但是，三片式摄像装置需要使用棱镜，所以，很难实现装置的小型化和低成本，其中，该棱镜使用三个固体摄像装置，将入射光分解为RGB的每个颜色。

另一方面，还有一种单片式摄像装置，其通过在一个固体摄像装置上以像素为单位适当排列RGB的滤色器，从而实现小型化、低成本化。在该单片式摄像装置上，进行以像素为单位间歇地排列R、G、B的各滤色器的颜色编码。作为颜色编码的代表，可列举一直以来广泛使用的拜尔(Bayer)排列(参照图24)。

进行颜色编码时，在配置R滤色器的像素上，缺少G和B成分的信息；在配置G滤色器的像素上，缺少R和B成分的信息；在配置B滤色器的像素上，缺少G和R成分的信息。在后面的信号处理中进行颜色空间变换时，在各像素中需要全部的RGB信号。其原因是，如果使用上式(1)～(2)由空间上相位不同的RGB信号生成亮度信号Y和色差信号Cr、Cb时，将成为形成颜色伪信号的原因。为此，需要根据滤色器排列内插(interpolation)复原在各像素中失去的颜色信号、并形成相同空间相位的RGB信号之后(参照图25)，进行颜色空间变换。这种内插技术称为“除去马赛克”。

RGB信号的内插精度依赖于颜色编码，所以固体摄像装置的特性根据颜色编码而不同。图24所示的Bayer排列，在第奇数行上交错排列R滤色器和G滤色器，在第偶数行上交错排列G滤色器和B滤色器。在Bayer排列上，采用相对于RB各滤色器较多地排列G滤色器的构成，所以与RB相比可以用更高的精度插入G。

由上式(1)可知，G在形成亮度信号之后为主要成分，亮度信号的分辨率很大程度上依赖于G的分辨率。图像信号的分辨率与像素的抽样率1/fs成比例(fs为像素的抽样频率)，但是，根据Bayer排列，通过提高G滤色器排列内插的精度，从而可得到G的分辨率比RB的分辨率高的特性。因为人们具有对亮度的分辨率高、对颜色的分辨率低的视觉灵敏度特性，所以，Bayer排列可以说是很好地利用人的视觉灵敏度特性的颜色编码。

而且，重要的是，如何才能利用内插技术由空间上相位不同的RGB信号最适当地形成相同空间相位的RGB信号。当不是最佳的图像信号的内插处理时，就会成为不能得到高分辨率的图像、或者生成伪颜色信号的原因。

例如，提出了下述一种图像处理装置(例如参照专利文献1)。当进行以Bayer排列进行颜色编码的RGB图像信号的内插处理时，算出应该内插的像素的附近八个像素、即重点像素的上、下、右、左、右上、右下、左上、左下共八个像素的变化量，对该算出的变化量进行加权，算出相关值，同时以该算出的相关值为基础决定内插度，在分别对内插数据乘以内插度后进行加法运算。

采用这种图像处理装置，根据内插度、且以上述四个像素信息为基础进行内插处理，所以，对于不与相关值的算出方向正交的方向的边缘，也可以很好地判断相关程度，因此，内插处理后的倾斜边缘清晰、且可以很好地再现，同时对于折弯的线、弯成直角的角部分等也可以很好地进行内插。

但是，在Bayer排列中，由滤色器的排列决定的G的分辨率和RB的分辨率的临界分辨率在斜45度方向上相同。G在形成亮度信号后为主要成分，且很大程度上依赖于亮度分辨率；RB较大程度上依赖于色差信号的分辨率，所以，提高G的分辨率成为生成高分辨率图像的重点。另外，人眼具有对亮度可识别到高频率、但对颜色难以识别高频率的特性，所以可以认为Bayer排列的颜色分辨率和亮度分辨率的平衡还没有与人的视觉灵敏特性充分匹配。

鉴于该点，本申请人提出了一种颜色编码(例如，参照日本特愿2005-107037号说明书)：将形成亮度成分后成为主要成分的G成分配置成包围其他RB成分的各成分的周围，取代相对于Bayer排列使RB的像素数为1/2的方式，并增加G，因此，虽然牺牲了一些颜色分辨率，但是将亮度分辨率提高到大约两倍。这种颜色编码比Bayer排列的颜色编码更适合人的视觉灵敏特性，但是，为了输出比Bayer排列时更高的分辨率，需要更高级的内插处理。

特许文献1：特开平11-177994号公报

发明内容

本发明的目的在于提供卓越的图像处理装置和图像处理方法、摄像装置、以及计算机程序，通过用更高的精度对进行颜色编码后的RGB图像进行滤色器排列内插，从而可以得到更高的亮度分辨率。

为解决上述问题，本发明的第一方面提供一种图像处理装置，用于对通过具有颜色编码用的滤色器的摄像单元进行拍摄的图像进行处理，其包括：用于输入图像信号的单元；相关值算出单元，对于上述图像信号，算出表示像素之间的相关程度的至少第一相关值和第二相关值；内插用像素确定单元，根据上述第一相关值和上述第二相关值确定在内插期望的像素时使用的其他像素；以及内插单元，由通过上述内插用像素确定单元确定的像素内插上述期望的像素，其中，在上述颜色编码用的滤色器上，对于各像素在每一行和每一列上各错开像素间距的1/2的倾斜像素排列，在算出亮度成分之后成为主要成分的颜色成分被配置成包围其他各颜色成分的周围。

对于Bayer排列，这种颜色编码取代使RB像素数为1/2而提高G，从而在理论上提高了G的临界分辨率。因此，通过G的进行高精度内插处理，从而G的分辨率提高至临界分辨率附近，所以，虽然损失了一些颜色分辨率，但是可将亮度分辨率提高到大约二倍。

对于成为内插对象的(即缺少了成为亮度信号的主要成分的G)空间位置的像素内插G时，对于包围该像素的周围的图像信号，相关值算出单元在至少两个方向上算出在像素之间表示G的相关强度的相关值。

如果是图像的水平方向和垂直方向，作为像素之间的相关值，可以在正交的两个方向上过滤图像信号，并从该滤波输出对于一个方向特性算出相关值。在此所说的滤波器优选是除去DC成分的带通滤波器，可以使用以微分滤波器为代表的高通滤波器。

将水平方向的带通滤波器输出设为BPF(H)，将垂直方向的输出设为BPF(V)，则水平垂直方向HV的相关值S(HV)用BPF(H)/{BPF(H)+BPF(V)}来表示。并且，S(HV)取0～1的值，但是当接近于1时，显示出在水平方向上具有图像信号的波动、对于垂直方向像素之间的相关高，所以，优选方式是，将在包围期望的像素的周围像素中位于垂直方向上的像素确定为内插用的像素。相反，当S(HV)接近于0时，显示出在垂直方向上具有图像信号的波动、对于水平方向像素之间的相关高，所以，优选方式是，将期望的像素的位于水平方向上的像素确定为内插用像素。

相关值算出单元可以将水平垂直方向的相关值S(HV)作为第一相关值而算出。但是，仅使用以单一方向特性算出的相关值时，当相关值S(HV)为0.5附近的值时，相对于垂直轴，关于在+45度的方向上像素之间的相关高、还是在-45度的方向上像素之间的相关高这一点是不明确的，因此不能确定内插用的像素。

因此，对于与第一相关值不同的方向特性，相关值算出单元还要求出第二相关值，补偿第一相关值成为中间值的情况，提高用于确定在内插用像素确定单元中内插像素的方向的分辨率。

相关值算出单元配设另外一组正交的滤波器，其方向特性与在算出第一相关值时采用的一组正交的滤波器不同，根据这些滤波器的输出算出第二相关值。

如上说述，作为第一相关值算出水平垂直方向HV的相关值S(HV)时，作为第二相关值，可以采用非水平垂直方向NH/NV的相关值S(NH/NV)，非水平垂直方向NH/NV的相关值S(NH/NV)根据非水平方向NH的通滤波器的输出BPF(NH)、以及与BPF(NH)正交的非水平方向NH的带通滤波器输出BPF(NH)而算出。S(NH/NV)用BPF(NH)/{BPF(NH)+BPF(NV)}表示。

将相对于垂直方向分别只旋转±45度的方向作为非水平方向NH、非垂直方向NV，从分别配置在正交的NH和NV方向上的带通滤波器的输出取出第二相关值时，第一相关值和第二相关值中的一个为0.5附近的相关值时，可以用另一个相关值补充，用于确定内插方向的分辨率将达到最大限度。

即，采用根据本发明的图像处理装置，内插用像素确定单元对通过相关值算出单元求出的多个相关值进行比较，从而可在全方向(360度)判断相关方向，可以用更细的粒度确定应该内插的方向。并且，内插单元只要根据在该确定的方向上存在的像素的周围像素的信息，对作为内插对象的像素进行内插处理即可。

另外，本发明的第二方面提供一种图像处理装置，用于处理通过具有颜色编码用的滤色器的摄像单元拍摄的图像，包括：用于输入图像信号的单元；相关值算出单元，对上述图像信号，算出表示像素之间的相关程度的至少第一相关值和第二相关值；可靠度算出单元，用于算出与通过所述相关值算出单元算出的各相关值有关的可靠度；以及内插单元，用与上述可靠度对应的内插处理内插期望的像素。

根据本发明的第一方面，关于成为内插对象的像素的周围像素，求出方向特性不同的两个以上相关值，通过比较上述多个相关值，从而可以在全方向(360度)上判断相关值的方向，用更细的粒度确定应该内插的方向。但是，这种内插方向的确定方法是以在各方向特性中求出的相关值是可靠的为前提的。

因此，在根据本发明第二方面的图像处理装置中，算出与上述第一相关值和上述第二相关值有关的可靠度，采用与可靠度对应的内插处理方法来内插期望的像素信号。例如，可根据通过所述相关值算出单元算出的各相关值之和算出可靠度。

在此，当算出的相关值具有可靠性时，与根据本发明第一方面的图像处理装置同样，通过对求得的多个相关值与相关线进行比较，从而在全方向(360度)判断相关的方向，决定应该内插的方向，进行更高精度的像素内插。其结果是，可以根据精度高的G信号得到分辨率高的亮度信号。

另一方面，当算出的相关值缺少可靠性时，使用成为内插对象的像素的周围像素信息的平均值进行内插。此时，内插像素的精度被限制，不能得到分辨率高的亮度信号，而另一方面，却可以通过平均化处理提高SN。

另外，本发明的第三方面提供一种为了在计算机上执行通过具有颜色编码用的滤色器的摄像装置所拍摄的图像的处理而以计算机可读形式记载的计算机程序，对于上述计算机执行以下步骤：

相关值算出步骤，对于上述摄像单元的图像信号，算出表示像素之间的相关程度的至少第一相关值和第二相关值；内插用像素确定步骤，根据上述第一相关值和上述第二相关值，确定在内插期望像素时使用的其他像素；以及内插步骤，由执行上述内插用像素确定步骤确定的像素内插上述期望的像素。其中，对于各像素在每一行和每一列各错开1/2像素间距的倾斜像素排列，对通过滤色器进行颜色编码的图像信号执行所述各步骤，并进行在算出所述亮度成分之后成为主要成分的颜色成分的滤色器排列内插，其中所述滤色器是一种在算出亮度成分之后成为主要成分的颜色成分被配置成包围其他颜色成分的各成分的周围的滤色器。

本发明的第四方面为一种为了在计算机上执行通过具有颜色编码用的滤色器的摄像装置所拍摄的图像的处理而以计算机可读形式记载的计算机程序，对于上述计算机执行以下步骤：相关值算出步骤，对于上述摄像单元的图像信号，算出表示像素之间的相关程度的至少第一相关值和第二相关值；可靠度算出步骤，算出与执行上述相关值算出步骤而算出的各相关值有关的可靠度；以及内插步骤，以与上述可靠度对应的内插处理内插上述期望的像素。

根据本发明第三和第四方面的计算机程序是一种定义以计算机可读形式记载的计算机程序，以在计算机上实现规定的处理。换言之，通过将根据本发明第三和第四各方面的计算机程序安装在计算机上，从而在计算机上发挥协作作用，分别获得与本发明第一和第二各方面的图像处理装置同样的作用效果。

本发明还涉及一种摄像装置，包括：具有颜色编码用滤色器的摄像单元；相关值算出单元，对于通过上述摄像单元拍摄的图像信号，算出表示像素之间的相关程度的至少第一相关值和第二相关值；内插用像素确定单元，根据上述第一相关值和上述第二相关值，确定在内插期望的像素时使用的其他像素；内插单元，由通过上述内插用像素确定单元确定的像素内插上述期望的像素；以及信号处理单元，对于通过上述内插单元内插像素的图像信息，进行颜色空间分离或其他的信号处理，其中，在上述颜色编码用的滤色器上，对于各像素在每一行和每一列上各错开像素间距的1/2的倾斜像素排列，在算出亮度成分之后成为主要成分的颜色成分被配置成包围其他各颜色成分的周围。

本发明还涉及一种摄像装置，包括：具有颜色编码用滤色器的摄像单元；相关值算出单元，对于通过上述摄像单元拍摄的图像信号，算出表示像素之间的相关程度的至少第一相关值和第二相关值；可靠度算出单元，算出与通过上述相关值算出单元算出的各相关值有关的可靠度；内插单元，用与上述可靠度对应的内插处理进行期望的像素的内插；以及信号处理单元，对于通过上述内插单元内插像素的图像信息，进行颜色空间分离或其他的信号处理。

本发明还涉及一种图像处理装置，其包括：相关值算出单元，关于具有规定颜色编码的滤波器的固体摄像装置上的内插对象的像素，算出表示图像的相关程度的多个相关值；判断单元，通过将在上述相关值算出单元中算出的上述多个相关值与相关线比较，从而判断应该内插的方向，其中，上述相关线是对于不同方向算出最低两个模式的相关值、并相对各种角度的直线绘出该最低两个模式的相关值而得到的；以及内插单元，根据在通过上述判断单元判断的方向上存在的上述内插对象的像素的周围像素信息，对该内插对象的像素进行内插处理。

本发明还涉及一种图像处理方法，其包括：第一步骤，关于具有规定颜色编码的滤色器的固体摄像装置上的内插对象的像素，算出表示像素的相关程度的多个相关值；第二步骤，通过将通过上述第一步骤算出的上述多个相关值与相关线比较，从而判断应该内插的方向，其中，上述相关线是对于不同的方向算出最低两个模式的相关值、并对于各个角度的直线绘出该最低两个模式的相关值而得到的；以及第三步骤，根据在用上述第二步骤判断的方向存在的上述内插对象的像素的周围像素信息，对该内插对象的像素进行内插处理。

本发明还涉及一种摄像装置，包括具有规定颜色编码的滤波器的固体摄像装置、以及用于处理上述固体摄像装置的输出信号的图像处理装置，上述图像处理装置包括：相关值算出单元，对于上述固体摄像装置上的内插对象的像素，算出表示图像的相关程度的多个相关值；判断单元，通过将在上述相关值算出单元中算出的上述多个相关值与相关线比较，从而判断应该内插的方向，其中，上述相关线是对于不同的方向算出最低两个模式的相关值、并相对于各种角度的直线绘出该最低两个模式的相关值而得到的；内插处理单元，根据在通过上述判断单元判断的方向上存在的上述内插对象的像素的周围像素信息，对该内插对象的像素进行内插处理。

根据本发明，可提供卓越的图像处理装置和图像处理方法、摄像装置、以及计算机程序，对进行颜色编码后的RGB图像，以更高的精度进行滤色器排列内插，以获得更高的亮度分辨率。

根据本发明，尤其是，对于各像素在水平方向和垂直方向上等间隔地排列成正方格状的像素排列，对于进行了颜色编码的图像信号，可高精度地进行用于算出亮度成分的主要成分的滤色器排列内插，其中，颜色编码使用了在算出亮度成分之后成为主要成分的颜色成分被配置成包围其他颜色成分的各成分的周围的滤色器。

另外，根据本发明的图像处理装置，对作为内插对象的像素，可对全方向(360度)判断相关的方向，所以，可以根据该判断的方向进行适当的内插处理。

本发明的其他目的、保护范围和优势可根据后述本发明的具体实施方式和附图进行更详细的说明，从而了解本发明。

附图说明

图1是表示采用本发明所涉及的图像处理装置或图像处理方法的摄像装置的构成例框图；

图2是在拜耳(Bayer)排列中只抽出G的像素排列的示意图；

图3是分辨率图表的示意图；

图4是带通滤波器的频率特性的示意图；

图5是拜耳排列中的G分辨率和RB分辨率的临界分辨率示意图；

图6是本发明的第一实施例涉及的作为内插处理对象的颜色编码例的示意图；

图7是颜色编码例中的G分辨率和RB分辨率的临界分辨率的示意图；

图8是在颜色编码例中的只抽出G的像素排列的示意图；

图9是H方向、V方向、NH方向及NV方向的关系的示意图；

图10是表示本发明的第一实施例涉及的内插处理的步骤的流程图；

图11是HV方向的带通滤波器的频率特性的示意图；

图12是NH、NV方向的带通滤波器的频率特性的示意图；

图13是分辨率图表的示意图；

图14是表示频率图表中各点、及其相关值的关系的相关线图；

图15是相关值和内插值的关系的示意图；

图16是表示第一实施例涉及的、进行内插处理的内插处理电路结构的一例框图；

图17是本发明的第二实施例涉及的作为内插处理对象的颜色编码例的示意图；

图18是通过正方格子表现颜色编码例的图；

图19是第二实施例涉及的、进行内插处理的内插处理电路结构的一例框图；

图20是前级内插处理电路的内插处理结果的示意图；

图21是后级内插处理电路的内插处理结果的示意图；

图22是拜耳排列、颜色编码1、颜色编码2中的空间分辨率特性的示意图；

图23是表示第二实施例涉及的、进行内插处理的内插处理电路的变形例的框图；

图24是拜耳排列的颜色编码的示意图；

图25是对进行颜色编码的图像进行去掉马赛克处理的状态的示意图；

图26是计算出分别以插值像素X的周围四个像素为中心的HV方向的相关值的状态的示意图；

图27是作为可信赖的相关值而选择S_H_G4和S_H_G13的示意图；

图28是计算出以内插像素X为中心的HV方向的相关值的示意图；

图29是计算出分别以插值像素X的周围四个像素为中心的NH以及NV方向的相关值的示意图；

图30是作为可信赖的相关值而选择S_NH_G5和S_NH_G9的示意图；

图31是计算出以内插像素X为中心的NH及NV方向的相关值的示意图；以及

图32是分别绘制由从S_H(图14中的相关线(A))中减去0.5后的绝对值形成的相关线和由从S_NH(图14中的相关线(B))中减去0.5后的绝对值形成的相关线的相关线图。

附图标记

11摄像透镜

12摄像器件

14照相机信号处理电路

21光学系统校正电路

22WB(白平衡)电路

23、23A、23B、23B′内插处理电路Interpolation processors

24伽玛校正电路

25Y(亮度)信号处理电路

26C(色度)信号处理电路

27频带限制LPF(低通滤波器)

28间隔剔除的处理部

31～34、37～40相关值计算电路

35、41选择电路

36、42平均值计算电路

43比较电路

44判断电路

45内插电路

具体实施方式

下面，参照附图对本发明的实施例进行详细说明。

图1中示出了采用本发明所涉及的图像处理装置或图像处理方法的摄像装置的构成例。

在此所说的摄像装置包括：照相机模块，具有作为摄像器件的固体摄像装置、在该固体摄像装置的摄像面(受光面)上使被摄体的图像光成像的光学系统、以及该固体摄像装置的信号处理电路；以及安装有该照相机模块的数码相机和摄像机等照相机装置、便携式电话等电子设备。

在图1中，来自被摄体(未图示)的图像光通过光学系统、例如摄像透镜11在摄像器件12的摄像面上成像。作为摄像器件12使用固体摄像装置，该固体摄像装置将包含光电转换元件的多个像素配置成二维成矩阵状，并将滤色器配置在像素的表面上，该滤色器包含在形成亮度成分之后成为主要成分的颜色成分和其他颜色成分。

作为具有滤色器的固体摄像装置，可以是以CCD(Charge CoupledDevice：电荷耦合装置)为代表的电荷传送型固体摄像装置、以MOS(MetalOxide Semiconductor：金属氧化型半导体)为代表的X-Y地址型固体摄像装置等中的任一种。

而且，在下面的说明中，在滤色器中，作为在形成亮度成分之后成为主要成分的颜色成分，例如列举了绿色(G)，作为其他颜色成分，例如列举了红色(R)、蓝色(B)。但是，本发明的主旨并不只限于这些颜色成分的组合，也可以使用例如白色、青色、黄色等作为形成Y成分之后成为主要成分的颜色成分，使用例如品红色、青色、黄色等作为其他颜色成分。

在摄像器件12中，入射的图像光中仅各颜色成分的光通过滤色器并入射到各像素。入射到各像素的光通过光电二极管等光电转换元件进行光电转换，然后，作为模拟图像信号从各像素被读出，并在A/D转换器13中转换成数字信号后，将其输入给作为本发明所涉及的图像处理装置的照相机信号处理电路14。

照相机信号处理电路14包括光学系统校正电路21、WB(白平衡)电路22、内插处理电路23、伽玛校正电路24、Y(亮度)信号处理电路25、C(色度)信号处理电路26、频带限制LPF(低通滤波器)27、间隔剔除处理部28等。

光学系统校正电路21用于对摄像器件12和光学系统进行如下校正：使黑色电平与输入到照相机信号处理电路14的数字图像信号一致的数字钳位(digital clamp)、校正摄像器件12的缺陷的缺陷校正、以及校正摄像透镜11的周边光量落差的“黑点”校正等。

WB电路22对经过光学系统校正电路21后的图像信号进行调整白平衡的处理，对于白色被摄体，使RGB相同。内插处理电路23通过内插形成空间相位不同的像素，即、由相位在空间上分别错开的RGB信号形成三个平面(空间位置相同的RGB信号)。该内插处理电路23中的具体的内插处理为本发明的特征，将在后面对其进行详细说明。

伽玛校正电路24对相同空间位置的RGB信号进行伽玛校正，然后提供给Y信号处理电路25及C信号处理电路26。伽玛校正是这样的一种处理：为了正确地表现被摄体的颜色灰度，对从WB电路输出的R、G、B的颜色信号分别乘以规定的增益，以使包括摄像器件12及后面的影像再生单元等的整个系统的光电转换特性为1。

Y信号处理电路25通过上述算式(1)形成亮度(Y)信号，而且，C信号处理电路26通过上述算式(2)及(3)形成色差信号Cr(R-Y)、Cb(B-Y)。

频带限制LPF 27是截止频率为采样频率fs的1/8的滤波器，对于色差信号Cr及Cb，使通带从(1/2)fs降到(1/8)fs。这是调整为TV信号格式的输出，在不进行频带限制就输出的情况下，大于等于1/8fs的频率信号则作为伪颜色信号而输出。间隔剔除处理部28用于进行色差信号Cr、Cb的采样的间隔剔除。

在此，所要指出的是，相对于亮度(Y)信号，颜色(C)信号(色差信号Cr、Cb)仅需要小于等于1/4的频带。这是因为，作为人眼的特性，具有对亮度可以识别到高频率、但是对颜色则难以识别高频率的性质(如上所述)，TV信号的格式也是这样来确定。

实际上，当在输出图像上观察Y∶Cr∶Cb＝4∶4∶4(Y和C的输出通带相同)的情况和Y∶Cr∶Cb＝4∶1∶1的情况的差异时，对于除特殊的被摄体例如红色、蓝色的点光源以外的普通被摄体，难以辨别其差别。即可知，C信号通过具有Y信号的1/4的频带而获得足够的分辨率，以便以TV信号格式来确定。

在此，对作为本发明区别部分的内插处理电路23中的内插处理进行说明。

如上所述，内插处理是滤色器排列内插，即、通过内插生成由于间隔地排列滤色器而在像素中欠缺的颜色成分的信号，其中，该内插使用了其周围的像素、即空间相位不同的像素的信号，该内插处理也被称为去掉马赛克。为了获得分辨率高的图像，该内插处理是一种非常重要的处理。这是因为，当不能通过内插处理顺利地进行内插时，则生成伪信号，成为分辨率降低和产生伪色彩的原因。而且，若无法准确地内插成为亮度信号的主要成分的G成分，则会导致亮度信号的分辨率降低。

作为用于实现高分辨率的内插处理，一直以来都是进行采用相关处理的内插处理。在此所说的“相关处理”是指这样的的处理：对于作为内插对象的像素，通过采用相关高的方向上的像素的信息进行内插。

例如，以图3所示的分辨率图构成的输入图像为例，考虑像素的内插处理。分辨率图是中心部分为低频率的信号、且随着中心的距离增加而成为高频率的信号的示图。在分辨率图中，即使是相同频率的信号也具有各种方向，并通过将分辨率图中的信号输入到信号处理电路，可以分析对各种信号适用何种处理。在同一图中，如纵轴上的A点所示，当为横线的被摄体时，在纵向上，在图像信号中观察到波形，另一方面，因为横向的图像信号的相关高，所以使用横向的像素进行内插。另外，如横轴上的C点所示，当为纵线的被摄体时，在横向上观察到波形，另一方面，因为纵向的图像信号的相关高，所以使用纵向的像素进行内插。这样，通过使用相关高的方向上的周围像素进行内插处理，从而可实现更高的分辨率。

如图2所示，在将G排列为方格状的Bayer排列那样的颜色编码中，采用了相关处理的内插处理对于在生成G不存在的空间位置上的像素、例如图中的像素X的空间位置上的G信号时的处理是有效的。当然，不只是G信号，通常对其他的R信号以及B信号也进行内插处理。在本说明书中，关于亮度信号，重点对用于实现高分辨率的G信号的内插处理进行了说明，但是，对于R和B、或者其他颜色例如品红、黄色也可以适用与G同样的内插处理。

内插处理是通过采用了空间相位不同的周围像素的信号生成用于内插的像素的信号的处理，所以，内插处理的顺序也依赖于周围像素的布局、即颜色编码。首先，说明Bayer排列的内插处理。从图2可知，Bayer排列的G被配置为方格状，对于G信号的缺漏部分(以下称为“内插像素”)进行内插处理。

以空间位置(内插像素)X为中心，在水平和垂直方向上分别进行带通滤波器的滤波，从而算出从水平和垂直方向上观察时是否存在具有何种程度的振幅的图像信号(即、水平和垂直的各方向上的像素信号的波形)。如图4所示，带通滤波器是在1/4fs(但是，fs为采样频率)上具有峰值、且对于直至1/2fs临界分辨率附近的信号仍输出值的滤波器。当带通滤波器的输出大时，在该方向上存在振幅大的信号。相反，当带通滤波器的输出小时，则在该方向上信号的变动小、即存在低频率的信号。例如，可以使用以微分滤波器为代表的带通滤波器，但是，只要是具有用于去除DC成分的频带限制特性的滤波器即可。

在此，将以空间位置(内插像素)X为中心、在水平方向上配置的带通滤波器的滤波输出设为Bpf_H，同样将在垂直方向上配置的带通滤波器的带通输出设为Bpf_V，则这些滤波输出分别用下式表示。

Bpf_H＝-(G3+G8)+2(G4+G9)-(G5+G10)

Bpf_V＝-(G1+G2)+2(G6+G7)-(G11+G12)

对于图3中的各点A～C，观察这两个带通滤波器的输出Bpf_H和Bpf_V。对于A点，在水平方向上没有图像信号的振幅，所以Bpf_H＝0；对于B点，因为在倾斜45度的方向上具有图像信号的振幅，所以Bpf_H＝Bpf_V；对于C点，在垂直方向上没有图像信号的振幅，所以Bpf_V＝0。

接着，通过使用该带通滤波器的输出Bpf_H和Bpf_V，可由下式算出水平和垂直方向上的各相关值S_H和S_V。

S_H＝Bpf_V/(Bpf_H+Bpf_V)

S_V＝1-S_H

这些水平及垂直方向相关值S_H和S_V表示水平和垂直方向上的相邻像素之间图像信号的相关强度。在此所说的“相关”是指信号的变动比。如上式所示，相关值S_H和S_V用分别位于水平和垂直方向上的带通滤波器的滤波输出Bpf_H和Bpf_V的比例表示。当信号的变动比大时，则相关变低，当信号的变动比小时，则相关变高。

在图3所示的例子中，对于A点，S_H＝1、S_V＝0，在水平方向上可以看作是直线成分(没有变动，或者为平坦)，所以信号的变动比小，因此在水平方向上相关高，而在垂直方向上不相关。并且，通过用相关值大、即相关高的方向上的像素进行内插，从而提高内插精度。对于G信号，只要实现了精度高的内插，则以G作为主要成分的亮度信号的分辨率也随之提高。

另外，对于B点，S_H＝S_V＝0.5，表示水平、垂直方向上的相关相同，即水平、垂直方向上都具有相同的像素变化。而且，对于C点，S_H＝0、S_V＝1，表示垂直方向上的相关高。

接着，按照下式，使用上下及左右的周围像素G信号，算出内插像素X的内插值X。

X＝{(G6+G7)×S_H+(G4+G9)×S_V}/2

从上式可知，对于内插像素X，对于相关高的方向，通过乘以更大的权数进行内插处理。例如，对于A点，为X＝(G6+G7)/2，使用水平方向上的像素进行内插。另外，对于B点，为X＝(G6+G7+G4+G9)/4，通过使用水平、垂直方向上的像素，用均衡的加权进行内插。另外，对于C点，为X＝(G4+G9)/2，使用垂直方向上的像素进行内插。

这样，希望充分理解的是：通过使用相关处理对图像信号的振幅变化少的方向、即相关高的方向上的像素成分乘以权数(进行加权)并进行内插，从而可实现高分辨率。

图5表示Bayer排列中的G分辨率和RB分辨率的各自的临界分辨率。从该图中可知：G分辨率在水平、垂直方向上为1/2fs，在倾斜45度方向上为尤其是在倾斜45度方向上，G的分辨率和RB的分辨率相同。

从用于进行颜色空间变换的上述式(1)～(3)可知，G是形成亮度信号之后的主要成分，较大程度地依赖于亮度分辨率，RB较大程度地依赖于色差信号的分辨率。因此，提高G的分辨率成为生成高分辨率图像的重点。另外，人的眼睛具有如下性质，即可以对亮度识别到高频率，但对颜色难以识别高频率，所以，Bayer排列的颜色分辨率和亮度分辨率之间的平衡与人的视觉灵敏度特性不匹配。

鉴于该点，本申请人在已经转让的日本特愿2005-107037号的说明书中提出了一种颜色编码(上述)，即、将在形成亮度成分之后成为主成分的G成分配置成包围RB成分的各成分周围。根据该颜色编码，对于Bayer排列，增加G，以取代使RB的像素数为1/2，因此，虽然牺牲一些颜色分辨率，但可以使亮度分辨率提高到大约两倍。

如上所述，本发明人认为：用G成分包围RB成分的颜色编码比Bayer排列的颜色编码更加适合人的视觉灵敏度特性。而且，尤其是在基于Y∶Cr∶Cb＝4∶1∶1的输出格式的信号处理系统、例如摄像机等信号处理系统中，可以说优选上述频带的颜色编码。但是，为了在高分辨率上得到以G为主要成分的亮度信号，与Bayer排列的颜色编码的情况相比，则要求更加高级的内插处理。

以下，作为将在形成亮度成分之后成为主要成分的、例如G配置成包围R、B各成分的周围的颜色编码，列举了两个颜色编码，作为实施例1和实施例2，对这两个颜色编码例子的每一例的内插处理进行说明。

[实施例1]

图6表示在本发明的实施例1中作为内插处理对象的颜色编码例1。该图所示的颜色编码例1的构成如下：为了使像素沿水平方向(沿着像素行的行方向)和垂直方向(沿着像素列的列方向)为等间隔(像素间距)d，相对于配置为正方格状的像素排列，第一行以水平方向的四个像素为单位重复排列RGBG，第二行仅排列G，第三行以水平方向的四个像素为单位重复排列BGRG，第四行仅排列G，以下以这四行为单位重复排列。从该图中可知，在形成亮度(Y)成分之后成为主要成分的颜色成分(在本例中为G)和其他颜色成分(在本例中为R和B)被配置成用G包围R和B的各成分的周围，另外，R和B在水平、垂直方向上以4d的间隔进行配置。

将像素间的抽样率设为与像素间距对应的d，如果在水平和垂直方向上考虑抽样率时，在水平和垂直方向上，每隔1列(在实施例1中为奇数列)及1行(在后述实施例2中为奇数行)配置R和B，使R和B的抽样率为相对于G为1/2速率。即，G的抽样率为d，R和B的抽样率为2d，在G与R及B之间，在水平和垂直方向上具有两倍的分辨率之差。另外，在倾斜45度方向上考虑抽样率时，G的抽样率为

R及B的抽样率为

在此，对空间频率特性进行研究。关于水平和垂直方向，G的抽样率为d，所以，根据抽样定理，直到(1/2)fs的频率，都可以捕获G信号。另外，关于倾斜45度的方向，G的抽样率为

所以根据抽样定理，直到

都可以捕获G信号。

同样，还对R和B的空间频率特性进行研究。但是，R和B的像素排列的间隔相同，可同样地进行考虑，所以，以下仅对R进行描述。关于水平和垂直方向，R的抽样率为2d，所以根据抽样定理，直到1/4fs的频率都可以捕获R信号。另外，关于倾斜45度的方向，R的抽样率为

所以，根据抽样定理，可以捕获直到

的频率的信号。

图7表示图6所示的颜色编码例1中的空间频率特性。对于水平和垂直方向，G直到(1/2)fs的频率都可以捕获信号；对于倾斜45度的方向，G可以捕获直到(1/2)fs的信号。另外，在水平和垂直方向上，R和B直到(1/4)fs的频率都可以捕获信号，在倾斜45度的方向上，可以捕获直到

频率的信号。即，从图5和图7的对比可明确得知，通过采用图6所示的颜色编码例1，对于Bayer排列，G临界分辨率得到大幅度提高，所以，以G信号为主要成分的亮度信号的分辨率大致为Bayer排列的两倍。

接着，下面对图6所示的颜色编码例1中的补正处理进行详细说明。图8表示只抽取出图6所示的颜色编码例1的G的像素排列。

如图所示，在包围内插像素X的水平、垂直、倾斜方向上的共八个周围像素、即像素G4、G5、G6、G8、G9、G11、G12、G13中存在G信号，使用这些信号进行内插像素X的G信号的内插处理。在Bayer排列的颜色编码中，仅在水平和垂直方向上存在G像素。与此相对，在图6所示的颜色编码例1中，在水平、垂直以及倾斜方向上存在八个像素，当观察内插像素X时，可知G像素配置成围棋盘的眼。这在实现高分辨率之后也非常重要。

在本实施例1中，内插处理电路23不但在水平和垂直方向上，还在倾斜方向上求出内插像素X和周围像素之间的相关关系，由水平和垂直方向上的相关和倾斜方向上的相关的关系，判断实际上使用哪个周围像素进行内插合适，并进行内插处理。

图10以流程图的形式表示在内插处理电路23中实施的内插处理的顺序。以下如图9所示，将水平方向记为H方向，将垂直方向记为V方向，将相对H方向只向右旋转45度的轴向记为NH方向，将相对H方向只向左旋转45度的轴向记为NV方向。以下参照图10对内插处理进行详细说明。

将图8的像素X设为内插像素(成为内插对象的像素)(步骤S11)，首先，对该内插像素X的各周围像素算出HV方向的相关值(步骤S12)。具体而言，以内插像素X的左斜上方的像素G4为中心，在HV方向上进行带通滤波器的滤波，从而算出HV方向的相关值。图11表示该HV方向的带通滤波器的频率特性(滤波器特性)。

在此，若将带通滤波器的水平方向的输出设为Bpf_H_G4、将垂直方向的输出设为Bpf_V_G4，则得到用下式表示的滤波结果。

Bpf_H_G4＝-G3+2G4-G5

Bpf_V_G4＝-G1+2G4-G8

接着，按照下式算出相对像素G4的H方向的相关值S_H_G4。H方向的相关值S_H_G4表示滤波器特性相同的带通滤波器的水平和垂直方向的滤波器输出Bpf_H和Bpf_V的比例。

S_H_G4＝Bpf_V/(Bpf_H+Bpf_V)

V方向的相关值S_V_G4是S_V_G4＝1-S_H_G4，只要算出H方向的相关值S_H_G4，即可容易地算出，所以不必特别算出。即，此时，算出了以像素G4为中心的HV方向的相关值S_H_G4和S_V_G4。例如，当H方向的相关值S_H_G4为1.0、V方向的相关值S_V_G4为0.0时，如果用V方向的相关值S_V_G4内插像素X，则可得到良好的内插结果。

与算出以内插像素X的左斜上方的像素G4为中心的H方向的相关值S_H_G4同样，也可以算出分别以右斜上方的像素G6、左斜下方的像素G11、右斜下方的像素G13为中心的各个H方向的相关值S_H_G6、S_H_G11、S_H_G13。

利用此前的处理、即在步骤S12中的处理，可以分别算出以包围内插像素X的四点像素G4、G6、G11、G13的各像素为中心的HV方向的相关值S_H_G4、S_H_G6、S_H_G11、S_H_G13(参照图26)。

接着，从算出的四个相关值S_H_G4、S_H_G6、S_H_G11、S_H_G13中只选择两个适于代替内插像素X的相关值。具体而言说，作为内插像素X的相关值，选择四个相关值中相关最大、即相关值的可靠性高的两个相关值(步骤S13)。

从图26中也可得知，在步骤S12中算出的各相关值S_H_G4、S_H_G6、S_H_G11、S_H_G13分别是以周围四个像素G4、G6、G11、G13为中心的HV方向的相关值，并不是以期望的内插像素X为中心的HV方向的相关值S_H。当出现不能装入以内插像素X为中心的带通滤波器这种组装上的问题等时，则不能直接算出内插像素X的相关值。因此，根据对于相邻像素相关值大致相等的想法，步骤S13的主旨就是用通过周围像素求得的可靠性高的HV方向的相关值来代替内插像素X的HV方向的相关值S_V。

作为用于选择相关值的可靠度，可以使用在计算四个相关值的过程中算出的带通过滤器的输出值来表示。例如，由下式算出像素G4的相关可靠值Bpf_Max。

Bpf_Max＝|Bpf_H_G4|+|Bpf_V_G4|

对其他三个点的周围像素G6、G11、G13也同样进行该相关可靠值Bpf_Max的计算。带通过滤器的输出大是指：在其像素周围存在振幅大的信号，信号不是噪音，而是由图像引起的。相反，当带通滤波器的输出小时，信号被噪音掩盖，相关的可靠性降低，难以信赖相关值。即，当由水平和垂直正交的两个方向的带通滤波器的输出绝对值之和算出的相关可靠值Bpf_Max大时，可以推定为利用这些带通滤波器的输出算出的相关值的可靠性高。

并且，对用四个点的周围像素求出的各相关可靠值Bpf_Max的大小进行比较，从大的中选择两个点的周围像素，作为取代以内插像素X为中心的HV方向的相关值，选择以该两个点的周围像素为中心算出的HV方向的相关值。图27表示作为可以信赖的相关值，选择S_H_G4和S_H_G13的情况。

此外，在相关的可靠度计算中，也可以选择|Bpf_H-Bpf_V|的结果、即滤波器输出的差分值大的，而不是相关可靠值、即Bpf_Max、滤波器输出的合计值。其目的在于：因为可以说具有带通滤波器的H方向的输出Bpf_H和V方向的输出Bpf_V之差大、即水平方向和垂直方向上强的相关，所以采用强相关部分的相关值。

接下来，将采用的前两位的相关值平均，形成一个相关值(步骤S14)。平均后的相关值作为在以下处理步骤中以内插像素X为中心的HV方向的相关值而使用。例如，当G4和G6两个位置中相关值的可靠度高而被选择时，对以这两点为中心的HV方向的相关值进行平均，并可作为关于内插像素X的HV方向的相关值(参照图28)。

此时，通过选择相关可靠值Bpf_Max为最大的一点的周围像素的相关值，也可以从四个相关值中选择一个水平和垂直方向的相关值。但是，通过采用前两位的相关值的平均值，可得到更好的结果。另外，也可以考虑从四个相关值中采用前三位的相关值、并取其平均值的方法。

另外，当装入以内插像素X为中心的带通滤波器时，则可以直接算出内插像素X的相关值，而不是可靠度高的周围像素的相关值的平均，并简化步骤S12～S14的处理。

另外，与步骤S12～S14中内插像素X的HV方向的相关值计算的处理并行执行步骤S15～S17中内插像素X的NH和NV方向的相关值计算的处理。在此所说的NH方向是相对H方向只右转45度的轴方向，NV方向是相对H方向只左转45度的轴方向(前述)。

首先，对内插像素X的各周围像素算出NH和NV方向的相关值(步骤S15)。具体而言，以内插像素X上方的像素G5为中心，通过在倾斜方向上进行带通滤波器的滤波，从而算出NH和NV方向的相关值。图12表示NH和NV方向的带通滤波器的频率特性(滤波器特性)。

在此，若将带通滤波器的NH方向的输出作为Bpf_NH_G5，将NV方向的输出作为Bpf_NV_G5，则得到用下式表示的滤波结果。

Bpf_NH_G5＝-G1+2G5-G9

Bpf_NV_G5＝-G2+2G5-G8

接着，由下式算出对于像素G5的NH方向的相关值S_NH_G5。NH方向的相关值S_NH_G5表示滤波器特性相同的带通滤波器的NH和NV方向的滤波器输出Bpf_NH和Bpf_NV的比例。

S_NH_G5＝Bpf_NV_G5/(Bpf_NH_G5+Bpf_NV_G5)

对于NV方向的相关值S_NV_G5，因为S_NV_G5＝1-S_NH_G5，且只要算出NH方向的相关值S_NH_G5即可容易地算出，所以，在此没有必要特别算出。即，此时已算出以G5为中心的NH和NV方向的相关值S_NH_G5和S_NV_G5。例如，当NH方向的相关值S_NH_G5为1.0、NV方向的相关值S_NV_G5为0.0时，若用NV方向的相关值S_NV_G5内插像素X，则得到良好的内插结果。

与算出以内插像素X上方的像素G5为中心的NH方向的相关值S_NH_G5的情况同样，也同样算出分别以左侧的像素G8、右侧的像素G9、下方的像素G12为中心的各个NH方向上的相关值S_NH_G8、S_NH_G9、S_NH_G12。

通过至此的处理、即步骤S15的处理，分别算出以分别位于内插像素X的上、左、右、下方的四点的各个像素G5、G8、G9、G12为中心的NH方向上的相关值S_NH_G5、S_NH_G8、S_NH_G9、S_NH_G12(参照图29)。

接下来，从算出的四个相关值S_NH_G5、S_NH_G8、S_NH_G9、S_NH_G12中只选择两个代替内插像素X的相关值。具体而言说，作为内插像素X的相关值，在四个相关值中从可靠度高的相关值中采用两个相关值(步骤S16)。

从图29还可得知，在步骤S15中算出的各相关值S_NH_G5、S_NH_G8、S_NH_G9、S_NH_G12分别是以周围的四个像素G5、G8、G9、G12为中心的HV方向的相关值，不是以期望的内插像素X为中心的相关值。当出现不能组入以内插像素X为中心的带通滤波器这种组装上的问题时，则不能直接算出内插像素X中的相关值。因此，步骤S16的主旨是，基于在相邻像素中相关值大致相等的思考方式，通过用周围像素求得的可靠度高的NH方向的相关值代替内插像素X的NH方向的相关值。

使用在计算四个相关值的过程中算出的带通滤波器的输出值来表示用于选择相关值的可靠度。例如，由下式算出像素G5的相关可靠值Bpf_Max。而且，对其他三点的周围像素G8、G9、G12也同样进行相关可靠值Bpf_Max的计算。当由NH和NV正交的两个方向的带通滤波器的输出绝对值之和形成的相关可靠值Bpf_Max大时，可以推定为从这些带通滤波器的输出算出的相关值的可靠性高(同上)。

Bpf_Max＝|Bpf_NH_G5|+|Bpf_NV_G5|

接着，将所采用的前两位的相关值进行平均，作为一个相关值(步骤S17)。图30表示作为可信赖的相关值，选择S_NH_G5和S_NH_G9的情况。

对于平均后的相关值，在以下处理步骤中，作为以内插像素X为中心的NH和NV方向的相关值进行处理。例如，当G5和G9两个位置上的相关值的可靠度如果高而被选择时，将以这两个点为中心的HV方向的相关值进行平均，并被看作为以内插像素X为中心的NH和NV方向的相关值(参照图31)。

此外，当装入以内插像素X为中心的带通滤波器时，可以直接算出内插像素X中的相关值，而不是将可靠度高的周围像素的相关值平均，并简化步骤S15～S17中的处理(同上)。

利用至此的处理，可求出关于内插像素X的H方向的相关值S_H和NV方向的相关值S_NV(参照图28和图31)。

接着，根据关于内插像素X的H方向和NH方向的各相关值S_H和S_NH，求出内插像素X与哪个方向的周围像素之间强相关、即相关的方向性(步骤S18)。

在此，以图13所示的分辨率图构成的输入图像为例，对于内插像素X，考虑分别在H方向和NH方向上算出的相关值S_H和S_NH、以及内插像素X和包围内插像素X的周围像素的相关程度。分辨率图是中心部分为低频信号、随着离开中心的距离越大而成为高频信号的示图。在分辨率图中，即使是相同频率的信号也具有各种方向，并通过将分辨率图中的信号输入给信号处理电路，从而可以对各种信号分析何种处理适用。

例如，将图13的(a)～(e)点的信号作为内插像素X输入，当执行上述步骤S12～S17的处理时，则两个相关值S_H和S_NH在(a)点上为S_H＝1.0(S_V＝0.0)，S_NH＝0.5(S_NV＝0.5)。由此可知：内插像素X在HV方向上与H方向上的周围像素具有强相关。还可知道，对于NH和NV方向，在NH和NV方向上没有相同关联，即内插像素X在倾斜方向上与周围像素之间没有关联。

还可知道，在(b)点上，S_H＝0.5(S_V＝0.5)，S_NH＝1.0(S_NV＝0.0)。即，内插像素X在HV方向上与周围像素不相关，但在NH和NV方向上与NH方向的周围像素具有强相关。

另外，在(c)点上，S_H＝0.0(S_V＝1.0)，S_NH＝0.5(S_NV＝0.5)。即，内插像素X在HV方向上与V方向的周围像素有强相关。还可知道，在NH和NV方向上，内插像素X与周围像素不相关。

还可知道，在(d)点上，S_H＝0.5(S_V＝0.5)，S_NH＝0.0(S_NV＝1.0)。即，内插像素X在HV方向上与周围像素无关，但在NH和NV方向上与NV方向的周围像素具有强相关。

另外，可知道，在(e)点上，S_H＝1.0(S_V＝0.0)，S_NH＝0.5(S_NV＝0.5)。即，与(a)点相同，内插像素X在HV方向上与H方向的周围像素具有强相关，但在NH和NV方向上与周围像素无相关。

另外，图14表示频率图，该频率图表示将图13所示的分辨率图作为输入图像时内插像素的空间相位与H和V方向、以及NH和NV方向的周围像素之间的相关值的关系。以下将表示内插像素和HV方向、以及NH和NV方向的周围像素的相关值的关系的该图中的直线称为“相关线”。利用以下方法可以得到该相关线：在不同方向上只算出最低两个模式(pattern)的相关值，对于各种角度的直线，绘出该最低两个模式的相关值。在图14的相关线图中，单点划线(A)相当于HV方向的相关值S_H，双点划线(B)相当于NH和NV方向的相关值S_NH。相关线(A)和(B)的相位只错开45度。

在仅使用HV方向的相关值S_H的情况下，当S_H接近于0或1时，可以确定内插像素X在H方向或V方向上是强相关。但是，当S_H取0.5附近的值时，具有在分辨率图上内插像素X存在于(a)点和(c)点的可能性，仅仅参照相关线(A)，不能确定内插像素X具有强相关的方向性。对此，通过参照绘出相关值S_NH的相关线(B)，即使S_H取0.5附近的值时，也可以以高分辨率确定内插像素X在倾斜的哪个方向上具有强相关。其中，相关值S_NH是由相对H方向只右转45度的NH方向、相对H方向只左转45度的NV方向、即相对水平和垂直轴只旋转45度的正交的两个带通滤波器的输出算出的。即，通过比较S_H和S_NH的相关线，可以在全方向(360度)上判断内插像素X与周围像素具有强相关的方向。另外，在本实施例中，作为一例，采用了作为规定角度只旋转45度的正交的两个带通滤波器，但是，即使是40度～50度等HV方向和NH/NV方向形成的角度为不同的角度，只要起到与上述同样的效果即可。

将图13所示的分辨率图作为输入图像时，在步骤S18中，对于图14所示的频率图上的内插像素X位于的空间相位，比较用单点划线(A)和双点划线(B)表示的相关值，从而可以求出内插像素与HV方向、以及NH和NV方向的周围像素分别具有何种程度的相关、即相关强的方向性。

在步骤S18中，在知道内插像素X具有的相关的方向性时，接着判断是否具有在步骤S12～S14和步骤S15～S17中求得的相关值S_H和S_NH的可靠度(步骤S19)。

如上所述，在步骤S12～S14以及S15～S17中，不直接算出以内插像素X为中心的各方向的相关值，而是将在以包围内插像素X的各周围像素为中心算出的H方向和NH方向的相关值中可靠度高的相关值进行平均，并作为内插像素X的相关值而代替。此时，相关的可靠度核对尤其重要。

在此，对核对相关的可靠度的具体方法进行说明。将图13所示的分辨率图作为输入图像时的频率图、即内插像素和HV方向、以及NH和NV方向的周围像素之间的关系如图14所示。将2组正交的带通滤波器分别配置在水平垂直方向、以及相对水平垂直方向只旋转45度的方向上，由各组带通滤波器的输出可算出H方向的相关值S_H和NH方向的相关值S_NH。S_H和S_NH各自的相关线(A)和(B)的相位只错开45度。

另外，图32分别绘出由从S_H(图14中的相关线(B))中减去0.5后的绝对值而形成的相关线、由从S_NH(图14中的相关线(B))中减去0.5后的绝对值而形成的相关线。从该图可知，相关值S_H和S_NH只要是图14所示的相关线上的理想值、即可靠度高的相关值，则从S_H中减去0.5后的绝对值和从S_NH中减去0.5后的绝对值之和为接近于0.5的值。因此，将在步骤S12～S14和步骤S15～S17中求得的相关值S_H和S_NH代入由以下不等式构成的条件式中，根据是否满足条件，可判断相关值S_H和S_NH的可靠度。但是，TH1和TH2为接近于满足TH1＜TH2的关系的值(当使TH1和TH2接近于0.5时，则判断条件更严格)。

TH1＜|S_H-0.5|+|S_NH-0.5|＜TH2

在步骤S19中，当判断为有相关的可靠度时，将用于内插内插像素X的像素从在步骤S18中判断为相关强的方向的周围像素中取出，并进行像素内插(步骤S20)。

图15示出内插像素X具有的相关的方向性和用于内插的周围像素的关系。例如，在步骤S18中，当判断为内插像素X具有的相关的方向性在(a)点(即，频率图上的90度)时，H方向的相关强，所以用X＝(G8+G9)/2进行内插像素X的G信号的内插。另外，在步骤S18中，当内插像素X的相关的方向性在(b)点(即，频率图上的45度)时，NH方向的相关强，所以用X＝(G4+G13)/2进行内插像素X的G信号的内插。内插像素X的相关的方向性为(c)(d)(e)点时也是同样。

另外，如果为算出的(f)点、即内插像素X的相关的方向性为(c)点和(d)点之间的相关值时，则表示

且

所以，采用该方向的像素，并用X＝(G1+G16)/2来内插。

另外，如(b)点和(f)点的中间点等，内插像素X的相关的方向性恰好不是在表示内插像素X的相关的方向性的直线上的周围像素时，则进行对(b)点的内插值和(f)点的内插值加权后内插、即基于相关值和内插值的关系的线性补正内插。例如，没有恰好在图15中的相当于P点的方向上的周围像素，但是，通过以适用于与该方向相邻的方向性中的两个内插值(G6+G11)/2和(G7+G10)/2进行线性补正的下式算出内插像素X的相关值。但是，a是加权系数。

X＝{(G6+G11)/2}×a+{(G7+G10)/2}×(1-a)

这样，在本实施例1中，不是象现有技术那样仅从HV方向的相关值S_H求取内插像素X的相关的方向性，而是还使用由相对水平和垂直轴只旋转45度后的正交的两个带通滤波器的输出所算出的相关值S_NH。HV方向的相关值S_H恰好为0.5时，仅以S_H不能确定相关的方向性。对此，对于NH和NV方向的相关值S_NH的相关线，相对于S_H，相位只错开45度(参照图14)，所以，还可以参照S_NH用高分辨率确定内插像素X在倾斜的哪个方向上具有强相关。因此，当使用图6所示的滤色器进行颜色编码时，与现有的Bayer排列相比，可以以高精度内插G信号，其结果是可以得到高分辨率的亮度信号。

另一方面，对于在步骤S12～S14和步骤S15～S17中求出的相关值S_H和S_NH，在得不到充分的可靠度时(步骤S19的No)，使用周围像素的平均值进行针对S/N的像素内插(步骤S21)。

两个相关值S_H和S_NH不在图14所示的两个相关线(A)和(B)上时，可以看作不相关。例如，当S_H＝1.0、时，可以说具有相关。但是当S_H＝1.0、

时，因为不在图14中的任意一条相关线(A)和(B)上，所以可以说相关的可靠度低。后者时，无论使用哪个方向的像素进行内插，能够正确地内插的概率低，相反，由于错误的内插而生成伪颜色信号的可能性大。

这样，当判明在步骤S12～S17中算出的相关值S_H和S_NH不在图14所示的两条相关线(A)和(B)上、相关值的可靠度低时，不是采用根据内插像素X具有的相关的方向性而确定的周围像素进行针对分辨率的内插，而是适用针对S/N的内插处理。例如，使用周围四个像素，根据X＝(G5+G8+G9+G12)进行内插像素X的G信号的内插，从而可提高摄像装置的性能。

在上述Bayer排列的内插中，只能根据配置在HV方向上的一组正交的带通滤波器的输出来求出HV方向的相关S_H。因此，不能评价相关的可靠度，即使对例如NH和NV方向，也只能进行与HV方向的情况同样的内插。

对此，在本实施例1中，因为进行用G成分包围RB成分的颜色编码(参照图6)，所以根据配置在相对HV方向只旋转45度的NH和NV方向上的一组正交的带通滤波器的输出，还可以算出NH方向的相关。因此，可以在全方向(360度)上判断内插像素X与周围像素具有强相关的方向，在该内插处理中，可对应倾斜方向的内插。

另外，由图5和图7中分别表示的图像信号的临界分辨率的对比可知，根据本实施例1中的颜色编码，关于G的分辨率，在倾斜45度的方向上，与Bayer排列相比可以获得两倍的分辨率。

另外，在步骤S19中评价相关的可靠度，当相关可以信赖时，由相关的方向进行针对分辨率的内插，但是，当相关不可信赖时，为了进行针对S/N的内插，根据可靠度相应地切换处理方法，所以，可以实现高精度的内插处理。

在图13所示的人工的分辨率图中，基本上在整个区域上，输出较高的相关的可靠度。对此，对于画有一般画中的沙砾路、树木茂盛这样的复杂曲线的被摄体，可引起相关的可靠度降低的情况。此时，只要切换为相应地针对S/N的内插处理即可。

也可以设计制造专用的硬件装置，用于执行根据本实施例一的一系列内插处理，但是，利用例如在计算机上执行规定的计算机程序的所谓软件处理，也可以实现同样的内插处理。

图16表示用于执行根据本实施例1的内插处理的硬件构成的内插处理电路23A的构成例。

G4HV方向相关值算出电路31，以内插像素X的左斜上方的像素G4为中心，相对HV方向进行滤波处理，从而算出HV方向的相关值。例如，可利用具有图11所示的频率特性的带通滤波器构成G4HV方向相关值算出电路31。具体而言，G4HV方向相关值算出电路31通过以下运算式算出相对像素G4的H方向的相关值S_H_G4。

S_H_G4＝Bpf_V/(Bpf_H+Bpf_V)

并且，G4HV方向相关值算出电路31还通过以下运算式算出V方向的相关值S_V_G4。

S_V_G4＝1-S_H_G4

关于包围内插像素X的其他的周围像素G6、G11、G13，各HV方向相关值算出电路32、33、34与G4HV方向相关值算出电路31同样，分别算出以内插像素X的各右斜上方的像素G6、左斜下方的像素G11、右斜下方的像素G13为中心的H方向的相关值S_H_G6、S_H_G11、S_H_G13以及V方向的相关值S_V_G6、S_V_G11、S_V_G13。通过各相关值算出电路31～35，可实现相当于图10所示的流程图的步骤S12的处理。

对于H方向和V方向的各方向，选择电路35分别从四个相关值中选择出适用于内插像素X的相关值。具体而言，选择电路35对在各相关值算出电路31～35中分别算出相关值的过程中算出的带通滤波器的输出值进行比较，作为内插像素X的相关值，采用四个相关值中相关可靠值Bpf_Max大的、即可靠性最高的两个相关值。通过选择电路35，实现相当于图10所示的流程图的步骤S13的处理。

平均算出电路36算出由选择电路35选择的前两位(the higher ordertwo places)的相关值的平均值，作为一个相关值S_H和S_V，从HV各方向输出。利用平均算出电路36实现相当于图10所示的流程图的步骤S14。

G5NH和NV方向相关值算出电路37，以内插像素X上方的像素G5为中心，相对于正交的NH方向和NV方向进行滤波处理，从而算出NH方向和NV方向的相关值。例如，可通过具有图12所示的频率特性的带通滤波器构成G5NH和NV方向相关值算出电路37。具体而言，G5NH和NV方向相关值算出电路37通过以下算式算出相对于像素G5的NH方向的相关值S_NH_G5。

S_NH_G5＝Bpf_NV_G5/(Bpf_NH_G5+Bpf_NV_G5)

并且，G5NH和NV方向相关值算出电路37还通过以下算式算出NV方向的相关值S_NV_G5。

S_NV_G5＝1-S_NH_G5

关于包围内插像素X的其他周围像素G8、G9、G12，各NH和NV方向相关值算出电路38、39、40与G5NH、NV方向相关值算出电路37同样，分别算出以内插像素X左方的像素G8、右方的像素G9、下方的像素G12各像素为中心的NH方向的相关值S_NH_G8、S_NH_G9、S_NH_G12以及NV方向的相关值S_NV_G8、S_NV_G9、S_NV_G12。通过各相关值算出电路37～40，实现了相当于图10所示的流程图的步骤S15的处理。

对于各NH方向和NV方向，选择电路41从四个相关值中选择出适用于内插像素X的相关值。具体而言，选择电路41对在算出四个相关值的过程中算出的带通滤波器的输出值进行比较，作为内插像素X的相关值，采用四个相关值中相关可靠值Bpf_Max最大的、即可靠性最高的两个相关值。通过选择电路41，实现相当于图10所示的流程图的步骤S16的处理。

平均值算出电路42算出由选择电路41选择的上位两个位置的相关值的平均值，作为一个相关值S_NH、S_NV，从各个NH方向和NV方向输出。通过平均值算出电路42，可实现相当于图10所示的流程图的步骤S17的处理。

比较电路43算出内插像素X具有的相关的方向性、即内插像素X在哪个方向上与周围像素的相关强。具体而言，比较电路43将通过平均值算出电路36算出的HV各方向中的一个相关值S_H和S_V、以及用平均值算出电路42算出的NH方向和NV方向的各个相关值S_NH和S_NV与图14所示的相关线图进行比较，从而确定相关的方向性。通过比较电路43，实现相当于图10所示的流程图的步骤S18的处理。

对于比较电路43的算出结果、即相关强的方向性，判断电路44判断是否具有其相关的可靠度。具体而言，当利用平均值算出电路36和42分别算出的两个相关值S_H和S_NH在图14所示的两条相关线(A)和(B)上时，被认为具有相关，但是当这两个相关值S_H和S_NH不在两条相关线(A)和(B)上时，则被认为不相关。判断电路44的判断结果提供给内插电路45。通过判断电路44，可实现相当于图10所示的流程图的步骤S19的处理。

内插电路45由对内插像素X进行针对分辨率的内插处理的第一内插电路451、进行针对S/N的内插处理的第二内插电路452构成，根据从判断电路提供的相关的可靠度，相应地在任意一个内插电路451或452进行内插处理。

第一内插电路451根据由判断电路44提供的相关的可靠度高的判断结果，采用有相关的方向的像素进行内插。用有相关的方向的像素进行的内插处理是针对分辨率的内插处理。通过第一内插电路451，实现相当于图10所示的流程图的步骤S20的处理。

另一方面，第二内插电路452根据由判断电路44提供的相关的可靠度低的判断结果，使用内插像素X的周围像素的平均值进行内插。例如，采用贴近包围内插像素X的周围的四个像素的图像信号，按照下式进行内插像素X的内插。这样，使用内插像素X的周围像素的平均值进行的内插处理是针对S/N的内插处理。通过第二内插电路452，实现相当于图10所示的流程图的步骤S21的处理。

X＝(G5+G8+G9+G12)/4

前面已经描述了由带通滤波器构成各HV方向相关值算出电路31～34以及各NH和NV方向相关值算出电路37～40，但是并不限定于带通滤波器。这些相关值算出电路也可以使用例如微分滤波器等高通滤波器构成，或者通过低通滤波器和使该低通滤波器的输出反转的反相器的组合而构成高通滤波器。

对于图6所示的颜色编码，在形成亮度成分之后成为主成分的G相对于内插像素X被配置在位于水平、垂直、倾斜各方向上的8个周围像素、即像素G4、G5、G6、G8、G9、G11、G12、G13中，与现有的Bayer排列相比，可实现高亮度分辨率。如上所述，根据本实施例1的内插处理，对于具有这种颜色编码用的滤波器的固体摄像装置，通过求出多个相关值并与相关线图比较，可对全方向(360度)判断相关性。即，对于图6所示的颜色编码可以更高精度地对G信号进行内插处理，与现有的Bayer排列相比，可得到高分辨率的亮度信号。

尤其是在本实施例1中，参照图32进行说明，通过比较多个相关值和相关线图，根据相关的可靠性高还是低，适当地切换内插处理。即，当判断为相关的可靠性高时，则使用该判断的方向上的像素信息，进行针对分辨率的内插处理，另外，当判断为相关的可靠性低时，则采用补正像素的周围像素的信息平均值进行针对S/N的内插，从而实现更高分辨率、且对S/N也是很强的高性能的内插处理。

[实施例二]

图17表示本发明实施例二涉及的作为内插处理对象的颜色编码例2。该图所示的颜色编码将水平和垂直方向的各像素间距设为各像素在每行和每列上各错开像素间距的1/2(在奇数行和偶数行上，像素在水平方向上只错开像素间距的1/2，在奇数列和偶数列上，像素在垂直方向上只错开像素间距的1/2)、即、对于所谓的倾斜像素排列，第一行为G和R交替排列的GR行，第二行为仅排列G的G行，第三行为B和G排列交替的GB行，第四行为仅排列G的G行，以下将以该四行为单位重复排列。

图17所示的颜色编码例二构成为：在形成亮度(Y)成分之后成为主要成分的颜色成分(在本例中为G)、其他颜色成分(在本例中为R和B)被配置成用G包围R和B的周围，对于水平、垂直方向，R和B以

的间隔配置。该颜色编码就是使图6所示的颜色编码例一中的颜色排列倾斜45度的颜色编码。

在水平和垂直方向上考虑图17所示的颜色编码例二中的抽样率时，G的抽样率为

R和B的抽样率为

即，每隔一列(在本实施例中为奇数列)及每隔一行(在本实施例中为奇数行)配置R和B，使水平和垂直方向上的抽样率相对于G为1/4。因此，在G和R及B之间，在水平和垂直方向上具有4倍的分辨率之差。另外，在倾斜45度方向上考虑抽样率时，G的抽样率为d，R和B的抽样率为2d。

在此，对空间频率特性进行研究。在水平和垂直方向上，G的抽样率为

所以，根据抽样定理，直至

的频率，都可以捕获G信号。对于倾斜45度方向，因为G的抽样率为d，所以，根据抽样定理，可以捕获频率直至(1/4)fs的G信号。

同样对R和B进行研究。由于R和B的像素排列间隔相同，故在此仅对R进行描述。关于R的空间频率特性，对于在水平和垂直方向，R的抽样率为

所以，根据抽样定理，直至

的频率，可以捕获R信号。并且，对于倾斜45度方向，因为R的抽样率为2d，所以，根据抽样定理，直至(1/2)fs的频率，可以捕获R信号。

因此，倾斜像素排列的固体摄像装置与正方格状排列像素的情况相比，像素间距狭窄，所以可得到高分辨率。另外，如果为与正方格状像素排列相同的分辨率时，可用比正方格状像素排列的像素间距更宽的像素间距排列像素，所以可获取较宽的像素开口，其结果是可提高S/N。

关于图17所示的颜色编码的详细情况，可参照本申请人已经转让的日本特愿2005-107037号说明书的0055～0072段。

在本实施例二中，以图17所示的颜色编码例二的内插处理为特征。以下对该内插处理进行详细说明。

图18是用正方格重新表现图17所示的颜色编码例二。可以知道，图6所示的颜色编码例一中的G排列和图18中的G排列在旋转45度的方向上具有关系。由此可理解，相对图17所示的颜色编码例二，利用使上述实施例一的内插处理旋转45度后的位置关系，可以高精度地内插R和B像素的空间位置上的G像素。

图19表示用于执行本实施例二的内插处理的内插处理电路23的构成例。如该图所示，根据本实施例的内插处理电路23B由包括前级内插处理电路231和后级内插处理电路232的二级构成。

前级内插处理电路231基本上用与实施例一同样的顺序执行内插处理，由此，对于图18中的G像素排列，可以内插R和B像素的空间位置上的G像素。图20表示该前级内插处理电路231的内插处理结果、即对于图18的像素排列内插R和B像素的空间位置的G像素的结果。利用该内插处理，高精度地内插图20中的G排列。在此，当注意到图20的G排列时，可知G配置成方格状。

后级内插处理电路232基本上用与上述Bayer排列时同样的顺序进行内插处理，由此，对于图20中的G像素排列进行内插处理。根据该Bayer排列的内插处理，对于全部像素，由配置成方格状的G生成G。图21表示后级内插处理电路232的内插处理结果、即由配置成方格状的G在全部像素G上内插的结果。

这样，对于图17所示的颜色编码例二，通过将前级内插处理电路231的内插处理即实施例一涉及的内插处理、以及后级内插处理电路232的内插处理即Bayer排列的内插处理组合后执行内插处理，从而可以得到直至临界分辨率的G的分辨率。

图22表示Bayer排列、图6所示的颜色编码例一、图17所示的颜色编码例二中的各空间分辨率特性。如果对图6所示的颜色编码例一的分辨率和图17所示的颜色编码例二的分辨率进行比较，在水平、垂直方向上，图17所示的颜色编码例二的分辨率具有优势。通常，用照相机拍摄被摄体时，含有直线成分的图像多数分布在水平和垂直方向上。从该观点出发，可以说图17所示的颜色编码例二比图6所示的颜色编码例一更有优势。

另外，考虑到作为照相机信号处理电路14(参照图1)的输出而需要将图像信号输出为正方格状时，利用图17所示的颜色编码，可以作为像素2倍的输出大小而进行输出，这一点具有优势。当然，从图22可以理解，与Bayer排列相比，分辨率显著提高。

在照相机处理电路14中，通过将根据本实施例二的内插处理电路23B直接作为原来的内插处理电路23而使用，可以得到上述作用效果。并且，也可以采用图23所示的、将内插处理电路23B变形后的内插处理电路23B′的构成。

图23所示的内插处理电路23B′构成为：在后级内插处理电路232的输入侧设置切换开关233，将前级内插处理电路231的输出信号和WB电路22(参照图1)的输出信号(前级内插处理电路231的输入信号)中的一个可选择性地输入到后级内插处理电路232。通过采用这种构成，可以用一个照相机系统与图17所示的颜色编码以及Bayer排列两种类型的固体摄像装置对应。

产业上的可利用性

以上参照特定实施例对本发明进行了详细说明。但是，在不脱离本发明宗旨的范围内，本领域技术人员当然可以对实施方式进行更改和替换。

尤其是，关于本发明，对于为在水平方向和垂直方向成等间隔而将各像素排列成正方格状的像素排列，在计算亮度成分时成为主要成分的颜色成分，对于进行颜色编码的图像信号，可很好地适用于计算亮度成分的主要成分的滤色器排列内插的处理，其中，颜色编码使用了为包围各个其他颜色成分的周围而配置的滤色器。但是本发明的宗旨不限定于特定的颜色编码。

另外，在本说明书中，作为利用在形成亮度成分之后成为主要成分的G来包围R和B的各自的周围的颜色编码，以图8和图17所示的两个颜色编码例的实施例为中心进行了说明，但是，可适用本发明的颜色编码并不限定于这两个颜色编码例。例如，即使是下述颜色编码，即、对于正方格状的像素排列、第一行是以水平方向的四个像素为单位重复排列RGGG、第二行仅排列G、第三行以水平方向的四个像素为单位重复排列GGBG、第四行仅排列G、以下以这四行为单位重复排列，也同样适用根据本发明的内插处理。

另外，在本说明书中，关于亮度信号，重点对用于实现高分辨率的G信号的内插处理进行了说明，但是，对于其他颜色，例如品红、黄色，也适用与G同样的内插处理。

总之，用列举的方式公开了本发明，不应该是限定地解释本说明书的记载内容。为了判断本发明的宗旨，应该参考保护范围。

Claims (9)

1.一种图像处理装置，用于处理通过具有颜色编码用的滤色器的摄像单元所拍摄的图像，其特征在于，包括：

用于输入图像信号的单元；

相关值算出单元，对于所述图像信号，算出表示像素之间的相关程度的至少第一相关值和第二相关值；

可靠度算出单元，用于算出与通过所述相关值算出单元算出的各相关值有关的可靠度；以及

内插单元，用与所述可靠度对应的内插处理进行期望的像素的内插。

2.根据权利要求1所述的图像处理装置，其特征在于，所述可靠度算出单元根据通过所述相关值算出单元算出的各相关值之和算出可靠度。

3.根据权利要求1所述的图像处理装置，其特征在于，在所述可靠度为规定范围之外时，所述内插单元采用内插的所述期望的像素的周围像素的信息平均值进行内插。

4.根据权利要求1所述的图像处理装置，其特征在于，当所述可靠度为规定范围内时，所述内插单元根据所述第一相关值和所述第二相关值，从内插的所述期望的像素的周围像素中确定用于内插的像素，并使用该确定的像素进行内插。

5.一种图像处理方法，用于处理通过具有颜色编码用的滤色器的摄像单元所拍摄的图像，其特征在于，包括：

相关值算出步骤，对于所述摄像单元的图像信号，算出表示像素之间的相关程度的至少第一相关值和第二相关值；

可靠度算出步骤，算出与在所述相关值算出步骤中算出的各相关值有关的可靠度；以及

内插步骤，用与所述可靠度对应的内插处理来内插期望的像素。

6.根据权利要求5所述的图像处理方法，其特征在于，在所述可靠度算出步骤中，根据在所述相关值算出步骤中算出的各相关值之和算出可靠度。

7.根据权利要求5所述的图像处理方法，其特征在于，在所述内插步骤中，当所述可靠度在规定的范围之外时，使用内插的所述期望的像素的周围像素的信息平均值进行内插。

8.根据权利要求5所述的图像处理方法，其特征在于，在所述内插步骤中，当所述可靠度在规定的范围内时，根据所述第一相关值和所述第二相关值，从内插的所述期望的像素的周围像素中确定使用于内插的像素，并使用该确定的像素进行内插。

9.一种摄像装置，包括：

具有颜色编码用滤色器的摄像单元；

相关值算出单元，对于通过所述摄像单元拍摄的图像信号，算出表示像素之间的相关程度的至少第一相关值和第二相关值；

可靠度算出单元，算出与通过所述相关值算出单元算出的各相关值有关的可靠度；

内插单元，用与所述可靠度对应的内插处理进行期望的像素的内插；以及

信号处理单元，对于通过所述内插单元内插像素的图像信息，进行颜色空间分离或其他的信号处理。

Images