CN1171462C - 固体彩色摄像装置 - Google Patents

Abstract

一种固体彩色摄像装置包括：一个有分色滤光片，该分色滤光片中重复设置排列模式，每个排列模式有四个彼此纵向和横向邻接的像素，上边两个像素是从左起的全色透射滤光片和青绿色透射滤光片，下边两个像素是从左起的黄色透射滤光片和全色透射滤光片的固体彩色摄像元件(2)；用来接受从诸像素输出的彩色信号并在其中储存之的存储装置(5)；用来计算由储存在存储装置中的青绿色信号像素和黄色信号像素组成的插补对象像素周围的像素的相关度的相关度计算装置(6)；以及用来沿相关度增加的方向进行插补并计算插补对象像素的位置上的全色透射信号的插补装置(7)。

Description

固体彩色摄像装置

技术领域

本发明涉及全像素读出固体摄像元件，特别是涉及减少在对来自分色滤光片的信息进行矩阵计算之际发生的辉度信号的分辨率恶化用的分色滤光片的配置方法，以及矩阵计算方法。此外特别是涉及进行像素间的插补处理而得到高分辨率的固体彩色摄像装置的信号处理方法，其特征在于，在根据从固体摄像元件输出的彩色信号来合成色差信号的场合，对各彩色信号按分色滤光片的彩色来调整频率特性，减少包含成为伪色的原因的折返失真的频率分量。

背景技术

图像信号通常往往用红色(R)、绿色(G)、蓝色(B)的光的三原色来表现，此外还往往用辉度信号(Y)、两种色差信号(R-Y、B-Y)来表现。RGB的三原色通常成为向计算机用的监视器的输入信号的形态，辉度和色差成为TV系统的元件中的数字部分的形态。此外近年来固体彩色摄像装置的图像信号不仅用于图像显示，而且用于数字记录或元件间的图像通信。图像信号信息量大，由于记录容量或通信容量的制约，通常进行图像压缩处理。其时所采用的图像信号的形式称为4∶2∶0或4∶1∶1形式，与历来所用的4∶2∶2形式相比，彩色信息往往成为一半。

下面参照图2就现有技术的固体彩色摄像装置进行说明。

图2(a)示出现有技术的固体彩色摄像装置，1是使拍摄对象在固体摄像元件表面上成像的光学系统，2是把所成像的拍摄对象像(光学像)变换成图像信号(电气信号)的带分色滤光片的固体摄像元件，3是把由固体摄像元件所变换的图像信号变换成数字图像信号的AD转换器，4是从数字图像信号变换成辉度信号和色差信号的图像信号处理电路。配备在前述固体摄像元件2的表面上的分色滤光片往往用由品红色(Mg)、绿色(G)、青绿色(Cy)、黄色(Y)组成的，图2(b)中所示的补色相间模式的分色滤光片。

下面说明像以上这样构成的固体彩色摄像装置的动作。

在图2中，拍摄对象像(光学像)靠光学系统1在固体摄像元件2上成像。固体摄像元件2把所成像的拍摄对象像作为由分色滤光片进行了色分解的图像信号输出。图像信号由AD转换器3变换成数字信号，供给到图像信号处理电路4，变换成辉度信号Y和两种色差信号，成为彩色图像信号。在图像处理电路中，根据Mg、G、Cy、Ye补色系统四个像素作成一个像素的辉度信号(Y)和一对色差信号(R-Y、B-Y)。

下面示出该辉度信号的生成过程之一例，Y(h，v)为

Y(0，1)＝Mg(0，0)+G(1，0)+Cy(0，1)+Ye(1，1)

Y(1，0)＝G(1，0)+Mg(2，0)+Ye(1，1)+Cy(2，1)

Y(0，1)＝Cy(0，1)+Ye(1，1)+G(0，2)+Mg(1，2)

Y(1，1)＝Ye(1，1)+Cy(2，1)+Mg(1，2)+G(2，2)，

根据固体摄像元件的四个像素的输出，生成辉度信号。

色差信号R-Y(h，v)为

R-Y(0，0)＝Mg(0，0)-G(1，0)-Cy(0，1)+Ye(1，1)

R-Y(0，1)＝-G(1，0)+Mg(2，0)+Ye(1，1)-Cy(2，1)

R-Y(1，0)＝-Cy(0，1)+Ye(1，1)-G(0，2)+Mg(1，2)

R-Y(1，1)＝Ye(1，1)-Cy(2，1)+Mg(1，2)-G(2，2)，

B-Y(h，v)为

B-Y(0，0)＝Mg(0，0)-G(1，0)+Cy(0，1)-Ye(1，1)

B-Y(0，1)＝-G(1，0)+Mg(2，0)-Ye(1，1)+Cy(2，1)

B-Y(1，0)＝Gy(0，1)-Ye(1，1)-G(0，2)+Mg(1，2)

B-Y(1，1)＝-Ye(1，1)+Cy(2，1)+Mg(1，2)-G(2，2)。所输出的辉度和一对色差信号成为与固体摄像元件的像素数相同数，成为4∶4∶4形式。对照成为对象的输出元件，进行向4∶2∶2形式，4∶2∶0，4∶1∶1形式的变换。

此外因为在辉度的边缘部发生伪色，故根据上述所合成的辉度信号的边缘信号来进行边缘判定，通过降低对应于判定成边缘的像素的色差信号的增益来进行伪色抑制。

可是在现有技术的固体彩色摄像装置中，关于图像压缩未作任何考虑，分色滤光片4∶4∶4形式的输出作为前提，在向以4∶2∶0形式、4∶1∶1形式这样的图像压缩为前提的元件输出的场合，就彩色信息来说，3/4的信息成为不必要的。此外，辉度信号进行四个像素平均，例如在作成图2(b)中的Y(0，0)和Y(0，1)的场合，因为重复使用G(1，0)和Ye(1，1)，所以辉度信号不再纯粹是采样信号，而是成为在纵向、横向方向通过低通滤波器，故与纯粹进行像素单位的采样的三板方式的固体摄像元件等相比，分辨率恶化。关于色差信号也是，根据邻接四个像素进行变换不是纯粹的采样信息而是纵向、横向方向也成为通过低通滤波器，分辨率同样恶化。

为了解决前述课题，在本发明的固体彩色摄像装置中，固体摄像元件表面上的分色滤光片作为以两个全色透射滤光片、一个青绿色透射滤光片、一个黄色透射滤光片共四个像素作为一个排列模式，制成重复前述排列模式的构成，从前述排列模式输出四个辉度信息，两种彩色信息各一个，或各两个，或各四个，进而在向辉度信号和色差信号的变换时，通过相关度检测处理求出该拍摄对象成像的像素的与周围像素的关系，用以计算存在于相关度高的方向的像素，变换成辉度信号和色差信号。

此外，在这种本发明的固体摄像元件中，借助于多个彩色的彩色透射滤光片，输出多个彩色信号。此一彩色信号对各种彩色来说信号是独立的，如果着眼于特定的彩色信号，则其采样率低于全信号的采样率。因此在各种彩色的信号中，分别发生混淆现象，有可能包含具有折返失真的频率分量。

图15中示出插补特定的彩色信号的场合的，折返失真的情况。在图15中，横轴是频率，2π表示全信号的采样频率，纵轴表示信号的振幅。此外实线表示彩色信号，虚线表示折返失真分量。在使用包含高频分量来插补合成彩色信号的场合，折返失真分量如图15中所示，包含在低于π/2的通频带内。因此发生插补精度不良，产生伪色信号这样的新课题。

为了解决上述课题，根据本发明的固体彩色摄像装置，其特征在于，借助于频率特性调整装置来调整从用全色透射、青绿色透射、黄色透射等各分色滤光片的固体摄像元件输出的各彩色信号的频率特性，用施行了该特性调整的彩色信号来插补合成色差信号。

此外在相关度检测处理中具有边缘判定功能，确定色差信号中的增益，加在对应的色差信号上，借此来进行伪色抑制。

借此，在本发明中，可以提供灰度分辨率的恶化少，伪色少的固体彩色摄像装置。

发明内容

为了解决上述课题，本发明提供一种固体彩色摄像装置，其特征在于，备有：固体摄像元件，保持有以纵横邻接的四个像素为一个排列模式的分色滤光片，该排列模式的分色滤光片中，两个像素的每一个是全色透射滤光片，剩下的两个像素透过不同的两种颜色的滤光片，其中纵横重复前述四个像素的排列模式，而且具有个别地取出该分色滤光片的每个像素的图像信息的装置；以及信号处理电路，基于从前述固体摄像元件个别地取出的图像信息，针对前述排列模式的一个，作成四个辉度信号和两种彩色信号，在前述四个辉度信号当中，仅用从两个前述全色透射滤光片位置所得到的信息来作成两个前述全色透射滤光片位置的辉度信号，分别用从各剩下的透过前述不同的两种颜色的滤光片位置所得到的彩色信息和从相应像素的周围像素所得到的信息来作成剩下的透过前述不同的两种颜色的滤光片位置的辉度信号，用从包括从透过前述不同的两种颜色的滤光片位置所得到的信息在内的相应像素的周围像素所得到的信息来作成前述两种彩色信号。借此，四个辉度信号中，因为两个仅根据全色透射滤光片的信息来作成，其余两个根据包含青绿色和黄色透射滤光片位置的彩色信息在内的周围像素的图像信息来插补合成而作成，故有提高辉度分辨率的作用。

此外，本发明的技术方案2中所述的固体彩色摄像装置是技术方案1所述的固体彩色摄像装置，其特征在于，其中以纵横邻接的四个像素为一个排列模式的前述分色滤光片，是成为纵向两个像素、横向两个像素的构成，根据从前述排列模式取出的信息作成由四个辉度信号和两种色差信号各一个组成的合计六个信号，输出到4∶2∶0方式的设备中。借此在4∶2∶0方式的元件中，有辉度分辨率提高这样的作用。

此外，本发明的技术方案3中所述的固体彩色摄像装置是技术方案1所述的固体彩色摄像装置，其特征在于，其中以纵横邻接的四个像素为一个排列模式的前述分色滤光片，是成为纵向一个像素，横向四个像素的构成，根据从前述排列模式取出的信息作成由四个辉度信号和两种彩色信号各一个组成的合计六个信号，输出到4∶1∶1方式的设备中。借此在4∶1∶1方式的元件中，有辉度分辨率提高这样的作用。

此外，本发明的技术方案4中所述的固体彩色摄像装置是技术方案1所述的固体彩色摄像装置，其特征在于，其中前述信号处理电路包括：分别取入从前述固体摄像元件的各像素输出的彩色信号并存储起来的存储装置；以透过存储在该存储装置中的前述不同的两种颜色的滤光片位置的像素作为被插补像素，基于相对于该被插补像素在预定方向相邻的周围像素的彩色信号计算各该被插补像素的相关度的相关度计算装置；以及比较前述计算出的相关度，在相关度大的方向上进行像素的插补并计算上述被插补像素的位置的亮度信号的插补处理装置。借此，因为用相关度高的像素对输入图像进行插补然后变换成辉度信号，故有减少辉度分辨率的恶化的作用。

此外，本发明的技术方案5中所述的固体彩色摄像装置是技术方案4所述的固体彩色摄像装置，其特征在于，其中上述相关度计算装置计算上述被插补像素和位于其周围的像素中的，包括被插补像素在内的上述被插补像素在横向或纵向的相关度。借此，有减少纵向和横向的辉度分辨率的恶化的作用。

此外，本发明的技术方案6中所述的固体彩色摄像装置是技术方案4所述的固体彩色摄像装置，其特征在于，其中上述相关度计算装置计算上述被插补像素和位于其周围的像素中的，包括被插补像素在内的上述被插补像素在横向或纵向的相关度，以及，进而斜向的相关度。借此，有减少纵向和横向，以及斜向的辉度分辨率的恶化的作用。

此外，本发明的技术方案7中所述的固体彩色摄像装置是技术方案4所述的固体彩色摄像装置，其特征在于，其中上述相关度计算装置计算上述被插补像素和位于其周围的像素中的，包括被插补像素在内的上述被插补像素在横向或纵向的相关度，以及进而向右并向上，或者向右并向下，或者向左并向上，或者向左并向下的相关度。借此，有减少纵向，横向，以及右上L字方向，右下L字方向，左上L字方向，左下L字方向的辉度分辨率的恶化的作用。

此外，本发明的技术方案8中所述的固体彩色摄像装置是技术方案4所述的固体彩色摄像装置，其特征在于，其中上述相关度计算装置计算上述被插补像素和位于其周围的像素中的，包括被插补像素在内的上述被插补像素在横向或纵向的相关度，以及进而斜向的相关度，以及进而进而向右并向上，或者向右并向下，或者向左并向上，或者向左并向下的相关度。借此，有减少纵向，横向，斜向，以及右上L字方向，右下L字方向，左上L字方向，左下L字方向的辉度分辨率的恶化的作用。

此外，本发明的技术方案9中所述的固体彩色摄像装置是技术方案4所述的固体彩色摄像装置，其特征在于，其中上述相关度计算装置计算上述被插补像素和位于其周围的像素之间的同色信号之间的相关度。借此，通过用同色信号来计算相关度，有相关度的计算精度提高这样的作用。

此外，本发明的技术方案10中所述的固体彩色摄像装置是技术方案4所述的固体彩色摄像装置，其特征在于，其中上述相关度计算装置计算位于上述被插补像素周围的像素间的成为异色信号的邻接像素间的相关度。借此，通过用离被插补像素近的邻接像素来计算，有即使是异色信号相关度的计算精度也提高这样的作用。

此外，本发明的技术方案11中所述的固体彩色摄像装置是技术方案4所述的固体彩色摄像装置，其特征在于，其中上述插补处理装置，不用由上述相关度计算装置所计算出的相关度大的方向中的，被插补像素的彩色信号，仅用该被插补像素周围的，与将要生成的彩色信号同色的信号来施行插补处理。借此，有插补精度提高，辉度分辨率提高这样的作用。

此外，本发明的技术方案12中所述的固体彩色摄像装置是技术方案4所述的固体彩色摄像装置，其特征在于，其中上述插补处理装置，用由上述相关度计算装置所计算出的相关度大的方向中的，被插补像素的彩色信号，根据该被插补像素周围的像素来计算将要生成的彩色信号的不足彩色部分，施行插补处理。借此由于仅插补不足彩色分量，其他分量使用被插补像素点的彩色信号，借此施行插补处理，所以有插补精度提高而辉度分辨率不容易恶化这样的作用。

此外，本发明的技术方案13中所述的固体彩色摄像装置是技术方案5至10中的任何一项中所述的固体彩色摄像装置，其特征在于，其中如果由上述相关度计算装置所计算的相关度小于给定的阈值，则上述插补处理装置施行降低对应于该被插补像素的彩色信号的增益的处理。借此，有减少在辉度信号的边缘部发生的伪色这样的作用。

此外，本发明的技术方案14中所述的固体彩色摄像装置是技术方案5至10中的任何一项中所述的固体彩色摄像装置，其特征在于，其中如果由上述相关度计算装置所计算的相关度小于给定的阈值，则上述插补处理装置施行根据上述相关度分级地降低对应于该被插补像素的彩色信号的增益的处理。借此，有适应地减少在辉度信号的边缘部发生的伪色这样的作用。

此外，本发明的技术方案15中所述的固体彩色摄像装置是技术方案4所述的固体彩色摄像装置，其特征在于，其中上述插补处理装置备有调整从上述固体摄像元件所输出的各种彩色信号的频率特性以将频带限制为低通，降低折返失真的频率特性调整装置，用施行了该频率特性调整的彩色信号来插补合成色差信号的色差信号插补处理装置。借此，通过用包含高频分量的彩色信号的插补，有减少插补合成色差信号时出现的伪色信号这样的作用。

此外，本发明的技术方案16中所述的固体彩色摄像装置是技术方案15所述的固体彩色摄像装置，其特征在于，其中上述插补处理装置备有调整从上述固体摄像元件所输出的各种彩色信号的频率特性以将频带限制为低通，降低折返失真的频率特性调整装置，用施行了该频率特性调整的彩色信号将透过上述不同的两种颜色的滤光片的各位置处的R-Y色差信号和B-Y色差信号进行插补合成的色差信号插补处理装置。借此，通过用包含高频分量的彩色信号的插补，有减少插补合成色差信号时出现的伪色信号这样的作用。

此外，本发明的技术方案17中所述的固体彩色摄像装置是技术方案15所述的固体彩色摄像装置，其特征在于，其中上述频率特性调整装置根据由上述相关度计算装置所计算出的相关度来判定相关方向，在有相关度大的方向时进行上述频率特性调整，在没有相关度大的方向时不进行频率特性调整。借此，在用没有相关方向的彩色信号的色差的插补合成中，保存频率分量，有保持图像的彩色的再现性这样的作用。

此外，本发明的技术方案18中所述的固体彩色摄像装置是技术方案16所述的固体彩色摄像装置，其特征在于，其中上述频率特性调整装置根据由上述相关度计算装置所计算出的相关度来判定相关方向，在有相关度大的方向时进行频率特性调整，在没有相关度大的方向时不进行频率特性调整。借此，在用没有相关方向的彩色信号的色差的插补合成中，保存频率分量，有保持图像的彩色的再现性这样的作用。

像以上这样本发明在固体摄像元件表面的分色滤光片的邻接的纵横四个像素中具有两个全色透射滤光片、一个青绿色透射滤光片、一个黄色透射滤光片，具有重复该四个像素的模式，设置从作为该重复模式的四个像素取出四个辉度信息、各一个或各两个或各四个两种彩色信息的电路，借此可以实现辉度分辨率高，彩色分辨率中也没有恶化的，优良的固体彩色摄像装置。此外，通过在上述装置中增加分别接受并储存各像素输出的信号的装置，把储存在该存储装置中的青绿色信号像素和黄色信号像素作为被插补像素，计算对位于上述被插补像素周围的多个像素的相关度的相关度计算装置，以及在相关度大的方向上进行插补，计算上述被插补像素的位置的全色透射信号的装置，提供可以减少辉度分辨率的恶化，进而不用追加大的处理电路而可以实现抑制在辉度信号的边缘部发生的伪色的处理的，固体彩色摄像装置成为可能。

附图说明

图1(a)是本发明的固体彩色摄像装置的方框图。

图1(b)是配置在图1(a)的固体摄像元件上的分色滤光片的模式图。

图1(c)是配置在图1(a)的固体摄像元件上的分色滤光片的模式图。

图2(a)是现有技术的固体彩色摄像装置的方框图。

图2(b)是配置在图2(a)的固体摄像元件上的分色滤光片的模式图。

图3(a)是表示本发明的第1实施例中的固体彩色摄像装置的4∶2∶0形式的辉度色差信号的位置的图。

图3(b)是表示本发明的第2实施例中的固体彩色摄像装置的4∶1∶1形式的辉度色差信号的位置的图。

图4是本发明的第1实施例中的适合于为了以4∶2∶0形式输出的分色滤光片排列模式图的例子。

图5是本发明的第2实施例中的适合于为了以4∶1∶1形式输出的分色滤光片排列模式图的例子。

图6是根据本发明的第3～7的固体彩色摄像装置的说明图，(a)是固体彩色摄像装置的构成图，(b)是固体摄像元件上的分色滤光片的构成图。

图7是说明本发明的第6实施例中的相关度计算、相关方向(纵向、横向)以及插补处理的图。

图8是说明本发明的第8实施例中的相关度计算、相关方向(右斜下方、左斜下方)以及插补处理的图。

图9是说明本发明的第5实施例中的相关度计算、相关方向(L字四方向)以及插补处理的图。

图10是说明本发明的第9实施例中的相关度和加在色差信号上的增益的关系的图。

图11是说明本发明的第9实施例中的相关度和加在色差信号上的增益的关系的图。

图12是根据本发明的第10实施例的固体彩色摄像装置的构成图。

图13是说明本发明的第10实施例中的频率特性调整动作的图。

图14是说明本发明的第10实施例中的频率特性调整动作的图。

图15是说明本发明的第10实施例中的频率特性调整动作的图。

图16是根据本发明的第11实施例的固体彩色摄像装置的构成图。

具体实施方式

下面就本发明的实施例进行说明

第1实施例

下面就对应于本发明的权利要求1、权利要求2的第1实施例进行说明。

图1(a)示出根据本发明的第1实施例的固体彩色摄像装置。在图中，1是实现使拍摄对象在固体摄像元件表面上成像的，是由透镜等构成的光学系统。2是实现把所成像的拍摄对象像(光学像)变换成图像信号(电气信号)的，由带有分色滤光片的固体摄像元件来构成。3是实现把从固体摄像元件所得到的图像信号变换成数字图像信号的，由AD转换器来构成。4是实现把从AD转换器所得到的数字图像信号变换成辉度信号和色差信号的，由图像信号处理电路来构成。

图1(b)示出附带于图1(a)中的固体摄像元件2的表面的固体摄像元件的分色滤光片，表示由纵向两个像素、横向两个像素重复的一个例子的模式，滤光片的配置由上边两个像素是从左起的全色透射滤光片、青绿色透射滤光片，下边两个像素是从左起的黄色透射滤光片、全色透射滤光片来构成。

图3(a)示出本第1实施例的，图1(a)中的图像信号处理电路4的输入输出信号。

在图1(a)中，经由光学系统1使拍摄对象在固体摄像元件表面上成像，靠带有分色滤光片的固体摄像元件2把所成像的拍摄对象像(光学像)变换成图像信号(电气信号)，靠AD转换器3把从固体摄像元件所得到的图像信号变换成数字图像信号，靠图像信号处理电路4把从AD转换器所得到的数字图像信号变换成辉度信号和色差信号。进而，附带于固体摄像元件2的分色滤光片的排列如图1(b)中所示是重复纵向两个像素、横向两个像素的模式的构成，此一模式的滤光片，上边两个像素是从左起的全色透射滤光片、青绿色透射滤光片，下边两个像素是从左起的黄色透射滤光片、全色透射滤光片，制成四个像素中两个具有全色透射滤光片，另外两个像素为青绿色透射滤光片、黄色透射滤光片的构成。此时从固体摄像元件所得到的图像信号成为两个全色信息、一个青绿色信息、一个黄色信息的合计四个，对此四个进行矩阵计算，从图像信号处理电路4输出四个辉度信号，一个R-Y色差信号，一个B-Y色差信号。

下面参照图3(a)就图像信号处理电路4中的向辉度信号、色差信号的变换动作进行说明。

如果用各透射滤光片来表示光的原色分量(红色、绿色、蓝色，分别为R、G、B)，则通常为W＝R+G+B，Cy＝G+B，Ye＝R+G。辉度信息由R、G、B所有分量来构成，关于全色透射滤光片的所在位置的辉度信号Y仅由成为纯粹的采样信息的来自全色透射滤光片的信号作成，近似为

Y(h，v)＝a×W(h，v)

式中，a是调整动态范围用的系数，h+v在图3(a)的例子中始终为偶数。

此外关于没有全色透射滤光片的位置的辉度信号Y也使用周围位置的信息作成，作为简单的作成方法，近似为

Y(h，v)＝a×((W(h-1，v)+W(h+1，v)+W(h，v-1)+W(h，v+1))÷4)

式中，a是调整动态范围用的系数，h+v在图3(a)的例子中始终为奇数。

但是在本发明中，因为用上述这种简单的作成方法，没有全色透射滤光片的位置的辉度信号的分辨率恶化加大，故生成作为纯粹的采样信息的合适位置的彩色信息，如果是青绿色滤光片的所在位置的辉度信号Y，则由于Cy没有辉度信号分量中的R分量，所以根据周围像素来插补，近似为

R(h，v)＝a×(w(h-1，v)+w(h+1，v)+w(h，v-1)+w(h，v+1))÷4-b×(Cy(h，v)×4+Cy(h-2，v)+Cy(h+2，v)+Cy(h，v-2)+Cy(h，v+2))÷8Y(h，v)＝b×Cy(h，v)+R(h，v)

如果是黄色滤光片的所在位置的辉度信号Y，则由于Ye没有辉度信号分量中的B分量，所以根据周围像素来插补，近似为

B(h，v)＝a×(w(h-1，v)+w(h+1，v)+w(h，v-1)+w(h，v+1))÷4-c×(Ye(h，v)×4+Ye(h-2，v)+Ye(h+2，v)+Ye(h，v-2)+Ye(h，v+2))÷8Y(h，v)＝c×Ye(h，v)+B(h，v)

式中，b、c是调整动态范围用的系数，h+v在图3(a)的例子中始终为奇数，青绿色滤光片的所在位置的h为奇数，v为偶数，黄色滤光片的所在位置的h为偶数，v为奇数。

根据Cy像素和Ye像素求出的辉度信号Y，R和B分量通过利用周围像素的信息的插补来作成，不是根据固体摄像元件引起的纯粹的采样信息求出的。可是，就Cy像素来说G+B分量，就Ye像素来说R+G分量作为纯粹的采样信息保留下来，所插补的R和B分量在辉度信号Y中最大为三分之一，影响很小，成为保持高分辨率状态的辉度信号Y。

此外，就色差信号(R-Y，B-Y)来说，关于四个辉度信号取出各一个的信息，以辉度信号的纵向两个像素、横向两个像素为一个模式，用简单的计算方法，首先变换成R、G、B。色差信号变换用的R、B分量为

R(h，v)＝a×W((h div 2)*2，(v div 2)*2)-b×Cy((h div 2)*2+1，(v div 2)*2)

B(h，v)＝a×W((h div 2)*2+1，(v div 2)*2+1)-c×Ye((h div 2)*2，(v div 2)*2+1)

进而G成为

G(h，v)＝a×(W((h div 2)*2，(v div 2)*2)+W((h div 2)*2+1，(v div 2)*2+1))÷2-R(h，v)-B(h，v)

根据此一RGB，色差信号近似地近似为

R-Y(h，v)＝2×R(h，v)-G(h，v)

B-Y(h，v)＝2×B(h，v)-G(h，v)

式中，a、b、c是调整动态范围用的系数，div表示仅取出整数的除法运算的商而舍去余数的计算，*表示乘法运算。

这样得到的一对色差信号因为对于邻接的别的色差信号不重复固体摄像元件的输出而变换，故彩色分辨率提高。

通过进行以上的运算，如图3(a)中所示，成为对于纵向两个像素、横向两个像素的四个辉度信号Y，得到各一个两种色差信号R-Y、B-Y，就得到如图3(a)中所示的，适合于作为向4∶2∶0形式的元件的输入信号的形式。

再者，除了上述之外通过把全色透射滤光片的透射率关于R设定成0.3，关于B设定成0.59，关于G设定成0.11的比率，由于该全色透射滤光片的透射率之比等于辉度信号Y的原色混合比所以得到纯粹的辉度信号，可以进一步提高分辨率。也就是说虽然通常如果用原色分量(红色、绿色、蓝色，分别为R、G、B)来表示各透射滤光片，则成为W＝R+G+B，Cy＝G+B，Ye＝R+G，但是如果进行上述设定，则辉度信号Y的RGB混合比就表达为

Y＝0.30R+0.59G+0.11B

在本第1实施例中用的各透射滤光片，调整透射率，成为

W＝0.30R+0.59G+0.11B

Cy＝(0.59G+0.11B)÷0.7

Ye＝(0.30R+0.59G)÷0.89

此时，就全色透射滤光片的所在位置的辉度信号Y来说，仅由成为纯粹的采样信息的来自全色透射滤光片的信号作成，成为

Y(h，v)＝a×W(h，v)

式中，a是调整动态范围用的系数，h+v在图3(a)的例子中始终为偶数。此外就没有全色透射滤光片的位置的辉度信号Y来说，也使用周围位置的信息来作成，

生成作为纯粹的采样信息的合适位置的彩色信息，如果是青绿色滤光片的所在位置的辉度信号Y，则也可以成为

Y(h，v)＝a×((W(h-1，v)+W(h+1，v)+W(h，v-1)+W(h，v+1))÷4)+0.7×b×(Cy(h-2，v)÷2-(Cy(h+2，v)+Cy(h，v-2)+Cy(h，v+2)+Cy(h，v))÷8)

如果是黄色滤光片的所在位置的辉度信号Y，则也可以成为

Y(h，v)＝a×((W(h-1，v)+W(h+1，v)+W(h，v-1)+W(h，v+1))÷4)+0.7×c×(Ye(h-2，v)÷2-(Ye(h+2，v)+Ye(h，v-2)+Ye(h，v+2)+Ye(h，v))÷8)

式中，b、c是调整动态范围用的系数，h+v在图3(a)的例子中始终为奇数，青绿色滤光片的所在位置的h为奇数，v为偶数，黄色滤光片的所在位置的h为偶数，v为奇数。

此外，就色差信号(R-Y、B-Y)来说，关于四个辉度信号取出各一个的信息，以辉度信号的纵向两个像素、横向两个像素为一个模式，用简单的计算方法，成为

R-Y(h，v)＝0.7÷0.3×(a×(W((h div 2)*2，(v div 2)*2)+W((h div 2)*2+1，(vdiv 2)*2+1))÷2-b×Cy((h div 2)*2+1，(v div 2)*2))

B-Y(h，v)＝0.89÷0.11×(a×(W((h div 2)*2，(v div 2)*2)+W((h div 2)*2+1，(vdiv 2)*2+1))÷2-b×Ye((h div 2)*2，(v div 2)*2+1))

或者，考虑到色差信号的采样位置，也可以成为

R-Y(h，v)＝0.7÷0.3×(a×(W((h div 2)*2，(v div 2)*2)+W((h div 2)*2+1，(vdiv 2)*2+1))÷2-b×(Cy((h div 2)*2+1，(v div 2)*2)×2+Cy((h div 2)*2-1，(vdiv 2)*2)+Cy((h div 2)*2+1，(v div 2)*2+2))÷4)

B-Y(h，v)＝0.89÷0.11×(a×(W((h div 2)*2，(v div 2)*2)+W((h div 2)*2+1，(vdiv 2)*2+1))÷2-b×(Ye((h div 2)*2，(v div 2)*2+1)×2+Ye((h div 2)*2，(vdiv 2)*2-1)+Ye((h div 2)*2+2，(v div 2)*2+1))÷4)

此外虽然在上述第1实施例中，全色滤光片的配置设定成为相间配置，但是也可以像图4(a)那样把纵向两个像素、横向两个像素的重复模式中的上边两个像素取为全色透射滤光片，把下边两个像素取为青绿色透射滤光片、黄色透射滤光片，全色透射滤光片横向连续配置，作为优点使水平分辨率提高。进而，全色滤光片的配置也可以像图4(b)那样纵向两个像素、横向两个像素的重复模式中的上边两个像素具有从左起全色透射滤光片、青绿色透射滤光片的重复模式，下边两个像素从左起取为全色透射滤光片、黄色透射滤光片，全色透射滤光片纵向连续配置，作为优点得到垂直分辨率提高的效果。此外把上述四个像素的模式取为每个模式都更换的结构，也可以得到同样的分辨率。

进而，虽然在上述第1实施例中针对进行4∶2∶0输出的场合来描述，虽然在色差信号变换之际彩色分辨率下降，但是由于通过利用周围像素的方式在任何位置都可以配置R、G、B分量，所以不仅此一4∶2∶0输出，而且进行4∶4∶4，4∶2∶2，4∶1∶1输出也是可能的。

此外，虽然在上述第1实施例中，除了全色透射滤光片以外采用青绿色透射滤光片和黄色透射滤光片，但是也可以在此一全色透射滤光片以外采用红色透射滤光片、蓝色透射滤光片。优点是没有必要从滤光片取出R分量和B分量，可以简化计算。缺点是因为在红色滤光片、蓝色滤光片中不包含绿色分量G故成了G分量也从周围像素来补充，所以辉度信息的分辨率就降低。

此外，虽然在上述第1实施例中的说明中，说明了纵向两个像素、横向两个像素的分色滤光片上边两个像素由从左起全色透射滤光片、青绿色透射滤光片，下边两个像素由从左起黄色透射滤光片、全色透射滤光片来构成的例子，但是就其他的滤光片的透射彩色原封不动而改变排列方式者，或者两个全色透射滤光片原封不动而把青绿色和黄色的透射滤光片的透射彩色改变成青绿色和品红色、或品红色和黄色、或者红色和蓝色、或红色和绿色、或绿色和蓝色的构成来说，同样能够实施。

第2实施例

下面就对应于本发明的权利要求1、权利要求3的第2实施例进行说明。

图1(c)示出附带于图1(a)中的固体摄像元件2的表面的固体彩色摄像元件的分色滤光片，表示以纵向一个像素，横向四个像素重复的一个例子的模式，滤光片的配置从左起由全色透射滤光片、青绿色透射滤光片、全色透射滤光片、黄色透射滤光片来构成。

图3(b)示出本第2实施例中的图1(a)的图像信号处理电路4的输入输出信号。

在图1(a)中，经由光学系统1使拍摄对象在固体摄像元件表面上成像，靠带有分色滤光片的固体摄像元件2把所成像的拍摄对象像(光学像)变换成图像信号(电气信号)，靠AD转换器3把从固体摄像元件所得到的图像信号变换成数字图像信号，靠图像信号处理电路4把从AD转换器所得到的数字图像信号变换成辉度信号和色差信号。进而，附带于固体摄像元件2的分色滤光片的排列如图1(c)中所示是重复纵向一个像素、横向四个像素的模式的构成，此一模式的滤光片，是从左起的全色透射滤光片、青绿色透射滤光片、全色透射滤光片、黄色透射滤光片，制成四个像素中两个具有全色透射滤光片，另外两个像素为青绿色透射滤光片、黄色透射滤光片的构成。此时从固体摄像元件所得到的图像信号成为两个全色信息、一个青绿色信息、一个黄色信息的合计四个，对此四个进行矩阵计算，从图像信号处理电路4输出四个辉度信号，一个R-Y色差信号，一个B-Y色差信号。

下面参照图3(b)就图像信号处理电路中的向辉度信号、色差信号的变换动作进行说明。

如果用各透射滤光片来表示光的原色分量(红色、绿色、蓝色，分别为R、G、B)，则通常为w＝R+G+B，Cy＝G+B，Ye＝R+G。辉度信息由R、G、B所有分量来构成，关于全色透射滤光片的所在位置的辉度信号Y仅由成为纯粹的采样信息的来自全色透射滤光片的信号作成，近似为

Y(h，v)＝a×W(h，v)

式中，a是调整动态范围用的系数，h在图3(b)的例子中始终为偶数。

此外关于没有全色透射滤光片的位置的辉度信号Y也使用周围位置的信息作成，作为简单的作成方法，近似为

Y(h，v)＝a×((W(h-1，v)+W(h+1，v))÷2)

式中，a是调整动态范围用的系数，h在图3(b)的例子中始终为奇数。

或者，生成作为纯粹的采样信息的合适位置的彩色信息，如果是青绿色滤光片的所在位置的辉度信号Y，则由于Cy没有辉度信号分量中的R分量，所以根据周围像素来插补，近似为

R(h，v)＝a×((w(h-1，v)+w(h+1，v))×2+w(h-1，v-1)+w(h+1，v-1)+w(h-1，v+1)+w(h+1，v+1))÷8-b×(Cy(h，v)×2+Cy(h，v-1)+Cy(h，v+1))÷4Y(h，v)＝b×Cy(h，v)+R(h，v)

如果是黄色滤光片的所在位置的辉度信号Y，则由于Ye没有辉度信号分量中的B分量，所以根据周围像素来插补，也可以近似为

B(h，v)＝a×((w(h-1，v)+w(h+1，v))×2+w(h-1，v-1)+w(h+1，v-1)+w(h-1，v+1)+w(h+1，v+1))÷8-c×(Ye(h，v)×2+Ye(h，v-1)+Ye(h，v+1))÷4Y(h，v)＝c×Ye(h，v)+B(h，v)

式中，b、c是调整动态范围用的系数，如令mod为仅取出整数的除法运算的余数的计算，则青绿色滤光片的所在位置的h为(hmod 4)＝1，黄色滤光片的所在位置的h为(h mod 4)＝3。

根据Cy像素和Ye像素求出上述辉度信号Y之际所需的R和B分量，通过利用周围像素的信息的插补来作成，因而上述辉度信号Y不是根据固体摄像元件引起的纯粹的采样信息求出的。可是，就Cy像素来说G+B分量，就Ye像素来说R+G分量作为纯粹的采样信息保留下来，所插补的R和B分量在辉度信号Y中最大为三分之一，影响很小，成为保持高分辨率状态的辉度信号Y。

此外，就色差信号(R-Y，B-Y)来说，关于四个辉度信号取出各一个的信息，以辉度信号的纵向一个像素、横向四个像素为一个模式，用简单的计算方法，首先变换成R、G、B。色差信号变换用的R、B分量为

R(h，v)＝a×W((h div 4)*4，v)-b×Cy((h div 4)*4+1，v)

B(h，v)＝a×W((h div 4)*4+2，v)-c×Ye((h div 4)*4+3，v)

进而G成为

G(h，v)＝a×(W((h div 4)*4，v)+W((h div 4)*4+2，v))÷2-R(h，v)-B(h，v)

根据此一RGB，色差信号近似地近似为

R-Y(h，v)＝2×R(h，v)-G(h，v)

B-Y(h，v)＝2×B(h，v)-G(h，v)

式中，a、b、c是调整动态范围用的系数。

这样得到的一对色差信号因为对于邻接的其他色差信号不重复固体摄像元件的输出而变换故而彩色分辨率提高。

通过进行以上的运算，如图3(b)中所示，成为对于纵向一个像素、横向四个像素的四个辉度信号Y，得到各一个两种色差信号R-Y、B-Y，就得到如图3(b)中所示的，适合于作为向4∶1∶1形式的元件的输入信号的形式。

再者，除了上述之外通过把全色透射滤光片的透射率关于R设定成0.3，关于B设定成0.59，关于G设定成0.11的比率，由于该全色透射滤光片的透射率之比等于辉度信号Y的原色混合比所以得到纯粹的辉度信号，可以进一步提高分辨率。关于这一点可以用与第1实施例矩阵变化同样的方法来计算。

此外，与上述第1实施例同样，虽然在色差信号变换之际彩色分辨率下降，但是由于通过利用周围像素的方式在任何位置都可以配置R、G、B分量，所以不仅此一4∶1∶1输出，而且进行4∶4∶4，4∶2∶2，4∶2∶0输出也是可能的。

再者，全色滤光片的配置，与图1(c)、图3(a)的配置不同，如图5(a)中所示，在纵向一个像素、横向四个像素的重复模式的纵向的重复时把透射滤光片依次错开一个像素，把全色透射滤光片制成相间形的配置，借此可以提高辉度信号的倾斜的分辨率。进而，如图5(b)中所示，把全色以外的透射滤光片的配置换上图1(c)的全色透射滤光片，而且制成替换青绿色和黄色的透射滤光片的八个像素的模式的重复配置，借此可以实现对应于纵向一个像素、横向四个像素的4∶1∶1方式，纵向两个像素、横向两个像素的4∶2∶0方式的两方的，有彩色分辨率的滤光片配置。

此外，虽然在第2实施例中的说明中，说明了纵向一个像素、横向四个像素的分色滤光片由从左起全色透射滤光片、青绿色透射滤光片、全色透射滤光片、黄色透射滤光片来构成的例子，但是就其他的滤光片的透射彩色原封不动而改变排列方式，或者两个全色透射滤光片原封不动而把青绿色和黄色的透射滤光片的透射彩色改变成青绿色和品红色、或品红色和黄色、或者红色和蓝色、或红色和绿色、或绿色和蓝色的构成来说，也同样能够实施。只要在透射滤光片的重复模式中作为重复四个像素模式配置两个全色透射滤光片和两种各一个透射非全色的彩色的滤光片，就得到同样的效果。此外，就把纵向一个像素、横向四个像素的分色滤光片的模式在纵向准备四种模式，该四种模式的分色滤光片的排列方式各不相同的构成来说，也同样能够实施。

第3实施例

下面用图6、图7就对应于本发明的权利要求4、权利要求5、权利要求9和权利要求12的第3实施例进行说明。

在图6(a)中，1是光学系统，是实现使拍摄对象在固体摄像元件上成像的作用，由透镜等构成。2是带有分色滤光片的固体摄像元件，实现把所成像的拍摄对象像(光学像)变换成图像信号(电气信号)的作用。3是AD转换器，把从固体摄像元件2所得到的图像信号变换成数字图像信号。5是存储电路，储存一个画面的由AD转换器3所变换的数字图像信号。6是相关度计算电路，计算储存在存储电路6中的数字图像信号的任意像素中的与周围像素的相关度。7是插补处理电路，基于从相关度计算电路6所计算的相关度来进行插补处理，输出辉度信号和色差信号。靠这些光学系统1，带有分色滤光片的固体摄像元件2，AD转换器3，存储电路5，相关度计算电路6，插补处理电路7的各电路，作成辉度信号和色差信号。

图6(b)中示出固体摄像元件2上的分色滤光片的构成。以纵横邻接的四个像素为一个排列单位，滤光片的配置由上边两个像素从左起全色透射滤光片、青绿色透射滤光片，下边两个像素从左起黄色透射滤光片、全色透射滤光片来构成。此一排列单位在纵横方向上连续地重复配置着。

如果用RGB分量来表示收入存储电路(未画出)的W像素、Cy像素、Ye像素，则可以表达为W＝(R+G+B)/3，Cy＝(G+B)/3，Ye＝(R+B)/3，如令W像素W≈Y则可以把W像素的输出信号原封不动地表达为辉度信号。就Cy像素和Ye像素来说，通过插补运算求出R分量和B分量，通过分别加到Cy像素、Ye像素上，就可以表达辉度信号。虽然在插补中利用周围像素的信号，但是由相关度计算电路6计算与被插补像素的相关度来确定插补中使用的周围像素。首先一开始就相关度的计算方法进行描述。

图7是在以青绿色像素Cyn为被插补像素的场合，示出周围像素的配置者，●号和○号是此一Cyn像素的插补处理中不需要的Ye像素和W像素。令作为图7中所示的①-①’方向的纵向的相关度为Vc，作为②-②’方向的横向的相关度为Hc，分别用下式来计算。

Vc＝|Wu-Wd|+|Cyu-Cyn|+|Cyd-Cyn|    (1)

Hc＝|Wl-Wr|+|Cyl-Cyn|+|Cyr-Cyn|    (2)

用此一结果，按以下条件式来确定相关方向。

Vc+Th＜Hc              (3)

Hc+Th＜Vc              (4)

再者，Th是阈值，是特定的常数。相关方向在式(3)成立的场合判断为纵向，在式(4)成立的场合判断为横向。在式(3)和式(4)两方都不成立的场合判断为没有相关方向。

下面就插补处理进行描述。

在相关方向被判断为纵向的场合，插补处理中使用的像素，对于被插补像素Cyn仅利用纵向的周围像素，用下式来计算不足分量RCy。

RCy＝(Wu+Wd)/2-(2*Cyn+Cyu+Cyd)/4            (5)

在被判断为横向的场合，插补处理中使用的像素，对于被插补像素Cyn仅利用横向的周围像素，用下式来计算不足分量RCy。

RCy＝(Wl+Wr)/2-(2*Cyn+Cyl+Cyr)/4            (6)

此外，在被判断为没有相关方向的场合，对于被插补像素Cyn利用横向和纵向两方的周围像素，用下式来计算不足分量RCy。

RCy＝(Wu+Wd+Wl+Wr)/4-(4*Cyn+Cyu+Cyd+Cyl+Cyr)/8    (7)

用由式(5)～(7)所得到的不足分量RCy，可以由下式把被插补像素Cyn的W分量求出为W’＝Cyn+RCy。

对于所有的被插补像素Cyn同样地通过上述操作来计算W’。

在Ye像素为被插补像素的场合，可以把式(1)～(2)的式中的Cy换成Ye，进行相关度计算，可以把式(5)～(7)的式中的右边的Cy换成Ye，来求出不足分量BYe。求出的不足分量不是R分量，只是变成B分量，通过令W’＝Yen+BYe，可以求出Ye像素的W分量。对于所有的被插补像素Yen同样地进行上述操作。

通过施行此一插补处理，求出Cy像素、Ye像素处的辉度W’，可以得到所有的辉度信号。用此一方法，由于W像素的信号原封不动地使用，在Cy像素和Ye像素处用与各自相关度高的周围像素来插补，所以可以减少分辨率的降低。

像以上这样在本第3实施例中，由于检测被插补像素和位于其周围的像素中的包含被插补像素在内的纵向和横向的相关度，进行插补，所以可以得到高精度的辉度信号，可以防止分辨率的降低。

第4实施例

下面用图8来说明对应于本发明的权利要求6的第4实施例。

本第4实施例的构成基本上与上述第3实施例的构成相同，在本第4实施例中进而在由相关度计算电路6的相关度计算上，增加还计算斜向的相关度的处理，此外在插补处理电路7中增加斜向相关时的插补处理。

下面首先就相关度的计算方法进行描述。

图8是示出在以青绿色像素Cyn为被插补像素的场合的周围像素的配置者，●号和○号是此一像素Cyn的插补处理中不需要的Ye像素和W像素。

在上述第3实施例中，仅求出图7中所示的①-①’方向和②-②’方向的相关度。这里进一步令图8中所示的作为③-③’方向的右斜下方向的相关度为Nr，令作为④-④’方向的左斜下方向的相关度为Nl，分别用下式来计算。

Nr＝|(Wu+Wl)/2-(Wd+Wr)/2|+|(Cyul-Cyn)|+|(Cydr-Cyn)|    (8)

Nl＝|(Wu+Wr)/2-(Wd+Wl)/2|+|(Cydl-Cyn)|+|(Cyur-Cyn)|    (9)

用此一结果，和由式(1)～(2)求出的Vc、Hc按以下条件式来确定相关方向。

Vc+Th＜min(Hc，Nr，Nl)          (10)

Hc+Th＜min(Vc，Nr，Nl)          (11)

Nr+Th＜min(Hc，Vc，Nl)          (12)

Nl+Th＜min(Hc，Vc，Nr)          (13)

再者，Th是阈值，是特定的常数，min是取括号内的各要素内的最小值的函数。相关方向在式(10)成立的场合判断为纵向，在式(11)成立的场合判断为横向，在式(12)成立的场合判断为右斜下方向，在式(13)成立的场合判断为左斜下方向。在式(10)～式(13)都不成立的场合判断为没有相关方向。

下面就插补处理进行描述。

虽然在上述第3实施例中，描述了相关方向被判断为纵横的场合和被判断为没有相关方向的场合的插补处理，但是这里进一步追加了相关方向被判断为斜向的场合的处理。

相关方向被判断为右斜下方向的场合，对于被插补像素Cyn仅利用右斜下方向的周围像素，用下式来计算不足分量RCy。

RCy＝(Wu+Wd+Wl+Wr)/4-(2*Cyn+Cyul+Cydr)/4          (14)

在被判断为左斜下方向的场合，对于被插补像素Cyn仅利用左斜下方向的周围像素，用下式来计算不足分量RCy。

RCy＝(Wu+Wd+Wl+Wr)/4-(2*Cyn+Cyur+Cydl)/4          (15)

这以下与上述第3实施例同样地进行插补处理，得到所有的辉度信号。

在本第4实施例中，像这样通过不仅检测纵横向而且检测斜向的相关度来进行插补，可以不仅减少纵横向而且还减少斜向的分辨率的降低。

第5实施例

下面用图9来说明对应于本发明的权利要求7的第5实施例。

本第5实施例的构成基本上与上述第3实施例的构成相同，在本第5实施例中进而在由相关度计算电路6的相关度计算上，增加还计算L字方向的相关度的处理，在插补处理电路7中增加L字方向相关时的插补处理。

首先就相关度的计算方法进行描述。

图9是在以青绿色像素Cyn为被插补像素的场合示出周围像素的配置者，●号和○号是此一像素Cyn的插补处理中不需要的Ye像素和W像素。

在上述第3实施例中，仅求出图7中所示的①-①’方向和②-②’方向的相关度。这里进一步令作为图9中所示的⑤-⑤’方向的左上L字方向的相关度为Lul，令作为⑥-⑥’方向的右上L字方向的相关度为Lur，令作为⑦-⑦’方向的左下L字方向的相关度为Ldl，令作为⑧-⑧’方向的右下L字方向的相关度为Ldr，分别用下式来计算。

Lul＝|Wu-Wl|+|Cyu-Cyn|+|Cyl-Cyn|       (16)

Lur＝|Wu-Wr|+|Cyu-Cyn|+|Cyr-Cyn|       (17)

Ldl＝|Wd-Wl|+|Cyd-Cyn|+|Cyl-Cyn|       (18)

Ldr＝|Wd-Wr|+|Cyd-Cyn|+|Cyr-Cyn|       (19)

用此一结果，和由式(1)～(2)求出的Vc、Hc按以下条件式来确定相关方向。

Vc+Th＜min(Hc，Lul，Ldl，Lur，Ldr)          (20)

Hc+Th＜min(Vc，Lul，Ldl，Lur，Ldr)          (21)

Lul+Th＜min(Hc，Vc，Ldl，Lur，Ldr)          (22)

Lur+Th＜min(Hc，Vc，Lul，Ldl，Ldr)          (23)

Ldl+Th＜min(Hc，Vc，Lul，Lur，Ldr)          (24)

Ldr+Th＜min(Hc，Vc，Lul，Ldl，Lur)          (25)

再者，Th是阈值，是特定的常数，min是取括号内的各要素内的最小值的函数。相关方向在式(20)成立的场合判断为纵向，在式(21)成立的场合判断为横向，在式(22)成立的场合判断为左上L字方向，在式(23)成立的场合判断为右上L字方向，在式(24)成立的场合判断为左下L字方向，在式(25)成立的场合判断为右下L字方向。在式(20)～式(25)都不成立的场合判断为没有相关方向。

下面就插补处理进行描述。

虽然在上述第3实施例中，描述了相关方向被判断为纵横的场合和被判断为没有相关方向的场合的插补处理，但是这里进一步追加了相关方向被判断为L字方向的场合的处理。

相关方向被判断为左上L字方向的场合，对于被插补像素Cyn仅利用左上L字方向的周围像素，用下式来计算不足分量RCy。

RCy＝(Wu+Wl)/2-(2*Cyn+Cyu+Cyl)/4            (26)

在被判断为右上L字方向的场合，对于被插补像素Cyn仅利用右上L字方向的周围像素，用下式来计算不足分量RCy。

RCy＝(Wu+Wr)/2-(2*Cyn+Cyu+Cyr)/4            (27)

在被判断为左下L字方向的场合，对于被插补像素Cyn仅利用左下L字方向的周围像素，用下式来计算不足分量RCy。

RCy＝(Wd+Wl)/2-(2*Cyn+Cyd+Cyl)/4            (28)

在被判断为右下L字方向的场合，对于被插补像素Cyn仅利用右下L字方向的周围像素，用下式来计算不足分量RCy。

RCy＝(Wd+Wr)/2-(2*Cyn+Cyd+Cyr)/4            (29)

这以下与上述第3实施例同样地进行插补处理，得到所有的辉度信号。

在本第5实施例中，像这样通过不仅检测纵横向而且检测L字方向的相关度来进行插补，可以不仅减少纵横向而且还减少L字方向的分辨率的降低。

第6实施例

下面就对应于本发明的权利要求8的第6实施例进行说明。

本第6实施例的构成基本上与上述第3实施例的构成相同，在由相关度计算电路6的相关度计算上，增加还计算斜向和L字方向的相关度的处理，在插补处理电路7的处理中增加斜向相关时和L字方向相关时的插补处理。

首先就相关度的计算方法进行描述。

在上述第3实施例中，仅求出图7中所示的①-①’方向和②-②’方向的相关度Vc、Hc。这里进一步令作为图8中所示的③-③’方向的右斜下方向的相关度为Nr，和作为④-④’方向的左斜下方向的相关度为Nl，与上述第4实施例同样地求出，令作为图9中所示的⑤-⑤’方向的左上L字方向的相关度为Lul，令作为⑥-⑥’方向的右上L字方向的相关度为Lur，令作为⑦-⑦’方向的左下L字方向的相关度为Ldl，令作为⑧-⑧’方向的右下L字方向的相关度为Ldr，与上述第5实施例同样地求出。

用此一结果，按以下条件式来确定相关方向。

Vc+Th＜min(Hc，Nr，Nl，Lul，Lur，Ldl，Ldr)    (30)

Hc+Th＜min(Vc，Nr，Nl，Lul，Lur，Ldl，Ldr)    (31)

Nr+Th＜min(Hc，Vc，Nl，Lul，Lur，Ldl，Ldr)    (32)

Nl+Th＜min(Hc，Vc，Nr，Lul，Lur，Ldl，Ldr)    (33)

Lul+Th＜min(Hc，Vc，Nr，Nl，Lur，Ldl，Ldr)    (34)

Lur+Th＜min(Hc，Vc，Nr，Nl，Lul，Ldl，Ldr)    (35)

Ldl+Th＜min(Hc，Vc，Nr，Nl，Lul，Lur，Ldr)    (36)

Ldr+Th＜min(Hc，Vc，Nr，Nl，Lul，Lur，Ldl)    (37)

再者，Th是阈值，是特定的常数，min是取括号内的各要素内的最小值的函数。相关方向在式(30)成立的场合判断为纵向，在式(31)成立的场合判断为横向，在式(32)成立的场合判断为右斜下方向，在式(33)成立的场合判断为左斜下方向，在式(34)成立的场合判断为左上L字方向，在式(35)成立的场合判断为右上L字方向，在式(36)成立的场合判断为左下L字方向，在式(37)成立的场合判断为右下L字方向。在式(30)～式(37)都不成立的场合判断为没有相关方向。

下面就插补处理进行描述。

虽然在上述第3实施例中，描述了相关方向被判断为纵横的场合和被判断为没有相关方向的场合的插补处理，但是这里进一步追加了相关方向被判断为斜向，以及L字方向的场合的处理。

相关方向被判断为右斜下方向的场合，对于被插补像素Cyn仅利用右斜下方向的周围像素，用式(14)来计算不足分量RCy。在被判断为左斜下方向的场合，对于被插补像素Cyn仅利用左斜下方向的周围像素，用式(15)来计算不足分量RCy。相关方向被判断为左上L字方向的场合，对于被插补像素Cyn仅利用左上L字方向的周围像素，用式(26)来计算不足分量RCy。在被判断为右上L字方向的场合，对于被插补像素Cyn仅利用右上L字方向的周围像素，用式(27)来计算不足分量RCy。在被判断为左下L字方向的场合，对于被插补像素Cyn仅利用左下L字方向的周围像素，用式(28)来计算不足分量RCy。在被判断为右下L字方向的场合，对于被插补像素Cyn仅利用右下L字方向的周围像素，用式(29)来计算不足分量RCy。

这以下与上述第3实施例同样地进行插补处理，得到所有的辉度信号。

在本第6实施例中，像这样通过不仅检测纵横向而且检测斜向和L字方向的相关度来进行插补，可以不仅减少纵横向而且还减少斜向和L字方向的分辨率的降低。

第7实施例

下面就对应于本发明的权利要求10的第7实施例进行说明。

本第7实施例的构成与上述第3～6实施例的构成相同，只是在相关度计算电路6中的相关度计算方法与它们不同。虽然在上述第3～6实施例中求出的纵向相关度Vc、横向相关度Hc、右斜下方向的相关度Nr、左斜下方向的相关度Nl、左上L字方向的相关度Lul、右上L字方向的相关度Lur、左下L字方向的相关度Ldl、右下L字方向的相关度Ldr中，用同色像素彼此来运算，但是这里通过与邻接的异色像素的运算，用以下所示的公式求出。

Vc＝|Wu-Cyn|+|Wd-Cyn|                  (38)

Hc＝|Wl-Cyn|+|Wr-Cyn|                  (39)

Nr＝|(Wu+Wl)/2-Cyn|+|(Wd+Wr)/2-Cyn|    (40)

Nl＝|(Wu+Wr)/2-Cyn|+|(Wd+Wl)/2-Cyn|     (41)

Lul＝|Wu-Cyn|+|Wl-Cyn|                  (42)

Ldl＝|Wd-Cyn|+|Wl-Cyn|                  (43)

Lur＝|Wu-Cyn|+|Wr-Cyn|                  (44)

Ldr＝|Wd-Cyn|+|Wr-Cyn|                  (45)

这以下，就相关方向的判断和插补处理来说，与上述第3～6实施例中的那些是相同的。

像这样在本第7实施例中，因为可以通过与邻接的异色像素的运算求出相关度，故可以提高相关度的计算精度。

第8实施例

下面就对应于本发明的权利要求11的第8实施例进行说明。

本第8实施例的构成与上述第3～6实施例的构成相同，只是在插补处理电路7中的插补处理方法与它们不同。

也就是说，本第8实施例，关于在上述第3～6实施例中求出的被插补像素Cyn，在插补处理中，在求出该被插补像素Cyn的辉度W’之际，不用Cyn本身，仅用周围的W像素，按下式来进行插补。

相关方向为纵向的场合，按

W’＝(Wu+Wd)/2                (46)

相关方向为横向的场合，按

W’＝(Wl+Wr)/2                (47)

相关方向为左上L字方向的场合，按

W’＝(Wu+Wl)/2                (48)

相关方向为左下L字方向的场合，按

W’＝(Wd+Wl)/2                (49)

相关方向为右上L字方向的场合，按

W’＝(Wu+Wr)/2                (50)

相关方向为右下L字方向的场合，按

W’＝(Wd+Wr)/2                (51)

相关方向为上述以外的场合，按

W’＝(Wu+Wd+Wl+Wr)/4        (52)

来进行插补。

在这种第8实施例中，因为仅用W来计算辉度信号，故插补精度提高，可以得到没有辉度不均匀的高分辨率的图像。

第9实施例

下面用图10、图11来说明对应于本发明的权利要求13和权利要求14的第9实施例。

本第9实施例，在通过上述实施例中的相关度检测判断为其被插补像素在特定的方向相关的场合，不根据其相关度，而是进行处理以便在该被插补像素的位置的色差信号(R-Y、B-Y)中加上小于1的增益。

图10中示出判定成相关最强的方向的相关度与加在色差信号上的增益的关系。虽然在辉度的边缘部容易出现伪色信号，但是通过使插补处理电路7中具有上述加上小于1的增益的处理，可以抑制在辉度的边缘部发生的伪色。进而，由于可以制成相关度检测电路6兼有边缘检测功能，所以不用另外附加辉度边缘检测电路就可以施行伪色抑制处理。

此外，也可以根据判定成相关最强的方向的相关度的大小而使加在色差信号上的增益变化。图11中示出此一场合的判定成相关最强的方向的相关度与加在色差信号上的增益的关系之一例。但是这里相关越强则相关度越小。

在图11中，针对相关度给出一定的宽度Th1，在每个此一宽度中逐渐减小加在色差上的增益。一般来说，越是辉度的级差大的边缘部，越成为浓的伪色。也就是由于越是相关消除，产生浓的伪色的可能性越大，所以可以根据该可能性来降低色差信号的电平，可以有效地抑制伪色。

第10实施例

下面用图12、图13、图14、图15就对应于本发明的权利要求15和权利要求16的第10实施例进行说明。再者对于与前述实施例相同的构成使用相同的标号，省略其说明。

图12示出根据本第10实施例的固体彩色摄像装置的构成，基本上与图6中所示的构成相同，成为在图6的构成中追加了频率特性调整电路10的构成。图6的插补处理电路7在图12中分解为辉度信号插补处理电路8和色差信号插补处理电路9画出，成为在色差信号插补处理电路9的前级插入频率特性调整电路10的构成。储存在存储电路5中的图像信号在频率特性调整电路10中调整其频率特性，向色差信号插补处理电路9输入。

图13是频率特性调整电路10中的把频带限制于低通，说明调整彩色信号的频率特性的动作用的示意图。增设低通滤波器的频率特性调整可以在纵向、横向、与纵横斜向上进行。在纵向上增设低通滤波器时，以被调整频率特性像素为中心用纵向的2n+1点(n＝1，2…)同色信号，计算在各点加上决定滤波器的特性的系数者的平均。例如，以图13的Cy23为被调整频率特性像素，用纵向的三点同色信号，增设低通滤波器的场合的频率特性调整电路10的输出信号Cy23’可以像式(53)那样表达。

Cy23′＝(Cy03+Cy23+Cy43)/3        (53)

同样在横向上增设低通滤波器时，以被调整频率特性像素为中心用横向的2n+1点(n＝1，2…)同色信号，计算在各点加上决定滤波器的特性的系数者的平均。例如，以图13的Cy23为被调整频率特性像素，用横向的三点同色信号，如果把系数全都取为1，则增设低通滤波器的场合的频率特性调整电路10的输出信号Cy23’可以像式(54)那样表达。

Cy23′＝(Cy21+Cy23+Cy25)/3        (54)

同样在纵横向上增设低通滤波器时，以被调整频率特性像素为中心用纵横向的(2n+1)×(2m+1)点(n，m＝1，2…)同色信号，计算在各点加上决定滤波器的特性的系数者的平均。例如，以图13的Cy23为被调整频率特性像素，用纵横向的九点同色信号，如果把系数全都取为1，则增设低通滤波器的信号可以像式(55)那样表达。

Cy23′＝(Cy01+Cy03+Cy05+Cy21+Cy23+Cy25

+Cy41+Cy43+Cy45)/9      (55)

同样在斜向上增设低通滤波器时，以被调整频率特性像素为中心用纵横十字方向的2n+2m+1点(n，m＝1，2…)同色信号，计算在各点加上决定滤波器的特性的系数的平均。例如，以图13的Cy23为被调整频率特性像素，用纵横十字方向的五点同色信号，如果把系数全都取为1，则增设低通滤波器的信号可以像式(56)那样表达。

Cy23′＝(Cy03+Cy21+Cy23+Cy25+Cy43)/5           (56)

此一调整频率特性的操作，针对为了插补合成色差信号所需的所有彩色信号来进行。

例如，在以Cy23为被插补像素，用W22和W24的周围像素来合成色差信号的场合，在纵横方向上增设低通滤波器时，像式(57)、(58)、(59)那样，计算插补所需的彩色信号。

W22′＝(W00+W02+W04+W20+W22+W24+W40+W42+W44)/9     (57)

Cy23′＝(Cy01+Cy03+Cy05+Cy21+Cy23+Cy25

+Cy41+Cy43+Cy45)/9                             (58)

W24′＝(W02+W04+W06+W22+W24+W26+W42+W44+W46)/9 (59)

在图12的色差信号插补处理电路9中，用上述Cy23’、W22’、W24’，按下式输出R-Y色差信号。

R-Y＝A×(W22′+W24′)-B×Cy23′                (60)

式中，A、B是由白色平衡等决定的常数。在Ye位置上也按同样的位置关系，通过施行上述频率特性调整和色差信号插补处理，可以输出B-Y色差信号。

图14中用实线示出把作为彩色信号的频率特性调整用三点平均时的振幅特性11和作为色差信号的插补处理用直线插补时的振幅特性12结合起来者。横轴是频率，各自的彩色信号的采样频率用π来表示。如果如图14中所示用施行了频率特性调整的彩色信号进行直线插补，则可以减少包含图15中用虚线表示的包含在彩色信号的π/2附近的折返失真的频率分量地插补。

在本第10实施例中，通过这样的构成，在储存在存储电路5中的彩色信号中包含高频分量的场合，因为靠频率特性调整电路10来减少包含折返失真的频率分量，在色差信号插补处理电路9中用此一调整了频率特性的彩色信号来插补合成色差信号，故可以减少伪色信号。

第11实施例

下面用图16就对应于本发明的权利要求17和权利要求18中所述的发明的实施例进行说明。再者，关于与前述实施例相同的构成用相同的标号，省略其说明。

图16示出根据本第11实施例的固体彩色摄像装置的构成，基本上与图12中所示的构成相同，构成为频率特性调整电路10由相关度检测电路6的输出来控制。

如果用这样的构成，则在相关度检测电路6中判定成有相关方向的场合，被插补像素的彩色信号在频率特性调整电路10中调整频率特性。进而，用调整了频率特性的该被插补像素的彩色信号，在色差信号插补处理电路9中运算色差信号。此一场合的处理与上述第10实施例的那些完全相同。

相反，在相关度检测电路6中判定成没有相关方向的场合，被插补像素的彩色信号在频率特性调整电路10中不进行任何处理，原封不动地输出到色差信号插补处理电路9，与来自辉度信号插补处理电路8的辉度信号一起用来补运算色差信号。

像这样在本第11实施例中，对包含高频分量的有相关方向的彩色信号来说，靠频率特性调整电路10来调整其频率特性，与上述第10实施例中所示者同样地减少伪色信号的发生。另一方面，对没有相关方向的彩色信号来说，由于本来就不包含伪色分量，所以没有必要调整频率特性，因为彩色信号的频率分量没有因频率特性调整而衰减，故保持彩色的再现性。

工业实用性

像以上这样根据本发明的固体彩色摄像装置，作为从固体摄像元件表面的分色滤光片的邻接的纵横四个像素取出四个辉度信息、两个彩色信息，借此辉度分辨率高，彩色分辨率中也可以减少恶化，进行像素间的插补处理得到高分辨率的固体彩色摄像装置的信号处理方法是有用的。

Claims (18)

1.一种固体彩色摄像装置，其特征在于，备有：

固体摄像元件，保持有以纵横邻接的四个像素为一个排列模式的分色滤光片，该排列模式的分色滤光片中，两个像素的每一个是全色透射滤光片，剩下的两个像素是透过不同的两种颜色的滤光片，其中纵横重复前述四个像素的排列模式，而且具有个别地取出该分色滤光片的每个像素的图像信息的装置；以及

信号处理电路，基于从前述固体摄像元件个别地取出的图像信息，针对前述排列模式的一个，作成四个辉度信号和两种彩色信号，在前述四个辉度信号当中，仅用从两个前述全色透射滤光片位置所得到的信息来作成两个前述全色透射滤光片位置的辉度信号，分别用从各剩下的透过前述不同的两种颜色的滤光片位置所得到的彩色信息和从相应像素的周围像素所得到的信息来作成剩下的透过前述不同的两种颜色的滤光片位置的辉度信号，用从包括从透过前述不同的两种颜色的滤光片位置所得到的图像信息在内的相应像素的周围像素所得到的信息来作成前述两种彩色信号。

2.权利要求1所述的固体彩色摄像装置，其特征在于，其中

以纵横邻接的四个像素为一个排列模式的前述分色滤光片，是成为纵向两个像素、横向两个像素的构成，根据从前述排列模式取出的信息作成由四个辉度信号和两种彩色信号各一个组成的合计六个信号，输出到4:2:0方式的设备中。

3.权利要求1所述的固体彩色摄像装置，其特征在于，其中

以纵横邻接的四个像素为一个排列模式的前述分色滤光片，是成为纵向一个像素，横向四个像素的构成，根据从前述排列模式取出的信息作成由四个辉度信号和两种彩色信号各一个组成的合计六个信号，输出到4:1:1方式的设备中。

4.权利要求1所述的固体彩色摄像装置，其特征在于，其中前述信号处理电路包括：

分别取入从前述固体摄像元件的各像素输出的彩色信号并存储起来的存储装置；

以透过存储在该存储装置中的前述不同的两种颜色的滤光片位置的像素作为被插补像素，基于相对于该被插补像素在预定方向相邻的周围像素的彩色信号计算该被插补像素的相关度的相关度计算装置；以及

比较前述计算出的相关度，在相关度大的方向上进行像素的插补并计算上述被插补像素的位置的亮度信号的插补处理装置。

5.权利要求4所述的固体彩色摄像装置，其特征在于，其中

上述相关度计算装置计算上述被插补像素和位于其周围的像素中的、包括被插补像素在内的上述被插补像素在横向或纵向的相关度。

6.权利要求4所述的固体彩色摄像装置，其特征在于，其中

上述相关度计算装置计算上述被插补像素和位于其周围的像素中的、包括被插补像素在内的上述被插补像素在横向或纵向的相关度，以及，进而斜向的相关度。

7.权利要求4所述的固体彩色摄像装置，其特征在于，其中

上述相关度计算装置计算上述被插补像素和位于其周围的像素中的、包括被插补像素在内的上述被插补像素在横向或纵向的相关度，以及进而向右并向上，或者向右并向下，或者向左并向上，或者向左并向下的相关度。

8.权利要求4所述的固体彩色摄像装置，其特征在于，其中

上述相关度计算装置计算上述被插补像素和位于其周围的像素中的，包括被插补像素在内的上述被插补像素在横向或纵向的相关度，以及进而斜向的相关度，以及进而向右并向上，或者向右并向下，或者向左并向上，或者向左并向下的相关度。

9.权利要求4所述的固体彩色摄像装置，其特征在于，其中

上述相关度计算装置计算上述被插补像素和位于其周围的像素间的同色信号之间的相关度。

10.权利要求4所述的固体彩色摄像装置，其特征在于，其中

上述相关度计算装置计算位于上述被插补像素周围的像素间的、成为异色信号的邻接像素之间的相关度。

11.权利要求4所述的固体彩色摄像装置，其特征在于，其中

上述插补处理装置，不用由上述相关度计算装置所计算出的相关度大的方向中的被插补像素的彩色信号，仅用该被插补像素周围的与将要生成的彩色信号同色的信号来施行插补处理。

12.权利要求4所述的固体彩色摄像装置，其特征在于，其中

上述插补处理装置，用由上述相关度计算装置所计算出的相关度大的方向中的被插补像素的彩色信号，根据该被插补像素周围的像素来计算将要生成的彩色信号的不足彩色部分，施行插补处理。

13.权利要求5至10中的任何一项中所述的固体彩色摄像装置，其特征在于，其中

如果由上述相关度计算装置所计算出的相关度小于给定的阈值，则上述插补处理装置施行降低对应于该被插补像素的彩色信号的增益的处理。

14.权利要求5至10中的任何一项中所述的固体彩色摄像装置，其特征在于，其中

如果由上述相关度计算装置所计算出的相关度小于给定的阈值，则上述插补处理装置施行根据上述相关度分级地降低对应于该被插补像素的彩色信号的增益的处理。

15.权利要求4所述的固体彩色摄像装置，其特征在于，其中

上述插补处理装置备有

调整从上述固体摄像元件所输出的各种彩色信号的频率特性以将频带限制为低通，降低折返失真的频率特性调整装置，

用施行了该频率特性调整的彩色信号来插补合成色差信号的色差信号插补处理装置。

16.权利要求15所述的固体彩色摄像装置，其特征在于，其中

上述插补处理装置备有

调整从上述固体摄像元件所输出的各种彩色信号的频率特性以将频带限制为低通，降低折返失真的频率特性调整装置，

用施行了该频率特性调整的彩色信号将透过上述不同的两种颜色的滤光片的各位置处的R-Y色差信号和B-Y色差信号进行插补合成的色差信号插补处理装置。

17.权利要求15所述的固体彩色摄像装置，其特征在于，其中

上述频率特性调整装置根据由上述相关度计算装置所计算出的相关度来判定相关方向，在有相关度大的方向时进行上述频率特性调整，在没有相关度大的方向时不进行频率特性调整。

18.权利要求16所述的固体彩色摄像装置，其特征在于，其中

上述频率特性调整装置根据由上述相关度计算装置所计算出的相关度来判定相关方向，在有相关度大的方向时进行频率特性调整，在没有相关度大的方向时不进行频率特性调整。

Images