CN1625268A - 固体摄像元件和图像信号处理装置 - Google Patents

Abstract

使安装在图像传感器的彩色滤光片，在奇数列交替排列G、B，在偶数列交替排列R、G，并且，在邻接的奇数列彼此、偶数列彼此之间互相的排列周期在列方向错位一个像素。图像信号处理装置在用图像传感器每三行加法运算的合成图像信号的同一行(第a行)上，抽出错位两列的数据D(a，b)、D(a，b+2)。D(a，b)将两个像素的颜色Cx、一个像素的颜色Cy作为成分，D(a，b+2)将一个像素的颜色Cx、两个像素的颜色Cy作为成分。取样点P(a，b)中的颜色成分值<Cx>、<Cy>由<Cx>＝[2D(a，b)－D(a，b+2)]/3、<Cy>＝[2D(a，b+2)－D(a，b)]/3来求出。

Description

固体摄像元件和图像信号处理装置

技术领域

本发明涉及颜色灵敏度不同的像素排列成嵌镶状的固体摄像元件和处理该固体摄像元件的输出图像信号的图像信号处理装置，特别涉及用于通过多行的相加合成，获得压缩在列方向的图像时，根据由相加合成而混合了颜色的图像信号，生成每一个颜色成分的图像信号的技术。

背景技术

在数码相机或其他带有相机功能的便携式终端中，正在提高所装载的固体摄像元件的像素数目。这些机器备有在显示部预览想要摄像的图像的功能。另外，不仅可以摄影静止图像，也可以摄影动态图像。

在预览动作或摄影动态图像中，要求：以比较短时间的帧速率反复处理图像之后显示或存储。可是，以高的帧速率从高分辨率的CCD图像传感器读出每一个像素的信息，由于会产生使水平移位寄存器的转送时钟频率特别变高，水平移位寄存器的转送效率退化或发热和消费电力增大等问题，故是不容易的。

另一方面，固体摄像元件的像素数与预览用监视器的像素数相比非常多。因此，在存储器等记录介质中记录图像时，虽然拍摄对应于固体摄像元件的像素数的高分辨率的图像，但在预览时，有时用对应于预览监视器的像素数的低分辨率的摄影就足够了。另外，动态图像在人的视觉特性上并不需要如静止图像那样的分辨率，即使在抑制记录数据量的意义上，也有时选择低于静止图像的分辨率来摄影的情况。

因此，以往在预览时的摄影或动态图像摄影中，通过将存储在CCD图像传感器的摄像部的信息电荷，只是跳着行读出或相加合成多行后读出，从而可以向列方向(垂直方向)输出使分辨率降低了的图像信号，可以抑制每一个画面的水平转送次数。

那么，在具备了Bayer型彩色滤光片等、在列方向排列了多个颜色的彩色滤光片的CCD图像传感器中，在将多行信息电荷在列方向相加合成后读出的情况下，混合具有互不相同的颜色灵敏度特性的像素的信息电荷。即，变为从CCD图像传感器输出混合了多种颜色成分的图像信号。

图5是表示Bayer型彩色滤光片的排列的示意图。作为从在该Bayer型彩色滤光片中相加合成后得到的图像信号分离每一个颜色成分的方法，说明以往提出的技术方案。为了说明的方便，在图5中，从靠水平移位寄存器(水平转送部)开始按顺序附以行编号α，从水平转送部的输出端侧开始按顺序附以列编号β。图5所示的Bayer排列的彩色滤光片，例如由R(红)、G(绿)、B(蓝)三色组成，行编号α和列编号β所指定的受光像素的颜色(颜色灵敏度特性)C(α、β)如下决定。

【数1】

C(2λ-1，2μ-1)＝B

C(2λ，2μ)＝R               ......(1)

C(2λ-1，2μ)＝C(2λ，2μ-1)

(其中λ、μ为自然数)

对应于该摄像部的各像素存储的信息电荷的多行相加合成可以在由水平移位寄存器构成的水平转送部中进行。由摄像部获得的信息电荷在行间转送型CCD图像传感器中是从摄像部的垂直移位寄存器开始，另外在帧转送型CCD图像传感器中是从存储部的垂直移位寄存器开始，以行为单位按顺序地行转送到水平转送部。通过在停止垂直移位寄存器驱动的状态下多次进行该行转送，从而在水平移位寄存器上累加多行的信息电荷，实现多行的加法合成。此时，在水平移位寄存器的每一个比特中存储将来自列方向上连续的多个像素的信息电荷进行过合成的电荷，如果水平转送驱动水平移位寄存器，则对应于该被合成的信息电荷的信号，作为一行的图像信号(合成图像信号)，从输出部输出。

在(1)式所定义的彩色滤光片排列中，矩阵配置的受光像素的奇数列是如B、G、B、G、......所示，反复配置由G和B所组成的像素集。另一方面，偶数列是G、R、G、R......的形态，反复配置由R和G组成的像素集。因此，在加法合成了多行的信息电荷中包含R及G或G及B的成分。为了能分离它们，加法合成的行数是奇数行，例如设定为三行。这种情况下，从CCD图像传感器输出的第a行的合成图像信号(a≥1)是合成摄像部的第(3a-2)～3a行的信息电荷而生成的信号。在此，通过使加法行数为奇数，从而从CCD图像传感器输出的第a行和第(a+1)行的合成图像信号中、对应于相同列的信号值是混合了相同颜色种类，且混合比互不相同的值。接受了来自CCD图像传感器的输出图像信号的信号处理电路利用这个来进行颜色分离处理。

下面，将对应于CCD图像传感器的摄像部的第α行第β列像素的信号值，分别对应于该像素的颜色R、G、B，用记号R(α，β)、G(α，β)、B(α，β)来表示，另外，在从CCD图像传感器输出的第a行的输出图像信号中，将对应于摄像部第b列的图像信号值用记号D(a，b)来表示。

在用(1)式表示的图5的彩色滤光片的排列中，加法合成三行而获得的图像信号值存在颜色混合比率不同的如下四种。

【数2】

D(2λ-1，2μ-1)＝B(6λ-5，2μ-1)+G(6λ-4，2μ-1)+B(6λ-3，2μ-1) ...(2)

D(2λ，2μ-1)＝G(6λ-2，2μ-1)+B(6λ-1，2μ-1)+G(6λ，2μ-1)     ...(3)

D(2λ-1，2μ)＝G(6λ-5，2μ)+R(6λ-4，2μ)+G(6λ-3，2μ)         ...(4)

D(2λ，2μ)＝R(6λ-2，2μ)+G(6λ-1，2μ)+R(6λ，2μ)             ...(5)

(在这里，λ、μ是自然数)

信号处理电路在预览时或动态图像摄影时，根据(2)～(5)式中给出的混色信号值，生成分离成R、G、B每个颜色成分的图像信号。该生成的图像信号的分辨率低于没有进行多行的加法合成的通常动作时的分辨率，设定在图像内的取样点的垂直方向的排列周期是对应于CCD图像传感器中的加法合成行数的。即，在这里，取样点针对垂直方向，每三行配置一个。

信号处理电路对奇数列利用(2)、(3)式，对偶数列利用(4)、(5)式，分别根据由列方向上连续的六个像素获得的信息电荷，求出对应于由该六个像素组成的像素区域位置的取样点中的颜色成分信号值。

作为该颜色分离处理的具体例子，说明对由奇数列上的连续的六个像素组成的像素区域进行的处理。适应于(2)、(3)式的表现，设处理对象的像素区域为位于第(2μ-1列)的第(6λ-5)～6λ行的六个像素所组成的区域。信号处理电路求出代表处理对象像素区域的取样点P(2λ-1，2μ-1)中的G信号值<G>(≡<G(2λ-1，2μ-1)>)和B信号值<B>(≡<B(2λ-1，2μ-1)>)。此时，将该像素区域内的G、B各自的值看成恒定值<G>、<B>的近似情形下，(2)、(3)式变为：

D(2λ-1，2μ-1)＝<G>+2<B>      ...(6)

D(2λ，2μ-1)＝2<G>+<B>        ...(7)。

由此，该像素区域的取样点中的信号值<G>、<B>由

【数3】

<G>＝[2D(2λ，2μ-1)-D(2λ-1，2μ-1)]/3  ...(8)

<B>＝[2D(2λ-1，2μ-1)-D(2λ，2μ-1)]/3  ...(9)来给出。信号处理电路计算(8)、(9)式，以求出<G>和<B>。

相对由位于偶数列(第2μ列)的(6λ-5)～6λ行的六个像素组成的像素区域的取样点P(2λ-1，2μ)中的R、G各自的信号值<R>、<G>是根据(4)(5)式而同样决定的。这样，从合成图像信号的第(2λ-1)行和第2λ行，可以求出每一列的信号值的组<G>和<B>或<R>和<G>。

另外同样，从合成图像信号的第2λ行和第(2λ+1)行，也可以求出每一个列的信号值的组<G>和<B>或<R>和<G>。这样，通过使利用在颜色分离处理中的两行所组成的合成图像信号的组错位一行来进行该颜色分离处理，从而可以获得和合成图像信号同等行数的颜色成分信号。

如上所述，在CCD图像传感器中，通过加法合成多行(n行)并读出，从而可以提高帧速率，但是，在装载了嵌镶排列的彩色滤光片的CCD图像传感器中，一般产生从合成图像信号分离颜色成分信号的必要。

现有技术是利用两行合成图像信号，根据分别各自的相同列位置的信号值，求出一个取样点中的颜色成分信号。即，一个取样点中的颜色成分信号接收列方向上连续的2n个像素(2n行×1列的像素区域)的信息电荷的影响。因此，存在：垂直方向(列方向)的分辨率和水平方向(行方向)的分辨率相差变大，或垂直方向分辨率退化可能大于加法合成的行数等问题。

发明内容

本发明以解决上述问题为目的，其目的在于提供一种在从加法合成多行后读出的合成图像信号中分离颜色成分信号的情况下，可以得到良好地保持垂直方向的分辨率且使垂直方向和水平方向的分辨率接近的良好图像的固体摄像元件和图像信号处理装置。

本发明的固体摄像元件，其特征在于，针对每一个受光像素列中的、位于成为列方向的加法合成处理对象的规定行范围内的部分列的每一个列，具有包含该部分列、且由在行方向上处于规定位置关系的L个(L≥2)的所述部分列F_j(1≤j≤L)组成的部分列集；包含在所述部分列集的所述部分列的个数L是根据包含在该部分列集内的所述受光像素的所述颜色灵敏度特性的种类数来决定的；将包含在所述部分列F_j内且所述颜色灵敏度特性对应于第k(1≤k≤L)颜色的所述受光像素的数w_jk作为第j行第k列的成分而构成的矩阵是正规矩阵。

本固体摄像元件在加法合成处理中，利用于加法合成受光像素阵列的第αs行～αe行(αs＜αe＝的信息电荷的情况下，该行范围的各列即长度为(αs-αe+1)个的像素列分别就是部分列。部分列集是由存在于行范围内的部分列组成的组，定义为每一个部分列。将受光像素阵列的颜色灵敏度特性的种类数设为ρ。例如，ρ是根据固体摄像元件上安装的彩色滤光片的颜色种类数来决定的。彩色滤光片在多的情况下，例如由RGB三色所构成，这种情况下，ρ＝3。可是，在本发明中能适用于两种以上的任意颜色数，因此，ρ为2以上的整数。某一个部分列，在颜色灵敏度特性上包含ρ种即包含所有颜色种类的受光像素的情况下，相对该部分列的构成部分列集的部分列的个数L为ρ。另一方面，即使某一个部分列为少于ρ的颜色数ρ′的受光像素，L也可以变为大于ρ′的值。这是因为L与构成部分列集的部分列中最大颜色数配合的缘故。构成部分列集的L个的部分列Fj满足：将每一个部分列F_j的颜色灵敏度特性的受光像素w_jk(k是对应于颜色种类的下标)作为第j行第k列成分的L行K列的方阵为正规矩阵的条件(条件I)；和构成要素的部分列在行方向上处于规定位置关系的条件(条件II)。换句话说，决定受光像素阵列的规定行范围(第αs行～αe行)中的具有不同颜色灵敏度特性的受光像素的排列时，对每一个部分列考虑存在满足条件I和条件II的部分列集。条件I与在该方阵中存在逆阵的意思相同，根据该条件，可以保证下述(10)式的联立一次方程式有解。条件II用来保证水平方向的分辨率。受光像素阵列上的部分列集的行方向宽度对根据该部分列而获得的每一个颜色成分的图像信号的水平方向分辨率有影响。通过使构成部分列集的部分列F_j在行方向上互相处于规定位置关系，从而可以使部分列集的宽度相对任意部分列均相同，可以使水平方向的每一个点的分辨率相同。另外，部分列集的宽度可以根据水平方向的允许分辨率来决定。此外，由于垂直方向的分辨率是根据部分列的长度来决定的，故可以根据部分列的长度来决定部分列集的宽度，以使垂直方向和水平方向的分辨率都均等。

本发明的图像信号处理装置，其中输入将所述固体摄像元件的多行的所述规定行范围内的每一个行在列方向上加法合成的混合颜色的图像信号，并根据该图像信号，生成每一个颜色成分的图像信号，其特征在于，具有颜色成分计算部，其根据所述加法合成而获得的所述图像信号，针对构成所述部分列集的所述部分列F_j(1≤j≤L)分别取得合成信号值Sj；

将满足用

【数4】

$S_j=\underset{k=1}{\overset{L}{\mathrm{\&Sigma;}}}\mathrm{Wjk}{C}_k---(1\&le;j\&le;L)\&CenterDot;\&CenterDot;\&CenterDot;\left(10\right)$

表示的联立一次方程式的C_k(1≤j≤L)，作为所述受光像素阵列内的所述部分列集位置相对应的取样点中的所述第k颜色的图像信号值来计算。

其他的本发明的固体摄像元件，其特征在于，受光像素阵列的第(2n-1)列和第(2n+1)列(n≥1)，互相交替排列颜色灵敏度特性分别对应于第一颜色的受光像素和对应于第二颜色的受光像素，并且所述颜色灵敏度特性的排列周期在列方向上互相错位一个像素；所述受光像素阵列的第2n列和第(2n+2)列，互相交替排列所述颜色灵敏度特性分别对应于第一颜色的所述受光像素和对应于第三颜色的所述受光像素，并且所述颜色灵敏度特性的排列周期在列方向上互相错位一个像素。

其他的本发明的图像信号处理装置，其中输入将所述固体摄像元件的奇数行数的所述规定行范围内的每一个行在列方向上进行了加法合成的混合颜色的图像信号，并根据该图像信号生成每一个颜色成分的像素信号，其特征在于，具有颜色成分计算部，其根据所述加法合成而获得的所述图像信号，取得：关于所述受光像素阵列的第(2n-1)列(n≥1)的位于所述规定行范围的部分列F_O1的合成信号S_O1；关于第(2n+1)列的位于所述规定行范围的部分列F_O2的合成信号S_O2；关于第2n列的位于所述规定行范围的部分列F_E1的合成信号S_E1；以及关于第(2n+2)列的位于所述规定行范围的部分列F_E2的合成信号S_E2，进行：

(1)将包含在所述部分列F_O1和F_O2中的对应于第一颜色的所述受光像素的数分别设为W_O11、W_O21，将对应于所述第二颜色的所述受光像素的数分别设为W_O12、W_O22，将满足用

【数5】

$S_{\mathrm{Oj}}=\underset{k=\mathrm{1,2}}{\mathrm{\&Sigma;}}{\mathrm{WojkC}}_{\mathrm{Ok}}---(j=\mathrm{1,2})\&CenterDot;\&CenterDot;\&CenterDot;\left(11\right)$

表示的联立一次方程式的C_Ok(k是1或2)，分别作为对应于所述受光像素阵列内的所述部分列F_O1和所述部分列F_O2的位置的取样点的所述第k颜色的图像信号值来运算的步骤；以及

(2)将包含在所述部分列F_E1和F_E2中的对应于第一颜色的所述受光像素的数分别设为W_E11、W_E21，将对应于所述第三颜色的所述受光像素的数分别设为W_E13、W_E23时，将满足用

【数6】

$S_{\mathrm{Ej}}=\underset{k=\mathrm{1,3}}{\mathrm{\&Sigma;}}{W}_{\mathrm{Ejk}}{C}_{\mathrm{Ek}}---(j=\mathrm{1,2})\&CenterDot;\&CenterDot;\&CenterDot;\left(12\right)$

表示的联立一次方程式的C_Ek(k是1或3)，分别作为对应于所述受光像素阵列内的所述部分列F_E1和所述部分列F_E2的位置的取样点中的所述第k颜色的图像信号值来运算的步骤。

附图说明

图1是表示本发明的摄像装置的概略构成的框图。

图2是表示作为第一实施方式的彩色滤光片排列的示意图。

图3是表示第二实施方式的第一彩色滤光片排列的示意图。

图4是表示第二实施方式的第二彩色滤光片排列的示意图。

图5是表示Bayer型彩色滤光片排列的示意图。

图中：20-图像传感器，20i-摄像部，20s-存储部，20h-水平转送部，20d-输出部，22-时钟产生电路，24-定时控制电路，26-模拟信号处理电路，28-A/D转换电路，30-数字信号处理电路，32-插补处理部，34-颜色成分计算部。

具体实施方式

下面，根据附图说明本发明的实施方式。

[实施方式1]

图1是表示利用了本发明的CCD图像传感器的摄像装置的概略构成的框图。该摄像装置备有：CCD图像传感器20、时钟产生电路22、定时控制电路24、模拟信号处理电路26、A/D转换电路28和数字信号处理电路30。另外，在摄像部20i前面具备省略图示的机械快门。

在这里，图像传感器20是帧转送型的图像传感器，具备：形成在半导体基板表面上的摄像部20i、存储部20s、水平转送部20h和输出部20d。例如，图像传感器20用于使用摄像部20i的整个单元来摄影高分辨率的静止图像的用途。另一方面，也用于并不需要那么高分辨率的预览画面的显示或动态图像摄影的用途。

在摄像部20i中，矩阵排列多个产生对应于入射光量的电荷(信息电荷)的单元(像素)。在摄像部20i中安装彩色滤光片，由此，向每一个单元赋予颜色灵敏度特性。矩阵配置在摄像部20i中的单元的每一个列是构成垂直CCD移位寄存器。该摄像部20i的垂直CCD移位寄存器具备：在基板上沿行方向跨越的多根栅极，通过施加在这些栅极上的三相时钟i，来控制摄像部20i中的信息电荷的存储和垂直转送。

存储部20s被遮光膜覆盖，以防止由于光的入射导致的电荷发生。存储部20s具备：沿行方向排列多个的垂直CCD移位寄存器。存储部20s的垂直CCD移位寄存器是分别对应于摄像部20i的垂直CCD移位寄存器来设置的。摄像部20i和存储部20s的互相对应的垂直CCD移位寄存器是沟道连接，通过使两个移位寄存器同步地进行驱动，从而可以将存储在摄像部20i的信息电荷转送到存储部20s。并且，存储部20s的垂直CCD移位寄存器由于后面要叙述的理由，具有对应于摄像部20i的行数的至少1/3的比特数。存储部20s的垂直CCD移位寄存器和摄像部20i同样，具有多个沿行方向跨越的栅极，由施加在这些栅极上的三相时钟s，来控制存储部20s中的信息电荷的存储和垂直转送。

如果经过所设定的曝光时间，则存储在摄像部20i内的信息电荷经由存储部20s垂直转送到水平转送部20h。水平转送部20h根据施加在其多个栅极上的水平转送时钟h，将从存储部20s行转送来的信息电荷，按顺序转送到输出部20d。输出部20d由电学独立的电容和取出其电位变化的放大器构成，将从水平转送部20h输出的信息电荷，以一个比特为单位由电容接收，并变换为电压值，以作为时间序列的图像信号来输出。

在用图像传感器20摄影静止图像时，通过开闭机械快门，从而在调节曝光时间的同时，在摄像部20i的垂直CCD移位寄存器内转送被存储的信息电荷时，关闭机械快门，以防止发生拖尾。如果关闭机械快门，则时钟产生电路22同步地驱动i和s，将存储在摄像部20i内的信息电荷，一行一行地垂直转送到水平转送部20h。行转送到水平转送部20h的信息电荷通过时钟产生电路22所产生的水平转送时钟h，按顺序排出到输出部20d。

另一方面，在预览时或动态图像摄影时，和静止图像摄影相比，需要高的分辨率，故如果利用机械快门，则开闭动作变得频繁，消耗电力增加。因此，这种情况下，若维持机械快门开放的状态而直接结束曝光时间，则时钟产生电路22进行从摄像部20i到存储部20s的帧转送。为了使高帧速率下的摄影成为可能，在预览时或动态图像摄影时，时钟产生电路22驱动图像传感器20，以便加法合成多行并读出。由此，由于水平转送部20h的驱动次数减少，故可以提高帧速率。在从摄像部20i向存储部20s转送时，进行多行的加法合成。在本实施方式中进行：将三行的信息电荷相加，使其成为一行的信息电荷的动作。在该动作中，在从摄像部20i垂直转送三行信息电荷到存储部20s的期间内，停止存储部20s的驱动，将那三行的信息电荷存储在邻接于摄像部20i的存储部20s的一行中。即，如果驱动时钟i三个周期，则时钟产生电路22使s驱动一个周期，由此，摄像部20i的三行在传输到存储部20s时被合成，每完成三行的合成，就一行一行地垂直转送保持在存储部20s的每一行中的合成了的信息电荷。合成过的信息电荷从存储部20s行转送到水平转送部20h，由时钟产生电路22产生的水平转送时钟h，按顺序从水平转送部20h排出到输出部20d。

存储部20s是在不使用机械快门的预览时或动态图像摄影时，为了暂时保持从摄像部20i帧转送来的信息电荷而设置的。即，在使用机械快门的静止图像摄影时是没有特别需要存储部20s，另外，如上所述，由于在预览时或动态图像摄影时，在向存储部20s转送时，三行的信息电荷被加法合成为一行，故构成存储部20s的垂直移位寄存器的最小比特数可以变为构成摄像部20i的垂直移位寄存器的比特数的1/3。

另外，定时控制电路24根据垂直同步信号VD和水平同步信号HD，生成相对摄影装置各部分的各种定时信号。时钟产生电路22根据从定时控制电路24供给的定时信号，生成i、s、h等各种时钟。

模拟信号处理电路26取入从CCD图像传感器输出的图像信号Y0(t)，执行取样保持、增益调整等各种模拟信号处理。A/D转换电路28取入执行了模拟信号处理的图像信号Y1(t)，按每一个像素转换为数字信号，作为图像数据D1(n)来输出。

数字信号处理电路30从图像数据D1(n)生成亮度数据或颜色数据，此外还对所生成的数据执行轮廓修正或γ修正，以输出图像数据D2(n)。数字信号处理电路30具有进行插补处理的插补处理部32。在嵌镶排列的彩色滤光片中，相同的颜色是离散地配置在受光像素阵列中。因此，对应于相同颜色的图像数据D1(n)是可以在二维配置的取样点中的在行方向、列方向间隔放置的点中取得。插补处理部32根据定义为离散点的相同颜色的D1(n)来进行插补处理，生成位于之间位置的取样点中的该颜色的图像数据。通过对每一个颜色进行该处理，从而在从数字信号处理电路30输出的图像数据D2(n)中，在每一个取样点定义每一个颜色的成分值。

另外，数字信号处理电路30还具有颜色成分计算部34。在上述预览或动态图像摄影中进行加法合成三行的结果，从图像传感器20输出多种颜色混合的图像信号。颜色成分计算部34进行从混合了多种颜色的图像数据D1(n)中分离每一个颜色成分的运算处理。对于该处理在后面叙述。

对静止图像摄影中的该插补处理进行阐述。在静止图像摄影中，在摄像部20i中获得的每一行的信息电荷直接以一行为单位转送到水平转送部20h，在水平转送部20h的每一个比特中分别存储摄像部20i的一个像素的信息电荷。通过水平转送驱动水平转送部20h，从而从输出部20d输出对应于每一个像素的信息电荷的图像信号。即，静止图像摄影时的图像数据D1(n)是由摄像部20i的一个像素的信息电荷来决定的，这意味着D1(n)只由彩色滤光片的构成颜色中的某一个颜色成分组成。因此，在静止图像摄影中，可以对作为基本单色成分的D1(n)直接执行插补处理，来决定每一个取样点中的每一个颜色的成分值。即，在静止图像摄影的处理中不利用颜色成分计算部34。

另一方面，在预览时或动态图像摄影时，如上所述，加法合成沿列方向排列的三个像素的信息电荷，并从输出部20d读出。在嵌镶排列的彩色滤光片中，由于沿列方向排列的三个像素通常包含多种颜色的像素，故图像数据D1(n)由多种颜色成分组成。因此，数字信号处理电路30首先由颜色成分计算部34计算包含在D1(n)内的颜色成分，然后利用插补处理部32对其颜色成分信号进行插补处理。

下面，说明本摄像装置中的颜色成分计算部34的处理。图像传感器20在摄像部20i中具有图2所示排列的彩色滤光片，颜色成分计算部34进行对应于该排列的处理。在图2所示的滤光片中，行编号α是从靠近摄像部20i的存储部20s(或水平转送部20 h)的行开始按顺序附加，另外，列编号β是从靠近输出部20d的列开始按顺序附加。图2所示的彩色滤光片例如可以由RGB的三种颜色组成，在受光像素阵列的每一个奇数列上交替排列G、B，并且邻接的两个奇数列是G、B的排列周期在列方向上错位一个像素。另外，在受光像素阵列的每一个偶数列上交替排列R、G，并且邻接的两个偶数列是R、G在列方向上互相错位一个像素。该排列作为由行编号α和列编号β指定的受光像素PX(α，β)颜色(颜色灵敏度特性)C(α，β)，用下式表示。

D(2λ-1，4μ-3)＝C(2λ，4μ-1)＝B

C(2λ-1，4μ)＝C(2λ，4μ-2)＝R

C(2λ-1，4μ-2)＝C(2λ-1，4μ-1)＝C(2λ，4μ-3)＝C(2λ，4μ)＝G。

(式中λ，μ为自然数)      ...(13)

安装了该彩色滤光片的CCD图像传感器20，在预览时或动态图像摄影时，进行上述的三行加法合成动作。其结果，从CCD图像传感器20输出的第a行的合成图像信号(a≥1)成为摄像部20i的第(3a-2)～3a行的信息电荷被合成的信号。

下面，将对应于摄像部20i的像素PX(α，β)的信号值，分别对应于该像素的颜色R、G、B，并用记号R(α，β)、G(α，β)、B(α，β)来表示；另外，用记号D(a，b)表示从CCD图像传感器输出的第a行的输出图像信号中的对应于摄像部的第b列的图像信号值。

在图像传感器20中，在加法合成三行而获得的图像信号中的奇数行的输出中，存在颜色混合比例不同的下述四种图像信号值D。按照输出顺序作为图像数据D1(n)抽出这些，以输入到数字信号处理电路30。

D(2λ-1，4μ-3)＝B(6λ-5，4μ-3)+G(6λ-4，4μ-3)+B(6λ-3，4μ-3)  ...

                                                               (14)

D(2λ-1，4μ-2)＝G(6λ-5，4μ-2)+R(6λ-4，4μ-2)+G(6λ-3，4μ-2) ...

                                                               (15)

D(2λ-1，4μ-1)＝G(6λ-5，4μ-1)+R(6λ-4，4μ-1)+G(6λ-3，4μ-1) ...

                                                               (16)

D(2λ-1，4μ)＝G(6λ-5，4μ)+R(6λ-4，4μ)+G(6λ-3，4μ)         ...

                                                               (17)

(式中λ，μ为自然数)

另外，在加法合成三行而获得的图像信号中的偶数行的输出中，存在颜色混合比例不同的以下四种图像信号值D，将这些按照输出顺序作为图像数据D1(n)抽出，并输入到数字信号处理电路30。

D(2λ，4μ-3)＝G(6λ-2，4μ-3)+B(6λ-1，4μ-3)+G(6λ，4μ-3)    ...

                                                              (18)

D(2λ，4μ-2)＝R(6λ-2，4μ-2)+G(6λ-1，4μ-2)+R(6λ，4μ-2)    ...

                                                             (19)

D(2λ，4μ-1)＝B(6λ-2，4μ-1)+G(6λ-1，4μ-1)+B(6λ，4μ-1)    ...

                                                             (20)

D(2λ，4μ)＝G(6λ-2，4μ)+R(6λ-1，4μ)+G(6λ，4μ)            ...

                                                             (21)

(式中λ，μ为自然数)

输入到数字信号处理电路30的D1(n)被转交到颜色成分计算部34。颜色成分计算部34组合图像数据D1(n)中的间隔一列放置的两个数据(D(a，b)和D(a，b+2))，求出：合成为两个数据的六个像素所组成的对应于像素区域R的取样点P(a，b)中的颜色成分信号值。从式(14)～(21)可以理解，D(a，b)和D(a，b+2)分别由两种颜色成分(Cx、Cy来表示)组成。颜色成分计算部34是用空间上恒定的值<Cx>、<Cy>来代表像素区域R内的颜色Cx、Cy的值，并作为像素区域R的颜色成分信号值来计算那些<Cx>、<Cy>。其计算式如下所示。

<Cx>＝[2D(a，b)-D(a，b+2)]/3      ...(22)

<Cy>＝[2D(a，b+2)-D(a，b)]/3      ...(23)

在此，在奇数输出行(即a＝2λ-1)的处理中，

(i)对对应于b＝4μ-3的数据的组，<Cx>、<Cy>分别给出<B>、<G>；

(ii)对对应于b＝4μ-2的数据的组，<Cx>、<Cy>分别给出<G>、<R>；

(iii)对对应于b＝4μ-1的数据的组，<Cx>、<Cy>分别给出<G>、<B>；

(iv)对对应于b＝4μ的数据的组，<Cx>、<Cy>分别给出<R>、<G>。

并且，在偶数输出行(即a＝2λ)的处理中，

(v)对对应于b＝4μ-3的数据的组，<Cx>、<Cy>分别给出<G>、<B>；

(vi)对对应于b＝4μ-2的数据的组，<Cx>、<Cy>分别给出<R>、<G>；

(vii)对对应于b＝4μ-1的数据的组，<Cx>、<Cy>分别给出<B>、<G>；

(viii)对对应于b＝4μ的数据的组，<Cx>、<Cy>分别给出<G>、<R>。

例如，关于上述(i)的情况，将式(14)、(16)中右边的每一个像素的G信号值、B信号值置换为代表值<B>、<G>的下式来导出(22)、(23)。

D(2λ-1，4μ-3)＝<G>+2<B>    ...(24)

D(2λ-1，4μ-1)＝2<G>+<B>    ...(25)

在这里，(24)、(25)式是<G>、<B>相关的联立一次方程式，(22)、(23)是其解。

剩下的(ii)～(viii)的情况也同样，从以式(14)～(21)表示的数据值中对应于各自情况的D(a，b)、D(a，b+2)的两式，可以获得(22)、(23)式。

那么，如上所述，加法合成多行并读出的动作是在预览时或动态图像摄影时，用于确保帧速率的。被加法运算的行数是根据预览画面显示部的分辨率或动态图像所要求的分辨率等方面的条件、或是由所要帧速率赋予的条件，基本上决定为：垂直分辨率不会降低到所要分辨率。

另一方面，在从本实施方式和现有技术中的加法合成过的图像数据中分离颜色成分的处理中，被合成的图像数据组合多个，计算出对应于那些数据的像素区域R内被平滑的每一个颜色成分值。该颜色分离处理中的平滑化是不同于行加法合成的降低分辨率的主要因素。例如，如果从合成图像信号的多行取得利用于颜色分离处理的多个数据，则像素区域R的垂直方向的尺寸比加法运算行数扩大。因此，在这种情况下，由分离处理中获得颜色成分信号来形成的图像的垂直分辨率退化到低于行加法合成的分辨率。

与此相对，在本发明中，利用属于合成图像信号的相同行的数据D(a，b)和D(a，b+2)，来计算取样点P(a，b)中的颜色成分信号。即，本发明的像素区域R的垂直方向的尺寸、范围和被加法运算的行一致。因此，即使进行了颜色分离处理，图像的垂直分辨率不会退化到低于加法合成的分辨率。另外，通过使像素区域R的垂直方向尺寸和水平方向尺寸为相同程度，从而可以谋求垂直方向和水平方向分辨率的均等化。

另外，在从合成图像信号的多行取得数据的处理方法中，需要存储从上述图像传感器20输出的合成图像信号的行存储器。与此相对，在本实施方式的处理方法中，在处理中利用：作为合成图像信号直接获得的图像数据D(a，b+2)和同一行中提前两行的图像数据D(a，b)。因此，在本实施方式中，基本上只要有存储组合为直接获得的图像数据D(a，b+2)的图像数据D(a，b)的一个像素的寄存器、和存储组合为下一次获得的图像数据D(a，b+3)的图像数据D(a，b+1)的一个像素的寄存器，就可以进行上述的颜色分离处理。

如上所述，用颜色成分计算部34对奇数列的每一个取样点P(a，2η-1)求出<G>(≡<G>_2η-1)和<B>(≡<B>_2η-1)；对偶数列的每一个取样点P(a，2η)求出<R>(≡<R>_2η)和<G>(≡<G>_2η)。将该颜色成分计算部34的输出转交到插补处理部32。

插补处理部32在水平方向上进行插补处理，求出每一个取样点上缺少种类的颜色成分值。其结果，对每一个取样点分别求出RGB的颜色成分值。在这里，作为插补处理，在每一个取样点的水平方向上进行(1，2，1)滤色处理。该滤色处理用下式表示。在此，《R》_ξ、《G》_ξ、《B》_ξ是取样点P(a，ξ)中的处理结果的RGB值，《R》_ζ、《G》_ζ、《B》_ζ(ζ＝ξ-1，ξ，ξ+1)是由颜色成分计算部34对取样点P(a，ζ)求出的RGB成分值。

《R》_ξ＝(R_ξ-1+2R_ξ+R_ξ+1)/2          ...(26)

《B》_ξ＝(B_ξ-1+2B_ξ+B_ξ+1)/2         ...(27)

《G》_ξ＝(G_ξ-1+2G_ξ+G_ξ+1)/2         ...(28)

在此，对于G成分G_ξ-1＝<G>_ξ-1、G_ξ＝<G>_ξ、G_ξ+1＝<G>_ξ+1。另一方面，对于RB成分，在ξ为奇数的情况下，R_ξ-1＝<R>_ξ-1、R_ξ+1＝<R>_ξ+1、B_ξ＝<B>_ξ、R_ξ＝B_ξ-1＝B_ξ+1＝0，在ξ为偶数的情况下，B_ξ-1＝<B>_ξ-1、B_ξ+1＝<B>_ξ+1、R_ξ＝<R>_ξ、B_ξ＝R_ξ-1＝R_ξ+1＝0。因此，插补处理部32对奇数列的取样点，输出：

《R》_ξ＝(<R>_ξ-1+<R>_ξ+1)/2                  ...(29)

《B》_ξ＝<B>_ξ                              ...(30)

《G》_ξ＝(<G>_ξ-1+2<G>_ξ+ <G>_ξ+1)/4        ...(31)；

对偶数列的取样点，输出：

《R》_ξ＝<R>_ξ                              ...(32)

《B》_ξ＝(<B>_ξ-1+<B>_ξ+1)/2                ...(33)

《G》_ξ＝(<G>_ξ-1+2<G>_ξ+<G>_ξ+1)/4         ...(34)。

数字信号处理电路30利用插补处理部32的输出，根据需要进一步进行信号处理，生成图像数据D2(n)并输出。

另外，在上述的构成中，说明了对图2所示的彩色滤光片的排列进行三行加法合成的情况，但一般进行五行以上的奇数行的加法合成的情况，也同样可以颜色分离其合成图像信号。

[实施方式2]

在上述第一实施方式中，从行加法运算所获得的第a行的合成图像信号的两个取样点P(a，b1)、P(a，b2)中的数据值D(a，b1)、D(a，b2)，分离颜色成分。在这里，D(a，b1)、D(a，b2)分别是由相同的两种颜色成分Cx、Cy组成，D(a，b1)合成Cx的两个像素和Cy的一个像素，D(a，b2)合成Cx的一个像素和Cy的两个像素。如果将每一个像素的信号值置换为(Cx)、(Cy)，则可以获得以(Cx)、(Cy)为基础的二元联立一次方程式：

D(a，b1)＝2<Cx>+<Cy>             ...(35)

D(a，b2)＝<Cx>+2<Cy>             ...(36)。

作为其解，可以获得相当于(22)、(23)的下式。

<Cx>＝[2D(a，b1)-D(a，b2)]/3     ...(37)

<Cy>＝[2D(a，b2)-D(a，b1)]/3     ...(38)。

如果一般地叙述从第一实施方式中的颜色分离处理可以理解的内容，则变为如下所述。根据从第a行的合成图像信号的多数取样点获得的数据，为了求出L种类的颜色成分，取得L个取样点P(a，bj)(1≤j≤L)的数据D(a，bj)。然后，对于那些L个数据值，分别将包含在该数据值中的每一个像素的信号成分置换为对应于该像素的颜色的代表值<Ck>(1≤k≤L)，获得L个式子：

【数7】

$D(a,\mathrm{bj})=\underset{k=1}{\overset{L}{\mathrm{\&Sigma;}}}\mathrm{Wjk}<C_k>\&CenterDot;\&CenterDot;\&CenterDot;\left(39\right)$

(39)式构成以<C_k>为基础的L元联立一次方程式，其解给出由构成数据值D(a，bj)的像素群所组成的像素区域R相对应的取样点中的颜色成分信号。

联立方程式(39)有解的必要充分条件是将表现为(39)式右边系数的受光像素W_jk作为第j行第k列的L行L列的矩阵为正规矩阵(条件I)。只要满足该条件，就可以求出对应于像素区域R的颜色成分信号。

并且，像素区域R的行方向的尺寸越小，基本上水平分辨率就变为越良好。因此，要求：满足条件I的L个数据D(a，bj)可以从处于互相接近的位置关系的取样点P(a，bj)得到(条件II)。

本实施方式的CCD图像传感器20具备彩色滤光片，其以使加法运算的多行组成的每一行集，行方向上设定多个的每一个像素区域R分别满足条件I、II的方式进行设定。

在这里，CCD图像传感器和摄像装置的基本构成和上述第一实施方式是共同的，下面，对同样的构成要素用相同符号表示，同时引用图1。

图3是表示本发明的第二实施方式的第一彩色滤光片排列的示意图。在该图中，和图2的彩色滤光片同样地附以行编号α、列编号β。在安装了该彩色滤光片的CCD图像传感器20中，在预览或动态图像摄影的情况下，存储在摄像部20i内的信息电荷是每三行进行加法合成，从输出部20d输出合成图像信号。在这里，摄像部20i的第(3a-2)～3a行被加法运算，生成第a行的合成图像信号。

从该合成图像信号生成的图像数据D1(n)被转交到颜色成分计算部34。颜色成分计算部34组合图像数据D1(n)中的隔一列放置的两个数据D(a，b)和D(a，b+2)。这两个数据分别由共同的两种颜色成分Cx、Cy(R和G、或G和B)组成，作为式(39)，给出下面的二元联立方程。

D(a，b)＝2<Cx>+<Cy>                  ...(40)

D(a，b+2)＝<Cx>+2<Cy>      ...(41)。

只要比较式(40)、(41)和式(35)、(36)就清楚：根据从图3的彩色滤光片获得的两个数据D(a，b)和D(a，b+2)可以求出对应的像素区域R(取样点P(a，b))中的Cx和Cy的成分信号值<Cx>、<Cy>。并且，由于式(40)、(41)右边各项的系数w₁₁＝w₂₂＝2、w₁₂＝w₂₁＝1，将这些w_jk作为第j行第k列的2行2列的矩阵是行列式值不等于0，所以可以确认为正规矩阵。

图4是表示本发明的第二实施方式的第二彩色滤光片排列的示意图。在该图中，和上述的彩色滤光片同样地附以行编号α和列编号β。该彩色滤光片的排列，作为行编号α和列编号β所指定的受光像素PX(α，β)的颜色C(α，β)，用下式表示：

C(2λ，6μ-2)＝C(2λ-1，6μ-5)＝C(4λ-3，6μ-3)＝C(4λ，6μ)＝B

C(2λ，6μ-4)＝C(2λ-1，6μ-1)＝C(4λ-1，6μ-3)＝C(4λ-2，6μ)＝R

C(2λ，2μ-1)＝C(2λ-1，2μ)＝G

(式中λ，μ为自然数)  ...(42)

在安装了该彩色滤光片的CCD图像传感器20中，在进行预览或动态图像摄影的情况下，存储在摄像部20i内的信息电荷例如每五行进行加法合成，并从输出部20d输出合成图像信号。例如，加法运算摄像部20i的第(5a-4)～5a行，以生成第a行的合成图像信号。

颜色成分计算部34为了求出取样点P(a，b)的颜色成分信号，组合：从该合成图像信号生成的第a行的图像数据D1(n)中的连续的三行的数据D(a，b)、D(a，b+1)、D(a，b+2)(b≥1)。例如，在取样点P(a，1)即b＝1的情况下，该三个数据给出对应于式(39)的下面的三元联立方程。

D(a，b)＝2<G>+3<B>                 ...(43)

D(a，b+1)＝2<R>+3<G>               ...(44)

D(a，b+2)＝<R>+2<G>+2<B>           ...(45)。

由于式(43)～(45)右边的各项系数所构成的3行3列的矩阵(系数矩阵)，其行列式值不等于0，所以是正规矩阵，该三元联立方程有解。颜色成分计算部34求出该联立方程的解<R>、<G>、<B>，将这些作为取样点P(a，b)中的颜色成分信号来输出。

根据D(a，b)、D(a，b+1)和D(a，b+2)获得的三元联立方程的形式对应于a的值而周期性(周期4)变化，并对应于b的值而周期性(周期6)变化，但是，相对任意a、b的组的方程式，其对应的系数矩阵变为正规矩阵。因此，颜色成分计算部34根据每一个b值的三个数据值，可以求出对应的每一个取样点P(a，b)的RGB每一个颜色的颜色成分信号。

Claims (4)

1、一种固体摄像元件，其中具有：矩阵配置了颜色灵敏度特性不同的多个受光像素的受光像素阵列；将所述受光像素的列中生成的多个信息电荷包按每列分别垂直转送的多个垂直移位寄存器；和将从所述多个垂直移位寄存器按每行转送来的多个所述信息电荷包，进行水平转送后输出的水平移位寄存器；其特征在于，

针对每一个受光像素列中的、位于成为列方向的加法合成处理对象的规定行范围内的部分列的每一个列，具有包含该部分列、且由在行方向上处于规定位置关系的L个(L≥2)的所述部分列F_j(1≤j≤L)组成的部分列集；

包含在所述部分列集的所述部分列的个数L是根据包含在该部分列集内的所述受光像素的所述颜色灵敏度特性的种类数来决定的；

将包含在所述部分列F_j内且所述颜色灵敏度特性对应于第k(1≤k≤L)颜色的所述受光像素的数w_jk作为第j行第k列的成分而构成的矩阵是正规矩阵。

2、一种固体摄像元件，其中具有：矩阵配置了颜色灵敏度特性不同的多个受光像素的受光像素阵列；将所述受光像素的列中生成的多个信息电荷包按每列分别垂直转送的多个垂直移位寄存器；和将从所述多个垂直移位寄存器按每行转送来的多个所述信息电荷包，进行水平转送后输出的水平移位寄存器；其特征在于，

所述受光像素阵列的第(2n-1)列和第(2n+1)列(n≥1)，互相交替排列颜色灵敏度特性分别对应于第一颜色的所述受光像素和对应于第二颜色的所述受光像素，并且所述颜色灵敏度特性的排列周期在列方向上互相错位一个像素；

所述受光像素阵列的第2n列和第(2n+2)列，互相交替排列所述颜色灵敏度特性分别对应于第一颜色的所述受光像素和对应于第三颜色的所述受光像素，并且所述颜色灵敏度特性的排列周期在列方向上互相错位一个像素。

3、一种图像信号处理装置，其中输入将权利要求1所述的固体摄像元件中的多行的所述规定行范围内的每一个行在列方向上加法合成过的混合颜色的图像信号，并根据该图像信号，生成每一个颜色的每一个成分的像素信号，其特征在于，

具有颜色成分计算部，其根据所述加法合成而获得的所述图像信号，针对构成所述部分列集的所述部分列F_j(1≤j≤L)分别取得合成信号值S_j；

将满足用

【数1】

$S_j=\underset{k=1}{\overset{L}{\mathrm{\&Sigma;}}}\mathrm{Wjk}{C}_k----(1\&le;j\&le;L)$

表示的联立一次方程式的C_k(1≤j≤L)，作为所述受光像素阵列内的所述部分列集位置相对应的取样点中的所述第k颜色的图像信号值来计算。

4、一种图像信号处理装置，其中输入将权利要求1所述的固体摄像元件中的多行的所述规定行范围内的每一个行在列方向上加法合成过的混合颜色的图像信号，并根据该图像信号，生成每一个颜色的每一个成分的像素信号，其特征在于，

具有颜色成分计算部，其根据所述加法合成而获得的所述图像信号，取得：关于所述受光像素阵列的第(2n-1)列(n≥1)的位于所述规定行范围的部分列F_O1的合成信号S_O1；关于第(2n+1)列的位于所述规定行范围的部分列F_O2的合成信号S_O2；关于第2n列的位于所述规定行范围的部分列F_E1的合成信号S_E1；以及关于第(2n+2)列的位于所述规定行范围的部分列F_E2的合成信号S_E2，

将包含在所述部分列F_O1和F_O2中的对应于第一颜色的所述受光像素的数分别设为W_O11、W_O21，将对应于所述第二颜色的所述受光像素的数分别设为W_O12、W_O22，将满足用

【数2】

$S_{\mathrm{Oj}}=\underset{k=\mathrm{1,2}}{\mathrm{\&Sigma;}}\mathrm{Wojk}{C}_{\mathrm{Ok}}----(j=\mathrm{1,2})$

表示的联立一次方程式的C_Ok(k是1或2)，分别作为对应于所述受光像素阵列内的所述部分列F_O1和所述部分列F_O2的位置的取样点的第k颜色的图像信号值来运算；

将包含在所述部分列F_E1和F_E2中的对应于第一颜色的所述受光像素的数分别设为W_E11、W_E21，将对应于所述第三颜色的所述受光像素的数分别设为W_E13、W_E23时，将满足用

【数3】

$S_{\mathrm{Ej}}=\underset{k=\mathrm{1,3}}{\mathrm{\&Sigma;}}{W}_{\mathrm{Ejk}}{C}_{\mathrm{Ek}}----(j=\mathrm{1,2})$

表示的联立一次方程式的C_Ek(k是1或3)，分别作为对应于所述受光像素阵列内的所述部分列F_E1和所述部分列F_E2的位置的取样点中的第k颜色的图像信号值来运算。

Images