CN1941917A - 成像装置及图像处理器 - Google Patents

Abstract

一种使用固态图像拾取装置摄取图像的成像装置，包括：第一线性矩阵运算单元，用于使用能够提高颜色再现性的系数对成像获得的图像信号的颜色分量执行矩阵转换；第二线性矩阵运算单元，用于使用能够实现噪声分量减小的系数对颜色分量执行矩阵转换；信号合成单元，用于将从多个信号处理系统输出的图像信号进行合成，其中，多个信号处理系统中的每一个均包括第一线性矩阵运算单元和第二线性矩阵运算单元；以及合成比设置单元，用于设置将由信号合成单元使用的合成比，使得当对象较亮时，从包括第一线性矩阵运算单元的信号处理系统中输出的图像信号可以以大于其他图像信号量的量合成。

Description

成像装置及图像处理器

相关申请的交叉参考

本发明包含于2005年9月28日向日本专利局提交的日本专利申请JP 2005-281380的主题，其全部内容结合于此作为参考。

技术领域

本发明涉及一种使用固态图像拾取装置摄取图像的成像装置和一种对输入图像信号执行颜色校正处理的图像处理器，特别地，涉及一种具有线性矩阵运算功能的成像装置和一种图像处理器。

背景技术

作为在使用固态图像拾取装置的成像装置(例如，数码相机和数码摄像机)中正确再生颜色的技术，线性矩阵运算技术正引起广泛关注。线性矩阵运算技术通过对RGB输入信号执行对应于下列等式1的线性矩阵运算，提高了颜色的再现性，使得各个分量的RGB输入信号的光谱特性更加接近于人的视觉特性。

[等式1]

$\left(\begin{array}{c}{R}^{\′}\\ G^{\′}\\ B^{\′}\end{array}\right)=\left(\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& i\end{array}\right)\left(\begin{array}{c}R\\ G\\ B\end{array}\right)---\left(1\right)$

图9是示出具有线性矩阵运算功能的已知成像装置的结构框图。

参照图9，从光学块101入射的光通过图像拾取装置102光电转换为模拟图像信号。A/D(模拟/数字)转换电路103对从图像拾取装置102传送的模拟图像信号进行数字转换。预校正电路104对数字图像信号执行与图像拾取装置102和光学系统有关的各类校正处理(预校正处理)，例如，用于调节黑色电平的数字箝位处理、用于校正从图像拾取装置102的缺陷像素输出的信号的缺陷校正处理、用于校正在透镜周围衰落的光的黑点校正(shading correction)处理。去马赛克处理电路105对从预校正电路104输出的信号执行去马赛克处理，从而由具有不同空间相位的RGB信号生成三个RGB纯信号(位于相同空间位置的RGB信号)。

线性矩阵(LM)运算电路106对从去马赛克处理电路105输出的RGB信号执行上述线性矩阵运算。LM运算电路106执行运算(计算)所使用的矩阵系数由配置有微控制器的计算单元107设置。计算单元107对RGB信号设置的矩阵系数可使图像拾取装置102各个分量的光谱特性更接近于大致等于人视觉特性的等色函数。

从线性矩阵运算单元106输出的RGB信号输入至白平衡(WB)控制电路108和积分电路109。白平衡控制电路108调节RGB各个信号分量的增益。积分电路109对将要输入至白平衡控制电路108的RGB信号进行检测。计算单元107根据积分电路109获得的RGB积分值来控制白平衡控制电路108的增益，使得对于输入图像中白色对象来说RGB信号分量的值可以彼此相等。

伽马(γ)校正电路110对经过白平衡控制的RGB信号执行伽马校正。经过伽马校正的RGB信号输入至Y信号处理电路111和C信号(色差信号)处理电路112，并在各个电路中进行计算，随后被分离成Y信号、Cr(R-Y)信号和Cb(B-Y)信号。分离出的信号被输出至图形处理电路用于生成将显示在监控器上的图像，或输入至压缩编码电路用于生成将记录在记录介质上的信号。

作为一种具有这种线性矩阵运算功能的已知成像装置，有一种配置有线性矩阵电路的成像装置，它可以通过由两个控制参数得出线性矩阵转换所需的六个系数来减少参数的数量，并防止电路规模的增加(参见，例如，日本未审查专利申请公开第2000-50299号(第0013段至0021段以及图1))。

用于改善颜色再现性的线性矩阵运算处理会引起噪声增加的副作用。线性矩阵运算处理是一种在无噪声的理想条件下的有效方法。然而，在执行线性矩阵运算处理以改善颜色再现性的情况下，在上述等式1中示出的系数a～i中的非对角线元素(b、c、d、f、g和h)的值有时会变成负值。如果使用这些系数对RGB信号执行相减，则信号电平(S分量)减小，而噪声的量(N分量)没有减小。因此，信噪比(S/N)将不期望地减小。特别是，由于图像的信号电平在低照明(low illumination)下很低，因而显而易见，图像质量由于S/N比的下降而降低。

可以考虑通过将用于线性矩阵运算的系数设置为单位矩阵来防止在低照明下S/N比降低的方法。例如，在图9所示的实例中，当检测到输入至线性矩阵运算电路106的图像信号的照明度很低时，计算单元107将矩阵系数设置为单位矩阵，然后设置用于线性矩阵运算电路106的矩阵系数。由于在低照明情况下，S/N比降低而导致的图像质量下降比颜色再现性恶化更加显著，所以这种控制方法是非常有效的。然而，如稍后将要描述的，如果在图9所示的系统中在低照明情况下改变矩阵系数，则会扰乱输出图像的白平衡。

图10是示出当矩阵系数改变时，包含在已知成像装置中的各个单元的操作的时序图。

图10示出了图像拾取装置102的曝光定时、图像拾取装置102的读取读出定时、由计算单元107执行的各种计算的定时、以及白平衡控制条件，每一个控制条件均表示已经对基于从图像拾取装置102中读出的信号的输出图像的白平衡进行了怎样的控制。例如，假设当刚好在定时T51之前适当控制了输出图像的白平衡时，通过计算单元107在定时T51改变线性矩阵运算电路106的矩阵系数。

通过改变系数执行的图像质量控制会影响在系数改变之后从图像拾取装置102输出的图像信号，在定时T52通过积分电路109从图像信号检测RGB积分值。计算单元107基于检测到的RGB积分值来计算白平衡的增益控制值，并在定时T53将计算值设置给白平衡控制电路108。从而，能够适当地控制在定时T53之后从图像拾取装置102输出的图像信号的白平衡。

如果执行上述操作，则在改变矩阵系数的定时T51和设置白平衡增益的定时T53之间的2V期间内，在计算单元107中改变用作白平衡控制标准基准的白色区域，从而输出白平衡被扰乱的图像。此外，例如，如果在已经适当控制白平衡之后在定时T54处矩阵系数再次改变，则在定时T53和定时T55之间的2V期间内再次输出白平衡被扰乱的图像。

图11是示出矩阵系数相应于照明度的示例性设置值的示意图。

如图11所示，如果在照明度L61和L62之间的区间内，矩阵系数从着重于S/N的设置连续变化到着重于颜色再现性的设置，则交替输出白平衡经过适当控制的图像和白平衡被扰乱的图像，也就是说，与图10中所示T51和T55之间期间中的情况类似，在L61和L62之间系数的转变期间内，各个输出图像的颜色变得不稳定。这种情况导致图像质量的显著下降，这是因为由于白平衡扰乱所引起的颜色改变相对显著。

发明内容

如参照图9至图11所述，如果在已知的成像装置中执行线性矩阵运算以改善颜色再现性，则输出图像的S/N下降。如果在低照明下将矩阵系数设置为单位矩阵以防止S/N比下降，则白平衡控制无法每次都跟上矩阵系数的改变，从而输出白平衡被扰乱的图像，并且图像质量下降。

期望提供一种能够以高颜色再现性和适当的S/N比拍摄高质量图像的成像装置。

此外，期望提供一种能够以高颜色再现性和适当的S/N比输出高质量图像的图像处理器。

根据本发明的实施例，提供了一种使用固态图像拾取装置摄取图像的成像装置。该成像装置包括：第一线性矩阵运算单元，用于使用能够改善颜色再现性的系数对成像获得的图像信号的颜色分量执行矩阵转换；第二线性矩阵运算单元，用于使用能够实现噪声分量减少的系数对颜色分量执行矩阵转换；信号合成单元，用于合成从多个信号处理系统输出的图像信号，其中，每个信号处理系统均包括第一线性矩阵运算单元和第二线性矩阵运算单元中的一个；以及合成比设置单元，用于设置由信号合成单元所使用的合成比，使得当对象较亮时，从包括第一线性矩阵运算单元的信号处理系统输出的图像信号可以以大于其他图像信号的量被合成。

在上述成像装置中，通过第一线性矩阵运算单元改善了颜色再现性的图像信号以及通过第二线性矩阵运算单元实现了噪声减少的图像信号从相应的信号处理系统输入至信号合成单元。在合成比设置单元为其设置合成比的信号合成单元中，当对象较亮时，从包括第一线性矩阵运算单元的信号处理系统输出的颜色再现性得到改善的图像信号以大于其他图像信号的量被合成。从而，如果对象较亮且形成具有适当S/N比的图像，则输出颜色再现性经过显著改善的图像，如果对象较暗且形成具有不合适S/N比的图像，则输出实现噪声降低并改善了S/N比的图像。

根据本发明实施例的成像装置，如果对象较亮且形成具有充分S/N比的图像，则输出颜色再现性得到显著改善的图像，如果对象较暗且形成具有不合适S/N比的图像，则输出实现噪声降低并改善了S/N比的图像。因此，不管对象明暗与否，都可以形成具有高颜色再现性和适当S/N比的高质量图像。

附图说明

图1是示出根据本发明第一实施例的成像装置的结构的框图；

图2是示出根据本发明第一实施例的相机信号处理电路的内部结构的框图；

图3是示出MIX电路的示例性内部结构的示图；

图4是示出根据本发明第一实施例的合成比α的示例性设置的示图；

图5是示出当改变矩阵系数时包含在成像装置中的各个单元的操作的时序图；

图6是示出根据本发明第二实施例的相机信号处理电路的内部结构的框图；

图7是示出通过α计算电路执行的合成比α示例性设置的示图；

图8是示出根据本发明第三实施例的相机信号处理电路的内部结构的框图；

图9是示出具有线性矩阵运算功能的已知成像装置结构的框图；

图10是示出当改变矩阵系数时包括在已知成像装置中的各个单元的操作的时序图；以及

图11是示出对应于照明度的矩阵系数示例性设置值的示图。

具体实施方式

将参照附图详细描述本发明的实施例。

第一实施例

图1是示出根据本发明第一实施例的成像装置的结构的框图。

图1中所示的成像装置配置有光学块1、图像拾取装置2、AFE(模拟前端)电路3、相机信号处理电路4、微控制器5、输入单元6、用于驱动包含在光学块1中的各种机构的驱动器11、以及用于驱动图像拾取装置2的定时发生器(TG)12。

光学块1配置有用于将来自对象的光聚焦在图像拾取装置2的透镜、用于移动透镜使透镜执行调焦和变焦操作的驱动机构、机械快门以及光圈。驱动器11根据从微控制器5传输的控制信号，对包含在光学块1中的各个机构执行驱动控制。

图像拾取装置2是CCD(电荷耦合装置)型或CMOS(互补金属氧化物半导体)型固态图像拾取装置，根据从定时发生器12输出的定时信号被驱动，并将从对象入射的光转换为电信号。定时发生器12在微控制器5的控制下输出定时信号。

AFE 3通过执行CDS(相关双采样)处理对从图像拾取装置2输出的模拟图像信号执行采样保持处理，以维持适当的S/N比，在微控制器5的控制下通过执行AGC(自动增益控制)处理来控制模拟图像信号的增益，以及对模拟图像信号执行A/D转换以输出数字图像信号。

相机信号处理电路4对从AFE电路3传输的图像信号执行各种类型的相机信号处理(例如，AF(自动调焦)处理、AE(自动曝光)处理、和白平衡控制)中的一些或全部。根据该实施例的相机信号处理电路4配置有：线性矩阵(LM)运算电路41，用于对输入图像信号的各个颜色分量执行矩阵运算；以及白平衡(WB)控制电路42，用于控制每个颜色分量的增益。

微控制器5配置有CPU(中央处理单元)、ROM(只读存储器)、RAM(随机存储器)等，并通过执行存储在ROM中的程序集中控制包括在成像装置中的控制单元，以及执行控制操作所需的各种计算。输入单元6包括用于接收由用户输入的操作的操作键、拨号盘、控制杆等，并将对应于操作输入的控制信号输出至微控制器5。

在该成像装置中，由图像拾取装置2接收的光被光电转换为信号，转换得到的信号被提供给AFE电路3。AFE电路3对所提供的信号执行CDS处理和AGC处理，并将处理过的信号转换成数字信号。相机信号处理电路4对从AFE电路3传输的数字图像信号执行图像质量校正处理，并最终将处理后的信号转换成Y信号和C信号，随后输出所转换的信号。

从相机信号处理电路4输出的图像数据提供给图形接口电路(未示出)，然后将其转换为用于显示的图像信号，从而在诸如LCD(液晶显示器)的监控器(未示出)上显示相机拍摄(camera-through)图像。当用户使用输入单元输入的图像记录指令传输至微控制器5时，来自相机信号处理电路4的图像信号传输至CODEC(编码/解码器)(未示出)。CODEC对所传输的图像数据执行预定的压缩编码处理，并将经过压缩编码的图像数据存储在存储介质(未示出)上。在记录静止图像的情况下，一帧一帧的图像数据从相机信号处理电路4传输至CODEC。在记录移动图像的情况下，经过处理的图像数据持续传输至CODEC。

图2是示出相机信号处理电路的内部结构的框图。

如图2所示，相机信号处理电路4配置有线性矩阵运算电路41a和41b、白平衡控制电路42a和42b、预校正电路43、去马赛克(demosaic)处理电路44、积分电路45、MIX(合成)电路46、γ校正电路47、Y信号处理电路48a以及C信号处理电路48b。

预校正电路43对从AFE电路3传输的数字图像信号执行与图像拾取装置2和光学系统相关的各种类型的校正处理，例如，用于调节黑色电平的数字箝位处理、用于校正从图像拾取装置2的缺陷像素输出的信号缺陷的校正处理、用于校正在透镜周围衰落的光的黑点校正处理。

去马赛克处理电路44对从预校正电路43输出的图像信号执行去马赛克处理，从而由具有不同空间相位的RGB信号生成三个RGB纯信号(位于相同空间位置处的RGB信号)。

在去马赛克处理电路44的后级中，由线性矩阵运算电路41a和白平衡控制电路42a组成的第一信号处理系统与由线性矩阵运算电路41b和白平衡控制电路42b组成的第二信号处理系统平行设置。线性矩阵运算电路41a和41b分别对从去马赛克处理电路44传输的RGB信号执行对应于下列等式2和3的矩阵运算。

[等式2]

$\left(\begin{array}{c}{R}_{\mathrm{LM}1}\\ G_{\mathrm{LM}1}\\ B_{\mathrm{LM}1}\end{array}\right)=\left(\begin{array}{ccc}a1& b1& c1\\ d1& e1& f1\\ g1& h1& i1\end{array}\right)\left(\begin{array}{c}R\\ G\\ B\end{array}\right)---\left(2\right)$

$\left(\begin{array}{c}{R}_{\mathrm{LM}2}\\ G_{\mathrm{LM}2}\\ B_{\mathrm{LM}2}\end{array}\right)=\left(\begin{array}{ccc}a2& b2& c2\\ d2& e2& f2\\ g2& h2& i2\end{array}\right)\left(\begin{array}{c}R\\ G\\ B\end{array}\right)---\left(3\right)$

微控制器5将线性矩阵运算电路41a的矩阵系数a1～i1和线性矩阵运算电路41b的矩阵系数a2～i2设置为不同值。通过如上所述设置各个矩阵系数的值，在第一信号处理系统中执行改善颜色再现性的校正，以及在第二信号处理系统中执行减小噪声的校正。

线性矩阵运算电路41a执行改善颜色再现性的校正。因此，为线性矩阵运算电路41a设置可以使图像拾取装置2的各个RGB分量的光谱特性更接近于大约等于人视觉特性的等色函数的矩阵系数。此时，矩阵系数中的多个非对角线元素(b1、c1、d1、f1、g1和h1)中至少一个的值有时会变成负数。另一方面，线性矩阵运算电路41b执行校正以获得适当的S/N比。因此，例如，为性矩阵运算电路41b设置能够被设置为单位矩阵的矩阵系数。

当接收到从线性矩阵运算电路41a和41b输出的图像信号后，白平衡控制电路42a和42b就分别根据从微控制器5获得的增益控制值来控制各个RGB分量的增益。

积分电路45对将要输入至白平衡控制电路42a和42b的图像信号进行积分，并将积分值输出至微控制器5。微控制器5根据从积分电路45获得的积分值来控制白平衡电路42a和42b的增益，使得输入图像中白色对象的各个RGB分量的值可以彼此相等。例如，在增益控制值的计算中，基于屏幕上高亮区域可能包括白色的经验预测，计算可以使包括在高亮区域中的各个RGB分量的量彼此相等的增益控制值。通过执行这种计算，可以为白平衡控制电路42a和42b设置不同的增益控制值。

MIX电路46根据由微控制器5指定的合成比α，以颜色分量为基础将从第一信号处理系统输出(即，从白平衡控制电路42a输出)的图像信号与从第二信号处理系统输出(即，从白平衡控制电路42b输出)的图像信号进行合成。如果从白平衡控制电路42a和42b输出的图像信号分别为(R_WB1，G_WB1，B_WB1)和(R_WB2，G_WB2，B_WB2)，则MIX电路46根据下列等式4～6将这些信号进行合成，其中，0≤α≤1。

[等式4]

R_MIX＝α×R_WB1+(1-α)×R_WB2     ...(4)

[等式5]

G_MIX＝α×G_WB1+(1-α)×G_WB2     ...(5)

[等式6]

B_MIX＝α×B_WB1+(1-α)×B_WB2     ...(6)

γ校正电路47对从MIX电路46输出的图像信号执行γ校正。Y信号处理电路48a和C信号处理电路48b分别对经过γ校正的图像信号执行Y信号处理和C信号处理，以生成Y信号、Cr(R-Y)信号和Cb(B-Y)信号。例如，如果经过γ校正的图像信号为(R_IN，G_IN，B_IN)，则Y信号处理电路48a根据下面的等式7执行Y信号处理，以及C信号处理电路48b分别根据下列等式8和9生成Cr(R-Y)信号和Cb(B-Y)信号。

[等式7]

Y＝0.3R_IN+0.6B_IN+0.1G_IN          ...(7)

[等式8]

Cr(R-Y)＝0.7R_IN-0.6G_IN-0.1B_IN    ...(8)

[等式9]

Cb(B-Y)＝-0.3R_IN-0.6G_IN+0.9B_IN   ...(9)

图3是示出MIX电路内部结构的示图。

具有图3所示结构的MIX电路46可根据上述等式4～6来合成图像信号。参照图3，乘法电路461分别将从第一信号处理系统输出的图像信号(R_WB1，G_WB1，B_WB1)乘以由微控制器5指定的合成比α。乘法电路462分别将从第二信号处理系统输出的图像信号(R_WB2，G_WB2，B_WB2)乘以(1-α)。加法电路463至465以颜色分量为基础将从乘法电路461和462输出的图像信号进行相加。

因此，平行设置均包括线性矩阵运算电路和白平衡控制电路的第一和第二信号处理系统，并通过MIX电路46以预定比率合成从第一和第二信号处理系统输出的图像信号。为这些信号处理系统单独设置能够实现优良颜色再现性和适当S/N比的不同矩阵系数。随后，根据对象的状态，可认为从一个信号处理系统输出的图像信号的质量高于从另一信号处理系统输出的图像信号的质量，可将从该信号处理系统输出的图像信号以大于从所说另一信号处理系统输出的图像信号的量进行合成。从而，可以输出高质量图像。

例如，如果为线性矩阵运算电路41a设置非对角线元素(b1、c1、d1、f1、g1和h1)中有负值的的矩阵系数，则当较亮的对象成像时可以获得高质量图像。因此，在这种情况下，通过将合成比α设置为高值，则从第一信号处理系统输出的信号可以以大于从第二信号处理系统输出的信号的量合成。然而，当对象较暗并存在大量噪声时，上述线性矩阵运算电路41a增加了噪声分量。因此，如果较暗物体成像时，通过将合成比α设置为低值，可以获得噪声减小的高质量图像，使得图像质量经过校正的图像信号可以以大于其他图像信号量的量被合成。

在该实施例中，根据基于来自输入图像信号的检测值和当前曝光限制量所计算的照明度来自动控制MIX电路46的合成比α，从而可以总是输出高质量图像。

可以根据基于当前输入图像信号的亮度等级和为包括在该成像装置中的曝光控制机构设置的曝光限制量，来计算照明度。为曝光控制机构设置的曝光限制量根据包含在光学块1中的光圈的孔径、图像拾取装置2的机械快门或电子快门的快门速度、以及AFE电路3的AGC增益量来获得。对于这些控制值，可以采用微控制器5针对AE控制计算而计算出的值。

例如，在该成像装置的制造过程中，在光谱分布近似平滑的特定照明度的光源下，对反射率对于亮度等级来说恒定的非彩色参照图表进行成像。将所获得的光圈孔径、快门速度、AGC增益量的控制值、以及所获得的亮度等级检测值预先作为数据以基准状态存储。随后，当对物体成像时，以与上述相同的方式获得控制值和亮度等级的检测值，并获得在基准状态下获得的以及从对物体成像所获得的控制值和检测值之间的差值。在将这些差值的单位转换为EV单位之后，将所有差值相加或相乘。从而，可以预测照明度。

在该实施例中，基于使从线性矩阵运算电路41a或41b输出的图像信号由积分电路45检测所获得的积分值，来计算用于计算照明度的亮度等级。通常期望没有进行诸如线性矩阵运算或白平衡控制等颜色控制处理的图像信号被检测用于获得亮度等级。然而，即使对图像信号执行了线性矩阵运算，图像信号的亮度等级波动量也相对较小。因此，可以由进行了线性矩阵运算的图像信号实现对于实际应用来说足够精确的亮度等级检测。特别是，由于从矩阵系数已经被设置为单位矩阵的线性矩阵运算电路41a输出的图像信号的亮度等级波动量很小，因而，最好将基于从该电路输出的图像信号的检测值用于获得亮度等级。

此外，基于已经执行了线性矩阵运算的图像信号的检测值也被用于获得白平衡控制电路42a或42b的增益控制值。也就是说，相同的检测值可用于计算增益控制值和合成比α。这可以有效地使电路小型化，并减小微控制器5的处理量。

图4是示出合成比α的示例性设置的示图。

如图4所示，如果计算出的照明度的值大于阈值L2，微控制器5确定可以获得足够的入射光和无噪声图像，并将合成比α设置为1，使得仅可以输出通过第一信号处理系统校正的图像信号。另一方面，如果计算出的照明度值低于阈值L1，则微控制器5确定入射光非常少以及噪声分量显著大于信号分量，并将合成比α设置为零，使得仅可以输出通过第二信号处理系统校正的图像信号。例如，如果所获得的照明度值在阈值L1和L2之间，微控制器5根据照明度的增加来线性地增加合成比α的值。可选地，微控制器5可根据照明度递增设置合成比α的值。

因此，当照明度较高时，通过第一信号处理系统校正的图像信号以大于其他图像信号量的量合成，然后将其输出，另一方面，当照明度较低时，通过第二信号处理系统校正的图像信号以大于其他图像信号量的量合成，然后将其输出。从而，可以防止在着重于颜色再现性来设置合成比α过程中出现的线性矩阵运算电路41a的缺点显著地影响图像质量，并且，不管物体的亮度如何，总是可以输出具有高颜色再现性的无噪声和高质量图像。

图5是示出当矩阵系数改变时包含在成像装置中的各个单元的操作的时序图。

图5示出了图像拾取装置2的曝光定时、图像拾取装置2的读取定时、由微控制器5执行的各种计算的定时、以及白平衡控制条件，每一个白平衡控制条件均表示怎样控制基于从图像拾取装置2中读出的信号的输出图像的白平衡。

在该实施例中，在通过微控制器5进行初始设置时，第一和第二线性矩阵运算电路41a和42b的矩阵系数值基本上设置为固定值。例如，如果在定时T1为线性矩阵运算电路41a和41b初始设置矩阵系数，通过设置矩阵系数而进行的图像质量控制会影响在设置了系数之后从图像拾取装置2输出的图像信号，并在定时T2处通过积分电路45由输出图像信号检测积分值。微控制器5基于检测值单独计算用于信号处理系统的白平衡增益的控制值，并在定时T3处设置白平衡电路42a的计算控制值。从而，能够适当地控制在定时T3之后从图像拾取装置2输出的图像信号的白平衡。

在上述处理顺序中，用作白平衡控制的参考标准的白色区域在设置矩阵系数的初始设置处理时发生偏离，从而输出白平衡被扰乱的图像。然而，这并不会对实际应用产生特别影响，因为仅当执行初始设置时才发生白色区域偏离。另一方面，在完成初始设置之后(即，在定时T3之后)，即使照明度改变，矩阵系数的设置本身在线性矩阵运算电路41a和41b中也不会改变，因此，不会发生由于设置改变所引起的白色区域偏离，从而从每个信号处理系统中总能输出白平衡经过适当控制的图像。由于MIX电路46仅合成白平衡经过适当控制的图像信号，所以从MIX电路46输出的图像信号的白平衡总经过适当的控制。因此，例如，即使在定时T4或T5根据照明度的改变来改变合成比α，输出图像的白平衡也不会被扰乱。

因此，根据该实施例的成像装置，通过以预定比率将使用根据物体亮度改变而改变的不同矩阵系数执行了线性矩阵运算的图像信号进行合成，可以改善颜色再现性和S/N比。此外，可以根据物体亮度的改变，总是适当地保持输出图像的白平衡。当用户视觉上检验输出图像时，白平衡扰乱是很显著的。然而，根据该实施例，可以实现能够显著并有效改善图像质量的成像装置。

第二实施例

图6是示出根据本发明第二实施例的相机信号处理电路内部结构的框图。在图6中，相同的参考标号用于表示与图2中所示相同的元件，以避免重复描述。

与图2中所示根据第一实施例的相机信号处理电路相似，相机信号处理电路4a具有以下基本结构，包括：两个信号处理系统，用于执行线性矩阵运算和白平衡控制；以及MIX电路46，用于将从信号处理系统中输出的图像信号进行合成。第一和第二实施例之间的区别在于，通过Y信号生成电路49和α计算电路50代替微控制器5来实现计算为MIX电路46设置的合成比α的功能。

Y信号生成电路49以像素为基础，使用上述等式7从去马赛克处理电路44输出的图像信号生成Y信号，并将生成的Y信号的信号电平输出至α计算电路50。α计算电路50根据以像素为基础输入的亮度等级计算合成比α，并将计算出的合成比α设置给MIX电路49。

图7是示出通过α计算电路执行的合成比α示例性设置的示图。

与第一实施例类似地执行合成比α的设置，即，如果形成相对较小噪声等级的明亮图像，则将合成比α设置为高值，另一方面，如果形成噪声比较显著的较暗图像，则将合成比α设置为低值。具体来说，如图7所示，如果由Y信号生成电路49检测的亮度等级值大于阈值Y2，则将合成比α设置为1，使得仅可以输出由第一信号处理系统校正的图像信号。另一方面，如果由Y信号生成电路49检测的亮度等级值小于阈值Y1，则将合成比α设置为0，使得仅可以输出由第二信号处理系统校正的图像信号。如果检测到的亮度等级值在阈值Y1和Y2之间，则根据亮度等级的增加来线性地增加合成比α的值。可选地，可根据亮度等级递增地设置合成比α的值。

这里，在上述第一实施例中，根据在每一个1V期间获得的照明度设置MIX电路46的合成比α，因此，在单个整个屏幕上仅可以执行使用相同设置的校正。另一方面，在第二实施例中，根据所获得的图像信号以像素为单位检测亮度等级，并可以根据检测结果以像素为基础为MIX电路46改变合成比α。因此，可以确定应该以像素为基础执行着重于颜色再现性的校正或着重于噪声减小的校正中的哪一个，并对一幅图像中的每个像素适当执行校正。例如，当高对比度物体成像时，可以通过将合成比α设置为高值来对具有适当S/N比的明亮区域执行着重于颜色再现性的校正，以及可以通过将合成比α设置为低值来对黑暗区域执行着重于噪声减小的校正。因此，可以获得颜色再现性得到进一步改善并且噪声更低的高质量图像。

第三实施例

图8是示出根据本发明第三实施例的相机信号处理电路内部结构的框图。在图8中，相同的参考标号用于表示与图2中类似的元件，以避免重复描述。

根据本发明第三实施例的相机信号处理电路4b的特征是既具有基于照明度的计算功能(在第一实施例中进行了描述)，又具有以像素为基础基于亮度等级的计算功能(在第二实施例中进行了描述)，作为计算用于MIX电路46的合成比α的功能，并选择性地设置一个计算值用于MIX电路46。

参照图8，微控制器5获得基于为曝光控制机构设置的曝光限制量的照明度，以及基于使从线性矩阵运算电路41b输出的对应于一帧(或一场)的图像信号通过积分电路45检测的亮度等级，并基于获得的亮度等级计算合成比α1。相机信号处理电路4b配置有Y信号生成电路49和α计算电路50。Y信号生成电路49基于从去马赛克处理电路44输出的图像信号生成以像素为基础的亮度等级，以及α计算电路50基于生成的亮度等级生成合成比α2。此外，相机信号处理电路4b配置有α选择电路51，用于选择性地输出合成比α1和α2中的一个。将从α选择电路51输出的合成比α设置给MIX电路46。

α选择电路51选择合成比α1或α2中较低的那个，并将所选择的一个输出至MIX电路46。根据这种控制处理，例如，如果从整个屏幕检测到的亮度等级相对较低，则合成比α1的值变小，从而将具有低值的合成比α设置用于整个屏幕。此时，使用具有恒定值的合成比α1对相对较亮的区域执行信号合成，以及使用具有以像素为基础对应于亮度等级的值的合成比α2在占据屏幕一大部分的相对较暗区域上执行信号合成。

这里，为白平衡控制电路42a和42b设置增益，作为用于控制不同白色区域的参考标准，因此，在设置不同合成比α的屏幕区域中可能会发生色调的不同。这就导致了看起来不舒服的图像。例如，如果几乎所有的屏幕都为黑暗区域而在非常小的区域内出现明亮物体，则区域之间的色调差变得非常明显。当拍摄这种图像时，通过执行上述合成比α的选择控制，具有低值的合成比α被设置用于单个屏幕。结果，色调差变小，可以获得更加适合人眼的图像。

相反地，如果从整个屏幕检测到的亮度等级相对较高，则合成比α1变大。由此，可以确定图像中明亮区域大于黑暗区域。在这种情况下，由于黑暗区域非常小且黑暗区域中的颜色分量等级很低，所以黑暗和明亮区域之间的色调差不明显。因此，通过执行上述合成比α的选择控制，在明亮区域中颜色再现性变大，然而，可以在黑暗区域中确实防止S/N比的减小，而不会察觉出色调差。如果合成比α1的值或由微控制器5检测到的亮度等级变得大于恒定值，则通过α选择电路51持续选择合成比α2。

在上述实施例中，设置了一个着重于颜色再现性的信号处理系统和一个着重于噪声减小的信号处理系统，但也可以设置两个或两个以上着重于颜色再现性和/或噪声减小的信号处理系统。在这种情况下，MIX电路46可根据照明度或亮度等级灵活地合成从这些信号处理系统中输出的信号。

此外，在上述实施例中，应用线性矩阵运算用于改善颜色再现性和S/N比。例如，代替线性矩阵运算，本发明可应用于用于转换色空间和校正图像质量的非线性运算。

本发明还可应用于各种使用固态拾取装置的成像装置，例如，数码摄像机和数码相机、具有成像功能的移动电话或PDA(个人数字助理)、以及用于处理和记录通过用于连接至PC(个人计算机)的可视电话或用于游戏软件的小型相机所获得的成像信号的处理器和记录器。

此外，本发明可应用于在接收到图像信号之后校正图像质量的图像处理器。在这种情况下，图像处理器基于输入图像信号检测物体的亮度，并控制用于合成从信号处理系统输出的信号的合成比。

上述处理功能可通过计算机实现。在这种情况下，写有成像装置所要求的功能(由相机信号处理电路执行的图像质量校正功能、由微控制器执行的合成比设置功能等)的处理细节的程序被提供给计算机。计算机执行所提供的程序，从而在计算机上可实现上述处理功能。写有处理细节的程序可存储在计算机可读介质中。计算机可读介质可以为磁记录器、光盘、磁光盘、或半导体存储器。

例如，如果程序用于流通，则出售其中记录有程序的便携式记录介质(例如，光盘或半导体存储器)。此外，程序可存储在服务器计算机的存储单元中，以及可通过网络从服务器计算机传送至其他计算机。

例如，执行程序的计算机将存储在便携式记录介质中或从服务器计算机传送的程序存储在其自身的存储单元中，并根据该程序执行处理。计算机可直接从便携式记录介质中读取出程序并根据该程序执行处理。计算机可根据每次从服务器计算机传送的程序所接收的程序执行处理。

本领域的技术人员应该理解，根据设计要求和其他因素，可以有多种修改、组合、再组合和改进，均应包含在本发明的权利要求或等同物的范围之内。

Claims (20)

1.一种使用固态图像拾取装置摄取图像的成像装置，包括：

第一线性矩阵运算装置，用于使用能够改善颜色再现性的系数对成像获得的图像信号的颜色分量执行矩阵转换；

第二线性矩阵运算装置，用于使用能够实现噪声分量减小的系数对所述颜色分量执行矩阵转换；

信号合成装置，用于将从多个信号处理系统输出的图像信号进行合成，其中，所述多个信号处理系统中的每一个均包括所述第一线性矩阵运算装置和所述第二线性矩阵运算装置；以及

合成比设置装置，用于设置将由所述信号合成装置使用的合成比，使得当对象较亮时，从包括所述第一线性矩阵运算装置的所述信号处理系统中输出的图像信号可以以大于其他图像信号量的量合成。

2.根据权利要求1所述的成像装置，还包括：

多个白平衡调节装置，所述多个白平衡调节装置中的每一个均针对所述多个信号处理系统中的一个设置，并以颜色分量为基础对从所述第一或第二线性矩阵运算装置中输出的图像信号的增益进行调节；以及

白平衡控制装置，用于根据将要输入至所述多个白平衡调节装置的图像信号来单独控制所述多个白平衡调节装置的增益，使得白平衡可在所述多个白平衡调节装置中调节。

3.根据权利要求1所述的成像装置，其中，所述合成比设置装置这样设置所述合成比，使得当成像时照明度较高时，从包括所述第一线性矩阵运算装置的所述信号处理系统中输出的图像信号可以以大于其他图像信号量的量合成。

4.根据权利要求3所述的成像装置，其中，所述合成比设置装置基于从成像获得的图像信号检测到的亮度等级以及为曝光控制机构设置的当前曝光限制量来计算所述照明度。

5.根据权利要求4所述的成像装置，还包括：

多个白平衡调节装置，所述多个白平衡调节装置中的每一个均针对所述多个信号处理系统中的一个设置，并以颜色分量为基础对从所述第一或第二线性矩阵运算装置中输出的图像信号的增益进行调节；以及

白平衡控制装置，用于根据将要输入至所述多个白平衡调节装置的图像信号的积分值来单独控制所述多个白平衡调节装置的增益，使得白平衡可在所述多个白平衡调节装置中调节，

其中，所述合成比设置装置基于将要输入至所述多个白平衡调节装置的图像信号的积分值中的一个来检测所述亮度等级。

6.根据权利要求1所述的成像装置，其中，所述合成比设置装置以像素为基础设置所述合成比，使得当以像素为基础由成像获得的图像信号检测到的亮度等级较高时，从包括所述第一线性矩阵运算装置的所述信号处理系统中输出的图像信号可以以大于其他图像信号量的量合成。

7.根据权利要求1所述的成像装置，其中，所述结合率设置装置包括：

第一合成比计算装置，用于计算当成像时照明度较高时，使从包括所述第一线性矩阵运算装置的所述信号处理系统输出的图像信号能够以大于其他图像信号量的量合成的第一合成比，

第二合成比计算装置，用于以像素为基础计算，当以像素为基础由成像获得的图像信号检测到的亮度等级较高时，使从包括所述第一线性矩阵运算装置的所述信号处理系统输出的图像信号能够以大于其他图像信号量的量合成的第二合成比，以及

合成比选择装置，用于为所述信号合成装置选择所述第一或第二合成比中值较小的一个。

8.根据权利要求1所述的成像装置，其中，由所述第一线性矩阵运算装置使用的系数能够使输入图像信号得到校正，使得所述固态图像拾取装置的颜色分量的光谱特性可以接近于近似等于人视觉特性的等色函数。

9.根据权利要求1所述的成像装置，其中，由所述第一线性矩阵运算装置使用的系数中多个非对角线分量中的至少一个为负值。

10.根据权利要求1所述的成像装置，其中，由所述第二线性矩阵运算装置使用的系数能够被设置为单位矩阵。

11.根据权利要求1所述的成像装置，其中，所述合成比设置装置这样设置所述合成比，使得当合成从各个信号处理系统中输出的图像信号时，所述图像信号的比例合计为1。

12.一种对通过固态图像拾取装置获得的图像信号执行颜色校正处理的图像处理方法，包括以下步骤：

使第一线性矩阵运算装置使用能够改善颜色再现性的系数对成像获得的图像信号的颜色分量执行矩阵转换；

使第二线性矩阵运算装置使用能够实现噪声分量减小的系数对所述颜色分量执行矩阵转换；

使信号合成装置将从多个信号处理系统输出的图像信号进行合成，其中，所述多个信号处理系统中的每一个均包括所述第一线性矩阵运算装置和所述第二线性矩阵运算装置；以及

使合成比设置装置设置合成比，使得当对象较亮时，从包括所述第一线性矩阵运算装置的所述信号处理系统中输出的图像信号可以以大于其他图像信号量的量合成。

13.一种用于对输入图像信号执行颜色校正处理的图像处理器，包括：

第一线性矩阵运算装置，用于使用能够改善颜色再现性的系数对所述输入图像信号的颜色分量执行矩阵转换；

第二线性矩阵运算装置，用于使用能够实现噪声分量减小的系数对所述输入图像信号的颜色分量执行矩阵转换；

信号合成装置，用于将从多个信号处理系统输出的图像信号进行合成，其中，所述多个信号处理系统中的每一个均包括所述第一线性矩阵运算装置和所述第二线性矩阵运算装置；以及

合成比设置装置，用于设置将由所述信号合成装置使用的合成比，使得当基于所述输入图像信号的图像较亮时，从包括所述第一线性矩阵运算装置的所述信号处理系统中输出的图像信号可以以大于其他图像信号量的量合成。

14.一种用于对输入图像信号执行颜色校正处理的图像处理方法，包括以下步骤：

使第一线性矩阵运算装置使用能够改善颜色再现性的系数对所述输入图像信号的颜色分量执行矩阵转换；

使第二线性矩阵运算装置使用能够实现噪声分量减小的系数对所述输入图像信号的颜色分量执行矩阵转换；

使信号合成装置将从多个信号处理系统输出的图像信号进行合成，其中，所述多个信号处理系统中的每一个均包括所述第一线性矩阵运算装置和所述第二线性矩阵运算装置；以及

使合成比设置装置设置合成比，使得当基于所述输入图像信号的图像较亮时，从包括所述第一线性矩阵运算装置的所述信号处理系统中输出的图像信号可以以大于其他图像信号量的量合成。

15.一种用于使计算机对输入图像信号执行颜色校正处理的图像处理程序，所述程序使所述计算机起以下作用：

第一线性矩阵运算装置，用于使用能够改善颜色再现性的系数对所述输入图像信号的颜色分量执行矩阵转换；

第二线性矩阵运算装置，用于使用能够实现噪声分量减小的系数对所述输入图像信号的颜色分量执行矩阵转换；

信号合成装置，用于将从多个信号处理系统输出的图像信号进行合成，其中，所述多个信号处理系统中的每一个均包括所述第一线性矩阵运算装置和所述第二线性矩阵运算装置；以及

合成比设置装置，用于设置将由所述信号合成装置使用的合成比，使得当基于所述输入图像信号的图像较亮时，从包括所述第一线性矩阵运算装置的所述信号处理系统中输出的图像信号可以以大于其他图像信号量的量合成。

16.一种使用固态图像拾取装置摄取图像的成像装置，包括：

第一线性矩阵运算单元，用于使用能够提高颜色再现性的系数对成像获得的图像信号的颜色分量执行矩阵转换；

第二线性矩阵运算单元，用于使用能够实现噪声分量减小的系数对所述颜色分量执行矩阵转换；

信号合成单元，用于将从多个信号处理系统输出的图像信号进行合成，其中，所述多个信号处理系统中的每一个均包括所述第一线性矩阵运算单元和所述第二线性矩阵运算单元；以及

合成比设置单元，用于设置将由所述信号合成单元使用的合成比，使得当对象较亮时，从包括所述第一线性矩阵运算单元的所述信号处理系统中输出的图像信号可以以大于其他图像信号量的量合成。

17.一种对通过固态图像拾取装置获得的图像信号执行颜色校正处理的图像处理方法，包括以下步骤：

使第一线性矩阵运算单元使用能够改善颜色再现性的系数对成像获得的图像信号的颜色分量执行矩阵转换；

使第二线性矩阵运算单元使用能够实现噪声分量减小的系数对所述颜色分量执行矩阵转换；

使信号合成单元将从多个信号处理系统输出的图像信号进行合成，其中，所述多个信号处理系统中的每一个均包括所述第一线性矩阵运算单元和所述第二线性矩阵运算单元；以及

使合成比设置单元设置合成比，使得当对象较亮时，从包括所述第一线性矩阵运算单元的所述信号处理系统中输出的图像信号可以以大于其他图像信号量的量合成。

18.一种用于对输入图像信号执行颜色校正处理的图像处理器，包括：

第一线性矩阵运算单元，用于使用能够改善颜色再现性的系数对所述输入图像信号的颜色分量执行矩阵转换；

第二线性矩阵运算单元，用于使用能够实现噪声分量减小的系数对所述输入图像信号的颜色分量执行矩阵转换；

信号合成单元，用于将从多个信号处理系统输出的图像信号进行合成，其中，所述多个信号处理系统中的每一个均包括所述第一线性矩阵运算单元和所述第二线性矩阵运算单元；以及

合成比设置单元，用于设置将由所述信号合成单元使用的合成比，使得当基于所述输入图像信号的图像较亮时，从包括所述第一线性矩阵运算单元的所述信号处理系统中输出的图像信号可以以大于其他图像信号量的量合成。

19.一种用于对输入图像信号执行颜色校正处理的图像处理方法，包括以下步骤：

使第一线性矩阵运算单元使用能够改善颜色再现性的系数对所述输入图像信号的颜色分量执行矩阵转换；

使第二线性矩阵运算单元使用能够实现噪声分量减小的系数对所述输入图像信号的颜色分量执行矩阵转换；

使信号合成单元将从多个信号处理系统输出的图像信号进行合成，其中，所述多个信号处理系统中的每一个均包括所述第一线性矩阵运算单元和所述第二线性矩阵运算单元；以及

使合成比设置单元设置合成比，使得当基于所述输入图像信号的图像较亮时，从包括所述第一线性矩阵运算单元的所述信号处理系统中输出的图像信号可以以大于其他图像信号量的量合成。

20.一种用于使计算机对输入图像信号执行颜色校正处理的图像处理程序，所述程序使所述计算机起以下作用：

第一线性矩阵运算单元，用于使用能够改善颜色再现性的系数对所述输入图像信号的颜色分量执行矩阵转换；

第二线性矩阵运算单元，用于使用能够实现噪声分量减小的系数对所述输入图像信号的颜色分量执行矩阵转换；

信号合成单元，用于将从多个信号处理系统输出的图像信号进行合成，其中，所述多个信号处理系统中的每一个均包括所述第一线性矩阵运算单元和所述第二线性矩阵运算单元；以及

合成比设置单元，用于设置将由所述信号合成单元使用的合成比，使得当基于所述输入图像信号的图像较亮时，从包括所述第一线性矩阵运算单元的所述信号处理系统中输出的图像信号可以以大于其他图像信号量的量合成。

Images