CN1943248A - 摄像装置及摄像单元 - Google Patents

Abstract

一种提高色彩再现性和噪声特性的摄像装置。以原色系RGB滤色器和互补色系YC滤色器构成具有混合式RGBYC滤色器的摄像单元。将接近于与分辨率直接相关的人眼的亮度信号的G滤色器排列成交错状，并使G滤色器的数量为其它色滤色器的四倍。在图10A所示的排列中，从每行看，是交替排列有灵敏度低的行(G、R、G、B)和灵敏度高的行(C、G、Y、G)的排列。若通过改变每行的曝光时间进行读出时，则容易进行宽动态范围的读出。图10B所示的排列中，在各列和各行中包含两个G滤色器，其余两种滤色器是灵敏度高的滤色器和灵敏度低的滤色器，因而是一种在水平、垂直方向上亮度差小的排列。因此，与图10A所示的排列相比，虽然读出方法复杂，但因空间的内插特性好，从而容易实现平滑的灰度显示。

Description

摄像装置及摄像单元

技术领域

本发明涉及摄像装置及摄像单元。

背景技术

近年来，图像输入装置的摄像单元的像素数量的增长令人注目，摄像单元的分辨率已经达到用人眼无法判断的光滑粒度的水平。在这种状况下，对于图像质量的要求正从析像感向确保色彩再现性、噪声降低性、以及更宽的动态范围过渡。本发明就提供一种将图像质量、尤其是色彩再现性及噪声特性保持在容许范围内、同时还实现了扩大可扫描的亮度动态范围的单元和装置。

专利文献1(日本特开2003-284084号公报)已披露了一种既能更真实地再现色彩、又能降低噪声的图像处理装置。

下面，对该专利文献1中披露的装置进行描述。在摄像单元的前面设有如图1所示的色彩排列的四色滤色器1。如虚线所示，四色滤色器1具有将共计四个滤色器作为最小单位的构成，该四个滤色器包括：只透过红色(R)光的R滤色器、只透过蓝色(B)光的B滤色器、只透过第一波长频带的绿色光的G1滤色器、以及只透过第二波长频带的绿色光的G2滤色器。

图2A及图2B中示出一个对通过摄像单元例如CCD(电荷耦合装置)获得的摄像信号实施信号处理的信号处理部的构成例，其中该摄像单元包括这种滤色器1。受制图空间的限制，分成图2A及图2B示出信号处理部的构成。附图标记10表示被输入来自图像传感器的四种色彩信号(R信号、G1信号、G2信号、B信号)的前端。前端10对来自图像传感器的色彩信号实施剔除噪声成分的相关双重采样处理、增益控制处理、以及数字转换处理等处理。来自前端10的图像数据提供给由LSI(Large Scale Integrated Circuit，大规模集成电路)构成的信号处理部11。

信号处理部11通过微型机算机接口12与未图示的微型计算机相连。微型计算机按照规定的程序例如控制数码相机的整体动作。再有，微型计算机通过微型机算机接口12控制构成信号处理部11的各模块。

信号处理部11对从前端10输入的四种色彩信号执行内插处理、滤色处理、矩阵运算处理、亮度信号生成处理、色差信号生成处理。通过信号处理部11生成的图像信号被提供给未图示的显示器并显示摄像图像。并且，来自信号处理部11的图像数据经压缩后存储在内部存储介质、外部存储介质等中。

下面，对信号处理部11的各模块进行描述。偏移校正处理部21剔除包含在由前端10提供的图像信号中的噪声成分(偏移成分)。偏移校正处理部21输出的图像信号输出到白平衡校正处理部22，并进行白平衡校正。即，校正由被拍摄对象的色温环境的不同、以及传感器上的滤色器(R、G1、G2、B)的灵敏度的不同所引起的各色彩间的不平衡。

将白平衡校正处理部22的输出提供给垂直方向同步化处理部23。为进行垂直方向的内插处理和滤色处理，垂直方向同步化处理部23使用延迟单元，例如小规模存储器，以使时间上不同的垂直方向的图像数据同步化。

通过垂直方向同步化处理部23同步化的多个图像信号被提供给进行内插处理、滤色处理、高频补偿处理及噪声处理的处理部24，进行在同一空间的相位中内插滤色器(R、G1、G2、B)的最小单位2×2像素的色彩信号的内插处理、适当限制信号带宽的滤色处理、校正信号带宽的高频成分的高频补偿处理、剔除信号的噪声成分的噪声处理等。

在处理部24中获得的图像信号、例如RG1G2B四色的信号被提供给线性矩阵处理部25。在线性矩阵处理部25中，进行四输入三输出的矩阵运算。通过提供3×4矩阵的矩阵系数，可从输入的RG1G2B四色的图像信息中求出RGB色彩输出。

来自线性矩阵处理部25的RGB输出分别提供给伽玛校正处理部26R、26G、26B。通过伽玛校正处理部26R、26G、26B预先进行显示装置所具有的非线性特性的逆校正，最终实现线性特性。

伽玛校正处理部26R、26G、26B的输出信号分别提供给亮度(Y)信号生成处理部27和色差(C)信号生成处理部28。亮度信号生成处理部27通过以规定的合成比合成伽玛校正后的RGB信号而生成亮度信号。色差信号生成处理部28通过以规定的合成比合成伽玛校正后的RGB信号而生成色差信号。

由色差信号生成处理部28生成的色差信号被提供给进行带宽限制及间隔剔除的处理部29，形成将色差信号Cb及Cr进行时分复用的色差信号。这样，在色彩再现性方面，使用四色滤色器的图像处理装置优于使用三原色滤色器的图像处理装置。

一般而言，作为摄像单元的光谱灵敏度，优选的特性是色彩再现性好、且噪声特性好。“色彩再现性好”是指能够感知与人眼相同的颜色、或者相对于人眼所见色差较小。人眼所见指的是用人眼能直接看到的颜色。“噪声特性好”指的是某亮度电平中的噪声量少。噪声可大致分为亮度噪声和色彩噪声，亮度噪声取决于绝对的灵敏度，色彩噪声绝大部分取决于摄像单元的滤色器的光谱灵敏度之间的关系、即光谱灵敏度曲线的形状。

将相对于亮度为线性的摄像单元的输出信号进行矩阵转换、然后生成三原色RGB信号值的方法经常在如图2A及图2B所示的一般的图像输入装置的信号处理中使用。该处理称为线性矩阵处理。一般情况下，图像输入装置(扫描仪、数码相机等)的输入图像多用个人计算机(以下略称为“PC”)的监视器进行观察及编辑，因而，矩阵运算后的原色RGB信号值的目标色彩空间设定为sRGB色彩空间，即一般的PC监视器的空间。

sRGB色彩空间作为传播的彩色图像信号可遵循的多媒体用标准色彩空间，已由IEC(International Electrotechnical Commission：国际电工委员会)规定。依据标准色彩空间，彩色图像的发送方和接收方能够共享相同的色彩再现。

因此，摄像单元的目标光谱灵敏度(图中标示为相对灵敏度)是通过709型矩阵对作为人眼的光谱灵敏度的等色函数(参照图3)进行线性转换后的sRGB等色函数。参考文献1(“ITU-R BT.709-3，《Basic Parameter Values for the HDTV Standard for the Studio andfor International Programme Exchange》(1998)”)中对709型矩阵进行了介绍。

图3中，曲线31x表示函数x(λ)，曲线31y表示函数y(λ)，曲线31z表示函数z(λ)。作为CIE(Commission Internationale deI’Eclairage：国际照明委员会)1931，规定了如图3所示的等色函数的曲线图。

图4以曲线图的形式示出了sRGB等色函数。在图4中，曲线32r表示函数r(λ)，曲线32g表示函数g(λ)，曲线32b表示函数b(λ)。由于sRGB等色函数满足路由(router)条件，所以能够感知人眼直接看到的颜色。参考文献2(大田登，《色彩工学》，ISBN：4-501-61350-5，东京电机大学出版社(1993))中对路由条件进行了介绍。

然而，如图4所示的光谱灵敏度中存在负的光谱灵敏度，现实中无法制成具有这种光谱灵敏度的三色RGB滤色器。若欲制成具有正的光谱灵敏度、且满足路由条件的三色RGB滤色器光谱灵敏度，则该光谱灵敏度如图5所示。在图5中，曲线33R表示函数sR(λ)，曲线33G表示函数sG(λ)，曲线33B表示函数sB(λ)。

由图5可知，该摄像单元的红色成分的滤色器的光谱灵敏度的曲线33R与绿色成分的滤色器的光谱灵敏度的曲线33G重叠的非常多。这意味着这两种成分的信号非常相似。因此，欲使用具有如图5所示的光谱灵敏度的滤色器的摄像单元、并计算作为目标输出信号的sRGB空间的三种颜色时，需要进行下式(1)的矩阵运算。

$\left[\begin{array}{c}\stackrel{\‾}{r}\left(\mathrm{\λ}\right)\\ \stackrel{\‾}{g}\left(\mathrm{\λ}\right)\\ \stackrel{\‾}{b}\left(\mathrm{\λ}\right)\end{array}\right]=\left[\begin{array}{ccc}6.5614& -5.5412& 0.1845\\ -2.0049& 3.1163& -0.1635\\ 0.1182& -0.2783& 1.0688\end{array}\right]\·\left[\begin{array}{c}{s}_R\left(\mathrm{\λ}\right)\\ s_G\left(\mathrm{\λ}\right)\\ s_B\left(\mathrm{\λ}\right)\end{array}\right]---\left(1\right)$

由式(1)的矩阵系数可知，为计算输出信号的红色成分，要对输入信号的红色成分和绿色成分乘以6.5614和-5.5412如此非常大的矩阵系数。这意味着会使摄像单元的红色信号和绿色信号中的噪声增大很多。

因此，实际上，即使没有充分满足路由条件、即某种程度上牺牲了色彩再现性、但具有良好的噪声特性、且具有图6所示的光谱灵敏度的三色RGB滤色器。在图6中，曲线34R表示函数s1R(λ)，曲线34G表示函数s1G(λ)，曲线34B表示函数s1B(λ)。由于图6的光谱没有满足路由条件，所以无法线性转换为sRGB等色函数。因此，sRGB等色函数的近似转换矩阵运算如下式(2)所示。

$\left[\begin{array}{c}\hat{r}\left(\mathrm{\λ}\right)\\ \hat{g}\left(\mathrm{\λ}\right)\\ \hat{b}\left(\mathrm{\λ}\right)\end{array}\right]=\left[\begin{array}{ccc}2.250& -0.649& -0.089\\ -0.057& 1.574& -0.384\\ -0.009& -0.444& 1.567\end{array}\right]\·\left[\begin{array}{c}{s1}_R\left(\mathrm{\λ}\right)\\ {s1}_G\left(\mathrm{\λ}\right)\\ {s1}_B\left(\mathrm{\λ}\right)\end{array}\right]---\left(2\right)$

在式(2)的矩阵系数中，所有系数的绝对值均小于式(1)所示的矩阵系数，色彩分离的结果可知噪声没有增大很多。

从上述的理由可知，一般的原色系RGB摄像单元的光谱灵敏度具有如图6所示的曲线，色彩再现性和噪声特性俱佳。然而，因受摄像单元自身的灵敏度、镜头特性、红外线滤镜特性的影响，实际上，光谱灵敏度的曲线图如图7所示。在图7中，曲线35R表示R滤色器的光谱灵敏度，曲线35G表示G滤色器的光谱灵敏度，曲线35B表示B滤色器的光谱灵敏度。

因受制造工艺的种种限制，很难提高各滤色器的光谱灵敏度。为维持灵敏度，可以采用某种程度上增加单元尺寸、或乘以电增益等方法。然而，增大单元尺寸往往伴随着牺牲分辨率，而乘以增益则会牺牲噪声降低性。

综上所述，原色系RGB摄像单元在色彩再现性方面非常好，但多少还有改善的余地，而在噪声特性方面，虽然色分离噪声小，但存在因灵敏度低而作为噪声支配成分的亮度噪声增大的趋势。即，具有色彩再现性好、但容易出现噪声感的不同之处。

作为滤色器，互补色系的滤色器也是一种公知的滤色器。例如，如图8所示，排列成Y(黄色)C(青色)M(品红色)G(绿色)四色滤色器的互补色交错行顺序方式的滤色器已为大众所熟知。在图8中，用虚线围住的2×4排列是排列的最小单位。

图9中示出这种互补色系YCMG摄像单元的光谱灵敏度的曲线图。在图9中，曲线36Y表示Y滤色器的光谱灵敏度，曲线36C表示C滤色器的光谱灵敏度，曲线36M表示M滤色器的光谱灵敏度，曲线36G表示G滤色器的光谱灵敏度。如图9所示，因各滤色器的灵敏度较高，所以，互补色系YCMG摄像单元尤其适于在暗处的拍摄，且亮度噪声特性好。但是，由于光谱灵敏度的重叠非常大，所以若想改善色彩再现性，则存在需要非常大的色彩分离系数、增大色分离噪声的问题。因此，在色彩再现性方面，存在无法与原色系RGB摄像单元媲美的问题。

这样，互补色系YCMG摄像单元在色彩再现性方面，有非常大的改善余地。而在噪声特性方面，虽然色彩分离噪声大，但因灵敏度高，存在作为噪声支配成分的亮度噪声减少的趋势。即，具有噪声感好、而色彩再现性不够好的特点。

综上所述，在现有的摄像单元中，当使用原色系RGB摄像单元时，存在由于灵敏度低而造成亮度噪声大的问题，另一方面，当使用互补色系YCMG摄像单元时，又存在色彩再现性及色分离噪声特性不够充分的问题。

发明内容

因此，本发明的目的就在于提供一种能够解决这些摄像单元所存在的问题点的摄像装置及摄像单元。

为解决上述问题，本发明涉及一种摄像装置，其包括：摄像部；具有前端的图像输入部；以及用于处理来自图像输入部的多个摄像信号、并生成三原色信号的信号处理部。在该摄像装置中，摄像部包括三原色系分色滤色器及互补色系分色滤色器、及被输入由上述分色滤色器分离的色光的摄像单元，信号处理部在输入图像数据为低/中亮度电平(level)的第一区域中通过对使用三原色系分色滤色器和互补色系分色滤色器获得的多个信号进行矩阵运算处理，从而生成三原色信号；信号处理部在输入图像数据为高亮度电平的第二区域中通过对使用三原色系分色滤色器获得的三原色信号进行矩阵运算处理，从而生成三原色信号。

而且，本发明涉及一种摄像单元，其包括：共计五种颜色的滤色器，即R(红色)、G(绿色)、B(蓝色)的原色系三色滤色器和Y(黄色)、C(青色)的互补色系两种颜色滤色器，通过将接近人眼的亮度特性的G滤色器配置成交错状，从而获得其它色的四倍的空间信息。

根据本发明，通过将原色系RGB和互补色系YC五种颜色的滤色器组合成摄像单元，从而可改善色彩再现性和降低色分离噪声。而且，因根据亮度电平分开使用RGBYC五色的滤色器的摄影单元的输出信号，所以，与单独使用原色系或互补色系摄像单元的情况相比，色彩再现性更好、灵敏度高，即能够实现低噪声的摄像单元。因此，可获取动态范围宽的场景。

附图说明

图1是表示提及的摄像装置的滤色器的色彩排列的简略图表；

图2A及图2B是提及的摄像装置的信号处理部的结构框图；

图3是一例等色函数的曲线图；

图4是一例sRGB等色函数的曲线图；

图5是表示满足路由条件的三色滤色器的光谱灵敏度的曲线图；

图6是表示通常的三原色滤色器的光谱灵敏度的曲线图；

图7是表示原色系RGB摄像单元的光谱灵敏度的曲线图；

图8是互补色系YCMG摄像单元的滤色器的色彩排列的简略图表；

图9是表示互补色系YCMG摄像单元的光谱灵敏度的曲线图；

图10A及图10B是表示混合式RGBYC摄像单元的光谱灵敏度的曲线图；

图11是表示混合式RGBYC摄像单元的色彩排列的简略图表；

图12是表示用于说明使用混合式RGBYC摄像单元的输出信号的信号处理的简略图；

图13是表示可适用本发明的信号处理的步骤流程图；

图14是表示本发明中的色彩转换处理的步骤流程图；

图15是表示本发明中的CN图的曲线图；

图16是用于比较并表示混合式RGBYC摄像单元、原色系摄像单元及补色系摄像单元的CN的曲线图；

图17是本发明一实施例中的一例信号处理的框图；以及

图18是表示信号处理过程中一例加权增益系数转变的简略图。

具体实施方式

在本发明中，使用原色系RGB滤色器和互补色系YC滤色器构成具有混合式RGBYC滤色器的摄像单元。虽然作为色彩排列有多种可能，但在此，以图10A及图10B所示的滤色器为例。在图10A及图10B中，RGB表示分别透过红色、绿色、蓝色光的滤色器，YC表示分别透过黄色、青色光的滤色器。

图10A及图10B表示可在本发明中使用的滤色器的一例和其它例排列的各自的最小单位(4×4)。图10A及图10B中所示的这些滤色器的排列与众不同之处在于：首先，将接近与分辨率直接相关的人眼的亮度信号的G滤色器排列成交错状，并使G滤色器的数量为其它颜色滤色器的四倍。即，在最小单位的十六个滤色器当中，G滤色器为八个，剩下的四种颜色的滤色器分别为两个。在图10A所示的排列中，以每行来看的话，都交替排列有灵敏度低的行(G、R、G、B)和灵敏度高的行(C、G、Y、G)。不过，若变化每行的曝光时间来进行读出信号，则宽动态范围读出更为容易。

在图10B所示的排列中，在各列和行上包含两个G，其余两种色彩的滤色器是灵敏度高的滤色器和灵敏度低的滤色器组合的滤色器，所以在水平、垂直方向上，这种排列的亮度差少。因此，与图10A所示的排列相比，虽然读出方法更为复杂，但因空间的内插特性有利，因而具有更容易实现平滑的灰度显示的特点。

图11中示出混合式RGBYC滤色器的光谱灵敏度的曲线。在图11中，曲线37Y表示Y滤色器的光谱灵敏度，曲线37C示出C滤色器的光谱灵敏度，曲线37R示出R滤色器的光谱灵敏度，曲线37G示出G滤色器光谱灵敏度，曲线37B示出B滤色器的光谱灵敏度。如图11所示，互补色系Y、C比原色系R、G、B的光谱灵敏度更高。

图12中示出相对滤色器的每种色彩而存储在摄像单元中的电荷量Q和光量P的关系。在图12中，Qs表示饱和电荷量，38C表示关于C滤色器的〔P-Q〕特性，38Y表示关于Y滤色器的〔P-Q〕特性，38R表示关于R滤色器的〔P-Q〕特性，38G表示关于G滤色器的〔P-Q〕特性，38B表示关于B滤色器的〔P-Q〕特性。

如图12所示，在配置灵敏度高的Y、C滤色器的单元中，即使是很少的光量也可以迅速存储所需的电荷，相反，在配置灵敏度低的R、B滤色器的单元中，因电荷存储的速度较慢，所以即使入射很多光量，电荷也不能迅速饱和。利用这种特性的不同，可以获取动态范围非常宽的图像。

例如，在五种颜色的滤色器中，配有C滤色器的单元首先饱和，因而，以存储在配有C滤色器的单元中的电荷饱和的光量Ph为界限，规定低/中亮度区和高亮度区。如果是包含在低/中亮度区的亮度的图像时，使用R、G、B、Y、C五种色彩的信号值；如果是包含在高亮度区的亮度的图像时，因配置有Y及C滤色器的单元的存储电荷饱和，所以，使用R、G、B三种色彩的信号值。这样，通过根据图像的亮度切换所使用的滤色器，从而可生成动态范围非常宽的图像。

作为图像亮度的判断方法，例如可以采用根据G、Y等的信号值来加以判断的方法，其中，G、Y等的信号值是包含人眼的亮度成分的摄像单元的信号值。

为了从摄像单元的信号值中计算图像的RGB信号值，需要进行某种矩阵运算处理。例如，用于将五种颜色RGBYC信号值(Rin、Gin、Bin、Yin、Cin)转换成生成的RGB图像的信号值(Rout、Gout、Bout)的矩阵运算处理使用3×5的矩阵系数，如下式(3)所示。

$\left[\begin{array}{c}{R}_{\mathrm{out}}\\ G_{\mathrm{out}}\\ B_{\mathrm{out}}\end{array}\right]=\left[\begin{array}{ccccc}{m}_0& m_1& m_2& m_3& m_4\\ m_5& m_6& m_7& m_8& m_9\\ m_{10}& m_{11}& m_{12}& m_{13}& m_{14}\end{array}\right]\·\left[\begin{array}{c}{R}_{\mathrm{in}}\\ G_{\mathrm{in}}\\ B_{\mathrm{in}}\\ Y_{\mathrm{in}}\\ C_{\mathrm{in}}\end{array}\right]---\left(3\right)$

由于式(3)的矩阵系数是针对线性信号的矩阵运算系数，所以称为线性矩阵。关于对线性矩阵的确定方法，参照参考文献3(“水仓贵美、加藤直哉、西尾研一，《考虑了噪声的CCD滤色器光谱灵敏度的评价方法》，色彩论坛JAPAN2003论文集，pp.29-32(2003)”)。

下面，详细描述亮度不同的图像数据。

低/中亮度图像数据的情况

当灵敏度低的R、B的信号值在某种程度上增大，噪声的影响减小，且Y、C的信号值未饱和时，可以使用混合式摄像单元的全部五种颜色的信号值。由于与原色系的三种颜色相比，色彩数量增多，且这五种颜色的色的分离性好，因而可以进行色彩再现性、及噪声降低性两方面俱佳的图像处理。

高亮度图像数据的情况

当灵敏度高的Y、C的信号值已达到饱和时，剩下的R、G、B三色的信号值生成图像。该状态与使用原色系三色摄像单元的情况相同，因而在色彩再现性、噪声降低性方面基本与原色系三色摄像单元程度相同。

下面描述采用上述的混合式RGBYC摄像单元的摄像装置，例如数码照相机。但是，本发明并不限于数码照相机，其还可运用于拍摄移动图像的照相机中。

若采用上述的混合式RGBYC摄像单元，则由其构成的照相机的色彩再现性及噪声特性均可优于原色系三色RGB摄像单元的照相机、或互补色系YCMG摄像单元的照相机。

使用上述参考文献3中所记载的滤色器评价方法，试着画出混合式RGBYC摄像单元、原色系三色RGB摄像单元、互补色系YCMG摄像单元这三种摄像单元的CN图。以下，简单介绍CN图的绘制方法。

前提条件

作为拍摄条件，作为光源，使用CIE规定的标准光源D55，并选用Macbeth Color Checker(校色板)作为目标。假设图13所示的处理为照相机信号处理。通过对摄像单元的滤色器的光谱灵敏度、Macbeth Color Checker的色块的光谱反射率、和拍摄光源的光谱辐射亮度的积进行积分，求得作为数码照相机的综合特性的Raw Data41，在白平衡校正处理42中，将Raw Data 41乘以增益，以使各颜色数据的电平等于无彩色。

接着，进行色彩转换处理43，在该处理中，通过矩阵处理，相对于亮度信号，使线性信号值接近目标颜色。该处理43相当于线性矩阵处理。以下将该矩阵处理适当地称为MAT。通过色彩转换处理43，信号值变为R(红色)、G(绿色)、B(蓝色)三色。若用N表示滤色器的色彩数量，则白平衡校正处理42为N×N的对角矩阵运算处理，色彩转换处理43为3×N的矩阵运算处理。

最后，通过伽玛校正处理44，作为最终输出，获得照相机RGB45。但是，在此，将sRGB的逆伽玛用作照相机伽玛。在构成数码照相机的硬件时，采用与上述图2A及图2B中所示的信号处理构成相同的构成。

假设这样获得的照相机RGB由标准sRGB监视器再生并观察。即，假设照相机RGB是sRGB色彩空间的色彩。但是，由于计算时还保持sRGB范围外的值，所以考虑缩短sRGB色域外的色彩。

色彩再现评价指数的定义

计算拍摄到的照相机的输出信号相对于人眼的色差Delta E(ΔE)值。由于假设照相机RGB是sRGB色彩空间的数据，所以，根据图14所示的流程，使用709系列矩阵M₇₀₉等计算相应的L^*a^*b^*值、照相机L^*a*b^*。

L^*a^*b^*是由标准光中的三刺激值定义的色彩空间。CIE在1964年作为均匀色彩空间提出U^*V^*W^*，1976年又提出对U^*V^*W^*空间进行了修改的L^*u*v^*空间。而且，在1976年，作为与无论哪个色彩区均能察觉的色差对应的色彩空间，又提出了L^*a^*b^*空间(CIELAB)。

图14中，照相机RGB51经过sRGB伽玛处理52之后，在转换处理53中，将RGB转换为三刺激值XYZ。接着，在转换处理54中，使用709系列矩阵M₇₀₉55，将XYZ转换为L^*a^*b^*。然后获得最终的照相机L^*a*b*56。

参考文献1中对709系列矩阵M₇₀₉进行了介绍。

作为目标值的人眼可见的L^*a^*b^*值可通过Macbeth ColorChecker的光谱反射率、标准光源D55的光谱辐射亮度进行计算。

作为色彩再现性的评价指数，采用Macbeth Color Checker 24色的平均ΔE值(ΔEa)。如下式(4)所示，该值将成为照相机的信号处理过程中的MAT系数的函数ΔEa(MAT)。

$\mathrm{\Δ}{E}_a\left(\mathrm{MAT}\right)=\frac{1}{24}\underset{k=1}{\overset{24}{\∫}}\mathrm{\Δ}{E}_k\left(\mathrm{MAT}\right)---\left(4\right)$

其中，ΔE_k：第k个色块的ΔE_k

MAT：色彩转换矩阵系数

噪声评价指数的定义

作为包含在摄像单元的输出信号中的噪声模型，使用下式(5)所示的定义式。参考文献4(“G.C.Holst，《CCD ARRAYS CAMERASand DISPLAYS 2nd Ed.，》JCD Publishing(1998)”)中对该定义式进行了介绍。

${\mathrm{Noise}}_{\_\mathrm{raw}}=\sqrt{a_s\·{\mathrm{CV}}_{\_\mathrm{CCD}}+b_d}$

$=\sqrt{{\mathrm{ShotNoise}}^2+{\mathrm{DarakNoise}}^2}---\left(5\right)$

在式(5)中，如参考文献5(西尾研一，《CCD照相机的色彩》，色彩论坛JAPAN’99，pp.143-147(1999))所述，a_s与b_d是由CCD的设备特性(饱和电子量等)决定的值。

a_s·CV_{_CCD}表示光散粒噪声，即依赖于信号值的噪声成分，b_d表示基底噪声(floor noise)，即不依赖于信号值的噪声成分(参照参考文献4)。

该噪声Noise_{_raw}通过照相机的信号处理，并且通过L^*a^*b^*转换，被传播给各种色彩空间。下面，略述噪声的传播模型(参照参考文献6(ED.Burns and R.S.Berns，《(Error Propagation Analysis in ColorMeasurement and Imaging》，Col.Res.Appl，Vol.22，pp.280-289(1997)))的概要。

当假设某输入信号通过(m×n)矩阵A，线性变换为Y＝〔y₁，y₂，…，y_m〕^t时，该式可如下写为：

Y＝A·X··

现在，假设输入信号X的方差-协方差矩阵如下式(6)所示。

该式(6)的对角成分正好是输入信号的噪声方差值。如果输入信号值间彼此不相关，则矩阵成分中的协方差成分(即，非对角成分)为0。这时，输出信号Y的方差-协方差矩阵可用下式(7)定义。

∑_y＝A-∑_x·A^t    …(7)

该式(7)是可通过线性转换进行转换的色彩空间之间的噪声方差值的传播理论公式。

为将最终输出信号照相机RGB值转换成L^*a^*b^*值，如色彩再现性的定义一节所描述的，从XYZ空间向L^*a^*b^*空间转换时，包括非线性的转换。但因噪声方差值通常都很小，所以可用上述参考文献6中的Jacobian矩阵J_L*a*b近似地以线性转换表示XYZ→L^*a^*b^*转换。因此，用于将原信号线性转换为L^*a^*b^*值的近似矩阵M_total如下式(8)所示。

$M_{\mathrm{total}}=J_{L^{*}{a}^{*}{b}^{*}}\·M_{709}\·\mathrm{MAT}\·\mathrm{WBM}---\left(8\right)$

其中，WBM：白平衡矩阵

MAT：色彩转换矩阵

使用式(8)的矩阵和噪声传播理论公式(7)，可按下式(9)计算最终输出信号值中的噪声方差值。

${\mathrm{\Σ}}_{L^{*}{a}^{*}{b}^{*}}=\left[\begin{array}{ccc}{{\mathrm{\σ}}^2}_{L^{*}}& {\mathrm{\σ}}_{L^{*}{a}^{*}}& {\mathrm{\σ}}_{a^{*}{b}^{*}}\\ {\mathrm{\σ}}_{a^{*}{L}^{*}}& {{\mathrm{\σ}}^2}_{a^{*}}& {\mathrm{\σ}}_{L^{*}{b}^{*}}\\ {\mathrm{\σ}}_{a^{*}{b}^{*}}& {\mathrm{\σ}}_{b^{*}{L}^{*}}& {{\mathrm{\σ}}^2}_{b^{*}}\end{array}\right]---\left(9\right)$

$=M_{\mathrm{total}}\·{\mathrm{\Σ}}_{\mathrm{RGBraw}}\·{M_{\mathrm{total}}}^t$

用自式(9)获得的噪声量σ_L*、σ_a*、σ_b*计算由下式(10)定义的Total Noise值(TN值)。进而，将Macbeth Color Checker 24色的各色块的TN值的平均值TNa作为噪声评价指数。

${\mathrm{TN}}_a\left(\mathrm{MAT}\right)=\frac{1}{24}\underset{k=1}{\overset{24}{\∫}}{\mathrm{TN}}_k\left(\mathrm{MAT}\right)---\left(10\right)$

其中，TN_k：第k个色块的TN值

MAT：色彩转换矩阵系数

考虑到噪声的亮度成分和色彩成分这两者，TN值是与用人眼能感觉到的噪声高度相关的值。用L^*a^*b^*噪声量，以下式定义。

$\mathrm{TN}=\sqrt{{\left(\frac{{\mathrm{\σ}}_{L^{*}}}{W_{L^{*}}}\right)}^2+{\left(\frac{{\mathrm{\σ}}_{a^{*}}}{W_{a^{*}}}\right)}^2+{\left(\frac{{\mathrm{\σ}}_{b^{*}}}{W_{b^{*}}}\right)}^2}---\left(11\right)$

在式(11)中，W_L*、W_a*、W_b*是对噪声量σ_L*、σ_a*、σ_b*的加权系数，其采用通过视觉实验获得的实验/经验值。

确定照相机信号处理中的参数的方法

具体而言，是指确定信号处理中的MAT系数的方法。首先，使用色彩再现评价指数ΔEa和噪声评价指数TNa，在下式(12)中定义CEM(Comprehensive Error Metric)值。

$\mathrm{CEM}\left(\mathrm{MAT}\right)=\sqrt{{(\mathrm{wc}\·\mathrm{\Δ}{E}_a\left(\mathrm{MAT}\right))}^2+{(\mathrm{wn}\·{\mathrm{TN}}_a\left(\mathrm{MAT}\right))}^2}---\left(12\right)$

其中，wc：对于色彩再现性的加权系数

wn：对于噪声量的加权系数

通过确定针对各评价指数的加权系数wc、wn求出使CEM值最小的MAT系数，从而可以实现调节色彩再现性、噪声量的滤色器评价。

CN图的绘制方法

改变上述CEM值的wc、wn后算出MAT系数，并算出当时的色彩再现评价指数ΔEa和噪声评价指数TNa。如图15所示，将结果绘制成横轴为ΔEa、纵轴为TNa的〔色彩再现对噪声〕的曲线图(以下，将该坐标图适当地称为CN图)。CN图是用于表示被评价的滤光器组实力的图。

图15的左下区是色彩再现和噪声均好的区域，而右上区是两者均差的区域。因此，曲线越靠近左下方，滤色器组的性能越好。通过对每个要评价的滤色器组都绘制此曲线并加以比较，从而可直观地判断哪个滤色器组更好。一般而言，CN图的轨迹在左下为凸曲线，色彩再现性和噪声特性呈现出色彩再现性变好则噪声特性变差、噪声特性变好则色彩再现性变差这样的折衷关系。

图16中示出根据本发明的混合式摄像单元、原色系三色摄像单元、及互补色系四种颜色摄像单元的CN图。附图标记61a是混合式摄像单元的〔色彩再现对噪声〕的曲线，附图标记61b是原色系三色摄像单元的〔色彩再现对噪声〕的曲线，附图标记61c是互补色系四种颜色摄像单元的〔色彩再现对噪声〕的曲线。

图16所示的CN图的左下方是色彩再现和噪声特性均好的区域，所以轨迹最靠近左下方的摄像单元可以说特性最好。由图16可知，混合式摄像单元的曲线61a最靠近左下方，所以色彩再现性及噪声特性均优于原色系、互补色系摄像单元。

实际上，以图10A及图10B所示的排列制成RGBYC摄像单元，并制成用于进行图13所示的信号处理的IC(Integrated Circuit)。伽玛校正使用sRGB伽玛算出RGB输出信号。作为线性矩阵系数，使用例如CN图(图16)的☆62所示的wc∶wn＝1∶3的加权系数。☆的系数如式(13)所示。

$\left[\begin{array}{c}{R}_{\mathrm{out}}\\ G_{\mathrm{out}}\\ B_{\mathrm{out}}\end{array}\right]=\left[\begin{array}{ccccc}1.494& -0.836& 0.242& 0.658& -0.559\\ -0.255& 0.688& -0.383& 0.706& 0.244\\ 0.094& -0.403& 1.254& -0.351& 0.406\end{array}\right]\·\begin{array}{c}\left[\begin{array}{c}{R}_{\mathrm{in}}\\ G_{\mathrm{in}}\\ B_{\mathrm{in}}\\ Y_{\mathrm{in}}\\ C_{\mathrm{in}}\end{array}\right]---\left(13\right)\end{array}$

由式(13)可知，系数值较小，且色分离噪声未过度增大。由此，可构成使用五种颜色的RGBYC摄像单元的照相机。

接着，对可以获取使用了混合式摄像单元的宽动态范围图像的图像输入装置进行描述。

以根据像素值的亮度电平灵活使用五种颜色的信号值来扫描动态范围宽的图像为例进行说明。

像素值的亮度电平的计算方法有多种，例如，将接近于人眼的亮度成分的G信号作为亮度值使用。作为信号处理，可考虑图17所示的处理。LM(H)71、LM(M)72、LM(L)73分别表示高亮度、中亮度、低亮度用的线性矩阵处理，WB(H)74、WB(M)75、WB(L)76分别表示白平衡处理，77、78、及79分别表示将各输出信号乘以增益值a、b、c的乘法器。

图18中示出加权增益系数相对于亮度电平(横轴)的变化的转变。在高亮度区中，增益系数是(a＝1，b＝c＝0)，在中亮度区中，增益系数是(a＝0，b＝1，c＝0)，在低亮度区中，增益系数是(a＝b＝0，c＝1)。而且，在各区域的边界附近，增益系数的上升和另一个增益系数的下降倾斜并交叉，且变化并不明显。在图17中，虽未进行图示，但还设置有增益系数控制部，其根据例如RGBYC信号的A/D(模拟-数字)转换后的每一采样的亮度电平(例如G信号)控制增益系数。

参照参考文献3，如下所述确定各亮度电平的线性矩阵系数。

低亮度区

就低亮度区而言，从图像质量这一点出发，噪声少是比色彩再现性更重要的因素。因此，作为线性矩阵系数，使用RGBYC五种颜色的信号值，并使用重视噪声特性的系数。可以考虑wc∶wn＝1∶10这点(图16中的Δ标记63的位置)的系数等。系数值如下所示。

$\left[\begin{array}{c}{R}_{\mathrm{out}}\\ G_{\mathrm{out}}\\ B_{\mathrm{out}}\end{array}\right]=\left[\begin{array}{ccccc}1.147& -0.562& 0.104& 0.731& -0.419\\ -0.155& 0.531& -0.210& 0.544& 0.289\\ 0.082& -0.344& 1.210& -0.405& 0.457\end{array}\right]\·\left[\begin{array}{c}{R}_{\mathrm{in}}\\ G_{\mathrm{in}}\\ B_{\mathrm{in}}\\ Y_{\mathrm{in}}\\ C_{\mathrm{in}}\end{array}\right]---\left(14\right)$

式(14)与式(13)相比，由于使相对于噪声的加权增大，因而各系数的绝对值变小，由此可知未增大色分离噪声。

中亮度区

作为中亮度像素用的线性矩阵系数，通过使用RGBYC五种颜色的信号值，由色彩再现性和噪声特性的平衡最好的点决定。即，在CN图中，决定最左下方位置的轨迹上的系数。例如，可以考虑式(13)所示的wc∶wn＝1∶3附近的矩阵系数。

高亮度区

作为高亮度像素用的线性矩阵系数，因Y信号及C信号已非常饱和，所以使用RGB三色的信号值，由色彩再现性和噪声特性的平衡最好的点决定。即，在CN图中，决定最左下方位置的轨迹上的系数。例如，可以考虑wc∶wn＝1∶3这点(图16中的○标记64的位置)的系数等。系数如下式(15)所示。

$\left[\begin{array}{c}{R}_{\mathrm{out}}\\ G_{\mathrm{out}}\\ B_{\mathrm{out}}\end{array}\right]=\left[\begin{array}{ccc}1.659& -0.654& -0.005\\ -0.080& 1.396& -0.316\\ 0.008& -0.457& 1.449\end{array}\right]\·\left[\begin{array}{c}{R}_{\mathrm{in}}\\ G_{\mathrm{in}}\\ B_{\mathrm{in}}\end{array}\right]---\left(15\right)$

处理流程如下所述。

当输入某像素信号时，经三种线性矩阵处理(图17中的LM(H)71、LM(M)72、LM(L)73)，根据其输入信号值计算每亮度电平的信号值。

各信号值经白平衡处理(图17中的WB(H)74、WB(M)75、WB(L)76)之后，如图18所示，与其像素的亮度电平对应，在各信号值上乘以预先确定的增益系数(a、b、c)(图17中的乘法器77、78、及79)。

然后，三种输出信号通过图17中的加法器80和81相加，并决定其像素的输出信号值。

作为低亮度电平和中亮度电平的分界线，例如可考虑ISO400和ISO200的分界线等。而且，作为中亮度和高亮度电平的分界线，例如可列举Y信号和C信号中任一个信号达到饱和的情况等。

以上，对本发明的实施例进行了具体描述。然而，本发明并不限于上述实施例，基于本发明的技术思想，可作出各种变形。例如，在图17所示的构成中，针对三个等级的亮度电平进行不同的矩阵运算处理，但也可以针对两个等级(低/中亮度电平和高亮度电平)的亮度电平进行不同的矩阵运算处理。而且，也可以在低亮度电平中使用YCG三种颜色，在中亮度电平中使用RGBYC五种颜色。甚至，本发明还可以运用到层叠有三层CMOS结构、且与彩色胶片同样具有感蓝层、感绿层、和感红层的装置中。

符号说明

37C、37Y  青色、黄色滤色器的光谱灵敏度

37R、37G、37B  红色、绿色、蓝色滤色器的光谱灵敏度

42白平衡校正处理

43色彩转换处理

44照相机伽玛校正处理

52sRGB伽玛处理

53将RGB转换为XYZ的转换处理

54将XYZ转换为L^*a^*b^*的转换处理

61a  混合式摄像单元的〔色彩再现对噪声〕的曲线

61b  原色系三色摄像单元的〔色彩再现对噪声〕的曲线

61c  补色系四色摄像单元的〔色彩再现对噪声〕的曲线

71   高亮度用的线性矩阵处理

72   中亮度用的线性矩阵处理

73   低亮度用的线性矩阵处理

77、78、79  乘以增益系数a、b、c的乘法器

Claims (7)

1.一种摄像装置，包括：摄像部；具有前端的图像输入部；以及信号处理部，用于处理来自所述图像输入部的多个图像信号，并生成三原色信号，其特征在于，

在所述摄像装置中，所述摄像部包括三原色系分色滤色器、互补色系分色滤色器、以及被输入由所述分色滤色器分离的色光的摄像单元，

所述信号处理部在输入图像数据为低/中亮度电平的第一区域中通过对使用所述三原色系分色滤色器和互补色系分色滤色器获得的多个信号进行矩阵运算处理，从而生成三原色信号；以及

所述信号处理部在输入图像数据为高亮度电平的第二区域中通过对使用所述三原色系分色滤色器获得的三原色信号进行矩阵运算处理，从而生成三原色信号。

2.根据权利要求1所述的摄像装置，其特征在于，

所述三原色系分色滤色器是R(红色)滤色器、G(绿色)滤色器、以及B(蓝色)滤色器，所述互补色系分色滤色器是Y(黄色)滤色器和C(青色)滤色器。

3.根据权利要求1所述的摄像装置，其特征在于，

所述信号处理部包括：

第一矩阵运算部，在所述第一区域中，使用强调噪声特性的第一矩阵系数生成三原色信号；

第二矩阵运算部，在所述第二区域中，使用色彩再现性和噪声特性的平衡好的第二矩阵系数生成三原色信号；以及

混合部，用于将所述第一矩阵运算部及第二矩阵运算部的输出信号乘以增益系数后相加。

4.根据权利要求1所述的摄像装置，其特征在于，

所述第一区域和第二区域的界限选定为通过所述互补色系分色滤色器的所述摄像单元饱和的亮度电平。

5.一种摄像单元，其特征在于，包括共计五种颜色的滤色器，即原色系的R(红色)、G(绿色)、B(蓝色)的三原色滤色器、以及互补色系的Y(黄色)、C(青色)的两色滤色器，

通过将接近人眼的亮度特性的G滤色器配置成交错状，以获得其它颜色中的每种颜色的四倍的空间信息。

6.根据权利要求5所述的摄像单元，其特征在于，

排列的最小单位的大小为4×4，各列及各行上分别包括两个G滤色器，

作为其余两个滤色器，将灵敏度高的滤色器与灵敏度低的滤色器进行组合，因此，在水平及垂直方向上亮度差小。

7.根据权利要求5所述的摄像单元，其特征在于，

排列的最小单位的大小为4×4，各列及各行上分别包括两个G滤色器，

作为其余两个滤色器，交替配置使用灵敏度高的滤色器的列与行、以及使用灵敏度低的滤色器的列与行。

Images