CN1732694B - 图像拾取装置和方法 - Google Patents

Abstract

一种图像拾取装置，包括具有不同光谱特性的滤色镜并且包括用于对目标成像的图像拾取元件部分。所述图像拾取装置还包括：调节部件，用于调节颜色再现值和表示噪声感觉的噪声值；矩阵系数确定部件，用于根据调节部件的调节来确定矩阵系数；和矩阵变换处理部件，用于根据矩阵系数使由图像拾取元件部件所拾取的图像经受矩阵变换处理。

Description

图像拾取装置和方法

技术领域

本发明涉及一种适于拾取目标图像的图像拾取装置和图像拾取方法，尤其涉及一种适于以适合图像拾取灵敏度的方式执行图像拾取操作的图像拾取装置和图像拾取方法。

而且，本申请要求于2002年12月25日提交的日本专利申请第2002-375423号的优先权，在此全文引用作为参考。

背景技术

近些年，面向消费者的图像拾取装置(数码相机、和/或彩色扫描仪等)和图像处理软件已经普及了。亲自通过图像处理软件编辑通过图像拾取装置拾取目标图像而产生的图像的用户日益增加。而且，关于已经由图像拾取装置拾取的图像的图形质量的需求变得更强。在购买图像拾取装置时提到图片质量高作为主要条件的用户比率也日益增加。下面将描述图像拾取装置的总体构造。

在图像拾取装置中，使用例如如图1所示的用于三原色RGB的滤色镜1。在该示例中，滤色镜1由所谓Bayer结构构成，以总共四个滤光器作为由图1的单条虚线所示的最小单元，其中两个G滤光器仅允许绿光(G)通过，一个R滤光器仅允许红光(R)通过，并且一个B滤色镜仅允许蓝光(B)通过。

图2是示出信号处理单元11的结构示例的方框图，所述信号处理单元11用于对由具有RGB滤色镜1的CCD(电荷耦合装置)获取的RGB信号实现各种处理。

偏移校正处理单元21用于消除包含在从前端13传送的图像信号中的偏移分量，用以对由CCD图像拾取装置获取的信号进行预定处理，以便向白平衡校正处理单元22输出由此获得的图像信号。白平衡校正处理单元22基于从偏移校正处理单元21传送的图像信号的色温和滤色镜1的各个滤光器的灵敏度的差异来校正各个颜色的平衡。将经受白平衡校正处理单元22校正而获取的彩色信号输出至伽马(γ)校正处理单元23。伽马校正处理单元23对于从白平衡校正处理单元22传送的信号执行伽马校正，以便向垂直方向同时(同步)处理单元24输出由此获取的信号。在垂直方向同时处理单元24，提供延迟元件。已经从伽马校正处理单元23传送的信号的垂直方向的时移被同时化(同步化)。

RGB信号产生处理单元25执行用于将从垂直方向同时处理单元24传送的彩色信号插入相同空间的相位的插入处理、用于抑制或消除信号的噪声分量的噪声抑制(消除)处理、用于限制信号频带的过滤处理、和用于校正信号带的高频分量的高频校正处理等等，以便向亮度信号产生处理单元26和色差信号产生处理单元27输出由此获得的RGB信号。

亮度信号产生处理单元26以预定合成比率合成已从RGB信号产生处理单元25传送的RGB信号，以便产生亮度信号(Y)。色差信号产生处理单元27以预定合成比率类似地合成从RGB信号产生处理单元25传送的RGB信号，以便产生色差信号(Cb，Cr)。例如，由亮度信号产生处理单元26产生的亮度信号(Y)和由色差信号产生处理单元27产生的色差信号(Cb、Cr)被输出至在信号处理单元11的外部提供的监视器。

以上述的方式，通常执行对原始信号的伽马处理，并且之后通过线性变换处理来进行图像处理(线性矩阵处理)。

在上述图像拾取装置中，存在下述情况，其中由于当拾取目标图像来产生图像时，观看的方式根据观察时的视觉环境变化，可以不执行对期望颜色的再现。这是在图像拾取操作(下文称作图像拾取光源)时的光源和在观察时的光源(下文称作观察光源)的显色特性彼此大大不同时发生的现象。有鉴于此，在待审日本专利申请No.2002-142231等公开中提出了一种即使在通过具有不同于图像拾取光源的显色特性的观察光源再现图像的情况中也满意地执行颜色再现的方法。而且，图3和4示出了光谱灵敏度的特性，图3的曲线L1表示R的光谱灵敏度，曲线L2表示G的光谱灵敏度，以及曲线L3表示B的光谱灵敏度。另外，图4的曲线L11表示R的光谱灵敏度，曲线L12表示G的光谱灵敏度，以及曲线L13表示B的光谱灵敏度。

另一方面，在上述的图像拾取装置中，执行线性矩阵处理的添加，并且进一步执行图像拾取装置的滤色镜的添加，从而能够显著地提高颜色再现特性(再现性)。在该示例中，当确定所使用的线性矩阵的系数由此简单地最小化色差时，存在与现有技术相比可能增加噪声的情况。

发明内容

本发明的一方面是提供一种能够使用系数来执行线性矩阵处理的图像拾取装置和图像拾取方法，其中取决于图像拾取环境和/或图像拾取条件等来考虑颜色再现特性和噪声减少特性。

根据本发明的图像拾取装置是指一种包括图像拾取单元的图像拾取装置，所述图像拾取单元由具有不同光谱特性的滤色镜组成并用于拾取目标图像，所述图像拾取装置包括：调节部件，用于调节颜色再现值和表示噪声感觉的噪声值；矩阵系数确定部件，用于基于调节部件的调节来确定矩阵系数；和矩阵变换处理部件，用于基于矩阵系数对在图像拾取器件单元处所拾取的图像执行矩阵变换处理。

另外，根据本发明的图像拾取方法是指一种通过图像拾取装置来拾取目标图像的图像拾取方法，所述图像拾取装置包括由具有不同光谱特性的滤色镜组成的图像拾取单元并用于拾取目标图像，所述图像拾取方法包括：第一步骤，用于调节颜色再现值和表示噪声感觉的噪声值；第二步骤，用于基于第一步骤的调节来确定矩阵系数；和第三步骤，用于基于矩阵系数对在图像拾取器件单元处所拾取的图像执行矩阵变换处理。

通过以下给出的实施例的描述，本发明的其他方面和通过本发明获得的实际优点将变得更加明显。

附图说明

图1是示出传统RGB滤色镜的示例视图；

图2是示出传统图像拾取装置中提供的信号处理单元的结构示例的方框图；

图3是示出光谱灵敏度特性的示例视图；

图4是示出光谱灵敏度特性的另一示例视图；

图5是示出应用本发明的图像拾取装置的结构示例的方框图；

图6是示出在应用本发明的图像拾取装置中提供的四色滤色镜的示例视图；

图7是示出光谱发光效能曲线的示例视图；

图8是示出估计系数的特征的视图；

图9是示出应用本发明的图像拾取装置具有的照相机系统LSI的结构示例的方框图；

图10是示出图9的信号处理单元的结构示例的方框图；

图11是用于解释图像处理单元的预备处理的流程图；

图12是用于解释用于确定图11的步骤S1的确定四色滤色镜的处理的细节流程图；

图13是示出实际曲线的示例视图；

图14(A)到14(C)是示出每个滤色镜的UMG值的示例视图；

图15是示出四色滤色镜的光谱灵敏度特性的示例视图；

图16是用于解释图11的步骤S2的线性矩阵确定处理的细节流程图；

图17是示出色差的估计结果的示例视图；

图18是示出四色滤色镜的预定目标的色度的视图；

图19是示出在应用本发明的图像拾取装置中提供的四色滤色镜的另一示例视图；

图20是示出自适应确定线性矩阵系数M的流程图；

图21是示出当改变颜色再现特性指数时噪声减少特性指数的改变状态的视图；

图22是示出四色滤色镜的光谱灵敏度特性的示例视图；和

图23是示出图像的直方图的视图。

具体实施方式

图5是示出应用本发明的图像拾取装置的结构示例的方框图。

在图5所示的图像拾取装置中，在由CCD(电荷耦合器件)等组成的图像传感器45的正面(与透镜42相对的表面)处提供用于在四种颜色(光线)之间进行鉴别的滤色镜。应当注意，在所述图像拾取装置中，在图5的图像传感器45处提供的滤色镜作为图6所示的四色滤色镜61。

四色滤色镜61由作为由图6的单虚线表示的最小单元的总计四个滤光器组成，其中R滤光器仅允许红光通过，B滤光器仅允许蓝光通过，G1滤光器仅允许第一波长带的绿光通过，和G2滤光器允许第二波长带的绿光通过，该G2滤光器与G1滤光器具有高相关性。而且，G1滤光器和G2滤光器在其最小单元内以彼此对角的位置排列。

如后面详细描述的，由图像传感器45获取的图像的颜色数量是四种，并且将被获取的颜色信息增加，从而与其中仅获取三种颜色(RGB)的情况相比，能够更精确地表示颜色。而且，变得能够改善下列事实：眼睛看上去为不同颜色的颜色被再现为不同的颜色，并且看上去相同颜色的颜色被再现为相同的颜色(“颜色的鉴别特性”)。

应当注意，如从图7所示的光谱发光效能所理解的，人眼对亮度敏感。因此，在图6所示的四色滤色镜61中，存在补充的G2滤色镜，其具有接近于光谱发光效能曲线的光谱灵敏度特性，在该光谱发光效能曲线中获取了更精确的亮度信息，从而可以提高亮度的等级，并且可以再现接近于眼睛观看到的图像(存在关于对应于图1的R、G、B的R、G1、B滤光器而新确定的补充绿色G2滤光器)。

而且，作为确定滤色镜61使用的滤色镜估算系数，使用了UMG(UnifiedMeasure of Goodness，优度统一测量)，其是一个系数，其中考虑了例如“颜色再现特性”和“噪声减少特性”。

在使用UMG的估算中，在将被估算的滤光器简单满足路由(router)条件但是也考虑各个滤光器的光谱灵敏度分布的重叠的情况下，其估算值不会变高。因此，与利用q因子、μ因子或FOM(质量因数)估算滤色镜的情况相比，可以更多地减少噪声。也就是，通过使用UMG的估算，选择其中各个滤光器的光谱灵敏度特性彼此重叠至一定的程度的滤光器，但是在图4的R特性和G特性的情况下，基本上所有特性都不重叠。为此，即使在各个彩色信号被放大用以分离颜色的情况下，也不必使放大系数太大。在这之后，抑制放大噪声分量。

图8是示出各个滤光器估算系数的特征的视图。注意，图8示出了与可被一次估算的滤光器的数量、是否考虑目标的光谱反射因子、以及是否关于各个估算系数考虑噪声的减少相关的事项。

如图8所示，q因子表示可被一次估算的滤光器的数量仅是“1”，并且不考虑目标的光谱反射因子和噪声的减少。而且，μ因子表示当可以一次估算多个滤光器时不考虑目标的光谱反射因子和噪声的减少。另外，FOM表示当可以一次估算多个滤光器并考虑目标的光谱反射因子时，不考虑噪声的减少。

相反，在确定四色滤色镜61中使用的UMG表示一次可估算多个滤光器，并且考虑目标的光谱反射因子也考虑噪声的减少。

注意，在‘H.E.J.Neugebauer“Quality Factor for Filters Whose SpectralTransmittances are Different from Color Mixture Curves，and Its Application toColor Photography”JOURNAL OF THE OPTICAL SOCIETY OF AMERICA，46卷，NUMBER 10’中公开了q因子的细节，并且在‘P.L.Vora and H.J.Trussell，“Measure of Goddness of a set of color-scanning filters”，JOURNAL OF THEOPTICAL SOCIETY OF AMERICA，10卷，NUMBER 7’中公开了μ因子的细节。另外，在‘G.Sharma and H.J.Trussell，“Figures of Merit for ColorScanners”，IEEE TRANSACTION ON IMAGE PROCESSING，卷6’中公开了FOM的细节，并且在‘S.Quan、N.Ohta、and N.Katoh，“Optimal Design ofCamera Spectral Sensitivity Functions Based on Practical Filter Components”，CIC，2001’中公开了UMG的细节。

返回到图5的解释，微型计算机41根据预定控制程序控制整个操作。例如，微型计算机41执行光圈43的曝光控制、快门44的打开/关闭控制、TG(定时发生器)46的电子快门的控制、前端47的增益控制、照相机系统LSI(大规模集成电路)48的模式控制、和参数控制等。

光圈43调节由透镜42会聚的光的通过(光圈)，以便控制由图像传感器45接收的光量。快门44根据微型计算机41的指示来控制由透镜42会聚的光的通过。

图像传感器45还包括由CCD或CMOS(互补金属氧化物半导体)组成的图像拾取装置，并且用于将通过在图像拾取装置的正面处形成的四色滤色镜61的入射光线转换为电信号，以便向前端47输出四种彩色信号(R信号、G1信号、G2信号、B信号)。在图像传感器45，提供图6的四色滤色镜61，因此从通过透镜42的入射光线提取R、G1、G2、B的各个带的波长分量。注意，后面将参考图15描述其细节。

前端47对从图像传感器45传送的彩色信号执行相关双取样处理以消除噪声分量、增益控制处理和数字转换处理等。将经受前端47各种处理之后获得的图像数据输出至照相机系统LSI 48。

如后面详细所述的，照相机系统LSI 48对从前端47传送的图像数据执行各种处理，以便产生例如亮度信号和彩色信号，从而将那些信号输出至图像监视器50，并且允许图像监视器50显示与所述信号对应的图像。

图像存储器49由例如DRAM(动态随机存取存储器)、或者SDRAM(同步动态随机存取存储器)等组成，并且当照相机系统LSI 48执行各种处理时该图像存储器49被适当地利用。关于例如图5的图像拾取装置，构成由半导体存储器或盘等组成的可拆卸的外部存储介质51，由此向其中存储由照相机系统LSI 48以JPEG(联合图像专家组)格式压缩的图像数据。

图像监视器50由例如LCD(液晶显示器)等组成，并且用于显示所拾取的图像和/或各种菜单画面等。

图9是示出图5所示的照相机系统LSI 48的配置示例的方框图。通过微型计算机接口(I/F)73，由图5所示微型计算机41控制组成照相机系统LSI 48的各个块。

信号处理单元71对于从前端47传送的四种颜色信息执行诸如插入处理、过滤处理、矩阵操作处理、亮度信号产生处理和/或色差信号产生处理等的各种处理，以便通过监视器接口77向图像监视器50输出所产生的图像信号。

图像检测单元72根据前端47的输出执行诸如自动聚焦、自动曝光、和/或自动白平衡等检测处理，以便当时机需要时向微型计算机41输出其结果。

存储器控制器75控制处理块之间的数据的相互发送/接收，或者预定处理块与图像存储器49之间的数据的发送/接收，以便通过存储器接口74向图像存储器49输出例如从信号处理单元71传送的图像数据，并且允许图像存储器49存储所述图像数据。

图像压缩/解压(提取)单元76以例如JPEG格式压缩从信号处理单元71传送的图像数据，以便通过微型计算机接口73向外部存储介质51输出由此获得的数据，从而允许外部存储介质51存储上述数据。图像压缩/解压单元76还解压或提取(扩展)已从外部存储介质51读出的压缩数据，以便通过监视器接口77向图像监视器50输出由此获得的数据。

图10是示出图9所示的信号处理单元71的详细配置示例的方框图。经由微型计算机接口73，通过微型计算机41控制组成信号处理单元71的各个块。

偏移校正处理单元91消除包含在从前端47传送的图像信号中的噪声分量(偏移分量)，以便向白平衡校正处理单元92输出由此获得的图像信号。白平衡校正处理单元92用于根据从偏移校正处理单元91传送的图像信号的色温和四色滤色镜61的各个滤光器的灵敏度之间的差来校正各个颜色的平衡。将经受白平衡校正处理单元92的校正获取的彩色信号输出至垂直方向同时(同步)处理单元93。在垂直方向同时处理单元93，提供了延迟元件。因此，同时化或同步(校正)从白平衡校正处理单元92输出的信号(下文称作RG1G2B信号)在垂直方向上的时移。

信号产生处理单元94执行用于将从垂直方向同时处理单元93传送的RG1G2B信号的最小单元的2×2像素彩色信号插入到相同空间的相位的插入处理、用于消除信号的噪声分量的噪声消除处理、用于限制信号带的过滤处理、和用于校正信号带的高频分量的高频校正处理等，以便将由此获得的RG1G2B信号输出至线性矩阵处理单元95。

线性矩阵处理单元95根据预定线性矩阵系数(3×4矩阵)通过公式(1)来执行RG1G2B信号的运算(计算)，以便产生三色RGB信号。

$\left[\begin{array}{c}R\\ G\\ B\end{array}\right]=\left[\begin{array}{cccc}a& b& c& d\\ e& f& g& h\\ i& j& k& l\end{array}\right]\·\left[\begin{array}{c}R\\ G1\\ G2\\ B\end{array}\right]...\left(1\right)$

由线性矩阵处理单元95产生的R信号被输出至伽马校正处理单元96-1，G信号被输出至伽马校正处理单元96-2，以及B信号被输出至伽马校正处理单元96-3。

伽马校正处理单元96-1至96-3对已从线性矩阵处理单元95输出的RGB信号的各个信号执行伽马校正，以便向亮度(Y)信号产生处理单元97和色差(C)信号产生处理单元98输出由此获取的RGB信号。

亮度信号产生处理单元97按照例如公式(2)以预定合成比率合成从伽马校正处理单元96-1至96-3传送的RGB信号，以便产生亮度信号(Y)。

Y＝0.2126R+0.7152G+0.0722B  ...(2)

色差信号产生处理单元98以预定合成比率类似地合成从伽马校正处理单元96-1至96-3传送的RGB信号，以便产生色差信号(C)，从而向带限制细化(thinning)处理单元99输出由此产生的色差信号(C)。带限制细化处理单元99根据色差信号(C)产生色差信号(Cb，Cr)。注意，在通过单芯片2×2颜色编码获得的信号中，颜色信息带通常不存在，而在亮度信号中存在该颜色信息带。因此，带限制细化处理单元99对从彩色信号产生处理单元98传送的色差信号(C)执行带限制处理和细化处理，从而减少颜色信息数据并产生色差信号(Cb，Cr)。

通过例如图9所示的监视器接口77，将由亮度信号产生处理单元97产生的亮度信号(Y)、和由色差信号产生处理单元98产生的色差信号(C)、或者由带限制细化处理单元99产生的色差信号(Cb、Cr)输出至图像监视器50。

在具有上述配置的图像拾取装置中，在指示图像的拍摄的情况下，微型计算机41控制TG46通过图像传感器45拍摄图像。也就是，通过在构成图像传感器45的例如CCD等的图像拾取装置(下文称作CCD图像拾取装置)的正面处形成的四色滤色镜61来发送四色光线。通过CCD图像拾取装置来接收由此发送的光线。将由CCD图像拾取装置接收的光线转换为四色的彩色信号。将由此获得的彩色信号输出至前端47。

前端47对从图像传感器45传送的彩色信号执行消除噪声分量的相关双取样处理、增益控制处理、和数字转换处理等，以便向照相机系统LSI 48输出由此获得的图像数据。

在照相机系统LSI 48的信号处理单元71处，通过偏移校正处理单元91消除彩色信号的偏移分量，并且通过白平衡校正处理单元92根据图像信号的色温和四色滤色镜61的各个滤光器的灵敏度之间的差异来校正各个颜色的平衡。

另外，通过垂直方向同时处理单元93来同时化或同步(校正)由白平衡校正处理单元92校正的信号的垂直方向的时移，并且通过信号产生处理单元94执行用于将从垂直方向同时处理单元93传送的RG1G2B信号的最小单元的2×2像素彩色信号插入相同空间的相位的插入处理、用于消除信号的噪声分量的噪声消除处理、用于限制信号带的过滤处理、和用于校正信号带的高频分量的高频带校正处理等。

另外，在线性矩阵处理单元95，根据预定线性矩阵系数M(矩阵3×4)来变换由信号产生处理单元94产生的信号(RG1G2B信号)。由此，产生三色的RGB信号。线性矩阵处理单元95产生的R信号被输出至伽马校正处理单元96-1，G信号被输出至伽马校正处理单元96-2，以及B信号被输出至伽马校正处理单元96-3。

对于通过线性矩阵处理单元95的处理获得的RGB信号的各个信号，通过伽马校正处理单元96-1至96-3执行伽马校正。由此获取的RGB信号被输出至亮度信号产生处理单元97和色差信号产生单元98。在亮度信号产生处理单元97和色差信号产生处理单元98，以预定合成比率合成从伽马校正处理单元96-1至96-3传送的R信号、G信号和B信号中的每个信号。由此，产生亮度信号(Y)和色差信号(C)。由亮度信号产生处理单元97产生的亮度信号(Y)和由色差信号产生处理98产生的色差信号(C)被输出至图9的图像压缩/提取单元76，并且通过例如JPEG格式压缩。通过微型计算机接口73，经受压缩而获得的图像数据被输出至外部存储介质51并被存储在其中。

由于以上述方式根据四种彩色信号形成了一个图像数据，其再现特性导致更接近于人类的眼睛所见。

另一方面，当指示再现(显示)在外部存储介质51存储的图像数据时，通过微型计算机41读出存储在外部存储介质51中的图像数据。已由此读出的图像数据被输出至照相机系统LSI 48的图像压缩/提取单元76。在图像压缩/提取单元76，扩展压缩的图像数据。因此，通过监视器接口77在图像监视器50上显示与所获得的数据对应的图像。

然后，参考图11所示的流程图来解释用于预备具有上述配置的图像拾取装置的处理(过程)。

在步骤S1，执行用于确定四色滤色镜的处理，用以确定在图5所示的图像传感器45提供的四色滤色镜61的光谱灵敏度特性。在步骤S2，执行用于确定矩阵系数M的线性矩阵系数M确定处理，所述矩阵系数M是在图10所示的线性矩阵处理单元95设定的。后面将参考图12所示的流程图描述在步骤S1执行的、用于确定四色滤色镜的处理细节，并且后面将参考图16所示的流程图描述在步骤S2执行的、用于确定线性矩阵系数M的处理细节。

在确定四色滤色镜61因此确定矩阵系数之后，在步骤S3准备图10所示的信号处理单元71。因此，处理继续到步骤S4，在步骤S4准备图9所示的照相机系统LSI48。而且，在步骤S5，准备如图5所示的整个图像拾取装置(例如数码相机)。在步骤S6，执行在步骤S5准备的图像拾取装置的图形质量(“颜色再现特性”、“颜色鉴别特性”)的估算。如此，处理完成。

这里，将解释在估算“颜色再现特性”和“颜色鉴别特性”等中涉及的目标颜色。目标颜色是通过在可见光范围(例如400到700nm)内积分“目标的光谱反射因子”、“标准照明的光谱能量分布”、和“感测目标的传感器(滤色镜)的光谱灵敏度分布(特性)”的乘积而获得的值计算的。即，通过公式(3)来计算目标颜色。

目标颜色＝k∫_vis(目标的光谱反射因子)·(照明的光谱能量分布)

                                                                 ...(3)

·(用于感测目标的传感器的光谱灵敏度分布)dλ

λ：波长

vis：可见光区域(通常400纳米至700纳米)

例如，在通过眼睛观察预定目标的情况下，公式(3)的“传感器的光谱灵敏度特性”由颜色匹配函数表示，以及该目标的目标颜色由三个激励值X、Y、Z表示。简言之，通过公式(4-1)计算值X，通过公式(4-2)计算值Y，并且通过公式(4-3)计算值Z。注意，通过公式(4-4)计算公式(4-1)到(4-3)中的常数k的值。

$X=k{\∫}_{\mathrm{vis}}R\left(\mathrm{\λ}\right)\·P\left(\mathrm{\λ}\right)\·\stackrel{\‾}{x}\left(\mathrm{\λ}\right)\mathrm{d\λ}...(4-1)$

$Y=k{\∫}_{\mathrm{vis}}R\left(\mathrm{\λ}\right)\·P\left(\mathrm{\λ}\right)\·\stackrel{\‾}{y}\left(\mathrm{\λ}\right)\mathrm{d\λ}...(4-2)$

$Z=k{\∫}_{\mathrm{vis}}R\left(\mathrm{\λ}\right)\·P\left(\mathrm{\λ}\right)\·\stackrel{\‾}{z}\left(\mathrm{\λ}\right)\mathrm{d\λ}...(4-3)$

R(λ)：目标的光谱反射因子

颜色匹配函数

$k=1/\∫P\left(\mathrm{\λ}\right)\·\stackrel{\‾}{y}\left(\mathrm{\λ}\right)\mathrm{d\λ}...(4-4)$

另外，在通过诸如数码相机等图像拾取装置拍摄预定目标图像的情况下，公式(3)的“传感器的光谱灵敏度特性”由滤色镜的光谱灵敏度特性表示，并且计算例如在RGB滤光器(三种)的情况下目标的目标颜色值(RGB值(三重))。在图像拾取装置处提供用于检测三种颜色的RGB滤光器的情况下，实际上通过公式(5-1)计算值R，通过公式(5-2)计算值G，并且通过公式(5-3)计算值B。而且，通过公式(5-4)计算公式(5-1)中的常数k_r值，通过公式(5-5)计算公式(5-2)中的常数k_g值，并且通过公式(5-6)计算公式(5-3)中的常数k_b值。

$R=k_r{\∫}_{\mathrm{vis}}R\left(\mathrm{\λ}\right)\·P\left(\mathrm{\λ}\right)\·\stackrel{\‾}{r}\left(\mathrm{\λ}\right)\mathrm{d\λ}...(5-1)$

$G=k_g{\∫}_{\mathrm{vis}}R\left(\mathrm{\λ}\right)\·P\left(\mathrm{\λ}\right)\·\stackrel{\‾}{g}\left(\mathrm{\λ}\right)\mathrm{d\λ}...(5-2)$

$B=k_b{\∫}_{\mathrm{vis}}R\left(\mathrm{\λ}\right)\·P\left(\mathrm{\λ}\right)\·\stackrel{\‾}{b}\left(\mathrm{\λ}\right)\mathrm{d\λ}...(5-3)$

滤色镜的光谱灵敏度分布

$k_r=1/{\∫}_{\mathrm{vis}}P\left(\mathrm{\λ}\right)\·\stackrel{\‾}{r}\left(\mathrm{\λ}\right)\mathrm{d\λ}...(5-4)$

$k_g=1/{\∫}_{\mathrm{vis}}P\left(\mathrm{\λ}\right)\·\stackrel{\‾}{g}\left(\mathrm{\λ}\right)\mathrm{d\λ}...(5-5)$

$k_b=1/{\∫}_{\mathrm{vis}}P\left(\mathrm{\λ}\right)\·\stackrel{\‾}{b}\left(\mathrm{\λ}\right)\mathrm{d\λ}...(5-6)$

然后，将参考图12所示的流程图解释用于确定四色滤色镜的处理，所述处理是在图11所示的步骤S1执行的。

注意，尽管存在各种用以确定四色滤色镜的方法，但是将关于下面的处理给出解释：其中，例如RGB滤光器作为基础(一个现有(图1)的G滤光器作为G1滤光器)，并且选择允许与通过G1滤光器发送的颜色具有高相关性的颜色穿过的G2滤光器来补充G2滤光器，由此确定四色滤色镜。

在步骤S21，选择用于计算UMG值的颜色对象。例如，在步骤S21，选择颜色对象，其中包含了表示现存颜色的许多色标(color patch)，并包含了其中重点在于人类的记忆色(肤色、绿色植物、蓝天等)的许多色标。作为颜色对象，存在例如IT8.7、Macbeth Color Checker、GretargMacbeth DigitalCameraColor Checker、CIE、Color Bar等。

另外，根据目标，可以作为标准的色标可以是从诸如SOCS(标准目标颜色光谱数据库)等的数据准备的，以使用由此准备的色标。注意，在‘JohjiTajima，“Statistical Color Reproduction Evaluation by Standard Object ColorSpectra Database(SOCS)”，Color forum JAPAN 99’中公开了SOCS的细节。下面将结合Machbeth Color Checker被选择为颜色对象的情况给出解释。

在步骤S22，确定G2滤光器的光谱灵敏度特性。作为光谱灵敏度特性，可以使用可能从现存材料准备的光谱灵敏度特性，或者可以使用通过如图13所示的三次样条函数曲线(三次样条函数)假设虚拟曲线C(λ)而获得的光谱灵敏度特性，所述三次样条函数曲线用于改变所示范围内的虚拟曲线C(λ)的峰值λ₀、值w(通过将w₁与w₂的和除以2而获得的值)、以及值Δw(通过将w₁与w₂的差除以2而获得的值)。注意，基于半值宽度值设定w和Δw的值。作为改变λ₀、w、Δw的方法，假设那些值以例如5纳米的间距改变。虚拟曲线C(λ)在各自的范围内由下列公式(6-1)到(6-5)表示。

$C\left(\mathrm{\λ}\right)=\frac{w_2^3+3w_2^2(w_2-|\mathrm{\λ}-{\mathrm{\λ}}_0\left|\right)+3w_2{(w_2-|\mathrm{\λ}-{\mathrm{\λ}}_0\left|\right)}^2-3{(w_2-|\mathrm{\λ}-{\mathrm{\λ}}_0\left|\right)}^3}{{6w}_2^3}$

∧0≤λ-λ₀≤w₂    ...(6-1)

$C\left(\mathrm{\λ}\right)=\frac{w_1^3+3w_1^2(w_1-|\mathrm{\λ}-{\mathrm{\λ}}_0\left|\right)+3w_1{(w_1-|\mathrm{\λ}-{\mathrm{\λ}}_0\left|\right)}^2-3{(w_1-|\mathrm{\λ}-{\mathrm{\λ}}_0\left|\right)}^3}{{6w}_2^3}$

∧-w₁≤λ-λ₀≤0    ...(6-2)

$C\left(\mathrm{\λ}\right)=\frac{{(2w_2-|\mathrm{\λ}-{\mathrm{\λ}}_0\left|\right)}^3}{{6w}_2^3}$ ∧w₂≤λ-λ₀≤2w₂       ...(6-3)

$C\left(\mathrm{\λ}\right)=\frac{{(2w_1-|\mathrm{\λ}-{\mathrm{\λ}}_0\left|\right)}^3}{6w_1^3}$ ∧-2w₁≤λ-λ₀≤-w₁     ...(6-4)

C(λ)＝0  ∧上述范围以外    ...(6-5)

注意，尽管在该示例中仅补充了滤光器G2，但是可以使用图1所示的滤光器(R、G、G、B)的R滤光器和B滤光器来确定剩余的两个G1、G2滤光器，作为绿色附近的上述公式(6-1)至(6-5)的虚拟曲线。另外，类似地，可以仅使用图1所示的滤光器中的R和G、和仅G和B。另外，在四色滤色镜当中，可以定义三色滤色镜作为虚拟曲线，并且可以定义四色滤色镜全部为虚拟曲线。

在步骤S23，组合将被补充的滤色镜(G2滤色镜)和现存滤色镜(R滤色镜、G1滤色镜、B滤色镜)，从而准备四色滤色镜的最小单元(组)。而且，在步骤S24，UMG被用作关于在步骤S23准备的四色滤色镜的滤色镜估算系数。因此，计算UMG值。

如参考图8所解释的，在使用UMG的情况下，对于各个四色滤色镜可以一次执行估算。另外，不但通过考虑目标的光谱反射因子来执行估算，而且通过考虑噪声的减少特性进行估算。由于在使用UMG的估算中，关于在各个滤光器的光谱灵敏度特性中具有适当重叠的滤光器指示较高的估算，因此能够抑制对于例如具有其中R特性和G特性在宽波长带相互重叠的特性的滤光器(当分离各个彩色信号时噪声被放大的滤光器)指示较高的估算。

图14是示出在三色滤光器处计算的UMG值的示例的视图。例如，在具有图14(A)所示的特性的滤光器中，其中RGB的特性互相不重叠，计算UMG值“0.7942”。在具有图14(B)所示的特性的滤光器中，其中R特性和G特性在宽波长带上互相重叠，计算UMG值“0.8211”。而且，在具有图14(C)所示的特性的滤光器中，其中RGB各自的特性适当地互相重叠，计算UMG值“08879”。也就是，关于具有图14(C)所示的特性的滤光器，其中RGB各自的特性适当地互相不重叠，指示最高估算。这也类似地应用于四色滤色镜。在该示例中，图14(A)所示的曲线L31、图14(B)所示的曲线L41和图14(C)所示的曲线L51表示R光谱灵敏度，图14(A)所示的曲线L32、图14(B)所示的曲线L42和图14(C)所示的曲线L521表示G光谱灵敏度，并且图14(A)所示的曲线L33、图14(B)所示的曲线L43和图14(C)所示的曲线L53表示B光谱灵敏度。

在步骤S25，判断在步骤S24计算的UMG值是否是预定阈值“0.95”或更大的值。在判断UMG值小于“0.95”的情况下处理继续到步骤S26，因此(不使用)禁用准备的四色滤色镜。在步骤S26，在禁用四色滤色镜的情况下，之后完成处理(不执行图11所示的步骤S2及其之后步骤的处理)。

另一方面，在步骤S25，在判断步骤S24计算的UMG值是“0.95”或更大的情况下，在步骤S27使该四色滤色镜成为数码相机中使用的候选滤光器。

在步骤S28，判断在步骤S27成为候选滤光器的四色滤光器是否可以由现有材料/染料实现。在难以获取材料/染料等的情况下，判断不能实现这种滤色镜。处理继续到步骤S26。结果，禁用四色滤色镜。

另一方面，在判断可以获取材料/染料等，从而可以实现这种滤色镜的情况下，处理继续到步骤S29。因此，由此准备的四色滤色镜被确定为在数码相机中使用的滤光器。之后，执行图11所示的步骤S2及其随后步骤的处理。

图15是示出已在步骤S29确定的四色滤色镜的光谱灵敏度特性的示例的视图。

在图15中，曲线L61表示R的光谱灵敏度，曲线L62表示G1的光谱灵敏度。而且，曲线L63表示G2的光谱灵敏度，和曲线L64表示B的光谱灵敏度。如图15所示，G2的光谱灵敏度曲线(曲线L63)与G1的光谱灵敏度曲线(曲线L62)具有较高相关性。而且，R的光谱灵敏度、G(G1，G2)的光谱灵敏度和B的光谱灵敏度在合适的范围内互相重叠。

通过利用以上述方式确定的四色滤色镜，变得能够显著地提高“颜色再现特性”的“颜色的鉴别特性”。

注意，从光的利用效率的观点来看，最好是，以上述方式将与现有RGB滤光器的G滤光器具有高相关性的滤光器制成将被补充的滤光器(G2滤光器)。这样，期望将被补充的滤光器的光谱灵敏度曲线的峰值在试验上存在于范围495至535纳米内(在现存G滤光器的光谱灵敏度曲线的峰值附近)。

而且，在与现存G滤光器具有高相关性的滤光器的情况下，由于组成图1所示的最小单元(R、G、G、B)的两个G滤光器之一仅被制成将被补充的滤色镜，从而具有准备四色滤色镜的能力，因此不必极大地改变生产处理步骤。

在以上述方式准备四色滤色镜并且在数码相机处提供由此准备的滤色镜的情况下，由于四种彩色信号是图10所示的信号处理单元71处的信号产生处理单元94传递的，因此在线性矩阵处理单元95处执行用于从四色(R、G1、G2、B)信号产生三色(R、G、B)信号的变换处理。由于这一变换处理是关于亮度线性输入信号值(亮度值可以由线性变换处理表示)的矩阵处理，因此当时机需要时下文中将线性矩阵处理单元95处执行的变换处理称作线性矩阵处理。

然后，将参考图16所示的流程图来解释在图11所示的步骤S2执行的线性矩阵系数M确定处理。应当注意，使在线性矩阵系数M确定处理中使用的颜色对象为Macbeth Color Checker，并且使所使用的四色滤色镜具有图15所示的光谱灵敏度特性。

在步骤S41，例如选择在CIE(Commision International’s Eclairange，国际照明委员会)中用作标准光源的普通日光D65(照明光L(λ))作为照明光。注意，所述照明光可被变换为其中期望频繁使用图像处理装置的环境的照明光等。而且，在存在假设的多个照明环境的情况下，可以想象准备多个线性矩阵。现在将描述日光D65被选择为照明光的情况。

在步骤S42，计算参考值Xr、Yr、Zr。简言之，通过公式(7-1)计算参考值Xr，通过公式(7-2)计算参考值Yr，并且通过公式(7-3)计算参考值Zr。

$X_r=k{\∫}_{\mathrm{vis}}R\left(\mathrm{\λ}\right)\·L\left(\mathrm{\λ}\right)\·\stackrel{\‾}{x}\left(\mathrm{\λ}\right)\mathrm{d\λ}...(7-1)$

$Y_r=k{\∫}_{\mathrm{vis}}R\left(\mathrm{\λ}\right)\·L\left(\mathrm{\λ}\right)\·\stackrel{\‾}{y}\left(\mathrm{\λ}\right)\mathrm{d\λ}...(7-2)$

$Z_r=k{\∫}_{\mathrm{vis}}R\left(\mathrm{\λ}\right)\·L\left(\mathrm{\λ}\right)\·\stackrel{\‾}{z}\left(\mathrm{\λ}\right)\mathrm{d\λ}...(7-3)$

R(λ)：目标的光谱反射因子

颜色匹配函数

而且，通过公式(8)来计算常数k。

k＝1/∫_visL(λ)·y(λ)dλ    ...(8)

例如，在颜色对象是Macbeth Color Checker的情况下，计算与24种颜色对应的参考值。

然后，在步骤S43，计算四色滤色镜的输出值R_f、G1_f、G2_f、B_f。简言之，通过公式(9-1)计算R_f，通过公式(9-2)计算G1_f，通过公式(9-3)计算G2_f，并且通过公式(9-4)计算B_f。

$R_f=k_r{\∫}_{\mathrm{vis}}R\left(\mathrm{\λ}\right)\·L\left(\mathrm{\λ}\right)\·\stackrel{\‾}{r}\left(\mathrm{\λ}\right)\mathrm{d\λ}...(9-1)$

${G1}_f=k_{g1}{\∫}_{\mathrm{vis}}R\left(\mathrm{\λ}\right)\·L\left(\mathrm{\λ}\right)\·\stackrel{\‾}{g1}\left(\mathrm{\λ}\right)\mathrm{d\λ}...(9-2)$

${G2}_f=k_{g2}{\∫}_{\mathrm{vis}}R\left(\mathrm{\λ}\right)\·L\left(\mathrm{\λ}\right)\·\stackrel{\‾}{g2}\left(\mathrm{\λ}\right)\mathrm{d\λ}...(9-3)$

$R_f=k_b{\∫}_{\mathrm{vis}}R\left(\mathrm{\λ}\right)\·L\left(\mathrm{\λ}\right)\·\stackrel{\‾}{b}\left(\mathrm{\λ}\right)\mathrm{d\λ}...(9-4)$

滤色镜的光谱灵敏度分布

而且，通过公式(10-1)计算常数k_r，通过公式(10-2)计算常数k_g1，通过公式(10-3)计算常数k_g2，并且通过公式(10-4)计算常数k_b。

$k_r=1/{\∫}_{\mathrm{vis}}L\left(\mathrm{\λ}\right)\·\stackrel{\‾}{r}\left(\mathrm{\λ}\right)\mathrm{d\λ}...(10-1)$

$k_{g1}=1/{\∫}_{\mathrm{vis}}L\left(\mathrm{\λ}\right)\·\stackrel{\‾}{g1}\left(\mathrm{\λ}\right)\mathrm{d\λ}...(10-2)$

$k_{g2}=1/{\∫}_{\mathrm{vis}}L\left(\mathrm{\λ}\right)\·\stackrel{\‾}{g2}\left(\mathrm{\λ}\right)\mathrm{d\λ}...(10-3)$

$k_b=1/{\∫}_{\mathrm{vis}}L\left(\mathrm{\λ}\right)\·\stackrel{\‾}{b}\left(\mathrm{\λ}\right)\mathrm{d\λ}...(10-4)$

例如，在颜色对象是Macbeth Color Checker的情况下，计算与24种颜色对应的输出值R_f、G1_f、G2_f、B_f。

在步骤S44，在XYZ色彩空间，通过例如误差最小平方方法计算用于执行将在步骤S43计算的近似滤光器输出值变换处理为在步骤S42计算的参考值(XYZ_ref)的矩阵。

例如，在将要被计算的3×4矩阵假设为公式(11)所示的A的情况下，通过下列公式(12)来表示矩阵变换(XYZ_exp)。

$A=\left[\begin{array}{cccc}a0& a2& a3& a4\\ a4& a5& a6& a7\\ a8& a9& a10& a11\end{array}\right]...\left(11\right)$

$\mathrm{XYZexp}=\left[\begin{array}{c}\hat{X}\\ \hat{Y}\\ \hat{Z}\end{array}\right]=\left[\begin{array}{cccc}a0& a2& a3& a4\\ a4& a5& a6& a7\\ a8& a9& a10& a11\end{array}\right]\·\left[\begin{array}{c}{R}_f\\ {G1}_f\\ {G2}_f\\ B_f\end{array}\right]...\left(12\right)$

而且，通过下列公式(13)来表示关于参考值的矩阵变换(公式(12))的误差的平方(E2)。根据这一值，计算最小化关于参考值的矩阵变换的误差的矩阵A。

E²＝|XYZref-XYZexp|²    ...(13)

而且，可以将在误差最小平方方法中使用的色彩空间变化为XYZ色彩空间以外的色彩空间。例如，可以执行甚至关于人类的感观知觉(感观统一色彩空间)的、到Lab、Luv、Lch色彩空间的变换处理，之后执行类似的操作，从而使得能够计算允许感知的误差较少的颜色再现的线性矩阵。注意，由于通过非线性变换处理从XYZ值计算色彩空间的这些值，在误差最小平方方法中也使用非线性计算算法。

通过上述的操作，由公式(14)表示的矩阵系数被计算为关于具有例如图15所示的光谱灵敏度特性的滤光器的矩阵系数。

$A=\left[\begin{array}{cccc}0.476& 0.905& 0.261& -0.691\\ 0.2& 1.154& -0.061& -0.292\\ -0.004& 0.148& 0.148& -0.481\end{array}\right]...\left(14\right)$

在步骤S45，确定线性矩阵。例如，在将被准备的最终RGB图像数据假设由下列公式(15)表示的情况下，以下述方式来计算线性矩阵(LinearM)。

RGBout＝[R₀，G₀，B₀]^t    ...(15)

也就是，在照明光是D65的情况下，通过包括ITU-R709.BT矩阵的公式(16)来表示将sRGB色彩空间变换为XYZ色彩空间的变换表达，并且通过ITU-R709.BT矩阵的逆矩阵来计算公式(17)。

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{ccc}0.4124& 0.3576& 0.1805\\ 0.2126& 0.7152& 0.0722\\ 0.0193& 0.1192& 0.9505\end{array}\right]\·\left[\begin{array}{c}{R}_{\mathrm{sRGB}}\\ G_{\mathrm{sRGB}}\\ B_{\mathrm{sRGB}}\end{array}\right]...\left(16\right)$

$\left[\begin{array}{c}{R}_{\mathrm{sRGB}}\\ G_{\mathrm{sRGB}}\\ B_{\mathrm{sRGB}}\end{array}\right]=\left[\begin{array}{ccc}3.2406& -1.5372& -0.4986\\ -0.9689& 1.8758& 0.0415\\ 0.0557& -0.204& 1.057\end{array}\right]\·\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]...\left(17\right)$

通过公式(12)的矩阵变换表达以及公式(15)和(17)的ITU-R709.BT矩阵的逆矩阵，计算公式(18)。在公式(18)的右边，包括ITU-R709.BT矩阵的逆矩阵和作为乘以上述矩阵A的值的线性矩阵。

$\left[\begin{array}{c}{R}_0\\ G_0\\ B_0\end{array}\right]=\left[\begin{array}{ccc}3.2406& -1.5372& -0.4986\\ -0.9689& 1.8758& 0.0415\\ 0.0557& -0.204& 1.057\end{array}\right]\·\left[\begin{array}{cccc}a0& a2& a3& a4\\ a4& a5& a6& a7\\ a8& a9& a10& a11\end{array}\right]\·\left[\begin{array}{c}{R}_f\\ {G1}_f\\ {G2}_f\\ B_f\end{array}\right]...\left(18\right)$

也就是，通过公式(19-1)来表示3×4线性矩阵(LinearM)。通过公式(19-2)来表示关于具有图15所示的光谱分布特性的四色滤色镜的线性矩阵，其中例如使用了公式(14)的矩阵系数。

$\mathrm{LinearM}=\left[\begin{array}{cccc}\mathrm{la}& l2& l3& l4\\ l4& l5& l6& l7\\ l8& l9& l10& l11\end{array}\right]$

$=\left[\begin{array}{ccc}3.2406& -1.5372& -0.4986\\ -0.9689& 1.8758& 0.0415\\ 0.0557& -0.204& 1.057\end{array}\right]\·\left[\begin{array}{cccc}a0& a2& a3& a4\\ a4& a5& a6& a7\\ a8& a9& a10& a11\end{array}\right]...(19-1)$

$\mathrm{LinearM}=\left[\begin{array}{cccc}1.238& 1.084& 0.228& -1.55\\ -0.087& 1.295& -0.309& 0.101\\ -0.018& -0.029& 1.535& -0.485\end{array}\right]...(19-2)$

以上述方式计算的线性矩阵被传送至图10所示的线性矩阵处理单元95。因此，由于能够关于其中亮度可由线性变换表示的信号(R、G1、G2、B)执行矩阵处理，所以从颜色工程学的角度，与在图2所示的信号处理单元11处的处理的情况一样，与关于伽马处理而获得的信号执行矩阵处理的情况相比，能够再现具有更高保真度的颜色。

然后，将解释图11所示的在步骤S6执行的估算。

在执行被提供有例如具有图15所示的光谱灵敏度特性的四色滤色镜(其以上述的方式被准备)的图像拾取装置的颜色再现特性与被提供有图1所示的三色滤色镜的图像处理单元的颜色再现特性之间的比较的情况下，出现以下描述的差异。

例如，通过下列公式(20)分别计算当Macbeth图的图像被两种图像输入装置(被提供有四色滤色镜的图像拾取装置和被提供有三色滤色镜的图像拾取装置)拾取时的输出值与参考值之间的Lab色彩空间的色差。

$\mathrm{\ΔE}=\sqrt{{(L_1-L_2)}^2+{(a_1-a_2)}^2+{(b_1-b_2)}^2}...\left(20\right)$

L₁-L₂表示两个样本之间的亮度差，以及a₁-a₂、b₁-b₂表示两个样本的色调/饱和度的分量差。

图17是示出公式(20)的计算结果的视图。如图17所示，在图像拾取装置被提供有三色滤色镜的情况下，色差是“3.32”，而在图像拾取装置被提供有四色滤色镜的情况下，色差是“1.39”。被提供有四色滤色镜的图像拾取装置处的“观看颜色的方式”更出色(色差很小)。

在图18，目标R1的R值被设定为“49.4”，其G值被设定为“64.1”，其B值被设定为“149.5”，并且目标R2的R值被设定为“66.0”，其G值被设定为“63.7”，其B值被设定为“155.6”。因此，在四色滤色镜中，目标R1的RGB值和目标R2的RGB值变成彼此不同的值。类似于眼睛所看到的目标的情况，鉴别各个目标的颜色。也就是，提供能够鉴别四种颜色的滤光器，因此改善“颜色的鉴别特性”。

当在上面的示例中通过配置来构成四色滤色镜61从而在G1滤光器的左右侧提供B滤光器，并且在如图6所示的G2滤光器的左右侧提供R滤光器时，通过如图19所示的配置来构成这种滤色镜。在图19所示的四色滤色镜61中，在G1滤光器的左右侧提供R滤光器，并且在G2滤光器的左右侧提供B滤光器。同样通过以这种方式构成滤色镜61，变得能够类似于在图6所示的滤色镜提高“颜色的鉴别特性”、“颜色的再现特性”和“噪声的减少特性”。

同时，在以这种方式确定线性矩阵系数M从而最小化色差(ΔE值)的情况下，如果在图像传感器45的前级部分处形成的滤色镜的光谱灵敏度如图4所示彼此重叠，则如由公式(21)所示线性矩阵系数M之间的差变大。

$\left[\begin{array}{c}{r}^{\′}\left(\mathrm{\λ}\right)\\ g^{\′}\left(\mathrm{\λ}\right)\\ b^{\′}\left(\mathrm{\λ}\right)\end{array}\right]=\left[\begin{array}{ccc}6.56& -5.54& 1.18\\ -2.01& 3.12& -0.16\\ 0.12& -0.28& 1.07\end{array}\right]\·\left[\begin{array}{c}r\left(\mathrm{\λ}\right)\\ g\left(\mathrm{\λ}\right)\\ b\left(\mathrm{\λ}\right)\end{array}\right]...\left(21\right)$

由于在图像拾取装置的输出信号中包含了非常小的噪声分量，因此当使用这种线性矩阵系数M来执行颜色分离处理时，也放大了非常小的噪声分量。因此，产生这样的必要性，即其中考虑噪声减少特性，而不是考虑颜色再现特性，从而线性矩阵系数M之间的差不会较大。然而，存在以下情况，即其中当目标图像实际由所述图像拾取装置拾取时，利用一种在将重点放在噪声减少特性而不是颜色再现特性的条件下通过将被成像的场景和/或环境确定线性矩阵系数M以便适应性执行线性矩阵处理的方法，从而可以实现图像质量的改善。相反，存在以下情况，即其中利用一种将重点放在颜色再现特性而不是噪声减少特性来确定线性矩阵系数M以便适应性执行线性矩阵处理的方法，从而可以实现图像质量的改善。另外，由于每个用户使用图像拾取装置的用途不同，因此存在用户期望任意执行线性矩阵系数M的确定的示例。

有鉴于此，在根据本申请的发明的图像拾取装置中，为了解决上述问题，根据图20所示的流程图来确定线性矩阵系数M。

首先，执行所使用的图表和照明灯的确定(步骤S50)。然后，执行颜色再现特性指数ΔE(M)的定义(步骤S51)。然后，执行噪声减少指数σN(M)的定义(步骤S52)。然后，执行EEV(M)(误差估算值)的定义(步骤S53)。并且，根据EEV(M)来确定线性矩阵系数M(步骤S54)。注意，在步骤S54，取决于图像拾取条件等来适应性地改变EEV(M)的系数，以便确定相应的线性矩阵系数M。下面将解释各个步骤的细节。

将解释所使用的图表和照明灯的确定(步骤S50)。为了确定线性矩阵系数M，必需确定比色图表和用于照明该比色图表的光源。作为比色图表，存在组成色标的可想象的各种反射图或者传输图，所述色标具有多个统一颜色板，例如Macbeth Color Checker、Digital Camera Color Checker，IT8.7等。作为照明光，存在可想象的照明光(例如D55光源等)，其具有接近于频繁使用成像拾取装置的环境的光的光谱灵敏度。注意，由于可以想象在取决于用户用途的各种光源下使用图像拾取装置，因此照明光不仅限于图像拾取装置被频繁用作照明光的环境的光。

然后，将解释颜色再现特性指数ΔE(M)的定义(步骤S51)。颜色再现特性通过对象颜色和在图像拾取装置的线性矩阵处理单元95处执行线性矩阵处理的信号值所表示的颜色(下文称作输出颜色)之间的差来定义。注意，当RGB值、YCbCr值或者XYZ值等可不同地想象为颜色的值时，一种用于使用其中感观知觉与人眼所看到的相一致的色彩空间的值(L^*a^*b^*value，L^*u^*v^*value等)执行定义处理的方法使得能够更精确地表示色差。例如，当比色图表中的第k个色标的对象颜色被假设为Lab_{ref_k}(L^* _{ref_k}，a^* _{ref_k}，b^* _{ref_k})并且图像拾取装置的输出颜色被假设为L^*a^*b^* _{shot_k}(L^* _{shot_k}，a^* _{shot_k}b^* _{shot_k})时，通过公式(22)来表示该色标的色差ΔE_k。

$\mathrm{\Δ}{E}_k=\sqrt{{({L^{*}}_{\mathrm{ref}\_k}-{L^{*}}_{\mathrm{shot}\_k})}^2+{({a^{*}}_{\mathrm{ref}\_k}-{a^{*}}_{\mathrm{shot}\_k})}^2+{({b^{*}}_{\mathrm{ref}\_k}-{b^{*}}_{\mathrm{shot}\_k})}^2}...\left(22\right)$

而且，作为颜色再现特性指数ΔE(M)，存在比色图表的各个色标的可想象的平均ΔE值、和/或其中关于各个色标执行加权从而重点放在特定颜色的颜色再现特性的值等等。

$\mathrm{\ΔE}=\frac{1}{\mathrm{TotalPatchNum}}\underset{k=1}{\overset{\mathrm{TotalPatchNum}}{\∫}}{w}_k\·\mathrm{\Δ}{E}_k...\left(23\right)$

在上面的公式中，w_k表示关于各个色标的权重系数，而TotalPatchNum表示色标的总数。

而且，由于线性矩阵处理实际上被实现用来输出图像拾取装置的颜色，L^*a^*b^* _{shot_k}表示线性矩阵系数M的函数值。因此，ΔE_k和ΔE都导致函数值M。

$\mathrm{\ΔE}\left(M\right)=\frac{1}{\mathrm{TotalPatchNum}}\underset{k=1}{\overset{\mathrm{TotalPatchNum}}{\∫}}{w}_k\·\mathrm{\Δ}{E}_k\left(M\right)=$

$\frac{1}{\mathrm{TotalPatchNum}}\underset{k=1}{\overset{\mathrm{TotalPatchNum}}{\∫}}{w}_k\·\sqrt{{({L^{*}}_{\mathrm{ref}\_k}-{L^{*}}_{\mathrm{shot}\_k}\left(M\right))}^2+{({a^{*}}_{\mathrm{ref}\_k}-{a^{*}}_{\mathrm{shot}\_k}\left(M\right))}^2+{({b^{*}}_{\mathrm{ref}\_k}-{b^{*}}_{\mathrm{shot}\_k}\left(M\right))}^2}$

                         ...(24)

然后，将解释噪声减少特性指数σN(M)的定义(步骤S52)。通过信号值的标准偏差来定义噪声减少特性指数σN(M)，其中在图像拾取装置的线性矩阵处理单元95处执行线性矩阵处理。作为单个值，存在可想象的RGB值、YCbCr值或者XYZ值等。在这种情况下，一种用于使用其中感观知觉与人眼所看到的一致的色彩空间的值(L^*a^*b^*value，L^*u^*v^*value等)定义信号值的方法使得能够得到具有与人类感觉到的噪声感觉更高相关性的噪声值σN_k。这时，噪声值根据信号值的色彩空间导致色彩空间的各个分量的标准偏差。例如，在RGB空间的情况下，噪声值导致σR，σG，σB。在XYZ空间的情况下，噪声值导致σX，σY，σZ。在噪声减少特性指数σN(M)的定义中，这些噪声值被用来确定单个噪声指数。例如，在照明光下拾取某一色标的图像的情况下，在考虑亮度和颜色噪声的前提下，根据亮度噪声σL^* _k和颜色噪声σa^* _k，σb^* _k来定义L^*a^*b^*空间的噪声值σN_k，如例如公式(25)所示。

${\mathrm{\σN}}_k=\sqrt{{\left(\frac{{\mathrm{\σ}{L}^{*}}_k}{w{L^{*}}_k}\right)}^2+{\left(\frac{{\mathrm{\σ}{a}^{*}}_k}{w{a^{*}}_k}\right)}^2+{\left(\frac{\mathrm{\σ}{b^{*}}_k}{{w{b}^{*}}_k}\right)}^2}...\left(25\right)$

在该示例中，wL^* _k、wa^* _k、wb^* _k表示关于各个标准偏差值的权重系数，并且都是通过关于人眼所感觉的噪声感觉的相关性而适当设置的。注意，使用其他色彩空间的变量值等的噪声值可以被不同地想象为噪声值σN_k。作为噪声减少特性指数σN(M)，存在比色图表的各个色标的可想象的平均σN值、和/或其中关于各个色标执行加权从而重点放在特定颜色的噪声减少特性的值等等。

$\mathrm{\σN}=\frac{1}{\mathrm{TotalPatchNum}}\underset{k=1}{\overset{\mathrm{TotalPatchNum}}{\∫}}{w}_k\·\mathrm{\σ}{N}_k...\left(26\right)$

实际上，由于对图像拾取装置的信号值实现线性矩阵处理，因此σN_k和σN都导致线性矩阵系数M的函数值。

$\mathrm{\σN}\left(M\right)=\frac{1}{\mathrm{TotalPatchNum}}\underset{k=1}{\overset{\mathrm{TotalPatchNum}}{\∫}}{w}_k\·\mathrm{\σ}{N}_k\left(M\right)...\left(27\right)$

然后，将解释EEV(M)的定义(步骤S53)。通过上述步骤S51和S52的定义，以如公式(28)所示的方式来定义EEV(误差估算值)(M)，其中考虑了作为线性矩阵系数M的函数值的颜色再现特性指数ΔE(M)和噪声减少特性指数σN(M)这两个值。

EEV(M)＝l[j{wc·h(ΔE(M))}+k{wn·i(σN(M))}]    ...(28)

在上面的公式中，h、I、j、k、l表示函数，wc表示关于色差的权重系数，以及wn表示关于噪声值的权重系数。通过改变wc和wn来确定线性矩阵系数M从而EEV(M)变成最小，可以进行线性矩阵系数M的确定，其中考虑颜色再现特性和噪声再现特性两者。注意，在重点放在颜色再现特性的情况下设置权重为使得wc＞wn，并且在重点放在噪声减少特性的情况下设置权重为使得wc＜wn是足够的。

然后，将解释用于确定线性矩阵系数M的部件(步骤S54)。将误差最小平方方法应用于由步骤S53定义的EEV(M)，以便确定线性矩阵系数M。在这种情况下，在步骤S54，适当地确定wc和wn以便使用，例如Newton方法、Steepest Descent方法或者Conjugate Gradient方法等作为递归算法，并且应用误差最小平方方法，并且由此确定线性矩阵系数M。

而且，在步骤S54，当通过图像拾取装置拾取目标图像来通过误差最小平方方法确定线性矩阵系数M时，通过环境和/或条件等自适应改变关于色差的权重系数wc和在步骤S53定义的、关于EEV(M)的噪声值的权重系数wn。图21中示出了当改变颜色再现特性指数ΔE(M)时噪声值减少特性指数σN(M)的改变的状态。如图21所示，同样在一个图像拾取装置中，通过线性矩阵系数M，存在颜色再现特性指数ΔE(M)与噪声减少特性指数σN(M)的交换。使用这一结果，根据各种图像拾取环境和条件等来适应性地确定线性矩阵系数M。此外，可以预先准备几组线性矩阵系数M，以便允许用户在时机需要时选择线性矩阵系数M，以便调节颜色再现特性指数ΔE(M)和噪声减少特性指数σN(M)。

这里，将描述一个实际的示例，其中在图像拾取装置包括由具有如图22所示的特性的四色滤色镜组成的CCD图像拾取装置的情况下，根据上述步骤S50到S54确定线性矩阵系数M。

首先，确定所使用的图表和照明光(步骤S50)。作为比色图表，使用Macbeth Color Checker(包括24色的色标)。作为照明光，使用D55光源(由CIE定义的5500k的标准日光)。注意，假设使用例如光谱辐射亮度计测量各个光谱数据。

然后，执行颜色再现特性指数ΔE(M)的定义(步骤S51)。使得对象颜色对应于人眼所见，并且使得Lab空间中的色差ΔE为指数。通常，如公式(29)所示，通过在可见光范围vis(通常为400nmdao700nm)内对“目标的光谱反射因子”、“照明的光谱亮度”、和“用于感测目标的传感器的光谱灵敏度”的乘积进行积分而获得的值来定义对象颜色，

目标颜色＝∫_vis(目标的光谱反射因子)·(照明的光谱亮度)

                                                              ...(29)

·(用于感测目标的传感器的光谱灵敏度)

而且，当使用表示人眼的光谱灵敏度的颜色匹配函数时，可以使用公式(29)通过公式(30)来表示比色图表的第k个色标的对象颜色XYZ_{ref_k}(X_{ref_k}，Y_{ref_k}，Z_{ref_k})。

$\left.\begin{array}{c}{X}_{\mathrm{ref}\_k}=m{\∫}_{\mathrm{vis}}{R}_k\left(\mathrm{\λ}\right)\·L\left(\mathrm{\λ}\right)\·\stackrel{\‾}{x}\left(\mathrm{\λ}\right)\mathrm{d\λ}\\ Y_{\mathrm{ref}\_k}=m{\∫}_{\mathrm{vis}}{R}_k\left(\mathrm{\λ}\right)\·L\left(\mathrm{\λ}\right)\·\stackrel{\‾}{y}\left(\mathrm{\λ}\right)\mathrm{d\λ}\\ Z_{\mathrm{ref}\_k}=m{\∫}_{\mathrm{vis}}{R}_k\left(\mathrm{\λ}\right)\·L\left(\mathrm{\λ}\right)\·\stackrel{\‾}{z}\left(\mathrm{\λ}\right)\mathrm{d\λ}\end{array}\right\}...\left(30\right)$

在上面的公式中，R_k(λ)：Macebethchart内的第k个色标的光谱反射因子L(λ)：照明光D55光谱辐射照明

颜色匹配函数

$m=1/{\∫}_{\mathrm{vis}}L\left(\mathrm{\λ}\right)\·\stackrel{\‾}{y}\left(\mathrm{\λ}\right)\mathrm{d\λ}$

而且，通常，使用公式(31)将XYZ空间的颜色转换为L^*a^*b^*空间的颜色。

$\left.\begin{array}{c}{L}^{*}=116\·{(Y/Y_n)}^{1/3}-16\\ a^{*}=500\·\{{(X/X_n)}^{1/3}-{(Y/Y_n)}^{1/3}\}\\ b^{*}=200\·\{{(Y/Y_n)}^{1/3}-{(Z/Z_n)}^{1/3}\}\end{array}\right\}...\left(31\right)$

在上面的公式中，(X_n，Y_n，Z_n)表示完全散射反射表面(白光点)的XYZ值。

而且，通过使用公式(31)将对象颜色XYZ_{ref_k}转换为L^*a^*b^* _{ref_k}(L^* _{ref_k}，a^* _{ref_k}，b^* _{ref_k})值。

另外，使用公式(29)通过公式(32)来表示从CCD图像拾取装置输出的信号值的原始数据RGBX_{raw_k}(R_{raw_k}，G_{raw_k}，B_{raw_k}，X_{raw_k})。

$\left.\begin{array}{c}{R}_{\mathrm{raw}\_k}=\mathrm{mr}{\∫}_{\mathrm{vis}}{R}_k\left(\mathrm{\λ}\right)\·L\left(\mathrm{\λ}\right)\·\stackrel{\‾}{r}\left(\mathrm{\λ}\right)\mathrm{d\λ}\\ G_{\mathrm{raw}\_k}=\mathrm{mg}{\∫}_{\mathrm{vis}}{R}_k\left(\mathrm{\λ}\right)\·L\left(\mathrm{\λ}\right)\·\stackrel{\‾}{g}\left(\mathrm{\λ}\right)\mathrm{d\λ}\\ B_{\mathrm{raw}\_k}=\mathrm{mb}{\∫}_{\mathrm{vis}}{R}_k\left(\mathrm{\λ}\right)\·L\left(\mathrm{\λ}\right)\·\stackrel{\‾}{b}\left(\mathrm{\λ}\right)\mathrm{d\λ}\\ X_{\mathrm{raw}\_k}=\mathrm{mx}{\∫}_{\mathrm{vis}}{R}_k\left(\mathrm{\λ}\right)\·L\left(\mathrm{\λ}\right)\·\stackrel{\‾}{x}\left(\mathrm{\λ}\right)\mathrm{d\λ}\end{array}\right\}...\left(32\right)$

在上面的公式中，照相机的CCD滤色镜的光谱灵敏度分布

$\mathrm{mr}=1/{\∫}_{\mathrm{vis}}L\left(\mathrm{\λ}\right)\·\stackrel{\‾}{r}\left(\mathrm{\λ}\right)\mathrm{d\λ}$

$\mathrm{mg}=1/{\∫}_{\mathrm{vis}}L\left(\mathrm{\λ}\right)\·\stackrel{\‾}{g}\left(\mathrm{\λ}\right)\mathrm{d\λ}$

$\mathrm{mb}=1/{\∫}_{\mathrm{vis}}L\left(\mathrm{\λ}\right)\·\stackrel{\‾}{b}\left(\mathrm{\λ}\right)\mathrm{d\λ}$

$\mathrm{mx}=1/{\∫}_{\mathrm{vis}}L\left(\mathrm{\λ}\right)\·\stackrel{\‾}{x}\left(\mathrm{\λ}\right)\mathrm{d\λ}$

由于图像拾取装置在线性矩阵处理单元95使用线性矩阵系数M(m0到m11)执行原始数据RGBX_{raw_k}(R_{raw_k}，G_{raw_k}，B_{raw_k}，X_{raw_k})的线性矩阵处理，所以通过公式(33)来表示经受线性矩阵处理之后的图像拾取数据。

$\left[\begin{array}{c}{R}_{\mathrm{cam}\_k}\\ G_{\mathrm{cam}\_k}\\ B_{\mathrm{cam}\_k}\end{array}\right]=M\·\left[\begin{array}{c}{R}_{\mathrm{raw}\_k}\\ G_{\mathrm{raw}\_k}\\ B_{\mathrm{raw}\_k}\\ X_{\mathrm{raw}\_k}\end{array}\right]$

                                     ...(33)

$=\left[\begin{array}{cccc}m0& m1& m2& m3\\ m4& m5& m6& m7\\ m8& m9& m10& m11\end{array}\right]\·\left[\begin{array}{c}{R}_{\mathrm{raw}\_k}\\ G_{\mathrm{raw}\_k}\\ B_{\mathrm{raw}\_k}\\ X_{\mathrm{raw}\_k}\end{array}\right]$

另外，RGB_{cam_k}被变换为XYZ值。注意，通常使用的709系统矩阵M₇₀₉如用于变换处理的公式(34)所示被使用。

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=M_{709}\·\left[\begin{array}{c}R\\ G\\ B\end{array}\right]=\left[\begin{array}{cccc}0.4124& 0.3576& 0.1805& \\ -0.9689& 1.8758& 0.0415& \\ 0.0557& -0.204& 1.057& \end{array}\right]\·\left[\begin{array}{c}R\\ G\\ B\end{array}\right]...\left(34\right)$

然后，使用公式(34)来确定X_{cam_k}，Y_{cam_k}和Z_{cam_k}。

$\left[\begin{array}{c}{X}_{\mathrm{cam}\_k}\\ Y_{\mathrm{cam}\_k}\\ Z_{\mathrm{cam}\_k}\end{array}\right]=\left[\begin{array}{ccc}0.4124& 0.3576& 0.1805\\ -0.9689& 1.8758& 0.0415\\ 0.0557& -0.204& 1.057\end{array}\right]\·\left[\begin{array}{c}{R}_{\mathrm{cam}\_k}\\ G_{\mathrm{cam}\_k}\\ B_{\mathrm{cam}\_k}\end{array}\right]...\left(35\right)$

而且，使用公式(31)来执行到L^*a^*b^*值(L^*a^*b^* _{cam_k}(L^* _{cam_k}，a^* _{cam_k}，b^* _{cam_k}))的变换处理，以便通过公式(36)确定比色图表的第k个色标的色差ΔE_k。

${\mathrm{\ΔE}}_k=\sqrt{{({L^{*}}_{\mathrm{ref}\_k}-{L^{*}}_{\mathrm{cam}\_k})}^2+{({a^{*}}_{\mathrm{ref}\_k}-{a^{*}}_{\mathrm{cam}\_k})}^2+{({b^{*}}_{\mathrm{ref}\_k}-{b^{*}}_{\mathrm{cam}\_k})}^2}...\left(36\right)$

注意，由于使用了L^*a^*b^* _{cam_k}，ΔEk可以表示为ΔE_k(M)，因为其也是线性矩阵系数M的函数值。颜色再现特性指数ΔE(M)被定义为各个色标的色差的平均值，如公式(37)所示。

$\mathrm{\ΔE}\left(M\right)=\frac{1}{\mathrm{TotalPatchNum}}\underset{k=1}{\overset{\mathrm{TotalPatchNum}}{\∫}}\mathrm{\Δ}{E}_k\left(M\right)...\left(37\right)$

在公式中，TotalPatchNum＝24：色标的总数

然后，执行噪声减少特性指数σN(M)的定义(步骤S52)。这里，根据包含在经受图像拾取装置的线性矩阵处理单元95的线性矩阵处理的信号值中的σL(M)分量来定义噪声减少特性指数σN(M)。

通常，通过公式(38)来定义包含在CCD图像拾取装置自身输出的信号CV_{_CCD}中的噪声Noise_{_raw}。

${\mathrm{Noise}}_{\_\mathrm{raw}}=\sqrt{\mathrm{ShotNoiseCoef}\·{\mathrm{CV}}_{\_\mathrm{CCD}}+\mathrm{DarkNoise}}$

$=\sqrt{\mathrm{ShotNoise}+\mathrm{DarkNoise}}$                           ...(38)

注意，ShotNoiseCoef和DarkNoise是通过CCD图像拾取装置的装置特性确定的值。DarkNoise表示不取决于信号值(固定模式噪声等)的噪声分量，和ShotNoise表示取决于信号值(Sensor Dark Noise，Photon Shot Noise等)的噪声分量。

当使用公式(31)时，通过公式(39)定义包含在将被估算的图像拾取装置的第k个色标的原始数据中的噪声分量。

$\left.\begin{array}{c}{\mathrm{Noise}}_{\mathrm{Rraw}\_k}=\sqrt{\mathrm{ShotNoiseCoef}\·R_{\mathrm{raw}\_k}+\mathrm{DarkNoise}}\\ {\mathrm{Noise}}_{\mathrm{Graw}\_k}=\sqrt{\mathrm{ShotNoiseCoef}\·G_{\mathrm{raw}\_k}+\mathrm{DarkNoise}}\\ {\mathrm{Noise}}_{\mathrm{Braw}\_k}=\sqrt{\mathrm{ShotNoiseCoef}\·B_{\mathrm{raw}\_k}+\mathrm{DarkNoise}}\\ {\mathrm{Noise}}_{\mathrm{Xraw}\_k}=\sqrt{\mathrm{ShotNoiseCoef}\·X_{\mathrm{raw}\_k}+\mathrm{DarkNoise}}\end{array}\right\}...\left(39\right)$

另外，在文献(P.D.Burns和R.S.Berns，“Error Propagation Anslysis inColor Measurament and Imaging”，Color Research and Application，1997)中，描述了如下解释的噪声传播理论。

当预定输入信号X’＝[x₁，x₂，...，x_n]假设被(m×n)矩阵A线性变换为Y’＝[y₁，y₂，...，y_m]时，线性变换的信号由公式(40)表示。

Y’＝A·X’    ...(40)

当输入信号X’的变量-协方差矩阵∑x假设由公式(41)表示，则对角分量导致输入信号的噪声变化值。

如果输入信号值相互之间没有相关性，矩阵分量中的协方差分量(即非对角分量)变得等于零。这时，输出信号Y的变量-协方差矩阵∑_y由公式(42)定义。

∑_y＝A·∑_xA′...(42)

注意，公式(42)导致可以通过线性变换而变换的色彩空间之间的噪声变量值的传播理论公式。

另外，为了将经受图像拾取装置的线性矩阵处理单元95的线性矩阵处理的信号RGB_{cam_k}转换为L^*a^*b^* _{cam_k}，需要执行从RGB空间到XYZ空间的变换处理(下文称作RGB→XYZ变换处理)，之后执行从XYZ空间到L^*a^*b^*space的变换处理(下文称作XYZ→L^*a^*b^*变换处理)。在RGB→XYZ变换处理中，能够使用公式(34)所示的709系统M₇₀₉来执行线性变换，而在XYZ→L^*a^*b^*变换处理中，必须以公式(31)所示的方式执行非线性变换。然而，在XYZ→L^*a^*b^*变换处理中，因为噪声量很小，所以可以使用Jacobian矩阵J_{L*a*b*_k}进行线性近似。因此，能够以类似于RGB→XYZ变换处理的方式通过线性变换执行XYZ→L^*a^*b^*变换处理。

当通过将线性矩阵之后的信号值变换为XYZ值而获得的值表达为XYZ_{cam_k}(X_{cam_k}，Y_{cam_k}，Z_{cam_k})时，该值可以由公式(43)表示。

$J_{L^{*}{a}^{*}{b}^{*}\_k}=J_{0}D\left({\mathrm{XYZ}}_{\mathrm{cam}\_k}\right)...\left(43\right)$

在上面的公式中，J₀如公式(44)所表达。

$J_0=\left[\begin{array}{ccc}0& 116& 0\\ 500& -500& 0\\ 0& 200& -200\end{array}\right]...\left(44\right)$

而且，当v(a，b)表达如下时，

$v(a,b)=\left\{\begin{array}{cc}\frac{1}{3}\·a^{-\frac{2}{3}}\·b^{-\frac{1}{3}}& \frac{a}{b}>0.008856\\ 7.787\·b^{-1}& \frac{a}{b}\≤0.008856\end{array}\right.$

提供公式(45)。

$D\left({\mathrm{XYZ}}_{\mathrm{cam}\_k}\right)=\left[\begin{array}{ccc}v(X_{\mathrm{cam}\_k},X_n)& 0& 0\\ 0& v(Y_{\mathrm{cam}\_k},Y_n)& 0\\ 0& 0& v(Z_{\mathrm{cam}\_k},Z_n)\end{array}\right]...\left(45\right)$

在上面的公式中，将完全散射的反射表面(白光点)的XYZ值设定为XYZn(Xn、Yn、Zn)。

因此，用于将从CCD图像拾取装置输出的原始数据线性变换为Lab值的近似矩阵M_{total_k}如公式(46)所表示。

$M_{\mathrm{total}\_k}=J_{L^{*}{a}^{*}{b}^{*}\_k}\·M_{709}\·M...\left(46\right)$

当应用公式(46)的矩阵和公式(42)所示的噪声传播理论的公式时，可以通过公式(47)来计算第k个色标处的亮度噪声(lightness noise)σL_k。

${\mathrm{\Σ}}_{L^{*}{a}^{*}{b}^{*}\_k}=M_{\mathrm{total}\_k}\·{\mathrm{\Σ}}_{\mathrm{RGBraw}\_k}\·M_{\mathrm{total}\_k^{\′}}$

$\left[\begin{array}{ccc}{\mathrm{\σ}}^2{L^{*}}_k& L^{*}{a^{*}}_{\text{k}}& \mathrm{\σ}{L^{*}{b}^{*}}_k\\ \mathrm{\σ}{a}^{*}{L^{*}}_k& {\mathrm{\σ}}^2{a}^{*}{b^{*}}_k& \mathrm{\σ}{a}^{*}{b^{*}}_k\\ \mathrm{\σ}{b}^{*}{L^{*}}_k& \mathrm{\σ}{b}^{*}{a^{*}}_k& {\mathrm{\σ}}^2{b^{*}}_k\end{array}\right]=M_{\mathrm{total}\_k^{\′}}\·\left[\begin{array}{cccc}\mathrm{NoiseRawR}\_k& 0& 0& 0\\ 0& \mathrm{NoiseRawG}\_k& 0& 0\\ 0& 0& \mathrm{NoiseRawB}\_k& 0\\ 0& 0& 0& \mathrm{NoiseRawX}\_k\end{array}\right]\·M_{\mathrm{total}\_k^{\′}}...\left(47\right)$

因此，能够从公式(47)衍生公式(48)。

$\mathrm{\σ}{L^{*}}_k=\sqrt{{\mathrm{\σ}}^2{L^{*}}_k}...\left(48\right)$

注意，由于公式(48)是线性矩阵系数M的函数，因此该公式可由σL^* _k(M)表示。由于噪声减少特性指数σN(M)是色标的各个亮度的平均值，可以通过公式(49)来定义σN(M)。

$\mathrm{\σN}\left(M\right)=(1/24)\·\underset{k=1}{\overset{24}{\∫}}\mathrm{\σ}{L^{*}}_k\left(M\right)...\left(49\right)$

然后，通过公式(50)来定义EEV(M)(步骤S53)，其中考虑了如上定义的颜色再现特性指数ΔE(M)和噪声减少特性指数σN(M)。

$\mathrm{EEV}\left(M\right)=\sqrt{{(\mathrm{wc}\·\mathrm{\ΔE}\left(M\right))}^2+{(\mathrm{wn}\·\mathrm{\σN}\left(M\right))}^2}...\left(50\right)$

在上面的公式中，

wc：关于颜色再现特性的权重系数

wn：关于噪声减少特性的权重系数

然后，通过误差最小平方方法来求解公式(50)，以便确定线性矩阵系数M。当例如wc被设置为1和wn被设置为2时，通过公式(51)来表示EEV(M)。

$\mathrm{EEV}\left(M\right)=\sqrt{{\mathrm{\ΔE}\left(M\right)}^2+{(2\·\mathrm{\σN}\left(M\right))}^2}...\left(51\right)$

通过误差最小平方方法来求解公式(51)，以便通过公式(52)确定线性矩阵系数M(步骤S54)。

$M=\left[\begin{array}{cccc}1.57& -0.43& -0.01& -0.12\\ -0.14& 1.25& -0.37& 0.26\\ -0.01& -0.27& 1.68& -0.40\end{array}\right]...\left(52\right)$

另一方面，其中wc被设定为1和wn被设定为0，即重点放在(仅关注)颜色再现特性的色差矩阵由公式(53)表示。

$M=\left[\begin{array}{cccc}1.48& 0.56& 0.35& -1.39\\ -0.22& 2.19& -0.01& -0.96\\ -0.06& 0.27& 1.93& -1.14\end{array}\right]...\left(53\right)$

当执行公式(52)与公式(53)之间的比较时，可以确认公式(53)的系数之间的差明显更大，并且公式(53)是增加噪声的矩阵。

这里，将描述用于按照图像拾取装置的ISO灵敏度的设定来适应性地确定线性矩阵系数M的实际示例。图像拾取装置按照ISO灵敏度的设定来放大或衰减从CCD图像拾取装置输入的信号(下文称作输入信号)。当图像拾取装置的ISO灵敏度的设定从ISO100变化到ISO200时，放大输入信号，从而它的值变成等于例如两倍于ISO100时的值。将由此放大的输入信号输入至图像拾取装置。然而，在图像拾取装置中，由于不管ISO灵敏度的设定状态如何，都使用关于所有输入信号的相同线性矩阵系数M来执行线性矩阵处理，因此在ISO灵敏度的设定较高的情况下，在放大输入信号之后一起放大包含在输入信号中的噪声分量。因此，即使当尝试提高ISO灵敏度的设定来获得高分辨率的图像时，也将产生其中包含放大的噪声分量的图像。

有鉴于此，在根据本申请的发明的图像拾取装置中，通过考虑包含在根据ISO灵敏度设置而放大或衰减的输入信号中的噪声分量的减少特性来确定线性矩阵系数M，以便通过使用线性矩阵系数M来执行线性矩阵处理。例如，如表1所示，允许关于噪声减少特性的权重系数(wn)按照ISO灵敏度的设置进行改变，以便将wc和wn替换到公式(50)中并确定ISO灵敏度的每一设定的线性矩阵系数M。因此，由于图像拾取装置可以使用基于ISO灵敏度的设定状态而确定的线性矩阵系数M来执行线性矩阵处理，即使使得ISO灵敏度的设定为高，也不可能在这之后放大噪声分量，因此具有获得高分辨率的图像的能力。

表1

ISO灵敏度的设置	wc	wn
			100	1	1
200	1	2
			400	1	4
800	1	6

这里，将描述以其中由图像拾取装置拾取目标图像的环境为基础适应性确定线性矩阵系数M的示例。例如，在通过图像拾取装置拾取诸如夜景等的目标图像的情况下，存在其中暗色部分可能占据所产生的图像的大部分的示例。当噪声发生在暗色部分时，这种噪声变得非常明显。在这种情况下，最好考虑噪声分量的噪声减少特性而不是颜色再现特性。

有鉴于此，在根据本发明的图像拾取装置中，基于其中目标图像被拾取的场景，通过考虑噪声减少特性和颜色再现特性来确定线性矩阵系数M，以便使用线性矩阵系数M执行线性矩阵处理。例如，如图23的直方图所示，当所产生图像的70％或更多的亮度分量被包含在图像拾取装置的亮度动态范围的一半或更少之内时，重点放在噪声减少特性，以便确定线性矩阵系数M。当排除上述时，考虑颜色再现特性和噪声减少特性来确定线性矩阵系数M。简言之，如表2所示，关于噪声减少特性的权重系数(wn)被允许按照图像拾取场景来改变，以便将wn和wc替换到公式(50)，从而确定每个图像拾取场景的线性矩阵系数M，因此，由于图像拾取装置能够通过使用基于图像拾取场景确定的线性矩阵系数M来执行线性矩阵处理，即使暗色部分占据了所产生图像的大部分，也能够防止噪声分量变得明显。

表2

图像拾取场景	wc	wn
			夜景	1	8
其他	1	2

这里，将描述基于使用图像拾取装置的用户的请求来适应性确定线性矩阵系数M的实际示例。具有许多下述示例，其中需要通过图像拾取装置拾取目标图像所产生的图像，并且与按照用户的使用意图的颜色再现特性相比，使得噪声更少。使用目的是图像拾取装置的制造公司(制造者)不知道的事务，而是只有用户知道的事实。

有鉴于此，根据本申请的发明的图像拾取装置用于基于用户期望的条件来确定线性矩阵系数M，并且使用该线性矩阵系数M来执行线性矩阵处理。例如，如表3所示，关于噪声减少特性的权重系数(wn)被允许按照噪声量调节变量来改变，以便将wn和wc替换到公式(50)，从而确定每个噪声量调节变量的线性矩阵系数M，并且存储由此确定的线性矩阵系数M，从而当用户通过图像拾取装置的接口来改变噪声量调节变量时，确定预定的线性矩阵系数M以使用该线性矩阵系数M来执行线性矩阵处理。因此，由于图像拾取装置可以按照用户的请求使用所确定的线性矩阵系数M来执行线性矩阵处理，因此能够执行对应于用户的用户形势的噪声量调节。

表3

噪声量调节变量	wc	wn
			0	1	1

1	1	2
			2	1	3
3	1	4
			4	1	5
5	1	6

注意，表3说明了噪声量调节变量的数值变得越大，则噪声量减少得越多。而且，代替在图像拾取操作之前执行噪声量调节变量的设置，可以采用这样一种方法，即其中，当图像拾取装置的图像拾取开始按钮被按下时，经受使用几个线性矩阵系数M的线性矩阵处理的图像被保存(存储)到多个存储器中。

在以这种方式构造的图像拾取装置中，由于四色滤色镜61根据图12所示的流程图被形成于图像传感器45的前级单元处，因此能够改善“颜色再现特性”的“颜色的鉴别特征”。而且，由于对其中可以在信号处理单元71处通过线性变换来表现亮度的信号(R、G1、G2、B)执行了矩阵处理，因此与如图2所示在信号处理单元11的处理的情况一样的、对于经受伽马处理之后获得的信号执行矩阵处理的情况相比，可以再现从颜色工程观点来看具有更高保真度的颜色。而且，由于在信号处理单元71的线性矩阵处理单元95执行的线性矩阵处理中，根据图像拾取条件等执行了线性矩阵系数M的确定，因此能够改善所拾取图像的颜色再现特性和噪声再现特征。

注意，已经根据在附图中图解并详细描述的本发明的某些优选实施例描述了本发明，本领域的普通技术人员应当理解，本发明不限于所述实施例，在不背离所附权利要求阐述的本发明的范畴和精神的情况下，可以实现各种修改、替换构造或等效物。

工业实用性

由于根据本发明的图像拾取装置包括：调节单元，用于调节表示关于人眼观看方式的颜色高保真再现的颜色再现值和表示人类所感觉的噪声感觉的噪声值；矩阵系数确定单元，用于基于调节单元的调节来确定矩阵系数；和矩阵变换处理单元，用于基于矩阵系数来执行对于在图像拾取装置中提供的图像拾取器件单元处所拾取的图像的矩阵变换处理，根据图像拾取环境和图像拾取条件来适应性地确定线性矩阵系数X，因此能够使用线性矩阵系数M来执行线性矩阵处理。

另外，由于根据本发明的图像拾取方法包括：第一步骤，用于调节表示关于人眼观看的颜色高保真再现的颜色再现值和表示人类所感觉的噪声感觉；第二步骤，用于基于第一步骤的调节来确定矩阵系数；和第三步骤，用于基于矩阵系数来执行对于在用于拾取目标图像的图像拾取器件单元处所拾取的图像的矩阵变换处理，根据图像拾取环境和图像拾取条件来适应性地确定线性矩阵系数X，因此能够使用线性矩阵系数M来执行线性矩阵处理。

Claims (2)

1.一种图像拾取装置，包括由具有不同光谱特性的滤色镜组成的图像拾取单元，并且用于拾取目标图像，

所述图像拾取装置包括：

调节部件，用于根据图像拾取单元的图像拾取灵敏度来适应性地调节颜色再现值和表示噪声感觉的噪声值；

矩阵系数确定部件，用于基于调节部件的调节来确定对象颜色的参考值，进而确定矩阵系数；和

矩阵变换处理部件，用于基于矩阵系数对在图像拾取单元处所拾取的图像执行矩阵变换处理。

2.一种通过图像拾取装置来拾取目标图像的图像拾取方法，所述图像拾取装置包括由具有不同光谱特性的滤色镜组成的图像拾取单元，并用于拾取目标图像，

所述图像拾取方法包括：

第一步骤，用于根据图像拾取单元的图像拾取灵敏度来适应性地调节颜色再现值和表示噪声感觉的噪声值；

第二步骤，用于基于第一步骤的调节来确定对象颜色的参考值，进而确定矩阵系数；和

第三步骤，用于基于矩阵系数对在图像拾取单元处所拾取的图像执行矩阵变换处理。

Images