CN101076126A - 成像设备和方法、以及成像装置 - Google Patents

Abstract

本发明涉及成像设备和方法、以及成像装置，其中成像设备包括：成像部，配置成使表示人眼的感光度的配色函数的一个接近作为相互相邻的光电转换元件中在预定位置排列的光电转换元件间的输出的差值获得的光谱感光度的颜色，成像部具有在预定位置排列的光电转换元件；以及信号处理部，配置成将光电转换元件的输出转换成彩色图像的信号的信号处理应用于成像部的输出。

Description

成像设备和方法、以及成像装置

相关申请的交叉引用

本发明包含与在2006年5月15日在日本专利局提交的、日本专利申请JP2006-135125有关的主题，其全部内容在此引入以供参考。

技术领域

本发明涉及成像设备和方法以及成像装置。更具体地说，本发明涉及能拍摄更准确彩色图像的成像设备和方法以及成像装置。

背景技术

迄今为此已经广泛地使用用于拍摄彩色图像的数码相机和数码摄像机。

当使用单芯片成像装置拍摄彩色图像时，在成像装置的各个光电转换元件中，如图1所示，按Bayer排列，排列分别透射不同颜色光的多种滤色器。

在光的三种原色中，在这种情况下，滤色器的光谱特性是对应于如图1中的R所示的红色、图1中的G所示的绿色，或图1中所示的蓝色的任何一个的光谱特性。

滤色器是所谓的原色滤器。除此以外，也使用互补滤色器。在互补滤色器中，检测亮度和R间的差值、亮度和G间的差值以及亮度和B间的差值。

另外，在相关技术中，已经提出了一种技术，根据该技术，在G存在的行中，通过使用左右侧上的相邻G，G内插处理部将G内插在G不存在的行中的像素位置，以及在E存在的行中，在E不存在的行中的像素位置，E内插处理部将相邻E内插在左右侧上。全色内插处理部通过使用亮度信号L和马赛克信号M，计算在聚焦像素位置的R、G、B、E的内插值C，G+E生成处理部基于马赛克信号M，生成新的颜色分量G+E，以及全色内插处理部基于颜色分量G+E和马赛克信号M，计算聚焦像素位置处R、G、B、E的内插值C’(例如，参见日本未审专利申请公开号No.2005-136765)。

发明内容

然而，在相关技术的成像设备中，单独地检查红外截止滤光器、滤色器和光电转换元件的光谱特性，以及后续信号处理。因此，单独地优化，不是整体优化成像部和信号处理。

关于这一点，滤色器的光谱特性是确定与图像的颜色有关的许多特性的因素。例如，对原色RGB的每一个，优化滤色器的光谱特性。

然而，滤色器的光谱特性大大地偏离理想配色函数。

这是由于下述两个原因。

首先，配色函数包括由坐标系统而定的负感光度。不可以物理地实现负感光度。

其次，由于必须将滤色器安装在单芯片光电转换元件上，限制满足由将滤色器安装在单芯片光电转换元件上的必要性强加的约束，特别是诸如密度、薄膜厚度限制、光阻和热阻的特性的约束的颜料。由此极其难以实现与配色函数接近的光谱特性。

图2是表示RGB滤色器的光谱特性和用于RGB的配色函数的例子的图。在图2中，白圈表示B滤色器的光谱特性，白三角形表示G滤色器的光谱特性，以及白正方形表示R滤色器的光谱特性。

在图2中，虚线表示B的配色函数，单点划线表示G的配色函数，以及双点划线表示R的配色函数。

如图2所示，B、G和R的配色函数包括负感光度。

将B滤色器的光谱特性与B的配色函数比较，在从400nm至550nm的整个频带中，滤色器的光谱特性的感光度大于配色函数。将G滤色器的光谱特性与G的配色函数比较，在从400nm至550nm的整个频带中，特别地，滤色器的光谱特性的感光度大于配色函数。另外，将R滤色器的光谱特性与R的配色函数比较，在630nm至700nm的整个频带中，特别地，滤色器的光谱特性的感光度大于配色函数。

当与具有负感光度的配色函数比较时，由于物理约束，实际滤色器不能实现负感光度，因此，在负感光度部分总是出现偏差。

由具有顶点上的R、G、B的色度图上的三角形内的颜色表示通过使用这种光谱特性的滤色器拍摄的图像。在这种情况下，在三角形外的区域中的颜色退化成三角形内的颜色。因此，在所拍摄的图像的参考坐标的各个位置处表示的颜色偏离在色度图上的坐标的各个位置的颜色。根据相关技术获得的图像由此包含误差，在颜色的再现性方面存在问题。

由此期望允许俘获具有更准确颜色再现的图像。

根据本发明的实施例，提供一种成像设备，包括：成像部件，用于使表示人眼的感光度的配色函数中的一个接近作为相互相邻的光电转换元件中在预定位置排列的光电转换元件间的输出的差值获得的光谱感光度的颜色，所述成像部件具有在预定位置排列的光电转换元件；以及信号处理部件，用于将光电转换元件的输出转换成彩色图像的信号的信号处理应用于成像部件的输出。

成像设备可以配置成：作为在成像部件上垂直和水平彼此相邻排列的四个光电转换元件中的第一光电转换元件和第二光电转换元件的输出间的差值获得的光谱感光度接近用于光的三个原色的配色函数的第一配色函数；作为四个光电转换元件中的第三光电转换元件和第一光电转换元件的输出间的差值获得的光谱感光度接近用于光的三个原色的配色函数的第二配色函数；以及作为四个光电转换元件中的第四光电转换元件和第一光电转换元件的输出间的差值获得的光谱感光度接近用于光的三个原色的配色函数的第三配色函数。

成像设备可以配置成成像部件包括垂直或水平并排排列的单元，每一个单元包括垂直和水平彼此相邻排列的第一光电转换元件、第二光电转换元件、第三光电转换元件和第四光电转换元件。

成像设备可以配置成信号处理部件包括：第一计算部件，用于对第一光电转换元件的每一个和相对于与第一光电转换元件相邻的第二光电转换元件、第三光电转换元件和第四光电转换元件，计算第一光电转换元件的输出和第二光电转换元件的输出间的差值、第一光电转换元件的输出和第三光电转换元件的输出间的差值，以及第一光电转换元件的输出和第四光电转换元件的输出间的差值；确定部件，用于从相对于第一光电转换元件的位置，向左上、左下、右上和右下偏移成像部件中的两个光电转换元件的距离的一半的位置中，确定将计算其像素值的彩色图像的像素的位置；以及第二计算部件，用于根据确定结果，在由相对于彩色图像的像素的位置，偏移该距离的一半的第一光电转换元件的输出计算的差值和由属于与第一光电转换元件所属的单元相邻的另一单元的第一光电转换元件中的另一个的输出计算的差值间执行加权平均，计算彩色图像的像素的像素值。

成像设备可以配置成成像部件已经在其上排列基于光电转换元件间的输出的差值从其输出接近用于RGB的配色函数中的一个的光谱感光度的光电转换元件。

成像设备可以配置成成像部件已经在其上排列基于光电转换元件间的输出的差值从其输出接近XYZ色度系统中的配色函数中的一个的光谱感光度的光电转换元件。

成像设备可以配置成信号处理部件将信号处理应用于成像部件的输出，信号处理包括将从成像部件上彼此相邻排列的光电转换元件中，在预定位置排列的光电转换元件的输出间的差值计算为彩色图像的信号。

成像设备可以配置成信号处理部件将信号处理应用于成像部件的输出，信号处理为使用用于预先找到的单个类的系数的类分类自适应处理。

成像设备可以配置成成像设备进一步包括调整部件，用于调整成像部件的光电转换元件的输出的白平衡。

成像设备可以配置成成像设备进一步包括调整部件，用于调整通过信号处理获得的彩色图像的信号的白平衡。

根据本发明的实施例，提供一种成像方法，包括步骤：将光电转换元件排列在成像部件的预定相邻位置，光电转换元件使表示人眼的感光度的配色函数中的一个接近作为光电转换元件间的输出的差值获得的光谱感光度的颜色；以及将光电转换元件的输出转换成彩色图像的信号的信号处理应用于成像部件的输出。

根据本发明的实施例，提供一种成像装置，包括在预定相邻位置排列的光电转换元件，光电转换元件使表示人眼的感光度的配色函数中的一个接近作为光电转换元件间的输出的差值获得的光谱感光度的颜色。

成像装置可以配置成：作为垂直和水平彼此相邻排列的四个光电转换元件中的第一光电转换元件和第二光电转换元件的输出间的差值获得的光谱感光度接近用于光的三个原色的配色函数的第一配色函数；作为四个光电转换元件中的第三光电转换元件和第一光电转换元件的输出间的差值获得的光谱感光度接近用于光的三个原色的配色函数的第二配色函数；以及作为四个光电转换元件中的第四光电转换元件和第一光电转换元件的输出间的差值获得的光谱感光度接近用于光的三个原色的配色函数的第三配色函数。

成像装置可以配置成成像部件包括垂直或水平并排排列的单元，每一个单元包括垂直和水平彼此相邻排列的第一光电转换元件、第二光电转换元件、第三光电转换元件和第四光电转换元件。

在根据上述本发明的实施例的成像设备和方法中，在成像部件的预定相邻位置，排列光电转换元件，使表示人眼的感光度的配色函数中的一个接近作为光电转换元件间的输出的差值获得的光谱感光度的颜色，将光电转换元件的输出转换成彩色图像的信号的信号处理应用于成像部件信号处理的输出。

在根据上述本发明的实施例的成像装置中，使表示人眼的感光度的配色函数中的一个接近作为光电转换元件间的输出的差值获得的光谱感光度的颜色的光电转换元件排列在预定相邻位置。

如上所述，根据上述本发明的实施例的成像设备和方法使得俘获彩色图像成为可能。

另外，根据上述本发明的实施例的成像设备和方法使得俘获具有更精确颜色再现的图像成为可能。

根据上述本发明的实施例的成像装置使得俘获彩色图像成为可能。

另外，根据上述本发明的实施例的成像装置使得俘获具有更精确颜色再现的图像成为可能。

附图说明

图1是表示Bayer排列的图；

图2是表示RGB滤色器的光谱特性，以及用于RGB的配色函数的例子的图；

图3是表示根据本发明的实施例的成像设备的结构的框图；

图4是示例说明影响光谱特性的传感器部中的系统的框图；

图5是表示传感器部中的像素的排列的例子的图；

图6是示例说明由差值实现的光谱特性的图；

图7是表示红外截止滤光器的光谱特性IR(λ)的例子的图；

图8是表示像素S1、S2、S3和S4的光谱特性的图；

图9是表示如由图7所示的光谱特性红外截止滤光器实现的RGB的各个光谱特性，以及图8所示的像素S1、S2、S3和S4的光谱特性的图；

图10是表示信号处理部的结构的例子的框图；

图11是示例说明像素的相位和加权平均计算的图；

图12是示例说明由信号处理部的信号处理的例子的流程图；

图13是表示信号处理部的结构的另一例子的框图；

图14是表示由信号处理部的信号处理的另一例子的流程图；

图15是表示像素S1、S2、S3和S4的光谱特性的图；

图16是表示如由图7中所示的光谱特性的红外截止滤光器实现的XYZ的各个光谱特性以及图15所示的像素S1、S2、S3和S4的光谱特性的图；

图17是表示信号处理部的结构的又一例子的框图；

图18是表示类抽头(class tap)的排列的例子的图；

图19是表示类分类部的结构的例子的框图；

图20是表示预测抽头(prediction tap)的排列的例子的图；

图21是表示由信号处理部，作为类分类自适应处理的信号处理的例子的流程图；

图22是表示信号处理部的结构的又一例子的框图；

图23是表示由信号处理部，作为类分类自适应处理的信号处理的另一例子的流程图；

图24是表示用于俘获老师图像和学生图像的成像设备的视图；

图25是表示生成预测系数的图像处理设备的结构的例子的框图；

图26是示例说明用于生成预测系数的处理的流程图；以及

图27是表示个人计算机的结构的例子的框图。

具体实施方式

在描述本发明的实施例前，本发明的特征和在该说明书和附图中所公开的实施例间的对应如下所述。该描述意图确保在说明书和附图中描述支持本发明的实施例。因此，即使下述描述中的实施例未描述为与本发明的某些特征相关，也不一定意味着该实施例与本发明的那一特性无关。相反，即使在此将实施例描述为与本发明的某一特征有关，也不一定意味着该实施例与本发明的其他实施例无关。

根据本发明的实施例的成像设备包括：成像部件(例如图3中的传感器部11)，用于使表示人眼的感光度的配色函数中的一个接近通过作为相互相邻的光电转换元件中在预定位置安置的光电转换元件间的输出的差值获得的光谱感光度的颜色，该成像部件具有在预定位置安置的光电转换元件(例如图5中的像素)；以及信号处理部件(例如图3中的信号处理部13)，用于将光电转换元件的输出转换成彩色图像的信号的信号处理应用于成像部件的输出。

成像设备可以配置成信号处理部件包括：第一计算部件(例如图10中的RGB提取部73)，用于对第一光电转换元件的每一个和相对于与第一光电转换元件相邻的第二光电转换元件、第三光电转换元件和第四光电转换元件，计算第一光电转换元件的输出和第二光电转换元件的输出间的差值、第一光电转换元件的输出和第三光电转换元件的输出间的差值，以及第一光电转换元件的输出和第四光电转换元件的输出间的差值；确定部件(例如图10中的生成像素相位确定部72)，用于从相对于第一光电转换元件的位置，向左上、左下、右上和右下偏移成像部件中的两个光电转换元件的距离的一半的位置中，确定将计算其像素值的彩色图像的像素的位置；以及第二计算部件(例如，图10中的加权平均部74)，用于通过根据确定结果，在由相对于彩色图像的像素的位置偏移该距离的一半的第一光电转换元件的输出计算的差值和由属于与第一光电转换元件所属的单元相邻的另一单元的第一光电转换元件中的另一个的输出计算的差值间执行加权平均，计算彩色图像的像素的像素值。

成像设备可以配置成成像设备进一步包括调整部件(例如图10中的白平衡调整部71)，用于调整成像部件的光电转换元件的输出的白平衡。

成像设备可以配置成成像设备进一步包括调整部件(例如图13中的白平衡调整部91)，用于调整由信号处理获得的彩色图像的信号的白平衡。

根据本发明的实施例的成像方法包括步骤：在成像部件的预定相邻位置安置光电转换元件，光电转换元件使表示人眼的感光度的配色函数中的一个接近作为光电转换元件(例如以图5中所示的方式排列像素)间的输出的差值获得的光谱感光度的颜色；以及将用于将光电转换元件的输出转换成彩色图像的信号的信号处理应用于成像部件(例如图12中的步骤S12至S14)。

根据本发明的实施例的成像装置(例如图3中的传感器部11)包括在预定相邻位置安置的光电转换元件(例如图5中的像素)，光电转换元件使表示人眼的感光度的配色函数中的一个接近通过作为光电转换元件间的输出的差值获得的光谱感光度的颜色。

图3是表示根据本发明的实施例的成像设备的结构的框图。成像设备包括传感器部11、A/D(模数)转换部12、信号处理部13和输出部14。

传感器部11表示将光学图像转换成图像的电信号的成像装置的例子。传感器部11由例如CCD(电荷耦合装置)或CMOS(互补金属氧化物半导体)图像传感器形成。传感器部11使表示人眼的感光度的配色函数中的一个接近具有在预定位置安置的光电转换元件，以便作为多个光电转换元件中在预定位置安置的光电转换元件的输出间的差值获得的光谱感光度的颜色。换句话说，在传感器部11中，用于使表示人眼的灵敏度的配色函数中的一个接近通过光电转换元件间的输出的差值的颜色的光电转换元件安置在预定相邻位置。

传感器部11将通过光电转换获得的图像信号提供给A/D转换部12。

A/D转换部12将为模拟信号、由传感器部11提供的图像信号转换成数字信号。A/D转换部12将由转换获得的数字信号提供给信号处理部13。

信号处理部13将各种信号处理应用于由A/D转换部12提供的数字图像信号。例如，信号处理部13将光电转换元件的输出转换成彩色图像信号的信号处理应用于为传感器部11的输出的图像信号。

信号处理部13将已经应用信号处理的图像信号提供给输出部14。输出部14以预定格式输出从信号处理部13提供的图像信号。

在图3所示的成像设备中，通过从俘获图像的传感器部11到处理和输出信号的信号处理部13和输出部14的系统，完全实现图像的更精确和更宽范围颜色再现。能将图3所示的成像设备粗略地分成两个，即具有优化光谱特性的传感器部11和位于下游的信号处理部13。

图4是示例说明影响光谱特性的传感器部11中的系统的框图。

能由红外截止滤光器31、滤色器32和传感器光谱感光度33表示影响光谱特性的传感器部11中的系统。红外截止滤光器31阻止红外线。滤色器31赋予对应于原色的每一个的光谱特性。传感器光谱感光度33表示传感器部11本身的光电转换的特性。

假定传感器部11的输入光为H(λ)，红外截止滤光器31的光谱特性为IR(λ)，以及图像传感器的黑白光谱特性为W(λ)，由表达式(1)表示传感器部11的总感光度特性T(λ)。

T(λ)＝IR(λ)·S(λ)·W(λ)               ...(1)

从传感器部11的每一像素，即光电转换元件输出的像素值0由表达式(2)表示。

O＝∫H(λ)·T(λ)dλ                      ...(2)

假定一种情形，其中，为优化由表达式(1)表示的传感器部11的总感光度特性T(λ)，改变滤色器32的光谱特性S(λ)和红外截止滤光器31的光谱特性IR(λ)。

由于诸如能用于在为图像传感器的传感器部11上安装的滤光器的有限多个颜料的物理约束，或如图2所示，通过根据对RGB的每一个单独地执行优化的相关技术的技术，不可能实现负感光度，仅能实现远远偏离配色函数的光谱特性。

鉴于此，通过使用下述两种技术的结合，调整滤色器32的光谱特性S(λ)和红外截止滤光器的光谱特性IR(λ)，以便最终实现的光谱特性变得更接近配色函数。

第一技术是增加色差。通过将传感器部11的滤色器32的色差从三种颜色增加到更多种颜色，整体实现更接近配色函数。

第二技术是差分法。代替使滤色器32的每一颜色的特性接近配色函数，使预定光谱特性的像素，即光电转换元件间的输出的差值接近配色函数。

使用上述两种技术通过使用有限多种颜料，增加执行用于使最终获得的光谱特性接近配色函数的优化的自由度。因此，与在相同条件下，对三种颜色RGB的每一个，单独地执行优化的情形相比，可以实现改进的颜色再现性。

另外，通过使用两个像素的输出间的差值，即使当各个像素的输出不具有负感光度，而是仅具有正感光度，也可以实现负感光度，因此，实现更接近具有负感光度的配色函数的光谱特性。

图5是表示传感器部11的像素的排列的图。在图5中，每一正方形表示像素。像素S1、像素S2、像素S3和像素S4分别表示传感器部11的一个像素，即一个光电转换元件。

在下文中，将像素S1、S2、S3和S4的输出简单地称为S1、S2、S3和S4。

在图5所示的传感器部11的例子中，通过像素S1、S2、S3和S4的输出间的差值，接近RGB色度系统中的三个所需颜色，例如RGB的光谱特性的各个配色函数。例如，通过表达式(3)，R、G和B计算如下。

R＝S4-S2

G＝S4-S1

B＝S4-S3                        ...(3)

即，如例如图6所示，即使仅S1和S4为正值，通过计算S4-S1，能将负值实现为G值。

关于这一点，如果在最终计算的像素周围的像素S1、S2、S3和S4的输出一致，能由表达式(3)精确地计算R、G、B。然而，通常在像素S1、S2、S3和S4的输出中存在变化，由此通过信号处理部13，有必要获得更精确的R、G、B。

接着，将描述红外截止滤光器31和滤色器32的特定光谱特性。

图7是表示红外截止滤光器31的光谱特性IR(λ)的例子的图。由于红外截止滤光器31不受必须安装在传感器部11上的约束，例如，能在用于在传感器部11上形成对象的光学图像的光学系统的前面或后面提供红外截止滤光器31。由此，能相对自由地改变红外截止滤光器31的光谱特性IR(λ)。

即，根据用于滤色器32的颜料组的特性，可以改变红外截止滤光器31的光谱特性IR(λ)。

在图7所示的红外截止滤光器31的光谱特性IR(λ)，在440nm或更低的短波长侧和610nm或更大的长波长侧，产生光谱透射的相对急剧的衰减。即，光谱透射率在445nm为1.0，光谱透射率在430nm为约0.8，光谱透射率在425nm为约0.6，以及光谱透射率在415nm为约0.2。

另外，光谱透射率在605nm为1.0，光谱透射率在625nm为约0.8，光谱透射率在635nm为约0.6，以及光谱透射率在660nm为约0.2。

接着，将描述在当安置如图7所示的光谱特性的红外截止滤光器31，以及在考虑影响图4所示的光谱特性的传感器部11中的系统的同时，图5所示的光谱特性的四种像素时，使用七种颜料，优化感光度特性T(λ)的情况下，像素S1、S2、S3和S4的光谱特性。

尽管可以选择用于最终目标配色函数的任意坐标系统，作为例子，将描述将实现sRGB色度系统中的配色函数的情形。

图8是表示在将最终实现sRGB色度系统中的配色函数的情况下，像素S1、S2、S3和S4的光谱特性的图。

在图8中，由相对感光度表示光谱特性。加标记(+)表示像素S1的相对感光度，十字标记(X)表示像素S2的相对感光度，星号(*)表示像素S3的相对感光度，以及双圆形(⊙)表示像素S4的相对感光度。

与波长无关，像素S4的相对感光度基本上稳定在约80。

在400nm至450nm的波长范围内，像素S1的相对感光度基本上稳定在约90，在从450nm至540nm的波长范围内，从约90降低到稍微低于10，在540nm至600nm的波长范围内，从稍微低于10升高到约80，以及在600nm至700nm的波长范围内，进一步从约80升高到100。

像素S2的相对感光度在400nm至520nm的波长范围内，从约70升高到稍微低于90，在520nm至620nm的波长范围内，从稍微低于90降低到约20，在620nm至680nm的波长范围内，稳定在约20，以及在680nm至700nm的波长范围内，从约20升高到约30。

像素S3的相对感光度在400nm至430nm的波长范围内，从约30降低到稍微低于20，在430nm至520nm的波长范围内，从稍微低于20升高到约80，另外，在520nm至700nm的波长范围内，稳定在约80。

图9是表示如由图7所示的光谱特性的红外截止滤光器31实现的RGB的各个光谱特性，以及图8所示的像素S1、S2、S3和S4的光谱特性的图。

在图9中，由相对感光度表示光谱特性。黑圈表示B的相对感光度，黑三角形表示G的相对感光度，以及黑正方形表示R的相对感光度。另外，在图9中，虚线表示B的配色函数，单点划线表示G的配色函数，以及双点划线表示R的配色函数。

如图9所示，获得更接近sRGB色度系统的配色函数的光谱特性。

即，图9所示的RGB的光谱特性和根据图2所示的相关技术的RGB的光谱特性间的比较将揭示图9所示的RGB的每一个的光谱特性包含与配色函数有关的更小差值，即更小误差。

另外，在图9所示的RGB的光谱特性中，实现不能通过普通滤色器实现的负感光度。

接着，将更详细地描述信号处理部13。

图10是表示信号处理部13的结构的例子的框图。信号处理部13包括白平衡调整部71、生成像素相位确定部72、RGB提取部73和加权平均部74。

白平衡调整部71调整传感器部11的像素的输出的白平衡。即，白平衡调整部71调整像素S1、S2、S3和S4的输出的白平衡。白平衡调整部71将白平衡调整像素输出提供给生成像素相位确定部72和RGB提取部73。

生成像素相位确定部72相对于将生成的所有像素，确定将生成的像素的相位。即，生成像素相位确定部72确定相对于像素S4的位置，向左上、左下、右上、右下偏移传感器部11中的两个像素的距离的一半的位置中，将计算其像素值的彩色图像的像素的位置。

将生成的像素的相位是指在相对于像素S4的位置，向左上、左下、右上、右下偏移传感器部11中的两个像素的距离的一半的位置，放置将计算其像素值的彩色图像的像素。

图11是示例说明将生成的像素的相位和加权平均计算的图。在图11的顶图中，表示对应于生成像素位置A的像素的相位。在对应于生成像素位置A的像素的相位中，使将计算其像素值的彩色图像的像素的位置向相对于像素S4的位置的左上偏移传感器部11中的两个像素的距离的一半。

在从图11中的顶部的第二图中，示出了对应于生成像素位置B的像素的相位。在对应于生成像素位置B的像素的相位中，使将计算其像素值的彩色图像的像素的位置向相对于像素S4的位置的右上偏移传感器部11中的两个像素的距离的一半。

在从图11的顶部的第三图中，示出了对应于生成像素位置C的像素的相位。在对应于生成像素位置C的像素的相位中，使将计算其像素值的彩色图像的像素的位置向相对于像素S4的相位的左下偏移传感器部11中的两个像素的距离的一半。

在从图11的顶部的第四图中，示出了对应于生成像素位置D的像素的相位。在对应于生成像素位置D的像素的相位中，使将计算其像素值的彩色图像的像素的位置向相对于像素S4的位置的右下偏移传感器部11中的两个像素的距离的一半。

换句话说，生成像素相位确定部72确定将生成像素的相位是否对应于生成像素位置A、生成像素位置B、生成像素位置C和生成像素位置D。

生成像素相位确定部72将确定结果提供给RGB提取部73和加权平均部74。

RGB提取部73由从白平衡调整部71提供的白平衡调整像素输出，通过表达式(3)，计算RGB的各个值。即，RGB提取部73通过计算R＝S4-S2，G＝S4-S1，B＝S4-S3，计算R、G和B。换句话说，对每一单个像素S4，RGB提取部73相对于像素S4和与像素S4相邻的像素S1、S2和S3，计算像素S4的输出和像素S1的输出间的差值、像素S4的输出和像素S2的输出间的差值和像素S4的输出和像素S3的输出间的差值。

RGB提取部73将RGB的各个值提供给加权平均部74。

根据生成像素相位确定部72的确定结果，加权平均部74通过取由相对于彩色图像的像素的位置偏移传感器部11的像素的距离的一半的像素S4的输出计算的差值和由属于与上述像素S4所属的单元相邻的另一单元的另一像素S4的输出计算的差值的加权平均，计算彩色图像的像素的像素值。在这种情况下，上述单元由垂直和水平排列的像素S1、S2、S3和S4组成，以便彼此相邻。如图11所示，在传感器部11中，垂直或水平地排列该单元。

例如，加权平均部74通过计算R＝(3*R1+R2)/4，B＝(3*B1+B2)/4，计算R和G的最终值。

更具体地说，例如，在将计算其像素值的彩色图像的像素的相位对应于所生成的像素位置A的情况下，如图11的顶图所示，使那一像素位于像素S4的右上。因此，通过从将计算其像素值的像素位于其左上的像素S4的像素值减去位于与那一像素S4的左边相邻的像素S2的像素值，计算R1。另外，通过从位于上述像素S4上两个像素的像素S4的像素值，减去位于与位于两个像素上的像素S4的左边相邻的像素S2的像素值，计算R2。通过计算R＝(3*R1+R2)/4，计算R的最终值。

另外，通过从将计算其像素值的像素位于其左上的像素S4的像素值，减去位于那一像素S4上的像素S3的像素值，计算B1。另外，通过从位于那一像素S4的左边的两个像素的像素S4的像素值，减去位于左边的两个像素的像素S4上的像素S3的像素值，计算B2。通过计算B＝(3*B1+B2)/4，计算B的最终值。

应注意到在将计算其像素值的彩色图像的像素的相位对应于所生成像素位置A的情况下，通过从将计算其像素值的像素位于其左上的像素S4的像素值减去位于那一像素S4的左上的像素S1的像素值，计算G。

例如，在将计算其像素值的彩色图像的像素的相位对应于生成像素位置B的情况下，如从图11的顶部的第二图所示，使那一像素定位到像素S4的右上。因此，通过从将计算其像素值的像素位于其右上的像素S4的像素值减去与那一像素S4的右边相邻的像素S2的像素值，计算R1。另外，通过从位于在上述像素S4上两个像素的像素S4的像素值减去位于与位于高两个像素的像素S4的右边相邻的像素S2的像素值，计算R2。通过计算R＝(3*R1+R2)/4，计算R的最终值。

另外，通过从将计算其像素值的像素位于其右上的像素S4的像素值减去那一像素S4上的像素S3的像素值，计算B1。另外，通过从位于那一像素S4的右边两个像素的像素S4的像素值减去位于右边两个像素的像素S4上的像素S3的像素值，计算B2。通过计算B＝(3*B1+B2)/4，计算B的最终值。

应注意到在将计算其像素值的彩色图像的像素的相位对应于生成像素位置B的情况下，通过从将计算其像素值的像素位于其右上的像素S4的像素值减去位于那一像素S4的右上的像素S1的像素值，计算G。

例如，在将计算其像素值的彩色图像的像素的相位对应于生成像素位置C的情况下，如从图11的顶部的第三图所示，使那一像素位于像素S4的左下。因此，通过从将计算其像素值的像素位于其左下的像素S4的像素值减去位于与那一像素S4的左边相邻的像素S2的像素值，计算R1。另外，通过从位于上述像素S4下两个像素的像素S4的像素值减去位于两个像素下的像素S4的左边相邻的像素S2的像素值，计算R2。通过计算R＝(3*R1+R2)/4，计算R的最终值。

另外，通过从将计算其像素值的像素位于其左下的像素S4的像素值减去在那一像素S4下的像素S3的像素值，计算B1。另外，通过从位于那一像素S4的左边两个像素的像素S4的像素值减去在位于左边两个像素的像素S4下的像素S3的像素值，计算B2。通过计算B＝(3*B1+B2)/4，计算B的最终值。

应注意到在将计算其像素值的彩色图像的像素的相位对应于生成像素位置C的情况下，通过从将计算其像素值的像素位于其左下的像素S4的像素值减去位于那一像素S4的左下的像素S1的像素值，计算G。

例如，在将计算其像素值的彩色图像的像素的相位对应于生成像素位置D的情况下，如图11的底图所示，使那一像素定位到像素S4的右下。因此，通过从将计算其像素值的像素位于其右下的像素S4的像素值减去与那一像素S4的右边相邻的像素S2的像素值，计算R1。另外，通过从位于上述像素S4下两个像素的像素S4的像素值减去位于两个像素下的像素S4的右边相邻的像素S2的像素值，计算R2。通过计算R＝(3*R1+R2)/4，计算R的最终值。

另外，通过从将计算其像素值的像素位于其右下的像素S4的像素值减去在那一像素S4下的像素S3的像素值，计算B1。另外，通过从位于那一像素S4的右边两个像素的像素S4的像素值减去在位于右边两个像素的像素S4下的像素S3的像素值，计算B2。通过计算B＝(3*B1+B2)/4，计算B的最终值。

应注意到在将计算其像素值的彩色图像的像素的相位对应于生成像素位置D的情况下，通过从将计算其像素值位于其右下的像素S4的像素值减去位于那一像素S4的右下的像素S1的像素值，计算G。

图12是示例说明通过信号处理部13的信号处理的例子的流程图。在步骤S11中，白平衡调整部71调整传感器部11的像素S1、S2、S3和S4的输出的白平衡。

在步骤S12，生成像素相位确定部72选择将生成的像素。更精确地说，在步骤S12中，生成像素相位确定部72确定将生成的像素的位置。

在步骤S13，生成像素相位确定部72确定将生成的像素的位置对应于生成像素位置A、生成像素位置B、生成像素位置C和生成像素位置D中的哪一个。

在步骤S14，RGB提取部73提取周围像素的RGB。例如，在步骤S14，RGB提取部73由在将生成的像素的周围中的像素S1、S2、S3和S4计算RGB。更具体地说，例如，在步骤S14中，RGB提取部73由毗邻待生成的像素的像素S4、位于那一像素S4上两个像素的像素S4、位于那一像素S4下两个像素的像素S4、位于那一像素S4的右边两个像素的像素S4、位于那一像素的左边两个像素的像素S4，以及与那些像素S4中每一个彼此相邻的像素S1、S2和S3，通过表达式(3)计算RGB。

在步骤S15，加权平均部74相对于R和B，执行加权平均，由此计算最终R和B。即，如参考图11所述，在步骤S15，根据待生成的像素的相位的确定结果，加权平均部74通过取由相对于彩色图像的像素的位置偏移传感器部11的像素的距离的一半的像素S4的输出计算的差值和由属于与上述像素S4所属的单元相邻的另一单元的另一像素S4的输出计算的差值间的加权平均，计算彩色图像的像素的像素值。

在步骤S16，生成像素相位确定部72确定是否已经完成处理整个屏幕，如果确定还没有完成处理整个屏幕，过程返回到步骤S12，相对于待生成的下一像素，重复上述处理。

如果在步骤S16确定已经完成整个屏幕的处理，输出由信号处理获得的RGB信号，以及处理结束。

用这种方式，可以减少由于传感器部11的各个像素间的变化而引起的图像的颜色的变化，另外，可以减少由传感器部11的像素和在传感器部11的像素中形成的光学图像间的相对位置关系引起的图像颜色的变化。

另外，也可以调整彩色图像的信号的白平衡。

图13是表示信号处理部13的结构的另一例子的框图。在图13中，与图10所示的那些相同的部分由相同的参考数字表示，以及省略其描述。

图13所示的信号处理部13包括生成像素相位确定部72、RGB提取部73、加权平均部74和白平衡调整部91。

白平衡调整部91调整由信号处理获得的彩色图像的信号的白平衡。即，白平衡调整部91调整已经在生成信号相位确定部72、RGB提取部73和加权平均部74中经受信号处理的RGB信号的白平衡，并且已经从加权平均部74输出。

图14是表示信号处理部13的信号处理的另一例子的流程图。由于步骤S31至S35与图12中的步骤S12至S16相同，将省略其描述。

在步骤S36，白平衡调整部91调整在步骤S32至S35，由信号处理获得的RGB信号的白平衡，以及输出白平衡调整RGB信号。然后处理结束。

用这种方式，在信号处理前后，调整白平衡。

应注意到不仅能实现sRGB色度系统中的配色函数，而且能实现XYZ系统中的配色函数。

图15是表示在将最终实现XYZ系统中的配色函数的情况下，像素S1、S2、S3和S4的光谱特性的图。

在图15中，由相对感光度表示光谱特性。加标记(+)表示像素S1的相对感光度，十字标记(X)表示像素S2的相对感光度，星号(*)表示像素S3的相对感光度，以及双圆形(⊙)表示像素S4的相对感光度。

与波长无关，像素S4的相对感光度基本上稳定在约100。

在400nm至450nm的波长范围内，像素S1的相对感光度基本上恒定在约90，在从450nm至550nm的波长范围内，从约90降低到约10，在550nm至600nm的波长范围内，从约10升高到约30，以及在600nm至640nm的波长范围内，基本上稳定在约30，以及在640nm至700nm的波长范围内，进一步从约30升高到60。

像素S2的相对感光度在400nm至500nm的波长范围内，从约70升高到稍微高于90，在500nm至620nm的波长范围内，从稍微高于90降低到稍微低于20，在620nm至680nm的波长范围内，稳定在稍微低于20，以及在680nm至700nm的波长范围内，从稍微低于20升高到稍微低于30。

像素S3的相对感光度在400nm至430nm的波长范围内，从约30降低到稍微低于20，在430nm至550nm的波长范围内，从稍微低于20升高到约100，另外，在550nm至700nm的波长范围内，稳定在约100。

图16是表示由图7所示的光谱特性的红外截止滤光器31实现的XYZ的各个光谱特性，以及图15所示的像素S1、S2、S3和S4的光谱特性的图。

在图16中，由相对感光度表示光谱特性。黑圈表示Z的相对感光度，黑三角形表示Y的相对感光度，以及黑正方形表示X的相对感光度。另外，在图16中，虚线表示Z的配色函数，单点划线表示Y的配色函数，以及双点划线表示X的配色函数。

如图16所示，获得更接近XYZ系统的配色函数的光谱特性。

接着，将描述信号处理，其中，通过校正由传感器部11的像素间的差值获得的光谱特性和最终目标配色函数间的偏差，将由所谓的单芯片图像传感器拍摄的RGB图像重新创建为等于由所谓的三芯片图像传感器拍摄的RGB图像的RGB图像。

例如，信号处理部31使用用于预先确定的单个类的系数，将为类分类自适应处理的信号处理应用于传感器部11的输出。

类分类自适应处理包括基于它们的特征，将输入信号分成几个类，以及相对于每一类的输入信号，执行适合于那一类的自适应处理。类分类自适应处理粗略地分成类分类处理和自适应处理。

其中，将简单地描述类分类处理和自适应处理。

首先，将描述类分类处理。

如图5所示，通过最接近指定聚焦像素的像素S4，以及与像素S4相邻的三个像素S1、S2和S3，形成由2×2像素组成的块(类分类块)。另外，假定每一像素表示为1位(取电平0或1)。在这种情况下，由于每一像素的电平分布，对应于聚焦像素的2×2＝4像素的块能被分成16(＝(2¹)⁴)图形。因此，在当前情况下，能将聚焦像素分成16个图形。

在这种情况下，将通常约8位分配给每一像素。如果用于类分类的块由12个像素形成，将聚焦像素分成与(2⁸)¹²一样多的类。

通过使构成用于类分类的块的像素的位数小，降低类的数量。

接着，将描述自适应处理。

例如，现在，考虑由通过传感器部11的像素的输出(在下文中，适当时，将对应于一个图像的传感器部11的像素的输出称为学生图像，以及其数据称为学习数据)、X₁，X₂，...以及预定预测系数w₁，w₂，...的线性组合定义的线性原色组合模型，找出RGB图像(在下文中，适当时，称为老师图像，以及其数据称为老师数据)的像素值y的预测值E[y]的情形。在这种情况下，预测值E[y]能由下述表达式表示。

E[y]＝w₁x₁+w₂x₂+...                      ...(4)

接着，为概括模型，由预测系数w的集合组成的矩阵W、由学习数据集组成的矩阵X、由预测值E[y]的集合组成的矩阵Y’定义如下：

$X=\left[\begin{array}{cccc}{x}_{11}& x_{12}& ...& x_{1n}\\ x_{21}& x_{22}& ...& x_{2n}\\ ...& ...& ...& ...\\ x_{m1}& x_{m2}& ...& x_{\mathrm{mn}}\end{array}\right]$

$W=\left[\begin{array}{c}{w}_1\\ w_2\\ ...\\ w_n\end{array}\right],Y^{\′}=\left[\begin{array}{c}E\left[y_1\right]\\ E\left[y_2\right]\\ ...\\ E\left[y_m\right]\end{array}\right]$

然后，下述观察等式成立：

XW＝Y’          ...(5)

现在假定通过将最小平方法应用于观察等式，找出接近RGB图像的像素值y的预测值E[y]。在这种情况下，由RGB图像的像素值y的集合组成的矩阵Y，以及相对于RGB图像的像素值y的预测值E[y]的余数e组成的矩阵E定义如下：

$E=\left[\begin{array}{c}{e}_1\\ e_2\\ ...\\ e_m\end{array}\right],Y^{\′}=\left[\begin{array}{c}{y}_1\\ y_2\\ ...\\ y_m\end{array}\right]$

然后，从表达式(5)，下述剩余方程成立：

XW＝Y+E                  ...(6)

在这种情况下，通过最小化表示如下的误差平方，能找出用于找出接近原始RGB图像的像素值y的预测值E[y]的预测系数w_i：

$\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{e}_i^2$

因此，如果通过预测系数w_i，微分上述平方误差获得的值为0，推断满足下述等式的预测系数w_i是用于确定接近RGB图像的像素值y的预测值E[y]的最佳值。

$e_1\frac{{\∂e}_1}{{\∂w}_i}+e_2\frac{{\∂e}_2}{\∂w_i}+\·\·\·+e_m\frac{{\∂e}_m}{{\∂w}_i}=0(i=\mathrm{1,2},...,n)---\left(7\right)$

因此，通过预测系数w_i，微分表达式(6)，获得下述等式。

$\frac{{\∂e}_i}{{\∂w}_1}=x_{i1},\frac{\∂e_i}{\∂w_2}=x_{i2},...,\frac{\∂e_i}{\∂w_n}=x_{\mathrm{in}}(i=\mathrm{1,2},...,m)---\left(8\right)$

从表达式(7)和(8)，获得表达式(9)。

$\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{e}_i{x}_{i1}=0,\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{e}_i{x}_{i2}=0,...\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{e}_i{x}_{\mathrm{in}}=0---\left(9\right)$

另外，通过考虑学习数据x、预测系数w、学习数据y和表达式(6)的剩余方程中的余数e间的关系，从表达式(9)能获得下述标准等式。

$\left\{\begin{array}{c}\left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{x}_{i1}{x}_{i1}\right)w_1+\left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{x}_{i1}{x}_{i2}\right)w_2+\·\·\·+\left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{x}_{i1}{x}_{\mathrm{in}}\right)w_n=\left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{x}_{i1}{y}_i\right)\\ \left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{x}_{i2}{x}_{i1}\right)w_1+\left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{x}_{i2}{x}_{i2}\right)+w_2+\·\·\·+\left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{x}_{i2}{x}_{\mathrm{in}}\right)w_n=\left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{x}_{i2}{y}_i\right)\\ ...\\ \left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{x}_{\mathrm{in}}{x}_{i1}\right)w_1+\left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{x}_{\mathrm{in}}{x}_{i2}\right)w_2+\·\·\·+\left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{x}_{\mathrm{in}}{x}_{\mathrm{in}}\right)w_n=\left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{x}_{\mathrm{in}}{y}_i\right)\end{array}---\left(10\right)\right.$

对与将找出的预测系数w的数量相同的数量，能成立表达式(10)的标准方程。因此，通过求解表达式(10)，能找出最佳预测系数w。应注意到在求解表达式(10)中，例如，能应用扫描方法(Gauss-Jordan消去法)。

自适应处理是指以上述方式，对每一单个类，找出最佳预测系数w，另外，通过使用预测系数w，通过表达式(4)找出接近RGB图像的像素值y的预测值E[y]的处理。

图17是表示信号处理部13的结构的另一例子的框图，使用预先确定的用于单个类的系数，将为类分类自适应处理的信号处理应用于传感器部11的输出。应注意到在图17中，与图10所示相同的部分由相同的参考数字表示，以及省略其描述。

图17所示的信号处理部13包括白平衡调整部71、类抽头构成部101、类分类部102、系数累积部103、预测抽头构成部104和乘积和计算部105。

白平衡调整部71将传感器部11的像素的白平衡调整输出提供给类抽头构成部101和预测抽头构成部104。

类抽头构成部101构成类抽头。即，根据为聚焦像素的待生成的像素，类抽头构成部101从由白平衡调整部71提供的传感器部11的像素的白平衡调整输出中，提取像素的输出作为构成用于类分类的块的类抽头。

图18是表示类抽头排列的例子的图。在图18中，黑圈表示为聚焦像素的待生成的像素。在图18所示的例子中，相对于传感器部11中的像素S1至S4的位置，聚焦像素位于相对于彼此，偏移像素S1至S4间的距离的一半的位置。

例如，类抽头构成部101通过提取属于横过聚焦像素的四个像素和以作为中心的聚焦像素下的两个像素的范围，或属于横过聚焦像素的两个像素和以作为中心的聚焦像素下的四个像素的范围的像素S1至S4的输出作为类抽头，构成类抽头。

类抽头构成部101将类抽头提供给类分类部102。

通过类抽头，类分类部102使聚焦像素经受类分类。类分类部102配置成相对于类抽头，执行ADRC处理。因此，通过使构成类抽头的像素的输出的位数小，减少类的数量。

图19是表示类分类部102的结构的例子的框图。类分类部102包括DR计算部121、DR最大值检测部122和ADRC码计算部123。

DR计算部121相对于构成类抽头的像素S1、S2、S3和S4的各个输出中的每一个，计算动态范围DR＝最大值MAX-最小值MIN。即，DR计算部121从构成类抽头的三个像素S1的输出中，检测最大值MAX和最小值MIN，以及从所检测的最大值MAX减去最小值MIN，由此相对于像素S1的输出，计算动态范围DR。同样地，DR计算部121从构成类抽头的三个像素S2的输出中，检测最大值MAX和最小值MIN，以及从所检测的最大值MAX减去最小值MIN，由此相对于像素S2的输出，计算动态范围DR。

另外，DR计算部121从构成类抽头的三个像素S3的输出中，检测最大值MAX和最小值MIN，以及从所检测的最大值MAX减去最小值MIN，由此相对于像素S3的输出，计算动态范围DR。此外，DR计算部121从构成类抽头的三个像素S4的输出中，检测最大值MAX和最小值MIN，以及从所检测的最大值减去最小值MIN，由此相对于像素S4的输出，计算动态范围DR。

DR计算部121将各个动态范围DR提供给DR最大值检测部122。

DR最大值检测部122从相对于像素S1的输出的动态范围DR、相对于像素S2的输出的动态范围DR、相对于像素S3的输出的动态范围DR和相对于像素S4的输出的动态范围DR，检测最大值。DR最大值检测部122将最大动态范围DR提供给ADRC码计算部123。

ADRC码计算部123基于最大动态范围DR，将构成类抽头的像素S1、S2、S3和S4的输出重新量化成K位，并计算ADRC码。

即，ADRC码计算部123从构成类抽头的像素S1、S2、S3和S4的输出的每一个，减去用在计算最大动态范围DR中使用的最小值MIN，以及将减去值除以DR/2^K，在此之后，转换成对应于根据结果获得的分度值的码(ADRC码)。具体地，假定例如k＝2，确定分度值是否属于通过将动态范围划分成4(＝2²)相同部分获得的范围中的任何一个。在分度值属于最低电平的范围、第二最低电平的范围、第三最低电平的范围或最高电平的范围的情况下，将分度值分别编码成2位，诸如00B、01B、10B或11B(B表示二进制数)。

通过执行ADRC处理，其中，通过小于分配给构成类抽头的像素的输出的位数的位数，执行重新量化，如上所述，能减少类的数量。在类分类部102中，执行这种ADRC处理。

ADRC码计算部123输出由此获得的作为类码的ADRC码。例如，ADRC码计算部123输出通过顺序地排列由构成类抽头的像素S1、S2、S3和S4的输出计算的ADRC码获得的类码。

在基于由图18中所示的十二个像素S1、S2、S3和S4的输出构成的类抽头的情况下，分别由构成类抽头的像素S1、S2、S3和S4的输出计算1位的ADRC码，ADRC计算部123输出将聚焦像素分成2¹²＝4096类的类码。

如上所述，即使在颜色信号的波形在聚焦像素的周围改变的情况下，通过相应的计算，计算类码，因此，将聚焦像素分成对应于表达式(3)的RGB的类。

应注意到尽管通过水平地反相类抽头，或通过垂直地反相类抽头，类抽头的排列根据相位改变，能以与图18所示的类抽头相同的方式处理类抽头。

ADRC码计算部123将根据聚焦像素的类分类的结果获得的类码提供给系数累积部103和预测抽头构成部104。

系数累积部103预先累积用于单个类的预测系数。在从类分类部102提供类码后，系数累积部103将由类码表示的类的预测系数w提供给乘积和计算部105。

预测抽头构成部104构成预测抽头。即，根据将生成的像素(其为聚焦像素)预测抽头构成部104从由白平衡调整部71提供的传感器部11的像素的白平衡调整输出中，提取预测抽头，作为用于表达式(4)的乘积和计算的传感器部11的像素的输出。例如，预测抽头构成部104根据由从类分类部102提供的类码表示的类，构成预测抽头。

图20是表示预测抽头的排列的例子的图。在图20中，黑圈表示将生成的像素，其是聚焦像素。

例如，预测抽头构成部104通过提取属于横过聚焦像素的六个像素和以作为中心的聚焦像素下面的两个像素的范围，或属于横过聚焦像素的两个像素和以作为中心的聚焦像素下面的六个像素的范围的像素S1至S4的输出作为预测抽头，构成预测抽头。在这种情况下，构成分别由像素S1至S4的输出形成的24个预测抽头。

应注意到尽管通过水平地反相预测抽头，或通过垂直地反相预测抽头，预测抽头的排列根据相位改变，但能以与图20所示的预测抽头相同的方式处理预测抽头。

预测抽头构成部104将预测抽头提供给乘积和计算部105。

乘积和计算部105相对于从预测抽头构成部104提供的预测抽头和从系数乘积部103提供的预测系数w，应用方程式(4)的乘积和计算，由此将聚焦像素的像素值预测为RGB图像的像素值。

接着，参考图21的流程图，将描述通过信号处理部13的信号，其是使用预先确定的用于单个类的系数的类分类自适应处理。在步骤S101，白平衡调整部71调整传感器部11的像素S1、S2、S3和S4的输出的白平衡。

在步骤S102，类抽头构成部101选择聚焦像素，即将生成的像素。在步骤S103，类抽头构成部101读取在聚焦像素的周围中的数据。即，在步骤S103，类抽头构成部101读取在聚焦像素的周围中的像素S1、S2、S3和S4的输出。

在步骤S104，类抽头构成部101选择将生成的聚焦像素的分量。例如，在步骤S104，类抽头构成部101选择RGB中的一个。

在步骤S105，类抽头构成部101构成对应于聚焦像素的类抽头。在步骤S106，类分类部102按类抽头，将聚焦像素分成类。在步骤S107，预测抽头构成部104构成对应于已经划分聚焦像素的该类的预测抽头。

在步骤S108是，在用于预先累积的单个类的预测系数中，系数累积部103读取对应于聚焦像素已经划分成的类的预测系数，以及将它们提供给乘积和计算部105。在步骤S109，乘积和计算部105在步骤S107中构成的预测抽头的数据和在步骤S108中读取的预测系数w间，执行由表达式(4)表示的乘积和计算处理。

在步骤S110，类抽头构成部101相对于聚焦像素的RGB，确定是否已经完成处理。如果确定相对于RGB，还未完成处理，处理返回到步骤S104，相对于下一分量，重复上述处理。

如果在步骤S110中确定相对于RGB，已经完成处理，过程进入步骤S111，其中，类抽头构成部101确定是否已经完成整个屏幕的处理。如果确定还未完成整个屏幕的处理，该过程返回到步骤S102，以及相对于将生成的下一像素，重复上述处理。

如果在步骤S111中确定已经完成整个屏幕的处理，输出通过信号处理获得的RGB信号，以及处理结束。

用这种方式，校正由传感器部11的像素间的差值获得的光谱特性和最终目标配色函数间的偏差，由此使得可以俘获具有更精确颜色再现的图像。

此外，可以使通过类分类自适应处理获得的彩色图像信号经受白平衡调整。

图22是表示信号处理部13的结构的又一例子的框图。在图22中，与图17所示相同的部分用相同的参考数字表示，以及省略其描述。

图22所示的信号处理部13包括类抽头构成部101、类分类部102、系数累积部103、预测抽头构成部104、乘积和计算部105和白平衡调整部91。

图22中所示的白平衡调整部91调整通过类分类自适应处理获得的彩色图像信号的白平衡。即，白平衡调整部91调整通过对应于类分类构成部101、类分类部102、系数乘积部103、预测抽头构成部104和乘积和计算部105中的类分类自适应处理的信号处理生成的RGB信号的白平衡。

图23是表示通过信号处理部13的信号处理的另一例子的流程图，其是类分类自适应处理。由于步骤S131至S140与步骤S102至S111相同，省略其描述。

在步骤S141，白平衡调整部91调整通过为类分类自适应处理的步骤S131至S140中的信号处理生成的RGB信号的白平衡，并输出白平衡调整RGB信号。然后，处理结束。

用这种方式，在对应于类分类自适应处理的信号处理前或后，调整白平衡。

接着，将描述如何生成用于用在类分类自适应处理中的单个类的预测系数。

图24是表示用于俘获用于生成用于用在类分类自适应处理中的单个类的预测系数的老师图像和学生图像的成像设备的视图。图24所示的成像设备包括黑白照相机201和滤光轮202，以及成像拍摄目标203。

黑白照相机201具有等于图4所示的传感器光谱感光度33的黑白光谱特性W(λ)的特性。即，黑白照相机201具有与除红外截止滤光器31和滤色器32外的传感器部11的光电转换特性相同的光电转换特性。

滤光轮202包括多个滤光器。滤光轮202配置成在黑白照相机201上，形成已经透过滤光器中的一个的拍摄目标203的光学图像。

黑白照相机201以帧为单位成像目标，以便使由黑白照相机201成像帧的周期和在黑白照相机201上形成已经透过滤光轮的滤光器中的一个的拍摄目标203的光学图像的周期彼此同步，以及滤光轮202旋转。即，黑白照相机201基于逐个帧，俘获已经顺序地透过在滤光轮202的旋转方向中提供的各个滤光器的拍摄目标203的光学图像。

更具体地说，黑白照相机201俘获已经透过滤光轮202的滤光器的第一预定滤光器的拍摄目标203的光学图像作为第一帧。然后，黑白照相机201将已经通过在上述第一滤光器之后提供的滤光器，即在滤光轮202的旋转方向中提供的第二滤光器的拍摄目标203的光学图像俘获为第二帧。通过重复上述操作，其中，将已经通过在滤光轮202的旋转方向中顺序提供的n个滤光器中的一个的拍摄目标203的光学图像俘获为一帧，将分别通过滤光轮202中提供的n个滤光器的拍摄目标203的光学图像俘获为n帧。

即，黑白照相机201俘获用于在滤光轮202中提供的滤光器的单个颜色的图像。

例如，当将获得具有更接近XYZ色度系统中的配色函数的光谱特性的彩色图像信号时，在滤光轮202的滤光器中，将三个滤光器的各个光谱特性设置为XYZ色度系统中，等于X的配色函数的光谱特性、等于Y的配色函数的光谱特性，以及等于Z的配色函数的光谱特性。另外，在滤光轮202的滤光器中，将其他四个滤光器的各个光谱特性设置为等于如上参考图8所示，像素S1、S2、S3和S4的各个光谱特性的光谱特性。

另外，例如，当将获得具有更接近sRGB色度系统中的配色函数的光谱特性的彩色图像信号时，在滤光轮202的滤光器中，将三个滤光器的各个光谱特性设置为XYZ色度系统中，等于X的配色函数的光谱特性、等于Y的配色函数的光谱特性，以及等于Z的配色函数的光谱特性，以致由此俘获具有更接近XYZ色度系统中的配色函数的光谱特性的彩色图像信号。此后，将具有更接近XYZ色度系统中的配色函数的光谱特性的彩色图像信号变换成具有更接近sRGB系统中的配色函数的光谱特性的彩色图像信号。同样在这种情况下，在滤光轮202的滤光器中，将其他四个滤光器的各个光谱特性设置成如上参考图8所述，等于像素S1、S2、S3和S4的各个光谱特性的光谱特性。

即，在滤光轮202的滤光器中，将三个滤光器的每一个的光谱特性设置成等于所有光谱特性变为正的任意色度系统中的配色函数的一个的光谱特性。由此俘获具有更接近那一色度系统中的配色函数中的光谱特性的彩色图像。当将获得具有更接近具有负感光度的配色函数的光谱特性的彩色图像信号时，通过线性变换，将拍摄彩色图像的信号变换成具有更接近具有负感光度的配色函数的光谱特性的彩色图像信号。

滤光轮202的滤光器是例如玻璃滤光器。由于玻璃滤光器不受由如在传感器部11上提供的滤色器32的情况下，安装在光电转换元件上的必要性所强加的约束，能相对自由地设计玻璃滤光器的光谱特性。例如，用于获得所需光谱特性的颜料能用于滤光轮202的滤光器，与诸如密度、薄膜厚度限制、光阻和热阻的因素无关。另外，例如，可以通过重叠多个滤光器，形成滤光轮202的一个滤光器。

通过用这种方式，与黑白照相机201分别提供滤光轮202，可以拍摄具有更接近所需色度系统的配色函数的光谱特性的彩色图像，这不能通过在光电转换元件上安装的滤色器32实现。

黑白照相机201将表示用于滤光轮202的滤光器的各个颜色的图像的所拍摄的学生和老师图像提供给生成用于用在类分类自适应处理中的单个类的预测系数的图像处理设备。

应注意到根据将在如图3所示的成像设备中最终生成的像素的相位，可以俘获学生图像，以及相对于学生图像其像素位置偏移的老师图像。

另外，可以通过拆卸的光学LPF(低通滤波器)，俘获老师图像。

图25是表示由黑白照相机201俘获的学生图像和老师图像，生成用于用在类分类自适应处理中的单个类的预测系数的图像处理设备的结构的例子的框图。在图25中，由相同参考数字表示与图17所示相同的部分，以及省略其描述。

用于生成用于用在类分类自适应处理中的单个类的预测系数的图像处理设备包括类抽头部101、类分类部102、预测抽头构成部、信号芯片数据生成部221、像素值提取部222、加法矩阵生成部223和系数生成部224。

单芯片数据生成部221获得对应于传感器部11的滤色器的颜色数量的学生图像，即，经具有等于像素S1、S2、S3和S4的各个光谱特性的光谱特性的滤光器俘获的四个学生图像。从所俘获的学生图像，单芯片数据生成部221生成与从传感器部11输出的数据相同的数据。即，单芯片数据生成部221由所俘获的学生图像，生成具有与从传感器部11输出的数据的排列相同排列的数据。

更具体地说，单芯片数据生成部221根据传感器部11中的像素S1、S2、S3和S4的排列，稀疏或内插所获得的学生图像的像素，由此生成具有与从传感器部11输出的数据的排列相同的排列的数据。例如，单芯片数据生成部221从经具有等于像素S1的光谱特性的光谱特性的滤光器俘获的学生图像，提取图5所示的像素S1的位置处的像素，以及相对于将生成的数据，将该像素放在图5所示的像素S1的位置。另外，单芯片数据生成部221从经具有等于像素S2的光谱特性的光谱特性的滤光器俘获的学生图像，提取图5所示的像素S2的位置处的像素，以及相对于将生成的数据，将该像素放在图5所示的像素S2的位置。另外，单芯片数据生成部221从经具有等于像素S3的光谱特性的光谱特性的滤光器俘获的学生图像，提取图5所示的像素S3的位置处的像素，以及相对于将生成的数据，将像素放在图5所示的像素S3的位置。此外，单芯片数据生成部221从经具有等于像素S4的光谱特性的光谱特性的滤光器俘获的学生图像，提取图5所示的像素S4的位置处的像素，以及相对于待生成的数据，将该像素放在图5所示的像素S4的位置。

用这种方式，单芯片数据生成部221由所获得的学生图像，生成与从传感器部11输出的数据相同的数据。

单芯片数据生成部221将所生成的数据提供给类抽头构成部101和预测抽头构成部104，作为最终学生图像。

预测抽头构成部104由从单芯片数据生成部221提供的学生图像，构成对应于聚焦像素的类的预测抽头，以及将预测抽头提供给加法矩阵生成部223。

像素值提取部222从老师图像提取对应于聚焦像素的位置的像素的像素值，以及将所提取的图像的像素值提供给加法矩阵生成部223。用这种方式，从对应于所选择的分量的老师图像提取像素值。

加法矩阵生成部223将预测抽头和聚焦像素的像素值添加到用于每一单个类和分量的表达式(10)的标准方程。

对多个老师图像和对应于老师图像的学生图像，相对于老师图像中的每一个的像素的聚焦像素，将预测抽头，以及对应于聚焦像素的位置的老师图像的像素的像素值增加到用于每一单个类和分量的表达式(1)的标准方程式。

加法矩阵生成部223将用于每一单个类和分量的表达式(10)的标准方程提供给系数生成部224，如上所述，向其添加预测抽头和对应于聚焦像素的位置的老师图像的像素的像素值。

系数生成部224通过扫描方法等等，求解用于从加法矩阵生成部223提供的每一单个类和分量的表达式(10)的标准方程，由此生成用于每一单个类和分量的预测系数。输出由预测系数生成部224生成的预测系数并累积在系数累积部103中。

图26是示例说明用于生成用于用在类分类自适应处理中的单个类的预测系数的处理的流程图。在步骤S201，单芯片数据生成部221和像素值提取部222选择对应于多个颜色的学生图像，以及用于多个颜色的相应老师图像。在步骤S202，根据像素位置，单芯片数据生成部221将对应于颜色数量的学生图像改变成单芯片数据，由此生成最终学生图像。

在步骤S203，类抽头构成部101选择表示将聚焦的像素并对应于老师图像的像素的聚焦像素。在步骤S204，类抽头构成部101从学生图像读取聚焦像素周围中的数据。

在步骤S205，类抽头构成部101选择将生成的聚焦像素的分量。

在步骤S206，类抽头构成部101由学生图像，构成对应于聚焦像素的类抽头。在步骤S207，类分类部102按类抽头，将聚焦像素分成类。在步骤S208，预测抽头构成部104构成对应于聚焦像素已经分成的类的预测抽头。

在步骤S208，像素值提取部222从老师图像提取生成像素位置，即对应于聚焦像素的位置处的老师数据(像素的像素值)。在这种情况下，提取对应于在步骤S205中选择的分量的颜色的老师图像的像素值。

在步骤S210，加法矩阵生成部223生成用于每一类和每一分量的加法矩阵。例如，在步骤S210，加法矩阵生成部223将预测抽头和对应于聚焦像素的位置处的老师图像的像素的像素值添加到用于每一类和每一分量的表达式(10)的标准方程上。

在步骤S211，类抽头构成部101确定相对于那一聚焦像素的所有分量，即RGB，是否已经完成处理。如果确定相对于RGB，还未完成处理，过程返回到步骤S205，以及相对于下一分量，重复上述处理。

如果在步骤S211中确定相对于RGB，已经完成处理，过程进入步骤S212，类抽头构成部101确定是否已结束整个屏幕的处理。如果确定还未结束整个屏幕的处理，过程返回到步骤S203，以及相对于下一聚焦像素，重复上述处理。

如果在步骤S212中确定已经结束整个屏幕的处理，过程进入步骤S213，以及类抽头构成部101确定是否已经结束整个图像的处理。如果在步骤S213中确定还未完成整个图像的处理，过程返回到步骤S201，以及相对于下一图像，重复上述处理。

如果在步骤S213中确定已经完成整个图像的处理，过程进入步骤S214，其中，系数生成部224通过最小平方法生成预测系数，以及处理结束。即，在步骤S214，系数生成部224求解在步骤S210中生成的用于每一类和每一分量的加法矩阵，由此生成用于每一类和每一分量的预测系数。

用这种方式，生成用于用在类分类自适应处理中的单个类的预测系数。

根据本发明，当使用单芯片成像装置(光电转换元件)，执行彩色拍摄时，以不同的方式配置成像装置和信号处理，同时整体上考虑从成像装置到信号处理范围的所有因素，由此实现用于最终输出的图像的数据的改进颜色再现性和更宽颜色范围。

另外，即使当使用多个成像装置时，通过将上述结构用于各个成像装置，获得相同效果，由此实现整个特性的进一步改进。例如，与多个成像装置中的第一个相邻排列像素S4和S1，与多个成像装置的第二个相邻排列像素S4和S2，以及与多个成像装置的第三个相邻排列像素S4和S3。

通过应用如上所述的本发明，与现有技术相比，可以获得包含更少颜色失真的图像数据，同时实现更高清晰度。因此，例如，能将更接近如由人眼实际观察的图像的图像呈现为显示器、打印机等等的输出。由于输出装置的色域近年来倾向于变得日益更宽，期望在成像时，获得更大精度和更宽色域的数据的能力在未来将被视为愈加有价值。

另外，即使在具有有限色域的输出装置的情况下，如果能在成像时获得宽的色域的数据，通过稍后应用适合于输出装置的适当校正，提供如能由那一输出装置的特性实现的最佳图像。

另外，本发明也显示用在要求更可信颜色再现，诸如各种设计领域和如由复印机、远程医疗装置表示的医学领域等等中的优点。

本发明能应用于赋予成像功能的部件，诸如数码相机、数码摄像机、具有成像功能的便携式电话、具有成像功能的PDA、复印机和远程医疗部件。

如上所述，当将滤色器提供给光电转换部时，能俘获彩色图像。另外，当在光电转换部的预定相邻位置放置使表示人眼的感光度的配色函数中的一个接近用于通过如它们的输出间的差值表示的光谱特性的颜色的像素，以及将用于像素输出转换成彩色图像信号的信号处理应用于光电转换部的输出时，能俘获具有更精确颜色再现的图像。

当在预定相邻位置放置使表示人眼的感光度的配色函数中的一个接近通过表示为它们的输出间的差值的光谱感光度的颜色的像素，能俘获具有更精确颜色再现的图像。

图27是表示通过程序，执行上述处理系列的个人计算机的结构的例子的框图。CPU(中央处理单元)301基于在ROM(只读存储器)302或存储部308中存储的程序，执行各种处理。适当时，将由CPU301执行的程序、数据等等存储在RAM(随机存取存储器)303中。经总线304，CPU301、ROM302和RAM303彼此连接。

输入/输出接口305也经总线304连接CPU301。由键盘、鼠标、麦克风等等形成的输入部306，以及由显示器、扬声器等等形成的输出部307连接到输入/输出接口305。CPU301响应从输入部306输出的命令，执行各种处理。然后，CPU301将相应的结果输出到输出部307。

例如通过硬盘形成连接到输入/输出接口305的存储部308，以及存储将由CPU309执行的程序以及各种数据。通信部309经网络，诸如互联网或局域网与外部设备通信。

另外，程序可以经通信部309获得并存储在存储部308中。

当加载可移动介质311，诸如磁盘、光盘、半导体存储器等等时，连接到输入/输出接口305的驱动器310驱动可移动介质311，以及获得在可移动介质311中记录的程序或数据。根据需要，传送获得的程序或数据并存储在存储部308中。

通过硬件或软件执行上述处理系列。当通过软件执行处理系列时，将构成软件的程序从程序记录介质加载到包含在专用硬件中的计算机，或例如通过安装各种程序，能执行各种功能的通用计算机等等中。

如图27所示，用于存储通过安装在计算机中，能由计算机执行的程序的程序记录介质由作为包括磁盘(包括软盘)、光盘(CD-ROM(紧密盘-只读存储器)、DVD(数字通用盘)、半导体存储器等等的封装介质的可移动介质311、临时或永久存储程序的ROM302、构成存储部308的硬件等等构成。根据需要，经用作接口的通信部309，(诸如路由器或调制解调器)通过使用有线或无线通信介质，诸如局域网、互联网或数字卫星广播，执行将程序存储在程序记录介质中。

应注意到在本说明书中，描述在程序记录介质中存储的程序的步骤的例子不仅包括按如在描述中出现的时间顺序执行的过程，而且还包括不必要按时间顺序执行的，而是并行或独立执行的过程。

应注意到本发明的实施例不限于上述实施例，而是在不背离本发明的范围的情况下，能用各种方法改进。

Claims (15)

1.一种成像设备，包括：

成像部件，用于使表示人眼的感光度的配色函数中的一个接近作为相互相邻的光电转换元件中在预定位置排列的光电转换元件间的输出的差值获得的光谱感光度的颜色，所述成像部件具有在预定位置排列的光电转换元件；以及

信号处理部件，用于将光电转换元件的输出转换成彩色图像的信号的信号处理应用于成像部件的输出。

2.如权利要求1所述的成像设备，其中：

作为在成像部件上垂直和水平彼此相邻排列的四个光电转换元件中的第一光电转换元件和第二光电转换元件的输出间的差值获得的光谱感光度接近用于光的三个原色的配色函数的第一配色函数；

作为四个光电转换元件中的第三光电转换元件和第一光电转换元件的输出间的差值获得的光谱感光度接近用于光的三个原色的配色函数的第二配色函数；以及

作为四个光电转换元件中的第四光电转换元件和第一光电转换元件的输出间的差值获得的光谱感光度接近用于光的三个原色的配色函数的第三配色函数。

3.如权利要求2所述的成像设备，其中，成像部件包括垂直或水平并排排列的单元，每一个单元包括垂直和水平彼此相邻排列的第一光电转换元件、第二光电转换元件、第三光电转换元件和第四光电转换元件。

4.如权利要求3所述的成像设备，其中，信号处理部件包括：

第一计算部件，用于对第一光电转换元件的每一个和相对于与第一光电转换元件相邻的第二光电转换元件、第三光电转换元件和第四光电转换元件，计算第一光电转换元件的输出和第二光电转换元件的输出间的差值、第一光电转换元件的输出和第三光电转换元件的输出间的差值，以及第一光电转换元件的输出和第四光电转换元件的输出间的差值；

确定部件，用于从相对于第一光电转换元件的位置，向左上、左下、右上和右下偏移成像部件中的两个光电转换元件的距离的一半的位置中，确定将计算其像素值的彩色图像的像素的位置；以及

第二计算部件，用于根据确定结果，在由相对于彩色图像的像素的位置偏移该距离的一半的第一光电转换元件的输出计算的差值和由属于与第一光电转换元件所属的单元相邻的另一单元的第一光电转换元件中的另一个的输出计算的差值间执行加权平均，计算彩色图像的像素的像素值。

5.如权利要求1所述的成像设备，其中，成像部件已经在其上排列基于光电转换元件间的输出的差值从其输出接近用于RGB的配色函数中的一个的光谱感光度的光电转换元件。

6.如权利要求1所述的成像设备，其中，成像部件已经在其上排列基于光电转换元件间的输出的差值从其输出接近XYZ色度系统中的配色函数中的一个的光谱感光度的光电转换元件。

7.如权利要求1所述的成像设备，其中，信号处理部件将信号处理应用于成像部件的输出，信号处理包括将从成像部件上彼此相邻排列的光电转换元件中，在预定位置排列的光电转换元件的输出间的差值计算为彩色图像的信号。

8.如权利要求1所述的成像设备，其中，信号处理部件将信号处理应用于成像部件的输出，信号处理为使用用于预先找到的单个类的系数的类分类自适应处理。

9.如权利要求1所述的成像设备，进一步包括调整部件，用于调整成像部件的光电转换元件的输出的白平衡。

10.如权利要求1所述的成像设备，进一步包括调整部件，用于调整通过信号处理获得的彩色图像的信号的白平衡。

11.一种成像方法，包括步骤：

将光电转换元件排列在成像部件的预定相邻位置，光电转换元件使表示人眼的感光度的配色函数中的一个接近作为光电转换元件间的输出的差值获得的光谱感光度的颜色；以及

将光电转换元件的输出转换成彩色图像的信号的信号处理应用于成像部件的输出。

12.一种成像装置，包括在预定相邻位置排列的光电转换元件，光电转换元件使表示人眼的感光度的配色函数中的一个接近作为光电转换元件间的输出的差值获得的光谱感光度的颜色。

13.如权利要求12所述的成像装置，其中：

作为垂直和水平彼此相邻排列的四个光电转换元件中的第一光电转换元件和第二光电转换元件的输出间的差值获得的光谱感光度接近用于光的三个原色的配色函数的第一配色函数；

作为四个光电转换元件中的第三光电转换元件和第一光电转换元件的输出间的差值获得的光谱感光度接近用于光的三个原色的配色函数的第二配色函数；以及

作为四个光电转换元件中的第四光电转换元件和第一光电转换元件的输出间的差值获得的光谱感光度接近用于光的三个原色的配色函数的第三配色函数。

14.如权利要求13所述的成像装置，其中，成像部件包括垂直或水平并排排列的单元，每一个单元包括垂直和水平彼此相邻排列的第一光电转换元件、第二光电转换元件、第三光电转换元件和第四光电转换元件。

15.一种成像设备，包括：

成像部，配置成使表示人眼的感光度的配色函数中的一个接近作为相互相邻的光电转换元件中在预定位置排列的光电转换元件间的输出的差值获得的光谱感光度的颜色，成像部具有在所述预定位置排列的光电转换元件；以及

信号处理部，配置成将光电转换元件的输出转换成彩色图像的信号的信号处理应用于成像部的输出。

Images