CN102132570B - 图像信号校正设备、成像设备、图像信号校正方法 - Google Patents

Abstract

提供了图像信号校正设备(15)，其包括：色彩混合校正单元(151)，用于响应于图像信号，校正已由色彩成像元件(12)光电转换的图像信号中包括的色彩混合分量；以及存储单元(153)，用于存储已针对对应于成像元件(12)的成像面以多个分割的区域中的每一个区域而预先设置的色彩混合校正系数。色彩混合校正单元(151)通过内插近似已经在色彩混合校正时间从存储单元(153)读出的色彩混合校正系数，从而获取所需像素位置处的色彩混合百分比，以便通过使用获取的色彩混合百分比来校正色彩混合分量。

Description

图像信号校正设备、成像设备、图像信号校正方法

技术领域

本发明涉及在具有固态成像元件(如，CMOS图像传感器)的成像设备中校正相邻像素之间的色彩混合(色彩串扰)等的图像信号校正设备、成像设备、图像信号校正方法和程序。 

背景技术

一般而言，在诸如CMOS(互补金属氧化物半导体)图像传感器(CIS)之类的成像元件中，出现受到相邻像素影响的色彩混合(色彩串扰)。 

色彩混合以粗略的分类分为：电色彩混合，其归因于衬底内部扩散的电荷的进入；以及光色彩混合，在其中入射光由于漫反射等而泄露到相邻像素中。 

这些色彩混合是不利地影响图像质量的因素，如，恶化色彩再现性。 

因此，已经提出了将用于使得能够进行面内均匀校正的色彩混合校正的系数提供给每一色彩的技术，以及类似地通过F数执行面内均匀校正的技术等(例如参见专利文献1)。 

此外，一般而言，在色彩混合的同时，无助于光电二极管的光电转换的光量由于光吸收等而存在于像素中，并且在逐像素的基础上出现晕影(vignetting)。 

这种晕影称为像素遮蔽，并受到界面反射、到形成晶体管的多晶硅等中的光吸收等的干扰。像素遮蔽与色彩混合类似地具有面内分布，并且是恶化图像质量的因素。 

因此，已经提出了这样的校正设备：仅关于这种像素遮蔽考虑成像面中的分布(参见专利文献2和3)。存在用以对来自在忽略像素混合的情况下所获得的传感器输出的信号执行遮蔽校正的系统。 

现有技术文献 

专利文献 

专利文献1：日本专利特开No.Hei 10-271519 

专利文献2：日本专利特开No.2003-169255 

专利文献3：日本专利特开No.2006-134157 

发明内容

技术问题 

然而，在并入蜂窝电话的小型相机等中，由于像素间距的小型化和出瞳(exit pupil)距离的缩短，传感器的中心像素和周边像素之间的入射角的差变得很大(主光束在更靠近于周边的像素更加倾斜)。 

因此，随着像素位置变得更靠近于周边，进入相邻像素的光增加。此外，由于A1互连到相邻像素等的结构在微透镜和光电二极管之间并非在逐像素的基础上对称，因此，直到光到达光电二极管为止，光的漫反射以复杂的方式出现。 

即，由于这些因素，色彩混合率变得在面内不均匀。因此，色彩混合的面内均匀校正变得困难。 

此外，专利文献2和3中公开的校正设备是用以对来自在忽略像素混合的情况下所获得的传感器输出的信号执行遮蔽校正的系统。 

一般而言，色彩混合取决于自周边像素的光吸收的处理，而遮蔽取决于对象像素的光耗散(dissipation)的处理。因此，两者就热力学而言不能彼此等效。 

然而，在上述现有文献的遮蔽校正系统中，仅考虑了光耗散处理，而没有考虑吸收处理中的偏移。因此，难以估计信号的校正量。 

因此，上述遮蔽校正系统难以执行高精度的校正。 

本发明要提供图像信号校正设备、成像设备、图像信号校正方法和程序，其可以实现色彩混合的面内均匀校正，并能够实现高精度的校正。 

技术方案 

本发明第一方面的图像信号校正设备至少具有：色彩混合校正器，其接收源自色彩成像元件的光电转换的图像信号，并且校正图像信号中包括的色彩混合分量；以及存储单元，其存储色彩混合校正系数，该色彩混合校正系数是针对在与成像元件的成像面匹配时所分段的多个区域中的每一个区域而预先设置的。色彩混合校正器通过内插来近似从存储单元中读出的色彩混合 校正系数，以获取色彩混合校正中在所需像素位置处的色彩混合率，并且通过使用所获取的色彩混合率来校正色彩混合分量。 

本发明第二方面的成像设备具有：色彩成像元件，其捕获对象图像；以及图像信号校正设备，其接收源自色彩成像元件的光电转换的图像信号，并执行校正。所述图像信号校正设备至少具有：色彩混合校正器，其校正源自色彩成像元件的光电转换的图像信号中包括的色彩混合分量；以及存储单元，其存储色彩混合校正系数，该色彩混合校正系数是针对在与成像元件的成像面匹配时所分段的多个区域中的每一个区域而预先设置的。色彩混合校正器通过内插来近似从存储单元中读出的色彩混合校正系数，以获取色彩混合校正中在所需像素位置处的色彩混合率，并且通过使用所获取的色彩混合率来校正色彩混合分量。 

优选地，色彩混合校正器设置多个代表点，并且在代表点当中执行内插以决定每个像素的色彩混合率。 

优选地，色彩混合校正器通过对所获取的色彩混合率和输入图像信号执行乘法累加运算，并且对输入图像信号和乘法累加运算的结果执行减法处理，来进行色彩混合校正。 

优选地，预先测量和存储所述存储单元中存储的色彩混合校正系数，作为区别于一种色彩像素的另一色彩像素的色彩混合率。 

优选地，所述图像信号校正设备和所述成像设备进一步具有遮蔽校正器，其接收已由色彩混合校正器执行了色彩混合校正的图像信号，并且对已经执行了色彩混合校正的图像信号执行像素遮蔽校正。 

优选地，所述图像信号校正设备和所述成像设备具有第二存储单元，其存储像素遮蔽校正系数，该像素遮蔽校正系数是针对在与成像元件的成像面匹配时所分段的多个区域中的每一个区域而预先设置的。遮蔽校正器通过内插来近似第二存储单元中存储的像素遮蔽校正系数，以获取在所需像素位置处的校正系数，并且通过使用所获取的校正系数来执行遮蔽校正。 

优选地，遮蔽校正器通过对所获取的校正系数和已执行了色彩混合校正的图像信号执行累加来进行遮蔽校正。 

本发明第三方面的图像信号校正方法具有以下步骤：从存储单元读出色彩混合校正系数，该色彩混合校正系数是针对在与色彩成像元件的成像面匹配时所分段的多个区域中的每一个区域而预先设置的；接收源自成像元件的 光电转换的图像信号，并通过内插来近似从存储单元中读出的色彩混合校正系数，以获取在所需像素位置处的色彩混合率；以及通过使用所获取的色彩混合率来校正色彩混合分量。 

本发明的第四方面是使得计算机执行图像信号校正处理的程序，所述图像信号校正处理具有以下处理：从存储单元读出色彩混合校正系数，该色彩混合校正系数是针对在与色彩成像元件的成像面匹配时所分段的多个区域中的每一个区域而预先设置的；接收源自成像元件的光电转换的图像信号，并通过内插来近似从存储单元中读出的色彩混合校正系数，以获取在所需像素位置处的色彩混合率；以及通过使用所获取的色彩混合率来校正色彩混合分量。 

根据本发明，源自色彩成像元件的光电转换的图像信号输入至色彩混合校正器。 

在色彩混合校正器中，通过内插近似从存储单元读出的色彩混合校正系数，并且在色彩混合校正中获得在所需像素位置处的色彩混合率。 

此外，在色彩混合校正器中，通过使用所获取的色彩混合率而校正色彩混合分量。 

有益效果 

根据本发明，可以针对面内分布适当地实现色彩混合校正，并且可以实现高精度的校正。 

附图说明

图1是示出与本发明实施例有关的图像信号校正设备应用到的成像设备的配置示例的框图。 

图2是示出作为像素阵列示例的Bayer阵列的图。 

图3是示出与本实施例有关的成像元件的单元像素的配置示例的电路图。 

图4是用于示意性地示出成像元件的器件结构并说明色彩混合的图。 

图5是光的耗散和吸收的处理的图像示意图。 

图6是光的耗散和吸收的反向处理的图像示意图。 

图7是示出像素当中色彩混合的模型的图。 

图8是示出每个像素的光耗散和吸收的模型的图。 

图9是示出成像元件(传感器)的输入/输出信号的示例的图。 

图10是示出与本实施例有关的图像信号校正设备的信号处理的流程的图。 

图11是示出与模型等式2对应的校正处理的图。 

图12是示出与本实施例有关的色彩混合量的测量系统的一个示例的图。 

图13是示出单色光R对于每个像素的响应和色彩混合量的图。 

图14是用于通过代表点说明对于色彩混合率θ的估计的示例的图。 

图15是示意性地示出与本实施例有关的色彩混合校正器中的色彩混合校正的示例(原理)的图。 

图16是示意性地示出与本实施例有关的遮蔽校正器中的遮蔽校正的示例(原理)的图。 

图17是示意性地示出与本实施例有关的色彩混合校正和像素遮蔽校正的内插计算的示例的图。 

具体实施方式

下面联系附图描述本发明的实施例。 

图1是示出与本发明实施例有关的图像信号校正设备应用到的成像设备的配置示例的框图。 

如图1所示，该成像设备10具有透镜系统11、成像元件12、A/D转换器13、钳位(clamp)单元14、图像信号校正器件15、解镶嵌(demosaic)单元16、线性矩阵单元17、伽马校正器18和亮度/色差信号生成器19。 

此外，视频接口(I/F)20设置在亮度/色差信号生成器19的外侧。 

透镜系统11包括光圈111，并将对象图像形成在成像元件12的成像面上。 

成像元件12由CMOS图像传感器等形成，并且多个单元像素以矩阵方式排列。滤色器与每一像素对应地设置。 

作为成像元件12的像素阵列，例如采用像图2中所示的Bayer阵列。 

图3是示出与本实施例有关的成像元件12的单元像素的配置示例的电路图。 

图3示出与本实施例有关并由四个晶体管构成的CMOS图像传感器的像 素的一个示例。 

如图3所示，每个像素120具有例如由光电二极管形成的光电转换元件121。 

此外，对于这一个光电转换元件121，像素120具有作为有源元件的四个晶体管：传输晶体管122、复位晶体管123、放大晶体管124和选择晶体管125。 

光电转换元件121执行入射光到具有依赖于其光量的量的电荷(这里为电子)的光电转换。 

传输晶体管122连接在光电转换元件121和浮置扩散FD之间，并且将作为控制信号的传输信号TG经由传输控制线LTx供给其栅极(传输栅极)。 

从而，传输晶体管122将源自光电转换元件121的光电转换的电子传输至浮置扩散FD。 

复位晶体管123连接在电源线LVDD和浮置扩散FD之间，并且将作为控制信号的复位信号RST经由复位控制线LRST供给其栅极。 

从而，复位晶体管123将浮置扩散FD的电位复位到电源线LVDD的电位。 

放大晶体管124的栅极连接至浮置扩散FD。放大晶体管124经由选择晶体管125连接至信号线LSGN，并与像素部分外侧的恒流源126一起形成源极跟随器。 

此外，将作为对应于地址信号的控制信号的选择信号SEL经由选择控制线LSEL供给选择晶体管125的栅极，以使得选择晶体管125导通。 

如果选择晶体管125导通，则放大晶体管124将浮置扩散FD的电位放大，并将依赖于该电位的电压输出到信号线LSGN。经由信号线LSGN从各个像素输出的电压输出到列读出电路。 

由于传输晶体管122、复位晶体管123、选择晶体管125的各自的栅极例如在逐行的基础上连接，因此这些操作针对一行上的各个像素同时执行。 

对于成像元件12，以有线方式连接在像素阵列单元中的复位控制线LRST、传输控制线LTx和选择控制线LSEL以像素阵列的每一行为单位而作为一个组以线路方式连接。 

这些复位控制线LRST、传输控制线LTx和选择控制线LSEL由垂直扫描电路(其未图解示出)驱动。 

此外，信号线LSGN连接至包括CDS电路(相关双采样电路)等的列读出电路。 

图4是用于示意性地示出成像元件的器件结构并说明色彩混合的图。 

在图4中，成像元件12具有多层互连结构，其中，以波导管WGD为媒介针对作为光电转换元件的光电二极管PD的光接收面设置滤色器CF，并且微透镜ML每个都位于相应的一个滤色器CF的光入射侧。 

在波导管WGD中，形成A1互连、层间膜(interlayer film)等。 

在具有多层互连结构的成像元件(如，CMOS图像传感器)中，常常观察到色彩混合。主要的原因在于倾斜的入射光的漫反射分量通过A1阻光膜且漫反射分量泄露至相邻像素中。 

这里将其称为光学色彩混合。 

另外，还存在由于光电二极管PD等之间的电子扩散等所引起的色彩混合。然而，在本处理中，其在色彩混合中并非主要因素。 

在色彩混合现象中，由于形成从滤色器CF到光电二极管PD的路径的波导管WGD中的漫反射，在直到光抵达PD为止的时间，从周边像素入射的或者耗散到周边像素的光线的进出以复杂的方式出现。 

一般而言，像素结构在相邻像素之间不是对称的，因此，对于漫反射的估计也是困难的。 

稍后将进行与本发明中的色彩混合校正和遮蔽校正有关的详细描述。 

A/D转换器13将成像元件12的图像信号从模拟信号转换为数字信号，并将该信号输出到钳位单元14。 

钳位单元14校正A/D转换器13的数字图像信号的黑电平，并将该信号输出到图像信号校正器件15。 

图像信号校正器件15使用针对与成像元件12的成像面匹配时以矩阵方式(网格方式)分段的每个区域所估计的有效色彩混合率θ，并且执行这样的色彩混合校正：将色彩混合率与通过内插来在所需像素位置(坐标)处近似θ所获得的θ相关联。 

图像信号校正器件15对已执行了色彩混合校正的图像信号执行遮蔽校正。 

在色彩混合校正和遮蔽校正中，图像信号校正器件15例如在与成像元件12的成像面(校正对象面)匹配时，以矩阵方式(网格方式)进行分段，并 且通过使用用于以网格为单元的多个代表点的各个加权因子来执行所谓的B样条(B-spline)内插。 

如图1所示，图像信号校正器件15具有色彩混合校正器151、像素遮蔽校正器152、第一存储单元153和第二存储单元154。 

在存储单元153中，存储在与成像元件12的成像面匹配时针对以矩阵方式(网格方式)分段的每一个区域估计的有效色彩混合率θ。 

色彩混合校正器151通过利用内插的近似，使用存储单元153中存储的各色彩混合率θ，计算在色彩混合校正中所需像素位置(坐标)处的θ，并且通过使用该近似的色彩混合率θ来进行色彩混合校正。 

色彩混合校正器151通过使用存储单元153中存储的色彩混合率(校正系数)执行B样条内插，以进行色彩混合校正。 

在存储单元154中，存储在与成像元件12的成像面匹配时针对以矩阵方式(网格方式)分段的每一个区域所定义的校正系数。 

遮蔽校正器152通过利用存储单元154中存储的校正系数执行B样条内插，以进行遮蔽校正。 

图像信号校正器件15中的色彩混合校正和遮蔽校正将在稍后进一步详细描述。 

图像信号校正器件15在已执行色彩混合校正之后，将已执行了遮蔽校正的图像信号输出至解镶嵌单元16。 

在已执行色彩混合校正之后已执行了遮蔽校正的图像数据在解镶嵌单元16中经受同步处理并且在线性矩阵单元17中经受色彩再现处理。此后，信号在伽马校正器18中经受伽马校正，然后提供至亮度/色差信号生成器19。 

随后，亮度/色差信号生成器19生成亮度信号和色差信号，并且经由视频I/F 20在显示设备(其未图解示出)上显示视频。 

关于图像信号校正器件15中的色彩混合校正和遮蔽校正，下面将进行包括原理描述在内的具体描述。 

图5是光的耗散和吸收的处理的图像示意图。 

图6是光的耗散和吸收的反向处理的图像示意图。 

图5示出像素0处的光q₀从入射光Q₀到紧接在光电转换之前的定时的耗散和吸收的处理(Q₀→q₀)。 

图6示出对于像素0处的入射光Q₀的反向处理(q₀→Q₀)。 

在这种情况下，耗散处理(晕影)和吸收处理(色彩混合)彼此不相同。即，耗散处理(晕影)≠吸收处理(色彩混合)。 

如图5所示，色彩混合取决于自周边像素的光吸收的处理，而遮蔽取决于对象像素的光耗散的处理。因此，两者就热力学而言不能彼此等效。 

因此，如图6所示，如果光的耗散和吸收的处理反向追溯(trace)，则发现必须以下列顺序进行校正：最初校正自周边像素的吸收量(这称为色彩混合校正)，然后校正光耗散量(这称为像素遮蔽校正)。 

在现有技术的遮蔽校正系统中，仅考虑了光耗散处理，而未考虑吸收处理的偏移。因此，可以在原理上认为不能估计出信号的校正量。 

即，可以认为色彩混合和像素遮蔽需要予以校正以使得两者均相互排除，并且考虑了此要点的系统是极其重要的。 

即，发现色彩混合校正和遮蔽校正必须以从色彩混合校正到遮蔽校正的顺序独立地进行。 

本实施例的图像信号校正器件15配置为在进行色彩混合校正之后进行遮蔽校正。 

这里将尝试光色彩混合的建模。 

图7是示出像素当中色彩混合的模型的图。 

图8是示出每个像素处光的耗散和吸收的模型的图。 

为了利用与紧接在经过每个滤色器之后的光的量Q_i成比例的系数(ζ，η)来表示图7中具有编号0的对象像素的光的量的进出，将光学路径(从滤色器到光电二极管的路径)上发生的光散射和光吸收的量如图8所示那样分别定义为ζQ_i和ηQ_j。 

这里，ζQ_i表示从像素i耗散到周边像素的光量或电压。ηQ_j表示从像素j漫反射和入射的光量或电压(＝像素i的光吸收的量或电压)。q_i表示像素i的传感器输出信号的量(光或电压的量或者数字信号值)。 

此外，图9(A)和图9(B)是示出成像元件(传感器)12的输入/输出信号的示例的图。图9(A)示出紧接在经过滤色器之后的成像元件(传感器)12的输入信号，而图9(B)示出成像元件(传感器)12的输出信号。 

如果用公式表示该色彩混合模型，则获得下列等式。 

[等式1] 

$q_0=Q_0-\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\ξ}}_{0j}{Q}_0+\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\η}}_{j0}{Q}_j-{\mathrm{\χ}}_0{Q}_0$ ......(等式1) 

像素信号的量的模型 

这里，q₀表示对象像素光电转换之后的电压或者从该电压的AD转换得到的数字信号的量。 

Q₀表示通过将紧接在经过滤色器之后的对象像素的光的量转换为电压所获得的量或者由该量的AD转换得到的数字信号的量。 

Q_j表示通过将紧接在经过滤色器之后的、与对象像素相邻的像素的光量转换为电压所获得的量，或者由该量的AD转换所得到的数字信号的量。 

ζ_0j表示通过将从对象像素耗散到周边的光的量(＝对于对象像素的信号的量q₀没有贡献的部分光量Q₀)除以对象像素的入射光的量Q₀所获得的无量纲系数。一般而言，0.0＜ξ_0j＜1.0成立。 

η_j0表示通过将从周边散射到对象像素的光的量(＝除Q₀之外对于对象像素的信号的量q₀也有贡献的来自周边的部分光的量Q_j)除以每个周边像素的入射光的量Q_j所获得的无量纲系数。一般而言，0.0＜η_j0＜1.0成立。 

χ₀是吸收系数，其表示相对于Q₀的、与对象像素和周边像素之间的光量的进出没有关系并且对于对象像素的信号的量q₀没有贡献的吸收(例如，至像素周边中的晶体管的多晶硅中的吸收等)的比率。这里，0＜χ₀＜1成立。 

n表示与对象像素相邻的像素的数目。 

通过变换等式1，可以如图2中所示那样表示像素入射光的信号量。 

[等式2] 

$Q_0=\frac{q_0-\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\η}}_{j0}{Q}_j}{1-\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\ξ}}_{0j}-{\mathrm{\χ}}_0}$ ......(等式2) 

像素入射光的信号的量... 

等式1的变换 

等式2表示由光学路径上出现的光线的散射和吸收的校正所得到的信号的量。 

光学路径是图4中形成从滤色器CF至光电二极管PD的路径的波导管WGD中的光学路线。 

即，等式2的分母是指像素遮蔽校正，其用于校正由于光耗散而对对象像素的信号分量没有贡献的量。 

等式2的分子是指校正从周边像素散射的光对于对象像素的信号分量有贡献的色彩混合的量。 

顺便提及，像素遮蔽是所谓的像素中的晕影。这里，这种遮蔽称作像素遮蔽以用于与透镜遮蔽区分。 

接下来描述色彩混合校正的公式。 

通过等式2的变换，将色彩混合校正之后的信号的量C₀表示如下。 

[等式3] 

$C_0=(1-\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\ξ}}_{0j}-{\mathrm{\χ}}_0)Q_0=q_0-\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\η}}_{j0}{Q}_j$ ......(等式3) 

等式3右侧的第二项是指具有编号0的对象像素的周边像素(n个像素)经受ηQ的乘法累加运算。 

在本发明实施例的模型中，如从等式3中显而易见的那样，如果最初进行色彩混合校正并且随后执行像素遮蔽校正，则获得了对象像素的Q₀。 

顺便提及，存在于等式3右侧的Q_j是像图9A中所示那样的紧接在经过滤色器之后的光的量，因此，其通常为不可测量的量。 

因此，需要通过像图9(B)中所示那样的可测量的传感器输出q_j来单独展开像稍后示出的等式4～6那样的等式。 

图10是示出与本实施例有关的图像信号校正器件15的信号处理的流程的图。 

图11是示出对应于模型等式2的校正处理的图。 

发现通过如图10所示那样对本实施例的图像信号校正器件15中的特定传感器输出q₀进行色彩混合校正，可以正确地校正后级的像素遮蔽校正。 

发现如果不执行(跳过)此信号处理，则∑ηQ项放大了与遮蔽增益相同的量，并且如从等式3中显而易见的那样，最终不能准确地再现Q₀。 

如果在上述要点的基础上通过相邻像素的可测量的量q展开等式2，则获得下列等式4。 

[等式4] 

$Q_0=\frac{q_0-\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\η}}_{j0}\frac{q_j-\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\η}}_{\mathrm{kj}}{Q}_k}{1-\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\ξ}}_{\mathrm{jk}}-{\mathrm{\χ}}_j}}{1-\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\ξ}}_{0j}-{\mathrm{\χ}}_0}$ ......等式(4) 

该等式4是如图11中所示，用以从更加远离对象像素的像素依次执行相邻、第二相邻、第三相邻像素的色彩混合校正和遮蔽校正并且最后执行对于具有编号0的对象像素的校正的递推关系。 

类似地，如果通过使用相邻像素的可测量的量q_j而展开作为色彩混合校正的公式的等式3，则获得下列等式5。 

[等式5] 

$C_0=(1-\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\ξ}}_{0j}-{\mathrm{\χ}}_0)Q_0=q_0-\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\β}}_{j0}{q}_i+\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\β}}_{j0}{\mathrm{\η}}_{\mathrm{kj}}{Q}_k$ …(等式5) 

这里， ${\mathrm{\β}}_{j0}=\frac{{\mathrm{\η}}_{j0}}{1-\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\ξ}}_{\mathrm{jk}}-{\mathrm{\χ}}_j}$

此外，如果将色彩混合校正的该等式5扩展到相邻和第二相邻的像素，则获得了下列的等式6。 

[等式6] 

$C_0=(1-\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\ξ}}_{0j}-{\mathrm{\χ}}_0)Q_0=q_0-\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\β}}_{j0}{q}_j+\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\β}}_{j0}{\mathrm{\β}}_{\mathrm{kj}}{q}_k$ …(等式6) 

$-\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\underset{k=1}{\overset{n}{\mathrm{\Σ}}}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\β}}_{j0}{\mathrm{\β}}_{\mathrm{kj}}{\mathrm{\β}}_{\mathrm{ik}}{q}_i+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{h=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\β}}_{\mathrm{ik}}{\mathrm{\η}}_{\mathrm{hi}}{Q}_h$

包括不可测量的量Q的项 

该等式6右侧的第五项包括不可测量的量Q。 

如果每个像素的散射的进出至多约为入射在像素上的光的量的百分之几至百分之十几，则η+∑ξ+χ＜1成立。 

即，β＜1成立，因此如根据等式6显而易见的那样，直到q-∑βq为止，通过近似可充分地表示校正C。可以认为，该传感器是更加有利的传感器(成像元件)，其在β＜＜1的程度越高时涉及越少的色彩混合和像素遮蔽。 

因此，用作本发明实施例基础的色彩混合校正的公式为下列等式7的带有下划线的部分。 

[等式7] 

$C_0=(1-\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\ξ}}_{0j}-{\mathrm{\χ}}_0)Q_0=q_0-\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\β}}_{j0}{q}_j$ …(等式7) 

$+\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\β}}_{j0}{\mathrm{\η}}_{\mathrm{kj}}{Q}_k~\underset{\‾}{q_0-\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\β}}_{j0}{q}_j}$

等式7右侧第二项的相加部分(∑βq)是对象像素的色彩混合的量自身。 

因此，例如，在以镶嵌(mosaic)方式排列红(R)、绿(G)和蓝(B)的滤色器的成像元件12中，在原理上可以通过下列方法获得β。 

为了在这里以实验方式获得色彩混合的量，下文进行β→θ的限定，并且将等式7右侧第二项的相加部分改写为∑θq。此外，将θ重新定义为有效的色彩混合率。 

<如何获得色彩混合率θ>： 

图12是示出与本实施例有关的色彩混合的量的测量系统的一个示例的图。 

图13是示出单色光R对于每个像素的响应和色彩混合量的图。 

图12中的色彩混合量的测量系统30配置为包括白光源31、带通滤波器(BPF)32、透镜33和成像元件34。成像元件34具有与图1中的成像元件12相同的配置和功能。 

例如，如图12所示，准备源自通过每个滤色器CF最大灵敏度的波形周围的带通滤波器32的通路的单色光。经由透镜33以每种色彩的单色光照射成像元件34，并且获得每个像素的响应量。 

此外，从单独针对各个色彩的每一个光源获得的像素值中获得色彩混合量。 

确切地，当像图13的示例中那样发出单色光R时，如果带通滤波器的特性对于G像素和B像素没有贡献，则基本上G像素和B像素不直接响应于R光，这是由于光被G和B滤色器吸收。通过被使得从白光源等经过R波长周围的带通滤波器的光，实现了单色光R(提供对于滤色器R的最大灵敏度并且对于波长频段具有限制的光源)。 

因此，在这种状况下，存在于G像素和B像素中的响应量(信号量)等同于自相邻R像素的色彩混合量，如图13所示。 

类似地，通过同样将G光和B光发出到G像素和B像素，可以针对彼此测量出色彩混合量。 

例如，自R像素到G像素的色彩混合率θ_RG可以通过下列等式8获得。 

[等式8] 

自R像素到G像素的色彩混合率 

(等式8) 

类似地，可以针对每个像素获得自G像素到R像素、自G像素到B像素...的色彩混合率。 

此外，可以将本实施例中色彩混合校正的公式表示为下列的等式9和等式10。 

[等式9] 

色彩混合校正的公式 

$C_0=q_0-\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{\&theta;}}_{j0}{q}_j$ …(等式9) 

[等式10] 

分母和分子是以仅穿过像素j的滤色器的光源的照射中的值 

…(等式10) 

至此，针对每个像素定义了色彩混合量，并且通过测量获得了色彩混合率。 

为了以此方式保持所有像素中每一个像素的色彩混合率并执行校正，需要巨大的存储单元。因此，在本实施例中，将下列方法用作优选方法。 

确切地，在此方法中，安排代表点，并且通过诸如样条、贝塞尔或线性内插之类的方法，在各代表点当中决定各个像素的色彩混合率。 

图14是用于通过代表点说明对于色彩混合率θ的估计的示例的图。 

在图像信号校正器件15中，将与图14所示的成像元件12的成像面匹配时针对以矩阵形式(网格形式)分段的每个区域所估计的有效色彩混合率θ存储在存储单元153中。 

图14的示例是分段为4×5矩阵方式的示例，并且示出了色彩混合率θ₀到θ₁₉。 

色彩混合校正器151通过利用内插的近似，使用存储单元153中存储的色彩混合率θ、计算在色彩混合校正中在所需像素位置(坐标)处的θ，并且通过使用该近似的色彩混合率θ来进行色彩混合校正。 

色彩混合校正器151根据上述等式9进行色彩混合校正。 

图15是示意性示出与本实施例有关的色彩混合校正器151中的色彩混合 

校正的示例(原理)的图。 

在图15的示例中，针对每种色彩将色彩混合校正系数的代表点的表TBL1存储在存储单元153中。 

色彩混合校正器151在色彩混合校正中从存储单元153读出所需的色彩混合率θ，并且通过诸如样条、贝塞尔或线性内插之类的方法，决定在预定定时代表点之中的各个像素的色彩混合率。 

此外，色彩混合校正器151通过乘法累加运算器1511，执行关于来自钳位单元14的校正前的图像信号与所决定的色彩混合率的乘法累加运算，并且通过减法器1512执行乘法累加运算结果和校正前的图像信号的减法处理，从而进行色彩混合校正。 

图16是示意性示出与本实施例有关的遮蔽校正器152中的遮蔽校正的示例(原理)的图。 

在图16的示例中，针对每种色彩将遮蔽校正系数的代表点的表TBL2存储在存储单元154中。 

遮蔽校正器152在遮蔽校正中从存储单元154读出所需的遮蔽校正系数，并且通过诸如样条、贝塞尔或线性内插之类的方法，决定在预定定时代表点当中各个像素的校正系数。 

此外，遮蔽校正器152通过乘法器1521对遮蔽校正之前的图像信号(其在色彩混合校正器151中已执行了色彩混合校正)以及所决定的校正系数执行累加处理，从而执行遮蔽校正。 

图17是示出与本实施例有关的色彩混合校正和像素遮蔽校正的内插计算的示例的图。 

在内插计算中，将代表点之间的分段(以网格为单元)分割为N个子分段(N是2的幂)。此外，如图17所示，在每个网格中限定三个代表点的各自的加权因子，并且通过[各自代表点×内插位置处的加权因子]获得所需值。 

这里，t取0～1.0的值，并假设1/N步长＝1个像素步长。 

此外，按照下面那样通过所谓的B样条内插执行计算。 

[表达式11] 

内插位置t0的值＝w1(t0)·代表点1的值(θ1)+w2(t0)·代表点2的值(θ2)+w3(t0)·代表点3的值(θ3) 

如上所述，本实施例的图像信号校正器件15具有下列特征配置。 

图像信号校正器件15在与成像元件12的成像面匹配时使用针对以矩阵方式(网格方式)分段的每个区域所估计的有效色彩混合率θ，并且执行这样的色彩混合校正：将该色彩混合率与通过利用内插近似在所需像素位置(坐标)处的θ所获得的θ相关联。 

图像信号校正器件15对已经执行了色彩混合校正的图像信号执行遮蔽校正。 

在色彩混合校正和遮蔽校正中，图像信号校正器件15例如在与成像元件12的成像面(校正对象面)匹配时以矩阵方式(网格方式)进行分段，并且通过使用用于以网格为单位的多个代表点的各个加权因子来执行所谓的B样条内插。 

因此，通过本实施例，可以取得下列效果。 

具体地说，可以实现适于面内分布的色彩混合校正。 

此外，在本实施例中，执行了不仅考虑光耗散处理而且考虑吸收处理中的偏移的校正，因此可以估计信号的校正量。 

结果，可以实现具有高精度的校正。 

还可以将上面详细描述的方法形成为与上述过程对应的程序，并配置为由诸如CPU之类的计算机执行。 

此外，可以配置这种程序，以使得通过记录介质(如，半导体存储器、磁盘、光盘或 

盘)或者设置了这种记录介质的计算机的访问来执行上述程序。 

附图标记说明 

10…成像设备，11…透镜系统，12…成像元件，13…A/D转换器，14…钳位单元，15…图像信号校正器件，151…色彩混合校正器，152…像素遮蔽校正器，153，154…存储单元，16…解镶嵌单元，17…线性矩阵单元，18…伽马校正器，19…亮度/色度信号生成器 

Claims (18)

1.一种图像信号校正设备，至少包括：

色彩混合校正器，其接收源自色彩成像元件的光电转换的图像信号，并且校正图像信号中包括的色彩混合分量；

存储单元，其存储色彩混合校正系数，该色彩混合校正系数是在与所述成像元件的成像面匹配时针对所分段的多个区域中的每一个区域而预先设置的；以及

遮蔽校正器，其接收已由所述色彩混合校正器执行了色彩混合校正的图像信号，并且对已经执行了色彩混合校正的图像信号执行像素遮蔽校正，

其中所述色彩混合校正器在色彩混合校正中通过内插来近似从所述存储单元中读出的色彩混合校正系数，以获取在所需像素位置处的色彩混合率，并且通过使用所获取的色彩混合率来校正色彩混合分量。

2.如权利要求1所述的图像信号校正设备，其中

所述色彩混合校正器设置多个代表点，并且在代表点当中执行内插，以决定每个像素的色彩混合率。

3.如权利要求1所述的图像信号校正设备，其中

所述色彩混合校正器通过对所获取的色彩混合率和输入图像信号执行乘法累加运算，并且对输入图像信号和乘法累加运算的结果执行减法处理，来进行色彩混合校正。

4.如权利要求1所述的图像信号校正设备，其中

预先测量和存储在所述存储单元中存储的色彩混合校正系数，作为区别于一个色彩像素的另一个色彩像素的色彩混合率。

5.如权利要求1所述的图像信号校正设备，包括

第二存储单元，其存储像素遮蔽校正系数，该像素遮蔽校正系数是在与所述成像元件的成像面匹配时针对所分段的多个区域中的每一个区域而预先设置的，其中

所述遮蔽校正器通过内插来近似在所述第二存储单元中存储的像素遮蔽校正系数，以获取所需像素位置处的校正系数，并且通过使用所获取的校正系数来执行遮蔽校正。

6.如权利要求5所述的图像信号校正设备，其中

所述遮蔽校正器通过对所获取的校正系数和已执行了色彩混合校正的图像信号执行累加来进行遮蔽校正。

7.一种成像设备，包括

色彩成像元件，其捕获对象图像，以及

图像信号校正设备，其接收源自所述色彩成像元件的光电转换的图像信号，并执行校正，其中

所述图像信号校正设备至少具有

色彩混合校正器，其校正源自所述色彩成像元件的光电转换的图像信号中包括的色彩混合分量，

存储单元，其存储色彩混合校正系数，该色彩混合校正系数是在与所述成像元件的成像面匹配时针对所分段的多个区域中的每一个区域而预先设置，以及

遮蔽校正器，其接收已由所述色彩混合校正器执行了色彩混合校正的图像信号，并且对已经执行了色彩混合校正的图像信号执行像素遮蔽校正，并且

所述色彩混合校正器在色彩混合校正中通过内插来近似从所述存储单元中读出的色彩混合校正系数，以获取所需像素位置处的色彩混合率，并且通过使用所获取的色彩混合率来校正色彩混合分量。

8.如权利要求7所述的成像设备，其中

所述色彩混合校正器设置多个代表点，并且在代表点当中执行内插，以决定每个像素的色彩混合率。

9.如权利要求7所述的成像设备，其中

所述色彩混合校正器通过对所获取的色彩混合率和输入图像信号执行乘法累加运算，并且对输入图像信号和乘法累加运算的结果执行减法处理，来进行色彩混合校正。

10.如权利要求7所述的成像设备，其中

预先测量和存储所述存储单元中存储的色彩混合校正系数，作为区别于一种色彩像素的另一色彩像素的色彩混合率。

11.如权利要求7所述的成像设备，包括

第二存储单元，其存储像素遮蔽校正系数，该像素遮蔽校正系数是在与所述成像元件的成像面匹配时针对所分段的多个区域中的每一个区域而预先设置的，其中

所述遮蔽校正器通过内插来近似在所述第二存储单元中存储的像素遮蔽校正系数，以获取所需像素位置处的校正系数，并且通过使用所获取的校正系数来执行遮蔽校正。

12.如权利要求11所述的成像设备，其中

所述遮蔽校正器通过对所获取的校正系数和已执行了色彩混合校正的图像信号执行累加来进行遮蔽校正。

13.一种图像信号校正方法，包括以下步骤：

从存储单元读出色彩混合校正系数，该色彩混合校正系数是在与色彩成像元件的成像面匹配时针对所分段的多个区域中的每一个区域而预先设置的；

接收源自所述成像元件的光电转换的图像信号，并通过内插来近似从所述存储单元中读出的色彩混合校正系数，以获取所需像素位置处的色彩混合率；

通过使用所获取的色彩混合率来校正色彩混合分量；以及

接收已经执行了色彩混合校正的图像信号，并且对已经执行了色彩混合校正的图像信号执行像素遮蔽校正。

14.如权利要求13所述的图像信号校正方法，其中

设置多个代表点并且在代表点当中执行内插以决定每个像素的色彩混合率。

15.如权利要求13所述的图像信号校正方法，其中

通过对所获取的色彩混合率和输入图像信号执行乘法累加运算，并且对输入图像信号和乘法累加运算的结果执行减法处理，来进行色彩混合校正。

16.如权利要求13所述的图像信号校正方法，其中

预先测量和存储所述存储单元中存储的色彩混合校正系数，作为区别于一种色彩像素的另一色彩像素的色彩混合率。

17.如权利要求13所述的图像信号校正方法，包括

在第二存储单元中存储像素遮蔽校正系数，该像素遮蔽校正系数是在与所述成像元件的成像面匹配时针对所分段的多个区域中的每一个区域而预先设置的，其中

通过内插来近似在所述第二存储单元中存储的像素遮蔽校正系数，以获取所需像素位置处的校正系数，并且通过使用所获取的校正系数来执行遮蔽校正。

18.如权利要求17所述的图像信号校正方法，其中

通过对所获取的校正系数和已执行了色彩混合校正的图像信号执行累加来进行遮蔽校正。

Images