CN102917183A - 成像装置、图像处理方法和程序 - Google Patents

Abstract

公开了成像装置、图像处理方法和程序。提供了一种成像装置，包括：图像传感器，用于输出来自长时间曝光像素的高灵敏度像素信号和来自短时间曝光像素的低灵敏度像素信号；以及高光溢出校正处理单元，用于接收来自图像传感器的输出像素信号并执行对像素信号的高光溢出校正。高光溢出校正处理单元根据来自图像传感器的输入像素值与未受高光溢出影响的理想像素值之间的差异或比率执行对来自图像传感器的输入像素的像素值校正。

Description

成像装置、图像处理方法和程序

技术领域

本公开涉及成像装置、图像处理方法和程序。更具体而言，本公开涉及执行对例如由高光溢出(blooming)引起的图像劣化的校正的成像装置、图像处理方法和程序。

背景技术

近年来，CCD图像传感器或CMOS(互补金属氧化物半导体)图像传感器已被用作诸如视频相机或数字静态相机的固态图像传感器。在这种图像传感器中，像素的数目正迅速增加，或者图像传感器的大小正迅速缩减。

然而，随着像素数目的增加或大小的缩减，图像传感器中的相邻像素之间的间隔变小，从而产生了一个被称为高光溢出的新问题，即像素之间电荷泄漏。

高光溢出指的是相邻像素之一处于饱和状态并且电荷溢出并泄漏到另一像素的现象。

将参考图1来描述高光溢出现象。

当强光入射到相邻像素之一上，弱光入射到另一像素上，并且强光所入射到的光接收部1处于饱和状态时，入射到光接收部1上的光产生的电荷未被蓄积在光接收部1中，而是一些电荷泄漏到相邻的光接收部2。此现象被称为高光溢出。

这里，为了对像素分类，产生电荷溢出的像素，也就是高光溢出产生像素，被定义为侵略者像素(aggressor pixel)，而蓄积从侵略者像素溢出的电荷的像素，也就是高光溢出接收像素，被定义为受害者像素(victimpixel)。

当产生这种高光溢出时，产生电荷溢出的像素也就是产生高光溢出的侵略者像素的像素值变成饱和值。同时，蓄积溢出的电荷的像素也就是接收高光溢出的受害者像素的像素值由于溢出的电荷而被设定到不正确的像素值。

图2是图示由高光溢出引起的侵略者像素和受害者像素的蓄积电荷的转变的图。

示出了当光入射到相互邻近的侵略者像素和受害者像素上时电荷量的时间变化。

在时间t1，侵略者像素饱和并且电荷溢出发生。溢出的电荷流到相邻的受害者像素中，并且受害者像素的蓄积电荷量变化。

图2中所示的与受害者像素相对应的虚线指示没有高光溢出时的正常蓄积电荷的转变，并且实线指示由高光溢出引起的蓄积电荷的转变。

相邻像素根据入射光的波长和滤色器的特性而具有不同的灵敏度，但当具有高灵敏度的像素(侵略者)饱和时，具有低灵敏度的像素(受害者)受到影响。

当入射光恒定时，电荷量的变化将具有线性。然而，受害者像素由于高光溢出的影响而具有非线性。结果，存在图像变色的问题。

一般地，由于高光溢出的影响是在图像的饱和附近产生的，所以经常使用通过疏化饱和附近的颜色成分的对策处理来消除高光溢出的影响的技术。

对高光溢出的这个对策的示例在例如2008-294698号日本专利申请早期公布中公开。

2008-294698号日本专利申请早期公布描述了对宽动态范围图像的拍摄图像的高光溢出对策。

将简单描述宽动态范围图像。假定成像装置的图像拍摄环境为各种环境：室内或室外，日间或夜间。当在各种环境中使用图像传感器(imagesensor)时，必须要通过根据摄影环境的明亮度(brightness)控制光电转换元件的电荷蓄积时间也就是调整曝光时间来使灵敏度具有最优值。

例如，通过在明亮环境中设定短曝光时间并且在暗环境中设定长曝光时间来抑制像素值的饱和或者灵敏度不足的发生，可从每个像素输出有效像素值。

然而，例如，当拍摄亮被摄体和暗被摄体都存在的图像时，如果以恒定的曝光时间执行摄影，则在亮被摄体的摄影像素中电荷蓄积提早开始变得饱和。然而，在暗被摄体的摄影像素中可产生未实现充分电荷蓄积的不平衡。

从亮被摄体到暗被摄体都输出有效像素值的技术是扩大动态范围的处理，并且这种成像处理被称为高动态范围(HDR)成像或宽动态范围(WDR)成像。

以下，将作为HDR图像拍摄技术来描述用于从亮被摄体到暗被摄体都输出有效像素值的图像拍摄技术。

作为HDR图像拍摄技术，已提出了以下两种技术。

(技术1)多次拍摄(multi-shot)技术：通过利用以多个不同曝光时间连续拍摄的多个图像组合长时间曝光图像和短时间曝光图像的处理来生成宽动态范围图像的技术。

(技术2)一次拍摄(one-shot)技术：不是连续地拍摄多个图像，而是通过例如以像素布置的行(row)为单位设定不同的曝光时间，以组合一个图像中包括的长时间曝光像素和短时间曝光像素，来生成宽动态范围图像的技术。

多次拍摄技术例如在Hei 2-174470号、Hei 7-95481号和Hei 11-75118号日本专利申请早期公布中公开。

具体而言，如图3中所示，每帧交替拍摄曝光时间较短的短时间曝光图像(低灵敏度图像)和曝光时间较长的长时间曝光图像(高灵敏度图像)。

将这些具有不同曝光时间的拍摄图像蓄积在帧存储器中，并且执行诸如从每个图像中选择和获取有效像素值之类的信号处理。例如，通过诸如对于亮被摄体区域优先获取短时间曝光图像(低灵敏度图像)的像素值并且对于暗被摄体区域优先获取长时间曝光图像(高灵敏度图像)的像素值之类的信号处理来生成具有高动态范围的图像。

在上述的2008-294698号日本专利申请早期公布中，描述了通过这种多次拍摄技术对HDR图像的高光溢出校正处理。

图4中示出了通过多次拍摄技术连续拍摄的

(a)短时间曝光图像，和

(b)长时间曝光图像。

2008-294698号日本专利申请早期公布描述了如图4中所示当一整个图像的曝光时间相同也就是所有相邻像素的曝光时间都相同时的高光溢出校正。

公开了一种配置，其中利用短时间曝光图像的像素值来估计在长时间曝光像素的相邻像素之间产生的高光溢出的量，并且基于此估计来执行对长时间曝光图像的像素值的校正。

即使当在长时间曝光图像中产生高光溢出时，连续拍摄的短时间曝光图像也不具有诸如饱和或高光溢出之类的非线性，因为在连续拍摄的短时间曝光图像中曝光时间十分短。

由于此特性，在通过多次拍摄得到的HDR拍摄图像的情况中，基于短时间曝光图像的像素值来估计长时间曝光图像的相邻像素之间产生的高光溢出的量，并且基于该估计值来执行对长时间曝光像素的校正。

2008-294698号日本专利申请早期公布描述了通过这种多次拍摄技术对HDR图像的高光溢出校正处理。

然而，2008-294698号日本专利申请早期公布中公开的高光溢出校正处理难以应用到通过上述HDR图像拍摄技术的一次拍摄技术(技术2)拍摄的图像。

一次拍摄技术(技术2)是在不连续拍摄多个图像的情况下通过例如以像素布置的行为单位设定不同的曝光时间以组合一个图像中包括的长时间曝光像素和短时间曝光像素来生成宽动态范围图像的技术。

另外，在例如2006-253876号日本专利申请早期公布和2006-542337号日本专利申请公布中公开了利用一次拍摄技术的HD图像的摄影处理。

对于利用一次拍摄技术的拍摄图像，在一个图像中既存在长时间曝光像素也存在短时间曝光像素。

从而，难以执行利用如图4中所示的两个图像(a)短时间曝光图像和(b)长时间曝光图像的处理。

例如，一个拍摄图像是如图5中所示的其中既存在作为短时间曝光像素的低灵敏度像素也存在作为长时间曝光像素的高灵敏度像素的图像。

从而，在通过一次拍摄技术拍摄的图像中存在多个灵敏度的像素。在这种图像中，高光溢出以非常复杂的形态产生。

也就是说，在图像中产生各种像素之间的以下高光溢出：

·从长时间曝光像素到长时间曝光像素的高光溢出

·从短时间曝光像素到短时间曝光像素的高光溢出

·从长时间曝光像素到短时间曝光像素的高光溢出

·从短时间曝光像素到长时间曝光像素的高光溢出。从而，必须要考虑到这种高光溢出产生形态来校正高光溢出。

在上述的2008-294698号日本专利申请早期公布中，利用未受高光溢出影响的短时间曝光图像来估计通过多次拍摄技术得到的HDR拍摄图像的高光溢出校正量。

然而，在一次拍摄中拍摄的HDR图像的情况下，由于必须利用未受高光溢出影响的短时间曝光图像执行高光溢出校正，所以例如用于减小校正量的误差的处理是必要的。

另外，2008-147818号日本专利申请早期公布公开了一种通过改变对图像传感器的读取定时控制而不是通过执行信号处理来使高光溢出产生达到最低限度的方法。

在此方法中，由于读取定时根据图像的位置是不连续的，所以例如必须要有帧存储器来获得连续数据。另外，当期望改变曝光时间时，根据曝光时间来改变数据读取定时，并且对后级的信号处理的控制是困难的。

发明内容

本公开是鉴于例如上述问题而作出的，并且希望提供一种执行对由于像素之间的电荷泄漏引起的高光溢出的校正处理的成像装置和图像处理方法以及程序。

希望提供一种执行适合于例如生成基于一个拍摄图像生成的一次拍摄型高动态范围(HDR)图像的成像装置的高光溢出校正处理的成像装置、图像处理方法和程序。

根据本公开的第一实施例，提供了一种成像装置，包括：图像传感器，用于输出来自长时间曝光像素的高灵敏度像素信号和来自短时间曝光像素的低灵敏度像素信号；以及高光溢出校正处理单元，用于接收来自图像传感器的输出像素信号并执行对像素信号的高光溢出校正。高光溢出校正处理单元根据来自图像传感器的输入像素值与未受高光溢出影响的理想像素值之间的差异或比率执行对来自图像传感器的输入像素的像素值校正。

高光溢出校正处理单元包括：高光溢出量估计单元，用于利用从图像传感器输入的低灵敏度像素信号来估计与来自作为高光溢出校正对象的关注像素附近的像素的电荷泄漏相当的高光溢出量；以及计算单元，用于从来自图像传感器的输入像素值中减去由高光溢出量估计单元估计的高光溢出量。

高光溢出校正处理单元包括：高光溢出量估计单元，用于基于图像传感器的像素布置和考虑了图像传感器的高灵敏度像素和低灵敏度像素的曝光控制样式的数学模型来计算与来自作为高光溢出校正对象的关注像素附近的像素的电荷泄漏相当的高光溢出量。

高光溢出校正处理单元包括：信号生成单元，用于生成与作为高光溢出校正对象的关注像素的像素位置相对应的每种颜色的高灵敏度像素值和低灵敏度像素值；以及校正处理单元，用于接收由信号生成单元生成的信号并执行对关注像素的高光溢出校正。

高光溢出校正处理单元通过应用表格来执行对来自图像传感器的输入像素的像素值校正，其中在该表格中来自图像传感器的输入像素值与未受高光溢出影响的理想像素值相关联。

高光溢出校正处理单元通过应用表格来估计来自图像传感器的输入像素中包含的高光溢出量，其中在该表格中来自图像传感器的输入像素值与该输入像素值和未受高光溢出影响的理想像素值之间的差异相关联。

高光溢出校正处理单元包括：高光溢出量估计单元，用于利用从图像传感器输入的低灵敏度像素信号来估计与来自作为高光溢出校正对象的关注像素附近的像素的电荷泄漏相当的高光溢出量；乘法单元，用于将由高光溢出量估计单元估计的高光溢出量乘以预定的衰减参数以计算衰减高光溢出量；以及计算单元，用于从来自图像传感器的输入像素值中减去由乘法单元计算出的衰减高光溢出量。

高光溢出校正处理单元利用从图像传感器输入的低灵敏度像素信号来估计与来自作为高光溢出校正对象的关注像素附近的像素的电荷泄漏相当的高光溢出量，并且利用通过减去基于该估计结果的高光溢出量而获得的低灵敏度像素信号来再次执行对高光溢出量的估计。

高光溢出校正处理单元包括用于判定作为高光溢出校正对象的关注像素是否是运动区域的运动检测单元，并且根据运动检测单元的检测信息改变高光溢出校正方式。

高光溢出校正处理单元包括用于判定作为高光溢出校正对象的关注像素是否是边缘区域的边缘检测单元，并且根据边缘检测单元的检测信息改变高光溢出校正方式。

高光溢出校正处理单元包括过校正对策单元，用于在作为高光溢出校正对象的关注像素是运动区域或边缘区域时减小与该关注像素相对应的估计高光溢出量。

高光溢出校正处理单元判定输入像素值是否饱和并且在输入像素值是饱和值时不执行高光溢出校正。

成像装置还包括：高动态范围(HDR)图像生成单元，用于接收由高光溢出校正处理单元生成的高光溢出校正图像以生成宽动态范围图像。

根据本公开的第二实施例，提供了一种成像装置，包括：图像传感器，用于输出来自长时间曝光像素的高灵敏度像素信号和来自短时间曝光像素的低灵敏度像素信号；以及校正处理单元，用于接收来自图像传感器的输出像素信号并对像素信号执行校正。校正处理单元根据来自图像传感器的输入像素值与理想像素值之间的差异或比率执行对来自图像传感器的输入像素的像素值校正，该理想像素值是根据去到图像传感器的入射光的量与输出值的理想线性特性的。

校正处理单元通过应用根据理想线性特性的理想像素值来校正来自图像传感器的输入像素值中包含的非线性特性。

校正处理单元从存储单元获取通过多次执行摄影处理获取的图像传感器的理想像素值或者适用于基于该理想像素值的经校正像素值计算的查找表(LUT)，并且执行像素值校正。

根据本公开的第三实施例，提供了一种在成像装置中执行的图像处理方法。成像装置包括：图像传感器，用于输出来自长时间曝光像素的高灵敏度像素信号和来自短时间曝光像素的低灵敏度像素信号；以及高光溢出校正处理单元，用于接收来自图像传感器的输出像素信号并执行对像素信号的高光溢出校正，并且高光溢出校正处理单元根据来自图像传感器的输入像素值与未受高光溢出影响的理想像素值之间的差异或比率执行对来自图像传感器的输入像素的像素值校正。

根据本公开的第四实施例，提供了一种用于使得成像装置执行图像处理的程序。成像装置包括：图像传感器，用于输出来自长时间曝光像素的高灵敏度像素信号和来自短时间曝光像素的低灵敏度像素信号；以及高光溢出校正处理单元，用于接收来自图像传感器的输出像素信号并执行对像素信号的高光溢出校正，并且该程序使得高光溢出校正处理单元根据来自图像传感器的输入像素值与未受高光溢出影响的理想像素值之间的差异或比率执行对来自图像传感器的输入像素的像素值校正。

根据本公开的程序被记录在记录介质中并被提供到能够执行各种程序代码的信息处理装置或计算机系统。通过由信息处理装置或计算机系统上的程序执行单元执行该程序，实现了与该程序相应的处理。

本公开的其他特征和优点从以下描述的本公开的实施例或基于附图的更详细描述中将变得清楚。注意，本说明书中的系统是多个装置的逻辑集合配置，并且不限于每个配置的装置被容纳在单个壳体内的系统。

根据本公开的实施例，实现了用于实现对一次拍摄型宽动态范围拍摄图像的非常准确的高光溢出校正的装置和方法。

具体而言，接收来自输出高灵敏度像素信号和低灵敏度像素信号的图像传感器的输出像素信号，并且执行对像素信号的高光溢出校正。校正处理单元根据来自图像传感器的输入像素值与未受高光溢出影响的理想像素值之间的差异或比率执行输入像素的像素值校正。例如，利用低灵敏度像素信号估计与来自校正对象像素附近的像素的电荷泄漏相当的高光溢出量，并从输入像素值中减去估计的高光溢出量。具体而言，执行应用数学模型或LUT的处理。

根据本公开的配置，通过抑制遭受高光溢出的像素的高光溢出量来校正由高光溢出引起的非线性，从而实现正确的颜色再现，准确地表示图像阶调(gradation)，并改善图像质量。

附图说明

图1是图示高光溢出产生原理的图；

图2是图示由高光溢出引起的侵略者像素和受害者像素的蓄积电荷的转变的图；

图3是图示每帧交替拍摄曝光时间较短的短时间曝光图像(低灵敏度图像)和曝光时间较长的长时间曝光图像(高灵敏度图像)的处理序列的图；

图4是图示对通过多次拍摄技术连续拍摄的短时间曝光图像和长时间曝光图像的高光溢出校正处理的图；

图5是图示既存在作为短时间曝光像素的低灵敏度像素也存在作为长时间曝光像素的高灵敏度像素的图像中的高光溢出校正处理的图；

图6是图示测量图像传感器中的特性信息的处理的图；

图7是图示图像传感器的特性信息的图；

图8是图示图像传感器的像素布置样式和曝光控制样式的示例的图；

图9是图示长时间曝光和短时间曝光中的电荷蓄积序列的图；

图10是图示计算从长时间曝光像素到长时间曝光像素的高光溢出量LL的处理的示例的图；

图11是图示计算从长时间曝光像素到短时间曝光像素的高光溢出量LS的处理的示例的图；

图12是图示计算从短时间曝光像素到长时间曝光像素的高光溢出量SL的处理的示例的图；

图13是图示计算从短时间曝光像素到短时间曝光像素的高光溢出量SS的处理的示例的图；

图14是图示长时间曝光和短时间曝光中的电荷蓄积序列的图；

图15是图示对于高光溢出接收像素(V：受害者像素)，垂直、水平和斜方向上的8个像素成为高光溢出产生像素(侵略者像素)的图；

图16是图示图像传感器的像素布置和曝光控制设定的示例的图；

图17是图示高光溢出产生方式的图；

图18是图示执行高光溢出校正的校正处理单元的配置示例的图；

图19是图示执行过校正对策的高光溢出校正处理示例的图；

图20是图示作为迭代处理执行估计高光溢出校正量的处理的处理示例的图；

图21是图示作为迭代处理执行估计高光溢出校正量的处理的处理示例的图；

图22是图示利用LUT(查找表)执行高光溢出校正的校正处理单元的配置示例的图；

图23是图示利用LUT(查找表)执行高光溢出校正的校正处理单元的配置示例的图；

图24是图示利用LUT(查找表)执行高光溢出校正的校正处理单元的配置示例的图；

图25是图示利用LUT(查找表)执行高光溢出校正的校正处理单元的配置示例的图；

图26是图示利用LUT(查找表)执行高光溢出校正的校正处理单元的配置示例的图；

图27是图示利用LUT(查找表)执行高光溢出校正的校正处理单元的配置示例的图；

图28是图示示出当改变短时间曝光像素的明亮度时实际测量值(受高光溢出影响的像素值)和理想值(真实像素值)的变化的曲线图的图；

图29是示出基于图28中所示的特性图27中所示的一维LUT中使用的对应数据的关系的图；

图30是示出执行将图29中所示的关系数据转换成简单折线数据的近似处理的结果的图；

图31是图示具有倍率近似单元的校正处理单元的配置示例的图；

图32是图示在使用三维LUT的配置中使用近似数据的校正处理单元的配置示例的图；

图33是图示像素的短时间曝光像素(低灵敏度像素)Rd、Gd和Bd的明亮度(亮度(luminance))和像素输出值的变化的图；

图34是图示通过组合基于数学模型的校正和基于预先获取的数据的校正两者来既补偿每个处理的缺点也利用每个处理的优点的校正处理单元的配置示例的图；

图35是图示执行过校正对策的校正处理单元的配置示例的图；

图36是图示高光溢出校正结果的经校正像素值逐渐减小的问题的具体示例的图；

图37是图示执行高光溢出校正处理的成像装置200的配置示例的图；

图38是图示高光溢出校正处理单元的整体配置示例的图；

图39是图示在信号生成单元中的信号生成处理示例中通过利用周边像素的线性插补来生成像素值的技术的图；

图40是图示HDR(宽动态范围图像)组合处理单元的详细配置示例的图；

图41是图示在高灵敏度低频信号生成单元和低灵敏度低频信号生成单元中通过使用关注像素的周边像素的处理来生成低频信号的处理的图；

图42是图示HDR全频带信号生成单元的配置示例的图；

图43是图示成像装置的第二配置示例的图；

图44是图示综合处理单元的具体示例的图；

图45是图示综合处理单元的具体示例的图；

图46是图示综合处理单元的具体示例的图；

图47是图示高光溢出校正单元的输入/输出关系的图；

图48是图示在图46中所示的高光溢出校正单元中配置的像素生成单元的处理示例的图；并且

图49是图示拐点(knee)特性的图。

具体实施方式

以下，将参考附图详细描述本公开的优选实施例。注意，在本说明书和附图中，用相同的标号表示具有基本相同的功能和结构的结构元素，并且省略对这些结构元素的重复说明。

以下，将参考附图详细描述本公开的成像装置、图像处理方法和程序。将按以下顺序进行描述。

1.测量图像传感器的特性的处理

2.使用高光溢出的数学模型的校正处理的示例

2-1.从长时间曝光像素到长时间曝光像素的高光溢出量LL

2-2.从长时间曝光像素到短时间曝光像素的高光溢出量LS

2-3.从短时间曝光像素到长时间曝光像素的高光溢出量SL

2-4.从短时间曝光像素到短时间曝光像素的高光溢出量SS

3.考虑来自多个高光溢出产生像素的相互作用的实施例

4.高光溢出校正处理的实施例

4-1.使用数学模型的基本高光溢出校正处理的示例

4-2.利用数学模型执行过校正对策的高光溢出校正处理的示例

4-3.利用数学模型执行迭代校正的处理示例

4-4.基于诸如LUT之类的预先获取的数据的校正处理的示例

4-5.使用不同校正技术的组合的高光溢出校正处理

4-6.执行对基于运动被摄体或边缘的过校正的对策的校正处理的示例

5.成像装置的配置示例

5-1.成像装置的配置示例1

5-2.成像装置的配置示例2

6.其他实施例：基于除高光溢出以外的传感器特性的图像的校正

7.对本公开的配置的总结

[1.测量图像传感器的特性的处理]

在以下将要描述的本公开的成像装置的实施例中，利用图像传感器的特性来执行高光溢出校正。

首先，将参考图6和随后的图描述测量图像传感器的特性信息的处理。

图6示出了用于执行图像传感器的特性信息的测量的系统配置的示例。

作为摄影对象的被摄体102例如是其中设定了各种颜色或亮度区域的测试样式。具体而言，例如，可使用颜色检查处理中使用的麦克白色卡(Macbeth chart)。

将照明101照射到被摄体102并且在包括用于特性测量的图像传感器104的成像装置(相机)中拍摄图像。

另外，可应用能够获取RAW图像的相机作为应用于图6中所示的特性测量的装置，但其具有一般相机的配置这一点并不是必要的。可以应用具有能够获取诸如图像传感器之类的传感器的原始数据的配置的基盘或装置。

如果照明101和被摄体102的条件、位置等固定，并且图像传感器104也在相同条件下摄影，则当忽略噪声时可获取相同图像。

图像传感器104是能够通过对每个像素改变曝光时间来摄影的传感器。可基于由图6中所示的控制单元105生成的作为控制信息的曝光时间信息106来以像素为单位设定曝光时间，然后可执行摄影。

首先，对所有像素以相同曝光时间执行摄影。

随着控制单元105在短曝光时间和长曝光时间之间精细地改变图像传感器104的总曝光时间，获取传感器图像107，随后将其记录在存储装置108中。

图7(A)中的测量结果示出了在改变曝光时间的同时获取的传感器图像107中的相邻R、G和B像素值的变化。

一般地，当被摄体没有变化时，曝光时间和像素值具有比例关系。

然而，当曝光时间较短时，存在线性，而当曝光时间更长并且特定像素接近饱和水平时，产生非线性，如图7(A)中所示。此非线性是由饱和或高光溢出引起的。

在时间t1，G像素饱和，并且由于此饱和产生高光溢出，其中G像素中的溢出电荷流到相邻的B和R像素中。由于此高光溢出，B像素和R像素的线性被破坏。即，蓄积电荷的速度增大了。

另外，在时间t2，B像素饱和，并且基于此饱和产生高光溢出，其中B像素中的溢出电荷流到相邻的R像素中。由于此高光溢出，R像素的线性再次被破坏，并且蓄积电荷的速度进一步增大。

图7(B)的理想特性示出了只使用在图7(A)的测量数据中有线性的时段(时间t0到时间t1)中的数据的线性回归的结果。线性回归例如是利用最小二乘方法执行的。从而，可以获取没有像素高光溢出的理想数据[理想特性]。例如，当曝光时间是EX1时，R像素的理想像素值可被获得为R1，并且G像素的理想像素值可被获得为G1。

在此曝光时间EX1中，例如，B像素和R像素处于B像素和R像素受到高光溢出影响的时段中，但可以获得没有高光溢出的影响的理想特性(B)和理想特性(R)。类似地，G像素饱和，但可以获得忽略饱和时的理想特性(G)。

从而，执行使用在测量数据中有线性的时段(时间t0到时间t1)中的数据的线性回归以获得理想数据(理想特性)，即图7(B)中的实线指示的数据。

理想特性是根据图像传感器的像素布置样式(pattern)和用于图像传感器中的实际摄影的曝光控制样式来计算的。优选向拍摄图像校正处理应用具有使得布置样式和曝光控制样式匹配的设定的理想特性。

另外，图像传感器104的像素布置样式和曝光控制样式的示例在图8中示出。

在图8中，示出了13类像素布置样式和曝光控制样式(A)至(M)。

白像素是长时间曝光像素(高灵敏度像素)，灰像素是短时间曝光像素(低灵敏度像素)。

例如，对于图8中所示的样式(A)至(M)中的每一个计算以颜色(R、G、B)或(R、G、B、W)中的每一个为单位的理想特性。计算出的理想特性被存储在执行高光溢出校正的图像处理装置或成像装置的存储单元中。

高光溢出校正是作为使用作为这种理想数据的理想特性和在实际摄影处理中获得的实际测量数据的校正处理来执行的。

具体而言，高光溢出校正是作为从实际测量数据计算理想数据的处理来执行的。

例如，作为具体的校正处理方法，有以下的方法。

(a)推导出高光溢出的数学模型并且利用其反函数来执行校正的方法，

(b)将实际测量数据和理想数据的一一对应数据保存作为表格(LUT：查找表)并通过参考该表格来执行校正的方法，

(c)仅使用LUT的代表点的近似校正的方法，以及

(d)组合使用上述方法的校正方法。

例如，有这些方法。

如以上参考图8所述，存在图像传感器104的若干种像素布置或曝光控制方式，并且理想特性与实际测量数据之间的对应关系随着这种类型而变化。在以下实施例中，作为示例将描述使用根据图8(A)中所示的像素布置和曝光控制配置的图像传感器104的处理示例。

另外，对于除了图8(A)中所示的以外的像素布置和曝光控制配置，只是理想特性与实际测量数据之间的对应关系数据不同，而以下所述的本公开的处理也可适用。

[2.使用高光溢出的数学模型的校正处理的示例]

首先，将描述使用高光溢出的数学模型的校正处理的示例。

示出了高光溢出的数学模型的推导以及如何最简单地描述高光溢出现象。

简单模型：从一个像素到另一像素的高光溢出

这里，只考虑从一个像素(侵略者)到另一像素(受害者)的高光溢出，而不考虑相互作用或从多个像素的高光溢出。

入射光的波长、温度特性等被认为是高光溢出量的变化的因素。然而，这里不考虑这种因素，并且在这些因素恒定的假设下示出简单模型。

所产生的高光溢出的类型具有与曝光时间相应的样式。

另外，假定如图9中所示的伴随摄影处理的电荷蓄积操作，引入长时间曝光和短时间曝光中的电荷蓄积的数学模型。

图9示出了以下各项的时间转变：

(a)读取定时，

(b)长时间曝光重置定时，

(c)长时间曝光电荷量，

(d)短时间曝光重置定时，以及

(e)短时间曝光电荷量。

对于长时间曝光像素，从作为电荷蓄积开始时间的长时间曝光重置定时t1到下一读取定时tr(曝光时间tb)在像素中执行电荷蓄积，并且读取与电荷量相应的信号量作为像素值。

对于短时间曝光像素，从作为电荷蓄积开始时间的短时间曝光重置定时t2到下一读取定时tr(曝光时间td)在像素中执行电荷蓄积，并且读取与电荷量相应的信号量作为像素值。

另外，假定在短时间曝光重置定时之前蓄积了电荷。

为了引入数学模型，如下定义各个参数：

Ai：当高光溢出产生像素(侵略者像素)经历了时间Tb的曝光时的理想值(不发生饱和时的值)，

As：侵略者像素的传感器输出值，

Vi：当高光溢出接收像素(受害者像素)经历了时间Tb的曝光时的理想值(未受高光溢出影响)，

Vs：受害者像素的传感器输出值，

Tb：高灵敏度(长时间曝光)的曝光时间，

Td：低灵敏度(短时间曝光)的曝光时间，

bth：侵略者像素产生高光溢出的信号水平，

brt：来自侵略者像素的高光溢出比，以及

R：长时间曝光像素与短时间曝光像素的曝光比率Tb/Td

实际上，bth(高光溢出产生信号水平)和brt(高光溢出比率)随着传感器特性、温度特性或者入射光的波长而变化，但在这里被简单假定为是按照传感器唯一获得的参数。

以下，将描述与以下各个高光溢出方式相应的高光溢出量也就是由电荷溢出引起的流入电荷量的计算式的示例。将参考图10至13描述以下四类高光溢出量。

(1)从长时间曝光像素到长时间曝光像素的高光溢出量LL，

(2)从长时间曝光像素到短时间曝光像素的高光溢出量LS，

(3)从短时间曝光像素到长时间曝光像素的高光溢出量SL，以及

(4)从短时间曝光像素到短时间曝光像素的高光溢出量SS。

另外，以下，将在产生高光溢出并引起电荷溢出的像素是高光溢出产生像素(A：侵略者像素)并且来自相邻像素的溢出电荷流入到的像素是高光溢出接收像素(V：受害者像素)的假设下进行描述。

[2-1.从长时间曝光像素到长时间曝光像素的高光溢出量LL]

首先，将参考图10描述从长时间曝光像素到长时间曝光像素的高光溢出量LL的计算式。

在图10所示的示例中，高光溢出产生像素(A：侵略者像素)被设定为长时间曝光像素，并且高光溢出接收像素(V：受害者像素)被设定为长时间曝光像素。

水平轴指示时间并且垂直轴指示蓄积电荷量。示出了各个像素，也就是作为长时间曝光像素的高光溢出产生像素(A：侵略者像素)和作为长时间曝光像素的高光溢出接收像素(V：受害者像素)中的蓄积电荷的时间转变。

实线指示实际蓄积电荷的转变数据，并且虚线指示理想特性。

曝光时间是Tb，并且高光溢出产生信号水平是bth。

另外，高光溢出产生信号水平bth高于饱和信号水平。

在时间t1，高光溢出产生像素(A：侵略者像素)饱和，并且在虚线所指示的理想特性的信号水平成为高光溢出产生信号水平bth的时间t2，产生高光溢出。也就是说，像素之间的电荷溢出和电荷流入开始。

在时间t2的高光溢出产生定时之后，高光溢出接收像素(V：受害者像素)的电荷量描绘出偏离虚线所指示的理想特性的直线。

在最终曝光结束时间tr中，高光溢出接收像素(V：受害者像素)的实际电荷量Vs与高光溢出接收像素(V：受害者像素)的理想特性上的电荷量Vi之间的差异是高光溢出量。

高光溢出产生像素(A：侵略者像素)是长时间曝光像素，高光溢出接收像素(V：受害者像素)是长时间曝光像素，并且长时间曝光像素之间的高光溢出量LL是如下计算的。

首先，当基于高光溢出产生像素(A：侵略者像素)的理想特性Ai计算出的高光溢出量brt是LL(Ai，brt)时，最终曝光结束时间tr中的高光溢出接收像素(V：受害者像素)的实际电荷量Vs与高光溢出接收像素(V：受害者像素)的理想特性上的电荷量Vi之间的关系式成为以下关系式(式1)：

Vs＝Vi+LL(Ai，brt)

...(式1)

另外，当曝光时间X＝0～tr中的高光溢出量brt是LL(x，brt)时，高光溢出量LL(x，brt)的计算式如下所示(式2)。

...(式2)

[2-2.从长时间曝光像素到短时间曝光像素的高光溢出量LS]

接下来，将参考图11描述从长时间曝光像素到短时间曝光像素的高光溢出量LS的计算式。

在图11所示的示例中，高光溢出产生像素(A：侵略者像素)被设定为长时间曝光像素，并且高光溢出接收像素(V：受害者像素)被设定为短时间曝光像素。

水平轴指示时间并且垂直轴指示蓄积电荷量。示出了各个像素，也就是作为长时间曝光像素的高光溢出产生像素(A：侵略者像素)和作为短时间曝光像素的高光溢出接收像素(V：受害者像素)的蓄积电荷的时间转变。

实线指示实际蓄积电荷的转变数据，并且虚线指示理想特性。

作为短时间曝光像素的高光溢出接收像素(V：受害者像素)在时间t2被重置，并且时间t2后的电荷蓄积量是输出像素值Vs。

在时间Tr成为Vi和Vi/R的两条线被示为根据高光溢出接收像素(V：受害者像素)的理想特性的虚线。

在时间tr成为Vi的线是当从时间0起连续执行电荷蓄积时的理想特性线。

同时，在时间tr成为Vi/R的线是当从时间t2起执行曝光时的理想特性线。

R表示长时间曝光像素与短时间曝光像素的曝光比率Tb/Td。

长时间曝光像素的曝光时间是Tb，并且短时间曝光像素的曝光时间是Td。高光溢出产生信号水平是Bth。

作为长时间曝光像素的高光溢出产生像素(A：侵略者像素)在时间t1饱和，并且在虚线所指示的理想特性的信号水平成为高光溢出产生信号水平bth的时间t3产生高光溢出。也就是说，像素之间的电荷溢出和电荷流入开始。

另外，作为短时间曝光像素的高光溢出接收像素(V：受害者像素)的电荷蓄积被设定为在时间t1与时间t3之间的时间t2开始。

在作为短时间曝光像素的高光溢出接收像素(V：受害者像素)的情况下，在时间t2与时间t3之间执行不受高光溢出影响的电荷蓄积。

然而，在时间t3的高光溢出产生定时之后，高光溢出接收像素(V：受害者像素)的电荷量描绘出偏离虚线所指示的理想特性的直线。

在最终曝光结束时间tr中，高光溢出接收像素(V：受害者像素)的实际电荷量Vs与高光溢出接收像素(V：受害者像素)的理想特性上的电荷量Vi/R之间的差异是高光溢出量。

高光溢出产生像素(A：侵略者像素)是长时间曝光像素，并且高光溢出接收像素(V：受害者像素)是短时间曝光像素。从长时间曝光像素到短时间曝光像素的高光溢出量LS是如下计算的。

首先，当基于高光溢出产生像素(A：侵略者像素)的理想特性Ai计算出的高光溢出量brt是LS(Ai，brt)时，最终曝光结束时间tr中的高光溢出接收像素(V：受害者像素)的实际电荷量Vs与高光溢出接收像素(V：受害者像素)的理想特性上的电荷量Vi/R的关系式成为以下关系式(式3)：

$\mathrm{Vs}=\frac{\mathrm{Vi}}{R}+\mathrm{LS}(\mathrm{Ai},\mathrm{brt})$

...(式3)

另外，当曝光时间X＝0～tr中的高光溢出量brt是LS(x，brt)时，高光溢出量LS(x，brt)的计算式如以下式4所示。

...(式4)

[2-3.从短时间曝光像素到长时间曝光像素的高光溢出量SL]

接下来，将参考图12描述从短时间曝光像素到长时间曝光像素的高光溢出量SL的计算式。

在图12所示的示例中，高光溢出产生像素(A：侵略者像素)被设定为短时间曝光像素，并且高光溢出接收像素(V：受害者像素)被设定为长时间曝光像素。

水平轴指示时间并且垂直轴指示蓄积电荷量。示出了各个像素，也就是作为短时间曝光像素的高光溢出产生像素(A：侵略者像素)和作为长时间曝光像素的高光溢出接收像素(V：受害者像素)的蓄积电荷的时间转变。

实线表示实际蓄积电荷的转变数据，并且虚线表示理想特性。

作为短时间曝光像素的高光溢出产生像素(A：侵略者像素)在时间t3被重置，并且时间t3后的电荷蓄积量是输出像素值Vs。

根据高光溢出接收像素(V：受害者像素)的理想特性的虚线示出了在时间Tr成为Vi和Vi/R的线。

在时间tr成为Vi的线指示出当从时间0起连续执行电荷蓄积时的理想特性线。

同时，在时间tr成为Vi/R的线是当从时间t2起执行曝光时的理想特性线。

R表示长时间曝光像素与短时间曝光像素的曝光比率Tb/Td。

长时间曝光像素的曝光时间是Tb，并且短时间曝光像素的曝光时间是Td。高光溢出产生信号水平是Bth。

作为短时间曝光像素的高光溢出产生像素(A：侵略者像素)在时间t1饱和，并且在虚线AL1所指示的理想特性的信号水平成为高光溢出产生信号水平bth的时间t2产生高光溢出。也就是说，像素之间的电荷溢出和电荷流入开始。

另外，在时间t3与时间tr之间的曝光时间td中执行基于对作为短时间曝光像素的高光溢出产生像素(A：侵略者像素)摄影的处理的电荷蓄积处理，并且通过时间t0与时间t3之间的曝光在短时间曝光像素中蓄积的电荷是在摄影开始时间t3重置的电荷。

示出了由于作为重置对象的电荷而产生高光溢出的示例。

在作为长时间曝光像素的高光溢出接收像素(V：受害者像素)中，在时间0与时间t2之间执行不受高光溢出影响的电荷蓄积。

然而，在时间t2的高光溢出产生定时之后，高光溢出接收像素(V：受害者像素)的电荷量描绘出偏离虚线VL1所指示的理想特性的直线。

然后，在时间t3，对于作为短时间曝光像素的高光溢出产生像素(A：侵略者像素)和高光溢出接收像素(V：受害者像素)执行重置处理，并且与被摄体的摄影相应的曝光时间td的曝光处理开始。

在曝光处理开始时，短时间曝光像素中蓄积的电荷被重置并且与被摄体亮度相应的电荷蓄积重新开始。从而，电荷溢出停止。也就是说，高光溢出产生停止。

然而，在时间t3，与图12中所示的理想特性线VL1与实线所指示的真实电荷线之间的差异SLF相当的量的高光溢出电荷已经作为与被摄体亮度有关的过量电荷被蓄积在作为长时间曝光像素的高光溢出接收像素(V：受害者像素)中。

另外，在作为短时间曝光像素的高光溢出产生像素(A：侵略者像素)的曝光时间td中，在时间t3之后，短时间曝光像素在时间t4再次饱和，并且在虚线AL2所指示的理想特性的信号水平成为高光溢出产生信号水平bth的时间t5产生高光溢出。也就是说，再次产生像素之间的电荷溢出和电荷流入。

作为长时间曝光像素的高光溢出接收像素(V：受害者像素)在时间t5之后描绘出偏离虚线VL2所指示的理想特性的直线。此时间t5后的高光溢出量是图12中所示的SLB。

最终曝光结束时间tr中的高光溢出接收像素(V：受害者像素)的实际电荷量Vs与高光溢出接收像素(V：受害者像素)的理想特性上的电荷量Vi之间的差异是高光溢出量。

最终高光溢出量相当于SLA和SLB的加和。

高光溢出产生像素(A：侵略者像素)是短时间曝光像素，并且高光溢出接收像素(V：受害者像素)是长时间曝光像素。从短时间曝光像素到长时间曝光像素的高光溢出量SL是如下计算的。

首先，当基于高光溢出产生像素(A：侵略者像素)的理想特性Ai计算出高光溢出量brt是SL(Ai，brt)时，最终曝光结束时间tr中的高光溢出接收像素(V：受害者像素)的实际电荷量Vs与高光溢出接收像素(V：受害者像素)的理想特性上的电荷量Vi的关系式成为以下关系式(式5)：

Vs＝Vi+SL(Ai，brt)

...(式5)

另外，当在曝光时间X＝0至tr中高光溢出量brt是SL(x，brt)时，高光溢出量SL(x，brt)的计算式如以下式6所示。

SL(X，brt)＝SLF(X，brt)+SLB(X，brt)

...(式6)

[2-4.从短时间曝光像素到短时间曝光像素的高光溢出量SS]

接下来，将参考图13描述从短时间曝光像素到短时间曝光像素的高光溢出量SS的计算式。

在图13所示的示例中，高光溢出产生像素(A：侵略者像素)被设定为短时间曝光像素，并且高光溢出接收像素(V：受害者像素)被设定为短时间曝光像素。

水平轴指示时间，并且垂直轴指示蓄积电荷量。示出了各个像素，也就是作为短时间曝光像素的高光溢出产生像素(A：侵略者像素)和作为短时间曝光像素的高光溢出接收像素(V：受害者像素)的蓄积电荷的时间转变。

实线是实际蓄积电荷的转变数据，并且虚线是理想特性。

作为短时间曝光像素的高光溢出产生像素(A：侵略者像素)和作为短时间曝光像素的高光溢出接收像素(V：受害者像素)也在时间t3被重置，并且时间t3后的电荷蓄积量是输出像素值(As，Vs)。

长时间曝光像素的曝光时间是Tb，并且短时间曝光像素的曝光时间是Td。高光溢出产生信号水平是Bth。

在时间t1，作为短时间曝光像素的高光溢出产生像素(A：侵略者像素)饱和，并且在虚线AL1所指示的理想特性的信号水平成为高光溢出产生信号水平bth的时间t2产生高光溢出。也就是说，像素之间的电荷溢出和电荷流入开始。

另外，在时间t3与时间tr之间的曝光时间td中执行基于作为短时间曝光像素的高光溢出产生像素(A：侵略者像素)的摄影处理的电荷蓄积处理，并且通过时间t0与时间t3之间的曝光在短时间曝光像素中蓄积的电荷是在摄影开始时间t3重置的电荷。

示出了由作为重置对象的电荷产生高光溢出的示例。

在作为短时间曝光像素的高光溢出接收像素(V：受害者像素)中，在时间0与时间t2之间执行不受高光溢出影响的电荷蓄积。

然而，在时间t2的高光溢出产生定时之后，高光溢出接收像素(V：受害者像素)的电荷量描绘出偏离虚线VL1所指示的理想特性的直线。

然后，在时间t3，对于作为短时间曝光像素的高光溢出产生像素(A：侵略者像素)执行重置处理，并且与被摄体的摄影相应的曝光时间td的曝光处理开始。

在曝光处理开始时，短时间曝光像素中蓄积的电荷被重置并且与被摄体亮度相应的电荷蓄积重新开始。从而，电荷溢出停止。也就是说，高光溢出产生停止。

然而，在这个曝光时间td，作为短时间曝光像素的高光溢出产生像素(A：侵略者像素)在时间t4再次饱和，并且在虚线AL2所指示的理想特性的信号水平成为高光溢出产生信号水平bth的时间t5产生高光溢出。也就是说，像素之间的电荷溢出和电荷流入再次发生。

作为短时间曝光像素的高光溢出接收像素(V：受害者像素)在时间t5之后描绘出偏离虚线VL2所指示的理想特性的直线。

在最终曝光结束时间tr中，高光溢出接收像素(V：受害者像素)的实际电荷量Vs与高光溢出接收像素(V：受害者像素)的理想特性上的电荷量Vi/R之间的差异是高光溢出量。

高光溢出产生像素(A：侵略者像素)是短时间曝光像素，并且高光溢出接收像素(V：受害者像素)是短时间曝光像素。短时间曝光像素之间的高光溢出量SS是如下计算的。

首先，当基于高光溢出产生像素(A：侵略者像素)的理想特性Ai计算出高光溢出量brt是SS(Ai，brt)时，最终曝光结束时间tr中的高光溢出接收像素(V：受害者像素)的实际电荷量Vs与高光溢出接收像素(V：受害者像素)的理想特性上的电荷量Vi的关系式具有以下关系式(式7)：

$\mathrm{Vs}=\frac{\mathrm{Vi}}{R}+\mathrm{SS}(\mathrm{Ai},\mathrm{brt})$

...(式7)

另外，当在曝光时间X＝0至tr中高光溢出量brt是SS(x，brt)时，高光溢出量SS(x，brt)的计算式如以下式8所示。

...(式8)

以上示出了当具有不同曝光时间的像素相邻时的高光溢出的数学模型。该数学模型只是在例如像图9中所示的传感器驱动方案那样的特定传感器驱动方案中应用数学模型的示例，而计算高光溢出量的处理可对应于各种其他传感器驱动方案来设定。

例如，将描述与不同于上述图9中所示的传感器驱动方案的图14中所示的传感器驱动方案相对应的数学模型的设定。

在图14中所示的传感器驱动方案中，始终执行重置，直到短时间曝光像素开始曝光为止，以使得电荷不蓄积，即高光溢出不发生。此驱动方案中的数学模型相当于在上述高光溢出量SL(x，brt)的计算式(式6)中用SLF(x，brt)＝0替换。

另外，即使是曝光时间相同并且灵敏度不同的像素之间的现有高光溢出也被包括在上述式1中。从而，可以计算出针对包括曝光时间恒定并且灵敏度不同、而不是在曝光时间上灵敏度不同的像素的传感器的高光溢出的数学模型。

[3.考虑来自多个高光溢出产生像素的相互作用的实施例]

在上述实施例中，描述了在以使得高光溢出产生像素(侵略者像素)的数目为1并且高光溢出接收像素(受害者像素)的数目为1的设定简化的模型中计算高光溢出电荷量的处理的示例。

然而，实际上，构成图像传感器的各个像素都可成为产生高光溢出的高光溢出产生像素(侵略者像素)或者高光溢出接收像素(受害者像素)。

对于这种复杂配置的建模是困难的，但如下文将描述的，近似地设定模型。

在图15中，示出了3×3像素区域。关注像素是中心像素，假定该中心像素是高光溢出接收像素(受害者像素)。

对于该高光溢出接收像素(受害者像素)，垂直、水平和斜方向上的8个像素有可能成为高光溢出产生像素(侵略者像素)，并且该高光溢出接收像素受这8个像素的影响。

一般地，斜方向上的高光溢出的比率(上述brt)小于垂直和水平方向上的高光溢出的比率。以下，在图16中所示的像素布置和曝光控制设定的情况下，将描述具有灵敏度和颜色的每个像素的高光溢出的影响。

在图16所示的像素布置中，白像素是长时间曝光像素(高灵敏度像素)，并且灰像素是短时间曝光像素(低灵敏度像素)。

具体而言，符号表示如下：

Rb：红色高灵敏度像素(长时间曝光像素)

Gb：绿色高灵敏度像素

Bb：蓝色高灵敏度像素

Rd：红色低灵敏度像素(短时间曝光像素)

Gd：绿色低灵敏度像素

Bd：蓝色低灵敏度像素

另外，各个像素的理想像素值也就是当没有高光溢出产生时的各个RGB像素的像素值如下所指示：

Ri：Rb的理想值(具有线性，没有饱和或高光溢出)，

Gi：Gb的理想值(具有线性，没有饱和或高光溢出)，

Bi：Bb的理想值(具有线性，没有饱和或高光溢出)，

在上述设定中，如果在没有饱和或高光溢出的情形中忽略噪声，则各个像素的像素值成为以下像素值：

Rb＝Ri，

Gb＝Gi，

Bb＝Bi，

Rd＝Ri/R＝Rb/R，

Gd＝Gi/R＝Gb/R，

Bd＝Bi/R＝Bb/R。

另外，R表示长时间曝光像素与短时间曝光像素的曝光比率Tb/Td。

例如，参考图16中所示的Rb像素120周围的8个像素，

·在垂直和水平方向上有三个Gb像素和一个Gd像素。

·在斜方向上有两个Bd像素和两个Bb像素。

从而，假定Rb像素受到来自总共8个像素的高光溢出的影响，并且具有灵敏度和颜色的每个像素的高光溢出量被建模。

通过应用理想像素值Ri、Gi和Bi计算出的各个像素的高光溢出量如下所指示：

高灵敏度像素Rb的高光溢出量：blmRb(Ri，Gi，Bi)，

高灵敏度像素Gb的高光溢出量：blmGb(Ri，Gi，Bi)，

高灵敏度像素Bb的高光溢出量：blmBb(Ri，Gi，Bi)，

低灵敏度像素Rb的高光溢出量：blmRd(Ri，Gi，Bi)，

低灵敏度像素Gb的高光溢出量：blmGd(Ri，Gi，Bi)，

低灵敏度像素Bb的高光溢出量：blmBd(Ri，Gi，Bi)。

可通过以下式子来计算各个像素的高光溢出量：

(a)高灵敏度像素的高光溢出量

blmRb(Ri，Gi，Bi)＝3·LL(Gi，brt_hv)+SL(Gi，brt_hv)+2·SL(Bi，brt_ad)+2·LL(Bi，brt_ad)，

blmGb(Ri，Gi，Bi)＝2·LL(Ri，brt_hv)+LL(Bi，brt_hv)+SL(Bi，brt_hv)+2·SL(Gi，brt_ad)+2·LL(Gi，brt_ad)，

blmBb(Ri，Gi，Bi)＝3·LL(Gi+，brt_hv)+SL(Gi，brt_hv)+2·SL(Ri，brt_ad)+2·LL(Ri，brt_ad)。

...(式A)

(b)低灵敏度像素的高光溢出量

blmRd(Ri，Gi，Bi)＝3·SS(Gi，brt_hv)+LS(Gi，brt_hv)+2·LS(Bi，brt_ad)+2·SS(Bi，brt_ad)，

blmGd(Ri，Gi，Bi)＝2·SS(Ri，brt_hv)+SS(Bi，brt_hv)+LS(Bi，brt_hv)+2·LS(Gi，brt_ad)+2·SS(Gi，brt_ad)，

blmBd(Ri，Gi，Bi)＝3·SS(Gi+，brt_hv)+LS(Gi，brt_hv)+2·LS(Ri，brt_ad)+2·SS(Ri，brt_ad)。

...(式B)

另外，在上述式A和B中，pq(xi，brt_yy)包括四类符号表示：LL、LS、SL和SS。

LL：从长时间曝光像素到长时间曝光像素的高光溢出，

LS：从长时间曝光像素到短时间曝光像素的高光溢出，

SL：从短时间曝光像素到长时间曝光像素的高光溢出，

SS：从短时间曝光像素到短时间曝光像素的高光溢出。

x是R、G和B中的任何一个，并且xi意味着参考了每个像素的理想特性数据。

yy表示hv和ad中的任何一个，

brt_hv表示来自垂直和水平方向上相邻的像素的泄漏的高光溢出比率，并且

brt_ad表示来自斜方向上相邻的像素的泄漏的高光溢出比率。

然而，实际上，在相邻像素之间产生高光溢出，并且准确的建模是困难的。

也就是说，可执行相邻像素之间的高光溢出产生和接收。也就是说，在时间t1，长时间曝光像素成为高光溢出产生像素(A：侵略者1)，并且短时间曝光像素成为高光溢出接收像素(V：受害者1)，然后，在时间t2，短时间曝光像素成为高光溢出产生像素(A：侵略者2)，并且长时间曝光像素成为高光溢出接收像素(V：受害者2)，如图17中所示。

从而，准确的建模是困难的。

另外，由于在垂直和水平方向以及斜方向上在像素之间产生高光溢出，所以准确的建模是非常复杂的。

然而，大部分高光溢出量可利用式A和B来建模，并且当高光溢出比率(brt)的值较小时，其可作为误差被忽略。

[4.高光溢出校正处理的实施例]

接下来，将描述应用了通过上述计算高光溢出校正量的处理获得的高光溢出量的像素值校正也就是高光溢出校正处理的具体实施例。

[4-1.使用数学模型的基本高光溢出校正处理的示例]

首先，将参考图18描述使用数学模型的高光溢出校正处理的示例。

图18是示出通过从低灵敏度像素的像素值Rd、Gd和Bd估计高光溢出量并从传感器输出信号中减去该高光溢出量来执行高光溢出校正的校正处理单元130的配置示例的图。

图18中所示的校正处理单元130包括高光溢出量估计单元131和计算单元132。

图18中所示的校正处理单元130的输入是来自图像传感器的输出或者基于该输出生成的信号。

例如，在图像传感器中存在图16中所示的长时间曝光像素(高灵敏度像素)和短时间曝光像素(低灵敏度像素)两者。

也就是说，

Rb：R的高灵敏度像素的输出

Gb：G的高灵敏度像素的输出

Bb：B的高灵敏度像素的输出

Rd：R的低灵敏度像素的输出

Gd：G的低灵敏度像素的输出

Bd：B的低灵敏度像素的输出

图18中所示的校正处理单元130顺次选择图像传感器的各个构成像素作为是高光溢出校正对象的关注像素并执行校正。当执行此校正处理时，例如，输入与被选择为校正对象的关注像素的像素位置相对应的上述6类像素值，并且执行高光溢出校正。

另外，由接收来自图像传感器的信号的信号生成单元(图38中所示的信号生成单元251)执行生成与关注像素的像素位置相对应的6类像素值的处理。例如，通过参考关注像素的周边像素的像素值的线性插补(interpolation)处理来执行每个像素值的生成。

此处理将在后文中参考例如图38详细描述。

图18中所示的校正处理单元130接收由信号生成单元(图38中所示的信号生成单元251)生成的与关注像素相对应的各个像素值Rb、Gb、Bb、Rd、Gd和Bd，并且利用这些输入值，作为对关注像素的高光溢出校正的结果，生成并输出关注像素位置处的输出像素的经校正像素值Rb’、Gb’、Bb’、Rd’、Gd’和Bd’。

另外，从图像传感器的构成像素之中逐一顺次选择关注像素，并且对所有像素执行相同的高光溢出校正。

当忽略噪声或者如图17中所示的相互依从关系时，校正处理单元130的输入像素值Rb、Gb、Bb、Rd、Gd和Bd可如以下式(式11)所示：

Rb＝Ri+blmRb(Ri，Gi，Bi)

Gb＝Gi+blmGb(Ri，Gi，Bi)

Bb＝Bi+blmBb(Ri，Gi，Bi)

Rd＝Ri/R+blmRd(Ri，Gi，Bi)

Gd＝Gi/R+blmGd(Ri，Gi，Bi)

Bd＝Bi/R+blmBd(Ri，Gi，Bi)

...(式11)

其中Ri、Gi和Bi表示根据没有高光溢出的理想特性输出的像素值。

blmxx(Ri，Gi，Bi)表示用上述式A和B计算出的每个像素(xx＝Rb、Gb、Bb、Rd、Gd或Bd)中的高光溢出量，并且

R表示长时间曝光像素与短时间曝光像素的曝光比率Tb/Td。

基于式11，根据没有高光溢出的理想特性从各个像素输出的像素值Ri、Gi、Bi、Ri/R、Gi/R和Bi/R可被表示为以下式(式22)：

Ri＝Rb-blmRb(Ri，Gi，Bi)

Gi＝Gb-blmGb(Ri，Gi，Bi)

Bi＝Bb-blmBb(Ri，Gi，Bi)

Ri/R＝Rd-blmRd(Ri，Gi，Bi)

Gi/R＝Gd-blmGd(Ri，Gi，Bi)

Bi/R＝Bd-blmBd(Ri，Gi，Bi)

...(式12)

根据式12计算出的理想值可作为是图18中所示的校正处理单元130的输出的经校正像素值Rb’、Gb’、Bb’、Rd’、Gd’和Bd’被计算并输出。

然而，实际上，式12的右侧的Ri、Gi和Bi是很难作为理想值获得的，从而高光溢出量估计单元131在近似处理中根据以下近似式(式13)利用作为与图像传感器的输出相当的校正处理单元的输入的低灵敏度像素的像素值Rd、Gd和Bd来计算理想像素值的估计值。

高光溢出量估计单元131根据以下近似式(式13)来计算理想像素值Ri、Gi和Bi的估计值：

...(式13)

图18中所示的高光溢出量估计单元131利用作为校正处理单元的输入像素值的低灵敏度像素的像素值Rd、Gd和Bd根据近似式(式13)计算理想像素值Ri、Gi和Bi的估计值，并且根据上述式A和B计算与各个像素相对应的高光溢出量blmxx(Rd×R，Gd×R，Bd×R)。另外，xx是Rb、Gb、Bb、Rd、Gd或Bd。

另外，图18中所示的计算单元132执行从与图像传感器的输出相当的校正处理单元的输入值Rb、Gb、Bb、Rd、Gd和Bd中减去由高光溢出量估计单元131计算出的与各个像素相对应的高光溢出量blmxx(Rd×R，Gd×R，Bd×R)的处理。

作为通过从各个输入像素值中去除高光溢出量而获得的输出值的经校正像素值Rb’、Gb’、Bb’、Rd’、Gd’和Bd’作为上述计算处理的结果被输出。

也就是说，根据以下式(式14)计算并输出经校正像素值Rb’、Gb’、Bb’、Rd’、Gd’和Bd’。

...(式14)

从而，图18中所示的校正处理单元130估计输入像素值Rb、Gb、Bb、Rd、Gd和Bd中包含的高光溢出量并执行对估计的高光溢出量的去除，并且将作为去除的结果的输出像素值作为经校正像素值Rb’、Gb’、Bb’、Rd’、Gd’和Bd’输出。

[4-2.利用数学模型执行对过校正的对策的高光溢出校正处理的示例]

接下来，将参考图19描述执行对过校正的对策的高光溢出校正处理的示例。在上述的[4-1.使用数学模型的基本高光溢出校正处理的示例]中描述的校正处理中，图18中所示的高光溢出量估计单元131在近似处理中利用作为与图像传感器的输出相当的校正处理单元的输入像素值的低灵敏度像素的像素值Rd、Gd和Bd根据以下近似式计算理想像素值的估计值。

然而，实际上，作为来自图像传感器的短时间曝光像素(低灵敏度像素)的输入像素值的Rd、Gd和Bd也受高光溢出的影响，并且如果考虑这些像素的高光溢出的影响，则在许多情况下满足以下关系式：

Ri≤Rd×R

Gi≤Gd×R

Bb≤Bd×R

从而，每个像素的高光溢出量blmxx满足以下关系式：

blmxx(Ri，Gi，Bi)≤blmxx(Rd×R，Gd×R，Bd×R)

其中xx＝Rb、Gb、Bb、Rd、Gd或Bd

如上所述，如果考虑用于估计高光溢出量的短时间曝光像素(低灵敏度像素)的输入像素值的高光溢出量，则在上述的[4-1.使用数学模型的基本高光溢出校正处理的示例]中的校正处理中可执行过校正。

作为对其的对策，将基于作为输入像素值的短时间曝光像素(低灵敏度像素)估计的高光溢出量乘以预定的衰减参数attxx，0≤attxx≤1，并且根据以下式(式21)计算并输出经校正像素值Rb’、Gb’、Bb’、Rd’、Gd’和Bd’。

...(式21)

其中attxx表示衰减参数，并且是0≤attxx≤1的任何系数，并且

xx＝Rb，Gb，Bb，Rd，Gd或Bd。

在式21中，衰减参数attxx用于抑制实际校正量。

另外，优选预先在特定光源的特定颜色中测量高光溢出量的估计值和实际测量值并且调整衰减参数，以便减小估计值与实际测量值之间的差异。

从而，图19中所示的校正处理单元135估计输入像素值Rb、Gb、Bb、Rd、Gd和Bd中包含的高光溢出量，执行对所估计的高光溢出量的去除，并且将作为去除的结果的像素值作为经校正像素值Rb’、Gb’、Bb’、Rd’、Gd’和Bd’输出。

首先，高光溢出量估计单元136利用作为与来自图像传感器的输出相当的校正处理单元的输入像素值的低灵敏度像素的像素值Rd、Gd和Bd，根据先前在[4-1.使用数学模型的基本高光溢出校正处理的示例]中描述的近似式(式13)计算理想像素值Ri、Gi和Bi的估计值，并且根据上述的式A和B计算与各个像素相对应的高光溢出量blmxx(Rd×R，Gd×R，Bd×R)。另外，xx是Rb、Gb、Bb、Rd、Gd或Bd。

接下来，图19中所示的乘法单元137将由高光溢出量估计单元136计算出的与每个像素相对应的高光溢出量blmxx(Rd×R，Gd×R，Bd×R)乘以以下衰减参数：

attxx，

其中0≤attxx≤1，并且

xx＝Rb、Gb、Bb、Rd、Gd或Bd。

乘法单元137的输出成为以下值：

attRb×blmRb(Rd×R，Gd×R，Bd×R)

attGb×blmGb(Rd×R，Gd×R，Bd×R)

attBb×blmBb(Rd×R，Gd×R，Bd×R)

attRd×blmRd(Rd×R，Gd×R，Bd×R)

attGd×blmGd(Rd×R，Gd×R，Bd×R)

attBd×blmBd(Rd×R，Gd×R，Bd×R)

接下来，图19中所示的计算单元138执行从与来自图像传感器的输出相当的校正处理单元的输入值Rb、Gb、Bb、Rd、Gd和Bd中减去乘法单元137的输出的处理。

也就是说，通过以下计算输出作为通过从各个输入像素值中去除高光溢出量而获得的输出值的经校正像素值Rb’、Gb’、Bb’、Rd’、Gd’和Bd’。

其中attxx表示衰减参数，并且是0≤attxx≤1的任何系数，并且

xx＝Rb、Gb、Bb、Rd、Gd或Bd。

[4-3.利用数学模型执行迭代校正的处理的示例]

在上述处理示例中，基于高光溢出量的估计值从输入像素值中减去估计的高光溢出量的处理被执行一次以输出经校正像素值。以下描述的处理是利用经校正像素值对校正处理结果执行迭代校正的处理。

例如，在上述的处理示例[4-1]中，对于作为校正前的短时间曝光像素(低灵敏度像素)的Rd，通过校正处理可获得校正后的像素值Rd’。根据校正前的像素值Rd和校正后的像素值Rd’之间的比较，校正已被执行一次时的校正后的像素值Rd’将接近真实值。

也就是说，满足以下不等式。

|Rd-Ri/R|＞|Rd’-Ri/R|

这除了适用于Rd以外也同样适用于Gd和Bd。

利用短时间曝光像素(低灵敏度像素)的校正后的像素值Rd’、Gd’、Bd’迭代估计高光溢出校正量。

图20中所示的校正处理单元140具有通过两次迭代处理基于高光溢出量的估计执行像素值校正的示例性配置，并且图21中所示的校正处理单元150具有通过三次迭代处理基于高光溢出量的估计执行像素值校正的示例性配置。

在图20所示的校正处理单元140中，第一高光溢出量估计单元141利用作为校正处理单元的输入像素值的低灵敏度像素的像素值Rd、Gd和Bd，根据以上在[4-1.使用数学模型的基本高光溢出校正处理的示例]中描述的近似式(式13)，计算理想像素值Ri、Gi和Bi的估计值，并且根据上述的式A和B计算与各个像素相对应的高光溢出量blmxx(Rd×R，Gd×R，Bd×R)。另外，xx是Rb、Gb、Bb、Rd、Gd或Bd。

接下来，计算单元142执行从校正处理单元的输入值Rd、Gd和Bd中减去由第一高光溢出量估计单元141计算出的与各个像素相对应的高光溢出量blmxx(Rd×R，Gd×R，Bd×R)的处理，从而计算第一经校正像素值Rd’、Gd’和Bd’。

另外，与第一高光溢出量估计单元141类似，第二高光溢出量估计单元143利用第一经校正像素值Rd’、Gd’和Bd’，根据以上在[4-1.使用数学模型的基本高光溢出校正处理的示例]中描述的近似式(式13)计算理想像素值Ri、Gi和Bi的估计值，并且根据上述的式A和B计算与各个像素相对应的高光溢出量blmxx’(Rd×R，Gd×R，Bd×R)。另外，xx是Rb、Gb、Bb、Rd、Gd或Bd。

另外，图20中所示的计算单元144执行从校正处理单元的输入值Rb、Gb、Bb、Rd、Gd和Bd中减去由第二高光溢出量估计单元143计算出的与各个像素相对应的高光溢出量blmxx’(Rd×R，Gd×R，Bd×R)的处理。

作为此计算处理的结果，作为通过从各个输入像素值中去除高光溢出量而获得的输出值的经校正像素值Rb”、Gb”、Bb”、Rd”、Gd”和Bd”被输出。

同时，在图21所示的校正处理单元150中，第一高光溢出量估计单元151利用作为校正处理单元的输入像素值的低灵敏度像素的像素值Rd、Gd和Bd，根据以上在[4-1.使用数学模型的基本高光溢出校正处理的示例]中描述的近似式(式13)计算理想像素值Ri、Gi和Bi的估计值，并且根据上述的式A和B计算与各个像素相对应的高光溢出量blmxx(Rd×R，Gd×R，Bd×R)。另外，xx是Rb、Gb、Bb、Rd、Gd或Bd。

接下来，计算单元152执行从校正处理单元的输入值Rd、Gd和Bd中减去由第一高光溢出量估计单元151计算出的与各个像素相对应的高光溢出量blmxx(Rd×R，Gd×R，Bd×R)的处理，从而计算第一经校正像素值Rd’、Gd’和Bd’。

另外，与第一高光溢出量估计单元151类似，第二高光溢出量估计单元153利用第一经校正像素值Rd’、Gd’和Bd’，根据以上在[4-1.使用数学模型的基本高光溢出校正处理的示例]中描述的近似式(式13)计算理想像素值Ri、Gi和Bi的估计值，并且根据上述的式A和B计算与各个像素相对应的高光溢出量blmxx’(Rd×R，Gd×R，Bd×R)。另外，xx是Rb、Gb、Bb、Rd、Gd或Bd。

接下来，计算单元154执行从校正处理单元的输入值Rd、Gd和Bd中减去由第二高光溢出量估计单元153计算出的与各个像素相对应的高光溢出量blmxx’(Rd×R，Gd×R，Bd×R)的处理，从而计算第二经校正像素值Rd”、Gd”和Bd”。

另外，与第一高光溢出量估计单元151类似，第三高光溢出量估计单元155利用第二经校正像素值Rd”、Gd”和Bd”，根据以上在[4-1.使用数学模型的基本高光溢出校正处理的示例]中描述的近似式(式13)计算理想像素值Ri、Gi和Bi的估计值，并且根据上述的式A和B计算与各个像素相对应的高光溢出量blmxx”(Rd×R，Gd×R，Bd×R)。另外，xx是Rb、Gb、Bb、Rd、Gd或Bd。

另外，图21中所示的计算单元156执行从校正处理单元的输入值Rb、Gb、Bb、Rd、Gd和Bd中减去由第三高光溢出量估计单元155计算出的与各个像素相对应的高光溢出量blmxx”(Rd×R，Gd×R，Bd×R)的处理。

作为此计算处理的结果，作为通过从各个输入像素值中去除高光溢出量而获得的输出值的经校正像素值Rb′″、Gb′″、Bb′″、Rd′″、Gd′″和Bd′″被输出。

另外，可执行两次和三次迭代高光溢出量估计处理以及更多次高光溢出量估计处理来执行校正处理。

[4-4.基于诸如LUT之类的预先获取的数据的校正处理的示例]

接下来，将描述基于诸如查找表(LUT)之类的预先获取的高光溢出校正数据的校正处理的示例。参考图18至21描述的处理示例中的任何一个是基于输入像素值顺次计算高光溢出量并且使用计算出的高光溢出量的处理示例。

然而，此顺次计算技术有这样的问题，即受高光溢出影响的像素值有可能被用于高光溢出估计。

因此，可以说基于分别受到不同高光溢出影响的像素的像素值，利用任何一个计算模型，通过一次计算处理，是难以计算出真实像素值的。

然而，如果如上述的[1.测量图像传感器的特性的处理]那一节中所述使用预计算，则可以从真实像素值计算受高光溢出影响的像素的像素值。

另外，由于像素的信号值和高光溢出的影响处于单调增大关系，因此可容易想象有反函数存在。

预先测量高光溢出量，并且产生其中设定了未受高光溢出影响的“像素的真实值”与“受高光溢出影响的像素的像素值”之间的对应关系数据的LUT(查找表)。

利用LUT(查找表)执行高光溢出校正的校正处理单元的配置在图22中示出。

图22中所示的校正处理单元160从图像传感器接收长时间曝光像素(高灵敏度像素)的像素值Rb、Gb和Bb以及短时间曝光像素(低灵敏度像素)的像素值Rd、Gd和Bd，利用六维查找表161执行像素值校正，并且输出经校正像素值Rb’、Gb’、Bb’、Rd’、Gd’和Bd’。

六维表161是保存受高光溢出的像素的像素值Rb、Gb、Bb、Rd、Gd和Bd与未受高光溢出影响的真实像素值Rb’、Gb’、Bb’、Rd’、Gd’和Bd’之间的对应关系的六维查找表。

根据六维LUT中记录的对应关系数据，获取并输出针对输入像素值(受高光溢出影响的像素的像素值)的经校正像素值(＝不包含高光溢出的影响的真实像素值)

然而，六维LUT有数据量变大的问题。

作为用于解决这样的问题的配置，可考虑在保持此结果的同时缩减LUT的方法。

图23示出了LUT为三维的配置示例。

图22中所示的校正处理单元165从图像传感器接收长时间曝光像素(高灵敏度像素)的像素值Rb、Gb和Bb和短时间曝光像素(低灵敏度像素)的像素值Rd、Gd和Bd。

对于长时间曝光像素(高灵敏度像素)的像素值Rb、Gb和Bb，利用第一三维LUT 166执行校正值获取并且输出经校正像素值Rb’、Gb’和Bb’。

另外，对于短时间曝光像素(低灵敏度像素)的像素值Rd、Gd和Bd，利用第二三维LUT 167执行校正值获取并且经校正像素值Rd’、Gd’和Bd’。

第一三维表166是保存受高光溢出影响的长时间曝光像素(高灵敏度像素)的像素值Rb、Gb和Bb与未受高光溢出影响的真实长时间曝光像素(高灵敏度像素)的像素值Rb’、Gb’和Bb’之间的对应关系的三维查找表。另外，第二三维表167是保存受高光溢出影响的短时间曝光像素(低灵敏度像素)的像素值Rd、Gd和Bd与未受高光溢出影响的真实短时间曝光像素(低灵敏度像素)的像素值Rd’、Gd’和Bd’之间的对应关系的三维查找表。

根据这两个三维LUT中记录的对应关系数据来计算并输出针对输入像素值(＝受高光溢出影响的像素的像素值)的经校正像素值(＝不包含高光溢出的影响的真实像素值)。

另外，作为使用与短时间曝光像素(低灵敏度像素)相对应的三维查找表的校正处理单元的配置，有图24中所示的校正处理单元170的配置。

图24中所示的校正处理单元170具有用三维LUT 171替换以上参考图18所述的校正处理单元130中的高光溢出量估计单元131的配置。

这里，三维LUT 171是保存受高光溢出影响的短时间曝光像素(低灵敏度像素)的像素值Rd、Gd和Bd与各个像素的高光溢出量之间的对应关系数据的表格。

三维LUT 171的输出是与作为校正处理单元的输入像素值的短时间曝光像素(低灵敏度像素)的像素值Rd、Gd和Bd相对应的根据LUT获得的各个像素的高光溢出量BlmRb、BlmGb、BlmBb、BlmRd、BlmGd和BlmBd。

计算单元172执行从校正处理单元的输入值Rb、Gb、Bb、Rd、Gd和Bd中减去与各个像素相对应的作为三维LUT 171的输出的高光溢出量blmxx(Rd×R，Gd×R，Bd×R)的处理，并且输出经校正像素值Rb’、Gb’、Bb’、Rd’、Gd’和Bd’。

另外，可使用像图25中所示的校正处理单元173那样利用六个一维LUT的配置。

图25中所示的一维LUT包括以下表格T1至T6：

(T1)保存受高光溢出影响的短时间曝光像素(低灵敏度像素)的像素值Rb与不包含高光溢出的影响的真实短时间曝光像素(低灵敏度像素)的像素值Rb’之间的对应关系的一维查找表。

(T2)保存受高光溢出影响的短时间曝光像素(低灵敏度像素)的像素值Gb与不包含高光溢出的影响的真实短时间曝光像素(低灵敏度像素)的像素值Gb’之间的对应关系的一维查找表。

(T3)保存受高光溢出影响的短时间曝光像素(低灵敏度像素)的像素值Bb与不包含高光溢出的影响的真实短时间曝光像素(低灵敏度像素)的像素值Bb’之间的对应关系的一维查找表。

(T4)保存受高光溢出影响的短时间曝光像素(低灵敏度像素)的像素值Rd与不包含高光溢出的影响的真实短时间曝光像素(低灵敏度像素)的像素值Rd’之间的对应关系的一维查找表。

(T5)保存受高光溢出影响的短时间曝光像素(低灵敏度像素)的像素值Gd与不包含高光溢出的影响的真实短时间曝光像素(低灵敏度像素)的像素值Gd’之间的对应关系的一维查找表。

(T6)保存受高光溢出影响的短时间曝光像素(低灵敏度像素)的像素值Bd与不包含高光溢出的影响的真实短时间曝光像素(低灵敏度像素)的像素值Bd’之间的对应关系的一维查找表。

另外，如果一维查找表以各种像素单位为单位被设定为受高光溢出影响的像素的像素值与高光溢出量之间的对应关系数据，则可配置具有图26中所示的设定的校正处理单元174。

虽然图26中所示的校正处理单元174被示为仅针对Rb的处理配置，但校正处理单元174按照相同配置也对其他像素实现。

将校正处理单元的输入像素值Rb输入到一维LUT 175，并且从一维LUT 175获取与输入像素值Rb相对应的高光溢出量BlmRb。

由计算单元176从校正处理单元的输入像素值Rb中减去从一维LUT175输出的高光溢出量BlmRb，并且输出经校正像素值Rb’。也就是说，输出通过经由以下处理去除高光溢出量而获得的经校正像素值：

Rb’＝Rb-BrmRb。

另外，如果一维查找表具有以各种像素单位设定以下各项之间的对应关系数据的结构，则可配置图27中所示的校正处理单元177：

受高光溢出影响的像素的像素值，和

受高光溢出影响的像素的像素值与未受高光溢出影响的真实像素值之间的比率k。

具体而言，例如，当输入像素值是Rb时，一维查找表存储以下各项之间的对应关系数据：

受高光溢出影响的像素的像素值Rb，和

受高光溢出影响的像素的像素值Rb与未受高光溢出影响的真实像素值(Rb-blmRb)之间的比率k＝(Rb-blmRb)/Rb。

即使对于除Rb以外的像素，也产生并使用其中设定了相同的关系数据的一维LUT。

图27中所示的校正处理单元177具有使用这样的一维LUT 178的配置。另外，图27仅示出了对于Rb的处理配置，但对于其他像素也按相同配置实现校正处理单元177。

基于校正处理单元的输入像素值Rb，从一维LUT 178输出受高光溢出影响的像素的像素值Rb与未受高光溢出影响的真实像素值(Rb-blmRb)之间的比率k＝(Rb-blmRb)/Rb。

从一维LUT 178输出的比率k＝(Rb-blmRb)/Rb被乘法单元179乘以校正处理单元的输入像素值Rb，并且经校正像素值Rb’被输出。也就是说，

Rb’＝Rb×((Rb-blmRb)/Rb)

通过经由该处理去除高光溢出量而获得的经校正像素值被输出。

图28是示出当改变短时间曝光像素的明亮度时实际测量值(受高光溢出影响的像素值)与理想值(真实像素值)的变化的曲线图。

图29是示出基于图28中所示的特性在图27所示的一维LUT中使用的对应数据的关系的图。

也就是说，图29是示出以下各项之间的对应关系数据的曲线图：

作为受高光溢出影响的像素的像素值的像素值xx，和

高光溢出校正倍率，即受高光溢出影响的像素的像素值xx与未受高光溢出影响的真实像素值(xx-blmxx)的比率k＝(xx-blmxx)/xx，

其中xx＝Rb、Gb、Bb、Rd、Gd或Bd。

如图29中所示，垂直轴上指示的高光溢出校正倍率具有最大值1并且根据水平轴上指示的像素值(输入像素值)转变到小于1的值。

从小像素值到大像素值(右方向)，区域被大体分类成三类区域：

未产生高光溢出的像素值区域，

从一些像素产生高光溢出的区域，以及

所有高灵敏度像素都饱和的区域。

将联系作为示例的像素Rb来进行描述。在未产生高光溢出的像素值区域中，高光溢出校正倍率k＝(Rb-blmRb)/Rb＝1，并且图27中所示的校正处理单元177的配置中的输出像素值Rb’被设定成等于输入像素值Rb。

在从一些像素产生高光溢出的区域中，高光溢出校正倍率k等于(Rb-blmRb)/Rb＜1，并且图27中所示的校正处理单元177的配置中的输出像素值Rb’被设定成等于或小于输入像素值Rb的像素值。

在所有高灵敏度像素都饱和的区域中，高光溢出校正倍率k等于(Rb-blmRb)/Rb＜1，并且图27中所示的校正处理单元177的配置中的输出像素值Rb’被设定成等于或小于输入像素值Rb的像素值。在此情况下，基于高光溢出量来计算倍率，该高光溢出量是基于来自相邻高灵敏度像素的高光溢出的产生的。

对Rb、Gb、Bb、Rd、Gd和Bd中的每一个生成图29中所示的对应数据(LUT)，并且根据每个输入像素的类型选择并使用要使用的LUT。

通过此处理，可基于各个输入像素值Rb、Gb、Bb、Rd、Gd和Bd计算并且输出通过去除高光溢出量而获得的经校正像素值。

另外，已描述了在参考图27描述的校正处理单元177中存储受高光溢出影响的像素的像素值Rb与受高光溢出影响的像素的像素值Rb与未受高光溢出影响的真实像素值(Rb-blmRb)之间的比率k＝(Rb-blmRb)/Rb之间的对应关系数据作为一维LUT 178的示例。

具体而言，对应关系数据如图29中所示。

由于图29中所示的此对应关系数据在从一些像素产生高光溢出的区域中被设定为例如复杂的折线或曲线，因此当该关系数据被配置为LUT时，数据量增加了。

图29中所示的关系数据经历近似处理以获得如图30中所示的简单折线数据，并且可执行反映了近似结果的处理。

具体而言，例如，可配置如图31中所示的具有倍率近似单元181的校正处理单元180。

图31中所示的校正处理单元180具有取代以上参考图27描述的校正处理单元177的一维LUT 178设定了倍率近似单元181的配置。

倍率近似单元181根据如图30中所示的简单折线数据输出与输入像素的像素值相应的高光溢出校正倍率。

具体而言，例如，在图30中所示的输入像素值的区域a中输出等于1的高光溢出校正倍率，在区域b中输出根据图30中所示的区域b的近似直线的高光溢出校正倍率(1至p)，并且在区域c中输出等于p的高光溢出校正倍率。

乘法单元182将输入像素值乘以该倍率，并且输出经校正像素值Rb’。

利用这样的配置，可以简化硬件配置。

类似地，在以上参考图23描述的使用三维LUT的配置中，可以配置使用近似数据的校正单元。

将参考图32来描述此配置示例。

图32中所示的校正处理单元185包括亮度生成单元186、矩阵系数生成单元187和矩阵处理单元188。

亮度生成单元186从作为校正处理单元的输入像素值的短时间曝光像素(低灵敏度像素)的像素值Rd、Gd和Bd生成亮度信息Ld。

例如，使用以下加权平均。

Ld＝(Crd×Rd+Cgd×Gd+Cbd×Bd)/(Crd+Cgd+Cbd)

其中Crd、Cgd和Cbd是任何系数。

矩阵系数生成单元187生成依从于由亮度生成单元186生成的亮度信息Ld的系数a(Ld)，b(Ld)，...，i(Ld)并且将这些系数输出到矩阵处理单元188。

矩阵处理单元188利用由矩阵系数生成单元187生成的系数a(Ld)，b(Ld)，...，i(Ld)执行输入像素值Rd、Gd和Bd的矩阵计算以生成并输出经校正像素值Rd’、Gd’和Bd’。

矩阵处理单元188执行的矩阵计算例如是以下式9中所示的计算：

$\left(\begin{array}{c}{\mathrm{Rd}}^{\′}\\ {\mathrm{Gd}}^{\′}\\ {\mathrm{Bd}}^{\′}\end{array}\right)=\left(\begin{array}{ccc}a\left(\mathrm{Ld}\right)& b\left(\mathrm{Ld}\right)& c\left(\mathrm{Ld}\right)\\ d\left(\mathrm{Ld}\right)& e\left(\mathrm{Ld}\right)& f\left(\mathrm{Ld}\right)\\ g\left(\mathrm{Ld}\right)& h\left(\mathrm{Ld}\right)& i\left(\mathrm{Ld}\right)\end{array}\right)\·\left(\begin{array}{c}\mathrm{Rd}\\ \mathrm{Gd}\\ \mathrm{Bd}\end{array}\right)$

...(式9)

另外，当亮度生成单元186生成的亮度信息Ld是固定值时，以上矩阵计算与用于在通常传感器中校正混色问题的被称为线性矩阵的处理相同。也就是说，可通过线性矩阵处理的扩展处理来校正高光溢出问题。

图33示出了像素的短时间曝光像素(低灵敏度像素)Rd、Gd和Bd的明亮度(亮度)和像素输出值的变化。

虚线指示理想特性，并且实线指示受高光溢出影响的实际特性。

在明亮度较小的地方(低亮度区域)，不发生高灵敏度像素的饱和并且不引起高光溢出，从而理想特性和实际特性是相同的。然而，随着像素变得明亮，也就是在高亮度区域中，理想特性与实际特性之间的差异增大。

在使用矩阵处理的校正方法中，通过随着明亮度增大而增大用于校正混色的系数来校正高光溢出。

[4-5.使用不同校正技术的组合的高光溢出校正处理]

在以上描述中，描述了高光溢出校正处理的以下示例：

4-1.使用数学模型的基本高光溢出校正处理的示例

4-2.利用数学模型执行过校正对策的高光溢出校正处理的示例

4-3.利用数学模型执行迭代校正的处理示例

4-4.基于诸如LUT之类的预先获取的数据的校正处理的示例

在这些校正处理之中，(4-2)至(4-4)的各个处理示例是使用数学模型的技术，并且可以最终逼近理想特性，但难以通过一次计算逼近真实值。

同时，基于诸如LUT之类的预先获取的数据的校正处理(4-4)是通过预先获取实际测量值与理想特性之间的对应关系来一次将特性校正成理想特性的技术。然而，LUT的实现成本是较高的，并且当以公式近似LUT时，留有校正误差。

通过组合这些校正，可以补偿基于数学模型的校正和基于预先获取的数据的校正的缺点并实现利用各个校正的优点的配置。

例如，一个组合配置示例在图34中示出。

图34中所示的校正处理单元190包括计算单元191、高光溢出量估计单元192和计算单元193，其中该计算单元191包括以上参考图31描述的倍率近似单元和乘法单元。

与以上参考图31描述的处理中一样，计算单元191接收短时间曝光像素(低灵敏度像素)的各个像素值Rd、Gd和Bd，并基于与图30中所示的近似直线相应的高光溢出校正倍率生成经校正像素值，以将经校正像素值输入到高光溢出量估计单元192。

高光溢出量估计单元192基于经校正像素值生成与像素Rb、Gb、Bb、Rd、Gd和Bd相对应的高光溢出量BlmRb、BlmGb、BlmBb、BlmRd、BlmGd和BlmBd，并将这些高光溢出量输出到计算单元193。

计算单元193执行计算处理以从各个输入像素值Rb、Gb、Bb、Rd、Gd和Bd中减去从高光溢出量估计单元192输出的高光溢出量BlmRb、BlmGb、BlmBb、BlmRd、BlmGd和BlmBd，并输出通过去除高光溢出量而获得的校正像素值Rb’、Gb’、Bb’、Rd’、Gd’和Bd’。

在校正处理单元190中，计算单元191基于诸如LUT之类的预先计算的数据来计算校正值，并且后级的高光溢出量估计单元执行利用校正值应用数学模型的高光溢出量估计。从输入像素值中减去估计的高光溢出量以生成经校正像素值，并输出经校正像素值。

也就是说，利用基于诸如LUT之类的预先计算的数据的校正值实现在具有误差但接近理想值的特性上的收敛，然后计算利用数学模型的高光溢出量。也生成并输出用于收敛在更准确的理想特性上的校正值。

[4-6.执行对基于运动被摄体或边缘的过校正的对策的校正处理的示例]

接下来，将描述执行对基于运动被摄体或边缘的过校正的对策的校正处理的示例。

在上述校正方法中，建模是在图像平坦且没有运动的假设下执行的。

然而，实际上，在图像的图像中有各种被摄体，包括具有边缘的被摄体和具有运动的被摄体。

在上述的高光溢出校正处理的示例中，短时间曝光像素(低灵敏度像素)的像素值Rd、Gd和Bd被用于高光溢出量的估计。从而，由于图像中的边缘或运动被摄体的影响而产生以下问题。

当低灵敏度像素的像素值相对大于高灵敏度像素的像素值时，高光溢出校正量被估计得较大，从而产生过校正。

当高灵敏度像素的像素值相对大于低灵敏度像素的像素值时，高光溢出校正量被估计得较小，从而产生校正不足。

可产生这样的问题。

将参考图35来描述对这些问题的对策的示例。

在以上参考图18描述的[4-1.使用数学模型的基本高光溢出校正处理的示例]中，对长时间曝光像素(高灵敏度像素)Rb、Gb和Bb的经校正像素值Rb’、Gb’和Bb’的计算被描述为是通过以下处理来执行的：

Rb’＝Rb-blmRb(Rd×R，Gd×R，Bd×R)

Gb’＝Gb-blmGb(Rd×R，Gd×R，Bd×R)

Bb’＝Bb-blmBb(Rd×R，Gd×R，Bd×R)

高灵敏度像素Rb、Gb和Bb的校正值是利用低灵敏度像素Rd、Gd和Bd的像素值来计算的，如上所述。

然而，当低灵敏度像素的像素值由于运动被摄体或边缘的影响而变得相对大于高灵敏度像素的像素值时，由于高灵敏度像素未饱和，所以不产生高光溢出。虽然如此，但当使用计算经校正像素值的处理时，根据从低灵敏度像素的像素值的估计处理，认为在高灵敏度像素中存在由高光溢出引起的像素值变化。根据上述式子的校正被应用到实际未受高光溢出影响的高灵敏度像素，从而导致过校正。

具有用于防止对高灵敏度像素的这种过校正的配置的校正处理单元的配置示例在图35中示出。

图35中所示的校正处理单元195具有在图18中所示的校正处理单元的高光溢出量估计单元的后级设置了过校正对策单元197的配置。

图35中所示的校正处理单元195从图像传感器接收长时间曝光像素(高灵敏度像素)的各个像素值Rb、Gb和Bb和短时间曝光像素(低灵敏度像素)的各个像素值Rd、Gd和Bd。

高光溢出量估计单元196执行与以上参考图18描述的高光溢出量估计单元131相同的处理。也就是说，高光溢出量估计单元196根据以下近似式计算理想像素值Ri、Gi和Bi的估计值：

根据上述的式A和B计算与各个像素相对应的高光溢出量blmxx(Rd×R，Gd×R，Bd×R)，并且将计算出的高光溢出量输出到过校正对策单元197。另外，xx是Rb、Gb、Bb、Rd、Gd或Bd。

过校正对策单元197从高光溢出量估计单元196接收与各个像素相对应的高光溢出量，接收校正处理单元的输入像素值Rb、Gb、Bb、Rd、Gd和Bd，并且对由高光溢出量估计单元196计算出的高光溢出量执行校正。

过校正对策单元197将预先设定的阈值(Th)与输入像素的像素值相比较，对输出到计算单元的高光溢出量进行校正以生成经校正的高光溢出量Blm’xx并且将经校正的高光溢出量Blm’xx输出到计算单元198。

具体而言，例如，执行以下处理。虽然将联系作为示例的Rb进行描述，但对于其他像素也执行相同处理。

·当Rb＜Th时，经校正的高光溢出量Blm’Rb＝0。

·当Rb≥Th时，经校正的高光溢出量Blm’Rb＝BlmRb。

也就是说，当校正处理单元的输入像素值小于阈值(Th)时，由高光溢出量估计单元196计算出的高光溢出量被校正为0并输出到计算单元198。

另外，当校正处理单元的输入像素值等于或大于阈值(Th)时，由高光溢出量估计单元196计算出的高光溢出量被直接输出到计算单元198。

图35中所示的计算单元198执行从校正处理单元的输入值Rb、Gb、Bb、Rd、Gd和Bd中减去与过校正对策单元197计算出的与各个像素相对应的高光溢出量blm’xx(Rd×R，Gd×R，Bd×R)的处理。

另外，阈值(Th)被设定到像素的饱和值水平。通过此处理，例如，当校正处理单元的输入像素的像素值未饱和时，基于未产生来自该颜色像素的高光溢出的判定防止过校正。

另外，上述处理被执行为例如当作为高光溢出校正对象的关注像素是具有运动的图像区域或边缘区域时将高光溢出量设定为0的处理。

对于此处理，例如，可将指示关注像素是否是运动区域的运动信息或者指示关注像素是否是边缘区域的边缘信息输入到校正处理单元195，并可根据该信息来切换处理。另外，稍后将参考图38描述具有这种配置的高光溢出校正处理单元的配置的示例。

另外，以上参考图18描述的经校正像素值的计算如上所述是根据以下经校正像素值计算式来执行的：

在应用这些式子时，作为校正处理单元的输入像素值的高灵敏度像素的像素值Rb、Gb和Bb可饱和。

即使当高灵敏度像素饱和并且恒定的最大值被输出时，低灵敏度像素Rd、Gd和Bd也增大并且经校正像素值计算中包括的高光溢出量blmRb、blmGb和blmBb的值也增大。

从而，可能有高光溢出校正结果的经校正像素值逐渐减小的问题。

将参考图36(A)来描述具体示例。

在图36(A)中，水平轴指示被摄体的明亮度，并且垂直轴是像素的输出信号值(像素值)。

实线指示作为当执行高光溢出校正时的输出信号的高光溢出校正信号，细虚线指示作为当不执行高光溢出校正时来自图像传感器的输出的传感器信号，并且粗虚线指示理想信号。

如上所述，当执行高光溢出校正时，信号值按上述经校正像素值计算式中包括的高光溢出量减小。

短时间曝光像素(低灵敏度像素)的像素值在被摄体明亮度增大时增大，并且作为结果计算出的高光溢出量也增大。

结果，例如，在图36(A)中所示的传感器输出信号的超过饱和点的明亮区域中，随着明亮度增大，高光溢出校正信号减小。

这起因于未反映被摄体明亮度。作为用于防止这种情形发生的措施，校正可被设定为在检测到饱和时停止。

对饱和的检测可利用例如以下两种方法(a)和(b)的任何一种来执行。

(a)利用作为校正处理单元的输入像素值的高灵敏度像素的像素值来检测高灵敏度像素的饱和的方法。具体而言，执行预先设定的阈值(Th1)与高灵敏度像素的输入像素值例如Rb之间的比较，如下。

·Rb＞Th

当满足上述不等式时，判定饱和并且不执行高光溢出校正。当不满足上述不等式时，判定未饱和并且执行高光溢出校正。

(b)利用作为校正处理单元的输入像素值的低灵敏度像素的像素值来检测高灵敏度像素的饱和的方法。具体而言，执行预先设定的阈值(Th2)与低灵敏度像素的输入像素值例如Rd之间的比较，如下。

·Rd＞Th

当满足上述不等式时，判定饱和并且不执行高光溢出校正。当不满足上述不等式时，判定未饱和并且执行高光溢出校正。

图36(B)示出了利用低灵敏度像素检测高灵敏度像素的饱和并且不执行检测单元的校正的示例，其中由实线指示的高光溢出校正信号作为在高光溢出校正信号超过理想信号的饱和水平的位置处不降低而是维持恒定水平的信号值被输出。

[5.成像装置的配置的示例]

接下来，将描述执行上述高光溢出校正的成像装置的整体配置的示例。

[5-1.成像装置的配置示例1]

图37是示出执行上述高光溢出校正处理的成像装置200的配置示例的图。

成像装置200经由透镜201接收被摄体光并且将被摄体光输入到图像传感器202。

图像传感器202例如是其曝光能够被控制以使得像素具有不同曝光时间的图像传感器，如以上参考图8所述。从控制单元205输入曝光控制信号。另外，以像素区域为单位的曝光控制处理例如在上述的2006-253876号日本专利申请早期公布中公开，并且公开的技术可被应用。

控制单元205执行对成像装置200的整体控制。控制单元205具有例如CPU的程序执行功能，并且例如根据存储单元(未示出)中存储的程序执行对每个组件的控制以执行对在成像装置中执行的诸如图像拍摄和图像校正之类的数据处理的控制。

另外，例如根据以上参考图9所述的处理序列执行根据长时间曝光和短时间曝光的设定的图像拍摄处理。

如以上参考图9所述，曝光时间是由像素重置和读取定时决定的。

当读取定时恒定时，

·通过将重置定时设定到较早的时刻，曝光时间增长，并且

·通过将重置定时设定到较晚的时刻，曝光时间减短。

例如，通过对每个像素(或每行)执行控制可实现如图8中所示的各种样式的灵敏度布置。

如图37中所示，在图像传感器202中通过光电转换处理生成的每个像素的信号作为传感器图像203被输入到高光溢出校正处理单元204。

高光溢出校正处理单元204执行上述的高光溢出校正处理。

将参考图38来描述高光溢出校正处理单元204的整体配置的示例。

高光溢出校正处理单元204包括信号生成单元251、运动检测单元252、边缘检测单元253和校正处理单元254。

信号生成单元251获取或生成与作为校正处理单元254中的校正对象的一个关注像素的像素位置相对应的六个像素值，即：

长时间曝光像素(高灵敏度像素)的RGB像素值：Rb、Gb和Bb，以及

短时间曝光像素(低灵敏度像素)的RGB像素值：Rd、Gd和Bd。

具体而言，从关注像素的周边像素获取各个颜色和灵敏度的像素的值。

Rb：红色长时间曝光像素(高灵敏度像素)的像素值

Gb：绿色长时间曝光像素(高灵敏度像素)的像素值

Bb：蓝色长时间曝光像素(高灵敏度像素)的像素值

Rd：红色短时间曝光像素(低灵敏度像素)的像素值

Gd：绿色短时间曝光像素(低灵敏度像素)的像素值

Bd：蓝色短时间曝光像素(低灵敏度像素)的像素值

对于信号生成单元251中的信号生成处理示例，将参考图39描述利用周边像素通过线性插补来生成像素值的技术。

图39是图示当作为高光溢出校正处理的执行对象的关注像素是图39中所示的5×5像素之中的中心Rb33时的处理的示例的图。

信号生成单元251将包括作为图39中所示的中心的关注像素Rb33在内的5×5像素设定为参考像素区域并且根据以下式子(式31)计算Rb、Gb、Bb、Rd、Gd和Bd。

Rb＝(c31×Rb31+c33×Rb33+c35×Rb35)/(c31+c33+c35)

Gb＝(c32×Gb32+c34×Gb34+c41×Gb41+c43×Gb43+c45×Gb45)/(c32+c34

    +c41+c43+c45)

Bb＝(c41×Bb42+c44×Bb44)/(c41+c44)

Rd＝(c11×Rd11+c13×Rd13+c15×Rd15+c51×Rd51+c53×Rd53+c55×Rd55)

    /(c11+c13+c15+c51+c53+c55)

Gd＝(c12×Gd12+c14×Gd14+c21×Gd21+c23×Gd23+c25×Gd25+c52×

    Gd52+c54×Gd54)/(c12+c14+c21+c23+c25+c52+c54)

Bd＝(c22×Bd22+c24×Bd24)/(c22+c24)

...(式31)

其中c11至c55表示滤波器系数。

以上式子(式31)表示基于如下处理的处理：应用以关注像素为中心的5×5像素区域中包括的各个像素Rb、Gb、Bb、Rd、Gd和Bd作为参考像素并且基于这些参考像素通过线性插补处理计算关注像素位置处的各个像素值。另外，滤波器系数可根据关注像素与参考像素之间的距离或者像素值梯度来决定。

由信号生成单元251生成的关注像素位置处的各个像素值Rb、Gb、Bb、Rd、Gd和Bd被输入到校正处理单元254。

校正处理单元254根据[4.高光溢出校正处理的实施例]那一节中描述的以下高光溢出校正处理的任何处理方式执行上述高光溢出校正，即高光溢出校正处理。

4-1.使用数学模型的基本高光溢出校正处理的示例

4-2.利用数学模型执行过校正对策的高光溢出校正处理的示例

4-3.利用数学模型执行迭代校正的处理示例

4-4.基于诸如LUT之类的预先获取的数据的校正处理的示例

4-5.使用不同校正技术的组合的高光溢出校正处理

4-6.执行对基于运动被摄体或边缘的过校正的对策的校正处理的示例

当执行与[4-6.执行对基于运动被摄体或边缘的过校正的对策的校正处理的示例]相对应的处理时使用运动检测单元252和边缘检测单元253。

如上所述，当在图像中有边缘部分或运动被摄体时，校正可能在高光溢出过剩的情况下执行或者可能不足。为了使这种副作用达到最低限度，运动检测单元252和边缘检测单元253执行检测，并且来自运动检测单元252和边缘检测单元253的检测信息被提供给校正处理单元254。

运动检测单元252检测图像的区域是否是运动被摄体。

当从图像传感器202输入的传感器图像203中包括的G像素的低灵敏度图像是Gd，高灵敏度图像是Gb并且曝光时间的比率是R时，理想情况下满足以下关系：

Gb＝Gd×R，

其中R表示长时间曝光像素与短时间曝光像素的曝光比率Tb/Td。

可以应用一种运动检测方法，其中，利用此前提，根据以下式子计算低灵敏度图像Gd与高灵敏度图像Gb之间的差异(Mdet0)并且当该差异等于或大于预定阈值时判定有运动。

Mdet0＝|Gb-Gd×R|

或者，可应用一种运动检测方法，其中根据以下式子计算低灵敏度图像Gd与高灵敏度图像Gb之间的比率(Mdet1)并且当该比率(Mdet1)等于或大于预定阈值时判定有运动。

GMax＝Max(Gb，Gd×R)，

GMin＝Min(Gb，Gd×R)，并且

Mdet1＝GMax/GMin。

Max(A，B)指的是返回A和B中的较大者的函数，并且Min(A，B)指的是返回A和B中的较小者的函数。当差异(Mdet0)或比率(Mdet1)在考虑到噪声或高光溢出的影响的情况下是充分大的值时，判定在图像中有运动，并且运动检测信息被提供给校正处理单元254。

边缘检测单元253检测作为高光溢出校正对象区域的关注像素是否是边缘区域。

例如，在对图39中所示的关注像素Rb33的边缘判定处理中，利用周边像素值如下计算边缘判定值(Edet)：

Edet＝|Gb32-Gb34|+|Gb32-Gb43|+|Gb43-Gb34|+|Gb12-Gd23|+|Gd23-Gd14|

如上所述通过对相同颜色相邻像素之间的差异的绝对值求和来计算边缘判定值(Edet)。

当边缘判定值(Edet)的值充分大于考虑了噪声的值时，判定其中有边缘。

此边缘判定信息被提供给校正处理单元254。

当与作为处理对象的关注像素相对应的来自运动检测单元252的信息是指示运动的信息或者当来自边缘检测单元253的信息是指示边缘区域的信息时，校正处理单元254根据上述的[4-6.执行对基于运动被摄体或边缘的过校正的对策的校正处理的示例]执行高光溢出校正。

返回图37，将继续对成像装置200的配置和处理的描述。

如上所述，高光溢出校正处理单元204根据[4.高光溢出校正处理的实施例]那一节中描述的以下高光溢出校正处理中的任何处理方式执行高光溢出校正处理，即

4-1.使用数学模型的基本高光溢出校正处理的示例

4-2.利用数学模型执行过校正对策的高光溢出校正处理的示例

4-3.利用数学模型执行迭代校正的处理示例

4-4.基于诸如LUT之类的预先获取的数据的校正处理的示例

4-5.使用不同校正技术的组合的高光溢出校正处理

4-6.执行对基于运动被摄体或边缘的过校正的对策的校正处理的示例

高光溢出校正图像206作为高光溢出校正的结果被生成并被输出到HDR(宽动态范围图像)组合处理单元207.

HDR(宽动态范围图像)组合处理单元207利用图像中包括的长时间曝光像素(高灵敏度像素)和短时间曝光像素(低灵敏度像素)执行组合处理以生成宽动态范围图像。

HDR(宽动态范围图像)组合处理单元207的详细配置的示例在图40中示出。

高灵敏度全频带信号生成单元301和低灵敏度全频带信号生成单元302仅利用附近的像素生成包含高频成分的G像素的像素全频带信号。当执行此全频带信号生成处理时，使用线性插补或边缘方向判定。例如，图41中所示的7×7像素之中的中心像素Bb44是关注像素，并且示出用于通过线性插补生成关注像素位置处的G像素的全频带信号的式子：

Gb＝(3·Gb34+2·Gb43+2·Gb45+Gb74)/8…(式32)

Gd＝(4·Gd54+Gd23+Gd25)/6           …(式33)

高灵敏度全频带信号生成单元301根据式32生成G像素的高灵敏度全频带信号。

低灵敏度全频带信号生成单元302根据式33生成G像素的低灵敏度全频带信号。

高灵敏度低频信号生成单元303和低灵敏度低频信号生成单元304也通过利用关注像素的周边像素的处理生成低频信号。图41中所示的7×7像素之中的中心像素Bb44是关注像素，并且示出用于生成与关注像素位置处的Rb、Gb、Bb、Rd、Gd和Bd相对应的低频信号mRb、mGb、mBb、mRd、mGd和mBd的式子。

利用周边像素生成仅包含低频成分的各个R、G和B信号。

mRb＝∑(Crbij×Rbij)/∑Crbij     …(式34)

mGb＝∑(Cgbij×Gbij)/∑Cgbij     …(式35)

mBb＝∑(Cbbij×Bbij)/∑Cbbij     …(式36)

mRd＝∑(Crdij×Rdij)/∑Crdij     …(式37)

mGd＝∑(Cgdij×Gdij)/∑Cgdij     …(式38)

mBd＝∑(Cbdij ×Bdij)/∑Cbdij    …(式39)

其中Crbij、Cgbij、Cbbij、Crdij、Cgdij和Cbdij表示系数。

高灵敏度低频信号生成单元303根据式34、35和36生成与关注像素位置处的Rb、Gb和Bb相对应的低频信号mRb、mGb和mBb。

低灵敏度低频信号生成单元304根据式37、38和39生成与关注像素位置处的Rd、Gd和Bd相对应的低频信号mRd、mGd和mBd。

接下来，将描述HDR全频带信号生成单元305和HDR低频信号生成单元306的配置和处理。

图42是示出HDR全频带信号生成单元305的配置的示例的图。

HDR全频带信号生成单元305组合由高灵敏度全频带信号生成单元301生成的G高灵敏度图像和由低灵敏度全频带信号生成单元302生成的G低灵敏度图像以生成HDR图像。

灵敏度比率R 401表示低灵敏度图像与高灵敏度图像的灵敏度比率或者曝光时间的比率。通过将低灵敏度图像乘以灵敏度比率R 401而获得的灵敏度调整低灵敏度和高灵敏度图像被输入到混合处理单元404并被其混合。

混合处理单元404根据由混合比率计算单元403计算出的混合比率执行对与低灵敏度图像和高灵敏度图像相对应的像素的混合处理。

混合比率计算单元403根据处理对象像素(关注像素)的明亮度设定混合比率并将混合比率输出到混合处理单元404。

具体而言，当关注像素明亮时，高灵敏度像素Gd饱和并且混合比率被确定成使得未饱和的低灵敏度像素Gd的权重增大。当关注像素较暗时，低灵敏度像素Gd被掩埋在噪声中并且混合比率被确定成使得噪声较少的高灵敏度像素Gd的权重增大。

当图42中所示的处理配置被表示为式子时，该处理配置可被描述如下：

If(Gb＜T)

G＝Gb

Else

G＝Gd×R

HDR低频信号生成单元306也对以下信号组合执行与参考图42所述相同的处理。

mRb和mRd的处理，

mGb和mGd的处理，以及

mBb和mBd的处理。

相关处理单元307执行利用G高频成分生成R和B信号的处理。例如，根据以下式子(式40和41)利用G的高频成分生成R和B信号：

R＝mR×G/mG    …(式40)

B＝mB×G/mG    …(式41)

返回图37，将继续对成像装置20的配置和处理的描述。

由HDR组合处理单元207生成的HDR图像208被输入到阶调转换单元209，并且阶调转换处理被执行。具体而言，例如，执行减少HDR图像208的每个像素的构成比特的数目的处理，例如将10比特数据设定成8比特数据的处理。

此处理是作为用于转换到在下一级的相机信号处理单元210中能够处理的比特数目的处理而执行的处理。

相机信号处理单元210执行一般相机信号处理，例如诸如白平衡调整处理或伽玛校正处理之类的信号处理，以生成并输出输出图像211。

[5-2.成像装置的配置示例2]

接下来，将参考图43描述成像装置的第二配置示例。

在图43中所示的成像装置500中，参考图37描述的成像装置200的高光溢出校正处理单元204和HDR组合处理单元207被配置为一个综合处理单元504。

通过此配置，高光溢出校正处理和HDR组合处理作为共同的处理被一起执行，并且计算时间或硬件实现成本可得以缩减。

成像装置500经由透镜501接收被摄体光并且将被摄体光输入到图像传感器502。

图像传感器502例如是其曝光能够被控制以使得像素具有不同曝光时间的图像传感器，如以上参考图8所述。从控制单元509输入曝光控制信号。

在图像传感器502中通过光电转换处理生成的每个像素的信号作为传感器图像503被输入到综合处理单元504.

综合处理单元504执行高光溢出校正和高动态范围(HDR)图像生成处理。

图44示出了综合处理单元504的具体示例。

对于高光溢出校正，所有灵敏度和颜色数据都是必要的。然而，这里利用由高灵敏度低频信号生成单元603和低灵敏度低频信号生成单元604生成的低频信号mRb、mGb、mBb、mRd、mGd和mBd来执行高光溢出校正。

高灵敏度全频带信号生成单元601和低灵敏度全频带信号生成单元602仅利用附近的像素生成也包含高频成分的G像素的像素全频带信号。

高灵敏度全频带信号生成单元601根据上述式32生成G像素的高灵敏度全频带信号。

低灵敏度全频带信号生成单元602根据上述式33生成G像素的低灵敏度全频带信号。

高灵敏度低频信号生成单元603和低灵敏度低频信号生成单元604也通过利用关注像素的周边像素的处理生成低频信号。

根据上述的式34至39生成低频信号mRb、mGb、mBb、mRd、mGd和mBd。

校正处理单元605是用于执行与上述图38中所示的校正处理单元254相同的高光溢出校正的校正处理单元，并且利用由高灵敏度低频信号生成单元603和低灵敏度低频信号生成单元604生成的低频信号mRb、mGb、mBb、mRd、mGd和mBd执行高光溢出校正。

图44中所示的其他组件执行与参考图40描述的各个组件相同的处理。

HDR全频带信号生成单元606和HDR低频信号生成单元607和608基于各个输入信号生成宽动态范围图像。

相关处理单元609执行利用G高频成分生成R和B信号的处理。例如，根据上述式子(式40和41)利用G高频成分生成R和B信号。

在以上参考图37及其后的图描述的第一配置示例中，在高光溢出校正处理和HDR组合处理中都必须要使用线存储器(line memory)。另一方面，在图43和44所示的配置示例中，有这样的优点，即只需要有用于HDR组合处理的线存储器。

图45示出了与图44中一样执行HDR组合和高光溢出校正处理的综合处理单元504的另一配置示例。

图44中所示的综合处理单元504对低频信号mRb、mGb、mBb、mRd、mGd和mBd执行高光溢出校正。另一方面，图45中所示的综合处理单元504具有如下配置，其中相关处理单元611和612生成各个颜色的全频带频率信号Rb、Gb、Bb、Rd、Gd和Bd一次，并将全频带频率信号Rb、Gb、Bb、Rd、Gd和Bd输入到用于执行高光溢出校正的校正处理单元605，并且高光溢出校正被基于输入信号来执行。

图46示出了与图44和45中一样执行HDR组合和高光溢出校正处理的综合处理单元504的另一配置示例。

图46中所示的配置是以最低成本执行高光溢出校正和HDR组合处理的配置示例。

当作为来自图像传感器的输出的传感器图像503具有例如图8(A)的布置时，高灵敏度像素和低灵敏度像素每两行被切换。也就是说，当两个像素被组合以生成HDR图像时，必须要将两条线的像素值数据蓄积在存储器中并执行中。两条线的像素值数据被存储在线存储器620中。

存储在图46中所示的线存储器620中并被延迟的线的像素值数据例如作为图46中所示的上方线图像621和中心图像622被输入到高光溢出校正单元624，并且并行地，下方线图像623作为传感器图像503被实时输入到高光溢出校正单元624。

图47是示出高光溢出校正单元624的输入/输出关系的图。

左侧示出了图像传感器的输出，中间示出了到高光溢出校正单元624的三条线的输入数据，并且右端示出了最终生成的HDR图像的像素值。

HDR图像可通过组合具有不同灵敏度的相同颜色像素来生成，但高光溢出校正是在其前部执行的。

如以上校正方法中所示，当执行对像素的高光溢出校正时，必须要参考对该像素施加高光溢出的影响的颜色像素的低灵敏度像素。然而，在图47中，难以获取低灵敏度像素。

例如，当校正图47的下部的G像素时，希望获取低灵敏度R像素的信息。然而，由于在图47的下部的线3中不包括低灵敏度R像素，所以难以实现此处理。

在此情况下，基于另外像素的像素值来估计低灵敏度R像素的像素值Rd。也就是说，图46中所示的高光溢出校正单元624根据以下式子执行估计处理：

Rd_est＝Gd×WbR/WbG

根据此式，估计低灵敏度R像素的像素值(Rd_est)。

其中，WbR表示R的白平衡系数，并且

WbG表示G的白平衡系数。

通过执行这样的处理，高光溢出校正在无彩色的状态中正常工作。也就是说，即使是利用像图46中所示的综合处理单元504那样的具有用于两条线的存储器620的配置，也能够执行高光溢出校正。

图48是图示在图46中所示的高光溢出校正单元624中配置的像素生成单元的处理示例的图。

图48(A)示出了与图47的上部的处理相对应的处理示例，其中生成线3数据中不包括的Bb像素，并且图48(B)示出了与图47的下部的处理相对应的处理示例，其中生成线3数据中不包括的Rd像素。

图46中所示的高光溢出校正单元624的输出作为上方线图像625和下方线图像626被输入到HDR组合处理单元627。在HDR组合处理单元627中，通过应用了具有高光溢出校正后的不同灵敏度的像素的像素组合处理来生成并输出高动态范围(HDR)图像505。

[6.其他实施例：基于除高光溢出以外的传感器特性的图像的校正]

在上述实施例中，主要描述了对由于高光溢出引起的传感器的非线性特性进行校正的处理。然而，利用本公开的方法可以校正除高光溢出以外的非线性。

例如，作为传感器的非线性特性，有如图49中所示的拐点特性。此特性指的是这样一种特性：其中，随着电荷被蓄积在像素中并且接近饱和状态，逐渐变得难以蓄积电荷，如图49中所示。利用根据本公开的获取理想特性的方法、使用LUT的方法或者近似，也可校正由这种拐点特性引起的非线性特性。

另外，本公开的配置也可应用到混色校正。

混色是由滤色器的特性或像素之间的串扰引起的。

通过对具有这种混色的图像执行根据本公开的理想特性的获取和利用理想特性根据上述式9的计算，可校正混色。

本实施例中的成像装置包括例如用于输出来自长时间曝光像素的高灵敏度像素信号和来自短时间曝光像素的低灵敏度像素信号的图像传感器，以及用于接收来自图像传感器的输出像素信号并执行像素信号的校正的校正处理单元。校正处理单元根据来自图像传感器的输入像素值与理想像素值之间的差异或比率执行对来自图像传感器的输入像素的像素值的校正，其中理想像素值是根据去到图像传感器的入射光的量和输出值的理想线性特性的。

校正处理单元通过应用根据理想线性特性的理想像素值来校正来自图像传感器的输入像素值中包含的非线性特性。更具体而言，校正处理单元从存储单元获取通过多次执行摄影处理获取的图像传感器的理想像素值或者适用于基于理想像素值的经校正像素值计算的查找表(LUT)，并且执行像素值校正。

[7.对本公开的配置的总结]

以上参考具体实施例描述了本公开的配置。然而，本领域的技术人员应当理解，在本公开的主旨内可发生各种修改、组合、子组合和变更。也就是说，本公开是以示例方式公开的，而不应被按限制意义来解释。应当考虑权利要求来确定本公开的主旨。

此外，本技术也可如下配置。

(1)一种成像装置，包括：

图像传感器，用于输出来自长时间曝光像素的高灵敏度像素信号和来自短时间曝光像素的低灵敏度像素信号；以及

高光溢出校正处理单元，用于接收来自所述图像传感器的输出像素信号并执行对像素信号的高光溢出校正，

其中，所述高光溢出校正处理单元根据来自所述图像传感器的输入像素值与未受高光溢出影响的理想像素值之间的差异或比率执行对来自所述图像传感器的输入像素的像素值校正。

(2)根据(1)所述的成像装置，其中：

所述高光溢出校正处理单元包括：

高光溢出量估计单元，用于利用从所述图像传感器输入的低灵敏度像素信号来估计与来自作为高光溢出校正对象的关注像素附近的像素的电荷泄漏相当的高光溢出量；以及

计算单元，用于从来自所述图像传感器的输入像素值中减去由所述高光溢出量估计单元估计的高光溢出量。

(3)根据(1)或(2)所述的成像装置，其中：

所述高光溢出校正处理单元包括：

高光溢出量估计单元，用于基于所述图像传感器的像素布置和考虑了所述图像传感器的高灵敏度像素和低灵敏度像素的曝光控制样式的数学模型来计算与来自作为高光溢出校正对象的关注像素附近的像素的电荷泄漏相当的高光溢出量。

(4)根据(1)至(3)中的任何一项所述的成像装置，其中：

所述高光溢出校正处理单元包括：

信号生成单元，用于生成与作为高光溢出校正对象的关注像素的像素位置相对应的每种颜色的高灵敏度像素值和低灵敏度像素值；以及

校正处理单元，用于接收由所述信号生成单元生成的信号并执行对所述关注像素的高光溢出校正。

(5)根据(1)至(4)中的任何一项所述的成像装置，其中：

所述高光溢出校正处理单元通过应用表格来执行对来自所述图像传感器的输入像素的像素值校正，其中在该表格中来自所述图像传感器的输入像素值与未受高光溢出影响的理想像素值相关联。

(6)根据(1)至(5)中的任何一项所述的成像装置，其中：

所述高光溢出校正处理单元通过应用表格来估计来自所述图像传感器的输入像素中包含的高光溢出量，其中在该表格中来自所述图像传感器的输入像素值与该输入像素值和未受高光溢出影响的理想像素值之间的差异相关联。

(7)根据(1)至(6)中的任何一项所述的成像装置，其中：

所述高光溢出校正处理单元包括：

高光溢出量估计单元，用于利用从所述图像传感器输入的低灵敏度像素信号来估计与来自作为高光溢出校正对象的关注像素附近的像素的电荷泄漏相当的高光溢出量；

乘法单元，用于将由所述高光溢出量估计单元估计的高光溢出量乘以预定的衰减参数以计算衰减高光溢出量；以及

计算单元，用于从来自所述图像传感器的输入像素值中减去由所述乘法单元计算出的衰减高光溢出量。

(8)根据(1)至(7)中的任何一项所述的成像装置，其中：

所述高光溢出校正处理单元利用从所述图像传感器输入的低灵敏度像素信号来估计与来自作为高光溢出校正对象的关注像素附近的像素的电荷泄漏相当的高光溢出量，并且利用通过减去基于该估计结果的高光溢出量而获得的低灵敏度像素信号来再次执行对高光溢出量的估计。

(9)根据(1)至(8)中的任何一项所述的成像装置，其中：

所述高光溢出校正处理单元包括用于判定作为高光溢出校正对象的关注像素是否是运动区域的运动检测单元，并且根据所述运动检测单元的检测信息改变高光溢出校正方式。

(10)根据(1)至(9)中的任何一项所述的成像装置，其中：

所述高光溢出校正处理单元包括用于判定作为高光溢出校正对象的关注像素是否是边缘区域的边缘检测单元，并且根据所述边缘检测单元的检测信息改变高光溢出校正方式。

(11)根据(1)至(10)中的任何一项所述的成像装置，其中：

所述高光溢出校正处理单元包括过校正对策单元，用于在作为高光溢出校正对象的关注像素是运动区域或边缘区域时减小与该关注像素相对应的估计高光溢出量。

(12)根据(1)至(11)中的任何一项所述的成像装置，其中：

所述高光溢出校正处理单元判定输入像素值是否饱和并且在输入像素值是饱和值时不执行高光溢出校正。

(13)根据(1)至(12)中的任何一项所述的成像装置，还包括：

高动态范围HDR图像生成单元，用于接收由所述高光溢出校正处理单元生成的高光溢出校正图像以生成宽动态范围图像。

(14)一种成像装置，包括：

图像传感器，用于输出来自长时间曝光像素的高灵敏度像素信号和来自短时间曝光像素的低灵敏度像素信号；以及

校正处理单元，用于接收来自所述图像传感器的输出像素信号并对像素信号执行校正，

其中，所述校正处理单元根据来自所述图像传感器的输入像素值与理想像素值之间的差异或比率执行对来自所述图像传感器的输入像素的像素值校正，该理想像素值是根据去到所述图像传感器的入射光的量与输出值的理想线性特性的。

(15)根据(14)所述的成像装置，其中：

所述校正处理单元通过应用根据所述理想线性特性的理想像素值来校正来自所述图像传感器的输入像素值中包含的非线性特性。

(16)根据(14)或(15)所述的成像装置，其中：

所述校正处理单元从存储单元获取通过多次执行摄影处理获取的所述图像传感器的理想像素值或者适用于基于该理想像素值的经校正像素值计算的查找表LUT，并且执行像素值校正。

另外，在上述装置等中执行的处理方法以及执行处理的程序也落在本公开的配置内。

本说明书中描述的处理的系列可用硬件、软件或这两者来执行。当用软件来执行处理的系列时，其上记录有处理序列的程序可被安装在嵌入于专用硬件中的计算机内的存储器上并被执行，或者程序可被安装在能够执行各种处理的通用计算机上并被执行。例如，程序可被预先记录在记录介质上。除了被从记录介质安装在计算机上以外，程序也可在经由诸如因特网之类的网络被接收到之后被安装在诸如内置硬盘之类的记录介质上。

注意，本说明书中描述的各种类型的处理不仅可如所述那样按时间序列执行，而且也可根据执行处理的装置的处理容量或者根据需要并行或单独执行。另外，本说明书中的系统不限于是逻辑上聚集全都包含在同一壳体内的多个装置的系统。

如上所述，根据本公开的实施例的配置，实现了用于实现对一次拍摄型宽动态范围拍摄图像的非常准确的高光溢出校正的装置和方法。

具体而言，接收来自输出高灵敏度像素信号和低灵敏度像素信号的图像传感器的输出像素信号，并且执行对像素信号的高光溢出校正。校正处理单元根据来自图像传感器的输入像素值与未受高光溢出影响的理想像素值之间的差异或比率执行输入像素的像素值校正。例如，利用低灵敏度像素信号估计与来自校正对象像素附近的像素的电荷泄漏相当的高光溢出量，并从输入像素值中减去估计的高光溢出量。具体而言，执行使用数学模型或LUT的处理。

根据本公开的配置，通过抑制遭受高光溢出的像素的高光溢出量来校正由高光溢出引起的非线性，从而实现正确的颜色再现，准确地表示图像阶调，并改善图像质量。

本领域的技术人员应当理解，取决于设计要求和其他因素，可以进行各种修改、组合、子组合和变更，只要它们处于所附权利要求或其等同物的范围之内即可。

本公开包含与2011年8月4日向日本专利局提交的日本优先权专利申请JP 2011-171040中公开的主题相关的主题，特此通过引用将该申请的全部内容并入。

Claims (18)

1.一种成像装置，包括：

图像传感器，用于输出来自长时间曝光像素的高灵敏度像素信号和来自短时间曝光像素的低灵敏度像素信号；以及

高光溢出校正处理单元，用于接收来自所述图像传感器的输出像素信号并执行对像素信号的高光溢出校正，

其中，所述高光溢出校正处理单元根据来自所述图像传感器的输入像素值与未受高光溢出影响的理想像素值之间的差异或比率执行对来自所述图像传感器的输入像素的像素值校正。

2.根据权利要求1所述的成像装置，其中：

所述高光溢出校正处理单元包括：

高光溢出量估计单元，用于利用从所述图像传感器输入的低灵敏度像素信号来估计与来自作为高光溢出校正对象的关注像素附近的像素的电荷泄漏相当的高光溢出量；以及

计算单元，用于从来自所述图像传感器的输入像素值中减去由所述高光溢出量估计单元估计的高光溢出量。

3.根据权利要求1所述的成像装置，其中：

所述高光溢出校正处理单元包括：

高光溢出量估计单元，用于基于所述图像传感器的像素布置和考虑了所述图像传感器的高灵敏度像素和低灵敏度像素的曝光控制样式的数学模型来计算与来自作为高光溢出校正对象的关注像素附近的像素的电荷泄漏相当的高光溢出量。

4.根据权利要求1所述的成像装置，其中：

所述高光溢出校正处理单元包括：

信号生成单元，用于生成与作为高光溢出校正对象的关注像素的像素位置相对应的每种颜色的高灵敏度像素值和低灵敏度像素值；以及

校正处理单元，用于接收由所述信号生成单元生成的信号并执行对所述关注像素的高光溢出校正。

5.根据权利要求1所述的成像装置，其中：

所述高光溢出校正处理单元通过应用表格来执行对来自所述图像传感器的输入像素的像素值校正，其中在该表格中来自所述图像传感器的输入像素值与未受高光溢出影响的理想像素值相关联。

6.根据权利要求1所述的成像装置，其中：

所述高光溢出校正处理单元通过应用表格来估计来自所述图像传感器的输入像素中包含的高光溢出量，其中在该表格中来自所述图像传感器的输入像素值与该输入像素值和未受高光溢出影响的理想像素值之间的差异相关联。

7.根据权利要求1所述的成像装置，其中：

所述高光溢出校正处理单元包括：

高光溢出量估计单元，用于利用从所述图像传感器输入的低灵敏度像素信号来估计与来自作为高光溢出校正对象的关注像素附近的像素的电荷泄漏相当的高光溢出量；

乘法单元，用于将由所述高光溢出量估计单元估计的高光溢出量乘以预定的衰减参数以计算衰减高光溢出量；以及

计算单元，用于从来自所述图像传感器的输入像素值中减去由所述乘法单元计算出的衰减高光溢出量。

8.根据权利要求1所述的成像装置，其中：

所述高光溢出校正处理单元利用从所述图像传感器输入的低灵敏度像素信号来估计与来自作为高光溢出校正对象的关注像素附近的像素的电荷泄漏相当的高光溢出量，并且利用通过减去基于该估计结果的高光溢出量而获得的低灵敏度像素信号来再次执行对高光溢出量的估计。

9.根据权利要求1所述的成像装置，其中：

所述高光溢出校正处理单元包括用于判定作为高光溢出校正对象的关注像素是否是运动区域的运动检测单元，并且根据所述运动检测单元的检测信息改变高光溢出校正方式。

10.根据权利要求1所述的成像装置，其中：

所述高光溢出校正处理单元包括用于判定作为高光溢出校正对象的关注像素是否是边缘区域的边缘检测单元，并且根据所述边缘检测单元的检测信息改变高光溢出校正方式。

11.根据权利要求1所述的成像装置，其中：

所述高光溢出校正处理单元包括过校正对策单元，用于在作为高光溢出校正对象的关注像素是运动区域或边缘区域时减小与该关注像素相对应的估计高光溢出量。

12.根据权利要求1所述的成像装置，其中：

所述高光溢出校正处理单元判定输入像素值是否饱和并且在输入像素值是饱和值时不执行高光溢出校正。

13.根据权利要求1所述的成像装置，还包括：

高动态范围HDR图像生成单元，用于接收由所述高光溢出校正处理单元生成的高光溢出校正图像以生成宽动态范围图像。

14.一种成像装置，包括：

图像传感器，用于输出来自长时间曝光像素的高灵敏度像素信号和来自短时间曝光像素的低灵敏度像素信号；以及

校正处理单元，用于接收来自所述图像传感器的输出像素信号并对像素信号执行校正，

其中，所述校正处理单元根据来自所述图像传感器的输入像素值与理想像素值之间的差异或比率执行对来自所述图像传感器的输入像素的像素值校正，该理想像素值是根据去到所述图像传感器的入射光的量与输出值的理想线性特性的。

15.根据权利要求14所述的成像装置，其中：

所述校正处理单元通过应用根据所述理想线性特性的理想像素值来校正来自所述图像传感器的输入像素值中包含的非线性特性。

16.根据权利要求14所述的成像装置，其中：

所述校正处理单元从存储单元获取通过多次执行摄影处理获取的所述图像传感器的理想像素值或者适用于基于该理想像素值的经校正像素值计算的查找表LUT，并且执行像素值校正。

17.一种在成像装置中执行的图像处理方法，其中：

所述成像装置包括：

图像传感器，用于输出来自长时间曝光像素的高灵敏度像素信号和来自短时间曝光像素的低灵敏度像素信号；以及

高光溢出校正处理单元，用于接收来自所述图像传感器的输出像素信号并执行对像素信号的高光溢出校正，并且

所述高光溢出校正处理单元根据来自所述图像传感器的输入像素值与未受高光溢出影响的理想像素值之间的差异或比率执行对来自所述图像传感器的输入像素的像素值校正。

18.一种用于使得成像装置执行图像处理的程序，其中：

所述成像装置包括：

图像传感器，用于输出来自长时间曝光像素的高灵敏度像素信号和来自短时间曝光像素的低灵敏度像素信号；以及

高光溢出校正处理单元，用于接收来自所述图像传感器的输出像素信号并执行对像素信号的高光溢出校正，并且

所述程序使得所述高光溢出校正处理单元根据来自所述图像传感器的输入像素值与未受高光溢出影响的理想像素值之间的差异或比率执行对来自所述图像传感器的输入像素的像素值校正。

Images