CN101385333A - 图像信号处理方法以及图像信号处理设备 - Google Patents

Abstract

本发明可以改进动态范围扩大处理的响应性。本图像信号处理方法包括：第一步骤(ST2)，从构成一个画面的图像信号的像素信号电平的分布中提取分布参数，第二步骤(ST4、ST5)，针对断电，基于提取出的分布参数确定断点的目标值(BP1、BP2等)，其中在断点处图像信号电平的变化相对于入射到成像部分像素上的光量的累积变化的斜率发生变化，以及第三步骤(ST6、ST7)，控制成像部分以获得目标值，并改变图像信号的输出饱和特性。

Description

图像信号处理方法以及图像信号处理设备

技术领域

本发明涉及一种用于扩大从成像部分得到的图像信号的动态范围的信号处理方法，以及一种用于实现该方法的设备。

背景技术

作为照相设备所用的图像传感器，CCD传感器以及CMOS传感器已为人们所熟知。然而，这些固态成像设备的亮度的动态范围小于真实物体亮度的动态范围，因而很容易导致图像质量下降，产生比如所谓“曝光过度”以及“曝光不足”等问题。因此，可以利用对传感器的成像控制以及对由成像传感器得到的传感器输出的信号处理来扩大成像信号的动态范围。

作为这类方法的一种，已知一种方法：预先形成像素，同时根据像素滤波器类型等将像素归类为高敏感度的像素以及低敏感度的像素，通过信号处理根据图像亮度确定主要使用上述像素中的哪些信号，并利用这些像素形成单个图像。此外，已知另一种方法：一次捕获一个画面(一个帧或一个场)的图像，但在输出信号电荷时控制信号电荷的复位电平，并扩大成像信号的动态范围，使溢出量随图像亮度(具体而言，来自每个像素的信号电荷量)变得各不相同(例如，参见专利文献1)。此外，已知一种方法：以不同的成像时间多次捕获单个画面的图像，并对这些图像进行混合，以通过信号处理产生具有大动态范围的图像。(例如，参见专利文献2)

专利文献1:日本专利公开(A)No.10-248035

专利文献2:日本专利公开(A)No.06-141229

发明内容

本发明要解决的问题

上述专利文献2中所描述的方法被称为所谓的“多次曝光”。然而，在该方法中，有必要在确定的成像时间内执行多次成像操作，并根据图像信号标准(1个垂直(V)周期)输出一个画面。此外，混合图像所需的处理负荷很大。还可以在不同的1V周期内执行成像、图像混合以及图像输出。然而，在那样的情况下，处理的响应性降低。

另一方面，上述专利文献1中描述的方法，例如，在采用CMOS传感器的情况下，适当改变以其像素所提供的转移晶体管的导通(ON)时间(存储时间控制)和复位晶体管的栅极电压电平(复位电平)。因此，对于灰暗图像，可以令该时间(成像时间)变长，直至达到复位电平位置，而对于明亮图像，复位电平可以根据亮度逐步作用，引起适当程度的饱和。在这种方法中，对一个画面的成像操作次数是1，并且不需要进行图像混合，因而就这一点而言，这种方法是优选的。

然而，在例如车载照相设备等应用中，照相设备在车辆行驶时检测路面上的白线，并将检测结果用于安全驾驶。

在这样的应用中，如果从隧道内极为灰暗的成像环境转移至隧道外部明亮的成像环境，画面亮度分布整体会发生巨大变化。此外，这种变化是在极短的时间内发生的。在针对这样一种应用的照相设备中，如果在固定时间内固定上述多次曝光的每次曝光的成像时间，以及上述存储时间、复位电平和全部其他控制参数，白线最终将以在隧道内和隧道外中的一种或两种情况下被淹没于噪声电平之中而结束，因此，有时无法进行正确检测。

因此，对于上述控制参数，常规做法是将控制目标从某一固定缺省值增加或降低预定量，以找到合适的控制目标。值得注意的是，上述专利文献1和2并未公开此类控制或可以代替此类控制的控制。

图13(A)示意性地示出了这种控制方法。图13(A)中的横坐标表示控制次数，纵坐标表示输出，具体表示整个画面的亮度指示。

图13(A)中，控制操作0的输出S0的输出电平相对较低。例如，它示出了隧道内的亮度。当环境从这种状态变化为相对明亮的状态(例如隧道外部)时，就用图13(A)中的虚线表示该环境下的控制目标范围。控制目标范围不是作为参数给出的，相反举例而言将目标设定为例如能够可靠地检测到白线的电平。因此，改变后各个环境的控制目标范围也有所不同。控制目标的范围根据整体亮度自适应地进行改变。

在这种情况下，控制操作0的输出S0还随隧道中的灯光等发生变化，因而执行控制，以通过第一控制操作中的缺省控制量来扩大动态范围。假设由此获得的控制操作1的输出S1超过了控制目标范围。输出S1是否超过控制目标范围是通过画面整体亮度信息(例如亮度的积分值)进行检测的。

在接下来的第二次控制操作中，改变控制量以在某种程度上防止发生曝光过度，并再次执行用于扩大动态范围的控制。假设由此获得的控制操作2的输出S2稍稍低于控制目标范围。

随后，在接下来的第三次控制操作3中，改变控制量以在某种程度上防止发生曝光不足，并再次执行用于扩大动态范围的控制。在本示例中，由此获得的控制操作3的输出S3第一次进入控制目标范围。由此，完成了适当的曝光控制。

然而，采用观察控制后的结果马上确定下一控制量(控制目标)的方法，得到的响应性对于比如车载应用等成像环境的亮度迅速变化的应用而言是不够的。

本发明的目标是提供一种包括用于确定适用于改进动态范围扩大处理的响应性的控制目标的技术的图像信号处理方法，以及一种用于实现这一目的的设备。

解决问题的方法

根据本发明的第一图像信号处理方法是一种用于扩大从成像部分获得的图像信号的动态范围的图像信号处理方法，其特征在于，包括：第一步骤，从构成一个画面的图像信号的像素信号电平的分布中提取分布参数；第二步骤，根据提取出的分布参数确定断点的目标值，其中在断点处图像信号电平的变化相对于入射到成像部分像素上的光量的累积变化的斜率发生改变；以及第三步骤，通过控制成像部分获得目标值，改变图像信号的输出饱和特性。

在本发明中，优选情况下，分布参数包括一个画面中的像素信号电平的最小值，目标值包括指示将最小值作为分布的起始点的第一区域的最大值的第一目标值，第一步骤提取分布的像素信号电平的平均值，第二步骤在以平均值为中心的预定范围内设置第一目标值。

根据本发明的第二图像信号处理方法是用于扩大从成像部分获得的图像信号的动态范围的图像信号处理方法，其特征在于，包括：第一步骤，从构成一个画面的图像信号的像素信号电平的分布中提取包括最小值在内的分布参数；第二步骤，基于提取出的分布参数确定指示将最小值作为分布的起始点的第一区域的最大电平的第一目标值；第三步骤，利用已确定的作为起始点的目标值确定另一目标值；以及第四步骤，在最小值到第一目标值的范围间对第一区域的分布进行压缩或扩展，同时在相应目标值之间的范围内对另一区域的分布进行压缩或扩展。

根据本发明的第一图像信号处理设备是一种用于扩大从成像部分获得的图像信号的动态范围的图像信号处理设备，其特征在于，包括：参数提取部分，用于从构成一个画面的图像信号的像素信号电平的分布中提取分布参数；目标设置部分，用于基于提取出的分布参数确定断点的目标值，其中在断点处图像信号电平的变化相对于入射到成像部分像素上的光量的累积变化的斜率发生改变；以及控制部分，用于控制成像部分，以便获得目标值，并改变图像信号的输出饱和特性。

在本发明中，优选情况下，分布参数包括一个画面中的像素信号电平的最小值，目标值包括指示将最小值作为分布的起始点的第一区域的最大值的第一目标值，参数提取部分提取分布的像素信号电平的平均值，以及目标设置部分在以平均值为中心的预定范围内设置第一目标值。

根据本发明的第二图像信号处理设备是一种用于扩大从成像部分获得的图像信号的动态范围的图像信号处理设备，其特征在于，包括：柱状图生成部分，用于分布构成存储器中一个画面的图像信号的像素信号电平的分布的柱状图；参数提取部分，用于从分布的柱状图中提取包括最小值在内的分布参数；目标设置部分，用于基于提取出的分布参数确定指示将最小值作为分布的起始点的第一区域的最大电平的第一目标值，并利用已确定的目标值作为起始点来确定另一目标值；以及信号处理部分，用于在从最小值到第一目标值范围内对第一区域的分布进行压缩或扩展，同时在相应的目标值之间的范围内对另一区域的分布进行压缩或扩展。

发明效果

根据本发明，具有动态范围扩大处理的响应性较高的优点。

附图说明

[图1]根据本发明实施例的照相设备的框图。

[图2]根据本发明实施例的成像元件的配置的视图。

[图3](A)至(D)是根据本发明实施例的成像时的周期与信号的关系。图(E)是示出了根据本发明实施例的饱和电平随时间的变化趋势。

[图4]根据本发明实施例的读取信号时的电压控制的示意图。

[图5](A)是根据本发明实施例的饱和电平随时间变化趋势的放大图，(B)是示出了本发明实施例中的入射光强度与信号电平的关系的折线控制图。

[图6]根据本发明实施例的图像信号处理部分的功能框图。

[图7]根据本发明实施例的动态范围扩大处理的流程图。

[图8]示出了根据本发明实施例的柱状图。

[图9](A)是本发明实施例中的当画面上存在少量明亮部分时的柱状图，(B)是折线控制图。

[图10](A)是在本发明实施例中的当画面上存在大量明亮部分时的柱状图，(B)是折线控制图。

[图11](A)至(C)是示出了可用于本发明实施例的边沿检测方法。

[图12](A)和(B)是示出了检测信号St与噪声以及饱和电平之间的关系的图。

[图13](A)是示意性地示出了传统控制的图，(B)是示意性地示出了本发明应用于其中的控制方法的图。

[图14](A)至(C)示出了夜间和日间的白线边沿的检测电平的图。

标记说明

2  A/D转换部分

3  图像信号处理部分

4  控制部分

5  图像存储器

6  寄存器

10 成像元件

11 复位晶体管

12 转移晶体管

11 A、12A势垒

13 放大晶体管

14 垂直信号线

20 垂直驱动电路

21 像素

22 水平驱动电路

34 柱状图生成装置

35 参数提取装置

36 目标设置装置

37 信号处理装置

32、33、38、39 电荷存储线

40 柱状图数据

41 表示像素数目累积值的曲线

VT 转移电压

VSC 饱和控制电压

VAA 供电电压

Vpix. 图像信号

V1 第一饱和电压

V2 第二饱和电压

V3 第三饱和电压

V4 第四饱和电压

Ae 所存储的电荷量

BP1至BP3 断点

具体实施方式

图1示出了配备有(具有)本实施例的图像信号处理设备(例如图像信号处理IC)的照相设备的基本配置。

所示照相设备包括：配备有成像元件10以及光学部分1A的成像部分1；A/D转换部分2，用于将来自成像元件10的信号转换为数字信号；图像信号处理部分3，用于对经A/D转换后的数字信号进行各种处理；图像存储器5，用于以例如1个帧或1个场为单位存储图像信号处理所用的图像信号；寄存器6，用于保存图像信号处理所需的各类参数；以及控制部分4，用于通过包括定时控制在内的控制来控制其他部分。

图像信号处理部分3执行各种处理，例如：除了诸如白平衡调整、内插处理以及v(伽马)处理等一般处理之外的扩大捕获的(获得的)图像的动态范围的处理。图像信号处理部分3将经处理后的图像作为比例如RGB和YUV图像信号予以输出。

在上述部分之中，成像部分1、A/D转换部分2、图像存储器5以及寄存器6是只能通过硬件实现的部分，而图像信号处理部分3以及控制部分4是可以部分或全部作为软件功能实现的部分。其中，对控制部分4进行定时控制的时钟或脉冲发生功能通常通过硬件实现。此外，在图像信号处理部分3中，通常希望通过硬件实现获得实时处理性能所需的任意功能。如果通过包括DSP(数字信号处理器)的ASIC(专用集成电路)配置图像信号处理部分3，则能够以高于所谓的微处理器的CPU的速度执行处理，因而这种方式是理想的。

值得注意的是，本照相设备的应用不受局限，然而作为一种需要具有特别出色的响应性的动态范围扩大处理的应用，可以在车辆上安装这种设备。以下说明是以要安装在车辆上的照相设备为依据的。此外，还基于通过包括DSP的ASIC配置图像信号处理部分3的假设。

本实施例的动态范围扩大处理的特征在于，在成像后进行信号处理。成像元件结构以及成像方法基本上可以是任意结构及方法。然而，成像元件必需获得适于进行信号处理的输出。下面，将说明用于获得适于进行信号处理的输出(成像信号)的元件结构的示例以及成像方法的示例。

图2示出了成像元件10的一部分的结构。

本示例的成像元件10配备有由所谓的CMOS传感器构成的成像部分及其外围电路。图2所示的部分示出了构成成像部分的一个像素21的电路配置以及与用于控制像素21的读取时间的垂直驱动电路20间的连接。

每个像素21具有三个晶体管(此处为NMOS)11、12和13以及光电二极管PD。

上述三个晶体管是由下列元件配置的：复位晶体管11，用于将存储节点SN从悬浮状态切换到与供电线路17的连接状态，以便用供电电压VAA为存储节点SN充电，并将其存储的电荷量复位；转移晶体管12，用于将在光电二极管PD处生成的电荷(通常为电子)转移至复位后再次处于悬浮状态的存储节点SN；以及放大晶体管13，其漏极连接至供电线路17，根据转移至存储节点SN的存储电荷对像素信号进行放大，并向垂直信号线14输出同一像素信号。

复位晶体管11将其漏极连接至供电线路17，将其源极连接至存储节点SN，以及将其栅极连接至用于控制饱和控制电压VSC以及复位电压VRT的应用的第一条控制线路15。其中，转移晶体管12将其漏极连接至存储节点SN，将其源极连接至形成光电二极管PD阴极的半导体锗掺杂区(未示出)，以及将其栅极连接至用于控制转移电压VT的应用时间(成像时间)的第二条控制线路16。放大晶体管13将其漏极连接至供电线路17，将其源极连接至垂直信号线14，以及将其栅极连接至存储节点SN。

成像部分是由几百至几千个在水平和垂直方向上排列着的这样的像素21配置而成的。

在像素部分的外围配备了用于为上述第一和第二条控制线路15和16提供各种电压的垂直驱动电路20。此外，为了例如噪声消除和参考电平的钳位、将读出并送往垂直信号线14的信号转换为时序信号、以及读取转换后的信号，还在像素部分的外围配备了用于处理这一像素信号的水平驱动电路22。此外，还在成像元件10内配备了用于控制垂直或水平驱动电路的定时控制电路。定时控制电路受控于图1的控制部分4，并执行稍后将予以说明的饱和控制以及成像时间控制。控制部分4对垂直驱动电路20等加以控制，并从像素部分中读取信号。当成像元件10受上述控制捕获(获得)了物体的图像，则通过成像元件10的输出端将来自水平驱动电路22的信号(成像信号)输出至成像元件10外部。

值得注意的是，像素21的配置不局限于图1中的配置。像素21可以是配备有与放大晶体管13串联的选择晶体管的四晶体管型像素。此外，还可以利用不同的线路对放大晶体管13和复位晶体管11进行供电。此外，垂直驱动电路20可以开启或关闭对上述晶体管的供电。简而言之，可以通过以使得能够对送往存储节点SN和垂直信号线14的像素信号执行输出控制的方式连接的至少三个晶体管11至13以及光电二极管PD来配置像素21。

将成像元件10的成像信号输出发送至图1的A/D转换部分2，成像信号在A/D转换部分2中被转换成数字信号，随后，由图像信号处理部分3对其执行预定的信号处理。

成像方法可以是利用在预定时段内多次捕获同一物体图像的所谓多次曝光的方法以及在曝光时逐步改变复位电平的方法中的任意一种。

在多次曝光方法中，成像时间以及饱和电平是针对每次成像操作分别设置的。稍后将对上述成像时间以及饱和电平的设置予以详细说明。一般而言，如果将成像时间调短，那么即使出现强光(图像的光亮部分)，传感器输出也不会饱和，因而能够避免或者抑制所谓“曝光过度”。另一方面，如果将成像时间调长，那么即使出现弱光(图像的灰暗部分)传感器输出的敏感度也能被调得相对较大，因而能够避免或者抑制所谓“曝光不足”。另外，在将饱和电平调小时，传感器输出很容易发生饱和。然而，这能够扩大信号电平相对于饱和电平的相对幅度。反之，在将饱和电平调高时，传感器输出变得难以饱和。然而，信号电平相对于饱和电平的相对幅度变小。

因此，在根据目前在多次成像操作中所捕获的物体的亮度级分布来优化每次成像操作的成像时间以及饱和电平，并根据得到的多个成像信号产生(混合)一个画面时，有可能获得高动态范围的图像，其中，高亮度部分(明亮部分)不出现饱和，并且灰度表现更加丰富，另外，低亮度部分(灰暗部分)的灰度表现也更加丰富。

另一方面，在曝光时逐步改变复位电平的方法中，一个画面的成像操作是一次。根据转移晶体管12的开启时间控制成像时间，用复位晶体管11逐步控制复位电平(饱和电平)。

本示例的车载照相设备的特征在于动态范围扩大处理方法。在下文中，将对动态范围扩大处理的配置以及操作加以说明。这里，将对上述两种方法中逐步控制复位电平的后一种情况加以说明。

图3是用于说明逐步控制复位电平的方法的信号时序图。此外，图4示意性地示出了从图2中的像素21中读取成像信号时的电压控制。

在图3中，(A)示出了一个帧周期，图3的(B)示出了输出数据的示意波形。此外，图3的(C)示出了对从光电二极管PD向像素的存储节点SN输出电荷执行的存储控制，以及(D)示出了通过电压的电平以及作用时间、在存储控制时利用复位电平(饱和电平)执行的饱和控制。此外，图3的(E)示出了在向存储节点SN存储电荷时、饱和电平随时间变化趋势的示意图。该图的横坐标表示时间t，纵坐标表示所存储的电荷量Ae。

在所示的示例中，如图3(A)和图3(B)所示，在垂直(V)消隐时段30的图像信号标准中，利用与一个画面的扫描周期相对应的整个时段31将输出数据输出至成像部分1的外部。因此，如图3(C)至图3(E)所示，主要利用V消隐时段30输出存储节点SN所存储的电荷并执行饱和电平控制。

下面将顺次参考图3和图4对操作进行说明。图4是用于说明对转移晶体管12的栅极电压控制、以及根据复位晶体管11的栅极电压控制的电荷的存储、转移和饱和的说明图。

在图3的时段31开始的时刻T0处，转移电压VT从高电平转移至低电平，并且图2中的转移晶体管12变为截止。此时，输出至图2中的垂直信号线14的前一图像信号Vpix.得到图2中的水平驱动电路22的确认，并被转换为时序信号，然后如图3(B)所示开始向成像元件10外部输出。

接着，如图3(D)所示，在时刻T1时，将复位电压VRT提供给复位晶体管11的栅极。由此，将供电电压VAA提供给存储节点SN，因而，存储节点SN的存储电荷输出至供电电压VAA的供电线路。在下一时刻T2，终止对复位电压VRT的运用，然后开始执行下一成像操作。当开始执行成像操作时，将根据入射光量的电荷(在本示例中为电子)存储在充当光电二极管PD阴极的N型锗掺杂区(未示出)中。此时，以低电平向转移晶体管12的栅极供给转移电压VT(图3(C))，并形成图4所示的势垒12A。

图3(E)示出了电子存储的情况。这里，标记32指示强入射光情况下的电荷存储曲线，标记33指示弱入射光情况下的电荷存储曲线。

在强入射光情况下的电荷存储曲线32中，电子存储量在达到光电二极管PD的第一饱和电平前基本上呈线性增长，然而在该时刻之后，所存储的电荷量被钳位于第一饱和电平L1。另一方面，在弱入射光情况下的电荷存储曲线33中，电子存储量基本上继续线性增长。

可以根据其中存在OFD(溢出漏)的光电二极管的势垒高度(以电气方式)控制光电二极管PD的饱和电平。值得注意的是，在本示例中，为便于说明，假设光电二极管PD的饱和电平等于稍后将说明的电压v1所确定的饱和电平L1。

如图3(C)所示，在时段31的结束时刻(时刻T3)，转移电压VT从低电平转移至高电平，以开启图2中的转移晶体管12。此外，如图3(D)所示，几乎与此同时，将饱和控制电压VSC调整为低于复位电压VRT的第一饱和电压V1。

此时，如图4所示，上述电压控制令势垒12A降低，并将存储的电子从光电二极管PD转移至存储节点SN。转移至存储节点SN的电子可以在存储节点SN中不断积累，直至达到第一饱和电压V1所定义的势垒11A，而超过该势垒的电子则被输出到图2中的供电电压VAA的供电线上。

接着，如图3(D)所示，在时刻T4，饱和控制电压VSC转移至低于第一饱和电压V1的电压(第二饱和电压)V2。

此时，图4中的势垒11A的高度降到第二饱和电压V2的电平，因而可以存储在存储节点SN的电荷量增加了与饱和电压(V1-V2)增量相对应的量。因此，如图3(E)所示，在强入射光的情况下，电荷存储曲线32所存储的电荷量Ae从时刻T4开始基本上呈线性增长，此后，达到第二饱和电压V2所定义的第二饱和电平L2，并被钳位于该电平。

另一方面，在弱入射光的情况下，电荷量不发生钳位(饱和)，但仍然以相同的比例继续存储电荷。

接着，如图3(D)所示，在时刻T5，饱和控制电压VSC转移至低于第二饱和电压V2的电压(第三饱和电压)V3。

此时，图4中的势垒11A的高度降到第三饱和电压V3的电平，因而可以存储在存储节点SN的电荷量进一步增加了与饱和电压增量(V2-V3)相对应的量。因此，如图3(E)所示，强入射光情况下，电荷存储曲线32所存储的电荷量从时刻T5开始基本上呈线性增长，此后，达到第三饱和电压V3所定义的第三饱和电平L3，并被钳位于该电平。

另一方面，在弱入射光情况下的电荷存储曲线33中，电荷量不发生钳位(饱和)，而仍然以相同的比例继续存储电荷。

通过图2的放大晶体管13将用这种方法存储的电荷输出至垂直信号线14，并将其作为垂直信号线14的电位波动(图像信号Vpix.)从像素21输出。

如图3(C)所示，在V消隐时段30的结束时刻(时刻T6)，转移电压VT从高电平转移至低电平，转移晶体管12因而截止。

此后，由一个未示出的水平驱动电路22(此处执行串并转换)从图2中的垂直信号线14逐行将成像信号取入寄存器等设备，并将其作为时序图像信号Vpix.输出至成像元件10外部。

值得注意的是，图3(E)示出了所存储的电荷量被钳位于三个饱和电平的情况(即总共三次，分别被钳位于第一饱和电压V1、第二饱和电压V2以及第三饱和电压V3)，以及一次也没被钳位的情况。根据像素的入射光量，还存在所存储的电荷量仅钳位于第一饱和电平L1的情况，以及所存储的电荷量钳位于第一饱和电平L2和饱和电平L2的情况。

图5(A)示出了图3(E)的放大图，用于说明在入射光量电平逐渐增加时的饱和。此外，图5(B)示出了入射光强度与信号电平之间的关系。

在图5(A)中，用折线表示强入射光情况下的电荷存储曲线32以及弱入射光情况下的电荷存储曲线33。此外，用标记“t1”指示第一饱和电压V1的作用时间(以下称V1作用时间)，用标记“t2”指示第二饱和电压V2的作用时间(以下称V2作用时间)，并用标记“t3”指示第三饱和电压V3的作用时间(以下称V3作用时间)。此外，通过标记“P1”指示电荷存储曲线32在作用时间t1的结束时刻的转换点，并用标记“P2”指示电荷存储曲线32在作用时间t2的结束时刻的转换点。

在图5(B)中，如果横轴的光强度逐渐增加，并针对每次变化执行成像操作，那么首先执行成像操作，而不受第一至第三饱和电压V1、V2以及V3的影响。在这种情况下，如图5(A)中作为示例的电荷存储曲线33所示，在存储时间内，电子基本上呈线性增加。在存储时间结束时，电荷存储量变为Ae0。如果从电荷存储曲线33的成像操作时刻起，入射光量继续增加，那么电子基本上呈线性增加，直至达到如图5(A)所示的电荷存储曲线38中的那样、出现根据第一饱和电平L1的饱和情况的极限情况为止。在这种情况下，电荷存储曲线38同转换点P1接触。此时，电荷存储量为Ae1。

当入射光量继续增加时，作用时间t1内输出被第一饱和电压V1抑制的时间逐渐变长，因而电荷存储量的增长速率在存储时间结束时降低这个量。因此，如图5(B)所示，在作为边界的断点BP1处，图像信号Vpix.电平相对于光强度的斜率变小。断点BP1是根据作用时间t1和参数dV1(以下称为敏感系数)确定的。敏感系数dV1是由第一饱和电压V1与复位电压VRT之间的电压差(VRT-V1)以及像素的电荷存储量(能力)等确定的。如果敏感系数较大，就可以快速存储电荷，反之，如果敏感系数较小，则很难存储电荷。

当入射光量继续增加时，如图5(A)中的电荷存储曲线39所示，呈现在作用时间t2的结束时刻与转换点P2接触的状态。此时，电荷存储量为Ae2。当入射光量从电荷存储曲线39的成像操作时刻起继续增加时，除了作用时间t1内输出被第一饱和电压V1所抑制的时间逐渐变长之外，作用时间t2内输出被第二饱和电压V2所抑制的时间也将逐渐变长，因而电荷存储量的增长率还因这个量而降低。因此，如图5(B)所示，在作为边界的断点BP2处，图像信号Vpix.电平相对于光强度的斜率变小。利用与断点BP1相同的方式，根据作用时间t2以及参数dV2确定断点BP2。敏感系数dV2是由第一饱和电压V1与第二饱和电压V2之间的电压差(V1-V2)以及像素的电荷存储量(能力)等确定的。如果敏感系数较大，就可以快速存储电荷，反之，如果敏感系数较小，则很难存储电荷。

此后，以相同的方式达到断点BP3，并且断点BP3之后的输出(图像信号Vpix.的电平)变为常数。值得注意的是，断点BP3接近于最大光强度，因而还可以将该断点看作最大亮度。下面，将不考虑断点BP3。

在图2中的A/D转换部分2处，将一个画面中具有这种光强度特性的图像信号Vpix.转换为例如8位情况下0到255等级的信号或10位情况下0到1023等级的数字信号，并将其输出至图像信号处理部分3。在图像信号处理部分3中，执行针对动态范围扩张的处理。

接下来，将说明动态范围扩大处理的配置，即图像信号处理部分3的功能。

值得注意的是，可以由图1中的照相设备处的用户设置是否执行这一动态范围扩大处理。可以利用未示出的操作部分或远程操作来设置高动态范围模式的开启或关闭。

图6示出了与动态范围扩大处理有关的图像信号处理部分3的功能框图。

图像信号处理部分3包括四种可作为DSP运行程序功能予以实现的装置。具体而言，图像信号处理部分3包括：柱状图生成装置34、参数提取装置35、目标设置装置36以及信号处理装置37。值得注意的是，在本实施例中执行的使用复位电平的方法中，动态范围扩大处理不是由信号处理装置37执行的。提供信号处理装置是为了执行上面已说明的其他处理。因此，信号处理装置37不是必不可少的配置。另一方面，在稍后将予以说明的多次曝光的情况下，通过图像混合实现的动态范围扩大处理是由信号处理装置37执行的。

上述四种装置的部分功能可以通过硬件通过ASIC中的逻辑电路或类似部件予以实现。上述装置所执行的处理内容将在以下对处理顺序的说明中得以阐明。

图7是本实施例中的动态范围扩大处理的流程图。这里，假设图像信号Vpix.具有0到255的亮度级。

在向图像信号处理部分3输入图像信号Vpix.时，首先，在柱状图生成装置34的控制下将一个场画面或一个帧画面的图像信号Vpix.存储至图1中的图像存储器5(步骤ST1)。

此时，柱状图生成装置34将像素单元数据作为指示像素信号电平(灰度级或亮度级)与其数目(像素数目)之间关系的柱状图储存到图1中的图像存储器5上。作为打开柱状图的一种具体方法，例如，在打开图像存储器5中的柱状图之前，柱状图生成装置34一旦存储了图像信号Vpix.，就能将其读出，计算柱状图，然后将获得的柱状图数据存储在图像存储器5的另一区域中。在柱状图计算过程中，柱状图生成装置34针对0到255亮度等级中的每一个亮度等级计算像素数据的画面价值量，并产生指示该计算结果与亮度级值之间的对应关系的柱状图数据。

图8示出了柱状图的示例。图8的横坐标表示0到255的亮度级值，纵坐标表示一个画面中的亮度级值的度数(像素数)。

图8中以标记40指示的单拐点折线曲线示出了柱状图数据分布的示例。用这种方法，一个画面中的柱状图数据40不总是包括由图1的图像信号处理部分3的处理位宽以及A/D转换部分2的动态范围所定义的0至255的全部亮度级值。在很多情况下，柱状图数据40的最小值Dmin大于亮度级值0，且最大值Dmax小于亮度级值255。当然，还存在亮度级值0与柱状图数据40的最小值Dmin匹配的情况，以及相反地柱状图数据40的最大值Dmax与亮度级值255匹配的情况。根据所要捕获的图像，0到255的亮度级别值的分布以及位置存在多种形状。

此外，图8中以标记41指示的实线曲线指示将度数(像素数)的累积值绘制于图形纵轴的情况。

这里，与正好是表示像素数量的累积值的曲线41的最大值Fmax的一半的中点相对应的亮度级值，指示一个画面中的亮度的典型值，以下将其定义为中值Dmea.。此外，柱状图数据40的亮度的平均值表示一个画面中的亮度的中值，以下将其定义为平均值Dave.。

这里，将返回至图7中的流程图进行说明。

在步骤ST2中，图6中的参数提取装置35搜索图像存储器5，并提取上述图8中的亮度参数，即柱状图数据的最小值Dmin以及最大值Dmax。此外，参数提取装置35还通过搜索图像存储器5来提取中值Dmea.或平均值Dave.作为确定第一控制目标的亮度参数，稍后将对其予以说明。下面，将以使用平均值Dave.的情况为例。

为了区分，参数提取装置35将提取出的最小值Dmin、最大值Dmax以及平均值Dave.参数存储在图6的寄存器6中。

在下一个步骤ST3中，作为期望处理，图6中的柱状图生成装置34读取图像存储器5中的柱状图数据40(图8)，并从整体上扩大分布，以使其最小值Dmin变成亮度0，最大值Dmax变成亮度255。这种处理被称为柱状图延展。尽管该处理并非必不可少，然而从提高后继处理精度(处理分辨率)的意义上来说，期望执行这一处理。在经柱状图延展后的分布中，平均值Dave.(或中值Dmea.)自然也发生了变化。

值得注意的是，当执行柱状图延展时，不必在步骤ST2中执行最小值Dmin、最大值Dmax以及平均值Dave.或其他参数到寄存器6的存储，而可以在柱状图延展后执行这一步骤。

在下一个步骤ST4中，图6中的目标设置装置36从寄存器6中读出上述各类参数，并基于这些参数设置第一目标值。在设置第一目标值时，执行控制，以使得图5(B)中所说明的断点BP1与图8中的柱状图数据40中的平均值基本匹配。作为具体控制值，可以使用成像元件10的快门速度和/或通常配备于成像元件10的输出级或图像信号处理部分3内设置的增益放大器的增益值。为了控制成像元件10的快门速度，还可以控制成像元件10中的OFD电平。可以通过在时段31中移动时刻T2的方式增长或缩短电荷存储时间，其中时刻T2是开始执行图3成像的时刻。在对这些快门速度以及增益放大器的增益值中的任意一个加以控制时，画面的亮度变化，并且平均值Dave.也随之移动。此时，对图像进行亮度控制，以使得平均值Dave.接近断点BP1。

值得注意的是，并不总是需要使平均值Dave.与断点BP1达到完美的匹配。一旦认为二者的匹配程度达到某一容许范围，则可以结束控制。

此外，当对画面执行亮度控制时，控制会受到一个画面的量的延迟。当希望避免这一控制时，可以利用平均值Dave.在由最小值Dmin和最大值Dmax所定义的范围内的位置、定义断点BP1的作用时间t1、敏感度参数等来执行计算，以便针对前反馈控制，提前预测亮度控制的方向和量。

在下一个步骤ST5中，图6中的目标设置装置36利用已设置的第一目标值与从寄存器6读出的最小值Dmin和最大值Dmax的关系设置与下一断点BP2(图5(B))相对应的第二目标值。

更具体地说，找出将最小值Dmin从第一目标值(BP1)中减去后得到的值相对于将最小值Dmin从最大值Dmax中减去后得到的值的比值。然后，如果该比值较小，就判定图像中存在相对较多的灰暗部分，因而将第二目标值(＝BP2)设置在光强度中离第一目标值相对不远的位置。反之，如果该比值较大，就判定图像中存在相对较多的明亮部分，因而将第二目标值(＝BP2)设置在光强度中离第一目标值较远的位置。

此时，可以根据上述比值设置第二目标值(＝BP2)与第一目标值的输出差值(图5(B)的纵坐标距离)。也就是说，如果上述比值较小，则希望将输出差调大，反之如果上述比值较大，则希望将输出差调小。

图9和图10示出了图像中明亮部分较少的情况下与图像中明亮部分较多的情况下断点BP2设置方式的粗略差异。各个图的子图(A)中示出了柱状图分布，各个图的子图(B)中示出了与图5(B)相同的折线控制图。

在明亮部分较少的图9(A)的情况下，在图9(B)所示的折线控制中，断点BP2被设置光强度中离断点BP1相对近的位置处。另一方面，在明亮部分较多的图10(A)的情况下，在图10(B)所示的折线控制中，断点BP2被设置在光强度中离断点BP1相对远的位置处。

与图9(B)的情况相比，在图10(B)的情况下，断点输出差(图像信号Vpix.的电平差)相对较小。

在以这种方式根据画面中的明亮部分的大小来控制每个像素的饱和特性(折线控制特性)时，可以获得有利于动态范围扩大的信号。

可以预先将根据经验找出的、设置断点BP2所用的上述比值与第二目标值的设置参数(图5(B)的纵坐标，横坐标上与第一目标值的距离)之间的关系保存在表等中。在本实施例用于车载的情况下，可以在对画面亮度进行设置以使得即使在明亮的正午、车辆从灰暗的隧道行驶到隧道外部、或反之从隧道外部驶入灰暗隧道的情况下都能检测到公路的白线的条件下，以及进一步在所有公路条件下，预先找出上述这些关系。

这里，在准备要保存到表中的数据时，应检查是否可以根据图像的亮度(例如通过边沿检测法)检测到公路的白线。

图11和图12示出了边沿检测的具体示例。

图11(A)示出了在捕获如图11(C)所示的公路(要捕获的物体)的图像时得到的白线边沿的检测信号St的波形。该检测信号St受图12(A)所示的噪声电平以及图12(B)所示的饱和电平的影响。具体而言，如果物体较暗，则噪声电平较大，反之，如果物体较亮，则因受饱和影响，边沿较为模糊。

为此，对于对图11(A)中所示的检测信号St进行微分处理使边沿得到强化的信号，在试图利用高电平的边沿门限值VH以及低电平的边沿门限值VL来确认白线的边沿位置时，如图12(B)所示，如果检测信号St超过饱和电平，则边沿就会模糊，并且边沿强化信号高电平检测精度变低。此外，如图12(A)所示，如果叠加在检测信号St上的噪声电平较大，则边沿在噪声中模糊，并且边沿强化信号的低电平检测精度降低。

这样，在画面很亮以及画面很暗这两种情况下，都很难检测到白线。

为此，利用所有图像信号Vpix的积分值或柱状图的明亮区域(或灰暗区域)在画面中所占的比例或其他表示画面亮度的数据，检查是否能够在设置前述断点BP2所用的上述比值同第二目标值的设置参数之间的关系下检测到白线的边沿。此外，可以在成像环境从假定的最亮状态变化成假设的最暗状态的情况下以及相反情况下检测到白线边缘的条件下，将上述比值或第二目标值的设置参数与表示画面亮度的数据之间的关系存储在表格。

从上述可知，可以通过参考该表来设置适当的第二目标值。

这里，将再次返回图7的流程图进行说明。

例如，在步骤ST6中，如果必要的话，图6中的目标设置装置36还寻找断点BP3，并根据第一和第二目标值(以及第三目标值)确定图3所示的成像元件的第一至第三饱和电压V1、V2和V3以及作用时间t1、t2和t3等。

此后，在这一条件下捕获下一个画面(步骤ST7)。该成像元件所获得的图像信号Vpix.的输出饱和特性与前一成像操作时图像信号的输出饱和特性相比发生了改变，因而动态范围有所扩大。

将图像信号Vpix.输入柱状图生成装置34和/或图像存储器5，在其上执行步骤ST1至ST7，以找出下次成像操作时的条件。

另一方面，在步骤ST8中，信号处理装置37对输入图像信号Vpix.执行预定的处理，并将结果输出。

这样，在本图像信号处理方法中，基于输入图像信号Vpix.适配地确定下一成像条件，从而对动态范围进行优化(扩大)。

图13(B)与图13(A)相比，示出了本发明的效果。此外，图14(A)至图14(C)示出了白线边沿在夜间和日间的检测电平。

如上所述，在本图像信号处理方法中，下一成像条件取决于单次控制操作得到的图像信号Vpix.，并在该条件下执行下次成像操作。因此，结果不是像图13(A)所示的那样因受反馈控制进入控制目标范围，而是因执行了一次控制操作而进入控制目标范围。值得注意的是，本发明并不排除为了更加可靠地进入控制目标范围而对参数进行的细致调整。

具体而言，在本实施例中，第一目标值(断点BP1)被调整为平均值Dave.(或中值Dmea.)。因而，有效地避免了如图14(A)所示的将白线边沿掩埋在夜间灰暗图像内的噪声电平中的情况，以及如图14(C)所示的日间明亮图像中的白线边沿达到饱和电平的情况。可以获得如图14(B)所示的、在其中可以执行以适当电平的边沿检测的图像。

最后，将只简要地说明采用多次曝光的方法。

多次曝光的时序图同图3的差别在于，要在时段31中多次重复捕获(曝光)操作。此时，每次成像操作都对所存储的电荷量进行复位。如果每次成像操作的成像时间不同，则将包括至少成像时间被缩短为不至于导致饱和的图像信号以及就信号电平过低的情况而言对成像时间进行了延长的图像信号在内的、针对要被捕获的同一物体的多个图像信号从成像元件10顺序输出。

在用同一时间尺度对成像时间缩短的情况与成像时间延长的情况进行比较时，由于具有防止产生饱和的量，前者信号电荷的变化率相对较大。在后一种成像时间较长的情况下，这一斜率变得相对较小。在对图5(B)应用这一事实时，很容易理解可以在成像时间有所改变的多次曝光中使用具有断点的折线控制。

本发明从多次曝光的图像信号Vpix.中提取具有以图5(B)中的断点BP1作为顶点的区域R1的图像、具有以断点BP2作为顶点的区域R2的图像、以及具有以断点BP3为顶点的区域R3的图像，并将图像进行混合，以获得单个画面。为此，按照与前述方法相同的方式，必需提取最小值Dmin、最大值Dmax、平均值Dave.(或中值Dmea.)以及其他参数，并设置目标值。在将本发明应用于上述处理时，可以执行具有更好响应性的处理。

对于图6本身的配置，可以采用相同的配置。然而，在该方法中，信号处理装置37具有以下功能：顺序输入在捕获要被捕获的同一物体时获得的多个图像信号Vpix.、执行图像混合、以及输出混合图像。

值得注意的是，在图像混合时，必需通过例如像素数据内插和细化对图像进行扩展或压缩处理，因而利用图像存储器5。

如上所述，在使用多次曝光的方法中，用于设置目标值(断点)的本发明的技术同样适用。

根据本实施例，从一个画面的像素信号电平的分布中提取出分布参数，基于这些参数确定断点的目标值，对成像部分进行控制以获得所确定的目标值，并且成像部分的输出饱和特性发生变化或对多个画面进行混合。因此，在大多数情况下，可以通过一次控制操作产生适于成像环境并具有大动态范围的高质量的捕获图像。也就是说，可以执行具有高响应性的动态范围扩大处理。

具体而言，使用分布的平均值或中值作为第一目标值。因此，即使成像环境发生变化，也可以获得要以适当亮度级捕获的物体的图像，而不至于将其淹没于成像噪声电平中或因饱和而使物体边沿模糊不清。

Claims (11)

1.一种用于扩大从成像部分获得的图像信号的动态范围的图像信号处理方法，

所述图像信号处理方法的特征在于，包括：

第一步骤，从构成一个画面的所述图像信号的像素信号电平的分布中提取分布参数，

第二步骤，根据提取出的分布参数确定断点的目标值，其中在断点处，图像信号电平的变化相对于入射到成像部分像素上的光量的累积变化的斜率发生变化，以及

第三步骤，通过控制成像部分以获得目标值，来改变图像信号的输出饱和特性。

2.根据权利要求1所述的图像信号处理方法，其中

所述分布参数包括一个画面中的像素信号电平的最小值，

所述目标值包括指示将所述最小值作为分布上的起始点的第一区域的最大值的第一目标值，

在第一步骤中，提取分布中的像素信号电平的平均值，以及

在第二步骤中，在以平均值为中心的预定范围内设置第一目标值。

3.根据权利要求2所述的图像信号处理方法，其中：

所述分布参数包括一个画面中的像素信号电平的最大值，以及

在第二步骤中，找出将最小值从第一目标值中减去后得到的值相对于将最小值从最大值中减去后得到的值的比值，并使用所述比值来确定第二目标值。

4.根据权利要求1至3中的任意一项所述的图像信号处理方法，还包括

柱状图延展的步骤，用于对整个分布进行扩展，以使得最小值与具有为执行所述处理而预先确定的位宽的最小位匹配，并使最大值与最大位匹配。

5.根据权利要求1至4中的任意一项所述的图像信号处理方法，还包括

基于分布参数确定是否执行第二步骤以及后续步骤的步骤。

6.一种用于扩大从成像部分获得的图像信号的动态范围的图像信号处理设备，

所述图像信号处理设备包括：

参数提取部分，用于从构成一个画面的图像信号的像素信号电平的分布中提取分布参数；

目标设置部分，用于基于提取出的分布参数确定断点的目标值，其中在断点处，图像信号电平的变化相对于入射到成像部分像素上的光量的累积变化的斜率发生变化；以及

控制部分，用于通过控制成像部分以获得目标值，来改变图像信号改变的输出饱和特性。

7.根据权利要求6所述的图像信号处理设备，其中

所述分布参数包括一个画面中的像素信号电平的最小值，

所述目标值包括指示将所述最小值作为分布上的起始点的第一区域的最大值的第一目标值，

所述参数提取部分提取分布的像素信号电平的平均值，以及

所述目标设置部分在以平均值为中心的预定范围内设置第一目标值。

8.根据权利要求7所述的图像信号处理设备，其中：

所述分布参数包括一个画面中的像素信号电平的最大值，以及

所述目标设置部分找出将最小值从第一目标值中减去后得到的值相对于将最小值从最大值中减去后得到的值的比值，并使用所述比值来确定第二目标值。

9.根据权利要求6至8中的任意一项所述的图像信号处理设备，还包括柱状图生成部分，用于生成表示分布的柱状图，并执行扩展整个分布的柱状图延展，以使得最小值与具有为执行所述处理而预先确定的位宽的最小位匹配，并使最大值与最大位匹配。

10.一种用于扩大从成像部分获得的图像信号的动态范围的图像信号处理设备，包含：

参数提取部分，用于从构成一个画面的图像信号的像素信号电平的分布中提取分布参数；

目标设置部分，用于基于提取出的分布参数确定断点的目标值，其中在断点处，图像信号电平的变化相对于入射到成像部分像素上的光量的累积变化的斜率发生变化；以及

控制部分，用于通过控制成像部分以获得目标值，来改变图像信号的输出饱和特性。

11.根据权利要求10所述的图像信号处理设备，还包括柱状图生成装置，用于生成表示分布的柱状图，并执行扩展整个分布的柱状图延展，以使得最小值与具有为执行所述处理而预先确定的位宽的最小位匹配，并使最大值与最大位匹配。

Images