CN101764958B - 组合滚筒式曝光控制方法及图像传感器 - Google Patents

Abstract

本发明提供了一种组合滚筒式曝光控制方法及其图像传感器，将多次滚筒式曝光穿插进行，通过控制图像传感器在单帧周期内，以不同的曝光参数曝光输出多张图像，整合出一帧大动态范围图像。本发明可以有效的缩短相邻次成像的时间间隔，并充分利用了逐行曝光读取时，图像传感器电路的空闲电路资源。具有系统效率高，利用率充分，且输出图像反应时间短的优点。

Description

组合滚筒式曝光控制方法及图像传感器

技术领域

本申请涉及CMOS(互补金属氧化物半导体)图像传感器领域，尤其涉及一种组合滚筒式曝光控制方法及图像传感器。

背景技术

CMOS图像传感器(CIS)是将光学图像从光信号转换成电信号的半导体装置，其采用开关模式(switching mode)，通过向各像素提供预定数量的MOS晶体管来顺序检测像素输出。

公开号为CN101212580A的中国专利公开了一种典型的四管结构的CMOS图像传感器，该传感器的像素单元电路图如图1所示。其中主要包括光电检测器PDD，传输管T1，复位管T2，源跟随器T3，以及选择管T4。光电检测器PDD包括从光能生成电荷的光电二极管并在A点积分电荷，传输管T1在栅极接收使能/读取信号tck，将A处的电荷运送到浮动扩散区B。复位管T2则通过其栅极接收复位信号rst，设置A以及B处的电压回复到期望电平(如VDD)并排除B处的电荷，以此来复位。晶体管T3在其栅极接收B处的电压，并因此用作源跟随器，且选择管T4的栅极接收行选择信号row_sel(其可在CMOS图像传感器的其他地方生成或执行)，输出来自源跟随器T3的电压。

滚筒式曝光多被CMOS图像传感器所采用，以上述四管结构的CMOS图像传感器为基础，简要说明其原理。图2为4行像素图像的滚筒式曝光时序，假设频帧为fps，则一次帧间隔时间为1/fps，每一幅完整的图像包括0、1、2、3四行像素。

首先，row_idx2指定曝光第0行(此处的“0”从次序来说相当于第一行)，按照图1中的电路，先将传输管T1和复位管T2同时开启(图2时序中tck2和rst2输入高电平)，使得积分节点A以及浮动扩散区B的电压复位到VDD，然后再同时关闭传输管T1和复位管T2使A点开始积分电荷(tck2和rst2恢复低电平)；经过一段时间的电荷积累后(相当于曝光时间texp)，同时开启复位管T2和选择管T4，(rst1和row_sel为高电平，此时的选择管T4选择的是第0行输出)，通过源跟随器T3，选择管T4的输出端先读出复位电压值VDD，然后关闭复位管T2(rst1恢复低电平)，保持选择管T4导通，再开启传输管T1(tck1为高电平)，通过源跟随器T3，选择管T4的输出端读出信号的绝对值并与先前的复位电压值相减得到信号的真实值，如row_idx1显示，也就是将第0行的曝光信号读出。类似的，再以同样方式曝光读取第1行像素，逐行进行直到全部处理完毕，相邻行开始曝光读取的间隔时间为Trow。

在上述过程中，tck2、tck1信号均输入T1管的栅极，为区分不同含义的导通动作，便于理解，而在时序图中分成两个独立的时序，rst2、rst1也同理表征。

从时序原理可知，tck1、tck2、rst1、rst2、row_sel的周期均为一行像素的行处理间隔时间Trow，每行像素的曝光时间均为texp。各行像素按顺序进行曝光并读取处理，并以单行像素为曝光信号的读取对象，即在前一行像素的曝光信号读出完成后再进行下一行的读取，这种逐行曝光并读取方式即称为滚筒式曝光。在需要多次成像同一张图像时，重复以上过程即可。

在图2所示时序中，因为一个帧间隔时间内只输出一张曝光图像，图像的曝光时间参数是不变的，这样单帧图像内只包含一次成像所得到的图像。其帧、行同步示意图如图3所示。很显然，整张图像每次成像的时间间隔等于帧间隔时间。

现有的CMOS图像传感器普遍采用光电二极管线性有源像素，其动态响应范围较小，远小于人眼100dB～120dB的动态范围。在拍摄一些动态范围较广的场景时，由于这些场景的亮度差异远远超过感光元件的宽容度，因此对于某一指定时间长度的单次成像下，得到的图像很难包含所有细节。比如在亮度较暗的地方可能曝光不足，而较亮的区域又曝光过度，难以满足大动态范围下获取图像信息的要求。目前一种可行的获取大动态范围图像的方法是，针对场景中不同的亮暗部分，采用几幅曝光时间参数不同的图像进行重叠，获取一幅图像。即使用短曝光获取较亮像素，使用长曝光获取较暗像素，多幅组合以弥补单次成像无法展示所有细节的缺陷。

现有的多次曝光控制方法，在曝光过程中多在分次独立曝光成像后进行图像整合，即先曝光一张图像再以不同曝光时间参数获取下一张图像。然而这样获取大动态范围图像的方式，会使得整个处理周期过长，造成系统反应时间过慢，并因此可能影响动态图像的质量。且在逐行曝光读取时，将产生大量的电路空闲，而造成系统资源的浪费。

发明内容

本发明所解决的技术问题在于现有的CMOS图像传感器多曝光控制方法，在进行多次曝光成像时，周期过长，系统反应过慢。

为达到上述目的，本发明提供了一种组合滚筒式曝光控制方法。在一帧处理时间内，将多次滚筒式曝光穿插进行，实现对目标图像的多次成像，包括：

对于各次成像，间隔一个预设的行处理间隔时间，各行像素单元逐行进行图像的曝光和曝光数据的读取；

对于各行像素单元，在曝光数据的读取结束之后，进行该行像素单元的下一次成像。

基于上述方法，本发明还提供了一种图像传感器，包括：

包括多行像素单元的像素阵列，用于对目标图像成像；

驱动电路，用于驱动所述像素单元，具体包括：

间隔一个预设的行处理间隔时间，逐行驱动各行像素单元开始成像，

在某行像素单元结束上一次成像后，驱动该行像素单元进行下一次成像。

本发明通过控制CMOS图像传感器在单帧图像的时间周期内，以不同的曝光参数多次成像，并整合出一帧。因此比之现有的单帧成像一次的多曝光控制方法，本发明可以有效的缩短相邻次成像的时间间隔，并充分利用了逐行曝光读取时，其他行图像传感器电路的空闲时间。这样相邻次成像的开始时间仅仅局限于前一次的曝光时间长短，而无需等前一次的曝光所有行处理完全结束后才开始下一次成像。具有系统效率高，利用率充分，且输出图像反应时间短的优点。

附图说明

图1为现有的一种四管结构CMOS图像传感器的单位像素电路原理图；

图2为现有4行像素单次滚筒式曝光控制方法的时序原理图；

图3为现有4行像素单次滚筒式曝光输出的帧、行同步示意图；

图4为本发明所述组合滚筒式曝光控制方法的流程图；

图5为本发明实施例中4行像素组合滚筒式曝光控制方法的时序原理图；

图6为本发明实施例中4行像素组合滚筒式曝光输出的帧、行同步示意图；

图7为本发明实施例中图像传感器的原理示意图。

具体实施方式

现有技术中，在需要多次成像时，当每一帧单张图像逐行曝光结束后，需要调整改变曝光时间texp，再进行下一次成像。如果需要加快成像的速率，则需要提高图像传感器的工作速率，但是只通过提高图像传感器的工作频率来压缩最短行处理时间，其效率并不高。这是因为目标图像的曝光时间texp是根据其场景情况所设定，只需在图像传感器的工作范围内，即可实现成像。而图像传感器的电路系统性能只决定最短行处理时间，在一般情况下，图像传感器的行处理总是在逐行进行，在执行某一行曝光读取时，其他行对应的像素单元处于空闲状态，所以图像传感器电路总会存在大量的空闲电路未充分利用。本发明所述的曝光控制方法就是要利用这个空闲时间，让图像传感器电路系统资源得到尽可能应用。

本发明提出了一种新的组合滚筒式曝光控制方法，其原理及流程如图4所示：

步骤1，先做基本参数设定，确定单帧图像一个多次成像周期的曝光次数m，以及各次的曝光时间texp1、texp2、......texpm。

其中，暗图像的曝光时间小于亮图像的曝光时间，且作为优选方案，各次成像的顺序最好按时间的长短排列。

步骤2，确定图像传感器的最短行处理时间，并将同次成像的行处理间隔时间设置为最短行处理时间的n倍，n不小于单帧时间内一个多次成像周期的曝光次数；并以此为基础设定图像的帧频fps。

帧频fps的主要设置原则包括如下两方面：

1)帧频的倒数1/fps为帧间隔时间，帧间隔时间须大于最短帧处理时间。即1/fps＞Tfrm_min。其中最短帧处理时间Tfrm_min为图像传感器的最短行处理时间乘以图像的像素行数得到。

2)满足上述条件后，还需进一步判断，帧间隔时间须大于同幅曝光图像的相邻行处理时间Trow的m倍再加上各次成像时间总和。即：

texp1+texp2+...+texpm+m*Trow＜1/fps。

步骤3，对目标图像进行多次成像。此处流程又细分如下：

进程3-1，选择第a行所对应的像素单元，开始第a行像素的第b次成像，经过曝光时间texp(b)后，该行像素曝光结束，并读取数据；(上述的a、b均为自然数，起始值为1，表征图像的曝光从第一行像素的第一次成像处理开始。)

进程3-2，在进程3-1开始后，第a行像素开始进行曝光读取，经过一个行处理间隔时间，如果a不是最末一行，则b值不变，令a＝a+1，选择下一行所对应的单位像素图像获取单元，插入本次成像的下一行曝光读取，跳转回进程3-1，如果a是最末行，则表示该次成像的所有行曝光读取结束。

进程3-3，在进程3-1结束后，若第a行所对应的单位像素图像获取单元处于空闲状态，且b不是最后一次成像，则令a不变，b＝b+1，插入该行下一次成像的曝光读取，跳转回进程3-1，如果b是最后一次成像，则表示该行的所有次成像结束。

上述进程3-2与进程3-3，是相互独立的子进程，当两者跳转回进程3-1时，这样不同行进行曝光读取处理，在理论上存在一个控制时序的竞争问题，而此前预先的各项参数设定，就是为了消除这种竞争的存在。因为从实际应用上来说，图像传感器的对单行像素曝光后的读取时间远小于同次成像相邻行开始曝光的行处理间隔时间。如果设置的行处理间隔时间越大，这样控制时序的空闲间隔所占比例越大。所以在有限次的单帧内多次成像时，预先设置合理的曝光参数以及行处理间隔时间，可以在实际应用中，免除这种竞争的影响。从而做到各次成像穿插进行逐行曝光读取，交替使用控制时序，且不互相干扰，直至图像的一个多次成像周期结束。这种具体的参数设置是容易想到，并且可实施的。

在多次成像周期结束后，将多次成像所得的多张图像，叠加整合成一帧。若有进一步的必要，可以重复上述步骤，得到多帧图像后再合成，或者在单帧内添加成像的次数，以获取更多不同曝光参数的图像。

为了进一步阐述本发明的实质及其优点，下面结合具体实施例进行说明。

本发明所述组合滚筒式曝光控制方法的一个具体实施例，使用图1所示四管结构CMOS图像传感器的单位像素电路，进行两次曝光成像，分别对应输出暗图像frm1和亮图像frm2。

按照前述流程，首先进行预先参数设定，假设暗图像的曝光时间为texp1，亮图像的曝光时间为texp2，其中texp1＜texp2。先进行暗图像曝光再进行亮图像曝光。假设CMOS图像传感器的最短行处理时间为Trow_min，则对于一个4行像素图像，最小帧处理时间Tfrm_min为4Trow_min。

因为准备在单帧时间内做两次成像，所以假设最苛刻的情况，将图像传感器的同次成像图像的行处理间隔时间Trow设定为两倍的最短行处理时间Trow_min，这样使得图像传感器对每行像素的行数据读取处理，控制时序至少有一半时间处于空闲间隔，并以此为基础设定图像的帧频fps，使得帧间隔时间满足如下要求：

1/fps＞Tfrm_min；

texp1+texp2+2*Trow＜1/fps。

然后依据前述步骤中的步骤3内容，开始逐行曝光，得到的一个时序如图5所示。结合背景技术中对图1所示的四管结构CMOS图像传感器的工作原理进行分析。

从之前的时序描述中，我们知道tck1、tck2、rst1、rst2、row_sel的周期均为同次成像行处理间隔时间Trow，曝光row_idx2指定行像素时，先产生tck2，rst2时序，在经过暗图像曝光时间texp1后，产生rst1、tck1、row_sel时序。并随之输出row_idx1表征该行像素的曝光信号读取。

frm1的第0行在开始曝光读取，并经过一个行处理间隔时间Trow后，会开始进行frm1的第1行的曝光，时序控制信号选择第1行所对应的单位像素电路，并产生相应的tck2和tck1，如此循环，进行逐行曝光读取。

另外，在frm1的第0行的tck1信号结束也即该行的frm1曝光读取完毕之后，可发现，对于frm1而言，第0行所对应的单位像素电路已进入空闲状态，此时，可直接插入frm2的第0行执行曝光操作，时序控制信号将开始产生frm2的tck2和rst2，并输入第0行对应单位像素电路中传输管T1和复位管T2的栅极，(图中的虚线信号)这样frm2便开始了曝光读取。

以上过程，对应至图5的时序图，实线电平对应于暗图像frm1的控制时序，而虚线电平对应于亮图像frm2的控制时序。由于事先已将行处理间隔时间Trow设定为两倍的Trow_min，使得当产生frm2的控制时序时，其tck2、rst2刚好处于frm1控制时序的空闲间隔中。这样frm1和frm2各自逐行曝光读取，穿插进行，控制时序之间并未互相影响或者产生竞争关系。直至frm1与frm2先后完成成像。

另外，实施例的附图中为了能够明确清晰地表征本发明技术特征，选择将各端口的高电平设置成较宽显示，但并非实际应用中各端口输出信号的占空比，实际上信号的宽度远小于曝光时间texp以及行处理间隔时间Trow。

最终，从row_idx1所读取到的行像素包含了frm1与frm2的信息。在frm2的曝光未完成之前，仅有frm1的数据读出；在frm2曝光完成部分行而frm1的数据未全部读出之前，两者交替输出；frm1数据全部行读取完毕后，仅有frm2的数据读出。最后进入下一帧，重复以上过程。

在完整的曝光周期也即一个帧间隔时间1/fps内，实现了暗、亮两次成像。如图6所示，为应用了组合滚筒式曝光后，本实施例输出的帧、行同步示意图，每一帧内包括暗、亮两张图像的数据。

将图3及图6两幅帧、行同步示意图进行对比，显而易见，本发明所述的组合滚筒式曝光控制方法，在系统效率、电路资源的利用率，以及曝光间隔时间、反应速率方面比之普通的滚筒式曝光技术，具有显著的优点。

上述具体实施例仅以4行像素图像进行单帧两次成像为例，应用相同的原理，还可以扩展至复杂大动态图像多次成像的曝光控制要求，具体参数选择可根据图像传感器电路的性能以及图像场景需要决定。

下面还提供了一个本发明所述图像传感器的具体实施例，如图7所示。

多行像素单元1，构成像素阵列，用于对目标图像成像；

驱动电路2，用于驱动像素单元，具体包括：

间隔一个预设的行处理间隔时间，逐行驱动各行像素单元开始成像，

在某行像素单元结束上一次成像后，驱动该行进行下一次成像；

存储单元3，用于接收并存储成像数据；

参数设置单元4，用于设置曝光参数，所述曝光参数包括目标图像的设定帧频、行处理间隔时间、成像次数、以及每次成像的曝光时间。

更进一步，所述驱动电路又包括：

行选择信号产生电路21，用于输出行选择信号选择相应行的像素单元；

曝光信号产生电路22，用于输出曝光信号驱动像素单元对目标图像曝光；

读取信号产生电路23，用于输出读取信号驱动像素单元读取曝光数据；

时序控制电路24，将曝光信号逐行施加至各行像素单元，其中间隔时间为一个行处理间隔时间；在某行像素单元对曝光数据的读取结束之后，将曝光信号施加至该行像素单元。

图像传感器的工作过程如下：

在对目标图像进行多次曝光成像时，首先由参数设置单元4根据目标图像的现场情况，比如亮暗细节、动态范围色彩差异等等，确定曝光参数。这些曝光参数包括设定帧频、单帧成像次数、各次成像采用的曝光时间等等。

具体的确定方式，可以先以人为的拍摄经验设立一个初始的参考值，然后试拍摄得到反馈，获取一个可信度误差，再根据这个可信度误差进行调整，以获得最佳的设置参数，这个过程可以通过固件或者软件系统来完成。

当参数设置单元4确定了所有的曝光参数之后，将数据传输给驱动电路2。首先，驱动电路2会根据曝光参数产生控制时序来驱动像素单元1，因为本实施例中采用CMOS图像传感器电路，所以控制时序实质包含了各个CMOS图像传感器中各个像素单元的晶体管输入信号。

因为采用逐行成像，所以驱动电路2进行如下时序控制：

行选择信号产生电路21，先选择某行所对应的像素单元，曝光信号产生电路22输出曝光信号驱动该行的像素单元对目标图像曝光，经过一个预设的曝光时间后，读取信号产生电路23输出读取信号驱动该行的像素单元读取曝光数据，这样便完成了该行的一次成像过程。

而时序控制电路24在该行像素单元开始曝光之后，间隔一个预设的行处理间隔时间，就将曝光信号施加至下一行的像素单元，具体表现为行选择信号产生电路21选择下一行所对应的像素单元，曝光信号产生电路22输出曝光信号驱动下一行像素单元开始曝光，由此重复上述的成像过程，周始反复直至本次成像所有行都开始；

另外，时序控制电路24在某行像素单元对曝光数据的读取结束之后，再将曝光信号施加至该行像素单元驱动其曝光，进行该行的下一次成像，具体表现为行选择信号产生电路21依然选择该行像素单元，曝光信号产生电路22输出曝光信号驱动该行的像素单元对目标图像曝光，由此重复上述成像过程，与上次成像过程不同的只是采用了不同的曝光参数，变更了曝光时间，周始反复直至该行完成所有次成像。

存储单元则在上述的逐行逐次成像过程中，接收每行的曝光读取数据进行存储，便于之后的调用整合。

本发明虽然以较佳实施例公开如上，但其并不是用来限定权利要求，任何本领域技术人员在不脱离本发明的精神和范围内，都可以做出可能的变动和修改，因此本发明的保护范围应当以本发明权利要求所界定的范围为准。

Claims (2)

1.一种组合滚筒式曝光控制方法，其特征在于，在一帧处理时间内，将多次滚筒式曝光穿插进行，实现对目标图像的多次成像，包括：

对于各次成像，各行像素单元，间隔一个预设的行处理间隔时间，逐行进行图像的曝光和曝光数据的读取；

对于各行像素单元，在对曝光数据的读取结束之后，进行该行像素单元的下一次成像；

所述在对目标图像成像之前，先确定单帧图像一个多次曝光周期的成像次数m，以及各次成像的曝光时间，并将所述行处理间隔时间设置为最短行处理时间的n倍，n不小于成像次数m；在确定同次成像的行处理间隔时间以及各次成像的曝光时间参数后，将图像的帧频设置在图像传感器的工作范围；所述帧频的倒数为帧间隔时间，所述图像传感器的最短行处理时间乘以图像像素的行数为最短帧处理时间；所述帧间隔时间大于最短帧处理时间；所述帧间隔时间还大于同次成像的行处理间隔时间的m倍再加上各次成像的曝光时间总和。

2.如权利要求1所述的一种组合滚筒式曝光控制方法，其特征在于，所述各次成像的顺序，按曝光时间长短排列。

Images