CN101631202A - 一种超宽动态范围图像的采集方法 - Google Patents

Abstract

本发明公开一种超宽动态光学图像的采集方法。本发明利用分光镜或分光镜组或其他类似光学器件对入射光进行分光，用两个或多个感光芯片(CCD/CMOS)对同一场景的每个分光后的图像同时进行成像，每个感光芯片分别对分光镜产生的透射光和反射光进行独立成像。通过对每个感光芯片的暴光时间的独立控制，得到同一场景的不同动态范围的图像，并对这些图像进行合成，得到超宽动态范围的光学图像。通过多次分光成像，整个摄像系统理论上动态范围可以达到无穷大。

Description

一种超宽动态范围图像的采集方法

技术领域

本发明涉及到利用固态半导体光学成像器件(CCD/CMOS)的摄像装置。特别是宽动态和超宽宽动态范围图像的采集方法和摄像设备。

背景技术

固体感光器件基本光探测原理如图一，场景光照使光电二极管产生光电流，光电流的大小与入射光强成正比，光电流通过对电容器充电产生光电压，光电压经过放大整形后就得到图像像素值，如果再经过模数转换，就得到数码图像。由于物理原理的限制，在一定暴光时间下，感光器件所能探测到的最大光强和最小光强都是有限的，这个比值就是感光器件或者摄像设备的动态范围。一般器件在50dB左右，也就是通常所说的8位图像。然而，自然界的场景的动态范围通常远远超过感光器件所能探测的范围。比如正午阳光下直射区域的光强比阴影中的光强要高近6个数量级(~120dB)。如果场景都是明亮物体，可以减小暴光时间或进行光衰减。如都是阴暗物体，可以增加暴光时间或进行光放大，都能得到清晰的图像。真正的困难在于场景中同时有高亮度部分和阴暗部分，比如阳光下的建筑物阴影或夜晚中的汽车前灯等。如果暴光时间短，高亮度场景部分能得到清晰图像，但低亮度部分则暴光不足；如果暴光时间长，低亮度部分能得到清晰图像，但是高亮度部分则过度暴光，图像饱和，细节丢失。图二描述了暴光时间对图像的影响。为了不失真地测量这样的宽动态范围场景，摄像设备的动态范围要求大于16位，有的甚至要求到20位左右。

宽动态范围采集图像已有多种方法，大多数都是利用同一块感光器件依次对同一场景进行两次或多次不同暴光时间采集，然后对这些按时间顺序多次采集的图像进行宽动态范围的图像合成。但是这种采集方法有一些缺陷：

1，通常这样的高性能的感光器件(CCD/CMOS)价格都比较昂贵。

2，本次暴光与上一次暴光之间有一定的时间差。由于摄像机抖动或者场景物体的运动，两副图之间会有些差别，需要进行特别的图像处理技术进行纠正。

3，像素的读取速度限制，多次顺序采样技术需要高读取时钟频率，这使得器件及系统的设计和制造困难加大，并且影响器件的光电灵敏度和信噪比。随着感光器件的像素增多，要在限定时间内读出的像素越多，对读取时钟要求越高，因此，此类技术的扩展性有限。

本发明正是针对这些缺点进行改进。利用光学分光器件和多个普通动态范围感光器件来实现宽动态范围图像和超宽动态范围图像的采集。

发明内容：

本发明的关键就是利用光学分光器件(比如分光镜)把同一场景出来的光线分成两幅或多幅不同强度的同一场景的图像，这样可以用两个或多个CCD或CMOS感光器件分别对分光后的每幅场景图像暴光成像。由于多幅图像所对应的场景一模一样，两副图像的同一像素点对应的被摄像的场景的同一点，因此图像的合成就非常简单。同时，由于每个感光芯片的暴光时间可以分别独立控制，这样就可以通过不同的暴光时间来采集到不同动态范围的图像：

1.暴光时间长的感光器件，场景中光线弱的地方将得到清晰的图像，而光线强的地方则过度暴光，图像细节信息丢失。

2.暴光时间短的感光器件，场景中光线强的地方将得到清晰的图像，而光学弱的地方则暴光不足，信息淹没在噪声中，图像细节信息丢失。

通过合理控制每个感光器件的暴光时间，可以使每个感光器件所能探测的场景动态范围无缝地衔接起来，从而扩展了整个摄像系统的动态范围。

由于每个感光器件的像素都精确对应被摄场景中的同一点，宽动态范围图像合成非常简单，两副不同暴光时间的图像像素直接对应于合成后的图像像素的不同位，比如透射图对应高8位，反射图对应低8位，合成图是16位。

附图说明：

图1：光电二级管光探测基本原理，即半导体光探测基本电路原理。

图2：不同暴光时间对感光器件成像的影响，即暴光时间对不同入射光强成像的影响。

·暴光时间1：特强光过度暴光，像素饱和，图像细节丢失。强光暴光合适，图像清晰。正常光暴光不足，刚刚超过噪声水平，图像过暗。弱光和特弱光淹没在噪声下，无法得到任何有用信息。

·暴光时间2：特强光和强光过暴，像素饱和，图像细节丢失。正常光暴光合适，图像清晰。弱光欠暴，刚刚超过噪声水平，图像过暗。特弱光淹没在噪声下，无法得到任何有用信息。

·暴光时间3：特强光，强光和正常光统统过暴，像素饱和，图像细节丢失。弱光暴光合适，图像清晰。

图3：利用一个分光镜和两个感光器件扩展动态范围的系统，即本发明原理示意图(一)。

图4：利用两个分光镜和三个感光器件扩展动态范围的系统，即本发明原理示意图(二)。

图5：利用两个分光镜和三个感光器件扩展动态范围的系统，即本发明原理示意图(三)。

图6：动态范围合成示意图，即动态范围图像合成示意图。

具体实施方式：

以图三为例：场景通过光学镜头7成像，形成入射光1，被分光镜4分成反射光9和透射光8。感光器件2和3分别对透射光8和反射光9成像。由暴光控制系统5计算每个感光器件合适的暴光时间，输出暴光控制信号10和11来控制感光器件2和3的暴光时间，由此得到不同动态范围的图像12和13，并输入到宽动态范围图像合成系统进行图像合成。最后输出合成后的宽动态范围图像14到图像显示设备15，或图像处理系统16。图四和图五所示的系统是图三所示系统的扩展，原理类似。

下面给出图3所示系统的每个感光器件暴光时间的算法：

假设：

I_in：入射光强

I_r：反射光强

I_t：透射光强

：分光镜反射率

：分光镜透射率

)t_r：反射光感光器件的暴光时间

)t_t：透射光感光器件的暴光时间

通过分光镜后，反射光和透射光的光强分别为：

I_r＝αI_in

I_t＝(1-α)I_in

通过对反射光和透射光的感光器件的独立暴光控制：

V_r＝I_rΔt_r＝αI_inΔt_r

V_t＝I_tΔt_t＝(1-α)I_inΔt_t

Vr和Vt分别是反射光和透射光的感光器件像素的电压积分值，通过模拟放大和模数转化，这个值最终就是数码图像的像素值，也就是光强的测量值。Vr和Vt对于一定的感光芯片，所能得到的范围是固定的和有限的，它由具体感光器件像素点的物理和几何参数决定(比如PN结面积，搀杂条件，反向偏置电压等)，假设为V_min和V_max，也就是说：

V_min≤V_r≤V_max

V_min≤V_t≤V_max

这样就可以得到反射光和透射光的动态范围：

反射光成像的场景动态范围是： $\frac{V_{\min }}{{\mathrm{\α\Δt}}_r}\≤I_{\mathrm{in}}\≤\frac{V_{\max }}{{\mathrm{\α\Δt}}_r}$

透射光成像的场景动态范围是： $\frac{V_{\min }}{{(1-\mathrm{\α})\mathrm{\Δt}}_t}\≤I_{\mathrm{in}}\≤\frac{V_{\max }}{{(1-\mathrm{\α})\mathrm{\Δt}}_t}$

本发明中有三个独立控制量

，)t_r和)t_r，通过适当的设定这些参数，使反射像和透射像的动态范围迭加起来，就扩展了整个成像系统的动态范围。为使反射像和透射像无缝衔接起来，应该使：

$\frac{V_{\max }}{{\mathrm{\α\Δt}}_r}=\frac{V_{\min }}{{(1-\mathrm{\α})\mathrm{\Δt}}_t}$

也就是：

$\frac{V_{\max }}{V_{\min }}=\frac{{\mathrm{\α\Δt}}_r}{{(1-\mathrm{\α})\mathrm{\Δt}}_t}$

其中

就是感光器件本身的动态范围。例如，如果

为普通48dB感光器件，即 $\frac{V_{\max }}{V_{\min }}=256,$ 分光镜反射率α＝0.8，透射率(1-α)＝0.2，则只要使 $\frac{{\mathrm{\Δt}}_r}{{\mathrm{\Δt}}_t}=64,$ 就可以满足上诉条件，使反射像和透射像的动态范围无缝衔接起来，通过暴光时间控制，这个条件是很容易满足的。

当选择

，)t_r和)t_r使得上诉条件能够满足时，整个合成系统所能探测到的光强范围为：

$\frac{V_{\min }}{{\mathrm{\α\Δt}}_r}\≤I_{\mathrm{in}}\≤\frac{V_{\max }}{{(1-\mathrm{\α})\mathrm{\Δt}}_t}$

整个系统的动态范围为所能探测的最大光强和最小光强的比值：

$\frac{\frac{V_{\max }}{(1-\mathrm{\α})\mathrm{\Δ}{t}_t}}{\frac{V_{\min }}{\mathrm{\α\Δ}{t}_r}}=\left(\frac{V_{\max }}{V_{\min }}\right)\·\left(\frac{\mathrm{\α\Δ}{t}_r}{(1-\mathrm{\α})\mathrm{\Δ}{t}_t}\right)={\left(\frac{V_{\max }}{V_{\min }}\right)}^2$

如果 $\frac{V_{\max }}{V_{\min }}=48\mathrm{dB},$ 即为普通48dB感光器件(8位图像)，用两个这样的器件就能得到 ${\left(\frac{V_{\max }}{V_{\min }}\right)}^2=96\mathrm{dB}$ 的宽动态范围图像，即16位图像，已经大大高于目前市场上大多数摄像机的动态范围。同理，如果用三个48dB感光器件就能实现144dB动态范围，远远高于目前的基于单感光器件的摄像机所能达到的性能。理论上通过多个分光镜和感光器件组合，可以达到无穷大的动态范围，见图六。当然，由于每次分光镜都会有一定的光损失，这个过程不能无限进行下去。一般，两次或三次分光足以满足绝大多数需求。另外，由于每个感光器件只探测场景光强的一部分，所以在暗光下的性能要有些损失，这个缺陷可以通过适当延长暴光时间来补偿。

即分光镜的反射率，可以由不同反射镀层材料和厚度来进行控制。

)t_r和)t_t则由暴光控制系统按照所设定的目标动态范围来进行计算。

Claims (5)

1，一种超宽动态范围的光学成像方法，使用一个或多个分光器件，比如分光镜，和两个或多个固体感光芯片对同一场景同时进行成像，其特征在于：

利用分光镜或分光镜组将同一入射光分成透射光和反射光。或者利用类似的其他光学分光器件将同一入射光分成多束光。其中分光后的每束光的光强占总光强的比例可以通过调节分光器件参数来设定。

利用多个固体感光器件(CCD/CMOS)分别对由分光器件所产生的每束分光光图像同时暴光，独立成像。

利用硬件和/或软件构成的暴光控制系统对每个感光器件(CCD/CMOS)进行独立暴光时间控制。通过调节每个感光器件的暴光时间，使每个感光器件所探测的不同的动态范围迭加起来。

利用硬件和/或软件构成的图像合成系统对每个感光器件采集的不同动态范围的同一场景的多副图像进行超宽动态范围图像合成。

2，一种图像采集系统的动态范围迭加和动态范围扩展的方法。根据权利要求1所述的成像方法，控制暴光时间和分光器件的分光比例，使不同光路的图像的动态范围迭加起来，从而得到扩展了动态范围的合成图像。

3，一种暴光时间计算算方法法。根据权利要求2所述的动态范围扩展方法，计算不同感光器件的暴光时间，使不同的动态范围图像无缝地衔接起来。具算公式为：

$\frac{V_{\max }}{V_{\min }}=\frac{\mathrm{\α}{\mathrm{\Δt}}_r}{(1-\mathrm{\α})\mathrm{\Δ}{t}_t}$

其中，

是CCD/CMOS感光器件动态范围，

是分光镜反射率，)t_r和)t_t分别是反射图像和透射图像的暴光时间。

4，一种超宽动态范围摄像系统。此系统特征是：包含有一个分光器件，两个CCD或CMOS感光器件，暴光控制系统和超宽动态范围图像合成系统。

5，一种超宽动态范围摄像系统。此系统特征是：包含有多个分光器件和多个CCD或CMOS感光器件，暴光控制系统和超宽动态范围图像合成系统。

Images