CN1703079A - 自适应扩展动态范围的成像方法及其装置 - Google Patents

Abstract

本发明涉及自适应扩展动态范围的成像方法及其装置。该方法采用第一成像光学系统将物平面的景物成像于图像显示器件的工作面，此图像经第二成像光学系统再次成像于固体成像器件的工作面，由固体成像器件将其工作面上的光信号转换为电信号，并输出到图像信号处理单元，图像信号处理单元判断固体成像器件当前像元是否饱和，计算固体成像器件与图像显示器件的像元位置对应关系，反射率/透射率控制单元根据图像信号处理单元的判断信息及计算结果，自动调节图像显示器件的反射率或透射率。本发明具有实时性好、信噪比无损失、调节范围大、成本低、实现方便的优点，可广泛应用于医学影像、生物分子影像、军事侦察等各种大动态范围成像领域。

Description

自适应扩展动态范围的成像方法及其装置

技术领域

本发明涉及宽动态范围成像方法及其装置，尤其是自适应扩展动态范围的成像方法及其装置。

背景技术

在许多重要的应用领域，固体成像器件(CCD/CMOS图像传感器)的动态范围起着至关重要的作用，动态范围越大，可探测的照度范围越宽，产生的图像细节越丰富。比如，在医学影像诊断(CT、MRI等)中，要能准确获得图像的亮度和对比度信息，CCD的动态范围必须高达2¹²甚至2¹⁶以上；在生物分子成像中，图像的动态范围可高达2²⁰～2³²；在日常摄影中，阳光下景物的动态范围也高达2¹⁶以上。

而目前科学级CCD常温下的动态范围仅为2¹²左右，在冷却条件下，其动态范围也只能扩展至2¹⁴～2¹⁶，但其成本却大大增加。普通型CCD和CMOS图像传感器的动态范围就更小了，仅为2⁸～2¹⁰。因此，在大动态范围成像要求的领域，必须对固体成像器件采取一定的动态范围扩展技术，才能获取真实的、准确的图像信息。

固体成像器件的动态范围依赖于其可分辨的最小信号及可测量的最大信号。最小可分辨的信号一般由噪声所限制，而最大可测量的信号与所采用的光敏单元的阱容有关。因此，提高阱容，降低噪声就可以提高固体成像器件的动态范围，这也是科学级CCD的普遍措施，其缺点是CCD的像元尺寸变大、分辨率降低、成本增加。

若将像元的输出电压进行对数编码，使光电流-电压转换呈对数关系，以压缩固体成像器件的转换曲线，可以获得比较宽的动态范围。但此时成像器件的固定模式噪声很大，信噪比大大降低，获取的图像质量较差。通过特殊的校正技术可以抑制固定模式噪声，改善信噪比，但校正技术导致像元结构复杂，成本增加。

采用两次或多次曝光方法，可在获得宽动态范围图像的同时，保证较高的信噪比。两次曝光方法指对同一幅目标摄像两次，即在较短时间积分后摄像一次，更长积分时间后再摄像一次。从理论上说，短积分时间采样的图像在阱饱和前捕获了高照度区域，长积分时间采样的图像在足够的积分时间后，捕获了低照度区域，因此所采样的两幅图像可组合成一幅宽动态范围的图像。且曝光次数越多，信号变化越均匀，动态范围越大。但此时图像组合(非线性或级连)处理需在片外执行，算法复杂，实时性差。

上述方法均采用像素阵列的全局曝光，不允许局部光照强度的改变。而采用局部曝光可以控制单独像元的积分时间，使照度小的像元积分时间长，照度大的像元积分时间短，因此扩展了成像器件的动态范围。此方法虽然简单，但需要特殊的光学掩模来控制曝光，且每个像元需要较多的晶体管，局部曝光控制需要预知信息，图像重构处理十分繁杂。

发明内容

本发明的目的是提供一种实时性好、信噪比高、动态范围大、成本低、实现方便的自适应扩展动态范围的成像方法及其装置。

本发明的自适应扩展动态范围的成像方法，其特征是包括以下步骤：

1)物平面的景物经第一成像光学系统获得像方光线，像方光线经分光系统分光，成像于图像显示器件的工作面；

2)用第二成像光学系统将图像显示器件工作面上的图像成像于固体成像器件的工作面，固体成像器件将其工作面上的光信号转换为电信号，并输出到图像信号处理单元；

3)图像信号处理单元判断固体成像器件当前像元是否饱和，计算固体成像器件与图像显示器件的像元位置对应关系，并将判断信息及计算结果输出给反射率/透射率控制单元，若没有饱和，反射率/透射率控制单元保持该像元所对应的图像显示器件像元的反射率或透射率不变；若已经饱和，反射率/透射率控制单元则使其对应的图像显示器件像元的反射率或透射率降低1/2，此过程反复进行，直至输出图像中的所有像元信号不再饱和，或达到预先设置的处理次数；

4)将步骤3)处理后的图像信号及反射率/透射率控制单元的控制参数存储于图像信号存储单元，并由显示单元显示图像信号。

通常，为提高成像质量，可采用消光系统消除图像显示器件工作面反射的杂散光。反射率/透射率控制单元采用二分法调节图像显示器件像元的反射率或透射率。

为上述自适应扩展动态范围成像方法设计的装置包括第一成像光学系统，分光系统，图像显示器件，第二成像光学系统，固体成像器件，图像信号处理单元，图像信号存储单元，反射率/透射率控制单元和显示单元，分光系统设置在第一成像光学系统与图像显示器件之间的光路上，第二成像光学系统位于图像显示器件与固体成像器件的物像共轭光路之间，固体成像器件的输出端与图像信号处理单元的输入端连接，图像信号处理单元的控制信号输出端与反射率/透射率控制单元的输入端相连，图像信号处理单元的图像数据和参数输出端与图像信号存储单元的输入端相连，图像信号处理单元的显示信号输出端与显示单元的输入端相连，反射率/透射率控制单元的输出端与图像显示器件的输入端相连。

上述的图像显示器件可以是反射式液晶显示器件(LCD)，透射式液晶显示器件(LCD)或微反射镜阵列器件(DMD)。所说的分光系统可以采用偏振分光器件(PBS)或由反射镜或棱镜组成的非偏振分光器件，图像信号处理单元可采用商业化的数字信号处理器件(DSP)，反射率/透射率控制单元可采用商业化的可编程逻辑阵列器件，如CPLD器件或FPGA器件。

本发明的工作过程如下：物平面上的目标经第一成像光学系统成像至图像显示器件的工作面上，位于第一成像光学系统与图像显示器件的光路之间的分光系统，用来分离入射到图像显示器件的光线和入射到固体成像器件的光线。图像显示器件工作面上的图像再经第二成像光学系统成像于固体成像器件的工作面，固体成像器件将其工作面上的光信号转换为电信号，并输出到图像信号处理单元，由图像信号处理单元判断固体成像器件当前像元是否饱和，计算固体成像器件与图像显示器件的像元位置对应关系，并将判断信息及计算结果输出给反射率/透射率控制单元，若没有饱和，反射率/透射率控制单元保持该像元所对应的图像显示器件像元的反射率或透射率不变；若已经饱和，反射率/透射率控制单元则使其对应的图像显示器件像元的反射率或透射率降低1/2，此过程反复进行，直至输出图像中的所有像元信号不再饱和，或达到预先设置的处理次数，此时图像信号存储单元保存图像信号处理单元处理后的图像信号及图像显示器件每个像元的反射率或透射率控制参数。因此，固体成像器件每个像元的输出信号与图像显示器件相应像元的反射率或透射率构成了一个负反馈闭环控制系统，负反馈控制由图像信号处理单元与反射率/透射率控制单元共同实现，可智能化、自适应地调节成像系统的动态范围。

当图像显示器件选用美国TI公司的微反射镜阵列器件(DMD)时，分光系统必须采用由反射镜或棱镜组成的非偏振分光器件。因为微反射镜阵列器件(DMD)由微反射镜阵列组成，通过脉宽调制PWM方式改变每个微反射镜的转角，进而改变相应的反射率，所以像方入射光线必须以斜入射方式到达微反射镜阵列器件(DMD)的反射面。此时第一成像光学系统为像方远心成像镜头，保证视场内像方主光线到达微反射镜阵列器件(DMD)的入射角均相同。为提高成像质量，可在微反射镜阵列器件(DMD)旁边放置消光系统，消除不需要的反射光线。

图像显示器件还可以采用反射式液晶显示器件(LCD)，如LCOS器件，此时分光系统需采用偏振分光器件(PBS)。

图像显示器件也可采用透射式液晶显示器件(LCD)，此时分光系统需采用偏振分光器件(PBS)，同时光学系统需设计成透射布局。

当图像显示器件采用反射式液晶显示器件(LCD)或透射式液晶显示器件(LCD)时，对第一成像光学系统无特殊要求。

当图像显示器件的分辨率与固体成像器件的分辨率相同时，图像信号处理单元计算得到的固体成像器件与图像显示器件的像元位置对应关系为一一对应关系，当图像显示器件的分辨率与固体成像器件的分辨率不相同时，图像信号处理单元计算得到的固体成像器件与图像显示器件的像元位置对应关系为比例对应关系。

本发明的优点首先是动态范围大，目前商用图像显示器件和固体成像器件的动态范围一般均在2⁸～2¹⁰，本发明的动态范围将是图像显示器件和固体成像器件动态范围的乘积，因此可高达2¹⁶～2²⁰。若选用的图像显示器件和固体成像器件动态范围能达到2¹²～2¹⁶，本发明的动态范围可高达2²⁴～2³²。

本发明的第二个优点是处理速度快。图像信号处理单元的核心部件可选用数字信号处理器(DSP)，实时对图像信号进行处理(每秒30帧)，若图像显示器件的动态范围为2¹⁰，反射率/透射率控制单元采用二分法调节每个像元的反射率/透射率，则饱和像元反射/透射至固体成像器件的光强将在1/3秒钟之内降低至最初的1/2¹⁰，即本发明会在非常短的时间内自动将单个像元的曝光由最亮调节至最暗，自适应地实现了动态范围扩展。

本发明的第三个优点是成本低。因为图像信号处理单元的算法简单，主要是像元灰度与饱和阈值的比较以及像元的位置坐标定位，因此本发明只需采用廉价的定点DSP芯片和可编程逻辑阵列(CPLD)就可以实现成像装置的快速自适应动态范围扩展。

本发明的第四个优点是信噪比无损失。因为改变的是图像显示器件的反射率，丝毫不影响固体成像器件的信噪比，因此获得的图像质量高。

本发明可广泛应用于医学影像、生物分子影像、工业监控、高性能摄影、军事侦察、天文观测等各种大动态范围成像领域，具有实时性好、信噪比无损失、调节范围大、成本低、实现方便的优点。

附图说明

图1为本发明的一种具体构成示意图；

图2为本发明的第二种具体构成示意图，图中，p表示p偏振光，s表示s偏振光；

图3为本发明的第三种具体构成示意图。

具体实施方式

参照图1，本发明的自适应扩展动态范围的成像装置包括第一成像光学系统1，分光系统2，图像显示器件3，第二成像光学系统4，固体成像器件5，图像信号处理单元6，图像信号存储单元7，反射率/透射率控制单元8和显示单元9，分光系统2设置在第一成像光学系统1与图像显示器件3之间的光路上，在图像显示器件3与固体成像器件5之间设有第二成像光学系统4，图像显示器件3的工作面与固体成像器件5的工作面互为物像共轭，固体成像器件5的输出端与图像信号处理单元6的输入端连接，图像信号处理单元6的控制信号输出端与反射率/透射率控制单元8的输入端相连，图像信号处理单元6的图像数据和参数输出端与图像信号存储单元7的输入端相连，图像信号处理单元6的显示信号输出端与显示单元9的输入端相连，反射率/透射率控制单元8的输出端与图像显示器件3的输入端相连。图示具体实例中，图像显示器件3选用微反射镜阵列器件(DMD)，在微反射镜阵列器件(DMD)的旁边设置消光系统10，消光系统可采用表面发黑的光阑；分光系统2为由反射镜组成的非偏振分光器件，或为由棱镜组成的非偏振分光器件；第一成像光学系统1为像方远心成像镜头；图像信号处理单元6采用数字信号处理器(DSP)；反射率/透射率控制单元由可编程逻辑阵列器件实现。

物平面上的目标由第一成像光学系统1成像于微反射镜阵列器件(DMD)3的工作面，在此过程中，光线先到达分光系统2，然后斜入射至微反射镜阵列器件(DMD)3的工作面。微反射镜阵列器件(DMD)的每个微反射镜均处于开(on)状态，这样，光线再一次被微反射镜阵列器件(DMD)反射，经第二成像光学系统4成像于固体成像器件5的工作面。固体成像器件5输出的信号进入图像信号处理单元6，由图像信号处理单元6判断当前像元信号是否饱和。若没有饱和，则微反射镜阵列器件(DMD)3的相应像元微反射镜状态不变，反射率/透射率控制单元8保持当前施加的控制电压；若当前像元信号已饱和，则图像信号处理单元6立刻计算出当前像元在固体成像器件所处的行列位置坐标及它对应的微反射镜行列位置坐标，并通过反射率/透射率控制单元8，以脉宽调制(PWM)方式改变该像元所对应的微反射镜阵列器件(DMD)的微反射镜状态，使其处于开关(on-off)交替状态，当相应微反射镜阵列器件(DMD)的微反射镜处于关(off)状态时，光线将以另一角度被反射至消光系统10，不能到达固体成像器件5，通过调节反射率/透射率控制单元8输出端的脉宽调制(PWM)占空比，即可实现反射率降低至1/2的功能。此过程反复执行，直至输出图像中的所有像元信号不再饱和，或达到预先设置的处理次数，此时图像信号存储单元7保存处理后的图像信号及每个微反射镜的反射率控制参数，显示单元9显示图像信号。

参照图2，自适应扩展动态范围成像方法的装置包括第一成像光学系统1，分光系统2，图像显示器件3，第二成像光学系统4，固体成像器件5，图像信号处理单元6，图像信号存储单元7，反射率/透射率控制单元8和显示单元9。分光系统2设置在第一成像光学系统1与图像显示器件3之间的光路上，第二成像光学系统4位于图像显示器件3与固体成像器件5的物像共轭光路之间，固体成像器件5的输出端与图像信号处理单元6的输入端连接，图像信号处理单元6的控制信号输出端与反射率/透射率控制单元8的输入端相连，图像信号处理单元6的图像数据和参数输出端与图像信号存储单元7的输入端相连，图像信号处理单元6的显示信号输出端与显示单元9的输入端相连，反射率/透射率控制单元8的输出端与图像显示器件3的输入端相连。

此例中，图像显示器件3选用反射式液晶显示器件(LCD)，分光系统2为偏振分光器件(PBS)。由于偏振分光器件(PBS)的分光特性，此时仅物方光线的p偏振分量透过偏振分光器件(PBS)到达反射式液晶显示器件(LCD)的工作面，s偏振分量被偏振分光器件(PBS)反射而损失掉。反射式液晶显示器件(LCD)施加最大控制电压，由于液晶的电光效应，p偏振光将被转变成s偏振光，被偏振分光器件(PBS)再次反射，经成像光学系统4到达固体成像器件5的工作面。由固体成像器件5输出的信号进入图像信号处理单元6，判断当前像元信号是否饱和。若没有饱和，则反射式液晶显示器件(LCD)3的相应像元状态不变，反射率/透射率控制单元8保持当前施加的控制电压；若当前像元信号已饱和，则图像信号处理单元6立刻计算出当前像元在固体成像器件所处的行列位置坐标及它对应的反射式液晶显示器件(LCD)像元行列位置坐标，并通过反射率/透射率控制单元8改变该像元所对应的像元电压，实现反射率降低至1/2的功能。此过程反复执行，直至输出图像中的所有像元信号不再饱和，或达到预先设置的处理次数，此时图像信号存储单元7保存处理后的图像信号及反射式液晶显示器件(LCD)每个像元的反射率控制参数，显示单元9显示图像信号。

图3所示具体实例中，图像显示器件3选用透射式液晶显示器件(LCD)，设置在第一成像光学系统1与图像显示器件3之间的分光系统2为偏振分光器件(PBS)，物平面上的目标由第一成像光学系统1成像于透射式液晶显示器件(LCD)的工作面，在此过程中，光线先到达分光系统2，然后入射至透射式液晶显示器件(LCD)的工作面。位于图像显示器件3与固体成像器件5的物像共轭光路之间的第二成像光学系统4再次将透射式液晶显示器件(LCD)工作面上的图像成像于固体成像器件5的工作面。固体成像器件5输出的信号进入图像信号处理单元6，由图像信号处理单元6判断当前像元信号是否饱和。若没有饱和，则透射式液晶显示器件(LCD)3的相应像元状态不变，反射率/透射率控制单元8保持当前施加的控制电压；若当前像元信号已饱和，则图像信号处理单元6立刻计算出当前像元在固体成像器件所处的行列位置坐标及它对应的透射式液晶显示器件(LCD)像元行列位置坐标，并通过反射率/透射率控制单元8改变该像元所对应的像元电压，实现透射率降低至1/2的功能。此过程反复执行，直至输出图像中的所有像元信号不再饱和，或达到预先设置的处理次数，此时图像信号存储单元7保存处理后的图像信号及透射式液晶显示器件(LCD)每个像元的透射率控制参数，显示单元9显示图像信号。

Claims (10)

1.一种自适应扩展动态范围的成像方法，其特征是包括以下步骤：

1)物平面的景物经第一成像光学系统(1)获得像方光线，像方光线经分光系统(2)分光，成像于图像显示器件(3)的工作面；

2)用第二成像光学系统(4)将图像显示器件(3)工作面上的图像成像于固体成像器件(5)的工作面，固体成像器件(5)将其工作面上的光信号转换为电信号，并输出到图像信号处理单元(6)；

3)图像信号处理单元(6)判断固体成像器件(5)当前像元是否饱和，计算固体成像器件(5)与图像显示器件(3)的像元位置对应关系，并将判断信息及计算结果输出给反射率/透射率控制单元(8)，若没有饱和，反射率/透射率控制单元(8)保持该像元所对应的图像显示器件(3)像元的反射率或透射率不变；若已经饱和，反射率/透射率控制单元(8)则使其对应的图像显示器件(3)像元的反射率或透射率降低1/2，此过程反复进行，直至输出图像中的所有像元信号不再饱和，或达到预先设置的处理次数；

4)将步骤3)处理后的图像信号及反射率/透射率控制单元(8)的控制参数存储于图像信号存储单元(7)，并由显示单元(9)显示图像信号。

2.按照权利要求1所述的自适应扩展动态范围的成像方法，其特征是采用消光系统(10)消除图像显示器件(3)工作面反射的杂散光。

3.按照权利要求1所述的自适应扩展动态范围的成像方法，其特征是反射率/透射率控制单元(8)采用二分法调节图像显示器件(3)像元的反射率或透射率。

4.用于权利要求1所述的自适应扩展动态范围成像方法的装置，其特征是包括第一成像光学系统(1)，分光系统(2)，图像显示器件(3)，第二成像光学系统(4)，固体成像器件(5)，图像信号处理单元(6)，图像信号存储单元(7)，反射率/透射率控制单元(8)和显示单元(9)，分光系统(2)设置在第一成像光学系统(1)与图像显示器件(3)之间的光路上，第二成像光学系统(4)位于图像显示器件(3)与固体成像器件(5)的物像共轭光路之间，固体成像器件(5)的输出端与图像信号处理单元(6)的输入端连接，图像信号处理单元(6)的控制信号输出端与反射率/透射率控制单元(8)的输入端相连，图像信号处理单元(6)的图像数据和参数输出端与图像信号存储单元(7)的输入端相连，图像信号处理单元(6)的显示信号输出端与显示单元(9)的输入端相连，反射率/透射率控制单元(8)的输出端与图像显示器件(3)的输入端相连。

5.按照权利要求4所述的自适应扩展动态范围的成像装置，其特征是图像显示器件(3)为反射式液晶显示器件，透射式液晶显示器件或微反射镜阵列器件。

6.按照权利要求4所述的自适应扩展动态范围的成像装置，其特征是分光系统(2)为偏振分光器件或是由反射镜或棱镜组成的非偏振分光器件。

7.按照权利要求4所述的自适应扩展动态范围的成像装置，其特征是第一成像光学系统(1)为像方远心成像镜头。

8.按照权利要求4所述的自适应扩展动态范围的成像装置，其特征是图像信号处理单元(6)为数字信号处理器件。

9.按照权利要求4所述的自适应扩展动态范围的成像装置，其特征是反射率/透射率控制单元(8)为可编程逻辑阵列器件。

10.按照权利要求4所述的自适应扩展动态范围的成像装置，其特征是在图像显示器件(3)的旁边设置用于消除图像显示器件(3)工作面反射的杂散光的消光系统(10)。

Images