CN107343130A - 一种基于dmd动态分光的高动态成像模块 - Google Patents

Abstract

本发明涉及一种基于DMD动态分光的高动态成像模块。包括基于DMD高动态成像模块硬件以及光路控制软件和图像融合软件。目标光线进入主镜中，经动态分光装置反射后，经过适配器、光强动态可调机构、位置传感器后，由相机采集图像，再经过DMD空间光调制器后传输到计算机进行参数计算补偿，获取高动态范围图像；适配器可根据不同的成像任务，实现至相机靶面的分光比区域动态可调；结合图像融合和增强处理算法，构成“主镜+适配器+多相机”光路结构，光路结构能够提供的动态范围达到136dB，系统的整体动态范围将大于150dB，实现对目标的高动态范围成像。利用DMD器件实现分光结构的紧凑小巧，实现整体和分区域的动态分光。解决靶场的箭体和火焰同时高质量成像的技术难题。

Description

一种基于DMD动态分光的高动态成像模块

技术领域

本发明涉及传感器高动态成像领域，具体涉及一种基于DMD动态分光的高动态成像模块。该模块由基于DMD的动态分光装置和可互换传感器适配器的硬件模块以及光路控制和图像融合等软件模块组成。通过主镜、多个适配器和多台相机的结合，采用分光比、光强透过率、镜头光圈、相机曝光时间等参数的动态调节技术和多源图像高动态合成技术，实现场景光强极端变化条件下大动态范围的清晰成像，根本上解决高动态范围成像所需要的曝光量动态调整问题，在光测中实现目标高质量成像具有重要意义。

背景技术

光测由于其非接触、直观、高精度的特点，在新型武器装备试验景象记录、异常现象分析、姿态测量等任务中具有不可替代作用。但是相比于火箭发射、导弹初始飞行阶段的高动态场景，现有单台套成像设备动态范围较低，在某一种曝光强度下，现有设备很难捕获场景中的所有细节，图像的部分细节不能够很好的曝光，因而就不能清晰地显示。采用多个相机组成相机阵列，每个相机设定不同的曝光时间，短曝光时间有利于捕获场景高亮区域细节，长曝光时间则可捕获暗区域细节。具有不同曝光时间的所有相机同时曝光，使得场景中不同亮度背景下的目标都能够在某个相机中有较好曝光，即每张图像都有一部分区域细节表现很好；之后通过将不同曝光图像合成的方法，获得场景中所有细节都能够清晰显示的图像。

利用多曝光图像来显示高动态场景的方法可以分为两大类，一种是基于成像过程恢复场景的照度图像的高动态成像方法，这种方法最终得到的结果是高动态图像，需要经过色调映射，才能在普通设备上显示结果。另一种是加权融合的方法，即将曝光图像根据其质量赋予相应的权值，再根据一定的融合规则进行融合，使得最终得到的结果图像包含所有输入图像中曝光较好的场景，即场景中所有位置都较好曝光的图像。

目前，大多数多曝光高动态图像生成算法仅适用于低速或静态的场景，对于高速变化的场景，或者动态范围超大(如>120dB以上)的场景，这种方案仍显得无能为力。

在面向特殊场景应用方面，据不完整的信息推断，美国已经通过多口径设计、光学镜头和光机电结构设计和新型成像探测器等方面的突破，并依托美日在光学镜头设计制造、光机电结构设计和控制实现、图像探测器方面的技术和工业优势，实现了超大动态范围的成像，在NASA和美军方的相关火箭、航天飞机和导弹的发射试验中获得了高动态范围的图像，可以获取较为真实的发射场景，包括光强及分辨率信息及多波段信息等，有力地支撑了美国的航天及武器工业发展。

反观我国，由于在图像探测器上不具备成熟领先的技术和工业水平，同时在成像镜头设计制造、光机电设计及控制实现方面的技术和工业水平与国际领先水平还有不少差距，因此我国目前还没有成熟的高动态范围成像方案和系统用于如靶场光测等特殊场景的高动态范围成像任务。但是，国内的长春光机所、浙江大学、南开大学、贵州大学、国防科技大学、清华大学等单位、以及一些光电研究所和公司企业在相机响应曲线生成、相机内外参数标定、图像对齐和配准、图像拼接、光学镜头设计制造、光机电结构设计、图像传感器的应用控制设计等方面有了不错的进展，形成了子模块的技术实力，并且在一些新型器件的应用研究方面取得了突破，比如长春光机所利用DMD与CCD的结合，实现像素级的曝光控制，可以实现达到96dB的成像动态范围，但是与高动态成像需要的大于120dB(甚至150dB以上)的动态范围还有不少差距。而且，目前国内的高动态范围成像还缺乏大型系统级的设计应用能力。

发明内容

本发明涉及传感器高动态成像领域，具体涉及一种基于DMD动态分光的高动态成像模块。该模块由基于DMD的动态分光装置和可互换传感器适配器的硬件以及光路控制和图像融合等软件组成。动态分光装置主镜采集的光线经动态分光装置后分成n路，分别通过n路上的设置在相机前的可互换传感器适配器，再由相机采集后在相机靶面成像。可互换传感器适配器可根据不同的成像任务，实现至相机靶面的分光比区域动态可调；结合图像融合和增强处理算法，构成“主镜+适配器+多相机”光路结构，光路结构能够提供的动态范围达到136dB，系统的整体动态范围将大于150dB，实现对目标的高动态范围成像。

基于DMD高动态成像模块硬件结构如图1所示。硬件包括主镜1、适配器2、DMD空间光调制器3、动态分光装置4、光强动态可调机构5、位置传感器6、相机7、计算机8，目标光线进入主镜中，经动态分光装置反射后，经过适配器、光强动态可调机构、位置传感器后，由相机采集图像，再经过DMD空间光调制器后传输到计算机进行参数计算补偿，获取高动态范围图像。

所述DMD空间光调制器包括电子控制系统；DMD空间光调制器包括由DMD数字微镜组成的微镜阵列；

所述电子控制系统包括DMD空间光调制器控制板、电子同步触发电路、电源芯片，以及与计算机主控系统进行指令和数据通信的接口；所述电子控制系统包括DMD空间光调制器控制板、电子同步触发电路，DMD空间光调制器控制板接收到计算机发送的矩形区域坐标值和分光比值后，计算矩形区域所在位置和微镜翻转时间，在下一帧图像采集开始前，DMD空间光调制器控制板控制DMD的指定区域微镜按照给定的脉宽进行高频翻转，从而实现目标区域分光比控制；

所述相机7有n个，n为大于等于2的正整数；所述主镜为m个，m为大于等于1的正整数；

所述适配器是为了适应不同靶面大小的相机，在主镜与每个相机之间增加的一组镜头，适配器数量与相机数量一致，每个适配器对应一个相机；动态分光装置与每个适配器前端固连，每个适配器后端与该适配器对应的相机连接；

所述适配器为可互换传感器适配器；

所述相机有不同靶面尺寸，对于不同靶面尺寸的像机，均有相应的适配器与之相对应。

目标通过主镜后成像于主镜的焦平面上，由DMD空间光调制器分成n条支路，分别通过不同的适配器，成像于对应的不同靶面大小的相机上。在光学系统设计中，为了避免像机分辨率对系统成像质量的影响，在设计过程中，均以各个靶面尺寸相机的最小分辨率来进行设计。

高动态范围相机的图像采集和高动态范围图像的合成由安装有图像采集卡的计算机完成，或者根据实际需要可由更多计算机进行图像采集和控制。实际图像采集时，相机的同步采用外触发实现，同步信号将由其中的采集卡产生。本发明整体设计上保证以尽量少的相机组合保证线性响应动态范围全覆盖，根据成像任务，采用分光比、光强透过率、镜头光圈、相机曝光时间等参数的动态调节技术和多源图像高动态合成技术，光路结构能够提供的动态范围达到136dB，系统的整体动态范围将大于150dB，实现场景光强极端变化条件下大动态范围的清晰成像。

与现有技术相比，本发明具有以下明显的优点：

(1)实现比现有光测系统更大的成像动态范围能力，通过光路的入射光强调整，结合高动态相机的使用及多亮度图像融合算法，可获得目标的大动态范围图像。基于DMD动态分光的高动态成像模块能够提供的动态范围可达到136dB，例如，可实现弹体及高亮尾焰的同时清晰成像，实现关键过程的高清晰探测；

(2)实现相机曝光量实时动态调节。根据目标辐射亮度特性的实时变化，动态灵活地调节曝光量，以提升成像动态范围，达到最佳成像的目的。为保证成像的质量，算法具有高效率和实时性特点，可实时分析目标成像特点，在最短时间内有针对性地选择最佳的光强控制策略；

(3)实现整体和分区域的动态分光，首次利用DMD器件实现分光结构的紧凑小巧，支持不同任务的成像分光需要；

(4)高动态图像融合技术，实现准线性响应全覆盖高动态图像，解决目标箭体和火焰同时高质量成像的技术难题。

附图说明

图1基于DMD高动态成像模块硬件结构总体示意图；

图2 DMD每个镜片反射光示意图；

图3 DMD光学原理图；

图4相机曝光量动态调整策略概要示意图；

图5高动态范围图像合成流程；

图6高动态成像镜头及其视场示意图；

图7基于小波变换的曝光融合算法流程图。

具体实施方式

DMD动态分光的高动态成像模块结构框如图1所示。系统包括主镜1、适配器2、DMD空间光调制器3、动态分光装置4、光强动态可调机构5、位置传感器6、相机7、计算机8，

1、硬件组成及基本原理

系统的基本原理是，如图1所示系统工作时，目标光线进入主镜中，经动态分光装置反射后，经过适配器、光强动态可调机构、位置传感器后，由相机采集图像，再经过DMD空间光调制器后传输到计算机进行参数计算补偿，获取高动态范围图像。工作时，在计算机的控制下，DMD空间光调制器在全区域全反射的情况下，获取含有过曝光区域的图像，计算机主控系统将图像中过曝光区域的过曝光度和范围(以像面坐标)等参数提取出来，计算出DMD空间光调制器的面阵反射率分布矩阵，并将这一矩阵换算成DMD不同区域反射单元的反转模式参数，参数发送给DMD控制板后，触发DMD空间光调制器上不同区域的微镜阵列按照一定反射率(占空比)进行翻转，这样DMD空间光调制器在不同区域将有不同的综合反射率，从而对目标光场的不同区域进行不同程度的光强衰减。如某一区域的原始图像中过曝光度较高，则该区域的综合反射率较低，而如果原始图像中显示为正常曝光，则该区域保持全反射；

在DMD空间光调制器的各个分区反射单元准备就绪后，将同步触发CMOS相机采集图像。相机所获取的图像还将由计算机主控程序结合DMD的分区反射率调整参数进行补偿，最后才能够获得高动态范围图像。

(1)光束控制机构

DMD数字微镜阵列是采用微电子机械原理,利用铝溅射工艺,在半导体硅片上生成的一些方形微镜面,数以百万计的微镜面用铰链结构建造在由硅片衬托的CMOS存储器上面，利用静电使微镜转动。DMD的成像靠微镜转动完成,每一个像素上都有一个可转动的微镜；

如图2所示，微镜水平放置,透镜组放置在微镜的中垂线上,如果入射光与微镜中垂线之间的夹角为20°时，则反射光与微镜中垂线之间的夹角也为20°,反射光线不能进入透镜组的光瞳,只有很少量的光透过透镜组到达成像面,这种状态为“平态”。在入射光线和透镜组位置不变的情况下,当微镜顺时针旋转10°时,则出射光线与入射光线的夹角为20°,这时的出射光线正好是透镜组的光轴方向,于是几乎全部通过透镜组,并投射到成像面上,出现亮态,称为“开态”；当微镜由水平位置旋转-10°时,入射光方向和透镜组的位置不变,则出射光线与入射光线的夹角就为40°,这时成像面上出现暗态,称为“关态”。因此通过选择微镜角度及控制微镜启通和断开的速率可以获得不同的成像亮度。

1)光学原理

DMD模式的光学原理图如图3所示，DMD微镜阵列置于主镜焦平面位置，与主镜光轴呈70°角放置，高动态适配器镜组置于DMD的中垂线线上。当目标发出的光线经主镜后成像于DMD微镜阵列上，再通过DMD微镜阵列的反射，使光线通过适配器镜组成像在高动态相机靶面上。这样通过控制DMD微镜阵列的角度及微镜阵列的启通和断开速率，可以在高动态相机的靶面上获得不同亮度的图像。

2)机械结构

DMD模式的高动态成像模块由主镜、DMD元件、适配器、高动态相机及安装座组成；

a)主镜

在火箭发射阶段，目标距离光测设备的距离为2km，目标尺寸约为50m，为了对其完整成像，需完整覆盖约120m的尺度范围，换算其视场张角为3.4°，此时针对对角线长约20mm的成像靶面，对应的镜头焦距约为500mm，故选用500mm的定焦镜头；

b)分光装置

目前可以获取的DMD芯片由于前端成像镜头的后截距、成像尺寸等限制，成像镜头、相机要与DMD芯片在光束尺寸、像元(反射单元)尺寸、光束入射及出射角度达到良好匹配，才能获得较好的成像效果。

如图3所示，DMD芯片与成像镜头、相机之间的光学匹配需要综合分析成像镜头的焦距、孔径、后截距、成像尺寸等参数，以及DMD的工作角度和面形尺寸，成像探测器的成像面尺寸及像素参数等因素，通过透镜组1和透镜组2的设计优化，保证在相机上那个获得质量优良的目标图像，不存在畸变和杂光干扰、光线遮挡等问题；

为了解决以上问题，除了采用透镜组1和透镜组2设计的方法，还拟采用二次转置成像光学系统解决。由DMD到CMOS传感器的二次转置成像光学系统设计步骤如下，由于系统要实现像素匹配，要求绝对畸变控制在一个像素以内，并且物像放大率接近1:1，选用准对称性的转置物镜作为初始结构可以校正畸变等其它垂轴像差，从而实现DMD单元与CMOS像素之间的完全对应，考虑到DMD为反射型光强调制器件，入射光线经一次成像系统后进入DMD中，必须在DMD和转置物镜前端中间的合适位置处插入一片球面反射镜，一方面保证相对于入射光线偏转24°的反射光线能够全部进入到二次成像系统中，另一方面可以校正像面上离轴产生的各种像差。此外，为降低像面装调难度并缩短系统总长，在像面和转置物镜后端插入一块反射棱镜代替了倾斜的像面，从而使像面水平放置；

同时，在装调过程中，还需要考虑到DMD微镜分割线的影响以及DMD平面与CMOS平面存在的旋转差异，为了避免CMOS相机上采集到的图像出现黑色栅格,考虑利用摩尔条纹相位性质装调测试系统的方法，控制调光位置精度达到亚像元尺度。

c)适配器

由光学原理可知，为了适应不同靶面大小的相机，在主镜与相机之间增加一组镜头，使之与其对应的相机匹配，该组镜头与相机一一对应，称之为适配器。同时为了避免分光装置的结构与主镜干涉，适配器分为前端部分和后端部分，前端部分在主镜与分光装置之间，后端部分与相机连接，并作为一个整体部件在使用过程中更换；

适配器在更换过程中，会引起图像中心的偏移，对后续图像融合有影响。引起图像偏移的主要原因是适配器更换后，其安装基准面的误差带来的光轴的偏移；

该系统要求更换适配器后，图像的中心偏移小于0.05mm，则控制图像中心偏移的措施为以下几个方面：

a)在设计上

导向面的轴向配合尽可能加长；

无间隙(最小间隙)的结构设计；

对适配器有精确定位，防止更换后产生转动；

控制适配器与安装基准面的垂直度0.01mm,该精度对机械加工来说是中等精度，能较好的满足技术要求；

b)在加工工艺上

严格控制关键零件和关键组件的加工质量，采用三倍投产优选的措施；

结构总体严格控制装配质量，从零件、组件的检测到产品的总检，严格把关。为保证产品质量和研制进度，采取二倍投产优选的措施。

(2)电子控制系统设计实现

电子控制系统主要由DMD空间光调制器控制板和电子同步触发等电路结构组成。在电子控制系统中，构成主要包括DMD芯片、电源芯片以及与电脑等主控系统进行指令和数据通信的接口；

DMD控制电路的工作原理基于DMD微镜的动作机理。数字微镜DMD一个微镜代表一个像素，每个微镜都有±12度的偏转角，按照对应角度的入射光状态可分别对应“开”态和“关”态，通过控制每个反射微镜下的存储单元值，便可控制每个像素的开关状态及开关时间，即可形成不同亮度、对比度和灰度图像，DMD可通过二进制脉宽调制技术实现全数字方式控制图像的灰度，也就是反射光的反射比。DMD空间光调制器控制板接收到计算机发送的矩形区域坐标值和分光比值后，计算矩形区域所在位置和微镜翻转时间，在下一帧图像采集开始前，DMD空间光调制器控制板控制DMD的指定区域微镜按照给定的脉宽进行高频翻转，从而实现目标区域分光比控制。

2软件模块

(1)相机曝光量动态调整策略分析及控制软件

相机曝光量动态调整需要通过调整光圈大小、适配器分光比、至各相机的光强通过率以及相机的曝光时间和增益放大倍数等组合来实现；

其中，调整光圈大小将直接影响到进入适配器的光通量，处于调整的第一位，随后分别是动态分光装置实现分光比调整、光强动态可调机构实现光强通过率调整、相机曝光时间/增益调整，最终实现任意相机的多段准连续曝光量动态调整。相机(m,n)(第m个主镜的第n个相机)所获得的曝光量相对值如下式，此处不考虑相机的增益系数，即假设相机的增益系数均一致：

RH_m,n＝E₀A_mS_m,nW_m,nC_m,n (1)

其中，E₀为主镜入瞳光总量，A_m为该主镜的光圈档数确定的光通量与最大光圈的比值(以最大光圈时为1)，S_m,n为整束镜组内的动态分光装置的滤光片分往相机(m,n)的分光比，W_m,n为该相机对应的适配器内的光强动态可调机构的滤光片实现的光强通过率，C_m,n为该相机的曝光时间；

按照光测任务的要求，根据现场光照条件和可预计的辐射亮度及其动态范围，可预先通过设定各主镜光圈大小、分光比、光强通过率、相机曝光时间来调整各个相机的预设曝光量。如表1、2为两组预设的曝光量参数配置；

表1预设参数配置1

表2预设参数配置2

在如表1和表2所示的参数配置下，光路结构能够提供的动态范围达到136dB，系统的整体动态范围将大于150dB，足以应对极端的火箭发射过程的高动态范围成像。而且，如果需要更大的动态范围，视镜头的光圈允许值和相机的最短快门允许值，足以应付火箭和各型导弹的发射过程高动态范围成像任务。

对于高动态成像，以上所获得的图像可能并非最优，而且随着目标状态的变化和飞行距离变远，需要动态调整曝光量，此时将主要根据最大曝光量和最小曝光量的图像质量进行评估，给出如何调整参数配置的判断。最大曝光量的图像主要为了提供目标较暗区域的清晰图，而最小曝光量图像主要为了提供目标最亮区域的清晰图。因此，如果最大曝光量图像的暗区部分曝光不足，则在保证能够获取运动图像的快门设置前提下，设置增大曝光量的参数配置；反之，如果最大曝光量图像的暗区部分曝光过度，则设置减少曝光量的参数配置。如果最小曝光量的图像产生曝光不足的问题，则按照调高曝光量进行参数配置，如曝光过量则按照调低曝光量进行参数配置。在设置好曝光量极大和极小的相机曝光参数配置后，以此为基准，按照均衡递增/递减的原则，设置好剩余相机的曝光参数配置。在曝光量极大的相机无法实现重组曝光的情况下，将设置分光比为仅使用其中一个通道的情况，此时将仅允许3台相机按照相同的曝光量参数配置工作。策略如图4所示；

在以上策略的指导下，协调系统的工作参数，以保证获取所需的高质量清晰图像。在以上策略的指导下，结合各个电控部分的驱动程序和图像质量评价处理算法，编制形成动态调整控制软件，经由接口单元对所需调节的机构进行电子控制，达到策略执行的目的。

(2)高动态图像融合算法

多曝光图像加权融合方法的基本原理是将不同曝光量的每幅图像根据其图像质量赋予相应的权值，再根据一定的融合规则进行融合，使得最终得到的结果图像包含所有输入图像中曝光较好的场景，即场景中所有位置都较好曝光的图像。高动态范围图像融合算法处理流程如图5所示。

相机阵列图像配准

对相机阵列中不同相机设置不同的曝光时间，同时捕获场景光照，获得了系列不同曝光的图像，由于各个相机位置的差异，导致获得的图像存在一定的视差，就需要在融合之前对图像进行配准和校正；

本系统3个主镜头和6个相机的镜头配置及其视场示意图如图6所示，在实际使用过程中，三个镜头的视场会有所交叠，6个相机将能够获取某一距离上的场景，但是在此距离前后的场景将会有一定的交叠和错位(在主镜头允许的清晰成像范围内)；

在预先已知镜头组和相机组内外参数的条件下，并且已知目标场景的真实距离，由于设计时采用了同样的主透镜和整束镜组设计，且分光时确保不会带来其它的图像畸变，所以，可以根据该场景在相机中的理想成像之间的关系，获取各图像之间(主要是不同镜头的相机所获取的图像)的相对位移获取移动参数，然后通过图像序列的平移来实现图像的对齐。采用这种方法可以保证在一定的目标场景距离改变的情况下(在距离为1000米时约±100米)，实现图像序列的良好对齐。这是在确保各个参数均能够提前获得的情况下，由于此时对图像的计算检测过程可以忽略，因此将能够确保高动态图像合成的实时性；

如果不能预先提供准确的镜头和相机的内外参数，以及目标场景的真实距离，或者拍摄距离范围超出了标校范围较大的情况下(如在标校距离为1000米时拍摄范围超过±200米)，则需要在各个图像(一般每个镜头一个相机提供图像)中选取特征区域进行边缘检测和定位，从而获取各个图像之间的平移参数，然后基于这些参数进行图像对齐操作。但是，由于图像的特征检测和定位过程将消耗一定的计算量，因此在图像尺寸较大的情况下，这个过程将在某种程度上影响高动态图像合成的实时性。

通常图像配准分为如下两个过程：

1)基于光场合成孔径理论的图像校准(离线预标定)

首先需要对相机进行标定，获取各相机的内外参数。相机的内参和外参通过常规的张正友平面标定法获取。将标定板放在四台相机同时可以观察到的地方进行标定，可以获取统一坐标系下表征各相机方向和位置的外参，为后续基于光场合成孔径理论的图像校准提供参数。

在摄像机阵列中，选取一个摄像机的坐标系为参考坐标系，其他摄像机的外参为相对于参考摄像机的参数。设参考摄像机的内参数矩阵为C，非参考摄像机的内参数矩阵为C^f。取空间中的一点P，它在两个摄像机坐标系中的坐标分别为Q＝(X,Y,Z)^T，Q^f＝(X^f,Y^f,Z^f)^T，点P在两个图像中像的坐标(用齐次坐标表示)为q＝(x,y,1)^T，q＝(x^f,y^f,1)^T，设参考摄像机和摄像机f之间的相对旋转矩阵为R^f，参考摄像机的中心在摄像机f坐标系中的坐标为t^f，设π为空间中一平面，n为参考摄像机坐标系下π的法向量，其中n＝m/d_π，m为π的单位法向量，为参考摄像机原点到平面π的距离，则对于平面π中的所有点，以下公式成立：

令

H^f＝C^f(R^f+t^fn^T)C^-1 (3)

则H^f即为由平面π诱导的两图像之间的单应矩阵。由此可以得出，场景中一个平面上的点在一个摄像机图像中的点经过单应矩阵变换可以与参考图像中的点相重合。由上面的原理可以对场景中的参考平面聚焦，场景深度变化不大时，场景中各点求取的单应变化不大。这样就将相机阵列的不同相机拍摄的图像经过投影变换校准到了同一个平面；

基于光场合成孔径理论在合成场景时必须在同一个平面才能保证合成效果最佳，深度变换越大合成的图像效果越差，但实际情况中很难保证场景在同一个深度平面上，这就需要进行第二步的精确配准。

2)基于中值位图的图像配准

对于某时刻场景中的任意一点，因为比它亮的和比它暗的点的个数是一定的，所以对于不同曝光的两幅图像中的任意一个对应像素，比它亮的与比它暗的像素个数之比是一定的。基于这一思想，根据不同曝光图像的中值将图像二值化，即得到中值位图，根据中值位图对图像进行二次配准，可以得到精度较高的配准图像。

融合算法

1)基于像质评价的融合方法

基于像质评价的融合方法的基本思想是：采用像质评价指标，比较所有曝光图像(i,j)处的像质特性，筛选出最佳值作为融合后输出图像(i,j)处的像素值。最后对该输出图像做光场平滑，防止不同曝光量像素值之间突变；

其中，像素级质量评价对比度、饱和度和曝光度对图像中每个像素进行像质评价。因为过曝光或欠曝光而导致的平坦、无颜色区域应该赋给较小的值，而图像中颜色明亮、细节的像素应该给予较大的值。假设C_ij,k,S_ij,k,D_ij,k分别表示第k帧图像中(i,j)处像素质量评价指标对比度、饱和度和曝光度的评价值，则(i,j)处像素质量综合评价值为：

其中ω_C,ω_S,ω_D分别是对比度、饱和度和曝光度三个指标值所占的权重，计算出每一像素点的综合评价值之后，为了避免质量不好的像素点对融合结果的影响，我们仅选取评价结果最好的点进行融合。这种融合方法有可能会导致融合的图像不够光滑，出现明显的分块效应。因而需要对其进行光滑处理。

2)基于小波分解的多曝光图像融合

小波变换具有多尺度、多分辨率和多方向特性，它在水平、垂直和45度角上的分解符合人眼的视觉机制。因此，将小波变换引入到曝光融合中，得到的融合图像视觉效果会更好；

在基于小波分解的多曝光图像融合方法中，首先，对源图像进行n层小波变换，将其分解为1个低频子图和3N个不同方向的高频部分。高频部分突出了图像的纹理细节，故对各图像分解的高频部分取最大值，对于低频部分进行加权求和，权值由像素的饱和度和曝光时间确定。然后，将归一化后的权值图进行高斯金字塔分解，分解层数与小波分解的层数相同，则分解后权值图最高层与小波分解后低频图像的大小相同，将图像的低频部分进行融合，得到融合图像的低频图像。将融合图像的低频部分和高频部分进行重建，得到最终的融合图像。算法流程如图7所示。

基于小波分解的多曝光图像融合算法步骤为：

(1)像素级质量评价

图像中的细节在小波分解中表现为高频子图，而平坦的区域表现为低频子图。我们为了增强图像的细节和平坦区域的颜色，对高频和低频子图分别处理。对低频部分采用加权融合的方式；

(2)确定融合权值

图像中每一个像素在低频子图融合时的权值为：

其中ω_S,ω_D分别是饱和度和曝光度在确定权值时所占的比重。对权值归一化为：

(3)加权融合

首先，将源图像分解为1个低频子图和3n个不同方向的高频子图高频部分融合规则为：

其中，N为不同曝光图像的数量，表示第k幅图像分解出的高频子图，为融合图像的高频部分；

图像低频部分的融合公式为：

其中为第k幅图像小波分解的低频子图，为权重图高斯金字塔的最高层，为融合图像的低频部分；

现在，我们已经得到了融合图像的高频和低频部分，将它们进行小波重构，得到最终融合的图像。

Claims (3)

1.一种基于DMD动态分光的高动态成像模块，包括基于DMD高动态成像模块硬件以及光路控制软件和图像融合软件，其特征在于，所述硬件包括主镜(1)、适配器(2)、DMD空间光调制器(3)、动态分光装置(4)、光强动态可调机构(5)、位置传感器(6)、相机(7)、计算机(8)，目标光线进入主镜中，经动态分光装置反射后，经过适配器、光强动态可调机构、位置传感器后，由相机采集图像，再经过DMD空间光调制器后传输到计算机进行参数计算补偿，获取高动态范围图像；

所述DMD空间光调制器包括电子控制系统及由DMD数字微镜组成的微镜阵列；

所述电子控制系统包括DMD空间光调制器控制板、电子同步触发电路，DMD空间光调制器控制板接收到计算机发送的矩形区域坐标值和分光比值后，计算矩形区域所在位置和微镜翻转时间，在下一帧图像采集开始前，DMD空间光调制器控制板控制DMD的指定区域微镜按照给定的脉宽进行高频翻转，从而实现目标区域分光比控制。

2.根据权利要求1所述的一种基于DMD动态分光的高动态成像模块，其特征在于，所述光路控制软件具体为：光路控制即动态调整相机曝光量，

相机曝光量动态调整需要通过调整光圈大小、适配器分光比、至各相机的光强通过率以及相机的曝光时间和增益放大倍数组合来实现，

相机(m,n)，第m个主镜的第n个相机，所获得的曝光量相对值如下式，此处不考虑相机的增益系数，即假设相机的增益系数均一致：

RH_m,n＝E₀A_mS_m,nW_m,nC_m,n (1)

其中，E₀为主镜入瞳光总量，A_m为该主镜的光圈档数确定的光通量与最大光圈的比值，以最大光圈时为1，S_m,n为整束镜组内的动态分光装置的滤光片分往相机(m,n)的分光比，W_m,n为该相机对应的适配器内的光强动态可调机构的滤光片实现的光强通过率，C_m,n为该相机的曝光时间，

按照光测任务的要求，根据现场光照条件和可预计的辐射亮度及其动态范围，预先通过设定各主镜光圈大小、分光比、光强通过率、相机曝光时间来调整各个相机的预设曝光量。

3.根据权利要求1所述的一种基于DMD动态分光的高动态成像模块，其特征在于，所述图像融合软件具体为：

对相机阵列中不同相机设置不同的曝光时间，同时捕获场景光照，获得不同曝光的图像，由于各个相机位置的差异，导致获得的图像存在一定的视差，需要在融合之前对图像进行配准和校正，

图像配准分为如下两个过程：

1)基于光场合成孔径理论的图像校准

首先需要对相机进行标定，获取各相机的内外参数，相机的内参和外参通过常规的张正友平面标定法获取，将标定板放在四台相机同时可以观察到的地方进行标定，获取统一坐标系下表征各相机方向和位置的外参，为后续基于光场合成孔径理论的图像校准提供参数，

场景中一个平面上的点在一个摄像机图像中的点经过单应矩阵变换与参考图像中的点相重合，对场景中的参考平面聚焦，场景深度变化不大时，场景中各点求取的单应变化不大，这样就将相机阵列的不同相机拍摄的图像经过投影变换校准到了同一个平面，

基于光场合成孔径理论在合成场景时必须在同一个平面才能保证合成效果最佳，深度变换越大合成的图像效果越差，但实际情况中很难保证场景在同一个深度平面上，这就需要进行第二步的精确配准，

2)基于中值位图的图像配准

对于某时刻场景中的任意一点，因为比它亮的和比它暗的点的个数是一定的，所以对于不同曝光的两幅图像中的任意一个对应像素，比它亮的与比它暗的像素个数之比是一定的，基于这一思想，根据不同曝光图像的中值将图像二值化，即得到中值位图，根据中值位图对图像进行二次配准，得到精度较高的配准图像，

融合算法

采用基于小波分解的多曝光图像融合

在基于小波分解的多曝光图像融合方法中，首先，对源图像进行n层小波变换，将其分解为1个低频子图和3N个不同方向的高频部分，高频部分突出了图像的纹理细节，故对各图像分解的高频部分取最大值，对于低频部分进行加权求和，权值由像素的饱和度和曝光时间确定，然后，将归一化后的权值图进行高斯金字塔分解，分解层数与小波分解的层数相同，则分解后权值图最高层与小波分解后低频图像的大小相同，将图像的低频部分进行融合，得到融合图像的低频图像，将融合图像的低频部分和高频部分进行重建，得到最终的融合图像。