CN107302667A

CN107302667A - 一种相机可互换动态分光成像系统及其应用于高动态成像的方法

Info

Publication number: CN107302667A
Application number: CN201710704689.XA
Authority: CN
Inventors: 于起峰; 刘肖琳; 张小虎; 刘海波
Original assignee: National University of Defense Technology
Current assignee: National University of Defense Technology
Priority date: 2017-08-17
Filing date: 2017-08-17
Publication date: 2017-10-27
Anticipated expiration: 2037-08-17
Also published as: CN107302667B

Abstract

本发明涉及一种相机可互换动态分光成像系统及其应用于高动态成像的方法。该系统采用“组合成像模式”，结合后端的图像融合处理算法，构成“主镜 + 适配器 + 多相机 + 多源图像融合”结构，实现对目标的高质量成像。本发明改变传统光测系统的单次单一光路的单传感器成像模式为动态分光的多传感器成像模式，突破大动态范围成像方案、分光比动态可调适配器模块、多波段高动态图像融合算法等关键技术，解决多种先进传感器的集成安装和同步成像、多源图像融合和增强处理算法等问题，最大限度的获取光测信息，实现对靶场目标的高动态、高速、多波段、高分辨、高质量成像，有效提高靶场试验光测水平。

Description

一种相机可互换动态分光成像系统及其应用于高动态成像的方法

技术领域

本发明涉及传感器高动态成像领域，具体涉及一种相机可互换动态分光成像系统及其应用于高动态成像的方法。

背景技术

光测由于其非接触、直观、高精度的特点，在新型武器装备试验景象记录、异常现象分析、姿态测量等任务中具有不可替代作用。但是目前光测设备不能同时满足新型武器试验任务的高光强动态范围的成像要求。在目标初段光测时，目标的光辐射强度动态范围大、光谱辐射信息丰富、目标细节较多，而随着目标运动距离的增大，目标的光辐射强度动态范围和所呈现出的细节信息将发生显著变化，现有单套设备对其全过程的成像效果不甚理想。具体表现在以下几个方面：

(1)成像的动态范围无法满足新型先进武器试验的需求

在火箭发射、导弹初始飞行阶段，高亮尾焰伴随着弹体，二者亮度上的巨大差别超出现有光测设备的成像动态范围，无法得到暗目标区和亮火焰区同时可分辨的图像，极易产生尾焰过曝光或弹体曝光不足问题；

(2)现有光测设备的光学镜头与图像传感器固定搭配，灵活适用性方面有待提高

大口径光学成像系统更新换代较慢，而图像传感器技术和图像处理技术进步日新月异，但是，目前光学主镜与成像传感器固定搭配，使得设备一旦装备后，性能指标即固定，无法跟上各类成像传感器技术突飞猛进的发展，或者需要花费大量的人力物力重新设计生产新装备。另外，设备用于不同任务的适用范围较窄；

(3)多源图像传感器的图像融合有待提高

现有光测设备在每次测量中一般只记录目标单一波段的图像，其他波段得不到有效利用。

相比于火箭发射、导弹初始飞行阶段的高动态场景，现有单台套成像设备动态范围较低，在某一种曝光强度下，现有设备很难捕获场景中的所有细节，图像的部分细节不能够很好的曝光，因而就不能清晰地显示。采用多个相机组成相机阵列，每个相机设定不同的曝光时间，短曝光时间有利于捕获场景高亮区域细节，长曝光时间则可捕获暗区域细节。具有不同曝光时间的所有相机同时曝光，使得场景中不同亮度背景下的目标都能够在某个相机中有较好曝光，即每张图像都有一部分区域细节表现很好；之后通过将不同曝光图像合成的方法，获得场景中所有细节都能够清晰显示的图像。

利用多曝光图像来显示高动态场景的方法可以分为两大类，一种是基于成像过程恢复场景的照度图像的高动态成像方法，这种方法最终得到的结果是高动态图像，需要经过色调映射，才能在普通设备上显示结果。另一种是加权融合的方法，即将曝光图像根据其质量赋予相应的权值，再根据一定的融合规则进行融合，使得最终得到的结果图像包含所有输入图像中曝光较好的场景，即场景中所有位置都较好曝光的图像。

目前，大多数多曝光高动态图像生成算法仅适用于低速或静态的场景，对于高速变化的场景，或者动态范围超大(如>120dB以上)的场景，这种方案仍显得无能为力。

在面向特殊场景应用方面，据不完整的信息推断，美国已经通过多口径设计、光学镜头和光机电结构设计和新型成像探测器等方面的突破，并依托美日在光学镜头设计制造、光机电结构设计和控制实现、图像探测器方面的技术和工业优势，实现了超大动态范围的成像，在NASA和美军方的相关火箭、航天飞机和导弹的发射试验中获得了高动态范围的图像，可以获取较为真实的发射场景，包括光强及分辨率信息及多波段信息等，有力地支撑了美国的航天及武器工业发展。

反观我国，由于在图像探测器上不具备成熟领先的技术和工业水平，同时在成像镜头设计制造、光机电设计及控制实现方面的技术和工业水平与国际领先水平还有不少差距，因此我国目前还没有成熟的高动态范围成像方案和系统用于如靶场光测等特殊场景的高动态范围成像任务。但是，国内的长春光机所、浙江大学、南开大学、贵州大学、国防科技大学、清华大学等单位、以及一些光电研究所和公司企业在相机响应曲线生成、相机内外参数标定、图像对齐和配准、图像拼接、光学镜头设计制造、光机电结构设计、图像传感器的应用控制设计等方面有了不错的进展，形成了子模块的技术实力，并且在一些新型器件的应用研究方面取得了突破，比如长春光机所利用DMD与CCD的结合，实现像素级的曝光控制，可以实现达到96dB的成像动态范围，但是与光测成像需要的大于120dB(甚至150dB以上)的动态范围还有不少差距。而且，目前国内的高动态范围成像还缺乏大型系统级的设计应用能力。

在高速成像和高分辨成像方面，国内目前主要通过购买欧美日的成像单元来实现，还不具备高速和高分辨成像单元的高水平自主设计制造能力，这也是我国与欧美最大的差距所在，也直接影响到了我国光测在高动态成像方面的能力。

发明内容

本发明提供一种相机可互换动态分光成像系统及其应用于高动态成像的方法，采用“组合成像模式”，结合后端的图像融合和增强处理算法，构成“主镜+适配器+多相机+多源图像融合”结构，改变传统光测系统的单次单一光路成像模式，突破大动态范围成像方案、分光比动态可调适配器模块、高动态图像融合算法等关键技术，解决多种先进传感器的集成安装和同步成像、多源图像融合和增强处理算法等问题，实现对目标的高动态、高质量成像。

1、相机可互换动态分光成像系统硬件结构

如图1所示，相机可互换动态分光成像系统包括分光装置与适配器模块、图像传感器，其中分光装置分为基于分光转轮动态分光模式或基于DMD的动态分光模式，适配器为传感器互换适配器，图像传感器为高动态成像相机；

所述适配器包括与相机接口互连的适配器前端和与主镜接口互连的适配器后端两部分，实现主镜与不同成像传感器的适配，采用同一主镜即可针对不同任务需求更换传感器互换适配器；

所述分光装置位于适配器的前端和后端中间，主镜采集的光线经分光装置后分成两路或多路，再由适配器采集后在相机靶面成像，适配器根据不同的成像任务，实现至不同相机的分光比可调。

2、相机可互换动态分光成像系统软件模块

如图1所示，高动态成像系统软件包括：像质评价模块、图像融合模块和光路控制模块；

高动态成像系统分为相机控制、动态分光、网络传输、图像融合和人机交互五个部分，其中各个部件的关系如图2所示，系统首先通过人机交互部件配置好高动态成像相机的参数，镜头的曝光量初始控制参数，网络数据传输参数和图像数据存储参数。由相机控制部件对高动态成像相机进行连接，并将实时采集的图像存储到高速电子盘中，同时将图像通过网络传输部件将本机图像数据和时间信息传输给其他机器进行图像融合；在图像采集过程中，动态分光部件通过对实时采集的相机图像质量进行分析，对成像质量不好的高动态成像相机进行光圈、曝光时间、分光比和光强度等进行调整。图像融合部件将本机采集的图像或网络传输过来的图像进行融合，并将融合结果实时显示或给外部系统。

3、本系统关键方法

1)分析及控制相机曝光量动态调整策略：如果要完整记录下目标在任务时的完整信息，需要记录的辐照度光学动态范围应该在120dB以上，甚至达到150dB，势必需要合理的相机曝光量动态调整策略，通过调整光圈大小、适配器分光比、至各相机的光强通过率以及相机的曝光时间和增益放大倍数等组合，以获得目标不同亮度区域的清晰图像，最后合成为高动态范围的清晰图像；

2)高动态图像融合：高动态图像融合方法的基本原理是将不同曝光量的每幅图像根据其图像质量赋予相应的权值，再根据一定的融合规则进行融合，使得最终得到的结果图像包含所有输入图像中曝光较好的场景，即场景中所有位置都较好曝光的图像，实现覆盖目标高动态范围的全线性响应成像；

3)多源图像融合：通过预先的标校可以将不同曝光量相机的镜头指向及视场调整到与高动态图像获取各镜头比较匹配的状态，并获得与高动态图像获取相机组相同坐标系下的参数。因此，只需要在安装后实施一次标定即可找到多源图像间的相对位置关系，进而可实现多源图像的融合；

4)图像质量评价：在曝光融合算法中，图像质量评价包括用来进行融合的输入图像的评价和评价算法效果的融合图像质量的评价。输入图像质量评价主要是用来选择图像中曝光较好的区域/像素来进行融合；而融合图像由于是在输入图像的基础上图像增强的结果，因而需要衡量其相对于输入图像图像质量改善的程度，即融合图像和输入图像质量的比较，因此本发明还从图像的细节丰富程度和颜色的鲜艳程度两方面对融合结果进行评价。

与现有技术相比，本发明具有以下明显的优点：

1)实现比现有光测系统更大的成像动态范围能力，通过光路的入射光强调整，结合高动态相机的使用及多亮度图像融合算法，可获得目标的大动态范围图像。动态分光的高动态成像模块能够提供的动态范围可达到136dB，例如，可实现弹体及高亮尾焰的同时清晰成像，实现关键过程的高清晰探测；

2)实现相机曝光量实时动态调节。根据目标辐射亮度特性的实时变化，动态灵活地调节曝光量，以提升成像动态范围，达到最佳成像的目的。为保证成像的质量，算法具有高效率和实时性特点，可实时分析目标成像特点，在最短时间内有针对性地选择最佳的光强控制策略；

3)实现整体和分区域的动态分光，支持不同任务的成像分光需要。利用可互换成像传感器适配器，使得成像主镜可方便适配不同靶面尺寸的相机，采用同一主镜即可针对不同任务需求灵活便捷的更换成像传感器，达到对某一任务的最佳性能，实现昂贵主设备的可重构、可重用性，节约成本；

(4)高动态图像融合技术，实现准线性响应全覆盖高动态图像，解决目标箭体和火焰同时高质量成像的技术难题，可以经济、方便地将最新的成像传感器用于已有的装备，实现经纬仪与成像传感器发展水平同步。

附图说明

图1相机可互换动态分光成像系统软硬件框架；

图2相机可互换动态分光成像系统分部件关系图；

图3适配器Ⅰ结构切面图；

图4适配器Ⅱ结构切面图；

图5基于分光转轮高动态范围成像系统结构示意图；1—主镜，2、3—适配器，4—动态可调分光机构，5—光强动态可调机构，6—位置传感器；

图6基于DMD高动态成像模块硬件结构总体示意图；1—主镜，2、3—适配器，4—动态可调分光机构，5—光强动态可调机构，6—位置传感器；

图7相机曝光量动态调整策略概要示意图；

图8高动态范围图像合成流程；

图9高动态成像镜头及其视场示意图；

图10基于小波变换的曝光融合算法流程图。

具体实施方式

本发明提供一种相机可互换动态分光成像系统及其应用于高动态成像的方法。

1、相机可互换动态分光成像系统硬件结构设计

如图1所示，相机可互换动态分光成像系统包括分光装置与适配器模块、图像传感器，其中动态分光装置可分为基于分光转轮动态分光模式或基于DMD的动态分光模式，适配器为传感器互换适配器，图像传感器为高动态成像相机。本系统采用“组合成像模式”，结合后端的图像融合和增强处理算法，构成“主镜+适配器+多相机+多源图像融合”结构，解决多种传感器的集成安装和同步成像、多源图像融合和增强处理算法等问题，实现对目标的高动态、高质量成像。

1)相机

根据任务的具体成像的动态范围，选择合适的相机组。以大于120dB的动态范围成像要求为例，可采用目前高稳定性的Photonfocus公司的MV-D2048-G2-80-12彩色相机等，该相机分辨率为2048×2048pixels，光谱响应范围是350-900nm，线性动态范围是60dB，像元尺寸为5.5μm×5.5μm。

2)主镜

以火箭发射阶段为例，目标距离光测设备的距离为2km，目标尺寸约为50m，要求像占靶面尺寸的比例在1/3～1/2之间。为了对其完整成像，需完整覆盖约120m的尺度范围，换算其视场张角为3.4°，此时针对对角线长约30mm的成像靶面，对应的镜头焦距约为500mm，故应选用500mm的定焦镜头。

3)传感器可互换适配器

传感器可互换适配器主要包括与相机接口互连的适配器前端和与主镜头接口互连的适配器后端两部分，实现主镜头与不同成像传感器的适配，采用同一主镜即可针对不同任务需求方便的更换成像传感器，使大口径经纬仪与成像传感器发展水平同步；

由光学原理可知，为了适应不同靶面大小的相机，在主镜与相机之间增加一组镜头，使之与其对应的相机匹配，该组镜头与相机一一对应，称之为适配器。同时为了避免分光装置的结构与主镜干涉，适配器分为前端部分和后端部分，前端部分在主镜与分光装置之间，后端部分与相机连接，并作为一个整体部件在使用过程中更换。

为了实现适配器互换的同时不影响整机的像质及后续的图像融合，采取以下两种方案来实现：

①以适配器后端A面为基准面，与镜身用螺钉连接，确保适配器更换后相机上成清晰像；同时用内螺纹圆柱销来对安装位置定位。其切面图如图3所示；

②适配器采用燕尾槽的结构形式来实现其快速更换，并用螺钉拧紧，使其与镜身连接牢靠，其切面图如图4所示所示。

适配器在更换过程中，会引起图像中心的偏移，对后续图像融合有影响。引起图像偏移的主要原因是适配器更换后，其安装基准面的误差带来的光轴的偏移；

该系统要求更换适配器后，图像的中心偏移小于0.05mm，则控制图像中心偏移的措施包括以下几个方面：

a)在设计上

①导向面的轴向配合尽可能加长；

②无间隙(最小间隙)的结构设计；

③对适配器有精确定位，防止更换后产生转动；

④控制适配器与安装基准面的垂直度0.01mm,该精度对机械加工来说是中等精度，能较好的满足技术要求；

b)在加工工艺上

①严格控制关键零件和关键组件的加工质量，采用三倍投产优选的措施；

②结构总体严格控制装配质量，从零件、组件的检测到产品的总检，严格把关。为保证产品质量和研制进度，采取二倍投产优选的措施。

4)分光装置

根据分光装置的不同，该白光成像系统可分为转轮分光模式和DMD空间动态分光模式两种方案：

(1)转轮分光模式

转轮分光装置,该分光装置采用分光转轮的形式来实现系统分光。分光转轮可通过装置上方按钮手动选择，也可利用所提供软件自动调节。根据所选端口，分光轮的当前位置可在当前端口看到。该分光转轮的转换时间＜1s，其中分光片的分光比有0:1、0.01:0.99、0.1:0.9、0.2:0.8、0.4:0.6、0.5:0.5；

基于转轮动态分光的高动态范围成像模块硬件结构如图6所示。系统主要由主镜、适配器、分光转轮空间光调制器、光强动态可调机构、位置传感器、相机和计算机/主控电路及主控界面等组成。按照高动态成像适配模块的设计原理，对于不同靶面尺寸的相机，均有相应的适配器与之相对应。目标通过主镜后成像于主镜的焦平面上，由分光转轮空间光调制器分成两条支路，分别通过不同的适配器，成像于对应的不同靶面大小的像机上。在光学系统设计中，为了避免像机分辨率对系统成像质量的影响，在设计过程中，均以各个靶面尺寸像机的最小分辨率来进行设计；

高动态范围相机的图像采集和高动态范围图像的合成由安装有图像采集卡的计算机完成，或者根据实际需要可由更多计算机进行图像采集和控制。实际图像采集时，相机的同步采用外触发实现，同步信号将由其中的采集卡产生。本发明整体设计上保证以尽量少的相机组合保证线性响应动态范围全覆盖，根据成像任务，采用分光比、光强透过率、镜头光圈、相机曝光时间等参数的动态调节技术和多源图像高动态合成技术，光路结构能够提供的动态范围达到136dB，系统的整体动态范围将大于150dB，实现场景光强极端变化条件下大动态范围的清晰成像。

(2)DMD空间动态分光模式

基于DMD高动态成像模块硬件结构如图7所示。系统主要由主镜、适配器、DMD空间光调制器、光强动态可调机、相机和计算机/主控电路及主控界面等组成；

系统的基本原理是，系统工作时，目标光线进入成像镜头中，经透镜组Ⅱ照射到DMD空间光调制器上，DMD空间光调制器反射后，经过透镜组Ⅰ，由成像探测器采集图像，最后经过参数计算补偿，获取高动态范围图像。工作时，在计算机的控制下，DMD在全区域全反射的情况下，成像探测器获取含有过曝光区域的图像，主控系统将图像中过曝光区域的过曝光度和范围(以像面坐标)等参数提取出来，计算出DMD空间光调制器的面阵反射率分布矩阵，并将这一矩阵换算成DMD不同区域反射单元的反转模式参数，参数发送给DMD控制板后，触发DMD空间光调制器上不同区域的微镜阵列按照一定反射率(占空比)进行翻转，这样DMD空间光调制器在不同区域将有不同的综合反射率，从而对目标光场的不同区域进行不同程度的光强衰减。

硬件组成及基本原理

系统的基本原理是，如图7所示系统工作时，目标光线进入成像镜头中，经透镜组Ⅱ照射到DMD空间光调制器上，DMD空间光调制器反射后，经过透镜组Ⅰ，由成像探测器采集图像，最后经过参数计算补偿，获取高动态范围图像。工作时，在计算机的控制下，DMD在全区域全反射的情况下，成像探测器获取含有过曝光区域的图像，主控系统将图像中过曝光区域的过曝光度和范围(以像面坐标)等参数提取出来，计算出DMD空间光调制器的面阵反射率分布矩阵，并将这一矩阵换算成DMD不同区域反射单元的反转模式参数，参数发送给DMD控制板后，触发DMD空间光调制器上不同区域的微镜阵列按照一定反射率(占空比)进行翻转，这样DMD空间光调制器在不同区域将有不同的综合反射率，从而对目标光场的不同区域进行不同程度的光强衰减。如某一区域的原始图像中过曝光度较高，则该区域的综合反射率较低，而如果原始图像中显示为正常曝光，则该区域保持全反射；

在DMD空间光调制器的各个分区反射单元准备就绪后，将同步触发CMOS相机采集图像。相机所获取的图像还将由主控程序结合DMD的分区反射率调整参数进行补偿，最后才能够获得高动态范围图像。

(1)光束控制机构

DMD数字微镜阵列是采用微电子机械原理，利用铝溅射工艺，在半导体硅片上生成的一些方形微镜面，数以百万计的微镜面用铰链结构建造在由硅片衬托的CMOS存储器上面，利用静电使微镜转动。DMD的成像靠微镜转动完成，每一个像素上都有一个可转动的微镜，可通过选择微镜角度及控制微镜启通和断开的速率可以获得不同的成像亮度；

DMD模式的高动态成像模块由主镜、DMD元件、适配器、高动态相机及安装座组成。目前可以获取的DMD芯片由于前端成像镜头的后截距、成像尺寸等限制，成像镜头、相机要与DMD芯片在光束尺寸、像元(反射单元)尺寸、光束入射及出射角度达到良好匹配，才能获得较好的成像效果；

DMD芯片与成像镜头、相机之间的光学匹配需要综合分析成像镜头的焦距、孔径、后截距、成像尺寸等参数，以及DMD的工作角度和面形尺寸，成像探测器的成像面尺寸及像素参数等因素，通过透镜组1和透镜组2的设计优化，保证在相机上那个获得质量优良的目标图像，不存在畸变和杂光干扰、光线遮挡等问题；

为了解决以上问题，除了采用透镜组Ⅰ和透镜组Ⅱ设计的方法，还拟采用二次转置成像光学系统解决。由DMD到CMOS传感器的二次转置成像光学系统设计步骤如下，由于系统要实现像素匹配，要求绝对畸变控制在一个像素以内，并且物像放大率接近1:1，选用准对称性的转置物镜作为初始结构可以校正畸变等其它垂轴像差，从而实现DMD单元与CMOS像素之间的完全对应，考虑到DMD为反射型光强调制器件，入射光线经一次成像系统后进入DMD中，必须在DMD和转置物镜前端中间的合适位置处插入一片球面反射镜，一方面保证相对于入射光线偏转24°的反射光线能够全部进入到二次成像系统中，另一方面可以校正像面上离轴产生的各种像差。此外，为降低像面装调难度并缩短系统总长，在像面和转置物镜后端插入一块反射棱镜代替了倾斜的像面，从而使像面水平放置；

同时，在装调过程中，还需要考虑到DMD微镜分割线的影响以及DMD平面与CMOS平面存在的旋转差异，为了避免CMOS相机上采集到的图像出现黑色栅格,考虑利用摩尔条纹相位性质装调测试系统的方法，控制调光位置精度达到亚像元尺度。

(2)电子控制系统设计实现

电子控制系统主要由DMD空间光调制器控制板和电子同步触发等电路结构组成。在电子控制系统中，构成主要包括DMD芯片、电源芯片以及与电脑等主控系统进行指令和数据通信的接口；

DMD控制电路的工作原理基于DMD微镜的动作机理。数字微镜DMD一个微镜代表一个像素，每个微镜都有±12度的偏转角，按照对应角度的入射光状态可分别对应“开”态和“关”态，通过控制每个反射微镜下的存储单元值，便可控制每个像素的开关状态及开关时间，即可形成不同亮度、对比度和灰度图像，DMD可通过二进制脉宽调制技术实现全数字方式控制图像的灰度，也就是反射光的反射比。DMD空间光调制器控制板接收到计算机发送的矩形区域坐标值和分光比值后，计算矩形区域所在位置和微镜翻转时间，在下一帧图像采集开始前，DMD空间光调制器控制板控制DMD的指定区域微镜按照给定的脉宽进行高频翻转，从而实现目标区域分光比控制；

目前所能获得的最大动态范围的单一相机已无法满足成像需要，必须采用多个相机、通过控制不同的通光量分别获得同一场景不同亮度条件下的图像，经融合获得大动态范围图像。目前标称动态范围约为60dB的相机，其理想的成像物理动态范围约仅有40dB，要实现动态范围超过120dB的成像，还必须要有光路上的透过率调节和镜头光圈和相机快门的配合设计；

其中，高动态成像模块的整束镜组带前后卡口和滑轨，并带有自动标校激光电源，以确保更换后的定位可重复性，并可与适配器上相机接口端的位置传感器(拟采用PSD光电位置传感器，可实现优于1微米的精度测量，因其中可能涉及机械调整，造成的图像横向偏移会最大达到10个像素点以上，因此位置传感器是需考虑的一个设计)相结合，实现在适配器更换后的精确自动标校，获取标校参数用于图像对齐。适配器带前后卡口和滑轨，并具有光强动态可调机构，用于实现动态的光强调整，实现至相机辐照度的动态可调。动态可调分光机构和光强动态可调机构可采用中密度滤光片、DMD等元器件或光机电单元来实现。

由于动态可调分光机构和光强动态可调机构均要涉及到机械变动和滤光片的更换，有可能会带来相机成像靶面上像点的位移，从而造成图像融合的困难。为了解决这一问题，在模块结构中引入自动标校机构，由整束镜组上的激光电源和适配器上的附加定位单元构成，在设计中使得这一部分的加入不影响成像，但能检测出在调节分光和光强调整后的滤光片角度变化量，从而为图像对齐提供基本参数；

按照高动态成像适配模块的设计原理，对于不同靶面尺寸的像机，均有相应的适配器与之相对应。目标通过主镜后成像于主镜的焦平面上，再通过整束镜组后，由分光机构分成两条支路，分别通过不同的适配器，成像于对应的不同靶面大小的像机上。在光学系统设计中，为了避免像机分辨率对系统成像质量的影响，在设计过程中，均以各个靶面尺寸像机的最小分辨率来进行设计；

高动态范围相机的图像采集和高动态范围图像的合成由同一台安装有图像采集卡的计算机完成，或者根据实际需要可由更多计算机进行图像采集和控制。实际图像采集时，相机的同步采用外触发实现，同步信号(按照25fps的帧速触发)将由其中的一块采集卡产生，此触发信号还将提供给相机作为该相机的外触发信号。

2、相机可互换动态分光成像系统软件模块

相机可互换动态分光成像系统分为相机控制、动态分光、网络传输、图像融合和人机交互五个部件。相机可互换动态分光成像系统分部件关系图如图2所示，系统首先通过人机交互部件配置好相机的参数，镜头的曝光量初始控制参数，网络数据传输参数和图像数据存储参数。由相机控制部件对相机进行连接，并将实时采集的图像存储到高速电子盘中，同时将图像通过网络传输部件将本机图像数据和时间信息传输给其他机器进行图像融合；在图像采集过程中，动态分光部件通过对实时采集的相机图像质量进行分析，对成像质量不好的相机进行光圈、曝光时间、分光比和光强度等进行调整。图像融合部件将本机采集的图像或网络传输过来的图像进行融合，并将融合结果实时显示或给外部系统；

相机控制部件主要的功能是连接高动态相机和高分辨率相机，同时将采集的相机图像实时存储到高速电子盘，并根据需要将需要传输给其他机器进行融合的实时图像/时间信息，通过网络部件传输给其他机器。另外该部件将实时采集到的图像交给动态分光部件进行分析；

动态分光部件的主要功能是通过图像质量评估算法，对实时采集到的相机图像质量进行分析，根据评估结果来动态调整相机镜头的光圈、曝光时间、光线进入相机的分光比和光强度等；

网络传输部件的主要功能是将摄像头实时采集的图像数据和时间信息数据实时传输给其他处理机器；

图像融合部件的主要功能是将不同的相机采集的目标图像融合到一起显示，提高监控图像的观测范围。它主要分为高动态图像融合、多波段图像融合和高分辨率图像与高动态图像融合等。图像对齐的主要功能是对不同观测视角的相机采集图像进行配准和校正。图像质量评估的主要功能是通过图像分析算法，分析图像的质量来决定图像中质量好的区域。选择融合算法进行图像融合的主要功能是根据用户选择的融合算法或根据图像的类型来选择合适的图像融合算法来对图像进行融合；

人机交互部件的主要功能是提供用户输入信息的接口、将采集图像储存和将融合图像等以合适的方式展示给用户，人机交互部件主要包括相机配置信息显示单元，相机采集与存储控制显示单元，相机网络传输控制单元，相机实时图像显示单元，图像融合来源与融合算法参数设置显示单元，图像融合结构显示单元。

3、成像系统关键方法

1)分析及控制相机曝光量动态调整策略

目前较容易获得的相机成像单通道动态范围在光学上一般仅有大约2⁸，即256级灰度，折合约48dB。如果要完整记录下靶场目标在任务时的完整信息，需要记录的辐照度光学动态范围应该在120dB以上，甚至达到150dB，势必需要合理的相机曝光量动态调整策略，通过组合相机以不同曝光量的方式获得目标不同亮度区域的清晰图像，最后合成为高动态范围的清晰图像。工程设计中给相机留出足够的动态范围余量，以40dB(10^-2)计算，余下的大于80dB(10^-4)的动态范围要求，通过光圈大小、分光比、光强通过率和相机快门的组合调整来实现；

因此，相机曝光量动态调整需要通过调整光圈大小、适配器分光比、至各相机的光强通过率以及相机的曝光时间和增益放大倍数等组合来实现。其中，调整光圈大小将直接影响到进入适配器的光通量，处于调整的第一位，随后分别是动态可调分光机构实现分光比调整、光强动态可调机构实现光强通过率调整、相机曝光时间/增益调整，最终实现任意相机的多段准连续曝光量动态调整。相机(m,n)(第m个主镜的第n个相机)所获得的曝光量相对值RH_m,n如下式，此处不考虑相机的增益系数，即假设相机的增益系数均一致：

RH_m,n＝E₀A_mS_m,nW_m,nC_m,n (1)

其中，E₀为主镜入瞳光总量，A_m为该主镜的光圈档数确定的光通量与最大光圈的比值(以最大光圈时为1)，S_m,n为整束镜组内的动态可调分光机构的滤光片分往相机(m,n)的分光比，W_m,n为该相机对应的适配器内的光强动态可调机构的滤光片实现的光强通过率，C_m,n为该相机的曝光时间；

对于高动态成像，以上所获得的图像可能并非最优，而且随着目标状态的变化和飞行距离变远，需要动态调整曝光量，此时将主要根据最大曝光量和最小曝光量的图像质量进行评估，给出如何调整参数配置的判断。最大曝光量的图像主要为了提供目标较暗区域的清晰图，而最小曝光量图像主要为了提供目标最亮区域的清晰图。因此，如果最大曝光量图像的暗区部分曝光不足，则在保证能够获取运动图像的快门设置前提下，设置增大曝光量的参数配置；反之，如果最大曝光量图像的暗区部分曝光过度，则设置减少曝光量的参数配置。如果最小曝光量的图像产生曝光不足的问题，则按照调高曝光量进行参数配置，如曝光过量则按照调低曝光量进行参数配置。在设置好曝光量极大和极小的相机曝光参数配置后，以此为基准，按照均衡递增/递减的原则，设置好剩余相机的曝光参数配置。在曝光量极大的相机无法实现重组曝光的情况下，将设置分光比为仅使用其中一个通道的情况，此时将仅允许3台相机按照相同的曝光量参数配置工作。策略如图7所示；

在以上策略的指导下，协调系统的工作参数，以保证获取所需的高质量清晰图像。相机曝光量动态调整策略，可应用于所有的可见光相机(动态成像相机和高分辨相机)；

在以上策略的指导下，结合各个电控部分的驱动程序和图像质量评价处理算法(采用目前普遍采用的算法)，编制形成动态调整控制软件，经由接口单元对所需调节的机构进行电子控制，达到策略执行的目的。

2)高动态图像融合算法

多曝光图像加权融合方法的基本原理是将不同曝光量的每幅图像根据其图像质量赋予相应的权值，再根据一定的融合规则进行融合，使得最终得到的结果图像包含所有输入图像中曝光较好的场景，即场景中所有位置都较好曝光的图像。高动态范围图像融合算法处理流程如图8所示。

(1)相机阵列图像配准

对相机阵列中不同相机设置不同的曝光时间，同时捕获场景光照，获得了系列不同曝光的图像，由于各个相机位置的差异，导致获得的图像存在一定的视差，就需要在融合之前对图像进行配准和校正；

本系统主镜头和相机的镜头配置及其视场示意图如图9所示，在实际使用过程中，镜头的视场会有所交叠，相机将能够获取某一距离上的场景，但是在此距离前后的场景将会有一定的交叠和错位(在主镜头允许的清晰成像范围内)；

在预先已知镜头组和相机组内外参数的条件下，并且已知目标场景的真实距离，由于设计时采用了同样的主透镜和整束镜组设计，且分光时确保不会带来其它的图像畸变，所以，可以根据该场景在相机中的理想成像之间的关系，获取各图像之间(主要是不同镜头的相机所获取的图像)的相对位移获取移动参数，然后通过图像序列的平移来实现图像的对齐。采用这种方法可以保证在一定的目标场景距离改变的情况下(在距离为1000米时约±100米)，实现图像序列的良好对齐。这是在确保各个参数均能够提前获得的情况下，由于此时对图像的计算检测过程可以忽略，因此将能够确保高动态图像合成的实时性；

如果不能预先提供准确的镜头和相机的内外参数，以及目标场景的真实距离，或者拍摄距离范围超出了标校范围较大的情况下(如在标校距离为1000米时拍摄范围超过±200米)，则需要在各个图像(一般每个镜头一个相机提供图像)中选取特征区域进行边缘检测和定位，从而获取各个图像之间的平移参数，然后基于这些参数进行图像对齐操作。但是，由于图像的特征检测和定位过程将消耗一定的计算量，因此在图像尺寸较大的情况下，这个过程将在某种程度上影响高动态图像合成的实时性；

通常图像配准分为如下两个过程：

①基于光场合成口径理论的图像校准(离线预标定)

首先需要对相机进行标定，获取各相机的内外参数。相机的内参和外参通过常规的张正友平面标定法获取。将标定板放在四台相机同时可以观察到的地方进行标定，可以获取统一坐标系下表征各相机方向和位置的外参，为后续基于光场合成口径理论的图像校准提供参数；

②基于中值位图的图像配准

对于某时刻场景中的任意一点，因为比它亮的和比它暗的点的个数是一定的，所以对于不同曝光的两幅图像中的任意一个对应像素，比它亮的与比它暗的像素个数之比是一定的。基于这一思想，根据不同曝光图像的中值将图像二值化，即得到中值位图，根据中值位图对图像进行二次配准，可以得到精度较高的配准图像。

(2)融合算法

①基于像质评价的融合方法

基于像质评价的融合方法的基本思想是：采用像质评价指标，比较所有曝光图像(i,j)处的像质特性，筛选出最佳值作为融合后输出图像(i,j)处的像素值。最后对该输出图像做光场平滑，防止不同曝光量像素值之间突变；

其中，像素级质量评价采用对比度、饱和度和曝光度对图像中每个像素进行像质评价。因为过曝光或欠曝光而导致的平坦、无颜色区域应该赋给较小的值，而图像中颜色明亮、细节的像素应该给予较大的值。假设C_ij,k,S_ij,k,D_ij,k分别表示第k帧图像中(i,j)处像素质量评价指标对比度、饱和度和曝光度的评价值，则(i,j)处像素质量综合评价值为：

其中ω_C,ω_S,ω_D分别是对比度、饱和度和曝光度三个指标值所占的比重，计算出每一像素点的综合评价值之后，为了避免质量不好的像素点对融合结果的影响，我们仅选取评价结果最好的点进行融合。这种融合方法有可能会导致融合的图像不够光滑，出现明显的分块效应。因而需要对其进行光滑处理。

②基于小波分解的多曝光图像融合

小波变换具有多尺度、多分辨率和多方向特性，它在水平、垂直和45度角上的分解符合人眼的视觉机制。因此，将小波变换引入到曝光融合中，得到的融合图像视觉效果会更好；

在基于小波分解的多曝光图像融合方法中，首先，对源图像进行n层小波变换，将其分解为1个低频子图和3n个不同方向的高频部分。高频部分突出了图像的纹理细节，故对各图像分解的高频部分取最大值，对于低频部分进行加权求和，权值由像素的饱和度和曝光时间确定。然后，将归一化后的权值图进行高斯金字塔分解，分解层数与小波分解的层数相同，则分解后权值图最高层与小波分解后低频图像的大小相同，将图像的低频部分进行融合，得到融合图像的低频图像。将融合图像的低频部分和高频部分进行重建，得到最终的融合图像。算法流程如图10所示；

基于小波分解的多曝光图像融合算法步骤为：

a)像素级质量评价

图像中的细节在小波分解中表现为高频子图，而平坦的区域表现为低频子图。我们为了增强图像的细节和平坦区域的颜色，对高频和低频子图分别处理。对低频部分采用加权融合的方式；

b)确定融合权值

图像中每一个像素在低频子图融合时的权值为：

其中ω_S,ω_D分别是饱和度和曝光度在确定权值时所占的比重，S_ij,k,D_ij,k分别表示第k帧图像中(i,j)处像素质量评价指标饱和度和曝光度的评价值，W_ij,k表示(i,j)处像素质量综合评价值，

对权值归一化为：

c)加权融合

首先，将源图像分解为1个低频子图和3n个不同方向的高频子图高频部分融合规则为：

其中，N为不同曝光图像的数量，表示第k幅图像分解出的高频子图，k＝1,…N，为融合图像的高频部分；

图像低频部分的融合公式为：

其中为第k幅图像小波分解的低频子图，为比重图高斯金字塔的最高层，为融合图像的低频部分；

现在，我们已经得到了融合图像的高频和低频部分，将它们进行小波重构，得到最终融合的图像。

4)图像质量评价

在曝光融合算法中，图像质量评价包括用来进行融合的输入图像的评价和评价算法效果的融合图像质量的评价；

①输入图像质量评价

对输入图像质量评价主要是用来选择图像中曝光较好的区域/像素来进行融合；

a)局部对比度

图像的细节会体现在对比度因子上，不同曝光度下的两幅图像，如因欠曝光缺陷的影响，使得曝光不足的地方图像信息对比度不如曝光充分的图像信息对比度大，故在图像细节的体现上，对比度是一个需要参考的因素。许多曝光融合方法都将局部对比度引入图像的权值计算中，并且大都采用拉普拉斯滤波算子计算局部对比度；

b)信息熵

图像的信息熵的计算公式为：

其中p_i表示像素值为i的像素所占的比例，图像的信息熵是衡量图像信息丰富程度的一个重要指标，表示图像所包含的平均信息量的多少。图像的熵值越大，说明图像携带的信息量越大，信息就越丰富；

c)梯度

图像的梯度能够刻画图像边缘强度，图像曝光越好，轮廓就越鲜明，梯度也就越大，因而可以用梯度来度量曝光图像的质量；

d)曝光度

多曝光序列图像的单个颜色通道的亮度值显示的是每个像素的曝光程度。为了能保持每个像素的亮度值不接近于0(即曝光不足)和不接近于1(即曝光过度)，用高斯函数计算每个像素的亮度值i接近0.5的曲线值作为其曝光程度。高斯函数曲线公式为：

其中σ为高斯函数的标准差，一般取0.2；

e)饱和度

对于过度曝光或曝光不足的多曝光图像序列，它们有些区域的颜色灰暗或毫无信息，而有些区域的颜色比较饱和。图像饱和度特性体现的是色彩信息，对于图像饱和度特性因子，我们通过R、G、B三个通道像素的标准差来表示。即

其中u为某点上三通道像素点的平均值。

②融合图像质量评价

融合图像除可以采用上述评价指标中的信息熵和图像梯度评价以外，因为融合图像是在输入图像的基础上图像增强的结果，因而需要衡量其相对于输入图像图像质量改善的程度，即融合图像和输入图像质量的比较。我们从图像的细节丰富程度和颜色的鲜艳程度两方面对融合结果进行评价；

a)细节度

输入图像序列拥有场景中几乎所有的纹理细节，而融合图像的纹理不会超过所有输入图像合成的纹理，采用canny算子来提取图像的细节，则通过输入图像重构出场景的细节方法为：

其中E_k为提取出的第k幅图像的细节图；

分别计算重构出场景图的细节长度和融合图像的细节长度，将其进行比较，就可以得到融合图像的细节程度；

其中FE为融合图像的细节图，DM为计算出的细节度，当DM越大时，说明融合图像保留输入图像的细节越多，融合图像质量越好；

b)彩色度

融合图像不仅保留了图像场景的细节信息，而且在图像的彩色方面也有一定的增强，而饱和度能够表示图像的颜色的深浅程度，颜色越深，饱和度越大。饱和度的采用公式5-16计算，则融合图像彩色度的计算公式为：

S(i,j)＝max{S₁(i,j),S₂(i,j),…,S_N(i,j)} (14)

其中S_k为第k幅输入图像的饱和度，S为构造出场景的饱和度，为融合图像的饱和度，SM为计算出的色彩度，当SM越小时，说明融合图像的饱和度越大，质量越好；

c)互信息

互信息也称相关熵，它作为两个变量之间相关性的量度，用来衡量融合图像从源图像中提取的信息量，是信息论中的一个重要基本概念。融合图像与原始图像的互信息值越大越好。两个图像A,B之间的互信息定义为：

其中为P_AB图像的联合概率密度。

Claims

1.一种相机可互换动态分光成像系统，包括分光装置、适配器、图像传感器，采用组合成像模式，构成主镜+适配器+多相机结构，实现对目标的高质量成像，其特征在于，所述分光装置分为基于分光转轮动态分光模式或基于DMD的动态分光模式，图像传感器为高动态成像相机；

所述适配器为传感器互换适配器，适配器包括与相机接口互连的适配器前端和与主镜接口互连的适配器后端两部分，实现主镜与不同成像传感器的适配，采用同一主镜即可针对不同任务需求更换传感器互换适配器；

2.一种相机可互换动态分光成像系统应用于高动态成像的方法，具体包括：

1)分析及控制相机曝光量动态调整策略

通过调整相机光圈大小、分光装置及适配器分光比、以及相机的曝光时间和增益放大倍数来实现相机的多段连续曝光量；

相机曝光量动态调整策略，应用于所有的相机，包括可见光相机和红外相机；

2)高动态图像融合方法

高动态图像融合算法，根据融合规则进行融合，使得最终得到的结果图像包含所有输入图像中曝光较好的场景，即场景中所有位置都较好曝光的图像，具体处理流程下：

a)相机阵列图像配准

图像配准分为如下两个过程：

①采用基于光场合成口径理论的图像校准方法，获取各相机的内外参数，为后续基于光场合成口径理论的图像校准提供参数；

②基于中值位图的图像配准

对于某时刻场景中的任意一点，因为比它亮的和比它暗的点的个数是一定的，所以对于不同曝光的两幅图像中的任意一个对应像素，比它亮的与比它暗的像素个数之比是一定的，基于这一思想，根据不同曝光图像的中值将图像二值化，即得到中值位图，根据中值位图对图像进行二次配准，得到精度较高的配准图像；

b)图像融合

对不同相机获取的图像，利用多曝光图像融合算法，获得高动态图像，具体步骤为：

①确定融合权值

图像中的细节在小波分解中表现为高频子图，而平坦的区域表现为低频子图，为了增强图像的细节和平坦区域的颜色，对高频和低频子图分别处理，并对低频部分采用加权融合；图像中每一个像素在低频子图融合时的权值为：

<mrow> <msub> <mi>W</mi> <mrow> <mi>i</mi> <mi>j</mi> <mo>,</mo> <mi>k</mi> </mrow> </msub> <mo>=</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>S</mi> <mrow> <mi>i</mi> <mi>j</mi> <mo>,</mo> <mi>k</mi> </mrow> </msub> <mo>)</mo> </mrow> <msub> <mi>&omega;</mi> <mi>S</mi> </msub> </msup> <mo>&times;</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>D</mi> <mrow> <mi>i</mi> <mi>j</mi> <mo>,</mo> <mi>k</mi> </mrow> </msub> <mo>)</mo> </mrow> <msub> <mi>&omega;</mi> <mi>D</mi> </msub> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>

其中ω_S,ω_D分别是饱和度和曝光度在确定权值时所占的比重，C_ij,k,S_ij,k,D_ij,k分别表示第k帧图像中(i,j)处像素质量评价指标对比度、饱和度和曝光度的评价值，W_ij,k表示(i,j)处像素质量综合评价值，

对权值归一化为：

<mrow> <msub> <mi>w</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <msub> <mi>W</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> <mrow> <munderover> <mo>&Sigma;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>W</mi> <mi>n</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>

②加权融合

其中，N为不同曝光图像的数量，表示第k幅图像分解出的高频子图，k＝1,…N，为融合图像的高频部分，

图像低频部分的融合公式为：

<mrow> <msubsup> <mi>C</mi> <mi>F</mi> <mi>l</mi> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msubsup> <mi>C</mi> <mi>k</mi> <mi>l</mi> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&times;</mo> <msubsup> <mi>w</mi> <mi>k</mi> <mi>n</mi> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>

其中为第k幅图像小波分解的低频子图，为比重图高斯金字塔的最高层，为融合图像的低频部分，

得到了融合图像的高频和低频部分后，将它们进行小波重构，得到最终融合的图像。

3.根据权利要求1所述的一种相机可互换动态分光成像系统，其特征在于，所述适配器在互换时为了不影响整机的像质及后续的图像融合，采取以下两种方案来实现：

①以适配器后端A面为基准面，与镜身用螺钉连接，确保适配器更换后相机上成清晰像，同时用内螺纹圆柱销来对安装位置定位；

②适配器采用燕尾槽的结构形式来实现其快速更换，并用螺钉拧紧，使其与镜身连接牢靠。