CN115150561A - 一种高动态成像系统和方法 - Google Patents

Abstract

本申请涉及一种高动态成像系统和方法，该系统包括分光成像模块和图像处理单元，分光成像模块包括主镜、分光模块、第一相机、第二相机和同频触发器，入射平行光束经过主镜转化为汇聚的平行光，经过分光模块的反射和透射分为两路平行光分别汇聚至对应的相机平面上成像。由于分划板上带有标记元件，在同频触发器的控制下拍摄的高曝光和低曝光图像上包括叠加在视野上的标志元件，在目标特征较少的情况下能使得图像处理单元对两幅图像进行准确对齐，以标志元件为特征基准，加快图像对齐，有利于图像实时处理，本方法对图像处理流向进行优化分解进行多线程的图像融合，大大压缩了图像采集到融合所需时间，实现了低动态图像到高动态图像的实时融合。

Description

一种高动态成像系统和方法

技术领域

本申请涉及高动态成像技术领域，特别是涉及一种高动态成像系统和方法。

背景技术

高动态成像技术经过几十年的发展，主要有三种主要的实现方式：单相机分时多次曝光融合、多相机同时曝光融合和芯片级高动态成像。

单相机分时多次曝光融合，不需要改动原有成像系统，只需修改曝光时序，系统实现简单，适用于静态场景，若场景中存在运动的目标，那么多次曝光图像中目标的位置不同，运动目标在合成的图像中会产生伪影。

多相机同时曝光融合是指对同一场景，多个孔径同时成像或者单孔径经过分光后同时成像：多孔径系统中可以通过改变光圈、曝光时间和感光度等曝光系数，获得高曝光和低曝光的两幅图像，多孔径系统可以用多个相机搭建，系统结构简单，适合近距离成像，对于远距离目标，成像会受到大气扰动的干扰，孔径间图像匹配会出现偏差。多个相机同时曝光，能够观测运动场景，消除了单相机成像的运动模糊，一个具有代表性的设计是MichaelD.Tocci发表的一种能够同时获得3重曝光的成像系统，该系统能够获得高达100dB电影画质的高动态图片，但是该系统采用离线高动态重建和色调映射算法，获得的图像只能事后处理，无法实时输出高动态视频，该系统采用单个主镜组，将图像分光后直接送至探测器，系统制作成本和后期维护成本较高，难以大规模应用。对于单孔径分光系统，除了可以设置上述参数外，还可以控制分光镜分光比例，实现更大比例的分光，提升动态范围，单孔径分光成像消除了大气抖动的干扰，多个相机成像光路基本一致，但是结构设计较为复杂，需要对分光镜的安装角度、分光镜到各个相机的光程和相机的成像面等精确控制，加大了制造难度。

芯片级高动态成像。主要包括LinLog相机和阵列分区域曝光相机。LinLog相机对场景进行对数压缩，动态范围可达120dB，成像速度快，可以实时输出高动态视频，但是由于高亮度区域压缩率高，高亮区域的目标细节较少。阵列分区域曝光技术是目前CMOS生产厂商主要采用的高动态成像方法，高动态成像芯片不需要对光学系统做改动，易于安装和使用。但是芯片级高动态成像技术技术壁垒高，价格昂贵，也存在着动态范围提升率低、图像数据量大、空间分辨率降低等问题。

通过上述分析可以发现，实时高动态技术主要通过高动态芯片实现，但是其动态范围提升有限；单相机多次曝光技术因其无法移除动态伪影，不是实时高动态成像理想的实施方案；多相机同时曝光技术是实现实时高动态的最优方案，但是囿于分光装置设计和耗时的融合算法，难以实现实时融合。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提供高动态范围的高动态成像系统和方法。

一种高动态成像系统，所述系统包括：

分光成像模块和图像处理单元；

所述分光成像模块包括主镜、分光模块、相机和同频触发器；

所述相机包括：第一相机和第二相机；所述第一相机和所述第二相机所在的光路垂直；

所述分光模块用于将从主镜传递过来的平行光分为两路互相垂直的平行光并分别传递至两路平行光所在光路的相机平面上成像；

所述同频触发器分别与所述第一相机和第二相机连接，在所述同频触发器的控制下，第一相机和第二相机分别获取第一高曝光图像和第二低曝光图像；

所述主镜包括：分划板，所述分划板上包括标志元件，使得所述第一高曝光图像和第一低曝光图像上包括叠加在视野上的标志元件；

所述图像处理单元与所述第一相机和第二相机连接；

在所述图像处理单元内构建多线程；所述多线程包括：原始图像采集线程、原始图像显示和存储线程、融合权重计算线程、多尺度分解重构线程、融合图像显示和存储线程；

在所述原始图像采集线程中采集第一相机和第二相机拍摄的第一高曝光图像和第一低曝光图像；

在所述融合权重计算线程中，结合所述标志单元对所述第一高曝光图像和第一低曝光图像进行对齐得到第二高曝光图像和第二低曝光图像，并计算所述第二高曝光图像和第二低曝光图像的融合权重；

在所述多尺度分解重构线程中，对所述第二高曝光图像和第二低曝光图像进行多尺度分解，在各个分解尺度上根据所述融合权重对所述第二高曝光图像和第二低曝光图像进行融合，再通过多尺度重构得到高动态图像。

在其中一个实施例中，所述第一相机和第二相机分别连接有相机前镜组，用于调节所述第一相机和第二相机的焦距。

在其中一个实施例中，所述主镜还包括主镜前端镜组和主镜后端镜组；所述分划板位于所述主镜前端镜组和所述主镜后端镜组的焦平面上。

在其中一个实施例中，所述分光模块为分光镜片、分光棱镜或者分光薄膜。

在其中一个实施例中，在所述原始采集图像中还包括：将接收的高曝光图像和低曝光图像各复制两份，分别用于原始图像的显示存储和处理。

在其中一个实施例中，所述结合所述标志单元对所述第一高曝光图像和第一低曝光图像进行对齐得到第二高曝光图像和第二低曝光图像，包括：

结合所述标志单元计算所述第一高曝光图像和第一低曝光图像的仿射变换矩阵，根据所述仿射变换矩阵对所述第一高曝光图像和第一低曝光图像进行对齐。

在其中一个实施例中，在将所述低曝光图像向所述高曝光图像对齐之后，还包括：

根据对齐结果分解得到旋转角度偏差、水平像素偏差和垂直像素偏差；

通过旋转所述第一相机和/或第二相机的角度降低所述旋转角度偏差，通过调节第一相机和/或第二相机的水平位置降低所述水平像素偏差以及调节第一相机和/或第二相机的垂直高度降低所述垂直像素偏差。

在其中一个实施例中，在所述融合图像显示和存储线程中进行融合得到的所述高动态图像的显示和存储。

一种高动态成像方法，所述方法包括：

在图像处理单元内构建多线程；所述多线程包括：原始图像采集线程、原始图像显示和存储线程、融合权重计算线程、多尺度分解重构线程、融合图像显示和存储线程；

在所述原始图像采集线程中采集第一相机和第二相机拍摄的第一高曝光图像和第一低曝光图像；所述第一高曝光图像和所述第一低曝光图像上包括叠加在视野上的标志元件；

在所述融合权重计算线程中，结合所述标志单元对所述第一高曝光图像和第一低曝光图像进行对齐得到第二高曝光图像和第二低曝光图像，并计算所述第二高曝光图像和第二低曝光图像的融合权重；

在所述多尺度分解重构线程中，对所述第二高曝光图像和第二低曝光图像进行多尺度分解，在各个分解尺度上根据所述融合权重对所述第二高曝光图像和第二低曝光图像进行融合，再通过多尺度重构得到高动态图像。

上述一种高动态成像系统和方法，该系统包括分光成像模块和图像处理单元，其中分光成像模块包括主镜、分光模块、第一相机、第二相机和同频触发器，入射平行光束经过主镜转化为汇聚的平行光，经过分光模块的反射和透射分为两路平行光，分别汇聚至对应的相机平面上成像。由于分划板上带有标记元件，因此在同频触发器的控制下相机拍摄的高曝光和低曝光图像上均包括叠加在视野上的标志元件，如此确保在目标特征较少的情况下也能使得图像处理单元对两幅图像进行准确对齐，以标志元件为特征基准，加快了图像的对齐，有利于图像的实时处理，本方法对图像处理流向进行优化分解进行多线程的图像融合，大大压缩了图像采集到融合所需的时间，实现了低动态图像到高动态图像的实时融合。

附图说明

图1为一个实施例中分划板的标志元件示意图；

图2为一个实施例中高动态成像方法的多线程流程示意图；

图3为一个实施例中高动态成像系统的示意图；

图4为一个实施例中计算机设备的内部结构图；

图5为一个实施例中图像处理单元的软件界面示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。

在一个实施例中，提供了一种高动态成像系统，该系统包括：

分光成像模块和图像处理单元；

分光成像模块包括主镜、分光模块、相机和同频触发器。

相机包括：第一相机和第二相机，第一相机和第二相机所在的光路垂直。本系统不限制使用某一特定相机，因此可以用高动态相机进一步提升动态范围。

分光模块用于将从主镜传递过来的平行光分为两路互相垂直的平行光并分别传递至两路平行光所在光路的相机平面上成像。

同频触发器分别与第一相机和第二相机连接，在同频触发器的控制下，第一相机和第二相机分别获取第一高曝光图像和第一低曝光图像。

主镜包括：分划板，分划板上包括标志元件，使得第一高曝光图像和第一低曝光图像上包括叠加在视野上的标志元件，也就是说在相机平面呈现的图像不仅包括目标，还包括光学叠加在目标上的标志元件，有利于后续图像的配准对齐，尤其是在目标特征较少的情况下提升图像的对齐效率，该标记元件可以是十字标志或者对角方块标志，如图1所示，提供了分划板的2种标志元件的示意图，在实际情况中可依据需要自行设计和选择分划板的标志元件的图案。

图像处理单元与第一相机和第二相机连接。

在图像处理单元内构建多线程，多线程包括：原始图像采集线程、原始图像显示和存储线程、融合权重计算线程、多尺度分解重构线程、融合图像显示和存储线程，如图2所示。

在原始图像采集线程中采集第一相机和第二相机拍摄的第一高曝光图像和第一低曝光图像。

在融合权重计算线程中，结合标志单元对第一高曝光图像和第一低曝光图像进行对齐得到第二高曝光图像和第二低曝光图像，并计算第二高曝光图像和第二低曝光图像的融合权重。

在多尺度分解重构线程中，对第二高曝光图像和第二低曝光图像进行多尺度分解，在各个分解尺度上根据融合权重对第二高曝光图像和第二低曝光图像进行融合，再通过多尺度重构得到高动态图像。

在一个实施例中，相机的信号控制线接入同频触发器，同频触发器连接图像采集处理模块，由图像采集处理模块控制同频触发器进而控制图像的采集频率，可以实现图像采集的同步。

若使用单个线程完成图像采集、融合、显示和存储操作，线程耗时高，不仅无法完成图像实时融合功能，而且会造成图像数据在内存空间中堵塞，影响计算机系统稳定，因此本发明对图像融合流程进行了细致的梳理，分析各个处理部分的耗时比例，结合计算机多核CPU多线程的优势，将图像采集、显示、存储和融合等操作分解为多个线程，使得各项图像操作相互独立，降低了单帧图像融合所需要的时间，实现了图像的实时融合。本系统优化内存空间和线程分配，将时序上可以分解的计算分配到其他线程，采用的多线程图像融合算法，将权重计算与图像分解重构采用两个线程分别处理，将最耗时的权重计算压缩至40ms以内，而图像分解重构算法耗时小于权重计算耗时，提高图像处理速度，从而实现大于25Hz的图像实时融合。

上述一种高动态成像系统包括分光成像模块和图像处理单元，其中分光成像模块包括主镜、分光模块、第一相机、第二相机和同频触发器，入射平行光束经过主镜转化为汇聚的平行光，经过分光模块的反射和透射分为两路平行光，分别汇聚至对应的相机平面上成像。由于分划板上带有标记元件，因此在同频触发器的控制下相机拍摄的高曝光和低曝光图像上均包括叠加在视野上的标志元件，如此确保在目标特征较少的情况下也能使得图像处理单元对两幅图像进行准确对齐，以标志元件为特征基准，加快了图像的对齐，有利于图像的实时处理，本方法对图像处理流向进行优化分解进行多线程的图像融合，大大压缩了图像采集到融合所需的时间，实现了低动态图像到高动态图像的实时融合。

在一个实施例中，主镜还包括主镜前端镜组和主镜后端镜组，分划板位于主镜前端镜组和主镜后端镜组的焦平面上。

在一个实施例中，第一相机和第二相机分别连接有相机前镜组，用于调节第一相机和第二相机的焦距。相机前透镜组可以根据场景需要调节焦距，可以实现宽距离成像。由于每个相机由独立的透镜组控制，与在主光轴上设置调焦透镜组相比，这样的设计对两个相机的等光程要求降低，从而降低了设计和制造难度，而且每个相机的透镜组可以单独控制，能够实现多重曝光以及多焦距等功能。

在一个实施例中，分光模块为分光镜片、分光棱镜或者分光薄膜。相比于分光平片组合而成的分光转轮相比，本申请中的分光模块为单一分光器件，能够精确安装控制，保证45°分光。分光转轮由于各个分光平片的安装平面存在差异，而且转轮转动过程中存在机械晃动，会导致分光平面不能严格保证45°分光，进而导致反射光成像面与相机成像面不平行，使得反射图像模糊，对比度降低。

在一个实施例中，相机的信号控制线接入同频触发器，同频触发器连接图像处理单元，由图像处理单元控制同频触发器进而控制图像的采集频率，可以实现图像采集的同步。如图3所示，提供成像系统的结构示意图。

在一个实施例中，在原始采集图像中还包括：将接收的高曝光图像和低曝光图像各复制两份，分别用于原始图像的显示存储和处理。该线程在内存中开辟额外的缓存空间，避免数据访问冲突。

在融合图像显示和存储线程中进行融合得到的高动态图像的显示和存储。该功能未放在多尺度分解重构线程中，是为了减少线程多尺度分解重构线程处理时间，避免与融合权重计算线程冲突。

在一个实施例中，结合标志单元对第一高曝光图像和第一低曝光图像进行对齐得到第二高曝光图像和第二低曝光图像，包括：

结合标志单元计算第一高曝光图像和第一低曝光图像的仿射变换矩阵，根据仿射变换矩阵对第一高曝光图像和第一低曝光图像进行对齐。

在一个实施例中，在将低曝光图像向高曝光图像对齐之后，还包括：

根据对齐结果分解得到旋转角度偏差、水平像素偏差和垂直像素偏差；

通过旋转第一相机和/或第二相机的角度降低旋转角度偏差，通过调节第一相机和/或第二相机的水平位置降低水平像素偏差以及调节第一相机和/或第二相机的垂直高度降低垂直像素偏差。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种高动态成像方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图4示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在此提供本方法的图像处理单元的软件界面，如图5所示。主要分为左下角的主操作区、左上区域的原始图像采集显示区域、右上融合图像显示区域、中间配准参数显示和保存区域以及右下历史记录显示区域。

主操作区的顺序操作为：检查相机->打开相机->计算旋转平移->图像融合。点击“检查相机”按钮会在“Mac地址”显示区域显示连接相机的mac地址，由此可以判断相机与计算机的连接状态。点击“打开相机”按钮可以将相机采集的图像分别显示在左上区域。此时可以分别设置两个相机的曝光时间，从而对感兴趣的区域成像。点击“计算旋转平移”按钮，会根据提取的分划板标志自动计算两幅图像的仿射变换矩阵，并分解出旋转角度和水平垂直像素偏差，此时可以通过旋转两个相机的角度来降低旋转角度偏差，通过“相机参数设置”中图像水平垂直位移调节，可以减少水平偏差和垂直偏差。在获取仿射变换矩阵的基础上，点击“图像融合”按钮，可以在“融合图像显示区域”显示出融合后的图像。在图像融合过程中，可以修改相机的曝光时间来获得符合实际场景的高动态图像。最后，可以选择图像视频保存路径，可以实时存储原始和融合后的图片视频文件。

根据图5，在图像采集处理软件界面，依次点击“检查相机”—>“打开相机”—>“计算旋转平移”—>“图像融合”，可在软件界面显示出原始图像和融合后的图像，还可以根据实际场景设置分光装置分光比和相机曝光参数，以达到最优的融合效果。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述实施例中方法的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synch link)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种高动态成像系统，其特征在于，所述系统包括：

分光成像模块和图像处理单元；

所述分光成像模块包括主镜、分光模块、相机和同频触发器；

所述相机包括：第一相机和第二相机；所述第一相机和所述第二相机所在的光路垂直；

所述分光模块用于将从主镜传递过来的平行光分为两路互相垂直的平行光并分别传递至两路平行光所在光路的相机平面上成像；

所述同频触发器分别与所述第一相机和第二相机连接，在所述同频触发器的控制下，第一相机和第二相机分别获取第一高曝光图像和第一低曝光图像；

所述主镜包括：分划板，所述分划板上包括标志元件，使得所述第一高曝光图像和第一低曝光图像上包括叠加在视野上的标志元件；

所述图像处理单元与所述第一相机和第二相机连接；

在所述图像处理单元内构建多线程；所述多线程包括：原始图像采集线程、原始图像显示和存储线程、融合权重计算线程、多尺度分解重构线程、融合图像显示和存储线程；

在所述原始图像采集线程中采集第一相机和第二相机拍摄的第一高曝光图像和第一低曝光图像；

在所述融合权重计算线程中，结合所述标志单元对所述第一高曝光图像和第一低曝光图像进行对齐得到第二高曝光图像和第二低曝光图像，并计算所述第二高曝光图像和第二低曝光图像的融合权重；

在所述多尺度分解重构线程中，对所述第二高曝光图像和第二低曝光图像进行多尺度分解，在各个分解尺度上根据所述融合权重对所述第二高曝光图像和第二低曝光图像进行融合，再通过多尺度重构得到高动态图像。

2.根据权利要求1所述的系统，其特征在于，所述主镜还包括主镜前端镜组和主镜后端镜组；所述分划板位于所述主镜前端镜组和所述主镜后端镜组的焦平面上。

3.根据权利要求1所述的系统，其特征在于，所述第一相机和第二相机分别连接有相机前镜组，用于调节所述第一相机和第二相机的焦距。

4.根据权利要求1所述的系统，其特征在于，所述分光模块为分光镜片、分光棱镜或者分光薄膜。

5.根据权利要求1所述的系统，其特征在于，所述第一相机和第二相机的信号控制线接入所述同频触发器，所述同频触发器连接所述图像处理单元，由所述图像处理单元控制所述同频触发器进而控制图像的采集频率。

6.根据权利要求1所述的系统，其特征在于，在所述原始采集图像中还包括：将接收的高曝光图像和低曝光图像各复制两份，分别用于原始图像的显示存储和处理。

7.根据权利要求1所述的系统，其特征在于，所述结合所述标志单元对所述第一高曝光图像和第一低曝光图像进行对齐得到第二高曝光图像和第二低曝光图像，包括：

结合所述标志单元计算所述第一高曝光图像和第一低曝光图像的仿射变换矩阵，根据所述仿射变换矩阵对所述第一高曝光图像和第一低曝光图像进行对齐。

8.根据权利要求1所述的系统，其特征在于，在将所述低曝光图像向所述高曝光图像对齐之后，还包括：

根据对齐结果分解得到旋转角度偏差、水平像素偏差和垂直像素偏差；

通过旋转所述第一相机和/或第二相机的角度降低所述旋转角度偏差，通过调节第一相机和/或第二相机的水平位置降低所述水平像素偏差以及调节第一相机和/或第二相机的垂直高度降低所述垂直像素偏差。

9.根据权利要求1所述的系统，其特征在于，在所述融合图像显示和存储线程中进行融合得到的所述高动态图像的显示和存储。

10.一种高动态成像方法，其特征在于，所述方法包括：

在图像处理单元内构建多线程；所述多线程包括：原始图像采集线程、原始图像显示和存储线程、融合权重计算线程、多尺度分解重构线程、融合图像显示和存储线程；

在所述原始图像采集线程中采集第一相机和第二相机拍摄的第一高曝光图像和第一低曝光图像；所述第一高曝光图像和所述第一低曝光图像上包括叠加在视野上的标志元件；

在所述融合权重计算线程中，结合所述标志单元对所述第一高曝光图像和第一低曝光图像进行对齐得到第二高曝光图像和第二低曝光图像，并计算所述第二高曝光图像和第二低曝光图像的融合权重；

在所述多尺度分解重构线程中，对所述第二高曝光图像和第二低曝光图像进行多尺度分解，在各个分解尺度上根据所述融合权重对所述第二高曝光图像和第二低曝光图像进行融合，再通过多尺度重构得到高动态图像。

Images