CN114998141A - 基于多分支网络的空间环境高动态范围成像方法 - Google Patents

Abstract

本发明提供了一种基于多分支网络的空间环境高动态范围成像方法，输入存在一定运动与噪声的多帧低动态图像，经过网络处理后输出无鬼影、不含噪声的高质量高动态图像，基于深度学习的多帧高动态范围成像方法通过神经网络提取图像特征，最终生成无鬼影、无噪声的高动态范围图像。本发明解决了现有的主流高动态成像方法仍然存在的诸多技术难题，比如无法完全消除运动图像造成的鬼影，处理时忽视了图像中存在的噪声，在处理空间图像时效果不佳等问题，使网络可以处理不同区域的亮度和噪声分布，具有空域变换性，在通道维度强化有效特征，抑制存在运动目标、细节缺失的低质量区域特征，进而获得更好的去鬼影效果。

Description

基于多分支网络的空间环境高动态范围成像方法

技术领域

本发明涉及数字图像处理技术领域，涉及一种高动态范围成像方法，具体是一种基于多分支网络的空间环境高动态范围成像方法。

背景技术

高动态范围成像可以提高图像的亮度范围，丰富图像细节，在空间环境成像任务中具有重要的价值。由于相机与目标在拍摄时均处于运动状态，且空间环境中存在强磁场、太阳风等因素干扰，导致图像序列出现一定运动与噪声，对高动态范围成像提出了挑战。文献“Wu S,Xu J,Tai Y W,et al.Deep high dynamic range imaging with largeforeground motions[C]//Proceedings of the European Conference on ComputerVision(ECCV).2018:117-132.”提出了一种基于编码-解码网络的多帧高动态范围成像方法。该方法使用编码-解码网络学习运动低动态图像序列与无鬼影高动态图像之间的映射关系，生成的图像在提升了动态范围的同时消除了目标运动造成的鬼影现象，但融合结果存在一定颜色失真现象，且无法处理图像中的噪声。文献“Chen X,Liu Y,Zhang Z,etal.Hdrunet:Single image hdr reconstruction with denoising and dequantization[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and PatternRecognition.2021:354-363.”提出了一种基于编码-解码网络的单帧高动态范围成像方法。该方法使用编码-解码网络同时学习图像中的亮度与噪声分布，生成了无噪声的高动态范围图像，但单帧图像中所含信息有限，因此网络估计结果缺乏真实性。

发明内容

为了克服现有技术的不足，本发明提供一种基于多分支网络的空间环境高动态范围成像方法。针对现有的主流高动态成像方法无法完全消除运动图像造成的鬼影，处理时忽视了图像中存在的噪声，在处理空间图像时效果不佳等问题，本专利提出基于多分支网络的空间环境高动态范围成像方法，输入存在一定运动与噪声的多帧低动态图像，经过网络处理后输出无鬼影、不含噪声的高质量高动态图像。基于深度学习的多帧高动态范围成像方法通过神经网络提取图像特征，若将图像或对应特征直接堆叠后输入融合网络，在网络的早期就引入了鬼影区域，导致融合结果中鬼影难以去除。另外，训练后的网络会在图像各区域应用统一的处理策略，但真实图像中不同亮度区域的噪声分布是不同的。本发明公开了一种基于多分支网络的空间环境高动态范围成像方法。该方法使用编码-解码网络实现动态范围的融合，并引入挤压-激励模块去除图像鬼影；同时，利用参考图像在子网络分支生成条件映射图与权重图，指导融合网络去除不同区域噪声并提高高亮极暗区域融合效果，最终生成无鬼影、无噪声的高动态范围图像。基于这种多分支网络结构设计，本方法在通道维度对图像有效特征进行了强化，从而在网络初期就抑制了潜在的鬼影特征；另外，相比于一般多帧高动态范围成像方法，本方法在子网络分支中学习了图像中不同区域的噪声分布，生成的图像中在各区域都能有效去除噪声。

本发明解决其技术问题所采用的技术方案的具体步骤如下：

(a)仿真图像数据集构造

在不反光的黑色背景场景下，采集复杂光照仿真数据：

首先设置距离大于1000km的点状光源，在目标表面生成高亮极暗区域，然后在固定的光源照射下旋转目标，并在设定的相机视角下对场景进行渲染，初步得到一组具有相同曝光、不同姿态的空间图像序列，生成适用于空间环境成像研究的仿真图像数据集；

(b)网络输入预处理

选取同一目标三张{I₁，I₂，I₃}在不同曝光下采集图像，在相同位置按照256×256分割得到低动态图像序列L＝{L₁，L₂，L₃}，将低动态图像序列L通过伽马变换映射到高动态域，得到对应的高动态图像序列H＝{H₁，H₂，H₃}，将图像L₁，L₂，L₃，H₁，H₂，H₃沿颜色通道维度进行拼接后生成通道数为6的输入矩阵(L，H)，将输入矩阵中各个通道值归一化至0-1区间后，送入多分支高动态范围成像网络f；

(c)构建多分支高动态范围成像网络

多分支高动态范围成像网络的处理过程为：

式中

代表网络估计出的高动态范围图像，同样被归一化到0-1区间，多分支高动态范围成像网络f由条件子网络，融合子网络和权重子网络构成，三部分网络并行处理，融合子网络负责提升图像的动态范围，条件子网络与权重子网络调整融合网络的中间结果，各网络共同作用生成最终图像；

(d)损失函数设计

将网络生成的高动态图像进行色调映射，计算融合损失，再使用全变分损失衡量图像的水平梯度变化，网络的总损失函数为两部分损失之和；

(e)多分支高动态范围成像网络训练

对多分支高动态范围成像网络使用设计的损失函数进行训练，采用Kaiming方法初始化权值；优化器选取为Adam优化器；超参数β₁设置为0.9，超参数β₂设置为0.999；批尺寸选取为16；图像块尺寸选取为256；学习率为2×10^-4，直至网络达到收敛条件，即可得到训练好的多分支高动态范围成像网络。

所述融合子网络结构如下：

融合子网络使用UNet网络结构将图像序列(L，H)的特征分解为不同尺度的特征，提取多尺度信息，多尺度信息经过网络重建处理初步生成16位的高动态图像，作为该子网络的输出；

融合子网络具有三个编码器分支，分别接收相同尺寸、不同曝光的图像(L_i，H_i)作为输入，其中i＝1，2，3，分别经过下采样提取获得每种曝光图像的特征；之后沿通道维度拼接各分支图像特征，获得初步的融合特征，并使用两个挤压-激励模块强化融合特征中的有效特征；将强化后的特征继续下采样，然后送入融合器，通过串联的多个残差块提取融合特征的细节信息，在提取过程中条件子网络对每个残差块的中间结果进行调整；随后，融合器将提取后的特征送入解码器对特征进行上采样，最终使用一个卷积层生成3通道的HDR图像，该图像与权重子网络的输出结合后形成网络的最终结果；

条件子网络结构如下：

条件子网络使用潜在信息最丰富的中等曝光图像(L₂，H₂)作为多分支高动态范围成像网络的输入，经过三个卷积层生成指导融合子网络中间特征的两种调制系数图α与β，在融合子网络中利用SFT调制融合网络的有效特征；

调制过程通过下式表示：

SFT(x)＝α⊙x+β (6)

式中⊙代表逐元素累乘，x代表待调制的有效特征，α与β为两种通过条件子网络预测生成的调制系数图，中间特征在逐像素与系数图相乘后再相加获得调整后的特征；

权重子网络结构如下：

权重子网络使用亮度信息最丰富的中等曝光图像(L₂，H₂)作为网络的输入，经过4个串联的卷积层生成曝光良好区域的权重图，权重子网络的输出与低动态图像序列进行逐像素累乘，其结果与融合子网络的结果相加后得到最终的输出结果；该过程表示如下：

Y^＝W⊙I+G (7)

式中Y^代表最终重建得到的高动态图像，W代表权重子网络的输出结果，I表示输入的低动态图像序列L中的其中任意一张图片，⊙代表逐元素累乘，G(I)代表融合子网络的输出结果。

所述多分支高动态范围成像网络训练生成的高动态图像进行色调映射时，色调映射公式表示如下：

式中，T为经过色调映射后的图像，μ为压缩参数，H为高动态图像；

融合损失计算公式为：

式中

与T(H)分别为经过色调映射后的真值图像与网络估计出的融合图像；

采用全变分损失衡量图像的水平梯度变化为：

式中x_i，j表示位于(i，j)坐标处的像素强度值，网络的总损失函数如下：

L_total＝L_fusion+λL_TV (11)

网络的总损失函数为两部分损失之和。

所述μ取值为0.85，λ取值0.1。

本发明的有益效果在于本发明解决了现有的主流高动态成像方法仍然存在的诸多技术难题，比如无法完全消除运动图像造成的鬼影，处理时忽视了图像中存在的噪声，在处理空间图像时效果不佳等问题。

条件子网络提取参考图像的调制系数图，并通过空间特征变换模块在融合的有效特征中进行调制，去除图像不同区域的噪声，使网络可以处理不同区域的亮度和噪声分布，具有空域变换性。

融合子网络将残差块引入多帧图像特征融合，在通道维度强化有效特征，抑制存在运动目标、细节缺失的低质量区域特征，进而获得更好的去鬼影效果。

附图说明

图1是本发明的多分支高动态范围成像网络结构。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

本发明针对运动空间图像序列融合后存在一定鬼影与噪声的问题，设计了一种基于多分支网络的空间环境高动态范围成像方法。基于深度学习的多帧高动态范围成像方法通过神经网络提取图像特征，若将图像或对应特征直接堆叠后输入融合网络，在网络的早期就引入了鬼影区域，导致融合结果中鬼影难以去除。另外，训练后的网络会在图像各区域应用统一的处理策略，但真实图像中不同亮度区域的噪声分布是不同的。本发明公开了一种基于多分支网络的空间环境高动态范围成像方法。该方法使用编码-解码网络实现动态范围的融合，并引入挤压-激励模块去除图像鬼影；同时，利用参考图像在子网络分支生成条件映射图与权重图，指导融合网络去除不同区域噪声并提高高亮极暗区域融合效果，最终生成无鬼影、无噪声的高动态范围图像。基于这种多分支网络结构设计，本方法在通道维度对图像有效特征进行了强化，从而在网络初期就抑制了潜在的鬼影特征；另外，相比于一般多帧高动态范围成像方法，本方法在子网络分支中学习了图像中不同区域的噪声分布，生成的图像中在各区域都能有效去除噪声。

本发明解决其技术问题所采用的技术方案：一种基于多分支网络的空间环境高动态范围成像方法，其特点是包括步骤：仿真图像数据集构造、网络输入预处理、多分支高动态范围成像网络构建、损失函数设计、多分支高动态范围成像网络训练。具体如下：

1、仿真图像数据集构造

在不反光的黑色背景场景下，采用以下方式采集复杂光照仿真数据：首先设置远距离的点状光源，在目标表面生成高亮极暗区域。然后在固定的光源照射下旋转目标，并在设定的相机视角下对场景进行渲染，初步得到一组具有相同曝光、不同姿态的空间图像序列。生成适用于空间环境成像研究的仿真图像数据集。

数据集中包含了10个不同大小与外形的拍摄目标，每个目标都生成了100种不同姿态，每种姿态具有三种不同的曝光；在每个姿态下分别生成3张含有噪声的不同曝光图像与1张无噪声的参考图像。整个数据集共包括4000张图像，涵盖了各种结构、大小、姿态的不同拍摄目标，本专利数据集中所有图像均为灰度图。

2、网络输入预处理

选取同一目标三张不同曝光下采集图像，在相同位置按照256×256分割得到L＝{L₁，L₂，L₃}。将L通过式(1)伽马变换映射到高动态域，得到对应的高动态图像序列H＝{H₁，H₂，H₃}：

式中γ代表伽马变换值，δt_i代表图像L_i的曝光时间，γ默认取值为2.2，将图像L₁，L₂，L₃，H₁H₂，H₃沿颜色通道维度进行拼接后生成通道数为6的输入矩阵(L，H)，将各个通道值归一化至0-1区间后送入多分支高动态范围成像网络f，该网络处理过程表示为：

式中

代表网络估计出的高动态范围图像，同样被归一化到0-1区间。

3、多分支高动态范围成像网络构建

f由条件子网络，融合子网络，权重子网络构成，

融合子网络结构如下：

融合子网络具有三个编码器分支，分别接收图像序列(L₁，H₁)，(L₂，H₂)，(L₃，H₃)作为输入。每个编码器分支都具有两层卷积核大小为5，步长为2的卷积层来实现对特征的下采样，输入的高动态图像经过三个编码器分支提取特征后，分别生成3个64×64×64的特征图。

然后，将三个分支的特征图沿通道维度拼接，初步获得融合的图像特征(64×64×192)，并经过两个通道数64的残差块强化融合特征中的有效特征。在进一步下采样后，有效特征(32×32×64)被送入融合器，通过9个通道数为32的残差块提取融合特征的细节信息。随后融合器将特征送入解码器，该解码器具有两层卷积核大小为5，步长为2的反卷积层来实现对特征的上采样。上采样结束后，使用一个步长为1、卷积核大小为3卷积层生成3通道的HDR图像G，即为网络的融合结果。

条件子网络结构如下：

条件子网络使用低动态图像(L₂，H₂)作为网络的输入，经过三个卷积层生成指导融合子网络中间特征的调制系数图

3个卷积层网络结构如下：

第1层128个步长为1、卷积核大小为3的卷积层；

第2层为64个步长为1、卷积核大小为3的卷积层；

第3层为32个步长为2、卷积核大小为3的卷积层；

条件子网络的输出为两种调制系数图α与β，在融合子网络中利用SFT调制，融合网络的有效特征，其调制过程可以通过下式表示：

SFT(x)＝α⊙x+β (6)

式中⊙代表逐元素累乘，x代表待调制的有效特征，α与β为两种通过条件子网络预测生成的调制系数图。

权重子网络结构如下：

权重子网络使用低动态图像L₂作为网络的输入，经过4个卷积层生成曝光良好区域的权重图，4个卷积层网络结构如下：

第1层为32个步长为1、卷积核大小为3的卷积层；

第2层为64个步长为1、卷积核大小为3的卷积层；

第3层为128个步长为2、卷积核大小为3的卷积层；

第4层为256个步长为2、卷积核大小为3的卷积层；

权重子网络的输出与低动态图像序列进行逐像素累乘，其结果与融合子网络的结果相加后得到方法最终的输出结果。该过程可以表示如下：

Y^＝W⊙(L，H)+G (7)

式中Y^代表最终重建得到的高动态图像，W代表权重子网络的输出结果，

I表示输入的低动态图像序列L＝{L₁，L₂，L₃}，⊙代表逐元素累乘，G(I)代表融合子网络的输出结果。

4、损失函数设计

将网络生成的高动态图像进行色调映射。色调映射公式表示如下：

式中，T为经过色调映射后的图像，μ为压缩参数，H为高动态图像。

计算融合损失：

式中

与T(H)分别为经过色调映射后的真值图像与网络估计出的融合图像。

使用全变分损失衡量图像的水平梯度变化：

式中x_i，j表示位于(i，j)坐标处的像素强度值，网络的总损失函数定义为两部分损失之和：

L_total＝L_fusion+λL_TV (11)

在本发明中μ设为0.85，λ设为0.1。

5、多分支高动态范围成像网络训练

在训练策略上，使用Kaiming方法来初始化权值；优化器选取为Adam优化器，批尺寸选取为16；图像块尺寸选取为256；数据集的增广方法为旋转和翻转；学习率为2×10^-4。

Claims (4)

1.一种基于多分支网络的空间环境高动态范围成像方法，其特征在于包括下述步骤：

(a)仿真图像数据集构造

在不反光的黑色背景场景下，采集复杂光照仿真数据：

首先设置距离大于1000km的点状光源，在目标表面生成高亮极暗区域，然后在固定的光源照射下旋转目标，并在设定的相机视角下对场景进行渲染，初步得到一组具有相同曝光、不同姿态的空间图像序列，生成适用于空间环境成像研究的仿真图像数据集；

(b)网络输入预处理

选取同一目标三张{I₁，I₂，I₃}在不同曝光下采集图像，在相同位置按照256×256分割得到低动态图像序列L＝{L₁，L₂，L₃}，将低动态图像序列L通过伽马变换映射到高动态域，得到对应的高动态图像序列H＝{H₁，H₂，H₃}，将图像L₁，L₂，L₃，H₁，H₂，H₃沿颜色通道维度进行拼接后生成通道数为6的输入矩阵(L，H)，将输入矩阵中各个通道值归一化至0-1区间后，送入多分支高动态范围成像网络f；

(c)构建多分支高动态范围成像网络

多分支高动态范围成像网络的处理过程为：

式中

代表网络估计出的高动态范围图像，同样被归一化到0-1区间，多分支高动态范围成像网络f由条件子网络，融合子网络和权重子网络构成，三部分网络并行处理，融合子网络负责提升图像的动态范围，条件子网络与权重子网络调整融合网络的中间结果，各网络共同作用生成最终图像；

(d)损失函数设计

将网络生成的高动态图像进行色调映射，计算融合损失，再使用全变分损失衡量图像的水平梯度变化，网络的总损失函数为两部分损失之和；

(e)多分支高动态范围成像网络训练

对多分支高动态范围成像网络使用设计的损失函数进行训练，采用Kaiming方法初始化权值；优化器选取为Adam优化器；超参数β₁设置为0.9，超参数β₂设置为0.999；批尺寸选取为16；图像块尺寸选取为256；学习率为2×10^-4，直至网络达到收敛条件，即可得到训练好的多分支高动态范围成像网络。

2.根据权利要求1所述的基于多分支网络的空间环境高动态范围成像方法，其特征在于：

所述融合子网络结构如下：

融合子网络使用UNet网络结构将图像序列(L，H)的特征分解为不同尺度的特征，提取多尺度信息，多尺度信息经过网络重建处理初步生成16位的高动态图像，作为该子网络的输出；

融合子网络具有三个编码器分支，分别接收相同尺寸、不同曝光的图像(L_i，H_i)作为输入，其中i＝1，2，3，分别经过下采样提取获得每种曝光图像的特征；之后沿通道维度拼接各分支图像特征，获得初步的融合特征，并使用两个挤压-激励模块强化融合特征中的有效特征；将强化后的特征继续下采样，然后送入融合器，通过串联的多个残差块提取融合特征的细节信息，在提取过程中条件子网络对每个残差块的中间结果进行调整；随后，融合器将提取后的特征送入解码器对特征进行上采样，最终使用一个卷积层生成3通道的HDR图像，该图像与权重子网络的输出结合后形成网络的最终结果；

条件子网络结构如下：

条件子网络使用潜在信息最丰富的中等曝光图像(L₂，H₂)作为多分支高动态范围成像网络的输入，经过三个卷积层生成指导融合子网络中间特征的两种调制系数图α与β，在融合子网络中利用SFT调制融合网络的有效特征；

调制过程通过下式表示：

SFT(x)＝α⊙x+β (6)

式中⊙代表逐元素累乘，x代表待调制的有效特征，α与β为两种通过条件子网络预测生成的调制系数图，中间特征在逐像素与系数图相乘后再相加获得调整后的特征；

权重子网络结构如下：

权重子网络使用亮度信息最丰富的中等曝光图像(L₂，H₂)作为网络的输入，经过4个串联的卷积层生成曝光良好区域的权重图，权重子网络的输出与低动态图像序列进行逐像素累乘，其结果与融合子网络的结果相加后得到最终的输出结果；该过程表示如下：

Y^＝W⊙I+G (7)

式中Y^代表最终重建得到的高动态图像，W代表权重子网络的输出结果，I表示输入的低动态图像序列L中的其中任意一张图片，⊙代表逐元素累乘，G(I)代表融合子网络的输出结果。

3.根据权利要求1所述的基于多分支网络的空间环境高动态范围成像方法，其特征在于：

所述多分支高动态范围成像网络训练生成的高动态图像进行色调映射时，色调映射公式表示如下：

式中，T为经过色调映射后的图像，μ为压缩参数，H为高动态图像；

融合损失计算公式为：

式中

与T(H)分别为经过色调映射后的真值图像与网络估计出的融合图像；

采用全变分损失衡量图像的水平梯度变化为：

式中x_i，j表示位于(i，j)坐标处的像素强度值，网络的总损失函数如下：

L_total＝L_fusion+λL_TV (11)

网络的总损失函数为两部分损失之和。

4.根据权利要求3所述的基于多分支网络的空间环境高动态范围成像方法，其特征在于：

所述μ取值为0.85，λ取值0.1。

Images