CN110163808B - 一种基于卷积神经网络的单帧高动态成像方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的单帧高动态成像方法，包括：构建增强模块；根据所述增强模块构建带增强模块的初始卷积神经网络；对所述初始卷积神经网络进行训练，得到训练后卷积神经网络；通过所述训练后卷积神经网络对原始单帧低动态图像进行处理，生成高动态图像。该方法可以由单帧低动态图像直接生成高动态图像，解决了多曝光融合中运动视频不能同时获取多帧曝光图像的难题，且不需要进行调参，使用方便。

Description

一种基于卷积神经网络的单帧高动态成像方法

技术领域

本发明属于数字图像处理领域，具体涉及一种基于卷积神经网络的单帧高动态成像方法。

背景技术

自然界中的场景具有很大的动态范围，经常同时出现高亮区域和黑暗区域，普通的数码相机的动态范围仅有两到三个数量等级，所获得数字图像的亮度范围会被压缩，高亮和黑暗区域细节纹理丢失、色彩失真，原始场景中层次分明的亮度效果展现不出来，使得无法精准捕捉到现实情形下的所有信息。而专业的高动态相机价格昂贵，效果也会受到硬件设备条件的限制，因此，需要采用高动态成像方法对图像进行处理。

高动态范围成像(High-Dynamic Range imaging，简称HDRI)是一种摄影技术，其有助于在不均匀的照明条件下获取更具层次的场景影像。该技术能够拓展相机的感知成像动态范围。高动态成像技术主要分为多曝光融合和单曝光反映射。多曝光融合需要多张低动态图像，处理运动视频会产生鬼影，同时也会存在光晕现象，效果不好。近年来，随着卷积神经网络的发展，使用单帧曝光图像进行动态范围扩展取得了不错的进展。现有的一种方法是利用两个编码-解码器级联的方法来修正图像，第一个编码-解码器用于生成高动态范围图像(High-Dynamic Range，简称HDR)，第二个编码-解码器用于对HDR图像进行映射，通过往复的HDR转换来修正LDR图像中的过曝和欠曝区域，但是该模型在下采样时会丢失图像信息，上采样时会产生伪影，而且模型复杂，计算量大。现有的另一种方法是采样两种不同尺寸的卷积核和下采样分别提取LDR图像中的高频、中频、低频细节并将这三种细节特征图进行融合，以此来产生HDR图像，但是该方法三个分支计算量和运行时间差距较大，而且图像细节还有待提高。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于卷积神经网络的单帧高动态成像方法。本发明要解决的技术问题通过以下技术方案实现：

本发明提供了一种基于卷积神经网络的单帧高动态成像方法，包括：

构建增强模块；

根据所述增强模块构建带增强模块的初始卷积神经网络；

对所述初始卷积神经网络进行训练，得到训练后卷积神经网络；

通过所述训练后卷积神经网络对原始单帧低动态图像进行处理，生成高动态图像。

在本发明的一个实施例中，构建增强模块，包括：

利用注意力机制构建第一增强模块和第二增强模块，其中，所述第一增强模块和所述第二增强模块分别包括依次连接的第一卷积层、第一激活层、第二卷积层、第二激活层、第三卷积层、第三激活层和掩模层。

在本发明的一个实施例中，所述第三激活层为Sigmoid激活层，其表达式为：

Y16＝f(Y15)

其中，f(·)表示将输入归一化到(0，1)之间，Y16是第三激活层的输出图像，即生成的掩模，Y15是所述第三卷积层的输出图像；

所述掩模层为相乘操作层，其表达式为：

Y17＝Y16×X11

其中，X11是所述增强模块的输入图像，Y16是所述第三激活层的输出图像，Y17是所述掩模层的输出图像。

在本发明的一个实施例中，根据所述增强模块构建带增强模块的初始卷积神经网络，包括：

将输入卷积层、输入激活层、所述第一增强模块、所述第二增强模块、输出卷积层和残差相加层依次连接，形成所述初始卷积神经网络，其中，所述残差相加层的表达式为：

OUT＝Y3+X

其中，Y3和X是所述残差相加层的输入图像，Y3是所述输出卷积层的输出图像，X是所述原始单帧低动态图像，OUT是所述残差相加层的输出图像。

在本发明的一个实施例中，所述输入卷积层和所述输出卷积层均包括一层卷积层。

在本发明的一个实施例中，对所述初始卷积神经网络进行训练，得到训练后卷积神经网络，包括：

获取训练集；

根据所述训练集中的真实图像和所述训练集中的低动态图像经过卷积神经网络得到的高动态图像计算损失函数；

根据所述损失函数对所述初始卷积神经网络进行参数更新，得到训练后卷积神经网络。

在本发明的一个实施例中，获取训练集，包括：

选取不同曝光度的多组图像对作为素材库，其中，每组图像对包括一张过\欠曝光图像和一张对应的真实图像；

对所述素材库中的所有过\欠曝光图像进行缩放、随机旋转和裁剪，形成一系列图像小块；

对所述一系列图像小块随机添加高斯噪声，生成具有高斯噪声的一系列图像小块，组成所述训练集。

在本发明的一个实施例中，所述结构相似度的表达式为：

其中，SSIM(M，N)表示所述训练集中的低动态图像经过卷积神经网络处理得到的高动态图像M与相应真实图像N之间的结构性相似度，u_M、u_N分别表示图像M和图像N的均值，

分别表示图像M和图像N的方差，σ_MN表示图像M和图像N的协方差，C1和C2为常数。

在本发明的一个实施例中，通过所述训练后卷积神经网络对原始单帧低动态图像进行处理，生成高动态图像，包括：

对所述原始单帧低动态图像进行扩维操作，得到四维图像矩阵；

将所述四维图像矩阵输入所述训练后卷积神经网络，得到动态范围扩展后的四维矩阵；

将所述动态范围扩展后的四维矩阵缩减至与所述原始单帧低动态图像相同的维度，生成最终的高动态图像。

与现有技术相比，本发明的有益效果在于：

1、本发明基于卷积神经网络的单帧高动态成像方法可以由单帧地动态图像直接生成高动态图像，解决了多曝光融合中运动视频不能同时获取多帧曝光图像的难题，且不需要进行调参，使用方便。

2、本发明基于卷积神经网络的单帧高动态成像方法，采用注意力机制突出强调低动态图像中欠曝和过曝区域内容，使该区域细节得到增强，更加贴近真实场景。

3、本发明方法生成的高动态图像的对比度更高、动态范围更大，更加接近真实的高动态图像。

以下将结合附图及实施例对本发明做进一步详细说明。

附图说明

图1是本发明提供的一种基于卷积神经网络的单帧高动态成像方法的流程示意图；

图2是本发明提供的一种增强模块的结构示意图；

图3是本发明提供的一种初始卷积神经网络的结构示意图；

图4是本发明所使用的一种初始单帧低动态图像；

图5是图4的初始单帧低动态图像经过本发明方法进行动态范围扩展的最终图像；

图6是图4的初始单帧低动态图像经过现有技术Jae方法进行动态范围扩展的最终图像；

图7是图4的初始单帧低动态图像经过现有技术HDRT方法进行动态范围扩展的最终图像；

图8是图4的初始单帧低动态图像经过现有技术ExpandNet方法进行动态范围扩展的最终图像。

具体实施方式

为了进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及具体实施方式，对依据本发明提出的一种基于卷积神经网络的单帧高动态成像方法进行详细说明。

有关本发明的前述及其他技术内容、特点及功效，在以下配合附图的具体实施方式详细说明中即可清楚地呈现。通过具体实施方式的说明，可对本发明为达成预定目的所采取的技术手段及功效进行更加深入且具体地了解，然而所附附图仅是提供参考与说明之用，并非用来对本发明的技术方案加以限制。

应当说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。

实施例一

请参见图1，图1是本发明提供的一种基于卷积神经网络的单帧高动态成像方法的流程示意图。该单帧高动态成像方法包括：

S1：构建增强模块；

在本实施例中，构建增强模块包括：利用注意力机制构建第一增强模块和第二增强模块。具体地，请参见图2，图2是本发明提供的一种增强模块的结构示意图。第一增强模块和第二增强模块结构相同，分别包括依次连接的第一卷积层、第一激活层、第二卷积层、第二激活层、第三卷积层、第三激活层和掩模层。

具体地，第一卷积层的卷积核大小为3×3，输出通道数为64，第一卷积层的表达式为：

Y11＝K11*X11+B11

其中，X11是所述增强模块的输入图像，大小为h×w×64，h，w分别是输入图像的高和宽，Y11是第一卷积层的输出图像，大小为h×w×64，K11是大小为3×3×64×64的四维卷积核，B11是偏置，是一个64×1的列向量，*表示卷积操作。这里所述的增强模块包括第一增强模块和第二增强模块。

第一激活层为修正线性单元激活层，即ReLU(Rectified Linear Unit)激活层，第一激活层用于增加第一卷积层输出结果的稀疏性，可以去除第一卷积层输出结果的冗余数据，最大可能地保留输出结果的特征。

第一激活层的表达式为：

Y12＝max(0，Y11)

其中，max表示取最大值，Y12为第一激活层的输出图像，Y11是第一激活层的输入图像，也就是第一卷积层的输出图像。

第二卷积层的卷积核大小为3×3，输出通道数为64，第二卷积层的表达式为：

Y13＝K13*Y12+B13

其中，Y12是第二卷积层的输入图像，也就是第一激活层的输出图像，大小为h×w×64，Y13是第二卷积层的输出图像，大小为h×w×64，K13是大小为3×3×64×64的卷积核，B13是偏置，是一个64×1的列向量，*表示卷积操作。

第二激活层为ReLU激活层，其表达式为：

Y14＝max(0，Y13)

其中，max表示取最大值，Y14为第二激活层的输出图像，Y13是第二激活层的输入图像，即第二卷积层的输出图像。

第三卷积核大小为3×3，输出通道数为64，第三卷积层的表达式为：

Y15＝K15*Y14+B14

其中，Y14是第三卷积层的输入图像，即第二激活层的输出图像，大小为h×w×64，h，w分别是输入图像的高和宽，Y15是第三卷积层的输出图像，大小为h×w×64，K15是大小为3×3×64×64的卷积核，B14是偏置，是一个64×1的列向量，*表示卷积操作。

第三激活层为Sigmoid激活层，其表达式为：

Y16＝f(Y15)

其中，f(·)是sigmoid函数，将输入归一化到(0，1)之间，生成掩模模板，Y16是第三激活层的输出图像，即生成的掩模，Y15是第三激活层的输入图像，即第三卷积层的输出图像。

所述掩模层是相乘操作层，用来对输入图像进行掩模，掩模层的表达式为：

Y17＝Y16×X11

其中，X11是所述增强模块的输入图像，大小为h×w×64，Y16是第三激活层的输出图像，即掩模模板，Y17是掩模层的输出图像，即该增强模块整体的输出图像，大小为h×w×64。

本实施例的单帧高动态成像方法，采用注意力机制突出强调低动态图像中欠曝光和过曝光区域内容，使欠曝光和过曝光区域细节得到增强，更加贴近真实场景，方便后续观察使用。

S2：根据所述增强模块构建带增强模块的初始卷积神经网络；

具体地，将输入卷积层、输入激活层、所述第一增强模块、所述第二增强模块、输出卷积层和残差相加层依次连接。请参见图3，图3是本发明提供的一种初始卷积神经网络的结构示意图。在本实施例中，所述初始卷积神经网络包括输入卷积层、输入激活层、第一增强模块、第二增强模块、输出卷积层，残差相加层，并且依次连接。

具体地，输入卷积层由一层卷积层构成，其卷积层的卷积核大小为3×3，输出通道数为64，所述输入卷积层的表达式为：

Y1＝K1*X+B1

其中，X是原始输入图像，即所述原始单帧低动态图像，大小为h×w×c，h，w分别是原始输入图像的高和宽，c是原始输入图像的通道数，Y1是输入卷积层的输出图像，大小为h×w×64，K1是大小为3×3×c×64的卷积核，B1是偏置，是一个64×1的列向量，*表示卷积操作。

输入激活层由ReLU激活层构成，输入激活层的表达式为：

Y2＝max(0，Y1)

其中，max表示取最大值，Y2为输入激活层的输出图像，Y1是输入激活层的输入图像，即输入卷积层的输出图像。

接着，将步骤S1中构建的第一增强模块和第二增强模块嵌入到神经网络中，具体位于输入激活层之后，其中，第一增强模块、第二增强模块依次连接，也就是说，第一增强模块的输出为第二增强模块的输入。从而，第一增强模块的输入图像X11是输入激活层的输出图像Y2，经过2个增强模块，第二增强模块的输出图像T的尺寸为h×w×64。

输出卷积层由一层卷积层构成，其卷积层的卷积核大小为3×3，输出通道数为c，输出卷积层的表达式为：

Y3＝K3*T+B3

其中，T是输出卷积层的输入图像，即第二增强模块的输出图像，大小为h×w×64，h，w分别是输入图像的高和宽，Y3是输出卷积层的输出图像，大小为h×w×c，c是输入低动态图像的通道数，若输入低动态图像是彩色图像，则c＝3，若输入低动态图像是灰度图像，则c＝1，K3是大小为3×3×64×c的卷积核，B3是偏置，是一个c×1的列向量，*表示卷积操作。

残差相加层是相加操作层，将前述步骤中得到的图像即输出卷积层的输出图像与原始输入图像相加，以调整图像动态范围。

残差相加层的表达式为：

OUT＝Y3+X

其中，Y3和X是残差相加层的输入图像，其中，Y3是输出卷积层的输出图像，X是原始输入图像，大小均为w×h×c，w，h是原始输入图像的宽和高，c是原始输入图像的通道数，OUT是残差相加层的输出图像，大小为w×h×c。

S3：对所述初始卷积神经网络进行训练，得到训练后卷积神经网络；

进一步地，所述S3包括：

S31：获取训练集；

选取不同曝光度的多组图像对作为素材库，其中，每组图像对包括一张过/欠曝光图像和一张对应的真实图像；对所述素材库中的所有曝光图像进行缩放、随机旋转和裁剪，形成一系列图像小块；对所述一系列图像小块随机添加高斯噪声，生成具有高斯噪声的一系列图像小块，所述一系列图像小块组成所述训练集。

具体地，利用现有的多曝光数据集，从中随机挑选不同曝光度的多组图像对作为素材库，其中，每组图像对包括一张过/欠曝光图像和一张对应的真实图像。真实图像是指与所述过/欠曝光图像具有相同场景的，但动态范围好，和真实场景对应的图像。优选地，利用张磊等人收集总结的多曝光数据集，从中随机挑选不同曝光度的图像作为素材库。所述多曝光数据集其实是将多曝光常用的数据集进行了收集整理而总结出来的，是一个比较全的数据集，包括各种室内、室外，风景、人物等的低动态图像和高动态真实图像对，图像数据比较齐全。随后对素材库中的曝光图像进行缩放、随机旋转、裁剪、加噪声等操作。具体地，首先将素材库中的过曝光图像缩小，生成分辨率为1000×1500×3的图像，并进行随机旋转，然后采用循环切的方法，步长选取为100，截取图像区域大小为256×256的区域，并缩放到64×64大小，得到一系列图像小块；随后，给所述图像小块随机添加均值为0，方差为10左右的高斯噪声，生成带噪声的图像小块，这些图像小块共同组成了本发明所要使用的初始数据集。

S32：根据所述训练集中的真实图像和所述训练集中低动态图像经过卷积神经网络得到的高动态图像计算损失函数；

在本实施例中，采用结构相似度作为损失函数，结构相似度从图像亮度、图像对比度和图像结构三个不同方面来对图像信息进行描述，其中，用均值作为亮度的估计，标准差作为对比度的估计，协方差作为结构相似程度的度量。具体地，所述结构相似度的表达式如下：

SSIM(M，N)＝L(M，N)*C(M，N)*S(M，N)

其中，

u_M、u_N分别表示所述训练集中的低动态图像经过卷积神经网络处理后的高动态图像M与相应真实图像N的均值，σ_M、σ_N分别表示图像M和N的标准差，

分别表示图像M和N的方差。σ_MN代表图像M和N的协方差；C₁、C₂和C₃为常数，是为了避免分母为0的小数，通常取C₁＝(K1*L)²，C₂＝(K2*L)²，C₃＝C₂/2。在本实施例中，K1＝0.01，K2＝0.03，L＝255。综上，所述结构相似度可以简化为：

其中，SSIM(M，N)表示所述训练集中的低动态图像经过卷积神经网络处理后的高动态图像M与相应真实图像N之间的结构相似度，u_M、u_N分别表示图像M和图像N的均值，

分别表示图像M和图像N的方差，σ_MN表示图像M和图像N的协方差，C1和C2为常数，是为了避免分母为0的小数。

在具体操作过程中，所述结构相似度是在卷积神经网络训练过程中用到的。首先，将低动态图像送入卷积神经网络中进行处理，得到经卷积神经网络处理的高动态图像，然后计算得到的高动态图像与真实图像的结构相似度，然后用1减去所述结构相似度的值对卷积神经网络的参数进行更新，然后计算下一张图像的结构相似度，并再次对卷积神经网络的参数进行更新，经过多次更新，最终得到训练好的卷积神经网络。

S33：根据所述训练集对所述初始卷积神经网络进行训练，得到训练后卷积神经网络。

具体地，通过上述计算的结构相似度，使用Adam优化器对初始卷积神经网络进行训练，其中，批尺寸(batch size)设置为64，学习率设为0.0001，每隔50个回合学习率下降到当前学习率的10％，一共训练200个回合，最终得到训练好的卷积神经网络。

S4：通过所述训练后卷积神经网络对原始单帧低动态图像进行处理，生成高动态图像。

对所述原始单帧低动态图像进行扩维操作，得到四维图像矩阵；将所述四维图像矩阵输入所述训练后卷积神经网络，得到动态范围扩展后的四维矩阵；将所述动态范围扩展后的四维矩阵缩减至与所述原始单帧低动态图像相同的维度，生成最终的高动态图像。

具体地，首先判断所述原始单帧低动态图像的图像信息，如果所述原始单帧低动态图像是一个三维图像，需要对图像矩阵进行一次扩维操作，得到四维图像矩阵；如果所述原始单帧低动态图像是一个二维图像，需要对图像矩阵进行两次扩维，得到四维图像矩阵；然后将得到的四维矩阵输入到训练好的卷积神经网络中进行处理，得到动态范围扩展后的四维矩阵；最后将动态范围扩展后的四维矩阵缩减到与原始输入图像相同的维度，得到具有高动态的图像。请参见图5，图5是图4的初始单帧低动态图像经过本发明方法进行动态范围扩展的最终图像。可以看出，通过本实施例的单帧高动态成像方法生成的高动态图像可以清晰地看到隐藏在树下面的小房子，而且前面房子被房檐遮挡的黑暗部分细节也很清晰，搭建房子的砖的纹理效果也很明显，说明本实施例方法在黑暗处处理效果更好。

本实施例的单帧高动态成像方法利用单帧曝光图像进行动态扩展，解决了多曝光方法中运动视频出现鬼影的问题，而且卷积神经网络采用注意力机制，突出强调欠曝和过曝区域内容，使图像细节更加清晰，同时网络直接生成高动态图像，不需要人为进行调参，更加方便，快捷。

进一步地，可以通过以下仿真实验进一步说明本发明实施例的单帧高动态成像方法的成像效果。

仿真实验一：

分别采用DRHT、ExpandNet、Jae提出三种现有的高动态成像方法与本发明实施例提出的单帧高动态成像方法进行实验，并用感知均匀空间的峰值信噪比qm_pu2_psnr、结构相似度qm_pu2_ssim以及HDR-VDP-2评价指标的得分Q_score来进行定量比较，实验结果见表1。

表1四种高动态成像方法的评价指标对比表

	DRHT	ExpandNet	Jae方法	本发明方法
					qm_pu2_psnr	26.78	38.0	35.39	38.36
qm_pu2_ssim	0.491	0.68	0.63	0.82
					Q_score	48.21	52.00	53.64	56.89

由表1可见：本发明实施例的单帧高动态成像方法相较于HDRT、ExpandNet和Jae方法，对低动态图像进行动态范围扩展后，得到的峰值信噪比qm_pu2_psnr、结构相似度qm_pu2_ssim以及HDR-VDP-2评价指标的得分Q_score的值更大，这说明经本方法进行动态范围扩展后，与对应的真实高动态图像更加接近，更加符合真实场景。

仿真实验二：

请一并参见图4和图8，其中，图6是图4的初始单帧低动态图像经过Jae方法进行动态范围扩展的最终图像；图7是图4的初始单帧低动态图像经过HDRT方法进行动态范围扩展的最终图像；图8是图4的初始单帧低动态图像经过ExpandNet方法进行动态范围扩展的最终图像。从图4至8的比较中可以看到，经过本发明方法生成的高动态图像可以清晰的看到隐藏在树下面的小房子，而且前面房子被房檐遮挡的黑暗部分细节也很清晰，搭建房子的砖的纹理效果也很明显，说明本发明方法在黑暗处处理效果更好。从整体上看，本发明方法生成的高动态图像的对比度更高，动态范围更大。综上所述，本发明基于卷积神经网络的单帧高动态成像方法能够在图像动态范围扩展方面有更好的效果。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (3)

1.一种基于卷积神经网络的单帧高动态成像方法，其特征在于，包括：

构建增强模块；

根据所述增强模块构建带增强模块的初始卷积神经网络；

对所述初始卷积神经网络进行训练，得到训练后卷积神经网络；

通过所述训练后卷积神经网络对原始单帧低动态图像进行处理，生成高动态图像；其中，

所述构建增强模块，包括：

利用注意力机制构建第一增强模块和第二增强模块，其中，所述第一增强模块和所述第二增强模块分别包括依次连接的第一卷积层、第一激活层、第二卷积层、第二激活层、第三卷积层、第三激活层和掩模层；

根据所述增强模块构建带增强模块的初始卷积神经网络，包括：

将输入卷积层、输入激活层、所述第一增强模块、所述第二增强模块、输出卷积层和残差相加层依次连接，形成所述初始卷积神经网络，其中，所述残差相加层的表达式为：

OUT＝Y3+X

其中，Y3和X是所述残差相加层的输入图像，Y3是所述输出卷积层的输出图像，X是所述原始单帧低动态图像，OUT是所述残差相加层的输出图像；

所述第三激活层为Sigmoid激活层，其表达式为：

Y16＝f(Y15)

其中，f(·)表示将输入归一化到(0，1)之间，Y16是第三激活层的输出图像，即生成的掩模，Y15是所述第三卷积层的输出图像；

所述掩模层为相乘操作层，其表达式为：

Y17＝Y16×X11

其中，X11是所述增强模块的输入图像，Y16是所述第三激活层的输出图像，Y17是所述掩模层的输出图像；

所述输入卷积层由一层卷积层构成，其卷积层的卷积核大小为3×3，输出通道数为64，所述输入卷积层的表达式为：

Y1＝K1*X+B1

其中，X是原始输入图像，即所述原始单帧低动态图像，大小为h×w×c，h，w分别是原始输入图像的高和宽，c是原始输入图像的通道数，Y1是输入卷积层的输出图像，大小为h×w×64，K1是大小为3×3×c×64的卷积核，B1是偏置，是一个64×1的列向量，*表示卷积操作，

所述输入激活层由ReLU激活层构成，输入激活层的表达式为：

Y2＝max(0，Y1)

其中，max表示取最大值，Y2为输入激活层的输出图像，Y1是输入激活层的输入图像，即输入卷积层的输出图像；

对所述初始卷积神经网络进行训练，得到训练后卷积神经网络，包括：

获取训练集；

根据所述训练集中的真实图像和所述训练集中低动态图像经过卷积神经网络得到的高动态图像计算损失函数，采用结构相似度作为损失函数；

根据所述损失函数对所述初始卷积神经网络进行参数更新，得到训练后卷积神经网络；

通过所述训练后卷积神经网络对原始单帧低动态图像进行处理，生成高动态图像，包括：

对所述原始单帧低动态图像进行扩维操作，得到四维图像矩阵；

将所述四维图像矩阵输入所述训练后卷积神经网络，得到动态范围扩展后的四维矩阵；

将所述动态范围扩展后的四维矩阵缩减至与所述原始单帧低动态图像相同的维度，生成最终的高动态图像。

2.根据权利要求1所述的基于卷积神经网络的单帧高动态成像方法，其特征在于，获取训练集，包括：

选取不同曝光度的多组图像对作为素材库，其中，每组图像对包括一张过\欠曝光图像和一张对应的真实图像；

对所述素材库中的所有过\欠曝光图像进行缩放、随机旋转和裁剪，形成一系列图像小块；

对所述一系列图像小块随机添加高斯噪声，生成具有高斯噪声的一系列图像小块，组成所述训练集。

3.根据权利要求2所述的基于卷积神经网络的单帧高动态成像方法，其特征在于，所述结构相似度的表达式为：

其中，SSIM(M，N)表示所述训练集中的低动态图像经过卷积神经网络处理得到的高动态图像M与相应真实图像N之间的结构性相似度，u_M、u_N分别表示图像M和图像N的均值，

分别表示图像M和图像N的方差，σ_MN表示图像M和图像N的协方差，C1和C2为常数。

Images