CN107203985A - 一种端到端深度学习框架下的多曝光图像融合方法 - Google Patents

Abstract

本发明提供一种端到端深度学习框架下的多曝光图像融合方法，包括通过训练获取参数，还包括以下步骤：将所述原始图像基于卷积神经网络进行融合处理，得到输出图像；对所述原始图像进行N下采样，得到N²个原始子图像；将N²个所述原始子图像基于卷积神经网络分别进行融合处理，得到N²个输出子图像；把N²个所述输出子图像进行合并，得到合并子图像；输出图像和合并子图像进行权重平均后生成结果融合图像。本发明利用深度学习框架，实现一种端到端的多曝光融合方法，改变了传统方式通过网络只是计算融合系数的方式，大大降低了算法的复杂性。

Description

一种端到端深度学习框架下的多曝光图像融合方法

技术领域

本发明涉及图像处理的技术领域，特别是一种端到端深度学习框架下的多曝光图像融合方法。

背景技术

在日常生活和工作中对高质量的图像具有强烈的需求，比如照片编辑，手机等便携设备的高质量成像，医用图像增强等领域。通过对多曝光图像序列进行融合理论上可以获取到细节信息丰富的高质量图像。多曝光图像融合技术已是计算机视觉领域里的一个研究热点。多曝光融合算法的最终目标是使生成的结果图像在被显示后，人类所获得的感知要和其置身于真实环境中获得的一样，即被观察图像与真实场景不但展现的信息一致，而且给人类带来的视觉感觉也要是一致的。经过处理后得到的结果图像，不仅有助于人眼对场景的辨识，而且对边缘检测、图像分割、图像锐化等数字图像后续处理和计算机视觉系统研究也具有积极的意义。这项技术弥补了普通数码摄像及显示器材的动态范围窄于现实场景的局限性，使得人们仅利用消费级数码产品就可以获得专业级的高质量图像。

由于场景亮度变化范围的影响会导致低曝光和高曝光图像的细节信息丢失严重，主要原因当采用低曝光度获取时，图像高亮区细节信息可见，但暗区的细节由于过于黑暗导致细节丢失严重；相反，用高曝光度获取图像时，暗区细节可见，但高亮区由于曝光过度信息同样会丢失。为了恢复场景更多的细节信息，产生了多曝光融合技术。多曝光融合过程可描述为：对同一场景，获取不同曝光度的图像序列，经过融合处理，提取各自的清晰信息而合成一幅新的图像，它能够有效地提高图像信息的利用率，便于人眼观察或计算机进一步处理。

传统的多曝光融合算法通常要解决两个关键问题：图像特征表示和融合规则设计。现有的融合方式大多是分别解决这两个问题以达到融合目的。数码相机在某一高动态范围场景进行成像时，由于场景中的亮度范围跨度很大，超出了其显示范围，想一次成像就把整个场景的信息获取到是非常困难的。当采用低曝光度获取时，图像高亮区细节信息可见，但暗区的细节由于过于黑暗导致细节丢失严重；相反，用高曝光度获取图像时，暗区细节可见，但高亮区由于曝光过度信息同样会丢失。为了解决这个问题，产生了多曝光融合技术，它能够很好地保留场景的细节信息。曝光融合过程可描述为：对同一场景，获取不同曝光度的图像序列，经过融合处理，提取各自的清晰信息合成一幅新的图像。它能够有效地提高图像信息的利用率，便于人眼观察或计算机进一步处理。如何设计融合规则是多曝光融合算法的核心问题。在基于空间域的融合规则里，普遍采用加权平均、最大值或最小值等规则进行图像融合处理。在设计该类融合规则时，不对源图像进行任何图像变换，也不考虑像素之间的相关性，而是直接对源图像中的各对应像素点直接进行融合处理，得到一幅新的图像。虽然这些方法具有简便、计算量小的特点，比较适用于对融合效率要求较高的应用中。但是，它们不能够较好地表现源图像中的特征，纹理细节丢失也比较严重。因此，需要对现有基于空间域的融合规则进行改进和优化，在不过多影响计算复杂度的前提下，提升图像融合的质量。

公开号为CN104112263A的发明专利公开了一种基于深度神经网络的全色图像与多光谱图像融合的方法，具体步骤如下：步骤1，构建高分辨与低分辨图像块对的训练集；步骤2，利用改进的稀疏去噪自编码器学习训练神经网络模型中第一层的初始化参数；步骤3，利用改进的稀疏去噪自编码器对神经网络进行逐层的预训练；步骤4，对经过预训练的深度神经网络的参数进行微调；步骤5，根据已知的低空间分辨的多光谱图像，利用该深度神经网络重构出高分辨的多光谱图像。该申请提出的方法步骤较多，计算复杂，而且仅能实现光谱图像的融合。不适用于普通图像。

发明内容

为了解决上述的技术问题，本发明提出利用卷积神经网络实现端到端的多曝光融合技术，卷积神经网络的输入是多幅具有不同曝光度的图像序列，经过网络直接得到一幅高质量融合结果图像。

本发明提供一种端到端深度学习框架下的多曝光图像融合方法，包括通过训练获取参数Θ，，还包括以下步骤：

步骤1：将所述原始图像基于卷积神经网络进行融合处理，得到输出图像；

步骤2：对所述原始图像进行N下采样，得到N²个原始子图像；

步骤3：将N²个所述原始子图像基于卷积神经网络分别进行融合处理，得到N²个输出子图像；

步骤4：把N²个所述输出子图像进行合并，得到合并子图像；

步骤5：生成结果融合图像。

优选的是，所述原始图像为一个图像组，包含m张曝光度不同的图像。

在上述任一方案中优选的是，所述融合处理包含以下步骤：

步骤A：灰度化输入图像序列，得到N个具有不同曝光度的图像序列，设为Y；

步骤B：进行第一卷积层设计；

步骤C：进行第二卷积层设计；

步骤D：进行重构层的设计。

在上述任一方案中优选的是，所述步骤B的计算公式为：F₁(Y)＝max(0,W₁*Y+B₁)，其中W₁和B₁表示滤波器和偏置，W₁是n₁个f₁×f₁卷积核，可以看出W₁是对原始图像序列进行n₁次卷积操作，每个卷积操作采用f₁×f₁大小的卷积核,第一层卷积输出n₁个特征图，该层可看做原始图像序列的一种非线性表示，max是非线性函数，其中f₁为卷积模板的大小。

在上述任一方案中优选的是，所述步骤C的计算公式为：F₂(Y)＝max(0,W₂*F₁(Y)+B₂)，其中W₂是一个n₁×n₂个f₂×f₂大小的卷积核，B₂是第二层卷积层的偏置。

在上述任一方案中优选的是，所述步骤D的计算公式为F(Y)＝W₃*F₂(Y)+B₃，其中W₃是n₂个f₃×f₃大小的卷积核，其中B₃为重构层的偏置。

在上述任一方案中优选的是，所述W₁、W₂、W₃、B₁、B₂和B₃通过所述参数Θ得到，计算公式为Θ＝{W₁,W₂,W₃,B₁,B₂,B₃}。

在上述任一方案中优选的是，所述参数Θ可以通过优化损失函数得到。

在上述任一方案中优选的是，所述损失函数是利用网络的重构融合图像F(Y；Θ)和标准曝光下的图像X间的最小平方误差定义的，公式定义为其中n表示训练样本的个数。

在上述任一方案中优选的是，所述损失函数的优化过程采用随机梯度下降方法实现。1.在上述任一方案中优选的是，所述随机梯度下降方法为在训练阶段，batch的大小设置为128，momentum值设为0.9，权重衰减设置为0.0005，利用下面公式进行权重更新，

其中是momentum变量，i表示迭代次数，α是学习率(0.0001为默认值)，L是上面定义的损失函数，表示损失函数对权重的偏导，所述训练过程采用Caffe框架实现。

在上述任一方案中优选的是，所述步骤2还包括按照空间位置在所述图原始图像中每间隔N-1行N-1列采集一个像素。

在上述任一方案中优选的是，所述步骤2还包括把采集到的所有像素组合构成所述原始子图像。

在上述任一方案中优选的是，所述步骤4还包括把所述输出子图像按照步骤2的逆过程回填到原始位置，构成所述合并子图像。

在上述任一方案中优选的是，所述步骤五为把所述输出图像和所述合并子图像进行合并处理，得到所述结果融合图像。

在上述任一方案中优选的是，所述合并处理的方法为按照比重系数对所述输出图像和所述合并子图像进行加权平均。

本发明提出将原始图像先通过下采样方式得到多个子图像，这样可以利用原来N邻域以外更多的像素做卷积处理，可以提升融合效果。

附图说明

图1为按照本发明的端到端深度学习框架下的多曝光图像融合方法的一优选实施例的流程图。

图2为按照本发明的端到端深度学习框架下的多曝光图像融合方法的如图1所示实施例的原始低曝光图像展示图。

图2a为按照本发明的端到端深度学习框架下的多曝光图像融合方法的如图1所示实施例的原始中曝光图像展示图。

图2b为按照本发明的端到端深度学习框架下的多曝光图像融合方法的如图1所示实施例的原始高曝光图像展示图。

图2c为按照本发明的端到端深度学习框架下的多曝光图像融合方法的如图1所示实施例的输出图像展示图。

图3为按照本发明的端到端深度学习框架下的多曝光图像融合方法的如图1所示实施例的原始低曝光图像分解图。

图3a为按照本发明的端到端深度学习框架下的多曝光图像融合方法的如图1所示实施例的原始中曝光图像分解图。

图3b为按照本发明的端到端深度学习框架下的多曝光图像融合方法的如图1所示实施例的原始高曝光图像分解图。

图3c为按照本发明的端到端深度学习框架下的多曝光图像融合方法的如图1所示实施例的扩充邻域方法示意图。

图3d为按照本发明的端到端深度学习框架下的多曝光图像融合方法的如图1所示实施例的输出子图像示意图

图4为按照本发明的端到端深度学习框架下的多曝光图像融合方法的如图1所示实施例的第一卷积层中间过程图。

图5为按照本发明的端到端深度学习框架下的多曝光图像融合方法的如图1所示实施例的第二卷积层中间过程图。

图6为按照本发明的端到端深度学习框架下的多曝光图像融合方法的如图1所示实施例的重构层中间过程图。

图7为按照本发明的端到端深度学习框架下的多曝光图像融合方法的如图1所示实施例的输出子图像展示图。

图8为按照本发明的端到端深度学习框架下的多曝光图像融合方法的如图1所示实施例的合并子图像展示图。

图9为按照本发明的端到端深度学习框架下的多曝光图像融合方法的如图1所示实施例的结果融合图像展示图。

具体实施方式

下面结合附图和具体的实施例对本发明做进一步的阐述。

本申请提出利用卷积神经网络实现端到端的多曝光融合技术，卷积神经网络的输入是多幅具有不同曝光度的图像序列，经过网络直接得到一幅高质量融合结果图像。通过网络训练过程，能够能到不用曝光度的图像和真实场景图像(标准光照)之间的映射关系。

如图1所示，执行步骤100，为了学习一个端到端的映射函数F，需要通过训练获取参数Θ，以便得到参数值W₁、W₂、W₃、B₁、B₂和B₃。在本实施例中，参数Θ通过优化损失函数实现的，该损失函数是利用网络的重构融合图像F(Y；Θ)和标准曝光下的图像(记为X)间的的最小平方误差定义的，公式定义为：其中n表示训练样本的个数。本专利训练数据使用ImageNet上ILSVRC 2012校验集，该数据集共有50000张图像，每张图像可看做曝光度较好的自然场景图像，通过一种随机数生成机制，使其获得的数值范围在[0.4，1]之间，这样乘以原始图像，即可改变图像的亮度值，从而得到对应的低曝光图像。另外，还要产生对应的高曝光图像，随机数的范围设置在[1.2，1.8]之间。这样，每幅原始图像都可以得到对应的低曝光和高曝光图像，原始图像作为标记图像，即为上面的标记X，得到的低曝光和高曝光图像作为网络的输入。在原始图像和对应的低/高曝光图像中随机截取33×33的图像块，得到744175个“匹配对”作为训练数据。损失函数的优化过程采用随机梯度下降方法实现。在训练阶段，batch的大小设置为128，momentum值设为0.9，权重衰减设置为0.0005，利用下面公式进行权重更新：其中是momentum变量，i表示迭代次数，α是学习率(0.0001为默认值)，L是上面定义的损失函数，表示损失函数对权重的偏导，训练过程采用Caffe框架实现。训练结束后，可以得到参数值W₁、W₂、W₃、B₁、B₂和B₃，把这些参数应用在原始图像A、B和C的融合处理中。

执行步骤110，对原始图像A、B和C进行灰度化处理并输入图像序列，得到N个具有不同曝光度的图像序列，设为Y。其中原始图像A、B和C取自同一景致，区别在于曝光度不同，其中A为低曝光图像(如图2所示)，B为中曝光图像(如图2a所示)，C为高曝光图像(如图2b所示)。执行步骤110，把原始图像A、B和C进行融合处理。

执行步骤120，对Y进行第一卷积层设计，其计算公式为F₁(Y)＝max(0,W₁*Y+B₁)，其中W₁和B₁表示滤波器和偏置，W₁是n₁个f₁×f₁卷积核，可以看出W₁是对原始图像序列进行n₁次卷积操作，每个卷积操作采用f₁×f₁大小的卷积核。第一层卷积输出n₁个特征图，该层可看做原始图像序列的一种非线性表示，max是非线性函数(称Rectified Linear Unit,ReLU)，在本实施例中，默认n₁＝64，f₁＝5，因此，在第一层卷积输出64个特征图(如图4所示)。执行步骤130，对Y进行第二卷积层设计。在上面的第一层卷积过程中，得到了n₁维的特征表示，在本层中，我们把n₁维特征映射为n₂维特征，其计算公式为：F₂(Y)＝max(0,W₂*F₁(Y)+B₂)，其中W₂是一个n₁×n₂个f₂×f₂大小的卷积核，B₂是第二层卷积层的偏置，在本实施例中，默认n₂＝32，f₂＝3，因此，在第二层卷积输出32个特征图(如图5所示)。执行步骤140，对Y进行重构层设计。传统的方法是针对前一层的n₂个map，使用一种直接平均的方法即可生成一幅融合结果图像，即每个map的权重是相同的，这样会降低融合结果图像的对比度。本专利在该层设计一个卷积层来重构结果图像，其计算公式为F(Y)＝W₃*F₂(Y)+B₃，其中W₃是n₂个f₃×f₃大小的卷积核，默认f₃＝3，Y在重构层设计后输出特征图(如图6所示)。执行步骤150，输出融合处理结果，得到输出图像D(如图7所示)。

执行步骤102，把原始图像A进行下采样。得到多个子图像，这样就可以利用更多的邻域信息进行卷积操作，原始图像进行N下采样，得到N²个子图像。例如设定输入图像为16×16的图像，N＝2。如图3c所示，上半部分展示了一幅16×16的图像(每个像素用不同深浅的灰色表示)，给定一个像素，如果用3×3卷积核，通常情况下在进行卷积时只用到里侧黑色框中的像素进行计算。针对同一像素，在图3c的下半部分左一图中用3×3卷积操作时，对应图3c的上半部分的原始图像中1-8号像素，相对原始的内侧的黑色框中的邻域，这种方式可以增加邻域像素的影响(外侧黑色框所示)。随着N的增加，可以进一步扩大邻域像素的影响，并且这种方式不会影响网络的设计。在本实施例中，设定下采样参数N＝2，对原始图像进行下采样，得到图像A-1、A-2、A-3和A-4(如图3所示)，把原始图像B进行下采样，得到图像B-1、B-2、B-3和B-4(如图3a所示)，把原始图像C进行下采样，得到图像C-1、C-2、C-3和C-4(如图3b所示)。执行步骤112，把A-1、A-2、A-3、A-4、B-1、B-2、B-3、B-4、C-1、C-2、C-3和C-4，分成四组，第一组是A-1、B-1和C-1，第二组是A-2、B-2和C-2，第三组是A-3、B-3和C-3，第四组是A-4、B-4和C-4，调取步骤111中训练得到的参数W₁、W₂、W₃、B₁、B₂和B₃，对第一组图像A-1、B-1和C-1进行灰度化处理并输入图像序列，得到N个具有不同曝光度的图像序列，设为Y。执行步骤122，对Y进行第一卷积层设计，其计算公式为F₁(Y)＝max(0,W₁*Y+B₁)，其中W₁和B₁表示滤波器和偏置，W₁是n₁个f₁×f₁卷积核，可以看出W₁是对原始图像序列进行n₁次卷积操作，每个卷积操作采用f₁×f₁大小的卷积核。第一层卷积输出n₁个特征图，该层可看做原始图像序列的一种非线性表示，max是非线性函数(称Rectified Linear Unit,ReLU)，在本实施例中，默认n₁＝64，f₁＝5。执行步骤132，对Y进行第二卷积层设计。在上面的第一层卷积过程中，得到了n₁维的特征表示，在本层中，我们把n₁维特征映射为n₂维特征，其计算公式为：F₂(Y)＝max(0,W₂*F₁(Y)+B₂)，其中W₂是一个n₁×n₂个f₂×f₂大小的卷积核，B₂是第二层卷积层的偏置，在本实施例中，默认n₂＝32，f₂＝3。执行步骤142，对Y进行重构层设计。传统的方法是针对前一层的n₂个map，使用一种直接平均的方法即可生成一幅融合结果图像，即每个map的权重是相同的，这样会降低融合结果图像的对比度。本专利在该层设计一个卷积层来重构结果图像，其计算公式为F(Y)＝W₃*F₂(Y)+B₃，其中W₃是n₂个f₃×f₃大小的卷积核，默认f₃＝3，Y在重构层设计后输出特征图。执行步骤152，输出融合处理结果，得到输出子图像D-1(如图3d左上图所示)。分别对第二组图像A-2、B-2和C-2、第三组图像A-3、B-3和C-3、第四组图像A-4、B-4和C-4执行步骤122、步骤132、步骤142和步骤152的操作，分别得到输出子图像D-2(如图3d右上图所示)、D-3(如图3d左下图所示)和D4(如图3d右下图所示)。执行步骤162，按照下采样的逆过程，将得到的输出子图像D-1、D-2、D-3和D-4中的像素回填到原始像素位置，得到合并子图像D’(如图8所示)，该图像是利用较远的邻域像素进行三层卷积得到的。

执行步骤170，把输出图像D和合并子图像D’按照一定的比重进行加权平均，在本实施例中，输出图像占70％的比重，合并子图像占30％的比重，最后获得融合结果图像(如图9所示)。

为了更好地理解本发明，以上结合本发明的具体实施例做了详细描述，但并非是对本发明的限制。凡是依据本发明的技术实质对以上实施例所做的任何简单修改，均仍属于本发明技术方案的范围。本说明书中每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

可能以许多方式来实现本发明的方法、装置和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种端到端深度学习框架下的多曝光图像融合方法，包括通过训练获取参数Θ，其特征在于，还包括以下步骤：

步骤1：将所述原始图像基于卷积神经网络进行融合处理，得到输出图像；

步骤2：对所述原始图像进行N下采样，得到N²个原始子图像；

步骤3：将N²个所述原始子图像基于卷积神经网络分别进行融合处理，得到N²个输出子图像；

步骤4：把N²个所述输出子图像进行合并，得到合并子图像；

步骤5：生成结果融合图像。

2.如权利要求1所述的端到端深度学习框架下的多曝光图像融合方法，其特征在于：所述原始图像为一个图像组，包含m张曝光度不同的图像。

3.如权利要求1所述的端到端深度学习框架下的多曝光图像融合方法，其特征在于：所述融合处理包含以下步骤：

步骤A：灰度化输入图像序列，得到Z个具有不同曝光度的图像序列，设为第一卷积层输入变量Y；

步骤B：进行第一卷积层设计；

步骤C：进行第二卷积层设计；

步骤D：进行重构层的设计。

4.如权利要求3所述的端到端深度学习框架下的多曝光图像融合方法，其特征在于：所述步骤B的计算公式为：F₁(Y)＝max(0,W₁*Y+B₁)，其中W₁和B₁表示滤波器和偏置，W₁是n₁个f₁×f₁卷积核，可以看出W₁是对原始图像序列进行n₁次卷积操作，每个卷积操作采用f₁×f₁大小的卷积核，第一层卷积输出n₁个特征图，该层可看做原始图像序列的一种非线性表示，max是非线性函数，其中f₁为卷积模板的大小。

5.如权利要求4所述的端到端深度学习框架下的多曝光图像融合方法，其特征在于：所述步骤C的计算公式为：F₂(Y)＝max(0,W₂*F₁(Y)+B₂)，其中W₂是一个n₁×n₂个f₂×f₂大小的卷积核，B₂是第二层卷积层的偏置。

6.如权利要求5所述的端到端深度学习框架下的多曝光图像融合方法，其特征在于：所述步骤D的计算公式为F(Y)＝W₃*F₂(Y)+B₃，其中W₃是n₂个f₃×f₃大小的卷积核，其中B₃为重构层的偏置。

7.如权利要求6所述的端到端深度学习框架下的多曝光图像融合方法，其特征在于：所述W₁、W₂、W₃、B₁、B₂和B₃通过所述参数Θ得到，计算公式为Θ＝{W₁,W₂,W₃,B₁,B₂,B₃}。

8.如权利要求7所述的端到端深度学习框架下的多曝光图像融合方法，其特征在于：所述参数Θ可以通过优化损失函数得到。

9.如权利要求8所述的端到端深度学习框架下的多曝光图像融合方法，其特征在于：所述损失函数是利用网络的重构融合图像F(Y；Θ)和标准曝光下的图像X间的最小平方误差定义的，公式定义为其中n表示训练样本的个数。

10.如权利要求9所述的端到端深度学习框架下的多曝光图像融合方法，其特征在于：所述损失函数的优化过程采用随机梯度下降方法实现。