CN108805836A - 基于深度往复式hdr变换的图像校正方法 - Google Patents

Abstract

本发明属于图像校正技术领域，提供了一种基于深度往复式HDR变换的图像校正方法，整体网络包含两个子网络，分别是HDR估计网络和LDR校正网络；HDR估计网络用来预测输入LDR图像域中的HDR细节，LDR校正网络用来将HDR图像数据传递到输出LDR图像域中，得到更好的视觉效果。本发明所提出的方法在校正过程后得到的图像的视觉效果较好，并且在峰值信噪比，结构相似性，特征相似性和Q分数这四项图像校正算法评价指标上都能够得到优于目前先进算法的结果。本发明在由过曝光或欠曝光造成丢失图像细节的情况下表现出先进的校正性能。

Description

基于深度往复式HDR变换的图像校正方法

技术领域

本发明属于图像校正技术领域，涉及基于深度往复式HDR变换的图像校正方法。

背景技术

图像校正技术(Image Correction)是指对失真图像的复原性处理，是计算机视觉领域中经典的问题旨在将输入的图像调整为视觉上更加适合的图像，提供更多的图像信息。图像校正技术分为图像几何校正和图像灰度校正。图像几何校正的思路是通过一些已知的参考点，即无失真图像的某些像素点，与畸变图像相应像素的对应坐标关系，拟合出映射关系中的未知系数，以此作为恢复其他像素的基础。灰度校正方法则根据图像不同的失真情况以及所需的不同图像特征，可采取不同的修正方法，通常使用的有灰度级校正、灰度变换、直方图修正等方法。对于恢复在过曝光或欠曝光条件下的图像，目前的校正技术还有许多不足。由于存在的图像校正技术都在LDR域恢复图像细节，由此会丢失部分图像细节信息。本发明旨在利用卷积神经网络，探索HDR域中图像细节信息的重建并生成信息细节更为丰富的LDR图像。

(1)HDR和LDR

HDR(High-Dynamic Range)，即高动态光照渲染，与普通的图像相比，可以提供更多的图像细节和动态范围。利用不同曝光时间LDR(Low-Dynamic Range)图像可以合成细节更为丰富的HDR图像，从而将最好的视觉效果在图像中反映出来。目前相机生成照片的过程，要求摄影师需要仔细地选择曝光时间(_△t)，并根据相机响应函数(Camera ResponseFunctions，简称CFRs)将自然场景(S)转换为LDR图像(I)，该过程可表示为：

I＝f_CRF(S×△t) (1)

当选择的曝光时间不恰当时，相机响应函数不能很好地校正输出LDR图像，而会导致LDR图像产生过曝光或欠曝光。大多数图像校正的相关方法，对过曝光或欠曝光图像的校正能力有限，无法恢复曝光不足区域所缺失的细节，这是因为曝光不足区域的像素值几乎为0，导致图像中的细节减少。

为了解决图像中丢失的细节难以恢复的问题，本发明提出一种深度往复HDR变换(Deep Reciprocating HDR Transformation，简称DRHT)过程。

(2)色调映射

色调映射，是指对图像的颜色信息进行变换。其目的在于调整图片灰度，更好地表达图像信息，得到视觉上更舒适的图像。对于高动态图像，其灰度位数往往高于8位，而普通的图像灰度位数一般是8位，无法在显示器中得到较好的显示效果。另一方面，高动态范围图像灰度值分布不均匀。如果直接进行线性归一化处理，显示效果不佳，因此需要色调映射算法来解决此类问题。色调映射算法分为全局方法和局部方法两类。全局方法对整幅图像都采用相同函数进行映射，而局部方法根据像素位置不同调整映射算法。本发明采用色调映射的全局方法，尝试对HDR估计网络得到的HDR域信息执行色调映射，以生成具有恢复细节的LDR图像。

(3)反伽玛校正

伽玛校正(Gamma Correction)就是对图像伽玛曲线进行编辑，进而实现对图像的非线性色调编辑。检测图像中的深色和浅色部分，使两者比例增大，提高图像的对比度效果。CRT显示器使用电子显像管，通过电流大小来控制屏幕所显示的亮度，然而两者并非线性关系，输出值为输入值的gamma次幂(gamma为显示器的伽马值，在sRGB标准中，gamma值默认为2.2)。然而对于大部分成像设备，输入能量与保存在图片文件中的亮度之间的关系却是线性的。为了校正这个差异，成像设备在保存图像时会自动对数据进行伽玛校正，输出值为输入值的1/gamma次幂，抵消显示器的伽马值造成的误差。反伽玛校正(Inverse GammaCorrection)的目的就是尽量减少或消除真实场景经过系统转化造成的非线性失真。本发明采用反伽玛校正的方法，对HDR估计网络的输出结果进行处理，经过反伽玛校正以及对数运算操作可以优化强度较低区域的细节。

(4)神经网络

卷积神经网络(Convolutional Neural Networks-简称CNN)是一种特殊的深层次的神经网络模型。通过卷积神经网络非全连接和权值共享的特性减少网络参数，降低网络模型的复杂度。卷积神经网络在图像处理和语音识别、文本识别方面有其独特的优势，这也是由卷积神经网络有着局部权值共享的特点决定的，它的布局与实际的生物神经网络更加类似近，网络的复杂性因为权值共享而极大降低，尤其是多维输入向量的图像能够直接输入到网络中，这一特点极大地降低了在特征提取以及分类过程中要重建数据的复杂度。总之，卷积网络相比于一般的神经网络有以下三个优点，第一，网络的拓扑结构能够与输入的图像很好的吻合；第二，模式分类与特征提取的过程可以同时进行，并且可以同时在训练过程中产生；第三，权重共享技术能够大大地减少网络中的训练参数，这一优势也极大地简化了神经网络的结构，同时增加了神经网络的适应性。

(5)校正方法的实现

对于深度学习的框架，本发明选择Tensorflow实现所提出的算法。Tensorflow支持C++和Python的使用界面，可以在CPU和GPU上运行，具有较强的可移植性。本发明使用python接口进行程序编写。需要熟悉Tensorflow的用法，并且在该框架内不断调试神经网络，最后根据实验数据进行归纳总结。

发明内容

本发明的目的是针对上述问题，提出更加适合于过曝光/欠曝光图像校正的方法，解决校正过程中图像细节易丢失的问题，同时保留全局光照效果，摆脱现有图像校正算法处理非正常曝光区域的限制。

本发明的技术方案：

一种基于深度往复式HDR变换的图像校正方法，整体网络包含两个子网络，分别是HDR估计网络和LDR校正网络；HDR估计网络用来预测输入LDR图像域中的HDR细节，LDR校正网络用来将HDR图像数据传递到输出LDR图像域中，得到更好的视觉效果；步骤如下：

(1)HDR估计网络

(1.1)网络输入输出：

城市场景全景数据集中包含LDR图像数据和对应的真值HDR图像数据，分辨率均为64×128；使用城市场景全景数据集来训练HDR估计网络，即该HDR估计网络的输入为LDR图像数据，输出为预测的HDR图像数据；

(1.2)网络结构：

HDR估计网络过程简化为式(2)所示：

其中，f₁代表HDR估计网络；代表HDR估计网络重建的HDR图像；I代表输入的LDR图像；θ₁是HDR估计网络的参数；HDR估计网络的网络结构是一个编码器-解码器网络结构；编码网络用于将输入的LDR图像数据编码为低维潜在表征，该编码网络共有6层，每层输出的特征维度分别是64、64、128、256、256和512；来自编码网络输出的低维潜在表征通过解码网络重建为HDR图像数据，解码网络有5层，每层输出的特征维度分别是256、256、128、64和64；在每个编码器层到其对应解码器层之间加入跳跃连接，以补充局部细节；同时，跳跃连接也被应用到输入LDR图像数据和输出HDR数据中；

(1.3)训练方法：

在HDR估计网络训练的过程中，为了克服深度卷积神经网络难以训练的弊端，批规范化(batch normalization)操作被引入到网络训练中；同时使用ELU激活函数加快网络收敛速度；

HDR估计网络中的损失函数使用均方误差损失函数，如式(3)所示：

其中，i是像素索引，N代表像素总数，Y代表真值HDR图像数据；α和γ是非线性函数的两个常量，用于将真值HDR图像域转换到LDR图像域；

(2)LDR校正网络

(2.1)网络输入输出：

将HDR估计网络的输出做反伽玛校正后的结果作为LDR校正网络的输入；由于城市场景全景数据集中缺乏真值LDR图像，所以通过使用Adobe Photoshop进行颜色和曝光度的调节用于生成对应的真值LDR图像数据集；LDR校正网络的输出是细节较为丰富的校正LDR图像；

(2.2)网络结构：

LDR校正网络过程简化为式(4)所示：

其中，f₂代表LDR校正网络；表示校正后的LDR图像；代表HDR估计网络重建的HDR图像；θ₂是LDR校正网络的参数；为了优化HDR域的细节，对HDR估计网络的输出做反伽玛校正，表示为对公式(4)修正得到公式(5)，式中使用对数运算来压缩数值同时保留大部分细节信息；

其中，log()函数用于压缩完整的HDR域以促进收敛；δ是一个用于消除零值的常量；

LDR校正网络的网络结构类似于HDR估计网络，同样是一个编码器-解码器网络结构；编码网络用于将输入的HDR图像数据编码为低维潜在表征，该编码网络共有6层，每层输出的特征维度分别是64、64、128、256、256和512；来自编码网络输出的低维潜在表征通过解码网络重建为LDR图像数据，解码网络有5层，每层输出的特征维度分别是256、256、128、64和64；

(2.3)训练方法：

使用端到端训练方式，使模型适应深度往复变换过程；HDR估计网络预先进行训练，再将训练好的HDR估计网络和LDR校正网络进行整体训练；在整体训练过程中，同时使用Sun360室外全景数据集进行对整个网络进行端到端的微调；

根据LDR真值图像LDR校正网络的损失函数Loss_ldr如式(6)所示，

其中，∈是控制HDR重建精确度影响的平衡参数。

本发明的有益效果：

(1)图像校正结果

本发明提出了新颖的卷积神经网络结构，首先使用卷积神经网络将LDR图像域转至HDR图像域以恢复丢失的图像细节，然后将HDR图像域所具有丰富的图像细节传回LDR域以生成校正后的LDR图像。

本发明所提出的方法在校正过程后得到的图像的视觉效果较好，并且在峰值信噪比，结构相似性，特征相似性和Q分数这四项图像校正算法评价指标上都能够得到优于目前先进算法的结果。本发明在由过曝光或欠曝光造成丢失图像细节的情况下表现出先进的校正性能。

(2)训练模型技巧

本发明在编码层和对应解码层添加Skip Connection以补充局部细节，并引入批规范化(batch normalization)操作和ELU激活函数，确保深度网络能够更快更稳定的收敛到全局最小。

附图说明

图1为网络架构图。

具体实施方式

以下结合附图和技术方案，进一步说明本发明的具体实施方式。

(1)数据集

本发明使用城市场景全景数据集和Sun360室外全景数据集进行实验。低分辨率(64×128)的城市场景全景数据集包含原始LDR图像集和真值HDR图像集。通过使用AdobePhotoshop软件调节颜色、曝光度等以生成城市场景全景数据对应的真值LDR图像数据集。使用城市场景全景数据集中的39,198对图像(即原始LDR图像集和真值HDR图像集)训练HDR估计网络，并且使用39,198个三元组(即原始LDR图像集，真值HDR图像集和真值LDR图像集)对HDR估计网络和LDR校正网络进行整体训练。同时使用Sun360室外全景数据集中的6,400张图像进行端到端的微调。输入LDR图像在原始LDR图像基础上进行曝光度调整，从[-6,3]之间选择曝光度，从而避免了只学习到某一特定曝光度与真实数据之间的映射关系。

(2)训练网络模型

为了能够有效的对卷积神经网络进行训练，本发明使用批规范化处理(batchnormalization)和ELU激活函数。批规范化处理能有效避免梯度消失的问题，促进网络收敛；ELU激活函数能够有效应对输入变化及图像噪声干扰。

本发明所提出的网络可以分成两个部分，HDR估计网络和LDR校正网络。在HDR估计网络的结构中，包含11个卷积层。使用的卷积核大小有9×9,5×5和3×3，特征图维度分别为64,64,128,256,256,512,256,256,128,64和64。LDR校正网络在卷积核大小以及特征图维度大小的设计上与HDR估计网络相同。整体网络训练过程中，选用Adam优化方法。在前300个训练阶段设置初始学习率为1e-2，在之后的100个训练阶段设置学习率为5e-5，一阶动量衰减系数ρ1＝0.9，二阶动量衰减系数ρ₂＝0.998。公式(3)中的α和γ公式(5)中的δ分别设置为0.03，0.45和1/255。在训练过程中设置梯度阈值，以避免出现梯度爆炸的情况。

Claims (1)

1.一种基于深度往复式HDR变换的图像校正方法，其特征在于，该图像校正方法所用的整体网络包含两个子网络，分别是HDR估计网络和LDR校正网络；HDR估计网络用来预测输入LDR图像域中的HDR细节，LDR校正网络用来将HDR图像数据传递到输出LDR图像域中，得到更好的视觉效果；步骤如下：

(1)HDR估计网络

(1.1)网络输入输出：

城市场景全景数据集中包含LDR图像数据和对应的真值HDR图像数据，分辨率均为64×128；使用城市场景全景数据集来训练HDR估计网络，即该HDR估计网络的输入为LDR图像数据，输出为预测的HDR图像数据；

(1.2)网络结构：

HDR估计网络过程简化为式(2)所示：

其中，f₁代表HDR估计网络；代表HDR估计网络重建的HDR图像；I代表输入的LDR图像；θ₁是HDR估计网络的参数；HDR估计网络的网络结构是一个编码器-解码器网络结构；编码网络用于将输入的LDR图像数据编码为低维潜在表征，该编码网络共有6层，每层输出的特征维度分别是64、64、128、256、256和512；来自编码网络输出的低维潜在表征通过解码网络重建为HDR图像数据，解码网络有5层，每层输出的特征维度分别是256、256、128、64和64；在每个编码器层到其对应解码器层之间加入跳跃连接，以补充局部细节；同时，跳跃连接也被应用到输入LDR图像数据和输出HDR数据中；

(1.3)训练方法：

在HDR估计网络训练的过程中，为了克服深度卷积神经网络难以训练的弊端，批规范化操作被引入到网络训练中；同时使用ELU激活函数加快网络收敛速度；

HDR估计网络中的损失函数使用均方误差损失函数，如式(3)所示：

其中，i是像素索引，N代表像素总数，Y代表真值HDR图像数据；α和γ是非线性函数的两个常量，用于将真值HDR图像域转换到LDR图像域；

(2)LDR校正网络

(2.1)网络输入输出：

将HDR估计网络的输出做反伽玛校正后的结果作为LDR校正网络的输入；由于城市场景全景数据集中缺乏真值LDR图像，所以通过使用Adobe Photoshop进行颜色和曝光度的调节用于生成对应的真值LDR图像数据集；LDR校正网络的输出是细节较为丰富的校正LDR图像；

(2.2)网络结构：

LDR校正网络过程简化为式(4)所示：

其中，f₂代表LDR校正网络；表示校正后的LDR图像；代表HDR估计网络重建的HDR图像；θ₂是LDR校正网络的参数；为了优化HDR域的细节，对HDR估计网络的输出做反伽玛校正，表示为对公式(4)修正得到公式(5)，式中使用对数运算来压缩数值同时保留大部分细节信息；

其中，log()函数用于压缩完整的HDR域以促进收敛；δ是一个用于消除零值的常量；

LDR校正网络的网络结构类似于HDR估计网络，同样是一个编码器-解码器网络结构；编码网络用于将输入的HDR图像数据编码为低维潜在表征，该编码网络共有6层，每层输出的特征维度分别是64、64、128、256、256和512；来自编码网络输出的低维潜在表征通过解码网络重建为LDR图像数据，解码网络有5层，每层输出的特征维度分别是256、256、128、64和64；

(2.3)训练方法：

使用端到端训练方式，使模型适应深度往复变换过程；HDR估计网络预先进行训练，再将训练好的HDR估计网络和LDR校正网络进行整体训练；在整体训练过程中，同时使用Sun360室外全景数据集进行对整个网络进行端到端的微调；

根据LDR真值图像LDR校正网络的损失函数Loss_ldr如式(6)所示，

其中，∈是控制HDR重建精确度影响的平衡参数。