CN110135501A - 基于神经网络框架的高动态范围图像取证方法 - Google Patents

Abstract

本发明公开一种基于神经网络框架的高动态范围图像取证方法，应用于图像取证领域，针对现有技术无法实现HDR图像来源取证的问题，本发明通过搭建神经网络，并构建来源多样性的数据集对神经网络参数进行训练，得到能够区分多幅LDR图像合成的HDR图像和由单幅LDR拓展的HDR图像的神经网络模型，相较于现有技术，本发明的方法更简单，效果更优，且更加智能化，便于操作，具有很强的实用性。

Description

基于神经网络框架的高动态范围图像取证方法

技术领域

本发明属于图像取证领域，特别涉及一种图像来源取证技术。

背景技术

近年来，高动态范围成像技术不仅受到了学术界的重视，也受到工业界广泛的关注。研究人员提出了许多获取高动态范围图像的方法。最常见的一种方法是利用捕获于同一个场景的多幅不同曝光度的低动态范围图像生成一整高质量的高动态范围图像。然而，人们实际捕获的绝大多数图像往往只有单次曝光，现实中存在海量的单曝光图像。因此，研究人员开始专注于研究单帧低动态范围图像直接生成高动态范围图像的方法。

这两类高动态范围图像从原理上来说有着比较大的区别，单帧拓展的高动态范围图像由于仅从单幅低动态范围图像生成，所以相对多帧合成的高动态范围图像，它的动态范围相对会小一些，图像中的细节和场景信息也会稍显不足；而多帧合成的高动态范围在合成过程中，由于场景中物体的移动和不对齐，合成的图像可能会出现模糊区域甚至出现“鬼影”，而且其合成过程相对单帧映射来说也要复杂一些。值得注意的是，这两种高动态范围图像都能给予人们比较舒适的视觉享受，但从肉眼角度很难辨别出图像的来源。为了叙述的简洁性，本发明中以HDR(High-Dynamic Range)代指高动态范围、LDR(Low-DynamicRange)代指低动态范围，并分别以pHDR图像和sHDR图像代指由多幅LDR图像合成的HDR图像和由单幅LDR拓展的HDR图像。

图像来源取证是图像取证的一个重要分支，辨别图像的来源可能关系到信息传输、新闻媒体甚至是国家安全等方面，具有重大意义。随着近年卷积神经网络成功的应用于图像取证方面，许多学者也提出了一些使用卷积神经网络来分类图像的方法。然而现有的方法大多集中于LDR图像，很少考虑HDR图像来源方面。为了解决这一问题，需要研究一种能够准确把握HDR图像特征进行分类，并且具有高效性能的方法。

发明内容

为解决上述技术问题，本发明提出一种基于神经网络框架的高动态范围图像取证方法，通过利用神经网络训练不同类型生成的HDR图像，获得一个能够区分sHDR图像和pHDR图像的神经网络模型，实现了HDR图像的来源取证。

本发明采用的技术方案为：基于神经网络框架的高动态范围图像取证方法，包括：

S1、HDR数据集建立；所述HDR数据集包括sHDR和pHDR图像；

S2、对步骤S1建立的HDR数据集进行预处理；

S3、构建卷进神经网络；所述卷积神经网络包括：六个卷积层、三个池化层、三个全连接层以及两个dropout层，所述六个卷积层记为：第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层以及第六卷积层；所述三个池化层记为：第一池化层、第二池化层以及第三池化层；三个全连接层记为：第一全连接层、第二全连接层以及第三全连接层；两个dropout层记为：第一dropout层与第二dropout层；

所述第一卷积层的输入为该卷积神经网络的输入，第一卷积层的输出作为第二卷积层的输入，第二卷积层的输出作为第一池化层的输入，第一池化层的输出作为第三卷积层的输入，第三卷积层的输出作为第四卷积层的输入，第四卷积层的输出作为第二池化层的输入，第二池化层的输出作为第五卷积层的输入，第五卷积层的输出作为第六卷积层的输入，第六卷基层的输出作为第三池化层的输入，第三池化层的输出作为第一全连接层的输入，第一全连接层的输出作为第一dropout层的输入，第一dropout层的输出作为第二全连接层的输入，第二全连接层的输出作为第二dropout层的输入，第二dropout层的输出作为第三全连接层的输入，第三全连接层的输出作为该神经网络的输出；

S4、将步骤S2处理后的HDR数据集输入该卷积神经网络中进行训练，得到训练后的神经网络。

进一步地，步骤S3所述六个卷积层中各卷积层的卷积操作计算式为：

其中，N_c为卷积层所对应的卷积核大小，w_i表示卷积层中各卷积核的参数值，x_i为卷积层的输入，b_c为w_i对应的偏置项。

更进一步地，所述各卷积层的激活函数为ReLU函数。

进一步地，步骤S3所述三个池化层中各池化层的计算式为：

其中，N_f表示池化层对应的池化核的大小。

进一步地，步骤S3所述三个全连接层中各全连接层的计算式为：

其中，M表示输入该全连接层的所有神经元个数，x_j为全连接层的输入，w_i,j表示第i个全连接层对应第j个输入值的权重，b_f为全连接层第i个神经元对应的偏置项。

更进一步地，第一全连接层与第二全连接层使用ReLU函数作为激活函数；第三个全连接层使用softmax函数作为激活函数：

其中，K表示softmax的输入总个数。

进一步地，步骤S4所述将步骤S2处理后的HDR数据集输入该卷积神经网络中进行训练，具体为：

通过计算损失函数对卷积神经网络参数的梯度来更新卷积神经网络的梯度；

其中：

E表示损失，y表示输出，m表示输入经前向传播得到的中间变量；

根据卷积神经网络的梯度，卷积神经网络以带动量的小批梯度下降法更新卷积层神经网络参数；

ω_new＝ω_old+(ω_old*μ-λ*Δω)；

其中，μ为动量参数，λ为学习率。

进一步地，步骤S1所述的pHDR图像获取途径包括：Debevec、Nayar、Fairchild、Mantiuk提出的经典合成算法；

sHDR图像的获取途径包括以下四种：

第一种为以全局拓展的方式，直接将LDR图像的亮度值映射到高动态范围：

其中，L_L表示LDR图像的亮度值，L_H表示HDR图像的亮度值，L_min表示输入LDR图像亮度值的最小值，L_max表示输入LDR图像亮度值的最大值，k表示HDR图像显示设备的输入最大光强度，γ表示动态范围的映射方式；

第二种为对人眼视觉模型建模模拟人眼成像的过程：

其中，L_L表示LDR图像的亮度值，L_H表示HDR图像的亮度值，L_max,L为LDR图像亮度值的最大值，L_s,H表示HDR图像每个像素的周围亮度值，σ是引起视觉响应最大值一半的亮度值，n则表示敏感参数；

第三种为：首先对LDR图像进行双边滤波来去除噪声，去除噪声后的图像经过反gamma映射得到预处理图像，将预处理图像带入亮度增强函数即可得到HDR图像；

第四种为：一种场景自适应的反色调映射算子；具体为：

训练一个分类器来分类输入图像类型，使用支持向量机将图像场景分类为“明亮”、“适中”和“昏暗”三种；

对不同类型的图像场景，使用不同参数的反色调映射算子参数L_max，算子定义为：

其中，p为常数，p通常取30；L_max在“明亮”、“适中”和“昏暗”三种图像场景类型下分别取10⁶、10³和10¹。

进一步地，步骤S2所述预处理，具体为：

S21、将步骤S1数据集中的图像缩放至统一大小；

S22、将经步骤S21处理的每张图像裁剪成68*68的非覆盖图像块；

S23、采用图像亮度值来代替图像像素值；

S24、将各图像的亮度值转换到对数域。

更进一步地，步骤S23具体为：采用图像的单亮度通道代替原RGB图像，计算式为：

L＝0.2126R+0.7152G+0.0722B。

本发明的有益效果：本发明利用一种深度的监督学习的方式，能够自动的学习HDR图像的特征，并通过学习到的特征实现HDR图像的分类过程；本发明的具有以下优点：

1)本发明使用深度卷积神经网络和HDR图像生成技术，通过利用神经网络训练不同类型生成的HDR图像，获得一个能够区分sHDR图像和pHDR图像的神经网络模型，实现了HDR图像的来源取证；

2)本发明通过多种方法生成的sHDR图像和pHDR图像构建HDR图像的数据集，由于该数据的数据多样性使得由该数据集训练所得网络具有更高的鲁棒性和泛化能力；

3)本发明方法相较于现有技术，方法更简单，效果更优，且更加智能化，便于操作，具有很强的使用性。

附图说明

图1为本发明的方案流程图；

图2为本发明实施例提供的神经网络结构图。

具体实施方式

为便于本领域技术人员理解本发明的技术内容，下面结合附图对本发明内容进一步阐释。

相比于LDR图像的像素值为0-255的整数值，HDR图像的像素值通常为浮点数，而且其动态范围(最大亮度值与最小亮度值之比)可能达到10³-10⁶，所以传统的LDR图像的特征分析方法并不适用于HDR图像。所以，本发明利用一种深度的监督学习的方式，能够自动的学习HDR图像的特征，并通过学习到的特征实现HDR图像的分类过程。通常卷积神经网络需要大量的数据训练，而且为了得到好的训练结果，训练数据要具有一定的“纯净性”，在图像直接进入神经网络训练之前必须要有足够的预处理过程。

如图1所示为本发明的方案流程图，本发明主要包括以下步骤：

(1)HDR数据集的建立

由于使用神经网络需要大量的数据，所以本发明建立了一个较大的HDR数据集并且包含所需的多种sHDR和pHDR图像。对于pHDR图像，Debevec、Nayar、Fairchild、Mantiuk等人提出的经典合成算法提供了一些HDR图像作为数据集。但是sHDR图像的获取途径很少，所以本发明将使用几种经典的单帧拓展方式来生sHDR图像。

第一种是以全局拓展的方式，直接将LDR图像的亮度值映射到高动态范围：

其中，L_L和L_H分别表示LDR图像和HDR图像的亮度值，L_min和L_max则表示输入LDR图像亮度值的最大和最小值。参数k表示HDR图像显示设备的输入最大光强度，指数γ表示动态范围的映射方式，γ＝1时，LDR图像的亮度值被线性映射到高动态范围；γ＞1时，映射方式为非线性映射，得到的HDR图像会相对明亮一些；γ＜1是，映射方式同样为非线性映射，得到的HDR图像则会相对暗一些。根据输入图像场景的不同，可以选择合适的λ值来满足不同的视觉需求。

第二种方法对人眼视觉模型建模模拟人眼成像的过程，通过该模型的逆模型将LDR图像映射到原场景的亮度值，从而达到重构HDR图像的目的。该过程可用以下公式表示：

同样的，L_L和L_H分别表示LDR图像和HDR图像的亮度值，L_max,L即LDR图像亮度值的最大值。L_s,H表示HDR图像每个像素的周围亮度值，参数σ是引起视觉响应最大值一半的亮度值，参数n则表示敏感参数，由拍摄图像时的曝光度决定，一般在0.7-1.0之间。L_s,H和σ都是HDR图像的参数，但是可以通过LDR图像对应亮度值计算估计得到，通常采用双边滤波器建模的方法来估计这两个参数。

第三种方法首先对LDR图像进行双边滤波来去除噪声，去噪的图像经过反gamma映射得到预处理图像，将预处理图像带入亮度增强函数即可得到HDR图像。亮度增强函数可由预处理图像建模得到：把预处理图像由RGB色彩空间转换到L*a*b*空间和Lab空间得到两种不同的亮度图L₁和L₂，使用双边滤波器对这两种亮度图建模可得到亮度增强函数。

第四种方法是一种场景自适应的反色调映射算子。首先训练一个分类器来分类输入图像类型，使用支持向量机可以将图像场景分类为“明亮”、“适中”和“昏暗”三种。对不同类型的图像场景，使用不同参数的反色调映射算子参数L_max，算子定义为：

其中，p为常数，通常取30，L_max在三种图像场景类型下分别取10⁶、10³和10¹。

(2)数据集的预处理

对于建立好的数据集，其数据量还远远不能满足神经网络的训练需求，使用图像分割策略可以解决这一问题。数据集的预处理分为以下步骤：

1)由于图像的大小对神经网络的深度和层数有一定影响，首先将数据集中图像缩放到统一大小(512*512)；

2)将每张图像裁剪成68*68的非覆盖图像块；

3)为避免图像中的物体轮廓、边缘信息等影响两类HDR图像的取证，使用图像的亮度值来代替图像像素值，即使用单亮度通道L代替之前的三通道RGB图像，其计算公式如下：

L＝0.2126R+0.7152G+0.0722B (4)

4)LDR图像的像素值范围限定在0-255，所以其在进入神经网络之前不需要归一化，但HDR图像像素值不具有这一特性。在得到亮度值之后将其转换到对数域进一步压缩HDR图像亮度值的范围。

经此预处理之后的图像可直接作为神经网络的输入。

(3)神经网络结构设计及训练

本发明使用的神经网络结构层主要有以下几种：

卷积层：输入图像与卷积层中的各个滤波器做卷积运算，得到与滤波器个数相同层数的特征图。输入图像经过多个卷积层之后能够得到比较深层细致的特征。卷积操作的计算公式为：

该函数表示卷积操作使输入的N个特征值与一个输出值相连，其中N为卷积核大小，将卷积核内的图像值与卷积核的值的乘积和作为卷积层的输出。卷积操作之后的激活函数ReLU函数可以保证特征的非线性映射，同时正半轴斜率为1、负半轴斜率为0的函数形状也可以消除优化网络参数时梯度消失的影响，其公式为：

池化层：将图像逐点在滤波器大小的矩阵区域当中选择出其中的最大值，作为矩阵对应未知的新值。池化层的主要功能是对特征图进行降维从而减小运算量，同时还能够保留显著的特征。其公式可以表示为：

其中，N_f表示池化核的大小，输出位池化核内的最大元素值。

全连接层：将前一层的神经节点与本层的神经节点全部相连，在整个神经网络结构中起着分类器的作用。全连接层的公式入下所示：

与卷积层公式类似，不同的是M表示该全连接层前一层的所有神经元个数，该公式输出为全连接层第i个神经元的输出值。通常全连接操作之后也有ReLU函数的激活函数。最后一个全连接层使用softmax函数作为激活函数，其公式为：

Dropout层：将前一层的神经节点以概率ε随机丢弃，并不传入到下一层结构中。通过这种结构可以有效地防止由于数据量庞大产生的过拟合，ε通常取0.5。

搭建好神经网络之后即可对网络进行训练。本发明方法使用交叉熵损失作为整个网络的损失函数，其整个前向传播过程可以表示为：

其中，forward(·)表示多个卷积函数、池化函数和全连接函数的叠加嵌套。通过计算损失函数对参数ω的梯度来更新网络的梯度，根据链式法则可以表示为：

其中：

链式法则最后一项则为多个卷积层、池化函数和全连接层的梯度的乘积。最后，整体网络以带动量的小批梯度下降法更新参数，其公式可以表示为：

ω_new＝ω_old+(ω_old*μ-λ*Δω) (14)

其中，μ为动量参数，λ为学习率；动量参数和学习率为超参数，一般在训练开始时确定；动量参数一般取值0.9；学习率则使用变化的策略，初始值为0.01，根据迭代次数以0.1为倍率下降。

本领域的技术人员应注意公式(14)的参数更新ω为泛指，具体指代神经网络中的w_i、w_i,j、w_i对应的偏置项b_c、w_i,j对应的偏置项b_f；公式(14)中的ω_old表示更新前的参数值、ω_new表示更新后的参数值。

如图2所示为本发明的神经网络结构，包括：六个卷积层、三个池化层、三个全连接层以及两个dropout层；以下包含具体参数的神经网络结构可以实现良好的HDR图像的来源取证效果：

1)第一层：卷积层，卷积核大小为3*3，卷积核数目为64，卷积核移动步长为1，激活函数为ReLU函数；

2)第二层：卷积层，卷积核大小为3*3，卷积核数目为64，卷积核移动步长为1，激活函数为ReLU函数；

3)第三层：池化层，使用最大池化方法，池化窗大小为2*2，移动步长为2；

4)第四层：卷积层，卷积核大小为3*3，卷积核数目为128，卷积核移动步长为1，激活函数为ReLU函数；

5)第五层：卷积层，卷积核大小为3*3，卷积核数目为128，卷积核移动步长为1，激活函数为ReLU函数；

6)第六层：池化层，使用最大池化方法，池化窗大小为2*2，移动步长为2；

7)第七层：卷积层，卷积核大小为3*3，卷积核数目为256，卷积核移动步长为1，激活函数为ReLU函数；

8)第八层：卷积层，卷积核大小为3*3，卷积核数目为256，卷积核移动步长为1，激活函数为ReLU函数；

9)第九层：池化层，使用最大池化方法，池化窗大小为2*2，移动步长为2；

10)第十层：全连接层，输出特征数512；

11)第十一层：dropout层，dropout率为0.5；

12)第十二层：全连接层，输出特征数为512；

13)第十三层：dropout层，dropout率为0.5；

14)第十四层：全连接层，输出特征数为2；

本领域的技术人员应知，图2中的conv用于表示卷积层，pool用于表示池化层，FC用于表示全连接层。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (10)

1.基于神经网络框架的高动态范围图像取证方法，其特征在于，包括：

S1、HDR数据集建立；所述HDR数据集包括sHDR和pHDR图像；

S2、对步骤S1建立的HDR数据集进行预处理；

S3、构建卷进神经网络；所述卷积神经网络包括：六个卷积层、三个池化层、三个全连接层以及两个dropout层，所述六个卷积层记为：第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层以及第六卷积层；所述三个池化层记为：第一池化层、第二池化层以及第三池化层；三个全连接层记为：第一全连接层、第二全连接层以及第三全连接层；两个dropout层记为：第一dropout层与第二dropout层；

所述第一卷积层的输入为该卷积神经网络的输入，第一卷积层的输出作为第二卷积层的输入，第二卷积层的输出作为第一池化层的输入，第一池化层的输出作为第三卷积层的输入，第三卷积层的输出作为第四卷积层的输入，第四卷积层的输出作为第二池化层的输入，第二池化层的输出作为第五卷积层的输入，第五卷积层的输出作为第六卷积层的输入，第六卷基层的输出作为第三池化层的输入，第三池化层的输出作为第一全连接层的输入，第一全连接层的输出作为第一dropout层的输入，第一dropout层的输出作为第二全连接层的输入，第二全连接层的输出作为第二dropout层的输入，第二dropout层的输出作为第三全连接层的输入，第三全连接层的输出作为该神经网络的输出；

S4、将步骤S2处理后的HDR数据集输入该卷积神经网络中进行训练，得到训练后的神经网络。

2.根据权利要求1所述的基于神经网络框架的高动态范围图像取证方法，其特征在于，步骤S3所述六个卷积层中各卷积层的卷积操作计算式为：

其中，N_c为卷积层所对应的卷积核大小，w_i表示卷积层中各卷积核的参数值，x_i为卷积层的输入，b_c为w_i对应的偏置项。

3.根据权利要求2所述的基于神经网络框架的高动态范围图像取证方法，其特征在于，所述各卷积层的激活函数为ReLU函数。

4.根据权利要求3所述的基于神经网络框架的高动态范围图像取证方法，其特征在于，步骤S3所述三个池化层中各池化层的计算式为：

其中，N_f表示池化层对应的池化核的大小。

5.根据权利要求1所述的基于神经网络框架的高动态范围图像取证方法，其特征在于，步骤S3所述三个全连接层中各全连接层的计算式为：

其中，M表示输入该全连接层的所有神经元个数，x_j为全连接层的输入，w_i,j表示第i个全连接层对应第j个输入值的权重，b_f为全连接层第i个神经元对应的偏置项。

6.根据权利要求4所述的基于神经网络框架的高动态范围图像取证方法，其特征在于，第一全连接层与第二全连接层使用ReLU函数作为激活函数；第三个全连接层使用softmax函数作为激活函数：

其中，K表示softmax的输入总个数。

7.根据权利要求1所述的基于神经网络框架的高动态范围图像取证方法，其特征在于，步骤S4所述将步骤S2处理后的HDR数据集输入该卷积神经网络中进行训练，具体为：

通过计算损失函数对卷积神经网络参数的梯度来更新卷积神经网络的梯度；

其中：

E表示损失，y表示输出，m表示输入经前向传播得到的中间变量；

根据卷积神经网络的梯度，卷积神经网络以带动量的小批梯度下降法更新卷积层神经网络参数；

ω_new＝ω_old+(ω_old*μ-λ*Δω)；

其中，μ为动量参数，λ为学习率。

8.根据权利要求1所述的基于神经网络框架的高动态范围图像取证方法，其特征在于，步骤S1所述的pHDR图像获取途径包括：Debevec、Nayar、Fairchild、Mantiuk提出的经典合成算法；

sHDR图像的获取途径包括以下四种：

第一种为以全局拓展的方式，直接将LDR图像的亮度值映射到高动态范围：

其中，L_L表示LDR图像的亮度值，L_H表示HDR图像的亮度值，L_min表示输入LDR图像亮度值的最小值，L_max表示输入LDR图像亮度值的最大值，k表示HDR图像显示设备的输入最大光强度，γ表示动态范围的映射方式；

第二种为对人眼视觉模型建模模拟人眼成像的过程：

其中，L_L表示LDR图像的亮度值，L_H表示HDR图像的亮度值，L_max,L为LDR图像亮度值的最大值，L_s,H表示HDR图像每个像素的周围亮度值，σ是引起视觉响应最大值一半的亮度值，n则表示敏感参数；

第三种为：首先对LDR图像进行双边滤波来去除噪声，去除噪声后的图像经过反gamma映射得到预处理图像，将预处理图像带入亮度增强函数即可得到HDR图像；

第四种为：一种场景自适应的反色调映射算子；具体为：

训练一个分类器来分类输入图像类型，使用支持向量机将图像场景分类为“明亮”、“适中”和“昏暗”三种；

对不同类型的图像场景，使用不同参数的反色调映射算子参数L_max，算子定义为：

其中，p为常数，p通常取30；L_max在“明亮”、“适中”和“昏暗”三种图像场景类型下分别取10⁶、10³和10¹。

9.根据权利要求1所述的基于神经网络框架的高动态范围图像取证方法，其特征在于，步骤S2所述预处理，具体为：

S21、将步骤S1数据集中的图像缩放至统一大小；

S22、将经步骤S21处理的每张图像裁剪成68*68的非覆盖图像块；

S23、采用图像亮度值来代替图像像素值；

S24、将各图像的亮度值转换到对数域。

10.根据权利要求9所述的基于神经网络框架的高动态范围图像取证方法，其特征在于，步骤S23具体为：采用图像的单亮度通道代替原RGB图像，计算式为：

L＝0.2126R+0.7152G+0.0722B。