CN108710893A - 一种基于特征融合的数字图像相机源模型分类方法 - Google Patents

Abstract

本发明提供一种基于特征融合的数字图像相机源模型分类方法，该方法基于深度卷积神经网络CNN，设计了一种针对相机源模型的定制化神经网络结构，主要包括：采用图像隐写分析人工特征集中的30个基本滤波器初始化CNN网络第一层，以生成具有显著表征能力的残差特征图；在训练样本图像较少的情况下，通过将样本图像随机分块来扩充数据量，并训练CNN作为分块图像的特征表达；对待分类图像对应分块图像的CNN特征按位置、亮度、纹理复杂度进行特征融合，并以支持向量机进行分类判决。本发明基于深度卷积网络和多位置特征融合，通过对样本图像全局、位置、亮度和纹理信息的综合利用，有效提升了相机模型分类准确度。

Description

一种基于特征融合的数字图像相机源模型分类方法

技术领域

本发明涉及图像取证领域，更具体的，涉及一种基于特征融合的数字图像相机源模型分类方法。

背景技术

卷积神经网络(CNN)是一种常见的深度学习架构，受生物自然视觉认知机制启发而来。CNN能够得出原始图像的有效表征，这使得CNN能够直接从原始像素中，经过极少的预处理，识别视觉上面的规律。然而，由于当时缺乏大规模训练数据，计算机的计算能力也跟不上，浅层CNN对于复杂问题的处理结果并不理想。2006年起，人们设计了很多方法，想要克服难以训练深度CNN的困难。其中，最著名的是Krizhevsky et al.提出了一个经典的CNN结构AlexNet，并在图像识别任务上取得了重大突破。AlexNet取得成功后，研究人员又提出了其他的完善方法，其中最著名的要数ZFNet,VGGNet,GoogleNet和ResNet这四种。从结构看，CNN发展的一个方向就是层数变得更多，通过增加深度，网络便能够利用增加的非线性得出目标函数的近似结构，同时得出更好的特性表征。

因为卷积神经网络的可迁移性，许多用于图像识别任务的网络都被运用到各大领域中，并取得不俗的效果。对于图像取证领域，利用卷积神经网络代替传统的手工特征和简单机器学习分类的做法已经不新鲜。在相机源识别方面，传统方法主要靠提取图像的特征组成特征向量来定义一个相机模型或设备，比如Kharrazi等人提出通过提取数字图像的IQM(Image Quality Metrics)，Gloe等人在Kharrazi的特征基础上加上不同颜色通道的像素均值之间的依赖关系作为扩展后的特征，Guanshuo Xu等人提出的LBP(Local binaryPattern)算子用于提取图像的特征。提取这些特征的过程中人为地丢弃了大量的图像信息，使得这些特征并不能完整地代表相机源的信息，因此这些人工特征的识别率有限。因此，LucaBondi等人将卷积神经网络应用到相机源识别领域，利用卷积神经网络强大的表达能力，跳过人工提取特征的阶段，直接将原始图像中关于相机源的有效高维特征提取出来，实现了比人工特征更高的分类准确度。

为了训练一个有效的CNN，必须获取大量训练图片，上述方法为了解决训练集中每个型号的照片数量过少的问题，为了扩充数据集，对图像切块后输入CNN中进行分类后，对一张大图中所有图像块的分类结果进行投票决策，得票最多的类别作为分类的最终类别。这种投票决策的方法对于所有小块的分类结果给予同等的信赖程度，但是实际上由于图像亮度、纹理的影响，某些小块的分类结果并不可信，投票决策方法会提高误判率。

发明内容

本发明为克服上述现有技术在对相机源模型分类过程中，由于图像亮度、纹理的影响使得某些小块的分类结果并不可信，从而降低分类的准确率的技术缺陷，提供一种基于特征融合的数字图像相机源模型分类方法。

为解决上述技术问题，本发明的技术方案如下：

一种基于特征融合的数字图像相机源模型分类方法，包括以下步骤：

S1：对训练集和验证集中的大图进行随机分块，生成的小块标签与大图标签一致；

S2：用训练集小块训练CNN作为分块图像的特征表达，选取在验证集上平均分类准确率最高的模型作为CNN特征提取器；

S3：再次对训练集和验证集的大图进行切块，每个小块按照其亮度、纹理复杂度计算其可信度，形成可信度矩阵并且记住每个小块在大图中的位置；

S4：将训练集和验证集中每张大图的小块输入到CNN特征提取器中得到分类图像对应分块图像的CNN特征，按照小块在大图中的位置以及小块的可信度进行特征融合，得到训练集和验证集融合后的特征；

S5：用训练集和验证集融合后的特征训练SVM，即支持向量机作为分类器，判断分类器在验证集的平均分类准确度是否不再上升，如果分类器的准确率持续提高，则继续训练；如果分类器的准确度不再提高，则结束训练；

S6：将目标图片通过CNN特征提取器提取特征，特征融合后导入分类器中，进行分类。

其中，步骤S2中所述的CNN特征提取器的第一个卷积层由30个5x5的卷积核构成，使用rich model，即图像隐写分析人工特征集进行初始化。

其中，步骤S3中所述的可信度矩阵，其构建方式如下：

S31：根据图像小块的亮度、纹理复杂度，通过亮度函数和纹理复杂度函数分别计算，得到亮度系数和纹理复杂度；

S32：将得到的亮度系数和纹理复杂度按照一定比例相加得到该小块的可信度；

S33：将得到的小块可信度按照其在大图中的位置组成可信度矩阵。

其中，步骤S5中所述的SVM的训练方法为：把融合特征拉成一维特征并进行归一化每张大图对应一个一维特征，则训练集所有图片的融合特征组成特征矩阵，所有类别两两之间训练为SVM分类器。

其中，步骤S4中所述的特征融合，包括以下步骤：

S41：对待分类图像对应分块图像的CNN特征沿着频道数的维度进行平均，得到维度平均后的特征；

S42：将平均后的特征进行池化，得到一个降维后的特征；

S43：将降维后的特征按照小块在大图中的坐标拼接到原位，形成一个由小块特征拼接成的大特征图；

S44：将得到的大特征图与所述可信度矩阵逐元素相乘，得到融合后的特征。

其中，所述亮度系数的计算公式为：

其中，对于长宽为n的小块而言，所述x_i,j为小块坐标(x,y)的像素值，x_best为最适合相机源识别时的像素值，一般为225～230之间；

所述纹理复杂度计算的计算公式为：

其中，所述x_i,j为小块坐标(x,y)的像素值，是小块内所有像素的平均值；

可信度计算公式为：

F_reliable＝(1-α)F_intensity+αF_texture

其中α取0.5。

与现有技术相比，本发明技术方案的有益效果是：

本发明提供的一种基于特征融合的数字图像相机源模型分类方法，充分考虑了每个小块的纹理、亮度等信息对相机源模型识别准确度的影响，在进行特征融合的过程中利用可信度矩阵对小块的特征进行筛选，再根据小块的位置拼接特征，融合成一个包含全图信息的新特征，再输入SVM进行训练，削弱了个别小块结果对全局判决的不利影响，从而提高整图相机源模型识别准确度。

附图说明

图1为基于特征融合的数字图像相机源模型分类方法流程图。

图2为本发明中定制化网络中的CNN特征提取器的结构示意图。

图3为本发明中CNN特征提取器的首层卷积核参数图。

图4为本发明中定制化网络的使用过程示意图。

图5为本发明中定制化网络与其他相机源识别方法的识别率对比示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

如图1所示，一种基于特征融合的数字图像相机源模型分类方法，包括以下步骤：

S1：对训练集和验证集中的大图进行随机分块，生成的小块标签与大图标签一致；

S2：用训练集小块训练CNN作为分块图像的特征表达，选取在验证集上平均分类准确率最高的模型作为CNN特征提取器；

S3：再次对训练集和验证集的大图进行切块，每个小块按照其亮度、纹理复杂度计算其可信度，形成可信度矩阵并且记住每个小块在大图中的位置；

S4：将训练集和验证集中每张大图的小块输入到CNN特征提取器中得到分类图像对应分块图像的CNN特征，按照小块在大图中的位置以及小块的可信度进行特征融合，得到训练集和验证集融合后的特征；

S5：用训练集和验证集融合后的特征训练SVM，即支持向量机作为分类器，判断分类器在验证集的平均分类准确度是否不再上升，如果分类器的准确率持续提高，则继续训练；如果分类器的准确度不再提高，则结束训练；

S6：将目标图片通过CNN特征提取器提取特征，特征融合后导入分类器中，进行分类。

更具体的，步骤S2中所述的CNN特征提取器的第一个卷积层由30个5x5的卷积核构成，使用rich model，即图像隐写分析人工特征集进行初始化。

更具体的，步骤S3中所述的可信度矩阵，其构建方式如下：

S31：根据图像小块的亮度、纹理复杂度，通过亮度函数和纹理复杂度函数分别计算，得到亮度系数和纹理复杂度；

S32：将得到的亮度系数和纹理复杂度按照一定比例相加得到该小块的可信度；

S33：将得到的小块可信度按照其在大图中的位置组成可信度矩阵。

更具体的，步骤S5中所述的SVM的训练方法为：把融合特征拉成一维特征并进行归一化每张大图对应一个一维特征，则训练集所有图片的融合特征组成特征矩阵，所有类别两两之间训练为SVM分类器。

更具体的，步骤S4中所述的特征融合，包括以下步骤：

S41：对待分类图像对应分块图像的CNN特征沿着频道数的维度进行平均，得到维度平均后的特征；

S42：将平均后的特征进行池化，得到一个降维后的特征；

S43：将降维后的特征按照小块在大图中的坐标拼接到原位，形成一个由小块特征拼接成的大特征图；

S44：将得到的大特征图与所述可信度矩阵逐元素相乘，得到融合后的特征。

更具体的，所述亮度系数的计算公式为：

其中，对于长宽为n的小块而言，所述x_i,j为小块坐标(x,y)的像素值，x_best为最适合相机源识别时的像素值，一般为225～230之间；

所述纹理复杂度计算的计算公式为：

其中，所述x_i,j为小块坐标(x,y)的像素值，是小块内所有像素的平均值；

可信度计算公式为：

F_reliable＝(1-α)F_intensity+αF_texture

其中α取0.5。

在具体实施过程中，数据来源于数据图像库DresdenImageDatabase中的10类相机源模型的图像，由于分类目标是相机源模型，每个模型的图片可能来自不同设备，为了学习到相机源模型的信息而不是学习到设备的信息，我们将每一个模型的某一台设备所拍摄的图像作为测试集，剩下的设备所拍摄的图像作为训练集。对训练集，划分出1/5的图像作为训练过程中的验证集。然后将数据集中的所有图像中心截取512x512大小的图，然后对512x512的图不重叠地切成64x64的小块，那么每张图就有8x8个小块，每个小块的标签和大图的标签一致。

在具体实施过程中，如图2所示，定制化网络中的CNN特征提取器的结构，在机器学习平台tensorflow搭建所示网络结构。在tensorflow中网络结构一般是以定义流图的方式搭建的，流图包括两部分。首先定义CNN特征提取器的结构，特征提取器的输入是固定大小的一批图像，在流图中用占位符表示，特征提取器的结构由4个卷积核数目不同的VGG块构成，每个块内的卷积核数目相同，卷积核大小都是3*3。第二部分是两个全连接层和一个softmax_loss层，第一个全连接层的输出单元数为512，第二个全连接层的输出单元数等于相机源模型的种类数。

在具体实施过程中，网络结构搭建好后，将准备好的训练集数据传入网络中进行训练，采用初始学习率为0.01的SGD(随机梯度下降)算法对网络进行优化。每优化一个epoch，对验证集的数据传入网络中进行前向传递，计算验证集的分类准确度。每优化10个epoch就对当前学习率进行减半操作。优化400个epoch之后停止训练，选择在验证集上取得最高分类准确度的CNN模型作为最终的CNN特征提取器。

在具体实施过程中，CNN特征提取器的首层卷积核参数由rich model(图像隐写分析人工特征集)进行初始化，rich model是由30个5*5的矩阵构成的。

在具体实施过程中，特征提取和特征融合步骤为：对训练集、验证集和测试集中的每一个64x64小块，记录它们在512x512的大图中的位置。对于同一张大图的小块，结合每一块的亮度、纹理等信息计算出该小块的可信度，并且按照每一块的位置拼接为一个8x8的可信度矩阵；将同一张大图的所有小块作为一个batch输入到CNN特征提取器中，并且将最后一个卷积层的输出作为这个batch的小块的特征。假如batch_size为24，一个batch的小块的特征的大小是8x8x256x64，首先沿着256的维度求平均得到8x8的特征，对8x8的特征再进行stride为2的最大值池化，最后得到一个4x4x64的特征。将这个batch所有4x4的特征放在对应输入小块在大图的坐标上，拼接得到一个32x32的大图特征。对应的可信度矩阵的每个元素都扩展为一个4x4的包含相同元素的矩阵，那么最后可信度矩阵膨胀为32x32的大小，将大图特征和可信度矩阵逐元素相乘作为最后的大图特征，最后得到的大图特征为32x32大小。

在具体实施过程中，将获得的32x32的特征拉成一个512的向量并且归一化作为训练SVM的输入。对于N种类别的分类，每两个类别间需要训练一个SVM分类器，总共需要训练个SVM分类器。使用libsvm工具在matlab上进行svm分类，将训练集的特征及类别保存为dat格式作为SVM的输入，采用RBF核函数，用网格参数寻优函数寻找最优的惩罚参数c和核函数参数g，将这些最优参数训练一个SVM分类器的model，作为最后的SVM分类器；使用了图像取证领域的richmodel(图像隐写分析人工特征集)中的30个基本滤波器对CNN的第一层进行了初始化，生成具有显著表征能力的残差特征图，并且在进行特征融合的过程中充分考虑了每个小块的纹理、亮度等信息对相机源模型识别准确度的影响，利用可信度矩阵对小块的特征进行筛选，根据小块的位置拼接特征，融合成一个包含全图信息的新特征，再输入SVM进行训练，削弱了个别小块结果对全局判决的不利影响，提高了整图相机源模型识别准确度。

在具体实施过程中，如图4所示，训练好的定制化网络包括已训练的CNN特征提取器以及已训练的SVM分类器两部分，其使用过程为：待测图片同一截取中心512x512的部分，再把512x512的大图裁剪为64x64的图像块，输入到已训练的CNN特征提取器，取CNN特征提取器最后一个卷积层的输出作为待测图像块的特征；计算每个图像块的可信度，每个图像块的特征逐元素乘上可信度，并且按照位置进行拼接得到待测图像的特征；将所有待测图片的最终特征拉成一维向量，输入对应类别的已训练的SVM分类器，得到分类结果。对所有SVM分类器的分类结果进行投票，得票最高者为最后的分类结果；对10类不同相机源模型识别的准确率进行平均，得到平均分类准确率。

在具体实施过程中，为了比较出算法的性能，需要对训练得到的CNN特征提取器和SVM分类器进行测试，具体过程为：采用相同的相机源模型图片数据集，并利用包含本方法在内的多种不同的相机源模型分类方法进行分类。假设将每张图片从中心切割得到128,256,512，1024大小的图片作为待测图，对每张待测图切成64的小块对本专利提出的分类器进行测试，其中x_best＝230。对于非CNN的方法则用待测图直接进行特征提取和分类。对所有方法的分类准确率按照类别数目进行平均得到平均分类准确度。

在具体实施过程中，如图5所示，当大图分辨率为128,256时，CNN和FF-CNN方法的平均分类准确度比Kharazzi,Gloe,LBP三种手工特征的方法都要好，说明卷积神经网络对低分辨率的图像的相机源模型识别有更好的表现。而在大图分辨率为512,1024时，FF-CNN方法的平均分类准确度都比CNN的平均分类准确度略高，比Kharazzi,Gloe两种手工方法的平均分类准确度高很多，比LBP方法的平均分类准确度略低。总体看来，FF-CNN有低分辨率下平均分类准确度高，在高分辨率下英俊分类准确度能和LBP方法保持较少差距的特点，相比于CNN方法性能有所提高。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (6)

1.一种基于特征融合的数字图像相机源模型分类方法，其特征在于：包括以下步骤：

S1：对训练集和验证集中的大图进行随机分块，生成的小块标签与大图标签一致；

S2：用训练集小块训练CNN作为分块图像的特征表达，选取在验证集上平均分类准确率最高的模型作为CNN特征提取器；

S3：再次对训练集和验证集的大图进行切块，每个小块按照其亮度、纹理复杂度计算其可信度，形成可信度矩阵并且记住每个小块在大图中的位置；

S4：将训练集和验证集中每张大图的小块输入到CNN特征提取器中得到分类图像对应分块图像的CNN特征，按照小块在大图中的位置以及小块的可信度进行特征融合，得到训练集和验证集融合后的特征；

S5：用训练集和验证集融合后的特征训练SVM，即支持向量机作为分类器，判断分类器在验证集的平均分类准确度是否不再上升，如果分类器的准确率持续提高，则继续训练；如果分类器的准确度不再提高，则结束训练，得到分类器；

S6：将目标图片通过CNN特征提取器提取特征，特征融合后导入分类器中，进行分类。

2.根据权利要求1所述的一种基于特征融合的数字图像相机源模型分类方法，其特征在于：步骤S2中所述的CNN特征提取器的第一个卷积层由30个5x5的卷积核构成，使用richmodel，即图像隐写分析人工特征集进行初始化。

3.根据权利要求1所述的一种基于特征融合的数字图像相机源模型分类方法，其特征在于：步骤S3中所述的可信度矩阵，其构建方式如下：

S31：根据图像小块的亮度、纹理复杂度，通过亮度函数和纹理复杂度函数分别计算，得到亮度系数和纹理复杂度；

S32：将得到的亮度系数和纹理复杂度按照一定比例相加得到该小块的可信度；

S33：将得到的小块可信度按照其在大图中的位置组成可信度矩阵。

4.根据权利要求1所述的一种基于特征融合的数字图像相机源模型分类方法，其特征在于：步骤S5中所述的SVM的训练方法为：把融合特征拉成一维特征并进行归一化每张大图对应一个一维特征，则训练集所有图片的融合特征组成特征矩阵，所有类别两两之间训练为SVM分类器。

5.根据权利要求3所述的一种基于特征融合的数字图像相机源模型分类方法，其特征在于：步骤S4中所述的特征融合，包括以下步骤：

S41：对待分类图像对应分块图像的CNN特征沿着频道数的维度进行平均，得到维度平均后的特征；

S42：将平均后的特征进行池化，得到一个降维后的特征；

S43：将降维后的特征按照小块在大图中的坐标拼接到原位，形成一个由小块特征拼接成的大特征图；

S44：将得到的大特征图与所述可信度矩阵逐元素相乘，得到融合后的特征。

6.根据权利要求3所述的一种基于特征融合的数字图像相机源模型分类方法，其特征在于：所述亮度系数的计算公式为：

其中，对于长宽为n的小块而言，所述x_i,j为小块坐标(x,y)的像素值，x_best为最适合相机源识别时的像素值，一般为225～230之间；

所述纹理复杂度计算的计算公式为：

其中，所述x_i,j为小块坐标(x,y)的像素值，是小块内所有像素的平均值；

可信度计算公式为：

F_reliable＝(1-α)F_intensity+αF_texture

其中α取0.5。