CN110188828A - 一种基于虚拟样本集成学习的图像来源鉴别方法 - Google Patents

Abstract

一种基于虚拟样本集成学习的图像来源鉴别方法，属于计算机图像处理技术领域。技术方案步骤如下：提取训练样本LBP特征，计算每类样本中LBP特征每一维的扩散范围，在扩散范围内按均匀分布随机生成多组虚拟样本，将原始训练样本分别加入多组虚拟样本中并训练多个基分类器，基于集成学习思想得到最终的强分类器，对测试样本分类得到来源鉴别准确率。有益效果是:本发明所述的基于虚拟样本集成学习的图像来源鉴别方法用有效的虚拟样本增加训练样本的数量，并用集成学习的思想对分类结果进行整合，从而提升了训练样本不足情况下的相机型号来源鉴别准确率。

Description

一种基于虚拟样本集成学习的图像来源鉴别方法

技术领域

本发明属于计算机图像处理技术领域，尤其涉及一种基于虚拟样本集成学习的图像来源鉴别方法。

背景技术

近年以来，随着网络的发展和科技的进步，快速的网络和便捷的智能设备使得人们可以及时地获取所需的数字图像信息，这给生活带来了许多的便利。其中各种数字图像编辑的软件工具如Photoshop、天天p图等风靡一时，这些软件不仅操作相对简单，且其对数字图像的修改痕迹也很难被发现。也正因如此，数字图像作为互联网社会中信息传递的重要载体，其真实性和完整性越来越受到人们的关注。数字图像的来源鉴别是数字图像取证领域十分重要的方向，由于不同的手机或相机拍摄的图像总会存在其特有的痕迹，数字图像的来源鉴别就是根据这种痕迹对数字图像进行分类，找到其来源设备。

由于透镜在制作和组装过程中会存在磨损偏差而引入畸变，Choi等人提出将透镜径向畸变作为识别源相机的指纹。径向畸变使输出图像上的直线呈现为曲线，当横向放大率MT(图像距离与物体距离之比)不是一个常数时，就会发生径向畸变。不同的制造商采用不同的透镜系统设计来完成透镜焦距对径向畸变的影响程度。因此，每个型号相机的径向畸变模式都会不同。以此作为图像的特征并对3种不同的相机型号进行实验，平均分类精度约为91.46％。Lukas等人中提出了一种基于传感器模式噪声(光响应非均匀性噪声,PRUN)的图像来源鉴别方法。像素不均匀性是模式噪声的主要来源，不同的像素由于传感器制造过程中的缺陷而具有不同的光灵敏度，这使得模式噪声成为能够识别不同型号相机的传感器的图像特征。在此基础上，Lukas等人采用基于小波的去噪算法对图像进行去噪，得到的噪声残差包含所需的噪声分量和来自图像本身的信息。因此，为了进一步增强噪声模式并抑制来自图像的随机信息，将从多个图像获得的噪声残差进行平均，以估计相机的噪声模式。同时为了识别给定图像的来源，将图像的噪声残差与从相机中提取的参考噪声模式相关联，并将测量的相关统计数据与预先确定的决策阈值进行比较，做出决策。Chen C等人提出了一种新的相机型号来源鉴别方法，该方法计算了图像和不同插值算法之间的插值误差。其构建的每个子模型都是由插值误差的结构化联合分布组成的(以共现矩阵表示)。每个子模型都可以捕捉到相机中插值算法的部分信息。然后将所有子模型组合在一起，并将其输入到一个集成分类器中。

统计特征也经常被用于相机型号的来源识别中。Xu G等人用均匀灰度不变局部二值模式(LBP)作为统计特征，分别从R、G通道的空间域、相应的预测误差图像以及每幅图像的一级小波子带中提取共3组59个局部二值模式]。Xu B等人在HSV颜色空间中从原始图像、残差噪声图像和残差噪声图像的轮廓变换系数中提取LBP特征，接着从原始图像和残差噪声图像中提取LPQ特征。然后将LBP和LPQ结合起来作为图像最终的特征，并将其送入SVM分类器进行来源识别，实验结果表明，该方法具有良好的来源鉴别准确率和鲁棒性。Wang B等人提出了一种有效的方法，从被测图像中提取216维的高阶小波特征和135维的小波系数，并采用序贯前向特征选择(SFFS)方法来减少冗余度和相关性，最后利用支持向量机(SVM)判别数字图像的相机来源。实验证明，用支持向量机(SVM)对的图像来源鉴别的准确率达到98％。

在以往的研究中，已经有大量的方法在相机型号来源取证方向取得了很好的效果，然而仍然存在着一定的局限性，大部分研究方法能得到较高的准确很大程度上依赖于足够的先验信息，也就是大量有标签的训练样本。当训练样本数量有限时，摄像机源识别精度急剧下降。例如，KHARRAZI M等人为每个相机品牌使用了150个带标签的图像作为训练样本；此外，在每种相机型号至少405个贴有标签的训练样本的情况下，TONG Q等人方法中的识别准确率已经达到非常高的水平，但当训练样本数量减少时，来源鉴别准确率的精度会降低。实际上，对于一些现实的情况比如司法取证中，很难获得足够多的有标签样本，而赋予样本标签费时费力。如何在有标签训练样本样本不足的情况下保持较高的来源识别准确率是一个不可避免的问题，也是本发明的研究重点。

发明内容

为了提高在训练样本不足情况下的相机型号来源鉴别的准确率，本发明提出一种基于虚拟样本集成学习的图像来源鉴别方法，该方法用有效的虚拟样本增加训练样本的数量，并用集成学习的思想对分类结果进行整合，从而提升了训练样本不足情况下的相机型号来源鉴别准确率。

技术方案如下：

一种基于虚拟样本集成学习的图像来源鉴别方法，步骤如下：

S1、提取训练样本LBP特征；

S2、计算每类样本中LBP特征每一维的扩散范围；

S3、在扩散范围内按均匀分布随机生成多组虚拟样本；

S4、集成学习，对虚拟样本分类结果进行整合。

进一步的，步骤S1-S3具体步骤如下：

T1、提取训练集中所有的训练样本和测试样本的LBP特征，

得到:

训练特征样本集：为样本所属的类别，n为每类训练样本数，为维度为256的行向量；

测试样本集：为样本所属的类别，n为每类测试样本数，为维度为256的行向量；

对每类训练样本，计算其每一维的数据中心：

其中，n代表样本个数,CL代表每类训练样本的LBP特征每一维的中间值；

T2、计算同一类样本中每一维度间的相关性TSA：

式(2)中，g(k)_i，j表示同一类别中样本的特征中两个维度间的相似趋势，若g(k)_i，j＝1，则表示i和j两个维度间的相似趋势极高，即都在中心点CL的同侧；S_i，j表示样本特征不同维度间的相似性，k表示同一类中的第k个样本，i和j分别代表每类训练样本的LBP特征的不同维度；

T3、分别计算每类样本中各维度的欧几里得距离代替样本标准差：

式(4)中取u＝2，i为样本特征的维度；

T4、计算扩散后每类样本中各维度边界的式子为：、

其中表示同类样本LBP特征每一维中小于数据中心值CL的值的平均欧几里得距离，表示同类样本LBP特征每一维中大于数据中心值CL的值的平均欧几里得距离，

T5、在确定虚拟样本生成范围后，在此范围内基于均匀分布生成值tv；

T6、计算值tv的三角形隶属度函数值MF(tv)，在[0,1]上按照均匀分布随机的生成值r；

T7、若r<MF(tv)，则tv可以作为合适的虚拟样本V保留下来，生成的虚拟样本V与相应的原始训练样本共享一个类别标签；

T8、重复步骤T5-T7，直到生成足够的虚拟样本，并将保留下来的虚拟样本集加入原始小样本训练集形成新的训练样本。

进一步的，步骤S4具体步骤如下：

U1、生成多组虚拟样本V_i，i＝1，…，T，其中T表示虚拟样本组数；

U2、将各组虚拟样本中分别加入原始小样本训练集形成T组新的训练样本；

U3、用这T组训练样本训练出T个基分类器，用这T个基分类器分别对测试样本集进行分类，对于每个测试样本会得到T个伪标签；

U4、对测试样本集中每个测试样本的T个伪标签，用相对多数投票表决法确定测试样本最终的伪标签，伪标签和测试样本的真实标签相同的样本数目与测试样本总数的比值即为来源鉴别准确率。

本发明的有益效果是：

本发明所述的基于虚拟样本集成学习的图像来源鉴别方法用有效的虚拟样本增加训练样本的数量，并用集成学习的思想对分类结果进行整合，从而提升了训练样本不足情况下的相机型号来源鉴别准确率。

附图说明

图1是MTD方法生成虚拟样本流程图；

图2是基于集成学习的虚拟样本生成方法框架示意图；

具体实施方式

下面结合附图1-2对基于虚拟样本集成学习的图像来源鉴别方法做进一步说明。

实施例1

本申请针对字图像相机型号来源鉴别方法在有标签训练样本数不足的条件下，鉴别准确率急剧下降的现状，提出了一种基于虚拟样本集成学习的解决方法。该方法首先基于趋势扩散理论(MTD方法)求出样本扩散之后的范围，然后在此范围内按照均匀分布随机生成多组虚拟样本。接着用这多组虚拟样本和原始训练样本一起训练集成分类器，最后对测试样本分类结果进行投票表决得到最终的来源鉴别结果。

具体方案如下：

1.一种基于虚拟样本集成学习的来源鉴别方法概述

基于虚拟样本集成学习的来源鉴别方法，首先提取训练样本(有标签)的LBP特征，并估计每一类样本的LBP特征每一维的趋势扩散范围；接着在此范围内按照均匀分布随机的生成多组一定数量的虚拟样本，利用三角形隶属度函数(MF)估计虚拟样本生成的可能性，将可能性高的虚拟样本保留下来。然后将原始训练样本和多组虚拟样本训练多个SVM弱分类器，将这些弱分类器集成为最终的分类器，对测试样本进行分类，用投票表决的方法决定最终的分类结果。

2.生成虚拟样本

利用训练样本的先验信息生成一定数目的虚拟样本，从而扩充原始训练样本，使其数目充足，其中虚拟样本生成方法应用的是基于样本间相关性的MTD方法,具体过程如下：

Der-Chiang Li等人在^[1]中计算虚拟样本的生成范围时，加入了相关性的考量。首先对样本分布进行了估计，通过下式计算样本的数据中心：

其中，n代表样本个数。因为计算相关系数需要得到样本均值，当样本中存在异常值时，均值易收到影响。基于这一点，用样本的中值即式(3.6)代替均值，且中值相对均值能更好的体现数据相对于数据中心的偏离情况。考虑到计算相关性需要用到样本均值，而在数据较少的情况下计算得出的均值与数据总体相差较大，因此用TSA(trend similaritybetween attributes)替代相关性：

式(2)中，g(k)_i，j表示同一类别中样本的特征中两个维度间的相似趋势，若g(k)_i，j＝1则表示i和j两个属性维度间的相似趋势极高，即都在中心点CL的同侧。S_i，j表示样本特征不同维度间的相似性，k表示同一类中的第k个样本。样本标准差可以衡量样本的分散程度，然而计算标准差过程中需要计算均值，因此用欧几里得距离代替样本标准差：

式(4)中取u＝2，i为样本特征的维度。最终计算扩散后样本边界的式子为：

其中表示小于数据中心值的样本特征相应维度的平均欧几里得距离，表示大于数据中心值的样本特征相应维度的平均欧几里得距离， 在确定虚拟样本生成范围后，在此范围内基于均匀分布生成虚拟样本值tv，并利用其三角形隶属度函数值MF式(6)和在[0,1]上服从均匀分布的随机数r判断虚拟样本的可行性。重复多次直达生成足够的虚拟样本，生成的虚拟样本与相应的原始样本共享一个类别标签。最后将保留下来的虚拟样本集加入小样本集形成新的训练样本。

其流程图如图1所示。

3.集成学习

在虚拟样本生成的基础上引入集成学习中Bagging方法的思想。集成学习的基本思想就是把通过训练得到的多个基学习器组合在一起，并对学习结果进行综合判断。虽然MTD方法中采取了三角形隶属度函数值对虚拟样本的可能性做了初步的判断，但是生成的虚拟样本随机性过强，导致生成的虚拟样本未必会很好的符合原始样本的分布，从而对最终的分类结果产生影响。集成学习可以对分类结果进行综合分析，且对提升学习算法的稳定十分有效。在生成多组虚拟样本之后，将这几组虚拟样本加入原始训练样本中形成多组新的训练样本，并分别训练基分类器。最后对多个基分类器的结果用集成学习的思想进行整合，得到最终的强分类器，用相对多数投票表决法确定测试样本的最终标签并计算分类准确率，框图如图2所示。

[1]LI D C,LIN W K,CHEN C C,et al.Rebuilding sample distributions forsmall dataset learning[J].Decision Support Systems,2018,105:66-76.

实施例2

步骤一：对少量训练集生成虚拟样本，增加训练样本数量

1)首先提取训练集中所有的训练样本和测试样本的LBP特征(常用的来源鉴别特征)，得到训练特征样本集：为样本所属的类别，n为每类训练样本数，为维度为256的行向量。测试样本集 为样本所属的类别，n为每类测试样本数。为维度为256的行向量。首先对每类训练样本，计算其每一维的数据中心：

其中，n代表样本个数。

2)接着计算同一类样本中每一维度间的相关性TSA(trend similarity betweenattributes)：

式(2)中，g(k)_i，j表示同一类别中样本的特征中两个维度间的相似趋势，若g(k)_i，j＝1则表示i和j两个维度间的相似趋势极高，即都在中心点CL的同侧。S_i，j表示样本特征不同维度间的相似性，k表示同一类中的第k个样本。

3)然后分别计算每类样本中各维度的欧几里得距离代替样本标准差：

式(4)中取u＝2，i为样本特征的维度。

4)最终计算扩散后每类样本中各维度边界的式子为：

其中表示同类样本每一维中小于数据中心值CL的值的平均欧几里得距离，表示同类样本每一维中大于数据中心值CL的值的平均欧几里得距离，

5)在确定虚拟样本生成范围后，在此范围内基于均匀分布生成值tv。

6)计算值tv的三角形隶属度函数值MF(tv)，在[0,1]上按照均匀分布随机的生成值r。

7)若r<MF(tv)，则tv可以作为合适的虚拟样本V保留下来，生成的虚拟样本V与相应的原始样本共享一个类别标签。

8)重复步骤5)-7)直到生成足够的虚拟样本，并将保留下来的虚拟样本集加入小样本集形成新的训练样本。

步骤二：集成学习，对虚拟样本分类结果进行整合

用步骤一的方法生成多组虚拟样本V_i，i＝1，...，T，其中T表示虚拟样本组数，然后将小样本训练集加入各组虚拟样本中形成T组新的训练样本，用这T组训练样本训练出T个基分类器，将这T个基分类器的分类结果用投票表决的方法进行集成学习，对测试样本集进行分类，得到最终的来源鉴别准确率。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (3)

1.一种基于虚拟样本集成学习的图像来源鉴别方法，其特征在于，步骤如下：

S1、提取训练样本LBP特征；

S2、计算每类样本中LBP特征每一维的扩散范围；

S3、在扩散范围内按均匀分布随机生成多组虚拟样本；

S4、集成学习，对虚拟样本分类结果进行整合。

2.如权利要求1所述的基于虚拟样本集成学习的图像来源鉴别方法，其特征在于，步骤S1-S3具体步骤如下：

T1、提取训练集中所有的训练样本和测试样本的LBP特征，

得到：

训练特征样本集：为样本所属的类别，n为每类训练样本数，i＝1，…，n为维度为256的行向量；

测试样本集：为样本所属的类别，n为每类测试样本数，i＝1，…，m为维度为256的行向量；

对每类训练样本，计算其每一维的数据中心：

其中，n代表样本个数，CL代表每类训练样本的LBP特征每一维的中间值；

T2、计算同一类样本中每一维度间的相关性TSA：

式(2)中，g(k)_i，j表示同一类别中样本的特征中两个维度间的相似趋势，若g(k)_i，j＝1，则表示i和j两个维度间的相似趋势极高，即都在中心点CL的同侧；S_i，j表示样本特征不同维度间的相似性，k表示同一类中的第k个样本，i和j分别代表每类训练样本的LBP特征的不同维度；

T3、分别计算每类样本中各维度的欧几里得距离代替样本标准差：

式(4)中取u＝2，i为样本特征的维度；

T4、计算扩散后每类样本中各维度边界的式子为：

其中表示同类样本LBP特征每一维中小于数据中心值CL的值的平均欧几里得距离，表示同类样本LBP特征每一维中大于数据中心值CL的值的平均欧几里得距离，

T5、在确定虚拟样本生成范围后，在此范围内基于均匀分布生成值tv；

T6、计算值tv的三角形隶属度函数值MF(tv)，在[0，1]上按照均匀分布随机的生成值r，

T7、若r＜MF(tv)，则tv可以作为合适的虚拟样本V保留下来，生成的虚拟样本V与相应的原始训练样本共享一个类别标签；

T8、重复步骤T5-T7，直到生成足够的虚拟样本，并将保留下来的虚拟样本集加入原始小样本训练集形成新的训练样本。

3.如权利要求2所述的基于虚拟样本集成学习的图像来源鉴别方法，其特征在于，步骤S4具体步骤如下：

U1、生成多组虚拟样本V_i，i＝1，…，T，其中T表示虚拟样本组数；

U2、将各组虚拟样本中分别加入原始小样本训练集形成T组新的训练样本；

U3、用这T组训练样本训练出T个基分类器，用这T个基分类器分别对测试样本集进行分类，对于每个测试样本会得到T个伪标签；

U4、对测试样本集中每个测试样本的T个伪标签，用相对多数投票表决法确定测试样本最终的伪标签，伪标签和测试样本的真实标签相同的样本数目与测试样本总数的比值即为来源鉴别准确率。