CN109543776A - 一种大规模双盲相机源检测方法 - Google Patents

Abstract

本发明设计了一种双盲环境下的图像相机源识别方法，属于图像信号处理、数字图像取证和机器学习技术领域。本发明首先训练了一种结合了度量损失和分类损失的深度卷积模型，并利用其提取图像的相机特征；之后利用词袋模型快速计算图像集的相似性矩阵；最后，设计了相应的优化方程，并利用ADMM框架进行求解，其结果能够预测大规模背景下相机源未知的图像集中相机源的数量和相机‑图像对应关系。本发明的显著优势在于只用有限类别的训练数据来提取不限类别的图像相机源特征，并能快速的解决大规模背景下的双盲相机源检测问题。

Description

一种大规模双盲相机源检测方法

技术领域

本发明涉及一种一种大规模双盲相机源检测方法，属于图像信号处理、数字取证、机器学习技术领域。

背景技术

数码图像是当今应用最为广泛的信息载体。人们通过各种拍摄设备记录场景事件，并借助互联网来实现快速、便捷的新闻发布和交流。数码图像和视频能够极大的提高人们获取信息的效率，但同时其发布源和权威性难以得到有效的保障，并造成了一系列的社会问题，如版权纠纷，新闻伪造，电信诈骗等等。随着图像和视频形式的交流和沟通日益增多，人们迫切的希望有一种有效的图像认证手段，能够保证数字图像的来源与权威性。

一般来说，解决图像认证问题的途径之一是相机源识别(camera sourceidentification,CSI)，即通过数字图像中的视觉成分来分辨其中包含的拍摄设备特有的相机特征。作为图像取证研究领域中的重要课题，相机源识别技术在近年来得到了越来越多的关注，并取得了一些较好的进展。例如，借助不同相机镜头上的灰尘特有的分布，或是不同相机厂商使用不同的颜色插值算法，都能在一定程度上实现相机源识别。目前来说，在诸多相机源识别技术中，光响应非均匀噪声(Photo-Respond Non-Uniformity noise，PRNU)得到了最广泛的研究。其根据光感阵列中微弱的响应误差，来区分、辨识不同的拍摄设备所获取的图像。

然而，上述的相机源识别技术存在诸多限制，难以在真实的应用场景下使用，例如镜头灰尘痕迹和光响应非均匀噪声特征在对于纹理和曝光复杂的图像中难以有效的提取，而颜色插值算法难以区分同厂商同型号的不同相机。为追求更好的鲁棒性，一些研究中采用数据驱动的模型来解决相机源识别问题，即利用大量标注数据，借助机器学习技术，“学习”出一个逼近真实情况的相机源识别模型。随着深度学习、卷积神经网络在机器视觉领域的大放异彩，这种思路在成为相关领域的研究热点。例如Baroffio等人提出了一个基于CNN的分类深度网络，成功训练出了一个能够分类33部相机的相机源识别模型；而Tuman也是基于类似的思路，训练了一个相机品牌分类模型，也取得了较好的效果。相比与传统的启发式的模型，这些基于学习的模型通常有更好的泛化效果。但是，这一类方法的缺陷在于，他们把相机源识别问题当成了一个分类问题，而当被识别图像的相机源不在模型的训练数据中时，该类方法就会失效。在现实情况中，相机的数量数不胜数，一个只能识别固定的若干部相机的模型是难以应用于实际生产场景中的。

除此之外，当前一些经典的相机源识别的技术所设想的场景与实际应用场景仍有差距，使得相关研究难以被直接应用在真实生产当中。在经典的相机源识别技术中，通常是将其作为一个检索问题或是分类问题，即判断两张图像是否是同一部相机所拍摄。而在实际生产中，往往是面临一组相机源未知的图像，且相机源的数量是未知的。对于这组图像，我们希望能够快速、准确的解决两个问题，即该组图像中有多少个不同的相机源，以及哪些图像是由哪些相机拍摄。相比于传统的特定图像的相机源分类/检索研究，上述的场景显然更加贴合实际。

针对经典的相机源识别研究，在本方法中，我们将着力解决以下三个问题：

1.基于数据驱动的相机源特征提取，借助大量数据和机器学习技术得到更加鲁棒的特征；

2.双盲式的相机源识别算法，即在相机源数量未知、图像与相机源的对应关系未知的场景下，对一组大规模图像的相机源进行识别和分类；

3.快速的相机源识别算法，即面对互联网环境下的海量待识别图像，能快速的得出相机源识别结果的算法。

发明内容

本发明的目的在于快速的对一组“双盲”的图像进行相机源的识别和分类。具体上，我们首先借助大量数据训练得到繁华能力较强的相机源特征提取模型；然后利用词袋(Bag of Words,BoW)模型快速计算两两特征间的相关性，得到相关性矩阵；而后利用优化算法，快速地将组内图像分成若干簇，从而得到组内相机源的数量和图像-相机的对应关系。

本发明是通过如下技术方案实现的。一种基于深度模型的图像相机源识别方包括以下步骤：

1.提取单张图像的深度特征。本发明设计了一种结合分类损失与度量损失的网络结构，能够充分的利用标注数据的标签信息，训练得到具有一定泛化能力的模型。在特征提取时，将每张图像剪切成若干256×256大小的图像块，输入模型后，将全连接层的输出作为该特征块的相机特征来使用。

2.快速计算相关性矩阵。对于一组图像，每张图像包含了数个特征(基于图像块的数量)。首先对单张图像的所有特征按维度求平均，并将平均得到的向量作为该图像的特征；其次对全部特征，利用词袋模型快速求得k个最近邻样本，并对每张图像的k个最近邻特征求相关性；最后，将求得的相关性数值放入相关性矩阵，每张图像除k近邻之外的位置以0填充。

3.获取相机源数量和图像对应关系。在得到近似相关性矩阵后，本发明构造了一个优化方程，结合了1)类内相似性最大化，2)类间相似性最小化以及3)组稀疏三个约束，并利用ADMM(Alternating Direction Method of Multipliers)框架进行求解，最终得出图像集合中的相机源数量、相机-图像的对应关系。

想比较于传统的相机源识别算法，本发明更加贴合实际应用场景。首先，我们采用了深度模型框架来提取更加泛化的相机特征。其次，我们提出了一种新的优化算法来解决相关问题。最后，我们还应用了词袋模型来快速地计算相关性距离，使得本发明适合大规模的应用场景。下面将对本发明的具体步骤进行详细说明。

步骤一相机深度特征提取

由于相机的数量无法穷尽，因此基于分类模型的方法无法被直接应用。一个常规的方式是采用孪生网络结构，即同时输入两个样本，输出的预测结果为是否为同一类别(1/0)。该类方法有效的避开了具体的类别标签，只需要在有限样本类别的训练集上训练，就能够应用在无限样本类别的测试集上。但只使用弱标签(是否为一类)训练会制约模型性能，同时强标签(样本属于哪一类)的信息被无端的浪费。对此，本发明提出了一种结合强弱标签的模型：对于经典的分类深度框架，在保留其分类层的基础上，构建孪生结构。成对地输入图像，计算两路网络的全连接层输出的相关性，并输出给新建的二分类层(用于判断是否为同一类)。如此一来，只需要给定两个输入样本，我们能够获得3个标签信息，即样本1的类别、2的类别和1、2是否为同一部相机的标签。对应地，我们能计算得到两个分类损失和一个度量损失。将三者加权求和后的结果作为最终的损失。如此的训练过程能够充分利用标签信息，从而得到的模型具有更强的泛化能力。在提取特征时，考虑到图像分辨率不同，我们将所有图像剪切成同样的大小(256×256，以适配深度模型的输入尺寸)，对每个图像块进行特征提取。具体上，我们把一个图像块的全连接层输出(4096维，由网络结构确定)记为度量特征，把其对应的分类层输出(34维，由训练集类别数量确定)记为分类特征，并将二者同时存储作为该图像块的特征。

步骤二计算相关性矩阵

在上一步中，我们对图像块进行特征提取，因此每张图像包含若干特征(基于图像块的数量)。在大规模图像集的场景下，两两之间计算特征的相似性有非常高的计算复杂度，常规条件下难以满足内存和计算速度的要求。因此，我们提出一种由粗到细的快速算法来实现相关性矩阵的计算。首先，对于一张图像的若干分类特征，我们按照维度进行平均，即得到同样维度的一个向量。之后，我们用平均后的向量作为该图像的特征，并利用词袋模型快速找出该图像的k个最相关相邻样本。由于词袋模型强大的检索效率，我们能够快速得出一个相关性矩阵。由于该相关性矩阵是由分类特征计算得到，其描述子较为粗糙，我们需要利用度量特征进行更加精细的优化。即对任意一张图像，对其k个最近邻图像计算度量特征的相关性，并将其数值写入粗糙的相关性矩阵的对应位置。对于非k个近邻的样本来说，我们认为其与当前图像足够不相关，因此在相关性矩阵中使用0来填补。至此，我们即可得到一个精度较高的相关性矩阵。在实际应用中，k的取值一般为样本集总数的十分之一。

步骤三求解优化方程

在得到相关性矩阵后，本发明进一步获取图像集的相机源数量和图像-设备对应关系。对于含有N个样本的图像集，定义N×M的矩阵W(N>>M)，其中M为图像集中可能存在相机源数量的上限。W的每列对应唯一的图像样本，表示其类别标签的向量，即每个列向量有且仅有一个元素为1，其余皆为0。而非零元素的行序号则表示该列所对应的图像被分配到了对应行序号的类别。因此，给定相关性矩阵，我们期望能够通过迭代优化得到结果矩阵W，其中W的非零行的数量即为图像集的相机源数量，而非零元素处于同一行的列所对应的图像即为同一部相机拍摄。

为实现上述期望，本发明从三个约束着手建模。首先，如果相似性矩阵中对应的数值较大(判定为同一类)，那么W中对应的列的乘积应当为1(相同位置为1,其余位置为0)；其次，若相似性矩阵中对应数值较小(判定为不同类)，那么W中对应列的乘积应当为0。最后，为了防止得到过多的类别，应当对W的行稀疏性进行约束，即限制W中的非零行数量。综合以上三个约束，即得到对应的优化方程。

在本发明中，利用ADMM框架对得到的优化方程进行求解。具体上，通过新构造一个等于W的变量C，实现变量分离，使其数学形式变得可微分。通过交替求解W、C，并不断最小化W和C的差距，即可将最终结果逐渐逼近最优解。在停止迭代后，W的非零行数量即为预测得到的图像集的相机源数量，而非零元素在同一行的列向量，即表明对应图像具有相同的相机源(亦而反之)。

附图说明

图1.特征提取方法的示意图。

图2.一种大规模双盲相机源检测方法总体示意。

Claims (4)

1.一种大规模双盲相机源检测方法，其特征在于包含以下步骤：

a)训练孪生深度网络，以提取图像的相机源特征。本发明针对不同相机的不同分辨率的问题，将所有图像剪切成256×256的若干图像块，并通过训练结合了度量损失和分类损失的深度模型，得到具有较好泛化能力的相机源特征。

b)快速相似性矩阵计算方法，以应对大规模数据。借助提取的分类特征，我们利用词袋模型找出每个样本的k个最近邻，以快速地得到较为粗糙的相似性矩阵。对于得到的k个最近邻，我们利用提取的度量特征计算更加准确的相似性数值，并更新相关性矩阵的对应位置；而对于非k近邻的位置，我们使用0来填充。

c)相机源检测优化方程及求解，以得到被测数据集的相机源数量和图像-相机对应关系。本发明构造分类矩阵，利用类间、类内相似性以及行稀疏性的约束，构造了优化方程。并借助ADMM算法对方程进行求解，对数据集的相机源数量和图像-相机对应关系进行了预测。

2.根据权利要求1所述的一种大规模双盲相机源检测方法，其特征在于步骤a中结合度量损失和分类损失训练特征提取模型。该模型并不局限于某种特定的深度学习结构，即所有可用于分类任务的深度学习结构皆适用与该模型。

3.根据权利要求1中所述的一种大规模双盲相机源检测方法，其特征在于步骤b中的快速相关性矩阵计算方法，即包括利用分类特征和词袋模型计算粗糙的相似性矩阵，以及利用度量特征对相似性矩阵对应位置进行精细化计算的方法。

4.根据权利要求1中所述的一种大规模双盲相机源检测方法，其特征在于步骤c中的优化方程建模和求解方法。即包括利用类内、类间相似性和行稀疏三个约束条件构建优化模型，定义分类矩阵和基于ADMM框架的优化方程求解。