CN113191380B

CN113191380B - 一种基于多视角特征的图像取证方法及系统

Info

Publication number: CN113191380B
Application number: CN202010044730.7A
Authority: CN
Inventors: 杜玲; 王小超; 王祎婧; 陈振; 赫泽宏
Original assignee: Tianjin Polytechnic University
Current assignee: Tianjin Polytechnic University
Priority date: 2020-01-14
Filing date: 2020-01-14
Publication date: 2022-12-13
Anticipated expiration: 2040-01-14
Also published as: CN113191380A

Abstract

本发明提供了一种基于多视角特征的图像取证方法及系统，属于图像检测领域。该方法包括：步骤1：分别获得原始图像、待测试图像的图像特征；步骤2：分别计算原始图像的哈希值、待测试图像的哈希值；步骤3：利用原始图像的哈希值和待测试图像的哈希值计算获得海明距离；步骤4：利用所述海明距离获得取证结果。本发明解决了计算和存储的瓶颈，使得哈希编码结果具有更好的表达能力和准确性；本发明有效地利用了潜在的二值表示的多视角功能，相比于单个视角更加全面；可以融合具有多视角的数据使得该框架具有更好的灵活性和更广泛的适用场景；本发明能够对图像内容保持操作鲁棒，同时对恶意的篡改操作具有良好的区分性。

Description

一种基于多视角特征的图像取证方法及系统

技术领域

本发明属于图像检测领域，具体涉及一种基于多视角特征的图像取证方法及系统。

背景技术

随着社交共享网络大量的增多以及更高级的数字编辑软件的发展，网络上充斥着大量的未经验证的数字多媒体内容。因此，如何解决由于图像数据爆炸性的增长而带来的图像认证需求的问题成为研究者们关注的热点。幸运的是，由于二值感知哈希时空的高效性，为解决该类问题提供了一个良好的思路。基于二值哈希的图像认证方案是通过比较原始图像与待测试图像之间二值哈希的海明距离来完成取证的。

与其他如图像检索等视觉任务不同，用于图像取证的感知哈希要求能够在一定程度上对保持图像内容的处理操作具有鲁棒性以及对恶意篡改操作的区分性。

在目前的相关研究中，基于感知哈希的图像认证方法有两个方面没有考虑到的。首先，图像的先验信息如通过对原始图像执行一些图像处理操作后得到的攻击图像，该类先验信息还没有完全的被利用。实际上，这些先验信息在区分经过内容保持操作的图像和恶意篡改图像上有着非常重要的作用。其次，大多数的特征仅对一种或几种类型的攻击具有鲁棒性，因此提取一种能够满足用户需求的绝对鲁棒的特征显得格外的重要。包含来自多个线索丰富的多视角表示可能对图像哈希的生成任务很有帮助，然而目前研究者仅仅将多个特征进行简单的融合，因此，通过多视角特征融合获取图像哈希是一个非常重要的主题，但目前为止尚为引起足够的重视。此外，二值哈希码由于其能够快速的计算海明距离，显现出其强大的能力并能够应用于大规模数据的应用。因此，研究如何有效结合多视角特征信息(如基于图像结构信息、纹理信息、颜色信息等)来构建鲁棒哈希，特别是大数据环境下的二值哈希，是提高基于感知哈希完成图像取证应用的一个重要方向。

用于图像认证的二值感知哈希通过简短的二值编码表示原始的图像特征，同时也能保留在低维海明空间的感知相似性。从广义上说，基于感知哈希的图像取证方法可以分成两大类：与数据独立的图像哈希方法和与数据依赖的图像哈希方法。

数据独立的图像哈希方法具体如下：

目前大多数数据独立的图像哈希研究主要关注点在于图像的特征提取阶段，可以根据特征提取方式的不同分成下面四类：

(1)基于不变特征变换的方法：该类方法首先将原始图像转换到频率域，其次直接利用其系数生成最终的哈希值。该类方法的优点是对一些图像失真的操作具有良好的鲁棒性。目前，在图像取证中用于图像哈希生成的变换有傅里叶变换(Fourier Transform)，离散余弦变换(Discrete Cosine Transform)，Radon变换，小波变换(Wavelet Transform)，极性谐波变换(Polar Harmonic Transforms)和四元数傅里叶变换(Quaternion FourierTransform)。该类方法是将图像从空间域转换到频率域，然后使用其频率系数提取图像的特征。

(2)基于局部特征点的方法：该类方法基于提取图像中的特征点生成图像哈希，如Morlet小波系数，SIFT，自适应Harris角点检测器(Adaptive Harris Corner)，自适应局部特征生成器(Adaptive local feature generation)，渐进特征点，DCP图像特征描述符(Dcal-cross Pattern)，end-stopped小波，图像感知显著性特征的算法等。这些基于局部特征的哈希方法的优点是能够在图像经过几何变换处理下保持不变性，尤其是旋转攻击操作。然而，由于提取图像取证点的方法具有一定的随机性，因此基于该类方法的图像哈希大小是不固定的。

(3)基于降维的方法：该类方法基于降维技术，如奇异值分解(Singular ValueDecomposition,SVD)，非负矩阵分解(Non-negative Matrix Factorization,NMF)，快速Johnson-lindenstrauss变换(FJLT)，局部线性嵌入(Locally Linear Embedding,LLE)，压缩感知(Compressive sensing,CS)，该类方法将图像底层特征从高维空间中转换到低维空间，对常见几何处理具有良好的鲁棒性。此外，对于特征降维方法，关键问题是如何在降低哈希长度的同时，保持哈希的性能不变。

(4)基于统计特征的方法：该类方法是通过计算图像的统计特征构造图像哈希，如均值、方差、图像块的较高矩以及直方图特征。通过将图像分割成一系列的圆环，Tang等人提出了一系列基于环分区获取图像哈希的方法。还有基于统计特征均值、方差、峰度和偏度生成图像哈希。另外，有一些研究者提取图像矩构造哈希，如Zernike矩(Zernike Moment)，切比雪夫矩(Tchebichef Moment)，高斯-赫米尔矩(Gaussian-Hermite Moment)。这些图像的统计特征通常在抵御图像噪声、模糊、压缩等方面具有较好的效果，有利于图像哈希的唯一性。

数据依赖的图像哈希具体如下：

目前，在图像取证领域中基于数据依赖二值哈希的研究工作相对较少。Lv等人提出了一种半监督的二值哈希方法，该方法有两个部分组成，分别是生成虚拟先验哈希空间(Virtual Prior Attacked Hash Space,VPAHS)与半监督谱嵌入(Semi-supervisedSpectral Embedding)。该方法的局限性是其重点放在了图像哈希的后处理阶段，即在已知提取图像哈希方法的前提下，将实值哈希通过学习算法压缩成二值哈希。Du等人将图像的感知显著性与多视角哈希学习整合到一个统一个框架中，但是该方法得到的图像哈希并不是二值的。此外，Jiang等人提出了一种基于深度神经网络的图像内容取证方法。基于数据依赖的学习方法可以得到较高质量的图像哈希，但是大多数的学习算法只强调了使用深度神经网络进行特征学习。因此基于数据依赖的图像哈希方法成为解决多媒体安全问题的一个重要研究课题。

发明内容

本发明的目的在于解决上述现有技术中存在的难题，提供一种基于多视角特征的图像取证方法及系统，有效利用复杂多视角数据，基于先验信息的感知哈希实现高效、灵活、安全的图像取证。

本发明是通过以下技术方案实现的：

一种基于多视角特征的图像取证方法，所述方法包括：

步骤1：分别获得原始图像、待测试图像的图像特征；

步骤2：分别计算原始图像的哈希值、待测试图像的哈希值；

步骤3：利用原始图像的哈希值和待测试图像的哈希值计算获得海明距离；

步骤4：利用所述海明距离获得取证结果。

所述步骤1的操作包括：

提取原始图像的V种类型的图像特征；

提取待测试图像的V种类型的图像特征；

每一种类型对应一个视角。

所述步骤2的操作包括：

分别利用下式根据原始图像的V种类型的图像特征、待测试图像的V种类型的图像特征计算获得原始图像的哈希值h₁、待测试图像的哈希值h₂：

其中，H是哈希值，X^v表示第v种类型的图像特征矩阵,v＝1，2，...，V，W^v是哈希映射矩阵、α^v是权重向量、γ是非负常量参数。

所述哈希映射矩阵W^v、权重向量α^v的值是这样获得的：

S1：输入多视角特征矩阵：{X¹,...,X^V},

参数β和γ，哈希H的长度k；其中，{X¹，...，X^V}表示整个训练集的多视角特征矩阵，

为原始图像的多视角特征矩阵；

S2：初始化:

设置r＝5,β＝0.003,γ＝0.001,η＝0.001,λ＝0.00001,α^v＝1/V，并对H进行随机初始化；

S3：判断下式是否收敛，如果是，则转入S5，如果否，则转入S4；

s.t.H∈{-1,1}^k×n,

α^v＞0

S4：根据下面的公式更新W^v、H、α^v；然后返回S3；

其中，I表示单位矩阵；

tr表示矩阵求迹运算符，S表示感知置信度矩阵；

S5：输出W^v和α^v。

所述步骤3的操作包括：

利用下式计算获得海明距离：

其中，k表示哈希长度。

所述步骤4的操作包括：

设定阈值τ₁和τ₂，τ₂大于τ₁；

如果dist＜τ₁，则判定待测试图像是与原始图像视觉相似的图像；

如果dist＞τ₂，则判定待测试图像是与原始图像不相同的图像；

如果τ₁≤dist≤τ₂，则判定待测试图像是原始图像的篡改图像。

在所述步骤1之前还包括预处理步骤：

预处理步骤：对原始图像、待测试图像分别进行缩放操作，缩放后的大小为256x256。

本发明还提供了一种基于多视角特征的图像取证系统，所述系统包括：

特征提取单元，用于获得原始图像、待测试图像的图像特征；

哈希值计算单元，与所述特征提取单元连接，用于计算原始图像的哈希值、待测试图像的哈希值；

海明距离计算单元，与所述哈希值计算单元连接，用于利用原始图像的哈希值和待测试图像的哈希值计算获得海明距离；

判断单元，与所述海明距离计算单元连接，用于利用所述海明距离获得取证结果。

所述哈希值计算单元进一步包括加密模块，用于将原始图像的哈希值加密得到原始图像的加密哈希值，将待测试图像的哈希值加密得到待测试图像的加密哈希值，然后将原始图像的加密哈希值、待测试图像的加密哈希值发送给海明距离计算单元。

所述海明距离计算单元进一步包括解密模块，用于对原始图像的加密哈希值进行解密获得原始图像的哈希值，对待测试图像的加密哈希值进行解密获得待测试图像的哈希值。

与现有技术相比，本发明的有益效果是：

(1)本发明能够从多个视角特征中学习到二值编码，采用二值数据表示解决了计算和存储的瓶颈；而且基于二值哈希的感知哈希生成算法使得哈希编码结果具有更好的表达能力和准确性；

(2)本发明有效地利用了潜在的二值表示的多视角功能，相比于单个视角更加全面；可以融合具有多视角的数据使得该框架具有更好的灵活性和更广泛的适用场景；

(3)利用本发明在两个图像数据集上进行了大量的实验。实验表明，本发明能够对图像内容保持操作鲁棒，同时对恶意的篡改操作具有良好的区分性。结果表明，与目前最新方法相比较，AUC的值平均提高了3.85。

附图说明

图1本发明的原理图；

图2-1μ＝0.4968，σ＝0.0283时的哈希对之间的海明距离分布；

图2-2μ＝12.0155，σ＝1.1979时的哈希对之间的海明距离分布；

图2-3μ＝0.2911，σ＝0.0501时的哈希对之间的海明距离分布；

图2-4μ＝0.0116，σ＝0.0077时的哈希对之间的海明距离分布；

图2-5μ＝2.5448，σ＝2.3294时的哈希对之间的海明距离分布；

图2-6μ＝0.1130，σ＝0.0583时的哈希对之间的海明距离分布；

图3-1是原始图像；

图3-2是篡改图像；

图4-1是使用t-SNE可视化在视角1下的二值哈希码与基于潜在特征表示的二值哈希码；

图4-2是使用t-SNE可视化在视角2下的二值哈希码与基于潜在特征表示的二值哈希码；

图4-3是使用t-SNE可视化在视角3下的二值哈希码与基于潜在特征表示的二值哈希码；

图4-4是使用t-SNE可视化在本发明方法下的二值哈希码与基于潜在特征表示的二值哈希码；

图5-1是高斯噪声攻击操作下Wavelet、SVD、PRIVD、FPHash、QFT与本发明方法的性能比较；

图5-2是椒盐噪声攻击操作下Wavelet、SVD、PRIVD、FPHash、QFT与本发明方法的性能比较；

图5-3是高斯模糊攻击操作下Wavelet、SVD、PRIVD、FPHash、QFT与本发明方法的性能比较；

图5-4是圆形模糊攻击操作下Wavelet、SVD、PRIVD、FPHash、QFT与本发明方法的性能比较；

图5-5是运动模糊攻击操作下Wavelet、SVD、PRIVD、FPHash、QFT与本发明方法的性能比较；

图5-6是均值滤波攻击操作下Wavelet、SVD、PRIVD、FPHash、QFT与本发明方法的性能比较；

图5-7是中值滤波攻击操作下Wavelet、SVD、PRIVD、FPHash、QFT与本发明方法的性能比较；

图5-8是维纳滤波攻击操作下Wavelet、SVD、PRIVD、FPHash、QFT与本发明方法的性能比较；

图5-9是图像锐化攻击操作下Wavelet、SVD、PRIVD、FPHash、QFT与本发明方法的性能比较；

图5-10是图像旋转攻击操作下Wavelet、SVD、PRIVD、FPHash、QFT与本发明方法的性能比较；

图5-11是JPEG压缩攻击操作下Wavelet、SVD、PRIVD、FPHash、QFT与本发明方法的性能比较；

图5-12是照明校正攻击操作下Wavelet、SVD、PRIVD、FPHash、QFT与本发明方法的性能比较；

图6本发明方法的步骤框图；

图7本发明系统的组成结构图。

具体实施方式

下面结合附图对本发明作进一步详细描述：

特征提取是计算机视觉和图像处理中的一个概念。它指的是使用计算机提取的对图像信息的描述。本发明的多特征指的是基于图像的三个视角下的特征，分别为图像边缘特征、强度特征与纹理特征，通过三个视角下的特征完成图像取证。

本发明重点解决三个关键性问题，如下所示：

1)如何在哈希算法设计中更好地抵抗认证系统的各种安全性攻击，提升特征选择的安全性和鲁棒性。

2)在感知哈希编码生成过程中如何有效利用多视角的互补性，开发基于多视角共享隐表达特征的具有较好鲁棒性和编码准确性的感知哈希学习模型。

3)如何基于原始图像及其非恶意攻击下的图像副本构成的感知哈希数据空间利用二值化分析完成感知哈希生成算法，使得哈希编码结果具有更好的表达能力、准确性。

为了有效地区分保持图像内容的处理操作与恶意攻击操作，本发明通过考虑图像的先验信息来探索哈希码的学习。根据图像取证的要求，提出构造一个训练集，该训练集由在原始图像的基础上经过一些先验的攻击处理后的图像组成。

具体的，本发明提供了一种基于多视角特征的图像取证方法(以下简称BMVPH方法，Binary Multi-View Perceptual Hashing)。与现有的用于取证的感知哈希方法不同，BMVPH方法利用了由原始图像以及经过处理后的攻击图像作为先验信息，并基于感知相似性建立一个感知置信度矩阵S。BMVPH方法包括离线学习和在线哈希两个部分，其中离线学习包括协作二值表示学习(Collaborative Binary Representation Learning,CBRL)和感知内容取证学习(Perpetual Content Authentication Learning,PCAL)两部分。其中，CBRL主要用于将多视角特征映射成二值表示，PCAL用于区分内容保持操作和恶意篡改攻击操作。

用于构造训练集的原始图像集可表示为

并对其执行一系列的虚拟先验攻击(如噪声、模糊、压缩、滤波、恶意篡改等)，得到与原始图像相对应的虚拟的攻击图像集

对于每一张原始图像，都对应有t张攻击图像，因此，最终共有l×t张攻击图像。原始图像以及对应的攻击图像组成了虚拟先验信息空间，该数据空间作为BMVPH方法的训练数据集。因此，整个训练集可以表示为：

对于训练集中每一张原始图像

以及对应的攻击图像

当两者视觉相似时，即表示

是由原始图像

经保持图像内容处理操作得到，两者关系表示成

当两者视觉不相似时，即表示

是由原始图像

经恶意篡改得到，两者关系表示成

因此，可以使用感知置信度矩阵S表示训练集中成对图像的关系S_ij，如下：

本发明方法(简称BMVPH)中的离线学习具体包括两个部分，分别为：协作二值表示学习CBRL和感知内容认证学习PCAL。

训练集中包含有原始图像以及与原始图像对应的两种攻击图像，分别是：经保持图像内容处理操作得到的相似图像以及经恶意篡改操作得到的篡改图像(即视觉不相似的图像)。

其次，对整个训练集提取V种类型的图像特征，原始图像的特征矩阵可以表示为

其对应的攻击图像特征矩阵可以表示为

有：

其中，v＝1，2，...，V表示第v种类型图像特征，m表示图像特征维度。因此，整个训练集可以表示为{X¹，...，X^V}，其中X^v∈R^m×n，表示的是该图像特征矩阵的维度，需要注意的是n＝l×t表示整个训练集图像个数。另外，特征矩阵需要做归一化处理。对于第s个样本图像的第v种视角的二值哈希有：

其中，sgn(·)表示符号函数，W^v∈R^k×m是第v种视角特征的映射矩阵。因此，算法目标是学习这个映射矩阵，得到不同视角下的二值码H∈{-1,1}^k×n，其中k表示哈希的长度。

本发明离线学习的目的是利用训练集图像的不同视角的特征，基于优化函数通过训练学习将其映射到一个公共的海明空间，形成二值哈希码表达，并同时训练得到哈希映射矩阵W。优化函数包括CBRL和PCAL两部分。

CBRL损失：二值哈希因其强大的数据处理能力，被应用到许多视觉任务。假设图像不同视角下的特征都来自于同一个潜在的表示空间，CBRL的目的则是为了将不同视角下的特征都映射到一个公共的海明空间。考虑多视角的相关性与互补性，则CBRL的目标目函数可以表示为：

其中，H是共享的潜在的二值表示，α＝[α¹,α²,...,α^v]是用于平衡不同视角特征的非负权重向量，r＞1表示表示控制权重向量的尺度，β是一个非负常量。主要注意的是，其中符号函数利用其幅度来替代。

为了能够使得二值哈希的每一个比特位包含更多的图像信息，从信息论的角度看，计算数据集中所有哈希每一位的方差，之后将其作为正则项，有：

其中，γ是非负常量参数，该项能够使哈希函数具有较大的熵，这是典型的二值码学习的基本需求。

综上所述，CBRL的损失函数为：

s.t.H∈{-1,1}^k×n,

α^v＞0

CBRL的优化函数如上式所示。第一项用于确保学习不同视图下的一个统一二进制编码，第二项最大化编码函数产生二进制位的方差，最后一项用于训练集图像的信息理论正则。

PCAL损失：除了协作多视角表示学习，还考虑了在不同视角下的感知内容取证学习。为了满足图像认证的要求，PCAL旨在生成的哈希码能够满足成对验证的需求，即在海明空间中，满足相似的图像对的感知距离小，不相似的图像对的感知距离大。通过合并成对关系，其目标函数可以表示为：

其中，η是非负常数参量。即期望相似的图像不仅具有相同的符号而且具有较大的投影幅度，而期望不相似的图像不仅具有不同的符号而且具有较小的投影幅度。

PACL的优化函数如上式所示。PCAL旨在生成的哈希码能够满足取证的感知相似性需求。即在海明空间中，满足内容相似的图像对的哈希码的汉明距离小，内容不相似的图像对的哈希码的汉明距离大。

CBRL和PCAL均为离线学习的优化函数的组成部分。从两个不同的方面对优化函数进行约束，从而训练得到优化的参数。

目标函数：将协作二值表示学习与感知内容取证学习统一在一起，有以下目标函数：

为了优化目标函数得到不同图像视角下的哈希映射矩阵W以及不同视角下的权重参数α，根据优化策略，可以将一个优化问题分成几个小问题进行优化，也就是说对其中一个变量进行更新时，固定其他变量，然后交替更新。

更新W^v(更新目标函数中的多个变量，可以通过固定其他变量的情况下，更新其中一个变量。具体更新的方法就是利用下面的公式进行计算；下同)：除了W^v外，固定其他的变量，上式的优化问题如下：

进一步地，上式可以简化成：

其中，

求偏导，

有：

这一步的更新是为了获得使目标函数取最小值的情况下W^v的值，因此计算一次即进行了一次对W^v的更新。

更新H：类似地，可以固定其他变量，更新H，有：

s.t.H∈{-1,1}^k×n (13)

其中，const是一个常量，另外有tr(H^TH)＝nk。

进一步可以得到：

更新α^v：令：

根据目标函数，可以写成：

通过引入拉格朗日乘子，优化如下：

通过一次次的迭代更新不同视角下的哈希映射矩阵W^v、潜在的二值表示H以及权重向量α^v，实验结果发现较小数量的迭代更新之后，目标函数即可收敛。

图1中“离线学习”部分主要用于描述构造图像哈希的过程，可以分成三个部分，一是先验信息空间的建立，二是图像多视角特征的提取、感知置信度矩阵S的建立，三是目标函数(CBRL与PCAL)的优化，得到最终的感知哈希。

具体地，获得哈希参数W^v和α^v的步骤包括：

步骤1：输入多视角特征矩阵：{X¹,...,X^V},

以及参数β和γ(这两个参数用在目标函数中，在训练过程中根据经验值调整和设定),以及哈希H的长度L(L表示最终哈希的长度，可以人为的设置不同的值，但是会影响到最终哈希所能表述的特征信息。比如哈希越长，包含的图像特征信息越丰富，反之则信息越匮乏，不能很好的描述图像特征，从而影响图像的取证性能。在本实施例中设置哈希长度为512.)，以及阈值τ₁和τ₂(这里的两个阈值是经过实验验证人为设定的；具体地，在构造图像哈希算法确定之后，通过在公开数据集(现有的公开用于图像篡改检测的数据集)上验证算法的鲁棒性与区分性，选择一个能够将两个性能折中的阈值。)；

步骤2：初始化:

设置r＝5,β＝0.003,

γ＝0.001,η＝0.001,λ＝0.00001,α^v＝1/V，并将X^V和H随机初始化；

步骤3：判断公式(8)是否收敛(即公式10的值是否不再进一步降低，如果是，则判定收敛，如果否，则判定不收敛。)，如果收敛，执行步骤5，否则执行步骤4。

步骤4：根据公式(12)和公式(14)更新W^v和H；根据公式(18)更新α^v；然后返回步骤3；

步骤5：输出W^v和α^v.其中，W^v是哈希映射矩阵，α^v是不同视角下的权衡参数。离线训练的目的就是为了得到W^v和α^v。

离线学习得到的是哈希参数W^v和α^v，其中W^v可以实际上是一个矩阵，也可以称为哈希映射矩阵，参数α^v是为了用于平衡不同视角的参数。

在实际的使用过程中，不需要重复训练，即在实际的图像取证中，首先需要计算待测试图像的多视角特征，其次利用之前的W^v和α^v构造最终的感知哈希。其他参数，如哈希长度L与训练时设置的保持相同即可。

利用上述学习算法与优化算法可以得到图像不同视角下的哈希映射矩阵W^v及其权衡参数α^v，因此可以进一步通过量化、压缩等操作得到最终的感知哈希，用于图像取证。

本发明方法如图6所示，包括：

预处理步骤：对待测试图像和受信任的原始图像分别进行缩放操作，缩放后的大小为256x256；

步骤1：分别获得原始图像、待测试图像的图像特征：对于原始图像以及待测试图像，首先需要计算V种类型的图像特征：图1中的鲁棒特征提取是提取图像的多视角特征，本发明方法可以应用V种类型的视角，在本实施例中计算了三个视角下的特征，即V＝3，分别为图像边缘特征、强度特征与纹理特征，不同视角下的特征计算方式不同，如利用双边滤波算法计算边缘特征与强度特征，利用waston视觉模型计算纹理特征。可以根据实际需要，设置V的数值。

步骤2：分别计算原始图像的哈希值、待测试图像的哈希值：利用学习到的不同视角下的映射矩阵W以及权衡参数α构造图像哈希，利用公式(19)计算得到原始图像的哈希值h₁，利用公式(19)计算得到待测试图像的哈希值h₂。

公式(19)计算得到的H即是最终得到的哈希值，一般情况下，会通过加密手段将哈希值加密后(可以使用标准对称密码系统AES(Advance Encryption Standard)并利用密钥K进行加密)，再发送到海明距离计算单元。在海明距离计算单元进行解密之后重新得到H，再与待测试图像进行比对，h₁是原始图像的哈希，h₂是待测试图像的哈希。具体的，待测试图像经过预处理、特征提取与生成哈希后得到图像哈希，此时用密钥对图像哈希加密，再发送到海明距离计算单元，查询对也是发送到海明距离计算单元，也就是说，对原始图像的哈希值和待测试图像的哈希值分别进行加密发送给海明距离计算单元，海明距离计算单元需要将两个哈希值解密，还原成原始哈希值再进行计算。

步骤3：利用原始图像的哈希值和待测试图像的哈希值计算获得海明距离：使用海明距离作为相似性度量的方法测量两个图像的哈希之间的相似性。图1中的“查询对”指的是受信任的原始图像的图像哈希h₁。

海明距离的表达式如下：

其中，k表示哈希长度。h₁表示得到的哈希，其长度有k个比特位，h₁(i)表示是的是第i个比特位，h₂和h₂(i)同理。

步骤4：利用所述海明距离获得取证结果：基于设定的两个阈值τ₁和τ₂对待测图像是否篡改作出判定。

如果dist＜τ₁，则表示待测试图像被认为是与原始图像视觉相似的图像(“保持图像内容的处理操作”指的是在原始图像上增加一些信号处理操作，如轻微的噪声、滤波、模糊等，则认为该类图像与原始图像是相似的，属于该种情况)；如果dist＞τ₂，则表示待测试图像被认为是与原始图像不相同的图像；其他情况(即公式(21)中的otherwise，也就是τ₁≤dist≤τ₂)下，则认为待测试图像是原始图像的篡改图像。视觉相似、不相同或篡改即为最后的取证结果。其中，τ₂比τ₁大，τ₁是用于区分原始图像与攻击图像-保持图像内容处理操作后的图像，τ₂是为了区分原始图像、攻击图像与篡改图像。

本发明还提供了一种基于多视角特征的图像取证系统，如图7所示，所述系统包括：

特征提取单元10，用于获得原始图像、待测试图像的图像特征；

哈希值计算单元20，与所述特征提取单元10连接，用于计算原始图像的哈希值、待测试图像的哈希值；

海明距离计算单元30，与所述哈希值计算单元20连接，用于利用原始图像的哈希值和待测试图像的哈希值计算获得海明距离；

判断单元40，与所述海明距离计算单元30连接，用于利用所述海明距离获得取证结果。

本发明的实施例如下：

为了综合比较本发明方法与目前其他图像取证方法的不同，将基于不变特征变换的图像哈希算法(参考文献“Venkatesan R,Koon S M,Jakubowski M H,et al.Robustimage Hashing[C]//Proceedings of the 2000IEEE International Conference onImage Processing,Vancouver,Sep 10-13,2000.Piscataway:IEEE,2000:664-666”)、基于SVD的图像哈希算法(参考文献“Kozat S S,Venkatesan R,Mihcak M K.Robustperceptual image Hashing via matrix invariants[C]//Proceedings of the2004IEEE International Conference on Image Processing,Singapore,Oct 24-27,2004.Piscataway:IEEE,2004:3443-3446”)、基于图像环分区统计特征的哈希算法(参考文献“Z.Tang,X.Zhang,X.Li,and S.Zhang,“Robust image hashing with ring partitionand invariant vector distance,”IEEE Transactions on Information Forensics andSecurity,vol.11,pp.200–214,2016”)、基于图像局部特征点的FPHash算法(参考文献“V.Monga and B.Evans,“Robust perceptual imagehashing using feature points,”in2004International Conference on Image Processing,2004,pp.677–680.”)以及基于四元数傅里叶变换的图像哈希算法(参考文献“C.-P.Yan,C.-M.Pun,and X.Yuan,“Quaternion-based image hashing for adaptive tampering localization,”IEEETransactions on Information Forensics and Security,vol.11,pp.2664–2677,2016.”)进行对比，用于对比的算法均来自于原文章作者或根据文献实现的代码，并且所有算法均已经初步优化，相关参数均采用各自文献中的推荐参数。实验所有数据集包括CASIAv1.0、CASIA v2.0以及RTD数据集包含有JPJEG以及TIFF两个图像格式。实验平台为MATLAB2016a，CPU为Inter core i7-9750H 2.6GHz，16GB内存。

为了学习图像不同视角下的哈希映射矩阵，设置了三个不同的视角，具体包括图像的边缘强度特征、图像结构特征以及基于Watsons DCT视角模型特征。其中训练集来自于CASIA v1.0，具体地随机选择100张原始图像，对每一张原始图像执行不同类型的保持图像内容的处理操作以及不同类型的恶意篡改操作，得到处理后的图像150张，因此整个训练集中共包含有30100张图像，用于对学习算法进行训练优化，得到不同视角下的映射矩阵以及对应权重参数。

1，算法感知鲁棒性分析

一个理想的图像感知哈希应该能够对一定程度的保持图像内容的处理操作具有鲁棒性，为了验证本章提出的二值感知哈希学习算法对多种类型的保持图像内容的处理操作的鲁棒性，具体包括高斯噪声、高斯模糊、圆形模糊、运动模糊、均值滤波、中值滤波、维纳滤波、图像锐化、图像旋转、JPEG压缩以及图像光照矫正。首先，使用上述类型的处理操作对RTD数据集中的图像进行处理，其中处理参数如表1所示。其次，提取并计算原始图像与原始图像的二值感知哈希与对应的相似图像的二值感知哈希之间的海明距离，以及对应的篡改图像的二值感知哈希之间的海明距离，并计算了数据集中每种处理类型海明距离的最大值、均值以及最小值，具体结果如表2所示。

表1

表2

原始图像与相似图像以及与篡改图像的二值感知哈希的海明距离如表2所示，其中可以发现当设置τ₁＝0.0266时可以很好区分相似图像与篡改图像。

2，算法区分性分析

图像感知哈希算法的区分性能指的是视觉不相似的图像应当生成明显不同的图像哈希，即视觉不相似的图像应该以较低的概率生成相似的哈希。为了评估算法的区分性能，实验中计算了两个视觉不相似图像的碰撞概率，其中碰撞概率等于海明距离小于给定阈值的概率。

具体地使用RTD数据集中220张原始图像，提取并计算每一张原始图像的二值感知哈希与剩余219张图像二值感知哈希之间的海明距离，因此最终可以得到(220×219)/2＝24090个海明距离值，如图2-1到图2-6所示。如图2-6所示显示了24090个海明距离值的直方图分布，其中横坐标表示海明距离值，纵坐标表示不同等级海明距离值的频数。如图2-6所示根据参数评估方法，可以认为哈希距离服从一个均值μ＝0和方差σ＝0.028的正态分布。根据文献(“C.Qin,X.Chen,X.Luo,Z.Xinpeng,and X.Sun,“Perceptual image hashingvia dual-cross pattern encoding and salient structure detection,”InformationSciences,vol.423,pp.284–302,2018”、“C.Qin,M.Sun,and C.-C.Chang,“Perceptualhashing for color images based on hybrid extraction of structural features,”Signal Processing,vol.142,pp.194–205,2018.”、“Y.Zhao,S.Wang,X.Zhang,and H.Yao,“Robust hashing for image authentication using zernike moments and localfeatures,”IEEE Transactions on Information Forensics and Security,vol.8,no.1,pp.55–63,2013”)对碰撞概率的定义，两个视觉不相似图像的哈希的碰撞概率计算方式为：

其中erfc()表示互补误差函数，μ表示均值，δ表示标准差。另外，为对比本章提出的哈希算法与其他哈希算法碰撞概率之间的差异，如图2-2到图2-6所示分别表示QFT哈希算法、RPIVD哈希算法、SVD哈希算法、Wavelet哈希算法以及FPHash算法在数据集RTD上的24090个海明距离的直方图分布结果。

碰撞概率表明哈希算法的区分性能，为了对比本发明提出的哈希算法与其他哈希算法，如表3所示，展示了不同哈希算法根据公式(22)计算在RTD数据集上得到的在不同阈值条件下的碰撞概率。从表中发现随着阈值τ的降低，其碰撞概率就越低，但是不能随意的使用较小的阈值，因为过小的阈值会降低算法的鲁棒性能，因此选择一个合适的阈值是至关重要的。另外，从表中可以发现，本章中提出的BMVPH哈希算法的碰撞概率整体比其他算法的碰撞概率小很多。因此，根据表2与表3中本发明提出的BMVPH哈希算法的海明距离结果，将设置τ₂＝0.035用于区分相似/篡改的图像对。

表3

3，性能比较

本发明提出了将多个视角下的特征映射到同一个海明空间。为了验证本发明的提升效果，对单视角的二值哈希与学习到的潜在的表示的二值哈希进行了实验验证，算法结果如表4所示，其中包括准确率、召回率以及F₁三种算法性能评价指标。从表中可以发现，提出的图像潜在的表示在大量保持图头像内容操作处理下取得了较优的性能，这也验证了提出的本发明能够学习和捕获到多视角特征之间的隐藏关联这一事实。事实上，大多数单一特征仅仅对一种或集中类型的攻击具有鲁棒性，我们提出的多视角潜在特征表示的哈希方法能够在大多数类型的攻击条件保持良好的性能。

为了更加直观表现算法的性能，选择了4对原始图像与篡改图像，如图3-1和图3-2所示，并对每一张图像执行11种保持图像内容的处理操作，之后使用本发明方法提取其潜在的特征表示以及提取其在不同单视角下的特征表示，并进一步使用t-分布随机近邻嵌入对两者的结果表示进行可视化，结果如图4-1到图4-4所示，可以发现本发明方法在哈希空间中能够有效地保留图像数据的结构信息。如图4-4所示，本发明方法的8个图像簇(指图4-4中的8个圆圈集合)相比于单视角特征更加紧凑，表现更优。

表4

为了比较提出的哈希算法的整体性能，以及与其他哈希算法的不同特点，在CASIAv2.0数据集上进行了大量实验。具体地，从CASIA 2.0中选择了500个图像对，该数据集包含9个类别，如：动物、建筑、文章、室内、人物、自然、植物、场景以及纹理，根据不同类别在数据集中的占比，我们在一定随机的条件下选取了500张原始图像以及相应的篡改图像。具体地，有70张动物、0张建筑物、60张文章、60张人物、60张室内、60张自然、60张植物、60张场景以及20张纹理的图像。提出的BMVPH方法与Wavelet、SVD、RPIVD、FPHash以及QFT五种算法进行了比较，为了更加客观的比较，使用了相应作者提供的源代码或从原文中使用默认参数实现的算法。如图5-1到图5-12所示，展示了提出的算法与相比较的算法的ROC曲线，12种类型的保持图像内容的处理操作被进行了实验，分别是：方差为0.004的高斯噪声；强度为0.005的椒盐噪声；标准差为10的高斯模糊；半径为2的圆形模糊；强度为3角度为45的运动模糊；大小为5的均值滤波；大小为5的中值滤波；参数为0.49的图像锐化；(j)1.2的图像旋转；质量因子50的JPEG压缩、参数1.18的照明增强。从实验结果可以清楚地表明，提出的二值哈希方法与其他方法相比较能够达到更高的性能。然而，当两条ROC曲线存在交叉时，很难直观地区分出哪种算法性能的优劣。因此，为了更加精确地比较算法之间的性能，计算了ROC曲线与坐标轴围成面积，即AUC值。与目前最优的QFT算法相比较，实验结果表明，本发明提出的方法AUC的值平均提高了3.8％。

本发明方法能够有效地集成来自多个视角的协作信息。通过计算待测试图像与原始图像哈希之间的海明距离比较两者之间的相似性。最终通过与给定阈值相比较，得到验证结果。相关数据集上大量的实验表明本发明方法具有较好的性能。

上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施方式所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。