CN105631434B - 一种对基于鲁棒哈希函数的内容识别进行建模的方法 - Google Patents

Abstract

本发明公开了一种对基于鲁棒哈希函数的内容识别进行建模的方法，所述建模的方法包括以下步骤：将基于鲁棒哈希函数的内容识别等效成在噪声信道上的传输信息，为鲁棒哈希函数建立基于二元对称信道的分析模型；计算所述基于二元对称信道的分析模型中的信道转移概率；计算所述基于二元对称信道的分析模型的容量，利用信息论中的信道编码定理和Fano不等式，获取鲁棒哈希函数在内容识别中的误识别率与参考媒体数目和哈希序列长度之间的关系。根据本发明所提供的建模和分析方法可对鲁棒哈希函数在大规模媒体数据库上的内容识别性能做出预估，可明确鲁棒哈希函数是否可满足实际应用中设定的技术指标，对媒体搜索、索引和拷贝检测等应用具有指导作用。

Description

一种对基于鲁棒哈希函数的内容识别进行建模的方法

技术领域

本发明涉及信号与信息处理技术领域，尤其涉及一种对基于鲁棒哈希函数的内容识别进行建模的方法。

背景技术

随着媒体(如图像、音频和视频等)分享网站(如YouTube、优酷等)的普及和快速发展，媒体信息的获取越来越便捷。但是媒体分享网站开放性的特点也带来了版权控制的困难。以视频分享网站为例，任何已注册用户都可以向网站上传视频。然而，有些用户上传的视频可能是受版权保护的内容(如新近发行的影视作品)。如果缺乏有效的版权控制措施，媒体分享网站可能会成为盗版内容传播的平台。为规避这一风险，媒体分享网站需要随时对用户上传内容进行自动检测，判断用户上传内容是否为受版权保护作品的拷贝版本，这一过程被称之为拷贝检测。

多数媒体分享网站采用鲁棒哈希函数作为拷贝检测的主要手段。鲁棒哈希函数是一种将媒体信息(如图像、音频和视频等)转化为内容摘要的映射，所生成的内容摘要(称之为哈希序列)通常为一个简短的二值序列(取值0或1)。这种哈希函数对不影响媒体视听内容的失真(如高质量有损压缩、滤波等)具有鲁棒性，故被称为鲁棒哈希函数。由于鲁棒哈希函数能够简洁且稳定的描述媒体视听内容，在版权控制、媒体搜索和索引等内容识别应用中被广泛采用。图1示例了基于鲁棒哈希函数的内容识别系统。内容识别系统包含一个参考媒体库和哈希数据库。以媒体分享网站中的内容识别系统为例，参考媒体库中存储受版权保护的媒体文件。每个参考媒体在入库的同时由鲁棒哈希函数计算其哈希序列并存储至哈希数据库中，这一过程在离线状态下完成。内容识别为在线环节：当有用户上传媒体时，系统首先计算该媒体(称之为待识别媒体)的哈希序列，并与哈希数据库中所有参考媒体的哈希序列进行比对。对于二值哈希序列，一般采用归一化汉明距作为距离度量准则。若待识别媒体和某一参考媒体之间的哈希序列归一化汉明距小于判决阈值，则判断待识别媒体为该参考媒体的拷贝，系统会终止用户上传或将其内容设置为付费浏览。

文献中已报道的鲁棒哈希函数方面的工作大部分集中在鲁棒哈希函数设计方面，在建模和性能分析方面的工作较少。文献[1]提出一种对旋转和平移等几何失真的图像鲁棒哈希函数，该算法利用傅里叶-梅林变换提取不变特征，之后利用自适应量化器将特征量化至二进制序列。Monga在文献[2]中提出一种基于特征点的鲁棒哈希函数，取特征点响应的量化索引作为二进制哈希。文献[3]中提出的图像鲁棒哈希函数用随机Gabor滤波器提取图像特征，之后对特征矢量进行随机抖动格型矢量量化以生成哈希。文献[4]提出一种基于三维离散余弦变换的视频鲁棒哈希函数，该算法首先对视频做低通滤波、缩放和时域采样等预处理，之后对相邻帧做三维离散余弦变换，在每个变换单元中选取三个低频系数，哈希序列为对所选系数做二值化处理之后的结果。在鲁棒哈希函数性能分析方面：Varna等人以博弈论为基础的研究表明鲁棒哈希函数应保证哈希位以近似相同的概率在0、1间取值，由此可获得尽可能低的误识别率[5]。文献中的工作等以Markov模型为工具对鲁棒哈希函数的碰撞问题进行研究，推导了哈希碰撞概率的解析形式[6]。

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：

实际应用中所涉及的参考媒体数据库通常规模较大，且对内容识别准确率要求较高。以视频分享网站中的拷贝检测应用为例，若漏检用户上传的受版权保护的视频会直接导致视频分享网站面临发布盗版内容的风险。因此，需要事先对鲁棒哈希函数的内容识别性能做出准确估计。在大规模数据库上进行性能实测不仅成本高、耗时长，而且所测得的结果只能片面反映鲁棒哈希函数针对该测试数据库的性能，不具有普遍性。为了对鲁棒哈希函数的内容识别性能做出全面、客观的评价，需要为基于鲁棒哈希函数的内容识别方法建立分析模型，并对其识别性能进行理论估计。当前文献中关于鲁棒哈希函数建模和性能估计方面的工作较少。为了克服这一不足，本发明提出一种对基于鲁棒哈希函数的内容识别方法进行建模的技术。

发明内容

本发明提供了一种对基于鲁棒哈希函数的内容识别进行建模的方法，本发明首先为基于鲁棒哈希函数的内容识别方法建立分析模型，将这一过程等效为在有噪声的二元对称信道上传输信息；之后，分别计算分析模型的信道转移概率和信道容量。利用计算结果，根据信道编码定理和Fano不等式得到鲁棒哈希函数的误识别率、与参考媒体数目和哈希序列长度之间的关系，详见下文描述。

一种对基于鲁棒哈希函数的内容识别进行建模的方法，所述建模的方法包括以下步骤：

将基于鲁棒哈希函数的内容识别等效成在噪声信道上的传输信息，为鲁棒哈希函数建立基于二元对称信道的分析模型；

计算所述基于二元对称信道的分析模型中的信道转移概率；

计算所述基于二元对称信道的分析模型的容量，利用信息论中的信道编码定理和Fano不等式，获取鲁棒哈希函数在内容识别中的误识别率与参考媒体数目和哈希序列长度之间的关系。

所述基于二元对称信道的分析模型具体为：

将内容识别中所有参考媒体的序号构成的集合W＝{1,2,…,M}等效为模型中的消息集，将第i个参考媒体的哈希序列等效为消息i的码字，将所有参考媒体的哈希序列集合等效为信道编码中的码本；

将内容识别中待识别媒体的哈希序列等效为码字经过有噪声信道传输之后的结果，将由媒体内容失真所导致的哈希序列改变等效为信道噪声对传输码字造成的失真；

将通过哈希比对在参考媒体数据库中查找待识别媒体拷贝的过程等效为信道译码，将鲁棒哈希函数在内容识别中的误识别率等效为信道译码错误率。

所述获取鲁棒哈希函数在内容识别中的误识别率与参考媒体数目和哈希序列长度之间的关系具体为：

其中，P_err为鲁棒哈希函数的误识别率；M为参考媒体数目；N为哈希序列长度；p为在媒体失真条件下哈希位发生改变的概率。

本发明提供的技术方案的有益效果是：根据本发明所提供的建模和分析方法可以对鲁棒哈希函数在大规模媒体数据库上的内容识别性能做出预估，可明确鲁棒哈希函数是否可满足实际应用中设定的技术指标，对媒体搜索、索引和拷贝检测等应用具有指导作用。

附图说明

图1为现有技术提供的基于鲁棒哈希函数的内容识别系统的示意图；

图2为本发明提供的基于鲁棒哈希函数的内容识别建立的信道模型的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

本发明实施例提出了一种对基于鲁棒哈希函数的内容识别进行建模的技术，该技术具有通用性，适用于任何输出二进制哈希序列的鲁棒哈希函数。下面对本发明的实施过程加以说明：

101：将基于鲁棒哈希函数的内容识别等效成在噪声信道上的传输信息，为鲁棒哈希函数建立基于二元对称信道的分析模型；

信道模型和基于鲁棒哈希函数的内容识别方法之间的对应关系如下文(1)-(3)中的描述：

(1)将内容识别中所有参考媒体的序号构成的集合W＝{1,2,…,M}等效为信道模型中的消息集；将第i个参考媒体的哈希序列等效为消息i的码字，将所有参考媒体的哈希序列集合等效为信道编码中的码本；

在基于鲁棒哈希函数的内容识别中，第i(1≤i≤M)个参考媒体由长度为N的二值哈希序列h_i∈{0,1}^N表示。在所建的二元对称信道模型中，从媒体序号到哈希序列的映射被等效为信道编码过程：参考媒体序号i相当于消息，哈希序列h_i相当于消息i的码字，参考媒体数据库中所有参考媒体的哈希序列集合相当于信道编码码本，如图2所示。本发明实施例对鲁棒哈希函数的具体实现和哈希序列长度N不做限制。

(2)将内容识别中待识别媒体的哈希序列等效为码字经过有噪声信道传输之后的结果，将由媒体内容失真所导致的哈希序列改变等效为信道噪声对传输码字造成的失真；

由于拷贝媒体文件的过程中可能会引入内容失真(如有损压缩、噪声污染等)，令q∈{0,1}^N表示待识别媒体的哈希序列，若待识别媒体为参考媒体数据库中第i个参考媒体的拷贝，由内容失真所造成的哈希序列改变可由条件概率Pr(q|h_i)描述。在图2所示的信道模型中，待识别媒体的哈希序列q相当于h_i(即码字)经过有噪声信道传输后的结果，条件概率Pr(q|h_i)被等效为信道转移概率。由于哈希序列中各哈希位之间通常相互相独立，若令q(k)∈{0,1}和h_i(k)∈{0,1}分别表示媒体哈希序列q和h_i中的第k位(k＝1,…,N)，则有：

本发明实施例据此用二元对称信道为鲁棒哈希函数建立信道模型，如图2所示，相应的信道转移概率可表示为：

Pr(1|0)＝Pr(0|1)＝p,Pr(0|0)＝Pr(1|1)＝1-p，

(2)

其中0≤p≤1为在失真情况下哈希位发生改变的概率。

(3)将通过哈希比对在参考媒体数据库中查找待识别媒体拷贝的过程等效为信道译码，将鲁棒哈希函数在内容识别中的误识别率等效为信道译码错误率。

内容识别系统通过哈希比对判断参考媒体数据库中是否包含待识别媒体的拷贝，如存在则返回对应参考媒体的序号，如图2所示。这一过程可用映射表示，其中对应于参考媒体数据库中不包含待识别媒体的拷贝。本发明实施例将该过程等效为信道译码，将内容识别的误识别率等效为信道译码错误率：

其中，条件概率Pr(D(q)≠i|h_i)表示在待识别媒体为第i个参考媒体的拷贝的情况下，内容识别系统给出错误识别结果的概率。

102：计算基于二元对称信道的分析模型中的信道转移概率；

对于任意给定的鲁棒哈希函数，其信道模型所对应的信道转移概率(如式(2)所示)可通过如下方法计算得到：选取一定数目的媒体文件生成测试集，对测试集中的每个媒体文件施加内容失真(如有损压缩等)，然后计算所有原始媒体和失真媒体哈希序列之间的归一化汉明距的平均值，用该值代替式(2)中的参数p即可得信道转移概率。本发明实施例对测试集中的媒体数目、失真类型和失真强度不做限制。

103：计算基于二元对称信道的分析模型的容量，利用信息论中的信道编码定理和Fano不等式得到鲁棒哈希函数在内容识别中的误识别率与参考媒体数目和哈希序列长度之间的关系。

利用步骤102中计算得到的信道转移概率，根据信息论中的信道编码定理和Fano不等式[7]，有如下结论成立：

其中，C为图2所建的信道模型的容量。根据信息论中关于信道容量的定义，可得二元对称信道的容量为C＝1-p。将C代入式(4)可得鲁棒哈希函数在内容识别中的误识别率P_err与参考媒体数目M和哈希序列长度N之间的关系：利用这一关系可对鲁棒哈希函数在实际应用中的性能做出预判。

下面以基于超复数域极限变换的图像鲁棒哈希函数[8]为例，说明本发明实施例提供对鲁棒哈希函数进行建模和性能极限计算的方法，详见下文描述：

步骤(1)：将基于鲁棒哈希函数的内容识别等效成在噪声信道上传输信息，为鲁棒哈希函数建立基于二元对称信道的分析模型；

将参考媒体数据库中参考媒体的序号集合W＝{1,2,…,M}等效为信道模型中的消息集。鲁棒哈希函数将任意图像转化为长度为N的二进制哈希序列，数据库中第i个参考图像的哈希序列h_i∈{0,1}^N即为对消息i进行信道编码的码字，所有参考图像的哈希序列集合即为信道编码中的码本。在内容识别的过程中，待识别图像的哈希序列q∈{0,1}^N相当于信道接收端得到的信息。若待识别图像为第i个参考图像的拷贝，q相当于码字h_i经过有噪声信道传输之后的结果，q和h_i之间的差异相当于信道噪声对码字造成的失真。从h_i到q的转移可由条件概率Pr(q|h_i)描述。在信道模型中，Pr(q|h_i)被等效为信道转移概率。内容识别系统通过比对哈希在参考图像数据库中查找待识别图像的拷贝，这一过程可等效为信道译码内容识别的误识别率相当于信道译码错误率：

步骤(2)：计算基于二元对称信道的分析模型中的信道转移概率；

本实例选取2000幅自然图像构成测试集，对每个测试图像施加常见内容失真。所施加的内容失真及参数范围如下：JPEG有损压缩(质量因子：1～95)、中值滤波(滤波器尺寸：2像素～20像素)、圆周均值滤波(半径：1像素～10像素)、添加高斯噪声(零均值，方差0.1～0.3)、添加散斑噪声(零均值，方差0.01～0.3)、旋转(角度1～180)、缩放(比例：0.25～4)、直方图均衡化(灰度级8～224)以及伽马矫正(γ取值：0.55～1.45)。共生成148000幅失真图像，分别生成所有测试图像和失真图像的哈希序列。计算每对原始图像和失真图像计算哈希序列间的归一化汉明距d_i(i＝1,2,...,148000)，统计所有归一化汉明距的均值为由此可得信道转移概率：Pr(1|0)＝Pr(0|1)＝0.06和Pr(0|0)＝Pr(1|1)＝0.94。

步骤(3)：计算基于二元对称信道的分析模型的容量，利用信息论中的信道编码定理和Fano不等式得到鲁棒哈希函数在内容识别中的误识别率与参考媒体数目和哈希序列长度之间的关系。

根据步骤(2)中所计算得到的信道转移概率可计算出基于二元对称信道的分析模型信道的容量C＝1-p＝0.94。代入上述公式(4)，可得误识别率P_err、参考媒体数目M以及哈希长度N之间服从的关系式如下：

在实际应用中，将具体应用所涉及的参考媒体数目M和哈希长度N代入式(5)，可得鲁棒哈希函数在内容识别中的误识别率P_err上限。此外，若令P_err＝0，哈希长度N代入式(5)可得M的上限，即鲁棒哈希函数能正确识别的参考媒体数目上限。

参考文献

[1]Swaminathan,Y.Mao,M.Wu.Robust and secure image hashing[J].IEEETrans.on Information Forensics and Security,2006,1(2):215-230.

[2]V.Monga,B.L.Evans.Perceptual image hashing via feature points:performance evaluation and tradeoffs[J].IEEE Trans.on Image Processing,2006,15(11):3452-3465.

[3]Y.N.Li,Z.M.Lu,C.Zhu,X.M.Niu.Robust image hashing based on randomGabor filtering and dithered lattice vector quantization[J].IEEE Trans.onImage Processing,2012,21(4):1963-1980.

[4]M.M.Esmaeili,M.Fatourechi,R.K.Ward,Arobust and fast video copydetection system using content-based fingerprinting[J].IEEE Trans.onInformation Forensics and Security,2011,6(1):213-226.

[5]N.J.Hurley,F.Balado,G.M.Silvestre.Markov modelling offingerprinting systems for collision analysis[J].EURASIP Journal onInformation Security,2008:1-10.

[6]A.L.Varna,M.Wu.Modeling content fingerprints using Markov randomfields[C].IEEE International Workshop on Information Forensics and Security,2009:111-115.

[7]T.M.Cover and J.A.Thomas,Elements of Information Theory(2nd ed.)[M]Hoboken,NJ:Wiley,2006.

[8]Y.N.Li,P.Wang,Y.T.Su,Robust image hashing based on selectivequaternion invariance[J].IEEE Signal Processing Letters,2015,22(12):2396-2400.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种对基于鲁棒哈希函数的内容识别进行建模的方法，其特征在于，所述建模的方法包括以下步骤：

将基于鲁棒哈希函数的内容识别等效成在噪声信道上的传输信息，为鲁棒哈希函数建立基于二元对称信道的分析模型；

计算所述基于二元对称信道的分析模型中的信道转移概率；

计算所述基于二元对称信道的分析模型的容量，利用信息论中的信道编码定理和Fano不等式，获取鲁棒哈希函数在内容识别中的误识别率与参考媒体数目和哈希序列长度之间的关系；

其中，所述基于二元对称信道的分析模型具体为：

将内容识别中所有参考媒体的序号构成的集合W＝{1,2,…,M}等效为模型中的消息集；将第i个参考媒体的哈希序列等效为消息i的码字，将所有参考媒体的哈希序列集合等效为信道编码中的码本；

将内容识别中待识别媒体的哈希序列等效为码字经过有噪声信道传输之后的结果，将由媒体内容失真所导致的哈希序列改变等效为信道噪声对传输码字造成的失真；

将通过哈希比对在参考媒体数据库中查找待识别媒体拷贝的过程等效为信道译码，将鲁棒哈希函数在内容识别中的误识别率等效为信道译码错误率。

2.根据权利要求1所述的一种对基于鲁棒哈希函数的内容识别进行建模的方法，其特征在于，所述获取鲁棒哈希函数在内容识别中的误识别率与参考媒体数目和哈希序列长度之间的关系具体为：

其中，P_err为鲁棒哈希函数的误识别率；M为参考媒体数目；N为哈希序列长度；p为在媒体失真条件下哈希位发生改变的概率。