CN106952211B - 基于特征点投影的紧凑型图像哈希方法 - Google Patents

Abstract

本发明公开了一种紧凑型图像哈希方法，它涉及信息安全领域，主要解决现有技术图像哈希序列较长的问题。其核心内容为利用图像特征点在局部区域分布的数量关系构建哈希序列。实现方案包括哈希登记与匹配两个阶段，哈希登记时，先建立与图像归一化方向相关的直线系，再依据特征在直线上投影点的数量关系生成哈希序列，最后以归一化方向为索引，将哈希序列登记入数据库；哈希匹配时，先对待匹配图像生成哈希序列，再根据归一化方向确定哈希匹配范围，最后比较哈希的汉明距离与阈值的大小判断待匹配图像是否为登记图像。本发明在保证强鲁棒性的基础上，实现了图像哈希的紧凑编码、高效匹配，用于防止图像非法传播、图像拷贝检测。

Description

基于特征点投影的紧凑型图像哈希方法

技术领域

本发明涉及信息安全技术领域，具体的说是一种基于SIFT特征点投影的紧凑型图像哈希方法，该方法能有效地对图像拷贝进行检测，可用于对互联网中的数字图像进行识别与监测，防止非法传播。

背景技术

伴随着计算机、互联网、图像、视频获取技术的迅猛发展，多媒体信息的使用与传播越来越便利。但与此同时，互联网在丰富人们生活的同时，传播过程也掺杂了一些受版权保护和非法的图像，它们的传播一方面极大损害了版权者的利益，另一方面也对社会造成了不良影响。数字媒体的版权保护和监管除了相关法规约束管理外，都需要技术上的支持和保证，来识别和限制非法多媒体数据的传播。

图像哈希技术可以有效的分析和识别图像数据。图像哈希指从原始图像数据中提取出鲁棒特征，并对其经过压缩或量化处理形成更短的二值序列，目的是用很少量的数据表示大量的原始图像数据，以便在图像拷贝检测、数据监控、图像认证等应用中代表原始图像参与计算，也有文献中将其称为图像摘要、图像指纹、图像签名等。鲁棒性、独特性和紧凑性是哈希三个重要特性，鲁棒性指提取的特征在多媒体数据受到常规信号处理或噪声干扰后保持不变，是实现正确匹配率的基础；独特性表示不同图像哈希序列的相似度应尽可能低，是实现低误检率的基础；紧凑性指图像哈希序列的长度足够短，是实现低存储空间和快速匹配的基础。

哈希技术的一个重要环节是鲁棒特征提取，即从原始多媒体数据中提取出少量的、独特的、稳定的信息，该信息通常为实值序列。哈希技术的另一个重要环节是特征表示，就是将提取的实值哈希序列通过量化过程转换为二值哈希序列，便于存储与匹配。从特征提取时涉及的图像区域来划分，分为全局特征和局部特征。全局特征描述图像的整体信息，是图像宏观层面信息的表示；局部特征代表图像的局部信息，反映了图像区域特性。

典型的全局特征提取方法有小波变换(Discrete Wavelet Transform,DWT)、奇异值分解(Sigular Value Decomposiont,SVD)、非负矩阵分解(Non-negative MatrixFactorization，NMF)等。文献R.Venkatesan,S.Koon,M.Jakubowski,and P.Moulin.Robustimage hashing.IEEE International Conference on Image Processing(ICIP),2000,vol.3,pp.664-666.将图像进行随机分块，对子块进行小波变换，对系数进行处理后组成哈希序列。文献S.Kozat,R.Venkatesan,and M.Mihcak.Robust perceptual image hashingvia matrix invariants.IEEE International Conference on Image Processing(ICIP),2004,vol.5,pp.3443-3446.采用矩阵奇异值分解方法，利用分解得到的特征向量构建了200维的实值哈希序列。在此基础上，文献V.Monga and M.Mhcak.Robust andsecure image hashing via nonnegative matrix factorizations.IEEE Transactionon Information Forensics and Security,vol.2,no.3,pp.376-390,Sep.2007.采用非负矩阵分解实现了64维的实值哈希序列，鲁棒性和紧凑性都得到了提高。这一类方法在进行特征提取时都先把原始图像不同程度的分解为子块图像，然后进行特征提取，最后依据特征关系构建哈希序列。实质是利用全局特征提取方法描述区域特征，再将区域特征组合表达全局特性。

典型的局部特征以特征点为代表，描述了图像局部区域中的突出性质。比如Harris兴趣点、尺度不变特征变换(Scale Invariant Feature Transform,SIFT)特征点、主成分分析-尺度不变特征变换(Principle Component Analysis-Scale InvariantFeature Transform,PCA-SIFT)特征、加速鲁棒特征(Speeded Up Robust Features,SURF)。文献D.Lowe.Distinctive image features from scale-invariantkeypoints.International Journal of Computer Vision,vol.2,no.60,pp.91-110,2004.提出的SIFT特征具有对旋转、尺度和亮度不变性，同时对仿射变换、视角变化和噪声等也有一定的鲁棒性，在各种特征点中具有最好性能。PCA-SIFT和SURF在计算效率上做了改善，但以牺牲一定程度的鲁棒性为代价。文献[12]刘兆庆,李琼,刘景瑞,彭喜元.一种基于SIFT的图像哈希算法,仪器仪表学报,vol.32no.9,September 2011,pp.2024-2028.以分布质心为标准对提取的SIFT特征点进行筛选并量化，最后生成若干个二值哈希序列。文献Xudong Lv,and Z.Jane Wang.Perceptual image hashing based on shape contextsand local feature points.IEEE Transactions on Information Forensics andSecurity,vol.7,no.3,pp.1081-10836,Mar.2012.将用于目标识别的形状语义和SIFT特征点结合提出了一种的哈希算法，得到实值哈希序列的维数降低至20维，综合性能相比NMF方法也得到了大幅提高。文献Hefei Ling,Ling yu Yan,Fuhao Zou,Cong Liu,HuiFeng.Fast image copy detection approach based on local fingerprint definedvisual words.Signal Processing,93,pp.2328-2338,2013.将每一SIFT描述子量化为32比特二值序列作为词典中一个元素，在此基础上设计了一种快速检索框架，鲁棒性和检索效率都取得了不错效果。文献颜雪军,赵春霞,袁夏.2DPCA-SIFT:一种有效的局部特征描述方法,自动化学报vol.40,no.4,April,2014,pp.675-582.为了提高PCA-SIFT的计算效率，提出了2DPCA-SIFT方法，在保证性能相当的同时降低了计算复杂度。以上方法均是以SIFT的描述子为基础构建的哈希序列，没有着重考虑哈希的紧凑性，并且上述方法中对每一幅图像提取若干个特征点，每个特征点对应一个哈希子序列，即每幅图像对应若干个哈希子序列，采用交互匹配方式对数据库中所有哈希序列进行匹配，提高了匹配次数导致计算效率 降低。

SIFT特征是图像局部区域梯度突出关系的一种反映，不但对旋转、尺度缩放具有不变性，同时对亮度变化、噪声、滤波具有很好的鲁棒性，并且对每幅图像生成的特征点数量非常多，这些因素使得图像中的特征点保持数量和位置分布的稳定性。图1给出了1000幅图像的SIFT数量变化图，从上到下依次对应原始图像、模板3*3的中值滤波、JPEG压缩30％、添加盐椒噪声(密度0.03)、亮度变换(Gamma因子1.1)，其中第一行是特征点数量，图像的特征点数量范围为52～1118，平均值约为470。图1第2行至第5行为特征点数量变化率，均值依次为5.2％、42.4％、7.3％，-1.4％。图像受到中值滤波、盐椒噪声、亮度变换时特征点数量相对稳定，受到深度有损压缩时，图像解码过程中失去了较多细节信息，图像局部数据变化不够平滑，导致特征点数量增加幅度较大。通过深入分析发现，增加或减少的特征点总体位置分布比较均匀，也就是说特征点的变化基本不影响总体分布，特征点在局部区域内的数量关系相对稳定。图2给出了8幅图像特征点在X轴上投影的分布情况，从上到下依次对应原始图像、中值滤波、JPEG压缩、添加噪声、亮度变换，从中可以看出投影点总体分布趋势基本保持不变。按照类似分析方法，得到特征点的方向分布较特征点投影分布更为稳定，可以直接用来构造二值哈希。

发明内容

本发明的目的在于利用图像归一化方向和全部SIFT特征点在图像中分布的独特性和稳定性作为图像的特征，将不同区域特征点数量关系组建二值哈希序列，利用归一化方向作为哈希索引提高匹配准确率和效率。本方法在失真拷贝检测方面不但具有很高的检测准确度，而且哈希编码长度明显降低，从根本上提高了匹配效率。

本发明在设计哈希算法时将稳定的归一化方向和SIFT特征点相结合组成哈希表，并且综合衡量方法的鲁棒性与紧凑性，在满足鲁棒性要求下，设计最紧凑的二值哈希序列。本发明在鲁棒性、独特性、紧凑性三个方面都能取得较好效果。本发明的哈希登记过程和哈希匹配过程如图3所示，特征点投影如图4所示。下面分别详细叙述哈希登记与匹配过程。

哈希登记过程如下：

(1)对待登记图像计算归一化方向，检测所有SIFT特征点；

(2)以图像中心为坐标原点，以归一化方向为参考建立投影直线系；

(3)将SIFT特征点投影在直线上，根据投影点到参考点的距离得到序列向量；

(4)对得到的距离序列划分区间，统计各区间元素数量；

(5)根据相邻区间像素的数量关系生成二值哈希子序列；

(6)重复步骤(3)～(5)，对所有直线生成哈希子序列；

(7)按照步骤(4)、(5)，将SIFT特征点的方向生成哈希子序列；

(8)将所有哈希子序列串接形成哈希序列；

(9)以归一化方向为索引，将哈希序列登记入数据库。

哈希匹配过程如下：

(1)对待检图像计算归一化方向和旋转方向、检测所有SIFT特征点；

(2)以图像中心为坐标原点，用旋转方向对归一化方向进行补偿，建立投影直线系；

(3)将SIFT特征点投影在直线上，根据投影点到参考点的距离得到序列向量；

(4)对得到的距离序列划分区间，统计各区间元素数量；

(5)根据相邻区间像素的数量关系生成二值哈希子序列；

(6)重复步骤(3)～(5)，对所有直线生成哈希子序列；

(7)按照步骤(4)、(5)，将SIFT特征点的方向生成哈希子序列；

(8)将所有哈希子序列串接形成哈希序列；

(9)以归一化方向为参考标准，在哈希数据库中确定参考范围，与确定范围内的哈希计算汉明距离；

(10)用汉明距离与设定阈值进行比较作出待检图像是否为数据库中已登记图像的判断。

本发明可以有效检测图像失真拷贝，鲁棒性得到保证的同时，哈希编码长度获得明显降低，从根本上提高了匹配效率。

附图说明

图1SIFT特征点在失真图像拷贝变化情况(原始图像、中值滤波、JPEG压缩、盐椒噪声、亮度变换)；

图2SIFT特征点在X轴投影分布(1原始图像 2中值滤波 3 JPEG压缩 4盐椒噪声 5亮度变换)；

图3哈希框架；

图4特征点投影到直线示意图；

图5JPEG压缩失真拷贝的查准率-查全率；

图6旋转、缩放失真拷贝的查准率-查全率；

图7滤波失真拷贝的查准率-查全率；

图8添加噪声或亮度非线性变换失真拷贝的查准率-查全率；

图9平均查准率-查全率。

具体实施方式

哈希登记过程具体分为下面九个步骤：

第一步：计算归一化方向和检测特征点。设待登记图像I′大小为M′×N′，将其变换为M×M的图像I，其中M＝min(M′,N′)，计算图像I的归一化方向θ，检测所有SIFT特征点S＝{s_i|i∈Λ}，Λ表示所有特征点下标集合。

第二步：建立直线系。将图像的坐标原点(0,0)平移至(M/2,M/2)，建立4条直线组成的直线系，方向分别为θ、

第三步：计算点s_i在直线y＝kx上的投影距离。假设特征点s_i在新坐标系中的坐标为(a_i,b_i)，其在直线y＝kx上的投影点为

与新坐标系中参考点(0,0)的距离为

若a_i+kb_i>0结果取正号，否则取负号。

第四步：计算区间投影向量。组成元素升序的投影距离向量D＝{d_i|d_i≤d_i+1,i∈Λ}，将[-M/2,M/2]均分为p+1个区间，统计向量D中元素落在各区间的数量得到V＝[v₁,v₂,…,v_j,v_j+1,…,v_p+1]，v_j＝size([d_j,d_j+1])表示落在第j个区间的投影点数量。

第五步：构建哈希子序列。根据区间投影向量V构建H₁＝[h₁,h₂,…,h_j,h_j+1,…,h_p]，h_j＝0 if v_j≥v_j+1,h_j＝1 if v_j<v_j+1。

第六步：重复第二步至第四步得到H₂，H₃，H₄。

第七步：计算区间方向向量Ω。组成元素升序的方向向量γ＝{γ_i|γ_i≤γ_i+1,i∈Λ}，γ_i表示特征点s_i的方向，将[-π,π]均分为q+1个区间，统计向量γ中元素落在各区间的数量得到Ω＝{ω₁,ω₂…,ω_j,ω_j+1,…,ω_q+1}，其中ω_j＝size([γ_j,γ_j+1])表示第j区间的元素数量。

第八步：构建哈希子序列。根据区间方向向量Ω构建H_ω＝[h₁,h₂,…,h_j,h_j+1,…,h_q]，h_j＝0 if ω_j≥ω_j+1,h_j＝1 if ω_j<ω_j+1。

第九步：哈希序列登记入库。生成哈希序列H_α＝H₁⊕…⊕H₄⊕H_ω，符号⊕表示向量串 联。以归一化方向θ_α＝θ为索引，将哈希序列入库Σ＝{(θ_α,H_α)|θ_α≤θ_α+1,α∈Α}。

哈希匹配过程具体分为下面十一个步骤：

第一步：计算归一化方向、特征点、旋转角度。设待匹配图像

大小为

将其变换为

的图像

其中

计算图像

的归一化方向

检测所有SIFT特征点

表示所有特征点下标集合，计算图像

的旋转角度

第二步：建立直线系。将图像的坐标原点(0,0)平移至(

)，建立4条角度补偿的直线系，方向分别为

第三步：计算点在直线上的投影距离。假设特征点在新坐标系中的坐标 为 其在直线上的投影点为与新坐标系中参考点(0,0)的距 离为

若

结果取正号，否则取负号。

第四步：计算区间投影向量。组成元素升序的投影距离向量 将 均分为p+1个区间，统计向量中元素落在各区间的数量得到

表示落在第j个区间的投影点数量。

第五步：构建哈希子序列。根据区间投影向量构建

第六步：重复第二步至第四步得到

第七步：计算区间方向向量组成元素升序的方向向量表示特征点的方向，将[-π,π]均分为q+1个区间，统计向量中元素落在各区间的数量 得到

其中

表示第j区间的元素数量。

第八步：构建哈希子序列。根据区间方向向量构建

第九步：生成哈希序列

符号⊕表示向量串联。

第十步：计算汉明距离。依据归一化方向θ与数据库中索引θ_α确定匹配范围

index(·)表示计算下标。计算汉明距离

其中L表示哈希长度，H_αk表示哈希序列H_α的第k个元素。

第十一步：作出是否登记判断。如果hd_α≥Threshold则第α幅图像为已登记图像，否则为未登记图像。

为了说明发明的性能，采用查准率与查全率评价算法的性能，定义查准率和查全率分别为

其中TP表示正确匹配的数量，即哈希库中已注册数据被正确识别的数量；FP表示错误匹配的数量，即哈希库中未注册数据被错认为已注册数据的数量；FN表示漏匹配的数量，即哈希库中已注册数据未被识别出的数量。查准率precision表示系统检测的准确率，对应哈希的独特性；查全率recall反映系统检测的全面性，对应哈希的鲁棒性，两者的值越高表明系统的独特性和鲁棒性越好。将阈值在一范围内变化，可以得到一组PR数据，然后用曲线表示可以得到PR曲线图。

采用Corel数据库进行仿真，数据库中1000幅图像共分10种类别，分别包含非洲人、海滩、建筑、公交车、恐龙、大象、花、马、山脉、食物。投影区间数量参数p分别设置为30和20，方向区间数量q设置20，哈希序列总长度分别为140和100比特。阈值变化范围设为0.6～0.85。对数据库中的图像分别生成24幅拷贝，1000幅图像共得到24000幅失真拷贝。失真拷贝包括7幅JPEG压缩图像(0.3～0.9间隔0.1)，4幅亮度非线性变换图像(Gamma因子0.8～1.2)，1幅中值滤波图像(模板3×3)，1幅高斯滤波图像(模板3×3)，2幅维纳滤波图像(模板3×3，5×5)，2幅盐椒噪声图像(密度0.02，0.03)，2幅高斯噪声图像(方差0.004)，1幅乘性噪声图像(强度0.02)，2幅缩放图像(因子0.8，1.2)，3幅旋转图像(2，5，10度)。结果见图5、图6、图7、图8、图9。

Claims (1)

1.基于特征点投影的紧凑型图像哈希方法，包括两个主要步骤，哈希登记过程和哈希匹配过程，其中：

(一)哈希登记过程为：

(1)对待登记图像计算归一化方向，检测所有SIFT特征点；

(2)以图像中心为坐标原点，以归一化方向为参考建立投影直线系；

(3)将SIFT特征点投影在直线上，根据投影点到参考点的距离得到序列向量；

(4)对得到的距离序列划分区间，统计各区间元素数量；

(5)根据相邻区间像素的数量关系生成二值哈希子序列；

(6)重复步骤(3)～(5)，对所有直线生成哈希子序列；

(7)由特征点的方向组成元素升序的方向向量，统计向量中元素落在各区间的数量得到区间方向向量，根据区间方向向量构建哈希子序列；

(8)将所有哈希子序列串接形成哈希序列；

(9)以归一化方向为索引，将哈希序列登记入数据库；

(二)哈希匹配过程为：

(1)对待检图像计算归一化方向和旋转方向、检测所有SIFT特征点；

(2)以图像中心为坐标原点，用旋转方向对归一化方向进行补偿，建立投影直线系；

(3)将SIFT特征点投影在直线上，根据投影点到参考点的距离得到序列向量；

(4)对得到的距离序列划分区间，统计各区间元素数量；

(5)根据相邻区间像素的数量关系生成二值哈希子序列；

(6)重复步骤(3)～(5)，对所有直线生成哈希子序列；

(7)由特征点的方向组成元素升序的方向向量，统计向量中元素落在各区间的数量得到区间方向向量，根据区间方向向量构建哈希子序列；

(8)将所有哈希子序列串接形成哈希序列；

(9)以归一化方向为参考标准，在哈希数据库中确定参考范围，与确定范围内的哈希计算汉明距离；

(10)用汉明距离与设定阈值进行比较作出待检图像是否为数据库中已登记图像的判断。

Images