CN104008174A - 一种海量图像检索的隐私保护索引生成方法 - Google Patents

Abstract

本发明公开一种海量图像检索的隐私保护索引生成方法，涉及海量图像检索中的隐私保护问题，将隐私保护融入到图像检索中，本发明方法建立一种具有隐私保护的图像索引，在保证检索性能的同时，保护用户隐私信息的安全。本发明首先，提取并优化尺度不变特征转换SIFT和HSV颜色直方图，采用局部保持投影的流形降维方法对特征进行降维，并将降维后的特征数据用于构建词汇树。利用词汇树建立倒排索引结构，本发明不仅减少了特征的个数，提高了明文域图像检索的速度，更优化了图像检索的性能。本发明在明文域检索框架的基础上加入隐私保护，利用二元随机编码和随机投影对倒排索引进行双重加密，实现了具有隐私保护的图像索引。

Description

一种海量图像检索的隐私保护索引生成方法

技术领域

本发明涉及海量图像检索中的隐私保护问题，将隐私保护融入到图像检索中，旨在建立一种具有隐私保护的图像索引，在保证检索性能的同时，保护用户隐私信息的安全。

背景技术

随着现代信息技术的飞速发展，特别是近年来云计算、社交媒体等大规模新型应用的不断推广，图像/视频等数据量迅猛增长。作为对图像/视频资源进行合理利用和有效管理的重要手段，基于内容的海量图像检索技术(CBIR，Content-based Image Retrieval)也因此成为目前图像检索领域的研究热点。

但是，现有的图像搜索技术所关注的是如何设计有效的机制来提高检索的性能，而往往忽略了用户隐私信息的保护等安全性问题。实际上，在各种图像/视频数据中，尤其是社交网络产生的大数据中，包含了各种各样的用户隐私信息，这些隐私信息的泄漏将会给用户带来无法估量的负面影响。存储在服务器端的用户隐私数据通常会受到不可信赖的管理操作或恶意入侵者的攻击，存在着被窃取、泄漏和篡改的巨大风险。

为了阻止在图像检索、图像传输和共享过程中频发的侵权行为，需要一种行之有效的隐私保护手段来保证图像信息的安全性，使得用户能够进行安全的检索，保证图像隐私信息的安全性。数据加密是一种非常常用、且有效的安全保护措施。很显然，加密虽然可以保证图像内容的安全，但是现有的图像检索技术无法对加密后的图像直接进行检索。因此，如何设计有效的隐私保护检索机制，在保证用户隐私信息不泄露的情况下，准确、快速地检索出用户感兴趣的图像就成为目前图像搜索技术需要重点解决的一个问题。

在基于隐私保护的海量图像检索技术中，需要同时考虑两个方面的因素：(1)保护图像内容的安全性和隐私性；(2)建立面向海量图像的、可供查询的安全索引，既保证检索的安全性，又满足图像检索速度的需求。图像内容的安全保护可以通过成熟的加密算法来实现，例如高级加密标准(AES，Advanced Encryption Standard)和RSA(Rivest，Shamirand Adleman)公钥加密算法均可以对图像进行加密，保护图像内容的安全性和隐私性。

本发明将加密技术与图像检索结合起来，提出了一种海量图像检索的隐私保护索引生成方法，该方法可以生成具有隐私保护的图像索引，在保证检索性能的同时，保证检索的安全性和隐私性，满足海量图像检索在安全性和速度上的需求。

发明内容

本发明的目的在于，提出了一种海量图像检索的隐私保护索引生成方法。首先，提取并优化SIFT(Scale Invariant Feature Transform)特征和HSV(Hue，Saturation and Value)直方图，采用局部保持投影(LPP，Locality Preserving Projections)的流形降维方法对特征进行降维后，并将降维后的特征数据用于构建词汇树。利用词汇树建立倒排索引结构，这种方法不仅减少了特征的个数，提高了明文域图像检索的速度，更优化了图像检索的性能。接下来，本发明在明文域检索框架的基础上加入隐私保护，利用二元随机编码和随机投影对倒排索引进行双重加密，实现了具有隐私保护的图像索引。本发明的具体实现框架如图1所示。

本发明采用以下技术手段实现：

一种海量图像检索的隐私保护索引生成方法，包括：尺度不变特征转换SIFT和HSV颜色直方图的提取和优化、局部保持投影LPP降维、词汇索引构建以及隐私保护索引生成，其特征在于包括如下步骤：

步骤1：SIFT特征和HSV直方图特征的提取和优化，构建图像特征库；

步骤1.1：提取SIFT特征；

步骤1.2：对SIFT进行合理优化：对SIFT描述符集中的区域进行优化整合，以较少数量的描述符对图像内容进行准确的表征，设定图像中第i个SIFT描述符的横纵坐标分别为Sift_des[i].x，Sift_des[i].y，优化阈值为T_opt，优化范围为R_opt；对于任意两个不同的SIFT描述符Sift_des[i]与Sift_des[j]，当两点的横坐标和纵坐标的距离均小于优化阈值T_opt时，则表示这些点存在于需要优化的范围R_opt内，需要进行优化操作，即：将存在于R_opt内的所有特征点合并成一个特征点，以它们的均值代表该范围内的所有特征点；如果该两点的横坐标距离或者纵坐标距离大于优化阈值T_opt时，则表示这些点无需进行优化，优化方法如下：

优化后的SIFT特征点个数明显减少，提高检索速度；

步骤1.3：提取HSV颜色直方图特征；

步骤1.4：利用SIFT特征和HSV直方图特征共同形成图像特征库；

步骤2：利用LPP对图像特征进行降维；

步骤2.1：构建邻接图，计算图上每个点x的k最邻域点，计算每条边的权重W_ij，不相连的边权重为0，否则为1，计算特征向量方法如下：

XL_pX^Ta＝λXD_diaX^Ta       (2)

其中，图像特征X∈R^D×N，N为样本个数，每个样本有D维特征，D_dia是对角矩阵，D_ii＝∑_jW_ji；L_p＝D_dia-W，L_p是半正定的拉普拉斯矩阵，W是由权重Wi_j构成的稀疏对称矩阵；

步骤2.2：依据约束条件a^TXD_diaX^Ta＝1，计算最小化函数，方法如下：

$\underset{a}{\arg \min }=a^T{\mathrm{XL}}_p{X}^{T}a---\left(3\right)$

其中，前d个最小的非零特征值对应的特征向量即为投影矩阵；

步骤2.3：利用投影矩阵A＝{a_i}∈R^D×d(d<D,a_i≠0)，找到数据的低维嵌入表示，方法如下：

Y＝A^TX       (4)

其中，Y即为降维后的特征向量；

步骤3：词汇树索引的构建；

步骤3.1：随机的选取K个初始聚类中心C_i；

步骤3.2：使用分层K-means，计算聚类中心C_i与每个特征点的距离，并把与聚类中心距离最小的点归到该类中；

步骤3.3：重新计算每个聚类中心C_i；

步骤3.4：计算判断聚类中心C_i与所属该类的特征点之间的距离是否满足收敛阈值，如果不满足，则重复步骤2、步骤3，直到满足收敛阈值且聚类中心不再发生变化；

步骤3.5：继续对聚类得到的K个簇集利用K-means算法聚类，再分成K个簇集，重复步骤3.1-步骤3.4，直至达到词汇树的高度L时，停止聚类，形成特征词汇树，其中K＝10，L＝3；

步骤3.6：统计每个特征点的词频-倒排文件频率TF-IDF加权，其中TF表示的是词频，词汇树中的节点i，对每一个视觉单词C_i，查询图像和数据库中图像通过节点i的特征数分别为q_i和d_i，IDF计算方法如下：

$\mathrm{IDF}=\log \frac{N}{N_i}={\mathrm{\&omega;}}_i---\left(5\right)$

其中，N是图像库的图像总数，N_i是包含节点i的图像的数量，查询图像的索引向量为Q_i＝q_iw_i，数据库中图像的索引向量表示为D_i＝d_iw_i；

步骤4：隐私保护索引的生成；

步骤4.1：将数据库的索引F＝{fi}放大1,000,000倍，四舍五入成为整数，找到最大的整数，将该倒排索引利用二进制数表示，方法如下：

其中fi_max为最大的整数索引，Dig_max为二进制的最大位数；

步骤4.2：将所有整数形式的索引表示为二进制数，将位数不足Dig_max的二进制数前补零，方法如下：

其中Dig_i表示的是b(f_i)的二进制位数；

步骤4.3：将所有整数依次提取b(f_i)的n个bit位，将b(f_i)重新排列为新的向量，方法如下：

b(f_i)＝[b(f_i1),b(f_i2),...,b(f_im)]         (9)其中m＝Dig_max/n，经过二元随机编码的倒排索引可以表示为其中N是图像的数量，d_new是经过二元随机编码后，新索引的维度；

步骤4.4：使用高斯随机投影矩阵进行随机投影，其中d_new是原始维度，d'是降维后的维度，加密函数可以定义为：ε(b(F))＝b(F)·G'；

步骤4.5：图像的索引完成随机投影之后，利用L₁范数对加密索引的距离进行度量，方法如下：

$d_{\mathrm{\&epsiv;}}\left(\mathrm{Similar}\right)=d_{\mathrm{\&epsiv;}}\left(\mathrm{\&epsiv;}(b\underset{i\&NotEqual;j}{\left(f_i\right)},b\left(f_j\right))\right)={\left|\right|\mathrm{\&epsiv;}\left(b\left(f_i\right)\right)-\mathrm{\&epsiv;}\left(b\left(f_j\right)\right)\left|\right|}_1---\left(10\right)$

步骤4.6：对相似性结果进行排序，将最终将前k幅图像返回显示给用户，方法如下：

d_ε(Similar)＝αd_ε(Sim_SIFT)+βd_ε(Sim_HSV)     (11)

其中α，β分别为SIFT特征词汇树和HSV直方图词汇树的匹配权重，α＝1.5，β＝0.3。

本发明与现有技术相比，具有以下明显的优势和有益的效果：

本发明通过优化SIFT特征，采用LPP的流形降维方法对SIFT特征和HSV直方图进行降维，利用降维后的特征数据构建词汇树。接下来，基于词汇树建立了倒排索引结构，这种方法不仅大大减少了SIFT特征点的个数，提高了图像检索的速度，也优化了图像检索的性能。接下来，本发明利用二元随机编码和随机投影对倒排索引进行双重隐私保护，实现了一种海量图像检索的隐私保护索引生成方法。其优势具体表现在：

1、传统的SIFT描述符在具有相同特征的某些区域内过于集中，本发明对该区域的SIFT描述符进行优化整合，利用较少数量的描述符对图像内容进行准确的表征；

2、利用LPP流形方法对海量高维特征数据进行降维，解决了“维度灾难”这一问题，有效地减少了构建词汇树所用的离线训练时间；

3、在图像检索过程中采用一个树状的结构，不用遍历所有的视觉单词去寻找匹配的图像，满足了海量图像检索对速度上的需求；

4、利用二元随机编码和随机投影构建隐私保护索引，并设置SIFT特征词汇树和HSV直方图词汇树的匹配权重，能够在不解密的前提下，为用户提供安全可靠的并且精准的搜索性能。

附图说明

图1海量图像的隐私保护检索框图；

图2词汇树构建过程示意图；

图3隐私保护索引生成流程图；

图4隐私保护的海量图像检索结果图；

图5有隐私保护与无隐私保护的海量图像检索的查全率－查准率曲线；

图6利用错误密钥攻击的海量图像检索查全率－查准率曲线；

图7利用错误的比特位攻击的海量图像检索查全率－查准率曲线；

图8利用LPP降维攻击的海量图像检索查全率－查准率曲线。

具体实施方式

以下结合说明书附图，结合上述描述，介绍本发明的具体实施流程：

(1)对海量图像库中的图像分别提取SIFT特征和HSV颜色直方图特征，得到2种特征向量；

(2)对得到SIFT特征和HSV颜色直方图特征利用公式(2)～(4)进行LPP降维，得到降维后的特征向量；

(3)对降维后的特征进行分层聚类，形成词汇树，并利用公式(5)统计图像倒排索引；

(4)通过统计方法构建图像库中每幅图像的索引，利用公式(6)～(9)对索引进行加密，将图像对应的隐私保护索引存储在图像特征库中。

(5)查询时，提取查询图像的SIFT特征和HSV颜色直方图特征，并建立隐私保护索引。将查询图像的安全索引与图像特征库的索引逐一进行对比，利用公式(10)计算索引之间的距离。按照公式(11)从小到大的顺序对距离进行排序，将前k个距离对应的图像作为检索结果返回显示给用户。

利用从Corel标准数据库、百度，以及Flickr中获得的一共22,908张不同大小的彩色图像进行了测试，其中包含了非洲人、海滩、建筑、飞机、赛车、花，蝴蝶等50种不同类别的图像。图像特征库由图像库中图像的SIFT特征和HSV直方图组成，特征提取工作离线进行，特征提取、词汇树索引的构建和LPP降维方法是公知技术。

下面对本发明的具体实施例加以说明。

1、有关评价标准；

图像检索性能常利用查准率(precision)和查全率(recall)作为评判标准。定义检索结果中相似图像的数量为SIR(the number of Similar Images Retrieved)，检索结果中不相似的图像数量为NSIR(the number of Non-Similar Images Retrieved)，以及没有检索到的相似图像数量为SINR(the number of Similar Images Not Retrieved)。查准率和查全率的定义如公式(12)，(13)所示：

$\mathrm{precision}=\frac{\mathrm{SIR}}{\mathrm{SIR}+\mathrm{NSIR}}---\left(12\right)$ $\mathrm{recall}=\frac{\mathrm{SIR}}{\mathrm{SIR}+\mathrm{SINR}}---\left(13\right)$

查准率反映了一个检索算法的准确性，而查全率反映了检索算法的全面性。

从统计学的角度考虑，F-measure是评价检索性能的另一个评价标准。它同时考虑了查全率和查准率，并因此对检索性能进行了综合的评价。F-Measure是查全率和查准率的加权调和平均。

通常情况下，F-measure的计算公式如公式(14)所示：

$F_{\mathrm{\&beta;}}=(1+{\mathrm{\&beta;}}^2)\&CenterDot;\frac{\mathrm{precision}\&CenterDot;\mathrm{recall}}{({\mathrm{\&beta;}}^2\&CenterDot;\mathrm{precision})+\mathrm{recall}}---\left(14\right)$

其中β是正实数。当β＝1时，就是传统的F₁-measure，公式(14)可化简为：

$F_1=\frac{2\&CenterDot;\mathrm{precision}\&CenterDot;\mathrm{recall}}{\mathrm{precision}+\mathrm{recall}}---\left(15\right)$

F₁的范围是[0,1]，当F₁值越大时则能说明实验方法比较有效。

2、隐私保护索引的检索性能

在隐私保护的海量图像检索实验中，对图像库中的22,908张图像进行测试，通过训练得到分支K＝10，高度L＝3的词汇树，共得到2,220个视觉单词。本发明对倒排索引进行加密形成隐私保护索引，从而实现了海量图像检索的隐私保护索引生成方法。隐私保护的海量图像检索结果如图4所示。

首先将明文域的倒排索引扩大1,000,000倍，然后将扩大后的倒排索引四舍五入，对索引取整并转化成二进制数b(F)。依次提取b(F)的4个bit位，进行重新排列。在经过随机二元编码之后，使得原来2,220维(其中D_IndexSIFT＝1,110，D_IndexHSV＝1,110)的倒排索引增加至11,100维。

这样高维度的索引，无法满足海量图像检索的高效性。于是，本发明利用基于密钥的高斯随机矩阵对b(F)进行降维至256维(D_IndexSIFT＝128，D_IndexHSV＝128)，同时利用随机投影矩阵对b(F)进行二次加密。

有隐私保护与无隐私保护的海量图像检索的查全率－查准率曲线如图5所示，其中2条不同颜色的曲线分别代表的是经过LPP将特征维度降至8维后，基于词汇树构建的2,220维倒排索引，以及利用二元随机编码和高斯随机投影双重加密得到256维的隐私保护索引。表1所示的是他们各自的查准率，平均查准率，平均查全率和F₁值。

从表1中，我们可以看出，与SIFT和HSV特征的维度降低为8维的检索性能相比，利用二元随机编码和高斯随机投影对索引进行双重加密的性能略有下降，查准率为达到82.1％，F₁的值为0.560，说明本发明提出的加密方法可以较好维持图像检索的性能，具有一定的有效性。

3、安全性分析

下面对三种攻击情况进行安全性分析，表2所示的是恶意攻击情况下图像检索查准率，平均查准率，平均查全率和F₁值。

1)第一种攻击情况为：黑客已知用户利用二维编码和高斯投影对索引进行加密，并窃取了编码比特位数。但高斯投影正确的密钥对于黑客而言是未知的，于是利用错误的密钥对索引进行降维，最终得到256维查询索引。

这种攻击下的检索结果如图6所示。通过统计实验数据，从表2可以看出，在这种攻击情况下的查准率仅为16.9％，F₁仅为0.233。

2)第二种攻击情况为：黑客已窃取了高斯投影的密钥，但是黑客无法获取随机二维编码正确的比特位数，则利用错误的比特位数对索引进行编码，通过高斯投影进行降维，得到256维查询索引。

这种攻击下的检索结果如图7所示。统计实验数据之后，从表2可以看出，在这种攻击情况下的查准率仅为15.1％，F₁仅为0.210。

3)第三种攻击情况为：黑客暂时无法得知数据库中安全索引的加密方式，于是黑客利用常用的降维方法，使得查询的维数降为256维，尝试对安全索引进行攻击。

这种攻击下的检索结果如图8所示。通过统计数据，从表2可以观察到在这种攻击情况下的查准率仅为12.4％，F₁仅为0.205。

通过分析上述三种攻击情况，说明本发明提出的二元随机编码和高斯随机投影的加密方案在保证检索性能的同时，具有一定抵御攻击的能力。

综上所述，通过分析与对比加密域图像的检索性能和安全性，说明本发明采用的加密方式能够将隐私保护保护安全的融入到图像检索中，直接在已加密的图像数据库中进行检索，为用户提供有效的并且精准的搜索。

最后应说明的是：以上示例仅用以说明本发明而并非限制本发明所描述的技术方案；因此，尽管本说明书参照上述的示例对本发明已进行了详细的说明，但是，本领域的普通技术人员应当理解，仍然可以对本发明进行修改或等同替换；而一切不脱离发明的精神和范围的技术方案及其改进，其均应涵盖在本发明的权利要求范围当中。

表1.隐私保护的图像检索查准率，平均查准率，平均查全率和F₁值

表2.恶意攻击情况下图像检索查准率，平均查准率，平均查全率和F₁值

Claims (1)

1.一种海量图像检索的隐私保护索引生成方法，包括：尺度不变特征转换SIFT和HSV颜色直方图的提取和优化、局部保持投影LPP降维、词汇索引构建以及隐私保护索引生成，其特征在于包括如下步骤：

步骤1：SIFT特征和HSV直方图特征的提取和优化，构建图像特征库；

步骤1.1：提取SIFT特征；

步骤1.2：对SIFT进行合理优化：对SIFT描述符集中的区域进行优化整合，以较少数量的描述符对图像内容进行准确的表征，设定图像中第i个SIFT描述符的横纵坐标分别为Sift_des[i].x，Sift_des[i].y，优化阈值为T_opt，优化范围为R_opt；对于任意两个不同的SIFT描述符Sift_des[i]与Sift_des[j]，当两点的横坐标和纵坐标的距离均小于优化阈值T_opt时，则表示这些点存在于需要优化的范围R_opt内，需要进行优化操作，即：将存在于R_opt内的所有特征点合并成一个特征点，以它们的均值代表该范围内的所有特征点；如果该两点的横坐标距离或者纵坐标距离大于优化阈值T_opt时，则表示这些点无需进行优化，优化方法如下：

优化后的SIFT特征点个数明显减少，提高检索速度；

步骤1.3：提取HSV颜色直方图特征；

步骤1.4：利用SIFT特征和HSV直方图特征共同形成图像特征库；

步骤2：利用LPP对图像特征进行降维；

步骤2.1：构建邻接图，计算图上每个点x的k最邻域点，计算每条边的权重Wi_j，不相连的边权重为0，否则为1，计算特征向量方法如下：

XL_pX^Ta＝λXD_diaX^Ta

其中，图像特征X∈R^D×N，N为样本个数，每个样本有D维特征，D_dia是对角矩阵，D_ii＝∑_jW_ji；L_p＝D_dia-W，L_p是半正定的拉普拉斯矩阵，W是由权重W_ij构成的稀疏对称矩阵；

步骤2.2：依据约束条件a^TXD_diaX^Ta＝1，计算最小化函数，方法如下：

$\underset{a}{\arg \min }=a^T{\mathrm{XL}}_p{X}^{T}a$

其中，前d个最小的非零特征值对应的特征向量即为投影矩阵；

步骤2.3：利用投影矩阵A＝{a_i}∈R^D×d(d<D,a_i≠0)，找到数据的低维嵌入表示，方法如下：

Y＝A^TX

其中，Y即为降维后的特征向量；

步骤3：词汇树索引的构建；

步骤3.1：随机的选取K个初始聚类中心C_i；

步骤3.2：使用分层K-means，计算聚类中心C_i与每个特征点的距离，并把与聚类中心距离最小的点归到该类中；

步骤3.3：重新计算每个聚类中心C_i；

步骤3.4：计算判断聚类中心C_i与所属该类的特征点之间的距离是否满足收敛阈值，如果不满足，则重复步骤2、步骤3，直到满足收敛阈值且聚类中心不再发生变化；

步骤3.5：继续对聚类得到的K个簇集利用K-means算法聚类，再分成K个簇集，重复步骤3.1-步骤3.4，直至达到词汇树的高度L时，停止聚类，形成特征词汇树，其中K＝10，L＝3；

步骤3.6：统计每个特征点的词频-倒排文件频率TF-IDF加权，其中TF表示的是词频，词汇树中的节点i，对每一个视觉单词C_i，查询图像和数据库中图像通过节点i的特征数分别为q_i和d_i，IDF计算方法如下：

$\mathrm{IDF}=\log \frac{N}{N_i}={\mathrm{\&omega;}}_i$

其中，N是图像库的图像总数，N_i是包含节点i的图像的数量，查询图像的索引向量为Q_i＝q_iw_i，数据库中图像的索引向量表示为D_i＝d_iw_i；

步骤4：隐私保护索引的生成；

步骤4.1：将数据库的索引F＝{fi}放大1,000,000倍，四舍五入成为整数，找到最大的整数，将该倒排索引利用二进制数表示，方法如下：

其中fi_max为最大的整数索引，Dig_max为二进制的最大位数；

步骤4.2：将所有整数形式的索引表示为二进制数，将位数不足Dig_max的二进制数前补零，方法如下：

其中Dig_i表示的是b(f_i)的二进制位数；

步骤4.3：将所有整数依次提取b(f_i)的n个bit位，将b(f_i)重新排列为新的向量，方法如下：

b(f_i)＝[b(f_i1),b(f_i2),...,b(f_im)]

其中m＝Dig_max/n，经过二元随机编码的倒排索引可以表示为其中N是图像的数量，d_new是经过二元随机编码后，新索引的维度；

步骤4.4：使用高斯随机投影矩阵进行随机投影，其中d_new是原始维度，d'是降维后的维度，加密函数可以定义为：ε(b(F))＝b(F)·G'；

步骤4.5：图像的索引完成随机投影之后，利用L₁范数对加密索引的距离进行度量，方法如下：

$d_{\mathrm{\&epsiv;}}\left(\mathrm{Similar}\right)=d_{\mathrm{\&epsiv;}}\left(\mathrm{\&epsiv;}(b\underset{i\&NotEqual;j}{\left(f_i\right)},b\left(f_j\right))\right)={\left|\right|\mathrm{\&epsiv;}\left(b\left(f_i\right)\right)-\mathrm{\&epsiv;}\left(b\left(f_j\right)\right)\left|\right|}_1$

步骤4.6：对相似性结果进行排序，将最终将前k幅图像返回显示给用户，方法如下：

d_ε(Similar)＝αd_ε(Sim_SIFT)+βd_ε(Sim_HSV)

其中α，β分别为SIFT特征词汇树和HSV直方图词汇树的匹配权重，α＝1.5，β＝0.3。