CN112528064A - 一种隐私保护的加密图像检索方法及系统 - Google Patents

Abstract

本发明公开了一种隐私保护的加密图像检索方法及系统，具体实现步骤包括：图像拥有者提取图像的特征向量，并分别对图像和特征向量进行加密后上传至云服务器；查询用户检索时，提取查询图像的查询向量并进行加密，将加密后查询向量和设定的相似度查询阈值生成陷门并发送至云服务器；云服务器根据查询陷门和索引表检索加密图像集，并将检索结果返回至查询用户，查询用户解密后得到检索结果。本发明基于混沌映射图像加密算法，采用卷积神经网络模型提取图像特征，提高了图像检索的效率，且最终云服务器仅返回在阈值范围内的相似结果，并不进行相似排序，从而进一步提高安全性。整个检索过程都是在密文域中实现的，在不泄漏存储数据信息和检索结果相关信息的前提下，有效的实现了图像的安全检索。

Description

一种隐私保护的加密图像检索方法及系统

技术领域

本发明属于图像处理领域，具体为一种隐私保护的加密图像检索方法及系统。

背景技术

随着互联网技术的发展，社交网络平台的应用也在蓬勃发展，网络用户每天都会产生海量的图像，导致人们对图像检索的需求不断增加。而在图像检索的过程中，往往需要充足的存储空间和计算资源，这对于图像拥有者来说满足这些需求往往是有困难的。而随着云计算和存储的日益普及，将服务迁移到云服务器已经迅速成为海量数据存储和管理的趋势，这样虽然减少了图像拥有者的负担，但也引发了新的隐私泄露问题。为了保护图像数据库中的信息在存储和检索过程中不被泄露，一般情况下，图像拥有者会对图像进行加密，然后将加密后的图像集存储在云服务器上。然而，随着图像库的规模增大，查询用户想要在图像库中查找相似的图像结果要么变得非常耗时，要么由于云服务器是半可信的而存在安全隐患。基于这些情况，目前已经存在很多的图像检索方案，但是其所用到的相关技术对于图像检索应用仍存在相应的安全和效率问题。

Zhihua Xia等人在其发表的论文“BOEW:A Content-based Image RetrievalScheme using Bag-of-Encrypted-Words in Cloud Computing”(IEEE Transactions onServices Computing，DOI 10.1109/TSC.2019.2927215)中公开了一种使用词袋模型的基于内容的图像检索方案。该方法首先通过对原始图片进行块置换、颜色值替换、以及块内像素置换进行加密保护；然后采用K-means聚类算法对加密的所有图像划分的每个块进行聚类，从而形成K个质心单词；接着根据每幅图像中质心单词出现频数为每幅图像生成一个K维向量；根据向量之间的欧式距离大小将按照相似等级排序的top-k幅图像作为检索结果反馈给用户。但是，该方案仍然存在不足之处，在计算最相似的top-k个图像时，云服务器会对检索结果进行分析从而得到检索结果的相似度排序大小，因此该方案存在隐私泄露的问题。

崔江涛、薛文卓等人提出的专利申请“一种加密图像检索方法和系统、一种图像检索服务器”(申请号201611174090.1，公布号CN106649690A)中公开了一种基于图像SIFT(Scale-invariant feature transform)特征的安全检索方案，预先接受从图像管理端发来的各个待匹配的图像的加密SIFT特征向量，根据各个图像的加密SIFT特征向量，确定与查询图像相似的相似待匹配图像的标识；然后向图像管理端发送相似加密SIFT特征向量对应的待匹配图像。但是该方案仍存在不足之处，对图像进行SIFT特征提取时，使得一幅图像对应多个特征向量，从而在检索时会增加计算的复杂性，同时降低图像匹配时相应的检索效率。

发明内容

针对现有安全检索技术中检索结果隐私泄露和检索效率的问题，提出了一种隐私保护的加密图像检索方法及系统，查询用户在图像库中进行相似图像检索，图像拥有者将图像加密后上传至云服务器，查询用户生成查询陷门请求并发送给云服务器，收到查询请求后云服务器进行图像库的安全检索，提高了检索效率并隐藏了检索结果的相似度排序信息。

本发明是通过以下技术方案来实现：

一种隐私保护的加密图像检索方法，包括以下步骤：

步骤1，图像拥有者提取图像的特征向量并构建索引表，同时对图像集加密，获取加密图像集，将索引表和加密图像集上传至云服务器；

步骤2，查询用户检索时，提取查询图像的查询向量并进行加密，将加密后查询向量和设定的相似度查询阈值生成陷门并发送至云服务器；

步骤3，云服务器根据查询陷门和索引表检索加密图像集，并将检索结果返回至查询用户，查询用户解密后得到检索结果。

优选的，采用卷积神经网络模型提取出图像的特征向量。

优选的，所述构建索引表的方法具体如下：

S1.1，提取出图像的特征向量；

S1.2，对特征向量进行扩展和置换，根据置换后得到的向量构建对角矩阵，并将置换后得到的向量的分量元素分别按顺序作为对角矩阵X的对角线元素；

S1.3，对对角矩阵X进行加密得到矩阵C_x，将矩阵C_x和与图像ID一一对应起来，形成索引表。

优选的，所述特征向量x＝(x₁，x₂，x₃，...，x_n)；

采用x″＝π(x′)进行元素的随机置换得到置换后的向量x″，π为随机置换函数；

为扩展后的向量。

优选的，所述对角矩阵的加密方法日下：

C_x＝M₁S_xXM₂

其中，S_x代表随机生成的对角线元素为1的下三角矩阵，M₁，M₂代表图像拥有者随机生成的两个可逆矩阵，X为对角矩阵。

优选的，所述生成查询陷门的方法如下：

S2.1、查询用户指定一个数θ作为表示相似度大小的查询阈值，采用卷积神经网络模型对查询图像进行特征提取，得到查询特征向量；

S2.2，对查询特征向量进行扩展和置换，根据置换后得到的向量构建对角矩阵，并将置换后得到的向量的分量元素分别按顺序作为对角矩阵Y的对角线元素；

S3.3，对对角矩阵Y进行加密得到矩阵T_y，并根据矩阵T_y和查询阈值生成查询陷门。

优选的，所述查询特征向量y＝{y₁，y₂，y₃，...，y_n}；

采用y″＝π(y′)进行元素的随机置换得到置换后的向量y″，π为随机置换函数；

扩展后的向量的表达式如下：

所述对角矩阵Y的加密方法如下：

其中，S_y代表随机生成的对角线元素为1的下三角矩阵，

分别代表M₁，M₂的逆矩阵；

优选的，所述云服务器根据查询陷门检索加密图像集的方法如下：

根据I＝C_xT_y计算出I矩阵后，并利用矩阵对角线上所有元素之和的方法计算I矩阵的迹，若迹大于等于零，便将此时C_x所对应的密文图像结果并入检索结果集合{Rq}内，直到遍历完所有的图像后，返回{Rq}给查询用户。

一种隐私保护的加密图像检索方法的系统，包括，

索引构建和图像加密模块，用于图像拥有者提取图像的特征向量并构建索引表，同时对图像集进行加密，将索引表和加密图像集上传至云服务器；

查询陷门模块，用于提取查询图像的查询向量并进行加密，将加密后查询向量和设定的相似度查询阈值生成陷门并发送至云服务器；

检索模块，用于根据查询陷门检索加密图像集，并将检索结果返回至查询用户，查询用户解密后得到检索结果。

与现有技术相比，本发明具有以下有益的技术效果：

本发明提供的由于本方案在提取图像特征向量时，该加密图像检索方法通过在给定阈值的条件下，云服务器返回在指定阈值范围内的所有相似结果，并不进行相似排序，从而进一步提高安全性。整个检索过程都是在密文域中实现的，在不泄漏存储数据信息和检索结果相关信息的前提下，有效的实现了图像的安全检索。对比现有的方案中云服务器最终返回top-k个结果，本方案使得云服务器无法得知检索结果中的图像与查询图像的相似度排序，从而一定程度上保证了检索结果的隐私安全。

进一步，所采用的是卷积神经网络模型提取特征算法，因此相比于传统SIFT特征提取算法，利用卷积神经网络模型提取图像特征简化了图像特征计算过程，克服了图像检索过程中计算时间复杂度大的困难，进一步提高了用户检索的效率。

附图说明

图1为本发明加密图像检索方法的流程图。

具体实施方式

下面结合附图对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。

参阅图1，一种隐私保护的加密图像检索方法，包括以下步骤：

步骤1，构建图像加密系统，生成用于加密算法所需要的密钥。

利用密钥生成算法生成密钥为：

其中，M₁，M₂代表图像拥有者随机生成的两个可逆矩阵，

分别代表M₁，M₂的逆矩阵，π代表一种随机置换函数，它可以随机打乱向量中元素的顺序，kmg代表利用混沌映射算法进行图像加密时所需要的密钥；

步骤2，提取图像的特征向量并构建索引表。

第一步：图像拥有者根据卷积神经网络模型提取出图像的特征向量x＝(x₁，x₂，x₃，...，x_n)；

其中n表示特征向量的维数；

第二步：生成随机数α，r_x；

第三步：将n维特征向量x利用随机数α，r_x进行扩展，从而得到一个n+5维的向量

第四步：对向量x′利用x″＝π(x′)进行元素的随机置换得到置换后的向量x″，根据向量x″构建对角矩阵X，并将向量x″的分量元素分别按顺序作为对角矩阵X的对角线元素；

第五步：对对角矩阵X进行进一步的加密；

所述加密方法为：

C_x＝M₁S_xXM₂

其中，S_x代表随机生成的对角线元素为1的下三角矩阵；

第六步：构建索引表T,T将C_x矩阵与图像ID一一对应起来；

步骤3，加密图像集。

所述加密算法为混沌映射算法，即首先将图像分为大小为16个像素的块，再定义80bit的十六进制密钥和两个混沌逻辑映射的迭代公式，利用密钥计算迭代公式的初始迭代值之后，就可以进一步得到下一个迭代值，不同的迭代值便会与块内像素值进行不同操作的计算，从而更新像素值，直到整个块内像素都被加密。接下来会修改密钥重复上述加密操作进行下一个块的加密，直到加密完整个图像文件，图像拥有者利用此加密算法和图像加密密钥kmg对图像进行加密，得到加密图像集。此图像加密方法的算法细节请参考文献“Image encryption using chaotic logistic map”(Image and Vision Computing 24(2006)926–934)。

步骤4，上传加密图像集和索引表至云服务器。

步骤5，云服务器将密钥经安全信道传送给查询用户。

步骤6，查询用户生成查询陷门并发送至云服务器。

第一步，查询用户指定一个数θ作为表示相似度大小的查询阈值；

第二步，对查询图像进行特征提取，得到查询特征向量y＝{y₁，y₂，y₃，...，y_n}；

第三步，生成随机数β，r_y；

第四步，将n维查询向量y随机数β，r_y进行扩展，得到一个更新后的n+5维的向量

第五步，对向量y′利用y″＝π(y′)进行元素的随机置换得到向量y″，根据向量y″构建对角矩阵Y，并将y″的分量元素分别按顺序作为对角矩阵Y的对角线元素；

第六步，对Y矩阵进行进一步的加密：

所述加密方法如下：

其中，S_y代表随机生成的对角线元素为1的下三角矩阵；

第七步，将TD＝{T_y,θ}作为陷门发送给云服务器；

步骤7，云服务器检索图像集并将检索结果返回至查询用户。

利用式子I＝C_xT_y计算出I矩阵后，并利用矩阵对角线上所有元素之和的方法计算I矩阵的迹，若迹大于等于零，便将此时C_x所对应的密文图像结果并入检索结果集合{Rq}内，直到遍历完所有的图像后，返回{Rq}给查询用户；

步骤8，查询用户解密检索结果：

查询用户用图像拥有者经安全信道发送的密钥对返回的密文图像结果进行解密，从而获得所有在阈值范围内的相似图像结果。

实现本发明目的的思路是，图像拥有者提取出图像的CNN(Convolutional NeuralNetworks)特征向量后，分别对图像和其特征向量进行加密并上传至云服务器，当查询用户请求检索时，首先从查询图像中提取出查询向量，并对查询向量进行加密，从而生成一个查询陷门发送至云服务器，此查询陷门包括一个表示相似度大小的查询阈值以及加密后的查询向量。云服务器收到陷门后进行检索并返回在指定阈值内的所有相似图像。

由于本方案在提取图像特征向量时，所采用的是卷积神经网络模型提取特征算法，因此相比于传统SIFT特征提取算法，利用卷积神经网络模型提取图像特征简化了图像特征计算过程，克服了图像检索过程中计算时间复杂度大的困难，进一步提高了用户检索的效率。

其次，该加密图像检索方法通过在给定阈值的条件下，云服务器返回在指定阈值范围内的所有相似结果，对比现有的方案中云服务器最终返回top-k个结果，本方案使得云服务器无法得知检索结果中的图像与查询图像的相似度排序，从而一定程度上保证了检索结果的隐私安全。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (9)

1.一种隐私保护的加密图像检索方法，其特征在于，包括以下步骤：

步骤1，图像拥有者提取图像的特征向量并构建索引表，同时对图像集加密，获取加密图像集，将索引表和加密图像集上传至云服务器；

步骤2，查询用户检索时，提取查询图像的查询向量并进行加密，将加密后查询向量和设定的相似度查询阈值生成陷门并发送至云服务器；

步骤3，云服务器根据查询陷门和索引表检索加密图像集，并将检索结果返回至查询用户，查询用户解密后得到检索结果。

2.根据权利要求1所述的一种隐私保护的加密图像检索方法，其特征在于，采用卷积神经网络模型提取出图像的特征向量。

3.根据权利要求1所述的一种隐私保护的加密图像检索方法，其特征在于，所述构建索引表的方法具体如下：

S1.1，提取出图像的特征向量；

S1.2，对特征向量进行扩展和置换，根据置换后得到的向量构建对角矩阵，并将置换后得到的向量的分量元素分别按顺序作为对角矩阵X的对角线元素；

S1.3，对对角矩阵X进行加密得到矩阵C_x，将矩阵C_x和与图像ID一一对应起来，形成索引表。

4.根据权利要求3所述的一种隐私保护的加密图像检索方法，其特征在于，所述特征向量x＝(x₁，x₂，x₃，...，x_n)；

采用x″＝π(x′)进行元素的随机置换得到置换后的向量x″，π为随机置换函数；

为扩展后的向量。

5.根据权利要求4所述的一种隐私保护的加密图像检索方法，其特征在于，所述对角矩阵的加密方法日下：

C_x＝M₁S_xXM₂

其中，S_x代表随机生成的对角线元素为1的下三角矩阵，M₁，M₂代表图像拥有者随机生成的两个可逆矩阵，X为对角矩阵。

6.根据权利要求1所述的一种隐私保护的加密图像检索方法，其特征在于，所述生成查询陷门的方法如下：

S2.1、查询用户指定一个数θ作为表示相似度大小的查询阈值，采用卷积神经网络模型对查询图像进行特征提取，得到查询特征向量；

S2.2，对查询特征向量进行扩展和置换，根据置换后得到的向量构建对角矩阵，并将置换后得到的向量的分量元素分别按顺序作为对角矩阵Y的对角线元素；

S3.3，对对角矩阵Y进行加密得到矩阵T_y，并根据矩阵T_y和查询阈值生成查询陷门。

7.根据权利要求6所述的一种隐私保护的加密图像检索方法，其特征在于，所述查询特征向量y＝{y₁，y₂，y₃，...，y_n}；

采用y″＝π(y′)进行元素的随机置换得到置换后的向量y″，π为随机置换函数；

扩展后的向量的表达式如下：

所述对角矩阵Y的加密方法如下：

其中，S_y代表随机生成的对角线元素为1的下三角矩阵，

分别代表M₁，M₂的逆矩阵。

8.根据权利要求7所述的一种隐私保护的加密图像检索方法，其特征在于，所述云服务器根据查询陷门检索加密图像集的方法如下：

根据I＝C_xT_y计算出I矩阵后，并利用矩阵对角线上所有元素之和的方法计算I矩阵的迹，若迹大于等于零，便将此时C_x所对应的密文图像结果并入检索结果集合{Rq}内，直到遍历完所有的图像后，返回{Rq}给查询用户。

9.一种基于权利要求8任一项所述的一种隐私保护的加密图像检索方法的系统，其特征在于，包括，

索引构建和图像加密模块，用于图像拥有者提取图像的特征向量并构建索引表，同时对图像集进行加密，将索引表和加密图像集上传至云服务器；

查询陷门模块，用于提取查询图像的查询向量并进行加密，将加密后查询向量和设定的相似度查询阈值生成陷门并发送至云服务器；

检索模块，用于根据查询陷门检索加密图像集，并将检索结果返回至查询用户，查询用户解密后得到检索结果。

Images