CN110659379A - 一种基于深度卷积网络特征的可搜索加密图像检索方法 - Google Patents

Abstract

本发明公开了一种基于深度卷积网络特征的可搜索加密图像检索方法，在数据拥有设备端，将图像加密并将加密后的图像集存储在服务器端；在服务器端，由服务器提供CBIR服务；根据用户的查询请求对加密的查询图像提取特征，再计算相似度，最后将检索到的检索结果返回给查询用户；在授权查询业务端，向服务器提出查询请求，由服务器返回检索结果后，用户使用密钥对检索结果对应的图像进行解密还原。该基于深度卷积网络特征的可搜索加密图像检索方法具有更高的安全性和检索精度。

Description

一种基于深度卷积网络特征的可搜索加密图像检索方法

技术领域

本发明涉及一种基于深度卷积网络特征的可搜索加密图像检索方法。

背景技术

随着5G，工业物联网以及移动智能成像设备的快速发展，在各种媒体网站生成或分享的图像数量正以越来越快的速度增长。面对如此大规模的图像数据集，CBIR(Content-Based Image Retrieval，CBIR)是帮助我们快速找到感兴趣图像的一种很有前途的技术。然而线下存储空间受限，如何安全高效地存储、处理和管理数据是一个巨大的挑战。幸运的是，云计算技术的兴起为我们提供了一个正确解决这些问题的机会，即将大规模图像数据的管理外包给云服务器。个人或企业将图像数据外包给云服务器，数据拥有者可以从繁琐的存储和管理中解脱出来，并且授权用户也不需要与图像拥有者时时通信就能直接从云服务器中获取所需要的图像。但是，任何技术服务都是有利弊的，一方面我们可以享用由云服务器带来的便利。另一方面对数据拥有者而言，云服务器并不是完全可信的。

为了解决数据隐私保护的问题，现有的可搜索加密方法是在数据外包给云服务器之前对其加密。然而，这种加密搜索机制极大增加了数据拥有者和查询用户的计算开销，现实中在处理具有CBIR服务的大规模图像存储库时这种方案是不可行的。因此，研究者提出将计算开销巨大的步骤外包给云服务器以此来减轻数据拥有者和查询用户的负担。此外，随着人工智能(Artificial Intelligence，AI)的发展，CBIR进一步发展为低层特征和高层语义特征的多层次检索方案。对于低层特征，不论是图像检索还是可搜索加密都是提取图像的一些关键信息。如基于半色调BTC压缩算法的点扩散块截断编码(Dot-DiffuseBlockTruncation coding，DDBTC)特征、局部二值特征(LBP)的图像检索，然而这些方法不适合于多样化的自然图像，从而导致其精度并不高。为了克服这一问题，许多研究者利用了尺度不变特征(Bag-of-Visual-Word，BoW)。该方法提取SIFT或SURF等特征描述符并通过聚类建立码本，相比于其他类型的低层特征BoW是一个能提高检索性能的有效特征。而对于高层语义特征，CNN凭借其高效的特征描述符和精确的检索结果而被广泛采用。一般来说，深度学习产生的特征通过卷积、池化等多种操作在一定程度上可以模拟人类的感知，因此相比于低层特征有更好的特征描述。一些经典的深度学习网络模型主要有AlexNet、Inception、VGG、ResNet以及DenseNet，在这些模型中DenseNet有极高的特征利用率、较窄网络结构和较少的参数，比其他模型有更强的特征表达能力和更少的计算量。

图像检索技术已有二十多年的发展史，并且在许多研究中被成熟的使用，然而，由于隐私的问题图像数据不能直接外包给云服务器，因此为了解决隐私保护的问题，提出了可搜索加密方法(Searchable Encryption Scheme，SSE)。该方法允许数据拥有者将图像加密后再上传到云服务器，并且还能保持图像检索的属性。Lu等人首次提出了基于加密图像数据的隐私保护CBIR方法。该方法用聚类生成的视觉单词来表示图像信息，用Min-hash算法对视觉单词进行加密，以此保证图像特征不会泄露隐私，然后计算视觉单词之间的Jaccard距离。在一些其他研究中，分别采用位平面随机化、随机投影、随机以元编码三种方法对特征进行加密保护。这种方法综合利用了信号处理技术和密码学技术，能够有效的保护图像特征但由于计算量大导致效率低，因此不适合大规模的图像检索技术。同时需要说明的是这三种方法与同态加密算法相比，同态加密需要更大的计算量以及需要消耗更多的内存和通信资源。

我们不仅希望能够很好的保护数据隐私还能充分利用云服务器的计算能力。上文提到的特征加密图像检索方法在外包的CBIR领域取得了令人欣慰的效果，虽然这些算法在一定程度上解决了线下存储空间受限的问题，但存在一个共同的缺陷：数据拥有者计算量大。即数据拥有者要进行图像特征提取、特征加密、构建索引等操作。因此，为了减轻数据拥有者的计算开销，Liu等人提出了一种基于纹理特征的CBIR方法，该方法提取图像的全局差分直方图特征，并且用汉明距离衡量图像之间的相似度Ferreira等人提出了一种新的加密图像检索方法(Image Encryption SchemeContent-Based Image Retrieval，IES-CBIR)，该方法通过像素随机置乱以及像素矩阵行列随机交换的方式进行加密，然后将加密后的图像上传到云服务器。则云服务器直接从加密图像中提取HSV特征，最后通过特征向量之间的汉明距离来匹配图像。IES-CBIR方法的优势是极大减轻了图像拥有者的计算量，让云服务器承担更多的计算开销。然而，该方法选择颜色直方图作为特征向量，却忽略了纹理信息和语义特征信息。

因此，有必要设计一种新的可搜索加密图像检索方法。

发明内容

本发明所要解决的技术问题是提供一种基于深度卷积网络特征的可搜索加密图像检索方法，该基于深度卷积网络特征的可搜索加密图像检索方法具有更高的安全性和检索精度。

发明的技术解决方案如下：

一种基于深度卷积网络特征的可搜索加密图像检索方法，在数据拥有设备端，将图像加密并将加密后的图像集存储在服务器端；

在服务器端，由服务器提供CBIR服务；根据用户的查询请求对加密的查询图像提取特征，再计算相似度，最后将检索到的检索结果返回给查询用户；

在授权查询业务端，向服务器提出查询请求，由服务器返回检索结果后，用户使用密钥对检索结果对应的图像进行解密还原。

加密过程生成的密钥组可表示为：

其中，key₁是RGB通道像素随机置乱的密钥，key₂是Zig-Zag扫描置乱的密钥，RandNum是一个随机数生成器，用于生产一个随机的整数，将该整数，对6做除法其余数的范围为[0，5]，RGB通道置换的6种通道置换方式与该余数一一对应；表示确定哪一种通道置换方式，具体的6种通道置换方式如下：

(1)R→R，G→G，B→B；

(2)R→R，G→B，B→G；

(3)R→G，G→R，B→B；

(4)R→G，G→B，B→R；

(5)R→B，G→R，B→R；

(6)R→B，G→R，B→G；

rgb^*是保护图像颜色信息，置换RGB通道的加密函数，其定义如下：

randperm^*是RGB通道像素转为八位二进制随机置乱的加密函数，其定义如下：

randperm^*←(key₁)；

zig^*是对像素Zig-Zag扫描加密置乱的函数，其定义如下：

zig^*←(key₂)。

Zig-Zag扫描后P″＝{P^R″，P^G″，P^B″}表示图像m″的RGB三通道像素向量集合，即P^R″＝[1，2，...，ImgSize]，P^G″＝[1，2，...，ImgSize]，P^B″＝[1，2，...，ImgSize]分别表示三通道的一维像素向量，其中ImgSize是图像m″每个颜色通道的像素点个数，然后将P″向量集合按三个颜色通道的顺序恢复为ImgSize大小的像素矩阵，Zig-Zag扫描后图像加密完成得到e。

首先在Keras中导入由ILSVRC2012数据集预训练的DenseNet模型，然后使用加密后的图像数据集(发明内容面向的图片是数据拥有者的，但是在本发明中为了方便实验我们使用了公开的图片数据集)对预训练模型进行微调训练，全连接层的神经元的节点数为1024，而在实验中对模型微调训练之后提取1024-dim的全连接层特征向量；

训练过程中，使用的Corel10k和Holidays两个公开的数据集，其图像数量分别为10000和8946，微调训练模型时分别按6∶4，6.5∶3.5，7∶3，7.5∶2.5；8∶2五种比例对两个数据集进行训练集和测试集划分，按训练集和测试集划分的不同比例在Corel10k数据集上进行实验，最后将微调训练的DenseNet模型上传到云服务器。

微调训练就是采用别人的参数、修改后的网络和自己的数据进行训练，使得参数拟合自己的数据。在本发明中，由于训练用的数据集不是很大，每一类图片只有几十或者十几张，因为深度学习成功的一个关键性因素就是大量带标签数据组成的训练集。如果只利用现有的这些数据，即使我们利用非常好的网络结构，也达不到很高的效果。这时微调训练就可以很好的解决我们的问题：我们通过对ImageNet数据集上预训练出来的DenseNet模型进行微调，然后应用到自己的数据集上，从而取得良好的训练效果。

相似度计算是指用加密查询图像特征向量f_q与图像库的所有特征向量进行欧氏距离的相似度计算，计算公式如下：

sim(e_q，E)＝||f_q-f_i||²，其中，i＝1，2，...，n；

sim(e_q，E)为相似度，e_q表示加密查询图像，f_q表示加密查询图像的特征向量，而f_i表示检索图像库E中第i幅图像的特征向量，n是图像库中所有加密图像的数量。根据sim(e_q，E)的值，取相似度最大的k幅图像作为查询结果返回给查询用户。

有益效果：

本发明的基于深度卷积网络特征的可搜索加密图像检索方法，其采用的方案是：

首先，通过设计加密函数从图像的RGB颜色通道、位平面以及像素位置三方面考虑，共同完成对图像的加密。其次，在边缘计算平台上利用加密图像数据集对深度卷积神经网络进行微调训练，构建特征提取器。然后，将加密图像数据和微调训练的特征提取器上传到云服务器。最后基于内容的图像检索(Content-Based Image Retrieval，CBIR)在云服务器中完成。安全性分析和大量实验结果表明，与现有的方法相比，本发明提出的方法具有更高的安全性和检索精度。因此，本发明可以成为可搜索加密图像检索及其相关应用领域最有效的工具之一。

本发明主要有以下方面的贡献：

(1)改善加密算法的有效性。图像加密就是对颜色信息和纹理信息进行保护。在本发明中对RGB颜色通道置换来保护图像的颜色信息，对位平面序列转为八位二进制随机置乱以及Zig-Zag扫描置乱像素位置来保护图像的纹理信息。三个方法共同完成对图像的加密，该方法比标准的加密方法更安全有效。IES-CBIR方法采用安全强度较弱的行列随机交换来保护图像的纹理信息，而本发明则会采用安全强度较高的像素序列转为八位二进制随机置乱以及Zig-Zag扫描置乱像素位置的方法保护纹理信息。

(2)提高检索性能。大量研究表明由卷积神经网络提取的语义特征更能表达图像的信息，从而可以改善检索效果。本发明利用加密图像数据集在边缘计算平台上对预训练的DenseNet模型进行微调，然后在云服务器上提取密文图像的深度卷积特征，最终能提高检索性能。为了实现更高的检索精度，本发明采用微调训练的DenseNet模型提取加密图像的语义特征。

(3)特征提取、相似度计算和检索匹配过程都在云服务器内完成，能相对减少图像数据拥有者的计算开销。

总之，本发明采用多种措施提高了图像的安全性，并且能提高图像检索的精度。

附图说明

图1为基于深度卷积网络特征的可搜索加密图像检索方法的系统流程图；

图2为本发明的架构示意图；

图3为随机置乱示意图；

图4为Zig-Zig扫描示意图；

图5为微调DenseNet模型示意图；

图6为原图及加密效果示意图；

其中图(a)-(e)分别为：(a)原始图像.(b)颜色通道置换加密图像.(c)图像序列加密图像.(d)像素矩阵置乱加密图像.(e)加密完成图像图像。

图7为采用各种方法的平均检索精度对比示意图；

图8为三部分检测样本的平均检索精度示意图；

图9为在Corel10k数据集上与EPCBIR方法检索时间时间消耗对比示意图；

图10为在Corel10k数据集上不同比例检索精度的对比示意图；

图11为在Holidays数据集上不同比例mAP的对比示意图；

图12为在Corel10k数据集上Holidays-model的检索精度的对比图。

具体实施方式

以下将结合附图和具体实施例对本发明做进一步详细说明：

实施例1：如图1所示。发明内容的系统流程图主要由三部分组成：一是由图像拥有设备在边缘计算平台上执行，包括图像加密和微调训练DenseNet网络模型；二是由外包云服务器执行，包括加密图像数据存储和CBIR服务(加密域图像特征提取、相似度计算和检索)；三是由数据查询用户执行，包括构建陷门、请求授权及向云服务器发出查询命令。

图像数据拥有者在边缘计算平台上执行。数据拥有者将由n张图像组成的数据集

进行加密，加密后的图像数据集为

其中m_i和e_i分别表示原始数据集中和加密数据集中的第i张图像，并且数据集在加密前后其识别索引未发生变化，用表示。同时考虑到现有提取密文域图像特征的方法基本都是提取图像的低层特征，而在本发明中为了提高检索精度我们会利用加密图像对DenseNet模型进行微调训练，最终生成一个能提取语义信息的特征提取器。

外包云服务器执行。图像拥有者将加密数据集

存储在云服务器中，解决了线下存储空间受限的问题。同时由边缘计算平台训练的特征提取器上传到云服务器中提取加密图像的语义特征，然后根据用户的查询请求对加密的查询图像提取特征，再计算相似度并检索返回给查询用户需要的图像。在我们的方法中云服务器完成了数据的存储和完整的CBIR服务，在一定程度上减少了数据拥有者的计算开销。

授权查询用户执行。为了保护查询图像的内容，在上传查询图像之前授权用户根据搜索机制生成陷门TD。此外，用户需要向图像数据拥有者请求授权，获得可信授权和密钥。然后云服务器将检索到的相似图像Top-k返回给用户，用户使用密钥对其解密得到图像内容。

设计目标：

(1)安全性。上传至云服务器的图像、数据查询用户发送请求查询时的图像都是加密的，保证了通信网络的安全。另外云服务器不需要知道任何有关图像的信息，包括图像内容、图像特征和陷门构建机制等。

(2)高效和高精度。特征提取等大部分步骤都在云服务器上执行，充分利用了云服务器的计算能力，极大提高了检索效率。同时使用语义特征改善了低层特征准确率较低的问题。

发明内容及具体实施步骤

在这一部分我们将详细介绍发明内容的细节，主要有5个部分：密钥生成、图像加密、DenseNet网络模型的微调训练、完整的CBIR服务、构建陷门，如图2所示。

生成密钥。根据方法的定义，对图像的加密实质上就是保护图像的颜色和纹理信息。在本发明的方法中，通过对RGB三个颜色通道用随机数密钥进行置换来保护图像的颜色信息；而在保护图像的纹理信息中，首先将图像位平面序列转为八位二进制随机置乱，最后使用Zig-Zag扫描置乱像素的位置。因此，加密过程生成的密钥组可表示为：

其中，key₁是RGB通道像素随机置乱的密钥，key₂是Zig-Zag扫描置乱的密钥。

其中，RandNum是一个随机数生成器，可随机生成一个整数。在保护图像的颜色信息中，RGB通道置换的组合方式有6种，而随机生成的整数对6做除法其余数的范围为[0，5]，而在每个通道中都有ImgSize个像素，通道间对应位置上的像素进行随机置换。因此，用随机整数生成器RandNum和密钥

共同确定颜色信息的加密方式。rgb^*是保护图像颜色信息，置换RGB通道的加密函数。其定义如下：

图像纹理信息的加密，除了对颜色通道的像素序列转为八位二进制随机置乱，还要对像素位置进行Zig-Zag扫描置乱。每个颜色通道的像素则是采用密钥key₁转为八位二进制随机置乱。randperm^*是RGB通道像素转为八位二进制随机置乱的加密函数，其定义如下：

randperm^*←(key₁) (2)

而像素位置的Zig-Zag扫描置乱加密，其实质是对RGB颜色通道的二维像素矩阵分别进行扫描置乱。zig^*是对像素Zig-Zag扫描加密置乱的函数，其定义如下：

zig^*←(key₂) (3)

在本发明中，如若只使用RGB颜色通道置换加密其安全性并不强，但图像序列则会根据颜色通道像素的置换而变化，因此再经过转为八位二进制随机置乱如公式(2)和图3所示，将会大大增强其安全性，再结合Zig-Zag扫描置乱共同完成对图像的加密。

上述由三种加密方式共同生成的密钥组K主要用于授权的查询用户，在图像拥有者收到查询用户的授权请求时，会将密钥组发送给查询用户。然后在收到云服务器检索的加密图像后，密钥组K完成解密并获取到图像的内容。

颜色通道置换加密。在rgb^*加密函数中，RGB通道置乱的方式有6种，即

C表示原始图像m的RGB颜色通道，利用公式(4)分离三个通道像素矩阵分别为C^R，C^G，C^B。

则表示三通道像素矩阵(i，j)位置上的像素，其中(i，j)∈ImgSize，ImgSize是图像每个颜色通道的像素个数。利用公式(5)对每个通道上的像素值进行置换，则加密后RGB颜色通道为C′，三个通道像素矩阵分别为C^R′，C^G′，C^B′，三通道(i，j)位置上的像素为

将颜色通道像素置乱加密后的图像表示成m′。图像序列加密。颜色信息加密后需要对RGB通道内的图像序列转八位二进制随机置乱。randperm^*是RGB通道像素转为八位二进制随机置乱的加密函数，C′＝{C^R′，C^G′，C^B′}表示图像m′的RGB三个颜色通道像素矩阵的集合，

则表示C^R′，C^G′，C^B′三个通道像素矩阵(i，j)位置上的像素，其中(i，j)∈ImgSize，ImgSize是图像每个颜色通道的像素个数。然后将所有的像素点转为八位二进制序列，如

最后对每一个八位的二进制序列进行随机置乱操作如图3所示，其中随机数生成器RandNum生成的公用随机数保证能恢复图像。

如图3所示，该示例只是8！种置乱方式种的一种。将随机置乱生成的八位二进制序列表示为

而C′(randperm^*)＝{C^R′(randperim^*，C^G′(randperm^*)，C^B′(randperm^*)}表示RGB三通道的八位二进制随机置乱像素矩阵的集合，序列加密后的图像表示为m″。像素矩阵置乱加密。在RGB颜色信息和图像序列纹理信息都加密的情况下，为了更进一步增强加密安全性，本发明还采用Zig-Zag扫描分别对RGB三通道的二维像素矩阵进行置乱。

如图4所示，Zig-Zag扫描后P″＝{P^R″，P^G″，P^B″}表示图像m″的RGB三通道像素向量集合，即P^R″＝[1，2，...，ImgSize]，P^G″＝[1，2，...，ImgSize]，P^B″＝[1，2，...，ImgSize]分别表示三通道的一维像素向量，其中ImgSize是图像m″每个颜色通道的像素点个数。然后将P″向量集合按三个颜色通道的顺序恢复为ImgSize大小的像素矩阵，Zig-Zag扫描后图像加密完成得到e。上文对RGB通道置换、图像位平面序列转为八位二进制随机置乱、图像二维像素矩阵Zig-Zag扫描置乱三种加密算法进行了详细描述，现定义完整图像加密算法ImgEnc，具体描述如下：

微调DenseNet模型。现有的可搜索加密方法采用的都是图像的低层特征，比较典型的有Xia等人采用MPEG描述符来表示图像的特征，Ferreira等人的IES-CBIR方案使用HSV描述符表示图像的特征。而在本发明中为了改善加密域图像特征的性能，借鉴深度学习在图像检索领域的优势，将深度卷积特征引入到了可搜索加密系统中。

但是深度学习在图像检索和可搜索加密检索中的应用还是有很大的不同。图像检索中通过预训练的模型直接提取图像的语义特征，然后再进行相应的检索实验。而在可搜索加密中，由于图像加密方式的差异性不能用预训练模型直接提取加密域图像的特征。因此在本发面中，我们使用加密的图像数据集对预训练的DenseNet模型进行微调训练，从而使模型对密文图像有较好的泛化能力。

图5所示，首先在Keras中导入由ILSVRC2012数据集预训练的DenseNet模型，然后使用加密后的图像数据集对预训练模型进行微调训练。全连接层的神经元的节点数为1024，而我们在实验中对模型微调训练之后可以提取1024-dim的全连接层特征向量。我们使用的Corel10k和Holidays两个公开的数据集，其图像数量分别为10000和8946(数据增强后)。微调训练模型时我们分别按6∶4，6.5∶3.5，7∶3，7.5∶2.5；8∶2五种比例对两个数据集进行训练集和测试集划分。按训练集和测试集划分的不同比例在Corel10k数据集上进行了大量实验。最后将微调训练的DenseNet模型上传到云服务器。

陷门生成。为了检索到相似的图像，授权的查询用户需要生成一个陷门并将其发送到云服务器。在本发明中，陷门的生成由查询用户和云服务器共同完成。首先，查询用户使用上文定义的ImgEnc算法对查询图像加密并表示为e_q，然后将e_q发送到云服务器。云服务器接收到查询用户上传的加密查询图像e_q后，通过数据拥有者微调训练的DenseNet模型对其提取1024-dim的语义特征f_q。至此，陷门生成方法已经完成。

CBIR服务。本发明方法的优势之一就是加密图像数据集的特征提取、查询图像与图像库的相似度检索都在云服务器内完成。利用微调训练的DenseNet模型对云服务器中的加密图像库提取语义特征。然后用加密查询图像特征向量f_q与图像库的所有特征向量进行欧氏距离的相似度计算，如公式(6)所示。

sim(e_q，E)＝||f_q-f_i||²，where i＝1，2，...，n (6)

其中e_q表示加密查询图像，f_q表示加密查询图像的特征向量，而f_i表示检索图像库E中第i幅图像的特征向量，n是图像库中所有加密图像的数量。根据sim(e_q，E)的值，取Top-k幅图像作为查询结果返回给查询用户。

实验结果与分析

本节会说明本发明在两个公共数据集上的实验结果及性能分析，并与两种先进的可搜索加密方案进行比较。实验是在Windows64，AMD Ryzen5 2600X CPU@3.60GHz，16.00GBRAM和Nvidia GeForce GTX-2060Ti GPU的计算机上进行的。首先对本实验要用的数据集Corel10k、Holidays做一下简要介绍。

[Corel10k]Corel10k数据集由100类，每类100幅，共计10000幅图像组成。用这个数据集进行实验时，随机从每个类别选取一定数量的样本作为查询图像，然后计算查询结果的平均精度来评估每个查询的性能。

[Holidays]Holidays数据集由1491幅个人假日图像组成，其中500幅是查询图像。使用平均精度(Average Precision，AP)来评估每个查询的检索性能，它是由精确召回率曲线下的面积计算的。对于所有的查询图像其APs是平均的，从而产生平均精度(mAP)。

图像加密的有效性。DCFSE-CBIR方法通过RGB通道置换、图像位平面序列转为八位二进制随机置乱、Zig-Zag扫描置乱三种方法对图像进行加密。如图6所示，分别列出了三种加密算法独立使用的效果以及叠加使用的效果。

从图6(b)可以看出，RGB颜色通道置换完全改变了图像的颜色信息，但图像的纹理信息未发生变化，因此需要对图像的位平面序列和像素位置进行加密；从图6(c)可以看出，图像序列转为八位二进制随机置乱操作，虽然图像相比于原图变得模糊，但是图像内容的轮廓还是可以分辨出来；从图6(d)可以看出，图像的像素位置经Zig-Zag扫描置乱后，图像的纹理信息发生巨大的变化。最后，将三种加密方式叠加使用，得到图6(e)，能很好的保护图像。

检索精度。为了说明DCFSE-CBIR方法的性能，我们分别与EPCBIR、IES-CBIR两种可搜索加密方案进行比较。在EPCBIR方法中，作者使用了Corel10k数据集进行了实验，而查询“精度”定义为：P_k＝k′/k，其中k′是检索到的k幅图像中实际相似的图像数量。与EPCBIR方法中采用的数据集和评价标准相同，不同的是我们会将数据集图像分为训练集和测试集对DenseNet模型进行微调训练，然后再随机选取查询图像进行检索。

图7所示的两种方法平均检索精度，在同一数据集中本发明提出的DCFSE-CBIR方法取得的检索精度明显好于EPCBIR。图8所示为了避免检索精度分布不均的问题，我们在实验时将数据集分为三部分进行检索：1～3.3k幅为第一部分，随机选取150作为查询图像；1～6.6k幅为第二部分，随机选取300作为查询图像；1～10k幅图像为第三部分，随机选取500作为查询图像；分别用DCFSE-CBIR-1、DCFSE-CBIR-2、DCFSE-CBIR-3表示，结果表明本发明的方法有很高的检索精度。

IES-CBIR方法在Holidays数据集中进行了实验，并用mAP来评估每个查询的检索性能。然而由于该数据集图像数量较少，对DenseNet模型微调训练之前对数据集进行数据增强处理。分别采用增加亮度、增加对比度、垂直翻转、竖直翻转、垂直+竖直翻转五种方式，则此时Holidays数据集有8946幅图像。然后再将数据集分为训练集和测试集对预训练的DenseNet模型进行微调训练，与IES-CBIR方法相同选取500个查询图像进行检索。

表1.在Holidays数据集上与IES-CBIR和PKHE两种方法的mAP对比

如表1所示，在Holidays数据集中与其他两种方法相比本发明提出的DCFSE-CBIR方法取得了最好的性能。IES-CBIR和PKHE两种方法在实验中分别使用了SIFT和HSV特征，并不能表达图像的语义信息。本发明方法在使用了图像的语义信息极大提高了检索精度。

检索效率。在本节中我们会讨论DCFSE-CBIR方法的效率。主要涉及三个部分，分别是图像加密、特征提取和检索时间消耗。

图像加密时间消耗。RGB颜色通道置换、图像序列转为八位二进制随机置乱以及Zig-Zag扫描置乱三种方法叠加完成图像的加密。其中RGB颜色通道置乱的时间复杂度O(3×imgsize)，图像序列转为八位二进制随机置乱的时间复杂度为O(imgsize)，Zig-Zag扫描像素置乱的时间复杂度为O(imgsize)。加密实验结果表明在Corel10k和Holidays两个数据集上平均每幅图像加密时间分别为1.5s、24.58s。由于Holidays数据集图像的特殊性(每幅图像分辨率都比较高，仅第一幅就3.84M)，导致其加密过程比Corel10k耗时。即使如此，我们提出的图像加密方法比一些标准的加密方法效率高，如DES方法对Holidays数据集加密，平均每幅图像耗时3289s。

特征提取时间消耗。在本发明方法中我们提取了加密图像的语义特征，而在EPCBIR方法中作者提取了CLD和EHD特征、在IES-CBIR方法中作者提取了HSV特征。并且本发明提取的语义特征维度是1024-dim，相比于前两种方法的特征维度都要大，即使如此本发明方法提取特征的时间消耗也是比较少。需要说明的是，在实验中发现载入微调训练的模型是一个比较耗时的过程，考虑到特征提取是在云服务器内进行的我们未统计这部分的时间。特征提取的时间消耗如表2所示。

表2.在Corel10k和Holidays数据集上与IES-CBIR方法特征提取时间消耗对比检索时间消耗。相似度匹配检索过程在云服务器内完成，对加密数据集

和查询用户上传的陷门e_q提取特征向量。然后采用欧氏距离进行相似度计算，并根据相似度将最相似的Top-k图像返回给查询用户。

为了与EPCBIR方法比较检索效率我们同样将数据集Corel10k分为2k，4k，6k，8k，10k五个范围，并将返回的相似图像Top-k设置为100。如图9所示，由于在本发明中我们使用的语义特是1024-dim，而EPCBIR方法中的特征维度都比较低，导致我们的检索时间比CLD和EHD都要高一些。但是本发明提出的DCFSE-CBIR方法其完整的CBIR服务是在云服务器内执行的，因此凭借云服务器的超强计算力完全可以弥补检索效率低的问题。

表3.在Holidays数据集上本发明方法检索时间

本发明提出的DCFSE-CBIR方法在Holidays数据集上的检索效率，如表3所示。由于该数据集的特殊性，我们将返回的相似图像Top-k设置为100。并且在IES-CBIR方法中作者没有说明其检索效率，因此在表中我们只列出了本发明方法的检索耗时。

微调训练模型的比较。卷积神经网络模型的微调训练其性能取决于参数的优化和按怎样的比例将数据集图像分为训练集和测试集。我们在Keras中调用了预训练的DenseNet模型进行微调训练，根据相关库函数对参数进行调整优化。在本发明方法的实验中，我们使用的Corel10k和Holidays两个公开的数据集，其图像数量分别为10000和8946(数据增强后)。微调训练模型时我们分别按6∶4，6.5∶3.5，7∶3，7.5∶2.5；8∶2五种比例对两个数据集进行训练集和测试集划分。我们按训练集和测试集划分的不同比例在Corel10k数据集上进行了大量实验。同时为了避免检索精度分布不均的影响，将数据集切分成2k，4k，6k，8k，10k范围，然后根据返回相似的Top-k图像数量计算其检索精度。

随着训练集与测试集比例的增大，其检索精度也是在稳步提升。然而数据集范围的不同，精度也是在波动变化的。因此为了公平且更直观的观察检索精度变化，我们统计了不同比例下检索精度的平均值，如图10所示。

同样的，将Holidays数据集(数据增强后8946幅)按照与Corel10k相同的比例划分训练集与测试集并进行实验。如图11所示，随着训练集与测试集比例的增大，其mAP在稳步增加。特别是比例达到8∶2时，其mAP达到了78.91％高于许多图像检索。

然而研究表明，随着训练集与测试集比例的增加微调训练模型对当前数据集有很好的效果，但其泛化性能却有极大的减弱。

微调训练模型的泛化性能。上文中已经对不同微调训练的模型进行了实验，结果表明训练集与测试集的比例越大其性能越好。但是本发明提出的DCFSE-CBIR方法，其目的是期望上传到云服务器的微调训练模型对其他数据集也有较好的泛化性能。在这一小节中我们使用微调训练的模型对两个加密数据集图像进行交叉实验，验证模型的泛化性能。即Holidays数据集微调训练的模型对Corel10k提取特征并计算检索精度，Corel10k数据集微调训练的模型对Holidays提取特征并计算mAP。

Holidays数据集上微调训练的五种模型分别对Corel10k数据集进行检索实验，与直接采用Corel10k微调训练的模型相比，其检索性能有极大的减弱。在图像分类和明文图像检索中也有这样的趋势出现，即分类效果、检索精度都有不同程度的下降。

如图12所示，DCFSE-CBIR-1、DCFSE-CBIR-2、DCFSE-CBIR-3、DCFSE-CBIR-4、DCFSE-CBIR-5分别表示Holidays数据集微调训练的五种模型在Corel10k数据集上的检索效果，而EPCBIR-CLD、EPCBIR-EHD则EPCBIR方法的性能。与图7和图10相比，Holidays数据集上微调训练的五种模型对其它数据集的泛化性能有较大减弱，即使在这种情况下本发明提出的DCFSE-CBIR方法取得的效果与EPCBIR方法相比也只稍微差了一些。特别是DCFSE-CBIR-3(Holidays-model(7∶3))的泛化性能与EPCBIR-CLD的效果基本接近。

另一方面，也进行了Corel10k微调训练的五种模型在Holidays数据集上的检索实验，结果表明mAP有极大的下降。本小节的内容旨在验证微调模型的泛化性能，因此在此处我们不再列出与IES-CBIR方法的比较数据。同时为了平衡检索精度和模型的泛化能力，在本发明的实验中我们使用了两个数据集上训练集和测试集7∶3的微调训练模型。

结论

本发明提出了一种云环境下基于深度卷积特征的可搜索加密图像检索方法。一方面为了改善检索性能，在边缘计算平台上图像加密后对预训练的模型进行微调训练，然后在云服务器中用微调训练的模型提取密文图像的语义信息。另一方面为了保护图像隐私和传输通信的安全，本发明分别采用RGB颜色通道置乱、图像位平面序列转为八位二进制随机置乱以及Zig-Zag扫描来保护图像的颜色和纹理信息。通过在公开数据集上的大量实验，表明本发明提出的可搜索加密方法相比于其它性能优越的方法能取得更具竞争力的结果。

Claims (5)

1.一种基于深度卷积网络特征的可搜索加密图像检索方法，其特征在于：

在数据拥有设备端，将图像加密并将加密后的图像集存储在服务器端；

在服务器端，由服务器提供CBIR服务；根据用户的查询请求对加密的查询图像提取特征，再计算相似度，最后将检索到的检索结果返回给查询用户；

在授权查询业务端，向服务器提出查询请求，由服务器返回检索结果后，用户使用密钥对检索结果对应的图像进行解密还原。

2.根据权利要求1所述的基于深度卷积网络特征的可搜索加密图像检索方法，其特征在于，加密过程生成的密钥组可表示为：

其中，key₁是RGB通道像素随机置乱的密钥，key₂是Zig-Zag扫描置乱的密钥，RandNum是一个随机数生成器，用于生产一个随机的整数，将该整数，对6做除法其余数的范围为[0，5]，RGB通道置换的6种通道置换方式与该余数一一对应；

表示确定哪一种通道置换方式，具体的6种通道置换方式如下：

(1)R→R，G→G，B→B；

(2)R→R，G→B，B→G；

(3)R→G，G→R，B→B；

(4)R→G，G→B，B→R；

(5)R→B，G→R，B→R；

(6)R→B，G→R，B→G；

rgb^*是保护图像颜色信息，置换RGB通道的加密函数，其定义如下：

randperm^*是RGB通道像素转为八位二进制随机置乱的加密函数，其定义如下：

randperm^*←(key₁)；

zig^*是对像素Zig-Zag扫描加密置乱的函数，其定义如下：

zig^*←(key₂)。

3.根据权利要求2所述的基于深度卷积网络特征的可搜索加密图像检索方法，其特征在于，Zig-Zag扫描后P″＝{P^R″，P^G″，P^B″}表示图像m″的RGB三通道像素向量集合，即P^R″＝[1，2，...，ImgSize]，P^G″＝[1，2，...，ImgSize]，P^B″＝[1，2，...，ImgSize]分别表示三通道的一维像素向量，其中ImgSize是图像m″每个颜色通道的像素点个数，然后将P″向量集合按三个颜色通道的顺序恢复为ImgSize大小的像素矩阵，Zig-Zag扫描后图像加密完成得到e。

4.根据权利要求1所述的基于深度卷积网络特征的可搜索加密图像检索方法，其特征在于，首先在Keras中导入由ILSVRC2012数据集预训练的DenseNet模型，然后使用加密后的图像数据集对预训练模型进行微调训练，全连接层的神经元的节点数为1024，而在实验中对模型微调训练之后提取1024-dim的全连接层特征向量；

训练过程中，使用的Corel10k和Holidays两个公开的数据集，其图像数量分别为10000和8946，微调训练模型时分别按6∶4，6.5∶3.5，7∶3，7.5∶2.5；8∶2五种比例对两个数据集进行训练集和测试集划分，按训练集和测试集划分的不同比例在Corel10k数据集上进行实验，最后将微调训练的DenseNet模型上传到云服务器。

5.根据权利要求1-4任一项所述的基于深度卷积网络特征的可搜索加密图像检索方法，其特征在于，相似度计算是指用加密查询图像特征向量f_q与图像库的所有特征向量进行欧氏距离的相似度计算，计算公式如下：

sim(e_q，E)＝||f_q-f_i||²，其中，i＝1，2，...，n；

sim(e_q，E)为相似度，e_q表示加密查询图像，f_q表示加密查询图像的特征向量，而f_i表示检索图像库E中第i幅图像的特征向量，n是图像库中所有加密图像的数量。根据sim(e_q，E)的值，取相似度最大的k幅图像作为查询结果返回给查询用户。

Images