CN114003744A - 基于卷积神经网络和向量同态加密的图像检索方法及系统 - Google Patents

基于卷积神经网络和向量同态加密的图像检索方法及系统 Download PDF

Info

Publication number
CN114003744A
CN114003744A CN202111111870.2A CN202111111870A CN114003744A CN 114003744 A CN114003744 A CN 114003744A CN 202111111870 A CN202111111870 A CN 202111111870A CN 114003744 A CN114003744 A CN 114003744A
Authority
CN
China
Prior art keywords
image
ciphertext
source image
client
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111111870.2A
Other languages
English (en)
Inventor
吴磊
李素
秦呈旖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Normal University
Original Assignee
Shandong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Normal University filed Critical Shandong Normal University
Priority to CN202111111870.2A priority Critical patent/CN114003744A/zh
Publication of CN114003744A publication Critical patent/CN114003744A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2107—File encryption

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioethics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Computer Security & Cryptography (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Hardware Design (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于图像检索隐私保护技术领域，提供了基于卷积神经网络和向量同态加密的图像检索方法及系统，通过使用卷积神经网路与哈希结合的方法提取图像特征，提高了检索准确率；为了保证敏感数据的安全，设置了基于属性加密的访问控制策略；为了提高大规模图像搜索的效率，设计了一种基于向量同态加密的K‑means加密索引树结构，进一步提高图像检索隐私保护的安全性，并且能够抵抗各种的攻击，因此具有良好的实际应用价值。

Description

基于卷积神经网络和向量同态加密的图像检索方法及系统
技术领域
本发明属于图像检索隐私保护技术领域，尤其涉及基于卷积神经网络和向量同态加密的图像检索方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
随着图像检索技术的重要性不断提高，组织机构对高效图像存储和检索服务的需求日益增强。目前，基于内容的图像检索技术已广泛应用于组织机构、网络购物、社交平台、医学等生活的方方面面，但通常会带来很高的存储和计算复杂性。
云环境可以支持海量数据存储和分布式并行处理，具有高可靠性、高性价比、动态可扩展性等特点。这使得它成为图像存储和基于内容的图像检索的一个有吸引力的选择。越来越多的企业开始将图像数据的存储和检索迁移到云存储平台进行数据的分布式管理。
然而，云计算中的安全问题已经成为一个严重的障碍。如果处理不当，将阻碍未来云计算的广泛应用。由于云计算是基于互联网进行数据存储和管理，因此，云计算中的隐私保护和数据安全是突出的安全问题。
发明内容
为了解决上述背景技术中存在的技术问题，本发明提供基于卷积神经网络和向量同态加密的图像检索方法及系统，通过使用卷积神经网路与哈希结合的方法提取图像特征，提高了检索准确率；为了保证敏感数据的安全，设置了基于属性加密的访问控制策略；为了提高大规模图像搜索的效率，设计了一种基于向量同态加密的K-means加密索引树结构，进一步提高图像检索隐私保护的安全性，并且能够抵抗各种的攻击，具有良好的实际应用价值。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供基于卷积神经网络和向量同态加密的图像检索方法，应用于第一客户端，包括：
生成源图像特征密文集、源图像密文集、密钥密文、衡量矩阵和访问控制策略，并上传至云服务器；
所述源图像特征密文集是，对源图像数据库中的所有源图像使用基于深度卷积神经网络学习二进制哈希函数的编码方法提取源图像特征后，采用向量同态加密算法对所有源图像特征进行加密得到的。
进一步的，所述源图像密文集是采用AES加密所有源图像得到的；
所述密钥密文是对所述AES加密所使用的对称密钥进行加密得到的。
进一步的，还包括：
调用公共参数生成算法，生成公共参数；
基于公共参数，调用密钥生成算法，生成私钥和公钥；
其中，私钥用于生成所述衡量矩阵；公钥用于所述加密所有源图像。
本发明的第二个方面提供基于卷积神经网络和向量同态加密的图像检索方法，应用于第二客户端，包括：
向云服务器发送检索请求，所述检索请求包括待检索图像特征密文和用户秘钥属性；
接收云服务器的相似源图像的密文及密钥密文，并进行解密；
所述待检索图像特征密文是，对待检索图像使用基于深度卷积神经网络学习二进制哈希函数的编码方法提取待检索图像特征后，采用向量同态加密算法对所述待检索图像特征进行加密得到的。
进一步的，所述基于深度卷积神经网络学习二进制哈希函数的编码方法的具体步骤为：
图像通过卷积层获得图像的视觉特征；
分块层对视觉特征进行分块处理，得到多个子块；
每个子块依次经过全连接层和激活层后，进入合并层；
合并层将多个子块合并为一个向量；
所述向量进入阈值化层后，得到图像特征。
本发明的第三个方面提供基于卷积神经网络和向量同态加密的图像检索方法，应用于云服务器，包括：
接收第一客户端的源图像特征密文集、源图像密文集、密钥密文、衡量矩阵和访问控制策略；
接收第二客户端的检索请求，所述检索请求包括待检索图像特征密文和用户秘钥属性；
基于源图像特征密文集、衡量矩阵、访问控制策略和检索请求，检索与待检索图像相似的源图像，并将相似源图像的密文及密钥密文返回给第二客户端。
进一步的，所述检索与待检索图像相似的源图像的具体步骤为：
基于第一客户端的源图像特征密文集和衡量矩阵，并采用K-means外包聚类算法构建索引树；所述索引树的根节点不存储任何信息，每个叶子节点关联一幅源图像；
基于第二客户端的待检索图像特征密文，自顶向下计算所述索引树中每个节点与待检索特征向量的距离，找到相似的节点，直到到达叶子节点，返回相似源图像的索引列表，并将相似源图像的密文及密钥密文返回给第二客户端。
进一步的，在构建索引树之前，还包括以下步骤：
基于访问控制策略和用户秘钥属性，确定第二客户端的用户是否是授权合法用户，如果是授权用户，检索与待检索图像相似的源图像；否则，返回空集。
本发明的第四个方面提供基于卷积神经网络和向量同态加密的图像检索方法，包括：
第一客户端生成源图像密文集、源图像特征密文集、密钥密文、衡量矩阵和访问控制策略，并上传至云服务器；
第二客户端向云服务器发送检索请求；
云服务器接收第一客户端的源图像特征密文集、源图像密文集、密钥密文、衡量矩阵和访问控制策略；并接收第二客户端的检索请求；基于源图像特征密文集、衡量矩阵和检索请求，检索与待检索图像相似的源图像，并将相似源图像的密文及密钥密文返回给第二客户端；
第二客户端接收云服务器的相似源图像的密文及密钥密文，并进行解密。
本发明的第五个方面提供基于卷积神经网络和向量同态加密的图像检索系统，包括第一客户端、第二客户端和云服务器；
所述第一客户端，其被配置为：生成源图像密文集、源图像特征密文集、密钥密文、衡量矩阵和访问控制策略，并上传至云服务器；
所述第二客户端，其被配置为：向云服务器发送检索请求；并接收云服务器的相似源图像的密文及密钥密文，并进行解密；
所述云服务器，其被配置为：接收第一客户端的源图像特征密文集、源图像密文集、密钥密文、衡量矩阵和访问控制策略；接收第二客户端的检索请求；基于源图像特征密文集、衡量矩阵、访问控制策略和检索请求，检索与待检索图像相似的源图像，并将相似源图像的密文及密钥密文返回给第二客户端。
与现有技术相比，本发明的有益效果是：
本发明提供了基于卷积神经网络和向量同态加密的图像检索方法，为了克服图像检索过程中的隐私保护和数据安全问题，通过安全的基于向量同态加密的K-means外包聚类算法，使第一客户端能够大规模处理数据集，灵活的设计了云上的加密索引树，加快图像检索。此外，轻量级搜索访问控制技术，允许第一客户端灵活地为数据集定义访问策略。同时，深度卷积神经网络技术来提取特征、表示图像，更高质量的哈希码提高了检索的准确性。
本发明的基于卷积神经网络和向量同态加密的图像检索方法，利用向量同态加密以批量方式将数据项加密成单个密文，从而显着减少计算和通信支出。
本发明的基于卷积神经网络和向量同态加密的图像检索方法，使用了基于深度卷积神经网络学习二进制哈希函数的编码方法，适用于大规模图像检索，采用类别信息作为监督信息，降低了人工标记量。另外，在模型中加入哈希函数独立性的限制，并考虑量化误差的影响，将连续值阈值化为哈希码时产生的误差加入到损失函数中，从而构造出了更好的哈希函数，得到了更具有图像表达能力的哈希码。
本发明的基于卷积神经网络和向量同态加密的图像检索方法，为了解决云存储安全问题，利用基于密文策略属性的加密，对查询用户的行为进行访问控制，确保他们的数据只对授权的合法用户查看，外界保密，包括云提供商和他们的潜在竞争对手。
本发明的基于卷积神经网络和向量同态加密的图像检索方法，利用K-means 外包聚类算法在云上构建一个加密索引树，将相似的图像聚类成一个节点，极大地减少了检索时间，降低了通信开销，同时达到与明文状态下一致的检索精度。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例的基于卷积神经网络和向量同态加密的图像检索方法整体流程图；
图2是本发明实施例的本发明实施例基于深度卷积神经网络和二进制哈希学习的图像检索方法框架图；
图3是本发明实施例的访问结构图；
图4是本发明实施例的树形索引抽象表达图；
图5是本发明实施例的系统模型图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
本实施例提供了基于卷积神经网络和向量同态加密的图像检索方法，应用于第一客户端；包括：生成源图像特征密文集、源图像密文集、密钥密文、衡量矩阵和访问控制策略，并上传至云服务器；其中：源图像特征密文集是，对源图像数据库中的所有源图像使用基于深度卷积神经网络学习二进制哈希函数的编码方法提取源图像特征后，采用向量同态加密算法对所有源图像特征进行加密得到的；源图像密文集是采用AES加密所有源图像得到的；密钥密文是对 AES加密所使用的对称密钥进行加密得到的。还包括：调用公共参数生成算法，生成公共参数；基于公共参数，调用密钥生成算法，生成私钥和公钥；其中，私钥用于生成衡量矩阵；公钥用于加密所有源图像。其中，第一客户端在原始数据库上使用基于密文策略属性的加密制定访问控制策略，访问控制策略是可信授权中心给定公共参数，第一客户端加密消息，只有满足特定访问规则的用户才能解密消息，用户的密钥包含密钥持有者的属性值(即密文策略属性)，根据属性判断是否为合法查询用户。
作为一种实施方式，第一客户端为机构客户端。
具体的，包括预处理阶段、初始化阶段和加密阶段。
(A)预处理阶段
该阶段主要由第一客户端完成。第一客户端对源图像数据库中的所有源图像使用基于深度卷积神经网络学习二进制哈希函数的编码方法提取源图像特征。其中，基于深度卷积神经网络学习二进制哈希函数的编码方法的框架图如图2所示，图像通过卷积层获得图像的视觉特征；分块层对视觉特征进行分块处理，得到多个子块；每个子块依次经过全连接层和激活层后，进入合并层；合并层将多个子块合并为一个向量；所述向量进入阈值化层后，得到图像特征。其基本思想是，在卷积神经网络框架中引入哈希层，利用图像标签信息学习图像特征和哈希函数，并且哈希函数要满足独立性和量化误差的限制。哈希层是由分块层、全连接层、激活层、合并层和阈值化层组成。分块层、全连接层、激活层和合并层用于构造相互独立的哈希函数；阈值化层将连续值编码二值化，得到二值哈希码，用于计算量化误差。具体步骤如下：
(1)卷积层是从输入图像样本中提取视觉特征：输入图像通过卷积层获得图像的视觉特征表示，其中，卷积层采用深度16的VGG模型结构。卷积层提取完图像视觉特征向量后，进入哈希层，哈希层由分块层、全连接层、激活层、合并层和阈值化层组成。
(2)进入分块层，对视觉特征向量进行x分块处理，假设x的维数为m，将图像视觉特征x分为n块，得到子块，记为x(i)(i＝1,2,…,n)。
(3)从分块层输出后的子块进入全连接层，表示为fi(x(i))＝Wix(i),i＝1,2,…n，其中，
Figure RE-GDA0003406190130000081
为第i个全连接层的权重矩阵。
(4)全连接层输出的每个子块分别进入激活层，激活层使用双曲正切激活函数将输出的数值映射在[-1,1]之间，表示为
Figure RE-GDA0003406190130000082
i＝1,2,…,n，其中v(i)＝fi(x(i))，参数β用于控制平滑度。
(5)经过激活层后的子块进入合并层，合并层将n个子块的输出合并为一个n维向量，表示为s＝(v(1),v(2),…v(n))T。
(6)合并层的输出n维向量s进入阈值化层，阈值化层主要是将合并层得到值域在[-1,1]之间的n维连续值编码进行量化，量化为0和1，输出二进制哈希码，即图像特征，表示为
Figure RE-GDA0003406190130000091
其中，s(i)表示合并层的输出n维向量s的第i个分量。
基于深度卷积神经网络学习二进制哈希函数的编码方法的损失层函数包括Softmax分类器损失和量化误差损失。产生的Softmax分类误差损失记为Lsl，量化误差损失记为Lq，得到该框架的整体损失函数：LT＝Lsl+ηLq，其中，η为权重因子，决定着量化损失所占的重要性。
这样，第一客户端提取的图像二值码编码长度更短、检索效果更好，大大提高了图像检索的速度。
(B)初始化阶段
该阶段主要由第一客户端完成。第一客户端调用公共参数生成算法 Setup(λ,u)，生成公共参数Param＝(m,n,p,q,ω,χ)，该公共参数被用于生成密钥，用于后续的加密图像特征向量、构建加密索引树、检索相似图像。同时第一客户端调用密钥生成算法KeyGen(Param)，生成私钥SK和公钥M。私钥SK用于生成衡量矩阵H＝SKTSK，上传给云服务器，用于构建索引和检索图像，公钥M 用来加密图像特征向量。
另外，随机产生一个对称密钥Ke用于后续对图像集加密。第一客户端调用 CP-ABE算法生成公共参数、密钥，用户的密钥包含密钥持有者的属性值。
对初始化阶段所涉及的生成算法描述如下：
公共参数生成算法Setup(λ,u)：设置算法将安全参数λ和属性域描述u作为输入。(1)选择两个大素数q1和q2，使得q＝q1×q2；选择分布m,n,p,ω∈Z满足 m＜n,p＜＜q和ω(p-1)＜q。(2)选择高斯分布χ在Zq。(3)发布公共参数 Param＝(m,n,p,q,ω,χ)，其中，ω为大整数，m、n分别表示明文向量维度和密文向量维度，χ表示Zq的高斯分布。
密钥生成算法KeyGen(Param)：密钥生成算法将公共参数Param作为输入，输出私钥SK和公钥M。(1)首先产生两个矩阵
Figure RE-GDA0003406190130000101
它们满足P1P2＝H1。 (2)输出两个矩阵。一个私钥
Figure RE-GDA0003406190130000102
是单位矩阵，H1、H2分别表示n×n单位矩阵和m×m单位矩阵，
Figure RE-GDA0003406190130000103
是一个满足关系式的随机矩阵，但是该矩阵的维度直接影响方法的效率。处于效率的考虑，使矩阵T列数为1，即
Figure RE-GDA0003406190130000104
且T←χm×(n-m)和A←χ(n-m)×m。(3)计算SK＝St·P1和M＝Mt·P2。(4)保持密钥SK的隐私性，发布公钥M。
(C)加密阶段
该阶段主要由第一客户端完成。加密算法总共包含三个过程，一是对所有源图像内容I使用AES加密，加密后为源图像密文集I'，所有源图像密文上传给云服务器；二使用向量同态加密算法对源图像特征向量集D，即所有源图像特征，进行加密，加密后为源图像特征密文集D'，所有源图像特征密文上传给云服务器；三是对AES加密的对称密钥Ke利用CP-ABE加密后上传至云端。对源图像和索引进行加密之后，索引结构与源图像密文仍是相互对应的，每一个叶子节点关联着一个加密的源图像。
对加密阶段所涉及的加密算法描述如下：
Encrypt(I,D,Param,SK,M,A)：加密算法将公共参数Param、公钥M、私钥SK、本地源图像数据库I＝(I1,I2,…,In)、源图像特征向量集D＝{x1,x2,…xn}、属性域上的访问结构A作为输入，输出源图像密文数据库I'＝(I'1,I'2,…,I'n)，源图像特征向量密文集D'＝(c1,c2…cn-1,cn)和衡量矩阵H＝SKTSK，具体的：
(1)使用向量同态加密算法加密图像特征向量集：选择合适的噪声e←χn，然后计算c＝Mx+e，满足
Figure RE-GDA0003406190130000111
其中
Figure RE-GDA0003406190130000112
分别表示明文空间和密文空间，e表示属于χn的噪声。向量同态加密算法将图像特征向量集D生成其图像特征密文集D'，D'中隐含访问策略，这样只有满足访问策略的第二客户端(用户)才能解密消息。机构客户端上传的密文中隐含访问策略，访问结构是访问策略的表示，只有满足访问策略的用户才能解密消息。本发明将假设密文集D'隐含第一客户端的访问结构A。同态加密特征向量c是一种用于向量加密的同态加密方案，支持三个常用操作:加法、线性变换及加权内积,能够安全有效地计算任意多项式。
作为一种实施方式，机构客户端的访问结构如图3所示。具体的说，在第一客户端的访问结构中，用户的所属机构及职位被称为属性集合，其中授权集为满足访问结构的属性集合，非授权集为不满足访问结构的属性集合。
在描述访问控制策略时，采用树形结构来表达访问控制策略。在树访问结构中，叶节点是属性，非叶节点是阈值门。每个非叶节点由其子节点和阈值定义。
(2)AES加密图像源I＝(I1,I2,…,In)，随机产生一个对称密钥Ke对I进行加密，第一客户端调用CP-ABE的加密算法对密钥Ke进行加密，将图像密文
Figure RE-GDA0003406190130000113
密钥密文ABE.E(Param,Ke,M)随其他密文集一同上传至云服务器。
CP-ABE加密方案由四种算法组成:设置、密钥生成、加密和解密。生成公共参数、密钥调用了算法的设置、密钥生成；加密秘钥Ke调用了算法的加密算法，表示为ABE.E(Ke)。
在本实施例中，将大部分计算任务安全地委托给云服务器，使第一客户端能够大规模处理数据集。同时轻量级的访问控制技术，允许第一客户端灵活地为数据集定义访问策略，保证了敏感数据的安全，在很大程度上提高了图像检索的隐私保护。
实施例二
如图1所示，本实施例提供了基于卷积神经网络和向量同态加密的图像检索方法，应用于第二客户端；包括：向云服务器发送检索请求，所述检索请求包括待检索图像特征密文和用户秘钥属性；接收云服务器的相似源图像的密文及密钥密文，并进行解密；其中，待检索图像特征密文是，对待检索图像使用基于深度卷积神经网络学习二进制哈希函数的编码方法提取待检索图像特征后，采用向量同态加密算法对所述待检索图像特征进行加密得到的。基于深度卷积神经网络学习二进制哈希函数的编码方法的步骤与实施例一相同，这里不再赘述。
作为一种实施方式，第二客户端为用户客户端。
具体包括，查询生成阶段和解密阶段：
(1)查询生成阶段：
该阶段主要由第二客户端完成。当用户想要搜索获得与待查询图像相似的一些图像时，第二客户端获取用户输入的待检索图像，并使用基于深度卷积神经网络学习二进制哈希函数的编码方法提取待检索图像特征向量y，将其加密生成待检索图像特征密文c'。
在查询生成算法中调用密文策略属性加密，产生的密钥隐含属性S，因此只有满足访问结构的属性的用户才能得到检索结果，用户的属性使用递归的基于集合的密钥结构，其中集合的每个元素要么是集合，要么是对应于属性的元素。
作为一种实施方式，用户访问结构如图3所示。
更具体的说，用户的职位分五等十三级，具体如下：
一等：总监(13)、副总监(12)；
二等：监：一级(11)、二级(10)、三级(9)；
三等：督：一级(8)、二级(7)、三级(6)；
四等：司：一级(5)、二级(4)、三级(3)；
五等：员：一级(2)、二级(1)。
对担任专业技术职务的用户的职位，在职位前冠以“专业技术”。二级监以上是高级用户，三级监、督是中级用户，司、员是初级用户。
用户的属性使用递归的基于集合的密钥结构，其中集合的每个元素要么是集合，要么是对应于属性的元素。考虑一个集合{市机构，{高级用户，9}}，它代表市机构，等级为9的高级用户的属性。
对查询生成阶段所涉及的算法描述如下：
QueryGen(y,Param,M)：查询生成算法将公共参数Param、公钥M、待检索图像特征向量y作为输入，输出待检索图像特征密文
Figure RE-GDA0003406190130000131
其中，明文y为第二客户端提取的待检索图像特征向量。此步骤与加密算法步骤类似，不同的是客户端首先向云端核实身份，获得公钥M来加密图像。查询生成算法将明文特征向量y生成其待检索图像特征密文c'，同时第二客户端调用CP-ABE密钥生成算法，产生的私钥包含用户的属性集，即用户密钥属性S，隐含用户的属性集，用来向云端核实自己的身份，是否符合访问策略，这样只有满足特定访问规则的用户才能查询成功。其中，公共参数Param、公钥M是获取的第一客户端的，有CP-ABE加密算法保护，只有授权用户可以获得。
(2)解密阶段
该阶段主要由第二客户端完成。接收云服务器的相似源图像的密文及密钥密文，并进行解密，具体的：授权用户使用获得的对称密钥Ke对加密图像源I'执行AES解密算法，获得相似图像集。对称密钥，用来解密密文图像。第一客户端给云服务器的是用CP-ABE算法加密后的对称秘钥。用户提交给云自己的私钥，私钥隐含属性集，如果用户满足访问策略则会解密密钥密文： ABE.E(Param,Ke,M)，获得对称密钥。对解密阶段所涉及的算法描述如下：
Decrypt(Ke,I')：解密算法将对称密钥Ke、加密图像源I'(即相似源图像的密文)作为输入。该算法在云服务器已经判断属性集S是否满足访问结构A。如果满足，该算法将调用AES解密算法解密图像源，并返回数据集I，表示为
Figure RE-GDA0003406190130000141
反之，则返回一个空集。
实施例三
如图1所示，本实施例提供了基于卷积神经网络和向量同态加密的图像检索方法，应用于云服务器；包括：接收第一客户端的源图像特征密文集、源图像密文集、密钥密文、衡量矩阵和访问控制策略；接收第二客户端的检索请求，所述检索请求包括待检索图像特征密文和用户秘钥属性；基于源图像特征密文集、衡量矩阵、访问控制策略和检索请求，检索与待检索图像相似的源图像，并将相似源图像的密文及密钥密文返回给第二客户端。云服务器存储加密的数据和访问控制策略。
其中，检索与待检索图像相似的源图像的具体步骤为：基于访问控制策略和用户秘钥属性，确定第二客户端的用户是否是授权合法用户，如果是授权用户，检索与待检索图像相似的源图像；否则，返回空集。检索与待检索图像相似的源图像的具体步骤为：基于第一客户端的源图像特征密文集和衡量矩阵，并采用K-means外包聚类算法构建索引树；所述索引树的根节点不存储任何信息，每个叶子节点关联一幅源图像；基于第二客户端的待检索图像特征密文，自顶向下计算所述索引树中每个节点与待检索特征向量的距离，找到相似的节点，直到到达叶子节点，返回相似源图像的索引列表，并将相似源图像的密文及密钥密文返回给第二客户端。
具体包括，索引构建阶段和检索阶段：
(1)索引构建阶段：
该阶段主要由云服务器完成。采用K-means外包聚类算法，建立自顶向下的树形索引，加快检索进程，减少检索开销，算法抽象表达如图4所示。索引构建算法中输入的是加密的源图像源特征向量，即源图像特征密文集 D'＝(c1,c2…cn-1,cn)，作为索引树的索引结构，树的根节点不存储任何信息。对所有图像特征使用K-means外包聚类算法，将所有特征分成K类，作为根节点的K个孩子节点，然后每个节点持续执行以上步骤，直到最后每个节点中包含的向量点小于K个。每个叶子节点关联一幅图像Ii。这样，云服务器能通过在索引树上进行检索获得与查询图像相似的图像。
对索引构建阶段所涉及的算法描述如下：
Clustering(D',K,H,σ)：索引构建算法将云服务器上的源图像特征密文集 D'＝(c1,c2…cn-1,cn)和衡量矩阵H＝SKTSK，聚类值K和终止阈值σ作为输入，输出索引树Itree。为了加快图像搜索过程，云服务器将密文图像集与其特征向量构建为一个密文索引树Itree，具体步骤为：(1)加密图像集D'＝{ci|0≤i≤n},聚类簇K,矩阵H和迭代终止阈值σ作为算法的输入，根据距离计算公式 dj＝(vj-ci)TH(vj-ci)、聚类簇K以及阈值σ，将密文图像集分为K类，每类图像集表示为D'j；(2)重复步骤2，直到D'j的图像数量小于K，索引树Itree构建完毕。使用K-means外包聚类算法将图像分为不同的聚类，递归地将图像划分为K类，直到没有类具有超过K个图像。
其中，K-means外包聚类算法构建加密索引树是在密文下度量明文距离。对使用K-means外包聚类算法构建加密索引树进行详细的描述：(1)首先树的根节点不存储任何信息，根据K-means外包聚类算法对源图像特征密文集中的所有数据进行分类，距离比较接近的点会被分成同一类；(2)每个子类的迭代中心作为节点的孩子节点；(3)如果子类中点的数量小于K，那么这些点都作为叶子节点，停止聚类，否则对节点继续进行聚类；(4)重复步骤(2)和(3)直到所有节点中点的个数都小于K。
(2)检索阶段
该阶段主要由云服务器完成。图像检索算法首先根据第二客户端的用户密钥属性和访问控制策略确定是否是授权合法用户，如果是授权用户，云才会对待检索图像进行检索；如果不是授权用户，则返回空集给用户。
检索算法将待检索图像特征密文向量c'的相似向量，从索引树的根节点开始执行检索，直到叶子节点。云服务器根据向量同态加密的特点，自顶向下通过计算索引树中每个节点与待查询特征向量的距离，找到相似的节点；循环算法直到当c'到达索引树Itree的叶子节点，云服务器将返回相似源图像的索引列表，并将相似源图像的密文及密钥密文返回给第二客户端。检索算法具体步骤为：(1)自上向下检索树Itree的孩子节点与密文查询向量c'的距离，距离的计算公式为dj＝(c'-vj)TH(c'-vj)，对所有的距离进行排序，查找其中距查询向量距离最小的节点；(2)将距离查询节点最近的节点赋值给Nodeh,重复步骤1，直到Nodeh下的节点小于K，检索完毕，返回最终符合条件的节点及其对应的密文图像Nodeh～I'i。
对检索阶段所涉及的算法描述如下：
检索算法ImageRetri(c',Itree)：图片检索算法将待检索图像特征密文向量c'及加密索引树Itree作为输入，输出相似密文图像集Nodeh～I'i。云服务器接收到第二客户端的搜索请求后，首先根据用户私钥属性确定是否是授权合法用户，如果是授权用户，云服务器才会通过加密索引树Itree搜索相似图像集，向第二客户端发送相关的密文图像索引，该索引对应于加密图像。
本发明给出了一个例子来说明如何度量密文向量下的相似度，以此来检索相似图像。首先，假设存在三个向量x1,x2,x3分别被加密为c1,c2,c3。通过向量同态加密，来证明x1和x3更相似，还是x2和x3更相似。
给定两个明文x1和x2，其对应的密文分别为c1,c2，以及矩阵H，则满足以下等式:
(c1-c2)TH(c1-c2)＝ω2||x1-x2||2+e'，且e'是噪声。
证明：
(c1-c2)TH(c1-c2)
＝(c1-c2)TSKTSK(c1-c2)
＝[SK*c1-SK*c2]T[SK*c1-SK*c2]
＝[ωx1+e1-ωx2-e2]T[ωx1+e1-ωx2-e2]
＝[ω(x1-x2)+(e1-e2)]T[ω(x1-x2)+(e1-e2)]
＝ω2(x1-x2)T(x1-x2)+ω(x1-x2)T(e1-e2)+ω(e1-e2)T(x1-x2)+(e1-e2)T(e1-e2)
＝ω2||x1-x2||2+e'
且
e'＝ω(x1-x2)T(e1-e2)+ω(e1-e2)T(x1-x2)+(e1-e2)T(e1-e2)
接下来，证明e'是微不足道的噪声。
假设x1,x2是n维向量，且满足最大值为X。类似的e'的最大元素值为E。因此，可以得到下列等式:
(ω2||x1-x2||2)max＝4ω2nX2
{ω(x1-x2)T(e1-e2)}max＝{ω(e1-e2)T(x1-x2)}max＝4ωnXE
{(e1-e2)T(e1-e2)}max＝4nE2
有等式e'max＝8ωnXE+4nE2，接下来，通过以下方式比较e'和||x1-x2||2的大小:
Figure RE-GDA0003406190130000181
由于X,E＜＜ω，得到:
Figure RE-GDA0003406190130000182
很明显，e'是微不足道的噪声。
推导得出：(c1-c2)TH(c1-c2)≈ω2||x1-x2||2
结论：给定明文x1,x2,x3，其对应的密文为c1,c2,c3，矩阵H已知，
if(c1-c3)TH(c1-c3)≤(c2-c3)TH(c2-c3)then,
||x1-x3||≤||x2-x3||
在本实施例中，灵活的设计了云服务器上的加密索引树，加快图像检索。同时轻量级的访问控制技术，允许第一客户端灵活地为数据集定义访问策略，保证了敏感数据的安全，在很大程度上提高了图像检索的隐私保护。
实施例四
如图1所示，本实施例提供了基于卷积神经网络和向量同态加密的图像检索方法：
第一客户端生成源图像密文集、源图像特征密文集、密钥密文、衡量矩阵和访问控制策略，并上传至云服务器；
第二客户端向云服务器发送检索请求；
云服务器接收第一客户端的源图像特征密文集、源图像密文集、密钥密文、衡量矩阵和访问控制策略；并接收第二客户端的检索请求；基于源图像特征密文集、衡量矩阵、访问控制策略和检索请求，检索与待检索图像相似的源图像，并将相似源图像的密文及密钥密文返回给第二客户端；
第二客户端接收云服务器的相似源图像的密文及密钥密文，并进行解密。
详细方法与实施例一、二、三提供的方法相同，这里不再赘述。
在本实施例中，通过将大部分计算任务安全地委托给云服务器，使第一客户端能够大规模处理数据集，灵活的设计了云上服务器的加密索引树，加快图像检索。同时轻量级的访问控制技术，允许机构灵活地为数据集定义访问策略，保证了敏感数据的安全，在很大程度上提高了图像检索的隐私保护。
实施例五
如图5所示，本实施例提供了基于卷积神经网络和向量同态加密的图像检索系统，包括第一客户端、第二客户端和云服务器；在第一客户端-服务器端- 第二客户端之间建立安全的通信。
第一客户端，其被配置为：生成源图像密文集、源图像特征密文集、密钥密文、衡量矩阵和访问控制策略，并上传至云服务器；
第二客户端，其被配置为：向云服务器发送检索请求；并接收云服务器的相似源图像的密文及密钥密文，并进行解密；
云服务器，其被配置为：接收第一客户端的源图像特征密文集、源图像密文集、密钥密文、衡量矩阵和访问控制策略；接收第二客户端的检索请求；基于源图像特征密文集、衡量矩阵、访问控制策略和检索请求，检索与待检索图像相似的源图像，并将相似源图像的密文及密钥密文返回给第二客户端。
此处需要说明的是，本实施例中的各个模块与实施例四中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于卷积神经网络和向量同态加密的图像检索方法，其特征在于，应用于第一客户端，包括：
生成源图像特征密文集、源图像密文集、密钥密文、衡量矩阵和访问控制策略，并上传至云服务器；
所述源图像特征密文集是，对源图像数据库中的所有源图像使用基于深度卷积神经网络学习二进制哈希函数的编码方法提取源图像特征后，采用向量同态加密算法对所有源图像特征进行加密得到的。
2.如权利要求1所述的基于卷积神经网络和向量同态加密的图像检索方法，其特征在于，所述源图像密文集是采用AES加密所有源图像得到的；
所述密钥密文是对所述AES加密所使用的对称密钥进行加密得到的。
3.如权利要求2所述的基于卷积神经网络和向量同态加密的图像检索方法，其特征在于，还包括：
调用公共参数生成算法，生成公共参数；
基于公共参数，调用密钥生成算法，生成私钥和公钥；
其中，私钥用于生成所述衡量矩阵；公钥用于所述加密所有源图像。
4.基于卷积神经网络和向量同态加密的图像检索方法，其特征在于，应用于第二客户端，包括：
向云服务器发送检索请求，所述检索请求包括待检索图像特征密文和用户秘钥属性；
接收云服务器的相似源图像的密文及密钥密文，并进行解密；
所述待检索图像特征密文是，对待检索图像使用基于深度卷积神经网络学习二进制哈希函数的编码方法提取待检索图像特征后，采用向量同态加密算法对所述待检索图像特征进行加密得到的。
5.如权利要求1或4所述的基于卷积神经网络和向量同态加密的图像检索方法，其特征在于，所述基于深度卷积神经网络学习二进制哈希函数的编码方法的具体步骤为：
图像通过卷积层获得图像的视觉特征；
分块层对视觉特征进行分块处理，得到多个子块；
每个子块依次经过全连接层和激活层后，进入合并层；
合并层将多个子块合并为一个向量；
所述向量进入阈值化层后，得到图像特征。
6.基于卷积神经网络和向量同态加密的图像检索方法，其特征在于，应用于云服务器，包括：
接收第一客户端的源图像特征密文集、源图像密文集、密钥密文、衡量矩阵和访问控制策略；
接收第二客户端的检索请求，所述检索请求包括待检索图像特征密文和用户秘钥属性；
基于源图像特征密文集、衡量矩阵、访问控制策略和检索请求，检索与待检索图像相似的源图像，并将相似源图像的密文及密钥密文返回给第二客户端。
7.如权利要求6所述的基于卷积神经网络和向量同态加密的图像检索方法，其特征在于，所述检索与待检索图像相似的源图像的具体步骤为：
基于第一客户端的源图像特征密文集和衡量矩阵，并采用K-means外包聚类算法构建索引树；所述索引树的根节点不存储任何信息，每个叶子节点关联一幅源图像；
基于第二客户端的待检索图像特征密文，自顶向下计算所述索引树中每个节点与待检索特征向量的距离，找到相似的节点，直到到达叶子节点，返回相似源图像的索引列表，并将相似源图像的密文及密钥密文返回给第二客户端。
8.如权利要求7所述的基于卷积神经网络和向量同态加密的图像检索方法，其特征在于，在构建索引树之前，还包括以下步骤：
基于访问控制策略和用户秘钥属性，确定第二客户端的用户是否是授权合法用户，如果是授权用户，检索与待检索图像相似的源图像；否则，返回空集。
9.基于卷积神经网络和向量同态加密的图像检索方法，其特征在于，包括：
第一客户端生成源图像密文集、源图像特征密文集、密钥密文、衡量矩阵和访问控制策略，并上传至云服务器；
第二客户端向云服务器发送检索请求；
云服务器接收第一客户端的源图像特征密文集、源图像密文集、密钥密文、衡量矩阵和访问控制策略；并接收第二客户端的检索请求；基于源图像特征密文集、衡量矩阵、访问控制策略和检索请求，检索与待检索图像相似的源图像，并将相似源图像的密文及密钥密文返回给第二客户端；
第二客户端接收云服务器的相似源图像的密文及密钥密文，并进行解密。
10.基于卷积神经网络和向量同态加密的图像检索系统，其特征在于，包括第一客户端、第二客户端和云服务器；
所述第一客户端，其被配置为：生成源图像密文集、源图像特征密文集、密钥密文、衡量矩阵和访问控制策略，并上传至云服务器；
所述第二客户端，其被配置为：向云服务器发送检索请求；并接收云服务器的相似源图像的密文及密钥密文，并进行解密；
所述云服务器，其被配置为：接收第一客户端的源图像特征密文集、源图像密文集、密钥密文、衡量矩阵和访问控制策略；接收第二客户端的检索请求；
基于源图像特征密文集、衡量矩阵、访问控制策略和检索请求，检索与待检索图像相似的源图像，并将相似源图像的密文及密钥密文返回给第二客户端。
CN202111111870.2A 2021-09-18 2021-09-18 基于卷积神经网络和向量同态加密的图像检索方法及系统 Pending CN114003744A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111111870.2A CN114003744A (zh) 2021-09-18 2021-09-18 基于卷积神经网络和向量同态加密的图像检索方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111111870.2A CN114003744A (zh) 2021-09-18 2021-09-18 基于卷积神经网络和向量同态加密的图像检索方法及系统

Publications (1)

Publication Number Publication Date
CN114003744A true CN114003744A (zh) 2022-02-01

Family

ID=79921863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111111870.2A Pending CN114003744A (zh) 2021-09-18 2021-09-18 基于卷积神经网络和向量同态加密的图像检索方法及系统

Country Status (1)

Country Link
CN (1) CN114003744A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114647859A (zh) * 2022-03-07 2022-06-21 重庆邮电大学 一种隐私保护的彩色图像特征提取方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114647859A (zh) * 2022-03-07 2022-06-21 重庆邮电大学 一种隐私保护的彩色图像特征提取方法

Similar Documents

Publication Publication Date Title
Mireshghallah et al. Shredder: Learning noise distributions to protect inference privacy
Zhang et al. PIC: Enable large-scale privacy preserving content-based image search on cloud
Yuan et al. SEISA: Secure and efficient encrypted image search with access control
Chen et al. {SANNS}: Scaling up secure approximate {k-Nearest} neighbors search
Xu et al. Building confidential and efficient query services in the cloud with RASP data perturbation
WO2019053234A1 (en) DETECTION OF ABNORMAL APPLICATION MESSAGES IN TELECOMMUNICATION NETWORKS
Zhao et al. Privacy-preserving clustering for big data in cyber-physical-social systems: Survey and perspectives
Devaraj et al. An efficient framework for secure image archival and retrieval system using multiple secret share creation scheme
Gkoulalas-Divanis et al. Modern privacy-preserving record linkage techniques: An overview
CN104008174A (zh) 一种海量图像检索的隐私保护索引生成方法
CN111552849B (zh) 可搜索加密方法、系统、存储介质、车载网、智能电网
CN111026788A (zh) 一种混合云中基于同态加密的多关键词密文排序检索方法
Xue et al. Sequence data matching and beyond: New privacy-preserving primitives based on bloom filters
Christen et al. Pattern-mining based cryptanalysis of Bloom filters for privacy-preserving record linkage
CN109885650B (zh) 一种外包云环境隐私保护密文排序检索方法
WO2021010896A1 (en) Method and system for distributed data management
CN115062323A (zh) 增强隐私保护的多中心联邦学习方法及计算机设备
Li et al. DVREI: Dynamic verifiable retrieval over encrypted images
Hassan et al. A novel approach to data encryption based on matrix computations
CN114003744A (zh) 基于卷积神经网络和向量同态加密的图像检索方法及系统
Wang et al. Enabling efficient approximate nearest neighbor search for outsourced database in cloud computing
Magdy et al. Privacy preserving search index for image databases based on SURF and order preserving encryption
Li et al. DVPPIR: privacy-preserving image retrieval based on DCNN and VHE
Schoppmann et al. Secure and scalable document similarity on distributed databases: Differential privacy to the rescue
Revathi S et al. Tracy–Singh product and genetic whale optimization algorithm for retrievable data perturbation for privacy preserved data publishing in cloud computing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination