CN114189351B - 一种基于cnn和签密技术的密态图像检索方法及系统 - Google Patents

一种基于cnn和签密技术的密态图像检索方法及系统 Download PDF

Info

Publication number
CN114189351B
CN114189351B CN202111242471.XA CN202111242471A CN114189351B CN 114189351 B CN114189351 B CN 114189351B CN 202111242471 A CN202111242471 A CN 202111242471A CN 114189351 B CN114189351 B CN 114189351B
Authority
CN
China
Prior art keywords
image
matrix
cloud server
dimensional vector
confusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111242471.XA
Other languages
English (en)
Other versions
CN114189351A (zh
Inventor
魏晓超
李瑶
蔡国鹏
王皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Normal University
Original Assignee
Shandong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Normal University filed Critical Shandong Normal University
Priority to CN202111242471.XA priority Critical patent/CN114189351B/zh
Publication of CN114189351A publication Critical patent/CN114189351A/zh
Application granted granted Critical
Publication of CN114189351B publication Critical patent/CN114189351B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/0435—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply symmetric encryption, i.e. same key used for encryption and decryption
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2117—User registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/72—Signcrypting, i.e. digital signing and encrypting simultaneously
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明公开了一种基于CNN和签密技术的密态图像检索方法及系统，首先，数据拥有客户端获取用户客户端发送的注册请求，并生成拥有者私钥、用户私钥和签密参数；并基于拥有者私钥采用图像加密算法分别对图像集中的每个图像进行加密，得到密态图像集，上传至两个云服务器；然后，用户客户端获取待查询图像，基于用户私钥采用图像加密算法对待查询图像进行加密，得到待查询密态图像，并上传至两个云服务器；最后，两个云服务器基于CNN在密态图像集中检索得到待查询密态图像的匹配图像，将匹配图像采用签密参数进行签密后发送给用户客户端。实现了云服务器在密态状态下执行特征提取和检索操作。

Description

一种基于CNN和签密技术的密态图像检索方法及系统
技术领域
本发明涉及密态图像检索技术领域，特别是涉及一种基于CNN和签密技术的密态图像检索方法及系统。
背景技术
本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。
随着云计算的兴起，图像检索的应用非常广泛，其可以被应用在各个领域，如在医疗诊断方面，医院希望将其数据库图像上传给云服务器存储，医生上传查询图像给云服务器，云服务器执行特征提取后进行检索操作，最后将匹配结果返回给医生。
然而，在上传过程中，面临图像隐私泄露的风险，图像在外包之前需要进行加密。并不是每个用户都可以无条件发起查询，这就需要用户提前对数据拥有者进行注册，用户注册成功得到解签密参数才可以对匹配结果解密。这就使得云服务器特征提取和检索成为一项极具挑战性的任务。
发明内容
为了解决现有技术的不足，本发明提供了一种基于CNN和签密技术的密态图像检索方法及系统，实现了云服务器在密态状态下执行特征提取和检索操作，且只有注册成功的用户才能得到解签密参数并最终对匹配结果进行解密。
第一方面，本发明提供了一种基于CNN和签密技术的密态图像检索方法；
一种基于CNN和签密技术的密态图像检索方法，包括如下步骤：
数据拥有客户端获取用户客户端发送的注册请求后，生成对称密钥、用户私钥和签密参数，将对称密钥分为对称密钥第一部分和对称密钥第二部分；并针对每个图像集图像，采用图像加密算法生成每个图像集图像的混淆矩阵和混淆图像矩阵，同时基于对称密钥对每个图像集图像进行加密得到图像集图像的密态图像；
用户客户端获取待查询图像，采用图像加密算法生成待查询图像的混淆矩阵和混淆图像矩阵；
两个云服务器基于待查询图像的混淆矩阵和混淆图像矩阵、以及所有图像集图像的混淆矩阵和混淆图像矩阵，在所有的图像集图像中检索得到待查询图像的匹配图像，并采用签密参数对对称密钥第一部分和匹配图像进行签密，将匹配图像的密态图像和签密后的对称密钥第一部分发送给用户客户端；
用户客户端采用用户私钥解签密后，结合对称密钥第二部分对匹配图像的密态图像进行解密。
进一步的，所述图像加密算法的具体步骤为：
获取输入图像，生成一个与输入图像具有相同尺寸的混淆矩阵；
计算输入图像和混淆矩阵的哈达玛积，得到混淆图像矩阵。
进一步的，所述在所有的图像集图像中检索得到待查询图像的匹配图像的具体步骤为：
两个云服务器基于待查询图像的混淆矩阵、待查询图像的混淆图像矩阵、所有图像集图像的混淆矩阵和所有图像集图像的混淆图像矩阵，采用CNN对待查询图像和所有图像集图像分别进行特征提取，得到特征向量；所述特征提取具体包括卷积层操作、激活层操作、池化层操作和全连接操作；
两个云服务器基于提取的特征向量，两两比较待查询图像与图像集图像的相似度，得到待查询图像的匹配图像。
进一步的，所述卷积层操作的具体步骤为：
滑动选取图像中的局部像素点矩阵；
第一云服务器选择一个安全盲化参数，基于安全盲化参数和局部像素点矩阵对应位置的混淆矩阵构造四个参数矩阵，并发送给第二云服务器；同时生成盲化矩阵；
第二云服务器将局部像素点矩阵对应位置的混淆图像矩阵依次与四个参数矩阵进行哈达玛运算，得到中间矩阵，并使用卷积核对中间矩阵进行卷积操作，得到局部像素点矩阵的输出值。
进一步的，所述激活层操作的具体步骤为：
第二云服务器将所述卷积层的输出作为激活层的输入；若输入值大于0，则激活层的输出值为输入值；否则，激活层的输出值为0。
进一步的，所述池化层操作的具体步骤为：
①第二云服务器将所述激活层的输出作为池化层的输入，并将输入矩阵划分为多个局部特征矩阵；
②第二云服务器在每一个局部特征矩阵中选择一个要比较的数值；
③第二云服务器在每一个局部特征矩阵中选择一个还未被选择过的数值作为另一个要比较的数值，并向第一云服务器发送这两个要比较的数值在输入矩阵中的坐标；
④第一云服务器生成一个安全盲化参数，计算该安全盲化参数与所述盲化矩阵中两个坐标上的数值的比值，并将该比值发送至第二云服务器；
⑤第二云服务器基于比值，计算得到两个要比较的数值的大小关系，得到较大值；
⑥将所述较大值作为一个要比较的数值，重复步骤③-⑤，直到得到每一个局部特征矩阵中所有数值被选择，得到每一个局部特征矩阵中的最大值，组成最大特征矩阵。
进一步的，所述全连接操作的具体步骤为：
(a)第一云服务器生成一个空的第一一维向量，同时生成一个新的混淆矩阵，并将该新的混淆矩阵拉伸为第三一维向量；
(b)第二云服务器生成一个空的第二一维向量，并将最大特征矩阵拉伸为第四一维向量；
(c)第一云服务器生成安全参数，并基于安全参数和第三一维向量计算得到第五一维向量，并发送给第二云服务器，同时将安全参数插入第一一维向量的最末端；
(d)第二云服务器将第五一维向量与第四一维向量进行哈达玛运算，得到第六一维向量；
(e)第二云服务器选取一个未被选取的权值向量，将第六一维向量与该选取的权值向量点乘操作，将结果插入第二一维向量的最末端；
(f)重复步骤(c)-(e)，直到所有权值向量被选取，第一云服务器得到一个第一一维向量，第二云服务器得到一个第二一维向量，第一一维向量和第二一维向量组成特征向量。
进一步的，所述两两比较待查询图像与图像集图像的相似度的具体步骤为：
第二云服务器将需要比较的两个图像集图像的特征向量的坐标发送给第一云服务器；
第一云服务器选择安全参数，分别计算待查询图像和两个图像集图像下，安全参数与所述第一一维向量中对应坐标位置的数值的比值，得到待比值向量，并发送至第二云服务器；
第二云服务器基于所述比值向量和第二一维向量，比较两个图像集图像与待查询图像的相似度。
第二方面，本发明还提供了一种基于CNN和签密技术的密态图像检索系统；
一种基于CNN和签密技术的密态图像检索系统，包括：
数据拥有客户端，其被配置为：获取用户客户端发送的注册请求后，生成对称密钥、用户私钥和签密参数，将对称密钥分为对称密钥第一部分和对称密钥第二部分；并针对每个图像集图像，采用图像加密算法生成每个图像集图像的混淆矩阵和混淆图像矩阵，同时基于对称密钥对每个图像集图像进行加密得到图像集图像的密态图像；
用户客户端，其被配置为：获取待查询图像，采用图像加密算法生成待查询图像的混淆矩阵和混淆图像矩阵；
两个云服务器，其被配置为：基于待查询图像的混淆矩阵和混淆图像矩阵、以及所有图像集图像的混淆矩阵和混淆图像矩阵，在所有的图像集图像中检索得到待查询图像的匹配图像，并采用签密参数对对称密钥第一部分和匹配图像进行签密，将匹配图像的密态图像和签密后的对称密钥第一部分发送给用户客户端；
用户客户端，其被配置为：采用用户私钥解签密后，结合对称密钥第二部分对匹配图像的密态图像进行解密。
进一步的，所述两个云服务器，被配置为：
基于待查询图像的混淆矩阵、待查询图像的混淆图像矩阵、所有图像集图像的混淆矩阵和所有图像集图像的混淆图像矩阵，采用CNN对待查询图像和所有图像集图像分别进行特征提取，得到特征向量；所述特征提取具体包括卷积层操作、激活层操作、池化层操作和全连接操作；
基于提取的特征向量，两两比较待查询图像与图像集图像的相似度，得到待查询图像的匹配图像。
与现有技术相比，本发明的有益效果是：
本发明的一种基于CNN和签密技术的密态图像检索方法，能够让用户通过向数据拥有者注册签密成功后，云服务器对密态图片执行检索服务，用户得到检索结果后可以确定图像来源。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为本发明实施例一的方法流程图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
术语解释部分:
安全比较协议：对于两个整数u,v，其中若要比较u和v的大小关系，定义f(u，v)＝u-v，而/>因此，只需要确定u1v2-u2v1的符号即可，假设两个服务器C1和C2分别持有u1，v1和u1，v2，那么，C2可以将自己持有的u2，v2进行盲化，如乘上一个安全参数k，得到ku2,kv2，并发送给C1，C1计算u1kv2-ku2v1＝k(u1v2-u2v1)，进而可以确定u和v的大小关系。
基于身份的签密机制：一个基于身份的签密方案由以下几个算法组成：
①系统建立(Setup)：系统初始化算法，输入安全参数k。
②密钥提取(Extract)：密钥生成算法，输入一个用户的身份IDu，数据拥有者计算用户私钥sku并通过安全方式发送给这个用户。
③签密(Signcrypt)：签密算法，输入明文m，接收者的身份IDu和发送者的私钥sko，输出密文σ＝Signcrypt(m,sko,IDu)。
④解签密(Unsigncrypt)：解签密算法，输入密文σ，接收者的私钥sku和发送者的身份IDo，输出明文m或符号“⊥”表示解签密失败。
卷积神经网络(CNN)：CNN是一种深度前馈神经网络，本质上就是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要输入和输出之间的精确表达式，卷积神经网络局部权值共享的特殊结构降低了特征提取和分类过程中数据重建的复杂度。CNN布局更接近于实际的生物神经网络，其结构包括：卷积层，激活层，池化层，全连接层，每一层网络有多个神经元，上一层的神经元通过激活函数映射到下一层神经元，每个神经元之间有相对应的权值。
实施例一，如图1所示，本实施例提供了一种基于CNN和签密技术的密态图像检索方法，涉及三种不同类型的实体：一个数据拥有客户端、一个用户客户端和两个半诚实的云服务器(第一云服务器和第二云服务器)。首先，用户客户端用户接收用户录入的唯一身份ID，并使用唯一身份ID向数据拥有客户端进行签密注册；数据拥有客户端将图像数据集M分割成两部分上传给两个云服务器，云服务器进行CNN特征提取，再对图像数据集M做加密上传给第二云服务器，然后将密钥分割成两部分，一部分和签密参数一起上传给云，云服务器对这部分密钥以及匹配图像对应下标分别做签密后发送给用户，另一部分密钥在用户注册时发送给用户客户端；用户客户端提交待查询图像，云服务进行特征提取，然后计算特征向量的欧氏距离得到匹配图像，将匹配图像返回给用户；注册成功的用户客户端解签密成功后可对匹配图像成功解密。
作为一种实施方式，数据拥有客户端为医院客户端。
(1)注册准备阶段：
用户客户端获取用户录入的用户唯一身份IDu，并使用唯一的身份IDu向数据拥有客户端进行注册，即向数据拥有客户端发送注册请求；
数据拥有客户端获取用户客户端发送的注册请求，进行初始化操作，输入安全参数k，数据拥有客户端生成对称密钥集输入一个用户的身份IDu，数据拥有客户端生成数据拥有客户端的私钥sko(拥有者私钥)和用户客户端的私钥sku(用户私钥)；
数据拥有客户端保管安全参数k，将用户私钥sku通过一个安全通道发送给这个用户客户端，并且将对称密钥Ki分成对称密钥第一部分和对称密钥第二部分/>两部分，其中/>
将对称密钥第一部分和签密参数(签密参数包括数据拥有客户端的私钥sko和用户客户端身份IDu)发送给第二服务器；将用户私钥和对称密钥第二部分/>上传至用户客户端。用数据拥有客户端的私钥sko对/>签密，用用户私钥sku做解签密得到/>
(2)图像加密
数据拥有客户端针对每个图像集图像，采用图像加密算法生成每个图像集图像的混淆矩阵和图像集图像的混淆图像矩阵，同时基于对称密钥对每个图像集图像进行加密得到图像集图像的密态图像，将图像集图像的混淆矩阵上传至第一云服务器，将图像集图像的混淆图像矩阵和图像集图像的密态图像上传至第二云服务器。其中，图像加密算法的具体步骤为：获取输入图像，生成一个与输入图像具有相同尺寸的混淆矩阵；计算输入图像和混淆矩阵的哈达玛积，得到混淆图像矩阵。
(201)数据拥有客户端存储有原始图像集M，对于原始图像集M中的每一个图像集图像Mi，生成一个与图像集图像Mi具有相同尺寸的混淆矩阵m；计算图像集图像Mi和混淆矩阵m的哈达玛积(hadamard积)，即将Mi和m对应位置的像素值分别进行乘操作(记为Mim)，进而生成图像集图像的混淆图像矩阵，令di'＝m，di”＝Mim；将图像集图像的混淆矩阵di'发送给第一云服务器C1，图像集图像的混淆图像矩阵di”发送给第二云服务器C2。
(202)同时，对图像集图像的Mi使用对称密钥Ki做加密形成图像集图像的密态图像EMi，将EMi，以及签密参数也发送给第二云服务器C2。
(3)特征提取
云服务器C1和C2负责存储数据拥有客户端上传的所有图像集图像的混淆矩阵和所有图像集图像的混淆图像矩阵，并且对图像集图像进行特征提取，结束后，C1和C2将分别获得图像集图像的特征向量f'和f”。
本发明通过CNN卷积神经网络对每个图像集图像进行特征提取，其中，特征提取具体包括卷积层操作、激活层操作、池化层操作和全连接操作；具体的卷积流程：
(301)卷积层操作
卷积运算的本质在原始输入上局部执行点乘操作进行特征的提取。假设，原始图像的某一局部像素点矩阵为第一云服务器C1持有的混淆矩阵m在对应位置的值为第二云服务器C2持有的混淆图像矩阵中对应位置的值为/>根据加密规则，可以知道/>此次卷积的卷积核为/>卷积后的输出记为yk,l，具体计算步骤为：
滑动选取图像中的局部像素点矩阵，对于图像中的每一个局部像素点矩阵
第一云服务器C1选择一个安全盲化参数τ(τ>0)，基于安全盲化参数τ和局部像素点矩阵对应位置的混淆矩阵构造四个参数矩阵/> 并发送给第二云服务器C2；同时，C1生成新的混淆矩阵m(大小与本轮卷积操作后生成的矩阵相同)，将m的(k,l)位置的值设为ξk,l＝τ，生成盲化矩阵。
第二云服务器C2收到四个参数矩阵后，将局部像素点矩阵对应位置的混淆图像矩阵依次与四个参数矩阵/> 进行哈达玛(hadamard)运算，可以得到中间矩阵/>并使用卷积核对中间矩阵进行卷积操作，进而得到局部像素点矩阵的输出值
对于其他位置的卷积操作，按照以上步骤进行，直到进行完本轮的卷积操作，生成特征层。
(302)激活层操作
在本发明中使用ReLU激活函数作为激活函数，对于输入为x的激活函数，其输出可以表示为max(x,0)。
在本发明中，第二云服务器将卷积层的输出yk,l作为激活层的输入xk,l，而若输入值大于0，则激活层的输出值为输入值；否则，激活层的输出值为0。因此，激活层的输出可以表示为：
(303)池化层操作
第二云服务器将激活层的输出yk,l作为池化层的输入xk,l。采用最大池化函数将一定区域内的最大值进行输出，假设，要在C2的某个特征矩阵的某个4*4范围内对应的原始数据的最大值，特征矩阵中对应的这四个值为在C1的盲化矩阵中对应位置的值为/>根据安全比较协议，可以轻松的找出/>对应的ap,q，其操作如下：
①第二云服务器将输入矩阵划分为多个局部特征矩阵；
②第二云服务器在每一个局部特征矩阵中选择一个要比较的数值；
③第二云服务器C2在每一个局部特征矩阵中选择一个还未被选择过的数值作为另一个要比较的数值，并向第一云服务器C1发送这两个要比较的数值，xi,j和xk,l，在输入矩阵中的坐标；
④第一云服务器C1得到坐标后，首先生成一个安全盲化参数τ，然后计算该安全盲化参数与盲化矩阵中两个坐标上的数值的比值，即并将该比值发送给C2；
⑤C2基于比值，计算得到两个要比较的数值的大小关系，得到较大值，具体的，计算若输出为1，则ai,j＞ak,l，将xi,j放入下一轮比较，否则，将xk,l放入下一轮比较；
⑥将所述较大值作为一个要比较的数值，重复步骤③-⑤，直到得到每一个局部特征矩阵中所有数值被选择，得到每一个局部特征矩阵中的最大值，组成最大特征矩阵。
(304)全连接操作
全连接通过把局部特征与权值矩阵点乘得到全局特征。假设，要对C2中的某个特征矩阵，即最大特征矩阵，进行全连接，该最大特征矩阵为对应的在C1上有混淆矩阵/>将权值矩阵/>拉伸为n个一维权值向量(v0,1,…,v0,(n-1)*(n-1)),…,(vn-1,1,…,vn-1,(n-1)*(n-1))，具体操作如下：
(a)C1生成一个空的第一一维向量同时生成一个新的混淆矩阵，该新的混淆矩阵的大小与最大特征矩阵相同，并将新的混淆矩阵/>拉伸为第三一维向量(ξ0,0,…,ξn-1,n-1)；
(b)C2生成一个空的第二一维向量并将最大特征矩阵/>拉伸为第四一维向量(x0,0,…,xn-1,n-1)；
(c)C1生成安全参数τ，并基于安全参数和第三一维向量计算得到第五一维向量然后发送给C2，同时将τ插入/>的最末端。
(d)C2收到向量将其与(x0,0,…,xn-1,n-1)进行哈达玛(hadamard)运算，得到第六一维向量/>
(e)第二云服务器选取一个未被选取的权值向量(vi,1,…,vi,(n-1)*(n-1))，然后将第六一维向量与该选取的权值向量(vi,1,…,vi,(n-1)*(n-1))进行点乘操作，将结果插入的最末端；
(f)重复(c)-(e)，直到所有权值向量被选取，完成全连接操作；最终，会在C1得到一个一维向量在C2上得到一个一维向量/>第一一维向量和第二一维向量组成特征向量；将/>对应位置的值与/>对应位置的值做比值，得到原始图像的特征向量。
(4)图像检索
(401)提交请求
用户客户端获取待查询图像，采用步骤(201)的图像加密算法生成待查询图像Mq的混淆矩阵Mq'和待查询图像的混淆图像矩阵Mq”，并分别发送给两个云服务器C1和C2，具体的，将待查询图像的混淆矩阵Mq'发送给第一云服务器，待查询图像的混淆图像矩阵Mq”发送给第二云服务器。云服务器接收到用户的查询图像后，进行同样的CNN特征提取，得到特征向量fq'和fq”。
(402)匹配阶段
两个云服务器基于待查询图像的混淆矩阵、待查询图像的混淆图像矩阵、所有图像集图像的混淆矩阵和所有图像集图像的混淆图像矩阵，在所有的图像集图像中检索得到待查询图像的匹配图像，并采用签密参数对对称密钥第一部分和匹配图像进行签密，将匹配图像的密态图像和签密后的对称密钥第一部分发送给用户客户端。
两个云服务器基于待查询图像的混淆矩阵、待查询图像的混淆图像矩阵、所有图像集图像的混淆矩阵和所有图像集图像的混淆图像矩阵，在所有的图像集图像中检索得到待查询图像的匹配图像的过程包括：两个云服务器基于待查询图像的混淆矩阵、待查询图像的混淆图像矩阵、所有图像集图像的混淆矩阵和所有图像集图像的混淆图像矩阵，采用CNN对待查询图像和所有图像集图像分别进行特征提取，得到特征向量；所述特征提取具体包括卷积层操作、激活层操作、池化层操作和全连接操作；两个云服务器基于提取的特征向量，两两比较待查询图像与图像集图像的相似度，得到待查询图像的匹配图像。具体的：
云服务器接收到待查询图像的混淆矩阵和待查询图像的混淆图像矩阵后，进行与步骤(3)同样的CNN特征提取，得到查询图像的特征向量fq'和fq”。
云服务器C1和C2通过计算欧氏距离比较得到最相似的特征向量，两个特征向量之间的欧氏距离记作/>如果想要比较/>和Eud/>的大小，其中，/>为待查询图像的特征向量，/>和/>为两个图像集图像的特征向量，其步骤如下：
①、C2将需要比较的两个密态图像的特征向量的坐标(j和k)发送给C1；
②、C1选择安全参数τ，然后分别计算待查询图像和两个图像集图像下，安全参数与第一一维向量中对应坐标位置的数值的比值，得到比值向量并发送给C2；
③、第二云服务器基于所述比值向量和第二一维向量，比图像集图像与待查询图像的相似度，具体的，C2计算并比较和/>之间的大小，若那么/>反之亦然；
④、最终C2得到与待查询图像的特征向量距离最小的图像集图像的特征向量将其对应的图像集图像作为匹配图像，匹配图像下标即为z；
⑤、采用签密参数对对应的对称密钥第一部分和匹配图像的密态图像EMz'和EMz”进行签密，将匹配图像的密态图像和签密后的对称密钥第一部分发送给用户客户端。
(403)结果返回
如果用户客户端和数据拥有客户端进行过注册，那么用户客户端采用用户私钥解签密得到对称密钥第一部分解签密后通过下标去定位另一部分密钥/>进而结合自己的对称密钥第二部分/>和解签密得到对称密钥第一部分/>还原出对称密钥/>进而可以对匹配图像的密态图像EMz'和EMz”进行解密操作，得到解密后匹配图像EMz。
通过本发明的方法，用户客户端通过注册得到数据拥有客户端的认证后可以向云服务器上传查询图像，云服务器在密态状态下执行特征提取和检索操作。且只有注册成功的用户客户端才能得到解签密参数并最终对匹配结果进行解密。
本发明能够让用户客户端通过向数据拥有客户端注册签密成功后，云服务器对密态图片执行检索服务，用户得到检索结果后可以确定图像来源。
实施例二，本实施例提供了一种基于CNN和签密技术的密态图像检索系统；
一种基于CNN和签密技术的密态图像检索系统，包括：
数据拥有客户端，其被配置为：获取用户客户端发送的注册请求后，生成对称密钥、用户私钥和签密参数，将对称密钥分为对称密钥第一部分和对称密钥第二部分；并针对每个图像集图像，采用图像加密算法生成每个图像集图像的混淆矩阵和混淆图像矩阵，同时基于对称密钥对每个图像集图像进行加密得到图像集图像的密态图像。
用户客户端，其被配置为：获取待查询图像，采用图像加密算法生成待查询图像的混淆矩阵和混淆图像矩阵。
两个云服务器，其被配置为：基于待查询图像的混淆矩阵和混淆图像矩阵、以及所有图像集图像的混淆矩阵和混淆图像矩阵，在所有的图像集图像中检索得到待查询图像的匹配图像，并采用签密参数对对称密钥第一部分和匹配图像进行签密，将匹配图像的密态图像和签密后的对称密钥第一部分发送给用户客户端；具体的：基于待查询图像的混淆矩阵、待查询图像的混淆图像矩阵、所有图像集图像的混淆矩阵和所有图像集图像的混淆图像矩阵，采用CNN对待查询图像和所有图像集图像分别进行特征提取，得到特征向量；所述特征提取具体包括卷积层操作、激活层操作、池化层操作和全连接操作；基于提取的特征向量，两两比较待查询图像与图像集图像的相似度，得到待查询图像的匹配图像。
用户客户端，其被配置为：采用用户私钥解签密后，结合对称密钥第二部分对匹配图像的密态图像进行解密。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (4)

1.一种基于CNN和签密技术的密态图像检索方法，其特征是，包括如下步骤：
数据拥有客户端获取用户客户端发送的注册请求后，生成对称密钥、用户私钥和签密参数，将对称密钥分为对称密钥第一部分和对称密钥第二部分；并针对每个图像集图像，采用图像加密算法生成每个图像集图像的混淆矩阵和混淆图像矩阵，同时基于对称密钥对每个图像集图像进行加密得到图像集图像的密态图像；
用户客户端获取待查询图像，采用图像加密算法生成待查询图像的混淆矩阵和混淆图像矩阵；
两个云服务器基于待查询图像的混淆矩阵和混淆图像矩阵、以及所有图像集图像的混淆矩阵和混淆图像矩阵，在所有的图像集图像中检索得到待查询图像的匹配图像，并采用签密参数对对称密钥第一部分和匹配图像进行签密，将匹配图像的密态图像和签密后的对称密钥第一部分发送给用户客户端；
用户客户端采用用户私钥解签密后，结合对称密钥第二部分对匹配图像的密态图像进行解密；
所述在所有的图像集图像中检索得到待查询图像的匹配图像的具体步骤为：两个云服务器基于待查询图像的混淆矩阵、待查询图像的混淆图像矩阵、所有图像集图像的混淆矩阵和所有图像集图像的混淆图像矩阵，采用CNN对待查询图像和所有图像集图像分别进行特征提取，得到特征向量；所述特征提取具体包括卷积层操作、激活层操作、池化层操作和全连接操作；两个云服务器基于提取的特征向量，两两比较待查询图像与图像集图像的相似度，得到待查询图像的匹配图像；
所述卷积层操作的具体步骤为：滑动选取图像中的局部像素点矩阵；第一云服务器选择一个安全盲化参数，基于安全盲化参数和局部像素点矩阵对应位置的混淆矩阵构造四个参数矩阵，并发送给第二云服务器；同时生成盲化矩阵；第二云服务器将局部像素点矩阵对应位置的混淆图像矩阵依次与四个参数矩阵进行哈达玛运算，得到中间矩阵，并使用卷积核对中间矩阵进行卷积操作，得到局部像素点矩阵的输出值；
所述池化层操作的具体步骤为：①第二云服务器将所述激活层的输出作为池化层的输入，并将输入矩阵划分为多个局部特征矩阵；②第二云服务器在每一个局部特征矩阵中选择一个要比较的数值；③第二云服务器在每一个局部特征矩阵中选择一个还未被选择过的数值作为另一个要比较的数值，并向第一云服务器发送这两个要比较的数值在输入矩阵中的坐标；④第一云服务器生成一个安全盲化参数，计算该安全盲化参数与所述盲化矩阵中两个坐标上的数值的比值，并将该比值发送至第二云服务器；⑤第二云服务器基于比值，计算得到两个要比较的数值的大小关系，得到较大值；⑥将所述较大值作为一个要比较的数值，重复步骤③-⑤，直到得到每一个局部特征矩阵中所有数值被选择，得到每一个局部特征矩阵中的最大值，组成最大特征矩阵；
所述全连接操作的具体步骤为：(a)第一云服务器生成一个空的第一一维向量，同时生成一个新的混淆矩阵，并将该新的混淆矩阵拉伸为第三一维向量；(b)第二云服务器生成一个空的第二一维向量，并将最大特征矩阵拉伸为第四一维向量；(c)第一云服务器生成安全参数，并基于安全参数和第三一维向量计算得到第五一维向量，并发送给第二云服务器，同时将安全参数插入第一一维向量的最末端；(d)第二云服务器将第五一维向量与第四一维向量进行哈达玛运算，得到第六一维向量；(e)第二云服务器选取一个未被选取的权值向量，将第六一维向量与该选取的权值向量点乘操作，将结果插入第二一维向量的最末端；(f)重复步骤(c)-(e)，直到所有权值向量被选取，第一云服务器得到一个第一一维向量，第二云服务器得到一个第二一维向量，第一一维向量和第二一维向量组成特征向量；
所述两两比较待查询图像与图像集图像的相似度的具体步骤为：第二云服务器将需要比较的两个图像集图像的特征向量的坐标发送给第一云服务器；第一云服务器选择安全参数，分别计算待查询图像和两个图像集图像下，安全参数与所述第一一维向量中对应坐标位置的数值的比值，得到待比值向量，并发送至第二云服务器；第二云服务器基于所述比值向量和第二一维向量，比较两个图像集图像与待查询图像的相似度。
2.如权利要求1所述的一种基于CNN和签密技术的密态图像检索方法，其特征是，所述图像加密算法的具体步骤为：
获取输入图像，生成一个与输入图像具有相同尺寸的混淆矩阵；
计算输入图像和混淆矩阵的哈达玛积，得到混淆图像矩阵。
3.如权利要求1所述的一种基于CNN和签密技术的密态图像检索方法，其特征是，所述激活层操作的具体步骤为：
第二云服务器将所述卷积层的输出作为激活层的输入；若输入值大于0，则激活层的输出值为输入值；否则，激活层的输出值为0。
4.一种基于CNN和签密技术的密态图像检索系统，其特征是，包括：
数据拥有客户端，其被配置为：获取用户客户端发送的注册请求后，生成对称密钥、用户私钥和签密参数，将对称密钥分为对称密钥第一部分和对称密钥第二部分；并针对每个图像集图像，采用图像加密算法生成每个图像集图像的混淆矩阵和混淆图像矩阵，同时基于对称密钥对每个图像集图像进行加密得到图像集图像的密态图像；
用户客户端，其被配置为：获取待查询图像，采用图像加密算法生成待查询图像的混淆矩阵和混淆图像矩阵；
两个云服务器，其被配置为：基于待查询图像的混淆矩阵和混淆图像矩阵、以及所有图像集图像的混淆矩阵和混淆图像矩阵，在所有的图像集图像中检索得到待查询图像的匹配图像，并采用签密参数对对称密钥第一部分和匹配图像进行签密，将匹配图像的密态图像和签密后的对称密钥第一部分发送给用户客户端；
用户客户端，其被配置为：采用用户私钥解签密后，结合对称密钥第二部分对匹配图像的密态图像进行解密；
所述在所有的图像集图像中检索得到待查询图像的匹配图像的具体步骤为：两个云服务器基于待查询图像的混淆矩阵、待查询图像的混淆图像矩阵、所有图像集图像的混淆矩阵和所有图像集图像的混淆图像矩阵，采用CNN对待查询图像和所有图像集图像分别进行特征提取，得到特征向量；所述特征提取具体包括卷积层操作、激活层操作、池化层操作和全连接操作；两个云服务器基于提取的特征向量，两两比较待查询图像与图像集图像的相似度，得到待查询图像的匹配图像；
所述卷积层操作的具体步骤为：滑动选取图像中的局部像素点矩阵；第一云服务器选择一个安全盲化参数，基于安全盲化参数和局部像素点矩阵对应位置的混淆矩阵构造四个参数矩阵，并发送给第二云服务器；同时生成盲化矩阵；第二云服务器将局部像素点矩阵对应位置的混淆图像矩阵依次与四个参数矩阵进行哈达玛运算，得到中间矩阵，并使用卷积核对中间矩阵进行卷积操作，得到局部像素点矩阵的输出值；
所述池化层操作的具体步骤为：①第二云服务器将所述激活层的输出作为池化层的输入，并将输入矩阵划分为多个局部特征矩阵；②第二云服务器在每一个局部特征矩阵中选择一个要比较的数值；③第二云服务器在每一个局部特征矩阵中选择一个还未被选择过的数值作为另一个要比较的数值，并向第一云服务器发送这两个要比较的数值在输入矩阵中的坐标；④第一云服务器生成一个安全盲化参数，计算该安全盲化参数与所述盲化矩阵中两个坐标上的数值的比值，并将该比值发送至第二云服务器；⑤第二云服务器基于比值，计算得到两个要比较的数值的大小关系，得到较大值；⑥将所述较大值作为一个要比较的数值，重复步骤③-⑤，直到得到每一个局部特征矩阵中所有数值被选择，得到每一个局部特征矩阵中的最大值，组成最大特征矩阵；
所述全连接操作的具体步骤为：(a)第一云服务器生成一个空的第一一维向量，同时生成一个新的混淆矩阵，并将该新的混淆矩阵拉伸为第三一维向量；(b)第二云服务器生成一个空的第二一维向量，并将最大特征矩阵拉伸为第四一维向量；(c)第一云服务器生成安全参数，并基于安全参数和第三一维向量计算得到第五一维向量，并发送给第二云服务器，同时将安全参数插入第一一维向量的最末端；(d)第二云服务器将第五一维向量与第四一维向量进行哈达玛运算，得到第六一维向量；(e)第二云服务器选取一个未被选取的权值向量，将第六一维向量与该选取的权值向量点乘操作，将结果插入第二一维向量的最末端；(f)重复步骤(c)-(e)，直到所有权值向量被选取，第一云服务器得到一个第一一维向量，第二云服务器得到一个第二一维向量，第一一维向量和第二一维向量组成特征向量；
所述两两比较待查询图像与图像集图像的相似度的具体步骤为：第二云服务器将需要比较的两个图像集图像的特征向量的坐标发送给第一云服务器；第一云服务器选择安全参数，分别计算待查询图像和两个图像集图像下，安全参数与所述第一一维向量中对应坐标位置的数值的比值，得到待比值向量，并发送至第二云服务器；第二云服务器基于所述比值向量和第二一维向量，比较两个图像集图像与待查询图像的相似度。
CN202111242471.XA 2021-10-25 2021-10-25 一种基于cnn和签密技术的密态图像检索方法及系统 Active CN114189351B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111242471.XA CN114189351B (zh) 2021-10-25 2021-10-25 一种基于cnn和签密技术的密态图像检索方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111242471.XA CN114189351B (zh) 2021-10-25 2021-10-25 一种基于cnn和签密技术的密态图像检索方法及系统

Publications (2)

Publication Number Publication Date
CN114189351A CN114189351A (zh) 2022-03-15
CN114189351B true CN114189351B (zh) 2024-02-23

Family

ID=80539873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111242471.XA Active CN114189351B (zh) 2021-10-25 2021-10-25 一种基于cnn和签密技术的密态图像检索方法及系统

Country Status (1)

Country Link
CN (1) CN114189351B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115102733B (zh) * 2022-06-13 2023-11-21 西安电子科技大学 一种高效打包的图像加密检索方法
CN117237115B (zh) * 2023-11-15 2024-02-23 四川绿豆芽信息技术有限公司 一种碳排放交易的加密方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9367763B1 (en) * 2015-01-12 2016-06-14 Xerox Corporation Privacy-preserving text to image matching
CN106875325A (zh) * 2017-02-14 2017-06-20 四川理工学院 一种可搜索图像加密算法
CN108304573A (zh) * 2018-02-24 2018-07-20 江苏测联空间大数据应用研究中心有限公司 基于卷积神经网络和监督核哈希的目标检索方法
CN110176983A (zh) * 2019-05-22 2019-08-27 西安电子科技大学 基于全同态加密的隐私保护关联规则挖掘方法
CN111324870A (zh) * 2020-01-22 2020-06-23 武汉大学 一种基于安全双方计算的外包卷积神经网络隐私保护系统
CN111541679A (zh) * 2020-04-17 2020-08-14 武汉大学 一种云环境下基于秘密共享的图像安全检索方法
CN112528064A (zh) * 2020-12-10 2021-03-19 西安电子科技大学 一种隐私保护的加密图像检索方法及系统
CN112860932A (zh) * 2021-02-19 2021-05-28 电子科技大学 抵御恶意样本攻击的图像检索方法、装置、设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9367763B1 (en) * 2015-01-12 2016-06-14 Xerox Corporation Privacy-preserving text to image matching
CN106875325A (zh) * 2017-02-14 2017-06-20 四川理工学院 一种可搜索图像加密算法
CN108304573A (zh) * 2018-02-24 2018-07-20 江苏测联空间大数据应用研究中心有限公司 基于卷积神经网络和监督核哈希的目标检索方法
CN110176983A (zh) * 2019-05-22 2019-08-27 西安电子科技大学 基于全同态加密的隐私保护关联规则挖掘方法
CN111324870A (zh) * 2020-01-22 2020-06-23 武汉大学 一种基于安全双方计算的外包卷积神经网络隐私保护系统
CN111541679A (zh) * 2020-04-17 2020-08-14 武汉大学 一种云环境下基于秘密共享的图像安全检索方法
CN112528064A (zh) * 2020-12-10 2021-03-19 西安电子科技大学 一种隐私保护的加密图像检索方法及系统
CN112860932A (zh) * 2021-02-19 2021-05-28 电子科技大学 抵御恶意样本攻击的图像检索方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A Lightweight Privacy-Preserving CNN Feature Extraction Framework for Mobile Sensing;Kai Huang 等;IEEE TRANSACTIONS ON DEPENDABLE AND SECURE COMPUTING;20210630;第18卷(第3期);1441-1455 *

Also Published As

Publication number Publication date
CN114189351A (zh) 2022-03-15

Similar Documents

Publication Publication Date Title
Giacomelli et al. Privacy-preserving ridge regression with only linearly-homomorphic encryption
Avudaiappan et al. Medical image security using dual encryption with oppositional based optimization algorithm
TWI615012B (zh) 用於密碼學密鑰產生之方法、器件及伺服器與其非暫態電腦可讀儲存媒體
CN114189351B (zh) 一种基于cnn和签密技术的密态图像检索方法及系统
US9787647B2 (en) Secure computer evaluation of decision trees
CN105631296B (zh) 一种基于cnn特征提取器的安全人脸认证系统设计方法
Li et al. Optimizing privacy-preserving outsourced convolutional neural network predictions
Liu et al. Intelligent and secure content-based image retrieval for mobile users
CN105046234B (zh) 基于稀疏表示的云环境中人脸图像隐秘识别方法
CN110866135B (zh) 一种基于响应长度隐藏的k-NN图像检索方法及系统
EP4073974A1 (en) Privacy-preserving biometric authentication
He et al. A deep learning based attack for the chaos-based image encryption
CN113343000A (zh) 基于国密算法的图像加密方法、装置、电子设备及介质
Kumar et al. A GRU and chaos-based novel image encryption approach for transport images
Podschwadt et al. Non-interactive privacy preserving recurrent neural network prediction with homomorphic encryption
WO2020209793A1 (en) Privacy preserving system for mapping common identities
Cai et al. Privacy‐preserving CNN feature extraction and retrieval over medical images
Manisha et al. CBRC: a novel approach for cancelable biometric template generation using random permutation and Chinese Remainder Theorem
CN108920968B (zh) 一种基于连接关键词的文件可搜索加密方法
CN116865938A (zh) 基于秘密共享和同态加密的多服务器联邦学习方法
Bai et al. CryptoMask: Privacy-preserving Face Recognition
CN112580011B (zh) 一种面向生物特征隐私保护的人像加解密系统
Chitrapu et al. A survey on homomorphic encryption for biometrics template security based on machine learning models
YILMAZ et al. Security of neqr quantum image by using quantum fourier transform with blind trent
Hachim et al. Iris-based authentication model in cloud environment (iamce)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant