CN112860932B - 抵御恶意样本攻击的图像检索方法、装置、设备及存储介质 - Google Patents

抵御恶意样本攻击的图像检索方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112860932B
CN112860932B CN202110192152.6A CN202110192152A CN112860932B CN 112860932 B CN112860932 B CN 112860932B CN 202110192152 A CN202110192152 A CN 202110192152A CN 112860932 B CN112860932 B CN 112860932B
Authority
CN
China
Prior art keywords
image
server
sample
sample image
malicious
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202110192152.6A
Other languages
English (en)
Other versions
CN112860932A (zh
Inventor
王勇
王范川
林劼
王晓虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202110192152.6A priority Critical patent/CN112860932B/zh
Publication of CN112860932A publication Critical patent/CN112860932A/zh
Application granted granted Critical
Publication of CN112860932B publication Critical patent/CN112860932B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/535—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Library & Information Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种抵御恶意样本攻击的图像检索方法、装置、设备及存储介质，该方法包括利用对抗生成网络判别样本图像集中的恶意样本图像；根据所述恶意样本图像重构样本图像集，过滤恶意样本图像；利用前向推理网络获取所述样本图像集中目标样本图像的特征向量；根据所述目标样本图像的特征向量和库图像的特征向量，获取所述目标样本图像的检索结果。本发明采用PAHE结合两方安全计算技术，首先通过重构恶意样本的图像来消除扰动带来的影响，再将重构后的能够正确分类的图像进行安全特征提取以及安全图像检索，不会泄露任何关于图像原数据、训练梯度、特征向量等信息，旨在解决现有技术中存在的图像检索过程复杂且信息隐私得不到保证的技术问题。

Description

抵御恶意样本攻击的图像检索方法、装置、设备及存储介质
技术领域
本发明涉及图像检索领域，尤其涉及一种抵御恶意样本攻击的图像检索方法、装置、设备及存储介质。
背景技术
深度神经网络DNNs在视觉对象识别上展现了前所未有的优势，在云计算领域，使用DNN的基于图像内容的图像检索(CBIR)应用也变得越来越流行。移动用户将他们的图像外包给云服务器，从而享受有效、智能的CBIR服务，这是一种经济高效的方法。基于DNN深度特征的CBIR能够更智能准确的产生图像的搜索结果。例如自动人脸识别服务能够检索出和特定人物相类似的一组照片。
虽然基于DNN深度特征的CBIR有巨大的商业和技术优势，但是在很多实际的应用场景下，直接将图像外包可能会带来数据隐私泄露的问题，更为重要的是，基于DNN深度特征的CBIR严重受到DNN网络本身分类的准确性的影响，而DNN网络很容易收到来自恶意样本的攻击：在输入图像上加入精心制造的扰动，使得人肉眼上无法识别，但是在前向推理阶段，这些小的扰动会使得图像分类完全错误，这将会导致基于DNN深度特征的CBIR完全的失效。
目前，对抗生成网络GAN由于其强大的学习分布的表达能力，被广泛应用于生成攻击以及对抗抗击。PouyaSamangouei等人提出Defnse-GAN，利用GAN的强大的表达能力抵御了恶意样本的攻击，然而由于生成网络模型的输出、网络参数以及中间结果是敏感数据，同时Defnse-GAN使用梯度下降算法去选择合适的样本输出，显然梯度信息也是敏感数据，因为攻击者会通过梯度信息来获取生成网络的输出数据。同态加密技术获取能够潜在的解决这个问题，但是并不支持除法和实数操作，安全多方技术或许也是替代方案，但是由于深度神经网络大的输入与深的网络结构，服务器之间的通信开销也无法承担。
专利公开号为CN111414964的中国专利公开了一种基于对抗样本防御的图像安全识别方法，但该专利技术方案利用差分进化算法生成作为对抗样本的子图像过程复杂且信息隐私得不到保证。
因此，如何保证图像检索中模型、原始数据、梯度以及中间结果等隐私信息，同时提高图像检索的效率和准确性上处于可接受的范围，是一个亟需解决的技术问题。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种抵御恶意样本攻击的图像检索方法、装置、设备及存储介质，旨在解决现有技术中存在的图像检索过程复杂且信息隐私得不到保证的技术问题。
为实现上述目的，本发明提出一种抵御恶意样本攻击的图像检索方法，包括以下步骤：
利用对抗生成网络判别样本图像集中的恶意样本图像；
根据所述恶意样本图像重构样本图像集，以使所述样本图像集过滤所述恶意样本图像；
利用前向推理网络获取所述样本图像集中目标样本图像的特征向量；
根据所述目标样本图像的特征向量和库图像的特征向量，获取所述目标样本图像的检索结果。
可选的，利用对抗生成网络判别样本图像集中的恶意样本图像步骤，具体包括：
利用秘密共享将样本图像集中样本图像I分成Ia和Ib，分别将其上传至给服务器S1和服务器S2；
通过前向推理算法和随机梯度下降算法计算服务器S1和服务器S2的损失函数，并根据损失函数训练得到Z*向量；
利用秘密共享将Z*向量分成Z* a和Z* b并使其分别被服务器S1和服务器S2持有；
通过前向推理算法获得过滤图像，判别样本图像集中的恶意样本图像。
可选的，通过前向推理算法和随机梯度下降算法计算服务器S1和服务器S2的损失函数，并根据损失函数训练得到Z*向量步骤，具体包括：
利用公钥pk将模型参数加密，并将公钥pk和加密模型交给服务器S1，私钥交给服务器S2；
服务器S1和服务器S2利用PAHE法和两方安全计算执行前向推理算法；
利用秘密共享将前向推理算法结果G(z)分成G(z)a和G(z)b，分别交给服务器S1和服务器S2。
可选的，通过前向推理算法和随机梯度下降算法计算服务器S1和服务器S2的损失函数，并根据损失函数训练得到Z*向量步骤，还包括：
代入损失函数每层的梯度值，以WGAN网络对获得的损失函数进行链式计算，获取损失函数结果值。
可选的，利用前向推理网络获取所述样本图像集中目标样本图像的特征向量步骤，具体包括：
对于过滤后的图像，利用秘密共享分成两个部分Ia和Ib分别被服务器S1和服务器S2所拥有；
服务器S1和服务器S2合作执行代理重加密，将秘密分享形式的图像转换为代理重加密密文[I]；
服务器S1和服务器S2利用PAHE技术结合两方安全技术执行CNN前向推理网络，获得特征向量v；
利用秘密共享将特征向量v分成两个部分：va和vb，其中：v＝va-vb，分别被服务器S1和服务器S2持有。
可选的，根据所述目标样本图像的特征向量和库图像的特征向量，获取所述目标样本图像的检索结果步骤，具体包括：
对于特征向量v，都有唯一的表示id，通过hash算法建立索引，即将具有相同分类标签的特征向量放入同一个桶内；
对于查询图像Iq，利用秘钥共享将其划分为两个部分，即Iqa和Iqb，其中：Iq＝Iqa-Iqb，分别将其上传至服务器S1和服务器S2；
通过欧式距离计算协议，不泄露特征向量的计算向量之间的欧式距离；
通过获取top-k距离的图像id，分别将其秘密分享形式的的结果图像发送给查询用户。
可选的，通过获取top-k距离的图像id，分别将其秘密分享形式的的结果图像发送给查询用户步骤之后，还包括：
查询用户通过对获取的结果图像求差，获得真实的图像的结果集。
此外，为了实现上述目的，本发明还提供一种抵御恶意样本攻击的图像检索装置，抵御恶意样本攻击的图像检索装置包括：
图像重构模块：用于利用对抗生成网络判别样本图像集中的恶意样本图像，并根据所述恶意样本图像重构样本图像集，以使所述样本图像集过滤所述恶意样本图像；
特征提取模块：用于利用前向推理网络获取所述样本图像集中目标样本图像的特征向量；
图像检索模块：用于根据所述目标样本图像的特征向量和库图像的特征向量，获取所述目标样本图像的检索结果。
此外，为了实现上述目的，本发明还提供一种抵御恶意样本攻击的图像检索设备，抵御恶意样本攻击的图像检索设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的抵御恶意样本攻击的图像检索程序，所述抵御恶意样本攻击的图像检索程序被所述处理器执行时实现上述的抵御恶意样本攻击的图像检索方法的步骤。
此外，为了实现上述目的，本发明还提供一种存储介质，所述存储介质上存储有抵御恶意样本攻击的图像检索程序，所述抵御恶意样本攻击的图像检索程序被处理器执行时实现上述的抵御恶意样本攻击的图像检索方法的步骤。
本发明中，通过利用对抗生成网络判别样本图像集中的恶意样本图像；根据所述恶意样本图像重构样本图像集，以使所述样本图像集过滤所述恶意样本图像；利用前向推理网络获取所述样本图像集中目标样本图像的特征向量；根据所述目标样本图像的特征向量和库图像的特征向量，获取所述目标样本图像的检索结果。本发明采用PAHE结合两方安全计算技术，首先通过重构恶意样本的图像来消除扰动带来的影响，再将重构后的能够正确分类的图像进行安全特征提取以及安全图像检索，并且不会泄露任何关于图像原数据、训练梯度、特征向量等信息，旨在解决现有技术中存在的图像检索过程复杂且信息隐私得不到保证的技术问题。
附图说明
图1为本发明实施例方案涉及的方法流程示意图。
图2为本发明安全重构的系统结构示意图。
图3为本发明安全gan的前向推理框架示意图。
图4为本发明多通道反卷积的矩阵-向量操作示意图。
图5为本发明的wgan网络结构示意图。
图6为本发明实施例方案涉及的装置结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，图1为本发明实施例方案涉及的抵御恶意样本攻击的图像检索方法流程示意图。
如图1所示，该抵御恶意样本攻击的图像检索方法，包括以下步骤：
S10：利用对抗生成网络判别样本图像集中的恶意样本图像；
S20：根据所述恶意样本图像重构样本图像集，以使所述样本图像集过滤所述恶意样本图像；
S30：利用前向推理网络获取所述样本图像集中目标样本图像的特征向量；
S40：根据所述目标样本图像的特征向量和库图像的特征向量，获取所述目标样本图像的检索结果。
在该实施例中，如图2所示，利用对抗生成网络判别样本图像集中的恶意样本图像，主要包括步骤：
S101：图像拥有者通过秘密分享技术将可能带有恶意样本的图像I分成两个部分Ia和Ib，分别将其上传至给服务器S1和服务器S2。
S102：服务器S1和S2通过安全的随机梯度下降算法SecMinimizer()去计算损失函数
Figure BDA0002944862170000061
其中G(z)是通过安全的前向推理SecGan()计算得出。
S103：通过秘密分享技术将安全训练得到的Z向量分成两个部分：
Figure BDA0002944862170000062
和
Figure BDA0002944862170000063
它们分别被S1和S2持有。
S104：通过安全的前向推理SecGan(za，zb)→I获得过滤之后的图像，即能够分类正确没有噪声的图像。
在具体实现中，如图3所示，安全的前向推理算法包括步骤：
A1：模型提供者使用公钥pk将模型参数加密，并将公钥pk和加密模型交给分布式计算服务器S1，私钥交给分布式服务器S2。
A2：分布式服务器S1和S2利用PAHE方案结合两方安全计算技术合作地执行GAN前向推理，其中GAN的前向网络包括线性层反卷积层和非线性层。
如图4所示，对于多通道的反卷积层，通过将反卷积转换成矩阵-向量的内积运算，从而通过PAHE同态加密方案进行反卷积计算；对于非线性层通过混淆电路去实现非线性层的计算，例如ReLU层。
A3：对于GAN的结果G(z)，利用秘密分享的技术将其分成两个部分G(z)a和G(z)b，分别交给服务器S1和服务器S2。
在具体实现中，安全的随机梯度下降算法包括步骤：
C1：考虑损失函数
Figure BDA0002944862170000064
有
Figure BDA0002944862170000065
其中
Figure BDA0002944862170000066
是一个标量，G(z)是一个矩阵，因此
Figure BDA0002944862170000067
大小是和G(z)同样大小。对于
Figure BDA0002944862170000071
可以使用链式法则进行计算。
如图5所示，以WGAN网络为例进行链式法则推导，使用of表示FC层的输出，
Figure BDA0002944862170000072
表示第i层ReLU层的输出，
Figure BDA0002944862170000073
表示第i层反卷积层的输出，oσ表示sigmod的输出。有复合函数
Figure BDA0002944862170000074
给出
Figure BDA0002944862170000075
的数学推导表达式：
Figure BDA0002944862170000076
其中‘.’表示矩阵-向量内积，‘。’表示向量之间的按位乘法。只要能单独获得每一层的梯度，就能通过上面两种类型的操作获取
Figure BDA0002944862170000077
的值。
C2：计算每一层的梯度。
对于线性层FC层和反卷积层，由于FC层执行矩阵向量的内积，因此给定一个输入x，有
Figure BDA0002944862170000078
其中W是FC的权重矩阵。同时由于可以将反卷积操作转换为矩阵-向量的内积，因此对于反卷积，给定一个输入x，有
Figure BDA0002944862170000079
其中Ci表示第i层反卷积的稀疏矩阵。
对于ReLU层，给定输入x，第i层的ReLU层的输入被定义为
Figure BDA00029448621700000710
第i层的ReLU层的导数是
Figure BDA00029448621700000711
因此有
Figure BDA00029448621700000712
其中Ri是和输入x一样大小。
C3：基于以上每层梯度的计算，得出最终的
Figure BDA00029448621700000713
Figure BDA00029448621700000714
其中：
Figure BDA00029448621700000715
表示
Figure BDA00029448621700000716
Figure BDA00029448621700000717
表示
Figure BDA00029448621700000718
C4：上述操作只涉及矩阵-向量的内积和向量之间的按位乘法，因此可以使用PAHE方案去实现安全的梯度计算。
在该实施例中，利用前向推理网络获取所述样本图像集中目标样本图像的特征向量，包括步骤：
S301：对于过滤后的图像I，利用秘密分享技术被分成两个部分Ia和Ib，分别被服务器S1和服务器S2所拥有。
302：S1服务器和S2服务器合作执行代理重加密，将秘密分享形式的图像转换为代理重加密密文[I]。
S303：S1服务器和S2服务器利用PAHE技术结合两方安全技术去执行CNN前向推理网络，获得特征向量v。
S304：利用秘密分享技术，将特征向量v，分成两个部分：va和vb，我们有v＝va-vb，分别被S1服务器和S2服务器持有。
在该实施例中，根据所述目标样本图像的特征向量和库图像的特征向量，获取所述目标样本图像的检索结果，包括步骤：
S401：对于深度特征向量v，都有唯一的表示id，我们通过hash算法建立索引，即将具有相同分类标签的特征向量放入同一个桶内。
S402：对于查询图像Iq，利用秘钥分享技术将其划分为两个部分，即Iqa和Iqb，我们有Iq＝Iqa-Iqb，分别将其上传至S1服务器和S2服务器。
S403：通过设计了欧式距离计算协议，在不泄露特征向量的情况下，安全的计算向量之间的欧式距离。
S404：通过获取top-k距离的图像id，分别将其秘密分享形式的的结果图像发送给查询用户。
S405：查询用户通过简单的求差，就能获得真实的图像的结果集。
如图6所示，本发明的第二实施例，提供一种抵御恶意样本攻击的图像检索装置，该装置包括：
用户端，包含轻量级加密图像功能和上传加密图像功能以及图像检索功能.
模型提供端，包含模型参数加密功能。
服务器端，包含分布式计算服务器S1和分布式计算服务器S2，服务器S1和服务器S2合作完成安全的图像重构，安全的特征提取以及安全的图像检索。
需要说明的是，安全的图像重构，包括安全的GAN前向推理和安全的随机梯度下降。
需要说明的是，安全的特征提取，使用预先训练好的CNN网络，利用同态加密和两方安全技术相结合的方式，对已经过滤过的图像进行安全前向推理计算，从而获取图像的特征向量。
需要说明的是，安全的图像检索，利用秘密分享的技术设计安全的欧式距离计算协议，用于安全的计算图像之间的距离。
本发明所述的抵御恶意样本攻击的图像检索装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法.物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括个....限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器镜像(ReadOnlyMemoryimage，ROM)/随机存取存储器(RandomAccessMemory，RAM)、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.抵御恶意样本攻击的图像检索方法，其特征在于，包括以下步骤：
利用对抗生成网络判别样本图像集中的恶意样本图像；
根据所述恶意样本图像重构样本图像集，以使所述样本图像集过滤所述恶意样本图像；
利用前向推理网络获取所述样本图像集中目标样本图像的特征向量；
根据所述目标样本图像的特征向量和库图像的特征向量，获取所述目标样本图像的检索结果；
所述利用对抗生成网络判别样本图像集中的恶意样本图像步骤，具体包括以下子步骤：
利用秘密共享将样本图像集中样本图像I分成Ia和Ib，分别将其上传至给服务器S1和服务器S2；
通过前向推理算法和随机梯度下降算法计算服务器S1和服务器S2的损失函数，并根据损失函数训练得到Z*向量；
利用秘密共享将Z*向量分成Z*a和Z*b并使其分别被服务器S1和服务器S2持有；
通过前向推理算法获得过滤图像，判别样本图像集中的恶意样本图像。
2.如权利要求1所述的抵御恶意样本攻击的图像检索方法，其特征在于，所述通过前向推理算法和随机梯度下降算法计算服务器S1和服务器S2的损失函数，并根据损失函数训练得到Z*向量步骤，具体包括：
利用公钥pk将模型参数加密，并将公钥pk和加密模型交给服务器S1，私钥交给服务器S2；
服务器S1和服务器S2利用PAHE法和两方安全计算执行前向推理算法；
利用秘密共享将前向推理算法结果G(z)分成G(z)a和G(z)b，分别交给服务器S1和服务器S2。
3.如权利要求1所述的抵御恶意样本攻击的图像检索方法，其特征在于，所述通过前向推理算法和随机梯度下降算法计算服务器S1和服务器S2的损失函数，并根据损失函数训练得到Z*向量步骤，还包括：
代入损失函数每层的梯度值，以WGAN网络对获得的损失函数进行链式计算，获取损失函数结果值。
4.如权利要求1所述的抵御恶意样本攻击的图像检索方法，其特征在于，所述利用前向推理网络获取所述样本图像集中目标样本图像的特征向量步骤，具体包括：
对于过滤后的图像，利用秘密共享分成两个部分Ia和Ib分别被服务器S1和服务器S2所拥有；
服务器S1和服务器S2合作执行代理重加密，将秘密分享形式的图像转换为代理重加密密文[I]；
服务器S1和服务器S2利用PAHE技术结合两方安全技术执行CNN前向推理网络，获得特征向量V；
利用秘密共享将特征向量V分成两个部分：Va和Vb，其中：V＝Va-Vb，分别被服务器S1和服务器S2持有。
5.如权利要求4所述的抵御恶意样本攻击的图像检索方法，其特征在于，所述根据所述目标样本图像的特征向量和库图像的特征向量，获取所述目标样本图像的检索结果步骤，具体包括：
对于特征向量v，都有唯一的表示id，通过hash算法建立索引，即将具有相同分类标签的特征向量放入同一个桶内；
对于查询图像Iq，利用秘钥共享将其划分为两个部分，即Iqa和Iqb，其中：Iq＝Iqa-Iqb，分别将其上传至服务器S1和服务器S2；
通过欧式距离计算协议，不泄露特征向量的计算向量之间的欧式距离；
通过获取top-k距离的图像id，分别将其秘密分享形式的结果图像发送给查询用户。
6.如权利要求5所述的抵御恶意样本攻击的图像检索方法，其特征在于，所述通过获取top-k距离的图像id，分别将其秘密分享形式的结果图像发送给查询用户步骤之后，还包括：
查询用户通过对获取的结果图像求差，获得真实的图像的结果集。
7.抵御恶意样本攻击的图像检索装置，其特征在于，所述抵御恶意样本攻击的图像检索装置包括：
图像重构模块：用于利用对抗生成网络判别样本图像集中的恶意样本图像，并根据所述恶意样本图像重构样本图像集，以使所述样本图像集过滤所述恶意样本图像；
特征提取模块：用于利用前向推理网络获取所述样本图像集中目标样本图像的特征向量；
图像检索模块：用于根据所述目标样本图像的特征向量和库图像的特征向量，获取所述目标样本图像的检索结果。
8.抵御恶意样本攻击的图像检索设备，其特征在于，所述抵御恶意样本攻击的图像检索设备包括：
存储器、处理器及存储在所述存储器上并可在所述处理器上运行的抵御恶意样本攻击的图像检索程序，所述抵御恶意样本攻击的图像检索程序被所述处理器执行时实现如权利要求1至6中任一项所述的抵御恶意样本攻击的图像检索方法的步骤。
9.存储介质，其特征在于，所述存储介质上存储有抵御恶意样本攻击的图像检索程序，所述抵御恶意样本攻击的图像检索程序被处理器执行时实现如权利要求1至6中任一项所述的抵御恶意样本攻击的图像检索方法的步骤。
CN202110192152.6A 2021-02-19 2021-02-19 抵御恶意样本攻击的图像检索方法、装置、设备及存储介质 Expired - Fee Related CN112860932B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110192152.6A CN112860932B (zh) 2021-02-19 2021-02-19 抵御恶意样本攻击的图像检索方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110192152.6A CN112860932B (zh) 2021-02-19 2021-02-19 抵御恶意样本攻击的图像检索方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112860932A CN112860932A (zh) 2021-05-28
CN112860932B true CN112860932B (zh) 2022-08-12

Family

ID=75988231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110192152.6A Expired - Fee Related CN112860932B (zh) 2021-02-19 2021-02-19 抵御恶意样本攻击的图像检索方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112860932B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114189351B (zh) * 2021-10-25 2024-02-23 山东师范大学 一种基于cnn和签密技术的密态图像检索方法及系统
CN115205608B (zh) * 2022-09-15 2022-12-09 杭州涿溪脑与智能研究所 基于压缩感知的自适应图像对抗样本检测与防御方法
CN116561787A (zh) * 2023-07-04 2023-08-08 北京数牍科技有限公司 视觉图像分类模型的训练方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111600835A (zh) * 2020-03-18 2020-08-28 宁波送变电建设有限公司永耀科技分公司 一种基于fgsm对抗攻击算法的检测与防御方法
CN111611851A (zh) * 2020-04-10 2020-09-01 北京中科虹霸科技有限公司 模型生成方法、虹膜检测方法及装置
CN111818101A (zh) * 2020-09-09 2020-10-23 平安国际智慧城市科技股份有限公司 网络安全性的检测方法、装置、计算机设备和存储介质
CN112115469A (zh) * 2020-09-15 2020-12-22 浙江科技学院 基于Bayes-Stackelberg博弈的边缘智能移动目标防御方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104252480B (zh) * 2013-06-27 2018-09-07 深圳市腾讯计算机系统有限公司 一种音频信息检索的方法和装置
CN106033426B (zh) * 2015-03-11 2021-03-19 中国科学院西安光学精密机械研究所 一种基于潜在语义最小哈希的图像检索方法
US10007866B2 (en) * 2016-04-28 2018-06-26 Microsoft Technology Licensing, Llc Neural network image classifier
US11710300B2 (en) * 2017-11-06 2023-07-25 Google Llc Computing systems with modularized infrastructure for training generative adversarial networks
CN108154171B (zh) * 2017-12-20 2021-04-23 北京奇艺世纪科技有限公司 一种人物识别方法、装置及电子设备
CN108733764B (zh) * 2018-04-16 2021-09-10 阿里巴巴（中国）有限公司 基于机器学习的广告过滤规则生成方法和广告过滤系统
CN109492396B (zh) * 2018-11-12 2021-02-26 杭州安恒信息技术股份有限公司 基于语义分割的恶意软件基因快速检测方法和装置
CN109784056B (zh) * 2019-01-02 2021-04-20 大连理工大学 一种基于深度学习的恶意软件检测方法
CN109871686A (zh) * 2019-01-31 2019-06-11 中国人民解放军战略支援部队信息工程大学 基于图标表示和软件行为一致性分析的恶意程序识别方法及装置
CN110070484A (zh) * 2019-04-02 2019-07-30 腾讯科技（深圳）有限公司 图像处理、图像美化方法、装置和存储介质
CN110826059B (zh) * 2019-09-19 2021-10-15 浙江工业大学 面向恶意软件图像格式检测模型的黑盒攻击的防御方法及其装置
CN110825900A (zh) * 2019-11-07 2020-02-21 重庆紫光华山智安科技有限公司 特征重构层的训练方法、图像特征的重构方法及相关装置
CN110866871A (zh) * 2019-11-15 2020-03-06 深圳市华云中盛科技股份有限公司 文本图像矫正方法、装置、计算机设备及存储介质
CN111310802B (zh) * 2020-01-20 2021-09-17 星汉智能科技股份有限公司 一种基于生成对抗网络的对抗攻击防御训练方法
CN111339849A (zh) * 2020-02-14 2020-06-26 北京工业大学 一种融合行人属性的行人重识别的方法
CN111475797B (zh) * 2020-03-26 2023-09-29 深圳先进技术研究院 一种对抗图像生成方法、装置、设备以及可读存储介质
CN111538550A (zh) * 2020-04-17 2020-08-14 姜海强 一种基于图像检测算法的网页信息筛查方法
CN111667549B (zh) * 2020-04-28 2023-04-07 华东师范大学 基于对抗样本和随机变换的图形验证码生成方法、设备及存储介质
CN111669410B (zh) * 2020-07-24 2020-12-01 中国航空油料集团有限公司 工控网络负例样本数据生成方法、装置、服务器和介质
CN112231703B (zh) * 2020-11-09 2022-08-05 北京理工大学 一种结合api模糊处理技术的恶意软件对抗样本生成方法
CN112308856A (zh) * 2020-11-30 2021-02-02 深圳云天励飞技术股份有限公司 遥感图像的目标检测方法、装置、电子设备及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111600835A (zh) * 2020-03-18 2020-08-28 宁波送变电建设有限公司永耀科技分公司 一种基于fgsm对抗攻击算法的检测与防御方法
CN111611851A (zh) * 2020-04-10 2020-09-01 北京中科虹霸科技有限公司 模型生成方法、虹膜检测方法及装置
CN111818101A (zh) * 2020-09-09 2020-10-23 平安国际智慧城市科技股份有限公司 网络安全性的检测方法、装置、计算机设备和存储介质
CN112115469A (zh) * 2020-09-15 2020-12-22 浙江科技学院 基于Bayes-Stackelberg博弈的边缘智能移动目标防御方法

Also Published As

Publication number Publication date
CN112860932A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN112860932B (zh) 抵御恶意样本攻击的图像检索方法、装置、设备及存储介质
KR102536354B1 (ko) 바이오메트릭 식별을 위한 시스템 및 방법
Liu et al. Intelligent and secure content-based image retrieval for mobile users
Prabhakaran et al. Hybrid semantic deep learning architecture and optimal advanced encryption standard key management scheme for secure cloud storage and intrusion detection
CN111507386B (zh) 一种存储文件及网络数据流加密通信检测方法及系统
Razaque et al. Efficient and reliable forensics using intelligent edge computing
CN109829320B (zh) 一种信息的处理方法和装置
Guo et al. Enabling secure cross-modal retrieval over encrypted heterogeneous IoT databases with collective matrix factorization
Ding et al. DeepAK-IoT: An effective deep learning model for cyberattack detection in IoT networks
CN111291411A (zh) 基于卷积神经网络的安全视频异常检测系统及方法
Dunmore et al. A comprehensive survey of generative adversarial networks (GANs) in cybersecurity intrusion detection
Raj et al. Web Based Database Security in Internet of Things Using Fully Homomorphic Encryption and Discrete Bee Colony Optimization
Hassan et al. Secure image classification with deep neural networks for IoT applications
Teo et al. Privacy preserving support vector machine using non-linear kernels on hadoop mahout
CN115883261A (zh) 一种基于att和ck的电力系统apt攻击建模方法
Aminanto et al. Multi-class intrusion detection using two-channel color mapping in ieee 802.11 wireless network
Lilhore et al. A cognitive security framework for detecting intrusions in IoT and 5G utilizing deep learning
Jasmine et al. A privacy preserving based multi-biometric system for secure identification in cloud environment
Li et al. Knowledge federation: A unified and hierarchical privacy-preserving ai framework
Tian et al. CAPIA: Cloud assisted privacy-preserving image annotation
Din et al. Text steganalysis using evolution algorithm approach
Hu et al. Research on encrypted face recognition algorithm based on new combined chaotic map and neural network
Hu et al. Privacy-Preserving Few-Shot Traffic Detection Against Advanced Persistent Threats via Federated Meta Learning
Nagaraja et al. A generalized research study on distance measures, learning algorithms and datasets
Liu et al. Similarity-based label inference attack against training and inference of split learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220812