CN115081627B - 一种基于生成式网络的跨模态数据哈希检索攻击方法 - Google Patents

一种基于生成式网络的跨模态数据哈希检索攻击方法 Download PDF

Info

Publication number
CN115081627B
CN115081627B CN202210893350.XA CN202210893350A CN115081627B CN 115081627 B CN115081627 B CN 115081627B CN 202210893350 A CN202210893350 A CN 202210893350A CN 115081627 B CN115081627 B CN 115081627B
Authority
CN
China
Prior art keywords
cross
modal data
hash code
modal
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210893350.XA
Other languages
English (en)
Other versions
CN115081627A (zh
Inventor
湛誉
黄亮
胡超
施鹤远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Hanma Technology Co ltd
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202210893350.XA priority Critical patent/CN115081627B/zh
Publication of CN115081627A publication Critical patent/CN115081627A/zh
Application granted granted Critical
Publication of CN115081627B publication Critical patent/CN115081627B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/316—Indexing structures
    • G06F16/325—Hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3347—Query execution using vector based model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/38—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/383—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于生成式网络的跨模态数据哈希检索攻击方法，包括利用重构跨模态数据与请求跨模态数据构造重构函数，然后基于重构跨模态数据的特征向量与sign函数构造量化函数。通过对比重构跨模态数据的哈希码与跨模态检索数据库中哈希码之间的汉明距离，获得积极跨模态数据和消极跨模态数据用于构造对抗性三元组函数，并通过请求跨模态数据哈希码构造基于相对的对抗性三元组函数。最后通过构造训练函数并通过ADAM优化器获得对抗性生成器的最佳参数，接着获得可快速生成对抗性样本的对抗性生成器，降低了传统的基于迭代式攻击获取对抗性样本时会消耗大量算力的缺点，节省算力且精度高。

Description

一种基于生成式网络的跨模态数据哈希检索攻击方法
技术领域
本发明属于对抗攻击技术领域，具体涉及一种基于生成式网络的跨模态数据哈希检索攻击方法。
背景技术
深度神经网络在跨模态哈希检索上的应用极大的提高了跨模态数据在特征空间的表征能力，然而近几年神经网络易受到恶意制造的对抗性扰动的攻击。
现有的对抗性攻击方法可以分为迭代式对抗攻击和生成式对抗攻击两大类。与迭代式对抗攻击相比，生成式对抗攻击通过精心构造一个生成式对抗网络，向良好训练的生成式对抗网络输入良性样本可以快速获得与良性样本在视觉上无法区分的对抗性样本。
目前针对跨模态数据的哈希检索的对抗性攻击方案仅有基于迭代式的无目标攻击方法，该方法的原理是将破坏跨模态的模态间和模态内相似性正则化过程同时集成到对抗样本的构造中，以此提高对抗攻击的准确性。然而，基于迭代式的无目标攻击方案在实际应用中需要消耗大量算力，不适用于真实情况。
发明内容
本发明的目的在于提供一种基于生成式网络的跨模态数据哈希检索攻击方法，能够节省算力并且准确性高。
本发明提供的这种基于生成式网络的跨模态数据哈希检索攻击方法，包括如下步骤：
S1. 通过预设的网络结构构造对抗生成网络中的对抗性生成器，并初始化参数，利用目标网络的结构和参数初始化对抗解码器；
S2. 将请求跨模态数据输入至对抗生成器中，生成重构跨模态数据，获得重构损失函数；
S3. 将重构跨模态数据输入至对抗解码器中，获得重构跨模态数据的特征向量，对重构跨模态数据的特征向量进行二值化，获得重构跨模态数据的哈希码并获得量化损失函数；
S4. 通过点乘获取每一个检索数据库哈希码和请求跨模态数据哈希码的汉明距离，选取汉明距离最小的跨模态数据哈希码和汉明距离最大的跨模态数据哈希码；
S5. 将重构跨模态数据哈希码、汉明距离最小的跨模态数据哈希码和汉明距离最大的跨模态数据哈希码构造训练三元组，并构造对抗性三元组损失函数；获取请求跨模态数据哈希码，将请求跨模态数据哈希码与汉明距离最小的跨模态数据哈希码和汉明距离最大的跨模态数据哈希码构造相对三元组，并构造基于相对的对抗性三元组损失函数；
S6. 构建对抗生成网络的训练函数，通过ADAM优化器对生成器的网络参数进行优化，同时固定对抗解码器的网络参数；
S7. 对给定的请求跨模态数据集合，通过训练好的对抗生成器获得对抗性跨模态数据集合。
所述的步骤S1，包括，定义目标网络
Figure 651272DEST_PATH_IMAGE002
与目标网络的参数
Figure 506096DEST_PATH_IMAGE004
，其中，δ为参数表示；*为图像或文本检索网络表示，具体的，
Figure 459401DEST_PATH_IMAGE006
，
Figure 261135DEST_PATH_IMAGE008
代表目标图像检索网络，
Figure 606666DEST_PATH_IMAGE010
代表目标文本检索网络；利用目标网络
Figure 835653DEST_PATH_IMAGE002
与目标网络的参数
Figure 40370DEST_PATH_IMAGE004
，初始化对抗性解码器
Figure 36007DEST_PATH_IMAGE012
与对抗性解码器的参数
Figure 609946DEST_PATH_IMAGE014
，构造对抗性生成器
Figure 540993DEST_PATH_IMAGE016
并初始化对抗性生成器的参数
Figure 233005DEST_PATH_IMAGE018
；当上传图像用于搜索相关文本时，设请求跨模态数据
Figure 642121DEST_PATH_IMAGE020
为请求图像数据
Figure 696665DEST_PATH_IMAGE022
，R表示实数域；q表示请求数据标志；I表示图像；G表示请求图像的宽度；B表示请求图像的高度；O表示请求图像的通道数；当上传文本用于搜索相关图像时，设请求跨模态数据
Figure 300078DEST_PATH_IMAGE024
为请求文本数据
Figure 807283DEST_PATH_IMAGE026
，T表示文本；L表示查询文本的特征向量维度。
所述的步骤S2，包括，将请求跨模态数据
Figure 488931DEST_PATH_IMAGE024
输入至对抗性生成器
Figure 663560DEST_PATH_IMAGE027
，获得重构跨模态数据
Figure 405251DEST_PATH_IMAGE029
，
Figure 399752DEST_PATH_IMAGE031
，其中，*为图像或文本检索网络表示；当请求跨模态数据为图像数据时，对抗型生成器
Figure 9725DEST_PATH_IMAGE016
为对抗性图像生成器
Figure 179806DEST_PATH_IMAGE033
，当请求跨模态数据为文本数据时，对抗型生成器
Figure 122092DEST_PATH_IMAGE027
为对抗性文本生成器
Figure 744834DEST_PATH_IMAGE035
；已知请求跨模态数据
Figure 830602DEST_PATH_IMAGE024
与重构跨模态数据
Figure 855190DEST_PATH_IMAGE029
，获得重构损失函数
Figure 328897DEST_PATH_IMAGE037
，
Figure 940400DEST_PATH_IMAGE039
其中，
Figure 33121DEST_PATH_IMAGE041
表示L2范数。
所述的步骤S3，包括如下步骤：
A1. 将重构跨模态数据
Figure 36849DEST_PATH_IMAGE029
输入至对抗性解码器
Figure 415878DEST_PATH_IMAGE043
，获得重构跨模态数据特征向量
Figure 747633DEST_PATH_IMAGE045
，
Figure 503099DEST_PATH_IMAGE047
，其中，*为图像或文本检索网络表示；
Figure 502279DEST_PATH_IMAGE049
，R表示实数域；N表示重构跨模态数据特征的长度；当重构跨模态数据
Figure 691690DEST_PATH_IMAGE029
为图像数据时，对抗性解码器
Figure 573058DEST_PATH_IMAGE043
为图像对抗性解码器
Figure 273161DEST_PATH_IMAGE051
；当重构跨模态数据
Figure 126848DEST_PATH_IMAGE029
为文本数据时，对抗性解码器
Figure 286827DEST_PATH_IMAGE043
为文本对抗性解码器
Figure 858754DEST_PATH_IMAGE053
；
A2. 利用sign函数将重构跨模态数据特征向量
Figure 831389DEST_PATH_IMAGE045
进行二值化，获得重构跨模态数据二元哈希码
Figure 664216DEST_PATH_IMAGE055
：
Figure 431315DEST_PATH_IMAGE057
其中，sign函数具体为
Figure 349592DEST_PATH_IMAGE059
；
Figure 984973DEST_PATH_IMAGE061
，K表示二元哈希码序列的长度，
Figure 780628DEST_PATH_IMAGE055
为长度为K的二元哈希码序列；
A3. 基于重构跨模态数据二元哈希码
Figure 108841DEST_PATH_IMAGE055
和重构跨模态数据特征向量
Figure 124202DEST_PATH_IMAGE045
，获得量化损失函数
Figure 828853DEST_PATH_IMAGE063
，
Figure 511638DEST_PATH_IMAGE065
其中，
Figure 151698DEST_PATH_IMAGE067
表示L2范数。
所述的步骤S4，包括，计算重构跨模态数据二元哈希码
Figure 778988DEST_PATH_IMAGE055
和数据库中所有的跨模态数据哈希码集
Figure 664161DEST_PATH_IMAGE069
之间的汉明距离函数Ham：
Figure 201453DEST_PATH_IMAGE071
其中，*为图像或文本检索网络表示；
Figure 12414DEST_PATH_IMAGE073
表示点积运算函数，E为检索数据库的跨模态哈希码总数；i表示检索数据库的跨模态哈希码的计数变量；
Figure 799104DEST_PATH_IMAGE075
表示数据库中所有的跨模态数据哈希码集合；当重构跨模态数据二元哈希码
Figure 314399DEST_PATH_IMAGE055
为重构图像数据哈希码
Figure 470312DEST_PATH_IMAGE077
时，跨模态数据哈希码集
Figure 452174DEST_PATH_IMAGE069
为文本数据哈希码集
Figure 319636DEST_PATH_IMAGE079
；当重构跨模态数据二元哈希码
Figure 513988DEST_PATH_IMAGE055
为重构文本数据哈希码
Figure 884927DEST_PATH_IMAGE081
时，跨模态数据哈希码集
Figure 772111DEST_PATH_IMAGE083
为图像数据哈希码集
Figure 330132DEST_PATH_IMAGE085
；
将重构跨模态数据二元哈希码
Figure 718388DEST_PATH_IMAGE055
汉明距离最小的若干个跨模态数据哈希码称为积极跨模态数据哈希码
Figure 320664DEST_PATH_IMAGE087
，将与重构跨模态数据二元哈希码
Figure 503383DEST_PATH_IMAGE089
汉明距离最大的若干个跨模态数据哈希码为消极跨模态数据哈希码
Figure 486383DEST_PATH_IMAGE091
。
所述的步骤S5，包括如下步骤：
B1. 将重构跨模态数据二元哈希码
Figure 553696DEST_PATH_IMAGE089
，积极跨模态数据哈希码
Figure 509014DEST_PATH_IMAGE087
和消极跨模态数据哈希码
Figure 298853DEST_PATH_IMAGE091
构造三元组
Figure 34728DEST_PATH_IMAGE093
，*为图像或文本检索网络表示；
B2. 基于步骤B1构造的三元组Q，获得对抗性三元组函数
Figure 577836DEST_PATH_IMAGE095
，
Figure 512294DEST_PATH_IMAGE097
其中，
Figure 413647DEST_PATH_IMAGE099
表示汉明距离函数；M表示跨模态数据哈希码的数量，m表示跨模态数据哈希码的计数变量；
Figure 699135DEST_PATH_IMAGE101
表示第s个消极跨模态数据哈希码；
Figure 842671DEST_PATH_IMAGE103
表示第k个积极跨模态数据哈希码；跨模态数据哈希码包括消极跨模态数据哈希码和积极跨模态数据哈希码；
B3. 将请求跨模态数据
Figure 897215DEST_PATH_IMAGE105
输入至对抗解码器中获得请求跨模态数据特征向量
Figure 733584DEST_PATH_IMAGE107
，接着经过sign函数获得请求跨模态数据哈希码
Figure 647313DEST_PATH_IMAGE109
，获得基于相对的对抗性三元组函数
Figure 984754DEST_PATH_IMAGE111
，
Figure 798864DEST_PATH_IMAGE113
。
所述的步骤S6，包括，构造训练损失函数LX，
Figure 806134DEST_PATH_IMAGE115
其中，
Figure 207159DEST_PATH_IMAGE117
表示对抗性生成器的参数；
Figure 817132DEST_PATH_IMAGE119
表示使模型最小化的对抗性生成器的参数；
Figure 721634DEST_PATH_IMAGE121
表示第一平衡常数；J 1为重构损失函数；
Figure 24440DEST_PATH_IMAGE123
表示第二平衡常数；J 2表示量化损失函数；
Figure 125209DEST_PATH_IMAGE125
表示第三平衡常数；J 3表示对抗性三元组函数；J 4表示基于相对的对抗性三元组函数；
通过ADAM优化方法对构造训练损失函数进行优化，求出最佳的对抗生成器参数
Figure 679819DEST_PATH_IMAGE127
，使得达到如下目标：
目标一包括，使重构跨模态数据
Figure 829040DEST_PATH_IMAGE029
和请求跨模态数据
Figure 178113DEST_PATH_IMAGE024
之间在视觉上不可区分；
目标二包括，使重构跨模态数据特征向量
Figure 881627DEST_PATH_IMAGE129
和重构跨模态数据二元哈希码
Figure 708769DEST_PATH_IMAGE131
之间的差异最小化；
目标三包括，最小化重构跨模态数据二元哈希码
Figure 712497DEST_PATH_IMAGE131
和消极跨模态数据哈希码
Figure 465427DEST_PATH_IMAGE133
之间的汉明距离，最大化重构跨模态数据二元哈希码
Figure 921816DEST_PATH_IMAGE131
和积极跨模态数据哈希码
Figure 349386DEST_PATH_IMAGE135
之间的汉明距离；
目标四包括，最小化请求跨模态数据哈希码
Figure 348566DEST_PATH_IMAGE137
和消极跨模态数据哈希码
Figure 305021DEST_PATH_IMAGE133
之间的汉明距离，最大化请求跨模态数据哈希码
Figure 828800DEST_PATH_IMAGE138
和积极跨模态数据哈希码
Figure 122378DEST_PATH_IMAGE135
之间的汉明距离。
所述的步骤S7，包括，已知一个训练好的对抗性生成器
Figure 444906DEST_PATH_IMAGE140
和对抗性生成器的参数
Figure 805218DEST_PATH_IMAGE142
，输入请求跨模态数据集合
Figure 236199DEST_PATH_IMAGE144
，
Figure 208834DEST_PATH_IMAGE146
表示请求跨模态数据，获得对抗性跨模态数据集和
Figure 510503DEST_PATH_IMAGE148
，
Figure 543181DEST_PATH_IMAGE150
，*为图像或文本检索网络表示；
Figure 133562DEST_PATH_IMAGE152
；z表示请求跨模态数据集合的计数变量，Z表示请求跨模态数据集合的总数。
本发明提供的这种基于生成式网络的跨模态数据哈希检索攻击方法，利用重构跨模态数据与请求跨模态数据构造重构函数，然后基于重构跨模态数据的特征向量与sign函数构造量化函数。通过对比重构跨模态数据的哈希码与跨模态检索数据库中哈希码之间的汉明距离，获得积极跨模态数据和消极跨模态数据用于构造对抗性三元组函数，并通过请求跨模态数据哈希码构造基于相对的对抗性三元组函数。最后通过构造训练函数并通过ADAM优化器获得对抗性生成器的最佳参数，接着获得可快速生成对抗性样本的对抗性生成器，降低了传统的基于迭代式攻击获取对抗性样本时会消耗大量算力的缺点。
附图说明
图1为本发明方法的流程示意图。
图2为本发明实施例的图像的可视化示例示意图；其中图2a为本发明实施例的对抗性生成器方法的原图，图2b为本发明实施例的对抗性生成器的方法生成的对抗性图片，图2c为本发明实施例的对抗性生成器的方法生成的对抗性扰动示意图，图2d为本发明实施例的迭代方法的原图，图2e为本发明实施例的迭代方法生成的对抗性图片，图2f为本发明实施例的迭代方法生成的对抗性扰动示意图。
图3为本发明实施例的文本向量的可视化示例示意图；其中图3a为本发明实施例的对抗性生成器的方法的请求文本向量示意图，图3b为本发明实施例的对抗性生成器的方法的对抗性文本向量示意图，图3c为本发明实施例的迭代的方法的请求文本向量示意图，图3d为本发明实施例的迭代的方法的对抗性文本向量示意图。
具体实施方式
如图1为本发明方法的流程示意图：本发明提供的这种基于生成式网络的跨模态数据哈希检索攻击方法，包括如下步骤：
S1. 通过预设的网络结构构造对抗生成网络中的对抗性生成器，并初始化参数，利用目标网络的结构和参数初始化对抗解码器；
S2. 将请求跨模态数据输入至对抗生成器中，生成重构跨模态数据，通过重构跨模态数据与请求跨模态数据获得重构损失函数；
S3. 将重构跨模态数据输入至对抗解码器中，获得重构跨模态数据的特征向量，接着将重构跨模态数据的特征向量通过sign函数进行二值化，获得重构跨模态数据的哈希码并获得量化损失函数；
S4. 将重构跨模态数据哈希码与检索数据库中所有哈希码进行点乘，获取每一个检索数据库哈希码和请求跨模态数据哈希码的汉明距离，接着选取汉明距离最小的跨模态数据哈希码和汉明距离最大的跨模态数据哈希码；
S5. 将重构跨模态数据哈希码、汉明距离最小的跨模态数据哈希码和汉明距离最大的跨模态数据哈希码构造训练三元组，并构造对抗性三元组损失函数。获取请求跨模态数据哈希码，将请求跨模态数据哈希码与汉明距离最小的跨模态数据哈希码和汉明距离最大的跨模态数据哈希码构造相对三元组，并构造基于相对的对抗性三元组损失函数；
S6. 将量化损失函数、重构损失函数、三元组损失函数和基于相对的对抗性三元组损失函数作为对抗生成网络的训练函数，通过ADAM优化器对生成器的网络参数进行优化，同时固定对抗解码器的网络参数；
S7. 已知一个给定的请求跨模态数据集合，通过训练好的对抗生成器可快速获得对抗性跨模态数据集合。
生成式网络是一种区别于传统生成式对抗网络的技术，通过训练生成式网络可获得关于目标网络的知识，这种过程也可以被解释为知识蒸馏。通过一个训练好的生成式网络可以用来快速生成针对目标网络的对抗性样本。
所述的步骤S1，包括，定义目标网络
Figure 676932DEST_PATH_IMAGE002
与目标网络的参数
Figure 505211DEST_PATH_IMAGE004
，其中，δ为参数表示；*为图像或文本检索网络表示，具体的，
Figure 99003DEST_PATH_IMAGE006
，
Figure 379943DEST_PATH_IMAGE008
代表目标图像检索网络，
Figure 225539DEST_PATH_IMAGE010
代表目标文本检索网络；利用目标网络
Figure 767379DEST_PATH_IMAGE002
与目标网络的参数
Figure 640395DEST_PATH_IMAGE004
，初始化对抗性解码器
Figure 267685DEST_PATH_IMAGE012
与对抗性解码器的参数
Figure 854656DEST_PATH_IMAGE014
，构造对抗性生成器
Figure 782160DEST_PATH_IMAGE016
并初始化对抗性生成器的参数
Figure 61963DEST_PATH_IMAGE018
；当上传图像用于搜索相关文本时，设请求跨模态数据
Figure 176549DEST_PATH_IMAGE153
为请求图像数据
Figure 832790DEST_PATH_IMAGE022
，R表示实数域；q表示请求数据标志；I表示图像；G表示请求图像的宽度；B表示请求图像的高度；O表示请求图像的通道数；当上传文本用于搜索相关图像时，设请求跨模态数据
Figure 614801DEST_PATH_IMAGE024
为请求文本数据
Figure 832549DEST_PATH_IMAGE026
，T表示文本；L表示查询文本的特征向量维度。
所述的步骤S2，包括，将请求跨模态数据
Figure 840957DEST_PATH_IMAGE024
输入至对抗性生成器
Figure 425522DEST_PATH_IMAGE027
，获得重构跨模态数据
Figure 671826DEST_PATH_IMAGE029
，
Figure 683645DEST_PATH_IMAGE031
，其中，*为图像或文本检索网络表示；当请求跨模态数据为图像数据时，对抗型生成器
Figure 382610DEST_PATH_IMAGE016
为对抗性图像生成器
Figure 770866DEST_PATH_IMAGE033
，当请求跨模态数据为文本数据时，对抗型生成器
Figure 104634DEST_PATH_IMAGE027
为对抗性文本生成器
Figure 287353DEST_PATH_IMAGE035
，同时重构跨模态数据
Figure 739194DEST_PATH_IMAGE029
和请求跨模态数据
Figure 665562DEST_PATH_IMAGE024
的数据格式是一致的。已知请求跨模态数据
Figure 479934DEST_PATH_IMAGE024
与重构跨模态数据
Figure 974501DEST_PATH_IMAGE029
，获得重构损失函数
Figure 772692DEST_PATH_IMAGE037
，
Figure 846959DEST_PATH_IMAGE039
其中，
Figure 46996DEST_PATH_IMAGE041
表示L2范数。
所述的步骤S3，包括如下步骤：
A1. 将重构跨模态数据
Figure 213928DEST_PATH_IMAGE029
输入至对抗性解码器
Figure 233837DEST_PATH_IMAGE043
，获得重构跨模态数据特征向量
Figure 502007DEST_PATH_IMAGE045
，
Figure 431917DEST_PATH_IMAGE047
，其中，*为图像或文本检索网络表示；
Figure 127341DEST_PATH_IMAGE049
，R表示实数域；q表示请求数据标志；N表示重构跨模态数据特征的长度，
Figure 509912DEST_PATH_IMAGE045
为长度为N的连续型向量。当重构跨模态数据
Figure 581773DEST_PATH_IMAGE029
为图像数据时，对抗性解码器
Figure 366189DEST_PATH_IMAGE043
为图像对抗性解码器
Figure 498093DEST_PATH_IMAGE051
；当重构跨模态数据
Figure 227015DEST_PATH_IMAGE029
为文本数据时，对抗性解码器
Figure 476468DEST_PATH_IMAGE043
为文本对抗性解码器
Figure 240025DEST_PATH_IMAGE053
；
A2. 利用sign函数将重构跨模态数据特征向量
Figure 152617DEST_PATH_IMAGE045
进行二值化，获得重构跨模态数据二元哈希码
Figure 899993DEST_PATH_IMAGE055
：
Figure 189023DEST_PATH_IMAGE057
其中，sign函数具体为
Figure 72666DEST_PATH_IMAGE059
；
Figure 15214DEST_PATH_IMAGE061
，K表示二元哈希码序列的长度，
Figure 859673DEST_PATH_IMAGE055
为长度为K的二元哈希码序列；
A3. 基于重构跨模态数据二元哈希码
Figure 77028DEST_PATH_IMAGE055
和重构跨模态数据特征向量
Figure 926429DEST_PATH_IMAGE045
，获得量化损失函数
Figure 571037DEST_PATH_IMAGE063
，
Figure 902792DEST_PATH_IMAGE065
其中，
Figure 392679DEST_PATH_IMAGE067
表示L2范数。
所述的步骤S4，包括，计算重构跨模态数据二元哈希码
Figure 250914DEST_PATH_IMAGE055
和数据库中所有的跨模态数据哈希码集
Figure 941789DEST_PATH_IMAGE069
之间的汉明距离函数Ham：
Figure 354316DEST_PATH_IMAGE071
其中，*为图像或文本检索网络表示；
Figure 788840DEST_PATH_IMAGE073
表示点积运算函数，E为检索数据库的跨模态哈希码总数；i表示检索数据库的跨模态哈希码的计数变量；
Figure 501581DEST_PATH_IMAGE075
表示数据库中所有的跨模态数据哈希码集合；当重构跨模态数据二元哈希码
Figure 861893DEST_PATH_IMAGE055
为重构图像数据哈希码
Figure 27295DEST_PATH_IMAGE077
时，跨模态数据哈希码集
Figure 124564DEST_PATH_IMAGE069
为文本数据哈希码集
Figure 567177DEST_PATH_IMAGE079
；当重构跨模态数据二元哈希码
Figure 724489DEST_PATH_IMAGE055
为重构文本数据哈希码
Figure 986975DEST_PATH_IMAGE081
时，跨模态数据哈希码集
Figure 887934DEST_PATH_IMAGE083
为图像数据哈希码集
Figure 309689DEST_PATH_IMAGE085
；
将重构跨模态数据二元哈希码
Figure 513268DEST_PATH_IMAGE055
汉明距离最小的若干个跨模态数据哈希码称为积极跨模态数据哈希码
Figure 653262DEST_PATH_IMAGE087
，将与重构跨模态数据二元哈希码
Figure 469165DEST_PATH_IMAGE089
汉明距离最大的若干个跨模态数据哈希码为消极跨模态数据哈希码
Figure 11005DEST_PATH_IMAGE091
。
所述的步骤S5，包括如下步骤：
B1. 将重构跨模态数据二元哈希码
Figure 385485DEST_PATH_IMAGE089
，积极跨模态数据哈希码
Figure 747196DEST_PATH_IMAGE087
和消极跨模态数据哈希码
Figure 865325DEST_PATH_IMAGE091
构造三元组
Figure 261671DEST_PATH_IMAGE093
，*为图像或文本检索网络表示；
B2. 基于步骤B1构造的三元组Q，获得对抗性三元组函数
Figure 931687DEST_PATH_IMAGE095
，
Figure 656061DEST_PATH_IMAGE097
其中，
Figure 702514DEST_PATH_IMAGE099
表示汉明距离函数；M表示跨模态数据哈希码的数量，m表示跨模态数据哈希码的计数变量；
Figure 327268DEST_PATH_IMAGE101
表示第s个消极跨模态数据哈希码；
Figure 168185DEST_PATH_IMAGE103
表示第k个积极跨模态数据哈希码；跨模态数据哈希码包括消极跨模态数据哈希码和积极跨模态数据哈希码；
B3. 将请求跨模态数据
Figure 379855DEST_PATH_IMAGE105
输入至对抗解码器中获得请求跨模态数据特征向量
Figure 964420DEST_PATH_IMAGE107
，接着经过sign函数获得请求跨模态数据哈希码
Figure 69779DEST_PATH_IMAGE109
，获得基于相对的对抗性三元组函数
Figure 956964DEST_PATH_IMAGE111
，
Figure 46143DEST_PATH_IMAGE113
。
所述的步骤S6，包括，构造训练损失函数LX，
Figure 778606DEST_PATH_IMAGE115
其中，
Figure 269631DEST_PATH_IMAGE117
表示对抗性生成器的参数；
Figure 829181DEST_PATH_IMAGE119
表示使模型最小化的对抗性生成器的参数；
Figure 140077DEST_PATH_IMAGE121
表示第一平衡常数；J 1为重构损失函数；
Figure 941811DEST_PATH_IMAGE123
表示第二平衡常数；J 2表示量化损失函数；
Figure 21762DEST_PATH_IMAGE125
表示第三平衡常数；J 3表示对抗性三元组函数；J 4表示基于相对的对抗性三元组函数；
通过ADAM优化方法对构造训练损失函数进行优化，求出最佳的对抗生成器参数
Figure 375383DEST_PATH_IMAGE127
，使得达到如下目标：
目标一包括，使重构跨模态数据
Figure 48941DEST_PATH_IMAGE029
和请求跨模态数据
Figure 513421DEST_PATH_IMAGE024
之间在视觉上不可区分；
目标二包括，使重构跨模态数据特征向量
Figure 588824DEST_PATH_IMAGE129
和重构跨模态数据二元哈希码
Figure 113346DEST_PATH_IMAGE131
之间的差异最小化；
目标三包括，最小化重构跨模态数据二元哈希码
Figure 772735DEST_PATH_IMAGE131
和消极跨模态数据哈希码
Figure 306485DEST_PATH_IMAGE133
之间的汉明距离，最大化重构跨模态数据二元哈希码
Figure 95449DEST_PATH_IMAGE131
和积极跨模态数据哈希码
Figure 666239DEST_PATH_IMAGE135
之间的汉明距离；
目标四包括，最小化请求跨模态数据哈希码
Figure 439023DEST_PATH_IMAGE137
和消极跨模态数据哈希码
Figure 120671DEST_PATH_IMAGE133
之间的汉明距离，最大化请求跨模态数据哈希码
Figure 29721DEST_PATH_IMAGE138
和积极跨模态数据哈希码
Figure 36992DEST_PATH_IMAGE135
之间的汉明距离。
所述的步骤S7，包括，已知一个训练好的对抗性生成器
Figure 765913DEST_PATH_IMAGE140
和对抗性生成器的参数
Figure 641465DEST_PATH_IMAGE142
，输入请求跨模态数据集合
Figure 805291DEST_PATH_IMAGE144
，
Figure 108096DEST_PATH_IMAGE146
表示请求跨模态数据，获得对抗性跨模态数据集和
Figure 465259DEST_PATH_IMAGE148
，
Figure 613344DEST_PATH_IMAGE150
，*为图像或文本检索网络表示；
Figure 372352DEST_PATH_IMAGE152
；z表示请求跨模态数据集合的计数变量，Z表示请求跨模态数据集合的总数。
本发明的上述实施例所述的基于生成式网络的跨模态数据攻击方案，首先利用重构跨模态数据与请求跨模态数据构造重构函数，然后基于重构跨模态数据的特征向量与sign函数构造量化函数。通过对比重构跨模态数据的哈希码与跨模态检索数据库中哈希码之间的汉明距离，获得积极跨模态数据和消极跨模态数据用于构造对抗性三元组函数，并通过请求跨模态数据哈希码构造基于相对的对抗性三元组函数。最后通过构造训练函数并通过ADAM优化器获得对抗性生成器的最佳参数，接着获得可快速生成对抗性样本的对抗性生成器，降低了传统的基于迭代式攻击获取对抗性样本时会消耗大量算力的缺点。
本发明的上述实施例所述的基于生成式网络的跨模态数据攻击方案，对得到的重构跨模态数据
Figure 846059DEST_PATH_IMAGE029
进行验证：1、获取测试跨模态数据集并将测试跨模态数据集输入目标网络生成测试跨模态数据集的哈希码数据库；2、将重构跨模态数据
Figure 549573DEST_PATH_IMAGE029
输入目标网络生成重构跨模态数据二元哈希码
Figure 642294DEST_PATH_IMAGE131
；3、将重构跨模态数据二元哈希码
Figure 380443DEST_PATH_IMAGE131
分别与测试跨模态数据集中的每一个哈希码点乘，构建重构跨模态数据二元哈希码
Figure 133373DEST_PATH_IMAGE131
与每一个测试跨模态数据集哈希码之间的汉明距离函数，获得重构跨模态数据二元哈希码
Figure 589762DEST_PATH_IMAGE131
与每一个测试跨模态数据哈希码之间的汉明距离；4、将重构跨模态数据二元哈希码
Figure 220594DEST_PATH_IMAGE131
与每一个测试跨模态数据哈希码之间的汉明距离进行从小到大排序，得到检索结果。若在检索结果中，与重构跨模态数据
Figure 78829DEST_PATH_IMAGE029
内容不相关的测试跨模态数据的哈希码的汉明距离排序越靠前，代表内容不相关的测试跨模态数据的哈希码与重构跨模态数据二元哈希码
Figure 363180DEST_PATH_IMAGE131
之间汉明距离越小，也就是重构跨模态数据
Figure 182231DEST_PATH_IMAGE029
的攻击效果越好；5、定义Mean Average Precision(MAP)用来测量排序以后的检索结果：
Figure 741389DEST_PATH_IMAGE155
其中，R表示测试跨模态数据集中的数据数量；k表示在检索排序结果所有与请求跨模态对抗性样本内容相关的测试跨模态数据集，第r个检索排序测试跨模态数据所对应的位置；P(k)表示精确度，P(k)=k/r，r表示第r个检索排序结果；当第r个排名对应的测试跨模态哈希码与请求跨模态对抗性样本内容相关时，rel(k)为1 ，反之，rel(k)为0。
本发明的上述实施例所述的基于生成式网络的跨模态数据攻击方法，在公开数据集MIRFLICKER-25K的测试集中随机挑选了1000个样本，将剩余的1100个样本用于训练，并在公开数据集NUS-WIDE的测试集中随机挑选了1000个样本用于对抗训练，剩余的1000例子用于测试。上述实施的目标网络通过两个数据集的训练集进行训练。取
Figure 329496DEST_PATH_IMAGE157
，
Figure 50327DEST_PATH_IMAGE159
，
Figure DEST_PATH_IMAGE161
。目标图像网络设置了以Alexnet，Resnet34，Resnet50为骨干网络，目标文本网络为多层感知机为骨干网络。基于Cycle-GEN构造了图像对抗性生成器，通过LSTM构造了文本对抗性生成器。实验结果如表1所示：
表1
Figure DEST_PATH_IMAGE163
MAP结果展示如上表，Iterative代表迭代的方法，即现有技术；GEN代表基于对抗性生成器的方法，即本方法。总结出了三点如下。第一，在上传图像用于搜索文本的任务中，训练好的GEN架构与基于迭代方法在两个数据集上表现出了相似的性能，这证明了本发明框架的有效性。在MIRFLICKR-25K数据集中，基于Alexnet的框架下的CGEN要比基于迭代方法要具有更好的性能。这证明深度更浅的网络能更好的令GEN学习目标模型的知识。其中，Alexnet网络深度仅为8层而Resnet34和Resnet50具有34层和50层。第二，在上传文本用于搜索图像的任务中，训练好的GEN在两个数据集上都具有更优的性能，这证明了通过LSTM构建文本编码器可以获得更好的学习性能。第三，通过训练好的GEN可以快速生成对抗性跨模态数据，而基于迭代的方法需要大量迭代次数。图2-图3展示了一个图像的可视化例子和文本的可视化例子。如图2a为本发明实施例的对抗性生成器方法的原图；如图2b为本发明实施例的对抗性生成器的方法生成的对抗性图片；如图2c为本发明实施例的对抗性生成器的方法生成的对抗性扰动示意图；如图2d为本发明实施例的迭代方法的原图；为了便于比较，迭代的方法和对抗性生成器的方法采用同一副图片；如图2e为本发明实施例的迭代方法生成的对抗性图片；如图2f为本发明实施例的迭代方法生成的对抗性扰动示意图。图3中，横坐标为文本向量中词包的位置索引值；纵坐标为文本向量的取值，其中值为0表示未被选中，值为1表示选中；如图3a为本发明实施例的对抗性生成器的方法的请求文本向量示意图；如图3b为本发明实施例的对抗性生成器的方法的对抗性文本向量示意图；如图3c为本发明实施例的迭代的方法的请求文本向量示意图；如图3d为本发明实施例的迭代的方法的对抗性文本向量示意图。

Claims (4)

1.一种基于生成式网络的跨模态数据哈希检索攻击方法，其特征在于包括如下步骤：
S1. 通过预设的网络结构构造对抗生成网络中的对抗生成器，并初始化参数，利用目标网络的结构和参数初始化对抗解码器；
S2. 将请求跨模态数据输入至对抗生成器中，生成重构跨模态数据，获得重构损失函数；包括，将请求跨模态数据
Figure DEST_PATH_IMAGE002
输入至对抗生成器
Figure DEST_PATH_IMAGE004
，获得重构跨模态数据
Figure DEST_PATH_IMAGE006
，
Figure DEST_PATH_IMAGE008
，其中，*为图像或文本检索网络表示；当请求跨模态数据为图像数据时，对抗型生成器
Figure 574483DEST_PATH_IMAGE004
为对抗性图像生成器
Figure DEST_PATH_IMAGE010
，当请求跨模态数据为文本数据时，对抗型生成器
Figure 579479DEST_PATH_IMAGE004
为对抗性文本生成器
Figure DEST_PATH_IMAGE012
；已知请求跨模态数据
Figure 190589DEST_PATH_IMAGE002
与重构跨模态数据
Figure 278631DEST_PATH_IMAGE006
，获得重构损失函数
Figure DEST_PATH_IMAGE014
，
Figure DEST_PATH_IMAGE016
其中，
Figure DEST_PATH_IMAGE018
表示L2范数；
S3. 将重构跨模态数据输入至对抗解码器中，获得重构跨模态数据的特征向量，对重构跨模态数据的特征向量进行二值化，获得重构跨模态数据的哈希码并获得量化损失函数；包括如下步骤：
A1. 将重构跨模态数据
Figure 561976DEST_PATH_IMAGE006
输入至对抗性解码器
Figure DEST_PATH_IMAGE020
，获得重构跨模态数据特征向量
Figure DEST_PATH_IMAGE022
，
Figure DEST_PATH_IMAGE024
，其中，*为图像或文本检索网络表示；
Figure DEST_PATH_IMAGE026
，R表示实数域；N表示重构跨模态数据特征的长度；当重构跨模态数据
Figure 432980DEST_PATH_IMAGE006
为图像数据时，对抗性解码器
Figure DEST_PATH_IMAGE027
为图像对抗性解码器
Figure DEST_PATH_IMAGE029
；当重构跨模态数据
Figure 898596DEST_PATH_IMAGE006
为文本数据时，对抗性解码器
Figure 360802DEST_PATH_IMAGE027
为文本对抗性解码器
Figure DEST_PATH_IMAGE031
；
A2. 利用sign函数将重构跨模态数据特征向量
Figure 292347DEST_PATH_IMAGE022
进行二值化，获得重构跨模态数据二元哈希码
Figure DEST_PATH_IMAGE033
：
Figure DEST_PATH_IMAGE035
其中，sign函数具体为
Figure DEST_PATH_IMAGE037
；
Figure DEST_PATH_IMAGE039
，K表示二元哈希码序列的长度，
Figure 826096DEST_PATH_IMAGE033
为长度为K的二元哈希码序列；
A3. 基于重构跨模态数据二元哈希码
Figure 428110DEST_PATH_IMAGE033
和重构跨模态数据特征向量
Figure 123534DEST_PATH_IMAGE022
，获得量化损失函数
Figure DEST_PATH_IMAGE041
，
Figure DEST_PATH_IMAGE043
其中，
Figure 427476DEST_PATH_IMAGE018
表示L2范数；
S4. 通过点乘获取每一个检索数据库哈希码和请求跨模态数据哈希码的汉明距离，选取汉明距离最小的跨模态数据哈希码和汉明距离最大的跨模态数据哈希码；
S5. 将重构跨模态数据哈希码、汉明距离最小的跨模态数据哈希码和汉明距离最大的跨模态数据哈希码构造训练三元组，并构造对抗性三元组损失函数；获取请求跨模态数据哈希码，将请求跨模态数据哈希码与汉明距离最小的跨模态数据哈希码和汉明距离最大的跨模态数据哈希码构造相对三元组，并构造基于相对的对抗性三元组损失函数；包括如下步骤：
B1. 将重构跨模态数据二元哈希码
Figure DEST_PATH_IMAGE045
，积极跨模态数据哈希码
Figure DEST_PATH_IMAGE047
和消极跨模态数据哈希码
Figure DEST_PATH_IMAGE049
构造三元组
Figure DEST_PATH_IMAGE051
，*为图像或文本检索网络表示；
B2. 基于步骤B1构造的三元组Q，获得对抗性三元组函数
Figure DEST_PATH_IMAGE053
，
Figure DEST_PATH_IMAGE055
其中，
Figure DEST_PATH_IMAGE057
表示汉明距离函数；M表示跨模态数据哈希码的数量，m表示跨模态数据哈希码的计数变量；
Figure DEST_PATH_IMAGE059
表示第s个消极跨模态数据哈希码；
Figure DEST_PATH_IMAGE061
表示第k个积极跨模态数据哈希码；跨模态数据哈希码包括消极跨模态数据哈希码和积极跨模态数据哈希码；
B3. 将请求跨模态数据
Figure DEST_PATH_IMAGE063
输入至对抗解码器中获得请求跨模态数据特征向量
Figure DEST_PATH_IMAGE065
，接着经过sign函数获得请求跨模态数据哈希码
Figure DEST_PATH_IMAGE067
，获得基于相对的对抗性三元组函数
Figure DEST_PATH_IMAGE069
，
Figure DEST_PATH_IMAGE071
；
S6. 构建对抗生成网络的训练函数，通过ADAM优化器对生成器的网络参数进行优化，同时固定对抗解码器的网络参数；包括，构造训练损失函数LX，
Figure DEST_PATH_IMAGE073
其中，
Figure DEST_PATH_IMAGE075
表示对抗生成器的参数；
Figure DEST_PATH_IMAGE077
表示使模型最小化的对抗生成器的参数；
Figure DEST_PATH_IMAGE079
表示第一平衡常数；J 1为重构损失函数；
Figure DEST_PATH_IMAGE081
表示第二平衡常数；J 2表示量化损失函数；
Figure DEST_PATH_IMAGE083
表示第三平衡常数；J 3表示对抗性三元组函数；J 4表示基于相对的对抗性三元组函数；
通过ADAM优化方法对构造训练损失函数进行优化，求出最佳的对抗生成器参数
Figure DEST_PATH_IMAGE085
，使得达到如下目标：
目标一包括，使重构跨模态数据
Figure 138818DEST_PATH_IMAGE006
和请求跨模态数据
Figure DEST_PATH_IMAGE086
之间在视觉上不可区分；
目标二包括，使重构跨模态数据特征向量
Figure DEST_PATH_IMAGE088
和重构跨模态数据二元哈希码
Figure DEST_PATH_IMAGE090
之间的差异最小化；
目标三包括，最小化重构跨模态数据二元哈希码
Figure 47868DEST_PATH_IMAGE090
和消极跨模态数据哈希码
Figure DEST_PATH_IMAGE092
之间的汉明距离，最大化重构跨模态数据二元哈希码
Figure 992821DEST_PATH_IMAGE090
和积极跨模态数据哈希码
Figure DEST_PATH_IMAGE094
之间的汉明距离；
目标四包括，最小化请求跨模态数据哈希码
Figure DEST_PATH_IMAGE096
和消极跨模态数据哈希码
Figure 987322DEST_PATH_IMAGE092
之间的汉明距离，最大化请求跨模态数据哈希码
Figure 331716DEST_PATH_IMAGE096
和积极跨模态数据哈希码
Figure 908322DEST_PATH_IMAGE094
之间的汉明距离；
S7. 对给定的请求跨模态数据集合，通过训练好的对抗生成器获得对抗性跨模态数据集合。
2.根据权利要求1所述的基于生成式网络的跨模态数据哈希检索攻击方法，其特征在于所述的步骤S1，包括，定义目标网络
Figure DEST_PATH_IMAGE098
与目标网络的参数
Figure DEST_PATH_IMAGE100
，其中，δ为参数表示；*为图像或文本检索网络表示，具体的，
Figure DEST_PATH_IMAGE102
，
Figure DEST_PATH_IMAGE104
代表目标图像检索网络，
Figure DEST_PATH_IMAGE106
代表目标文本检索网络；利用目标网络
Figure 552405DEST_PATH_IMAGE098
与目标网络的参数
Figure 768623DEST_PATH_IMAGE100
，初始化对抗性解码器
Figure DEST_PATH_IMAGE108
与对抗性解码器的参数
Figure DEST_PATH_IMAGE110
，构造对抗生成器
Figure DEST_PATH_IMAGE111
并初始化对抗生成器的参数
Figure DEST_PATH_IMAGE113
；当上传图像用于搜索相关文本时，设请求跨模态数据
Figure DEST_PATH_IMAGE115
为请求图像数据
Figure DEST_PATH_IMAGE117
，R表示实数域；q表示请求数据标志；I表示图像；G表示请求图像的宽度；B表示请求图像的高度；O表示请求图像的通道数；当上传文本用于搜索相关图像时，设请求跨模态数据
Figure 729757DEST_PATH_IMAGE086
为请求文本数据
Figure DEST_PATH_IMAGE119
，T表示文本；L表示查询文本的特征向量维度。
3.根据权利要求2所述的基于生成式网络的跨模态数据哈希检索攻击方法，其特征在于所述的步骤S4，包括，计算重构跨模态数据二元哈希码
Figure 941295DEST_PATH_IMAGE033
和数据库中所有的跨模态数据哈希码集
Figure DEST_PATH_IMAGE121
之间的汉明距离函数Ham：
Figure DEST_PATH_IMAGE123
其中，*为图像或文本检索网络表示；
Figure DEST_PATH_IMAGE125
表示点积运算函数，E为检索数据库的跨模态哈希码总数；i表示检索数据库的跨模态哈希码的计数变量；
Figure DEST_PATH_IMAGE127
表示数据库中所有的跨模态数据哈希码集合；当重构跨模态数据二元哈希码
Figure 165734DEST_PATH_IMAGE033
为重构图像数据哈希码
Figure DEST_PATH_IMAGE129
时，跨模态数据哈希码集
Figure 400407DEST_PATH_IMAGE121
为文本数据哈希码集
Figure DEST_PATH_IMAGE131
；当重构跨模态数据二元哈希码
Figure 165231DEST_PATH_IMAGE033
为重构文本数据哈希码
Figure DEST_PATH_IMAGE133
时，跨模态数据哈希码集
Figure DEST_PATH_IMAGE135
为图像数据哈希码集
Figure DEST_PATH_IMAGE137
；
将重构跨模态数据二元哈希码
Figure 965697DEST_PATH_IMAGE033
汉明距离最小的若干个跨模态数据哈希码称为积极跨模态数据哈希码
Figure 282409DEST_PATH_IMAGE047
，将与重构跨模态数据二元哈希码
Figure DEST_PATH_IMAGE138
汉明距离最大的若干个跨模态数据哈希码为消极跨模态数据哈希码
Figure 814497DEST_PATH_IMAGE049
。
4.根据权利要求3所述的基于生成式网络的跨模态数据哈希检索攻击方法，其特征在于所述的步骤S7，包括，已知一个训练好的对抗生成器
Figure DEST_PATH_IMAGE140
和对抗生成器的参数
Figure DEST_PATH_IMAGE142
，输入请求跨模态数据集合
Figure DEST_PATH_IMAGE144
，
Figure DEST_PATH_IMAGE146
表示请求跨模态数据，获得对抗性跨模态数据集和
Figure DEST_PATH_IMAGE148
，
Figure DEST_PATH_IMAGE150
，*为图像或文本检索网络表示；
Figure DEST_PATH_IMAGE152
；z表示请求跨模态数据集合的计数变量，Z表示请求跨模态数据集合的总数。
CN202210893350.XA 2022-07-27 2022-07-27 一种基于生成式网络的跨模态数据哈希检索攻击方法 Active CN115081627B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210893350.XA CN115081627B (zh) 2022-07-27 2022-07-27 一种基于生成式网络的跨模态数据哈希检索攻击方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210893350.XA CN115081627B (zh) 2022-07-27 2022-07-27 一种基于生成式网络的跨模态数据哈希检索攻击方法

Publications (2)

Publication Number Publication Date
CN115081627A CN115081627A (zh) 2022-09-20
CN115081627B true CN115081627B (zh) 2022-11-25

Family

ID=83242808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210893350.XA Active CN115081627B (zh) 2022-07-27 2022-07-27 一种基于生成式网络的跨模态数据哈希检索攻击方法

Country Status (1)

Country Link
CN (1) CN115081627B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222140A (zh) * 2019-04-22 2019-09-10 中国科学院信息工程研究所 一种基于对抗学习和非对称哈希的跨模态检索方法
CN111460201A (zh) * 2020-03-04 2020-07-28 南京邮电大学 一种基于生成性对抗网络的模态一致性跨模态检索方法
CN113312505A (zh) * 2021-07-29 2021-08-27 山东大学 一种基于离散在线哈希学习的跨模态检索方法及系统
WO2022068196A1 (zh) * 2020-09-30 2022-04-07 三维通信股份有限公司 跨模态的数据处理方法、装置、存储介质以及电子装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461203A (zh) * 2020-03-30 2020-07-28 北京百度网讯科技有限公司 跨模态处理方法、装置、电子设备和计算机存储介质
CN113076465A (zh) * 2021-05-14 2021-07-06 中国石油大学(华东) 一种基于深度哈希的通用跨模态检索模型

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222140A (zh) * 2019-04-22 2019-09-10 中国科学院信息工程研究所 一种基于对抗学习和非对称哈希的跨模态检索方法
CN111460201A (zh) * 2020-03-04 2020-07-28 南京邮电大学 一种基于生成性对抗网络的模态一致性跨模态检索方法
WO2022068196A1 (zh) * 2020-09-30 2022-04-07 三维通信股份有限公司 跨模态的数据处理方法、装置、存储介质以及电子装置
CN113312505A (zh) * 2021-07-29 2021-08-27 山东大学 一种基于离散在线哈希学习的跨模态检索方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Multi-Level Correlation Adversarial Hashing for Cross-Modal Retrieval;Xinhong Ma等;《IEEE Transactions on Multimedia》;20200127;第3101-3114页 *
深度哈希图像检索方法综述;刘颖等;《中国图象图形学报》;20200716(第07期);第1296-1317页 *

Also Published As

Publication number Publication date
CN115081627A (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
CN110059198B (zh) 一种基于相似性保持的跨模态数据的离散哈希检索方法
Zhu et al. Discrete multimodal hashing with canonical views for robust mobile landmark search
CN108334574B (zh) 一种基于协同矩阵分解的跨模态检索方法
CN106777318B (zh) 基于协同训练的矩阵分解跨模态哈希检索方法
CN106202256B (zh) 基于语义传播及混合多示例学习的Web图像检索方法
US20180341862A1 (en) Integrating a memory layer in a neural network for one-shot learning
CN110929080B (zh) 基于注意力和生成对抗网络的光学遥感图像检索方法
WO2022199504A1 (zh) 内容识别方法、装置、计算机设备和存储介质
CN108595688A (zh) 基于在线学习的潜在语义跨媒体哈希检索方法
US11023473B2 (en) Recurrent binary embedding for information retrieval
CN108470052B (zh) 一种基于矩阵补全的抗托攻击推荐算法
CN113177141B (zh) 基于语义嵌入软相似性的多标签视频哈希检索方法及设备
CN112800344B (zh) 一种基于深度神经网络的电影推荐方法
CN113343025B (zh) 基于加权梯度哈希激活热力图的稀疏对抗攻击方法
CN111090765B (zh) 一种基于缺失多模态哈希的社交图像检索方法及系统
Liang et al. Cross-media semantic correlation learning based on deep hash network and semantic expansion for social network cross-media search
CN113409157B (zh) 一种跨社交网络用户对齐方法以及装置
Wang et al. Deep graph convolutional quantization networks for image retrieval
Zhang et al. Orthonormal product quantization network for scalable face image retrieval
CN111079011A (zh) 一种基于深度学习的信息推荐方法
CN114385930A (zh) 一种兴趣点推荐方法及系统
CN115081627B (zh) 一种基于生成式网络的跨模态数据哈希检索攻击方法
CN116935057A (zh) 目标评价方法、电子设备和计算机可读存储介质
Kumari et al. A Semantic Approach to Solve Scalability, Data Sparsity and Cold-Start Problems in Movie Recommendation Systems
CN115881211B (zh) 蛋白质序列比对方法、装置、计算机设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240129

Address after: 410000, No. 1409, Building D3, Phase II, Zhongdian Software Park, No. 18 Jianshan Road, High tech Development Zone, Changsha City, Hunan Province

Patentee after: Hunan Hanma Technology Co.,Ltd.

Country or region after: China

Address before: Yuelu District City, Hunan province 410083 Changsha Lushan Road No. 932

Patentee before: CENTRAL SOUTH University

Country or region before: China