CN117520647A - 基于鲁棒汉明编码的跨模态数据检索方法 - Google Patents

基于鲁棒汉明编码的跨模态数据检索方法 Download PDF

Info

Publication number
CN117520647A
CN117520647A CN202311477808.4A CN202311477808A CN117520647A CN 117520647 A CN117520647 A CN 117520647A CN 202311477808 A CN202311477808 A CN 202311477808A CN 117520647 A CN117520647 A CN 117520647A
Authority
CN
China
Prior art keywords
iblt
data
cloud server
bloom filter
reversible bloom
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311477808.4A
Other languages
English (en)
Inventor
苗银宾
杨丽
匡达
李兴华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202311477808.4A priority Critical patent/CN117520647A/zh
Publication of CN117520647A publication Critical patent/CN117520647A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9014—Indexing; Data structures therefor; Storage structures hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G06F16/90344—Query processing by using string matching techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/03—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words
    • H03M13/05—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words using block codes, i.e. a predetermined number of check bits joined to a predetermined number of information bits
    • H03M13/13—Linear codes
    • H03M13/19—Single error correction without using particular properties of the cyclic codes, e.g. Hamming codes, extended or generalised Hamming codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了基于鲁棒汉明编码的跨模态数据检索方法，具体过程为：首先，生成相关参数，并将参数发送至查询用户、云服务器CS1；其次，数据所有者将获取不同模态数据的哈希码，并将哈希码映射到对称集合，同时构建可逆布隆过滤器，加密原始数据，将可逆布隆过滤器及加密的原始数据发送至云服务器CS1、云服务器CS2，云服务器CS1本地存储可逆布隆过滤器，云服务器CS2存储加密的原始数据；再次，查询用户通过与查询数据进行对比解码，获得相似度量结果，根据相似度量结果按升序返回相关检索结果至查询用户；最后，查询用户对秘钥解密，获得最终检索结果。本发明方法解决了现有方法中安全性和鲁棒性低的问题。

Description

基于鲁棒汉明编码的跨模态数据检索方法
技术领域
本发明属于数据安全领域及密码学应用技术领域，具体涉及基于鲁棒汉明编码的跨模态数据检索方法。
背景技术
跨模态检索作为当前多媒体研究领域的热点，能够满足互联网时代用户在不同媒体数据之间的搜索需求，如，给定一个图像样本，可以有效且快速地检索出相关的文本、视频等其他模态的数据。相比传统的单模态检索，跨模态检索的难点在于不同模态数据的异构性使得它们难以直接进行比较，存在异构鸿沟这一关键问题。因此，如何从大规模异构数据集中检索相似的样本成为一项具有挑战性的工作。哈希方法旨在将高维的原始数据映射到统一的汉明空间中的低维二进制哈希码中，同时保持原始特征空间中的语义关系，而后通过计算查询和数据库样本之间哈希码的汉明距离来实现跨媒体检索。由于其存储空间小、检索速度快，已成功应用于解决大规模多媒体数据检索问题。当前提出了很多跨模态哈希方法，可以有效实现将不同模态的数据映射到统一公共汉明空间，比如经典的协同矩阵分解方法(Collective Matrix Factorization Hashing，CMFH)，通过矩阵分解对不同模态数据的特征矩阵进行分解并获得潜在隐式子空间，从而进行异构数据的相似性比较，但是传统跨模态哈希方案在进行相似度度量时，仅依靠哈希码之间的XOR操作来进行相似性比较，该方法的安全性和鲁棒性较低，并不适应于复杂的网络环境。
发明内容
本发明的目的是提供基于鲁棒汉明编码的跨模态数据检索方法，解决了现有方法中安全性和鲁棒性低的问题。
本发明所采用的技术方案是，基于鲁棒汉明编码的跨模态数据检索方法，具体过程为：首先，生成相关参数，并将参数发送至查询用户、云服务器CS1；其次，数据所有者将获取不同模态数据的哈希码，并将哈希码映射到对称集合，同时构建可逆布隆过滤器，加密原始数据，将可逆布隆过滤器及加密的原始数据发送至云服务器CS1、云服务器CS2，云服务器CS1本地存储可逆布隆过滤器，云服务器CS2存储加密的原始数据；再次，查询用户通过与查询数据进行对比解码，获得相似度量结果，根据相似度量结果按升序返回相关检索结果至查询用户；最后，查询用户对秘钥解密，获得最终检索结果。
本发明的特点还在于，
具体按照以下步骤实施：
步骤1，数据所有者选择安全参数κ，生成对称加密算法Enc的密钥K，并随机随机选择一组哈希函数{h1,...,hk}，设置相似度阈值θ，构造k行2θ列的随机矩阵数据所有者将参数{(h1,...,hk},A,K}发送至查询用户，将相似度阈值θ发送至云服务器CS1；
步骤2，加密原始模态数据，构造可逆布隆过滤器IBLT，IBLT＝{IBLTj|j∈[n]}并进行更新，数据所有者将更新后的可逆布隆过滤器IBLT发送至云服务器CS1，将加密后的原始模态数据发送至云服务器CS2；
步骤3，云服务器CS1接收数据所有者上传的更新后的可逆布隆过滤器IBLT，IBLT＝{IBLTj|j∈[n]}并在本地进行存储，云服务器CS2存储数据所有者上传的加密的原始数据；
步骤4，查询用户将要查询的多媒体数据信息按照同样的方式进行编码映射到汉明空间，并构建查询的可逆布隆过滤器IBLT′,IBLT′＝{IBLT′j|j∈[n]}，将查询的可逆布隆过滤器IBLT′发送至云服务器CS1；
步骤5，云服务器CS1将查询的可逆布隆过滤器IBLT′与更新后的可逆布隆过滤器IBLT进行相似度比较，并根据二者的相似度结果，协同云服务器CS2按照升序排序返回检索结果；
步骤6，查询用户使用密钥K对加密数据进行解密，获得明文数据。
步骤2的具体过程为：
步骤2.1，每种不同类型的模态数据下都存在n个原始数据M＝{mj|j∈[n]}，针对任意一种类型的模态数据，数据所有者利用协同矩阵分解方法，将任意一个模态数据mj的特征矩阵Xj投影到统一的汉明表示空间，并且获得对应的二进制哈希码xj，同时利用密钥K加密原始数据mj，计算加密数据cj＝Enc(mj,K),得到加密后的原始模态数据C＝{cj|j∈[n]}；
步骤2.2，数据所有者获得任意二进制哈希码xj＝xj1…xji…xjl(i∈[l])，l为字符串的长度，数据拥有者利用任意二进制哈希码xj构造对应的对称集合Yj；
构造对称集合的过程为：对哈希码xj的每一比特位xji按顺序进行编码，计算yji,yji＝2i-xji,得到对称集合Yji＝{yj1,...,yji,...,yjl}；
步骤2.3，构造可逆布隆过滤器IBLT，IBLT＝{IBLTj|j∈[n]}；
步骤2.4，更新可逆布隆过滤器IBLT；
步骤2.5，数据所有者将更新后的可逆布隆过滤器IBLT发送至云服务器CS1，将加密后的原始模态数据C＝{cj|j∈[n]}发送至云服务器CS2。
步骤2.3的具体过程为：首先，存在不同的模态数据的样本空间其中，T表示模态种类个数，n表示每个不同种类模态下的样本个数，/>表示样本数据，/>表示样本数据/>对应的特征矩阵；其次，针对任意类型模态下的样本数据mj的特征矩阵Xj，j∈[n]，数据所有者使用协同矩阵分解方法将其分解到二进制语义空间，生成统一的二进制哈希码集合{x1,...,xj,...,xn}；最后，对其中任意哈希码xj进行编码，并以此构造可逆布隆过滤器，记作IBLT，IBLT＝{IBLTj|j∈[n]}。
步骤2.4的具体过程为：存在矩阵且配备随机选择的一组哈希函数{h1,...,hα,...,hk}，每个哈希函数hα(α∈[k])对应矩阵的第α行，在矩阵中第α行，选择哈希函数hα，计算集合元素Yji＝{yj1,yj2,...,yjl}的哈希值{hα(yj1)，hα(yj2),...,hα(yjl)}，并把得到的哈希值写入第α行hα(yji)列的位置，同时将可逆布隆过滤器中哈希表中每个位置的值更新为/>可逆布隆过滤器IBLT完成更新操作。
步骤4的具体过程为：
步骤4.1，查询用户利用协同矩阵分解方法，重复步骤2.1将查询数据的特征矩阵通过投影到统一的汉明空间，得到二进制哈希码x′i；
步骤4.2，重复步骤2.1～步骤2.4的操作，对二进制哈希码进行编码，并构造查询的可逆布隆过滤器IBLT′，IBLT′＝{IBLT′j|j∈[n]}，；
步骤4.3，查询用户将构造的查询的可逆布隆过滤器IBLT′发送至云服务器CS1。
步骤5的具体过程为：
步骤5.1，云服务器CS1将得到的IBLT′，IBLT′＝{IBLT′j|j∈[n]}与步骤2中更新后的可逆布隆过滤器IBLT，IBLT＝{IBLTj|j∈[n]}按条目相减，得到新的可逆布隆过滤器IBLT″,,IBLT″＝{IBLT″j＝IBLTj-IBLT′j|(j∈[1,n])}；
步骤5.2，云服务器CS1对新的可逆布隆过滤器IBLT″j进行逐项解码，恢复出原始对称集合中元素差值的个数ωj，云服务器CS1利用ωj的大小来比较两个字符串之间的相似度；
步骤5.3，云服务器CS1将相似度度量结果发送至云服务器CS2，云服务器CS2根据相似程度返回相应检索结果。
步骤5.2中，当ωj＜2θ时，则认为两个数据是符合预设的相似度要求的，即二者的汉明距离小于预设阈值θ；当ωj≥2θ或者ωj＝⊥，则认为两个数据不符合检索要求。
本发明的有益效果是：
(1)本发明基于鲁棒汉明编码的跨模态数据检索方法，支持安全高效的多模态数据检索，可以为多模态数据构建统一的汉明空间表示方法，且基于汉明距离的相似性度量方法可以进一步提高检索效率，减少计算成本；
(2)本发明基于鲁棒汉明编码的跨模态数据检索方法，使用了鲁棒的编码方法，将统一的汉明空间距离映射为对称集合差值，编码的安全性保证了计算受限的攻击者难以找到与原对称集合的对称性差异很小的集合，即使可以找到对称性差异很小的编码集合，但是找到的集合解码后要么返回不正确的结果，要么失败；因此，本发明的安全性较高。
附图说明
图1为本发明基于鲁棒汉明编码的跨模态数据检索方法的流程图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
实施例1
本发明基于鲁棒汉明编码的跨模态数据检索方法，具体过程为：首先，生成相关参数，并将参数发送至查询用户、云服务器CS1；其次，数据所有者将获取不同模态数据的哈希码，并将哈希码映射到对称集合，同时构建可逆布隆过滤器，加密原始数据，将可逆布隆过滤器及加密的原始数据发送至云服务器CS1、云服务器CS2，云服务器CS1本地存储可逆布隆过滤器，云服务器CS2存储加密的原始数据；再次，查询用户通过与查询数据进行对比解码，获得相似度量结果，根据相似度量结果按升序返回相关检索结果至查询用户；最后，查询用户对秘钥解密，获得最终检索结果。
实施例2
本发明基于鲁棒汉明编码的跨模态数据检索方法，如图1所示，具体按照以下步骤实施：
步骤1，数据所有者选择安全参数κ，生成对称加密算法Enc的密钥K，并随机随机选择一组哈希函数{h1,...,hk}，设置相似度阈值θ，构造k行2θ列的随机矩阵数据所有者将参数{(h1,...,hk},A,K}发送至查询用户，将相似度阈值θ发送至云服务器CS1；
步骤2，加密原始模态数据，构造可逆布隆过滤器IBLT，IBLT＝{IBLTj|j∈[n]}，并对可逆布隆过滤器IBLT进行更新，数据所有者将更新后的可逆布隆过滤器IBLT发送至云服务器CS1，将加密后的原始模态数据发送至云服务器CS2；
具体过程为：
步骤2.1，每种不同类型的模态数据下都存在n个原始数据M＝{mj|j∈[n]}，针对任意一种类型的模态数据，数据所有者利用协同矩阵分解方法，将任意一个模态数据mj的特征矩阵Xj投影到统一的汉明表示空间，并且获得对应的二进制哈希码xj，同时利用密钥K加密原始数据mj，计算加密数据cj＝Enc(mj,K),得到加密后的原始模态数据C＝{cj|j∈[n]}；
其中，将任意一个模态数据mj的特征矩阵Xj投影到统一的汉明表示空间(数据所有者使用的协同矩阵分解方法获得不同模态数据的二进制哈希码xji，先要通过训练得到不同类型模态数据的投影矩阵)的具体过程为：
存在不同的模态数据的样本空间其中，T表示模态种类个数，n表示每个不同种类模态下的样本个数，/>表示样本数据，/>表示样本数据/>对应的特征矩阵，假设/>dt表示第t个模态数据的特征维度，给定字符串长度l,利用协同矩阵分解方法学习不同类型模态样本的统一哈希码表达，例如：存在两个不同类型模态数据的特征矩阵X1与X2,/>和/>
X1≈U1V
X2≈U2V
其中，和/>表示分解因子，V∈Rl×n表示潜在公共语义；
具体的，使用协同矩阵分解学习跨模态的公共语义的目标函数：其中，λ是平衡参数，/>表示矩阵F范数的平方；
协同矩阵分解哈希的目标函数：
其中，P1和P2分别表示两种模态数据的投影矩阵，表示正则化项，μ表示哈希码和特征之间的误差项参数，γ表示正则化参数；
在训练阶段：输入数据X1、X2,参数λ、μ、γ，哈希码长度l以及最大迭代次数Count(迭代次数由用户设定)，通过不断更新U1、U2、P1、P2、V,直到目标函数收敛或者达到最大迭代次数Count，最终输出哈希编码xji及投影矩阵P1和P2；
在查询阶段：输入待编码的特征矩阵、对应类型模态数据投影矩阵的Pβ，β代表不同模态数据的类型，这里的β∈[1,2]，最后输出该模态数据的哈希码x′ji＝sign(PβXj)并将训练得到的投影矩阵Pβ发送至查询方；
步骤2.2，数据所有者获得任意二进制哈希码xj＝xj1…xji…xjl(i∈[l])，l为字符串的长度，数据拥有者利用任意二进制哈希码xj构造对应的对称集合Yj；
构造对称集合的过程为：对哈希码xj的每一比特位xji按顺序进行编码，计算yji,yji＝2i-xji,得到对称集合Yji＝{yj1,...,yji,...,yjl}；
步骤2.3，构造可逆布隆过滤器IBLT，IBLT＝{IBLTj|j∈[n]}；
首先，存在不同的模态数据的样本空间其中，T表示模态种类个数，n表示每个不同种类模态下的样本个数，/>表示样本数据，/>表示样本数据/>对应的特征矩阵；其次，针对任意类型模态下的样本数据mj的特征矩阵Xj，j∈[n]，数据所有者使用协同矩阵分解方法将其分解到二进制语义空间，生成统一的二进制哈希码集合{x1,...,xj,...,xn}；最后，对其中任意哈希码xj进行编码，并以此构造可逆布隆过滤器(Invertible Bloom Lookup Table，IBLT)，记作IBLT，IBLT＝{IBLTj|j∈[n]}；
步骤2.4，更新可逆布隆过滤器IBLT；
具体过程为：
存在矩阵且配备随机选择的一组哈希函数{h1,...,hα,...,hk}，每个哈希函数hα(α∈[k])对应矩阵的第α行，在矩阵中第α行，选择哈希函数hα，计算集合元素Yji＝{yj1,yj2,...,yjl}的哈希值{hα(yj1)，hα(yj2),...,hα(yjl)}，并把得到的哈希值写入第α行hα(yji)列的位置，例如：在矩阵中第1行中，选择哈希函数h1计算集合元素Yji＝{yj1,yj2,...,yjl}的哈希值，得到{h1(yj1)，h1(yj2),...,h1(yjl)}，并将其写入矩阵中第一行对应哈希值的位置，以此类推，直到数据所有者将集合Yji＝{yj1,yj2,...,yjl}中的所有元素利用k个不同的哈希函数hα进行k次哈希后，分别写入矩阵中对应的位置，同时将可逆布隆过滤器中哈希表中每个位置的值更新为/>则可对可逆布隆过滤器IBLT完成更新操作；
步骤2.5，数据所有者将更新后的可逆布隆过滤器IBLT，IBLT＝{IBLTj|j∈[n]}发送至云服务器CS1，将加密后的原始模态数据C＝{cj|j∈[n]}发送至云服务器CS2；
步骤3，云服务器CS1接收数据所有者上传的更新后的可逆布隆过滤器IBLT，IBLT＝{IBLTj|j∈[n]}；并在本地进行存储，云服务器CS2存储数据所有者上传的加密的原始数据；
步骤4，查询用户将要查询的多媒体数据信息按照同样的方式进行编码映射到汉明空间，并构建查询的可逆布隆过滤器IBLT′，IBLT′＝{IBLT′j|j∈[n]}，将查询的可逆布隆过滤器IBLT′发送至云服务器CS1；
具体过程为：
步骤4.1，查询用户利用协同矩阵分解方法，重复步骤2.1将查询数据的特征矩阵通过投影到统一的汉明空间，得到二进制哈希码x′i；
查询方利用协同分解矩阵方法训练得到投影矩阵Pβ，可得到查询数据的哈希码x′ji，具体实现方法如下:查询阶段，使用协同矩阵分解算法，输入特征向量Xj，根据数据的不同模态，联合投影矩阵Pβ，根据数据的不同模态类型，输出对应模态数据的哈希码x′ji，x′ji＝sign(PβXj)；
步骤4.2，重复步骤2.1～步骤2.4的操作，对二进制哈希码进行编码，并构造查询的可逆布隆过滤器IBLT′，IBLT′＝{IBLT′j|j∈[n]}；
步骤4.3，查询用户将构造的查询的可逆布隆过滤器IBLT′发送至云服务器CS1；
步骤5，云服务器CS1将查询的可逆布隆过滤器IBLT′与更新后的可逆布隆过滤器IBLT进行相似度比较，并根据二者的相似度结果，协同云服务器CS2按照升序排序返回检索结果；
具体过程为：
步骤5.1，云服务器CS1将得到的IBLT′，IBLT′＝{IBLT′j|j∈[n]}与步骤2中更新后的可逆布隆过滤器IBLT，IBLT＝{IBLTj|j∈[n]}按条目相减，得到新的可逆布隆过滤器IBLT″,,IBLT″＝{IBLT″j＝IBLTj-IBLT′j|(j∈[1,n])}；
步骤5.2，云服务器CS1对新的可逆布隆过滤器IBLT″j进行逐项解码，恢复出原始对称集合中元素差值的个数ωj，云服务器CS1利用ωj的大小来比较两个字符串之间的相似度；
步骤5.2中的解码是通过不停地从新的可逆布隆过滤器IBLT″j已有矩阵中对应单元格中减去已解码后的值实现的，并每次解码后需要对矩阵中的值进行迭代更新；
具体过程为：
首先，将两个可逆布隆过滤器按照条目一一相减，得到新的可逆布隆过滤器IBLT″＝{IBLT″j＝IBLTj-IBLT′j|(j∈[1,n])}；
从IBLT″j中检索到符合要求的(xji,w)，α,分别是IBLT″j中矩阵的行列数，w是α行列对应的某个值，找到满足要求的w的值，并将满足条件的键值对写入一个空的集合Z中：
将得到的(xji,w)中对应的w值写到一个空的集合Y′中：
将已经恢复出来的数值w从原始矩阵中的每一行中提取出来，即进行剪枝操作，具体方法如下：
对于每一个(xji,w)∈Z来说，针对矩阵中的第α行(α∈[k])：
H[α,hα(xji)]:＝H[α,hα(xji)]-w
随后返回修剪后的矩阵，并使用新的矩阵进行解码，重复上述解码步骤，不断检索符合要求的(xji,w)，进行迭代解码,直到矩阵H中值均为0,即H＝(0n)k×2θ，返回最终的对称集合Y”，从而得到集合Y”的大小ωj，并利用ωj的大小比较两个字符串之间的相似度；
当ωj＜2θ时，则认为两个数据是符合预设的相似度要求的，即二者的汉明距离小于预设阈值θ；
当ωj≥2θ或者ωj＝⊥，则认为两个数据不符合检索要求；
步骤5.3，云服务器CS1将相似度度量结果发送至云服务器CS2，云服务器CS2根据相似程度返回相应检索结果；
步骤6，查询用户使用密钥K对加密数据进行解密，mj＝Dec(cj,K)获得明文数据。
实施例3
本发明方法的工作原理是，数据拥有者使用协同矩阵分解从不同模态的特征向量中学习统一的二进制哈希码表示，随后对得到的不同模态的哈希码进行相似度度量。为了实现高鲁棒的隐私保护的相似性度量，将二进制哈希码中的汉明距离大小映射为对称集合中不同元素的个数，进而通过对比两个集合的元素差，以确定两个哈希码的相似度是否符合设定的阈值，若符合预设的阈值，则返回相应检索结果。
本发明的方法，利用基于协同矩阵分解的跨模态哈希方法在双云架构下实现了高效的跨媒体信息检索，达到了降低计算开销的效果；本发明的方法，利用鲁棒性的对称集合编码方法和可逆布隆过滤器，实现了高鲁棒性的隐私保护的汉明距离相似性度量。

Claims (8)

1.基于鲁棒汉明编码的跨模态数据检索方法，其特征在于，具体过程为：首先，生成相关参数，并将参数发送至查询用户、云服务器CS1；其次，数据所有者将获取不同模态数据的哈希码，并将哈希码映射到对称集合，同时构建可逆布隆过滤器，加密原始数据，将可逆布隆过滤器及加密的原始数据发送至云服务器CS1、云服务器CS2，云服务器CS1本地存储可逆布隆过滤器，云服务器CS2存储加密的原始数据；再次，查询用户通过与查询数据进行对比解码，获得相似度量结果，根据相似度量结果按升序返回相关检索结果至查询用户；最后，查询用户对秘钥解密，获得最终检索结果。
2.根据权利要求1所述的基于鲁棒汉明编码的跨模态数据检索方法，其特征在于，具体按照以下步骤实施：
步骤1，数据所有者选择安全参数κ，生成对称加密算法Enc的密钥K，并随机随机选择一组哈希函数{h1,...,hk}，设置相似度阈值θ，构造k行2θ列的随机矩阵数据所有者将参数{(h1,...,hk},A,K}发送至查询用户，将相似度阈值θ发送至云服务器CS1；
步骤2，加密原始模态数据，构造可逆布隆过滤器IBLT，IBLT＝{IBLTj|j∈[n]}并进行更新，数据所有者将更新后的可逆布隆过滤器IBLT发送至云服务器CS1，将加密后的原始模态数据发送至云服务器CS2；
步骤3，云服务器CS1接收数据所有者上传的更新后的可逆布隆过滤器IBLT，IBLT＝{IBLTj|j∈[n]}并在本地进行存储，云服务器CS2存储数据所有者上传的加密的原始数据；
步骤4，查询用户将要查询的多媒体数据信息按照同样的方式进行编码映射到汉明空间，并构建查询的可逆布隆过滤器IBLT′,IBLT′＝{IBLT′j|j∈[n]}，将查询的可逆布隆过滤器IBLT′发送至云服务器CS1；
步骤5，云服务器CS1将查询的可逆布隆过滤器IBLT′与更新后的可逆布隆过滤器IBLT进行相似度比较，并根据二者的相似度结果，协同云服务器CS2按照升序排序返回检索结果；
步骤6，查询用户使用密钥K对加密数据进行解密，获得明文数据。
3.根据权利要求2所述的基于鲁棒汉明编码的跨模态数据检索方法，其特征在于，步骤2的具体过程为：
步骤2.1，每种不同类型的模态数据下都存在n个原始数据M＝{mj|j∈[n]}，针对任意一种类型的模态数据，数据所有者利用协同矩阵分解方法，将任意一个模态数据mj的特征矩阵Xj投影到统一的汉明表示空间，并且获得对应的二进制哈希码xj，同时利用密钥K加密原始数据mj，计算加密数据cj＝Enc(mj,K),得到加密后的原始模态数据C＝{cj|j∈[n]}；
步骤2.2，数据所有者获得任意二进制哈希码xj＝xj1…xji…xjl(i∈[l])，l为字符串的长度，数据拥有者利用任意二进制哈希码xj构造对应的对称集合Yj；
构造对称集合的过程为：对哈希码xj的每一比特位xji按顺序进行编码，计算yji,yji＝2i-xji,得到对称集合Yji＝{yj1,...,yji,...,yjl}；
步骤2.3，构造可逆布隆过滤器IBLT，IBLT＝{IBLTj|j∈[n]}；
步骤2.4，更新可逆布隆过滤器IBLT；
步骤2.5，数据所有者将更新后的可逆布隆过滤器IBLT，IBLT＝{IBLTj|j∈[n]}发送至云服务器CS1，将加密后的原始模态数据C＝{cj|j∈[n]}发送至云服务器CS2。
4.根据权利要求3所述的基于鲁棒汉明编码的跨模态数据检索方法，其特征在于，步骤2.3的具体过程为：首先，存在不同的模态数据的样本空间其中，T表示模态种类个数，n表示每个不同种类模态下的样本个数，/>表示样本数据，/>表示样本数据/>对应的特征矩阵；其次，针对任意类型模态下的样本数据mj的特征矩阵Xj，j∈[n]，数据所有者使用协同矩阵分解方法将其分解到二进制语义空间，生成统一的二进制哈希码集合{x1,...,xj,...,xn}；最后，对其中任意哈希码xj进行编码，并以此构造可逆布隆过滤器，记作IBLT，IBLT＝{IBLTj|j∈[n]}。
5.根据权利要求3所述的基于鲁棒汉明编码的跨模态数据检索方法，其特征在于，步骤2.4的具体过程为：存在矩阵且配备随机选择的一组哈希函数{h1,...,hα,...,hk}，每个哈希函数hα(α∈[k])对应矩阵的第α行，在矩阵中第α行，选择哈希函数hα，计算集合元素Yji＝{yj1,yj2,...,yjl}的哈希值{hα(yj1)，hα(yj2),...,hα(yjl)}，并把得到的哈希值写入第α行hα(yji)列的位置，同时将可逆布隆过滤器中哈希表中每个位置的值更新为/>可逆布隆过滤器IBLT完成更新操作。
6.根据权利要求3所述的基于鲁棒汉明编码的跨模态数据检索方法，其特征在于，步骤4的具体过程为：
步骤4.1，查询用户利用协同矩阵分解方法，重复步骤2.1将查询数据的特征矩阵通过投影到统一的汉明空间，得到二进制哈希码x′i；
步骤4.2，重复步骤2.1～步骤2.4的操作，对二进制哈希码进行编码，并构造查询的可逆布隆过滤器IBLT′，IBLT′＝{IBLT′jj∈[n]}；
步骤4.3，查询用户将构造的查询的可逆布隆过滤器IBLT′发送至云服务器CS1。
7.根据权利要求2所述的基于鲁棒汉明编码的跨模态数据检索方法，其特征在于，步骤5的具体过程为：
步骤5.1，云服务器CS1将得到的IBLT′，IBLT′＝{IBLT′j|j∈[n]}与步骤2中更新后的可逆布隆过滤器IBLT，IBLT＝{IBLTj|j∈[n]}按条目相减，得到新的可逆布隆过滤器IBLT″,,IBLT″＝{IBLT″j＝IBLTj-IBLT′j|(j∈[1,n])}；
步骤5.2，云服务器CS1对新的可逆布隆过滤器IBLT″j进行逐项解码，恢复出原始对称集合中元素差值的个数ωj，云服务器CS1利用ωj的大小来比较两个字符串之间的相似度；
步骤5.3，云服务器CS1将相似度度量结果发送至云服务器CS2，云服务器CS2根据相似程度返回相应检索结果。
8.根据权利要求7所述的基于鲁棒汉明编码的跨模态数据检索方法，其特征在于，步骤5.2中，当ωj＜2θ时，则认为两个数据是符合预设的相似度要求的，即二者的汉明距离小于预设阈值θ；当ωj≥2θ或者ωj＝⊥，则认为两个数据不符合检索要求。
CN202311477808.4A 2023-11-07 2023-11-07 基于鲁棒汉明编码的跨模态数据检索方法 Pending CN117520647A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311477808.4A CN117520647A (zh) 2023-11-07 2023-11-07 基于鲁棒汉明编码的跨模态数据检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311477808.4A CN117520647A (zh) 2023-11-07 2023-11-07 基于鲁棒汉明编码的跨模态数据检索方法

Publications (1)

Publication Number Publication Date
CN117520647A true CN117520647A (zh) 2024-02-06

Family

ID=89743185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311477808.4A Pending CN117520647A (zh) 2023-11-07 2023-11-07 基于鲁棒汉明编码的跨模态数据检索方法

Country Status (1)

Country Link
CN (1) CN117520647A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118400196A (zh) * 2024-06-27 2024-07-26 中国人民解放军国防科技大学 短文本对称加密与解密方法、装置、设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118400196A (zh) * 2024-06-27 2024-07-26 中国人民解放军国防科技大学 短文本对称加密与解密方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
CN106815350B (zh) 一种云环境中动态的密文多关键词模糊搜索方法
CN108156140B (zh) 一种支持数值属性比较的多关键字可搜索加密方法
US10554385B2 (en) Method for providing encrypted data in a database and method for searching on encrypted data
Liu et al. Intelligent and secure content-based image retrieval for mobile users
CN114730389B (zh) 用于隐私保护无监督学习的系统和方法
CN109471964B (zh) 一种基于同义词集的模糊多关键词可搜索加密方法
CN109885640B (zh) 一种基于α叉索引树的多关键词密文排序检索方法
CN111026788B (zh) 一种混合云中基于同态加密的多关键词密文排序检索方法
Devaraj et al. An efficient framework for secure image archival and retrieval system using multiple secret share creation scheme
CN110659379B (zh) 一种基于深度卷积网络特征的可搜索加密图像检索方法
CN117520647A (zh) 基于鲁棒汉明编码的跨模态数据检索方法
Persiano et al. Lower bounds for differentially private RAMs
CN108171071B (zh) 一种面向云计算的多关键字可排序密文检索方法
CN106571905A (zh) 一种数值型数据同态保序加密方法
Cheng et al. Person re-identification over encrypted outsourced surveillance videos
CN113111090B (zh) 基于保序加密的多维数据查询方法
CN112332979B (zh) 云计算环境中的密文搜索方法及系统、设备
CN109739945B (zh) 一种基于混合索引的多关键词密文排序检索方法
CN106980796A (zh) 云环境下基于mdb+树的多域连接关键词的搜索方法
CN114531220A (zh) 一种基于前向和后向隐私的高效容错动态短语搜索方法
Namasudra et al. Applications and future trends of DNA computing
CN114003744A (zh) 基于卷积神经网络和向量同态加密的图像检索方法及系统
Feng et al. Evit: Privacy-preserving image retrieval via encrypted vision transformer in cloud computing
CN116522019A (zh) 一种前向安全的时空数据检索方法、系统、设备及介质
Liang et al. Secure and efficient image retrieval over encrypted cloud data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination