CN113312505A - 一种基于离散在线哈希学习的跨模态检索方法及系统 - Google Patents

一种基于离散在线哈希学习的跨模态检索方法及系统 Download PDF

Info

Publication number
CN113312505A
CN113312505A CN202110860448.0A CN202110860448A CN113312505A CN 113312505 A CN113312505 A CN 113312505A CN 202110860448 A CN202110860448 A CN 202110860448A CN 113312505 A CN113312505 A CN 113312505A
Authority
CN
China
Prior art keywords
hash
function
learning
data
data block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110860448.0A
Other languages
English (en)
Other versions
CN113312505B (zh
Inventor
罗昕
詹雨薇
付婷
许信顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202110860448.0A priority Critical patent/CN113312505B/zh
Publication of CN113312505A publication Critical patent/CN113312505A/zh
Application granted granted Critical
Publication of CN113312505B publication Critical patent/CN113312505B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/483—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出了一种基于离散在线哈希学习的跨模态检索方法及系统，包括：获取模拟流数据；基于所述模拟流数据，离散地更新最新轮的第二数据块的哈希编码，保持最新轮之前轮的第一数据块的哈希编码不变，实现从不同的模态中学习统一的哈希码；根据最新轮的第二数据块的哈希码，分别求取每个模态将特征映射到哈希码的投影矩阵，即哈希函数，进行哈希函数学习，更新每个模态的哈希函数来处理学习后的哈希编码；基于更新后的哈希函数计算模拟流数据中样本间的海明距离，根据海明距离来返回与待查询样本距离近的所需的另一个模态的检索样本。本发明从不同的模态中学习统一的哈希码，可以让哈希码融合多种模态的信息。

Description

一种基于离散在线哈希学习的跨模态检索方法及系统
技术领域
本发明属于跨媒体检索领域，尤其涉及一种基于离散在线哈希学习的跨模态检索方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
随着网络上多媒体内容的流行，来自各种搜索引擎和社交媒体的多媒体数据爆炸性增长。一般来说，互联网中用户生成的海量多媒体数据是不断增量生成的，即是以数据流的方式动态出现的。而随着用户对跨模态检索的需求越来越大，传统的跨模态哈希检索方法耗时且计算成本巨大，难以满足要求，因此在线跨模式哈希方法近年来引起了广泛的兴趣。本文基于潜在因素模型，提出了一种新的离散监督跨模态在线哈希方法，即离散在线跨模态哈希（Discrete Latent Factor model-based cross-modal Hashing），简称DOCH。
跨模态检索的目标是通过使用来自一种模态（如文本）的查询，从另一种模态（如图像）中搜索语义上相似的实例。跨模态哈希方法使用通过学习得到的哈希函数将高维多媒体数据转换为低位汉明空间中紧凑的二进制码，同时让二进制码保持数据间的相似信息。通过这种变换，可以达到降维的目的，也可以有效缩减空间消耗，但大多数现有的跨模态哈希方法都是基于批处理的，当新数据到达时，它会对所有积累的数据重新训练哈希函数，越来越大的数据集使得所有的训练数据同时加载到内存中显得不切实际，并使得计算成本不可接受。因此，几种支持对流数据的有效搜索的在线跨模态哈希方法被提出，该方法基于新出现的数据更新哈希函数，同时保持了对过去流数据的二进制码的有效性。
哈希码的学习策略大致可以分为三类：离散策略、基于松弛的策略和辅助变量策略。离散策略尝试直接学习具有二进制约束的哈希码，松弛策略或辅助变量策略主要首先得到松弛连续解，然后将其量化为二进制哈希码。基于松弛的策略和辅助变量策略将哈希码从汉明空间放松到实值空间，以避免复杂的优化，这两种策略可能会导致离散值与实值之间的较大的量化误差，从而导致信息丢失和性能下降。它们保留了新来的数据和之前在潜在空间（实值空间）中积累的数据之间的相似性，与直接在汉明空间中测量相似度的方法相比，这是不够直接和有效的。
发明内容
为克服上述现有技术的不足，本发明提供了一种基于离散在线哈希学习的跨模态检索方法，本发明能够获得更好的性能。
为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
第一方面，公开了一种基于离散在线哈希学习的跨模态检索方法，包括：
获取模拟流数据；
基于所述模拟流数据，离散地更新最新轮的第二数据块的哈希编码，保持最新轮之前轮的第一数据块的哈希编码不变，实现从不同的模态中学习统一的哈希码；
根据最新轮的第二数据块的哈希码，分别求取每个模态将特征映射到哈希码的投影矩阵，即哈希函数，进行哈希函数学习，更新每个模态的哈希函数来处理学习后的哈希编码；
基于更新后的哈希函数计算模拟流数据中样本间的海明距离，根据海明距离来返回与待查询样本距离近的所需的另一个模态的检索样本。
进一步的技术方案，针对到达的最新轮的第二数据块，从该轮之前的第一数据中挑选瞄点，通过保持第二数据块和第一数据块的瞄点的相似性将语义相似性信息嵌入到哈希码中，并且通过标签重构将标签信息嵌入到哈希码中。
进一步的技术方案，从不同的模态中学习统一的哈希码时，根据第二数据块和第一数据块为第二数据块生成哈希码，通过跨模态对称相似性的对数似然函数捕获第一数据块和第二数据块之间的相关性。
进一步的技术方案，从第一数据块中随机选择数据来计算相似性函数即似然函数，基于似然函数获得相关性函数。
进一步的技术方案，第一数据块和第二数据块的哈希码都将分别重建标签，将监督标签信息嵌入到待学习的哈希编码中。
进一步的技术方案，基于相关性函数及重建标签函数获得目标总体函数。
进一步的技术方案，对目标总体函数，利用交替的优化策略来优化目标函数，具体为：在每一步中，固定其他变量来优化某一变量，通过每一步优化一个变量，得到目标函数的值，迭代更新规则将单调地减小目标函数值，经过多次迭代最终达到局部最小值。
进一步的技术方案，哈希函数学习中，对每个模态采用一个简单的线性回归模型作为哈希函数，将训练样本的特征投影到哈希编码，针对每个模态的函数求解。
第二方面，公开了基于监督学习的离散在线跨模态哈希检索系统，包括：
哈希码学习模块，被配置为：获取模拟流数据；
基于所述模拟流数据，离散地更新最新轮的第二数据块的哈希码，保持最新轮之前轮的第一数据块的哈希编码不变，实现从不同的模态中学习统一的哈希码；
哈希函数学习模块，被配置为：根据最新轮的第二数据块的哈希码，分别求取每个模态将特征映射到哈希码的投影矩阵，即哈希函数，进行哈希函数学习，更新每个模态的哈希函数来处理学习后的哈希编码；
检索模块，被配置为：基于更新后的哈希函数计算模拟流数据中样本间的海明距离，根据海明距离来返回与待查询样本距离近的所需的另一个模态的检索样本。
以上一个或多个技术方案存在以下有益效果：
本发明提出的新的离散监督在线跨模态哈希方法，即离散在线跨模态哈希，简称DOCH。为了生成不同模态的均匀高质量哈希码，DOCH不仅直接利用汉明空间中新来数据与现有数据的相似性，还通过标签嵌入来利用细粒度语义信息，使其能够学习更准确的统一哈希码。此外，DOCH可以通过一种有效的优化算法离散地学习哈希码，由于没有量化损失，它可以比基于松弛的方法和辅助变量方法获得更好的性能。在两个真实数据集上进行的大量实验证明了DOCH的优越性。
本发明提出了一种新的监督在线跨模态哈希方法，通过直接在汉明空间中保持新来数据和存在数据的相似性，并将标签信息嵌入哈希码，使其在每轮数据到来时，为新来数据学习更准确统一的哈希码。
本发明使用提取瞄点的思想，在保证性能的同时，充分的降低了算法的时间复杂度。
本发明提出了一种有效的离散在线优化算法，可以在保持二进制约束下离散学习哈希码，避免较大的量化误差。
本发明从不同的模态中学习统一的哈希码，不仅可以让哈希码融合多种模态的信息，而且可以很容易地将该方法扩展到更多模态的情况下。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例方法流程图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
本实施例为处理大规模流数据跨模态检索任务，该发明提出了一种基于监督学习的在线跨模态哈希检索方法。该方法提高了模型的泛化能力，能学习多种模态的哈希函数，并且该方法的计算复杂度与新来数据块的大小线性相关，提高了在大规模跨模态检索中的效率。
在本发明设计的方法中，当一个新的数据块在第
Figure 300723DEST_PATH_IMAGE001
轮出现时，主要对其进行两步操作：（1）对于新到来的数据生成
Figure 335544DEST_PATH_IMAGE003
位的哈希码，并保证现有数据的哈希码不变；（2）更新
Figure 464037DEST_PATH_IMAGE004
模态的哈希函数，以适应新来到的数据和现有数据。下面将按顺序，把方法分成三部分来具体介绍技术内容。
需要说明的是，在本申请的实施例子中，上述新的数据块作为第二数据块，现有数据或者原始数据作为第一数据块。
（1）哈希码学习
步骤（1.1）：对于监督哈希方法，共享至少一个相同类的数据应该具有相似的哈希码。因此本实施例子中，根据新到来的数据和已有数据为新的数据块生成哈希码，通过跨模态对称相似性的对数似然函数捕获新数据和已有数据之间的相关性，这被定义为：
Figure 642340DEST_PATH_IMAGE005
Figure 907099DEST_PATH_IMAGE006
其中
Figure 643980DEST_PATH_IMAGE007
表示在第
Figure 259769DEST_PATH_IMAGE001
轮到达的新的数据块的样本数量，
Figure 225451DEST_PATH_IMAGE008
表示前t-1轮到达样本的总个数。
Figure 361028DEST_PATH_IMAGE009
，
Figure 19543DEST_PATH_IMAGE010
是新来数据的哈希码，
Figure 122628DEST_PATH_IMAGE011
是已有数据的哈希码。
Figure 141268DEST_PATH_IMAGE012
表示第i个新样本和第j个已有样本间的相似性，如果两个样本相似，则
Figure 115040DEST_PATH_IMAGE013
，否则
Figure 960768DEST_PATH_IMAGE014
。
S的似然函数如下：
Figure 551149DEST_PATH_IMAGE015
其中
Figure 858634DEST_PATH_IMAGE016
可以由此得到当最大化相似性函数时，如果样本
Figure 467339DEST_PATH_IMAGE017
和样本
Figure 467656DEST_PATH_IMAGE018
分享至少一个相同的标签，
Figure 279754DEST_PATH_IMAGE019
和
Figure 141662DEST_PATH_IMAGE020
的相似性越大。此时如果所有的数据都用来训练，
Figure 355605DEST_PATH_IMAGE021
的时间复杂度和空间复杂度都为
Figure 41670DEST_PATH_IMAGE022
这使得模型难以处理大规模数据集。因此，本实施例子中选择从现有的数据中随机选择一些数据来计算相似性函数
Figure 75486DEST_PATH_IMAGE021
，当进行第
Figure 724773DEST_PATH_IMAGE023
轮循环时，
Figure 543955DEST_PATH_IMAGE024
时为了取前几轮的平均贡献，从每轮中随机选择
Figure 886075DEST_PATH_IMAGE025
个样本作为训练数据，其哈希码为
Figure 922033DEST_PATH_IMAGE026
。当
Figure 375011DEST_PATH_IMAGE027
时由于没有已有数据，此时从当前轮中选择z样本作为训练数据。将
Figure 563547DEST_PATH_IMAGE026
代替
Figure 827300DEST_PATH_IMAGE028
，相关性函数如下：
Figure 101287DEST_PATH_IMAGE029
Figure 607223DEST_PATH_IMAGE030
其中
Figure 384686DEST_PATH_IMAGE031
，
Figure 68609DEST_PATH_IMAGE032
是第
Figure 315044DEST_PATH_IMAGE033
轮所选取的训练数据的数量。为了使本实施例子所使用的方法对于训练大规模数据具有鲁棒性，因此让
Figure 640984DEST_PATH_IMAGE034
。
Figure 538532DEST_PATH_IMAGE035
的复杂性从
Figure 642624DEST_PATH_IMAGE036
降低到
Figure 891202DEST_PATH_IMAGE037
。
在本公开实施例子中，首先定义新数据和已有数据的相关性，如果两个被评测样本共享至少一个相同类标签，则它们被定义为是相似的，反之为不相似。然后通过跨模态相似性的对数似然函数来捕获新数据和已有数据间的相似性从而生成新数据的哈希码。
步骤（1.2）：如前所述，如果这两个样本共享公共的类标签，那么它们是相似的。因此本实施例子将数据集中监督标签信息嵌入到待学习的哈希编码中，以便二进制编码很容易被分类。从另一个角度来看，在第
Figure 974827DEST_PATH_IMAGE033
轮，新来数据和已有数据的哈希码都将分别重建标签，表述如下：
Figure 726882DEST_PATH_IMAGE038
Figure 18186DEST_PATH_IMAGE039
Figure 737750DEST_PATH_IMAGE040
是一个预测矩阵，
Figure 874333DEST_PATH_IMAGE041
为标签矩阵。
Figure 231627DEST_PATH_IMAGE042
是第
Figure 959412DEST_PATH_IMAGE033
轮新来数据的标签矩阵，
Figure 385845DEST_PATH_IMAGE043
是第
Figure 840966DEST_PATH_IMAGE033
轮已有数据的标签矩阵。此处的标签矩阵是数据集中自带的，无需其他操作。
步骤（1.3）：由前两步可以得到该专利设计的目标总体函数如下：
Figure 741182DEST_PATH_IMAGE044
Figure 577551DEST_PATH_IMAGE045
Figure 271707DEST_PATH_IMAGE046
其中，
Figure 750093DEST_PATH_IMAGE047
是权值参数，
Figure 652337DEST_PATH_IMAGE048
是
Figure 456345DEST_PATH_IMAGE033
第轮所选取的训练数据的数量，
Figure 372217DEST_PATH_IMAGE049
，
Figure 919873DEST_PATH_IMAGE042
是新来数据块的标签矩阵，
Figure 621113DEST_PATH_IMAGE043
是已有数据的标签矩阵。
（2）目标函数优化
步骤（2.1）：基于松弛的策略和辅助变量策略的优化方法可能会导致较大的量化误差，从而导致信息丢失和性能下降。因此，为了优化目标函数，该专利设计了一个交替的优化策略。在每一步中，固定其他变量来优化某一变量，通过每一步优化一个变量，可以得到目标函数的值。迭代更新规则将单调地减小目标函数值，经过多次迭代最终达到局部最小值。更新变量
Figure 81176DEST_PATH_IMAGE050
时，固定其他的变量，因此目标函数可重写为：
Figure 500656DEST_PATH_IMAGE051
Figure 570112DEST_PATH_IMAGE052
为了减小时间复杂度，逐位优化
Figure 125858DEST_PATH_IMAGE050
，每次更新
Figure 271669DEST_PATH_IMAGE050
的一列并保证其他列不变，对第
Figure 398019DEST_PATH_IMAGE053
列，能通过优化
Figure 287477DEST_PATH_IMAGE054
的下界得到一个封闭解。首先建造
Figure 681418DEST_PATH_IMAGE054
下界如下：
Figure 732551DEST_PATH_IMAGE055
其中
Figure 861044DEST_PATH_IMAGE056
是第
Figure 39347DEST_PATH_IMAGE057
次循环时
Figure 569685DEST_PATH_IMAGE058
的值，
Figure 306566DEST_PATH_IMAGE059
是
Figure 656776DEST_PATH_IMAGE056
的相对梯度。对目标函数关于
Figure 888037DEST_PATH_IMAGE058
求导结果如下：
Figure 758035DEST_PATH_IMAGE060
Figure 416550DEST_PATH_IMAGE061
其中
Figure 768902DEST_PATH_IMAGE062
是第
Figure 538275DEST_PATH_IMAGE033
轮所选取的训练数据的数量，
Figure 777627DEST_PATH_IMAGE063
，
Figure 357775DEST_PATH_IMAGE064
，
Figure 682577DEST_PATH_IMAGE065
，
Figure 239329DEST_PATH_IMAGE066
是一个对角矩阵，其中第
Figure 864345DEST_PATH_IMAGE017
个对角元素是
Figure 864663DEST_PATH_IMAGE067
，
Figure 427493DEST_PATH_IMAGE068
是一个恒等矩阵。
由
Figure 538669DEST_PATH_IMAGE069
，能得到
Figure 752612DEST_PATH_IMAGE070
，因此我们能得到
Figure 173098DEST_PATH_IMAGE071
的下界，将它定义为
Figure 206913DEST_PATH_IMAGE072
,此时
Figure 872512DEST_PATH_IMAGE073
，将
Figure 940962DEST_PATH_IMAGE072
放入目标函数为：
Figure 283082DEST_PATH_IMAGE074
此时能通过最大化
Figure 53461DEST_PATH_IMAGE075
的下界来学习第
Figure 772018DEST_PATH_IMAGE076
列的
Figure 180128DEST_PATH_IMAGE058
，问题可定义为：
Figure 693149DEST_PATH_IMAGE077
因为
Figure 967135DEST_PATH_IMAGE078
，为了最大化
Figure 473072DEST_PATH_IMAGE079
，如果
Figure 516114DEST_PATH_IMAGE080
大于0，此时设置
Figure 419610DEST_PATH_IMAGE081
，反之设置
Figure 915314DEST_PATH_IMAGE082
。因此，得到了
Figure 693783DEST_PATH_IMAGE058
的封闭解如下：
Figure 122490DEST_PATH_IMAGE083
步骤（2.2）：更新变量
Figure 462467DEST_PATH_IMAGE084
，固定除
Figure 179887DEST_PATH_IMAGE084
外的其他变量，目标函数可重写为
Figure 778359DEST_PATH_IMAGE085
将公式对
Figure 45261DEST_PATH_IMAGE084
的导数设为零，可以将它更新为：
Figure 805406DEST_PATH_IMAGE086
其中，
Figure 292014DEST_PATH_IMAGE087
经过如下代数变换：
Figure 694176DEST_PATH_IMAGE088
从而得到
Figure 566317DEST_PATH_IMAGE089
，
Figure 12211DEST_PATH_IMAGE090
为：
Figure 704223DEST_PATH_IMAGE091
（3）哈希函数学习
在本实施例子中，对每个模态采用一个简单的线性回归模型作为哈希函数，将训练样本的特征投影到哈希编码。第𝑚个模态的函数被定义如下：
Figure 395230DEST_PATH_IMAGE092
Figure 121878DEST_PATH_IMAGE093
为要学习的哈希函数的投影矩阵，将公式对
Figure 754984DEST_PATH_IMAGE093
的导数设为零，可得到它的解为：
Figure 449140DEST_PATH_IMAGE094
其中，
Figure 193105DEST_PATH_IMAGE095
在第
Figure 774259DEST_PATH_IMAGE096
轮，第
Figure 328999DEST_PATH_IMAGE097
模态的新数据
Figure 995604DEST_PATH_IMAGE098
的哈希函数为：
Figure 792527DEST_PATH_IMAGE099
参见附图1所示，更为具体的实施例子中，为了实现一种基于离散在线哈希学习的跨模态检索方法，包括以下步骤：
第一步，获取数据集，并将其分为训练集和测试集。为了适应在线检索任务，训练集被分为T轮数据的形式，用于模拟流数据的到来。
第二步，当第
Figure 228188DEST_PATH_IMAGE100
轮新数据到来时，先从前
Figure 203097DEST_PATH_IMAGE101
轮数据中挑选瞄点来降低时间复杂度和空间复杂度。通过保持新来数据和已有数据的瞄点的相似性将语义相似性信息嵌入到哈希码中，并且通过标签重构将标签信息嵌入到哈希码中。此步保持已有数据的哈希编码不变，只更新新来数据的哈希码。
第三步，通过一个交替的优化策略，离散地更新第
Figure 107730DEST_PATH_IMAGE100
轮训练样本的哈希码。
第四步，根据第
Figure 193498DEST_PATH_IMAGE100
轮数据的哈希码，分别求取每个模态将特征映射到哈希码的投影矩阵，即哈希函数。
第五步，
Figure 749244DEST_PATH_IMAGE102
轮的数据到来，重复2-4步，直至所有训练数据都参与训练。
第六步，计算样本间的海明距离，根据海明距离来返回与待查询样本距离近的前
Figure 144323DEST_PATH_IMAGE103
个另一个模态的检索样本。
在该步骤中，具体的，使用第四步中得到的哈希函数来求得待查询样本和检索样本的哈希码。计算样本的哈希码间的海明距离，根据海明距离返回与待查询样本距离近的前
Figure 519940DEST_PATH_IMAGE103
个另一模态的样本。
在该实施例子中，哈希码学习：通过保持新来数据和已有数据间的相似性来学习新来数据的哈希码，详情见第2步；
函数优化：使用交替的优化策略，每步通过解决一个最小化问题来更新变量，最终离散地更新第
Figure 425710DEST_PATH_IMAGE100
轮样本地哈希码；
函数学习：根据学到的第
Figure 570384DEST_PATH_IMAGE100
轮数据的哈希码使用简单的线性回归函数来求解哈希函数，见第4步。
实施例二
本实施例的目的是提供一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。
实施例三
本实施例的目的是提供基于监督学习的离散在线跨模态哈希检索系统，包括：
哈希码学习模块，被配置为：获取模拟流数据；
基于所述模拟流数据，离散地更新最新轮的第二数据块的哈希码，保持最新轮之前轮的第一数据块的哈希编码不变，实现从不同的模态中学习统一的哈希码；
哈希函数学习模块，被配置为：根据最新轮的第二数据块的哈希码，分别求取每个模态将特征映射到哈希码的投影矩阵，即哈希函数，进行哈希函数学习，更新每个模态的哈希函数来处理学习后的哈希编码；
检索模块，被配置为：基于更新后的哈希函数计算模拟流数据中样本间的海明距离，根据海明距离来返回与待查询样本距离近的所需的另一个模态的检索样本。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.一种基于离散在线哈希学习的跨模态检索方法，其特征是，包括：
获取模拟流数据；
基于所述模拟流数据，离散地更新最新轮的第二数据块的哈希编码，保持最新轮之前轮的第一数据块的哈希编码不变，实现从不同的模态中学习统一的哈希码；
根据最新轮的第二数据块的哈希码，分别求取每个模态将特征映射到哈希码的投影矩阵，即哈希函数，进行哈希函数学习，更新每个模态的哈希函数来处理学习后的哈希编码；
基于更新后的哈希函数计算模拟流数据中样本间的海明距离，根据海明距离来返回与待查询样本距离近的所需的另一个模态的检索样本。
2.如权利要求1所述的一种基于离散在线哈希学习的跨模态检索方法，其特征是，针对到达的最新轮的第二数据块，从该轮之前的第一数据中挑选瞄点，通过保持第二数据块和第一数据块的瞄点的相似性将语义相似性信息嵌入到哈希码中，并且通过标签重构将标签信息嵌入到哈希码中。
3.如权利要求1所述的一种基于离散在线哈希学习的跨模态检索方法，其特征是，从不同的模态中学习统一的哈希码时，根据第二数据块和第一数据块为第二数据块生成哈希码，通过跨模态对称相似性的对数似然函数捕获第一数据块和第二数据块之间的相关性。
4.如权利要求1所述的一种基于离散在线哈希学习的跨模态检索方法，其特征是，从第一数据块中随机选择数据来计算相似性函数即似然函数，基于似然函数获得相关性函数。
5.如权利要求1所述的一种基于离散在线哈希学习的跨模态检索方法，其特征是，第一数据块和第二数据块的哈希码都将分别重建标签，将监督标签信息嵌入到待学习的哈希编码中。
6.如权利要求5所述的一种基于离散在线哈希学习的跨模态检索方法，其特征是，基于相关性函数及重建标签函数获得目标总体函数；
对目标总体函数，利用交替的优化策略来优化目标函数，具体为：在每一步中，固定其他变量来优化某一变量，通过每一步优化一个变量，得到目标函数的值，迭代更新规则将单调地减小目标函数值，经过多次迭代最终达到局部最小值。
7.如权利要求1所述的一种基于离散在线哈希学习的跨模态检索方法，其特征是，哈希函数学习中，对每个模态采用一个简单的线性回归模型作为哈希函数，将训练样本的特征投影到哈希编码，针对每个模态的函数求解。
8.基于监督学习的离散在线跨模态哈希检索系统，其特征是，包括：
哈希码学习模块，被配置为：获取模拟流数据；
基于所述模拟流数据，离散地更新最新轮的第二数据块的哈希码，保持最新轮之前轮的第一数据块的哈希编码不变，实现从不同的模态中学习统一的哈希码；
哈希函数学习模块，被配置为：根据最新轮的第二数据块的哈希码，分别求取每个模态将特征映射到哈希码的投影矩阵，即哈希函数，进行哈希函数学习，更新每个模态的哈希函数来处理学习后的哈希编码；
检索模块，被配置为：基于更新后的哈希函数计算模拟流数据中样本间的海明距离，根据海明距离来返回与待查询样本距离近的所需的另一个模态的检索样本。
9.一种计算装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现上述权利要求1-7任一所述的方法的步骤。
CN202110860448.0A 2021-07-29 2021-07-29 一种基于离散在线哈希学习的跨模态检索方法及系统 Active CN113312505B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110860448.0A CN113312505B (zh) 2021-07-29 2021-07-29 一种基于离散在线哈希学习的跨模态检索方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110860448.0A CN113312505B (zh) 2021-07-29 2021-07-29 一种基于离散在线哈希学习的跨模态检索方法及系统

Publications (2)

Publication Number Publication Date
CN113312505A true CN113312505A (zh) 2021-08-27
CN113312505B CN113312505B (zh) 2021-11-02

Family

ID=77381969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110860448.0A Active CN113312505B (zh) 2021-07-29 2021-07-29 一种基于离散在线哈希学习的跨模态检索方法及系统

Country Status (1)

Country Link
CN (1) CN113312505B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113868366A (zh) * 2021-12-06 2021-12-31 山东大学 一种面向流数据的在线跨模态检索方法与系统
CN114117153A (zh) * 2022-01-25 2022-03-01 山东建筑大学 一种基于相似度重学习的在线跨模态检索方法及系统
CN114186084A (zh) * 2021-12-14 2022-03-15 山东大学 在线多模态哈希检索方法、系统、存储介质及设备
CN115081627A (zh) * 2022-07-27 2022-09-20 中南大学 一种基于生成式网络的跨模态数据哈希检索攻击方法
CN116089731A (zh) * 2023-04-10 2023-05-09 山东大学 一种缓解灾难性遗忘的在线哈希检索方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103425757A (zh) * 2013-07-31 2013-12-04 复旦大学 融合多模态信息的跨媒体人物新闻检索方法与系统
CN108595688A (zh) * 2018-05-08 2018-09-28 鲁东大学 基于在线学习的潜在语义跨媒体哈希检索方法
CN109446347A (zh) * 2018-10-29 2019-03-08 山东师范大学 一种有监督的快速离散多模态哈希检索方法和系统
CN110674323A (zh) * 2019-09-02 2020-01-10 山东师范大学 基于虚拟标签回归的无监督跨模态哈希检索方法及系统
CN111639197A (zh) * 2020-05-28 2020-09-08 山东大学 标签嵌入在线哈希的跨模态多媒体数据检索方法及系统
CN112925962A (zh) * 2021-01-20 2021-06-08 同济大学 基于哈希编码的跨模态数据检索方法、系统、设备及介质
US20210191990A1 (en) * 2019-12-20 2021-06-24 Rakuten, Inc. Efficient cross-modal retrieval via deep binary hashing and quantization

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103425757A (zh) * 2013-07-31 2013-12-04 复旦大学 融合多模态信息的跨媒体人物新闻检索方法与系统
CN108595688A (zh) * 2018-05-08 2018-09-28 鲁东大学 基于在线学习的潜在语义跨媒体哈希检索方法
CN109446347A (zh) * 2018-10-29 2019-03-08 山东师范大学 一种有监督的快速离散多模态哈希检索方法和系统
CN110674323A (zh) * 2019-09-02 2020-01-10 山东师范大学 基于虚拟标签回归的无监督跨模态哈希检索方法及系统
US20210191990A1 (en) * 2019-12-20 2021-06-24 Rakuten, Inc. Efficient cross-modal retrieval via deep binary hashing and quantization
CN111639197A (zh) * 2020-05-28 2020-09-08 山东大学 标签嵌入在线哈希的跨模态多媒体数据检索方法及系统
CN112925962A (zh) * 2021-01-20 2021-06-08 同济大学 基于哈希编码的跨模态数据检索方法、系统、设备及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JUN TANG等: "Supervised Matrix Factorization Hashing for Cross-Modal Retrieval", 《IEEE》 *
吴吉祥等: "基于多模态注意力机制的跨模态哈希网络", 《计算机工程与应用》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113868366A (zh) * 2021-12-06 2021-12-31 山东大学 一种面向流数据的在线跨模态检索方法与系统
CN113868366B (zh) * 2021-12-06 2022-04-01 山东大学 一种面向流数据的在线跨模态检索方法与系统
CN114186084A (zh) * 2021-12-14 2022-03-15 山东大学 在线多模态哈希检索方法、系统、存储介质及设备
CN114186084B (zh) * 2021-12-14 2022-08-26 山东大学 在线多模态哈希检索方法、系统、存储介质及设备
CN114117153A (zh) * 2022-01-25 2022-03-01 山东建筑大学 一种基于相似度重学习的在线跨模态检索方法及系统
CN115081627A (zh) * 2022-07-27 2022-09-20 中南大学 一种基于生成式网络的跨模态数据哈希检索攻击方法
CN115081627B (zh) * 2022-07-27 2022-11-25 中南大学 一种基于生成式网络的跨模态数据哈希检索攻击方法
CN116089731A (zh) * 2023-04-10 2023-05-09 山东大学 一种缓解灾难性遗忘的在线哈希检索方法及系统

Also Published As

Publication number Publication date
CN113312505B (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
CN113312505B (zh) 一种基于离散在线哈希学习的跨模态检索方法及系统
US11651286B2 (en) Method and system for distributed machine learning
JP7360497B2 (ja) クロスモーダルな特徴の抽出方法、抽出装置、ならびに、プログラム
CN112132179A (zh) 基于少量标注样本的增量学习方法及系统
CN111105029B (zh) 神经网络的生成方法、生成装置和电子设备
CN114117153B (zh) 一种基于相似度重学习的在线跨模态检索方法及系统
CN113326287B (zh) 一种使用三步策略的在线跨模态检索方法及系统
CN114329109B (zh) 基于弱监督哈希学习的多模态检索方法及系统
CN114186084B (zh) 在线多模态哈希检索方法、系统、存储介质及设备
CN110990596B (zh) 一种基于自适应量化多模态哈希检索方法及系统
CN114974397A (zh) 蛋白质结构预测模型的训练方法和蛋白质结构预测方法
CN111090765B (zh) 一种基于缺失多模态哈希的社交图像检索方法及系统
CN115795065A (zh) 基于带权哈希码的多媒体数据跨模态检索方法及系统
CN115577144A (zh) 一种基于在线多哈希码联合学习的跨模态检索方法
CN116112563A (zh) 一种基于流行度预测的双策略自适应缓存替换方法
CN115618096A (zh) 内积检索方法和电子设备
Chen et al. Multiple-instance ranking based deep hashing for multi-label image retrieval
CN117349494A (zh) 空间图卷积神经网络的图分类方法、系统、介质及设备
Du et al. Structure tuning method on deep convolutional generative adversarial network with nondominated sorting genetic algorithm II
CN110659375A (zh) 哈希模型训练方法、相似对象检索方法及装置
CN116541592A (zh) 向量生成方法、信息推荐方法、装置、设备及介质
CN116208399A (zh) 一种基于元图的网络恶意行为检测方法及设备
Huang et al. Binary multidimensional scaling for hashing
Wu et al. A General Rank Preserving Framework for Asymmetric Image Retrieval
Zhu et al. Boosted cross-domain dictionary learning for visual categorization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant