CN113312505B - 一种基于离散在线哈希学习的跨模态检索方法及系统 - Google Patents
一种基于离散在线哈希学习的跨模态检索方法及系统 Download PDFInfo
- Publication number
- CN113312505B CN113312505B CN202110860448.0A CN202110860448A CN113312505B CN 113312505 B CN113312505 B CN 113312505B CN 202110860448 A CN202110860448 A CN 202110860448A CN 113312505 B CN113312505 B CN 113312505B
- Authority
- CN
- China
- Prior art keywords
- hash
- function
- data
- data block
- hash code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000006870 function Effects 0.000 claims abstract description 93
- 239000011159 matrix material Substances 0.000 claims abstract description 26
- 238000004088 simulation Methods 0.000 claims abstract description 12
- 238000013507 mapping Methods 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 20
- 238000005457 optimization Methods 0.000 claims description 12
- 238000005314 correlation function Methods 0.000 claims description 9
- 238000012417 linear regression Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000013139 quantization Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/483—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出了一种基于离散在线哈希学习的跨模态检索方法及系统，包括：获取模拟流数据；基于所述模拟流数据，离散地更新最新轮的第二数据块的哈希编码，保持最新轮之前轮的第一数据块的哈希编码不变，实现从不同的模态中学习统一的哈希码；根据最新轮的第二数据块的哈希码，分别求取每个模态将特征映射到哈希码的投影矩阵，即哈希函数，进行哈希函数学习，更新每个模态的哈希函数来处理学习后的哈希编码；基于更新后的哈希函数计算模拟流数据中样本间的海明距离，根据海明距离来返回与待查询样本距离近的所需的另一个模态的检索样本。本发明从不同的模态中学习统一的哈希码，可以让哈希码融合多种模态的信息。
Description
技术领域
本发明属于跨媒体检索领域，尤其涉及一种基于离散在线哈希学习的跨模态检索方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
随着网络上多媒体内容的流行，来自各种搜索引擎和社交媒体的多媒体数据爆炸性增长。一般来说，互联网中用户生成的海量多媒体数据是不断增量生成的，即是以数据流的方式动态出现的。而随着用户对跨模态检索的需求越来越大，传统的跨模态哈希检索方法耗时且计算成本巨大，难以满足要求，因此在线跨模式哈希方法近年来引起了广泛的兴趣。本文基于潜在因素模型，提出了一种新的离散监督跨模态在线哈希方法，即离散在线跨模态哈希(Discrete Latent Factor model-based cross-modal Hashing)，简称DOCH。
跨模态检索的目标是通过使用来自一种模态(如文本)的查询，从另一种模态(如图像)中搜索语义上相似的实例。跨模态哈希方法使用通过学习得到的哈希函数将高维多媒体数据转换为低位汉明空间中紧凑的二进制码，同时让二进制码保持数据间的相似信息。通过这种变换，可以达到降维的目的，也可以有效缩减空间消耗，但大多数现有的跨模态哈希方法都是基于批处理的，当新数据到达时，它会对所有积累的数据重新训练哈希函数，越来越大的数据集使得所有的训练数据同时加载到内存中显得不切实际，并使得计算成本不可接受。因此，几种支持对流数据的有效搜索的在线跨模态哈希方法被提出，该方法基于新出现的数据更新哈希函数，同时保持了对过去流数据的二进制码的有效性。
哈希码的学习策略大致可以分为三类：离散策略、基于松弛的策略和辅助变量策略。离散策略尝试直接学习具有二进制约束的哈希码，松弛策略或辅助变量策略主要首先得到松弛连续解，然后将其量化为二进制哈希码。基于松弛的策略和辅助变量策略将哈希码从汉明空间放松到实值空间，以避免复杂的优化，这两种策略可能会导致离散值与实值之间的较大的量化误差，从而导致信息丢失和性能下降。它们保留了新来的数据和之前在潜在空间(实值空间)中积累的数据之间的相似性，与直接在汉明空间中测量相似度的方法相比，这是不够直接和有效的。
发明内容
为克服上述现有技术的不足，本发明提供了一种基于离散在线哈希学习的跨模态检索方法，本发明能够获得更好的性能。
为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
第一方面，公开了一种基于离散在线哈希学习的跨模态检索方法，包括：
获取模拟流数据；
基于所述模拟流数据，离散地更新最新轮的第二数据块的哈希编码，保持最新轮之前轮的第一数据块的哈希编码不变，实现从不同的模态中学习统一的哈希码；
根据最新轮的第二数据块的哈希码，分别求取每个模态将特征映射到哈希码的投影矩阵，即哈希函数，进行哈希函数学习，更新每个模态的哈希函数来处理学习后的哈希编码；
基于更新后的哈希函数计算模拟流数据中样本间的海明距离，根据海明距离来返回与待查询样本距离近的所需的另一个模态的检索样本。
进一步的技术方案，针对到达的最新轮的第二数据块，从该轮之前的第一数据中挑选锚点，通过保持第二数据块和第一数据块的锚点的相似性将语义相似性信息嵌入到哈希码中，并且通过标签重构将标签信息嵌入到哈希码中。
进一步的技术方案，从不同的模态中学习统一的哈希码时，根据第二数据块和第一数据块为第二数据块生成哈希码，通过跨模态对称相似性的对数似然函数捕获第一数据块和第二数据块之间的相关性。
进一步的技术方案，从第一数据块中随机选择数据来计算相似性函数即似然函数，基于似然函数获得相关性函数。
进一步的技术方案，第一数据块和第二数据块的哈希码都将分别重建标签，将监督标签信息嵌入到待学习的哈希编码中。
进一步的技术方案，基于相关性函数及重建标签函数获得目标总体函数。
进一步的技术方案，对目标总体函数，利用交替的优化策略来优化目标函数，具体为：在每一步中，固定其他变量来优化某一变量，通过每一步优化一个变量，得到目标函数的值，迭代更新规则将单调地减小目标函数值，经过多次迭代最终达到局部最小值。
进一步的技术方案，哈希函数学习中，对每个模态采用一个简单的线性回归模型作为哈希函数，将训练样本的特征投影到哈希编码，针对每个模态的函数求解。
第二方面，公开了基于监督学习的离散在线跨模态哈希检索系统，包括：
哈希码学习模块，被配置为：获取模拟流数据；
基于所述模拟流数据，离散地更新最新轮的第二数据块的哈希码，保持最新轮之前轮的第一数据块的哈希编码不变，实现从不同的模态中学习统一的哈希码；
哈希函数学习模块，被配置为：根据最新轮的第二数据块的哈希码，分别求取每个模态将特征映射到哈希码的投影矩阵，即哈希函数，进行哈希函数学习，更新每个模态的哈希函数来处理学习后的哈希编码；
检索模块，被配置为：基于更新后的哈希函数计算模拟流数据中样本间的海明距离，根据海明距离来返回与待查询样本距离近的所需的另一个模态的检索样本。
以上一个或多个技术方案存在以下有益效果：
本发明提出的新的离散监督在线跨模态哈希方法，即离散在线跨模态哈希，简称DOCH。为了生成不同模态的均匀高质量哈希码，DOCH不仅直接利用汉明空间中新来数据与现有数据的相似性，还通过标签嵌入来利用细粒度语义信息，使其能够学习更准确的统一哈希码。此外，DOCH可以通过一种有效的优化算法离散地学习哈希码，由于没有量化损失，它可以比基于松弛的方法和辅助变量方法获得更好的性能。在两个真实数据集上进行的大量实验证明了DOCH的优越性。
本发明提出了一种新的监督在线跨模态哈希方法，通过直接在汉明空间中保持新来数据和存在数据的相似性，并将标签信息嵌入哈希码，使其在每轮数据到来时，为新来数据学习更准确统一的哈希码。
本发明使用提取锚点的思想，在保证性能的同时，充分的降低了算法的时间复杂度。
本发明提出了一种有效的离散在线优化算法，可以在保持二进制约束下离散学习哈希码，避免较大的量化误差。
本发明从不同的模态中学习统一的哈希码，不仅可以让哈希码融合多种模态的信息，而且可以很容易地将该方法扩展到更多模态的情况下。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例方法流程图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
本实施例为处理大规模流数据跨模态检索任务，该发明提出了一种基于监督学习的在线跨模态哈希检索方法。该方法提高了模型的泛化能力，能学习多种模态的哈希函数，并且该方法的计算复杂度与新来数据块的大小线性相关，提高了在大规模跨模态检索中的效率。
在本发明设计的方法中，当一个新的数据块在第t轮出现时，主要对其进行两步操作：(1)对于新到来的数据生成r位的哈希码，并保证现有数据的哈希码不变；(2)更新M模态的哈希函数，以适应新来到的数据和现有数据。下面将按顺序，把方法分成三部分来具体介绍技术内容。
需要说明的是，在本申请的实施例子中，上述新的数据块作为第二数据块，现有数据或者原始数据作为第一数据块。
(1)哈希码学习
步骤(1.1)：对于监督哈希方法，共享至少一个相同类的数据应该具有相似的哈希码。因此本实施例子中，根据新到来的数据和已有数据为新的数据块生成哈希码，通过跨模态对称相似性的对数似然函数捕获新数据和已有数据之间的相关性，这被定义为：
其中nt表示在第t轮到达的新的数据块的样本数量，Nt-1表示前t-1轮到达样本的总个数。
是新来数据的哈希码，
是已有数据的哈希码。
Sij表示第i个新样本和第j个已有样本间的相似性，如果两个样本相似，则Sij＝1，否则Sij＝0。
S的似然函数如下：
其中
可以由此得到当最大化相似性函数时，如果样本i和样本j分享至少一个相同的标签，
和
的相似性越大。此时如果所有的数据都用来训练，S的时间复杂度和空间复杂度都为O(ntNt-1)这使得模型难以处理大规模数据集。因此，本实施例子中选择从现有的数据中随机选择一些数据来计算相似性函数S，当进行第t轮循环时，t≥2时为了取前几轮的平均贡献，从每轮中随机选择z个样本作为训练数据，其哈希码为A(t)。当t＝1时由于没有已有数据，此时从当前轮中选择z样本作为训练数据。将A(t)代替
相关性函数如下：
其中
at是第t轮所选取的训练数据的数量。为了使本实施例子所使用的方法对于训练大规模数据具有鲁棒性，因此让z＜＜nt。S的复杂性从O(ntNt-1)降低到O(ntat)。
在本公开实施例子中，首先定义新数据和已有数据的相关性，如果两个被评测样本共享至少一个相同类标签，则它们被定义为是相似的，反之为不相似。然后通过跨模态相似性的对数似然函数来捕获新数据和已有数据间的相似性从而生成新数据的哈希码。
步骤(1.2)：如前所述，如果这两个样本共享公共的类标签，那么它们是相似的。因此本实施例子将数据集中监督标签信息嵌入到待学习的哈希编码中，以便二进制编码很容易被分类。从另一个角度来看，在第t轮，新来数据和已有数据的哈希码都将分别重建标签，表述如下：
P(t)是一个预测矩阵，L(t)为标签矩阵。
是第t轮新来数据的标签矩阵，
是第t轮已有数据的标签矩阵。此处的标签矩阵是数据集中自带的，无需其他操作。
步骤(1.3)：由前两步可以得到该专利设计的目标总体函数如下：
其中，θ是权值参数，at是t第轮所选取的训练数据的数量，
是新来数据块的标签矩阵，
是已有数据的标签矩阵。
(2)目标函数优化
步骤(2.1)：基于松弛的策略和辅助变量策略的优化方法可能会导致较大的量化误差，从而导致信息丢失和性能下降。因此，为了优化目标函数，该专利设计了一个交替的优化策略。在每一步中，固定其他变量来优化某一变量，通过每一步优化一个变量，可以得到目标函数的值。迭代更新规则将单调地减小目标函数值，经过多次迭代最终达到局部最小值。更新变量
时，固定其他的变量，因此目标函数可重写为：
为了减小时间复杂度，逐位优化
每次更新
的一列并保证其他列不变，对第k列，能通过优化
的下界得到一个封闭解。首先建造
下界如下：
其中
是第g次循环时
的值，
是
的相对梯度。对目标函数关于
求导结果如下：
其中αt是第t轮所选取的训练数据的数量，D＝P(t)P(t)T，
是一个对角矩阵，其中第i个对角元素是ei，I是一个恒等矩阵。
由0＜Eij＜1，能得到
因此我们能得到H的下界，将它定义为
此时
将
放入目标函数为：
此时能通过最大化
的下界来学习第k列的
问题可定义为：
因为
为了最大化
如果
步骤(2.2)：更新变量P(t)，固定除P(t)外的其他变量，目标函数可重写为
将公式对P(t)的导数设为零，可以将它更新为：
其中，
经过如下代数变换：
从而得到
为：
(3)哈希函数学习
在本实施例子中，对每个模态采用一个简单的线性回归模型作为哈希函数，将训练样本的特征投影到哈希编码。第m个模态的函数被定义如下：
其中，
在第t轮，第m模态的新数据Xm的哈希函数为：
参见附图1所示，更为具体的实施例子中，为了实现一种基于离散在线哈希学习的跨模态检索方法，包括以下步骤：
第一步，获取数据集，并将其分为训练集和测试集。为了适应在线检索任务，训练集被分为T轮数据的形式，用于模拟流数据的到来。
第二步，当第t轮新数据到来时，先从前t-1轮数据中挑选锚点来降低时间复杂度和空间复杂度。通过保持新来数据和已有数据的锚点的相似性将语义相似性信息嵌入到哈希码中，并且通过标签重构将标签信息嵌入到哈希码中。此步保持已有数据的哈希编码不变，只更新新来数据的哈希码。
第三步，通过一个交替的优化策略，离散地更新第t轮训练样本的哈希码。
第四步，根据第t轮数据的哈希码，分别求取每个模态将特征映射到哈希码的投影矩阵，即哈希函数。
第五步，t+1轮的数据到来，重复2-4步，直至所有训练数据都参与训练。
第六步，计算样本间的海明距离，根据海明距离来返回与待查询样本距离近的前k个另一个模态的检索样本。
在该步骤中，具体的，使用第四步中得到的哈希函数来求得待查询样本和检索样本的哈希码。计算样本的哈希码间的海明距离，根据海明距离返回与待查询样本距离近的前k个另一模态的样本。
在该实施例子中，哈希码学习：通过保持新来数据和已有数据间的相似性来学习新来数据的哈希码，详情见第2步；
函数优化：使用交替的优化策略，每步通过解决一个最小化问题来更新变量，最终离散地更新第t轮样本地哈希码；
函数学习：根据学到的第t轮数据的哈希码使用简单的线性回归函数来求解哈希函数，见第4步。
实施例二
本实施例的目的是提供一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。
实施例三
本实施例的目的是提供基于监督学习的离散在线跨模态哈希检索系统，包括：
哈希码学习模块，被配置为：获取模拟流数据；
基于所述模拟流数据，离散地更新最新轮的第二数据块的哈希码，保持最新轮之前轮的第一数据块的哈希编码不变，实现从不同的模态中学习统一的哈希码；
哈希函数学习模块，被配置为：根据最新轮的第二数据块的哈希码，分别求取每个模态将特征映射到哈希码的投影矩阵，即哈希函数，进行哈希函数学习，更新每个模态的哈希函数来处理学习后的哈希编码；
检索模块，被配置为：基于更新后的哈希函数计算模拟流数据中样本间的海明距离，根据海明距离来返回与待查询样本距离近的所需的另一个模态的检索样本。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (8)
1.一种基于离散在线哈希学习的跨模态检索方法，其特征是，包括：
获取模拟流数据；
基于所述模拟流数据，针对到达的最新轮的第二数据块，从该轮之前的第一数据块中挑选锚点，通过保持第二数据块和第一数据块的锚点的相似性将语义相似性信息嵌入到哈希码中，并且通过标签函数将标签信息嵌入到哈希码中；
所述保持第二数据块和第一数据块的锚点的相似性，具体方式为：从第一数据块中随机选择数据作为锚点来计算相似性函数即似然函数，基于似然函数获得的相关性函数；
基于相关性函数及标签函数获得目标总体函数，通过优化总体的目标函数，得到最新轮的第二数据块的哈希码；
离散地更新最新轮的第二数据块的哈希编码，保持最新轮之前轮的第一数据块的哈希编码不变，实现从不同的模态中学习统一的哈希码；
根据最新轮的第二数据块的哈希码，分别求取每个模态将特征映射到哈希码的投影矩阵，即哈希函数，进行哈希函数学习，更新每个模态的哈希函数来处理学习后的哈希编码；
基于更新后的哈希函数计算模拟流数据中样本间的海明距离，根据海明距离来返回与待查询样本距离近的所需的另一个模态的检索样本；
其中，所述相关性函数如下：
其中，
at是第t轮所选取的训练数据的数量，
是新来数据的哈希码，nt表示在第t轮到达的新的数据块的样本数量，Sij表示第i个新样本和第j个已有样本间的相似性，如果两个样本相似，则Sij＝1，否则Sij＝0，r为新到来的数据生成的哈希码的位数，
是第i个新来数据的哈希码，
是第j个已有数据的锚点的哈希码；
所述目标总体函数如下：
其中，θ是权值参数，at是第t轮所选取的训练数据的数量，
是新来数据块的标签矩阵，
是已有数据的标签矩阵，P(t)是一个预测矩阵，‖·‖F表示的是矩阵的Frobenius范数。
2.如权利要求1所述的一种基于离散在线哈希学习的跨模态检索方法，其特征是，从不同的模态中学习统一的哈希码时，根据第二数据块和第一数据块为第二数据块生成哈希码，通过跨模态对称相似性的对数似然函数捕获第一数据块和第二数据块之间的相关性。
3.如权利要求1所述的一种基于离散在线哈希学习的跨模态检索方法，其特征是，第一数据块和第二数据块的哈希码都将分别重建标签，将监督标签信息嵌入到待学习的哈希编码中。
4.如权利要求3所述的一种基于离散在线哈希学习的跨模态检索方法，其特征是，对目标总体函数，利用交替的优化策略来优化目标函数，具体为：在每一步中，固定其他变量来优化某一变量，通过每一步优化一个变量，得到目标函数的值，迭代更新规则将单调地减小目标函数值，经过多次迭代最终达到局部最小值。
5.如权利要求1所述的一种基于离散在线哈希学习的跨模态检索方法，其特征是，哈希函数学习中，对每个模态采用一个简单的线性回归模型作为哈希函数，将训练样本的特征投影到哈希编码，针对每个模态的函数求解。
6.基于监督学习的离散在线跨模态哈希检索系统，其特征是，包括：
哈希码学习模块，被配置为：获取模拟流数据；
基于所述模拟流数据，针对到达的最新轮的第二数据块，从该轮之前的第一数据块中挑选锚点，通过保持第二数据块和第一数据块的锚点的相似性将语义相似性信息嵌入到哈希码中，并且通过标签函数将标签信息嵌入到哈希码中；
所述保持第二数据块和第一数据块的锚点的相似性，具体方式为：从第一数据块中随机选择数据作为锚点来计算相似性函数即似然函数，基于似然函数获得的相关性函数；
基于相关性函数及标签函数获得目标总体函数，通过优化总体的目标函数，得到最新轮的第二数据块的哈希码；
离散地更新最新轮的第二数据块的哈希码，保持最新轮之前轮的第一数据块的哈希编码不变，实现从不同的模态中学习统一的哈希码；
哈希函数学习模块，被配置为：根据最新轮的第二数据块的哈希码，分别求取每个模态将特征映射到哈希码的投影矩阵，即哈希函数，进行哈希函数学习，更新每个模态的哈希函数来处理学习后的哈希编码；
检索模块，被配置为：基于更新后的哈希函数计算模拟流数据中样本间的海明距离，根据海明距离来返回与待查询样本距离近的所需的另一个模态的检索样本；
其中，相关性函数如下：
其中，
at是第t轮所选取的训练数据的数量，
是新来数据的哈希码，
是已有数据的哈希码，nt表示在第t轮到达的新的数据块的样本数量，Sij表示第i个新样本和第j个已有样本间的相似性，如果两个样本相似，则Sij＝1，否则Sij＝0，r为新到来的数据生成的哈希码的位数，
是第i个新来数据的哈希码，
是第j个已有数据的锚点的哈希码；
目标总体函数如下：
其中，θ是权值参数，at是第t轮所选取的训练数据的数量，
是新来数据块的标签矩阵，
是已有数据的标签矩阵，P(t)是一个预测矩阵，‖·‖F表示的是矩阵的Frobenius范数。
7.一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现上述权利要求1-5任一所述的方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征是，该程序被处理器执行时执行上述权利要求1-5任一所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110860448.0A CN113312505B (zh) | 2021-07-29 | 2021-07-29 | 一种基于离散在线哈希学习的跨模态检索方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110860448.0A CN113312505B (zh) | 2021-07-29 | 2021-07-29 | 一种基于离散在线哈希学习的跨模态检索方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113312505A CN113312505A (zh) | 2021-08-27 |
| CN113312505B true CN113312505B (zh) | 2021-11-02 |
Family
ID=77381969
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110860448.0A Active CN113312505B (zh) | 2021-07-29 | 2021-07-29 | 一种基于离散在线哈希学习的跨模态检索方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113312505B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113868366B (zh) * | 2021-12-06 | 2022-04-01 | 山东大学 | 一种面向流数据的在线跨模态检索方法与系统 |
| CN114186084B (zh) * | 2021-12-14 | 2022-08-26 | 山东大学 | 在线多模态哈希检索方法、系统、存储介质及设备 |
| CN114117153B (zh) * | 2022-01-25 | 2022-05-24 | 山东建筑大学 | 一种基于相似度重学习的在线跨模态检索方法及系统 |
| CN115081627B (zh) * | 2022-07-27 | 2022-11-25 | 中南大学 | 一种基于生成式网络的跨模态数据哈希检索攻击方法 |
| CN116089731B (zh) * | 2023-04-10 | 2023-07-14 | 山东大学 | 一种缓解灾难性遗忘的在线哈希检索方法及系统 |
| CN118296171B (zh) * | 2024-06-05 | 2024-08-13 | 山东大学 | 基于自步学习加权的在线图像哈希检索方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103425757A (zh) * | 2013-07-31 | 2013-12-04 | 复旦大学 | 融合多模态信息的跨媒体人物新闻检索方法与系统 |
| CN110674323A (zh) * | 2019-09-02 | 2020-01-10 | 山东师范大学 | 基于虚拟标签回归的无监督跨模态哈希检索方法及系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108595688A (zh) * | 2018-05-08 | 2018-09-28 | 鲁东大学 | 基于在线学习的潜在语义跨媒体哈希检索方法 |
| CN109446347A (zh) * | 2018-10-29 | 2019-03-08 | 山东师范大学 | 一种有监督的快速离散多模态哈希检索方法和系统 |
| US11651037B2 (en) * | 2019-12-20 | 2023-05-16 | Rakuten Group, Inc. | Efficient cross-modal retrieval via deep binary hashing and quantization |
| CN111639197B (zh) * | 2020-05-28 | 2021-03-12 | 山东大学 | 标签嵌入在线哈希的跨模态多媒体数据检索方法及系统 |
| CN112925962B (zh) * | 2021-01-20 | 2022-09-27 | 同济大学 | 基于哈希编码的跨模态数据检索方法、系统、设备及介质 |
-
2021
- 2021-07-29 CN CN202110860448.0A patent/CN113312505B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103425757A (zh) * | 2013-07-31 | 2013-12-04 | 复旦大学 | 融合多模态信息的跨媒体人物新闻检索方法与系统 |
| CN110674323A (zh) * | 2019-09-02 | 2020-01-10 | 山东师范大学 | 基于虚拟标签回归的无监督跨模态哈希检索方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| Supervised Matrix Factorization Hashing for Cross-Modal Retrieval;Jun Tang等;《IEEE》;20160731;第25卷(第7期);第3157-3166页 * |
| 基于多模态注意力机制的跨模态哈希网络;吴吉祥等;《计算机工程与应用》;20210726;第1-14页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113312505A (zh) | 2021-08-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113312505B (zh) | 一种基于离散在线哈希学习的跨模态检索方法及系统 | |
| US11651286B2 (en) | Method and system for distributed machine learning | |
| US9990558B2 (en) | Generating image features based on robust feature-learning | |
| Shen et al. | Deep asymmetric pairwise hashing | |
| Kaiser et al. | Learning to remember rare events | |
| JP7360497B2 (ja) | クロスモーダルな特徴の抽出方法、抽出装置、ならびに、プログラム | |
| CN114169330B (zh) | 融合时序卷积与Transformer编码器的中文命名实体识别方法 | |
| CN112115352B (zh) | 基于用户兴趣的会话推荐方法及系统 | |
| US20170200077A1 (en) | End-to-end memory networks | |
| CN112119411A (zh) | 用于统合不同数据模态的统计模型的系统和方法 | |
| CN112132179A (zh) | 基于少量标注样本的增量学习方法及系统 | |
| CN113326287B (zh) | 一种使用三步策略的在线跨模态检索方法及系统 | |
| CN110990596B (zh) | 一种基于自适应量化多模态哈希检索方法及系统 | |
| CN114186084B (zh) | 在线多模态哈希检索方法、系统、存储介质及设备 | |
| CN114329109B (zh) | 基于弱监督哈希学习的多模态检索方法及系统 | |
| CN114117153A (zh) | 一种基于相似度重学习的在线跨模态检索方法及系统 | |
| WO2017053779A1 (en) | Data storage and retrieval system using online supervised hashing | |
| CN115422369B (zh) | 基于改进TextRank的知识图谱补全方法和装置 | |
| JP2022548187A (ja) | 対象再識別方法および装置、端末並びに記憶媒体 | |
| CN115577144A (zh) | 一种基于在线多哈希码联合学习的跨模态检索方法 | |
| CN115795065A (zh) | 基于带权哈希码的多媒体数据跨模态检索方法及系统 | |
| CN116150411A (zh) | 一种基于自适应类相关离散哈希的零样本跨模态检索方法 | |
| CN111090765A (zh) | 一种基于缺失多模态哈希的社交图像检索方法及系统 | |
| CN116595343B (zh) | 基于流形排序学习的在线无监督跨模态检索方法及系统 | |
| CN116069985A (zh) | 一种基于标签语义增强的鲁棒在线跨模态哈希检索方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |