CN115374165A - 基于三重矩阵分解的数据检索方法、系统及设备 - Google Patents

基于三重矩阵分解的数据检索方法、系统及设备 Download PDF

Info

Publication number
CN115374165A
CN115374165A CN202211298601.6A CN202211298601A CN115374165A CN 115374165 A CN115374165 A CN 115374165A CN 202211298601 A CN202211298601 A CN 202211298601A CN 115374165 A CN115374165 A CN 115374165A
Authority
CN
China
Prior art keywords
data
hash
matrix
function
triple
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211298601.6A
Other languages
English (en)
Other versions
CN115374165B (zh
Inventor
刘兴波
李佳敏
聂秀山
王少华
尹义龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Jianzhu University
Original Assignee
Shandong Jianzhu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Jianzhu University filed Critical Shandong Jianzhu University
Priority to CN202211298601.6A priority Critical patent/CN115374165B/zh
Publication of CN115374165A publication Critical patent/CN115374165A/zh
Application granted granted Critical
Publication of CN115374165B publication Critical patent/CN115374165B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2255—Hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Algebra (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种基于三重矩阵分解的数据检索方法、系统及设备，属于信息检索领域，包括获取待检索的图像和文本两种模态的数据样本，对数据样本进行三重矩阵分解，设定对数据样本进行三重矩阵分解的约束值，构建目标函数；基于目标函数得到哈希函数，再根据哈希函数对数据样本进行投影，对应生成数据样本的哈希编码；计算数据样本的哈希编码和已经训练好的哈希编码之间的汉明距离，并进行排序，得到数据样本的检索结果，有效的挖掘到模态内的多样性和模态间的一致性信息，从而提升哈希函数和哈希编码的判别性，具有训练和检索速度快、检索性能高的特点。

Description

基于三重矩阵分解的数据检索方法、系统及设备
技术领域
本公开涉及信息检索技术领域，具体涉及一种基于三重矩阵分解的数据检索方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
随着互联网、云计算和多媒体等技术的迅速发展，社交媒体中不同模态数据的呈现爆炸式的增长趋势，因此用户不再满足于单一模态数据间的相似性检索，而更多的关注于跨模态数据间相互检索，跨模态检索的任务是给定一个模态的查询对象，期望找到另一模态中的与之语义相似的集合，如文本检索图像、图像检索文本等。
然而，现有的多模态数据具有维度高和样本海量的特点，多数方案中并没有考虑异构性、语义鸿沟和可靠的标签信息数据，并且上述数据也比较难以获取到。
发明内容
本公开为了解决上述问题，提出了基于三重矩阵分解的数据检索方法及系统，利用三重矩阵分解模型将异构数据投影到统一的低维子空间，自适应地学习类属性特征，获得具有语义嵌入信息的公共表示；引入一种鲁棒的损失函数，增强模型对离群点样本的鲁棒性，生成高质量的公共表示和哈希编码；针对样本外扩展问题，提出了一种双重哈希函数策略，期望挖掘到模态内的多样性和模态间的一致性信息，从而提升哈希函数和哈希编码的判别性，具有训练和检索速度快、检索性能高的特点。
根据一些实施例，本公开采用如下技术方案：
基于三重矩阵分解的数据检索方法，包括以下步骤：
获取待检索的图像和文本两种模态的数据样本，并进行预处理；
对数据样本进行三重矩阵分解，设定对数据样本进行三重矩阵分解的约束值，构建目标函数；
基于目标函数得到哈希函数，再根据哈希函数对数据样本进行投影，对应生成数据样本的哈希编码；
计算数据样本的哈希编码和已经训练好的哈希编码之间的汉明距离，并进行排序，得到数据样本的检索结果。
根据另一些实施例，本公开采用如下技术方案：
基于三重矩阵分解的数据检索系统，包括：
数据采集模块，用于获取待检索的图像和文本两种模态的数据样本，并进行预处理；
模型构建模块，用于对数据样本进行三重矩阵分解，设定对数据样本进行三重矩阵分解的约束值，构建目标函数；
哈希码矩阵和哈希函数生成模块，用于基于目标函数得到哈希函数，再根据哈希函数对数据样本进行投影，对应生成数据样本的哈希编码；
检索结果获取模块，用于计算数据样本的哈希编码和已经训练好的哈希编码之间的汉明距离，并进行排序，得到数据样本的检索结果。
根据一些实施例，本公开还采用如下技术方案：
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现所述的基于三重矩阵分解的数据检索方法中的步骤。
与现有技术相比，本公开的有益效果为：
本公开通过整合三重矩阵分解技术、柯西损失函数、线性回归模型和低秩约束，学习潜在的类属性、公共语义表示和双重哈希函数，离散地优化训练数据的哈希码；在检索查询阶段，通过目标函数得到双重哈希函数，生成检索查询样本的哈希编码，有效的实现跨模态检索。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1是本公开实施例的基于三重矩阵分解的数据检索方法流程图；
图2是本公开实施例的基于三重矩阵分解的数据检索系统结构示意图。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例1
本公开的一种实施例中提供了一种基于三重矩阵分解的数据检索方法，包括以下步骤：
S101：获取待检索的图像和文本两种模态的数据样本，并进行预处理；
S102：对数据样本进行三重矩阵分解，设定对数据样本进行三重矩阵分解的约束值，构建目标函数；
S103：基于目标函数得到哈希函数，再根据哈希函数对数据样本进行投影，对应生成数据样本的哈希编码；
S104：计算数据样本的哈希编码和已经训练好的哈希编码之间的汉明距离，并进行排序，得到数据样本的检索结果。
作为一种实施例，对模型进行训练的步骤为：
H1：获取原始数据集，作为训练样本；
具体的，原始数据集中模态也包括图像数据和文本数据这两种模态数据，对原始 数据集的训练样本进行中心化和核化处理，得到核化的图像训练数据，简称为图像数据，记 为
Figure 100002_DEST_PATH_IMAGE001
；核化的文本训练数据，简称为文本数据，记为
Figure 940714DEST_PATH_IMAGE002
。 其中，
Figure 100002_DEST_PATH_IMAGE003
为锚点数量，
Figure 201931DEST_PATH_IMAGE004
为训练样本的数量。
H2：对数据样本进行三重矩阵分解，设定对数据样本进行三重矩阵分解的约束值，构建目标函数；
具体的，在所述目标函数中，三重矩阵分解的目标为：将高维异构数据投影到低维公共子空间中，保持原空间的相似信息，即每个样本所属类别不变。一般来说，每个类别有自己的类属性特征，因此希望通过探索原始异构空间与低维公共子空间之间共享的类属性特征，学习具有语义嵌入信息的公共表示。同时引入柯西损失函数对原始数据三重矩阵分解模型中的异常值进行约束，目标函数如下：
Figure 100002_DEST_PATH_IMAGE005
其中，
Figure 933127DEST_PATH_IMAGE006
为图像模态的基矩阵，
Figure 100002_DEST_PATH_IMAGE007
为文本模态的基矩阵，
Figure 926491DEST_PATH_IMAGE008
为类属性矩阵，
Figure 100002_DEST_PATH_IMAGE009
为公共表示矩阵，
Figure 743137DEST_PATH_IMAGE010
是一个常数。
进一步的，柯西损失函数定义如下：
Figure 100002_DEST_PATH_IMAGE011
其中
Figure 43931DEST_PATH_IMAGE012
是对称的正定函数，
Figure DEST_PATH_IMAGE013
是一个常数参数。
将样本数据的三重矩阵分解模型
Figure 629633DEST_PATH_IMAGE014
带入到柯西损失函数中， 可以减少原始数据样本中异常值的干扰，增强模型稳定性，具体过程被描述如下：
Figure DEST_PATH_IMAGE015
这个过程引入柯西损失函数约束三重矩阵分解的重构误差，在一定程度上缓解了异常值和噪声的影响。
在所述目标函数中，通过最小化实值公共表示与哈希编码之间的量化误差，更好地将公共子空间中包含的语义信息传递到汉明空间。这个过程可以被描述如下：
Figure 121794DEST_PATH_IMAGE016
其中，
Figure DEST_PATH_IMAGE017
是训练样本统一的哈希编码，
Figure 425736DEST_PATH_IMAGE018
是超参数。
在具体实施过程中，在所述目标函数中，学习两种哈希函数的目标为:挖掘多模态数据的特定和一致信息，在哈希编码中保持不同模态的多样性和互补信息。同时对一致投影矩阵施加核范数，使其具有低秩性；对特定投影矩阵施加F范数，防止过拟合。表达式如下：
Figure DEST_PATH_IMAGE019
其中，
Figure 700860DEST_PATH_IMAGE020
表示模态特定的映射矩阵，
Figure DEST_PATH_IMAGE021
表示模态间一致的映射矩阵。对于一致映 射矩阵，利用核范数对其进行低秩约束，使其保留更多地共有信息；对于模态特定的映射矩 阵，利用Frobenius范数对其进行约束，防止训练过程过拟合；
Figure 908113DEST_PATH_IMAGE022
,
Figure DEST_PATH_IMAGE023
和
Figure 305596DEST_PATH_IMAGE024
是超参数。
H3：基于目标函数得到哈希函数，再根据哈希函数对数据样本进行投影，对应生成数据样本的哈希编码；
上一步骤H2学到的映射矩阵和数据样本的特征矩阵进行矩阵相乘运算，然后再进行符号函数运算，得到数据样本的哈希编码;
具体的，将待检索的图像数据右乘以
Figure DEST_PATH_IMAGE025
和
Figure 96834DEST_PATH_IMAGE026
后取符号函数
Figure DEST_PATH_IMAGE027
变为1和-1或者 将待检索的文本数据右乘以
Figure 237966DEST_PATH_IMAGE028
和
Figure DEST_PATH_IMAGE029
后取符号函数
Figure 627621DEST_PATH_IMAGE027
，在生成查询样本的哈希码，获取 到训练数据的哈希码。
其中，目标函数由四项构成，第一项通过三重矩阵分解得到潜在类属性特征和低维公共表示；第二项最小化公共表示和哈希码之间的量化误差，将公共表示的语义信息嵌入到哈希编码中；第三项学习两种投影矩阵，即模态特定和模态一致的哈希函数，并对分别其进行平滑和低秩约束；第四项是正则化项，避免过拟合问题。
最终生成的目标函数为：
Figure 399268DEST_PATH_IMAGE030
其中，
Figure DEST_PATH_IMAGE031
表示模态特定的映射矩阵，
Figure 84327DEST_PATH_IMAGE032
表示模态间一致的映射矩阵，
Figure 966833DEST_PATH_IMAGE022
,
Figure 381633DEST_PATH_IMAGE023
和
Figure 324182DEST_PATH_IMAGE024
是超参数，
Figure DEST_PATH_IMAGE033
为类属性矩阵，
Figure 824433DEST_PATH_IMAGE034
为公共表示矩阵，
Figure DEST_PATH_IMAGE035
是一个常数，
Figure 808832DEST_PATH_IMAGE017
是训练样本统一的哈希编码，
Figure 281402DEST_PATH_IMAGE036
是超参数，U i 表示基矩阵，
Figure DEST_PATH_IMAGE037
为训练样本的数量。
通过整合三重矩阵分解模型、柯西损失函数、线性回归模型和低秩约束，学习潜在的类属性、公共语义表示和双重哈希函数，离散地优化训练数据的哈希编码；在查询阶段，通过目标函数得到的双重哈希函数，生成查询样本的哈希编码，实现跨模态检索。
作为一种实施例中，具体数据检索方法实现的过程为：
获取待检索的图像和文本两种模态的数据样本，并进行预处理；
所述预处理包括对两种模态的数据样本进行中心化和核化处理，得到核化的图像数据以及核化的文本数据。
进一步的，对数据样本进行三重矩阵分解，设定对数据样本进行三重矩阵分解的约束值，构建目标函数；在构建的目标函数中，三重矩阵分解的目标为：将异构的数据样本从高维投影到低维公共子空间中，保持原空间的相似信息，使其每个样本所属类型不变。在所述目标函数中，通过引入柯西损失函数来度量重构损失，缓解离群样本的干扰，增强模型的鲁棒性。
作为一种实施方式，在所述目标函数中，通过最小化实值公共表示与哈希编码之间的量化误差，更好地将公共子空间中包含的语义信息传递到汉明空间。
作为一种实施方式，在所述目标函数中，学习两种哈希函数的目标为:挖掘多模态数据的特定和一致信息，在哈希码中保留模态间的多样性和互补信息。同时对一致投影矩阵施加核范数，使其具有低秩性；对特定投影矩阵施加F范数，避免过拟合问题。对一致投影矩阵施加核范数，对特定投影矩阵施加F范数。
基于目标函数得到哈希函数，再根据哈希函数对数据样本进行投影，对应生成数据样本的哈希编码；
计算数据样本的哈希编码和已经训练好的哈希编码之间的汉明距离，并进行排序，得到数据样本的检索结果，具体的采用现有的异或运算进行计算。
为了验证本实施例方法在跨模态检索上的优越性，选择3个公开的数据集上进行实验，其中包括Wiki数据集，MIRFlickr数据集和NUS-WIDE数据集；跨模态检索评价采用平均准确率（Mean Average Precision, mAP）,定义如下：
Figure 457168DEST_PATH_IMAGE038
其中，
Figure DEST_PATH_IMAGE039
为查询集的大小，
Figure 444716DEST_PATH_IMAGE040
表示检索返回的前
Figure DEST_PATH_IMAGE041
个与查询样本相关的检索集样 本数量，
Figure 731340DEST_PATH_IMAGE042
表示第
Figure DEST_PATH_IMAGE043
次查询返回的前
Figure 344900DEST_PATH_IMAGE044
项的正确率。如果检索集中第
Figure 629251DEST_PATH_IMAGE044
个样本与第
Figure DEST_PATH_IMAGE045
个查询样本相关，那么
Figure 104095DEST_PATH_IMAGE046
；否则，
Figure DEST_PATH_IMAGE047
。在本实验中，设置R为50；mAP值代表平 均准确率。
表1在Wiki数据集上的实验结果
Figure 194411DEST_PATH_IMAGE048
表2在MIRFlickr数据集上的实验结果
Figure DEST_PATH_IMAGE049
表3在NUS-WIDE数据集上的实验结果
Figure 438310DEST_PATH_IMAGE050
通过表1、表2和表3说明：
本实施例方法与现有的7种跨模态检索方法进行比较，即跨视图哈希方法-CVH、跨媒体哈希方法-IMH、协同矩阵分解哈希方法-CMFH、鲁棒跨视图哈希-RCH、融合相似性哈希-FSH、鲁棒灵活离散哈希-RFDH、离散鲁棒矩阵分解哈希-DRMFH这7种跨模态检索方法。
所有方法在如表1、表2和表3这三个数据集上进行了对比实验，图像检索文本和文本检索图像两个任务上哈希码从16比特变化到128比特，本实例方法的平均精度均值-mAP值优于其他对比实验方法，证明了其利用三重矩阵分解、柯西损失函数和双重哈希函数生成哈希码的效果好于其他的方法。
实施例2
本公开的一种实施例中提供了一种基于三重矩阵分解的数据检索系统，包括：
数据采集模块，用于获取待检索的图像和文本两种模态的数据样本，并进行预处理；
模型构建模块，用于对数据样本进行三重矩阵分解，设定对数据样本进行三重矩阵分解的约束值，构建目标函数；
哈希码矩阵和哈希函数生成模块，用于基于目标函数得到哈希函数，再根据哈希函数对数据样本进行投影，对应生成数据样本的哈希编码；
检索结果获取模块，用于计算数据样本的哈希编码和已经训练好的哈希编码之间的汉明距离，并进行排序，得到数据样本的检索结果。
作为一种实施例，具体实现以下方法步骤：
获取待检索的图像和文本两种模态的数据样本，并进行预处理；
对数据样本进行三重矩阵分解，设定对数据样本进行三重矩阵分解的约束值，构建目标函数；
基于目标函数得到哈希函数，再根据哈希函数对数据样本进行投影，对应生成数据样本的哈希编码；
计算数据样本的哈希编码和已经训练好的哈希编码之间的汉明距离，并进行排序，得到数据样本的检索结果。
具体的，目标函数由四项构成，第一项通过三重矩阵分解得到潜在类属性特征和低维公共表示；第二项最小化公共表示和哈希码之间的量化误差，将公共表示的语义信息嵌入到哈希编码中；第三项学习两种投影矩阵，即模态特定和模态一致的哈希函数，并对分别其进行平滑和低秩约束；第四项是正则化项，避免过拟合问题。
实施例3
本公开的一种实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现所述的基于三重矩阵分解的数据检索方法中的步骤。
本公开是参照根据本公开实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (10)

1.基于三重矩阵分解的数据检索方法，其特征在于，包括以下步骤：
获取待检索的图像和文本两种模态的数据样本，并进行预处理；
对数据样本进行三重矩阵分解，设定对数据样本进行三重矩阵分解的约束值，构建目标函数；
基于目标函数得到哈希函数，再根据哈希函数对数据样本进行投影，对应生成数据样本的哈希编码；
计算数据样本的哈希编码和已经训练好的哈希编码之间的汉明距离，并进行排序，得到数据样本的检索结果。
2.如权利要求1所述的基于三重矩阵分解的数据检索方法，其特征在于，所述预处理包括对两种模态的数据样本进行中心化和核化处理，得到核化的图像数据以及核化的文本数据。
3.如权利要求1所述的基于三重矩阵分解的数据检索方法，其特征在于，在构建的目标函数中，三重矩阵分解的目标为：将异构的数据样本从高维投影到低维公共子空间中，保持原空间的相似信息，使其每个样本所属类型不变。
4.如权利要求1所述的基于三重矩阵分解的数据检索方法，其特征在于，引入柯西损失函数对数据样本三重矩阵分解中的异常值进行约束。
5.如权利要求1所述的基于三重矩阵分解的数据检索方法，其特征在于，在所述目标函数中，通过最小化实值公共表示与哈希编码之间的量化误差，将公共子空间中包含的语义信息传递到汉明空间。
6.如权利要求1所述的基于三重矩阵分解的数据检索方法，其特征在于，对一致投影矩阵施加核范数，对特定投影矩阵施加F范数。
7.如权利要求1所述的基于三重矩阵分解的数据检索方法，其特征在于，所述目标函数由四项构成，第一项为通过三重矩阵分解得到的潜在类属性特征和低维公共表示；第二项为最小化公共表示和哈希码之间的量化误差，将公共表示的语义信息嵌入到哈希编码；第三项为学习的两种投影矩阵，即模态特定和模态一致的哈希函数，并对分别其进行平滑和低秩约束；第四项是正则化项。
8.如权利要求1所述的基于三重矩阵分解的数据检索方法，其特征在于，最终构建的目标函数为：
Figure DEST_PATH_IMAGE001
其中，
Figure 940914DEST_PATH_IMAGE002
表示模态特定的映射矩阵，
Figure DEST_PATH_IMAGE003
表示模态间一致的映射矩阵，
Figure 920372DEST_PATH_IMAGE004
,
Figure DEST_PATH_IMAGE005
和
Figure 700109DEST_PATH_IMAGE006
是超 参数，
Figure DEST_PATH_IMAGE007
为类属性矩阵，
Figure 157635DEST_PATH_IMAGE008
为公共表示矩阵，
Figure DEST_PATH_IMAGE009
是一个常数，
Figure 535789DEST_PATH_IMAGE010
是训练 样本统一的哈希编码，
Figure DEST_PATH_IMAGE011
是超参数，U i 表示基矩阵，
Figure 420568DEST_PATH_IMAGE012
为训练样本的数量。
9.基于三重矩阵分解的数据检索系统，其特征在于，包括：
数据采集模块，用于获取待检索的图像和文本两种模态的数据样本，并进行预处理；
模型构建模块，用于对数据样本进行三重矩阵分解，设定对数据样本进行三重矩阵分解的约束值，构建目标函数；
哈希码矩阵和哈希函数生成模块，用于基于目标函数得到哈希函数，再根据哈希函数对数据样本进行投影，对应生成数据样本的哈希编码；
检索结果获取模块，用于计算数据样本的哈希编码和已经训练好的哈希编码之间的汉明距离，并进行排序，得到数据样本的检索结果。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8任一项所述的基于三重矩阵分解的数据检索方法中的步骤。
CN202211298601.6A 2022-10-24 2022-10-24 基于三重矩阵分解的数据检索方法、系统及设备 Active CN115374165B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211298601.6A CN115374165B (zh) 2022-10-24 2022-10-24 基于三重矩阵分解的数据检索方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211298601.6A CN115374165B (zh) 2022-10-24 2022-10-24 基于三重矩阵分解的数据检索方法、系统及设备

Publications (2)

Publication Number Publication Date
CN115374165A true CN115374165A (zh) 2022-11-22
CN115374165B CN115374165B (zh) 2023-03-24

Family

ID=84072818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211298601.6A Active CN115374165B (zh) 2022-10-24 2022-10-24 基于三重矩阵分解的数据检索方法、系统及设备

Country Status (1)

Country Link
CN (1) CN115374165B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106777318A (zh) * 2017-01-05 2017-05-31 西安电子科技大学 基于协同训练的矩阵分解跨模态哈希检索方法
CN110059198A (zh) * 2019-04-08 2019-07-26 浙江大学 一种基于相似性保持的跨模态数据的离散哈希检索方法
CN110110100A (zh) * 2019-05-07 2019-08-09 鲁东大学 基于协同矩阵分解的离散监督跨媒体哈希检索方法
US20200159810A1 (en) * 2018-11-15 2020-05-21 Hewlett Packard Enterprise Development Lp Partitioning sparse matrices based on sparse matrix representations for crossbar-based architectures
CN112925962A (zh) * 2021-01-20 2021-06-08 同济大学 基于哈希编码的跨模态数据检索方法、系统、设备及介质
US20210256365A1 (en) * 2017-04-10 2021-08-19 Peking University Shenzhen Graduate School Cross-media retrieval method based on deep semantic space
US20210256068A1 (en) * 2020-02-14 2021-08-19 Naver Corporation Cross-modal search systems and methods
CN114281950A (zh) * 2022-03-07 2022-04-05 山东建筑大学 基于多图加权融合的数据检索方法与系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106777318A (zh) * 2017-01-05 2017-05-31 西安电子科技大学 基于协同训练的矩阵分解跨模态哈希检索方法
US20210256365A1 (en) * 2017-04-10 2021-08-19 Peking University Shenzhen Graduate School Cross-media retrieval method based on deep semantic space
US20200159810A1 (en) * 2018-11-15 2020-05-21 Hewlett Packard Enterprise Development Lp Partitioning sparse matrices based on sparse matrix representations for crossbar-based architectures
CN110059198A (zh) * 2019-04-08 2019-07-26 浙江大学 一种基于相似性保持的跨模态数据的离散哈希检索方法
CN110110100A (zh) * 2019-05-07 2019-08-09 鲁东大学 基于协同矩阵分解的离散监督跨媒体哈希检索方法
US20210256068A1 (en) * 2020-02-14 2021-08-19 Naver Corporation Cross-modal search systems and methods
CN112925962A (zh) * 2021-01-20 2021-06-08 同济大学 基于哈希编码的跨模态数据检索方法、系统、设备及介质
CN114281950A (zh) * 2022-03-07 2022-04-05 山东建筑大学 基于多图加权融合的数据检索方法与系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李新卫等: "基于协同矩阵分解的单标签跨模态检索", 《计算机技术与发展》 *
胡志锴: "结合语义保护和关联挖掘的跨模态哈希检索算法研究", 《中国优秀硕士学位论文全文数据库》 *

Also Published As

Publication number Publication date
CN115374165B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN107729513B (zh) 基于语义对齐的离散监督跨模态哈希检索方法
US20200285903A1 (en) System for time-efficient assignment of data to ontological classes
CN111444320B (zh) 文本检索方法、装置、计算机设备和存储介质
CN110888966B (zh) 自然语言问答
Kulkarni Computer vision and fuzzy-neural systems
CN107766555B (zh) 基于软约束无监督型跨模态哈希的图像检索方法
CN109189968B (zh) 一种跨模态检索方法及系统
CN112328655B (zh) 文本标签挖掘方法、装置、设备及存储介质
US11645523B2 (en) Generating explanatory paths for predicted column annotations
CN116303537A (zh) 数据查询方法及装置、电子设备、存储介质
CN114281950B (zh) 基于多图加权融合的数据检索方法与系统
CN109857892B (zh) 基于类标传递的半监督跨模态哈希检索方法
CN111831624A (zh) 数据表创建方法、装置、计算机设备及存储介质
Wan et al. A survey of deep active learning for foundation models
CN114399775A (zh) 文档标题生成方法、装置、设备及存储介质
JP2018041300A (ja) 機械学習用モデル生成装置及びプログラム。
US12056626B2 (en) Self-supervised self supervision by combining probabilistic logic with deep learning
CN116610304B (zh) 页面代码生成方法、装置、设备和存储介质
CN106599305B (zh) 一种基于众包的异构媒体语义融合方法
CN115374165B (zh) 基于三重矩阵分解的数据检索方法、系统及设备
CN109255098B (zh) 一种基于重构约束的矩阵分解哈希方法
WO2023168818A1 (zh) 视频和文本相似度确定方法、装置、电子设备、存储介质
CN116069985A (zh) 一种基于标签语义增强的鲁棒在线跨模态哈希检索方法
CN111507098B (zh) 多义词识别方法、装置、电子设备及计算机可读存储介质
CN110275957B (zh) 姓名消歧方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant