CN115828176A - 一种面向智慧工地的跨模态检索方法及系统 - Google Patents

一种面向智慧工地的跨模态检索方法及系统 Download PDF

Info

Publication number
CN115828176A
CN115828176A CN202310083937.9A CN202310083937A CN115828176A CN 115828176 A CN115828176 A CN 115828176A CN 202310083937 A CN202310083937 A CN 202310083937A CN 115828176 A CN115828176 A CN 115828176A
Authority
CN
China
Prior art keywords
data
information
labeled
modal
unlabeled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310083937.9A
Other languages
English (en)
Other versions
CN115828176B (zh
Inventor
刘兴波
聂秀山
于德湖
王少华
刘新锋
尹义龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Jianzhu University
Original Assignee
Shandong Jianzhu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Jianzhu University filed Critical Shandong Jianzhu University
Priority to CN202310083937.9A priority Critical patent/CN115828176B/zh
Publication of CN115828176A publication Critical patent/CN115828176A/zh
Application granted granted Critical
Publication of CN115828176B publication Critical patent/CN115828176B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Peptides Or Proteins (AREA)

Abstract

本发明提供一种面向智慧工地的跨模态检索方法及系统，涉及跨模态检索技术领域，该方法通过施工现场的标注数据训练分类器，利用训练好的分类器预测施工现场的未标注数据所属的类别和对应的类别概率，并确定未标注数据的标注信息，并在哈希码学习过程中，利用标注数据的标注信息、不同模态数据对应标注信息之间的跨模态相似关系和未标注数据的标注信息指导样本外扩展映射的学习，这样，可以降低对大量人工标注的依赖，构造出更加可靠的跨模态相似关系，从而在对施工现场数据进行检索时，能够得到更加准确的检索结果，为智慧工地实时检索提供性能保证。

Description

一种面向智慧工地的跨模态检索方法及系统
技术领域
本发明属于跨模态检索技术领域，尤其涉及一种面向智慧工地的跨模态检索方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成已经成为本领域一般技术人员所公知的现有技术。
近年来，信息化、智能化催生着各行各业的变革。智慧工地正是建筑行业与信息化手段相结合的产物，是建筑业未来重要的发展方向。目前的智慧工地应用中，跨模态检索旨在从图库中搜索与输入文本相关的目标图像，或从文本库中搜索与输入图像相关的描述文本，从而实现工人、建材、机器等资源的精准配置，提升了施工过程管理的灵活性。
然而，伴随着应用端海量图文数据的产生，传统的跨模态检索方法已无法满足施工过程管理的实时性需求。同时，施工现场的环境噪声对数据采集的影响导致图文数据的质量参差不齐，大量的数据没有人工标注，且缺乏相应的目标图像或描述文本，对于这些低质量的图文数据，传统的依赖大量人工标注和完备对应信息的图文检索方法并不能返回理想的检索结果。
针对上述问题，有研究人员提出基于弱配对跨模态哈希的图文检索方法，一方面，将图文数据对的特征映射为公共的哈希码；另一方面，对低质量图文数据的跨模态相似关系进行建模，以降低图文检索方法对完备对应信息的依赖，但是，这些图文检索方法由于忽略了少量人工标注中的语义信息，因此很难构造可靠的跨模态相似关系，难以保证智慧工地实时检索的鲁棒性。
发明内容
为克服上述现有技术的不足，本发明提供一种面向智慧工地的跨模态检索方法及系统，通过恢复未标注数据的标注信息，并根据标注数据的标注信息和恢复的未标注数据的标注信息构造跨模态相似关系，以得到更为鲁棒的样本外扩展映射，保证智慧工地实时检索的鲁棒性。
为了实现上述目的，本发明主要包括以下几个方面：
第一方面，本发明实施例提供了一种面向智慧工地的跨模态检索方法，包括：
获取施工现场的标注数据和未标注数据，所述标注数据包括至少两种不同模态数据的数据特征和对应的标注信息；
根据所述标注数据对预先构建的分类器进行训练，利用训练好的分类器预测所述未标注数据所属的类别以及对应的类别概率，根据所述类别和类别概率确定所述未标注数据的标注信息；
在哈希码学习过程中，利用所述标注数据的标注信息、不同模态数据对应标注信息之间的跨模态相似关系和未标注数据的标注信息指导样本外扩展映射的学习；
接收待检索的施工现场数据，利用学习到的样本外扩展映射得到对应的哈希码，根据所述施工现场数据的哈希码与检索库中的哈希码之间的海明距离，确定对应的检索结果。
在一种可能的实施方式中，所述分类器包括至少一棵决策树，所述叶子节点与标注数据的数据特征相匹配，所述类别为基于所述标注数据遍历所述决策树得到；
根据所述未标注数据的数据特征、分类器中叶子节点的类别和相应类别概率的映射关系，得到所述未标注数据所属的类别以及对应的类别标签。
在一种可能的实施方式中，根据所述类别和类别概率确定所述未标注数据的标注信息，包括：
根据所述未标注数据的类别概率，选取出预设数量的目标未标注数据；根据所述目标未标注数据所属的类别，确定对应的标注信息。
在一种可能的实施方式中，所述未标注数据包括未标注图像数据和未标注文本数据，根据未标注图像数据的标注信息和标注数据的标注信息构建第一标注信息矩阵，根据标注数据的标注信息和未标注文本数据的标注信息构建第二标注信息矩阵；根据所述第一标注信息矩阵和所述第二标注信息矩阵的内积确定跨模态相似关系。
在一种可能的实施方式中，还包括：在哈希码学习过程中，对未标注数据的标注信息赋予预设的权重，利用所述标注数据的标注信息、不同模态数据对应标注信息之间的跨模态相似关系和带有权重的未标注数据的标注信息指导样本外扩展映射的学习。
在一种可能的实施方式中，根据所述标注数据的标注信息、不同模态数据对应标注信息之间的跨模态相似关系和带有权重的未标注数据的标注信息构造损失函数，通过最小化所述损失函数，得到不同模态数据对应的哈希码和样本外扩展映射。
第二方面，本发明实施例还提供了一种面向智慧工地的跨模态检索系统，包括：
数据获取模块，用于获取施工现场的标注数据和未标注数据，所述标注数据包括至少两种不同模态数据的数据特征和对应的标注信息；
信息确定模块，用于根据所述标注数据对预先构建的分类器进行训练，利用训练好的分类器预测所述未标注数据所属的类别以及对应的类别概率，根据所述类别和类别概率确定所述未标注数据的标注信息；
哈希学习模块，用于在哈希码学习过程中，利用所述标注数据的标注信息、不同模态数据对应标注信息之间的跨模态相似关系和未标注数据的标注信息指导样本外扩展映射的学习；
检索模块，用于接收待检索的施工现场数据，利用学习到的样本外扩展映射得到对应的哈希码，根据所述施工现场数据的哈希码与检索库中的哈希码之间的海明距离，确定对应的检索结果。
在一种可能的实施方式中，所述未标注数据包括未标注图像数据和未标注文本数据，所述哈希学习模块用于根据未标注图像数据的标注信息和标注数据的标注信息构建第一标注信息矩阵，根据标注数据的标注信息和未标注文本数据的标注信息构建第二标注信息矩阵；根据所述第一标注信息矩阵和所述第二标注信息矩阵的内积确定跨模态相似关系。
在一种可能的实施方式中，所述哈希学习模块还用于在哈希码学习过程中，对未标注数据的标注信息赋予预设的权重，利用所述标注数据的标注信息、不同模态数据对应标注信息之间的跨模态相似关系和带有权重的未标注数据的标注信息指导样本外扩展映射的学习。
在一种可能的实施方式中，所述哈希学习模块具体用于根据所述标注数据的标注信息、不同模态数据对应标注信息之间的跨模态相似关系和带有权重的未标注数据的标注信息构造损失函数，通过最小化所述损失函数，得到不同模态数据对应的哈希码和样本外扩展映射。
以上一个或多个技术方案存在以下有益效果：
本发明提供一种面向智慧工地的跨模态检索方法，通过施工现场的标注数据训练分类器，利用训练好的分类器预测施工现场的未标注数据所属的类别和对应的类别概率，并确定未标注数据的标注信息，进而，在哈希码学习过程中，利用标注数据的标注信息、不同模态数据对应标注信息之间的跨模态相似关系和未标注数据的标注信息指导样本外扩展映射的学习，这样，可以降低对大量人工标注的依赖，构造出更加可靠的跨模态相似关系，保证智慧工地实时检索的鲁棒性。
通过对未标注数据的标注信息赋予相应的权重，削弱其对哈希学习的影响，可以得到更为鲁棒的样本外扩展映射，从而在对施工现场数据进行检索时，能够得到更加准确的检索结果，为智慧工地实时检索提供性能保证。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例一所提供的面向智慧工地的跨模态检索方法的流程示意图；
图2是本发明实施例一所提供的面向智慧工地的跨模态检索方法的原理图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
如图1所示，本发明实施例提供一种面向智慧工地的跨模态检索方法，具体包括以下步骤：
S101：获取施工现场的标注数据和未标注数据，所述标注数据包括至少两种不同模态数据的数据特征和对应的标注信息。
在具体实施中，面向智慧工地的跨模态检索主要是从图库中搜索与输入文本相关的目标图像，或从文本库中搜索与输入图像相关的描述文本，施工现场的标注数据包括带有标注信息的图像数据和带有标注信息的文本数据，也可以包括带有标注信息的视频数据等不同模态数据。
S102：根据所述标注数据对预先构建的分类器进行训练，利用训练好的分类器预测所述未标注数据所属的类别以及对应的类别概率，根据所述类别和类别概率确定所述未标注数据的标注信息。
在具体实施中，构建分类器，利用标注数据训练该分类器的参数，进而，利用训练好的分类器预测未标注数据所属的类别和对应的类别概率，这里，类别概率可以理解为未标注数据属于该类别的概率。进而，根据类别和类别概率确定未标注数据的标注信息。这样，通过恢复未标注数据的标注信息，可以降低对大量人工标注的依赖，克服施工现场标注数据有限的问题，有利于后续构造更加可靠的跨模态相似关系。
这里，可以通过现有的卷积神经网络、随机森林、决策树等构建分类器，考虑到训练参数、模型稳定性等方面，在本实施例中，所述分类器包括至少一棵决策树，所述叶子节点与标注数据的数据特征相匹配，所述类别为基于所述标注数据遍历所述决策树得到；根据所述未标注数据的数据特征、分类器中叶子节点的类别和相应类别概率的映射关系，得到所述未标注数据所属的类别以及对应的类别标签。
可选的，根据所述未标注数据的类别概率，选取出预设数量的目标未标注数据；根据所述目标未标注数据所属的类别，确定对应的标注信息，这样，可以保证未标注数据的标注信息的可靠性。
这里，可以计算标注数据所属类别数的平均值kc，例如：有3个标注数据，分别关联1个类别、2个类别、3个类别，则平均值为2，也即平均每个标注数据关联2个类别。那么，对于各未标注数据，保留预测概率最大的kc个类别，并对相应的kc个概率值作归一化处理，作为其恢复后的标注信息。
S103：在哈希码学习过程中，利用所述标注数据的标注信息、不同模态数据对应标注信息之间的跨模态相似关系和未标注数据的标注信息指导样本外扩展映射的学习。
其中，所述未标注数据包括未标注图像数据和未标注文本数据，根据未标注图像数据的标注信息和标注数据的标注信息构建第一标注信息矩阵，根据标注数据的标注信息和未标注文本数据的标注信息构建第二标注信息矩阵；根据所述第一标注信息矩阵和所述第二标注信息矩阵的内积确定跨模态相似关系。
可选的，在哈希码学习过程中，对未标注数据的标注信息赋予预设的权重，利用所述标注数据的标注信息、不同模态数据对应标注信息之间的跨模态相似关系和带有权重的未标注数据的标注信息指导样本外扩展映射的学习。通过该方式，可以削弱未标注数据对哈希学习的影响，以得到更为鲁棒的样本外扩展映射。
进一步的，根据所述标注数据的标注信息、不同模态数据对应标注信息之间的跨模态相似关系和带有权重的未标注数据的标注信息构造损失函数，通过最小化所述损失函数，得到不同模态数据对应的哈希码和样本外扩展映射。
所构建的损失函数表示为：
Figure SMS_1
其中，
Figure SMS_2
。
其中，i的取值范围为1，…，n 1 -n 0，n 1 -n 0+1，…，n-n 0。
当
Figure SMS_3
时，
Figure SMS_4
Figure SMS_5
；
当
Figure SMS_6
时，
Figure SMS_7
Figure SMS_8
。
式中，前三项旨在将标注数据的标注信息
Figure SMS_11
、图像数据的特征
Figure SMS_12
和文本数据的特征
Figure SMS_14
映射为公共的哈希码
Figure SMS_10
；
Figure SMS_13
分别是类别总数、标注数据的数量、图像数据特征维度、文本数据特征维度和哈希码的码长；
Figure SMS_15
分别是标注信息与哈希码间的投影矩阵、图像数据特征与哈希码间的投影矩阵和文本数据特征与哈希码间的投影矩阵；这里的
Figure SMS_16
即为待学习的样本外扩展映射，
Figure SMS_9
是两个超参数。
上述公式的第四项是用跨模态相似关系
Figure SMS_18
来指导样本外扩展映射
Figure SMS_22
的学习，
Figure SMS_24
是跨模态数据总数量，
Figure SMS_19
是一个超参数，上角标
Figure SMS_21
表示转置。
Figure SMS_23
为跨模态相似关系，将其构造为
Figure SMS_25
，该构造方式充分利用了标注中的语义信息，提高了图文检索方法的准确性和可靠性。其中，
Figure SMS_17
是标注数据的标注信息，
Figure SMS_20
分别是未标注图像数据恢复后的标注信息、未标注文本数据恢复后的标注信息。
上述公式的第五项和第六项是对低质量图像数据（即原始未标注的图像数据）
Figure SMS_28
、低质量文本数据（即原始未标注的文本数据）
Figure SMS_30
及其恢复后的低质量标注信息
Figure SMS_33
进行加权学习。其中，
Figure SMS_29
是跨模态数据的总数量，
Figure SMS_31
是图像数据总数，
Figure SMS_35
是标注数据的数量，
Figure SMS_36
是学习步速参数。
Figure SMS_27
是低质量数据
Figure SMS_32
的损失，用于评估该数据的质量得分；通过将低质量数据
Figure SMS_34
的权重
Figure SMS_37
的最大赋值设为一个小于1的数
Figure SMS_26
，用以削弱其对样本外扩展映射学习的影响，增强跨模态检索的鲁棒性，P表示数据特征数量；u表示标注图像数据恢复后的标注信息的数量。
最后三项是正则化项，旨在规避各矩阵变量的平凡解，
Figure SMS_38
是平衡参数，
Figure SMS_39
表示矩阵的2范数。
S104：接收待检索的施工现场数据，利用学习到的样本外扩展映射得到对应的哈希码，根据所述施工现场数据的哈希码与检索库中的哈希码之间的海明距离，确定对应的检索结果。
在具体实施中，对于施工现场图像数据x1，利用样本外扩展映射U1计算其哈希码b1=sgn(U1x1)；对于施工现场文本数据x2，利用样本外扩展映射U2计算其哈希码b2=sgn(U2x2)。其中，量化函数sgn(·)表示在将投影得到的实值表示量化为离散的二值码表示，以便后续的检索。
利用学习到的样本外扩展映射得到对应的哈希码，根据所述施工现场数据的哈希码与检索库中的哈希码之间的海明距离，并按照海明距离从小到大的次序返回相关描述的目标文本或目标图像。
实施例二
本发明实施例还提供一种面向智慧工地的跨模态检索系统，包括：
数据获取模块，用于获取施工现场的标注数据和未标注数据，所述标注数据包括至少两种不同模态数据的数据特征和对应的标注信息；
信息确定模块，用于根据所述标注数据对预先构建的分类器进行训练，利用训练好的分类器预测所述未标注数据所属的类别以及对应的类别概率，根据所述类别和类别概率确定所述未标注数据的标注信息；
哈希学习模块，用于在哈希码学习过程中，利用所述标注数据的标注信息、不同模态数据对应标注信息之间的跨模态相似关系和未标注数据的标注信息指导样本外扩展映射的学习；
检索模块，用于接收待检索的施工现场数据，利用学习到的样本外扩展映射得到对应的哈希码，根据所述施工现场数据的哈希码与检索库中的哈希码之间的海明距离，确定对应的检索结果。
可选的，所述未标注数据包括未标注图像数据和未标注文本数据，所述哈希学习模块用于根据未标注图像数据的标注信息和标注数据的标注信息构建第一标注信息矩阵，根据标注数据的标注信息和未标注文本数据的标注信息构建第二标注信息矩阵；根据所述第一标注信息矩阵和所述第二标注信息矩阵的内积确定跨模态相似关系。
可选的，所述哈希学习模块还用于在哈希码学习过程中，对未标注数据的标注信息赋予预设的权重，利用所述标注数据的标注信息、不同模态数据对应标注信息之间的跨模态相似关系和带有权重的未标注数据的标注信息指导样本外扩展映射的学习。
其中，所述哈希学习模块具体用于根据所述标注数据的标注信息、不同模态数据对应标注信息之间的跨模态相似关系和带有权重的未标注数据的标注信息构造损失函数，通过最小化所述损失函数，得到不同模态数据对应的哈希码和样本外扩展映射。
本实施例提供的面向智慧工地的跨模态检索系统用于实现前述的面向智慧工地的跨模态检索方法，因此面向智慧工地的跨模态检索系统中的具体实施方式可见前文中的面向智慧工地的跨模态检索方法的实施例部分，在此不再进行赘述。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种面向智慧工地的跨模态检索方法，其特征在于，包括：
获取施工现场的标注数据和未标注数据，所述标注数据包括至少两种不同模态数据的数据特征和对应的标注信息；
根据所述标注数据对预先构建的分类器进行训练，利用训练好的分类器预测所述未标注数据所属的类别以及对应的类别概率，根据所述类别和类别概率确定所述未标注数据的标注信息；
在哈希码学习过程中，利用所述标注数据的标注信息、不同模态数据对应标注信息之间的跨模态相似关系和未标注数据的标注信息指导样本外扩展映射的学习；
接收待检索的施工现场数据，利用学习到的样本外扩展映射得到对应的哈希码，根据所述施工现场数据的哈希码与检索库中的哈希码之间的海明距离，确定对应的检索结果。
2.如权利要求1所述的面向智慧工地的跨模态检索方法，其特征在于，所述分类器包括至少一棵决策树，叶子节点与标注数据的数据特征相匹配，所述类别为基于所述标注数据遍历所述决策树得到；
根据所述未标注数据的数据特征、分类器中叶子节点的类别和相应类别概率的映射关系，得到所述未标注数据所属的类别以及对应的类别标签。
3.如权利要求1所述的面向智慧工地的跨模态检索方法，其特征在于，根据所述类别和类别概率确定所述未标注数据的标注信息，包括：
根据所述未标注数据的类别概率，选取出预设数量的目标未标注数据；根据所述目标未标注数据所属的类别，确定对应的标注信息。
4.如权利要求1所述的面向智慧工地的跨模态检索方法，其特征在于，所述未标注数据包括未标注图像数据和未标注文本数据，根据未标注图像数据的标注信息和标注数据的标注信息构建第一标注信息矩阵，根据标注数据的标注信息和未标注文本数据的标注信息构建第二标注信息矩阵；根据所述第一标注信息矩阵和所述第二标注信息矩阵的内积确定跨模态相似关系。
5.如权利要求1所述的面向智慧工地的跨模态检索方法，其特征在于，还包括：在哈希码学习过程中，对未标注数据的标注信息赋予预设的权重，利用所述标注数据的标注信息、不同模态数据对应标注信息之间的跨模态相似关系和带有权重的未标注数据的标注信息指导样本外扩展映射的学习。
6.如权利要求5所述的面向智慧工地的跨模态检索方法，其特征在于，根据所述标注数据的标注信息、不同模态数据对应标注信息之间的跨模态相似关系和带有权重的未标注数据的标注信息构造损失函数，通过最小化所述损失函数，得到不同模态数据对应的哈希码和样本外扩展映射。
7.一种面向智慧工地的跨模态检索系统，其特征在于，包括：
数据获取模块，用于获取施工现场的标注数据和未标注数据，所述标注数据包括至少两种不同模态数据的数据特征和对应的标注信息；
信息确定模块，用于根据所述标注数据对预先构建的分类器进行训练，利用训练好的分类器预测所述未标注数据所属的类别以及对应的类别概率，根据所述类别和类别概率确定所述未标注数据的标注信息；
哈希学习模块，用于在哈希码学习过程中，利用所述标注数据的标注信息、不同模态数据对应标注信息之间的跨模态相似关系和未标注数据的标注信息指导样本外扩展映射的学习；
检索模块，用于接收待检索的施工现场数据，利用学习到的样本外扩展映射得到对应的哈希码，根据所述施工现场数据的哈希码与检索库中的哈希码之间的海明距离，确定对应的检索结果。
8.如权利要求7所述的面向智慧工地的跨模态检索系统，其特征在于，所述未标注数据包括未标注图像数据和未标注文本数据，所述哈希学习模块用于根据未标注图像数据的标注信息和标注数据的标注信息构建第一标注信息矩阵，根据标注数据的标注信息和未标注文本数据的标注信息构建第二标注信息矩阵；根据所述第一标注信息矩阵和所述第二标注信息矩阵的内积确定跨模态相似关系。
9.如权利要求7所述的面向智慧工地的跨模态检索系统，其特征在于，所述哈希学习模块还用于在哈希码学习过程中，对未标注数据的标注信息赋予预设的权重，利用所述标注数据的标注信息、不同模态数据对应标注信息之间的跨模态相似关系和带有权重的未标注数据的标注信息指导样本外扩展映射的学习。
10.如权利要求9所述的面向智慧工地的跨模态检索系统，其特征在于，所述哈希学习模块具体用于根据所述标注数据的标注信息、不同模态数据对应标注信息之间的跨模态相似关系和带有权重的未标注数据的标注信息构造损失函数，通过最小化所述损失函数，得到不同模态数据对应的哈希码和样本外扩展映射。
CN202310083937.9A 2023-02-09 2023-02-09 一种面向智慧工地的跨模态检索方法及系统 Active CN115828176B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310083937.9A CN115828176B (zh) 2023-02-09 2023-02-09 一种面向智慧工地的跨模态检索方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310083937.9A CN115828176B (zh) 2023-02-09 2023-02-09 一种面向智慧工地的跨模态检索方法及系统

Publications (2)

Publication Number Publication Date
CN115828176A true CN115828176A (zh) 2023-03-21
CN115828176B CN115828176B (zh) 2023-05-30

Family

ID=85520925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310083937.9A Active CN115828176B (zh) 2023-02-09 2023-02-09 一种面向智慧工地的跨模态检索方法及系统

Country Status (1)

Country Link
CN (1) CN115828176B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113326289A (zh) * 2021-08-02 2021-08-31 山东大学 面向携带新类别的增量数据的快速跨模态检索方法及系统
CN113656700A (zh) * 2021-08-26 2021-11-16 鲁东大学 基于多相似度一致矩阵分解的哈希检索方法
CN114117153A (zh) * 2022-01-25 2022-03-01 山东建筑大学 一种基于相似度重学习的在线跨模态检索方法及系统
CN114329109A (zh) * 2022-03-15 2022-04-12 山东建筑大学 基于弱监督哈希学习的多模态检索方法及系统
WO2022104540A1 (zh) * 2020-11-17 2022-05-27 深圳大学 一种跨模态哈希检索方法、终端设备及存储介质
WO2022155994A1 (zh) * 2021-01-21 2022-07-28 深圳大学 基于注意力的深度跨模态哈希检索方法、装置及相关设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022104540A1 (zh) * 2020-11-17 2022-05-27 深圳大学 一种跨模态哈希检索方法、终端设备及存储介质
WO2022155994A1 (zh) * 2021-01-21 2022-07-28 深圳大学 基于注意力的深度跨模态哈希检索方法、装置及相关设备
CN113326289A (zh) * 2021-08-02 2021-08-31 山东大学 面向携带新类别的增量数据的快速跨模态检索方法及系统
CN113656700A (zh) * 2021-08-26 2021-11-16 鲁东大学 基于多相似度一致矩阵分解的哈希检索方法
CN114117153A (zh) * 2022-01-25 2022-03-01 山东建筑大学 一种基于相似度重学习的在线跨模态检索方法及系统
CN114329109A (zh) * 2022-03-15 2022-04-12 山东建筑大学 基于弱监督哈希学习的多模态检索方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SARAWUT MARKCHIT ET AL.: ""Hash Code Indexing in Cross-Modal Retrieval"", 《IEEE》 *
刘昊鑫;吴小俊;庾骏;: "联合哈希特征和分类器学习的跨模态检索算法", 模式识别与人工智能 *

Also Published As

Publication number Publication date
CN115828176B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN110224987B (zh) 基于迁移学习的网络入侵检测模型的构建方法、检测系统
WO2022134592A1 (zh) 地址信息解析方法、装置、设备及存储介质
CN109376092A (zh) 一种面向缺陷补丁代码的软件缺陷原因自动分析方法
CN112541355A (zh) 一种实体边界类别解耦的少样本命名实体识别方法与系统
CN107357765B (zh) Word文档碎片化方法及装置
CN113254507B (zh) 一种数据资产目录智能构建盘点方法
CN113138920B (zh) 基于知识图谱与语义角色标注的软件缺陷报告分派方法及装置
CN105069483B (zh) 一种对分类数据集进行测试的方法
WO2022048194A1 (zh) 事件主体识别模型优化方法、装置、设备及可读存储介质
CN115357719B (zh) 基于改进bert模型的电力审计文本分类方法及装置
CN108848065B (zh) 一种网络入侵检测方法、系统、介质及设备
CN116484024A (zh) 一种基于知识图谱的多层次知识库构建方法
CN113918512A (zh) 电网运行规则知识图谱构建系统及方法
CN115730602A (zh) 文本关键要素抽取方法、系统、存储介质和电子设备
CN110188207B (zh) 知识图谱构建方法及装置、可读存储介质、电子设备
CN113570348A (zh) 一种简历筛选方法
CN115828176A (zh) 一种面向智慧工地的跨模态检索方法及系统
CN116226404A (zh) 一种针对肠-脑轴的知识图谱构建方法及知识图谱系统
CN113515677B (zh) 地址匹配方法、装置及计算机可读存储介质
CN114595695A (zh) 一种用于少样本意图识别系统的自训练模型构建方法
CN114792091A (zh) 基于词汇增强的中文地址要素解析方法、设备及存储介质
CN111199259B (zh) 标识转换方法、装置和计算机可读存储介质
CN105824871A (zh) 一种图片检测方法与设备
CN112860903B (zh) 一种融入约束信息的远程监督关系抽取方法
US20230315769A1 (en) A method for address matching and related electronic device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant