CN117611845B - 多模态数据的关联识别方法、装置、设备及存储介质 - Google Patents

多模态数据的关联识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117611845B
CN117611845B CN202410097011.XA CN202410097011A CN117611845B CN 117611845 B CN117611845 B CN 117611845B CN 202410097011 A CN202410097011 A CN 202410097011A CN 117611845 B CN117611845 B CN 117611845B
Authority
CN
China
Prior art keywords
data
modal data
identified
modal
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410097011.XA
Other languages
English (en)
Other versions
CN117611845A (zh
Inventor
李泉
初宇飞
肖红梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Communication Information System Co Ltd
Original Assignee
Inspur Communication Information System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Communication Information System Co Ltd filed Critical Inspur Communication Information System Co Ltd
Priority to CN202410097011.XA priority Critical patent/CN117611845B/zh
Publication of CN117611845A publication Critical patent/CN117611845A/zh
Application granted granted Critical
Publication of CN117611845B publication Critical patent/CN117611845B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种多模态数据的关联识别方法、装置、设备及存储介质，涉及电数字数据处理技术领域，方法包括：获取待识别多模态数据；将待识别多模态数据输入至意图识别模型，获得意图识别模型输出的待识别多模态数据对应的意图识别结果；将待识别多模态数据和意图识别结果输入至语义空间模型，获得语义空间模型输出的待识别多模态数据的融合特征向量；将融合特征向量输入至多模态信息关联模型，获得多模态信息关联模型输出的待识别多模态数据的关联识别结果。通过上述方式，不仅拓宽了多模态数据关联识别的范围，还实现了特征的准确提取，保证关联识别结果的准确性，实现多模态数据关联的准确识别。

Description

多模态数据的关联识别方法、装置、设备及存储介质
技术领域
本发明涉及电数字数据处理技术领域，尤其涉及一种多模态数据的关联识别方法、装置、设备及存储介质。
背景技术
多模态数据指的是不同来源或不同模态的数据，例如文本、图像、音频、视频等。不同模态的数据可能存在关联，研究和应用多模态数据的关联关系对认知科学、人工智能和人机交互等领域具有重要意义。因此，如何对多模态数据进行自动化分析与关联，成为了一个热门的研究课题。
目前，已有通过人工智能模型对文本和图像进行关联识别的方案，以及通过人工智能模型对文本和视频进行关联识别的方案。
但是，现有的技术方案仅能实现文本与其他模态数据的关联识别，应用范围有限；另外，由于多模态数据存在异构性，导致模型提取到的特征存在较大局限性，进而影响模型输出的关联识别结果的准确性。因此，现有的技术方案不仅应用范围有限，还难以实现多模态数据关联的准确识别。
发明内容
本发明提供一种多模态数据的关联识别方法、装置、设备及存储介质，用以解决现有技术应用范围有限，难以实现多模态数据关联的准确识别的缺陷。
本发明提供一种多模态数据的关联识别方法，包括：获取待识别多模态数据；待识别多模态数据包括待识别文本、待识别图像、待识别音频、待识别视频中的至少两种；将待识别多模态数据输入至意图识别模型，获得意图识别模型输出的待识别多模态数据对应的意图识别结果；意图识别模型是基于样本多模态数据和样本多模态数据对应的意图识别结果标签训练得到的；将待识别多模态数据和意图识别结果输入至语义空间模型，获得语义空间模型输出的待识别多模态数据的融合特征向量；语义空间模型是基于样本多模态数据、样本多模态数据对应的意图识别结果标签和样本多模态数据对应的融合特征向量训练得到的；将融合特征向量输入至多模态信息关联模型，获得多模态信息关联模型输出的待识别多模态数据的关联识别结果；多模态信息关联模型是基于样本多模态数据对应的融合特征向量和样本多模态数据对应的关联识别结果标签训练得到的。
根据本发明提供的一种多模态数据的关联识别方法，语义空间模型包括第一神经网络组、第二神经网络组和第三神经网络组；将待识别多模态数据和意图识别结果输入至语义空间模型，获得语义空间模型输出的待识别多模态数据的融合特征向量，包括：将待识别多模态数据和意图识别结果输入至语义空间模型的第一神经网络组，获得第一神经网络组输出的待识别多模态数据对应的多模态特征向量；将多模态特征向量输入至语义空间模型的第二神经网络组，获得第二神经网络组输出的待识别多模态数据的相似性度量结果和相关性度量结果；将多模态特征向量、相似性度量结果和相关性度量结果输入至语义空间模型的第三神经网络组，获得第三神经网络组输出的待识别多模态数据的融合特征向量。
根据本发明提供的一种多模态数据的关联识别方法，将待识别多模态数据和意图识别结果输入至语义空间模型，获得语义空间模型输出的待识别多模态数据的融合特征向量之前，还包括：获取样本多模态数据、样本多模态数据对应的意图识别结果标签和样本多模态数据对应的融合特征向量；样本多模态数据包括样本文本、样本图像、样本音频、样本视频；基于样本多模态数据、样本多模态数据对应的意图识别结果标签和样本多模态数据对应的融合特征向量，对第一初始模型进行无监督学习训练，得到语义空间模型。
根据本发明提供的一种多模态数据的关联识别方法，意图识别模型包括特征提取网络和分类网络；将待识别多模态数据输入至意图识别模型，获得意图识别模型输出的待识别多模态数据对应的意图识别结果，包括：将待识别多模态数据输入至意图识别模型的特征提取网络，获得特征提取网络输出的待识别多模态数据对应的意图特征向量；将意图特征向量输入至意图识别模型的分类网络，获得分类网络输出的待识别多模态数据对应的意图识别结果。
根据本发明提供的一种多模态数据的关联识别方法，将待识别多模态数据输入至意图识别模型，获得意图识别模型输出的待识别多模态数据对应的意图识别结果之前，还包括：获取样本多模态数据和样本多模态数据对应的意图识别结果标签；样本多模态数据包括样本文本、样本图像、样本音频、样本视频；基于样本多模态数据和样本多模态数据对应的意图识别结果标签，对第二初始模型进行训练，得到意图识别模型。
根据本发明提供的一种多模态数据的关联识别方法，获取待识别多模态数据，包括：获取原始多模态数据；原始多模态数据包括原始文本、原始图像、原始音频、原始视频中的至少两种；对原始多模态数据进行数据清洗处理，获得第一中间数据；对第一中间数据进行特征提取处理，获得第二中间数据；对第二中间数据进行降噪处理，获得待识别多模态数据。
根据本发明提供的一种多模态数据的关联识别方法，将融合特征向量输入至多模态信息关联模型，获得多模态信息关联模型输出的待识别多模态数据的关联识别结果之后，还包括：响应于用户的检索指令，对目标多模态数据进行检索，获取目标多模态数据的关联识别结果；输出并展示目标多模态数据的关联识别结果。
本发明还提供一种多模态数据的关联识别装置，包括：获取模块，用于获取待识别多模态数据；待识别多模态数据包括待识别文本、待识别图像、待识别音频、待识别视频中的至少两种；意图识别模块，用于将待识别多模态数据输入至意图识别模型，获得意图识别模型输出的待识别多模态数据对应的意图识别结果；意图识别模型是基于样本多模态数据和样本多模态数据对应的意图识别结果标签训练得到的；特征提取模块，用于将待识别多模态数据和意图识别结果输入至语义空间模型，获得语义空间模型输出的待识别多模态数据的融合特征向量；语义空间模型是基于样本多模态数据、样本多模态数据对应的意图识别结果标签和样本多模态数据对应的融合特征向量训练得到的；关联识别模块，用于将融合特征向量输入至多模态信息关联模型，获得多模态信息关联模型输出的待识别多模态数据的关联识别结果；多模态信息关联模型是基于样本多模态数据对应的融合特征向量和样本多模态数据对应的关联识别结果标签训练得到的。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述多模态数据的关联识别方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述多模态数据的关联识别方法。
本发明提供的一种多模态数据的关联识别方法、装置、设备及存储介质，待识别多模态数据包括待识别文本、待识别图像、待识别音频、待识别视频中的至少两种，拓宽了多模态数据关联识别的范围；在获取待识别多模态数据之后，先通过意图识别模型对待识别多模态数据进行意图识别，获得意图识别结果，再将待识别多模态数据和意图识别结果输入至语义空间模型，获得待识别多模态数据的融合特征向量，最后将融合特征向量输入至多模态信息关联模型，获得待识别多模态数据的关联识别结果，由于意图识别结果可反映不同模态数据的意图关联，因此将意图识别结果和多模态数据共同作为语义空间模型的输入，可为语义空间模型提供更丰富的关联信息，使得语义空间模型生成的融合特征向量包含更丰富的特征信息，实现特征的准确提取，进而可保证后续多模态信息关联模型输出的关联识别结果的准确性，实现多模态数据关联的准确识别。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的多模态数据的关联识别方法的流程示意图之一；
图2是本发明提供的多模态数据的关联识别方法的流程示意图之二；
图3是本发明提供的多模态数据的关联识别装置的结构示意图之一；
图4是本发明提供的多模态数据的关联识别装置的结构示意图之二；
图5是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，图1是本发明提供的多模态数据的关联识别方法的流程示意图之一。在本实施例中，多模态数据的关联识别方法具体包括步骤S110至步骤S140，各步骤具体如下：
S110：获取待识别多模态数据。
待识别多模态数据包括待识别文本、待识别图像、待识别音频、待识别视频中的至少两种。
具体地，获取待识别文本、待识别图像、待识别音频、待识别视频中的至少两种，作为后续模型的输入。
可选地，每一种模态数据的获取数量可以根据实际需要确定。
例如，可以同时获取多个待识别音频和多个待识别图像，也可以获取一个待识别文本、一个待识别音频、多个待识别视频和多个待识别图像。
S120：将待识别多模态数据输入至意图识别模型，获得意图识别模型输出的待识别多模态数据对应的意图识别结果。
意图识别模型是基于样本多模态数据和样本多模态数据对应的意图识别结果标签训练得到的。
具体地，将待识别多模态数据输入至意图识别模型，意图识别模型可从待识别多模态数据中提取不同模态数据的意图信息，识别不同模态数据之间的意图关联，生成并输出待识别多模态数据对应的意图识别结果，作为后续模型的输入，为后续模型提供更丰富的参考信息。
例如，飞行器的音频信息可反映飞行器组件的工作状态，从飞行器组件的工作状态可推测飞行器的飞行姿态意图；飞行器的视频信息可反映飞行器的航线变换意图。获取某飞行器的待识别音频和待识别视频，将待识别音频和待识别视频输入至意图识别模型，意图识别模型可分别从待识别音频和待识别视频中提取该飞行器的飞行姿态意图信息和航线变换意图信息，生成并输出待识别音频对应的意图识别结果和待识别视频的意图识别结果。
S130：将待识别多模态数据和意图识别结果输入至语义空间模型，获得语义空间模型输出的待识别多模态数据的融合特征向量。
语义空间模型是基于样本多模态数据、样本多模态数据对应的意图识别结果标签和样本多模态数据对应的融合特征向量训练得到的。
由于多模态数据存在异构性，导致不同模态数据具有不同的特征度量属性和标准化表示，因此需要对多模态数据进行统一的特征处理，以便于进行后续的关联识别。
具体地，将待识别多模态数据和意图识别结果输入至语义空间模型，由语义空间模型进行统一的特征处理，生成并输出每一模态数据对应的融合特征向量。
融合特征向量可反映该模态数据与其他数据的关联程度。
例如，将待识别文本A和待识别文本A对应的意图识别结果、待识别文本B和待识别文本B对应的意图识别结果、待识别图像C和待识别图像C对应的意图识别结果输入至语义空间模型，语义空间模型可分别输出的待识别文本A对应的融合特征向量A1、待识别文本B对应的融合特征向量B1和待识别图像C对应的融合特征向量C1。
其中，融合特征向量A1可反映待识别文本A与待识别文本B、待识别图像C的关联程度；融合特征向量B1可反映待识别文本B与待识别文本A、待识别图像C的关联程度；融合特征向量C1可反映待识别图像C与待识别文本A、待识别文本B的关联程度。
S140：将融合特征向量输入至多模态信息关联模型，获得多模态信息关联模型输出的待识别多模态数据的关联识别结果。
多模态信息关联模型是基于样本多模态数据对应的融合特征向量和样本多模态数据对应的关联识别结果标签训练得到的。
具体地，将融合特征向量输入至多模态信息关联模型，多模态信息关联模型根据融合特征向量包含的不同模态数据之间的关联程度信息，生成并输出待识别多模态数据的关联识别结果。
优选地，关联识别结果包括关联度评分。
待识别多模态数据之间可能存在关联，也可能不存在关联，即使部分待识别多模态数据之间存在关联，其关联程度也可能不一样，因此，可根据关联度评分判断不同模态数据之间的关联性。
优选地，多模态信息关联模型可基于无监督学习的方式训练得到，以实现多模态数据的无监督关联。
本实施例提供的一种多模态数据的关联识别方法，待识别多模态数据包括待识别文本、待识别图像、待识别音频、待识别视频中的至少两种，拓宽了多模态数据关联识别的范围；在获取待识别多模态数据之后，先通过意图识别模型对待识别多模态数据进行意图识别，获得意图识别结果，再将待识别多模态数据和意图识别结果输入至语义空间模型，获得待识别多模态数据的融合特征向量，最后将融合特征向量输入至多模态信息关联模型，获得待识别多模态数据的关联识别结果，由于意图识别结果可反映不同模态数据的意图关联，因此将意图识别结果和多模态数据共同作为语义空间模型的输入，可为语义空间模型提供更丰富的关联信息，使得语义空间模型生成的融合特征向量包含更丰富的特征信息，实现特征的准确提取，进而可保证后续多模态信息关联模型输出的关联识别结果的准确性，实现多模态数据关联的准确识别。
在一些实施例中，语义空间模型包括第一神经网络组、第二神经网络组和第三神经网络组。
将待识别多模态数据和意图识别结果输入至语义空间模型，获得语义空间模型输出的待识别多模态数据的融合特征向量，包括：将待识别多模态数据和意图识别结果输入至语义空间模型的第一神经网络组，获得第一神经网络组输出的待识别多模态数据对应的多模态特征向量；将多模态特征向量输入至语义空间模型的第二神经网络组，获得第二神经网络组输出的待识别多模态数据的相似性度量结果和相关性度量结果；将多模态特征向量、相似性度量结果和相关性度量结果输入至语义空间模型的第三神经网络组，获得第三神经网络组输出的待识别多模态数据的融合特征向量。
由于多模态数据存在异构性，导致不同模态数据具有不同的特征度量属性和标准化表示，因此需要对多模态数据进行统一的特征处理，以便于进行后续的关联识别。
具体地，将待识别多模态数据和意图识别结果输入至语义空间模型的第一神经网络组，第一神经网络组可根据待识别多模态数据和待识别多模态数据对应的意图识别结果进行特征提取处理和特征向量化处理，从而将不同模态的数据映射到相同的多模态语义空间，使得不同模态的数据具有统一的特征表达形式，生成待识别多模态数据对应的多模态特征向量，实现多模态数据的特征表示。
其中，多模态特征向量是高维向量。
具体地，第一神经网络组可为每一种模态数据生成对应的特征向量。
进一步地，将每一种模态数据对应的特征向量，即多模态特征向量，输入至语义空间模型的第二神经网络组，第二神经网络组可根据不同模态数据对应的特征向量进行相似性度量计算和相关性度量计算，生成待识别多模态数据的相似性度量结果和相关性度量结果。
具体地，第二神经网络组可实现不同特征向量之间的对齐映射，针对任意两个特征向量，第二神经网络组可计算两个特征向量之间的余弦相似性和/或欧几里得距离，由于特征向量之间的余弦相似性和欧几里得距离可以反映特征向量的相似性，因此可进一步根据两个特征向量之间的余弦相似性和/或欧几里得距离生成相似性度量结果。
一般地，两个特征向量越相似，则说明两个特征向量的关联越大。
具体地，在获得相似性度量结果之后，第二神经网络组可对相似性度量结果进行学习和计算，生成相关性度量结果。
优选地，在生成相似性度量结果和相关性度量结果的过程中，需要综合考虑不同模态数据对应的特征向量的维度差异、均衡性和有效性等因素，提高生成的相似性度量结果和相关性度量结果的准确性。
进一步地，将多模态特征向量、相似性度量结果和相关性度量结果输入至语义空间模型的第三神经网络组，第三神经网络组可根据多模态特征向量、相似性度量结果和相关性度量结果确定不同模态数据对应的特征向量的参考权重，以便于进行特征选择和特征归一化处理，生成待识别多模态数据的融合特征向量，实现多模态数据的特征融合处理，以便于进行后续的关联识别，确保后续关联识别结果的准确性和可解释性。
本实施例提供的一种多模态数据的关联识别方法，语义空间模型包括第一神经网络组、第二神经网络组和第三神经网络组，通过第一神经网络组实现多模态数据的特征表示，通过第二神经网络组实现多模态数据的相似性度量和相关性度量，通过第三神经网络组实现多模态数据的特征融合处理，生成待识别多模态数据的融合特征向量，使得不同模态的数据具有统一的特征表达形式，以便于进行后续的关联识别，确保后续关联识别结果的准确性和可解释性。
在一些实施例中，将待识别多模态数据和意图识别结果输入至语义空间模型，获得语义空间模型输出的待识别多模态数据的融合特征向量之前，还包括：获取样本多模态数据、样本多模态数据对应的意图识别结果标签和样本多模态数据对应的融合特征向量；样本多模态数据包括样本文本、样本图像、样本音频、样本视频；基于样本多模态数据、样本多模态数据对应的意图识别结果标签和样本多模态数据对应的融合特征向量，对第一初始模型进行无监督学习训练，得到语义空间模型。
无监督学习是机器学习中的一种训练方式或学习方式，其优势在于仅需要少量的标注数据即可实现模型的训练，从而摆脱了模型对大量标注数据的依赖，降低模型训练的成本。
具体地，基于样本多模态数据、样本多模态数据对应的意图识别结果标签和样本多模态数据对应的融合特征向量，对第一初始模型进行无监督学习训练，使得第一初始模型可从少量的标注数据中自动学习和训练，生成跨模态的语义空间模型。
优选地，第一初始模型是基于潜类别分析算法（Latent Class Analysis，LCA）/主题分析法（Thematic Analysis）/聚类分析法构建的。
本实施例提供的一种多模态数据的关联识别方法，采用无监督学习的方式训练得到跨模态的语义空间模型，可摆脱模型对大量标注数据的依赖，降低模型训练的成本，生成的模型精度高，有利于提高后续多模态数据关联识别的精度和可靠性，进而可为用户提供更全面、更准确的数据自动化关联分析服务。
在一些实施例中，意图识别模型包括特征提取网络和分类网络。
将待识别多模态数据输入至意图识别模型，获得意图识别模型输出的待识别多模态数据对应的意图识别结果，包括：将待识别多模态数据输入至意图识别模型的特征提取网络，获得特征提取网络输出的待识别多模态数据对应的意图特征向量；将意图特征向量输入至意图识别模型的分类网络，获得分类网络输出的待识别多模态数据对应的意图识别结果。
意图识别模型采用基于意图的识别策略准则，从多模态数据中提取不同模态数据的意图信息，生成意图识别结果，为后续模型提供更丰富的参考信息，辅助后续多模态数据的关联识别。
具体地，将待识别多模态数据输入至意图识别模型的特征提取网络，特征提取网络可从待识别多模态数据中提取有效特征，生成待识别多模态数据对应的意图特征向量。
具体地，针对待识别文本，意图识别模型可提取文本特征，生成待识别文本对应的文本意图特征向量；针对待识别图像，意图识别模型可提取图像特征，生成待识别图像对应的图像意图特征向量；针对待识别音频，意图识别模型可提取音频特征，生成待识别音频对应的音频意图特征向量；针对待识别视频，意图识别模型可提取视频特征，生成待识别视频对应的视频意图特征向量。
进一步地，将意图特征向量输入至意图识别模型的分类网络，分类网络可对意图特征向量进行分类识别，生成待识别多模态数据对应的意图识别结果。
本实施例提供的一种多模态数据的关联识别方法，意图识别模型包括特征提取网络和分类网络，通过特征提取网络实现多模态数据的意图特征提取，通过分类网络实现多模态数据的意图分类识别，生成待识别多模态数据对应的意图识别结果，为后续模型提供更丰富的参考信息，可辅助后续多模态数据的关联识别。
在一些实施例中，将待识别多模态数据输入至意图识别模型，获得意图识别模型输出的待识别多模态数据对应的意图识别结果之前，还包括：获取样本多模态数据和样本多模态数据对应的意图识别结果标签；样本多模态数据包括样本文本、样本图像、样本音频、样本视频；基于样本多模态数据和样本多模态数据对应的意图识别结果标签，对第二初始模型进行训练，得到意图识别模型。
优选地，第二初始模型是基于支持向量机算法/贝叶斯算法/人工神经网络算法构建的。
在一些实施例中，获取待识别多模态数据，包括：获取原始多模态数据；原始多模态数据包括原始文本、原始图像、原始音频、原始视频中的至少两种；对原始多模态数据进行数据清洗处理，获得第一中间数据；对第一中间数据进行特征提取处理，获得第二中间数据；对第二中间数据进行降噪处理，获得待识别多模态数据。
具体地，获取原始文本、原始图像、原始音频、原始视频中的至少两种。
其中，若获取的待识别多模态数据中包含原始音频或原始视频，则需要对原始音频或原始视频进行解码、切分等处理，降低数据的处理量。
进一步地，对原始多模态数据进行数据清洗处理，去除原始多模态数据中的异常数据或重复数据，降低后续模型的数据处理量，获得第一中间数据。
进一步地，对第一中间数据进行特征提取处理，保留有价值的关键信息，获得第二中间数据。
进一步地，对第二中间数据进行降噪处理，去除第二中间数据的冗余信息和噪声，获得待识别多模态数据。
本实施例提供的一种多模态数据的关联识别方法，获取原始多模态数据之后，对原始多模态数据进行数据清洗、特征提取、降噪等数据预处理，去除了原始多模态数据中的冗余信息和无关噪声，生成待识别多模态数据，可提高待识别多模态数据的质量和可靠性，降低后续模型的数据处理量，有利于提高模型的处理效率。
在一些实施例中，将融合特征向量输入至多模态信息关联模型，获得多模态信息关联模型输出的待识别多模态数据的关联识别结果之后，还包括：响应于用户的检索指令，对目标多模态数据进行检索，获取目标多模态数据的关联识别结果；输出并展示目标多模态数据的关联识别结果。
具体地，在获得待识别多模态数据的关联识别结果之后，基于关联识别结果建立关键词索引。
例如，针对待识别文本、待识别图像、待识别音频和待识别视频，假设待识别文本包含关于猫的描述，待识别音频为猫的叫声，待识别图像为狗的图像，待识别视频为狗的活动视频，则待识别多模态数据之间的关联识别结果为待识别文本和待识别音频之间存在关联，待识别图像和待识别视频之间存在关联。此时，基于关联识别结果可分别建立索引关键词“猫”和“狗”；其中，索引关键词“猫”可对应待识别文本和待识别音频，索引关键词“狗”可对应待识别图像和待识别视频。
可以理解地，用户可能仅需要获取特定信息的关联关系。因此，可根据用户输入的索引关键词，生成对应的检索指令，以查询和检索用户所需获取的特定信息的关联关系。
进一步地，响应于用户的检索指令，根据检索指令携带的索引关键词信息，对目标多模态数据进行检索，获取目标多模态数据的关联识别结果，并将目标多模态数据的关联识别结果以可视化的形式呈现给用户，使用户可以更好地理解多模态数据之间的联系和结构，提高用户体验。
本实施例提供的一种多模态数据的关联识别方法，在获得待识别多模态数据的关联识别结果之后，基于关联识别结果建立关键词索引，便于根据用户的检索指令进行查询和检索，帮助用户获取特定信息的关联识别结果，并将目标多模态数据的关联识别结果以可视化的形式呈现给用户，使用户可以更好地理解多模态数据之间的联系和结构，提高用户体验；同时，通过建立关键词索引，可提高数据查询的效率，具有较高的实用性和市场价值。
本发明还提供多模态数据的关联识别方法的一个具体的实例。请参阅图2，图2是本发明提供的多模态数据的关联识别方法的流程示意图之二。
如图2所示，在获取原始多模态数据之后，对原始多模态数据进行数据预处理，获得待识别多模态数据。
进一步地，将待识别多模态数据输入至意图识别模型，进行多模态数据的意图识别，获得意图识别模型输出的待识别多模态数据对应的意图识别结果。
进一步地，将待识别多模态数据和意图识别结果输入至语义空间模型，进行多模态数据的特征提取和特征融合，获得语义空间模型输出的待识别多模态数据的融合特征向量。
进一步地，将融合特征向量输入至多模态信息关联模型，进行多模态数据的关联识别，获得多模态信息关联模型输出的待识别多模态数据的关联识别结果。
进一步地，在获得待识别多模态数据的关联识别结果之后，基于关联识别结果建立关键词索引；响应于用户的检索指令，对目标多模态数据进行检索，获取目标多模态数据的关联识别结果，输出并展示目标多模态数据的关联识别结果。
本发明还提供了一种多模态数据的关联识别装置。请参阅图3，图3是本发明提供的多模态数据的关联识别装置的结构示意图之一，在本实施例中，多模态数据的关联识别装置包括获取模块310、意图识别模块320、特征提取模块330和关联识别模块340。
获取模块310，用于获取待识别多模态数据。
待识别多模态数据包括待识别文本、待识别图像、待识别音频、待识别视频中的至少两种。
意图识别模块320，用于将待识别多模态数据输入至意图识别模型，获得意图识别模型输出的待识别多模态数据对应的意图识别结果。
意图识别模型是基于样本多模态数据和样本多模态数据对应的意图识别结果标签训练得到的。
特征提取模块330，用于将待识别多模态数据和意图识别结果输入至语义空间模型，获得语义空间模型输出的待识别多模态数据的融合特征向量。
语义空间模型是基于样本多模态数据、样本多模态数据对应的意图识别结果标签和样本多模态数据对应的融合特征向量训练得到的。
关联识别模块340，用于将融合特征向量输入至多模态信息关联模型，获得多模态信息关联模型输出的待识别多模态数据的关联识别结果。
多模态信息关联模型是基于样本多模态数据对应的融合特征向量和样本多模态数据对应的关联识别结果标签训练得到的。
在一些实施例中，语义空间模型包括第一神经网络组、第二神经网络组和第三神经网络组。
特征提取模块330，用于将待识别多模态数据和意图识别结果输入至语义空间模型的第一神经网络组，获得第一神经网络组输出的待识别多模态数据对应的多模态特征向量；将多模态特征向量输入至语义空间模型的第二神经网络组，获得第二神经网络组输出的待识别多模态数据的相似性度量结果和相关性度量结果；将多模态特征向量、相似性度量结果和相关性度量结果输入至语义空间模型的第三神经网络组，获得第三神经网络组输出的待识别多模态数据的融合特征向量。
在一些实施例中，将待识别多模态数据和意图识别结果输入至语义空间模型，获得语义空间模型输出的待识别多模态数据的融合特征向量之前，还包括：获取样本多模态数据、样本多模态数据对应的意图识别结果标签和样本多模态数据对应的融合特征向量；样本多模态数据包括样本文本、样本图像、样本音频、样本视频；基于样本多模态数据、样本多模态数据对应的意图识别结果标签和样本多模态数据对应的融合特征向量，对第一初始模型进行无监督学习训练，得到语义空间模型。
在一些实施例中，意图识别模型包括特征提取网络和分类网络。
意图识别模块320，用于将待识别多模态数据输入至意图识别模型的特征提取网络，获得特征提取网络输出的待识别多模态数据对应的意图特征向量；将意图特征向量输入至意图识别模型的分类网络，获得分类网络输出的待识别多模态数据对应的意图识别结果。
在一些实施例中，将待识别多模态数据输入至意图识别模型，获得意图识别模型输出的待识别多模态数据对应的意图识别结果之前，还包括：获取样本多模态数据和样本多模态数据对应的意图识别结果标签；样本多模态数据包括样本文本、样本图像、样本音频、样本视频；基于样本多模态数据和样本多模态数据对应的意图识别结果标签，对第二初始模型进行训练，得到意图识别模型。
在一些实施例中，获取模块310，用于获取原始多模态数据；原始多模态数据包括原始文本、原始图像、原始音频、原始视频中的至少两种；对原始多模态数据进行数据清洗处理，获得第一中间数据；对第一中间数据进行特征提取处理，获得第二中间数据；对第二中间数据进行降噪处理，获得待识别多模态数据。
在一些实施例中，多模态数据的关联识别装置还包括可视化模块。
可视化模块，用于响应于用户的检索指令，对目标多模态数据进行检索，获取目标多模态数据的关联识别结果；输出并展示目标多模态数据的关联识别结果。
本发明还提供多模态数据的关联识别装置的一个具体的实例。请参阅图4，图4是本发明提供的多模态数据的关联识别装置的结构示意图之二。
如图4所示，多模态数据的关联识别装置包括数据预处理模块、意图识别模块、多模态信息网络模块、数据检索与可视化呈现模块。
数据预处理模块，用于获取原始多模态数据，并对原始多模态数据进行数据预处理，获得待识别多模态数据。
意图识别模块，用于将待识别多模态数据输入至意图识别模型，进行多模态数据的意图识别，获得意图识别模型输出的待识别多模态数据对应的意图识别结果。
多模态信息网络模块，用于将待识别多模态数据和意图识别结果输入至语义空间模型，进行多模态数据的特征提取和特征融合，获得语义空间模型输出的待识别多模态数据的融合特征向量；将融合特征向量输入至多模态信息关联模型，进行多模态数据的关联识别，获得多模态信息关联模型输出的待识别多模态数据的关联识别结果。
数据检索与可视化呈现模块，提供图形化界面和交互式操作界面，用于在获得待识别多模态数据的关联识别结果之后，基于关联识别结果建立关键词索引；响应于用户的检索指令，对目标多模态数据进行检索，获取目标多模态数据的关联识别结果，输出并展示目标多模态数据的关联识别结果。
本发明还提供一种电子设备，图5是本发明提供的电子设备的结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(CommunicationsInterface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行多模态数据的关联识别方法。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的多模态数据的关联识别方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种多模态数据的关联识别方法，其特征在于，包括：
获取待识别多模态数据；所述待识别多模态数据包括待识别文本、待识别图像、待识别音频、待识别视频中的至少两种；
将所述待识别多模态数据输入至意图识别模型，获得所述意图识别模型输出的所述待识别多模态数据对应的意图识别结果；所述意图识别模型是基于样本多模态数据和所述样本多模态数据对应的意图识别结果标签训练得到的；
将所述待识别多模态数据和所述意图识别结果输入至语义空间模型，获得所述语义空间模型输出的所述待识别多模态数据的融合特征向量；所述语义空间模型是基于样本多模态数据、所述样本多模态数据对应的意图识别结果标签和所述样本多模态数据对应的融合特征向量训练得到的；
将所述融合特征向量输入至多模态信息关联模型，获得所述多模态信息关联模型输出的待识别多模态数据的关联识别结果；所述多模态信息关联模型是基于样本多模态数据对应的融合特征向量和样本多模态数据对应的关联识别结果标签训练得到的；
所述语义空间模型包括第一神经网络组、第二神经网络组和第三神经网络组；
所述将所述待识别多模态数据和所述意图识别结果输入至语义空间模型，获得所述语义空间模型输出的所述待识别多模态数据的融合特征向量，包括：
将所述待识别多模态数据和所述意图识别结果输入至语义空间模型的第一神经网络组，获得所述第一神经网络组输出的所述待识别多模态数据对应的多模态特征向量；
将所述多模态特征向量输入至语义空间模型的第二神经网络组，获得所述第二神经网络组输出的所述待识别多模态数据的相似性度量结果和相关性度量结果；
将所述多模态特征向量、所述相似性度量结果和所述相关性度量结果输入至语义空间模型的第三神经网络组，获得所述第三神经网络组输出的所述待识别多模态数据的融合特征向量；
所述将所述待识别多模态数据和所述意图识别结果输入至语义空间模型，获得所述语义空间模型输出的所述待识别多模态数据的融合特征向量之前，还包括：
获取样本多模态数据、所述样本多模态数据对应的意图识别结果标签和所述样本多模态数据对应的融合特征向量；所述样本多模态数据包括样本文本、样本图像、样本音频、样本视频；
基于样本多模态数据、所述样本多模态数据对应的意图识别结果标签和所述样本多模态数据对应的融合特征向量，对第一初始模型进行无监督学习训练，得到所述语义空间模型；
所述意图识别模型包括特征提取网络和分类网络；
所述将所述待识别多模态数据输入至意图识别模型，获得所述意图识别模型输出的所述待识别多模态数据对应的意图识别结果，包括：
将所述待识别多模态数据输入至意图识别模型的特征提取网络，获得所述特征提取网络输出的所述待识别多模态数据对应的意图特征向量；
将所述意图特征向量输入至意图识别模型的分类网络，获得所述分类网络输出的所述待识别多模态数据对应的意图识别结果。
2.根据权利要求1所述的多模态数据的关联识别方法，其特征在于，所述将所述待识别多模态数据输入至意图识别模型，获得所述意图识别模型输出的所述待识别多模态数据对应的意图识别结果之前，还包括：
获取样本多模态数据和所述样本多模态数据对应的意图识别结果标签；所述样本多模态数据包括样本文本、样本图像、样本音频、样本视频；
基于样本多模态数据和所述样本多模态数据对应的意图识别结果标签，对第二初始模型进行训练，得到所述意图识别模型。
3.根据权利要求1所述的多模态数据的关联识别方法，其特征在于，所述获取待识别多模态数据，包括：
获取原始多模态数据；所述原始多模态数据包括原始文本、原始图像、原始音频、原始视频中的至少两种；
对所述原始多模态数据进行数据清洗处理，获得第一中间数据；
对所述第一中间数据进行特征提取处理，获得第二中间数据；
对所述第二中间数据进行降噪处理，获得待识别多模态数据。
4.根据权利要求1所述的多模态数据的关联识别方法，其特征在于，所述将所述融合特征向量输入至多模态信息关联模型，获得所述多模态信息关联模型输出的待识别多模态数据的关联识别结果之后，还包括：
响应于用户的检索指令，对目标多模态数据进行检索，获取目标多模态数据的关联识别结果；
输出并展示所述目标多模态数据的关联识别结果。
5.一种多模态数据的关联识别装置，其特征在于，包括：
获取模块，用于获取待识别多模态数据；所述待识别多模态数据包括待识别文本、待识别图像、待识别音频、待识别视频中的至少两种；
意图识别模块，用于将所述待识别多模态数据输入至意图识别模型，获得所述意图识别模型输出的所述待识别多模态数据对应的意图识别结果；所述意图识别模型是基于样本多模态数据和所述样本多模态数据对应的意图识别结果标签训练得到的；
特征提取模块，用于将所述待识别多模态数据和所述意图识别结果输入至语义空间模型，获得所述语义空间模型输出的所述待识别多模态数据的融合特征向量；所述语义空间模型是基于样本多模态数据、所述样本多模态数据对应的意图识别结果标签和所述样本多模态数据对应的融合特征向量训练得到的；
关联识别模块，用于将所述融合特征向量输入至多模态信息关联模型，获得所述多模态信息关联模型输出的待识别多模态数据的关联识别结果；所述多模态信息关联模型是基于样本多模态数据对应的融合特征向量和样本多模态数据对应的关联识别结果标签训练得到的；
所述语义空间模型包括第一神经网络组、第二神经网络组和第三神经网络组；
所述特征提取模块，用于将所述待识别多模态数据和所述意图识别结果输入至语义空间模型的第一神经网络组，获得所述第一神经网络组输出的所述待识别多模态数据对应的多模态特征向量；将所述多模态特征向量输入至语义空间模型的第二神经网络组，获得所述第二神经网络组输出的所述待识别多模态数据的相似性度量结果和相关性度量结果；将所述多模态特征向量、所述相似性度量结果和所述相关性度量结果输入至语义空间模型的第三神经网络组，获得所述第三神经网络组输出的所述待识别多模态数据的融合特征向量；
所述将所述待识别多模态数据和所述意图识别结果输入至语义空间模型，获得所述语义空间模型输出的所述待识别多模态数据的融合特征向量之前，还包括：
获取样本多模态数据、所述样本多模态数据对应的意图识别结果标签和所述样本多模态数据对应的融合特征向量；所述样本多模态数据包括样本文本、样本图像、样本音频、样本视频；基于样本多模态数据、所述样本多模态数据对应的意图识别结果标签和所述样本多模态数据对应的融合特征向量，对第一初始模型进行无监督学习训练，得到所述语义空间模型；
所述意图识别模型包括特征提取网络和分类网络；
所述意图识别模块，用于将所述待识别多模态数据输入至意图识别模型的特征提取网络，获得所述特征提取网络输出的所述待识别多模态数据对应的意图特征向量；将所述意图特征向量输入至意图识别模型的分类网络，获得所述分类网络输出的所述待识别多模态数据对应的意图识别结果。
6.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述多模态数据的关联识别方法。
7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述多模态数据的关联识别方法。
CN202410097011.XA 2024-01-24 2024-01-24 多模态数据的关联识别方法、装置、设备及存储介质 Active CN117611845B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410097011.XA CN117611845B (zh) 2024-01-24 2024-01-24 多模态数据的关联识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410097011.XA CN117611845B (zh) 2024-01-24 2024-01-24 多模态数据的关联识别方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN117611845A CN117611845A (zh) 2024-02-27
CN117611845B true CN117611845B (zh) 2024-04-26

Family

ID=89956517

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410097011.XA Active CN117611845B (zh) 2024-01-24 2024-01-24 多模态数据的关联识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117611845B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866184A (zh) * 2019-11-11 2020-03-06 湖南大学 短视频数据标签推荐方法、装置、计算机设备和存储介质
CN111164601A (zh) * 2019-12-30 2020-05-15 深圳市优必选科技股份有限公司 情感识别方法、智能装置和计算机可读存储介质
CN113057633A (zh) * 2021-03-26 2021-07-02 华南理工大学 多模态情绪压力识别方法、装置、计算机设备及存储介质
CN113806609A (zh) * 2021-09-26 2021-12-17 郑州轻工业大学 一种基于mit和fsm的多模态情感分析方法
WO2022068196A1 (zh) * 2020-09-30 2022-04-07 三维通信股份有限公司 跨模态的数据处理方法、装置、存储介质以及电子装置
CN114398973A (zh) * 2022-01-07 2022-04-26 腾讯科技（深圳）有限公司 一种媒体内容标签识别方法、装置、设备及存储介质
CN115273828A (zh) * 2022-06-30 2022-11-01 北京达佳互联信息技术有限公司 语音意图识别模型的训练方法、装置及电子设备
WO2023035610A1 (zh) * 2021-09-09 2023-03-16 中山大学 基于关键词感知的多模态注意力视频问答方法与系统
CN116110378A (zh) * 2023-04-12 2023-05-12 中国科学院自动化研究所 模型训练方法、语音识别方法、装置和电子设备
CN116245102A (zh) * 2023-05-11 2023-06-09 广州数说故事信息科技有限公司 一种基于多头注意力和图神经网络的多模态情感识别方法
CN116259407A (zh) * 2023-05-16 2023-06-13 季华实验室 基于多模态数据的疾病诊断方法、装置、设备及介质
CN116304984A (zh) * 2023-03-14 2023-06-23 烟台大学 基于对比学习的多模态意图识别方法及系统
CN116977992A (zh) * 2023-05-15 2023-10-31 腾讯科技（深圳）有限公司 文本信息识别方法、装置、计算机设备和存储介质
CN117033657A (zh) * 2023-08-03 2023-11-10 福建亿榕信息技术有限公司 一种信息检索方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128494A (zh) * 2019-12-30 2021-07-16 华为技术有限公司 识别图像中文本的方法、装置和系统
CN113642604B (zh) * 2021-07-09 2023-08-18 南京邮电大学 一种基于云边协同的音视频辅助触觉信号重建方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866184A (zh) * 2019-11-11 2020-03-06 湖南大学 短视频数据标签推荐方法、装置、计算机设备和存储介质
CN111164601A (zh) * 2019-12-30 2020-05-15 深圳市优必选科技股份有限公司 情感识别方法、智能装置和计算机可读存储介质
WO2022068196A1 (zh) * 2020-09-30 2022-04-07 三维通信股份有限公司 跨模态的数据处理方法、装置、存储介质以及电子装置
CN113057633A (zh) * 2021-03-26 2021-07-02 华南理工大学 多模态情绪压力识别方法、装置、计算机设备及存储介质
WO2023035610A1 (zh) * 2021-09-09 2023-03-16 中山大学 基于关键词感知的多模态注意力视频问答方法与系统
CN113806609A (zh) * 2021-09-26 2021-12-17 郑州轻工业大学 一种基于mit和fsm的多模态情感分析方法
CN114398973A (zh) * 2022-01-07 2022-04-26 腾讯科技（深圳）有限公司 一种媒体内容标签识别方法、装置、设备及存储介质
CN115273828A (zh) * 2022-06-30 2022-11-01 北京达佳互联信息技术有限公司 语音意图识别模型的训练方法、装置及电子设备
CN116304984A (zh) * 2023-03-14 2023-06-23 烟台大学 基于对比学习的多模态意图识别方法及系统
CN116110378A (zh) * 2023-04-12 2023-05-12 中国科学院自动化研究所 模型训练方法、语音识别方法、装置和电子设备
CN116245102A (zh) * 2023-05-11 2023-06-09 广州数说故事信息科技有限公司 一种基于多头注意力和图神经网络的多模态情感识别方法
CN116977992A (zh) * 2023-05-15 2023-10-31 腾讯科技（深圳）有限公司 文本信息识别方法、装置、计算机设备和存储介质
CN116259407A (zh) * 2023-05-16 2023-06-13 季华实验室 基于多模态数据的疾病诊断方法、装置、设备及介质
CN117033657A (zh) * 2023-08-03 2023-11-10 福建亿榕信息技术有限公司 一种信息检索方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
多模态情感识别研究进展;何俊;刘跃;何忠文;;计算机应用研究;20180507(第11期);全文 *

Also Published As

Publication number Publication date
CN117611845A (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
Aytar et al. Cross-modal scene networks
CN108052577B (zh) 一种通用文本内容挖掘方法、装置、服务器及存储介质
CN108985358B (zh) 情绪识别方法、装置、设备及存储介质
CN111949802B (zh) 医学领域知识图谱的构建方法、装置、设备及存储介质
US20180068221A1 (en) System and Method of Advising Human Verification of Machine-Annotated Ground Truth - High Entropy Focus
CN111738001B (zh) 同义词识别模型的训练方法、同义词确定方法及设备
CN113033438B (zh) 一种面向模态非完全对齐的数据特征学习方法
CN112528658B (zh) 层次化分类方法、装置、电子设备和存储介质
CN110990597A (zh) 基于文本语义映射的跨模态数据检索系统及其检索方法
CN113836303A (zh) 一种文本类别识别方法、装置、计算机设备及介质
US10558760B2 (en) Unsupervised template extraction
CN113849653A (zh) 一种文本分类方法及装置
CN110795544B (zh) 内容搜索方法、装置、设备和存储介质
CN109408175B (zh) 通用高性能深度学习计算引擎中的实时交互方法及系统
Perdana et al. Instance-based deep transfer learning on cross-domain image captioning
CN116955591A (zh) 用于内容推荐的推荐语生成方法、相关装置和介质
CN117611845B (zh) 多模态数据的关联识别方法、装置、设备及存储介质
CN114842301A (zh) 一种图像注释模型的半监督训练方法
CN115774797A (zh) 视频内容检索方法、装置、设备和计算机可读存储介质
CN113763934A (zh) 音频识别模型的训练方法、装置和存储介质及电子设备
CN117540007B (zh) 基于相似模态补全的多模态情感分析方法、系统和设备
CN118152668A (zh) 媒体信息处理方法及装置、设备、存储介质、程序产品
CN113761178A (zh) 一种数据的展示方法和装置
CN118113865A (zh) 文本内容审核方法、装置、设备及存储介质
CN115757700A (zh) 识别文本匹配的方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant