CN116451175A - 一种多模态数据处理方法、装置、电子设备及存储介质 - Google Patents

一种多模态数据处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116451175A
CN116451175A CN202310458999.3A CN202310458999A CN116451175A CN 116451175 A CN116451175 A CN 116451175A CN 202310458999 A CN202310458999 A CN 202310458999A CN 116451175 A CN116451175 A CN 116451175A
Authority
CN
China
Prior art keywords
data
feature extraction
processed
matching
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310458999.3A
Other languages
English (en)
Inventor
李小龙
洪挺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yuanshan Intelligent Technology Co Ltd
Original Assignee
Beijing Yuanshan Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yuanshan Intelligent Technology Co Ltd filed Critical Beijing Yuanshan Intelligent Technology Co Ltd
Priority to CN202310458999.3A priority Critical patent/CN116451175A/zh
Publication of CN116451175A publication Critical patent/CN116451175A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/289—Object oriented databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了一种多模态数据处理方法、装置、电子设备及存储介质，该方法包括：获取目标数据，针对不同模态的待处理数据，通过对应模态的处理链路对待处理数据进行特征提取，得到不同模态的待处理数据对应的特征提取结果，将特征提取结果进行关联性匹配，得到匹配结果，基于匹配结果将相匹配的待处理数据进行融合处理，得到融合数据。本申请能够将无直接关联关系的多模态数据进行集成、特征提取、匹配、融合之后建立多模态数据应有的关联关系。

Description

一种多模态数据处理方法、装置、电子设备及存储介质
技术领域
本申请涉及数据处理技术领域，尤其涉及一种多模态数据处理方法、装置、电子设备及存储介质。
背景技术
在当前大数据时代，数据呈现巨量化，多样化特点，如何有效存储和处理这些数据，使数据价值最大化的同时满足合规性要求，是构建多模态机器智能的核心诉求。
在传统的数据处理领域，基本上都是围绕着结构化数据进行计算分析，针对非结构化数据，比如视频、图像、音频基本上都是依托采集的特征数据进行存储和分析应用。没有直接关联的多模态数据往往无法有效的进行有效的处理分析，这类资源的实际价值没有得到有效的发挥。
发明内容
有鉴于此，本申请实施例提供了一种多模态数据处理方法、装置、电子设备及存储介质，能够将无直接关联关系的多模态数据进行集成、特征提取、匹配、融合之后建立多模态数据应有的关联关系。
本申请实施例的技术方案是这样实现的：
第一方面，本申请实施例提供一种多模态数据处理方法，包括以下步骤：
获取目标数据，其中，所述目标数据中包括不同模态的待处理数据；
针对不同模态的待处理数据，通过对应模态的处理链路对所述待处理数据进行特征提取，得到不同模态的所述待处理数据对应的特征提取结果，其中，所述特征提取结果为结构化数据；
将所述特征提取结果进行关联性匹配，得到匹配结果；
基于所述匹配结果将相匹配的所述待处理数据进行融合处理，得到融合数据，其中，所述融合数据为结构化数据。
在一种可能的实施方式中，所述不同模态的待处理数据包括结构化数据、图像数据、视频数据、音频数据、文件数据中的至少两种，所述获取目标数据，包括：
从与所述待处理数据对应的采集设备中获取对应的所述待处理数据，或者，从不同的数据源中获取对应模态的待处理数据。
在一种可能的实施方式中，所述针对不同模态的待处理数据，通过对应模态的处理链路对所述待处理数据进行特征提取，得到不同模态的所述待处理数据对应的特征提取结果，包括：
根据所述目标数据中所述待处理数据的模态类型，确定至少一条所述处理链路，其中，所述处理链路用于从对应模态的所述待处理数据中提取出所述特征提取结果；
将所述待处理数据输入对应的所述处理链路中，得到对应的所述特征提取结果。
在一种可能的实施方式中，所述将所述特征提取结果进行关联性匹配，得到匹配结果，包括：
将所述特征提取结果输入同一数据空间，其中，所述特征提取结果包括特征类型；
在所述数据空间中，基于预设的至少一种匹配方式，对所述特征提取结果进行关联性匹配，得到匹配结果，其中，所述至少一种匹配方式中每种匹配方式关联了预设的至少一种特征类型。
在一种可能的实施方式中，所述对所述特征提取结果进行关联性匹配，得到匹配结果，包括：
对待匹配的所述特征提取结果的相似度进行计算，得到待匹配的所述特征提取结果的相似度值；
当待匹配的所述特征提取结果的所述相似度值大于预设的相似度阈值时，将该待匹配的所述特征提取结果确定为关联数据。
在一种可能的实施方式中，所述基于所述匹配结果将相匹配的所述待处理数据进行融合处理，得到融合数据，包括：
将相匹配的所述待处理数据进行关联，并在相匹配的所述待处理数据中标注对应的特征提取结果。
在一种可能的实施方式中，所述方法还包括：
将所述融合数据进行存储于存储组件中，其中所述存储组件包括以下组件至少之一：
Jdbc数据库、Kafka、Hdfs、Minio。
第二方面，本申请实施例还提供一种多模态数据处理装置，所述装置包括：
获取模块，用于获取目标数据，其中，所述目标数据中包括不同模态的待处理数据；
提取模块，用于针对不同模态的待处理数据，通过对应模态的处理链路对所述待处理数据进行特征提取，得到不同模态的所述待处理数据对应的特征提取结果，其中，所述特征提取结果为结构化数据；
匹配模块，用于将所述特征提取结果进行关联性匹配，得到匹配结果；
融合模块，用于基于所述匹配结果将相匹配的所述待处理数据进行融合处理，得到融合数据，其中，所述融合数据为结构化数据。
第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行第一方面任一项所述的多模态数据处理方法。
第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行第一方面任一项所述的多模态数据处理方法。
本申请实施例具有以下有益效果：
通过获取包括不同模态的待处理数据，接着针对不同模态的待处理数据，通过对应模态的处理链路对待处理数据进行特征提取，得到不同模态待处理数据对应的特征提取结果，提取到的特征提取结果为结构化数据，这样，可以将特征提取结果进行关联性匹配，得到匹配结果，最后基于所述匹配结果将相匹配的所述待处理数据进行融合处理，得到融合数据，能够将无直接关联关系的多模态数据进行集成、特征提取、匹配、融合之后建立多模态数据应有的关联关系。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本申请实施例提供的步骤S101-S104的流程示意图；
图2是本申请实施例提供的步骤S1021-S1022的流程示意图；
图3是本申请实施例提供的步骤S1031-S1032的流程示意图；
图4是本申请实施例提供的多模态数据处理装置的结构示意图；
图5是本申请实施例提供的电子设备的组成结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语是为了描述本申请实施例的目的，不是在限制本申请。
参见图1，图1是本申请实施例提供的多模态数据处理方法步骤S101-S104的流程示意图，将结合图1示出的步骤S101-S104进行说明。
步骤S101，获取目标数据，其中，所述目标数据中包括不同模态的待处理数据；
步骤S102，针对不同模态的待处理数据，通过对应模态的处理链路对所述待处理数据进行特征提取，得到不同模态的所述待处理数据对应的特征提取结果，其中，所述特征提取结果为结构化数据；
步骤S103，将所述特征提取结果进行关联性匹配，得到匹配结果；
步骤S104，基于所述匹配结果将相匹配的所述待处理数据进行融合处理，得到融合数据，其中，所述融合数据为结构化数据。
上述多模态数据处理方法，通过获取包括不同模态的待处理数据，接着针对不同模态的待处理数据，通过对应模态的处理链路对待处理数据进行特征提取，得到不同模态待处理数据对应的特征提取结果，提取到的特征提取结果为结构化数据，这样，可以将特征提取结果进行关联性匹配，得到匹配结果，最后基于所述匹配结果将相匹配的所述待处理数据进行融合处理，得到融合数据，能够将无直接关联关系的多模态数据进行集成、特征提取、匹配、融合之后建立多模态数据应有的关联关系。
下面分别对本申请实施例的上述示例性的各步骤进行说明。
在步骤S101中，获取目标数据，其中，所述目标数据中包括不同模态的待处理数据。
在一些实施例中，所述不同模态的待处理数据包括结构化数据、图像数据、视频数据、音频数据、文件数据中的至少两种，所述获取目标数据，包括：
从与所述待处理数据对应的采集设备中获取对应的所述待处理数据，或者，从不同的数据源中获取对应模态的待处理数据。
这里，不同的存在形式或信息来源均可被称之为一种模态。由两种或两种以上模态组成的数据称之为多模态数据(多模态用来表示不同形态的数据形式，或者同种形态不同的格式，一般表示文本、图片、音频、视频、混合数据)。多模态数据是指对于同一个描述对象，通过不同领域或视角获取到的数据，并且把描述这些数据的每一个领域或视角叫做一个模态。
一般的，对于图片、视频类数据，可以通过与对应的图像采集设备进行连接，直接获取这些数据；也可以从对应的数据源，例如数据仓库中获取。
在步骤S102中，针对不同模态的待处理数据，通过对应模态的处理链路对所述待处理数据进行特征提取，得到不同模态的所述待处理数据对应的特征提取结果，其中，所述特征提取结果为结构化数据。
在一些实施例中，参见图2，图2是本申请实施例提供的步骤S1021-S1022的流程示意图，图1示出的步骤S102可以通过步骤S1021-S1022实现，将结合各步骤进行说明。
在步骤S1021中，根据所述目标数据中所述待处理数据的模态类型，确定至少一条所述处理链路，其中，所述处理链路用于从对应模态的所述待处理数据中提取出所述特征提取结果。
在步骤S1022中，将所述待处理数据输入对应的所述处理链路中，得到对应的所述特征提取结果。
这里，根据目标数据中待处理数据的模态类型，确定出的至少一条处理链路可以直接与上述实施例中的采集设备或数据源进行连接，从而使这些多模态数据在获取后直接进入对应的处理链路。
示例的，数据源A为图像数据，数据源B为音频数据，对应的，数据源A可以与处理链路a进行连接，数据源B可以与处理链路b进行连接，数据源A或数据源B中的数据在获取后，会直接进入对应的处理链路中进行特征提取。
并且，对应的处理链路进行特征提取的能力是经过预设的，例如，在处理链路a中，需要对图像数据进行特征提取，图像数据依托各类识别算法进行特征提取，比如人脸识别、行为检测、OCR识别等算法能力通过图片提取结构化的特征数据，那么，可以将处理链路a的特征提取能力进行预设，预设为人脸识别、行为检测、OCR识别中的至少一种；又例如，处理链路b主要处理音频数据，音频数据则依托音频识别及翻译服务针对音色频率识别以及内容翻译，基于此，提取其内容及特征数据。
在步骤S103中，将所述特征提取结果进行关联性匹配，得到匹配结果。
在一些实施例中，参见图3，图3是本申请实施例提供的步骤S1031-S1032的流程示意图，图1示出的步骤S103可以通过步骤S1031-S1032实现，将结合各步骤进行说明。
在步骤S1031中，将所述特征提取结果输入同一数据空间，其中，所述特征提取结果包括特征类型。
在步骤S1032中，在所述数据空间中，基于预设的至少一种匹配方式，对所述特征提取结果进行关联性匹配，得到匹配结果，其中，所述至少一种匹配方式中每种匹配方式关联了预设的至少一种特征类型。
这里，将多链路的多模态数据特征提取结果汇集在同一个数据空间，并在数据空间内对跨模态数据的特征提取结果按照不同的对齐方式，进行数据跨模态的匹配对齐。对齐方式主要包含匹配和相似度计算。
作为匹配方式的示例，数据匹配包含全匹配、前匹配、后匹配、模糊匹配等，主要是针对跨模态提取的结果存在非常强的关联性，比如图片人脸识别的结果为人员姓名，身份证OCR识别结果为身份证号，跟人员信息主数据中姓名和身份证号完全一致，就可以使用数据全匹配，将图像数据和结构化主数据进行对齐。
在一些实施例中，所述对所述特征提取结果进行关联性匹配，得到匹配结果，包括：
对待匹配的所述特征提取结果的相似度进行计算，得到待匹配的所述特征提取结果的相似度值；
当待匹配的所述特征提取结果的所述相似度值大于预设的相似度阈值时，将该待匹配的所述特征提取结果确定为关联数据。
作为相似度计算的示例，本申请实施例采用余弦相似度计算方式，来计算文本的相似度。余弦相似度就是通过一个向量空间中两个向量夹角的余弦值作为衡量两个个体之间差异的大小。而文本的相似度计算只是针对字面量来计算的，也就是说只是针对语句的字符是否相同，而不考虑它的语义。两个特征向量p＝(p1，p2，…，pi)，q＝(q1，q2，…，qi)之间的度量距离：
在步骤S104中，基于所述匹配结果将相匹配的所述待处理数据进行融合处理，得到融合数据，其中，所述融合数据为结构化数据。
在一些实施例中，所述基于所述匹配结果将相匹配的所述待处理数据进行融合处理，得到融合数据，包括：
将相匹配的所述待处理数据进行关联，并在相匹配的所述待处理数据中标注对应的特征提取结果。
这里，在确定了两个(或多个)数据相匹配后，便可以进行跨模态数据的融合，即将相匹配的待处理数据进行关联，并在待处理数据中标注响应的特征提取结果，以便于后续的处理，多模态数据融合后的数据基本上与传统的结构化数据无异，可以依托平台的结构化数据处理组件进行多元化处理分析。
在一些实施例中，所述方法还包括：
将所述融合数据进行存储于存储组件中，其中所述存储组件包括以下组件至少之一：
Jdbc数据库、Kafka、Hdfs、Minio。
这里，可以通过Jdbc数据库、Kafka、Hdfs、Minio这样的存储组件至少之一将得到的融合数据进行存储入库，当需要使用该融合数据时，可以从存储组件中进行调用。
综上所述，通过本申请实施例具有以下有益效果：
通过获取包括不同模态的待处理数据，接着针对不同模态的待处理数据，通过对应模态的处理链路对待处理数据进行特征提取，得到不同模态待处理数据对应的特征提取结果，提取到的特征提取结果为结构化数据，这样，可以将特征提取结果进行关联性匹配，得到匹配结果，最后基于所述匹配结果将相匹配的所述待处理数据进行融合处理，得到融合数据，能够将无直接关联关系的多模态数据进行集成、特征提取、匹配、融合之后建立多模态数据应有的关联关系。
基于同一发明构思，本申请实施例中还提供了与第一实施例中多模态数据处理方法对应的多模态数据处理装置，由于本申请实施例中的装置解决问题的原理与上述多模态数据处理方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
如图4所示，图4是本申请实施例提供的多模态数据处理装置400的结构示意图。多模态数据处理装置400包括：
获取模块，用于获取目标数据，其中，所述目标数据中包括不同模态的待处理数据；
提取模块，用于针对不同模态的待处理数据，通过对应模态的处理链路对所述待处理数据进行特征提取，得到不同模态的所述待处理数据对应的特征提取结果，其中，所述特征提取结果为结构化数据；
匹配模块，用于将所述特征提取结果进行关联性匹配，得到匹配结果；
融合模块，用于基于所述匹配结果将相匹配的所述待处理数据进行融合处理，得到融合数据，其中，所述融合数据为结构化数据。
本领域技术人员应当理解，图4所示的多模态数据处理装置400中的各单元的实现功能可参照前述多模态数据处理方法的相关描述而理解。图4所示的多模态数据处理装置400中的各单元的功能可通过运行于处理器上的程序而实现，也可通过具体的逻辑电路而实现。
在一种可能的实施方式中，所述不同模态的待处理数据包括结构化数据、图像数据、视频数据、音频数据、文件数据中的至少两种，获取模块401获取目标数据，包括：
从与所述待处理数据对应的采集设备中获取对应的所述待处理数据，或者，从不同的数据源中获取对应模态的待处理数据。
在一种可能的实施方式中，提取模块402针对不同模态的待处理数据，通过对应模态的处理链路对所述待处理数据进行特征提取，得到不同模态的所述待处理数据对应的特征提取结果，包括：
根据所述目标数据中所述待处理数据的模态类型，确定至少一条所述处理链路，其中，所述处理链路用于从对应模态的所述待处理数据中提取出所述特征提取结果；
将所述待处理数据输入对应的所述处理链路中，得到对应的所述特征提取结果。
在一种可能的实施方式中，匹配模块403将所述特征提取结果进行关联性匹配，得到匹配结果，包括：
将所述特征提取结果输入同一数据空间，其中，所述特征提取结果包括特征类型；
在所述数据空间中，基于预设的至少一种匹配方式，对所述特征提取结果进行关联性匹配，得到匹配结果，其中，所述至少一种匹配方式中每种匹配方式关联了预设的至少一种特征类型。
在一种可能的实施方式中，匹配模块403对所述特征提取结果进行关联性匹配，得到匹配结果，包括：
对待匹配的所述特征提取结果的相似度进行计算，得到待匹配的所述特征提取结果的相似度值；
当待匹配的所述特征提取结果的所述相似度值大于预设的相似度阈值时，将该待匹配的所述特征提取结果确定为关联数据。
在一种可能的实施方式中，融合模块404基于所述匹配结果将相匹配的所述待处理数据进行融合处理，得到融合数据，包括：
将相匹配的所述待处理数据进行关联，并在相匹配的所述待处理数据中标注对应的特征提取结果。
在一种可能的实施方式中，融合模块404还包括：
将所述融合数据进行存储于存储组件中，其中所述存储组件包括以下组件至少之一：
Jdbc数据库、Kafka、Hdfs、Minio。
上述多模态数据处理装置通过获取包括不同模态的待处理数据，接着针对不同模态的待处理数据，通过对应模态的处理链路对待处理数据进行特征提取，得到不同模态待处理数据对应的特征提取结果，提取到的特征提取结果为结构化数据，这样，可以将特征提取结果进行关联性匹配，得到匹配结果，最后基于所述匹配结果将相匹配的所述待处理数据进行融合处理，得到融合数据，能够将无直接关联关系的多模态数据进行集成、特征提取、匹配、融合之后建立多模态数据应有的关联关系。
如图5所示，图5为本申请实施例提供的电子设备500的组成结构示意图，所述电子设备500，包括：
处理器501、存储介质502和总线503，所述存储介质502存储有所述处理器501可执行的机器可读指令，当电子设备500运行时，所述处理器501与所述存储介质502之间通过总线503通信，所述处理器501执行所述机器可读指令，以执行本申请实施例所述的多模态数据处理方法的步骤。
实际应用时，所述电子设备500中的各个组件通过总线503耦合在一起。可理解，总线503用于实现这些组件之间的连接通信。总线503除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图5中将各种总线都标为总线503。
上述电子设备通过获取包括不同模态的待处理数据，接着针对不同模态的待处理数据，通过对应模态的处理链路对待处理数据进行特征提取，得到不同模态待处理数据对应的特征提取结果，提取到的特征提取结果为结构化数据，这样，可以将特征提取结果进行关联性匹配，得到匹配结果，最后基于所述匹配结果将相匹配的所述待处理数据进行融合处理，得到融合数据，能够将无直接关联关系的多模态数据进行集成、特征提取、匹配、融合之后建立多模态数据应有的关联关系。
本申请实施例还提供了一种计算机可读存储介质，所述存储介质存储有可执行指令，当所述可执行指令被至少一个处理器501执行时，实现本申请实施例所述的多模态数据处理方法。
在一些实施例中，存储介质可以是磁性随机存取存储器(FRAM，FerromagneticRandom Access Memory)、只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable Read Only Memory)、电可擦除可编程只读存储器(EEPROM，ElectricallyErasable Programmable Read Only Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD ROM，Compact Disc Read Only Memory)等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，HyperTextMarkupLanguage)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
上述计算机可读存储介质通过获取包括不同模态的待处理数据，接着针对不同模态的待处理数据，通过对应模态的处理链路对待处理数据进行特征提取，得到不同模态待处理数据对应的特征提取结果，提取到的特征提取结果为结构化数据，这样，可以将特征提取结果进行关联性匹配，得到匹配结果，最后基于所述匹配结果将相匹配的所述待处理数据进行融合处理，得到融合数据，能够将无直接关联关系的多模态数据进行集成、特征提取、匹配、融合之后建立多模态数据应有的关联关系。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和电子设备，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，平台服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种多模态数据处理方法，其特征在于，包括以下步骤：
获取目标数据，其中，所述目标数据中包括不同模态的待处理数据；
针对不同模态的待处理数据，通过对应模态的处理链路对所述待处理数据进行特征提取，得到不同模态的所述待处理数据对应的特征提取结果，其中，所述特征提取结果为结构化数据；
将所述特征提取结果进行关联性匹配，得到匹配结果；
基于所述匹配结果将相匹配的所述待处理数据进行融合处理，得到融合数据，其中，所述融合数据为结构化数据。
2.根据权利要求1所述的方法，其特征在于，所述不同模态的待处理数据包括结构化数据、图像数据、视频数据、音频数据、文件数据中的至少两种，所述获取目标数据，包括：
从与所述待处理数据对应的采集设备中获取对应的所述待处理数据，或者，从不同的数据源中获取对应模态的待处理数据。
3.根据权利要求1所述的方法，其特征在于，所述针对不同模态的待处理数据，通过对应模态的处理链路对所述待处理数据进行特征提取，得到不同模态的所述待处理数据对应的特征提取结果，包括：
根据所述目标数据中所述待处理数据的模态类型，确定至少一条所述处理链路，其中，所述处理链路用于从对应模态的所述待处理数据中提取出所述特征提取结果；
将所述待处理数据输入对应的所述处理链路中，得到对应的所述特征提取结果。
4.根据权利要求1所述的方法，其特征在于，所述将所述特征提取结果进行关联性匹配，得到匹配结果，包括：
将所述特征提取结果输入同一数据空间，其中，所述特征提取结果包括特征类型；
在所述数据空间中，基于预设的至少一种匹配方式，对所述特征提取结果进行关联性匹配，得到匹配结果，其中，所述至少一种匹配方式中每种匹配方式关联了预设的至少一种特征类型。
5.根据权利要求4所述的方法，其特征在于，所述对所述特征提取结果进行关联性匹配，得到匹配结果，包括：
对待匹配的所述特征提取结果的相似度进行计算，得到待匹配的所述特征提取结果的相似度值；
当待匹配的所述特征提取结果的所述相似度值大于预设的相似度阈值时，将该待匹配的所述特征提取结果确定为关联数据。
6.根据权利要求1所述的方法，其特征在于，所述基于所述匹配结果将相匹配的所述待处理数据进行融合处理，得到融合数据，包括：
将相匹配的所述待处理数据进行关联，并在相匹配的所述待处理数据中标注对应的特征提取结果。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述融合数据进行存储于存储组件中，其中所述存储组件包括以下组件至少之一：
Jdbc数据库、Kafka、Hdfs、Minio。
8.一种多模态数据处理装置，其特征在于，所述装置包括：
获取模块，用于获取目标数据，其中，所述目标数据中包括不同模态的待处理数据；
提取模块，用于针对不同模态的待处理数据，通过对应模态的处理链路对所述待处理数据进行特征提取，得到不同模态的所述待处理数据对应的特征提取结果，其中，所述特征提取结果为结构化数据；
匹配模块，用于将所述特征提取结果进行关联性匹配，得到匹配结果；
融合模块，用于基于所述匹配结果将相匹配的所述待处理数据进行融合处理，得到融合数据，其中，所述融合数据为结构化数据。
9.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至7任一项所述的多模态数据处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至7任一项所述的多模态数据处理方法。
CN202310458999.3A 2023-04-25 2023-04-25 一种多模态数据处理方法、装置、电子设备及存储介质 Pending CN116451175A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310458999.3A CN116451175A (zh) 2023-04-25 2023-04-25 一种多模态数据处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310458999.3A CN116451175A (zh) 2023-04-25 2023-04-25 一种多模态数据处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116451175A true CN116451175A (zh) 2023-07-18

Family

ID=87125461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310458999.3A Pending CN116451175A (zh) 2023-04-25 2023-04-25 一种多模态数据处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116451175A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351257A (zh) * 2023-08-24 2024-01-05 长江水上交通监测与应急处置中心 一种基于多模态信息的航运数据抽取方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114049493A (zh) * 2022-01-11 2022-02-15 北京融信数联科技有限公司 基于智能体图谱的图像识别方法、系统和可读存储介质
CN114610901A (zh) * 2022-03-18 2022-06-10 广东电网有限责任公司 一种电网运行数据融合方法、装置及存储介质
CN115393751A (zh) * 2021-05-25 2022-11-25 阿里巴巴新加坡控股有限公司 数据处理方法、存储介质及电子设备
CN115496976A (zh) * 2022-08-29 2022-12-20 锋睿领创(珠海)科技有限公司 多源异构数据融合的视觉处理方法、装置、设备及介质
CN115600157A (zh) * 2022-11-29 2023-01-13 支付宝（杭州）信息技术有限公司（Cn） 一种数据处理的方法、装置、存储介质及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115393751A (zh) * 2021-05-25 2022-11-25 阿里巴巴新加坡控股有限公司 数据处理方法、存储介质及电子设备
CN114049493A (zh) * 2022-01-11 2022-02-15 北京融信数联科技有限公司 基于智能体图谱的图像识别方法、系统和可读存储介质
CN114610901A (zh) * 2022-03-18 2022-06-10 广东电网有限责任公司 一种电网运行数据融合方法、装置及存储介质
CN115496976A (zh) * 2022-08-29 2022-12-20 锋睿领创(珠海)科技有限公司 多源异构数据融合的视觉处理方法、装置、设备及介质
CN115600157A (zh) * 2022-11-29 2023-01-13 支付宝（杭州）信息技术有限公司（Cn） 一种数据处理的方法、装置、存储介质及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351257A (zh) * 2023-08-24 2024-01-05 长江水上交通监测与应急处置中心 一种基于多模态信息的航运数据抽取方法及系统
CN117351257B (zh) * 2023-08-24 2024-04-02 长江水上交通监测与应急处置中心 一种基于多模态信息的航运数据抽取方法及系统

Similar Documents

Publication Publication Date Title
CN112199375B (zh) 跨模态的数据处理方法、装置、存储介质以及电子装置
CN109918560B (zh) 一种基于搜索引擎的问答方法和装置
CN109034069B (zh) 用于生成信息的方法和装置
CN110033018B (zh) 图形相似度判断方法、装置及计算机可读存储介质
CN111967261B (zh) 癌症分期信息处理方法、装置及存储介质
CN116451175A (zh) 一种多模态数据处理方法、装置、电子设备及存储介质
CN113918686A (zh) 智能问答模型构建方法、装置、计算机设备及存储介质
CN113239290A (zh) 用于舆情监测的数据分析方法、装置和电子装置
CN113254687B (zh) 图像检索、图像量化模型训练方法、装置和存储介质
CN111898528B (zh) 数据处理方法、装置、计算机可读介质及电子设备
CN117423124A (zh) 基于表格图像的表格数据处理方法和装置、设备及介质
CN116484878B (zh) 电力异质数据的语义关联方法、装置、设备及存储介质
CN112569591A (zh) 一种数据处理方法、装置、设备及可读存储介质
CN111626313B (zh) 一种特征提取模型训练方法、图像处理方法及装置
CN112241470A (zh) 一种视频分类方法及系统
CN113505716B (zh) 静脉识别模型的训练方法、静脉图像的识别方法及装置
CN115880702A (zh) 数据处理方法、装置、设备、程序产品及存储介质
CN114782720A (zh) 文案的配图确定方法、装置、电子设备、介质及程序产品
CN113869364A (zh) 图像处理方法、装置、电子设备及介质
Campana et al. On the fusion of text detection results: A genetic programming approach
CN110705439A (zh) 一种信息的处理方法、装置及设备
CN112395527B (zh) 一种网页连接识别方法、装置及存储介质
KR102671704B1 (ko) 질의 기반 이동 경로 제공 시스템 및 방법
CN115909462A (zh) 图像特征提取方法、人脸识别方法、装置、设备及介质
CN116795707A (zh) 软件隐私合规性前置检测方法及其相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination