CN114169340A - 一种基于融合多模态数据矩阵式的认知方法及系统 - Google Patents

Abstract

本发明提供了一种基于融合多模态数据矩阵式的认知方法及系统，所述方法包括：获取目标多模态数据集，并获取目标多模态数据集对应的认知目标任务，并作为待认知目标任务；对所述多模态数据集进行特征提取，得到各个单模态数据的特征表示，对所述各个单模态数据的特征表示进行向量化处理，得到融合多模态特征的词向量矩阵；建立语义网络表达认知模型，计算融合多模态特征的词向量矩阵中的特征与待认知目标任务的相似度，得到与待认知目标任务对应的目标特征知识。本发明有效的解决了现有的信息处理模式无法满足对不同来源语义信息进行快速识别的需求的问题，实现了多模态数据集的结构化整理和融合认知计算。

Description

一种基于融合多模态数据矩阵式的认知方法及系统

技术领域

本发明涉及大数据分析技术领域，尤其涉及一种基于融合多模态数据矩阵式的认知方法及系统。

背景技术

在大数据时代，数据来源不仅包括资料、书籍等传统纸质数据，还包括百科、网页新闻、多媒体等互联网数据，其中除了开源数据，还包含许多电磁、雷达、通信等专业领域数据。数据类型包括数据库、文本、声音、图像、视频等，数据内容包括社会、政治、外交、安全、科技等诸多方面。多模态异构数据呈现一种结构化、半结构化和非结构化格式交叉并存的现象，结构化数据与非结构化数据的混杂，导致了多模态数据的融合与认知的困难，因此，对多模态数据的统一集成和知识获取以及认知计算的研究尤为重要。

目前现有的文献还未有针对多模态数据的统一集成和知识获取以及认知计算研究，同时，对多模态异构数据源的知识获取方法及认知计算研究也没有形成完善的体系，很多时候依旧依靠独立算法的“东拼西凑”。传统的信息处理模式存在易受分析人员主观判断的影响、不易挖掘深层次知识、主题领域专业知识欠缺和成果展示方式单一等缺陷，无法满足海量数据实时处理、不同来源语义信息的快速识别的需要。

发明内容

有鉴于此，本申请提出了一种基于融合多模态数据矩阵式的认知方法及系统，用于解决现有的信息处理模式无法满足对不同来源语义信息进行快速识别的需求的问题。

本发明的技术方案是这样实现的：

一方面，本发明提供了一种基于融合多模态数据矩阵式的认知方法，所述方法包括：

S1，获取目标多模态数据集，并获取目标多模态数据集对应的认知目标任务，并作为待认知目标任务；

S2，多模态数据集中至少包括一种单模态数据，对所述多模态数据集进行特征提取，得到各个单模态数据的特征表示，对所述各个单模态数据的特征表示进行向量化处理，得到融合多模态特征的词向量矩阵；

S3，建立语义网络表达认知模型，计算融合多模态特征的词向量矩阵中的特征与待认知目标任务的相似度，得到与待认知目标任务对应的目标特征知识，从而实现对多模态数据集的融合认知计算。

在以上技术方案的基础上，优选的，步骤S2中，对所述多模态数据集进行特征提取具体包括：

所述至少一种单模态数据包括语音数据、图像数据以及文本数据，采用VGG卷积神经网络对语音数据和图像数据进行特征提取，采用TF-IDF对文本数据进行特征提取。

在以上技术方案的基础上，优选的，所述采用VGG卷积神经网络对语音数据和图像数据进行特征提取具体包括：

获取语音数据的各音频帧，对各音频帧进行傅里叶变换得到频谱值，根据频谱值生成语谱图数据，将语谱图数据输入预先训练好的VGG卷积神经网络，得到语音数据特征；

对图像数据进行缩放以及灰度化处理，并将所有处理后的图像数据进行汇总形成训练集，将训练集输入预先训练好的VGG卷积神经网络，得到图像数据特征。

在以上技术方案的基础上，优选的，所述预先训练好的VGG卷积神经网络具体包括：

所述VGG卷积神经网络包括若干个卷积层、若干个池化层以及一个全连接层，每一个卷积层后连接一个对应的池化层，通过卷积层、池化层以及全连接层对所述训练集进行特征提取；

VGG卷积神经网络的图像卷积公式为：

其中，

表示第t特征图层中的第i个点，M_t表示窗口的数量，

表示第t-1输入层中的第j个单元，

表示第t特征图层中的第i个卷积层中的第j个单元，

表示第t个卷积层中的第i个偏移量，f表示一个激励函数。

在以上技术方案的基础上，优选的，所述采用TF-IDF对文本数据进行特征提取具体包括：

对文本数据进行分词并去除停用词处理，提取预处理后的文本数据的特征；

计算目标分词在所述文本数据中出现的频率，其计算公式为

其中，TF表示目标分词在所述文本数据中出现的频率，n_i,j表示目标分词在所述文本数据中出现的次数，∑_kn_k,j表示所述文本数据中的分词总数；

计算目标分词的逆向文本频率，其计算公式为

其中，IDF表示目标分词的逆向文本频率，D表示所述文本数据中的文本总数，|{j:t_i∈d_j}|表示包含目标分词的文本数目；

计算各个目标分词的加权值，其计算公式为

TF-IDF＝TF*IDF

将各个目标分词的加权值按照从大到小排列，输出前N个词语，即为文本数据特征。

在以上技术方案的基础上，优选的，步骤S2中，所述对所述各个单模态数据的特征表示进行向量化处理，得到融合多模态特征的词向量矩阵具体包括：

将所述语音数据特征、图像数据特征以及文本数据特征进行向量化处理，分别得到对应的第一词向量矩阵、第二词向量矩阵和第三词向量矩阵；

将第一词向量矩阵、第二词向量矩阵以及第三词向量矩阵进行拼接，得到融合多模态特征的词向量矩阵。

在以上技术方案的基础上，优选的，步骤S5具体包括：

S501，将待认知目标任务作为第一本体A，第一本体A具有n个对象属性，表示为attr_A＝{a₁,a₂,...,a_n}；

S502，将融合多模态特征的词向量矩阵作为第二本体B，第二本体B具有m个对象属性，表示为attr_B＝{b₁,b₂,...,b_m}；

S503，对第一本体A中每一个对象属性与第二本体B中全部对象属性进行相似度计算，得到一个m×n矩阵；

S504，找出m×n矩阵中的最大数值，并将其所在的行和列划掉，重复该步骤，直到矩阵为空，得到第一本体A与第二本体B的最大相似度序列，其表达式为f₁,f₂,...,f_K(K＝min(m,n))；

S505，根据最大相似度序列计算出第一本体A与第二本体B的对象属性的相似度，得到与待认知目标任务对应的目标特征知识。

在以上技术方案的基础上，优选的，步骤S503具体包括：

计算第一本体A中的对象属性a_i与第二本体B中的对象属性b_j的相似度，其计算公式为

其中，i＝1,2,…,n，j＝1,2,…,m；

计算第一本体A中所有对象属性与第二本体B中所有对象属性的相似度，得到相似度矩阵Q_m×n，其表达式为

在以上技术方案的基础上，优选的，步骤S505具体包括：

计算第一本体A与第二本体B的对象属性的相似度，其计算公式为

其中，k＝1,2,…,K。

另一方面，本发明提供了一种基于融合多模态数据矩阵式的认知系统，所述系统包括：数据采集模块、矩阵构建模块和认知计算模块；

数据采集模块，用于获取目标多模态数据集，并获取目标多模态数据集对应的认知目标任务，并作为待认知目标任务；

矩阵构建模块，用于对所述多模态数据集进行特征提取，多模态数据集中至少包括一种单模态数据，得到各个单模态数据的特征表示，对所述各个单模态数据的特征表示进行向量化处理，得到融合多模态特征的词向量矩阵；

认知计算模块，用于建立语义网络表达认知模型，计算融合多模态特征的词向量矩阵中的特征与待认知目标任务的相似度，得到与待认知目标任务对应的目标特征知识，从而实现对多模态数据集的融合认知计算。

本发明的一种基于融合多模态数据矩阵式的认知方法及系统，相对于现有技术，具有以下有益效果：

(1)通过获取目标多模态数据集，并获取与目标多模态数据集对应的认知目标任务；对多模态数据集中的单模态数据进行特征提取，得到融合多模态特征的词向量矩阵；计算词向量矩阵中的特征与待认知目标任务的相似度，得到与待认知目标任务对应的目标特征知识，能够实现不同来源语义信息的快速识别，同时解决了多模态数据处理时存在的异构性和计算代价大的问题。

(2)通过建立语义网络表达认知模型，计算词向量矩阵中的特征与待认知目标任务的相似度，得到与待认知目标任务对应的目标特征知识，计算两个概念间的相似度，计算结果更加切合人类认知。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一种基于融合多模态数据矩阵式的认知方法的步骤流程图；

图2是本发明一种基于融合多模态数据矩阵式的认知方法中建立语义网络表达认知模型的步骤流程图。

具体实施方式

下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

如图1所示，本实施例提供了一种基于融合多模态数据矩阵式的认知方法，其方法包括：

S1，获取目标多模态数据集，并获取目标多模态数据集对应的认知目标任务，并作为待认知目标任务；

需要理解的是，目标多模态数据集是指具体场景下的多模态数据集，包括语音数据、图像数据以及文本数据等；获取具体场景下的多模态数据集对应的认知目标任务，例如，通过获取室内和室外的温度数据集、室内外的气溶胶变化数据集以及病菌与疾病相关知识数据集，根据因人、因时、因地等条件可以预测室内病菌生长指数和疾病患病概率。

S2，多模态数据集中至少包括一种单模态数据，对所述多模态数据集进行特征提取，得到各个单模态数据的特征表示，对所述各个单模态数据的特征表示进行向量化处理，得到融合多模态特征的词向量矩阵；

需要理解的是，至少一种单模态数据包括语音数据、图像数据以及文本数据等，本实施例对此并不做具体限定。

多模态数据集中的数据类型不同，因此，采用不同的方式对数据进行特征提取，本实施例中，采用VGG卷积神经网络对语音数据和图像数据进行特征提取，采用TF-IDF对文本数据进行特征提取。

现有的语音识别技术中没有专门的语音特征提取的层，本实施例通过将语音数据转换为语谱图，语谱图能够将语音数据以图像的方式进行描述出来，VGG卷积神经网络是对图像进行特征提取的一种最有效的方式，因此，采用VGG卷积神经网络来提取语音数据的特征能够有效的解决现有技术中由于不能直接对语音数据的特征进行提取所导致的准确度不高的问题。

采用VGG卷积神经网络对语音数据和图像数据进行特征提取具体包括：获取语音数据的各音频帧，对各音频帧进行傅里叶变换得到频谱值，根据频谱值生成语谱图数据，将语谱图数据输入预先训练好的VGG卷积神经网络，得到语音数据特征；对图像数据进行缩放以及灰度化处理，并将所有处理后的图像数据进行汇总形成训练集，将训练集输入预先训练好的VGG卷积神经网络，得到图像数据特征。

预先训练好的VGG卷积神经网络具体包括：

所述VGG卷积神经网络包括若干个卷积层、若干个池化层以及一个全连接层，每一个卷积层后连接一个对应的池化层，通过卷积层、池化层以及全连接层对所述训练集进行特征提取；

VGG卷积神经网络的图像卷积公式为：

其中，

表示第t特征图层中的第i个点，M_t表示窗口的数量，

表示第t-1输入层中的第j个单元，

表示第t特征图层中的第i个卷积层中的第j个单元，

表示第t个卷积层中的第i个偏移量，f表示一个激励函数。

文本数据的特征提取本实施例采用的是TF-IDF，TF-IDF是一种常用的文本特征提取方法，其计算过程简单且提取速度快。

采用TF-IDF对文本数据进行特征提取具体包括：

对文本数据进行分词并去除停用词处理，提取预处理后的文本数据的特征；

计算目标分词在所述文本数据中出现的频率，其计算公式为

其中，TF表示目标分词在所述文本数据中出现的频率，n_i,j表示目标分词在所述文本数据中出现的次数，∑_kn_k,j表示所述文本数据中的分词总数；

计算目标分词的逆向文本频率，其计算公式为

其中，IDF表示目标分词的逆向文本频率，D表示所述文本数据中的文本总数，|{j:t_i∈d_j}|表示包含目标分词的文本数目；

计算各个目标分词的加权值，其计算公式为

TF-IDF＝TF*IDF

将各个目标分词的加权值按照从大到小排列，输出前N个词语，即为文本数据特征。

步骤S2中，对单模态数据的特征表示进行向量化处理，得到融合多模态特征的词向量矩阵具体包括：

将所述语音数据特征、图像数据特征以及文本数据特征进行向量化处理，分别得到对应的第一词向量矩阵、第二词向量矩阵和第三词向量矩阵；

将第一词向量矩阵、第二词向量矩阵以及第三词向量矩阵进行拼接，得到融合多模态特征的词向量矩阵。

本实施例对各个单模态数据的特征进行提取，分别得到对应的词向量矩阵，通过矩阵拼接的方式，能够自适应地对不同模态数据进行特征融合。

S3，建立语义网络表达认知模型，计算融合多模态特征的词向量矩阵中的特征与待认知目标任务的相似度，得到与待认知目标任务对应的目标特征知识，从而实现对多模态数据集的融合认知计算。

本实施例构建了语义网络表达认知模型，引入了对象本体的概念，采用了对象类型属性语义相似度的计算方法，将待认知目标任务和融合多模态特征的词向量矩阵作为两个概念对象，通过该方法能够全方面的将待认知目标任务中的属性特征与多模态数据集中的特征进行相似度计算，从而对目标认知任务进行判断，其计算结果更加切合人类认知，能够提高融合认知的准确性。例如，目标场景为各种西瓜，认知任务为判断是好瓜还是坏瓜，或者是没有成熟的瓜，多模态数据集中包括西瓜各种颜色、西瓜的敲击声音、西瓜瓜蒂形状等，通过上述语义网络表达认知模型的认知计算，就可以得到某个西瓜是好瓜还是坏瓜，或者是没有成熟的瓜。

如图2所示，建立语义网络表达认知模型，计算融合多模态特征的词向量矩阵中的特征与待认知目标任务的相似度，得到与待认知目标任务对应的目标特征知识的具体实施步骤包括：

S501，将待认知目标任务作为第一本体A，第一本体A具有n个对象属性，表示为attr_A＝{a₁,a₂,…,a_n}。

S502，将融合多模态特征的词向量矩阵作为第二本体B，第二本体B具有m个对象属性，表示为attr_B＝{b₁,b₂,...,b_m}。

S503，对第一本体A中每一个对象属性与第二本体B中全部对象属性进行相似度计算，得到一个m×n矩阵。

可以理解的是，计算第一本体A中的对象属性a_i与第二本体B中的对象属性b_j的相似度，其计算公式为

其中，i＝1,2,…,n，j＝1,2,…,m；

计算第一本体A中所有对象属性与第二本体B中所有对象属性的相似度，得到相似度矩阵Q_m×n，其表达式为

S504，找出m×n矩阵中的最大数值，并将其所在的行和列划掉，重复该步骤，直到矩阵为空，得到第一本体A与第二本体B的最大相似度序列，其表达式为f₁,f₂,…,f_K(K＝min(m,n))。

S505，根据最大相似度序列计算出第一本体A与第二本体B的对象属性的相似度，得到与待认知目标任务对应的目标特征知识。

可以理解的是，计算第一本体A与第二本体B的对象属性的相似度，其计算公式为

其中，k＝1,2,…,K。

本实施例还提供了一种基于融合多模态数据矩阵式的认知系统，其系统包括：数据采集模块、矩阵构建模块和认知计算模块；

数据采集模块，用于获取目标多模态数据集，并获取目标多模态数据集对应的认知目标任务，并作为待认知目标任务；

矩阵构建模块，用于对所述多模态数据集进行特征提取，多模态数据集中至少包括一种单模态数据，得到各个单模态数据的特征表示，对所述各个单模态数据的特征表示进行向量化处理，得到融合多模态特征的词向量矩阵；

认知计算模块，用于建立语义网络表达认知模型，计算融合多模态特征的词向量矩阵中的特征与待认知目标任务的相似度，得到与待认知目标任务对应的目标特征知识，从而实现对多模态数据集的融合认知计算。

以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围。

Claims (10)

1.一种基于融合多模态数据矩阵式的认知方法，其特征在于，所述方法包括：

S1，获取目标多模态数据集，并获取目标多模态数据集对应的认知目标任务，并作为待认知目标任务；

S2，多模态数据集中至少包括一种单模态数据，对所述多模态数据集进行特征提取，得到各个单模态数据的特征表示，对所述各个单模态数据的特征表示进行向量化处理，得到融合多模态特征的词向量矩阵；

S3，建立语义网络表达认知模型，计算融合多模态特征的词向量矩阵中的特征与待认知目标任务的相似度，得到与待认知目标任务对应的目标特征知识，从而实现对多模态数据集的融合认知计算。

2.如权利要求1所述的一种基于融合多模态数据矩阵式的认知方法，其特征在于，步骤S2中，对所述多模态数据集进行特征提取具体包括：

所述至少一种单模态数据包括语音数据、图像数据以及文本数据，采用VGG卷积神经网络对语音数据和图像数据进行特征提取，采用TF-IDF对文本数据进行特征提取。

3.如权利要求2所述的一种基于融合多模态数据矩阵式的认知方法，其特征在于，所述采用VGG卷积神经网络对语音数据和图像数据进行特征提取具体包括：

获取语音数据的各音频帧，对各音频帧进行傅里叶变换得到频谱值，根据频谱值生成语谱图数据，将语谱图数据输入预先训练好的VGG卷积神经网络，得到语音数据特征；

对图像数据进行缩放以及灰度化处理，并将所有处理后的图像数据进行汇总形成训练集，将训练集输入预先训练好的VGG卷积神经网络，得到图像数据特征。

4.如权利要求3所述的一种基于融合多模态数据矩阵式的认知方法，其特征在于，所述预先训练好的VGG卷积神经网络具体包括：

所述VGG卷积神经网络包括若干个卷积层、若干个池化层以及一个全连接层，每一个卷积层后连接一个对应的池化层，通过卷积层、池化层以及全连接层对所述训练集进行特征提取；

VGG卷积神经网络的图像卷积公式为：

其中，

表示第t特征图层中的第i个点，M_t表示窗口的数量，

表示第t-1输入层中的第j个单元，

表示第t特征图层中的第i个卷积层中的第j个单元，

表示第t个卷积层中的第i个偏移量，f表示一个激励函数。

5.如权利要求4所述的一种基于融合多模态数据矩阵式的认知方法，其特征在于，所述采用TF-IDF对文本数据进行特征提取具体包括：

对文本数据进行分词并去除停用词处理，提取预处理后的文本数据的特征；

计算目标分词在所述文本数据中出现的频率，其计算公式为

其中，TF表示目标分词在所述文本数据中出现的频率，n_i,j表示目标分词在所述文本数据中出现的次数，∑_kn_k,j表示所述文本数据中的分词总数；

计算目标分词的逆向文本频率，其计算公式为

其中，IDF表示目标分词的逆向文本频率，D表示所述文本数据中的文本总数，|{j:t_i∈d_j}|表示包含目标分词的文本数目；

计算各个目标分词的加权值，其计算公式为

TF-IDF＝TF*IDF

将各个目标分词的加权值按照从大到小排列，输出前N个词语，即为文本数据特征。

6.如权利要求5所述的一种基于融合多模态矩阵式的认知方法，其特征在于，步骤S2中，所述对所述各个单模态数据的特征表示进行向量化处理，得到融合多模态特征的词向量矩阵具体包括：

将所述语音数据特征、图像数据特征以及文本数据特征进行向量化处理，分别得到对应的第一词向量矩阵、第二词向量矩阵和第三词向量矩阵；

将第一词向量矩阵、第二词向量矩阵以及第三词向量矩阵进行拼接，得到融合多模态特征的词向量矩阵。

7.如权利要求1所述的一种基于融合多模态数据矩阵式的认知方法，其特征在于，步骤S5具体包括：

S501，将待认知目标任务作为第一本体A，第一本体A具有n个对象属性，表示为attr_A＝{a₁,a₂,...,a_n}；

S502，将融合多模态特征的词向量矩阵作为第二本体B，第二本体B具有m个对象属性，表示为attr_B＝{b₁,b₂,...,b_m}；

S503，对第一本体A中每一个对象属性与第二本体B中全部对象属性进行相似度计算，得到一个m×n矩阵；

S504，找出m×n矩阵中的最大数值，并将其所在的行和列划掉，重复该步骤，直到矩阵为空，得到第一本体A与第二本体B的最大相似度序列，其表达式为f₁,f₂,...,f_K(K＝min(m,n))；

S505，根据最大相似度序列计算出第一本体A与第二本体B的对象属性的相似度，得到与待认知目标任务对应的目标特征知识。

8.如权利要求7所述的一种基于融合多模态数据矩阵式的认知方法，其特征在于，步骤S503具体包括：

计算第一本体A中的对象属性a_i与第二本体B中的对象属性b_j的相似度，其计算公式为

其中，i＝1,2,…,n，j＝1,2,…,m；

计算第一本体A中所有对象属性与第二本体B中所有对象属性的相似度，得到相似度矩阵Q_m×n，其表达式为

9.如权利要求8所述的一种基于融合多模态数据矩阵式的认知方法，其特征在于，步骤S505具体包括：

计算第一本体A与第二本体B的对象属性的相似度，其计算公式为

其中，k＝1,2,…,K。

10.一种基于融合多模态数据矩阵式的认知系统，其特征在于，所述系统包括：数据采集模块、矩阵构建模块和认知计算模块；

数据采集模块，用于获取目标多模态数据集，并获取目标多模态数据集对应的认知目标任务，并作为待认知目标任务；

矩阵构建模块，用于对所述多模态数据集进行特征提取，多模态数据集中至少包括一种单模态数据，得到各个单模态数据的特征表示，对所述各个单模态数据的特征表示进行向量化处理，得到融合多模态特征的词向量矩阵；

认知计算模块，用于建立语义网络表达认知模型，计算融合多模态特征的词向量矩阵中的特征与待认知目标任务的相似度，得到与待认知目标任务对应的目标特征知识，从而实现对多模态数据集的融合认知计算。

Images