CN110503205A - 一种多模态数据处理方法及系统 - Google Patents

Abstract

本发明提出一种多模态数据处理方法及系统，包括：获取多个多模态数据样本，并将多模态数据样本的质量评价作为特征，将多模态数据样本的模态组合作为标签；以特征为输入，并以标签为训练目标，训练多类分类器模型，得到模态选择模型；获取待处理多模态数据，将待处理多模态数据的特征输入模态选择模型，得到模态组合选择结果，通过将待处理多模态数据中除模态组合选择结果以外的置0，得到修改后的多模态数据；修改后的多模态数据输入指定的多模态机器学习任务模型，将多模态机器学习任务模型的输出结果作为待处理多模态数据的多模态数据处理结果。本发明可以提升低数据质量下的多模态机器学习模型性能。

Description

一种多模态数据处理方法及系统

技术领域

本发明涉及普适计算和多模态机器学习领域，具体涉及一种基于数据质量评估的多模态数据选择方法及系统。

背景技术

多模态机器学习利用多种数据模态之间的互补性和冗余性，比单模态机器学习更全面、更鲁棒。但多模态机器学习在真实应用场景中面临各模态数据质量不稳定的问题，传感器自身特性、信号传输不稳定、开放环境干扰性强等因素会使得各模态数据出现诸如噪声严重、部分模态数据缺失等问题，且问题严重程度随着时间会有波动。数据质量不稳定将导致不同模态之间存在信息冲突等问题，降低多模态机器学习模型性能。比如多模态手势识别任务，其可能涉及RGB视频、深度视频、音频、肌电和Kinect关节运动信息等等模态。

针对数据质量问题，现有的主要解决方式是通过中值滤波等方法对数据进行降噪处理、通过下采样或插值等方法减小单一模态数据损坏的影响，以及一些针对特定模态的处理方式，例如具有注意机制的卷积神经网络，它能够感知图像中人脸被遮挡区域，并聚焦于最具可辨别性的未遮挡区域，提高对遮挡的鲁棒性。

现有技术中，针对特定模态的方法无法在多种数据模态中应用，缺乏对多模态任务的针对性，而模态通用的处理方法如插值或中值滤波又只能应对比较简单的数据受损情况。各种现有的针对多模态数据质量问题的处理方法都没有充分利用多模态之间的有效冗余性，从主动的高质量数据模态选择的角度来解决问题。

发明内容

本发明的目的是克服多模态融合机器学习过程中各模态数据质量不稳定对机器学习模型性能的负面影响，提出了一种基于数据可用性质量评估的多模态数据选择方法。

针对现有技术的不足，本发明提出一种多模态数据处理方法，其中包括：

步骤1、获取多个多模态数据样本，并将该多模态数据样本的质量评价作为特征，将该多模态数据样本的模态组合作为标签；

步骤2、以多模态数据样本的该特征为输入，并以多模态数据样本的该标签为训练目标，训练多类分类器模型，得到模态选择模型；

步骤3、获取待处理多模态数据，将该待处理多模态数据的特征输入该模态选择模型，得到模态组合选择结果，通过将该待处理多模态数据中除该模态组合选择结果以外的置0，得到修改后的多模态数据；

步骤4、修改后的多模态数据输入指定的多模态机器学习任务模型，将该多模态机器学习任务模型的输出结果作为该待处理多模态数据的多模态数据处理结果。

所述的多模态数据处理方法，其中该步骤1包括：

步骤11、对每个多模态数据样本，使用多个单一维度质量评价函数进行打分，并将打分结果汇总，得到的质量评分向量作为当前该多模态数据样本的特征。

所述的多模态数据处理方法，其中该步骤1包括：

步骤12、初始化H为最大熵值，初始化最优模态组合为全模态；针对用于进行多分类的神经网络模型，其最后一层softmax层将会输出一系列概率值，记为p_j，设一共有M个分类类别，则通过下式计算熵值H_p：

步骤13、从当前该多模态数据样本的幂集中选定一种模态组合，将当前该多模态数据样本中符合该幂集中选定的模态组合的模态数据保留原数据，将其他模态置0，得到预处理数据样本；

步骤14、将该预处理数据样本输入预训练的多模态机器学习模型进行预测，得到预测类别，同时由该多模态机器学习模型输出层或中间层计算熵值h，若该预测类别正确且h<H，则令H＝h，并令最优模态组合等于当前从幂集中选定的模态组合；

步骤15、判断该幂集是否已经全部遍历，若是则执行步骤16，否则执行该步骤13；

步骤16、记当前记录的最优模态组合为该多模态数据样本的标签。

所述的任意一种多模态数据处理方法，其中该质量评价函数包括：信噪比和高斯噪声方差估计值。

所述的任意一种多模态数据处理方法，其中该该多模态机器学习模型为深度神经网络模型或分类模型。

本发明还提出了一种多模态数据处理方法，其中包括：

步骤1、获取多个多模态数据样本，并将该多模态数据样本的质量评价作为特征，将该多模态数据样本的模态组合作为标签；

步骤2、以多模态数据样本的该特征为输入，并以多模态数据样本的该标签为训练目标，训练多类分类器模型，得到模态选择模型；

步骤3、获取待处理多模态数据，将该待处理多模态数据的特征输入该模态选择模型，得到模态组合选择结果，通过将该待处理多模态数据中除该模态组合选择结果以外的置0，得到修改后的多模态数据；

步骤4、修改后的多模态数据输入指定的多模态机器学习任务模型，将该多模态机器学习任务模型的输出结果作为该待处理多模态数据的多模态数据处理结果。

所述的多模态数据处理方法，其中该步骤1包括：

步骤11、对每个多模态数据样本，使用多个单一维度质量评价函数进行打分，并将打分结果汇总，得到的质量评分向量作为当前该多模态数据样本的特征。

所述的多模态数据处理方法，其中该步骤1包括：

步骤12、初始化H为最大熵值，初始化最优模态组合为全模态；针对用于进行多分类的神经网络模型，其最后一层softmax层将会输出一系列概率值，记为p_j，设一共有M个分类类别，则通过下式计算熵值H_p：

步骤13、从当前该多模态数据样本的幂集中选定一种模态组合，将当前该多模态数据样本中符合该幂集中选定的模态组合的模态数据保留原数据，将其他模态置0，得到预处理数据样本；

步骤14、将该预处理数据样本输入预训练的多模态机器学习模型进行预测，得到预测类别，同时由该多模态机器学习模型输出层或中间层计算熵值h，若该预测类别正确且h<H，则令H＝h，并令最优模态组合等于当前从幂集中选定的模态组合；

步骤15、判断该幂集是否已经全部遍历，若是则执行步骤16，否则执行该步骤13；

步骤16、记当前记录的最优模态组合为该多模态数据样本的标签。

所述的任意一种多模态数据处理方法，其中该质量评价函数包括：信噪比和高斯噪声方差估计值。

所述的任意一种多模态数据处理方法，其中该该多模态机器学习模型为深度神经网络模型或分类模型。

由以上方案可知，本发明的优点在于：

现有方法仅从单一模态数据质量提升角度解决数据质量不稳定问题，相比于此，本发明通过利用不同模态之间的互补性和冗余性，从主动的数据选择角度克服数据质量不稳定问题。由于充分利用的多模态数据的协同特性，该方法相比于简单的数据预处理(如中值滤波等)能够更有效地提升在低质量数据上的多模态机器学习模型性能，如图1所示为在公开数据集Montalbano上的部分实验结果，图中横轴为数据受损程度，纵轴为多模态手势识别准确率，黄色虚线为不做数据预处理的结果，蓝色实线为做数据选择的结果，绿色菱形标记实线为做中值滤波的结果。

同时，本发明相比现有技术，还具有不受特定数据模态限制的优点，可以被广泛应用于各种多模态机器学习任务中。

附图说明

图1为公开数据集上的部分实验结果图；

图2为多模态数据样本在模态选择模型训练集中对应样本的标签生成流程图；

图3为在线预测阶段数据选择流程图。

具体实施方式

现有技术中对单一模态的数据质量提升方法均没有考虑到多模态数据自身不同模态之间的互补和冗余性，多模态数据的这种特性使得各模态数据质量不稳定的问题可以通过动态地主动选择高可用性的数据来得到解决。

本发明提出了一种基于数据可用性质量评估的多模态数据选择方法。通过在多模态任务原始数据集基础上，构建一个从各模态数据质量评分向量到最优模态组合的映射的数据集，并在此数据集上训练一个专门用于进行模态选择的机器学习模型，实现数据驱动的动态自适应数据模态选择，从而提高原始多模态模型的表现。

本发明关键点包括：离线数据集中多模态样本最优模态组合判定方法；技术效果：利用低熵机制，通过遍历模态全集的幂集，尝试所有可能的模态组合，并从中选择使模型输出层熵值最低的组合作为最优模态组合，最优模态组合可作为模态选择模型的学习标签。基于数据质量评价的在线预测阶段动态模态选择方法；技术效果：通过训练额外的模态选择模型，学习数据质量评分到最优模态组合的映射，可在在线预测阶段中的预处理过程中实现模态优选，提升多模态机器学习模型性能。

为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。

本发明基于数据选择，即对多模态数据中的模态进行选择。本发明的核心是模态选择模型。该模型是一个分类器，其输出的类别为当前多模态机器学习任务涉及的数据模态集合的幂集中除空集以外的全部元素，输入为多模态数据样本的质量评分向量。

一.模态选择模型训练集构造：

对模态选择模型的训练，需要预先构造训练集。该训练集中每个样本都包括两部分需要生成：特征和标签。特征的生成方式如下：遍历原始多模态数据集，对每个多模态数据样本，以若干个单一维度质量评价函数(如信噪比、高斯噪声方差估计值等质量评价指标)进行打分，将打分汇总得到的向量即为该数据集中当前样本的特征部分。当前样本的标签部分的生成方式如下，如图2所示：

1.初始化H为当前应用场景下可能取得的最大熵值，初始化最优模态组合为全模态；针对用于进行多分类的神经网络模型，其最后一层softmax层将会输出一系列概率值，记为p_j，假设一共有M个分类类别，则这里的熵值H_p即可用下式计算：

这里初始化时设置的最大熵值可以直接取logM或更大的值。

2.从当前任务涉及到的模态集合的幂集(其中每个元素对应一种模态组合方式)中选择一个未被选择过的元素；例如有3种模态：{A,B,C}，那么这个集合的幂集中一共包括8个元素：{空集,{A},{B},{C},{A,B},{A,C},{B,C},{A,B,C}}。这个幂集中的每个就对应了一个原模态集合{A,B,C}的子集，也就是一种模态组合方式。

3.以选中的模态组合方式选择当前多模态数据样本中的部分模态保留原数据，将其他模态置为0；

4.将该样本输入预训练的多模态机器学习模型进行预测，同时由模型输出层或中间层计算熵值h，该多模态机器学习模型可为深度神经网络模型或分类模型；

5.如果多模态机器学习模型预测正确且h<H，则令H＝h，并令最优模态组合等于当前模态组合；当前输入的原始多模态样本是包括标签的，只需对比进行了模态选择后样本输入模型后得到的预测类别与该标签，即可得知模型预测是否正确。预测类别指的是原始的多模态多分类任务中的类别。例如手势识别任务，待识别的手势类别有{握拳，五指张开，伸出食指}这三种，那“预测类别”就是多模态分类器所预测出的这三者之一。

6.如果模态集合幂集已经全部遍历，则跳转至步骤7，否则跳转至步骤2；

7.记当前记录的最优模态组合为该多模态数据样本在模态选择模型训练集中所对应样本的标签。

二.模态选择模型训练：

任意一种多类分类器模型均可作为模态选择模型的实现方式，如随机森林、支持向量机等。在已生成的训练集上进行训练即可得到模态选择模型。训练集里的特征是数据质量评分向量，标签是最优模态组合。这个标签可以通过将所有可能的模态组合(即前述模态集合的所有子集)映射到一系列整数上得到。

接下来就是普通的多分类机器学习模型训练过程了。

3.在线阶段使用模态选择模型完成数据选择。

在多模态机器学习任务的在线预测阶段，模态选择过程如下，如图3所示：

1.对当前输入的多模态数据样本中的各模态数据，分别以若干个单一维度质量评价函数进行评分；

2.将数据质量评分汇总为一个向量；

3.将向量输入模态选择模型，该模型根据当前数据质量向量输出最优模态组合的预测结果；

4.依据该模态组合选择输入的多模态数据样本中的部分模态数据进行保留，将其他模态数据置为0；

5.输出修改后的多模态数据样本。

接下来将修改后的多模态数据样本输入多模态机器学习任务模型即可针对原多模态机器学习任务完成预测。

以下为与上述方法实施例对应的系统实施例，本实施方式可与上述实施方式互相配合实施。上述实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在上述实施方式中。

本发明还提出了一种多模态数据处理方法，其中包括：

步骤1、获取多个多模态数据样本，并将该多模态数据样本的质量评价作为特征，将该多模态数据样本的模态组合作为标签；

步骤2、以多模态数据样本的该特征为输入，并以多模态数据样本的该标签为训练目标，训练多类分类器模型，得到模态选择模型；

步骤3、获取待处理多模态数据，将该待处理多模态数据的特征输入该模态选择模型，得到模态组合选择结果，通过将该待处理多模态数据中除该模态组合选择结果以外的置0，得到修改后的多模态数据；

步骤4、修改后的多模态数据输入指定的多模态机器学习任务模型，将该多模态机器学习任务模型的输出结果作为该待处理多模态数据的多模态数据处理结果。

所述的多模态数据处理方法，其中该步骤1包括：

步骤11、对每个多模态数据样本，使用多个单一维度质量评价函数进行打分，并将打分结果汇总，得到的质量评分向量作为当前该多模态数据样本的特征。

所述的多模态数据处理方法，其中该步骤1包括：

步骤12、初始化H为最大熵值，初始化最优模态组合为全模态；针对用于进行多分类的神经网络模型，其最后一层softmax层将会输出一系列概率值，记为p_j，设一共有M个分类类别，则通过下式计算熵值H_p：

步骤13、从当前该多模态数据样本的幂集中选定一种模态组合，将当前该多模态数据样本中符合该幂集中选定的模态组合的模态数据保留原数据，将其他模态置0，得到预处理数据样本；

步骤14、将该预处理数据样本输入预训练的多模态机器学习模型进行预测，得到预测类别，同时由该多模态机器学习模型输出层或中间层计算熵值h，若该预测类别正确且h<H，则令H＝h，并令最优模态组合等于当前从幂集中选定的模态组合；

步骤15、判断该幂集是否已经全部遍历，若是则执行步骤16，否则执行该步骤13；

步骤16、记当前记录的最优模态组合为该多模态数据样本的标签。

所述的任意一种多模态数据处理方法，其中该质量评价函数包括：信噪比和高斯噪声方差估计值。

所述的任意一种多模态数据处理方法，其中该该多模态机器学习模型为深度神经网络模型或分类模型。

Claims (10)

1.一种多模态数据处理方法，其特征在于，包括：

步骤1、获取多个多模态数据样本，并将该多模态数据样本的质量评价作为特征，将该多模态数据样本的模态组合作为标签；

步骤2、以多模态数据样本的该特征为输入，并以多模态数据样本的该标签为训练目标，训练多类分类器模型，得到模态选择模型；

步骤3、获取待处理多模态数据，将该待处理多模态数据的特征输入该模态选择模型，得到模态组合选择结果，通过将该待处理多模态数据中除该模态组合选择结果以外的置0，得到修改后的多模态数据；

步骤4、修改后的多模态数据输入指定的多模态机器学习任务模型，将该多模态机器学习任务模型的输出结果作为该待处理多模态数据的多模态数据处理结果。

2.如权利要求1所述的多模态数据处理方法，其特征在于，该步骤1包括：

步骤11、对每个多模态数据样本，使用多个单一维度质量评价函数进行打分，并将打分结果汇总，得到的质量评分向量作为当前该多模态数据样本的特征。

3.如权利要求1所述的多模态数据处理方法，其特征在于，该步骤1包括：

步骤12、初始化H为最大熵值，初始化最优模态组合为全模态；针对用于进行多分类的神经网络模型，其最后一层softmax层将会输出一系列概率值，记为p_j，设一共有M个分类类别，则通过下式计算熵值H_p：

步骤13、从当前该多模态数据样本的幂集中选定一种模态组合，将当前该多模态数据样本中符合该幂集中选定的模态组合的模态数据保留原数据，将其他模态置0，得到预处理数据样本；

步骤14、将该预处理数据样本输入预训练的多模态机器学习模型进行预测，得到预测类别，同时由该多模态机器学习模型输出层或中间层计算熵值h，若该预测类别正确且h<H，则令H＝h，并令最优模态组合等于当前从幂集中选定的模态组合；

步骤15、判断该幂集是否已经全部遍历，若是则执行步骤16，否则执行该步骤13；

步骤16、记当前记录的最优模态组合为该多模态数据样本的标签。

4.如权利要求2所述的任意一种多模态数据处理方法，其特征在于，该质量评价函数包括：信噪比和高斯噪声方差估计值。

5.如权利要求3所述的任意一种多模态数据处理方法，其特征在于，该该多模态机器学习模型为深度神经网络模型或分类模型。

6.一种多模态数据处理方法，其特征在于，包括：

步骤1、获取多个多模态数据样本，并将该多模态数据样本的质量评价作为特征，将该多模态数据样本的模态组合作为标签；

步骤2、以多模态数据样本的该特征为输入，并以多模态数据样本的该标签为训练目标，训练多类分类器模型，得到模态选择模型；

步骤3、获取待处理多模态数据，将该待处理多模态数据的特征输入该模态选择模型，得到模态组合选择结果，通过将该待处理多模态数据中除该模态组合选择结果以外的置0，得到修改后的多模态数据；

步骤4、修改后的多模态数据输入指定的多模态机器学习任务模型，将该多模态机器学习任务模型的输出结果作为该待处理多模态数据的多模态数据处理结果。

7.如权利要求1所述的多模态数据处理方法，其特征在于，该步骤1包括：

步骤11、对每个多模态数据样本，使用多个单一维度质量评价函数进行打分，并将打分结果汇总，得到的质量评分向量作为当前该多模态数据样本的特征。

8.如权利要求1所述的多模态数据处理方法，其特征在于，该步骤1包括：

步骤12、初始化H为最大熵值，初始化最优模态组合为全模态；针对用于进行多分类的神经网络模型，其最后一层softmax层将会输出一系列概率值，记为p_j，设一共有M个分类类别，则通过下式计算熵值H_p：

步骤13、从当前该多模态数据样本的幂集中选定一种模态组合，将当前该多模态数据样本中符合该幂集中选定的模态组合的模态数据保留原数据，将其他模态置0，得到预处理数据样本；

步骤14、将该预处理数据样本输入预训练的多模态机器学习模型进行预测，得到预测类别，同时由该多模态机器学习模型输出层或中间层计算熵值h，若该预测类别正确且h<H，则令H＝h，并令最优模态组合等于当前从幂集中选定的模态组合；

步骤15、判断该幂集是否已经全部遍历，若是则执行步骤16，否则执行该步骤13；

步骤16、记当前记录的最优模态组合为该多模态数据样本的标签。

9.如权利要求2所述的任意一种多模态数据处理方法，其特征在于，该质量评价函数包括：信噪比和高斯噪声方差估计值。

10.如权利要求3所述的任意一种多模态数据处理方法，其特征在于，该该多模态机器学习模型为深度神经网络模型或分类模型。