CN110543916A - 一种缺失多视图数据的分类方法及系统 - Google Patents

Abstract

本发明公开了一种缺失多视图数据的分类方法及系统。该方法包括：由缺失多视图训练样本数据重构第一隐空间，由待测试的缺失多视图样本数据重构第二隐空间；由第一隐空间、缺失多视图训练样本数据和重建损失函数，训练多视图多路神经网络模型，将第一隐空间、真实类标签输入至训练后的模型中，以总损失函数为目标函数调整第一隐空间，直至重建损失函数、总损失函数均收敛，得到训练好的模型和第一完备隐空间；将第二隐空间输入至训练好的模型中，以重建损失函数为目标函数调整第二隐空间，得到第二完备隐空间；由第一完备隐空间和第二完备隐空间，实现对待测试的缺失多视图样本的分类。本发明能够提高针对缺失多视图数据进行分类的准确性。

Description

一种缺失多视图数据的分类方法及系统

技术领域

本发明涉及图像分类技术领域，特别是涉及一种缺失多视图数据的分类方法及系统。

背景技术

多视图数据在生活中十分常见，例如，医疗领域的磁共振成像、计算机断层显像等。这些不同类型的数据包含了对病情诊断有效的互补信息，然而整合多种类型的数据并加以充分利用很难实现，加之部分视图数据缺失的问题，建模难度更大。

尽管在近些年多视图学习领域发展快速，但是仍受限于复杂关系的有效建模，现有技术难以有效解决视图缺失的情况。在处理视图缺失问题上，一些技术丢弃缺失数据只保留完整数据，这样会丢失大量数据信息，尤其当样本量稀少时完全无法应用；一些技术按照数据的缺失情况进行分组，各组独立训练，这将无法充分挖掘数据之间的关系，并且当缺失情况多样时也将导致分组情况复杂。这就导致了现有的缺失多视图数据的分类方法无法平衡多视图数据之间的一致性关系和信息互补性，从而导致分类的准确度低。

发明内容

基于此，有必要提供一种缺失多视图数据的分类方法及系统，以提高针对缺失多视图数据进行分类的准确性。

为实现上述目的，本发明提供了如下方案：

一种缺失多视图数据的分类方法，包括：

获取多视图训练集和多视图测试集；所述多视图训练集包括多个缺失多视图训练样本数据和每个缺失多视图训练样本对应的真实类标签；所述多视图测试集包括多个待测试的缺失多视图样本数据；

依据所述缺失多视图训练样本数据重构隐空间，得到第一隐空间，依据所述待测试的缺失多视图样本数据重构隐空间，得到第二隐空间；一个所述缺失多视图训练样本数据对应一个第一隐空间；一个所述待测试的缺失多视图样本数据对应一个所述第二隐空间；

在当前迭代次数下，将上一迭代次数下的第一隐空间作为多视图多路神经网络模型的输入，所述缺失多视图训练样本数据作为所述多视图多路神经网络模型的输出，并以重建损失函数作为目标函数调整所述多视图多路神经网络模型中各个全连接层的权重参数，得到当前迭代次数下训练后的多视图多路神经网络模型；所述多视图多路神经网络模型是由多层全连接层组成的；所述重建损失函数表示所述第一隐空间与所述缺失多视图训练样本数据的近似程度；所述训练后的多视图多路神经网络模型为各全连接层的权重均确定后的多视图多路神经网络模型；

将上一迭代次数下的第一隐空间和所述真实类标签作为训练后的多视图多路神经网络模型的输入，所述缺失多视图训练样本数据作为训练后的多视图多路神经网络模型的输出，并以总损失函数作为目标函数，调整所述第一隐空间，得到当前迭代次数下训练后的第一隐空间；所述总损失函数由所述重建损失函数和分类损失函数构成；所述分类损失函数表示所述第一隐空间的预测类标签与所述真实类标签的近似程度；

判断所述重建损失函数、所述总损失函数是否均收敛；

若是，则将当前迭代次数下训练后的多视图多路神经网络模型确定为训练好的多视图多路神经网络模型，将当前迭代次数下训练后的第一隐空间确定为第一完备隐空间；所述第一完备隐空间的完备程度大于所述第一隐空间的完备程度；一个所述第一隐空间对应一个第一完备隐空间；

若否，则迭代次数加1，更新当前迭代次数，并返回所述在当前迭代次数下，将上一迭代次数下的第一隐空间作为多视图多路神经网络模型的输入，所述缺失多视图训练样本数据作为所述多视图多路神经网络模型的输出，并以重建损失函数作为目标函数调整所述多视图多路神经网络模型中各个全连接层的权重参数，得到当前迭代次数下训练后的多视图多路神经网络模型；

将所述第二隐空间输入至训练好的多视图多路神经网络模型中，并以所述重建损失函数作为目标函数，调整所述第二隐空间，直至所述重建损失函数收敛，得到第二完备隐空间；所述第二完备隐空间的完备程度大于所述第二隐空间的完备程度；

计算所述第二完备隐空间中的待测试的缺失多视图样本数据分别与所有第一完备隐空间中的缺失多视图训练样本数据的兼容函数，并将兼容函数的最大均值对应的缺失多视图训练样本数据的真实类标签作为待测试的缺失多视图样本的类标签。

可选的，在所述将所述第二隐空间输入至训练好的多视图多路神经网络模型中，并以所述重建损失函数作为目标函数，调整所述第二隐空间，直至所述重建损失函数收敛，得到第二完备隐空间之前，还包括：

依据所述第一完备隐空间对所述训练好的多视图多路神经网络模型进行微调，得到微调后的多视图多路神经网络模型。

可选的，所述依据所述第一完备隐空间对所述训练好的多视图多路神经网络模型进行微调，得到微调后的多视图多路神经网络模型，具体包括：

将所述第一完备隐空间输入至所述训练好的多视图多路神经网络模型中，并以所述重建损失函数作为目标函数调整所述训练好的多视图多路神经网络模型中各个全连接层的权重参数，直至所述重建损失函数收敛，得到微调后的多视图多路神经网络模型。

可选的，所述重建损失函数为：

其中，l_r(S_n,h_n)表示重建损失函数，S_n表示第n个缺失多视图训练样本数据，表示第n个缺失多视图训练样本中的第v个视图，V表示第n个缺失多视图训练样本中视图的总个数，h_n表示第n个缺失多视图训练样本数据对应的第一隐空间，s_nv表示第n个缺失多视图训练样本中第v个视图是否缺失的标志，表示第v个视图对应的多视图多路神经网络模型，表示第v个视图对应的多视图多路神经网络模型中第r层全连接层的权重参数。

可选的，所述总损失函数为：

其中，Θ_r表示多视图多路神经网络模型中第r层全连接层的权重参数，N表示缺失多视图训练样本的总数量，l_c(y_n,y_p,h_n)表示分类损失函数，y_n表示第n个缺失多视图训练样本对应的真实类标签，y_p表示第n个缺失多视图训练样本对应的第一隐空间的预测类标签，λ为常数，λ表示重建损失和分类损失的平衡参量。

本发明还提出了一种缺失多视图数据的分类系统，包括：

数据获取模块，用于获取多视图训练集和多视图测试集；所述多视图训练集包括多个缺失多视图训练样本数据和每个缺失多视图训练样本对应的真实类标签；所述多视图测试集包括多个待测试的缺失多视图样本数据；

隐空间重构模块，用于依据所述缺失多视图训练样本数据重构隐空间，得到第一隐空间，依据所述待测试的缺失多视图样本数据重构隐空间，得到第二隐空间；一个所述缺失多视图训练样本数据对应一个第一隐空间；一个所述待测试的缺失多视图样本数据对应一个所述第二隐空间；

模型训练模块，用于在当前迭代次数下，将上一迭代次数下的第一隐空间作为多视图多路神经网络模型的输入，所述缺失多视图训练样本数据作为所述多视图多路神经网络模型的输出，并以重建损失函数作为目标函数调整所述多视图多路神经网络模型中各个全连接层的权重参数，得到当前迭代次数下训练后的多视图多路神经网络模型；所述多视图多路神经网络模型是由多层全连接层组成的；所述重建损失函数表示所述第一隐空间与所述缺失多视图训练样本数据的近似程度；所述训练后的多视图多路神经网络模型为各全连接层的权重均确定后的多视图多路神经网络模型；

第一隐空间调整模块，用于将上一迭代次数下的第一隐空间和所述真实类标签作为训练后的多视图多路神经网络模型的输入，所述缺失多视图训练样本数据作为训练后的多视图多路神经网络模型的输出，并以总损失函数作为目标函数，调整所述第一隐空间，得到当前迭代次数下训练后的第一隐空间；所述总损失函数由所述重建损失函数和分类损失函数构成；所述分类损失函数表示所述第一隐空间的预测类标签与所述真实类标签的近似程度；

判断模块，用于判断所述重建损失函数、所述总损失函数是否均收敛；若是，则将当前迭代次数下训练后的多视图多路神经网络模型确定为训练好的多视图多路神经网络模型，将当前迭代次数下训练后的第一隐空间确定为第一完备隐空间；所述第一完备隐空间的完备程度大于所述第一隐空间的完备程度；一个所述第一隐空间对应一个第一完备隐空间；若否，则迭代次数加1，更新当前迭代次数，并返回所述模型训练模块；

第二隐空间调整模块，用于将所述第二隐空间输入至训练好的多视图多路神经网络模型中，并以所述重建损失函数作为目标函数，调整所述第二隐空间，直至所述重建损失函数收敛，得到第二完备隐空间；所述第二完备隐空间的完备程度大于所述第二隐空间的完备程度；

分类模块，用于计算所述第二完备隐空间中的待测试的缺失多视图样本数据分别与所有第一完备隐空间中的缺失多视图训练样本数据的兼容函数，并将兼容函数的最大均值对应的缺失多视图训练样本数据的真实类标签作为待测试的缺失多视图样本的类标签。

可选的，所述缺失多视图数据的分类系统还包括：

网络微调模块，用于依据所述第一完备隐空间对所述训练好的多视图多路神经网络模型进行微调，得到微调后的多视图多路神经网络模型。

可选的，所述网络微调模块，具体包括：

微调单元，用于将所述第一完备隐空间输入至所述训练好的多视图多路神经网络模型中，并以所述重建损失函数作为目标函数调整所述训练好的多视图多路神经网络模型中各个全连接层的权重参数，直至所述重建损失函数收敛，得到微调后的多视图多路神经网络模型。

可选的，所述重建损失函数为：

其中，l_r(S_n,h_n)表示重建损失函数，S_n表示第n个缺失多视图训练样本数据，表示第n个缺失多视图训练样本中的第v个视图，V表示第n个缺失多视图训练样本中视图的总个数，h_n表示第n个缺失多视图训练样本数据对应的第一隐空间，s_nv表示第n个缺失多视图训练样本中第v个视图是否缺失的标志，表示第v个视图对应的多视图多路神经网络模型，表示第v个视图对应的多视图多路神经网络模型中第r层全连接层的权重参数。

可选的，所述总损失函数为：

其中，Θ_r表示多视图多路神经网络模型中第r层全连接层的权重参数，N表示缺失多视图训练样本的总数量，l_c(y_n,y_p,h_n)表示分类损失函数，y_n表示第n个缺失多视图训练样本对应的真实类标签，y_p表示第n个缺失多视图训练样本对应的第一隐空间的预测类标签，λ为常数，λ表示重建损失和分类损失的平衡参量。

与现有技术相比，本发明的有益效果是：

本发明提出了一种缺失多视图数据的分类方法及系统。所述方法包括：由缺失多视图训练样本数据重构第一隐空间，由待测试的缺失多视图样本数据重构第二隐空间；由第一隐空间、缺失多视图训练样本数据和重建损失函数，训练多视图多路神经网络模型，将第一隐空间、真实类标签输入至训练后的模型中，以总损失函数为目标函数调整第一隐空间，直至重建损失函数、总损失函数均收敛，得到训练好的模型和第一完备隐空间；将第二隐空间输入至训练好的多视图多路神经网络模型中，并以重建损失函数作为目标函数，调整第二隐空间，得到第二完备隐空间；依据第一完备隐空间和第二完备隐空间，实现对待测试的缺失多视图样本的分类。本发明利用完备的隐空间表示的方法完成分类任务，能够利用所有样本，无需丢弃样本，并且能够充分挖掘所有视图之间的关系，无需将样本分组，实现了多视图数据之间的一致性关系和信息互补性的平衡，提高了针对缺失多视图数据进行分类的分类的准确性；本发明还能够适用于各种缺失情况，适应性好。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一种缺失多视图数据的分类方法的流程图；

图2为本发明实施例一种缺失多视图数据的分类系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明提供的缺失多视图数据的分类方法包括训练过程和测试过程。该方法的整体思路为：

训练过程

步骤1.构造隐空间和多视图多路神经网络，隐空间的维度作为参数可以根据数据集情况进行调整，多视图多路神经网络由全连接层构成。

步骤2.隐空间随机初始化，多视图多路神经网络参数随机初始化。

步骤3.输入多视图数据和对应类别标签，保持隐空间不变，训练优化各路神经网络参数直到达到收敛；再保持神经网络不变，训练优化隐空间表示。以此方法迭代交替更新神经网络和隐空间，直到最终达到收敛，得到完备的隐空间表示。最后使用隐空间表示重新微调神经网络参数。

测试过程

步骤1.输入测试数据，对应的隐空间表示随机初始化。

步骤2.神经网络保持不变，计算测试数据集的重建损失，固定多视图多路神经网络参数，更新优化测试数据集的隐空间表示直至收敛，得到测试数据的隐空间表示。

步骤3.在隐空间中，计算该样本的表示与完备的隐空间表示中各个类别所有样本的距离，用兼容函数表达，选择兼容函数均值最大的一类作为该样本的类别标签输出。

下面提供了一个具体的实施例。

图1为本发明实施例一种缺失多视图数据的分类方法的流程图。

参见图1，实施例的缺失多视图数据的分类方法，包括：

步骤S1：获取多视图训练集和多视图测试集；多视图训练集包括多个缺失多视图训练样本数据和每个缺失多视图训练样本对应的真实类标签；多视图测试集包括多个待测试的缺失多视图样本数据。

具体的，首先，获取多个缺失多视图数据，每个视图对应一种数据，将得到的多个缺失多视图数据使用深度学习网络(例VGG，GoogleNet等)或传统手工特征提取方式(例SIFT，SURF)提取特征；然后对特征进行归一化处理，再将将归一化处理后的数据划分为多视图训练集和多视图测试集，其中多视图训练集用于模型训练阶段，多视图测试集用于模型测试阶段。多视图训练集为S_n表示第n个缺失多视图训练样本数据，y_n表示第n个缺失多视图训练样本对应的真实类标签，其中S_n是完整多视图数据的一个子集，N表示缺失多视图训练样本的总数量。

步骤S2：依据缺失多视图训练样本数据重构隐空间，得到第一隐空间，依据待测试的缺失多视图样本数据重构隐空间，得到第二隐空间。

一个缺失多视图训练样本数据对应一个第一隐空间；一个待测试的缺失多视图样本数据对应一个第二隐空间。第一隐空间是通过对缺失多视图训练样本数据进行随机初始化得到的；第二隐空间是通过对待测试的缺失多视图样本数据进行随机初始化得到的；第一隐空间和第二隐空间的表示形式均为矩阵形式。第一隐空间和第二隐空间的维度均在100-250之间。

在该步骤中，建立隐空间的目的是：隐空间的表示形式有着多种多样功能，通过训练，充分挖掘所有数据和所有视图之间的关系，将任意缺失情况的数据映射到一个公共的空间，得到完备隐空间。具体的，在训练阶段，通过多视图多路神经网络将第一隐空间进行线性或非线性映射，使得第一隐空间表示能够通过线性或非线性映射重建得到多个视角的数据，即得到第一完备隐空间；在测试阶段，通过多视图多路神经网络将第二隐空间进行线性或非线性映射，使得二隐空间表示能够通过线性或非线性映射重建得到多个视角的数据，即得到第二完备隐空间，得到的完备隐空间能够包含完备的多视图数据信息。

步骤S3：在当前迭代次数下，将上一迭代次数下的第一隐空间作为多视图多路神经网络模型的输入，缺失多视图训练样本数据作为多视图多路神经网络模型的输出，并以重建损失函数作为目标函数调整多视图多路神经网络模型中各个全连接层的权重参数，得到当前迭代次数下训练后的多视图多路神经网络模型。

该步骤中，具体的，将第一隐空间作为多视图多路神经网络模型的输入，缺失多视图训练样本数据作为多视图多路神经网络模型的输出，固定第一隐空间，根据重建损失，通过梯度下降算法更新优化多视图多路神经网络的各个全连接层的权重参数，得到训练后的多视图多路神经网络模型。

该步骤中，多视图多路神经网络模型是由多层全连接层组成的，本实施例中多视图多路神经网络模型的全连接层的层数在1-3之间，每一个多视图多路神经网络模型的输入均为隐空间，对应输出为从隐空间中重建的对应视图的数据；重建损失函数表示第一隐空间与缺失多视图训练样本数据的近似程度；训练后的多视图多路神经网络模型为各全连接层的权重均确定后的多视图多路神经网络模型。

本实施例中，重建损失函数的作用是约束隐空间表示的重建输出能够尽可能的接近真实的多视图数据，重建损失函数定义为真实的多视图数据与重建多视图数据的欧几里得距离均值的平方，其中对于缺失视图数据，不计算重建损失。重建损失函数为：

其中，l_r(S_n,h_n)表示重建损失函数，S_n表示第n个缺失多视图训练样本数据，表示第n个缺失多视图训练样本中的第v个视图，V表示第n个缺失多视图训练样本中视图的总个数，h_n表示第n个缺失多视图训练样本数据对应的第一隐空间，s_nv表示第n个缺失多视图训练样本中第v个视图是否缺失的标志，表示第v个视图对应的多视图多路神经网络模型，表示第v个视图对应的多视图多路神经网络模型中第r层全连接层的权重参数，可以将n个缺失多视图训练样本对应的第一隐空间h_n通过权重参数映射到该缺失多视图训练样本的第v个视图数据中，神经网络通常使用全连接层。作为一种可选的实施方式，多视图多路神经网络模型可以由两层全连接层构成，对于两层全连接层构成的第v个视图的神经网络来说，其公式形式可以表示为W_(1,v)表示第v个视图对应的多视图多路神经网络模型中第1层全连接层的权重参数，W_(2,v)表示第v个视图对应的多视图多路神经网络模型中第2层全连接层的权重参数，g表示激活函数，g可以使用relu、sigmoid等激活函数。

步骤S4：将上一迭代次数下的第一隐空间和真实类标签作为训练后的多视图多路神经网络模型的输入，缺失多视图训练样本数据作为训练后的多视图多路神经网络模型的输出，并以总损失函数作为目标函数，调整第一隐空间，得到当前迭代次数下训练后的第一隐空间。

该步骤中，具体的，将第一隐空间和真实类标签作为训练好的多视图多路神经网络模型的输入，缺失多视图训练样本数据作为训练好的多视图多路神经网络模型的输出，固定的各个全连接层的权重参数，根据总损失通过梯度下降算法更新优化第一隐空间，得到训练后的第一隐空间。

总损失函数由重建损失函数和分类损失函数构成；分类损失函数表示第一隐空间的预测类标签与真实类标签的近似程度。总损失函数为：

其中，Θ_r表示多视图多路神经网络模型中第r层全连接层的权重参数，N表示缺失多视图训练样本的总数量，l_c(y_n,y_p,h_n)表示分类损失函数，y_n表示第n个缺失多视图训练样本对应的真实类标签，y_p表示第n个缺失多视图训练样本对应的第一隐空间的预测类标签，λ为常数，λ表示重建损失和分类损失的平衡参量，用来平衡重建损失和分类损失，当λ增大时，将更加重视分类损失，反正则更加注重重建损失。

其中，分类损失函数作用是约束第一隐空间，通过分类损失函数，第一隐空间表示能够被约束为高维空间中可分离的多个簇。分类损失函数，具体为：

其中，

Δ(y_n,y_p)＝Δ(y_n,g(h_n；Θ_c))，

F(h,h_n)＝φ(h；Θ_c)^Tφ(h_n；Θ_c)。

φ(h；Θ_c)表示第一隐空间的特征映射函数，φ(h_n；Θ_c)表示第n个缺失多视图训练样本对应的第一隐空间的特征映射函数，Θ_c表示分类器的参数，本实施例中，令φ(h；Θ_c)＝h，φ(h_n；Θ_c)＝h_n，即将参数Θ_c去掉，分类器为无参数分类器，h_n表示第n个缺失多视图训练样本数据对应的第一隐空间，h表示所有缺失多视图训练样本数据对应的所有第一隐空间，F(h,h_n)表示兼容函数，T(y)表示类别y对应的所有第一隐空间的集合，E_h～T(y)F(h,h_n)表示对集合T(y)中所有第一隐空间求关于h_n的兼容函数的均值，表示对集合T(y)中第n个缺失多视图训练样本数据对应的第一隐空间求关于h_n的兼容函数的均值，表示对集合T(y)中所有第一隐空间求关于h的兼容函数的均值，g(h；Θ_c)表示兼容函数的最大均值对应的缺失多视图训练样本的类标签，当y_n＝y_p时，Δ(y_n,y_p)＝0，反之，Δ(y_n,y_p)＝1。

与常用的用作分类损失的交叉熵损失相比，本实施例中采用的分类损失函数能够惩罚误分类样本的同时，保证结构完整性；对于正确分类的样本，l_c(y_n,y_p,h_n)＝0；对于错误分类的样本，距离真实类隐空间中心越远，损失越大。

步骤S5：判断重建损失函数、总损失函数是否均收敛。判断是否收敛，即判断所述重建损失函数、所述总损失函数是否均不在下降。若是，则执行步骤S6，否则，迭代次数加1，更新当前迭代次数，并返回步骤S3。

步骤S6：将当前迭代次数下训练后的多视图多路神经网络模型确定为训练好的多视图多路神经网络模型，将当前迭代次数下训练后的第一隐空间确定为第一完备隐空间。

所述第一完备隐空间的完备程度大于所述第一隐空间的完备程度；一个所述第一隐空间对应一个第一完备隐空间。

步骤S7：将第二隐空间输入至训练好的多视图多路神经网络模型中，并以重建损失函数作为目标函数，调整第二隐空间，直至重建损失函数收敛，得到第二完备隐空间。

第二完备隐空间的完备程度大于第二隐空间的完备程度。

该步骤中，具体的，将第二隐空间输入至训练好的多视图多路神经网络模型中，输出各个视图的重建数据，计算多视图测试集的重建损失，固定训练好的多视图多路神经网络模型中权重参数，更新优化多视图测试集的第二隐空间直至收敛，得到第二完备隐空间。

步骤S8：计算第二完备隐空间中的待测试的缺失多视图样本数据分别与所有第一完备隐空间中的缺失多视图训练样本数据的兼容函数，并将兼容函数的最大均值对应的缺失多视图训练样本数据的真实类标签作为待测试的缺失多视图样本的类标签。

该步骤是一个基于隐空间的无参数分类器，兼容函数表示样本之间的相似度，相似度越大，则兼容函数越大，表示样本属于同一类的概率越大。该无参数分类器不仅仅惩罚错分的情况，并且在一定程度上保证了归一化。该无参数分类器同时使得类间距离增大，类内距离紧凑，具备鲁棒性和可解释性，从而使得分类准确率提高。

作为一种可选的实施方式，在步骤S7之前，还包括：依据第一完备隐空间对训练好的多视图多路神经网络模型进行微调，得到微调后的多视图多路神经网络模型。具体的：将第一完备隐空间输入至训练好的多视图多路神经网络模型中，并以重建损失函数作为目标函数调整训练好的多视图多路神经网络模型中各个全连接层的权重参数，直至重建损失函数收敛，得到微调后的多视图多路神经网络模型。

然后将第二隐空间输入至微调后的多视图多路神经网络模型中，并以重建损失函数作为目标函数，调整第二隐空间，直至重建损失函数收敛，得到第二完备隐空间。再执行步骤S8。该实施方式增加了对训练好的多视图多路神经网络模型的微调，使得训练好的多视图多路神经网络模型更准确，进而能进一步提高分类的准确性。

本实施例的缺失多视图数据的分类方法，能够利用所有样本，无需丢弃样本，并且能够充分挖掘所有视图之间的关系，无需将样本分组，实现了多视图数据之间的一致性关系和信息互补性的平衡，提高了针对缺失多视图数据进行分类的准确性；能够适用于各种缺失情况，适应性好。

本发明还提供了一种缺失多视图数据的分类系统，图2为本发明实施例一种缺失多视图数据的分类系统的结构示意图。

参见图2，实施例的缺失多视图数据的分类系统包括：

数据获取模块201，用于获取多视图训练集和多视图测试集；多视图训练集包括多个缺失多视图训练样本数据和每个缺失多视图训练样本对应的真实类标签；多视图测试集包括多个待测试的缺失多视图样本数据。

隐空间构建模块202，用于依据缺失多视图训练样本数据重构隐空间，得到第一隐空间，依据待测试的缺失多视图样本数据重构隐空间，得到第二隐空间；一个缺失多视图训练样本数据对应一个第一隐空间；一个待测试的缺失多视图样本数据对应一个第二隐空间。

模型训练模块203，用于在当前迭代次数下，将上一迭代次数下的第一隐空间作为多视图多路神经网络模型的输入，所述缺失多视图训练样本数据作为所述多视图多路神经网络模型的输出，并以重建损失函数作为目标函数调整所述多视图多路神经网络模型中各个全连接层的权重参数，得到当前迭代次数下训练后的多视图多路神经网络模型；所述多视图多路神经网络模型是由多层全连接层组成的；所述重建损失函数表示所述第一隐空间与所述缺失多视图训练样本数据的近似程度；所述训练后的多视图多路神经网络模型为各全连接层的权重均确定后的多视图多路神经网络模型。

第一隐空间调整模块204，用于将上一迭代次数下的第一隐空间和所述真实类标签作为训练后的多视图多路神经网络模型的输入，所述缺失多视图训练样本数据作为训练后的多视图多路神经网络模型的输出，并以总损失函数作为目标函数，调整所述第一隐空间，得到当前迭代次数下训练后的第一隐空间；所述总损失函数由所述重建损失函数和分类损失函数构成；所述分类损失函数表示所述第一隐空间的预测类标签与所述真实类标签的近似程度。

判断模块205，用于判断所述重建损失函数、所述总损失函数是否均收敛；若是，则将当前迭代次数下训练后的多视图多路神经网络模型确定为训练好的多视图多路神经网络模型，将当前迭代次数下训练后的第一隐空间确定为第一完备隐空间；所述第一完备隐空间的完备程度大于所述第一隐空间的完备程度；一个所述第一隐空间对应一个第一完备隐空间；若否，则迭代次数加1，更新当前迭代次数，并返回所述模型训练模块203。

第二隐空间调整模块206，用于将所述第二隐空间输入至训练好的多视图多路神经网络模型中，并以所述重建损失函数作为目标函数，调整所述第二隐空间，直至所述重建损失函数收敛，得到第二完备隐空间；所述第二完备隐空间的完备程度大于所述第二隐空间的完备程度。

分类模块207，用于计算所述第二完备隐空间中的待测试的缺失多视图样本数据分别与所有第一完备隐空间中的缺失多视图训练样本数据的兼容函数，并将兼容函数的最大均值对应的缺失多视图训练样本数据的真实类标签作为待测试的缺失多视图样本的类标签。

作为一种可选的实施方式，缺失多视图数据的分类系统还包括：

网络微调模块，用于依据第一完备隐空间对训练好的多视图多路神经网络模型进行微调，得到微调后的多视图多路神经网络模型。网络微调模块，具体包括：

微调单元，用于将第一完备隐空间输入至训练好的多视图多路神经网络模型中，并以重建损失函数作为目标函数调整训练好的多视图多路神经网络模型中各个全连接层的权重参数，直至重建损失函数收敛，得到微调后的多视图多路神经网络模型。

作为一种可选的实施方式，重建损失函数为：

其中，l_r(S_n,h_n)表示重建损失函数，S_n表示第n个缺失多视图训练样本数据，表示第n个缺失多视图训练样本中的第v个视图，V表示第n个缺失多视图训练样本中视图的总个数，h_n表示第n个缺失多视图训练样本数据对应的第一隐空间，s_nv表示第n个缺失多视图训练样本中第v个视图是否缺失的标志，表示第v个视图对应的多视图多路神经网络模型，表示第v个视图对应的多视图多路神经网络模型中第r层全连接层的权重参数。可选的，多视图多路神经网络模型可以由两层全连接层构成，对于两层全连接层构成的第v个视图的神经网络来说，其公式形式可以表示为W_(1,v)表示第v个视图对应的多视图多路神经网络模型中第1层全连接层的权重参数，W_(2,v)表示第v个视图对应的多视图多路神经网络模型中第2层全连接层的权重参数，g表示激活函数。

作为一种可选的实施方式，总损失函数为：

其中，Θ_r表示多视图多路神经网络模型中第r层全连接层的权重参数，l_c(y_n,y_p,h_n)表示分类损失函数，y_n表示第n个缺失多视图训练样本对应的真实类标签，y_p表示第n个缺失多视图训练样本对应的第一隐空间的预测类标签，λ为常数，λ表示重建损失和分类损失的平衡参量。

其中，分类损失函数，具体为：

其中，

Δ(y_n,y_p)＝Δ(y_n,g(h_n；Θ_c))，

F(h,h_n)＝φ(h；Θ_c)^Tφ(h_n；Θ_c)。

φ(h；Θ_c)表示第一隐空间的特征映射函数，φ(h_n；Θ_c)表示第n个缺失多视图训练样本对应的第一隐空间的特征映射函数，Θ_c表示分类器的参数，本实施例中，令φ(h；Θ_c)＝h，φ(h_n；Θ_c)＝h_n，即将参数Θ_c去掉，分类器为无参数分类器，h_n表示第n个缺失多视图训练样本数据对应的第一隐空间，h表示所有缺失多视图训练样本数据对应的所有第一隐空间，F(h,h_n)表示兼容函数，T(y)表示类别y对应的所有第一隐空间的集合，E_h～T(y)F(h,h_n)表示对集合T(y)中所有第一隐空间求关于h_n的兼容函数的均值，表示对集合T(y)中第n个缺失多视图训练样本数据对应的第一隐空间求关于h_n的兼容函数的均值，表示对集合T(y)中所有第一隐空间求关于h的兼容函数的均值，g(h；Θ_c)表示兼容函数的最大均值对应的缺失多视图训练样本的类标签，当y_n＝y_p时，Δ(y_n,y_p)＝0，反之，Δ(y_n,y_p)＝1。

本实施例的缺失多视图数据的分类系统，能够利用所有样本，无需丢弃样本，并且能够充分挖掘所有视图之间的关系，无需将样本分组，实现了多视图数据之间的一致性关系和信息互补性的平衡，提高了针对缺失多视图数据进行分类的准确性；能够适用于各种缺失情况，适应性好。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种缺失多视图数据的分类方法，其特征在于，包括：

获取多视图训练集和多视图测试集；所述多视图训练集包括多个缺失多视图训练样本数据和每个缺失多视图训练样本对应的真实类标签；所述多视图测试集包括多个待测试的缺失多视图样本数据；

依据所述缺失多视图训练样本数据重构隐空间，得到第一隐空间，依据所述待测试的缺失多视图样本数据重构隐空间，得到第二隐空间；一个所述缺失多视图训练样本数据对应一个第一隐空间；一个所述待测试的缺失多视图样本数据对应一个所述第二隐空间；

在当前迭代次数下，将上一迭代次数下的第一隐空间作为多视图多路神经网络模型的输入，所述缺失多视图训练样本数据作为所述多视图多路神经网络模型的输出，并以重建损失函数作为目标函数调整所述多视图多路神经网络模型中各个全连接层的权重参数，得到当前迭代次数下训练后的多视图多路神经网络模型；所述多视图多路神经网络模型是由多层全连接层组成的；所述重建损失函数表示所述第一隐空间与所述缺失多视图训练样本数据的近似程度；所述训练后的多视图多路神经网络模型为各全连接层的权重均确定后的多视图多路神经网络模型；

将上一迭代次数下的第一隐空间和所述真实类标签作为训练后的多视图多路神经网络模型的输入，所述缺失多视图训练样本数据作为训练后的多视图多路神经网络模型的输出，并以总损失函数作为目标函数，调整所述第一隐空间，得到当前迭代次数下训练后的第一隐空间；所述总损失函数由所述重建损失函数和分类损失函数构成；所述分类损失函数表示所述第一隐空间的预测类标签与所述真实类标签的近似程度；

判断所述重建损失函数、所述总损失函数是否均收敛；

若是，则将当前迭代次数下训练后的多视图多路神经网络模型确定为训练好的多视图多路神经网络模型，将当前迭代次数下训练后的第一隐空间确定为第一完备隐空间；所述第一完备隐空间的完备程度大于所述第一隐空间的完备程度；一个所述第一隐空间对应一个第一完备隐空间；

若否，则迭代次数加1，更新当前迭代次数，并返回所述在当前迭代次数下，将上一迭代次数下的第一隐空间作为多视图多路神经网络模型的输入，所述缺失多视图训练样本数据作为所述多视图多路神经网络模型的输出，并以重建损失函数作为目标函数调整所述多视图多路神经网络模型中各个全连接层的权重参数，得到当前迭代次数下训练后的多视图多路神经网络模型；

将所述第二隐空间输入至训练好的多视图多路神经网络模型中，并以所述重建损失函数作为目标函数，调整所述第二隐空间，直至所述重建损失函数收敛，得到第二完备隐空间；所述第二完备隐空间的完备程度大于所述第二隐空间的完备程度；

计算所述第二完备隐空间中的待测试的缺失多视图样本数据分别与所有第一完备隐空间中的缺失多视图训练样本数据的兼容函数，并将兼容函数的最大均值对应的缺失多视图训练样本数据的真实类标签作为待测试的缺失多视图样本的类标签。

2.根据权利要求1所述的一种缺失多视图数据的分类方法，其特征在于，在所述将所述第二隐空间输入至训练好的多视图多路神经网络模型中，并以所述重建损失函数作为目标函数，调整所述第二隐空间，直至所述重建损失函数收敛，得到第二完备隐空间之前，还包括：

依据所述第一完备隐空间对所述训练好的多视图多路神经网络模型进行微调，得到微调后的多视图多路神经网络模型。

3.根据权利要求2所述的一种缺失多视图数据的分类方法，其特征在于，所述依据所述第一完备隐空间对所述训练好的多视图多路神经网络模型进行微调，得到微调后的多视图多路神经网络模型，具体包括：

将所述第一完备隐空间输入至所述训练好的多视图多路神经网络模型中，并以所述重建损失函数作为目标函数调整所述训练好的多视图多路神经网络模型中各个全连接层的权重参数，直至所述重建损失函数收敛，得到微调后的多视图多路神经网络模型。

4.根据权利要求1所述的一种缺失多视图数据的分类方法，其特征在于，所述重建损失函数为：

其中，l_r(S_n,h_n)表示重建损失函数，S_n表示第n个缺失多视图训练样本数据， 表示第n个缺失多视图训练样本中的第v个视图，V表示第n个缺失多视图训练样本中视图的总个数，h_n表示第n个缺失多视图训练样本数据对应的第一隐空间，s_nv表示第n个缺失多视图训练样本中第v个视图是否缺失的标志，表示第v个视图对应的多视图多路神经网络模型，表示第v个视图对应的多视图多路神经网络模型中第r层全连接层的权重参数。

5.根据权利要求4所述的一种缺失多视图数据的分类方法，其特征在于，所述总损失函数为：

其中，Θ_r表示多视图多路神经网络模型中第r层全连接层的权重参数，N表示缺失多视图训练样本的总数量，l_c(y_n,y_p,h_n)表示分类损失函数，y_n表示第n个缺失多视图训练样本对应的真实类标签，y_p表示第n个缺失多视图训练样本对应的第一隐空间的预测类标签，λ为常数，λ表示重建损失和分类损失的平衡参量。

6.一种缺失多视图数据的分类系统，其特征在于，包括：

数据获取模块，用于获取多视图训练集和多视图测试集；所述多视图训练集包括多个缺失多视图训练样本数据和每个缺失多视图训练样本对应的真实类标签；所述多视图测试集包括多个待测试的缺失多视图样本数据；

隐空间重构模块，用于依据所述缺失多视图训练样本数据重构隐空间，得到第一隐空间，依据所述待测试的缺失多视图样本数据重构隐空间，得到第二隐空间；一个所述缺失多视图训练样本数据对应一个第一隐空间；一个所述待测试的缺失多视图样本数据对应一个所述第二隐空间；

模型训练模块，用于在当前迭代次数下，将上一迭代次数下的第一隐空间作为多视图多路神经网络模型的输入，所述缺失多视图训练样本数据作为所述多视图多路神经网络模型的输出，并以重建损失函数作为目标函数调整所述多视图多路神经网络模型中各个全连接层的权重参数，得到当前迭代次数下训练后的多视图多路神经网络模型；所述多视图多路神经网络模型是由多层全连接层组成的；所述重建损失函数表示所述第一隐空间与所述缺失多视图训练样本数据的近似程度；所述训练后的多视图多路神经网络模型为各全连接层的权重均确定后的多视图多路神经网络模型；

第一隐空间调整模块，用于将上一迭代次数下的第一隐空间和所述真实类标签作为训练后的多视图多路神经网络模型的输入，所述缺失多视图训练样本数据作为训练后的多视图多路神经网络模型的输出，并以总损失函数作为目标函数，调整所述第一隐空间，得到当前迭代次数下训练后的第一隐空间；所述总损失函数由所述重建损失函数和分类损失函数构成；所述分类损失函数表示所述第一隐空间的预测类标签与所述真实类标签的近似程度；

判断模块，用于判断所述重建损失函数、所述总损失函数是否均收敛；若是，则将当前迭代次数下训练后的多视图多路神经网络模型确定为训练好的多视图多路神经网络模型，将当前迭代次数下训练后的第一隐空间确定为第一完备隐空间；所述第一完备隐空间的完备程度大于所述第一隐空间的完备程度；一个所述第一隐空间对应一个第一完备隐空间；若否，则迭代次数加1，更新当前迭代次数，并返回所述模型训练模块；

第二隐空间调整模块，用于将所述第二隐空间输入至训练好的多视图多路神经网络模型中，并以所述重建损失函数作为目标函数，调整所述第二隐空间，直至所述重建损失函数收敛，得到第二完备隐空间；所述第二完备隐空间的完备程度大于所述第二隐空间的完备程度；

分类模块，用于计算所述第二完备隐空间中的待测试的缺失多视图样本数据分别与所有第一完备隐空间中的缺失多视图训练样本数据的兼容函数，并将兼容函数的最大均值对应的缺失多视图训练样本数据的真实类标签作为待测试的缺失多视图样本的类标签。

7.根据权利要求6所述的一种缺失多视图数据的分类系统，其特征在于，还包括：

网络微调模块，用于依据所述第一完备隐空间对所述训练好的多视图多路神经网络模型进行微调，得到微调后的多视图多路神经网络模型。

8.根据权利要求7所述的一种缺失多视图数据的分类系统，其特征在于，所述网络微调模块，具体包括：

微调单元，用于将所述第一完备隐空间输入至所述训练好的多视图多路神经网络模型中，并以所述重建损失函数作为目标函数调整所述训练好的多视图多路神经网络模型中各个全连接层的权重参数，直至所述重建损失函数收敛，得到微调后的多视图多路神经网络模型。

9.根据权利要求6所述的一种缺失多视图数据的分类系统，其特征在于，所述重建损失函数为：

其中，l_r(S_n,h_n)表示重建损失函数，S_n表示第n个缺失多视图训练样本数据， 表示第n个缺失多视图训练样本中的第v个视图，V表示第n个缺失多视图训练样本中视图的总个数，h_n表示第n个缺失多视图训练样本数据对应的第一隐空间，s_nv表示第n个缺失多视图训练样本中第v个视图是否缺失的标志，表示第v个视图对应的多视图多路神经网络模型，表示第v个视图对应的多视图多路神经网络模型中第r层全连接层的权重参数。

10.根据权利要求9所述的一种缺失多视图数据的分类系统，其特征在于，所述总损失函数为：

其中，Θ_r表示多视图多路神经网络模型中第r层全连接层的权重参数，N表示缺失多视图训练样本的总数量，l_c(y_n,y_p,h_n)表示分类损失函数，y_n表示第n个缺失多视图训练样本对应的真实类标签，y_p表示第n个缺失多视图训练样本对应的第一隐空间的预测类标签，λ为常数，λ表示重建损失和分类损失的平衡参量。