CN113255733A - 多模态数据缺失下的无监督异常检测方法 - Google Patents

Abstract

本发明公开了一种多模态数据缺失下的无监督异常检测方法，利用多个工业传感器采集机械设备运行状态数据，建立多模态数据集，对该数据集进行预处理，并将预处理后的数据集划分为训练集与测试集；构建用于多模态数据缺失下异常检测的无监督深度网络模型；然后使用训练集对所构建的深度模型进行训练；对训练集进行推理并得到训练集样本异常值，使用核密度估计重建训练集样本异常值的概率分布，根据该分布和置信度确定异常检测阈值；对测试集进行推理并得到测试集样本的异常值，根据阈值给出测试集样本的异常检测结果。本发明基于无监督学习框架，充分挖掘和利用多模态数据信息，为在任意模态数据缺失下的异常检测提供了一种有效方案。

Description

多模态数据缺失下的无监督异常检测方法

技术领域

本发明涉及异常检测领域，特别涉及一种多模态数据缺失下的无监督异常检测方法。

背景技术

随着现代机械装备向大型化、精密化以及智能化等方向发展，对机械设备异常尤其是系统级异常的检测极具挑战性。为保证复杂装备(如航空航天发动机)异常检测的可靠性，普遍采用来自多个传感器的多模态数据进行分析决策。然而，在高温、高压、强振动等恶劣的设备工况下，某些传感器失灵甚至脱落导致所获得多模态数据某些通道数据缺失，从而造成数据模态不完整，为多模态数据分析带来困难，同时降低了异常检测结果的准确率。因此，研究多模态数据缺失下的异常检测技术具有重要工程应用价值。

基于机器学习如支持向量机、K邻近、孤立森林、主成分分析等方法的传统异常检测模型，在处理工业大数据时代下的海量数据时，其特征提取能力、不同应用场景下的模型泛化能力、检测结果的准确性等方面存在明显的局限性。近年来，得益于深度学习的迅速发展，大量智能异常检测方法受到不同领域研究人员的广泛关注并开展了相关工作。然而，大多深度异常检测方法只针对单一模态而无法直接应用于多模态异常检测；而现有针对多模态数据的研究工作则建立在数据结构完整的假设之上，无法有效处理模态缺失的情况。因此，需要研究一种可有效处理多模态数据及模态缺失情况的深度异常检测方法。

发明内容

本发明的目的在于提供一种多模态数据缺失下的无监督异常检测方法，以克服现有技术无法进行多模态数据缺失下异常检测的缺陷，本发明基于深度学习框架，构建两个特征融合模块以实现缺失模态重建、模态内融合以及模态间融合，利用两次重构损失和隐空间特征差异度来表征检测对象的异常程度，最终实现无监督的多模态异常检测。

为达到上述目的，本发明采用如下技术方案：

多模态数据缺失下的无监督异常检测方法，包括以下步骤：

步骤1：利用多个工业传感器采集机械设备运行状态数据，建立多模态数据集，对该数据集进行预处理，并将预处理后的数据集划分为训练集与测试集；

步骤2：构建用于多模态数据缺失下异常检测的无监督深度网络模型；

步骤3：使用步骤1中的训练集对步骤2中构建的无监督深度网络模型进行训练；

步骤4：使用步骤3得到的异常检测模型对步骤1中的训练集进行推理并得到训练集样本异常值，重建训练集样本异常值的概率分布，根据该分布和置信度确定异常检测阈值；

步骤5：使用步骤3得到的异常检测模型对步骤1中的测试集进行推理并得到测试集样本的异常值，根据步骤4得到的阈值给出测试集样本的异常检测结果。

进一步地，步骤1中的预处理过程包括样本化、标签化和归一化；

对多模态数据集进行样本化处理，具体为：使用固定长度的滑动时窗从该数据集包含的多传感器时间序列中逐一提取样本，公式为：

式中：

为第k个样本，x_j为第j个传感器获得的时间序列，M为模态个数，S_i代表第i个模态内的源数目即传感器个数，L为时窗长度，d_i为该样本第i模态缺失源的数目；

对样本化的数据集进行归一化处理，公式如下：

式中：

为未归一化样本的第i个分量，x(i)为归一化样本的第i个分量，min(·)为取最小值函数，max(·)为取最大值函数；

对归一化的数据集进行标签化处理，样本标签为二维元组(A，B)，其中，A代表样本来源设备的运行状态，B表示样本模态是否完整，具体为：将设备正常运行状态下获得的样本即正常样本标记为A＝0，将设备异常状态下获得的样本即异常样本标记为A＝1；将模态缺失即d_i>0的样本标记为B＝0，将模态完整即d_i＝0的样本标记为B＝1；

对标签化的数据集进行划分：从标签为(0，1)的样本中选取1/3作为训练集，将其余样本作为测试集。

进一步地，步骤2中所述用于多模态数据缺失下异常检测的无监督深度网络模型由两个模块组成：第一个模块为自编码器组，第二个模块为具有跳跃连接的多通道自编码器；其中，第一个模块中每个自编码器由编码器、全连层和解码器组成，第二个模块由编码器和解码器组成；两个模块中，每个编码器均由多个下卷积块组成，下卷积块由卷积层、批归一化层和LeakyReLU函数层构成；每个解码器由多个上卷积块组成，上卷积块由转置卷积层、批归一化层和ReLU函数层构成。

进一步地，第一个模块实现模态内融合和缺失模态重建；编码器将输入的多模态数据映射到隐空间，过程表示为：

式中：

为第i模态中第j源x^(i,j)经过编码器

和全连层后得到的隐向量，W₁、W₂分别表示两个全连层的权重，b₁、b₂分别表示两个全连层的偏置，δ为激活函数；

通过模态内融合重建缺失模态，公式如下：

式中：a^(i,j)为模态内融合权重；

表示向量

的第k个分量，N_z为该向量的长度；

为第i模态特征的平均表示，ε为一个极小的正数；

为所有模态特征的平均表示；

为重建的第i模态中第j源隐向量；

解码器将多模态隐向量映射到样本空间，过程表示为：

式中：

为由编码器

得到的第一次重构样本的第i模态第j源。

进一步地，第二个模块实现模态间融合，具有跳跃连接的多通道自编码器每一层的处理过程为：

式中：

为第二个模块中编码器第k层

的输入，

为该层输出；

为第二个模块中解码器第k层

的输出，

为第二个模块中解码器第k+1层

的输出，

为特征维度拼接操作，第二个模块前向传播过程表示为：

式中：z₂为第一次重构样本

经过编码器E₂得到的隐向量，

由第一个模块得到的重构数据

拼接而成；

为由编码器D₂得到的第二次重构样本。

进一步地，步骤3中对模型进行训练的优化目标为：

minL(x)＝λ₁R₁(x)+λ₂R₂(x)+λ₃D_z(x)

式中：L(x)为样本x的损失计算函数，λ₁＞0、λ₂＞0、λ₃＜0分别为三个常数因子，R₁(x)、R₂(x)、D_z(x)分别表示为第一次重构损失、第二次重构损失、隐空间特征差异度，其计算公式分别为：

D_z(x)＝||z₁-z₂||₁

式中：

分别表示第一次重构样本的第i模态第j源、第二次重构样本的第i模态第j源；z₁为第一个模块中的隐向量和，即

z₂为第二个模块中的隐向量；‖·‖₁为平滑的一次损失函数，表达式为：

式中：z₁(k)、z₂(k)分别表示两个向量的第k分量。

进一步地，步骤4中和步骤5中通过模型推理得到样本得异常值，其表达式如下：

s_x＝λ₁R₁(x)+λ₂R₂(x)+λ_zD_z(x)

式中：s_x为样本x的异常值，λ_z＜0为常系数。

进一步地，步骤4中使用核密度估计法对训练集异常值的概率分布进行估计和重建，公式如下：

式中：f(x；h)表示带宽为h时点x处的概率密度，N表示训练集样本数量，s_i表示第i个样本的异常值，K表示核函数；

根据该分布可确定异常检测阈值如下：

式中：τ为阈值，μ_f与σ_f为概率分布的均值与方差，U为标准正态分布的上侧分位数，α为置信度。

进一步地，步骤5对测试集样本进行异常检测，表示如下：

式中：AD(x)表示样本x的异常检测结果。

与现有技术相比，本发明具有以下有益的技术效果：

1)本发明提供了一种有效处理多模态数据的无监督异常检测方法，通过无监督深度模型对多模态数据进行模态内融合以及模态间融合，充分挖掘模态之间的深度非线性关系，为检测对象异常值的确定提供了有效的深层抽象特征；

2)本发明可针对任意数量传感器通道数据缺失下的异常检测，克服传统技术无法利用结构不完整多模态数据进行异常检测的缺陷，通过模态内融合技术重建缺失模态，可实现对结构完整或模态数据缺失下的多模态数据分析；

3)本发明中检测对象异常值由一次重构损失、二次重构损失、隐空间特征差异度等三个指标构成，提高了检测模型对复杂工况下多模态样本的检测可靠性和检测精度。

附图说明

图1为本发明方法的流程图；

图2为本发明方法所构建模型的结构图；

图3为本发明方法(UU-Net)与对比方法在多模态数据缺失下的异常检测结果柱状图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明，以便本领域的技术人员更好地理解本发明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。为了便于描述，附图中仅示出了与有关发明相关的部分。还需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

一种多模态数据缺失下的无监督异常检测方法，参见图1，包括以下步骤：

步骤1：利用多个工业传感器采集机械设备运行状态数据，建立多模态数据集，对该数据集进行预处理，并将预处理后的数据集划分为训练集与测试集。

首先，对数据集进行预处理，具体包括样本化、标签化和归一化。

对多模态数据集进行样本化处理，具体为：使用固定长度的滑动时窗从该数据集包含的多传感器时间序列中逐一提取样本，公式为：

式中：

为第k个样本，x_j为第j个传感器获得的时间序列，M为模态个数，S_i代表第i个模态内的源数目即传感器个数，L为时窗长度，d_i为该样本第i模态缺失源的数目。

样本化操作目的有以下两个：一是将异检测模型输入规范化，如固定长度、固定维度等；二是提高异常检测灵敏度，不对传感器采集的长序列进行分析，而是针对某个时刻附近的信息。

对样本化的数据集进行归一化处理，具体表示如下：

式中：

为未归一化样本的第i个分量，x(i)为归一化样本的第i个分量，min(·)为取最小值函数，max(·)为取最大值函数。

对归一化的数据集进行标签化处理，样本标签形式为二维元组(A，B)，其中，A代表样本来源设备的运行状态，B表示样本模态是否完整，具体为：将设备正常运行状态下获得的样本即正常样本标记为A＝0，将设备异常状态下获得的样本即异常样本标记为A＝1；将模态缺失即d_i>0的样本标记为B＝0，将模态完整即d_i＝0的样本标记为B＝1。

预处理之后，对标签化的数据集进行划分：从标签为(0，1)的样本中选取1/3作为训练集，将其余样本作为测试集。亦即：从正常且完整的样本中选出部分作为训练集，而测试集包含——正常且完整样本、异常且完整样本、正常且不完整样本、异常且不完整样本。

步骤2：构建用于多模态数据缺失下异常检测的无监督深度网络模型。

如图2所示，所构建的多模态数据缺失下异常检测的无监督深度网络模型由两个模块组成：第一个模块为自编码器组，第二个模块为具有跳跃连接的多通道自编码器。其中，第一个模块中每个自编码器由编码器、全连层和解码器组成，第二个模块由编码器和解码器组成。两个模块中，每个编码器由多个下卷积块组成，下卷积块由卷积层、批归一化层和LeakyReLU函数层构成；每个解码器由多个上卷积块组成，上卷积块由转置卷积层、批归一化层和ReLU函数层构成。

其中，第一个模块实现模态内融合和缺失模态重建。编码器将输入的多模态数据从样本空间映射到隐空间，过程表示为：

式中：

为第i模态中第j源x^(i,j)经过编码器

和全连层后得到的隐向量，W₁、W₂分别表示两个全连层的权重，b₁、b₂分别表示两个全连层的偏置，δ为激活函数；

通过模态内融合重建缺失模态，公式如下：

式中：a^(i,j)为模态内融合权重；

表示向量

的第k个分量，N_z为该向量的长度；

为第i模态特征的平均表示，ε为一个极小的正数；

为所有模态特征的平均表示；

为重建的第i模态中第j源隐向量；

此时，缺失模态的特征隐向量已经借助于模态内其他源得到了重建，再通过解码器便可以得到重建的结构完整的多模态样本。

解码器将多模态隐向量映射到样本空间，过程表示为：

式中：

为由编码器

得到的第一次重构样本的第i模态第j源。

第二个模块实现模态间融合，具有跳跃连接的多通道自编码器每一层的处理过程为：

式中：

为第二个模块中编码器第k层

的输入，

为该层输出；

为第二个模块中解码器第k层

的输出，

为第二个模块中解码器第k+1层

的输出，

为特征维度拼接操作。第二个模块前向传播过程表示为：

式中：z₂为第一次重构样本

经过编码器E₂得到的隐向量，

由第一个模块得到的重构数据

拼接而成；

为由编码器D₂得到的第二次重构样本。

步骤3：使用步骤1中的训练集对步骤2中构建的模型进行训练。

该步骤旨在对所构建模型进行充分的训练，优化目标为：

minL(x)＝λ₁R₁(x)+λ₂R₂(x)+λ₃D_z(x)

式中：L(x)为样本x的损失计算函数，λ₁＞0、λ₂＞0、λ₃＜0分别为三个常数因子，R₁(x)、R₂(x)、D_z(x)分别表示为第一次重构损失、第二次重构损失、隐空间特征差异度，其计算公式分别为：

D_z(x)＝||z₁-z₂||₁

式中：

分别表示第一次重构样本的第i模态第j源、第二次重构样本的第i模态第j源；z₁为第一个模块中的隐向量和，即

z₂为第二个模块中的隐向量；‖·‖₁为平滑的一次损失函数，表达式为：

式中：z₁(k)、z₂(k)分别表示两个向量的第k分量。

步骤4：使用步骤3得到的异常检测模型对步骤1中的训练集进行推理并得到训练集样本异常值，重建训练集样本异常值的概率分布，根据该分布和置信度确定异常检测阈值。

通过模型推理得到样本得异常值，包括一次重构损失、二次重构损失、隐空间特征差异度等，其表达式如下：

s_x＝λ₁R₁(x)+λ₂R₂(x)+λ_zD_z(x)

式中：s_x为样本x的异常值，λ_z＜0为常系数。

由于训练集样本数量有限，直接确定的阈值是有偏的，因此使用核密度估计法对训练集异常值的概率分布进行估计和重建，公式如下：

式中：f(x；h)表示带宽为h时点x处的概率密度，N表示训练集样本数量，s_i表示第i个样本的异常值，K表示核函数。

根据该分布可确定异常检测阈值如下：

式中：τ为阈值，μ_f与σ_f为概率分布的均值与方差，U为标准正态分布的上侧分位数，α为置信度。

步骤5：使用步骤3得到的异常检测模型对步骤1中的测试集进行推理并得到测试集样本的异常值，根据步骤4得到的阈值给出测试集样本的异常检测结果。

对测试集样本进行异常检测，表示如下：

式中：AD(x)表示样本x的异常检测结果。

下面结合具体实施例对本发明做进一步详细描述：

为了更好地说明本发明的技术效果，采用一个具体实施例对本发明进行试验验证。本实施例采用的数据来自某型发动机试车实验，共获得4次独立实验的数据，其中：2次来自正常运行的发动机，2次来自工作异常的发动机。4次实验数据均为采用多个工业传感器在发动机关键部位采集的多模态数据，包括来自于发动机正常运行状态下的3000条一维信号，来自于发动机异常运行状态下的2000条一维信号。按照本发明中的预处理方法对多模态数据集进行样本化、归一化、标签化，将1000个正常且完整的样本作为训练集，其余作为测试集，测试集中50％的样本存在模态数据缺失情况。

本实施例对比了本发明与其他5个最新方法的异常检测性能，全部模型的细节如下：

1)UU-Net：本发明所提出的多模态数据缺失下的无监督异常检测方法；

2)EncDec-AD：基于长短时记忆网络的多传感器时间序列异常检测方法；

3)VAE-LSTM：基于多模态长短时记忆网络和变分自编码器的异常检测方法；

4)MVAE：基于变分自编码器、适用于任意数量模态输入的多模态异常检测方法；

5)CAE：基于多通道卷积自编码器的异常检测方法；

6)Skip-GAN：基于跳跃连接的生成对抗网络的异常检测方法。

在相同的训练条件下，6个模型的异常检测结果如表1和表2所示，其中AUC代表ROC曲线下面积，表征检测方法对正常和异常样本的区分能力。可以看到，不论是模态完整还是任意一个传感器通道缺失，本发明所提供的方法均能在误报率、检测率、f1-分数、AUC等性能指标方面有充分优势。为了进一步验证本发明在多个传感器通道缺失下的性能，对测试样本丢失0-5个通道的情况进行了验证，结果如图3所示，展示了本发明以及各对比方法的AUC数值，从而进一步体现了本发明方法(UU-Net)在多模态数据缺失情况下的鲁棒性。

表1多模态数据完整时的异常检测结果

表2多模态数据缺失1个传感器通道时的异常检测结果

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (9)

1.多模态数据缺失下的无监督异常检测方法，其特征在于，包括以下步骤：

步骤1：利用多个工业传感器采集机械设备运行状态数据，建立多模态数据集，对该数据集进行预处理，并将预处理后的数据集划分为训练集与测试集；

步骤2：构建用于多模态数据缺失下异常检测的无监督深度网络模型；

步骤3：使用步骤1中的训练集对步骤2中构建的无监督深度网络模型进行训练；

步骤4：使用步骤3得到的异常检测模型对步骤1中的训练集进行推理并得到训练集样本异常值，重建训练集样本异常值的概率分布，根据该分布和置信度确定异常检测阈值；

步骤5：使用步骤3得到的异常检测模型对步骤1中的测试集进行推理并得到测试集样本的异常值，根据步骤4得到的阈值给出测试集样本的异常检测结果。

2.根据权利要求1所述的多模态数据缺失下的无监督异常检测方法，其特征在于，步骤1中的预处理过程包括样本化、标签化和归一化；

对多模态数据集进行样本化处理，具体为：使用固定长度的滑动时窗从该数据集包含的多传感器时间序列中逐一提取样本，公式为：

式中：

为第k个样本，x_j为第j个传感器获得的时间序列，M为模态个数，S_i代表第i个模态内的源数目即传感器个数，L为时窗长度，d_i为该样本第i模态缺失源的数目；

对样本化的数据集进行归一化处理，公式如下：

式中：

为未归一化样本的第i个分量，x(i)为归一化样本的第i个分量，min(·)为取最小值函数，max(·)为取最大值函数；

对归一化的数据集进行标签化处理，样本标签为二维元组(A，B)，其中，A代表样本来源设备的运行状态，B表示样本模态是否完整，具体为：将设备正常运行状态下获得的样本即正常样本标记为A＝0，将设备异常状态下获得的样本即异常样本标记为A＝1；将模态缺失即d_i>0的样本标记为B＝0，将模态完整即d_i＝0的样本标记为B＝1；

对标签化的数据集进行划分：从标签为(0，1)的样本中选取1/3作为训练集，将其余样本作为测试集。

3.根据权利要求1所述的多模态数据缺失下的无监督异常检测方法，其特征在于，步骤2中所述用于多模态数据缺失下异常检测的无监督深度网络模型由两个模块组成：第一个模块为自编码器组，第二个模块为具有跳跃连接的多通道自编码器；其中，第一个模块中每个自编码器由编码器、全连层和解码器组成，第二个模块由编码器和解码器组成；两个模块中，每个编码器均由多个下卷积块组成，下卷积块由卷积层、批归一化层和LeakyReLU函数层构成；每个解码器由多个上卷积块组成，上卷积块由转置卷积层、批归一化层和ReLU函数层构成。

4.根据权利要求3所述的多模态数据缺失下的无监督异常检测方法，其特征在于，第一个模块实现模态内融合和缺失模态重建；编码器将输入的多模态数据映射到隐空间，过程表示为：

式中：

为第i模态中第j源x^(i,j)经过编码器

和全连层后得到的隐向量，W₁、W₂分别表示两个全连层的权重，b₁、b₂分别表示两个全连层的偏置，δ为激活函数；

通过模态内融合重建缺失模态，公式如下：

式中：a^(i,j)为模态内融合权重；

表示向量

的第k个分量，N_z为该向量的长度；

为第i模态特征的平均表示，ε为一个极小的正数；

为所有模态特征的平均表示；

为重建的第i模态中第j源隐向量；

解码器将多模态隐向量映射到样本空间，过程表示为：

式中：

为由编码器

得到的第一次重构样本的第i模态第j源。

5.根据权利要求4所述的多模态数据缺失下的无监督异常检测方法，其特征在于，第二个模块实现模态间融合，具有跳跃连接的多通道自编码器每一层的处理过程为：

式中：

为第二个模块中编码器第k层

的输入，

为该层输出；

为第二个模块中解码器第k层

的输出，

为第二个模块中解码器第k+1层

的输出，

为特征维度拼接操作，第二个模块前向传播过程表示为：

式中：z₂为第一次重构样本

经过编码器E₂得到的隐向量，

由第一个模块得到的重构数据

拼接而成；

为由编码器D₂得到的第二次重构样本。

6.根据权利要求5所述的多模态数据缺失下的无监督异常检测方法，其特征在于，步骤3中对模型进行训练的优化目标为：

minL(x)＝λ₁R₁(x)+λ₂R₂(x)+λ₃D_z(x)

式中：L(x)为样本x的损失计算函数，λ₁＞0、λ₂＞0、λ₃＜0分别为三个常数因子，R₁(x)、R₂(x)、D_z(x)分别表示为第一次重构损失、第二次重构损失、隐空间特征差异度，其计算公式分别为：

D_z(x)＝||z₁-z₂||₁

式中：

分别表示第一次重构样本的第i模态第j源、第二次重构样本的第i模态第j源；z₁为第一个模块中的隐向量和，即

z₂为第二个模块中的隐向量；‖·‖₁为平滑的一次损失函数，表达式为：

式中：z₁(k)、z₂(k)分别表示两个向量的第k分量。

7.根据权利要求6所述的多模态数据缺失下的无监督异常检测方法，其特征在于，步骤4中和步骤5中通过模型推理得到样本得异常值，其表达式如下：

s_x＝λ₁R₁(x)+λ₂R₂(x)+λ_zD_z(x)

式中：s_x为样本x的异常值，λ_z＜0为常系数。

8.根据权利要求1所述的多模态数据缺失下的无监督异常检测方法，其特征在于，步骤4中使用核密度估计法对训练集异常值的概率分布进行估计和重建，公式如下：

式中：f(x；h)表示带宽为h时点x处的概率密度，N表示训练集样本数量，s_i表示第i个样本的异常值，K表示核函数；

根据该分布可确定异常检测阈值如下：

式中：τ为阈值，μ_f与σ_f为概率分布的均值与方差，U为标准正态分布的上侧分位数，α为置信度。

9.根据权利要求8所述的多模态数据缺失下的无监督异常检测方法，其特征在于，步骤5对测试集样本进行异常检测，表示如下：

式中：AD(x)表示样本x的异常检测结果。

Images