CN114897047A - 基于深度字典的多传感器数据漂移检测方法 - Google Patents

Abstract

本发明涉及一种基于深度字典的多传感器数据漂移检测方法，包括：数据预处理：采用滑动窗口方法将原始输入的多变量时间序列数据划分成多个子序列，每个子序列代表一个样本，将划分后的数据分为训练数据集和测试数据集；深度字典学习：包括稀疏编码和信号解码；异常检测：通过在训练集上学习到的字典计算待测试样本的稀疏编码，然后将字典和测试样本的稀疏编码进行相乘得到测试样本的重构数据，重构误差为异常得分，如果异常得分大于阈值，则判为异常，否则为正常。本发明不需要十分大量的标注数据。采用自动阈值的方法，根据样本的历史重构误差生成一个自动阈值，将自动阈值与当前测试样本的重构误差进行比较，具有较高的稳定性和泛化能力。

Description

基于深度字典的多传感器数据漂移检测方法

技术领域

本发明涉及智能信息处理和计算机技术领域，尤其涉及一种基于深度字典的多传感器数据漂移检测方法。

背景技术

航天器多个传感器数据存在漂移现象，正常情况下一组相关的传感器有各自的正常规律曲线，从而可以学习出正常数据对应的字典。但是传感器会因为太空环境变化或者自身问题等原因产生数据漂移(即传感器输出的数据不准确，不符合原先的正常值趋势规律)。所以，需要一种检测方法判定多个传感器的输出是否有异常，是否发生了漂移。

发明内容

本发明的目的是一种基于深度字典的多传感器数据漂移检测方法，针对多传感器时序数据维度间关系复杂、缺乏异常标注的情况，采用半监督方式对正常数据进行学习，提取正常数据对应的字典和稀疏编码，不仅缩小时间开销而且深度字典能够很好的学习数据特征；相对于现有弱监督检测模型中异常分数阈值导致模型泛化能力弱的问题，本发明采用一种自动阈值的方法，从而提高该异常检测方法在不同数据上的泛化能力。

本发明提供了一种基于深度字典的多传感器数据漂移检测方法，包括：

1)数据预处理

采用滑动窗口方法将原始输入的多变量时间序列数据划分成多个子序列，每个子序列代表一个样本，将划分后的数据分为训练数据集和测试数据集；其中，训练数据集只包含正常样本；

2)深度字典学习

包括稀疏编码和信号解码；所述稀疏编码通过FISTA快速迭代收缩阈值算法在给定的字典上求解输入信号对应的稀疏表示；所述信号解码将字典和学到的稀疏表示进行相乘以得到信号的重构结果；将原始信号和重构信号的均方误差作为损失函数，并通过最小化损失函数对字典进行更新；

3)异常检测

通过在训练集上学习到的字典H计算待测试样本的稀疏编码，然后将字典和测试样本的稀疏编码进行相乘得到测试样本的重构数据，重构误差为异常得分，如果异常得分大于阈值，则判为异常，否则为正常。

进一步地，所述数据预处理包括：

采用滑动窗口方法对原始数据进行划分，对于多变量时间序列集X＝{X₁,X₂,X₃,…X_n}，其中X_i＝[x_i1,x_i2,x_i3,…x_im]，x_ij∈R，x_ij为时间序列中第i个时间点的第j个属性的观测对象的值，n为该时间序列的长度，m为观测对象的属性维度，使用窗口大小为L，滑动步长为S的滑动窗口将该时间序列进行分割成一组长度相等的时间序列的子序列X＝{S₁,S₂,S₃,…S_M}，即：

式中：M表示子序列的个数，L表示每个子序列的长度，每个子序列为模型训练中的一个样本。

进一步地，所述稀疏编码包括：

给定输入信号y、字典H以及参数λ，令L≥σ_max(H^TH)；假定迭代T轮，信号的初始稀疏编码z₀设置为0，且中间变量s的初始值s₀也设置为0；每一轮t包含四个步骤：

第一步，计算中间变量s，如下所示：

第二步，计算中间变量w，如下所示：

第三步，计算中间变量c，如下所示：

第四步，计算稀疏编码z，如下所示：

其中，

代表收缩运算操作符，是一个双端ReLU(two-sided ReLU)运算，定义如下所示：

η_ε,n(X)＝(X[n]-ε)+sgn(X[n])

＝ReLU(X[n]-ε)-ReLU(-X[n]-ε)

其中，X表示一个向量，X[n]表示向量的第n维数值，ε表示阈值；sgn()表示取符号函数；

重复上述过程，直至迭代次数达到上限；

解码过程是将字典H和训练数据y的稀疏编码进行相乘，结果得到训练集的重构数据，即：

其中，

是重构数据，z_T是数据y在字典H上的稀疏编码；

深度字典学习通过最小化训练集重构误差来更新字典，重构误差的计算公式如下：

字典更新对应的优化问题形式化描述为：

具体地，首先随机初始化一个包含C个原子的字典H；对字典采用批量迭代训练方法，假设训练T轮，每一轮包含三个步骤：第一，随机打乱训练集；第二，抽取一批数据并且计算这些数据在字典H上的稀疏编码z_T；第三，计算这一批数据的重构误差；第四，利用反向传播算法更新H；重复第二到第四步直到训练集上的数据都被用来更新H。

进一步地，所述异常检测中的阈值采用自适应确定的方法，根据前h个历史测试样本的重构误差来确定当前测试样本的异常分数阈值；对于当前测试样本，其前h个历史测试样本的重构误差组成的误差向量e：

e＝[e^(t-h-1),…,e^(t-2),e^(t-1)]

对上式所述的误差向量进行指数加权滑动平均(EWMA)，得到平滑后的误差向量e_s：

根据平滑后的误差向量得到当前测试样本的异常分数阈值ε，定义如下所示。

ε＝μ(e_s)+zσ(e_s)

其中，z是一组正数集合，用于确定异常分数阈值ε，μ()表示取误差的均值，σ()表示取误差的标准差；然后再根据以下公式选择一个最后用来和当前异常分数e^(t)比较的阈值；

其中，各子式具体定义如下所示：

测试初期历史训练样本的重构误差数少于h，通过训练样本的重构误差来确定初始自动阈值。

借由上述方案，通过基于深度字典的多传感器数据漂移检测方法，采用半监督异常检测模型，不需要十分大量的标注数据。本发明以正常数据作为训练集学习深度字典，将字典学习和稀疏表示嵌入到自编码网络结构中。当有新数据到来时，通过字典对数据进行稀疏编码，再将编码结果和字典相乘得到重构数据，最后根据重构误差来判断新数据的异常状况。相对于现有弱监督检测模型中异常分数阈值导致模型泛化能力弱的问题，本发明采用一种自动阈值的方法，根据样本的历史重构误差生成一个自动阈值，将自动阈值与当前测试样本的重构误差进行比较，这使得模型具有较高的稳定性和泛化能力。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。

附图说明

图1是本发明基于深度字典的多传感器数据漂移检测方法的流程图；

图2是本发明深度字典学习流程图；

图3是本发明示例氧压传感器数据漂移异常的检测结果可视化图；

图4是本发明示例飞船传感器时序数据检测结果可视化图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

参图1所示，本实施例提供了一种基于深度字典的多传感器数据漂移检测方法(系统)，包括：

步骤1-1，数据预处理(模块)

采用滑动窗口方法将原始输入的多变量时间序列数据划分成多个子序列，每个子序列代表一个样本，将划分后的数据分为训练数据集和测试数据集；其中，训练数据集只包含正常样本；

步骤1-2，深度字典学习(模块)

包括稀疏编码和信号解码；所述稀疏编码通过FISTA快速迭代收缩阈值算法在给定的字典上求解输入信号对应的稀疏表示；所述信号解码将字典和学到的稀疏表示进行相乘以得到信号的重构结果；最后将原始信号和重构信号的均方误差作为损失函数，并通过最小化损失函数对字典进行更新；

步骤1-3，异常检测(模块)

通过在训练集上学习到的字典H计算待测试样本的稀疏编码，然后将字典和测试样本的稀疏编码进行相乘得到测试样本的重构数据，重构误差为异常得分，如果异常得分大于阈值，则判为异常，否则为正常。

在本实施例中，所述数据预处理包括：

采用滑动窗口方法对原始数据进行划分，对于多变量时间序列集X＝{X₁,X₂,X₃,…X_n}，其中X_i＝[x_i1,x_i2,x_i3,…x_im]，x_ij∈R，x_ij为时间序列中第i个时间点的第j个属性的观测对象的值，n为该时间序列的长度，m为观测对象的属性维度，使用窗口大小为L，滑动步长为S的滑动窗口将该时间序列进行分割成一组长度相等的时间序列的子序列X＝{S₁,S₂,S₃,…S_M}，即：

式中：M表示子序列的个数，L表示每个子序列的长度，每个子序列为模型训练中的一个样本。

在本实施例中，采用FISTA快速迭代收缩阈值算法求解出数据的稀疏编码，包括：

给定输入信号y、字典H以及参数λ，令L≥σ_max(H^TH)；假定迭代T轮，信号的初始稀疏编码z₀设置为0，且中间变量s的初始值s₀也设置为0；每一轮t包含四个步骤：第一步，计算中间变量s，如下所示：

第二步，计算中间变量w，如下所示：

第三步，计算中间变量c，如下所示：

第四步，计算稀疏编码z，如下所示：

其中，

代表收缩运算操作符，是一个双端ReLU(two-sided ReLU)运算，定义如下所示：

η_ε,n(X)＝(X[n]-ε)+sgn(X[n])

＝ReLU(X[n]-ε)-ReLU(-X[n]-ε)

其中，X表示一个向量，X[n]表示向量的第n维数值，ε表示阈值。sgn()表示取符号函数。

重复上述过程，直至迭代次数达到上限；

解码过程是将字典H和训练数据y的稀疏编码进行相乘，结果得到训练集的重构数据，即：

其中，

是重构数据，z_T是数据y在字典H上的稀疏编码；

深度字典学习通过最小化训练集重构误差来更新字典，重构误差的计算公式如下：

字典更新对应的优化问题形式化描述为：

具体地，首先随机初始化一个包含C个原子的字典H；对字典采用批量迭代训练方法，假设训练T轮，每一轮包含三个步骤：第一，随机打乱训练集；第二，抽取一批数据并且计算这些数据在字典H上的稀疏编码z_T；第三，计算这一批数据的重构误差；第四，利用反向传播算法更新H；重复第二到第四步直到训练集上的数据都被用来更新H。

在本实施例中，所述异常检测中的阈值采用自适应确定的方法，根据前h个历史测试样本的重构误差来确定当前测试样本的异常分数阈值；对于当前测试样本，其前h个历史测试样本的重构误差组成的误差向量e：

e＝[e^(t-h-1),…,e^(t-2),e^(t-1)]

对上式所述的误差向量进行指数加权滑动平均(EWMA)，得到平滑后的误差向量e_s：

根据平滑后的误差向量得到当前测试样本的异常分数阈值ε，定义如下所示。

ε＝μ(e_s)+zσ(e_s)

其中，z是一组正数集合，用于确定异常分数阈值ε。μ()表示取误差的均值，σ()表示取误差的标准差。然后再根据以下公式选择一个最后用来和当前异常分数e^(t)比较的阈值。

其中，各子式具体定义如下所示：

由于测试初期历史训练样本的重构误差数少于h，需要指定初始的自动阈值。本发明通过训练样本的重构误差来确定初始自动阈值。

参图2所示，其为深度字典学习流程图，包括以下步骤：首先进行步骤2-1，随机初始化字典H，保证字典中每个原子的模小于等于1。执行步骤2-2，假定总共训练T轮，将当前训练轮数t设为0。执行步骤2-3，将训练集打乱。执行步骤2-4，从打乱的训练集中抽取一批数据。执行步骤2-5，计算这一批数据在字典H上的稀疏编码Z。执行步骤2-6，根据字典和得到的稀疏编码对数据进行重构，即

执行步骤2-7，计算重构数据和真实数据之间的均方误差。执行步骤2-8，通过重构误差反向传播更新字典H。执行步骤2-9，判断训练数据集是否遍历完；如果没有遍历完，执行步骤2-4；否则执行步骤2-10，进入下一轮训练，将训练轮数t加1。执行步骤2-11，判断训练轮数是否达到上限；如果没有，执行步骤2-3；否则训练结束，输出H。

参照图3，其为示例氧压传感器数据漂移异常检测结果可视化图，图中竖线左边部分表示未发生漂移的正常数据，竖线右边部分表示发生漂移的异常部分。

参照图4，其为示例飞船传感器时序数据检测结果可视化图，子图(a)和(b)中的圈内部分分别代表真实异常和检测到的异常。

以上所述仅是本发明的优选实施方式，并不用于限制本发明，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (4)

1.一种基于深度字典的多传感器数据漂移检测方法，其特征在于，包括：

1)数据预处理

采用滑动窗口方法将原始输入的多变量时间序列数据划分成多个子序列，每个子序列代表一个样本，将划分后的数据分为训练数据集和测试数据集；其中，训练数据集只包含正常样本；

2)深度字典学习

包括稀疏编码和信号解码；所述稀疏编码通过FISTA快速迭代收缩阈值算法在给定的字典上求解输入信号对应的稀疏表示；所述信号解码将字典和学到的稀疏表示进行相乘以得到信号的重构结果；将原始信号和重构信号的均方误差作为损失函数，并通过最小化损失函数对字典进行更新；

3)异常检测

通过在训练集上学习到的字典H计算待测试样本的稀疏编码，然后将字典和测试样本的稀疏编码进行相乘得到测试样本的重构数据，重构误差为异常得分，如果异常得分大于阈值，则判为异常，否则为正常。

2.根据权利要求1所述的基于深度字典的多传感器数据漂移检测方法，其特征在于，所述数据预处理包括：

采用滑动窗口方法对原始数据进行划分，对于多变量时间序列集X＝{X₁,X₂,X₃,…X_n}，其中X_i＝[x_i1,x_i2,x_i3,…x_im]，x_ij∈R，x_ij为时间序列中第i个时间点的第j个属性的观测对象的值，n为该时间序列的长度，m为观测对象的属性维度，使用窗口大小为L，滑动步长为S的滑动窗口将该时间序列进行分割成一组长度相等的时间序列的子序列X＝{S₁,S₂,S₃,…S_M}，即：

式中：M表示子序列的个数，L表示每个子序列的长度，每个子序列为模型训练中的一个样本。

3.根据权利要求2所述的基于深度字典的多传感器数据漂移检测方法，其特征在于，所述稀疏编码包括：

给定输入信号y、字典H以及参数λ，令L≥σ_max(H^TH)；假定迭代T轮，信号的初始稀疏编码z₀设置为0，且中间变量s的初始值s₀也设置为0；每一轮t包含四个步骤：

第一步，计算中间变量s，如下所示：

第二步，计算中间变量w，如下所示：

第三步，计算中间变量c，如下所示：

第四步，计算稀疏编码z，如下所示：

其中，

代表收缩运算操作符，是一个双端ReLU运算，定义如下所示：

η_ε,n(X)＝(X[n]-ε)+sgn(X[n])

＝ReLU(X[n]-ε)-ReLU(-X[n]-ε)

其中，X表示一个向量，X[n]表示向量的第n维数值，ε表示阈值，sgn()表示取符号函数；

重复上述过程，直至迭代次数达到上限；

解码过程是将字典H和训练数据y的稀疏编码进行相乘，结果得到训练集的重构数据，即：

其中，

是重构数据，z_T是数据y在字典H上的稀疏编码；

深度字典学习通过最小化训练集重构误差来更新字典，重构误差的计算公式如下：

字典更新对应的优化问题形式化描述为：

具体地，首先随机初始化一个包含C个原子的字典H；对字典采用批量迭代训练方法，假设训练T轮，每一轮包含三个步骤：第一，随机打乱训练集；第二，抽取一批数据并且计算这些数据在字典H上的稀疏编码z_T；第三，计算这一批数据的重构误差；第四，利用反向传播算法更新H；重复第二到第四步直到训练集上的数据都被用来更新H。

4.根据权利要求3所述的基于深度字典的多传感器数据漂移检测方法，其特征在于，所述异常检测中的阈值采用自适应确定的方法，根据前h个历史测试样本的重构误差来确定当前测试样本的异常分数阈值；对于当前测试样本，其前h个历史测试样本的重构误差组成的误差向量e：

e＝[e^(t-h-1),...,e^(t-2),e^(t-1)]

对上式所述的误差向量进行指数加权滑动平均，得到平滑后的误差向量e_s：

根据平滑后的误差向量得到当前测试样本的异常分数阈值ε，定义如下所示；

ε＝μ(e_s)+zσ(e_s)

其中，z是一组正数集合，用于确定异常分数阈值ε，μ()表示取误差的均值，σ()表示取误差的标准差；然后再根据以下公式选择一个最后用来和当前异常分数e^(t)比较的阈值；

其中，各子式具体定义如下所示：

测试初期历史训练样本的重构误差数少于h，通过训练样本的重构误差来确定初始自动阈值。

Images