CN110119397B - 一种同时实现数据异常检测及数据压缩的深度学习方法 - Google Patents

Abstract

本发明公开了一种同时实现数据异常检测及数据压缩的深度学习方法，其方法包括结构健康监测系统异常数据自动化检测方法和健康监测数据低压缩率下的压缩重建方法，其中异常数据自动化检测方法用于快速检测出监测数据中压缩后难以高精度重建的异常部分，其中数据压缩重建方法用于实现低压缩率下的健康监测数据压缩重建。本发明可以学习到海量健康监测数据的高维特征，实现异常数据的自动化检测和正常监测数据低压缩率下的高精度重建，能够适用于各类型结构的健康监测数据。

Description

一种同时实现数据异常检测及数据压缩的深度学习方法

技术领域

本发明涉及结构健康监测与数据处理领域，特别是涉及一种对健康监测数据进行异常检测及数据压缩的方法。

背景技术

在中国，越来越多的健康监测系统会被普及，从单个结构扩张到整个结构群、建筑群，并成为城市运行的重要部分。而健康监测系统中的传感器每天会产生大量的监测数据，这些采集的海量监测数据在传输和存储方面需要很高的成本，健康监测数据压缩算法的研究就很有必要。另一方面，结构健康监测系统采集的大量数据中，会包含大量的异常数据，这些异常数据在压缩后很难高精度的重建并且可能会丢失重要信息，因此需要被及时的挑拣出来。

在健康监测异常数据检测方面，传统方法包括单变量控制图法和多元统计分析方法，这些监测数据异常检测方法通用性差，难以适用于复杂的健康监测数据中。在国内，李惠等人将深度学习应用到结构健康监测的异常数据分析中，将数据转化为图像，采用深度受限玻尔兹曼机和深度卷积网络进行分析，以机器视觉的角度目测数据，能够高效的识别出采集数据中的异常数据。其缺点是将上万个数据点画在了100像素大小的图片内，丢失了大量的数据信息，并且这种压缩图像可能会导致错误的标签。

在健康监测数据压缩方面，传统的数据压缩方法是对数据进行低通滤波后按shannon采样定理进行亚采样，这样的压缩方式会造成很大程度上采集信息的丢失。DavidDonoho等人提出了压缩感知理论，如果信号是稀疏或者可压缩的，该信号就可以通过随机采样方法采集，并且可以较准确的将信号重构。鲍跃全等人将压缩感知技术应用到健康监测数据压缩上，提出了群稀疏优化算法，取得了较好的效果。但是这些机遇压缩感知的重构算法往往是基于某种基函数，是基于迭代的求逆问题，对于大量的监测数据没有实时性、通用性，难以应用。

总的来说，高效的健康监测数据压缩方法研究很有必要，而异常数据的检测是实现数据压缩的重要前提。传统的基于统计分析的异常数据检测方法适用性差，而基于压缩感知的健康监测数据压缩技术重建数据计算花费时间长，难以应用到海量监测数据中。

发明内容

针对现有技术存在的不足，本发明拟公开一种同时实现数据异常检测及数据压缩的深度学习方法，能够实现监测系统中异常数据的自动化检测和正常监测数据在超低压缩率下的高精度重建。

本发明思路为：

本发明基于一维的卷积、反卷积等特征提取操作，提供了一种实现健康监测数据中异常数据自动判别和数据压缩的方法，能够自动提取高维特征并识别出数据中的异常部分，并将提取高维特征作为原始信号压缩后的数据，利用后续的多层反卷积层实现高精度的院士数据重构。

为了实现上述目的，本发明采用如下的技术方案：

一种同时实现数据异常检测及数据压缩的深度学习方法，包括一种基于一维卷积深度学习的异常数据判别方法和一种基于卷积自编码深度学习的数据压缩重建方法。

一种基于一维卷积深度学习的异常数据判别方法，包括以下步骤：

(1)搭建结构健康监测系统的异常数据库，将数据分为两类，一类是正常的数据，一类是异常的数据，每段数据设置长度为2048个点。在进行样本标签的时候，从时域和频域两个方面人工观测数据从而对每段数据进行标签，采用独热码进行数据标签，其中正常数据标签为(1,0)，异常数据标签为(0,1)。利用滑动窗口移动采集数据的方法进行数据库增强，最终搭建数据库中包含训练集和测试集两部分。

(2)搭建基于一维卷积的异常检测网络，搭建网络由卷积层、全连接层、非线性激活函数层、归一化层构成，网络直接将监测的一维数据作为输入，直接利用卷积网络提取输入监测信号的高维特征，实现异常数据的判别。其中前5层为卷积层，每一层的卷积核大小及输出通道数可以调整，并且跟随非线性激活函数层和归一化层，随后将第5层提取的多通道特征展开到1个通道上，采用全连接层将特征映射到目标输出域上，并利用Sigmoid激活函数激活输出，即预测目标是否属于异常数据。采用平方损失函数作为异常检测网络的损失函数，定义损失函数为

其中，y为期望的输出，a是网络的实际输出。利用搭建的数据库训练模型直到网络收敛，最终得到高质量的监测数据异常检测模型。

一种基于卷积自编码深度学习的数据压缩重建方法，包括以下步骤：

(1)搭建数据压缩重建网络数据库，其中只包含正常的数据，而数据的标签为传感器所在结构断面的编号，比如有n个断面布置有传感器，依然采用独热码对传感器进行标签，第1个断面标签为(1,0,…,0)，第二个断面数据标签为(0,1,0,…,0)，以此类推。最终搭建数据库中包含训练集和测试集两部分。

(2)网络整体的目标损失函数是使整个网络的输出于原始的输入相同，具体为：整体网络的损失函数由两部分组成，即重建数据的平均相对误差

和重建数据与原始数据的相关系数/>

其中y为输入的原始数据，a为网络的实际输出，N为每段数据的长度，最终定义网络整体损失函数为：/>

(3)整体结构可以分为两部分，即数据压缩网络和数据重建网络，具体为：整体结构输入数据为一维的健康监测数据，最终输入为相同长度的一维重建数据；数据压缩网络用于实现输入信号的高维特征提取，提取的高维特征既是压缩的数据，其中数据重建网络将压缩后的高维特征数据以及传感器位置信息作为输入，最终输出与原始输入信号相同长度的数据，从而实现重构原始输入数据。

(4)数据压缩网络，其特征在于利用多层卷积网络提取输入监测数据的高维特征，作为压缩后的数据，具体为：数据压缩网络的输入数据为一维的健康监测数据，仅利用多层卷积层、LeakyRelu非线性激活函数层、Batchnorm归一化层叠加组合的方式逐次的缩小提取输入数据的特征维数，并将网络的最后一层卷积层提取的多通道特征展开到一个通道上，实现输入数据的压缩。其中各层卷积核大小及每层输出通道数可以调整，最后一层卷积层的输出通道数用来控制网络的压缩率，可以按照需求进行调整。

(5)数据重建网络，其特征在于将压缩后的数据作为输入，利用多层反卷积层实现原始数据重构，具体为：将压缩后的数据及传感器所在位置信息共同作为数据重建网络的输入，其后接一层全连接层用于调整输入数据长度使最终输出数据长度与原始数据长度一致，全连接层后接数层反卷积层，将压缩的信号特征逐层的恢复到与原始输入数据相同的长度，最后一层为卷积层，用于将多个通道的特征融合到一个通道上，实现原始数据的重构。数据重建网络输入的数据的位数要于原始数据有效精度位数一致，反卷积层卷积核大小和输出通道数可以调整，最后一层卷积输出的通道数为1，使整体结构输入与输出的维度、大小一致。

两个网络训练完成后，实现结构健康监测数据的异常检测及数据压缩分为两个步骤：

(1)利用基于一维卷积深度学习的异常数据判别网络实现监测数据异常部分定位，结构健康监测系统采集到的监测数据长度远远大于网络输入的数据长度，利用滑动窗口扫描的检测方式扫描每个传感器采集数据，每个扫描检测的窗口在采集数据中依次方向错开监测数据长度，根据每个窗口检测数据的分类实现异常数据的定位。

(2)在上一步异常数据定位的基础上，对于检测到的异常数据不宜进行数据压缩，全部保留，利用基于卷积自编码深度学习的数据压缩重建方法仅对检测到正常的数据进行压缩，以此保障压缩后的数据能够高精度的重建。

本发明的有益效果是：

本发明开发设备能够广泛应用于结构健康监测数据存储、传输及分析，仅用少量时间即可完成大规模监测数据的异常检测及数据压缩：

(1)能够实现结构健康监测数据的快速异常数据检测，与传统方法相比：本发明提出算法不需要人工干涉的调整阈值等系数，直接将原始数据作为输入，完全依赖于卷积网络提取的高维特征映射实现异常数据的判别，使用范围广，自动化程度高。

(2)对于检测到的正常的数据，能够实现结构健康监测数据的快速高精度数据压缩及数据重建，与传统方法相比：本发明提出方法在超低压缩率下依然能够高精度的重建原始数据，并且对于一段监测数据，数据压缩重建仅花费0.005s时长，能够适用于大规模健康监测数据处理。

附图说明

图1是本发明的整体技术路线图；

图2是本发明具体实施方式中所述基于一维卷积深度学习的异常数据判别方法图；

图3是本发明具体实施方式中所述基于卷积自编码深度学习的数据压缩重建方法；

图4是本发明所述实施例中的异常检测网络收敛曲线图；

图5是本发明所述实例中的数据压缩重建检测网络训练图；

图6是本发明所述实例中的在压缩率0.1下本发明提出方法与传统压缩感知方法对比图。

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

步骤一、搭建某大桥结构健康监测系统的异常数据库，利用滑动窗口移动采集数据的方法进行数据库增强，最终搭建数据库中包含训练集和测试集两部分，训练集中包含正常数据14400个正常数据段和14400个异常数据段，测试集中包含3600个正常数据段和3600个异常数据段，数据标签采用独热码标签，即正常数据标记为(1,0)，异常数据标记为(0,1)。

步骤二、搭建的基于一维卷积深度学习的异常检测网络如图2所示，网络的输入大小为2048个数据点，输出为两类即分为正常和异常两类。网络一共有6层，前5层均为卷积层，每层卷积层后紧跟LeakyRelu非线性激活层和Batchnorm归一化层，5层卷积层卷积核分别设置为32、16、16、8、4大小，每层卷积层设置卷积步长为2，每层卷积层输出通道数依次设置为64、128、256、512、1024，将最后一层卷积层提取高维特征展开到1个通道上，长度为1024×8，最后一层为全连接层将高维特征映射到目标输出域，并用Sigmoid非线性激活函数激活，采用平方损失函数作为异常检测网络的损失函数。训练模型时，采用Adam优化算法，减少损失函数的值，使得网络逐渐收敛。

步骤三、搭建某大桥结构健康监测系统的数据压缩重建网络数据库，其中仅包括各断面传感器的正常监测数据。选取某大桥的4个断面的加速度传感器数据，每个断面的监测数据标签依次为(1 0 0 0)、(0 1 0 0)、(0 0 1 0)、(0 0 0 1)。仍然采用滑动窗口的方法进行数据增强，最后搭建训练集中共包含32000个数据段，测试集中包含8000个数据段。

步骤四、搭建的基于卷积自编码深度学习的数据压缩重建网络如图3所示，网络的输入大小为2048个数据点，网络的输出大小与输入大小相同，可以分为数据压缩网络和数据重建网络两部分。在数据压缩网络部分，主要由5层卷积层构成，卷积核大小分别设置为60、40、20、10、5，每层卷积层输出通道数设置为64、128、256、512、25，卷积步长统一设定为2，其中最后一层卷积层输出的通道数用来控制压缩数据的大小。在数据重建网络部分，输入是由压缩网络的压缩结果和传感器所在断面编号共同构成，其中压缩数据只取前4位有效数字(与传感器精度匹配)。数据重建网络一共由5层构成，第一层为全连接层，用来调整网络的最终输出，第2层到第4层为反卷积层，卷积核大小分别设置为20、30、40，最后一层为卷积层，卷积核大小设置为50。网络中还包含有LeakyRelu非线性激活层和Batchnorm归一化层，采用Adam优化算法，减少损失函数的值，使得网络逐渐收敛。

步骤五、在训练好两个网络后，对于健康监测系统采集的数据，先利用基于一维卷积深度学习的异常数据判别网络实现监测数据异常部分定位，结构健康监测系统采集到的监测数据长度远远大于网络输入的数据长度，利用滑动窗口扫描的检测方式扫描每个传感器采集数据，每个扫描检测的窗口在采集数据中依次方向错开监测数据长度，根据每个窗口检测数据的分类实现异常数据的定位。在异常数据定位的基础上，对于检测到的异常数据不宜进行数据压缩，全部保留，利用基于卷积自编码深度学习的数据压缩重建方法仅对检测到正常的数据进行压缩。

实施例

下面通过具体实施例对本发明作进一步说明，但不应以此限制本发明的保护范围。

以某大桥4个断面的加速度传感器为例，搭建异常识别网络数据库，训练集中包含正常数据14400个正常数据段和14400个异常数据段，测试集中包含3600个正常数据段和3600个异常数据段。搭建数据压缩重建网络数据库，共包含32000个数据段，测试集中包含8000个数据段。

首先训练本发明提出的异常数据检测网络，训练的同时利用测试集中的数据对训练结果进行检测，异常检测网络收敛曲线如图4所示，最终在测试集中得到的测试精度为98.9％。

然后训练本发明提出的数据压缩重建检测网络，训练过程如图5所示，其中trainloss在初始参数下接近2，在前10个epoch收敛较快，随后缓缓下降，而训练数据结果的损失函数值最后稳定在0.5左右，重建误差稳定在0.4左右，平均相关系数最后稳定在0.9左右，用测试数据集测试数据时，测试集平均重建误差为0.4261，测试集平均相关系数为0.8926。最后，将本发明提出的数据压缩重建方法与压缩感知方法对比，由于传统的基于压缩感知的数据压缩方法还原数据时间计算需要花费很长时间，所以在四个断面的测试数据中各随机抽取50个数据，将传统压缩感知方法与本发明提出方法的计算结果进行对比。以重建数据与还原数据计算的相关系数作为方法对比衡量的指标，在图6中可以看出，传统的压缩感知方法计算结果的数据精度比较离散，计算精度不稳定，而本文提出方法计算结果稳定，并且在0.1的压缩率下，每个断面的数据还原精度均明显高于传统方法。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意改进所组成的技术方案。

Claims (1)

1.一种同时实现数据异常检测及数据压缩的深度学习方法，其特征在于，所述方法包括以下步骤：

1)基于一维卷积深度学习的异常数据判别方法，融合深度学习提取的高维数据特征，实现建筑结构健康监测数据中压缩后难以高精度重建的异常数据判别；

所述基于一维卷积深度学习的异常数据判别方法，是指直接利用卷积网络提取输入监测信号的高维特征，实现异常数据的判别，具体为：搭建建筑结构健康监测系统的异常数据库，包含正常数据和异常数据两类，卷积网络直接用单个传感器一维的监测数据作为输入，利用多层卷积层、LeakyRelu非线性激活函数层、Batchnorm归一化层叠加组合的方式提取输入信号的特征，利用全连接层将最后一层卷积层提取的特征融合映射到目标输出，预测输入信号是否为异常数据；

2)基于卷积自编码深度学习的数据压缩重建方法，实现判别为正常的健康监测数据在低压缩率下的高精度重建；

所述的基于卷积自编码深度学习的数据压缩重建方法，包括以下步骤：

21)首先需要搭建数据压缩重建网络数据库，其中只包含正常的监测数据，而数据的标签为传感器所在结构断面的位置信息；

22)网络整体的目标损失函数会使整个网络的输出与原始的输入长度相同，具体为：网络整体的目标损失函数由两部分组成，即重建数据的平均相对误差

和重建数据与原始数据的相关系数/>

其中y为输入的原始数据，a为网络的实际输出，N为每段数据的长度，最终定义网络整体损失函数为：/>

23)整体结构分为两部分，即数据压缩网络和数据重建网络，具体为：整体结构输入数据为一维的健康监测数据，最终输入为相同长度的一维重建数据；数据压缩网络用于实现输入信号的高维特征提取，提取的高维特征既是压缩的数据，其中数据重建网络将压缩后的高维特征数据以及传感器位置信息作为输入，最终输出与原始输入信号相同长度的数据，从而实现重构原始输入数据；

24)利用多层卷积网络提取输入监测数据的高维特征，作为压缩后的数据，具体为：数据压缩网络的输入数据为一维的健康监测数据，仅利用多层卷积层、LeakyRelu非线性激活函数层、Batchnorm归一化层叠加组合的方式逐次地缩小提取输入数据的特征维数，并将网络的最后一层卷积层提取的多通道特征展开到一个通道上，实现输入数据的压缩；

25)将压缩后的数据作为输入，利用多层反卷积层实现原始数据重构，具体为：将压缩后的数据及传感器所在位置信息共同作为数据重建网络的输入，其后接一层全连接层用于调整输入数据长度使最终输出数据长度与原始数据长度一致，全连接层后接多层反卷积层，将压缩的信号特征逐层地恢复到与原始输入数据相同的长度，最后一层为卷积核大小为1的卷积层，用于将多个通道的特征融合到一个通道上，实现原始数据的重构。

Images