CN116992389B - 一种物联网虚假数据检测方法及系统 - Google Patents

Abstract

本发明涉及数据识别技术领域，具体涉及一种物联网虚假数据检测方法及系统，包括：根据每两个温度变化曲线的距离度量进行层次聚类，获得所有层的所有簇，根据所有层的筛选值获得目标层；根据每个簇中的每个温度变化曲线的基线预测曲线获得每个簇的基线预测曲线，根据当前温度变化曲线的基线预测曲线与目标层中每个簇的基线预测曲线的误差值，获得当前温度变化曲线的匹配簇，根据匹配簇的基线预测曲线、噪声集合和当前噪声集合，获得当前温度变化曲线上每个采样点的虚假性，根据虚假性获得当前温度变化曲线上每个采样点的虚假概率，对筛选出的虚假数据进行数据处理，获得处理后的当前温度变化曲线。本发明对虚假数据的检测效果更好。

Description

一种物联网虚假数据检测方法及系统

技术领域

本发明涉及数据识别技术领域，具体涉及一种物联网虚假数据检测方法及系统。

背景技术

物联网中的虚假数据是指通过操纵或伪造传感器数据，来误导或欺骗系统用户和其他相关方。虚假数据对物联网系统的影响可能是灾难性的。它可能会导致控制系统错误地响应某些情况，进而引发安全事故和经济损失。例如，在智能家居系统中，如果虚假数据被误认为是真实数据，则可能导致设备出现故障，甚至危及住户生命安全。

由于物联网环境的本质为互联互通,具有普适性,使得物联网虚假数据具有隐蔽性,除了提高物联网数据在传输、采集过程中的安全性，还可以根据经验值构建虚假数据特征识别模型以及阈值识别虚假数据，但其自适应能力较差。基于传感器中伪造的虚假数据类似噪声数据，一般离散的虚假数据会在预处理去噪中被消除，但若伪造的数据密度较大，则预处理系统难以识别其异常，也无法将其平滑。如何在噪声密集的原始数据中识别虚假数据是本发明旨在解决的问题。

发明内容

本发明提供一种物联网虚假数据检测方法及系统，以解决现有的问题。

本发明提供了一种物联网虚假数据检测方法，该方法包括以下步骤：

获取温度变化曲线；

根据每两个温度变化曲线的距离度量对所有温度变化曲线进行层次聚类，获得所有层的所有簇；根据所有层的筛选值，获得目标层；

根据每个簇中的每个温度变化曲线的基线预测曲线获得每个簇的基线预测曲线；根据当前温度变化曲线的基线预测曲线与目标层中每个簇的基线预测曲线的误差值，获得当前温度变化曲线的匹配簇；根据当前温度变化曲线的匹配簇的基线预测曲线、噪声集合和当前噪声集合，获得当前温度变化曲线上每个采样点的虚假性；

根据每个采样点的虚假性筛选出当前温度变化曲线上的虚假数据，对虚假数据进行数据处理，获得处理后的当前温度变化曲线。

进一步地，所述获得所有层的所有簇，包括的具体步骤如下：

K1：初始时，将所有温度变化曲线归为一个簇，并作为第一层；

K2：对于第一层的任意一个簇，计算该簇中任意两个温度变化曲线的距离度量，将距离最远即最大的距离度量对应的两个温度变化曲线分别作为两个新的簇的中心；对第一层的每个簇进行划分获得新的簇，所有新的簇组成第二层；

K3：根据其他所有温度变化曲线与两个新的簇的中心的距离度量，将其他所有温度变化曲线划分到两个新的簇中，具体的，将每个温度变化曲线划分到簇的中心的距离度量小的新的簇中；

K4：计算第二层中每两个簇的中心的距离度量，对所有距离度量进行线性归一化，将归一化后的距离记为每两个簇的距离；

K5：如果第二层中相距最远的两个簇的距离小于预设距离阈值Y1，停止层次聚类操作，至此，将所有温度变化曲线划分到每层的每个簇中；否则，重复上述K2到K4的操作。

进一步地，所述距离度量的获取方法具体如下：

对于任意两个温度变化曲线，将采样点数量多的记为温度变化曲线a，将采样点数量少的记为温度变化曲线b，获得两个温度变化曲线的距离度量，具体计算公式为：

式中，表示温度变化曲线a和温度变化曲线b的距离度量，/>表示温度变化曲线b上采样点的数量，/>表示温度变化曲线a上采样点的数量，/>表示温度变化曲线b上第i个采样点的温度数据，/>表示温度变化曲线b上第i个采样点在温度变化曲线a上对应的采样点的序号，/>表示温度变化曲线a上第j个采样点的温度数据，/>表示取最大值。

进一步地，所述根据所有层的筛选值，获得目标层，包括的具体步骤如下：

对于任意一个簇，计算该簇中每两个温度变化曲线的距离度量，将所有距离度量的方差为该簇的内部混乱性；获得每个簇的内部混乱性；

对于任意两个簇，分别记为簇A和簇B，计算簇A中每个温度变化曲线与簇B中每个温度变化曲线的距离度量，将所有距离度量中最小的距离度量作为簇A和簇B的簇间距离；对于任意一层，获得该层中每两个簇的簇间距离，将所有簇间距离的方差记为该层的内部独立性；

对于任意一层，将该层所有簇的内部混乱性的均值与该层的内部独立性的比值记为该层的筛选值，将最大的筛选值对应的层记为目标层。

进一步地，所述根据每个簇中的每个温度变化曲线的基线预测曲线获得每个簇的基线预测曲线，包括的具体步骤如下：

对于任意一个簇，获得该簇中的每个温度变化曲线的基线预测曲线，包括：获得温度变化曲线的所有极值点，获得每两个相邻的极值点的连线的中间点，对所有中间点进行拟合，将拟合的曲线作为温度变化曲线的基线预测曲线；

将该簇中所有温度变化曲线的基线预测曲线的均值组成的曲线，作为该簇的基线预测曲线。

进一步地，所述获得当前温度变化曲线的匹配簇，包括的具体步骤如下：

将当前生产过程中产生的温度数据按照时间顺序组成的序列，记为当前温度时序序列，对当前温度时序序列进行虚假数据识别时，获得当前温度变化曲线的基线预测曲线；对于目标层中的任意一个簇，计算当前温度变化曲线的基线预测曲线与目标层中该簇的基线预测曲线的误差值，包括：获得当前温度变化曲线上每个采样点在当前温度变化曲线的基线预测曲线上的预测值，记为采样点的第一预测值，获得当前温度变化曲线上每个采样点在该簇的基线预测曲线上的预测值，记为采样点的第二预测值，对所有采样点的第一预测值和第二预测值的差值的平方求和，获得当前温度变化曲线的基线预测曲线与目标层中该簇的基线预测曲线的误差值；

获得当前温度变化曲线的基线预测曲线与目标层中每个簇的基线预测曲线的误差值，将误差值最小的簇记为当前温度变化曲线的匹配簇。

进一步地，所述获得当前温度变化曲线上每个采样点的虚假性，包括的具体步骤如下：

对当前温度时序序列进行虚假数据识别时，根据当前温度变化曲线的匹配簇的基线预测曲线、噪声集合和当前噪声集合，获得当前温度变化曲线上每个采样点的虚假性，具体计算公式为：

式中，表示当前温度变化曲线的第t个采样点的虚假性，/>表示当前温度变化曲线的匹配簇的基线预测曲线，/>表示当前温度变化曲线的第t个采样点的温度数据，表示当前温度变化曲线的第t个采样点在当前温度变化曲线的匹配簇的预测噪声曲线上的预测值，S表示噪声集合中噪声的数量，/>表示当前温度变化曲线的第t个采样点在当前温度变化曲线的预测噪声曲线上的预测噪声，/>表示当前噪声集合中的所有预测噪声的均值，/>表示噪声集合中第s个噪声，/>表示噪声集合中的所有噪声的均值，/>表示当前噪声集合中的所有预测噪声的方差，/>表示噪声集合中的所有噪声的方差。

进一步地，所述噪声集合和当前噪声集合的获取方法具体如下：

对于任意一个簇，将该簇中每个温度变化曲线的基线预测曲线减去该簇的基线预测曲线，作为该簇中每个温度变化曲线的预测噪声曲线；获得所有温度变化曲线上的所有采样点在预测噪声曲线上的噪声组成的噪声集合，对噪声集合进行去重处理；获得去重后的噪声集合；

将当前温度变化曲线的基线预测曲线减去当前温度变化曲线，作为当前温度变化曲线的预测噪声曲线；获得当前温度变化曲线上的所有采样点在预测噪声曲线上的预测噪声组成的噪声集合，对噪声集合进行去重处理，获得去重后的噪声集合，记为当前噪声集合。

进一步地，所述根据每个采样点的虚假性筛选出当前温度变化曲线上的虚假数据，包括的具体步骤如下：

根据当前温度变化曲线的每个采样点的虚假性获得每个采样点的虚假概率，具体计算公式为：

式中，表示当前温度变化曲线的第t个采样点的虚假概率，/>表示当前温度变化曲线的第t个采样点的虚假性，/>表示以自然常数e为底的指数函数；

如果当前温度变化曲线的第t个采样点的虚假概率小于等于预设概率阈值Y2时，认为当前温度变化曲线的第t个采样点的温度数据为虚假数据，否则为真实数据；获得当前温度变化曲线上的所有虚假数据，将当前温度变化曲线上的所有虚假数据替换为当前温度变化曲线的匹配簇的基线预测曲线上对应的温度数据；获得处理后的当前温度变化曲线。

本发明另外还提供了一种物联网虚假数据检测系统，包括数据预处理模块、数据特征获取模块和虚假数据筛选模块，所述数据预处理模块为：获取温度变化曲线；所述数据特征获取模块为：根据每两个温度变化曲线的距离度量对所有温度变化曲线进行层次聚类，获得所有层的所有簇；根据所有层的筛选值，获得目标层；根据每个簇中的每个温度变化曲线的基线预测曲线获得每个簇的基线预测曲线；根据当前温度变化曲线的基线预测曲线与目标层中每个簇的基线预测曲线的误差值，获得当前温度变化曲线的匹配簇；根据当前温度变化曲线的匹配簇的基线预测曲线、噪声集合和当前噪声集合，获得当前温度变化曲线上每个采样点的虚假性；所述虚假数据筛选模块为：根据每个采样点的虚假性筛选出当前温度变化曲线上的虚假数据，对虚假数据进行数据处理，获得处理后的当前温度变化曲线。

本发明的技术方案的有益效果是：

1、本发明针对当前根据特征模型以及阈值识别物联网虚假数据的方法存在自适应能力较差，应用受限的问题，提出一种物联网虚假数据检测方法及系统，通过层次聚类对历史生产过程的温度变化曲线进行分类，其中针对距离度量以及目标聚类结果的获取方法进行了优化，解决了传统算法导致信号失真以及簇类数量不确定的问题，然后基于历史温度变化曲线聚类结果以及实际生产过程的当前温度变化曲线构建虚假数据预测方程，对当前估测噪声与历史噪声相关性较差的温度变化曲线进行非线性转化，得到采样点的预测虚假概率，通过阈值筛选得到当前温度变化曲线的虚假数据检测结果。

2、由于本发明对历史数据的精细划分以及预测模型的构建，极大提高了对历史经验数据的利用率，相比于特征模型以及阈值检测的方法，灵活性与自适应能力更优，虚假数据的检测效果更好。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一种物联网虚假数据检测方法的步骤流程图；

图2为根据温度变化曲线b上的采样点在温度变化曲线a上进行滑动的示意图；

图3为层级聚类结果的示意图；

图4为一种物联网虚假数据检测系统的系统框图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种物联网虚假数据检测方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种物联网虚假数据检测方法及系统的具体方案。

实施例1

1、获取当前温度变化曲线；

2、获得当前温度变化曲线的基线预测曲线，具体方法为：获得当前温度变化曲线的所有极值点，获得每两个相邻的极值点的连线的中间点，对所有中间点进行拟合，将拟合的曲线作为当前温度变化曲线的基线预测曲线；

3、将当前温度变化曲线的每个采样点的温度数据，与每个采样点在当前温度变化曲线的基线预测曲线上的预测值的差值的绝对值记为每个采样点的预测误差；

4、预设一个误差阈值X1，其中本实施例以X1=3为例进行叙述，本实施例不进行具体限定，其中X1可根据具体实施情况而定；如果当前温度变化曲线的第t个采样点的预测误差大于预设误差阈值X1时，认为当前温度变化曲线的第t个采样点的温度数据为虚假数据，否则为真实数据；获得当前温度变化曲线上的所有虚假数据，将当前温度变化曲线上的所有虚假数据替换为当前温度变化曲线的基线预测曲线上对应的温度数据；获得处理后的当前温度变化曲线。

实施例2

1、获取历史的所有温度变化曲线和当前温度变化曲线；

2、根据所有每两个温度变化曲线的距离度量，对所有温度变化曲线进行层次聚类，获得所有层的所有簇，本实施例中距离度量是指DTW距离；

3、获得每个簇中的每个温度变化曲线的基线预测曲线，根据每个簇中的每个温度变化曲线的基线预测曲线获得每个簇的基线预测曲线；根据当前温度变化曲线的基线预测曲线与目标层中每个簇的基线预测曲线的误差值，获得当前温度变化曲线的匹配簇；将当前温度变化曲线的每个采样点的温度数据，与每个采样点在当前温度变化曲线的匹配簇的基线预测曲线上的预测值的差值的绝对值记为每个采样点的预测误差；

4、预设一个误差阈值X1，其中本实施例以X1=3为例进行叙述，本实施例不进行具体限定，其中X1可根据具体实施情况而定；如果当前温度变化曲线的第t个采样点的预测误差大于预设误差阈值X1时，认为当前温度变化曲线的第t个采样点的温度数据为虚假数据，否则为真实数据；获得当前温度变化曲线上的所有虚假数据，将当前温度变化曲线上的所有虚假数据替换为当前温度变化曲线的基线预测曲线上对应的温度数据；获得处理后的当前温度变化曲线。

实施例3

请参阅图1，其示出了本发明的实施例3提供的一种物联网虚假数据检测方法的步骤流程图，该方法包括以下步骤：

S001，获取温度变化曲线。

需要说明的是，由于物联网传感器数据基本均为时序数据，如一些工业生产中的常用传感器数据：湿度、温度、压力、功率、风速等等，这些时序上虚假数据的检测具有普适性，因此本实施例以温度数据为例进行说明。

具体的，获取物联网中预设时间段内，每次生产的所有历史温度数据按照时间顺序组成的温度时序序列，即获得预设时间段内每次生产的温度时序序列，其中，温度数据是通过工业生产温度传感器采集获得的。

进一步，对每个温度时序序列进行曲线拟合，得到每个温度时序序列的温度变化曲线，温度变化曲线的横轴为时刻，纵轴为温度数据，每个存在温度数据的时刻称为采样点。

S002，构建距离度量，对所有温度变化曲线进行层次聚类，获得所有层的所有簇，根据所有层的筛选值，获得目标层。

需要说明的是，基于传感器信任度，需要借助历史数据对虚假数据进行识别，工业生产中，工艺流程固定不变，同一传感器正常所采集的物联网数据理论上是呈现周期状的，而噪声会导致历史数据之间相似度存在差异。但是由于生产环境也比较固定，进而设备、传感器、工艺参数等影响因素也基本固定，所以历史数据中的噪声类型、幅值、频值均有较高的重复性，对于虚假数据的判断，可以分析其在历史数据中的分布情况，判定是否为虚假数据。

进一步需要说明的是，对于工业生产而言，物联网传感器主要作用为生产监测，每批生产过程的产量、工艺偏差、设备运行时长等因素对生产参数的影响各不相同，导致传感器实际采集的物联网数据无论从基线变化还是噪声类型也不相同，在借鉴历史数据之前，需要对历史数据中具有相同影响因素的信号段分别归类，然后在实际检测虚假数据时保证其所借鉴、参照的历史数据具有较高的可信度。因此，本实施例以每一次完整生产过程的温度变化曲线作为一个单位历史数据，根据信号特征将历史数据进行聚类处理，聚类算法采用不需要制定具体类别数目的层次聚类算法，具体为层次聚类中的DIANA分裂算法。

1、构建距离度量。

需要说明的是，常规信号数据之间的距离度量采用DTW先对齐信号长度，然后以均方误差计算两个信号之间的差异或相似度，以其作为两个信号之间的距离。但对于本实施例而言，并不需要将信号对齐，因为生产量、时间长度不同，强行将信号对齐会导致信号失真，因此本实施例采用滑窗法，两个历史温度数据曲线之间计算相似度时，以较短信号作为滑窗，在长信号上进行滑动，每滑动一次计算一次均方误差，取最小的均方误差，作为两个信号之间的聚类距离度量。

具体的，对于任意两个温度变化曲线，将采样点数量多的记为温度变化曲线a，将采样点数量少的记为温度变化曲线b，获得两个温度变化曲线的距离度量，具体计算公式为：

式中，表示温度变化曲线a和温度变化曲线b的距离度量，/>表示温度变化曲线b上采样点的数量，/>表示温度变化曲线a上采样点的数量，/>表示温度变化曲线b上第i个采样点的温度数据，/>表示温度变化曲线b上第i个采样点在温度变化曲线a上对应的采样点的序号，/>表示温度变化曲线a上第j个采样点的温度数据，/>表示取最大值。

需要说明的是，根据温度变化曲线b上的采样点在温度变化曲线a上进行滑动，在温度变化曲线a上截取和温度变化曲线b长度相等的曲线段，计算的均方误差将最大的均方误差作为温度变化曲线a和温度变化曲线b的距离度量，请参阅图2，其示出了根据温度变化曲线b上的采样点在温度变化曲线a上进行滑动的示意图。

2、对所有温度变化曲线进行层次聚类，获得所有层的所有簇。

根据每两个温度变化曲线的距离度量，对所有温度变化曲线进行层次聚类，具体过程为：

K1：初始时，将所有温度变化曲线归为一个簇，并作为第一层；

K2：对于第一层的任意一个簇，计算该簇中任意两个温度变化曲线的距离度量，将距离最远即最大的距离度量对应的两个温度变化曲线分别作为两个新的簇的中心；对第一层的每个簇进行划分获得新的簇，所有新的簇组成第二层；

K3：根据其他所有温度变化曲线与两个新的簇的中心的距离度量，将其他所有温度变化曲线划分到两个新的簇中，具体的，将每个温度变化曲线划分到簇的中心的距离度量小的新的簇中；

K4：计算第二层中每两个簇的中心的距离度量，对所有距离度量进行线性归一化，将归一化后的距离记为每两个簇的距离；

预设一个距离阈值Y1，其中本实施例以Y1=0.5为例进行叙述，本实施例不进行具体限定，其中Y1可根据具体实施情况而定。

K5：如果第二层中相距最远的两个簇的距离小于预设距离阈值Y1，停止层次聚类操作，至此，将所有温度变化曲线划分到每层的每个簇中；否则，重复上述K2到K4的操作；获得所有层的所有簇；请参阅图3，其示出了层级聚类结果的示意图。

需要说明的是，将两个簇内相距最远、即差异最大的两个温度变化曲线之间的距离度量作为两个簇之间的距离，进行层次聚类，得到所有层的所有簇，每一层代表不同精度的聚类结果，后续本实施例利用最大类间方差法筛选目标层。

3、根据所有层的筛选值，获得目标层。

具体的，对于任意一个簇，计算该簇中每两个温度变化曲线的距离度量，将所有距离度量的方差为该簇的内部混乱性；获得每个簇的内部混乱性。

进一步，对于任意两个簇，分别记为簇A和簇B，计算簇A中每个温度变化曲线与簇B中每个温度变化曲线的距离度量，将所有距离度量中最小的距离度量作为簇A和簇B的簇间距离；对于任意一层，获得该层中每两个簇的簇间距离，将所有簇间距离的方差记为该层的内部独立性。

需要说明的是，每个簇的内部混乱性代表每个簇的内部数据的稳定特征，每个簇的内部数据越稳定越好，因此，每个簇的内部混乱性越小越好，此时，对应层的筛选值越大；层的内部独立性是所有簇间距离的方差，最大方差在主成分分析算法中具有特征最完整的意义，因此所有簇间距离符合最大方差，则代表该层中每个簇的特征独立且相互之间差异较大，因此，每个层的内部独立性越大越好，此时，对应层的筛选值越大。

具体的，对于任意一层，将该层的内部独立性与该层所有簇的内部混乱性的均值的比值记为该层的筛选值，将最大的筛选值对应的层记为目标层。

S003，根据每个簇中的每个温度变化曲线的基线预测曲线获得每个簇的基线预测曲线；根据当前温度变化曲线的基线预测曲线与目标层中每个簇的基线预测曲线的误差值，获得当前温度变化曲线的匹配簇，根据当前温度变化曲线的匹配簇的基线预测曲线、噪声集合和当前噪声集合，获得当前温度变化曲线上每个采样点的虚假性。根据每个采样点的虚假性获得当前温度变化曲线上每个采样点的虚假概率。

1、根据每个簇中的每个温度变化曲线的基线预测曲线获得每个簇的基线预测曲线，获得噪声集合。

具体的，对于任意一个簇，获得该簇中的每个温度变化曲线的基线预测曲线，具体方法为：获得温度变化曲线的所有极值点，获得每两个相邻的极值点的连线的中间点，对所有中间点进行拟合，将拟合的曲线作为温度变化曲线的基线预测曲线；将该簇中所有温度变化曲线的基线预测曲线的均值组成的曲线，作为该簇的基线预测曲线；将该簇中每个温度变化曲线的基线预测曲线减去该簇的基线预测曲线，作为该簇中每个温度变化曲线的预测噪声曲线。

进一步，获得所有温度变化曲线上的所有采样点在预测噪声曲线上的噪声组成的噪声集合，对噪声集合进行去重处理，获得去重后的噪声集合。

2、根据当前温度变化曲线的基线预测曲线与目标层中每个簇的基线预测曲线的误差值，获得当前温度变化曲线的匹配簇。

具体的，将当前生产过程中产生的温度数据按照时间顺序组成的序列，记为当前温度时序序列，对当前温度时序序列进行虚假数据识别时，获得当前温度变化曲线的基线预测曲线；对于目标层中的任意一个簇，计算当前温度变化曲线的基线预测曲线与目标层中该簇的基线预测曲线的误差值，具体方法为：获得当前温度变化曲线上每个采样点在当前温度变化曲线的基线预测曲线上的预测值，记为采样点的第一预测值，获得当前温度变化曲线上每个采样点在该簇的基线预测曲线上的预测值，记为采样点的第二预测值，对所有采样点的第一预测值和第二预测值的差值的平方求和，获得当前温度变化曲线的基线预测曲线与目标层中该簇的基线预测曲线的误差值。

进一步，获得当前温度变化曲线的基线预测曲线与目标层中每个簇的基线预测曲线的误差值，将误差值最小的簇记为当前温度变化曲线的匹配簇。

3、根据当前温度变化曲线的匹配簇的基线预测曲线、噪声集合和当前噪声集合，获得当前温度变化曲线上每个采样点的虚假性。

需要说明的是，本实施例中，利用当前温度变化曲线的匹配簇的基线预测曲线对当前温度变化曲线中的采样点进行预测，预测过程分为基线预测与噪声预测，根据基线预测结果获得误差值，误差值越小，代表当前温度变化曲线的基线预测曲线与匹配簇的基线预测曲线越相同，基线相同的情况下，根据噪声部分的预测结果即可识别虚假数据。

进一步需要说明的是，实际估测噪声仍为当前原始信号减去其基线信号，而将实际估测噪声输入预测方程中，则会根据相关性输出一个数值，简单来说，噪声集合所记录的是历史温度数据中所有出现过的估测噪声类型，当实际估测噪声与历史信号相关性越差时，代表该实际估测噪声更可能为虚假数据。

具体的，将当前温度变化曲线的基线预测曲线减去当前温度变化曲线，作为当前温度变化曲线的预测噪声曲线；获得当前温度变化曲线上的所有采样点在预测噪声曲线上的预测噪声组成的噪声集合，对噪声集合进行去重处理，获得去重后的噪声集合，记为当前噪声集合。

进一步，对当前温度时序序列进行虚假数据识别时，根据当前温度变化曲线的匹配簇的基线预测曲线、噪声集合和当前噪声集合，获得当前温度变化曲线上每个采样点的虚假性，具体计算公式为：

式中，表示当前温度变化曲线的第t个采样点的虚假性，/>表示当前温度变化曲线的匹配簇的基线预测曲线，/>表示当前温度变化曲线的第t个采样点的温度数据，表示当前温度变化曲线的第t个采样点在当前温度变化曲线的匹配簇的预测噪声曲线上的预测值，S表示噪声集合中噪声的数量，/>表示当前温度变化曲线的第t个采样点在当前温度变化曲线的预测噪声曲线上的预测噪声，/>表示当前噪声集合中的所有预测噪声的均值，/>表示噪声集合中第s个噪声，/>表示噪声集合中的所有噪声的均值，/>表示当前噪声集合中的所有预测噪声的方差，/>表示噪声集合中的所有噪声的方差。

表示当前温度变化曲线上采样点的基线预测结果，利用噪声集合和当前噪声集合，将噪声集合中的任意一个噪声作为可能叠加的噪声，/>用来表示当前噪声集合和噪声集合中所有噪声的相关性。

需要说明的是，对于当前温度变化曲线，基线可以预测，噪声无法预测，仅能以噪声集合的形式进行表征，本实施例根据实时估测噪声与历史噪声集合的协方差，得到实际噪声与历史噪声之间的相关性。

4、根据每个采样点的虚假性获得当前温度变化曲线上每个采样点的虚假概率。

需要说明的是，由于上述输出的虚假性是基于信号基线差异与实际估测噪声和历史估测噪声的相关性得到的，而该相关性并非线性关系，因此将该输出值输入sigmoid函数中进行非线性转化。

具体的，根据当前温度变化曲线的每个采样点的虚假性获得每个采样点的虚假概率，具体计算公式为：

式中，表示当前温度变化曲线的第t个采样点的虚假概率，/>表示当前温度变化曲线的第t个采样点的虚假性，/>表示以自然常数e为底的指数函数。

当前温度变化曲线上的采样点的虚假性越小，则当前温度变化曲线上的采样点的虚假概率/>越小。

S004，筛选当前温度变化曲线上的虚假数据，对虚假数据进行数据处理，获得处理后的当前温度变化曲线。

预设一个概率阈值Y2，其中本实施例以Y2=0.3为例进行叙述，本实施例不进行具体限定，其中Y2可根据具体实施情况而定。

具体的，如果当前温度变化曲线的第t个采样点的虚假概率小于等于预设概率阈值Y2时，认为当前温度变化曲线的第t个采样点的温度数据为虚假数据，否则为真实数据；获得当前温度变化曲线上的所有虚假数据，将当前温度变化曲线上的所有虚假数据替换为当前温度变化曲线的匹配簇的基线预测曲线上对应的温度数据；获得处理后的当前温度变化曲线。

请参阅图4，其示出了本发明一个实施例3提供的一种物联网虚假数据检测系统的系统框图，该系统包括数据预处理模块、数据特征获取模块和虚假数据筛选模块，具体为：

数据预处理模块实现上述S001方法的步骤，通过工业生产温度传感器采集获得的温度数据，对温度数据组成的温度时序序列进行曲线拟合，得到温度变化曲线；

数据特征获取模块实现上述S002到S003方法的步骤，获得当前温度变化曲线上的每个采样点的虚假性；

虚假数据筛选模块实现上述S004方法的步骤，根据采样点的虚假性筛选出当前温度变化曲线上的虚假数据，对虚假数据进行数据处理，获得处理后的当前温度变化曲线。

本发明针对当前根据特征模型以及阈值识别物联网虚假数据的方法存在自适应能力较差，应用受限的问题，提出一种物联网虚假数据检测方法及系统，通过层次聚类对历史生产过程的温度变化曲线进行分类，其中针对距离度量以及目标聚类结果的获取方法进行了优化，解决了传统算法导致信号失真以及簇类数量不确定的问题，然后基于历史温度变化曲线聚类结果以及实际生产过程的当前温度变化曲线构建虚假数据预测方程，对当前估测噪声与历史噪声相关性较差的温度变化曲线进行非线性转化，得到采样点的预测虚假概率，通过阈值筛选得到当前温度变化曲线的虚假数据检测结果。由于本发明对历史数据的精细划分以及预测模型的构建，极大提高了对历史经验数据的利用率，相比于特征模型以及阈值检测的方法，灵活性与自适应能力更优，虚假数据的检测效果更好。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种物联网虚假数据检测方法，其特征在于，所述方法包括：

获取温度变化曲线；

根据每两个温度变化曲线的距离度量对所有温度变化曲线进行层次聚类，获得所有层的所有簇；根据所有层的筛选值，获得目标层；

根据每个簇中的每个温度变化曲线的基线预测曲线获得每个簇的基线预测曲线；根据当前温度变化曲线的基线预测曲线与目标层中每个簇的基线预测曲线的误差值，获得当前温度变化曲线的匹配簇；根据当前温度变化曲线的匹配簇的基线预测曲线、噪声集合和当前噪声集合，获得当前温度变化曲线上每个采样点的虚假性；

根据每个采样点的虚假性筛选出当前温度变化曲线上的虚假数据，对虚假数据进行数据处理，获得处理后的当前温度变化曲线；

所述噪声集合和当前噪声集合的获取方法具体如下：

对于任意一个簇，将该簇中每个温度变化曲线的基线预测曲线减去该簇的基线预测曲线，作为该簇中每个温度变化曲线的预测噪声曲线；获得所有温度变化曲线上的所有采样点在预测噪声曲线上的噪声组成的噪声集合，对噪声集合进行去重处理；获得去重后的噪声集合；

将当前温度变化曲线的基线预测曲线减去当前温度变化曲线，作为当前温度变化曲线的预测噪声曲线；获得当前温度变化曲线上的所有采样点在预测噪声曲线上的预测噪声组成的噪声集合，对噪声集合进行去重处理，获得去重后的噪声集合，记为当前噪声集合。

2.根据权利要求1所述的一种物联网虚假数据检测方法，其特征在于，所述获得所有层的所有簇，包括的具体步骤如下：

K1：初始时，将所有温度变化曲线归为一个簇，并作为第一层；

K2：对于第一层的任意一个簇，计算该簇中任意两个温度变化曲线的距离度量，将距离最远即最大的距离度量对应的两个温度变化曲线分别作为两个新的簇的中心；对第一层的每个簇进行划分获得新的簇，所有新的簇组成第二层；

K3：根据其他所有温度变化曲线与两个新的簇的中心的距离度量，将其他所有温度变化曲线划分到两个新的簇中，具体的，将每个温度变化曲线划分到簇的中心的距离度量小的新的簇中；

K4：计算第二层中每两个簇的中心的距离度量，得到第一距离度量，对所有第一距离度量进行线性归一化，将归一化后的距离记为每两个簇的距离；

K5：如果第二层中相距最远的两个簇的距离小于预设距离阈值Y1，停止层次聚类操作，至此，将所有温度变化曲线划分到每层的每个簇中；否则，重复上述K2到K4的操作。

3.根据权利要求2所述的一种物联网虚假数据检测方法，其特征在于，所述距离度量的获取方法具体如下：

对于任意两个温度变化曲线，将采样点数量多的温度变化曲线记为温度变化曲线a，将采样点数量少的记为温度变化曲线b，获得两个温度变化曲线的距离度量，具体计算公式为：

式中，表示温度变化曲线a和温度变化曲线b的距离度量，/>表示温度变化曲线b上采样点的数量，/>表示温度变化曲线a上采样点的数量，/>表示温度变化曲线b上第i个采样点的温度数据，/>表示温度变化曲线b上第i个采样点在温度变化曲线a上对应的采样点的序号，/>表示温度变化曲线a上第j个采样点的温度数据，/>表示取最大值。

4.根据权利要求1所述的一种物联网虚假数据检测方法，其特征在于，所述根据所有层的筛选值，获得目标层，包括的具体步骤如下：

对于任意一个簇，计算该簇中每两个温度变化曲线的距离度量，将所有距离度量的方差为该簇的内部混乱性；获得每个簇的内部混乱性；

对于任意两个簇，分别记为簇A和簇B，计算簇A中每个温度变化曲线与簇B中每个温度变化曲线的距离度量，将所有距离度量中最小的距离度量作为簇A和簇B的簇间距离；对于任意一层，获得该层中每两个簇的簇间距离，将所有簇间距离的方差记为该层的内部独立性；

对于任意一层，将该层所有簇的内部混乱性的均值与该层的内部独立性的比值记为该层的筛选值，将最大的筛选值对应的层记为目标层。

5.根据权利要求1所述的一种物联网虚假数据检测方法，其特征在于，所述根据每个簇中的每个温度变化曲线的基线预测曲线获得每个簇的基线预测曲线，包括的具体步骤如下：

对于任意一个簇，获得该簇中的每个温度变化曲线的基线预测曲线，包括：获得温度变化曲线的所有极值点，获得每两个相邻的极值点的连线的中间点，对所有中间点进行拟合，将拟合的曲线作为温度变化曲线的基线预测曲线；

将该簇中所有温度变化曲线的基线预测曲线的均值组成的曲线，作为该簇的基线预测曲线。

6.根据权利要求1所述的一种物联网虚假数据检测方法，其特征在于，所述获得当前温度变化曲线的匹配簇，包括的具体步骤如下：

将当前生产过程中产生的温度数据按照时间顺序组成的序列，记为当前温度时序序列，对当前温度时序序列进行虚假数据识别时，获得当前温度变化曲线的基线预测曲线；对于目标层中的任意一个簇，计算当前温度变化曲线的基线预测曲线与目标层中该簇的基线预测曲线的误差值，包括：获得当前温度变化曲线上每个采样点在当前温度变化曲线的基线预测曲线上的预测值，记为采样点的第一预测值，获得当前温度变化曲线上每个采样点在该簇的基线预测曲线上的预测值，记为采样点的第二预测值，对所有采样点的第一预测值和第二预测值的差值的平方求和，获得当前温度变化曲线的基线预测曲线与目标层中该簇的基线预测曲线的误差值；

获得当前温度变化曲线的基线预测曲线与目标层中每个簇的基线预测曲线的误差值，将误差值最小的簇记为当前温度变化曲线的匹配簇。

7.根据权利要求1所述的一种物联网虚假数据检测方法，其特征在于，所述获得当前温度变化曲线上每个采样点的虚假性，包括的具体步骤如下：

对当前温度时序序列进行虚假数据识别时，根据当前温度变化曲线的匹配簇的基线预测曲线、噪声集合和当前噪声集合，获得当前温度变化曲线上每个采样点的虚假性，具体计算公式为：

式中，表示当前温度变化曲线的第t个采样点的虚假性，/>表示当前温度变化曲线的匹配簇的基线预测曲线，/>表示当前温度变化曲线的第t个采样点的温度数据，/>表示当前温度变化曲线的第t个采样点在当前温度变化曲线的匹配簇的预测噪声曲线上的预测值，S表示噪声集合中噪声的数量，/>表示当前温度变化曲线的第t个采样点在当前温度变化曲线的预测噪声曲线上的预测噪声，/>表示当前噪声集合中的所有预测噪声的均值，表示噪声集合中第s个噪声，/>表示噪声集合中的所有噪声的均值，/>表示当前噪声集合中的所有预测噪声的方差，/>表示噪声集合中的所有噪声的方差。

8.根据权利要求1所述的一种物联网虚假数据检测方法，其特征在于，所述根据每个采样点的虚假性筛选出当前温度变化曲线上的虚假数据，包括的具体步骤如下：

根据当前温度变化曲线的每个采样点的虚假性获得每个采样点的虚假概率，具体计算公式为：

式中，表示当前温度变化曲线的第t个采样点的虚假概率，/>表示当前温度变化曲线的第t个采样点的虚假性，/>表示以自然常数e为底的指数函数；

如果当前温度变化曲线的第t个采样点的虚假概率小于等于预设概率阈值Y2时，认为当前温度变化曲线的第t个采样点的温度数据为虚假数据，否则为真实数据；获得当前温度变化曲线上的所有虚假数据，将当前温度变化曲线上的所有虚假数据替换为当前温度变化曲线的匹配簇的基线预测曲线上对应的温度数据；获得处理后的当前温度变化曲线。

9.一种物联网虚假数据检测系统，其特征在于，包括；数据预处理模块、数据特征获取模块和虚假数据筛选模块，所述数据预处理模块为：获取温度变化曲线；所述数据特征获取模块为：根据每两个温度变化曲线的距离度量对所有温度变化曲线进行层次聚类，获得所有层的所有簇；根据所有层的筛选值，获得目标层；根据每个簇中的每个温度变化曲线的基线预测曲线获得每个簇的基线预测曲线；根据当前温度变化曲线的基线预测曲线与目标层中每个簇的基线预测曲线的误差值，获得当前温度变化曲线的匹配簇；根据当前温度变化曲线的匹配簇的基线预测曲线、噪声集合和当前噪声集合，获得当前温度变化曲线上每个采样点的虚假性；所述虚假数据筛选模块为：根据每个采样点的虚假性筛选出当前温度变化曲线上的虚假数据，对虚假数据进行数据处理，获得处理后的当前温度变化曲线；

所述噪声集合和当前噪声集合的获取方法具体如下：

对于任意一个簇，将该簇中每个温度变化曲线的基线预测曲线减去该簇的基线预测曲线，作为该簇中每个温度变化曲线的预测噪声曲线；获得所有温度变化曲线上的所有采样点在预测噪声曲线上的噪声组成的噪声集合，对噪声集合进行去重处理；获得去重后的噪声集合；

将当前温度变化曲线的基线预测曲线减去当前温度变化曲线，作为当前温度变化曲线的预测噪声曲线；获得当前温度变化曲线上的所有采样点在预测噪声曲线上的预测噪声组成的噪声集合，对噪声集合进行去重处理，获得去重后的噪声集合，记为当前噪声集合。