CN113705817B - 基于高阶高斯混合模型的远程实时监控数据处理方法 - Google Patents

Abstract

本发明公开了一种基于高阶高斯混合模型的远程实时监控数据处理方法，属于数据处理技术领域，基于高斯混合模型（Gaussian Mixed Model,GMM）的数据过滤技术的边缘数据采集终端以固定频率对远端设备进行数据采集和解析，内建GMM学习机，通过学习，对远程终端各个数据项进行稳定值估计，以确定每一数据项的稳定值。获取数据项的稳定值之后，对每次采集终端采集并解析的实时数据与相应的稳定值进行比对，在预先设定阈值的参与下，判断当前采集的实时数据是否发送到监控中心端，同时采集终端将按照设定的时间间隔对实时数据进行数据沉降存储，监控中心端在需要时可以对沉降数据进行读取。

Description

基于高阶高斯混合模型的远程实时监控数据处理方法

技术领域

本发明属于数据处理技术领域，具体涉及一种基于高阶高斯混合模型数据沉降技术的边缘数据采集终端。

背景技术

现有的实时监控系统如图2所示，远端设备1和数据采集终端2有线连接，监控中心端3和数据采集终端无线连接。数据采集终端是远程实时监控系统的核心设备，其主要功能是接受监控中心端的指令、采集所连接的远端设备的数据并将采集的数据发送至中心端。数据采集终端完成了协议转换、数据链路维护等功能，实现了监控中心端与远端设备的透明数据传输。

传统的数据采集终端维持了监控中心端与远端设备的实时通讯，在这种模式下，随着远端设备的增多，对监控中心端设备的性能要求和网络带宽要求不断提高，这样不利于实时监控系统的部署和扩展。

由于在系统正常运行的情况下，远端设备数据趋于稳定状态，即数据采集终端所采集的远端设备的各项数据变化极小，甚至无变化。在这种情况下，降低数据采集器与监控中心端的数据传输将大大节约设备性能和通讯带宽。因此，研究一种新型的远程实时监控数据处理方法，能够节约监控中心端的设备性能和网络带宽是非常必要的。

发明内容

本发明公开了一种基于高阶高斯混合模型的远程实时监控数据处理方法，能够在远端设备较多的实时监控应用场景下，通过有效控制数据采集终端与监控中心端的数据通讯频率，降低数据采集终端与监控中心端的通讯带宽和计算机性能依赖。

为实现上述目的，本发明采用的技术方案如下：

一种基于高阶高斯混合模型的远程实时监控数据处理方法，包括以下步骤：

S1、数据采集，远端设备进行实时数据采集，数据采集终端以固定频率对远端设备的实时数据进行采集和解析；

S2、数据采集终端按照设定的时间间隔对实时数据进行数据沉降存储；

S3、所述数据采集终端的数据采集器设置有嵌入式内核，搭建高阶高斯混合模型GMM学习机，GMM学习机对远端设备数据进行学习获得各数据项的稳定值；

S4、设定阈值，根据数据的稳定值和设定的阈值确定数据的稳定区间；

S5、将每次数据采集终端采集并解析的实时数据与数据的稳定区间进行比对，判断当前采集的实时数据是否发送到监控中心端。

本发明技术方案的进一步改进在于：步骤S2中的沉降数据以压缩格式存放，当监控中心端请求沉降数据时，数据采集终端解压沉降数据并传输至监控中心端。

本发明技术方案的进一步改进在于：步骤S4中阈值设定方式为设定为稳定值的误差百分比，数据的稳定区间为[稳定值×(1-阈值)，稳定值×(1+阈值)]。

本发明技术方案的进一步改进在于：步骤S4中阈值设定方式为设定为固定值，数据的稳定区间为[下限值，上限值]，下限值＜稳定值＜上限值。

本发明技术方案的进一步改进在于：步骤S5中将每次数据采集终端采集并解析的实时数据与数据的稳定区间进行比对，如果实测值在稳定区间内，则降低上报频率，当实测值超出稳定区间时与中心端通讯，进行数据传输。

本发明技术方案的进一步改进在于：稳定值获取的具体步骤如下：

Q1、设定高斯模型初始参数，学习率和匹配阈值，初始参数为 学习率τ即为采集终端与现场设备的通讯频率，实测数据的高斯模型匹配阈值为ε，最大高斯模型数k；

Q2、通讯建立成功采集终端与现场设备进行数据通讯，对采集的数据项建立高斯模型，初始参数为学习率τ，高斯模型匹配阈值为ε；

Q3、在后续的通讯过程中，以新的实测值α更新高斯模型，更新策略如下：

(1)若σ×ε＞|μ-α|，则更新高斯参数：

令ρ＝τ/p，

p＝(1-τ)×p+τ，

μ＝(1-ρ)×μ+α×ρ，

σ²＝(1-ρ)×σ²+ρ×(μ-α)²，

(2)若σ×ε＜|μ-α|，以当前实测值新建高斯模型

Q4、对所有的高斯模型依据p进行从大到小排序，最大保留k个高斯模型，将多余的模型删除；

Q5、p最大的高斯模型的μ值即为稳定值。

由于采用了上述技术方案，本申请取得的技术效果如下：

本申请一种基于高阶高斯混合模型的远程实时监控数据处理方法，采用新的数据采集终端与传统的数据采集终端相比，在远端设备较多的应用场景下，能够明显节约监控中心端的设备性能和网络带宽，通过有效控制数据采集终端与监控中心端的数据通讯频率，降低数据采集终端与监控中心端的通讯带宽和计算机性能依赖。

附图说明

图1是本发明基于高阶高斯混合模型的远程实时监控数据处理方法的流程图；

图2是实时监控系统的示意图；

其中，1、远端设备，2、数据采集终端，3、监控中心端。

具体实施方式

下面结合具体实施方式对本发明技术方案进行详细说明。

监控系统为远端设备1和数据采集终端2有线连接，监控中心端3和数据采集终端无线连接。

一种基于高阶高斯混合模型的远程实时监控数据处理方法，包括以下步骤：

S1、数据采集，远端设备1进行实时数据采集，数据采集终端2以固定频率对远端设备的实时数据进行采集和解析；

S2、数据采集终端在本地按照设定的时间间隔对实时数据进行数据沉降存储；存储的沉降数据以压缩格式存放。

S3、所述数据采集终端的数据采集器设置有嵌入式内核，搭建高阶高斯混合模型GMM学习机，GMM学习机对远端设备数据进行学习获得各数据项的稳定值；

S4、设定阈值，根据数据的稳定值和设定的阈值确定数据的稳定区间；

S5、将每次数据采集终端采集并解析的实时数据与数据的稳定区间进行比对，判断当前采集的实时数据是否发送到监控中心端3。

当监控中心端3请求沉降数据时，数据采集终端2解压沉降数据并传输至监控中心端。

步骤S4中阈值设定方式阈值设定有两种方式：

1、设定稳定值的百分比，例如20，即数据的稳定区间为[稳定值×(1-0.2)，稳定值×(1+0.2)]，超出这个区间就上传数据，否则在本地存储。

2、设定上下限固定值，即数据的稳定区间为[下限值，上限值]，超出这个区间就上传数据，否则在本地存储，下限值＜稳定值＜上限值。

步骤S3中数据的稳定值作为数据采集终端与监控中心端数据通讯频率控制的依据，如果实测值在稳定区间内，则降低上报频率(例如每5分钟上报一次)甚至不上报；当实测值超出稳定区间时才会与监控中心端通讯，由于设备正常时大部分时间处于稳定状态，有了稳定区间的限制，数据采集终端与监控中心端数据通讯频率大大降低。

步骤S3中基于高阶高斯混合模型的数据稳定值获取。

一、高斯分布

设x为n维列向量，μ为期望，σ²为方差，则：

二、高斯混合模型

设x＝{x₁，...，x_j，...，x_n}，是几个观测样本，并且各个样本之间是独立的，它们服从K阶高斯混合分布，标记为(w₁，w₂，...，wj，...，w_k)，其密度函数为：

其中/>

p_i是先验概率密度，满足p_i＞0，高斯模型参数θ_i＝(μ_i，σ_i)，这里μ_i，σ_i分别为w_i阶实时数据的均值和标准差。

设w_i的先验概率密度为则样本x＝{x₁，...，x_j，...，x_n}的数据分布的混合概率密度函数为：

其中/>是混合模型的高斯参数，/>是对应的高斯分布的先验概率。

三、利用高斯混合模型进行设备稳定值估计

为了对设备稳定值进行估计，要确定各个高斯分量的参数设P＝(p₁，p₂，...，p_k)，此时p最大高斯混合分量所对应的均值即为设备稳定值，即：/>设计以下步骤进行高斯分量的参数估计。

1)设定高斯分量参数初始值学习/遗忘率为τ，参数匹配阈值为ε。

2)针对设备数据的测量值x＝{x₁，...，x_j，...，x_n}，若(x-μ)＜σ*ε，则：

p＝p*(1-τ)+τ，

3)设备测量值的稳定值

四、稳定值获取的具体步骤如下：

Q1、设定高斯模型初始参数，学习率和匹配阈值。初始参数为 学习率τ即为采集终端与现场设备的通讯频率。实测数据的高斯模型匹配阈值为ε。最大高斯模型数k。

Q2、通讯建立成功采集终端与现场设备进行数据通讯，对采集的数据项建立高斯模型，初始参数为学习率τ，高斯模型匹配阈值为ε。

Q3、在后续的通讯过程中，以新的实测值α更新高斯模型，更新策略如下：

(1)若σ×ε＞|μ-α|，则更新高斯参数：

令ρ＝τ/p，

p＝(1-τ)×p+τ，

μ＝(1-ρ)×μ+α×ρ，

σ²＝(1-ρ)×σ²+ρ×(μ-α)²，

(2)否则，以当前实测值新建高斯模型

Q4、对所有的高斯模型依据p进行从大到小排序。最大保留k个高斯模型，将多余的模型删除。

Q5、p最大的高斯模型的μ值即为稳定值。

本申请一种基于高阶高斯混合模型的远程实时监控数据处理方法，采用了新的基于高阶高斯混合模型数据沉降技术的边缘数据采集终端，新的数据采集终端在与远端设备通讯过程中，对采集的数据基于高阶高斯混合模型进行深度学习，识别设备各数据项的稳定值，仅当采集的远端设备的数据与数据项的稳定值大于设定阈值时，才激活与监控中心端的数据通讯。在数据稳定的情况下，虽然没有将数据传输至监控中心端，但新数据采集终端在本地沉降保存了远端设备的高密度数据，在必要的时候，监控中心端可以向新数据采集终端发送指令，获取远端设备的高密度数据。实验证明，采用新的数据采集终端与传统的数据采集终端相比，在远端设备较多的应用场景下，能够明显节约监控中心端的设备性能和网络带宽。

Claims (5)

1.一种基于高阶高斯混合模型的远程实时监控数据处理方法，其特征在于包括以下步骤：

S1、数据采集，远端设备进行实时数据采集，数据采集终端以固定频率对远端设备的实时数据进行采集和解析；

S2、数据采集终端按照设定的时间间隔对实时数据进行数据沉降存储；

S3、所述数据采集终端的数据采集器设置有嵌入式内核，搭建高阶高斯混合模型GMM学习机，GMM学习机对远端设备数据进行学习获得各数据项的稳定值；

S4、设定阈值，根据数据的稳定值和设定的阈值确定数据的稳定区间；

S5、将每次数据采集终端采集并解析的实时数据与数据的稳定区间进行比对，判断当前采集的实时数据是否发送到监控中心端；

所述稳定值获取的具体步骤如下：

Q1、设定高斯模型初始参数，学习率和匹配阈值，初始参数为θ＝(p,μ,σ²)，学习率τ即为采集终端与现场设备的通讯频率，实测数据的高斯模型匹配阈值为ε，最大高斯模型数k；

Q2、通讯建立成功采集终端与现场设备进行数据通讯，对采集的数据项建立高斯模型，初始参数为θ＝(p,μ,σ²)，学习率τ，高斯模型匹配阈值为ε；

Q3、在后续的通讯过程中，以新的实测值α更新高斯模型，更新策略如下：

(1)若σ×ε＞|μ-α|，则更新高斯参数：

令ρ＝τ/p，

p＝(1-τ)×p+τ，

μ＝(1-ρ)×μ+α×ρ，

σ²＝(1-ρ)×σ²+ρ×(μ-α)²，

(2)若σ×ε＜|μ-α|，以当前实测值新建高斯模型

θ＝(p,μ,σ²)；

Q4、对所有的高斯模型依据p进行从大到小排序，最大保留k个高斯模型，将多余的模型删除；

Q5、p最大的高斯模型的μ值即为稳定值。

2.根据权利要求1所述的一种基于高阶高斯混合模型的远程实时监控数据处理方法，其特征在于：步骤S2中的沉降数据以压缩格式存放，当监控中心端请求沉降数据时，数据采集终端解压沉降数据并传输至监控中心端。

3.根据权利要求1所述的一种基于高阶高斯混合模型的远程实时监控数据处理方法，其特征在于：步骤S4中阈值设定方式为设定为稳定值的误差百分比，则数据的稳定区间为[稳定值×(1-阈值)，稳定值×(1+阈值)]。

4.根据权利要求1所述的一种基于高阶高斯混合模型的远程实时监控数据处理方法，其特征在于：步骤S4中阈值设定方式为设定为固定值，则数据的稳定区间为[下限值，上限值]，下限值＜稳定值＜上限值。

5.根据权利要求1所述的一种基于高阶高斯混合模型的远程实时监控数据处理方法，其特征在于：步骤S5中将每次数据采集终端采集并解析的实时数据与数据的稳定区间进行比对，如果实测值在稳

定区间内，则降低上报频率，当实测值超出稳定区间时与中心端通讯，

进行数据传输。