CN110765369B

CN110765369B - 基于时空属性的实时监测数据处理方法和系统

Info

Publication number: CN110765369B
Application number: CN201910856032.4A
Authority: CN
Inventors: 许浒
Original assignee: Anhui Xianzhao Technology Co ltd
Current assignee: Anhui Xianzhao Technology Co ltd
Priority date: 2019-09-11
Filing date: 2019-09-11
Publication date: 2022-03-29
Anticipated expiration: 2039-09-11
Also published as: CN110765369A

Abstract

本发明提供一种基于时空属性的实时监测数据处理方法和系统，涉及实时监测数据处理领域。本发明构造出形如(Yi，Ti，Li)的三元数组数据结构，基于这种带时空属性的三元数据结构，进一步构造出二级监测数据和三级监测数据，最后用一段时间的实时监测数据和预设的规则库构造表征正常状态运行的参数区间，从而定义并识别出异常事件，按预设的规则库比对分析异常事件对应的实时监测数据和表征正常状态的参数区间的关系，得到分析结果。本发明通过将时间参数、空间参数和实时监测数据融合在一起处理，在数据处理过程中考虑实时监测数据的时间和空间属性，有利于降低实时监测系统的误报率，同时能准确深入的分析异常事件的各方面属性。

Description

基于时空属性的实时监测数据处理方法和系统

技术领域

本发明涉及实时监测数据处理技术领域，具体涉及一种基于时空属性的实时监测数据处理方法和系统。

背景技术

数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素，大数据时代已经降临。对数据的处理显得尤为重要。例如，在物联网行业实时监测技术领域的数据处理技术，实时监测系统向服务器端传输的海量数据，必须数据处理技术才能将海量的数据被转化为实时监测系统可以识别和分析的信息。

现有的对实时监测数据的处理方式一般是将监测数据Xi视为一维数组，然后通过将Xi与阈值进行比较，或者是Xi数列中临近数值取均方根值比较，又或是用某一语料维度下的词频统计去和报警阈值比较，用某一帧或顺序的若干帧图像和建立好的模型、事件帧规则库去做匹配和识别等方式来判断监测数据是否异常。

然而，本申请的发明人发现，现有物联网、互联网行业实时监测技术领域中普遍存在的数据处理忽视数据时空属性，造成了数据结构的缺失，导致在监测过程中出现误报率高的问题。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于时空属性的实时监测数据处理方法和系统，解决了现有技术中的实时监测数据处理方式误报率高的技术问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

本发明提供一种基于时空属性的实时监测数据处理方法，所述方法由计算机执行，包括以下步骤：

S1、获取实时监测数据，对所述实时监测数据进行预处理，将经过预处理的实时监测数据表示为任意一个实时监测指标/指标组/结构化信息表Yi；

S2、为每一个Yi匹配时间参数Ti和空间参数Li，得到一级监测数据，所述一级监测数据为形如(Yi，Ti，Li)的三元数组；

S3、检测所述一级监测数据中的Yi中是否存在非数值信息，若存在，则执行步骤S4，若不存在，则执行步骤S5；

S4、基于音视频深度学习算法或自然语言理解算法分析(Yi，Ti，Li)，分析输出的结果为(Yi’，Ti’，Li’)的三元数组，将(Yi’，Ti’，Li’)按预设的规则库进行比对，得到非数值信息分析结果；

S5、拟合出以Ti和Li为因变量的Yi的函数，函数表达式记为Yi(Ti，Li)，基于对函数Yi(Ti，Li)的微积分处理构造所述一级监测数据(Yi，Ti，Li)的二级监测数据；

S6、将Yi视为一个随机过程，记为Yi(Ti，Li)，基于Yi(Ti，Li)在某个Ti或Li区间内的统计指标构造所述一级监测数据(Yi，Ti，Li)的三级监测数据；

S7、将所述Yi的一级监测数据、二级监测数据、三级监测数据连续排列，构造一个关于Yi在某个Ti或Li区间内数据变化的高维向量ā；

S8、基于预设的规则库与一段向量ā随Ti、Li的变化过程监测数据，生成ā所在空间的一个表征正常状态子空间V；按预设的规则库比对向量ā在随Ti和Li实时变化过程中与V的边界的相互关系，将满足特定规则的一段向量ā随Ti、Li的变化过程定义为异常事件；

S9、将所述异常事件对应的向量ā中各元素在异常事件对应Ti、Li区间内的取值与预设的规则库进行比对，得到分析结果。

优选的，所述步骤S1中，所述预处理的方法包括：

对所述实时监测数据进行分类，得到结构化数据和非结构化数据，通过音视频数据处理技术或自然语言理解技术将所述非结构化数据转化为结构化数据。

优选的，所述二级监测数据包括：

Yi对Ti的一阶偏导、Yi对Ti的二阶偏导、Yi对Ti的不定积分Yi对Li的一阶偏导、Yi对Li的二阶偏导、Yi对Ti的不定积分、Yi对Li的不定积分、Yi对Ti和Li的二重不定积分。

优选的，在步骤S5中，通过泰勒公式的原理拟合出以Ti和Li为因变量的Yi的函数。

优选的，所述三级监测数据包括：

Yi作为随机变量在某个Ti或Li区间内的均值E(Yi)；

Yi作为随机变量在某个Ti或Li区间内的方差D(Yi)；

Yi和Zi的相关系数ρ(Yi，Zi)，Zi为与Yi具有相关性分析价值的另一个纯数值实时监测指标/指标组/结构化信息表。

优选的，所述分析结果的获取方法包括：

当异常事件需要报警时，则输出形成报警文本；

当异常事件无需报警时，则通过分类统计和显示形成预警文本。

本发明还提供一种基于时空属性的实时监测数据处理系统，所述系统包括计算机，所述计算机包括：

至少一个存储单元；

至少一个处理单元；

其中，所述至少一个存储单元中存储有至少一条指令，所述至少一条指令由所述至少一个处理单元加载并执行以实现以下步骤：

S4、基于音视频深度学习算法或自然语言理解算法分析(Yi，Ti，Li)，分析输出的结果为(Yi’，Ti’，Li’)的三元数组，将(Yi’，Ti’，Li’)按预设的规则库进行比对和分析，得到非数值信息分析结果；

(三)有益效果

本发明提供了一种基于时空属性的实时监测数据处理方法和系统。与现有技术相比，具备以下有益效果：

本发明构造出形如(Yi，Ti，Li)的三元数组数据结构，基于这种带时空属性的三元数组数据结构，进一步构造出二级监测数据和三级监测数据，最后用一段时间的实时监测数据和预设的规则库构造表征正常状态运行的参数区间，从而定义并识别出异常事件，按预设的规则库比对分析异常事件对应的实时监测数据和表征正常状态的参数区间的关系，得到分析结果。本发明通过将时间参数、空间参数和实时监测数据融合在一起处理，在数据处理过程中考虑实时监测数据的时间和空间属性，使得数据处理环节之后的分析诊断环节获得更全面的指标体系、更精确的判定方式，最终有利于降低实时监测系统的误报率，同时能准确深入的分析异常事件的各方面属性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一种基于时空属性的实时监测数据处理方法的框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例通过提供一种基于时空属性的实时监测数据处理方法和系统，解决了现有技术中的实时监测数据处理方式误报率高的问题，实现降低实时监测系统的误报率，能准确深入的分析异常事件的具体问题。

本申请实施例中的技术方案为解决上述技术问题，总体思路如下：

本发明实施例构造出形如(Yi，Ti，Li)的三元数组数据结构，基于这种带时空属性的三元数组数据结构，进一步构造出二级监测数据和三级监测数据，最后以机器学习的思路用一段时间的实时监测数据和预设的规则库构造表征正常状态运行的参数区间，从而定义并识别出异常事件，按预设的规则库比对分析异常事件对应的实时监测数据和表征正常状态的参数区间的关系，得到分析结果。本发明实施例通过将时间参数、空间参数和实时监测数据融合在一起处理，在数据处理过程中考虑实时监测数据的时间和空间属性，使得数据处理环节之后的分析诊断环节获得更全面的指标体系、更精确的判定方式，最终有利于降低实时监测系统的误报率，同时能准确深入的分析异常事件的各方面属性。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

本发明实施例提供一种基于时空属性的实时监测数据处理方法，如图1所示，上述方法由计算机执行，需要说明的是，这里的计算机为实时监测系统的数据处理端，包括步骤S1～S9：

本发明实施例通过将时间参数、空间参数和实时监测数据融合在一起处理，在数据处理过程中考虑实时监测数据的时间和空间属性，使得数据处理环节之后的分析诊断环节获得更全面的指标体系、更精确的判定方式，可以给出更细致的分析结果，最终有利于降低实时监测系统的误报率，同时能准确深入的分析异常事件的各方面属性。

下面对各个步骤进行详细描述。

在步骤S1中，获取实时监测数据，对实时监测数据进行预处理，将经过预处理的实时监测数据表示为任意一个实时监测指标/指标组/结构化信息表为Yi。具体实施过程如下：

计算机(实时监测系统的数据处理端)通过通讯模块获实时监测系统的监测端(如视频摄像头等)的实时监测数据，然后对实时监测数据进行分类，如果有非结构化数据需要采用音视频数据处理技术或自然语言理解(NLP)技术将其结构化数据，为讨论方便，将所有的结构化数据表示为任意一个实时监测指标/指标组/结构化信息表为Yi。

在步骤S2中，为每一个Yi匹配时间参数Ti和空间参数Li，得到一级监测数据，所述一级监测数据为形如(Yi，Ti，Li)的三元数组。

具体为：

每一个实时监测指标/指标组/结构化信息表Yi匹配唯一的时间参数Ti和空间参数Li，构造出一级监测数据，上述一级监测数据为形如(Yi，Ti，Li)的三元数组，对多于一个实时监测指标/指标组/结构化信息表的实时监测系统，上述三元数组数据结构事实上将构成一个三列多行的行列式。

在步骤S3中，检测一级监测数据中的Yi中是否存在非数值信息，若存在，则执行步骤S4，若不存在，则执行步骤S5。

在步骤S4中，基于音视频深度学习算法或自然语言理解算法分析(Yi，Ti，Li)，分析输出的结果为(Yi’，Ti’，Li’)的三元数组，将(Yi’，Ti’，Li’)与预设的规则库进行比对，得到非数值信息分析结果。具体为：引入常规的音视频深度学习算法或自然语言理解(NLP)算法分析Yi，此过程中将Ti和Li视为对Yi的注释，分析输出的结果为形如(Yi’，Ti’，Li’)的三元数组，以预设的规则库对形如(Yi‘，Ti’，Li‘)的三元数组按种类、时间、位置、相互关系等角度进行统计，并根据需要进行展示。得到与真实场景需求相匹配的分析结果。

在步骤S5中，拟合出以Ti和Li为因变量的Yi的函数，函数表达式记为Yi(Ti，Li)，基于函数Yi(Ti，Li)的微积分构造一级监测数据(Yi，Ti，Li)的二级监测数据。具体实施过程如下：

首先在matlab中以多项式差值法也就是泰勒公式的原理拟合出以Ti和Li为因变量Yi的函数表达式记为Yi(Ti，Li)，然后基于Yi(Ti，Li)获取二级监测数据。上述二级监测数据包括：

1)Yi对Ti的一阶偏导、2)Yi对Ti的二阶偏导、3)Yi对Li的一阶偏导、4)Yi对Li的二阶偏导、5)Yi对Ti的不定积分、6)Yi对Li的不定积分、7)Yi对Ti和Li的二重不定积分。

这7个Yi的衍生函数可以确保Yi作为一个数列，每一个三元数据结构(Yi，Ti，Li)的取值都能够同时得出7个衍生函数取值(不定积分C取0)。二级监测数据实质上是从微积分的角度考察作为数列或函数的Yi随时间、空间变化的趋势。需要说明的是，二级监测数据也可能从7个化简为3个，因为只需构造空间监测阵列的实时监测系统时间参数Ti可视为常数，只需构造时序监测体系的实时监测系统空间参数Li可视为常数。

在步骤S6中，将Yi视为一个随机过程，记为Yi(Ti，Li)，基于Yi(Ti，Li)在某个Ti或Li区间内的统计指标构造所述一级监测数据(Yi，Ti，Li)的三级监测数据。具体为：

不同指标所构成的一级监测数据之间的相关性对某些问题的分析大有作用，为讨论方便设Yi之外任意一个与Yi具备相关性分析价值的指标/指标组/结构化信息表为Zi，若Zi有非数值信息，再通过步骤S4的方法处理。此处仅讨论Zi为纯数值的情况。将Yi、Zi两个监测取样值数列视为一个随机变量，此时必有相关系数ρ(Yi，Zi)＝Cov(Yi，Zi)/Stdev(Yi)·Stdev(Zi)。基于以上分析，从统计学角度，依次取以下参数：1)E(Yi)、2)D(Yi)、3)ρ(Yi，Zi)，作为实时监测指标取样值数列Yi的三级监测数据。三级监测数据看似不考虑Ti和Li，只单纯从统计学角度考察作为随机变量的Yi的统计学性质，但事实上在进行统计学计算之前，必须先对参与计算的所有Yi、Zi按Ti、Li的某个区间进行数据清洗和去重补缺，以保证相关计算尤其是相关系数的计算误差尽量小。

在步骤S7中，将Yi的一级监测数据、二级监测数据、三级监测数据连续排列，构造一个关于Yi在某个Ti或Li区间内数据变化的高维向量ā。

在步骤S8中，基于预设的规则库与一段向量ā随Ti、Li的变化过程监测数据，生成ā所在空间的一个表征正常状态子空间V；按预设的规则库比对向量ā在随Ti和Li实时变化过程中与V的边界的相互关系，将满足特定规则的一段向量ā随Ti、Li的变化过程定义为异常事件。

需要说明的是，在本发明实施例中，通过观察ā的连续变化，调制规则库中具体规则所涉及的各种参数编写规则库。然后基于规则库定义并识别异常事件。过程如下：观察ā的连续变化，对每个维度指标在观察区间内的连续变化取中位数(50％的监测值高于此数值50％的监测值低于此数值)M、均值E、方差D，根据真实功能需求设置单位时间T，对MED三个指标每单位时间T前后的变化率分别设阈值，以确定的判断逻辑对所有MED超过阈值的情况进行判定，通过某些判定规则时，输出判定时刻的时间作为稳定状态期的起始/终止时间，从而构造出一系列该维度指标稳定状态期，对每个稳定状态期记录该维度指标的最大和最小值，以每个稳定状态期的最大和最小值构造表征每个稳定状态正常状态的子空间，当某个指标从某个正常状态子空间脱离，并在一个单位时间T内未进入任何一个状态子空间时，判定为异常事件。

在步骤S9中，将所述异常事件对应的向量ā中各元素在异常事件对应Ti、Li区间内的取值与预设的规则库进行比对，得到分析结果。

具体为：

异常事件对应Ti、Li区间内向量ā中各元素的取值与预设的规则库进行比对，可进一步输出形成形如“某位置区域Li’于某时间区域Ti’发生了异常事件Yi’，请立即采取某处理手段”的报警文本推送给用户，也可以按种类、时间、位置、相互关系等角度对异常事件相关数据进行统计，并根据需要进行展示，得到预警分析报告。

本发明实施例还提供一种基于时空属性的实时监测数据处理系统，上述系统包括计算机，上述计算机包括：

至少一个存储单元；

至少一个处理单元；

其中，上述至少一个存储单元中存储有至少一条指令，上述至少一条指令由上述至少一个处理单元加载并执行以实现以下步骤：

S4、基于音视频深度学习算法或自然语言理解算法分析(Yi，Ti，Li)，分析输出的结果为(Yi’，Ti’，Li’)的三元数组，将(Yi’，Ti’，Li’)与按预设的规则库进行比对，得到非数值信息分析结果；

可理解的是，本发明实施例提供的上述基于时空属性的实时监测数据处理系统与上述基于时空属性的实时监测数据处理方法相对应，其有关内容的解释、举例、有益效果等部分可以参考基于时空属性的实时监测数据处理方法中的相应内容，此处不再赘述。

综上所述，与现有技术相比，具备以下有益效果：

本发明实施例构造出形如(Yi，Ti，Li)的三元数组数据结构，基于这种带时空属性的三元数组数据结构，进一步构造出基于微积分的二级监测数据和基于统计学的三级监测数据，最后以机器学习的思路用一段时间的实时监测数据和预设的规则库构造表征正常状态运行的参数区间，从而定义并识别出异常事件，按预设的规则库比对分析异常事件对应的实时监测数据和表征正常状态的参数区间的关系，得到分析结果。本发明实施例通过将时间参数、空间参数和实时监测数据融合在一起处理，在数据处理过程中考虑实时监测数据的时间和空间属性，使得数据处理环节之后的分析诊断环节获得更全面的指标体系、更精确的判定方式，最终有利于降低实时监测系统的误报率，同时能准确深入的分析异常事件的各方面属性。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。