CN113114266A - 一种综合监控系统实时数据化简压缩方法 - Google Patents

Abstract

本发明公开了一种综合监控系统实时数据化简压缩方法，本方案对实时数据进行变量分类处理、数据缓存区构建处理、缓存区数据化简处理、缓存区数据表压缩处理中一种或多种处理；本方案可适合于综合监控中设备种类多、数量多、数据特征多样的数据压缩场景，能够可根据不同数据特征选择对应最优的压缩方案。本方案可用于城市地下综合管廊运维系统和建筑智能化运维管理系统。

Description

一种综合监控系统实时数据化简压缩方法

技术领域

本发明涉及数据处理技术，具体涉及数据化简压缩技术。

背景技术

综合监控系统是主要应用于城市综合管廊运维系统和建筑智能化系统的监控，地下综合管廊即在城市地下建造一个隧道空间，将电力、通信、燃气、供热和给排水等各种工程管线集于一体，为人们的日常生活提供保障；建筑智能化是大型建筑实现智能化的运行维护，如展馆、大型酒店、建筑大楼等需要实时监控管理，需要建设综合监控系统对其进行监控以确保系统稳定运行。

由于综合监控的项目规模较大，包括排水泵、风机、照明、井盖、出入口控制器、综合气体检测仪、温湿度检测仪、液位检测仪、供配电系统设备、通风空调设备、热水、蒸汽供给设备等，多种类型的大量设备监控需求导致监控系统实时数据存储需求迅速增加，如何在满足监控需求的前提下，压缩数据存储空间以降低运营成本成为重要课题。数据压缩技术包括通用压缩技术和专用领域的压缩技术。通用压缩技术典型算法包括PPM算法、BWT算法和LZ算法，通常以计算机存储的最小单位“字节”为单元进行压缩处理，而不管数据本身的特质。专用压缩技术针对相关技术领域，如多媒体压缩技术、过程数据压缩技术等，这些技术充分利用特定领域的数据特征以实现更高效的压缩。

专利号：CN200510115119.4的中国发明专利公开了一种实时数据压缩方法，该方案将过程控制系统的数据分为数值、时间标签和质量码三类，基于LZW算法实现无损压缩。

专利号：CN201811508645.0的中国发明专利公开了一种高维时序数据压缩存储方法，其提出一种对高维数据采用区间合并以减少数据存储量的方法。

然而众所周知，大型系统监控场景中的设备种类多，数量多，不同设备的实时数据特征存在差异，难以使用一种压缩方法获得最佳数据压缩性能；同时，不同类型设备的监控需求对于有损压缩和无损压缩也有区别。

发明内容

针对大型系统监控场景中设备种类多，数量多，不同设备实时数据特征存在差异，从而难以使用某种压缩方法获得最佳数据压缩性能的问题，本发明的目的在于提出综合监控系统实时数据化简压缩方法，能够有效的满足综合监控要求并压缩存储空间。

为了达到上述目的，本发明提供的综合监控系统实时数据化简压缩方法，所述化简压缩方法对实时数据进行变量分类处理、数据缓存区构建处理、缓存区数据化简处理、缓存区数据表压缩处理中一种或多种处理；

变量分类处理，将需要监控并存储数据的变量进行汇总，并依据数据采集频率进行分类，得到多个变量子集，每个变量子集中的变量采集频率相同；

数据缓存区构建处理，将经变量分类处理得到的每个变量子集建立一个具有一定容量的缓存区数据表，用于缓存变量的实时数据，每个变量对应数据表的一个属性，每个数据表还包含一个时间标签属性；

缓存区数据化简处理，将采集到的变量实时数据存储到该变量所属子集对应的缓存区数据表中，并可利用其它变量已有的相同时间标签，达到数据化简存储的目的。

缓存区数据表压缩处理，根据每个变量值的数据特征，选取一个适合的压缩方法，当缓存区某个数据表的实时数据存储达到规定的容量时，即对该数据表的每一列进行压缩处理。

进一步地，所述变量分类处理过程包括：

(1)构造变量集合：针对综合监控系统，将需要监控并存储数据的变量汇总为集合A＝{x₁,x₂,x₃,…,x_n}；

(2)划分变量子集：

输入：变量集合A＝{x₁,x₂,x₃,…,x_n}

输出：变量子集A1,A2,…；

step1令k＝1，k是一个子集编号的索引，令，变量子集Ak＝{x₁}，并将x₁从A中移除，转step2；

step2：若A非空，遍历集合A中的每个变量，若其数据采集频率与Ak中的变量采集频率相同，则将其从A中移除，并加入Ak，转step3；

step3：若A非空，令k＝k+1，从A中移除一个变量，并加入Ak，返回step2。若A为空，划分结束。

进一步地，所述数据缓存区构建过程包括：

(1)对于变量子集Ak，对每个变量进行数据采集，采集的数据包括时间标签和变量值；

(2)对于变量子集Ak，建立一个实时数据缓存区Buffer_Ak，存储p+1列×m行的数据表，记Ak中的变量个数为p，m为该缓存区的长度。

(3)建立Buffer_Ak与Ak中变量的对应关系，其中第一列为时间标签，第2列到第p+1列分别对应Ak中的一个变量。

进一步地，所述缓存区数据化简处理过程包括：

Step1：对于变量子集Ak中的变量Varible_temp，将采集的数据中时间标签与数值进行分解，记为Time_temp和Value_temp；

Step2：将Time_temp与缓存区Buffer_Ak中第一列的每个时间标签进行比较：若Buffer_Ak若存在相同的时间标签，则将Value_temp存储到该时间标签所对应的行与该变量所对应的列确定的数据表的位置上；否则转step3；

Step3：记Buffer_Ak中时间标签的行数为row_time，若row_time<m，m为缓存区Buffer_Ak的数据表长度，则将Time_temp存储到row_time+1行与第1列确定的数据表的位置上；将Value_temp存储到row_time+1行与该变量所对应的列确定的数据表的位置上；否则转step4

Step4：采用缓存区数据表压缩方法对第1行到第m的数据进行压缩，将Value_temp存储到第1行与该变量所对应的列确定的数据表的位置上。

进一步地，所述缓存区数据表压缩处理过程，包括：

(1)针对变量子集Ak中p个变量的不同数据特征和管控需求，为每个变量选择一个压缩方法；

(2)对Ak的缓存区数据表Buffer_Ak的每一列，使用选好的压缩方法进行压缩。

本发明提供的方案通过数据缓存区和数据化简，可将时间标签进行一次化简，节省了存储空间，并可根据不同数据特征选择不同的压缩方法，将变量值进行二次压缩，再次节省了存储空间。

本方案通过一次化简、二次压缩，节省存储空间，在具体应用时，能够很好的适用于综合监控中设备种类多、数量多、数据特征多样的数据压缩场景。

本方案具体可用于城市地下综合管廊运维系统和建筑智能化运维管理系统。

附图说明

以下结合附图和具体实施方式来进一步说明本发明。

图1为本实例中进行综合监控系统实时数据化简压缩的流程实例图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

本方案针对综合监控场景中的设备种类多，数量多，不同设备的实时数据特征存在差异的情况，给出一种综合监控系统实时数据化简压缩的方案，本方案通过数据缓存区和数据化简，以将时间标签进行一次化简，并可根据不同数据特征选择不同的压缩，由此实现对多种设备的不同种类的大量数据进行实时的化简压缩。

具体的，本综合监控系统实时数据化简压缩方案可对实时数据进行变量分类处理、数据缓存区构建处理、缓存区数据化简处理、缓存区数据表压缩处理中一种或多种处理；

变量分类处理过程，用于将需要监控并存储数据的变量进行汇总，并依据数据采集频率进行分类，得到多个变量子集，每个变量子集中的变量采集频率相同。

数据缓存区构建处理过程，用于将经过变量分类处理处理得到的每个变量子集建立一个具有一定容量的缓存区数据表，用于缓存变量的实时数据，每个变量对应数据表的一个属性，每个数据表还包含一个时间标签属性。

缓存区数据化简处理过程，用于将采集到的变量实时数据存储到该变量所属子集对应的缓存区数据表中，并可利用其它变量已有的相同时间标签，达到数据化简存储的目的。

缓存区数据表压缩处理过程，用于根据每个变量值的数据特征，选取一个适合的压缩方法，当缓存区某个数据表的实时数据存储达到规定的容量时，即对该数据表的每一列进行压缩处理。

由上可见，本实时数据化简压缩方案通过上述四个处理过程相互配合，通过变量分类处理过程将变量集合划分为多个变量子集，其中每个变量子集中变量的采集频率相同；通过缓存区构建过程可为变量分类处理得到的变量子集构建缓存数据表，并为缓存区数据化简建立基础；通过缓存区数据化简将采集的实时数据存储到缓存区对应的数据表，同时可对时间标签数据进行化简存储。当缓存区某个数据表达到数据表容量时，即调用缓存区数据表压缩处理过程，将该数据表进行压缩处理。

针对上述实现原理，以下通过具体实现方案来说明一下本方案的实现过程。

作为举例，在具体实现时，本方案中的变量分类处理的过程，具体可包括如下步骤：

(1)构造变量集合：针对综合监控系统，将需要监控并存储数据的变量汇总为集合A＝{x₁,x₂,x₃,…,x_n}；

(2)划分变量子集：

输入：变量集合A＝{x₁,x₂,x₃,…,x_n}

输出：变量子集A1,A2,…。

这里通过如下三步骤可以将变量集合A划分为多个子集，使得每个子集的变量的采集频率都相同。

step1令k＝1，这里的k为一个子集编号的索引，如A1,A2都是A的变量子集；令，Ak＝{x₁}，Ak为变量子集，并将x₁从A中移除，转step2；

step2：若A非空，遍历集合A中的每个变量，若其数据采集频率与Ak中的变量采集频率相同，则将其从A中移除，并加入Ak，转step3；

step3：若A非空，令k＝k+1，从A中移除一个变量，并加入Ak，返回step2。若A为空，划分结束。

如此变量分类处理过程可获得的变量子集，可作为数据缓存区数据表构建的属性。

进一步地，基于上述的变量分类处理方案，本方案中的数据缓存区构建的过程，具体可包括如下步骤：

(1)对于由变量分类处理所形成的变量子集Ak，对每个变量进行数据采集，采集的数据包括时间标签和变量值；

(2)对于变量子集Ak，建立一个实时数据缓存区Buffer_Ak，存储p+1列×m行的数据表，记Ak中的变量个数为p，m为该缓存区的长度。

(3)建立Buffer_Ak与Ak中变量的对应关系，其中第一列为时间标签，第2列到第p+1列分别对应Ak中的一个变量。

如此缓存区构建过程可得到的各个数据表为实时数据的存储和化简提供了基础。

进一步地，基于上述的数据缓存区构建方案，本方案中的缓存区数据化简处理过程，具体可包括如下步骤：

Step1：对于变量子集Ak中的变量Varible_temp，将采集的数据中时间标签与数值进行分解，记为Time_temp和Value_temp；

Step2：将Time_temp与数据缓存区构建过程中所建立的缓存区Buffer_Ak中第一列的每个时间标签进行比较：若Buffer_Ak若存在相同的时间标签，则将Value_temp存储到该时间标签所对应的行与该变量所对应的列确定的数据表的位置上；否则转step3；

Step3：记Buffer_Ak中时间标签的行数为row_time，若row_time<m，m指缓存区Buffer_Ak的数据表长度，则将Time_temp存储到row_time+1行与第1列确定的数据表的位置上；将Value_temp存储到row_time+1行与该变量所对应的列确定的数据表的位置上；否则转step4；

Step4：采用缓存区数据表压缩方法对第1行到第m的数据进行压缩，将Value_temp存储到第1行与该变量所对应的列确定的数据表的位置上。

据此缓存区数据化简过程可将时间标签进行了一次化简，节省了存储空间。并在数据表达到容量时调用缓存区数据表压缩处理，对数据表的各个变量值进行压缩。

进一步地，基于上述的缓存区数据化简处理方案，本方案中的缓存区数据表压缩处理的过程，可包括如下步骤：

(1)针对Ak中p个变量的不同数据特征和管控需求，为每个变量选择一个压缩方法；

(2)对Ak的缓存区数据表Buffer_Ak的每一列，使用选好的压缩方法进行压缩。

据此缓存区数据表压缩处理过程，可根据变量数据特征选择适合的压缩方法，实现缓存区数据表的二次压缩，进一步节省存储空间。

针对本方案，下面通过实施例来具体说明本方案的实施过程。

参见图1，本方案在具体实施时，首先进行变量分类处理，整个处理过程如下：

(1)构造变量集合：对综合监控系统，将需要监控并存储数据的变量汇总为集合A＝{x₁,x₂,x₃,…,x_n}

(2)划分变量子集：

输入：变量集合A＝{x₁,x₂,x₃,…,x_n}

输出：变量子集A1,A2,…

step1令k＝1，令,Ak＝{x₁}，并将x₁从A中移除，转step2。

step2若A非空，遍历集合A中的每个变量，若其数据采集频率与Ak中的变量采集频率相同，则将其从A中移除，并加入Ak，转step3。

step3若A非空，令k＝k+1，从A中移除一个变量，并加入Ak，返回step2。若A为空，划分结束。

在完成变量分类处理后，将进行数据缓存区构建。

这里以采集频率为1的包含5个温度值的变量子集A_温度为例，据此进行数据缓存区构建的过程如下：

(1)对于变量子集A_温度，对每个变量进行数据采集，采集的数据包括时间标签和变量值；

(2)对于变量子集A_温度，建立一个实时数据缓存区Buffer_A_温度，存储6列×100行的数据表，100为该缓存区的长度。

(3)建立Buffer_A_温度与A_温度中变量的对应关系，其中第一列为时间标签，第2列到第6列分别对应A_温度中的一个变量。

在完成数据缓存区构建后，将进行缓存区数据化简处理。

这里同样以上述变量子集A_温度为例，其进行缓存区数据化简处理的过程如下：

Step1：对于变量子集A_温度中的变量Varible_temp，将采集的数据中时间标签与数值进行分解，记为Time_temp和Value_temp。

Step2：将Time_temp与缓存区Buffer_A_温度中第一列的每个时间标签进行比较。若Buffer_A_温度若存在相同的时间标签，则将Value_temp存储到该时间标签所对应的行与该变量所对应的列确定的数据表的位置上；否则转step3。

Step3：记Buffer_A_温度中时间标签的行数为row_time，若row_time<100，则将Time_temp存储到row_time+1行与第1列确定的数据表的位置上。将Value_temp存储到row_time+1行与该变量所对应的列确定的数据表的位置上；否则转step4。

Step4：采用缓存区数据表压缩方法对第1行到第100的数据进行压缩，将Value_temp存储到第1行与该变量所对应的列确定的数据表的位置上。

最后进行缓存区数据表压缩。这里同样以上述变量子集A_温度为例，据此进行缓存区数据表压缩的过程如下：

(1)针对A_温度中5个变量的不同数据特征和管控需求，为5个温度值选择行程压缩方法(run-length encoding)。

(2)对A_温度的缓存区数据表Buffer_A_温度的每一列，使用选好的压缩方法进行压缩。如第2列的100个数据为连续58个35和连续42个36，则数据压缩后编码为(35,58),(36,42)。

由上可知，本方案可适合于综合监控中设备种类多、数量多、数据特征多样的数据压缩场景，能够可根据不同数据特征选择对应最优的压缩方案。

上述本发明的方法，或特定系统单元、或其部份单元，为纯软件架构，可以透过程序代码布设于实体媒体，如硬盘、光盘片、或是任何电子装置(如智能型手机、计算机可读取的储存媒体)，当机器加载程序代码且执行(如智能型手机加载且执行)，机器成为用以实行本发明的装置。上述本发明的方法与装置亦可以程序代码型态透过一些传送媒体，如电缆、光纤、或是任何传输型态进行传送，当程序代码被机器(如智能型手机)接收、加载且执行，机器成为用以实行本发明的装置。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (5)

1.综合监控系统实时数据化简压缩方法，其特征在于，所述化简压缩方法对实时数据进行变量分类处理、数据缓存区构建处理、缓存区数据化简处理、缓存区数据表压缩处理中一种或多种处理；

变量分类处理，将需要监控并存储数据的变量进行汇总，并依据数据采集频率进行分类，得到多个变量子集，每个变量子集中的变量采集频率相同；

数据缓存区构建处理，将经变量分类处理得到的每个变量子集建立一个具有一定容量的缓存区数据表，用于缓存变量的实时数据，每个变量对应数据表的一个属性，每个数据表还包含一个时间标签属性；

缓存区数据化简处理，将采集到的变量实时数据存储到该变量所属子集对应的缓存区数据表中，并可利用其它变量已有的相同时间标签；

缓存区数据表压缩处理，根据每个变量值的数据特征，选取对应的压缩方法，当缓存区某个数据表的实时数据存储达到规定的容量时，即对该数据表的每一列进行压缩处理。

2.根据权利要求1所述的综合监控系统实时数据化简压缩方法，其特征在于，所述变量分类处理包括：

(1)构造变量集合：针对综合监控系统，将需要监控并存储数据的变量汇总为集合A＝{x₁,x₂,x₃,…,x_n}；

(2)划分变量子集：

输入：变量集合A＝{x₁,x₂,x₃,…,x_n}

输出：变量子集A1,A2,…；

step1令k＝1，k是一个子集编号的索引，令，变量子集Ak＝{x₁}，并将x₁从A中移除，转step2；

step2：若A非空，遍历集合A中的每个变量，若其数据采集频率与Ak中的变量采集频率相同，则将其从A中移除，并加入Ak，转step3；

step3：若A非空，令k＝k+1，从A中移除一个变量，并加入Ak，返回step2。若A为空，划分结束。

3.根据权利要求1所述的综合监控系统实时数据化简压缩方法，其特征在于，所述数据缓存区构建包括：

(1)对于变量子集Ak，对每个变量进行数据采集，采集的数据包括时间标签和变量值；

(2)对于变量子集Ak，建立一个实时数据缓存区Buffer_Ak，存储p+1列×m行的数据表，记Ak中的变量个数为p，m为该缓存区的长度；

(3)建立Buffer_Ak与Ak中变量的对应关系，其中第一列为时间标签，第2列到第p+1列分别对应Ak中的一个变量。

4.根据权利要求1所述的综合监控系统实时数据化简压缩方法，其特征在于，所述缓存区数据化简处理包括：

Step1：对于变量子集Ak中的变量Varible_temp，将采集的数据中时间标签与数值进行分解，记为Time_temp和Value_temp；

Step2：将Time_temp与缓存区Buffer_Ak中第一列的每个时间标签进行比较：若Buffer_Ak若存在相同的时间标签，则将Value_temp存储到该时间标签所对应的行与该变量所对应的列确定的数据表的位置上；否则转step3；

Step3：记Buffer_Ak中时间标签的行数为row_time，若row_time<m，m为缓存区Buffer_Ak的数据表长度，则将Time_temp存储到row_time+1行与第1列确定的数据表的位置上；将Value_temp存储到row_time+1行与该变量所对应的列确定的数据表的位置上；否则转step4；

Step4：采用缓存区数据表压缩方法对第1行到第m的数据进行压缩，将Value_temp存储到第1行与该变量所对应的列确定的数据表的位置上。

5.根据权利要求1所述的综合监控系统实时数据化简压缩方法，其特征在于，所述缓存区数据表压缩处理，包括：

(1)针对变量子集Ak中p个变量的不同数据特征和管控需求，为每个变量选择一个压缩方法；

(2)对Ak的缓存区数据表Buffer_Ak的每一列，使用选好的压缩方法进行压缩。

Images