CN108759902A - 一种基于大数据的燃气管网智能监测系统 - Google Patents

Abstract

本发明提供了一种基于大数据的燃气管网智能监测系统，包括多个燃气管网监测子系统和大数据处理系统，每个燃气管网监测子系统皆连接至大数据处理系统，每个燃气管网监测子系统用于采集一个燃气管网监测区域内的多个燃气管网监测节点的燃气管网监测数据；大数据处理系统用于对采集的燃气管网监测数据进行处理分析，实现对燃气管网的实时监测。

Description

一种基于大数据的燃气管网智能监测系统

技术领域

本发明涉及燃气管网监测技术领域，具体涉及一种基于大数据的燃气管网智能监测系统。

背景技术

随着城市建设步伐的不断加快和城市规模的日益扩大，城镇燃气业务飞速发展，燃气设施管理工作也日趋复杂，燃气管网已成为经济发展的重要基础设施之一，关系到人民群众的日常生活。由于燃气管网监测点众多且分布极广，采集的数据量大、难处理、监测效果差，迫切需要实时掌握管网压力、管网流量及闸井内的积水高度等运行数据，利用大数据技术，实现广泛的数据监控、智慧的分析和决策，及时掌握城市燃气管网整体运行情况，提高城市燃气管网安全运行管理水平。

发明内容

针对上述问题，本发明提供一种基于大数据的燃气管网智能监测系统。

本发明的目的采用以下技术方案来实现：

提供了一种基于大数据的燃气管网智能监测系统，包括多个燃气管网监测子系统和大数据处理系统，每个燃气管网监测子系统皆连接至大数据处理系统，每个燃气管网监测子系统用于采集一个燃气管网监测区域内的多个燃气管网监测节点的燃气管网监测数据；大数据处理系统用于对采集的燃气管网监测数据进行处理分析，实现对燃气管网的实时监测。

优选地，大数据处理系统包括大容量数据库、数据相似分析模块，其中燃气管网监测子系统将采集的燃气管网监测数据发送至大容量数据库进行存储，以建立存储有大量燃气管网监测数据的数据量；数据相似分析模块用于对存储在大容量数据库中的燃气管网监测数据进行相似连接，找出相似度值大于设定阈值的两个燃气管网监测数据作为相似燃气管网监测数据对，并将找出的相似燃气管网监测数据对发送到大容量数据库中进行存储。

优选地，燃气管网监测子系统包括设置在燃气管网监测节点上的传感器节点。

优选地，所述的传感器节点包括无线芯片和传感器，无线芯片与传感器信号连接，所述传感器为压力传感器、气体传感器或水位传感器的一种或多种。

本发明的有益效果为：基于大数据处理技术将众多传感器节点采集的数据进行汇总并统一分析处理，可进行数据分析利用，提高对燃气管网的监测能力，智能便捷，节省人力；有利于监控人员及时掌握城市燃气管网整体运行情况，提高城市燃气管网安全运行管理水平。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1是本发明一个示例性实施例的燃气管网智能监测系统的结构示意框图；

图2是本发明一个示例性实施例的大数据处理系统的结构示意框图。

附图标记：

燃气管网监测子系统1、大数据处理系统2、大容量数据库10、数据相似分析模块20。

具体实施方式

结合以下实施例对本发明作进一步描述。

参见图1，本实施例提供的一种基于大数据的燃气管网智能监测系统，包括多个燃气管网监测子系统1和大数据处理系统2，每个燃气管网监测子系统1皆连接至大数据处理系统2，每个燃气管网监测子系统1用于采集一个燃气管网监测区域内的多个燃气管网监测节点的燃气管网监测数据；大数据处理系统2用于对采集的燃气管网监测数据进行处理分析，实现对燃气管网的实时监测。

如图2所示，大数据处理系统2包括大容量数据库10、数据相似分析模块20，其中燃气管网监测子系统1将采集的燃气管网监测数据发送至大容量数据库10进行存储，以建立存储有大量燃气管网监测数据的数据量；数据相似分析模块20用于对存储在大容量数据库10中的燃气管网监测数据进行相似连接，找出相似度值大于设定阈值的两个燃气管网监测数据作为相似燃气管网监测数据对，并将找出的相似燃气管网监测数据对发送到大容量数据库10中进行存储。

在一个实施例中，燃气管网监测子系统1包括设置在燃气管网监测节点上的传感器节点。

在一种可选的方式中，所述的传感器节点包括无线芯片和传感器，无线芯片与传感器信号连接，所述传感器为压力传感器、气体传感器或水位传感器的一种或多种。

本发明上述实施例基于大数据处理技术将众多传感器节点采集的数据进行汇总并统一分析处理，可进行数据分析利用，提高对燃气管网的监测能力，智能便捷，节省人力；对变压器室内的环境进行实时监测，保障了变压器的可靠运行，燃气管网监测数据通过无线方式进行传输，减少了布线的麻烦。

在一个实施例中，所述对存储在大容量数据库10中的燃气管网监测数据进行相似连接，具体包括：

(1)随机提取所述大容量数据库10中的一段燃气管网监测数据，并按照燃气管网监测数据的采集时间顺序构建时间序列，从时间序列中选择多个参考点，基于选择的参考点，针对时间序列中的燃气管网监测数据建立基于距离树的数据索引结构，利用数据索引结构生成MapReduce的数据分区方案；

(2)将参考节点集合、数据索引结构以及MapReduce的数据分区方案信息作为全局变量，利用MapReduce任务对存在相似性的燃气管网监测数据进行精确计算，得到时间序列中所有满足相似度值大于设定阈值的燃气管网监测数据对。

参考点的选择影响到对燃气管网监测数据进行数据相似性分析的性能，一个好的参考点集合可以将时间序列进行较为恰当的分割。在一个实施例中，数据相似分析模块20从时间序列中选择多个参考点时，具体执行：

(1)随机从时间序列中选择一个燃气管网监测数据，并在时间序列中找到距离该燃气管网监测数据最远的燃气管网监测数据，设为r₁，并将r₁设置为第一个参考点，找出离r₁距离最远的燃气管网监测数据，设为r₂，并将r₂设置为第二个参考点；

(2)利用已经选择的参考点，针对每个未被选为参考点的燃气管网监测数据a_i，按照下列公式计算距离差权值，并选择最小距离差权值的燃气管网监测数据作为下一个参考点：

式中，表示未被选为参考点的燃气管网监测数据a_i的距离差权值，Q(r₁,r₂)表示参考点r₁,r₂之间的距离，Q(r_k,a_i)表示燃气管网监测数据a_i与已经选择的参考点r_k之间的距离，Ω表示已经选择的参考点集合；

(3)重复(2)直至选出设定数量的参考点，归入参考点序列集。

本实施例设定了参考点的选取机制，通过该选取机制，能够使得时间序列的离群值具有更大的概率成为参考点，且使得选取的参考点之间的距离较远，从而使得选取到的参考点集合能够较好地对时间序列进行分割，有利于优化对燃气管网监测数据进行数据相似性分析的性能。

在一个实施例中，针对时间序列中的燃气管网监测数据建立基于距离树的数据索引结构，具体包括：

(1)初始化距离树，构建树的根结点，将参考点序列集中的第一个参考点r₁作为该根结点对应的参考点，并设置根结点的所属层次为0，位置P＝0，个数m＝0；

(2)利用第一个参考点对根结点进行划分，生成属于根结点的子结点的多个叶结点，其中每个叶结点包含所属层次、其内部的燃气管网监测数据数量以及位置信息三个属性，其中位置信息表明该叶结点距离其父结点对应的参考点的距离和设定的距离阈值L的倍数关系；

进行燃气管网监测数据插入，通过逐个插入的方式构建距离树，插入燃气管网监测数据的过程就是把每个燃气管网监测数据分发到对应的叶结点的过程；

其中，分发到叶结点α内部的燃气管网监测数据满足与其父结点对应的参考点的距离在区间[(P_α-1)×L,P_α×L)内，其中P_α为叶结点α的位置信息，且叶结点α内部存放的燃气管网监测数据量小于设定的最大容量；

其中，设要分发的燃气管网监测数据集为{a₁,a₂,..,a_n}，则设置的区间数量为：

式中，Q(a_a,r_r)为燃气管网监测数据a_a与父结点对应的参考点r的距离；

(3)若叶结点存放的燃气管网监测数据量到达设定的最大容量，从参考点序列集中选取新的参考点对该叶结点进行划分，生成相应的子结点，将该叶结点中的多余燃气管网监测数据分发到其子结点中，重复该过程，直至所有的叶结点或者子结点包含的燃气管网监测数据数量都小于设定的最大容量。

相关技术中采用基于磁盘的相似性连接算法或者暴力算法对燃气管网监测数据进行相似连接，基于磁盘的相似性连接算法在内存连接计算方面缺乏有效性和可扩展性。暴力算法，也就是对数据集中任意两条数据记录进行比较，计算成本会随着数据个数指数性增长，问题的关键是暴力算法对于现实数据是不可行的。在过去的二十几年的相关研究中，实验证明在相似性连接过程中采用一些剪枝策略是一个可行的办法。本实施例采用基于距离树的数据索引结构对燃气管网监测数据进行相似连接。

采用本实施例的方式对燃气管网监测数据进行相似连接，可以剪枝不必要的燃气管网监测数据对比较，降低燃气管网监测数据相似计算的冗余花费，节省燃气管网智能监测系统的数据计算成本。其中根据与参考点的最大距离设定了区间数量的计算公式，有利于构建合理的距离树，从而为后续的数据分区奠定良好的基础。

在一个实施例中，所述的利用数据索引结构生成MapReduce的数据分区方案，具体包括：

(1)根据基于距离树的数据索引结构创建一个图X(B,E)，顶点B的集合是距离树的所有叶结点，边E的集合是不能被剪枝原则剪枝的结点对，每个顶点有一个与其自身相连的边，设置顶点b的权重g(b)是对应叶结点的燃气管网监测数据量，边e的权重g(e)等于其上两个顶点的权重的乘积；

(2)将X(B,E)分成两个子图X(B,E)₁、X(B,E)₂，划分后的两个子图X(B,E)₁、X(B,E)₂需满足下列均衡度条件：

式中，θ为设定的均衡度阈值，

(3)将子图X(B,E)₁、X(B,E)₂添加到一个优先队列中，优先队列中的子图按照代价进行降序排列；

其中子图X(B,E)_i的代价的计算公式为：

(4)在下一轮的迭代中，从优先队列中选出排在最前面的子图，将其随机分成两个顶点个数相同的子图，并将分成的子图添加值优先队列，重复该过程直至优先队列中排在最前面的子图的代价满足小于设定的代价阈值时，输出最终的分区方案，将其作为成MapReduce的数据分区方案。

其中，所述的剪枝原则为：

给定在H1层和H2层的两个叶结点α₁和α₂，假设H1≥H2；从根结点到α₁和α₂经过的叶结点的位置序列分别为{w₁，w₂，...，w_H1}和{λ₁，λ₂，...，λ_H2}。如果对于任意的t≤H2，都有w_t+2<λ_t或者w_t>λ_t+2，则α₁中的任何燃气管网监测数据和α₂中的任何燃气管网监测数据之间的距离大于L。

本实施例基于图分区将存在相似性的燃气管网监测数据尽可能地分布在同一个分区，能够尽可能地减少分区间的燃气管网监测数据交换和副本量，其中在进行分区时设定要满足均衡度条件以及代价条件，有利于在Reduce任务中，在确保负载均衡的情况下最小化燃气管网监测数据传输成本和冗余。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (6)

1.一种基于大数据的燃气管网智能监测系统，其特征是，包括多个燃气管网监测子系统和大数据处理系统，每个燃气管网监测子系统皆连接至大数据处理系统，每个燃气管网监测子系统用于采集一个燃气管网监测区域内的多个燃气管网监测节点的燃气管网监测数据；大数据处理系统用于对采集的燃气管网监测数据进行处理分析，实现对燃气管网的实时监测；大数据处理系统包括大容量数据库、数据相似分析模块，其中燃气管网监测子系统将采集的燃气管网监测数据发送至大容量数据库进行存储，以建立存储有大量燃气管网监测数据的数据量；数据相似分析模块用于对存储在大容量数据库中的燃气管网监测数据进行相似连接，找出相似度值大于设定阈值的两个燃气管网监测数据作为相似燃气管网监测数据对，并将找出的相似燃气管网监测数据对发送到大容量数据库中进行存储。

2.根据权利要求1所述的一种基于大数据的燃气管网智能监测系统，其特征是，燃气管网监测子系统包括设置在燃气管网监测节点上的传感器节点。

3.根据权利要求2所述的一种基于大数据的燃气管网智能监测系统，其特征是，所述的传感器节点包括无线芯片和传感器，无线芯片与传感器信号连接。

4.根据权利要求3所述的一种基于大数据的燃气管网智能监测系统，其特征是，所述传感器为压力传感器、气体传感器或水位传感器的一种或多种。

5.根据权利要求1-4任一项所述的一种基于大数据的燃气管网智能监测系统，其特征是，所述对存储在大容量数据库中的燃气管网监测数据进行相似连接，具体包括：

(1)随机提取所述大容量数据库中的一段燃气管网监测数据，并按照燃气管网监测数据的采集时间顺序构建时间序列，从时间序列中选择多个参考点，基于选择的参考点，针对时间序列中的燃气管网监测数据建立基于距离树的数据索引结构，利用数据索引结构生成MapReduce的数据分区方案；

(2)将参考节点集合、数据索引结构以及MapReduce的数据分区方案信息作为全局变量，利用MapReduce任务对存在相似性的燃气管网监测数据进行精确计算，得到时间序列中所有满足相似度值大于设定阈值的燃气管网监测数据对。

6.根据权利要求5所述的一种基于大数据的燃气管网智能监测系统，其特征是，所述的利用数据索引结构生成MapReduce的数据分区方案，具体包括：

(1)根据基于距离树的数据索引结构创建一个图X(B,E)，顶点B的集合是距离树的所有叶结点，边E的集合是不能被剪枝原则剪枝的结点对，每个顶点有一个与其自身相连的边，设置顶点b的权重g(b)是对应叶结点的燃气管网监测数据量，边e的权重g(e)等于其上两个顶点的权重的乘积；

(2)将X(B,E)分成两个子图X(B,E)₁、X(B,E)₂，划分后的两个子图X(B,E)₁、X(B,E)₂需满足下列均衡度条件：

式中，θ为设定的均衡度阈值，

(3)将子图X(B,E)₁、X(B,E)₂添加到一个优先队列中，优先队列中的子图按照代价进行降序排列；

其中子图X(B,E)_i的代价的计算公式为：

(4)在下一轮的迭代中，从优先队列中选出排在最前面的子图，将其随机分成两个顶点个数相同的子图，并将分成的子图添加值优先队列，重复该过程直至优先队列中排在最前面的子图的代价满足小于设定的代价阈值时，输出最终的分区方案，将其作为成MapReduce的数据分区方案。