CN107967301B - 一种电力电缆隧道监控数据的存储、查询方法及装置 - Google Patents

Abstract

本发明提供了一种电力电缆隧道监控数据的存储、查询方法及装置，实时获取电力电缆遥测数据，根据电力电缆遥测数据的遥测ID建立遥测数据的hash链表，将采集的电力电缆遥测值分块对应存储到hash链表中；将存储到hash链表中的每块数据保存为一个文件，存储到硬盘中，对各文件中的每个遥测值的一个数据存为数据快照，同时每个文件生成一个Record记录，进一步形成Record记录组，加快了写入速度，保证同一个遥测的数据既按时间有序，又能写入文件中相邻的一块区域，避免查询的时候检索整个文件，加快了对电力电缆监控数据的查询速度，为异常状态的电力电缆数据的分析提供有力的数据支持。

Description

一种电力电缆隧道监控数据的存储、查询方法及装置

技术领域

本发明属于电力系统电力电缆隧道综合自动化技术领域，特别涉及一种电力电缆隧道监控数据的存储、查询方法及装置。

背景技术

随着城市建设的不断发展，相应的城市供电设施也随之迅猛发展，电缆作为输送电力的载体在城市下方逐渐形成了一个规模庞大的供电网络，电力电缆隧道是提供巨大数量的电缆安装和巡视的通道且全封闭型的电缆构筑物，随着电力电缆隧道的发展，电力电缆隧道的直径及输送电力的能力都随之增大，对电力电缆隧道的监控要求也逐步提升。集可视化、智能化、无人化于一身的现代智能监控系统已经逐步取代了原有的传统管理模式，先进的技术和设备将为电力电缆隧道的运行维护提供更多领域的技术支撑和保障。

电力电缆隧道综合监控系统主要针对隧道内的设备设施、火灾报警、安保系统、环境检测等系统进行综合的可视化监控管理，同时为电力电缆温度、电网状态信息和其余附属设备预留相关接口接入，在一个综合的平台上实现各分系统之间的数据交互、展示和联动功能，为运营提供有效的管理工具和管理模式。由于电缆分布众多，如何提高电缆本体局放、环流、光纤测温等实时监测、保障电缆运行安全，是当前电力部门所要面临的问题。

电力电缆隧道综合监控系统，实现电缆隧道内电缆本体监测、隧道环境监测配套部分等各种子系统标准化的接入，进行标准化信息建模，实现监测数据统一展示、电子地图方式显示设备地理位置信息、分析、控制、存储，实现电缆隧道“自动化监控”。电力电缆监测设备运行环境的特殊性，需要接入大量的采集测点，在几十千米的距离范围内，每隔1米就要采集电缆的表面温度，导体温度，载流量相关信息和光纤的相关信息，平均每秒会产生几十万条数据；现有技术中的方案为实时刷新每个测点的最新值，同时每隔一定的时间，在历史库中存一个数据的快照，记录该时刻的数据；但是这种方法一旦发现存储数据错误时，需将全部数据重新存储一遍，存储效率低，而且在异常情况下，查询故障时刻测点详细的数据变化情况的速度较慢，不能满足需求。

发明内容

本发明的目的在于提供一种电力电缆隧道监控数据的存储、查询方法及装置，用于解决现有技术中电力电缆隧道监控数据存储效率低且查看详细的数据变化速度慢的问题。

为实现上述目的，本发明的技术方案是：

一种电力电缆隧道监控数据的存储方法，包括以下步骤：

1)实时获取电力电缆遥测数据，根据所述的电力电缆遥测数据的遥测ID建立遥测数据的hash链表，将采集的电力电缆遥测值分块对应存储到hash链表中；

2)将存储到hash链表中的数据保存为一个文件，存储到硬盘中，对各文件中的每个遥测值的一个数据存为数据快照，生成一个Record记录，进一步形成Record记录组，所述Record记录包括文件名、数据的开始时间和结束时间。

进一步地，所述hash链表的建立过程为：根据遥测ID进行第一次hash操作寻找到该遥测所属的hash链表，第二次hash操作寻找到该遥测ID在hash链表中的位置，然后将采集的电力电缆遥测值存储在对应节点链表的尾部。

进一步地，在实时获取电力电缆隧道遥测数据时，由两个缓冲区来完成，两个数据区之间每隔设定的时间切换一次，同时只有一个缓冲区从实时库中获取数据，另一个数据区将从实时库中获取的数据存储到硬盘并清空。

本发明还提供了一种电力电缆隧道监控数据的查询方法，包括如下步骤：

(1)实时获取电力电缆遥测数据，根据所述的电力电缆遥测数据的遥测ID建立遥测数据的hash链表，将采集的电力电缆遥测值分块对应存储到hash链表中；

(2)将存储到hash链表中的数据保存为一个文件，存储到硬盘中，对各文件中的每个遥测值的一个数据存为数据快照，生成一个Record记录，进一步形成Record记录组，所述Record记录包括文件名、数据的开始时间和结束时间；

(3)查找遥测数据时，根据遥测ID进行hash操作定位到遥测数据对应的Record记录组，从Record记录对应链表的根节点遍历，直到查找到指定时间内的Record记录，进一步查看与该Record记录对应的电力电缆遥测数据。

进一步地，所述hash链表的建立过程为：根据遥测ID进行第一次hash操作寻找到该遥测所属的hash链表，第二次hash操作寻找到该遥测ID在hash链表中的位置，然后将采集的电力电缆遥测值存储在对应节点链表的尾部。

进一步地，在实时获取电力电缆隧道遥测数据时，由两个缓冲区来完成，同时只有一个缓冲区从实时库中获取数据，另一个数据区将从实时库中获取的数据存储到硬盘并清空。

进一步地，所述Record记录还包括有文件标志，如果标志正常，则将数据快照保存到历史库；如果标志异常，则获取需要写入历史库的遥测ID及记录的时间段，并将数据快照和对应的数据保存到历史库。

本发明还提供了一种电力电缆隧道监控数据的存储装置，包括实时库、缓存模块及硬盘，所述缓存模块包括数据区及管理区，所述数据区从实时库中实时获取电力电缆遥测数据；所述管理区根据所述的电力电缆遥测数据的遥测ID建立遥测数据的hash链表，将采集的电力电缆遥测值分块对应存储到hash链表中；并在将数据区的内容写入到硬盘的过程中，对存储到hash链表中的每块数据保存为一个文件，对各文件中的每个遥测值的一个数据存为数据快照，生成一个Record记录，进一步形成Record记录组，所述Record记录包括文件名、数据的开始时间和结束时间。

进一步地，所述hash链表的建立过程为：根据遥测ID进行第一次hash操作寻找到该遥测所属的hash链表，第二次hash操作寻找到该遥测ID在hash链表中的位置，然后将采集的电力电缆遥测值存储在对应节点链表的尾部。

进一步地，所述缓存模块包括两个数据区，在实时获取电力电缆隧道遥测数据时，由两个缓冲区来完成，两个数据区之间每隔设定的时间切换一次，同时只有一个缓冲区从实时库中获取数据，另一个数据区将从实时库中获取的数据存储到硬盘并清空。

本发明的有益效果是：

本发明通过实时获取电力电缆遥测数据，采用hash的方法将电力电缆遥测数据按遥测值分块，加快了写入速度，将数据存储为hash链表，保证同一个遥测的数据既按时间有序，又能写入文件中相邻的一块区域，提高了数据存储的效率，而且避免查询的时候检索整个文件，加快了对电力电缆监控数据的查询速度，为异常状态的电力电缆数据的分析提供有力的数据支持。

附图说明

图1为缓存模块与系统中其他模块之间的交互示意图；

图2为缓存模块的结构示意图；

图3为存储在硬盘上的文件结构示意图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步的说明：

一种电力电缆隧道监控数据的存储装置，如图1所示，包括实时库、缓存模块、硬盘及历史库，缓存模块包括数据区及管理区，数据区从实时库中实时采集电力电缆遥测数据，并将数据在内存中组织为hash链表；管理区在将数据区中的数据保存为文件的过程中，生成对应的Record记录，并在需要保存到历史库中的数据产生变化时，在Record记录中修改对应信息。将数据区的内容写入到硬盘的过程中，对存储到hash链表中的每块数据保存为一个文件，对各文件中的每个遥测值的一个数据存为数据快照，生成一个Record记录，进一步形成Record记录组，所述Record记录包括文件名、数据的开始时间和结束时间；在历史库中查找遥测数据时，根据遥测ID和hash链表寻找要查找的遥测数据对应的Record记录组，从Record记录对应的链表的根节点遍历，直到查找到指定时间内的Record记录，进一步查看与该Record记录对应的电力电缆遥测数据。

由于电力电缆隧道会产生很多的遥测数据，数据库承受不了这么大的数据输入，故在将数据存入数据库之前进行合理的组织和保存，因此，缓存模块只保存设定时间内的数据，超出设定时间的数据存储在历史库中，同时从缓存模块中删除这部分数据，所以缓冲模块中有一个管理区域记录文件信息以及文件中需要保存到历史库中的数据，本实施例的设定时间为24小时，作为其他实施方式，可根据系统需求，设置为其他符合要求的时间。

缓存模块中对写数据量的要求很高，每秒要能达到几十万条记录的写入，读数据的要求不高，同时并不会随机删除数据，会在时间超过存储范围后，批量删除，对查询数据的时间要求很高。

本实施例的一种对电力电缆隧道监控数据的查询方法，包括如下步骤：

1)采集电力电缆隧道遥测数据，并将采集到的遥测数据存储到实时库中，缓存模块包括数据区一和数据区二，但是同时只能由一个数据区从实时库中获取遥测数据，然后每隔设定的时间切换一次数据区，将数据区一或数据区二中的内同写入硬盘中并清空。

2)获取数据完毕后，缓存模块的数据区采用hash链表的数据结构，这样在插入遥测值的时候，根据遥测值的ID进行hash操作，即可定位到hash表的位置，算法的时间复杂度为O(1)，然后在对应的节点链表尾部添加上该时刻的遥测值即可，该hash表的数据天然按时间有序。由于每个遥测点都有一个独一无二的测点ID，所以采用遥测点ID进行hash操作，将遥测数据按遥测值分为16块，每一块为一个hash链表，根据遥测ID做第一次hash操作，确定该遥测值所属的hash链表，然后再进行第二次hash操作，第二次hash操作寻找到该遥测ID在hash链表中的位置，然后将采集的电力电缆遥测值存储在对应节点链表的尾部。

其中，hash链表生成的文件格式如图2所示，从每个key开始遍历next数据，先写入开始标志(start+遥测ID)，然后写入遥测ID，遥测值及时间，如果next的遥测ID与上一个相同，则只需写入遥测值及时间，不需要写ID，当next到达结尾时，则写入结束标志(end+遥测ID)。这样同一个遥测的数据在文件中位于该遥测ID相关的开始标志-结束标志之间。将所有的key值遍历一遍，即完成了文件的写入。将缓存模块数据区中的数据写入文件后，不会对文件进行修改，如果文件中写入历史库的数据有变化，会修改管理区中对应的信息，并在缓冲模块删除数据时检查管理区中的标志，有选择的存储数据。

采用hash链表的结构可以大大加快查找遥测数据的将遥测数据存储到历史库的速度，可以大大加块查找数据和将数据存储到历史库的速度。且保证同一个遥测ID的数据既按时间有序，又能写入文件中相邻的一块区域，避免查询的时候检索整个文件，浪费时间，查询效率低。

3)在将数据区中的内容写入到硬盘的过程中，将每个hash链表中的数据写入为一个单独的文件，避免单个文件过大，这样在查找遥测历史数据的时候，定位到的文件数据为数据区大小的1/16，大大加快查找速度，同时在删除大于24小时的过期数据时，由于单个文件的数据很少，需要保存的故障数据只会出现在其中一两个文件中，其余的文件可以只保存数据快照到历史库，不用打开，直接删除即可，其中，存储到硬盘上的文件格式如图3所示。

而且对各文件中的每个遥测值的一个数据存为数据快照，生成一个Record记录，Record记录包括文件名、数据的开始时间和结束时间；并将该Record记录添加到管理区的链表中，最终管理区中生成16组Record链表，各个组之间的数据没有相关性。

电力电缆监测数据存储完成后，在异常情况下，需要对电力电缆监测数据进行查询时，包括如下步骤：

(1)在查找遥测历史数据的时候，根据遥测ID做hash操作，可以确定该遥测数据在哪一组Record里面，然后从该链表的根节点开始遍历，寻找匹配指定时间的一个或多个Record记录；如果需要对历史数据特殊保存，则只需要在对应的Record记录中添加上需要保存的遥测ID及时间范围即可，不需要对硬盘上保存的文件进行任何修改。

(2)寻找到遥测历史数据关联的Record记录后，接着就是从Record关联文件中读取遥测数据，如图2所示，首先从文件中寻找开始标志，因为遥测ID为唯一的，所以每个遥测的开始标志也是唯一的，接着读取到遥测ID，在没有hash冲突的情况下，下一次读取到相同遥测ID的位置在结束标志处，中间的内容即为遥测的历史数据；在有hash冲突的情况下，下一次读取到的遥测ID与查询ID不一致，此时停止写入历史数据，直到再次读取到查询的遥测ID，开始再次写入历史数据，直到读取到结束标志。

(3)将缓存模块中的数据保存到历史库，当缓存模块管理区中Record链表的根节点记录的开始时间为24小时前时，读取Record中的文件标志，供操作人员查看，如果标志为正常，则只需要将数据快照保存到历史库，然后删除当前Record节点，将根节点指向下一个节点，同时删除Record关联的文件；如果标志为异常，这里的异常指的是某个时间段内的数据波动比较大，则从Record中获取到需要保存的遥测ID及时间段，然后从关联文件中查询到对应的数据，和数据快照一起写入历史库，然后修改节点，删除文件。

以上给出了具体的实施方式，但本发明不局限于以上所描述的实施方式。本发明的基本思路在于上述基本方案，对本领域普通技术人员而言，根据本发明的教导，设计出各种变形的模型、公式、参数并不需要花费创造性劳动。在不脱离本发明的原理和精神的情况下对实施方式进行的变化、修改、替换和变型仍落入本发明的保护范围内。

Claims (9)

1.一种电力电缆隧道监控数据的存储方法，其特征在于，包括以下步骤：

1)实时获取电力电缆遥测数据，根据所述的电力电缆遥测数据的遥测ID建立遥测数据的hash链表，将采集的电力电缆遥测值分块对应存储到hash链表中，每一块为一个hash链表；

2)将存储到hash链表中的数据保存为一个文件，存储到硬盘中，对各文件中的每个遥测值的一个数据存为数据快照，生成一个Record记录，进一步形成Record记录组，所述Record记录包括文件名、数据的开始时间和结束时间；

所述Record记录还包括有文件标志，如果标志正常，则将数据快照保存到历史库；如果标志异常，则获取需要写入历史库的遥测ID及记录的时间段，并将数据快照和对应的数据保存到历史库。

2.根据权利要求1所述的电力电缆隧道监控数据的存储方法，其特征在于，所述hash链表的建立过程为：根据遥测ID进行第一次hash操作寻找到该遥测所属的hash链表，第二次hash操作寻找到该遥测ID在hash链表中的位置，然后将采集的电力电缆遥测值存储在对应节点链表的尾部。

3.根据权利要求1或2所述的电力电缆隧道监控数据的存储方法，其特征在于，在实时获取电力电缆隧道遥测数据时，由两个数据区来完成，两个数据区之间每隔设定的时间切换一次，同时只有一个数据区从实时库中获取数据，另一个数据区将从实时库中获取的数据存储到硬盘并清空。

4.一种电力电缆隧道监控数据的查询方法，其特征在于，包括如下步骤：

(1)实时获取电力电缆遥测数据，根据所述的电力电缆遥测数据的遥测ID建立遥测数据的hash链表，将采集的电力电缆遥测值分块对应存储到hash链表中，每一块为一个hash链表；

(2)将存储到hash链表中的数据保存为一个文件，存储到硬盘中，对各文件中的每个遥测值的一个数据存为数据快照，生成一个Record记录，进一步形成Record记录组，所述Record记录包括文件名、数据的开始时间和结束时间；

(3)查找遥测数据时，根据遥测ID进行hash操作定位到遥测数据对应的Record记录组，从Record记录对应链表的根节点遍历，直到查找到指定时间内的Record记录，进一步查看与该Record记录对应的电力电缆遥测数据；

所述Record记录还包括有文件标志，如果标志正常，则将数据快照保存到历史库；如果标志异常，则获取需要写入历史库的遥测ID及记录的时间段，并将数据快照和对应的数据保存到历史库。

5.根据权利要求4所述的电力电缆隧道监控数据的查询方法，其特征在于，所述hash链表的建立过程为：根据遥测ID进行第一次hash操作寻找到该遥测所属的hash链表，第二次hash操作寻找到该遥测ID在hash链表中的位置，然后将采集的电力电缆遥测值存储在对应节点链表的尾部。

6.根据权利要求4或5所述的电力电缆隧道监控数据的查询方法，其特征在于，在实时获取电力电缆隧道遥测数据时，由两个数据区来完成，同时只有一个数据区从实时库中获取数据，另一个数据区将从实时库中获取的数据存储到硬盘并清空。

7.一种电力电缆隧道监控数据的存储装置，其特征在于，包括实时库、缓存模块及硬盘，所述缓存模块包括数据区及管理区，所述数据区从实时库中实时获取电力电缆遥测数据；所述管理区根据所述的电力电缆遥测数据的遥测ID建立遥测数据的hash链表，将采集的电力电缆遥测值分块对应存储到hash链表中，每一块为一个hash链表；并在将数据区的内容写入到硬盘的过程中，对存储到hash链表中的每块数据保存为一个文件，对各文件中的每个遥测值的一个数据存为数据快照，生成一个Record记录，进一步形成Record记录组，所述Record记录包括文件名、数据的开始时间和结束时间；所述Record记录还包括有文件标志，如果标志正常，则将数据快照保存到历史库；如果标志异常，则获取需要写入历史库的遥测ID及记录的时间段，并将数据快照和对应的数据保存到历史库。

8.根据权利要求7所述的电力电缆隧道监控数据的存储装置，其特征在于，所述hash链表的建立过程为：根据遥测ID进行第一次hash操作寻找到该遥测所属的hash链表，第二次hash操作寻找到该遥测ID在hash链表中的位置，然后将采集的电力电缆遥测值存储在对应节点链表的尾部。

9.根据权利要求7或8所述的电力电缆隧道监控数据的存储装置，其特征在于，所述缓存模块包括两个数据区，在实时获取电力电缆隧道遥测数据时，由两个数据区来完成，两个数据区之间每隔设定的时间切换一次，同时只有一个数据区从实时库中获取数据，另一个数据区将从实时库中获取的数据存储到硬盘并清空。

Images