CN114398389A - 一种处理设备伪遥测历史数据的方法和装置 - Google Patents

Abstract

本发明公开了一种处理设备伪遥测历史数据的方法及相应的处理装置，所述方法包括：构建伪遥测点内存集群；实时接收各站点上传的伪遥测数据；对接收到的所述伪遥测数据进行格式化预处理，以内存队列的形式对预处理后的所述伪遥测数据进行管理；对内存队列中的伪遥测数据进行持久化处理，构建历史伪遥测数据存储系统；接收伪遥测点历史信息的查询请求，对所述查询请求进行分析，生成查询条件；根据所述查询条件匹配查询算法，并基于所述查询算法向所述伪遥测数据存储系统发送检索请求；接收检索结果。该方法及装置能够提升伪遥测历史数据的调用速度。

Description

一种处理设备伪遥测历史数据的方法和装置

技术领域

本发明属于数据处理技术领域，尤其涉及一种处理设备伪遥测历史数据得到的方法。

背景技术

设备监控系统对于地面设备监视、控制、维护具有重要的作用，而设备的伪遥测历史信息在分析设备故障原因或进行故障预防时，具有非常重要的作用，合理的利用历史伪遥测信息能够帮助系统更加迅速智能的对设备进行控制管理。

现有的设备监控系统对于历史伪遥测数据的处理并不理想。一方面，在存储数据库选择上，现在的设备监控系统大多采用关系型数据库进行设备伪遥测数据的存储，关系型数据库面对大量数据时，读写吞吐量较低，无法满足日常监控系统对历史数据的调用需求。第二方面，在存储过程中，为了降低数据存储量，很多系统通过采样方式进行数据压缩存储，虽然一定程度上降低了数据库的读写压力，但设备伪遥测数据信息有遗失，降低了数据分析的准确性，没有使伪遥测的历史数据得到有效的利用。第三方面，在查询方法上，目前系统大多采用直接从数据库进行数据查询的方法，响应速度较慢。

发明内容

为了解决上述技术问题，本发明公开了一种处理设备伪遥测历史数据的方法，包括：

构建伪遥测点内存集群；

实时接收各站点上传的伪遥测数据；

对接收到的所述伪遥测数据进行格式化预处理，以内存队列的形式对预处理后的所述伪遥测数据进行管理；

对内存队列中的伪遥测数据进行持久化处理，构建历史伪遥测数据存储系统；

接收伪遥测点历史信息的查询请求，对所述查询请求进行分析，生成查询条件；

根据所述查询条件匹配查询算法，并基于所述查询算法向所述伪遥测数据存储系统发送检索请求；

接收检索结果。

可选的，所述构建伪遥测点内存集群的步骤，包括：

将设备伪遥测点信息数据导入到内存中，构建内存数据缓存集群；其中，伪遥测点信息数据包括：站点编号、设备编号、伪遥测点名称以及伪遥测点编号。

可选的，所述实时接收各站点上传的伪遥测数据的步骤，包括：

多个站点通过消息中间件Kafka上传各自站点设备的伪遥测信息，其中，所述伪遥测信息包括：站点编号、设备编号、伪遥测点名称、采集时间以及伪遥测值。

可选的，所述对接收到的所述伪遥测数据进行格式化预处理的步骤，包括：

针对接收到的每个伪遥测信息，在所述伪遥测点内存集群中查询站点编号、设备编号、伪遥测点名称匹配的伪遥测点编号；

整合接收到的所述伪遥测数据中的伪遥测采集时间、伪遥测值，以对伪遥测信息进行格式化预处理，其中，格式化后的伪遥测信息包括：伪遥测点编号、采集月份、采集日期以及伪遥测值。

可选的，所述对内存队列中的伪遥测数据进行持久化处理，构建历史伪遥测数据存储系统的步骤包括：

创建线程从内存队列提取伪遥测数据；

存放提取的伪遥测数据，并统计所存放的伪遥测数据的数量；

在所述数量达到预设数量的情况下，对存放的伪遥测数据进行批量持久化存储，累积形成历史伪遥测数据存储系统。

可选的，所述预设数量为1000，所述历史伪遥测数据存储系统为 ApacheCassandra。

可选的，基于所述查询算法向所述伪遥测数据存储系统发送检索请求的步骤，包括：

根据查询算法，编译成Cassandra数据库可识别的CQL语句向 Cassandra数据库发起检索请求。

为了解决上述技术问题，本发明还公开了一种处理设备伪遥测历史数据的装置，包括：

第一构建模块，用于构建伪遥测点内存集群；

接收模块，用于实时接收各站点上传的伪遥测数据；

预处理模块，用于对接收到的所述伪遥测数据进行格式化预处理，以内存队列的形式对预处理后的所述伪遥测数据进行管理；

第二构建模块，用于对内存队列中的伪遥测数据进行持久化处理，构建历史伪遥测数据存储系统；

生成模块，用于接收伪遥测点历史信息的查询请求，对所述查询请求进行分析，生成查询条件；

发送模块，用于根据所述查询条件匹配查询算法，并基于所述查询算法向所述伪遥测数据存储系统发送检索请求；

结果接收模块，用于接收检索结果。

可选的，所述第一构建模块具体用于：

将设备伪遥测点信息数据导入到内存中，构建内存数据缓存集群；其中，伪遥测点信息数据包括：站点编号、设备编号、伪遥测点名称以及伪遥测点编号。

可选的，所述第二构建模块包括：

第一子模块，用于创建线程从内存队列提取伪遥测数据；

第二子模块，用于存放提取的伪遥测数据，并统计所存放的伪遥测数据的数量；

第三子模块，用于在所述数量达到预设数量的情况下，对存放的伪遥测数据进行批量持久化存储，累积形成历史伪遥测数据存储系统。

本发明实施例公开的处理设备伪遥测历史数据的方法，构建伪遥测点内存集群；实时接收各站点上传的伪遥测数据；对接收到的伪遥测数据进行格式化预处理，以内存队列的形式对预处理后的伪遥测数据进行管理；对内存队列中的伪遥测数据进行持久化处理，构建历史伪遥测数据存储系统；接收伪遥测点历史信息的查询请求，对查询请求进行分析，生成查询条件；根据查询条件匹配查询算法，并基于查询算法向伪遥测数据存储系统发送检索请求；接收检索结果。本实施例的处理设备伪遥测历史数据的方法，能够提升伪遥测历史数据的调用速度。

附图说明

图1为本发明实施例所提供的一种处理设备伪遥测历史数据的方法的步骤流程图；

图2为本发明实施例中的一种设备伪遥测历史数据存储的流程图；

图3为本发明实施例中的一种设备伪遥测历史查询方法的流程图；

图4为本发明实施例中的LRU页面置换算法说明图；

图5为本发明实施例中的处理设备伪遥测历史数据的装置的结构框图；

图6为本发明实施例中的内部存储结构。

具体实施方式

下面根据具体的实施例，结合附图针对本发明进行详细说明。应当理解，此处所述的具体实施例仅用于解释本发明，并不用于限定本发明。

实施例一

如图1所示，本发明实施例的一种处理设备伪遥测历史数据的方法包括如下步骤：

步骤101：构建伪遥测点内存集群。

一种可选地构建伪遥测点内存集群的方式可以如下：将设备伪遥测点信息数据导入到内存中，构建内存数据缓存集群；其中，伪遥测点信息数据包括：站点编号、设备编号、伪遥测点名称以及伪遥测点编号。该种构建方式，方便高效的重复利用伪遥测基础信息，提高查询速度。

步骤102：实时接收各站点上传的伪遥测数据。

一种可选地实时接收各站点上传的伪遥测数据的方式可以如下：多个站点通过消息中间件Kafka上传各自站点设备的伪遥测信息，其中，伪遥测信息包括：站点编号、设备编号、伪遥测点名称、采集时间以及伪遥测值。

Kafka利用高效可靠的消息传递机制，支持跨平台的数据交互，通过监听 Kafka伪遥测信息对应的topic即标题，能够实时接收多个站点的伪遥测信息，主要包括站点编号、设备编号、伪遥测点名称、采集时间、伪遥测值，保证了伪遥测信息能够进行统一的、异步的接收处理。

步骤103：对接收到的伪遥测数据进行格式化预处理，以内存队列的形式对预处理后的伪遥测数据进行管理。

为了避免伪遥测数据格式化速度和数据持久化速度不匹配，造成消息阻塞，本申请实施例中采用内存队列的方式对伪遥测数据进行管理。

一种可选地对接收到的伪遥测数据进行格式化预处理的方式可以如下：针对接收到的每个伪遥测信息，在伪遥测点内存集群中查询站点编号、设备编号、伪遥测点名称匹配的伪遥测点编号；整合接收到的伪遥测数据中的伪遥测采集时间、伪遥测值，以对伪遥测信息进行格式化预处理，其中，格式化后的伪遥测信息包括：伪遥测点编号、采集月份、采集日期以及伪遥测值。

步骤104：对内存队列中的伪遥测数据进行持久化处理，构建历史伪遥测数据存储系统。

一种可选地对内存队列中的伪遥测数据进行持久化处理，构建历史伪遥测数据存储系统的方式如下：

首先，创建线程从内存队列提取伪遥测数据；

其次，存放提取的伪遥测数据，并统计所存放的伪遥测数据的数量；

再次，在数量达到预设数量的情况下，对存放的伪遥测数据进行批量持久化存储，累积形成历史伪遥测数据存储系统。

预设数量为1000，历史伪遥测数据存储系统可以为Apache Cassandra，ApacheCassandra是一个混合型的非关系型数据库。非关系型数据库中的储表结构为用伪遥测点编号、采集月份联合作为记录的唯一标识，采集时间作为RowKey即行键。

步骤105：接收伪遥测点历史信息的查询请求，对查询请求进行分析，生成查询条件。

该查询请求可以为Http请求，该请求可以单点或者多点请求。快速响应伪遥测点历史信息的Http请求时，具体可编写查询服务接口提供给其他程序使用，用以监听请求，并返回其他程序所需的数据结果。

对查询请求进行分析，生成查询条件时，可查询服务接口解析请求内容，指定使用的查询条件。

步骤106：根据查询条件匹配查询算法，并基于查询算法向伪遥测数据存储系统发送检索请求。

基于查询算法向伪遥测数据存储系统发送检索请求的方式可以为：根据查询算法，编译成Cassandra数据库可识别的CQL语句向Cassandra数据库发起检索请求。

步骤107：接收检索结果。

Cassandra数据库可将数据库响应结果按统一格式返回。

本申请实施例提供的处理设备伪遥测历史数据的方法，一方面，通过分析设备采集伪遥测点的特征，并结合使用业务需求选择了Cassandra作为数据存储数据库，Cassandra数据库可以实现数据的快速写入，可以存储数百TB 的数据，而不会牺牲读取效率，非常适合此类无需进行更新操作，只关注读写的时序类数据的存储场景。第二方面，通过对Cassandra数据库存储表结构合理设计，使得查询效率得到提高。第三方面，用LRU(Least recently used，最近最少使用)页面置换算法，管理内存缓存，优化查询速度。

实施例二

图2是本发明实施例二提供的一种设备伪遥测历史数据存储的流程图，具体如下：

步骤201，监听接收实时遥测。

系统通过监听Kafka伪遥测信息对应的topic，实时接收多路伪遥测信息，主要包括站点编号、设备编号、伪遥测点名称、采集时间、伪遥测值。

步骤202，伪遥测数据预处理。

系统初始化时构建了设备所有伪遥测点内存集，包括站点编号、设备编号、伪遥测名称及对应的伪遥测编号，该步骤通过以上内存存储的信息，快速解析接收数据的伪遥测编号，并获取采集月份后整合伪遥测采集时间、伪遥测值。

步骤203，内存表缓存。

为了避免伪遥测数据格式化速度和数据持久化速度不匹配，造成消息阻塞，采用内存队列的方式对格式化后的伪遥测数据进行管理，实现消息格式化存放和数据读取的异步处理，此处默认缓存大小为1000条数据。

步骤204，存储到数据库。

将格式化后的数据，包括伪遥测编号，采集月份，采集时间、伪遥测值持久化到Cassandra数据库中。

表1数据库存储辅助表结构设计表

列名	属性	说明
			telemetry_id	text	遥测点编号
month	bigint	伪遥测采集月份时间戳
			time	bigint	伪遥测采集时间戳
value	double	伪遥测值

表结构中采用遥测点编号(telemetry_id)和伪遥测采集月份时间戳 (month)作为PartitionKey，采集时间(time)做为ClusteringKey，每个遥测点每月的数据存储一行，便于查找。其中telemetry_id是由9位十进制数字组成的字符串，格式为“AAABBBCCC”，“AAA”代表站点编号，如北京：“100”；“BBB”代表每个站点的设备编号，如北京某设备编号：“090”；“CCC”代表每个设备拥有的遥测点编号，如某遥测点编号：“111”，“100090111”是某个站点某个设备的某个遥测点的唯一标识。

内部存储结构为图6。

例如：插入数据为：

insert into telemetry(telemetry_id,month,time,value)values(‘100090111’, 1625068800000,1625313771000,26.0)；

insert into telemetry(telemetry_id,month,time,value)values(‘100090111’,16 25068800000,1625313772000,26.1)；

insert into telemetry(telemetry_id,month,time,value)values(‘100090111’,16 25068800000,1625313773000,26.22)；

insert into telemetry(telemetry_id,month,time,value)values(‘100090111’,16 25068800000,1625313774000,26.1)；

insert into telemetry(telemetry_id,month,time,value)values(‘100090112’,16 25068800000,1625313775000,26.4)；

insert into telemetry(telemetry_id,month,time,value)values(‘100090112’,16 25068800000,1625313776000,26.3)；

insert into telemetry(telemetry_id,month,time,value)values(‘100090112’,16 25068800000,1625313777000,26.4)；

以上数据内部存储格式为：

图3是本发明实施例提供的一种设备伪遥测历史调用方法的流程图，具体如下：

步骤301，获取查询条件。

当用户有查询需求时，可以通过浏览器，客户端等方式输入查询请求，具体可以是RestFul API的访问形式。数据查询条件具体可以包含站点名称、设备名称、伪遥测名称及查询时间段。

步骤302，解析查询条件。

在本实施例中，当接收到用户输入的查询条件后，根据查询的内容和步骤 202所涉及到的设备所有伪遥测点内存集，对查询条件进行解析，查询条件可以包括单条件查询和多条件查询，具体根据用户需要进行设置，解析结果为查询伪遥测点的编号、采集月份时间戳，采集时间区间。

步骤303，获取查询语句。

根据步骤302生成的查询条件，结合步骤204存储表结构，示例查询语句为：select*from telemetry where telemetry_id＝‘查询的伪遥测点编号’and month＝‘采集月份时间时间戳’and time between‘采集时间区间’。

步骤304-306，查询数据是否在内存、判断数据是否完整、查询数据库。

在本实施例中，采用LRU算法对内存数据进行管理。

LRU(Least recently used,最近最少使用)算法根据数据的历史访问记录来进行淘汰数据，其核心思想是“如果数据最近被访问过，那么将来被访问的几率也更高”。

图4为本发明实施例中LRU页面置换算法说明图：

步骤401，根据查询条件对查询伪遥测点编号和查询月份进行映射，若存在跨月的情况，则将查询条件拆分为多个。

步骤402，根据映射结果，查询哈希表中是否存在相应的数据。

步骤403，若哈希表中不存在满足查询条件的数据，则判断当前缓存容量是否已满。

步骤404，若缓存容量已满，则移除哈希表键位,移除链表尾部节点，否则直接进入步骤405。

步骤405，根据映射条件查询数据库。

步骤406，增加哈希表键位。

步骤407，将查询到的键值数据插入到链表首部。

步骤408，根据映射V值查询满足条件的具体数据信息。

根据步骤204中Cassandra数据库存储表结构设计方案，对查询数据进行如下缓存结构设计：Map<String,List<Pair<long,double>>>

整个Map结构采用LRU算法进行管理。

具体查询过程如下：

1)根据查询条件映射到K结构，若在K中匹配，则直接从V中得出List <Pair>，然后根据time获取到具体的value。

2)如果未找到，则重执行步骤306，根据步骤303生成的查询语句，直接对数据库进行查询，同时将查询到的整月的数据按Map格式Load到内存中。

3)若部分匹配，即存在跨月情况，则根据K对查询条件进行处理，将未匹配部分进行如上2)步操作。

步骤307，返回查询结果。

在本实施例中，根据数据库查询到的结果，结合步骤202所涉及到的设备所有伪遥测点内存集，对查询结果进行解析，将编号、时间戳等数据解析为更加直观的名称、日期等。

实施例三

如图5所示，本申请实施例的处理设备伪遥测历史数据的装置包括如下模块：

第一构建模块501，用于构建伪遥测点内存集群；

接收模块502，用于实时接收各站点上传的伪遥测数据；

预处理模块503，用于对接收到的所述伪遥测数据进行格式化预处理，以内存队列的形式对预处理后的所述伪遥测数据进行管理；

第二构建模块504，用于对内存队列中的伪遥测数据进行持久化处理，构建历史伪遥测数据存储系统；

生成模块505，用于接收伪遥测点历史信息的查询请求，对所述查询请求进行分析，生成查询条件；

发送模块506，用于根据所述查询条件匹配查询算法，并基于所述查询算法向所述伪遥测数据存储系统发送检索请求；

结果接收模块507，用于接收检索结果。

可选地，所述第一构建模块具体用于：将设备伪遥测点信息数据导入到内存中，构建内存数据缓存集群；其中，伪遥测点信息数据包括：站点编号、设备编号、伪遥测点名称以及伪遥测点编号。

可选地，所述第二构建模块包括：第一子模块，用于创建线程从内存队列提取伪遥测数据；第二子模块，用于存放提取的伪遥测数据，并统计所存放的伪遥测数据的数量；第三子模块，用于在所述数量达到预设数量的情况下，对存放的伪遥测数据进行批量持久化存储，累积形成历史伪遥测数据存储系统。

本说明中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

以上所述，仅为本发明最佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

本发明说明书中未作详细描述的内容属于本领域技术人员的公知技术。

Claims (10)

1.一种处理设备伪遥测历史数据的方法，其特征在于，所述方法包括：

构建伪遥测点内存集群；

实时接收各站点上传的伪遥测数据；

对接收到的所述伪遥测数据进行格式化预处理，以内存队列的形式对预处理后的所述伪遥测数据进行管理；

对内存队列中的伪遥测数据进行持久化处理，构建历史伪遥测数据存储系统；

接收伪遥测点历史信息的查询请求，对所述查询请求进行分析，生成查询条件；

根据所述查询条件匹配查询算法，并基于所述查询算法向所述伪遥测数据存储系统发送检索请求；

接收检索结果。

2.根据权利要求1所述的方法，其特征在于，所述构建伪遥测点内存集群的步骤，包括：

将设备伪遥测点信息数据导入到内存中，构建内存数据缓存集群；其中，伪遥测点信息数据包括：站点编号、设备编号、伪遥测点名称以及伪遥测点编号。

3.根据权利要求1所述的方法，其特征在于，所述实时接收各站点上传的伪遥测数据的步骤，包括：

多个站点通过消息中间件Kafka上传各自站点设备的伪遥测信息，其中，所述伪遥测信息包括：站点编号、设备编号、伪遥测点名称、采集时间以及伪遥测值。

4.根据权利要求1所述的方法，其特征在于，所述对接收到的所述伪遥测数据进行格式化预处理的步骤，包括：

针对接收到的每个伪遥测信息，在所述伪遥测点内存集群中查询站点编号、设备编号、伪遥测点名称匹配的伪遥测点编号；

整合接收到的所述伪遥测数据中的伪遥测采集时间、伪遥测值，以对伪遥测信息进行格式化预处理，其中，格式化后的伪遥测信息包括：伪遥测点编号、采集月份、采集日期以及伪遥测值。

5.根据权利要求1所述的方法，其特征在于，所述对内存队列中的伪遥测数据进行持久化处理，构建历史伪遥测数据存储系统的步骤包括：

创建线程从内存队列提取伪遥测数据；

存放提取的伪遥测数据，并统计所存放的伪遥测数据的数量；

在所述数量达到预设数量的情况下，对存放的伪遥测数据进行批量持久化存储，累积形成历史伪遥测数据存储系统。

6.根据权利要求5所述的方法，其特征在于，所述预设数量为1000，所述历史伪遥测数据存储系统为Apache Cassandra。

7.根据权利要求6所述的方法，其特征在于，基于所述查询算法向所述伪遥测数据存储系统发送检索请求的步骤，包括：

根据查询算法，编译成Cassandra数据库可识别的CQL语句向Cassandra数据库发起检索请求。

8.一种处理设备伪遥测历史数据的装置，其特征在于，所述装置包括：

第一构建模块，用于构建伪遥测点内存集群；

接收模块，用于实时接收各站点上传的伪遥测数据；

预处理模块，用于对接收到的所述伪遥测数据进行格式化预处理，以内存队列的形式对预处理后的所述伪遥测数据进行管理；

第二构建模块，用于对内存队列中的伪遥测数据进行持久化处理，构建历史伪遥测数据存储系统；

生成模块，用于接收伪遥测点历史信息的查询请求，对所述查询请求进行分析，生成查询条件；

发送模块，用于根据所述查询条件匹配查询算法，并基于所述查询算法向所述伪遥测数据存储系统发送检索请求；

结果接收模块，用于接收检索结果。

9.根据权利要求8所述的装置，其特征在于，所述第一构建模块具体用于：

将设备伪遥测点信息数据导入到内存中，构建内存数据缓存集群；其中，伪遥测点信息数据包括：站点编号、设备编号、伪遥测点名称以及伪遥测点编号。

10.根据权利要求8所述的装置，其特征在于，所述第二构建模块包括：

第一子模块，用于创建线程从内存队列提取伪遥测数据；

第二子模块，用于存放提取的伪遥测数据，并统计所存放的伪遥测数据的数量；

第三子模块，用于在所述数量达到预设数量的情况下，对存放的伪遥测数据进行批量持久化存储，累积形成历史伪遥测数据存储系统。

Images