CN115391429A - 基于大数据云计算的时序数据处理方法及装置 - Google Patents

基于大数据云计算的时序数据处理方法及装置 Download PDF

Info

Publication number
CN115391429A
CN115391429A CN202211113252.6A CN202211113252A CN115391429A CN 115391429 A CN115391429 A CN 115391429A CN 202211113252 A CN202211113252 A CN 202211113252A CN 115391429 A CN115391429 A CN 115391429A
Authority
CN
China
Prior art keywords
data
point location
time sequence
sequence data
location time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211113252.6A
Other languages
English (en)
Inventor
李毅
李琳
尹义勇
祝博文
王鑫
李亚飞
廉冲
胡淼
吴中华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Fenjin Intelligent Machine Co ltd
Original Assignee
Wuhan Fenjin Intelligent Machine Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Fenjin Intelligent Machine Co ltd filed Critical Wuhan Fenjin Intelligent Machine Co ltd
Priority to CN202211113252.6A priority Critical patent/CN115391429A/zh
Publication of CN115391429A publication Critical patent/CN115391429A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/2895—Intermediate processing functionally located close to the data provider application, e.g. reverse proxies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于大数据云计算的时序数据处理方法及装置，属于数据处理技术领域，所述方法包括：获取各采集节点的点位时序数据；根据所述采集节点的设备编码，将所述点位时序数据缓存至分布式消息系统中预先创建的与设备编码对应的分区；利用大数据流式处理引擎按照预设处理频率对所述分区内的点位时序数据进行解析处理，并将处理后的点位时序数据存储到目标数据库中。本发明提高了点位时序数据的采集、传输、分析、存储过程的处理效率，以便于后续对点位时序数据的查询以及利用。

Description

基于大数据云计算的时序数据处理方法及装置
技术领域
本发明涉及数据处理技术领域，尤其涉及一种基于大数据云计算的时序数据处理方法及装置。
背景技术
目前工厂智能装备分布广且分散，无法对设备运行状态实时监测、对异常运行设备及时告警与故障诊断，当智能装备出现故障仅能靠工程师现场勘查收集和排除异常，耗时费力，企业服务和运维成本非常高。
随着工业互联网技术的快速发展，企业越来越重视数据价值。设备产生的数据一般都采用时序数据库，目前主流成熟的时序数据库InfluxDB、OpenTSDB等高可用集群收费，对一般企业成本太高。
数字化工厂产生的时序数据量是巨量的，在现有开源技术环境下，传统数据处理方法处理效率低，面临存储成本高的缺陷。
发明内容
本发明提供一种基于大数据云计算的时序数据处理方法及装置，用以解决现有技术中数据处理效率低，存储成本高的缺陷。
第一方面，本发明提供一种基于大数据云计算的时序数据处理方法，包括：获取各采集节点的点位时序数据；根据所述采集节点的设备编码，将所述点位时序数据缓存至分布式消息系统中预先创建的与设备编码对应的分区；利用大数据流式处理引擎按照预设处理频率对所述分区内的点位时序数据进行解析处理，并将处理后的点位时序数据存储到目标数据库中。
根据本发明提供的一种基于大数据云计算的时序数据处理方法，所述获取各采集节点的点位时序数据，包括：利用数据采集服务器接收所述点位时序数据，并将所述点位时序数据转发至反向代理服务器；所述点位时序数据是由所述采集节点按照预设通讯协议发送的；基于日志收集系统，从所述反向代理服务器中采集所述点位时序数据。
根据本发明提供的一种基于大数据云计算的时序数据处理方法，所述利用数据采集服务器接收所述点位时序数据，并将所述点位时序数据转发至反向代理服务器，包括：利用所述数据采集服务器对所述点位时序数据进行完整性判断；在所述数据采集服务器确定所述点位时序数据为整包数据的情况下，将所述点位时序数据转发至所述反向代理服务器。
根据本发明提供的一种基于大数据云计算的时序数据处理方法，在分布式消息系统为Kafka消息集群，所述大数据流式处理引擎为Spark Streaming的情况下，所述利用大数据流式处理引擎按照预设处理频率对所述分区内的点位时序数据进行解析处理，并将处理后的点位时序数据存储到目标数据库中，包括：利用Spark Streaming按照所述预设处理频率从所述Kafka消息集群的分区中拉取所述点位时序数据；根据所述预设通讯协议，对所述点位时序数据进行解析处理，并将处理后的点位时序数据存储到所述目标数据库中；所述目标数据库至少包括以下数据库中的一种：Redis数据库、Hbase数据库。
根据本发明提供的一种基于大数据云计算的时序数据处理方法，按照预设通讯协议发送的点位时序数据包括以下数据中的至少一项：功能码、数据域长度、设备编码、各监控点位数据、时间戳。
根据本发明提供的一种基于大数据云计算的时序数据处理方法，所述数据采集服务器为基于Netty框架的集群服务器，所述反向代理服务器为Nginx服务器。
根据本发明提供的一种基于大数据云计算的时序数据处理方法，所述日志收集系统为Flume。
第二方面，本发明还提供一种基于大数据云计算的时序数据处理装置，包括：采集模块，缓存模块，处理模块；
其中，采集模块，用于获取各采集节点的点位时序数据；
缓存模块，用于根据所述采集节点的设备编码，将所述点位时序数据缓存至分布式消息系统中预先创建的与设备编码对应的分区；
处理模块，用于利用大数据流式处理引擎按照预设处理频率对所述分区内的点位时序数据进行解析处理，并将处理后的点位时序数据存储到目标数据库中。
第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于大数据云计算的时序数据处理方法的步骤。
第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于大数据云计算的时序数据处理方法的步骤。
本发明提供的基于大数据云计算的时序数据处理方法及装置，通过将获取的各采集节点的点位时序数据存储到分布式消息系统中，并利用大数据流式处理引擎对所述分布式消息系统中的点位时序数据进行解析处理，并将处理结果存储到目标数据库中，从而提高了点位时序数据的采集、传输、分析、存储过程的处理效率，以便于后续对点位时序数据的查询以及利用。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于大数据云计算的时序数据处理方法的流程示意图之一；
图2是本发明提供的大数据云平台的搭建框架示意图；
图3是本发明提供的基于大数据云计算的时序数据处理方法的流程示意图之二；
图4是本发明提供的基于大数据云计算的时序数据处理装置的结构示意图；
图5是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明实施例的描述中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
本申请中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。
下面结合图1-图5描述本发明实施例所提供的基于大数据云计算的时序数据处理方法和装置。
图1是本发明提供的基于大数据云计算的时序数据处理方法的流程示意图之一，如图1所示，包括但不限于以下步骤：
步骤101：获取各采集节点的点位时序数据。
其中，采集节点可以为设备采集端，如数据采集终端。数据采集终端可以通过仪器仪表，传感器等对工业智能装备在运行过程中产生的数据进行采集。
本发明的设备端将设备时序模型抽象为通讯协议，通讯协议中涵盖了设备编码作为设备唯一编号的基本属性，设备端程序将点位时序数据组装成发送协议格式，周期性地发送到数据采集服务器的开放的IP和端口。
预设通讯协议，特指发送协议，按照预设通讯协议发送的点位时序数据包括以下数据中的至少一项：功能码、数据域长度、设备编码、各监控点位（监控的各指标或物理量）依次排列、时间戳。
可选地，按照预设通讯协议发送的点位时序数据如表1所示，其中，YX1值，YX2值表示监控点位对应的各指标或者物理量。需要说明的是，监控点位的数量可以根据实际情况进行设置。
表1 本发明提供的预设通讯协议示意表
Figure 316520DEST_PATH_IMAGE001
步骤102：根据所述采集节点的设备编码，将所述点位时序数据缓存至分布式消息系统中预先创建的与设备编码对应的分区。
其中，分布式消息系统可以为Kafka。即根据所述采集节点的设备编码，将所述点位时序数据缓存至Kafka消息集群中预先创建的与设备编码对应的分区。
Kafka是由Apache软件基金会开发的一个开源的高吞吐量的分布式消息系统，是AMQP（高级消息队列协议）的标准实现。Kafka对消息保存时根据Topic进行归类，发送消息者称为Producer，消息接受者称为Consumer，此外Kafka集群有多个Kafka实例组成，每个实例称为broker。适合数据下游消费众多的情况；适合数据安全性要求较高的操作，支持replication副本。
Kafka消息集群主要用于点位时序数据的传输以及存储，以备大数据流式处理引擎处理使用。
步骤103：利用大数据流式处理引擎按照预设处理频率对所述分区内的点位时序数据进行解析处理，并将处理后的点位时序数据存储到目标数据库中。
可选地，利用Spark Streaming对所述Kafka消息集群中的点位时序数据进行解析处理，并将处理结果存储到目标数据库中。所述处理结果为经过处理后的点位时序数据。
Spark Streaming是专为大规模流式数据处理而设计的快速通用的计算引擎。构建在Spark Core基础之上的流处理框架，是Spark非常重要的组成部分。Spark Streaming具有高扩展性、高吞吐量和容错能力强的特点，支持Kafka、Flume、HDFS等多种输入源，数据输入后可以用Spark的高度抽象原语如：map、reduce、join、window等进行运算。而结果也能保存在很多地方，如HDFS，数据库等。
本发明中的Spark Streaming流式处理引擎对接Kafka消息集群，从所述Kafka消息集群中拉取所述点位时序数据；根据所述预设通讯协议，对所述点位时序数据进行解析处理，并将处理后的点位时序数据存储到所述目标数据库中；所述目标数据库至少包括以下数据库中的一种：Redis数据库、Hbase数据库。
本发明提供的基于大数据云计算的时序数据处理方法，通过将获取的各采集节点的点位时序数据存储到Kafka消息集群中，并利用Spark Streaming对所述Kafka消息集群中的点位时序数据进行解析处理，并将处理结果存储到目标数据库中，从而提高了点位时序数据的采集、传输、分析、存储过程的处理效率，以便于后续对点位时序数据的查询以及利用。
需要说明的是，本发明可以基于上述实施例的内容搭建一个大数据云平台，以执行点位时序数据的采集、传输以及处理。图2是本发明提供的大数据云平台的搭建框架示意图，如图2所示，云平台可以从采集节点A，采集节点B以及采集节点C获取采集的点位时序数据，并且对数据进行处理存储。每个采集节点可以管理多个设备的监控点位，如采集节点A可以采集设备A的监控点位A1和监控点位A2的数据；如采集节点B可以采集设备B的监控点位B1和监控点位B2的数据；如采集节点C可以采集设备C的监控点位C1和监控点位C2的数据，下面结合具体的实施例，继续对数据处理的过程进行说明。
基于上述实施例中的内容，作为一种可选地的实施例，本发明提供的基于大数据云计算的时序数据处理方法，所述获取各采集节点的点位时序数据，包括：利用数据采集服务器接收所述点位时序数据，以将所述点位时序数据转发至反向代理服务器；基于日志收集系统，从所述反向代理服务器中采集所述点位时序数据。
可选地，所述数据采集服务器为基于Netty框架的集群服务器。基于Netty框架的高性能采集器（数据采集服务器）接收到点位时序数据。该采集器是设备类型专用采集器，是按微服务架构分布式部署在多个Linux服务器中。
本发明可以利用所述数据采集服务器对所述点位时序数据进行完整性判断；只有在确定所述点位时序数据为整包数据的情况下，将所述点位时序数据转发至所述反向代理服务器。
具体地，通过识别半包、粘包和有效性验证后，转发到Nginx反向代理服务器，Nginx将数据请求均衡分发到日志收集系统。
其中，Nginx是一款轻量级的反向代理服务器及电子邮件代理服务器，在BSD-like协议下发行。其特点是占有内存少，并发能力强。
其中日志收集系统可以采用Flume。Flume是一个高可靠的，高可用的，分布式的海量日志采集、聚合和传输系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；具有故障转移和恢复机制及强大的容错能力。
Flume集群采集到点位时序数据，将其下沉到Kafka消息集群进行分布式缓存。
基于上述实施例的内容，作为一种可选的实施例，本发明提供的基于大数据云计算的时序数据处理方法，包括：根据所述采集节点的设备编码，利用日志收集系统将所述点位时序数据缓存到Kafka消息集群中与设备编码对应的分区。
具体地，Flume集群同时收集数据下沉到Kafka消息集群进行分布式缓存。Fume集群配置为channel和sink均为Kafka多节点集群，对负载高峰拥有良好的高并发、高吞吐的能力。
所述Flume关键配置涉及到算法，该算法为分区定位算法。该算法的程序表达式为：
partition=Math.abs(k.hashCode()) % numPartitions;
其中，partition表示Kafka的分区，k表示设备编码，numPartitions表示总分区数。hashCode()用于计算字符串的哈希码值，Hash算法简单的说就是把原始任意长度的值空间，映射成固定长度的值空间的过程，映射后的二进制串就是哈希值；k.hashCode()是计算设备编码的哈希值。
Math.abs是计算一个数的绝对值；Math.abs(k.hashCode())是计算出设备编码哈希值的绝对值；
Math.abs(k.hashCode())%numPartitions 是用设备编码哈希值绝对值对总分区数取模运算。
Flume关键配置为：Flume将设备编码设置为k，自动根据设备编码分区，这样同一设备的数据就会进入Kafka相同的分区，保证同一设备的数据取出时有序，从而存储到Hbase和Redis均保持时间有序。
基于上述实施例中的内容，作为一种可选地的实施例，本发明提供的基于大数据云计算的时序数据处理方法，所述利用Spark Streaming对所述Kafka消息集群中的点位时序数据进行解析处理，并将处理结果存储到目标数据库中，包括：从所述Kafka消息集群中拉取所述点位时序数据；根据所述预设通讯协议，对所述点位时序数据进行解析处理，并将处理后的点位时序数据存储到所述目标数据库中；所述目标数据库至少包括以下数据库中的一种：Redis数据库、Hbase数据库。
具体地，Spark Streaming流式处理引擎直接对接Kafka集群，每个消费者负载8个分区，定时周期性从Kafka消息集群获取缓存的点位时序数据，根据预设通讯协议抽象的对象模型，解析出设备编码、各监控点位数据、时间戳，存储到Redis成为实时数据流；通过Phoenix存储到Hbase成为历史数据。
其中，Phoenix是Apache的顶级项目，构建在Hbase之上的开源SQL层。它不仅可以使用标准的JDBC API替代Hbase Client API创建表，插入和查询Hbase，也支持二级索引、事物以及多种SQL层优化。
可选地，Spark Streaming 流式处理引擎直接对接Kafka集群，具体指：SparkStreaming整合Kafka中的Direct直连模式。该模式在任务执行中直接开启和Kafka分区数相同数量的任务去拉取Kafka分区中的点位时序数据，整个过程Kafka分区和创建的任务是一一对应的关系。本发明采用的Direct直连模式是典型的平行运算模式，能够以非常高的效率拉取Kafka分区中的点位时序数据。
图3是本发明提供的基于大数据云计算的时序数据处理方法的流程示意图之二，如图3所示，在执行本发明的过程中主要涉及到了数据发送引擎、Netty数据接收引擎、Kafka消息缓存系统、Spark Streaming流式数据处理引擎以及Hbase数据库和Redis缓存。
数据发送引擎，用于将采集节点采集的点位时序数据发送至分布式采集器；Netty数据接收引擎，可以为分布式采集器用于接收数据发送引擎发送的点位时序数据；Flume日志收集系统，主要用于收集Netty数据接收引擎通过Nginx avro流反向代理发送过来的点位时序数据；Kafka消息缓存系统，主要用于将Flume日志系统收集的点位时序数据存储至Kafka集群；Spark Streaming流式数据处理引擎，用于拉取、处理Kafka消息缓存系统中的点位时序数据；点位时序数据大数据清洗、分析后保存到Hbase数据库，线程异步保存到Redis缓存。
本发明提供的基于大数据云计算的时序数据处理方法，能够提高大数据并发能力、吞吐量并能提高多维度数据聚合查询的效率。
图4是本发明提供的基于大数据云计算的时序数据处理装置的结构示意图，如图4所示，所述装置包括：采集模块401，缓存模块402，处理模块403。
其中，采集模块401，用于获取各采集节点的点位时序数据；
缓存模块402，用于根据所述采集节点的设备编码，将所述点位时序数据缓存至分布式消息系统中预先创建的与设备编码对应的分区；
处理模块403，用于利用大数据流式处理引擎按照预设处理频率对所述分区内的点位时序数据进行解析处理，并将处理后的点位时序数据存储到目标数据库中。
需要说明的是，本发明实施例提供的基于大数据云计算的时序数据处理装置，在具体运行时，可以执行上述任一实施例所述的基于大数据云计算的时序数据处理方法，对此本实施例不作赘述。
本发明提供的基于大数据云计算的时序数据处理装置，通过将获取的各采集节点的点位时序数据存储到Kafka消息集群中，并利用Spark Streaming对所述Kafka消息集群中的点位时序数据进行解析处理，并将处理结果存储到目标数据库中，从而提高了点位时序数据的采集、传输、分析、存储过程的处理效率，以便于后续对点位时序数据的查询以及利用。
图5是本发明提供的电子设备的结构示意图，如图5所示，该电子设备可以包括：处理器（processor）510、通信接口（Communications Interface）520、存储器（memory）530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行基于大数据云计算的时序数据处理方法，该方法包括：获取各采集节点的点位时序数据；根据所述采集节点的设备编码，将所述点位时序数据缓存至分布式消息系统中预先创建的与设备编码对应的分区；利用大数据流式处理引擎按照预设处理频率对所述分区内的点位时序数据进行解析处理，并将处理后的点位时序数据存储到目标数据库中。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各实施例所提供的基于大数据云计算的时序数据处理方法，该方法包括：获取各采集节点的点位时序数据；根据所述采集节点的设备编码，将所述点位时序数据缓存至分布式消息系统中预先创建的与设备编码对应的分区；利用大数据流式处理引擎按照预设处理频率对所述分区内的点位时序数据进行解析处理，并将处理后的点位时序数据存储到目标数据库中。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于大数据云计算的时序数据处理方法，该方法包括：获取各采集节点的点位时序数据；根据所述采集节点的设备编码，将所述点位时序数据缓存至分布式消息系统中预先创建的与设备编码对应的分区；利用大数据流式处理引擎按照预设处理频率对所述分区内的点位时序数据进行解析处理，并将处理后的点位时序数据存储到目标数据库中。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于大数据云计算的时序数据处理方法，其特征在于，包括：
获取各采集节点的点位时序数据；
根据所述采集节点的设备编码，将所述点位时序数据缓存至分布式消息系统中预先创建的与设备编码对应的分区；
利用大数据流式处理引擎按照预设处理频率对所述分区内的点位时序数据进行解析处理，并将处理后的点位时序数据存储到目标数据库中。
2.根据权利要求1所述的基于大数据云计算的时序数据处理方法，其特征在于，所述获取各采集节点的点位时序数据，包括：
利用数据采集服务器接收所述点位时序数据，并将所述点位时序数据转发至反向代理服务器；所述点位时序数据是由所述采集节点按照预设通讯协议发送的；
基于日志收集系统，从所述反向代理服务器中采集所述点位时序数据。
3.根据权利要求2所述的基于大数据云计算的时序数据处理方法，其特征在于，所述利用数据采集服务器接收所述点位时序数据，并将所述点位时序数据转发至反向代理服务器，包括：
利用所述数据采集服务器对所述点位时序数据进行完整性判断；
在所述数据采集服务器确定所述点位时序数据为整包数据的情况下，将所述点位时序数据转发至所述反向代理服务器。
4.根据权利要求2所述的基于大数据云计算的时序数据处理方法，其特征在于，在所述分布式消息系统为Kafka消息集群，所述大数据流式处理引擎为Spark Streaming的情况下，所述利用大数据流式处理引擎按照预设处理频率对所述分区内的点位时序数据进行解析处理，并将处理后的点位时序数据存储到目标数据库中，包括：
利用Spark Streaming按照所述预设处理频率从所述Kafka消息集群的分区中拉取所述点位时序数据；
根据所述预设通讯协议，对所述点位时序数据进行解析处理，并将处理后的点位时序数据存储到所述目标数据库中；
所述目标数据库至少包括以下数据库中的一种：Redis数据库、Hbase数据库。
5.根据权利要求2所述的基于大数据云计算的时序数据处理方法，其特征在于，按照预设通讯协议发送的点位时序数据包括以下数据中的至少一项：
功能码、数据域长度、设备编码、各监控点位数据、时间戳。
6.根据权利要求2所述的基于大数据云计算的时序数据处理方法，其特征在于，所述数据采集服务器为基于Netty框架的集群服务器，所述反向代理服务器为Nginx服务器。
7.根据权利要求2所述的基于大数据云计算的时序数据处理方法，其特征在于，所述日志收集系统为Flume。
8.一种基于大数据云计算的时序数据处理装置，其特征在于，包括：采集模块，缓存模块，处理模块；
其中，采集模块，用于获取各采集节点的点位时序数据；
缓存模块，用于根据所述采集节点的设备编码，将所述点位时序数据缓存至分布式消息系统中预先创建的与设备编码对应的分区；
处理模块，用于利用大数据流式处理引擎按照预设处理频率对所述分区内的点位时序数据进行解析处理，并将处理后的点位时序数据存储到目标数据库中。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述基于大数据云计算的时序数据处理方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于大数据云计算的时序数据处理方法的步骤。
CN202211113252.6A 2022-09-14 2022-09-14 基于大数据云计算的时序数据处理方法及装置 Pending CN115391429A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211113252.6A CN115391429A (zh) 2022-09-14 2022-09-14 基于大数据云计算的时序数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211113252.6A CN115391429A (zh) 2022-09-14 2022-09-14 基于大数据云计算的时序数据处理方法及装置

Publications (1)

Publication Number Publication Date
CN115391429A true CN115391429A (zh) 2022-11-25

Family

ID=84126557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211113252.6A Pending CN115391429A (zh) 2022-09-14 2022-09-14 基于大数据云计算的时序数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN115391429A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117193674A (zh) * 2023-11-08 2023-12-08 浪潮软件科技有限公司 一种提升物联网设备海量数据存取效能的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107749826A (zh) * 2017-09-15 2018-03-02 深圳市盛路物联通讯技术有限公司 一种数据包转发方法及系统
CN111143158A (zh) * 2019-12-04 2020-05-12 武汉光谷信息技术股份有限公司 一种监控数据实时存储方法、系统、电子设备及存储介质
CN111209258A (zh) * 2019-12-31 2020-05-29 航天信息股份有限公司 税务端系统日志实时分析方法、设备、介质及系统
CN112632127A (zh) * 2020-12-29 2021-04-09 国华卫星数据科技有限公司 设备运行实时数据采集及时序的数据处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107749826A (zh) * 2017-09-15 2018-03-02 深圳市盛路物联通讯技术有限公司 一种数据包转发方法及系统
CN111143158A (zh) * 2019-12-04 2020-05-12 武汉光谷信息技术股份有限公司 一种监控数据实时存储方法、系统、电子设备及存储介质
CN111209258A (zh) * 2019-12-31 2020-05-29 航天信息股份有限公司 税务端系统日志实时分析方法、设备、介质及系统
CN112632127A (zh) * 2020-12-29 2021-04-09 国华卫星数据科技有限公司 设备运行实时数据采集及时序的数据处理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117193674A (zh) * 2023-11-08 2023-12-08 浪潮软件科技有限公司 一种提升物联网设备海量数据存取效能的方法及装置
CN117193674B (zh) * 2023-11-08 2024-03-29 浪潮软件科技有限公司 一种提升物联网设备海量数据存取效能的方法及装置

Similar Documents

Publication Publication Date Title
CN108628929B (zh) 用于智能存档和分析的方法和装置
CN109918349B (zh) 日志处理方法、装置、存储介质和电子装置
CN111949633A (zh) 一种基于并行流处理的ict系统运行日志分析方法
CN112347071B (zh) 一种配电网云平台数据融合方法及配电网云平台
CN111259073A (zh) 基于日志、流量和业务访问的业务系统运行状态智能研判系统
CN113360554A (zh) 一种数据抽取、转换和加载etl的方法和设备
CN113448812A (zh) 微服务场景下的监控告警方法及装置
CN112148578A (zh) 基于机器学习的it故障缺陷预测方法
CN112749153A (zh) 一种工业网络数据管理系统
Dunne et al. A comparison of data streaming frameworks for anomaly detection in embedded systems
CN112559634A (zh) 一种基于计算机云计算大数据用数据管理系统
CN115391429A (zh) 基于大数据云计算的时序数据处理方法及装置
CN109167672B (zh) 一种回源错误定位方法、装置、存储介质以及系统
CN111049898A (zh) 一种实现计算集群资源跨域架构的方法及系统
CN111209314A (zh) 一种电力信息系统海量日志数据实时处理系统
CN116366692A (zh) 一种高性能智能边缘终端系统
CN116506300A (zh) 一种网站流量数据统计方法和系统
CN103226572A (zh) 一种基于数据压缩的可扩展的监控方法及系统
CN112506960B (zh) 基于ArangoDB引擎的多模型数据存储方法及系统
CN114417796A (zh) 一种基于设备采点的动态报表统计方法及系统
Racka Apache Nifi As A Tool For Stream Processing Of Measurement Data
Li et al. Research on Artificial Intelligence Industrial Big Data Platform for Industrial Internet Applications
CN113872814A (zh) 内容分发网络的信息处理方法、装置和系统
CN112101894A (zh) 选煤智能系统
CN112261108A (zh) 一种基于大数据共享服务的集群管理平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination