CN114218245A - 数据处理的方法、装置和电子设备 - Google Patents

数据处理的方法、装置和电子设备 Download PDF

Info

Publication number
CN114218245A
CN114218245A CN202210159549.XA CN202210159549A CN114218245A CN 114218245 A CN114218245 A CN 114218245A CN 202210159549 A CN202210159549 A CN 202210159549A CN 114218245 A CN114218245 A CN 114218245A
Authority
CN
China
Prior art keywords
power data
data
analysis
time sequence
relational database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210159549.XA
Other languages
English (en)
Inventor
王鹏
于希娟
林涛
赵贺
张淼
于浩然
王志勇
于洋
宣振文
温明时
郝佳凯
王超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dingcheng Hongan Technology Development Co ltd
State Grid Corp of China SGCC
State Grid Beijing Electric Power Co Ltd
Original Assignee
Beijing Dingcheng Hongan Technology Development Co ltd
State Grid Corp of China SGCC
State Grid Beijing Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dingcheng Hongan Technology Development Co ltd, State Grid Corp of China SGCC, State Grid Beijing Electric Power Co Ltd filed Critical Beijing Dingcheng Hongan Technology Development Co ltd
Priority to CN202210159549.XA priority Critical patent/CN114218245A/zh
Publication of CN114218245A publication Critical patent/CN114218245A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/06Electricity, gas or water supply
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02EREDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E40/00Technologies for an efficient electrical power generation, transmission or distribution
    • Y02E40/70Smart grids as climate change mitigation technology in the energy generation sector
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04SSYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Abstract

本申请公开了一种数据处理的方法、装置和电子设备。其中,该方法包括:接收终端采集的电力设备上的电力数据;将所述电力数据传输至前置服务器进行解析,得到原始电力数据,并将所述原始电力数据通过中间件存入时序数据库;将所述原始电力数据缓存至所述前置服务器中的分析模块进行分析,将分析结果存入关系数据库。本申请解决了传统的电网数据监测系统在采集端将电力数据分析的结果回传,造成大量原始电力数据缺失的技术问题。

Description

数据处理的方法、装置和电子设备
技术领域
本申请涉及计算机领域,具体而言,涉及一种数据处理的方法、装置和电子设备。
背景技术
电网数据的实时监测一直是电网运维环节中的重要组成部分,通过实时采集电网数据,可以做到对电网数据的长期、稳定收集。利用相应的数据分析平台即可实现对电网情况的动态、准确把握,能够第一时间对电网系统中出现的故障或异常状况的及时提示和预警。同时数据后台管理系统将实现历史数据的有序入库,支持历史数据的查询调用,实现重要历史数据的进一步分析。不过,受限于传统数据传输方式的限制,传统的电网数据监测只能采集和传输少量数据,无法直接传输原始波形,这就使得传统数据分析平台能够分析的内容受到明显的限制。同时由于数据传输的实时性也不能完全保障,因此也无法做到高精度的实时、多数据分析。
5G技术的发展和应用改变了这一现状,使得电力系统监测终端将原始波形数据的实时上传、分析成为了可能,但同时也带来了新的问题。由于传统的电网数据监测系统难以快速、及时地处理短时间内产生的海量数据,因此亟需一种能够将大量监测终端高速高并发产生的时序数据进行存储、管理、分析、应用和展示的全新电网监测系统。CN111611224A公开了一种基于消息机制的调度历史数据共享系统及其共享方法,按数据类型特征分解成不同的历史数据服务,CN109033126A公开了一种基于实时PI数据库的电网海量遥测数据查询应用方法,可提供电网海量遥测数据的精细数据查询,CN210669632U提供了一种用于省级电网的巡视机器人集控主站系统,基于采集、传输、处理和融合技术实现多源异构系统的交互数据。现有技术使用传统的电网监测系统,在采集端完成数据分析,并将分析后的数据结果回传,导致大量原始数据的缺失,且无法自由设定分析的内容。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种数据处理的方法、装置和电子设备,以至少解决传统的电网数据监测系统在采集端将电力数据分析的结果回传,造成大量原始电力数据缺失的技术问题。
根据本申请实施例的一个方面,提供了一种数据处理的方法,包括:接收终端采集的电力设备上的电力数据;将电力数据传输至前置服务器进行解析,得到原始电力数据,并将原始电力数据通过中间件存入时序数据库;将原始电力数据缓存至前置服务器中的分析模块进行分析,将分析结果存入关系数据库。
可选地,终端采集的电力设备上的电力数据至少以文件流或指定协议封装的字节流的形式传输。
可选地,将分析结果存入关系数据库之前,方法包括:将分析结果传输至应用服务器中,通过调用应用服务器中的关系数据库的接口,将分析结果存入关系数据库中。
可选地,应用服务器设置有显示窗口,显示窗口用于显示分析结果,其中,显示分析结果的数据量的大小依据显示窗口的宽度和终端的采样频率确定。
可选地,将原始电力数据通过中间件存入时序数据库之前,方法包括:检测时序数据库的剩余容量,当时序数据库的剩余容量低于第一阈值时,控制时序数据库进行提示,其中,第一阈值为时序数据库的剩余容量与时序数据库的总容量的预设比值。
可选地,将分析结果存入关系数据库之前,方法还包括:检测关系数据库的剩余容量,当关系数据库的剩余容量低于第二阈值时,控制关系数据库进行提示,其中,第二阈值为关系数据库的剩余容量与关系数据库的总容量的预设比值。
根据本申请实施例的另一方面,还提供了一种数据处理的装置,包括:接收模块,用于接收终端采集的电力设备上的电力数据;解析模块,用于将电力数据传输至前置服务器进行解析,得到原始电力数据,并将原始电力数据通过中间件存入时序数据库;处理模块,用于将原始电力数据缓存至前置服务器中的分析模块进行分析,将分析结果存入关系数据库。
可选地,终端采集的电力设备上的电力数据至少以文件流或指定协议封装的字节流的形式传输。
根据本申请实施例的又一方面,还提供了一种电子设备,包括:存储器,用于存储程序指令;处理器,与存储器连接,用于执行实现以下功能的程序指令:接收终端采集的电力设备上的电力数据;将电力数据传输至前置服务器进行解析,得到原始电力数据,并将原始电力数据通过中间件存入时序数据库;将原始电力数据缓存至前置服务器中的分析模块进行分析,将分析结果存入关系数据库。
根据本申请实施例的再一方面,还提供了一种非易失性存储介质,该非易失性存储介质包括存储的程序,其中,在程序运行时控制该非易失性存储介质所在设备执行以上的数据处理的方法。
在本申请实施例中,将原始电力数据和分析结果分开存储的方式,通过终端采集电力设备上的电力数据,将电力数据传输至前置服务器进行解析,得到原始电力数据,并将原始电力数据通过中间件存入时序数据库;将原始电力数据缓存至前置服务器中的分析模块进行分析,将分析结果存入关系数据库,达到了减少原始数据丢失的目的,同时终端可以将采集的多种电力数据全部传回前置服务器,并通过中间件实现了将原始电力数据快速存入时序数据库的技术效果,进而解决了传统的电网数据监测系统在采集端将电力数据分析的结果回传,造成大量原始电力数据缺失的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的一种用于实现数据处理的方法的计算机终端(或电子设备)的硬件结构框图;
图2是根据本申请实施例的一种的数据处理的方法的流程图;
图3是根据本申请实施例的一种数据处理的装置的结构图;
图4是根据现有技术的一种传统电网监测系统架构的示意图;
图5是根据本申请实施例的一种基于5G的电网监测系统的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例,提供了一种数据处理的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例所提供的数据处理的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现数据处理的方法的计算机终端(或电子设备)的硬件结构框图。如图1所示,计算机终端10(或电子设备10)可以包括一个或多个(图中采用102a、102b,……,102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。除此以外,还可以包括:显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到计算机终端10(或电子设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块,如本申请实施例中的数据处理的方法对应的程序指令/数据存储装置,处理器102通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的数据处理的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输模块106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD),该液晶显示器可使得用户能够与计算机终端10(或电子设备)的用户界面进行交互。
此处需要说明的是,在一些可选实施例中,上述图1所示的计算机设备(或电子设备)可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是,图1仅为特定具体实例的一个实例,并且旨在示出可存在于上述计算机设备(或电子设备)中的部件的类型。
在上述运行环境下,本申请实施例提供了如图2所示的数据处理的方法。图2是根据本申请实施例的一种数据处理的方法的流程图,如图2所示,该方法包括如下步骤:
步骤S202,接收终端采集的电力设备上的电力数据;
步骤S204,将电力数据传输至前置服务器进行解析,得到原始电力数据,并将原始电力数据通过中间件存入时序数据库;
步骤S206,将原始电力数据缓存至前置服务器中的分析模块进行分析,将分析结果存入关系数据库。
通过上述步骤,将原始电力数据和分析结果分开存储的方式,通过终端采集电力设备上的电力数据,将电力数据传输至前置服务器进行解析,得到原始电力数据,并将原始电力数据通过中间件存入时序数据库;将原始电力数据缓存至前置服务器中的分析模块进行分析,将分析结果存入关系数据库,达到了减少原始数据丢失的目的,同时终端可以将采集的多种电力数据全部传回前置服务器,并通过中间件实现了将原始电力数据快速存入时序数据库的技术效果,进而解决了传统的电网数据监测系统在采集端将电力数据分析的结果回传,造成大量原始电力数据缺失的技术问题。
在该数据处理的方法的步骤S202中,终端采集的电力设备上的电力数据至少以文件流或指定协议封装的字节流的形式传输。前置服务器解析得到的原始电力数据包括以下至少之一:电压、电流、采集时间、终端编号。由于有多个终端,不同的终端采集不同地方的电力数据,所以每个终端有一个终端编号,终端编号用于区分原始电力数据的来源终端。
在该数据处理的方法的步骤S204中,前置服务器用于接收终端传输的电力数据并进行解析,得到原始电力数据,在前置服务器中设有缓存模块和分析模块,缓存模块用于缓存全部的原始电力数据,分析模块从缓存模块中提取原始电力数据并分析,得到分析结果。
在该数据处理的方法的步骤S204中,如果前置服务器解析得到的原始电力数据的数据量大于预设阈值,则将原始电力数据通过中间件存入时序数据库,具体包括:将原始电力数据至少通过消息队列或流计算等中间件,传输至时序库服务器中,并通过调用时序服务器中的时序数据库的接口,将原始电力数据存入时序数据库中。其中,中间件设置在前置服务器和时序服务器之间,前置服务器将解析后得到的原始电力数据放入中间件,中间件按照先进先出的顺序,实现将原始电力数据快速存入时序数据库。
在将原始电力数据通过中间件存入时序数据库之前,需要执行如下步骤:检测时序数据库的剩余容量,当时序数据库的剩余容量低于第一阈值时,控制时序数据库进行提示,其中,第一阈值为时序数据库的剩余容量与时序数据库的总容量的预设比值,如预设比值为15%或者更低;提示方式包括但不限于声音、图像、邮件、短信中的一种或多种;时序数据库中存储的原始电力数据有保存时间上限,超过保存上限的原始电力数据会被删除,其中,保存上限为七天。
需要说明的是,在原始电力数据不经过中间件存入时序数据库中的情况下,也同样需要检测时序数据库的剩余容量,检测过程和上述过程一致,此处不再赘述。
如果前置服务器解析得到的原始电力数据的数据量小于预设阈值,则前置服务器不经过消息中间件,将解析得到的原始电力数据直接传输至时序服务器中,并通过调用时序服务器中的时序数据库的接口,将原始电力数据存入时序数据库中。
在该数据处理的方法的步骤S206中,将分析结果存入关系数据库之前,需要执行如下步骤:将分析结果传输至应用服务器中,通过调用应用服务器中的关系数据库的接口,将分析结果存入关系数据库中。应用服务器设置有显示窗口,显示窗口用于显示分析结果,其中,显示分析结果的数据量的大小依据显示窗口的宽度W和终端的采样频率F确定,终端的采样频率F为可设置的,将显示分析结果的数据量记为N,则具体计算公式为:N=F×W。
在将分析结果存入关系数据库之前,需要执行如下步骤:检测关系数据库的剩余容量,当关系数据库的剩余容量低于第二阈值时,控制关系数据库进行提示,其中,第二阈值为关系数据库的剩余容量与关系数据库的总容量的预设比值,如预设比值为15%或者更低,提示方式包括但不限于声音、图像、邮件、短信中的一种或多种。
图3是根据本申请实施例的一种数据处理的装置的结构图,如图3所示,该装置包括:
接收模块30,用于接收终端采集的电力设备上的电力数据;
解析模块32,用于将电力数据传输至前置服务器进行解析,得到原始电力数据,并将原始电力数据通过中间件存入时序数据库;
处理模块34,用于将原始电力数据缓存至前置服务器中的分析模块进行分析,将分析结果存入关系数据库。
在该数据处理的装置的接收模块30中,终端采集的电力设备上的电力数据至少以文件流或指定协议封装的字节流的形式传输。
在该数据处理的装置的解析模块32中,将原始电力数据通过中间件存入时序数据库之前,解析模块32需要先检测时序数据库的剩余容量,当时序数据库的剩余容量低于第一阈值时,控制时序数据库进行提示,其中,第一阈值为时序数据库的剩余容量与时序数据库的总容量的预设比值。
在该数据处理的装置的处理模块34中,将分析结果存入关系数据库之前,具体需要执行如下过程:将分析结果传输至应用服务器中,通过调用应用服务器中的关系数据库的接口,将分析结果存入关系数据库中。应用服务器设置有显示窗口,显示窗口用于显示分析结果,其中,显示分析结果的数据量的大小依据显示窗口的宽度和终端的采样频率确定。
在该数据处理的装置的处理模块34中,将分析结果存入关系数据库之前,处理模块34需要先检测关系数据库的剩余容量,当关系数据库的剩余容量低于第二阈值时,控制关系数据库进行提示,其中,第二阈值为关系数据库的剩余容量与关系数据库的总容量的预设比值。
需要说明的是,图3所示的数据处理的装置用于执行图2所示的数据处理的方法,因此上述数据处理的方法中的相关解释说明也适用于该数据处理的装置,此处不再赘述。
本申请实施例还提供了一种非易失性存储介质,该非易失性存储介质包括存储的程序,其中,在程序运行时控制该非易失性存储介质所在设备执行以下数据处理的方法:
接收终端采集的电力设备上的电力数据;
将电力数据传输至前置服务器进行解析,得到原始电力数据,并将原始电力数据通过中间件存入时序数据库;
将原始电力数据缓存至前置服务器中的分析模块进行分析,将分析结果存入关系数据库。
在上述方法中,终端采集的电力设备上的电力数据至少以文件流或指定协议封装的字节流的形式传输。
将分析结果存入关系数据库之前,具体表现为:将分析结果传输至应用服务器中,通过调用应用服务器中的关系数据库的接口,将分析结果存入关系数据库中。
应用服务器设置有显示窗口,显示窗口用于显示分析结果,其中,显示分析结果的数据量的大小依据显示窗口的宽度和终端的采样频率确定。
将原始电力数据通过中间件存入时序数据库之前,方法需要执行如下步骤:检测时序数据库的剩余容量,当时序数据库的剩余容量低于第一阈值时,控制时序数据库进行提示,其中,第一阈值为时序数据库的剩余容量与时序数据库的总容量的预设比值。
将分析结果存入关系数据库之前,方法还需要执行如下步骤:检测关系数据库的剩余容量,当关系数据库的剩余容量低于第二阈值时,控制关系数据库进行提示,其中,第二阈值为关系数据库的剩余容量与关系数据库的总容量的预设比值。
图4是根据相关技术的一种传统电网监测系统架构的示意图,如图4所示,该架构包括:传感器、采集端和后台三部分,其中传感器用于实时获取电力设备的电力数据,并通过有线连接的方式与采集端相连,同时将获取到的电力数据以模拟信号的形式传输到采集端;采集端用于实现电力数据的模拟信号和数字信号之间的转换,即AD转换,同时采集端对从传感器传输的电力数据进行专业计算分析,进而实现与后台的通信功能,采集端通过有线通信或无线通信的方式,将分析后的结果数据传输至后台;后台用于监测、展示和记录采集端传输的电力数据,并对电力数据进行统计分析。
这种传统电网监测系统会受到传输方式的限制,能够传输的电力数据的数据量有限,因此传统电网监测系统在采集端完成对电力数据的分析,并且将分析后的结果数据回传,从而导致大量原始的电力数据缺失,同时,传统电网监测系统无法实现对分析内容的自由设定。
图5所示的基于5G的电网监测系统可以实现上述数据处理的方法,与传统电网监测系统不同,基于5G的电网监测系统,如图5所示的示意图,包括:终端、前置服务器、时序库服务器、应用服务器、时序数据库和关系数据库。其中,终端被设置在电力设备附近,用于采集电力设备上的原始电力数据,并通过5G网络将原始电力数据至少以文件流或指定协议封装的字节流的形式传输至前置服务器,其中,原始电力数据至少包括电压、电流、采集时间、终端编号,由于有多个终端,不同的终端采集不同地方的原始电力数据,所以每个终端有一个终端编号,故使用终端编号区分原始电力数据的来源终端。
前置服务器用于接收终端传输的电力数据并进行解析,得到原始电力数据,在前置服务器中设有缓存模块和分析模块,缓存模块用于缓存全部的原始电力数据,分析模块从缓存模块中提取原始电力数据并分析,得到分析结果,并将分析结果传输至应用服务器中,通过调用应用服务器中的关系数据库的接口,将分析结果存入关系数据库中。从图5中可以得知,前置服务器一方面可以将最新数据放入内存,同时进行实时监测、预警、分析,另一方面,前置服务器将数据传送给相关的中间件。应用程序定时从前置服务器中获取实时监测、预警、分析的结果数据,并存入应用服务器中的关系数据库中,并可以获取前置服务器的节点信息和相关状态,具体地,节点信息包括但不限于前置服务器的设备型号、机器IP等,相关状态包括但不限于前置服务器是否在线等。
在前置服务器中设置有判断模块,该判断模块用于判断原始电力数据的数据量,如果判断模块判断出原始电力数据的数据量大于预设阈值,则将原始电力数据通过中间件存入时序数据库,具体包括:将原始电力数据至少通过消息队列或流计算等中间件,传输至时序库服务器中,并通过调用时序服务器中的时序数据库的接口,将原始电力数据存入时序数据库中。其中,中间件设置在前置服务器和时序服务器之间,前置服务器将解析后得到的原始电力数据放入中间件,中间件按照先进先出的顺序,实现将原始电力数据快速存入时序数据库。在图5所示的电网监测系统中,应用程序通过查询时序数据库的历史数据对外提供的相关接口,获取时序库服务器的节点信息和相关状态,具体地,节点信息包括但不限于时序库服务器的设备型号、机器IP等,相关状态包括但不限于时序库服务器是否在线等。
如果判断模块判断出原始电力数据的数据量小于预设阈值,则前置服务器不经过消息中间件,将解析得到的原始电力数据直接传输至时序服务器中,并通过调用时序服务器中的时序数据库的接口,将原始电力数据存入时序数据库中。
在图5所示的电网监测系统中,应用服务器中至少存储有终端设备的基础信息和相关状态,具体地,终端设备的基础信息至少包括设备型号、设备简介等,相关状态至少包括终端设备是否在线等。前置服务器实时监测、预警、分析的结果存入关系数据库,应用服务器维护硬件设备的同时,也可以维护前置服务器节点的基础信息(设备型号、IP、简介等)和相关状态(是否在线等),还可以维护关系数据库和时序数据库的节点信息。应用服务器设置有显示窗口,应用服务器接收分析模块传输的分析结果,并将分析结果在显示窗口进行显示,其中,显示分析结果的数据量依据显示窗口的宽度W和终端的采样频率F确定,终端的采样频率F为可设置的,将显示分析结果的数据量记为N,则具体计算公式为:N=F×W。
将分析结果存入关系数据库之前,需要检测关系数据库的剩余容量,当关系数据库的剩余容量低于第二阈值时,控制关系数据库进行提示,以提醒运维人员清理数据,其中,第二阈值为关系数据库的剩余容量与关系数据库的总容量的预设比值,如预设比值为15%或者更低,提示方式包括但不限于声音、图像、邮件、短信中的一种或多种。
将原始电力数据通过中间件存入时序数据库之前,需要检测时序数据库的剩余容量,当时序数据库的剩余容量低于第一阈值时,控制时序数据库进行提示,以提醒运维人员清理数据,其中,第一阈值为时序数据库的剩余容量与时序数据库的总容量的预设比值,如预设比值为15%或者更低;提示方式包括但不限于声音、图像、邮件、短信中的一种或多种;时序数据库中存储的原始电力数据有保存时间上限,超过保存上限的原始电力数据会被删除,其中,保存上限为七天。
在原始电力数据不经过中间件存入时序数据库中的情况下,也同样需要检测时序数据库的剩余容量,检测过程如上述所示,此处不再赘述。
通过本申请能够充分利用5G网络快速、大容量的特性,存储、分析海量电力数据,既提升了能够处理的数据量、丰富了能够分析的内容,又不会给系统造成太大的负担。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种数据处理的方法,其特征在于,包括:
接收终端采集的电力设备上的电力数据;
将所述电力数据传输至前置服务器进行解析,得到原始电力数据,并将所述原始电力数据通过中间件存入时序数据库;
将所述原始电力数据缓存至所述前置服务器中的分析模块进行分析,将分析结果存入关系数据库。
2.根据权利要求1所述的方法,其特征在于,所述终端采集的电力设备上的电力数据至少以文件流或指定协议封装的字节流的形式传输。
3.根据权利要求1所述的方法,其特征在于,所述将分析结果存入关系数据库之前,所述方法包括:将所述分析结果传输至应用服务器中,通过调用所述应用服务器中的所述关系数据库的接口,将所述分析结果存入所述关系数据库中。
4.根据权利要求3所述的方法,其特征在于,所述应用服务器设置有显示窗口,所述显示窗口用于显示所述分析结果,其中,显示所述分析结果的数据量的大小依据所述显示窗口的宽度和所述终端的采样频率确定。
5.根据权利要求1所述的方法,其特征在于,所述将所述原始电力数据通过中间件存入时序数据库之前,所述方法包括:检测所述时序数据库的剩余容量,当所述时序数据库的剩余容量低于第一阈值时,控制所述时序数据库进行提示,其中,所述第一阈值为所述时序数据库的剩余容量与所述时序数据库的总容量的预设比值。
6.根据权利要求1所述的方法,其特征在于,所述将分析结果存入关系数据库之前,所述方法还包括:检测所述关系数据库的剩余容量,当所述关系数据库的剩余容量低于第二阈值时,控制所述关系数据库进行提示,其中,所述第二阈值为所述关系数据库的剩余容量与所述关系数据库的总容量的预设比值。
7.一种数据处理的装置,其特征在于,包括:
接收模块,用于接收终端采集的电力设备上的电力数据;
解析模块,用于将所述电力数据传输至前置服务器进行解析,得到原始电力数据,并将所述原始电力数据通过中间件存入时序数据库;
处理模块,用于将所述原始电力数据缓存至所述前置服务器中的分析模块进行分析,将分析结果存入关系数据库。
8.根据权利要求7所述的装置,其特征在于,所述终端采集的电力设备上的电力数据至少以文件流或指定协议封装的字节流的形式传输。
9.一种电子设备,其特征在于,包括:
存储器,用于存储程序指令;
处理器,与所述存储器连接,用于执行实现以下功能的程序指令:接收终端采集的电力设备上的电力数据;将所述电力数据传输至前置服务器进行解析,得到原始电力数据,并将所述原始电力数据通过中间件存入时序数据库;将所述原始电力数据缓存至所述前置服务器中的分析模块进行分析,将分析结果存入关系数据库。
10.一种非易失性存储介质,其特征在于,所述非易失性存储介质包括存储的程序,其中,在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至6中任意一项所述的数据处理的方法。
CN202210159549.XA 2022-02-22 2022-02-22 数据处理的方法、装置和电子设备 Pending CN114218245A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210159549.XA CN114218245A (zh) 2022-02-22 2022-02-22 数据处理的方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210159549.XA CN114218245A (zh) 2022-02-22 2022-02-22 数据处理的方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN114218245A true CN114218245A (zh) 2022-03-22

Family

ID=80709206

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210159549.XA Pending CN114218245A (zh) 2022-02-22 2022-02-22 数据处理的方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN114218245A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104317800A (zh) * 2014-09-19 2015-01-28 山东大学 一种海量智能用电数据混合存储系统及方法
CN109704199A (zh) * 2018-12-29 2019-05-03 明光利拓智能科技有限公司 一种多线程桥式起重机数据采集处理系统及方法
CN111581196A (zh) * 2020-04-29 2020-08-25 深圳市双合电气股份有限公司 基于智能工厂框架的供配用电网智能数据采集整理系统
CN113495903A (zh) * 2021-09-08 2021-10-12 西安热工研究院有限公司 电力时序数据库缓存方法、系统、设备及可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104317800A (zh) * 2014-09-19 2015-01-28 山东大学 一种海量智能用电数据混合存储系统及方法
CN109704199A (zh) * 2018-12-29 2019-05-03 明光利拓智能科技有限公司 一种多线程桥式起重机数据采集处理系统及方法
CN111581196A (zh) * 2020-04-29 2020-08-25 深圳市双合电气股份有限公司 基于智能工厂框架的供配用电网智能数据采集整理系统
CN113495903A (zh) * 2021-09-08 2021-10-12 西安热工研究院有限公司 电力时序数据库缓存方法、系统、设备及可读存储介质

Similar Documents

Publication Publication Date Title
EP3462214A1 (en) Environmental radiation monitoring station system
CN102420726A (zh) 智能变电站通信网络状态监测方法
CN107094086A (zh) 一种信息获取方法和装置
CN108427623A (zh) 一种计算机故障报警系统及方法
CN102668454A (zh) 用于提供移动电信系统中的性能管理的方法和操作支持系统
CN112839080B (zh) 一种基于配置实现采集、计算的边缘物联代理装置及方法
CN114138771B (zh) 异常数据的处理方法、装置及电子设备
CN111181246B (zh) 一种基于智能断路器的能耗分析方法及系统
CN114218245A (zh) 数据处理的方法、装置和电子设备
CN112782445A (zh) 虚拟仪器量测系统
CN107525955A (zh) 一种电表数据处理方法及装置
CN102621963A (zh) 基于客户端的生产监控系统
CN112419698B (zh) 基于配电线报文规范的电能表数据传输方法、系统及装置
CN113381880B (zh) 物联网设备管理方法、装置及系统
CN109450103A (zh) 压板的状态检测方法、装置及智能终端
CN108759901A (zh) 电网自行诊断系统及其方法
CN109462283A (zh) 智能变电站单个设备流量监控方法及系统
CN111355301B (zh) 一种基于遥控简报的遥控过程可视化系统
CN115940405A (zh) 基于5g的电力数据的监测方法、其装置及电子设备
CN112015726A (zh) 一种用户活跃度预测方法、系统及可读存储介质
CN105631606A (zh) 一种基于能量计量网络图的能源数据管理系统及方法
CN202085001U (zh) 用户侧电力设备运行系统
CN110647543A (zh) 数据聚合方法、装置以及存储介质
CN112203051B (zh) 一种信道分离的变电站设备运行状态全景监控系统及方法
CN104092311A (zh) 一种智能变电站业务状态监测的系统与方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220322