CN111131344A - 能源互联网云平台数据传输和存储的方法和系统 - Google Patents
能源互联网云平台数据传输和存储的方法和系统 Download PDFInfo
- Publication number
- CN111131344A CN111131344A CN201811276781.1A CN201811276781A CN111131344A CN 111131344 A CN111131344 A CN 111131344A CN 201811276781 A CN201811276781 A CN 201811276781A CN 111131344 A CN111131344 A CN 111131344A
- Authority
- CN
- China
- Prior art keywords
- data
- real
- database
- time
- storing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000003860 storage Methods 0.000 claims abstract description 40
- 230000005540 biological transmission Effects 0.000 claims abstract description 35
- 238000005070 sampling Methods 0.000 claims abstract description 8
- 230000003068 static effect Effects 0.000 claims description 85
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 3
- 230000011664 signaling Effects 0.000 description 15
- 238000005259 measurement Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 238000013499 data model Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 2
- 238000010248 power generation Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- NOQGZXFMHARMLW-UHFFFAOYSA-N Daminozide Chemical compound CN(C)NC(=O)CCC(O)=O NOQGZXFMHARMLW-UHFFFAOYSA-N 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000003345 natural gas Substances 0.000 description 1
- 238000003012 network analysis Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/565—Conversion or adaptation of application format or content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/26—Special purpose or proprietary protocols or architectures
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Computer Security & Cryptography (AREA)
- Telephonic Communication Services (AREA)
Abstract
提供了一种能源互联网云平台数据传输和存储的方法和系统。该方法包括：每当第一定时器期满时，通过Protobuf协议获取由站控端上传的实时遥测遥信数据，将获取的实时遥测遥信数据作为断面数据存储在第一数据库中，并将第一数据库中的断面数据作为全量数据存储在第二数据库中；每当第二定时器期满时，对第二数据库中的全量数据进行抽样，并将抽样数据存储在第三数据库中，其中，第一定期器的时间长度小于第二定时器的时间长度。
Description
技术领域
本发明涉及能源互联网运行控制领域，更具体地讲，涉及一种能源互联网云平台数据传输和存储的方法和系统。
背景技术
能源互联网云平台是能源互联网的运营支撑平台，为能源互联网生态圈中的各对象提供实时的在线监测、节能诊断、需求侧响应、智慧电务、能源交易等服务。与传统电网相比，能源互联网不仅对传统的设备层提出较高的要求，还对通讯层和数据层提出了更高的要求。大数据+云计算+云平台是能源互联网的基础。通过遍布于能源互联网内的传感器、监视器与控制器，可以将系统内大量的能源制造端、能源传输端与能源消费端联系起来，从而带来海量信息数据。海量数据为能源互联网提供充足的分析样本，为深入了解能源分布情况与合理制定能源分配策略奠定了信息基础。
云平台数据传输与采集模块主要是对电力系统、供热系统、供气系统和供水系统的设备状态信息和控制信息、线路和管道的流量信息等进行采集，综合考虑电、气、热网运行情况，通过“终端设备—云服务器”二层结构，经由通信网络将采集的信息上传至能源互联网的数据库，以供系统的监视、预测和优化等功能模块调用。通过合理地选择和监测设备的标志参量并对标志参量进行记录和上传，使得能效管理平台可根据预设信息利用合适的函数准确判断设备的运行状态。同时，管理平台将根据多个甚至多区域核心设备的参数进行统筹计算，从而在保证单个设备正常运行的同时兼顾设备、区域间的配合以实现系统高效运作。
然而，现有技术通过直接利用“终端设备—云服务器”二层结构将数据传输到云平台是一种典型的物联网的思维，混淆了能源互联网与物联网的区别，没有利用现有的边缘侧部署站控端平台，导致该二层结构具有通信不稳定、数据接入复杂、实时性不高、重复建设等问题。此外，市场上的能源互联网云平台是采用单一的关系型数据库直接对数据进行存储，并没有针对不同的业务设计不同的数据库类型及结构。此外，市场上的能源互联网云平台没有电力能源行业中的模型数据，只是单纯的遥测遥信单点信息，无法进行拓扑网络分析等高级应用的开发，极大地限制了能源互联网云平台的发展。
因此，提出一种高效的互联网云平台数据传输和存储的方法和系统，具有重大的现实意义。
发明内容
为了至少解决现有技术中存在的上述问题，本发明提供了一种能源互联网云平台数据传输和存储的方法和系统。
本发明的一方面在于提供一种能源互联网云平台数据传输和存储的方法，包括：每当第一定时器期满时，通过Protobuf协议获取由站控端上传的实时遥测遥信数据，将获取的实时遥测遥信数据作为断面数据存储在第一数据库中，并将第一数据库中的断面数据作为全量数据存储在第二数据库中；每当第二定时器期满时，对第二数据库中的全量数据进行抽样，并将抽样数据存储在第三数据库中，其中，第一定期器的时间长度小于第二定时器的时间长度。本发明通过站控端并利用Protobuf协议来传输实时遥测遥信数据，满足了遥测遥信数据的实时性高以及传输字节多的要求。
所述方法还可包括：每当第三定时器期满或触发事件发生时，通过HTTP协议获取由站控端上传的静态模型数据，并通过增量方式将获取的静态模型数据存储到第四数据库中。
通过HTTP协议获取由站控端上传的静态模型数据的步骤可包括：由站控端将存储在模型库中的静态模型数据进行JSON格式转换，并对所述静态模型数据进行UTF-8编码以上传所述静态模型数据。
通过增量方式将获取的静态模型数据存储到第四数据库中的步骤可包括：将获取的静态模型数据解码和进行JSON格式反解析，并通过增量方式将解析后的静态模型数据存储在第四数据库中。
所述的方法还可包括：每当第四定时器期满或触发事件发生时，通过HTTP协议获取由站控端上传的实时告警数据，并通过增量方式将获取的实时告警数据存储到第三数据库中。
通过HTTP协议获取由站控端上传的实时告警数据的步骤可包括：由站控端将存储的实时告警数据进行JSON格式转换，并对所述实时告警数据进行UTF-8编码以上传所述实时告警数据。
通过增量方式将获取的实时告警数据存储到第三数据库中的步骤可包括：将获取的实时告警数据进行解码和JSON格式反解析，并通过增量方式将解析后的实时告警数据存储在第三数据库中。
本发明的另一方面在于提供能源互联网云平台数据传输和存储的系统，可包括：至少一个终端设备，被配置为对各种数据进行采集；站控端，被配置为：每当第一定时器期满时，通过Protobuf协议向云服务器上传从所述至少一个终端设备获得的实时遥测遥信数据；云服务器，被配置为：每当第一定时器期满时，通过Protobuf协议获取由站控端上传的实时遥测遥信数据，将获取的实时遥测遥信数据作为断面数据存储在第一数据库中，并将第一数据库中的断面数据作为全量数据存储在第二数据库中；每当第二定时器期满时，对第二数据库中的全量数据进行抽样，并将抽样数据存储在第三数据库中，其中，第一定期器的时间长度小于第二定时器的时间长度。
站控端还可被配置为：每当第三定时器期满或触发事件发生时，通过HTTP协议上传静态模型数据。云服务器还可被配置为：每当第三定时器期满或触发事件发生时，通过HTTP协议获取由站控端上传的静态模型数据，并通过增量方式将获取的静态模型数据存储到第四数据库中。
站控端可被配置为：将存储在模型库中的静态模型数据进行JSON格式转换，并对所述静态模型数据进行UTF-8编码以上传所述静态模型数据。
云服务器可被配置为：将获取的静态模型数据进行解码和JSON格式反解析，并通过增量方式将解析后的静态模型数据存储在第四数据库中。
站控端还可被配置为：每当第四定时器期满或触发事件发生时，通过HTTP协议上传实时告警数据。云服务器还可被配置为：每当第四定时器期满或触发事件发生时，通过HTTP协议获取由站控端上传的实时告警数据，并通过增量方式将获取的实时告警数据存储到第三数据库中。
站控端可被配置为：将存储的实时告警数据进行JSON格式转换，并对所述实时告警数据进行UTF-8编码以上传所述实时告警数据。
云服务器可被配置为：将获取的实时告警数据进行解码和JSON格式反解析，并通过增量方式将解析后的实时告警数据存储在第三数据库中。
本发明的一方面在于提供一种计算机可读存储介质，存储有程序，所述程序包括用于执行以上所述的能源互联网云平台数据传输和存储的方法的指令。
本发明的一方面在于提供一种计算机，包括存储有计算机程序的可读介质，所述程序包括用于执行以上所述的能源互联网云平台数据传输和存储的方法的指令。
本发明基于以上的“终端设备-站控端-云服务器”三层架构，通过站控端将其实时数据、模型数据及告警数据等成熟信息上传至云服务器，由于站控端有极高的可靠性、对数据实时性要求很高、具备多种规约的接入能力并且有非常成熟的业务流程，因此通过上述三层架构可避免直接由终端设备上传至云服务器中而导致的不可避免的通信不稳定、数据接入复杂、实时性不高、重复建设等弊端。
此外，本发明通过根据不同的业务需求设计了四种数据库类型及结构，即，用于存储最新实时断面数据的Redis数据库、用于存储全量数据的Elasticsearch数据库、用于存储抽样数据和告警信息的InfluxDB时序数据库、以及用于存储静态模型数据的PostgreSQL数据库，从而能够根据不同的数据密度、数据速率以及数据类型按照不同的业务需求存储到不同的数据库中。
此外，本发明将站控端已经通过图模库一体化工具建模的静态模型数据同步上传到云服务器，这样云服务器就拥有了完整的模型数据，可以进行遥测遥信之间的关联关系分析，也可以进行一次设备与二次设备之间的匹配。以模型数据为基础，可以进行网络拓扑分析，实现潮流计算、短路计算、网损分析等高级应用开发。
综上，通过利用“终端设备-站控端-云服务器”三层架构、利用不同的协议获取不同数据并将获取的不同数据存储到不同的数据库中，可以满足能源互联网背景下云平台对混合数据的差异化传输与存储，为云平台中数据挖掘和机器学习提供多场景下的全景数据、完整的模型以及实时告警数据，提高能源互联网的技术水平，保证其安全稳定经济运行。
附图说明
通过下面结合附图对本发明示例性实施例的详细描述，本领域技术人员将会获得对本发明的全面理解，其中：
图1是示出根据本发明的示例性实施例的能源互联网云平台数据传输和存储的方法的总流程图；
图2是示出根据本发明的示例性实施例的由图1示出的所述方法中的对实时遥测遥信数据进行传输和存储的子流程图；
图3是示出根据本发明的示例性实施例的由图1示出的所述方法中的对静态模型数据进行传输和存储的子流程图；
图4是示出根据本发明的示例性实施例的由图1示出的所述方法中的对实时告警数据进行传输和存储的子流程图；
图5是示出根据本发明的示例性实施例的能源互联网云平台数据传输和存储的系统的示图。
具体实施方式
现将详细参照本公开的示例性实施例，所述实施例的示例在附图中示出，其中，相同的标号始终指示相同的部件。以下将通过参照附图来说明所述实施例，以便于解释本发明。显然，所描述的实施例仅是本公开一部分实施例，而不是全部的实施例。
在本公开中，包括诸如“第一”、“第二”等序数的术语可以被用于描述各种元素，但是这些元素不应被理解为受限于这些术语。这些术语仅被用于将一个元素与其他元素区分开来。例如，在不脱离本公开的范围的情况下，第一元素可以被称为第二元素，反之亦然。
图1是示出根据本发明的示例性实施例的能源互联网云平台数据传输和存储的方法的总流程图。
本发明采用“终端设备-站控端-云服务器”三层架构，通过利用多种传输方式，使由站控端从终端设备获取的实时遥测遥信数据、实时告警数据以及从终端设备获取的和由站控端产生的静态模型数据上传到云服务器，从而避免了直接由终端设备将上述数据直接上传到云服务器中不可避免的通信不稳定、数据接入复杂、实时性不高、重复建设等弊端。下面将参照附图对基于“终端设备-站控端-云服务器”三层架构的能源互联网云平台数据传输和存储方法进行详细描述。
如图1中所示，为了使站控端从终端设备获取的实时遥测遥信数据、实时告警数据以及从终端设备获取的和由站控端产生的静态模型数据上传到云服务器，所述方法开始运行后并行地进行3个步骤，即：步骤101、步骤102和步骤103，其中，步骤101用于对实时遥测遥信数据进行传输和存储，步骤102用于对静态模型数据进行传输和存储，步骤103用于对实时告警数据进行传输和存储。下面将分别参照图2至图4详细描述与步骤101、步骤102和步骤103相关的子流程图。
图2是示出根据本发明的示例性实施例的由图1示出的所述方法中的对实时遥测遥信数据进行传输和存储的子流程图。
如图2中所示，在步骤201，判断第一定时器T1是否期满，其中，第一定时器T1的定时时间可被设置为例如2秒，但是本发明不限于此，第一定时器T1的定时时间可被设置为任何合适的时间长度。
如果第一定时器T1期满，则进行到步骤202，否则返回到步骤201，继续判断第一定时器T1是否期满。
在步骤202，由云服务器通过Protobuf协议获取由站控端上传的实时遥测遥信数据，其中，站控端上传的实时遥测遥信数据是由站控端从至少一个终端设备获取的。
为了实现步骤202，云服务器和站控端需要进行以下的操作2021、2022和2023：
操作2021：由云服务器和站控端分别产生scada.proto文件，该文件由如下所示的DataType枚举和Measure结构构成：
其中，在DataType枚举中，ANALOG代表模拟量(即，遥测)，STATUS代表数据量(即，遥信)；在Measure结构中，id代表编号，value代表当前值，qc代表质量码，timestamp代表时间戳，type代表数据类型。
操作2022：由站控端和云服务器分别使用Protobuf编译器将scada.proto编译成目标语言，从而在站控端生成scada.pb.h和scada.pb.cc，在云服务器生成scada_pb2.py。
操作2023：编写程序，在站控端调用writer接口发送实时遥测遥信数据，在云服务器调用reader接口接收实时遥测遥信数据。
在步骤203中，由云服务器将获取的实时遥测遥信数据作为断面数据存储在第一数据库中，其中，第一数据库可以是Redis数据库，断面数据表示不同主体在同一时间点或同一时间段的数据。
为了实现步骤203，云服务器需要进行以下的操作：
操作2031：按照设计好的key-value格式(analog,id,timestamp-value,qc)对获取的遥测数据进行格式化；
操作2032：按照设计好的key-value格式(status,id,timestamp-value,qc)对获取的遥信数据进行格式化；
操作2033：使用set函数将经过操作2031和2032被格式化的遥测遥信数据对写入Redis数据库。
在步骤204，将第一数据库中的断面数据作为全量数据存储在第二数据库中，即，将第一数据库中的断面数据作为全量数据同步到第二数据库中，第二数据库可以是Elasticsearch数据库。具体地讲，云服务器通过以下操作来实现步骤204：
操作2041：将遥测数据格式化为：Index:analog；Type:analog_input；Document:整个的断面数据JSON格式；
操作2042：将遥信数据格式化为：Index:status；Type:status_input；Document:整个的断面数据JSON格式；
操作2043：使用PUT函数将经过操作2041和2042被格式化的遥测和遥测数据写入Elasticsearch。
在步骤205，判断第二定时器T2是否期满，其中，第二定时器T2的定时时间可被设置为例如300秒，但是本发明不限于此，第二定时器T2的定时时间可被设置为任何合适的时间长度。
如果第二定时器T2期满，则进行到步骤206，否则返回到步骤201，继续判断第一定时器T1是否期满，其中，第一定时器的时间长度小于第二定时器的时间长度。
在步骤206，对第二数据库中的全量数据进行抽样，并将抽样数据存储在第三数据库中，其中，第三数据库可以是InfluxDB时序数据库。
具体地讲，云服务器过以下操作来实现步骤206：
操作2061：按照设计的数据库存储格式“database:scada_raw_tsdb”生成数据表；
操作2062：将遥测数据格式化为：measurement:yc；tag:analog_id；field:value,qc；timestamp:抽样时间UTC时间戳；
操作2063：将遥信数据格式化为：measurement:yx；tag:status_id；field:value,qc；timestamp:抽样时间UTC时间戳；
操作2064：使用insert函数将经过操作2062和2063被格式化的遥测遥信数据写入到在操作2061生成的数据库存储格式的数据表中。
通过以上描述的各个步骤，实现了通过Protobuf协议将实时性高、传输字节多大的遥测遥信数据上传到云服务器，避免了直接由终端设备上传至云服务器中不可避免的通信不稳定、数据接入复杂、实时性不高、重复建设等弊端。
以上已经参照图1和图2描述了能源互联网云平台数据传输和存储方法通过Protobuf协议将实时遥测遥信数据上传到云服务器，此外，能源互联网云平台数据传输和存储方法还可以分别通过步骤102和步骤103实现静态模型数据和实时告警数据的传输和存储，然而，由于静态模型数据在项目上线之后变化不频繁，并且实时告警数据在云平台中的作用是显示、记录以及后期的综合智能告警分析进而不需要很高的上传频率，因此本发明不采用Protobuf协议而是采用HTTP协议来上传静态模型数据和实时告警数据。下面首先参照图3对通过HTTP协议实现静态模型数据的传输和存储进行详细描述。
图3是示出根据本发明的示例性实施例的由图1示出的所述方法中的对静态模型数据进行传输和存储的子流程图。
如图3中所示，在步骤301，判断第三定时器T3是否期满，其中，第三定时器T3的定时时间可被设置为3600秒，但是本发明不限于此，第三定时器T3的定时时间可被设置为任何合适的时间长度。
如果第三定时器T3期满，则进行到步骤303，否则进行到步骤S302。
在步骤302，判断是否发生触发事件，其中，触发事件包括条件触发和人为触发，条件触发是指在站控端中存储的任意一个模型数据表内的记录条数(即，静态模型数据条数)或者模型表内容(即，静态模型数据)发生变化，人为触发是指操作人员手动将该判断操作设置为真。其中，模型数据表存在于站控端的静态数据模型库中，并且模型数据表用于存储模型表内容，其中，模型表内容(即，静态模型数据)包括由站控端从至少一个终端设备获取的信息或内容以及由站控端自身所产生的数据，例如，模型数据表可以是：公司、负荷区域、变电站、电压等级、物理节点、端点表、间隔表、变压器、母线、开关、同步电机、负荷、交流线路、变压器绕组、静态无功补偿、无功补偿装置、电动机、直流线、刀闸、接地刀闸等项目的模型数据表。在步骤302中，只要条件触发和人为触发之一发生，就进行步骤303。
在以上描述中，按照先后顺序执行步骤301和步骤302，但是这仅是为了便于描述，在本发明的其它实施例中，可以先执行步骤302，再执行步骤301，或者可以同时执行步骤301和步骤302。
在步骤303，由云服务器通过HTTP协议获取由站控端上传的静态模型数据，其中，站控端上传的静态模型数据是存储在静态数据模型库中的模型表内容。
为了实现步骤303，站控端和云服务器需要进行以下的操作：
操作3031：由站控端调用requests开源HTTP协议包；
操作3032：由站控端将其存储的静态数据模型库中的模型数据表的模型表内容(即，静态模型数据)进行JSON格式转换，并对JSON格式化后的静态模型数据进行以下形式的UTF-8编码：
Url：UPDATE_ADDR+'&name＝'+table_name
Heaers：'content-type':'application/json'。
操作3033：由站控端调用Post函数发送经过UTF-8编码的静态模型数据，由云服务器调用Receive函数接收经过UTF-8编码的静态模型数据。
通过步骤303，云服务器可从站控端获取到静态模型数据。此后，进行到步骤304。
在步骤304，由云服务器通过增量方式将获取的静态模型数据存储到第四数据库中，其中，第四数据库可以是PostgreSQL，其中，通过增量方式将获取的静态模型数据存储到第四数据库中的步骤可包括：由云服务器将获取的静态模型数据进行解码(即UTF-8解码)和JSON格式反解析，并通过增量方式将解析后的静态模型数据存储在第四数据库中。
以上参照图2和图3描述了将实时遥测遥信数据和静态模型数据上传到云服务器，下面将参照图4对通过HTTP协议实现实时告警数据的传输和存储进行详细描述。
图4是示出根据本发明的示例性实施例的由图1示出的所述方法中的对实时告警数据进行传输和存储的子流程图。
如图4中所示，在步骤401，判断第四定时器T4是否期满，其中，第四定时器T4的定时时间可被设置为60秒，但是本发明不限于此，第四定时器T4的定时时间可被设置为任何合适的时间长度。
如果第四定时器T4期满，则进行到步骤403，否则进行到步骤S402。
在步骤402，判断是否发生触发事件，其中，触发事件包括条件触发和人为触发，条件触发是指站控端中存储的实时告警表内的记录条数(即，实时告警数据条数)或者内容(即，实时告警数据)发生变化，人为触发是指操作人员手动将该判断操作设置为真。在步骤402中，只要条件触发和人为触发之一发生，就进行步骤403。
在以上描述中，按照先后顺序执行步骤401和步骤402，但是这仅是为了便于描述，在本发明的其它实施例中，可以先执行步骤402，再执行步骤401，或者可以同时执行步骤401和步骤402。
在步骤403，由云服务器通过HTTP协议获取由站控端上传的实时告警数据，其中，站控端上传的实时告警数据是由站控端从至少一个终端设备获取的并且被存储在站控端中的实时告警表中。
为了实现步骤403，云服务器和站控端需要进行以下的操作：
在操作4031：由站控端调用requests开源HTTP协议包；
在操作4032：由站控端将其存储的实时告警表中的实时告警数据进行JSON格式转换，并对JSON格式化后的实时告警数据进行以下的UTF-8编码：
Url:ALARM_UPDATE_ADDR+'&name＝'+alarm_table_name
Heaers:'content-type':'application/json'
在操作4033：由站控端调用Post函数发送经过UTF-8编码的实时告警数据，由云服务器调用Receive函数接收经过UTF-8编码的实时告警数据。
通过步骤403，云服务器可从站控端获得实时告警数据。此后，进行到步骤404。
在步骤404，由云服务器通过增量方式将获取的实时告警数据存储到第三数据库中，其中，第三数据库可以是InfluxDB时序数据库，其中，通过增量方式将获取的实时告警数据存储到第三数据库中的步骤可包括：将获取的实时告警数据进行解码(即UTF-8解码)和JSON格式反解析，并通过增量方式将解析后的实时告警数据存储在第三数据库中。
具体地讲，云服务器通过以下操作利用增量方式将解析后的实时告警数据存储在第三数据库中：
在操作4041：按照设计的数据库存储格式“database:scada_alarm_tsdb”生成数据表；
在操作4042：将告警数据格式化为：measurement:alarm；tag:alarm_id,alarmtype,resoncode,alarmpriority；field:alarmstring；timestamp:告警时间UTC时间戳，其中，告警时间UTC时间戳精确到毫秒；
在操作4043：使用insert函数经过操作4042被格式化的告警数据写入到在操作4041生成的数据库存储格式的数据表中。
通过以上参照图4的描述各个步骤，可以实现实时告警数据的传输和存储。
图5是示出根据本发明的示例性实施例的能源互联网云平台数据传输和存储的系统的示图。
如图5中所示，能源互联网云平台数据传输和存储的系统是一种“终端设备—站控端—云服务器”三层结构的系统，该系统包括至少一个终端设备100、站控端200和云服务器300。在该系统中，通过所述至少一个终端设备100将电力系统、新能源、供热系统、供气系统和供水系统的设备状态信息和控制信息、线路和管道的流量信息等进行采集，通过有线、无线、载波等网络通讯传输到站控端200的智能调度技术支持平台，由此平台对数据进行汇总及建模，并通过网络与云服务器300(即能源互联网云平台)进行数据传输，将云服务器300需要的实时遥测遥信数据、静态模型数据及实时告警数据安全可靠地上传，云服务器300根据业务需要将上述数据存储到混合数据库(即，Redis数据库、Elasticsearch数据库、InfluxDB时序数据库以及PostgreSQL数据库)，以供监视、预测和优化等之用。以下将对此进行详细描述。
所述至少一个终端设备100可被配置为对各种数据进行采集，如图5中所示，所述至少一个终端设备100包括：电力网网络信号测控、天然气网网络信号测控、热网网络信号测控终端、风力发电测控终端、光伏发电测控终端、热点联产测控终端、燃料电池测控终端、智能用户终端以及储电、气、热、冷测控终端等。图5中示出的所述至少一个终端设备100仅用于示例说明，所述至少一个终端设备100还可包括除了图5中示出的终端设备之外的其它终端设备。
站控端200可被配置为每当第一定时器T1期满时通过Protobuf协议向云服务器300上传从所述至少一个终端设备100获得的实时遥测遥信数据，其中，站控端200可包括数据库服务器、前置机服务器以及高级分析应用服务器，其中，数据库服务器用于存储包括多种静态数据模型的静态数据模型库以及实时告警数据，前置机服务器用于与所述至少一个终端设备100进行通讯以从所述至少一个终端设备100获取各种数据，高级分析应用服务器用于进行各种应用程序的部署。
具体地讲，站控端200首先判断第一定时器T1是否期满，如果第一定时器T1期满，则站控端200通过Protobuf协议向云服务器300上传从所述至少一个终端设备100获得的实时遥测遥信数据，同时云服务器300通过Protobuf协议获取由站控端200上传的实时遥测遥信数据，其中，第一定时器T1的定时时间可被设置为例如2秒，但是本发明不限于此，第一定时器T1的定时时间可被设置为任何合适的时间长度。由于以上已参照图2对站控端200通过Protobuf协议上传实时遥测遥信数据以及云服务器300通过Protobuf协议获取由站控端200上传的实时遥测遥信数据的具体过程，因此，此处不再进行重复描述。另外，如果第一定时器T1没有期满，则站控端200和云服务器300继续等待并判断第一定时器T1是否期满，并且在第一定时器T1期满时执行上述操作。
此外，当云服务器300通过Protobuf协议获取了由站控端200上传的实时遥测遥信数据时，云服务器300将获取的实时遥测遥信数据作为断面数据存储在第一数据库中，即，云服务器300通过以上参照图2描述的操作2031至操作2033将获取的实时遥测遥信数据作为断面数据存储在第一数据库中，其中，第一数据库可以是Redis数据库，断面数据表示不同主体在同一时间点或同一时间段的数据。
另外，在云服务器300将获取的实时遥测遥信数据作为断面数据存储在第一数据库中之后，云服务器300将第一数据库中的断面数据作为全量数据存储在第二数据库中，具体地讲，云服务器300通过以上参照图2描述的操作2041至操作2043将第一数据库中的断面数据作为全量数据同步到第二数据库中，其中，第二数据库可以是Elasticsearch数据库。
此外，云服务器300还可被配置为每当第二定时器期满时，对第二数据库中的全量数据进行抽样，并将抽样数据存储在第三数据库中。
具体地讲，云服务器300判断第二定时器T2是否期满，如果第二定时器T2期满，则云服务器300对第二数据库中的全量数据进行抽样，并将抽样数据存储在第三数据库中，即，云服务器300通过以上参照图2描述的操作2061至2064来完成抽样操作以及将抽样数据存储到第三数据库中的操作，其中，第二定时器T2的定时时间可被设置为例如300秒，但是本发明不限于此，第二定时器T2的定时时间可被设置为任何合适的时间长度，另外，第一定时器的时间长度小于第二定时器的时间长度。
通过以上操作，所述系统通过Protobuf协议实现了将实时遥测遥信数据上传到云服务器300，避免了直接由所述至少一个终端设备100上传至云服务器300中不可避免的通信不稳定、数据接入复杂、实时性不高、重复建设等弊端。
所述系统除了可以将实时遥测遥信数据上传到云服务器300进行存储之外，还可以将静态模型数据上传到云服务器300进行存储，以下将对此进行详细描述。
站控端200还可被配置为每当第三定时器T3期满或触发事件发生时，通过HTTP协议上传静态模型数据。
具体地讲，站控端200首先判断第三定时器T3是否期满，如果第三定时器T3没有期满，则继续判断是否发生了触发事件，其中，第三定时器T3的定时时间可被设置为3600秒，但是本发明不限于此，第三定时器T3的定时时间可被设置为任何合适的时间长度，另外，触发事件包括条件触发和人为触发，条件触发是指在站控端中存储的模型数据表内的记录条数(即，静态模型数据条数)或者模型表内容(即，静态模型数据)发生变化，人为触发是指操作人员手动将该判断操作设置为真，只要条件触发和人为触发之一发生，则表示触发事件发生。
如果第三定时器T3期满或者触发事件发生，则站控端200通过HTTP协议上传静态模型数据，其中，站控端200上传的静态模型数据是存储在静态数据模型库中的模型表内容。与此同时，云服务器300通过HTTP协议获取由站控端200上传的静态模型数据。在该过程中，站控端200可将模型库中的模型表内容(即，静态模型数据)进行JSON格式转换，并对转换后的静态模型数据进行UTF-8编码以上传静态模型数据。由于以上已参照图3对站控端200通过HTTP协议上传静态模型数据以及云服务器300通过HTTP协议获取由站控端200上传的静态模型数据的具体过程，因此，此处不再进行重复描述。
进一步讲，在云服务器300通过HTTP协议获取了由站控端200上传的静态模型数据时，云服务器300可通过增量方式将获取的静态模型数据存储到第四数据库中，其中，第四数据库可以是PostgreSQL数据库。具体地讲，云服务器300可被配置为：将获取的静态模型数据进行解码(即UTF-8解码)和JSON格式反解析，并通过增量方式将解析后的静态模型数据存储在第四数据库中。
通过以上操作，所述系统通过HTTP协议实现了将静态模型数据上传到云服务器300，除此之外，所述系统还可以通过HTTP协议将实时告警数据上传到云服务器300。
站控端200还可被配置为每当第四定时器T4期满或触发事件发生时，通过HTTP协议上传实时告警数据。
具体地讲，站控端200首先判断第四定时器T4是否期满，如果第四定时器T4没有期满，则继续判断是否发生了触发事件，其中，第四定时器T4的定时时间可被设置为60秒，但是本发明不限于此，第四定时器T4的定时时间可被设置为任何合适的时间长度，另外，触发事件包括条件触发和人为触发，条件触发是指在站控端200中存储的实时告警表内的记录条数(即，实时告警数据条数)或者内容(即，实时告警数据)发生变化，人为触发是指操作人员手动将该判断操作设置为真，只要条件触发和人为触发之一发生，则表示触发事件发生。
如果第四定时器T4期满或者触发事件发生，则站控端200通过HTTP协议上传实时告警数据，其中，站控端200上传的实时告警数据是由站控端200从所述至少一个终端设备100获取的并且被存储在站控端200中的实时告警表中。与此同时，云服务器300通过HTTP协议获取由站控端200上传的实时告警数据。在该过程中，站控端200可将其存储的实时告警表中的实时告警数据进行JSON格式转换，并对转换后的实时告警数据进行UTF-8编码以上传实时告警数据。由于以上已参照图4对站控端200通过HTTP协议上传实时告警数据以及云服务器300通过HTTP协议获取由站控端200上传的实时告警数据的具体过程，因此，此处不再进行重复描述。
进一步讲，在云服务器300通过HTTP协议获取了由站控端200上传的实时告警数据时，云服务器300可通过增量方式将获取的实时告警数据存储到第三数据库中，其中，第三数据库可以是InfluxDB时序数据库。具体地讲，云服务器300可被配置为：将获取的实时告警数据进行解码(即UTF-8解码)和JSON格式反解析，并通过增量方式将解析后的实时告警数据存储在第三数据库中。具体地讲，云服务器300可通过以上参照图4描述的操作4041和操作4043来将实时告警内容存储在第三数据库中。
通过以上操作，所述系统可以实现实时告警数据的传输和存储。
此外，本发明还提供了一种计算机可读存储介质，存储有程序，所述程序可包括用于执行上述能源互联网云平台数据传输和存储的方法中的各种操作的指令。具体而言，所述程序可以包括用于执行图1至图4中所描述的各个步骤的指令。
此外，本发明还提供了一种计算机，包括存储有计算机程序的可读介质，所述程序包括用于执行上述能源互联网云平台数据传输和存储的方法中的各种操作的指令。具体而言，所述程序可以包括用于执行图1至图4中所描述的各个步骤的指令。
Claims (16)
1.一种能源互联网云平台数据传输和存储的方法，其特征在于，包括：
每当第一定时器期满时，通过Protobuf协议获取由站控端上传的实时遥测遥信数据，将获取的实时遥测遥信数据作为断面数据存储在第一数据库中，并将第一数据库中的断面数据作为全量数据存储在第二数据库中；
每当第二定时器期满时，对第二数据库中的全量数据进行抽样，并将抽样数据存储在第三数据库中，
其中，第一定期器的时间长度小于第二定时器的时间长度。
2.如权利要求1所述的方法，其特征在于，还包括：
每当第三定时器期满或触发事件发生时，通过HTTP协议获取由站控端上传的静态模型数据，并通过增量方式将获取的静态模型数据存储到第四数据库中。
3.如权利要求2所述的方法，其特征在于，通过HTTP协议获取由站控端上传的静态模型数据的步骤包括：
由站控端将存储在模型库中的静态模型数据进行JSON格式转换，并对所述静态模型数据进行UTF-8编码以上传所述静态模型数据。
4.如权利要求3所述的方法，其特征在于，通过增量方式将获取的静态模型数据存储到第四数据库中的步骤包括：
将获取的静态模型数据进行解码和JSON格式反解析，并通过增量方式将解析后的静态模型数据存储在第四数据库中。
5.如权利要求1所述的方法，其特征在于，还包括：
每当第四定时器期满或触发事件发生时，通过HTTP协议获取由站控端上传的实时告警数据，并通过增量方式将获取的实时告警数据存储到第三数据库中。
6.如权利要求5所述的方法，其特征在于，通过HTTP协议获取由站控端上传的实时告警数据的步骤包括：
由站控端将存储的实时告警数据进行JSON格式转换，并对所述实时告警数据进行UTF-8编码以上传所述实时告警数据。
7.如权利要求6所述的方法，其特征在于，通过增量方式将获取的实时告警数据存储到第三数据库中的步骤包括：
将获取的实时告警数据进行解码和JSON格式反解析，并通过增量方式将解析后的实时告警数据存储在第三数据库中。
8.一种能源互联网云平台数据传输和存储的系统，其特征在于，包括：
至少一个终端设备，被配置为对各种数据进行采集；
站控端，被配置为：每当第一定时器期满时，通过Protobuf协议向云服务器上传从所述至少一个终端设备获得的实时遥测遥信数据；
云服务器，被配置为：
每当第一定时器期满时，通过Protobuf协议获取由站控端上传的实时遥测遥信数据，将获取的实时遥测遥信数据作为断面数据存储在第一数据库中，并将第一数据库中的断面数据作为全量数据存储在第二数据库中；
每当第二定时器期满时，对第二数据库中的全量数据进行抽样，并将抽样数据存储在第三数据库中，
其中，第一定期器的时间长度小于第二定时器的时间长度。
9.如权利要求8所述的系统，其特征在于，
站控端还被配置为：每当第三定时器期满或触发事件发生时，通过HTTP协议上传静态模型数据，
云服务器还被配置为：每当第三定时器期满或触发事件发生时，通过HTTP协议获取由站控端上传的静态模型数据，并通过增量方式将获取的静态模型数据存储到第四数据库中。
10.如权利要求9所述的系统，其特征在于，站控端被配置为：
将存储在模型库中的静态模型数据进行JSON格式转换，并对所述静态模型数据进行UTF-8编码以上传所述静态模型数据。
11.如权利要求10所述的系统，其特征在于，云服务器被配置为：
将获取的静态模型数据进行解码和JSON格式反解析，并通过增量方式将解析后的静态模型数据存储在第四数据库中。
12.如权利要求9所述的系统，其特征在于，
站控端还被配置为：每当第四定时器期满或触发事件发生时，通过HTTP协议上传实时告警数据，
云服务器还被配置为：每当第四定时器期满或触发事件发生时，通过HTTP协议获取由站控端上传的实时告警数据，并通过增量方式将获取的实时告警数据存储到第三数据库中。
13.如权利要求12所述的系统，其特征在于，站控端还被配置为：
将存储的实时告警数据进行JSON格式转换，并对所述实时告警数据进行UTF-8编码以上传所述实时告警数据。
14.如权利要求13所述的系统，其特征在于，云服务器还被配置为：
将获取的实时告警数据进行解码和JSON格式反解析，并通过增量方式将解析后的实时告警数据存储在第三数据库中。
15.一种计算机可读存储介质，存储有程序，其特征在于，所述程序包括用于执行如权利要求1-7中任一项所述方法的指令。
16.一种计算机，包括存储有计算机程序的可读介质，其特征在于，所述程序包括用于执行如权利要求1-7中任一项所述方法的指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811276781.1A CN111131344A (zh) | 2018-10-30 | 2018-10-30 | 能源互联网云平台数据传输和存储的方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811276781.1A CN111131344A (zh) | 2018-10-30 | 2018-10-30 | 能源互联网云平台数据传输和存储的方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111131344A true CN111131344A (zh) | 2020-05-08 |
Family
ID=70484328
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811276781.1A Pending CN111131344A (zh) | 2018-10-30 | 2018-10-30 | 能源互联网云平台数据传输和存储的方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111131344A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112290676A (zh) * | 2020-10-20 | 2021-01-29 | 中腾微网（北京）科技有限公司 | 现场数据与云存储系统相结合的光伏电站控制系统 |
| CN114254034A (zh) * | 2020-09-22 | 2022-03-29 | 中车株洲电力机车研究所有限公司 | 基于Redis集群的风电监控对象信息和实时数据存储管理方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102262678A (zh) * | 2011-08-16 | 2011-11-30 | 郑毅 | 一个对海量数据进行抽样以及抽样数据管理系统 |
| CN103366312A (zh) * | 2013-07-15 | 2013-10-23 | 国家电网公司 | 一种智能变电站云系统 |
| CN107515741A (zh) * | 2017-07-11 | 2017-12-26 | 中国电力科学研究院 | 一种变电站与主站间数据的轻量化传输方法和装置 |
| WO2018177540A1 (en) * | 2017-03-31 | 2018-10-04 | Siemens Aktiengesellschaft | System, method and a computer program product for an improved fault analysis in an electrical power system |
-
2018
- 2018-10-30 CN CN201811276781.1A patent/CN111131344A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102262678A (zh) * | 2011-08-16 | 2011-11-30 | 郑毅 | 一个对海量数据进行抽样以及抽样数据管理系统 |
| CN103366312A (zh) * | 2013-07-15 | 2013-10-23 | 国家电网公司 | 一种智能变电站云系统 |
| WO2018177540A1 (en) * | 2017-03-31 | 2018-10-04 | Siemens Aktiengesellschaft | System, method and a computer program product for an improved fault analysis in an electrical power system |
| CN107515741A (zh) * | 2017-07-11 | 2017-12-26 | 中国电力科学研究院 | 一种变电站与主站间数据的轻量化传输方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 豆宏贤等: "基于Android平台的电动汽车检测仪", 《汽车工程》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114254034A (zh) * | 2020-09-22 | 2022-03-29 | 中车株洲电力机车研究所有限公司 | 基于Redis集群的风电监控对象信息和实时数据存储管理方法 |
| CN114254034B (zh) * | 2020-09-22 | 2024-05-28 | 中车株洲电力机车研究所有限公司 | 基于Redis集群的风电监控对象信息和实时数据存储管理方法 |
| CN112290676A (zh) * | 2020-10-20 | 2021-01-29 | 中腾微网（北京）科技有限公司 | 现场数据与云存储系统相结合的光伏电站控制系统 |
| CN112290676B (zh) * | 2020-10-20 | 2022-06-24 | 中腾微网（北京）科技有限公司 | 现场数据与云存储系统相结合的光伏电站控制系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104935489B (zh) | 一种信息采集网络组网方法及用电信息采集网络 | |
| CN110866735B (zh) | 利用gis模型定位配网线路联络点开关方法、系统和可读存储介质 | |
| CN210608698U (zh) | 一种基于LoRa技术的智能箱变在线监测装置 | |
| CN102830681A (zh) | 一种远程电能耗数据的监控方法及其配套装置 | |
| CN103197138A (zh) | 一种具有供电可靠率和电压合格率监测功能的智能电表及监测方法 | |
| CN103427489A (zh) | 智能变电站综合监测系统 | |
| CN101290514A (zh) | 节能监控系统及其节能监控方法 | |
| CN101571845A (zh) | Iec61850标准的自描述实现方法 | |
| CN104580245A (zh) | 一种配电终端104报文解析系统及其解析方法 | |
| KR101174254B1 (ko) | 지능형 전력망 기반의 계량기 데이터 관리시스템 | |
| CN105046344A (zh) | 面向智能电网调度技术支持系统的主站数据质量优化方法 | |
| CN108763399A (zh) | 一种适用于含d-pmu的配电网多源数据建模方法 | |
| CN104201780A (zh) | 用于农电配送台区的负荷数据采集传输分析装置 | |
| CN111131344A (zh) | 能源互联网云平台数据传输和存储的方法和系统 | |
| CN103297520B (zh) | 电网运行服务系统和实现方法 | |
| CN203069670U (zh) | 一种具有供电可靠率和电压合格率监测功能的智能电表 | |
| CN113224840A (zh) | 一种用于拓扑识别的智能量测终端 | |
| CN107067161B (zh) | 一种智能电网中信息点表的自动化校核实现系统及方法 | |
| CN105554063A (zh) | 一种蓝牙智能校徽管理平台及方法 | |
| CN208890843U (zh) | 一种基于雾节点的边缘计算系统 | |
| CN105117984A (zh) | 一种基于数据分析下的电网精益管理系统 | |
| CN102338835A (zh) | 一种电能质量动态监测系统 | |
| CN204190487U (zh) | 用于农电配送台区的负荷数据采集传输分析装置 | |
| CN112134351A (zh) | 一种基于变电站配网的远程遥测验收系统及方法 | |
| CN203587709U (zh) | 智能变电站综合监测系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200508 |