CN110086673A - 数据获取方法及装置 - Google Patents
数据获取方法及装置 Download PDFInfo
- Publication number
- CN110086673A CN110086673A CN201910363782.8A CN201910363782A CN110086673A CN 110086673 A CN110086673 A CN 110086673A CN 201910363782 A CN201910363782 A CN 201910363782A CN 110086673 A CN110086673 A CN 110086673A
- Authority
- CN
- China
- Prior art keywords
- data
- electric power
- power data
- distal end
- acquire
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000013481 data capture Methods 0.000 title claims abstract description 25
- 230000005540 biological transmission Effects 0.000 claims abstract description 139
- 230000002159 abnormal effect Effects 0.000 claims abstract description 38
- 238000011084 recovery Methods 0.000 claims abstract description 14
- 238000012544 monitoring process Methods 0.000 claims description 27
- 230000005611 electricity Effects 0.000 claims description 10
- 230000006837 decompression Effects 0.000 claims description 7
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 230000008901 benefit Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 13
- 238000004590 computer program Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013480 data collection Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002688 persistence Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
- H04L41/0663—Performing the actions predefined by failover planning, e.g. switching to standby network elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Environmental & Geological Engineering (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种数据获取方法及装置。该方法包括：将获取到的电力数据实时传输至数据远端，同时将获取到的电力数据缓存在目标数据库；在电力数据传输的过程中，若传输网络发生异常，监测传输网络的恢复情况；在传输网络恢复的情况下，将缓存的第一目标电力数据发送至数据远端，其中，第一目标电力数据为传输网络发生异常下未实时传输至数据远端的电力数据。通过本申请，解决了相关技术中远端获取电力数据不稳定，在网络异常的情况下容易遗漏数据的问题。
Description
技术领域
本申请涉及数据处理技术领域，具体而言，涉及一种数据获取方法及装置。
背景技术
如今“工业互联网”大力发展，“工业互联网”的提出是技术、产品与平台的结合，即工业革命中的机器、设施与传输网络和互联网革命中的计算、信息与通信的结合，形成开放而全球化的工业传输网络。而电力行业作为各国能源产业的重中之重，同样正在受到大数据技术的逐步渗透和扩展，电力信息化是电力行业发展的大势所趋，目前，电力行业的信息时代正处于关键转折点，智能化变电站、现场移动检修系统、测控一体化系统、GIS和智能化表计等的建设，使以往数据类型较为单一、增长较为缓慢的情况发生转变，将逐渐步入由复杂及异构数据源广泛存在和驱动的时代。
而电力系统越复杂，对机组的运行维护要求越来越高，目前电力运维过程中存在故障诊断耗时长，不易分辨故障征兆，无法做到事前运行调整，非停损失巨大，设备过度维修或维修不足的情况，为了监控发电机组的运行情况，需要通过机组运行现场反馈和数据的积累，找出设计和制造工作中存在的不足，从而提高发电设备运行的可靠性和效率，减少停机时间和次数，避免重大恶性事故发生。而如何在传统发电领域数据相对封闭的客观条件下，准确地获取电力数据的，且在网络不稳定的情况下实现电力数据的传输获取，相关技术中还没有解决方案。
针对相关技术中远端获取电力数据不稳定，在网络异常的情况下容易遗漏数据的问题，目前尚未提出有效的解决方案。
发明内容
本申请提供一种数据获取方法及装置，以解决相关技术中远端获取电力数据不稳定，在网络异常的情况下容易遗漏数据的问题。
根据本申请的一个方面，提供了一种数据获取方法。该方法包括：将获取到的电力数据实时传输至数据远端，同时将获取到的电力数据缓存在目标数据库；在电力数据传输的过程中，若传输网络发生异常，监测传输网络的恢复情况；在传输网络恢复的情况下，将缓存的第一目标电力数据发送至数据远端，其中，第一目标电力数据为传输网络发生异常下未实时传输至数据远端的电力数据。
进一步地，将获取到的电力数据实时传输至数据远端，同时将获取到的电力数据缓存在目标数据库包括：将获取到的电力数据传输至第一消息队列，并将第一消息队列中的电力数据传输至数据远端；同时将获取到的电力数据传输至第二消息队列，并将第二消息队列中的电力数据存储至目标数据库。
进一步地，该方法还包括：将第一消息队列中的电力数据传输至数据远端之后，从目标数据库中删除第二目标电力数据，其中，第二目标电力数据为已从第一消息队列发送至数据远端的电力数据。
进一步地，将获取到的电力数据传输至第一消息队列，并将第一消息队列中的电力数据传输至数据远端包括：将获取到的电力数据组装为预设格式的电力数据，并对预设格式的电力数据进行压缩；将压缩后的电力数据发送至第一消息队列；将第一消息队列中的电力数据发送至数据转发端，并对第一消息队列中的电力数据进行解压；将解压后的电力数据通过预设协议转发至数据远端。
进一步地，将获取到的电力数据传输至第二消息队列，并将第二消息队列中的电力数据存储至目标数据库包括：将获取到的电力数据组装为预设格式的电力数据，并对预设格式的电力数据进行压缩；将压缩后的电力数据发送至第二消息队列；将第二消息队列中的电力数据缓存至目标数据库。
进一步地，在传输网络恢复的情况下，将缓存的第一目标电力数据发送至数据远端之后，该方法还包括：向数据转发端发送目标消息，其中，目标消息用于表征第一目标电力数据发送成功；并基于目标消息删除目标数据库中的第一目标电力数据，以实现目标数据库中的电力数据的更新。
进一步地，该方法还包括：在数据转发端与数据远端之间设置单向网闸，用以隔离从数据远端向数据转发端发送的数据。
进一步地，在将获取到的电力数据实时传输至数据远端，同时将获取到的电力数据缓存在目标数据库之前，该方法还包括：通过PI数据库获取各个电力监测点的电力数据。
进一步地，缓存至目标数据库的电力数据至少包括以下信息：电力数据的采集时间，电力数据所属电力监测点的信息，电力数据是否发送至数据远端的标识。
根据本申请的另一方面，提供了一种数据获取装置。该装置包括：传输单元，用于将获取到的电力数据实时传输至数据远端，同时将获取到的电力数据缓存在目标数据库；监测单元，用于在电力数据传输的过程中，若传输网络发生异常，监测传输网络的恢复情况；第一发送单元，用于在传输网络恢复的情况下，将缓存的第一目标电力数据发送至数据远端，其中，第一目标电力数据为传输网络发生异常下未实时传输至数据远端的电力数据。
为了实现上述目的，根据本申请的另一方面，提供了一种存储介质，存储介质包括存储的程序，其中，程序执行上述任意一种数据获取方法。
通过本申请，采用以下步骤：将获取到的电力数据实时传输至数据远端，同时将获取到的电力数据缓存在目标数据库；在电力数据传输的过程中，若传输网络发生异常，监测传输网络的恢复情况；在传输网络恢复的情况下，将缓存的第一目标电力数据发送至数据远端，其中，第一目标电力数据为传输网络发生异常下未实时传输至数据远端的电力数据，解决了相关技术中远端获取电力数据不稳定，在网络异常的情况下容易遗漏数据的问题。通过传输网络恢复的情况下，将缓存的未实时传输至数据远端的电力数据发送至数据远端，进而达到了远端稳定获取电力数据，在网络异常的情况下也不会遗漏数据的效果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例提供的数据获取方法的流程图；
图2是根据本申请实施例提供的数据获取方法中电力数据实时传输和缓存示意图；
图3是根据本申请实施例提供的数据获取方法传输网络异常情况下缓存数据的调取示意图；
图4是根据本申请实施例提供的数据获取方法的系统结构示意图；以及
图5是根据本申请实施例提供的数据获取装置的示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于描述，以下对本申请实施例涉及的部分名词或术语进行说明：
PI数据库：是一套基于Client/Server结构的商品化软件应用平台，是过程工业全厂信息集成的必然选择，作为工厂底层控制网络与上层管理信息系统网络连接的桥梁，PI在工厂信息集成中扮演着特殊和重要的角色。
根据本申请的实施例，提供了一种数据获取方法。
图1是根据本申请实施例的数据获取方法的流程图。如图1所示，该方法包括以下步骤：
步骤S101，将获取到的电力数据实时传输至数据远端，同时将获取到的电力数据缓存在目标数据库。
需要说明的是，为了在数据远端对电力数据进行处理，分析电力系统的各个电力测点的运行情况，需要将获取到的电力数据传输至数据远端，在传输网络正常的情况下，可以进行实时传输，同时对获取到电力数据进行备份，具体地，可以将获取的电力数据缓存在非关系型数据库中，例如Redis，非关系型数据库运行在PC服务器集群上，支持高并发读写缓存以及对海量数据进行高效率存储和访问，具有高扩展性和高可用性的优势，同时也减轻了对电力数据的就地数据库的压力。
可以采用消息队列的方式传输数据，可选地，在本申请实施例提供的数据获取方法中，将获取到的电力数据实时传输至数据远端，同时将获取到的电力数据缓存在目标数据库包括：将获取到的电力数据传输至第一消息队列，并将第一消息队列中的电力数据传输至数据远端；同时将获取到的电力数据传输至第二消息队列，并将第二消息队列中的电力数据存储至目标数据库。
如图2所示，为电力数据实时传输和缓存示意图，将获取到的电力数据通过消息交换机路由到绑定的队列中，第一消息队列为实时数据队列，该队列的数据将不断被刷新，第二消息队列为缓存数据队列，第二消息队列交由小型数据库进行持久化，确保在缓存数据没有完成发送前不会丢失，以便在数据发送异常情况下取用缓存数据。
为了便于数据远端对数据的实时获取，可选地，在本申请实施例提供的数据获取方法中，将获取到的电力数据传输至第一消息队列，并将第一消息队列中的电力数据传输至数据远端包括：将获取到的电力数据组装为预设格式的电力数据，并对预设格式的电力数据进行压缩；将压缩后的电力数据发送至第一消息队列；将第一消息队列中的电力数据发送至数据转发端，并对第一消息队列中的电力数据进行解压；将解压后的电力数据通过预设协议转发至数据远端。
具体地，为了便于数据的识别，将获取到的各个电力测点的电力数据组装为特定格式的数据，同时，为了便于数据的传输，对组装后的数据进行压缩，发送至第一消息队列，数据转发端接收队列数据，经过处理压缩，通过特定协议将数据转发至数据远端，从而实现了数据远端对数据的实时获取。
可选地，在本申请实施例提供的数据获取方法中，将获取到的电力数据传输至第二消息队列，并将第二消息队列中的电力数据存储至目标数据库包括：将获取到的电力数据组装为预设格式的电力数据，并对预设格式的电力数据进行压缩；将压缩后的电力数据发送至第二消息队列；将第二消息队列中的电力数据缓存至目标数据库。
具体地，将获取到的各个电力测点的电力数据组装为特定格式的数据并压缩，发送至第二消息队列，实现数据缓存，再交由小型数据库对缓存数据进行数据持久化。
为了减少目标数据库的压力，在数据传输的过程中对缓存的数据进行更新，可选地，在本申请实施例提供的数据获取方法中，该方法还包括：将第一消息队列中的电力数据传输至数据远端之后，从目标数据库中删除第二目标电力数据，其中，第二目标电力数据为已从第一消息队列发送至数据远端的电力数据。
需要说明的是，获取的电力数据需要借助第一消息队列进行传输，当第一消息队列中的数据实时传输至数据远端后，数据远端即可对电力数据进行处理，用以防止传输异常情况发生所缓存的数据失去其效用，因而，从目标数据库中删除相应的数据，以完成对缓存数据的更新。
步骤S102，在电力数据传输的过程中，若传输网络发生异常，监测传输网络的恢复情况。
需要说明的是，在传输网络发生异常的情况下，实时数据将无法发送到数据远端，数据转发策略通过定时任务进行轮询，监测网络是否恢复。
步骤S103，在传输网络恢复的情况下，将缓存的第一目标电力数据发送至数据远端，其中，第一目标电力数据为传输网络发生异常下未实时传输至数据远端的电力数据。
如图3所示，为传输网络异常情况下缓存数据的调取示意图，当监测到网络恢复时，将缓存在目标数据库中的历史数据调取出来，通过特定协议占用额外部分带宽，发送给数据远端，需要说明的是，在该过程中实时数据传输不会受到干扰。
为了及时更新缓存数据，可选地，在本申请实施例提供的数据获取方法中，在传输网络恢复的情况下，将缓存的第一目标电力数据发送至数据远端之后，该方法还包括：向数据转发端发送目标消息，其中，目标消息用于表征第一目标电力数据发送成功；并基于目标消息删除目标数据库中的第一目标电力数据，以实现目标数据库中的电力数据的更新。
如图3所示，如果数据远端接收缓存数据成功，返回目标消息通知协议客户端，协议客户端再通知数据转发端，删除目标数据库中的转发成功的缓存数据，实现对缓存数据的更新。
可选地，在本申请实施例提供的数据获取方法中，缓存至目标数据库的电力数据至少包括以下信息：电力数据的采集时间，电力数据所属电力监测点的信息，电力数据是否发送至数据远端的标识。
具体地，目标数据库内的数据缓存表结构如下表所示：
| 列名 | 类型 | 长度 | 不是null | 主键 | 注释 |
| id | bigint | 15 | TRUE | ||
| collection time | varchar | 30 | FALSE | 时间戳 | |
| data_info | text | FALSE | 测点信息 | ||
| send | tinyint | 1 | FALSE | 是否发送标识 |
需要说明的是，表中“id”对应PI数据库中Tag采集的电力监测点的测点数据的编码；“collection time”为时间戳，其最高精度为秒，是采集的电力监测点的测点数据的自带时间信息；“data_info”为测点信息，即电力监测点的含义，来自于测点清单；“send”表示是否发送标识，用于区分该数据内容是否已发送至数据远端，在第一消息队列中的电力数据未发送至数据远端的情况下，缓存数据的该标识为0，在第一消息队列中的电力数据发送至数据远端的情况下，缓存数据的该标识为1，当标识变为1的情况下，删除缓存数据。
为了保证数据传输的安全性，可选地，在本申请实施例提供的数据获取方法中，该方法还包括：在数据转发端与数据远端之间设置单向网闸，用以隔离从数据远端向数据转发端发送的数据。
如图4所示，为数据传输系统示意图，通过前置数据采集端采集电力数据，并通过数据转发端发送至数据远端，在数据转发端与数据远端之间设置单向网闸，数据只能从数据转发端发送至数据远端，避免数据从数据远端传输至数据转发端，攻击PI数据库，保证了数据传输的安全性。
可选地，在本申请实施例提供的数据获取方法中，在将获取到的电力数据实时传输至数据远端，同时将获取到的电力数据缓存在目标数据库之前，该方法还包括：通过PI数据库获取各个电力监测点的电力数据。
需要说明的是，数据采集端通过PI数据库提供的SDK开发套件，访问PI数据库，PI数据库提供多种接口连接PI服务器，可以采用JDBC方式连接服务器和PI数据库，搭建服务器环境，建立数据库连接，从而实现对PI数据库内的电力数据的实时查询，获得测点的实时数据。
本申请实施例提供的数据获取方法，通过将获取到的电力数据实时传输至数据远端，同时将获取到的电力数据缓存在目标数据库；在电力数据传输的过程中，若传输网络发生异常，监测传输网络的恢复情况；在传输网络恢复的情况下，将缓存的第一目标电力数据发送至数据远端，其中，第一目标电力数据为传输网络发生异常下未实时传输至数据远端的电力数据，解决了相关技术中远端获取电力数据不稳定，在网络异常的情况下容易遗漏数据的问题。通过传输网络恢复的情况下，将缓存的未实时传输至数据远端的电力数据发送至数据远端进而达到了远端稳定获取电力数据，在网络异常的情况下也不会遗漏数据的效果。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例还提供了一种数据获取装置，需要说明的是，本申请实施例的数据获取装置可以用于执行本申请实施例所提供的用于数据获取方法。以下对本申请实施例提供的数据获取装置进行介绍。
图5是根据本申请实施例的数据获取装置的示意图。如图5所示，该装置包括：传输单元10、监测单元20和第一发送单元30。
具体地，传输单元10，用于将获取到的电力数据实时传输至数据远端，同时将获取到的电力数据缓存在目标数据库。
监测单元20，用于在电力数据传输的过程中，若传输网络发生异常，监测传输网络的恢复情况。
第一发送单元30，用于在传输网络恢复的情况下，将缓存的第一目标电力数据发送至数据远端，其中，第一目标电力数据为传输网络发生异常下未实时传输至数据远端的电力数据。
可选地，在本申请实施例提供的数据获取装置中，传输单元10包括：传输模块，用于将获取到的电力数据传输至第一消息队列，并将第一消息队列中的电力数据传输至数据远端；存储模块，用于同时将获取到的电力数据传输至第二消息队列，并将第二消息队列中的电力数据存储至目标数据库。
可选地，在本申请实施例提供的数据获取装置中，该装置还包括：删除模块，用于将第一消息队列中的电力数据传输至数据远端之后，从目标数据库中删除第二目标电力数据，其中，第二目标电力数据为已从第一消息队列发送至数据远端的电力数据。
可选地，在本申请实施例提供的数据获取装置中，传输模块包括：第一组装子模块，用于将获取到的电力数据组装为预设格式的电力数据，并对预设格式的电力数据进行压缩；第一发送子模块，用于将压缩后的电力数据发送至第一消息队列；第二发送子模块，用于将第一消息队列中的电力数据发送至数据转发端，并对第一消息队列中的电力数据进行解压；转发子模块，用于将解压后的电力数据通过预设协议转发至数据远端。
可选地，在本申请实施例提供的数据获取装置中，存储模块包括：第二组装子模块，用于将获取到的电力数据组装为预设格式的电力数据，并对预设格式的电力数据进行压缩；第三发送子模块，用于将压缩后的电力数据发送至第二消息队列；缓存子模块，用于将第二消息队列中的电力数据缓存至目标数据库。
可选地，在本申请实施例提供的数据获取装置中，该装置还包括：第二发送单元，用于在传输网络恢复的情况下，将缓存的第一目标电力数据发送至数据远端之后，向数据转发端发送目标消息，其中，目标消息用于表征第一目标电力数据发送成功；更新单元，用于基于目标消息删除目标数据库中的第一目标电力数据，以实现目标数据库中的电力数据的更新。
可选地，在本申请实施例提供的数据获取装置中，该装置还包括：设置单元，用于在数据转发端与数据远端之间设置单向网闸，用以隔离从数据远端向数据转发端发送的数据。
可选地，在本申请实施例提供的数据获取装置中，该装置还包括：获取单元，用于在将获取到的电力数据实时传输至数据远端，同时将获取到的电力数据缓存在目标数据库之前，通过PI数据库获取各个电力监测点的电力数据。
可选地，在本申请实施例提供的数据获取装置中，缓存至目标数据库的电力数据至少包括以下信息：电力数据的采集时间，电力数据所属电力监测点的信息，电力数据是否发送至数据远端的标识。
本申请实施例提供的数据获取装置，通过传输单元10将获取到的电力数据实时传输至数据远端，同时将获取到的电力数据缓存在目标数据库；监测单元20在电力数据传输的过程中，若传输网络发生异常，监测传输网络的恢复情况；第一发送单元30在传输网络恢复的情况下，将缓存的第一目标电力数据发送至数据远端，其中，第一目标电力数据为传输网络发生异常下未实时传输至数据远端的电力数据，解决了相关技术中远端获取电力数据不稳定，在网络异常的情况下容易遗漏数据的问题，通过传输网络恢复的情况下，将缓存的未实时传输至数据远端的电力数据发送至数据远端进而达到了远端稳定获取电力数据，在网络异常的情况下也不会遗漏数据的效果。
所述数据获取装置包括处理器和存储器，上述传输单元10、监测单元20和第一发送单元30等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来解决相关技术中远端获取电力数据不稳定，在网络异常的情况下容易遗漏数据的问题。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述数据获取方法。
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述数据获取方法。
本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：将获取到的电力数据实时传输至数据远端，同时将获取到的电力数据缓存在目标数据库；在电力数据传输的过程中，若传输网络发生异常，监测传输网络的恢复情况；在传输网络恢复的情况下，将缓存的第一目标电力数据发送至数据远端，其中，第一目标电力数据为传输网络发生异常下未实时传输至数据远端的电力数据。
将获取到的电力数据实时传输至数据远端，同时将获取到的电力数据缓存在目标数据库包括：将获取到的电力数据传输至第一消息队列，并将第一消息队列中的电力数据传输至数据远端；同时将获取到的电力数据传输至第二消息队列，并将第二消息队列中的电力数据存储至目标数据库。
该方法还包括：将第一消息队列中的电力数据传输至数据远端之后，从目标数据库中删除第二目标电力数据，其中，第二目标电力数据为已从第一消息队列发送至数据远端的电力数据。
将获取到的电力数据传输至第一消息队列，并将第一消息队列中的电力数据传输至数据远端包括：将获取到的电力数据组装为预设格式的电力数据，并对预设格式的电力数据进行压缩；将压缩后的电力数据发送至第一消息队列；将第一消息队列中的电力数据发送至数据转发端，并对第一消息队列中的电力数据进行解压；将解压后的电力数据通过预设协议转发至数据远端。
将获取到的电力数据传输至第二消息队列，并将第二消息队列中的电力数据存储至目标数据库包括：将获取到的电力数据组装为预设格式的电力数据，并对预设格式的电力数据进行压缩；将压缩后的电力数据发送至第二消息队列；将第二消息队列中的电力数据缓存至目标数据库。
在传输网络恢复的情况下，将缓存的第一目标电力数据发送至数据远端之后，该方法还包括：向数据转发端发送目标消息，其中，目标消息用于表征第一目标电力数据发送成功；并基于目标消息删除目标数据库中的第一目标电力数据，以实现目标数据库中的电力数据的更新。
该方法还包括：在数据转发端与数据远端之间设置单向网闸，用以隔离从数据远端向数据转发端发送的数据。
在将获取到的电力数据实时传输至数据远端，同时将获取到的电力数据缓存在目标数据库之前，该方法还包括：通过PI数据库获取各个电力监测点的电力数据。
缓存至目标数据库的电力数据至少包括以下信息：电力数据的采集时间，电力数据所属电力监测点的信息，电力数据是否发送至数据远端的标识。本文中的设备可以是服务器、PC等。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：将获取到的电力数据实时传输至数据远端，同时将获取到的电力数据缓存在目标数据库；在电力数据传输的过程中，若传输网络发生异常，监测传输网络的恢复情况；在传输网络恢复的情况下，将缓存的第一目标电力数据发送至数据远端，其中，第一目标电力数据为传输网络发生异常下未实时传输至数据远端的电力数据。
将获取到的电力数据实时传输至数据远端，同时将获取到的电力数据缓存在目标数据库包括：将获取到的电力数据传输至第一消息队列，并将第一消息队列中的电力数据传输至数据远端；同时将获取到的电力数据传输至第二消息队列，并将第二消息队列中的电力数据存储至目标数据库。
该方法还包括：将第一消息队列中的电力数据传输至数据远端之后，从目标数据库中删除第二目标电力数据，其中，第二目标电力数据为已从第一消息队列发送至数据远端的电力数据。
将获取到的电力数据传输至第一消息队列，并将第一消息队列中的电力数据传输至数据远端包括：将获取到的电力数据组装为预设格式的电力数据，并对预设格式的电力数据进行压缩；将压缩后的电力数据发送至第一消息队列；将第一消息队列中的电力数据发送至数据转发端，并对第一消息队列中的电力数据进行解压；将解压后的电力数据通过预设协议转发至数据远端。
将获取到的电力数据传输至第二消息队列，并将第二消息队列中的电力数据存储至目标数据库包括：将获取到的电力数据组装为预设格式的电力数据，并对预设格式的电力数据进行压缩；将压缩后的电力数据发送至第二消息队列；将第二消息队列中的电力数据缓存至目标数据库。
在传输网络恢复的情况下，将缓存的第一目标电力数据发送至数据远端之后，该方法还包括：向数据转发端发送目标消息，其中，目标消息用于表征第一目标电力数据发送成功；并基于目标消息删除目标数据库中的第一目标电力数据，以实现目标数据库中的电力数据的更新。
该方法还包括：在数据转发端与数据远端之间设置单向网闸，用以隔离从数据远端向数据转发端发送的数据。
在将获取到的电力数据实时传输至数据远端，同时将获取到的电力数据缓存在目标数据库之前，该方法还包括：通过PI数据库获取各个电力监测点的电力数据。
缓存至目标数据库的电力数据至少包括以下信息：电力数据的采集时间，电力数据所属电力监测点的信息，电力数据是否发送至数据远端的标识。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、传输网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (11)
1.一种数据获取方法，其特征在于，包括：
将获取到的电力数据实时传输至数据远端，同时将获取到的电力数据缓存在目标数据库；
在电力数据传输的过程中，若传输网络发生异常，监测所述传输网络的恢复情况；
在所述传输网络恢复的情况下，将缓存的第一目标电力数据发送至所述数据远端，其中，所述第一目标电力数据为所述传输网络发生异常下未实时传输至所述数据远端的电力数据。
2.根据权利要求1所述的方法，其特征在于，将获取到的电力数据实时传输至数据远端，同时将获取到的电力数据缓存在目标数据库包括：
将获取到的电力数据传输至第一消息队列，并将所述第一消息队列中的电力数据传输至所述数据远端；
同时将获取到的电力数据传输至第二消息队列，并将所述第二消息队列中的电力数据存储至所述目标数据库。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
将所述第一消息队列中的电力数据传输至所述数据远端之后，从所述目标数据库中删除第二目标电力数据，其中，所述第二目标电力数据为已从所述第一消息队列发送至所述数据远端的电力数据。
4.根据权利要求2所述的方法，其特征在于，将获取到的电力数据传输至第一消息队列，并将所述第一消息队列中的电力数据传输至所述数据远端包括：
将获取到的电力数据组装为预设格式的电力数据，并对所述预设格式的电力数据进行压缩；
将压缩后的电力数据发送至所述第一消息队列；
将所述第一消息队列中的电力数据发送至数据转发端，并对所述第一消息队列中的电力数据进行解压；
将解压后的电力数据通过预设协议转发至所述数据远端。
5.根据权利要求4所述的方法，其特征在于，将获取到的电力数据传输至第二消息队列，并将所述第二消息队列中的电力数据存储至所述目标数据库包括：
将获取到的电力数据组装为所述预设格式的电力数据，并对所述预设格式的电力数据进行压缩；
将压缩后的电力数据发送至所述第二消息队列；
将所述第二消息队列中的电力数据缓存至所述目标数据库。
6.根据权利要求4所述的方法，其特征在于，在所述传输网络恢复的情况下，将缓存的第一目标电力数据发送至所述数据远端之后，所述方法还包括：
向所述数据转发端发送目标消息，其中，所述目标消息用于表征所述第一目标电力数据发送成功；
并基于所述目标消息删除所述目标数据库中的所述第一目标电力数据，以实现所述目标数据库中的电力数据的更新。
7.根据权利要求5至6中任意一项所述的方法，其特征在于，所述方法还包括：
在所述数据转发端与所述数据远端之间设置单向网闸，用以隔离从所述数据远端向所述数据转发端发送的数据。
8.根据权利要求1所述的方法，其特征在于，在将获取到的电力数据实时传输至数据远端，同时将获取到的电力数据缓存在目标数据库之前，所述方法还包括：
通过PI数据库获取各个电力监测点的电力数据。
9.根据权利要求1所述的方法，其特征在于，缓存至所述目标数据库的电力数据至少包括以下信息：电力数据的采集时间，电力数据所属电力监测点的信息，电力数据是否发送至所述数据远端的标识。
10.一种数据获取装置，其特征在于，包括：
传输单元，用于将获取到的电力数据实时传输至数据远端，同时将获取到的电力数据缓存在目标数据库；
监测单元，用于在电力数据传输的过程中，若传输网络发生异常，监测所述传输网络的恢复情况；
第一发送单元，用于在所述传输网络恢复的情况下，将缓存的第一目标电力数据发送至所述数据远端，其中，所述第一目标电力数据为所述传输网络发生异常下未实时传输至所述数据远端的电力数据。
11.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序执行权利要求1至9中任意一项所述的数据获取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910363782.8A CN110086673A (zh) | 2019-04-30 | 2019-04-30 | 数据获取方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910363782.8A CN110086673A (zh) | 2019-04-30 | 2019-04-30 | 数据获取方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110086673A true CN110086673A (zh) | 2019-08-02 |
Family
ID=67418306
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910363782.8A Pending CN110086673A (zh) | 2019-04-30 | 2019-04-30 | 数据获取方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110086673A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110989418A (zh) * | 2019-11-04 | 2020-04-10 | 苏州智电节能科技有限公司 | 基于rs485通讯的数据采集系统及其工作方法 |
| CN111277658A (zh) * | 2020-01-21 | 2020-06-12 | 神华神东电力有限责任公司 | 数据传输方法及远端数据中心 |
| CN111541720A (zh) * | 2020-05-20 | 2020-08-14 | 浩云科技股份有限公司 | 一种数据摆渡方法、系统、终端设备及可读存储介质 |
| CN112615755A (zh) * | 2019-12-18 | 2021-04-06 | 北京金风慧能技术有限公司 | 数据传输方法和系统 |
| CN114172609A (zh) * | 2021-12-06 | 2022-03-11 | 深圳益邦阳光有限公司 | 一种数据传输方法、装置、设备及介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102868552A (zh) * | 2012-08-21 | 2013-01-09 | 广东电网公司电力科学研究院 | 数据发送方法 |
| CN105974836A (zh) * | 2016-04-29 | 2016-09-28 | 郑州宇通客车股份有限公司 | 一种客车监控主机数据采集方法及系统 |
-
2019
- 2019-04-30 CN CN201910363782.8A patent/CN110086673A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102868552A (zh) * | 2012-08-21 | 2013-01-09 | 广东电网公司电力科学研究院 | 数据发送方法 |
| CN105974836A (zh) * | 2016-04-29 | 2016-09-28 | 郑州宇通客车股份有限公司 | 一种客车监控主机数据采集方法及系统 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110989418A (zh) * | 2019-11-04 | 2020-04-10 | 苏州智电节能科技有限公司 | 基于rs485通讯的数据采集系统及其工作方法 |
| CN112615755A (zh) * | 2019-12-18 | 2021-04-06 | 北京金风慧能技术有限公司 | 数据传输方法和系统 |
| CN112615755B (zh) * | 2019-12-18 | 2022-03-29 | 北京金风慧能技术有限公司 | 数据传输方法和系统 |
| CN111277658A (zh) * | 2020-01-21 | 2020-06-12 | 神华神东电力有限责任公司 | 数据传输方法及远端数据中心 |
| CN111541720A (zh) * | 2020-05-20 | 2020-08-14 | 浩云科技股份有限公司 | 一种数据摆渡方法、系统、终端设备及可读存储介质 |
| CN111541720B (zh) * | 2020-05-20 | 2022-08-09 | 浩云科技股份有限公司 | 一种数据摆渡方法、系统、终端设备及可读存储介质 |
| CN114172609A (zh) * | 2021-12-06 | 2022-03-11 | 深圳益邦阳光有限公司 | 一种数据传输方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110086673A (zh) | 数据获取方法及装置 | |
| CN110505312B (zh) | 一种可云端部署的物联网平台管理系统 | |
| CN111464336B (zh) | 一种基于电力通信机房高并发数据处理方法及系统 | |
| CN110457190A (zh) | 一种基于区块链的全链路监控方法、装置及系统 | |
| CN113112086A (zh) | 一种基于边缘计算和标识解析的智能生产系统 | |
| CN103761309A (zh) | 一种运营数据处理方法及系统 | |
| CN111756801A (zh) | 一种处理智能制造大数据的方法和系统 | |
| US8478714B2 (en) | Integrated distribution management system channel adapter | |
| CN109391629A (zh) | 轨道交通综合监控系统数据处理方法 | |
| CN104011719A (zh) | 消息跟踪和检查的方法和系统 | |
| Wang et al. | Information and communication infrastructures in modern wide-area systems | |
| CN109660389A (zh) | 一种it资产管理方法及装置 | |
| CN109783258A (zh) | 一种消息处理方法、装置及服务器 | |
| CN113179173A (zh) | 一种用于高速公路系统的运维监控系统 | |
| CN109308290B (zh) | 一种基于cim的高效数据清洗转换方法 | |
| CN110347694A (zh) | 一种基于物联网的设备监控方法、装置及系统 | |
| Silva et al. | Investigating edge vs. cloud computing trade-offs for stream processing | |
| CN116346948A (zh) | 一种基于微服务的多协议规约转换方法及系统 | |
| CN116257021A (zh) | 一种工控系统智能网络安全态势监测预警平台 | |
| CN117930737A (zh) | 一种工业生产设备预警的可视化监测方法及装置 | |
| CN113553374A (zh) | 一种去中心化分布式大数据区块链信息存储系统 | |
| CN108845896A (zh) | 灾难后数据追踪系统及方法 | |
| CN111241101A (zh) | 一种分布式水利rtu数据采集系统及方法 | |
| CN109495435A (zh) | 服务器的防火墙更新方法和装置 | |
| CN113641509A (zh) | 一种物联网数据处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190802 |