CN113726840B - 一种调度一体化平台数据回流与增量同步的系统和方法 - Google Patents

一种调度一体化平台数据回流与增量同步的系统和方法 Download PDF

Info

Publication number
CN113726840B
CN113726840B CN202110679118.1A CN202110679118A CN113726840B CN 113726840 B CN113726840 B CN 113726840B CN 202110679118 A CN202110679118 A CN 202110679118A CN 113726840 B CN113726840 B CN 113726840B
Authority
CN
China
Prior art keywords
data
dispatching
module
acquisition subsystem
synchronization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110679118.1A
Other languages
English (en)
Other versions
CN113726840A (zh
Inventor
骆国铭
周俊宇
吴海江
唐鹤
陈晓彤
亓玉国
李伟
区允杰
钟童科
黄炳翔
梁锦来
陈凯阳
花洁
陈刚
胡福金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan Power Supply Bureau of Guangdong Power Grid Corp
Original Assignee
Foshan Power Supply Bureau of Guangdong Power Grid Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan Power Supply Bureau of Guangdong Power Grid Corp filed Critical Foshan Power Supply Bureau of Guangdong Power Grid Corp
Priority to CN202110679118.1A priority Critical patent/CN113726840B/zh
Publication of CN113726840A publication Critical patent/CN113726840A/zh
Application granted granted Critical
Publication of CN113726840B publication Critical patent/CN113726840B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources

Abstract

本发明公开了一种调度一体化平台数据回流与增量同步的系统，包括dataCrawler采集子系统以及dataChannel采集子系统，dataCrawler采集子系统包括登录模块、定时采集模块以及自动转发同步模块，dataChannel采集子系统包括数据增量过滤模块、缓存池以及数据同步模块。本发明系统取代原有调度模式，重新规范调度工作流程，将调度运行的检修单、操作票、工作票、电子令等功能进行整合，形成完整的操作闭环流程，在流程的各个环节进行安全校核，提高了调度指挥智能化水平，提升了调度运行管理效率，实现电网运行安全与效率的统一。

Description

一种调度一体化平台数据回流与增量同步的系统和方法
技术领域
本发明涉及电力系统电网调度技术领域，尤其涉及一种调度一体化平台数据回流与增量同步的系统和方法。
背景技术
调度智能指挥平台(简称DICP)是以电网调度业务为基础构建的专业化指挥平台，是基于调控一体化模式建立的贯通各级调度对象的调度指挥网络交互系统。
然而，在目前站内操作票执行环节中，由于依赖大量复杂重复的人工操作，不仅使得环节复杂，而且还效率低，误操作风险大；尤其对一些偏远恶劣的现场环境，到站操作也有操作成本高、难度大、人身安全风险高等缺点；另外，应对高速增长的电网规模，传统运检模式也难以适应当前电网工作的需要。
此外，在调度办公终端中，设备因限制并不能开端口，无法启用服务。并且内存严重不足，给调整带来数据通信的不便。
发明内容
本发明的目的在于提供一种调度一体化平台数据回流与增量同步的系统和方法，旨在解决现有技术中调度办公终端中，设备因限制并不能开端口，无法启用服务，并且内存严重不足，给调整带来数据通信的不便等问题。
为实现上述目的，本发明的技术方案如下：一种调度一体化平台数据回流与增量同步的系统，包括dataCrawler采集子系统以及dataChannel采集子系统，
所述dataCrawler采集子系统包括登录模块、定时采集模块以及自动转发同步模块，其中，
所述登录模块连接自动转发同步模块，以用于所述调度一体化平台初始登录外部客户机，完成数据搭载；
所述定时采集模块连接所述自动转发同步模块，用于定时获取所述调度一体化平台的数据；
所述自动转发同步模块在采信到所述调度一体化平台的数据后，自动同步到所述dataChannel采集子系统进行数据同步服务；
所述dataChannel采集子系统包括数据增量过滤模块、缓存池以及数据同步模块，其中，
所述数据增量过滤模块连接数据同步模块以用于所述自动转发同步模块在采信到所述调度一体化平台的数据时，对采集数据进行压缩加密；
所述缓存池连接所述数据同步模块，用于对过滤后的所述采集数据进行缓存并存储；
所述数据同步模块用于对所述缓存后采集数据进行数据更新。
进一步地，所述数据增量过滤模块在对采集数据进行压缩加密时，若，所述采集数据已进行同步，则所述采集数据进行过滤，过滤完成后输送至所述缓存池中。
进一步地，所述dataCrawler采集子系统通信连接所述dataChannel采集子系统。
一种调度一体化平台数据回流与增量同步的方法，包括以下步骤：
步骤S1、初始化调度一体化平台并在所述调度一体化平台上启用定时调试任务；
步骤S2、对调度一体化平台进行登录结果判断，若输出结果为是，则调度一体化平台自动抓取数据，并自动转发到dataChannel采集子系统进行数据同步服务；反之，则登录调度一体化平台的CAS登录认证服务，获取token标记数据，调度一体化平台登录成功后，直接获取token标记数据并自动转发到dataChannel采集子系统进行数据同步服务；
步骤S3、dataChannel采集子系统接收数据后，对所接收的数据进行加密并进行对比缓存；
步骤S4、缓存完成后将所接受的数据添加到增量任务，并对增量任务进行入库；
步骤S5、将已入库的增量任务标记为缓存数据，完成调度一体化平台数据回流与增量同步。
进一步地，基于步骤S3，所述dataChannel采集子系统接收数据后，对所接收的数据进行加密并与缓存池数据作比较，若所接受数据不存在缓存池时，则直接添加入增量数据队列，否则加入修改数据队列中。
进一步地，基于步骤S4，所述增量任务的入库具体实施方式包括：增量新增入库以及增量修改入库。
本发明系统取代原有调度模式，重新规范调度工作流程，将调度运行的检修单、操作票、工作票、电子令等功能进行整合，形成完整的操作闭环流程，在流程的各个环节进行安全校核，提高了调度指挥智能化水平，提升了调度运行管理效率，实现电网运行安全与效率的统一；
此外，本发明采用一种调度一体化平台数据回流与增量同步流程，使得在数据不流通的系统环境下操作DICP数据的中间桥梁，数据逻辑筛选过滤等大量逻辑分离，大大节约了OA机器的系统成本，而且还有效地同步DICP数据，进而有效地提高了电力数据以及中调系统的可扩展性；
与此同时，极大的简化了数据导出到各个环节的流程，从而不仅有效地提高了操作项目的自动化程度，而且还有效地降低了误操作及漏操作的风险。
附图说明
构成说明书一部分的附图描述了本发明的实施例，并且连同描述一起用于解释本发明的原理，参照附图，可以更加清楚地理解本发明：
图1为本发明一实施例中调度一体化平台的系统整体框图示意图；
图2是本发明一实施例中的整体流程示意图。
具体实施方式
下面结合附图和实施例对本发明的技术方案做进一步的详细说明。
如图1所示，本发明的一种调度一体化平台数据回流与增量同步的系统，包括：dataCrawler采集子系统以及dataChannel采集子系统，
dataCrawler采集子系统包括登录模块、定时采集模块以及自动转发同步模块，其中，
登录模块连接自动转发同步模块，以用于调度一体化平台初始登录外部客户机，完成数据搭载；
定时采集模块连接自动转发同步模块，用于定时获取调度一体化平台的数据；
自动转发同步模块在采信到调度一体化平台的数据后，自动同步到dataChannel采集子系统进行数据同步服务；
dataChannel采集子系统包括数据增量过滤模块、缓存池以及数据同步模块，其中，
数据增量过滤模块连接数据同步模块以用于自动转发同步模块在采信到调度一体化平台的数据时，对采集数据进行压缩加密；
缓存池连接数据同步模块，用于对过滤后的采集数据进行缓存并存储；
数据同步模块用于对缓存后采集数据进行数据更新。
作为本发明的一实施例，数据增量过滤模块在对采集数据进行压缩加密时，若，采集数据已进行同步，则采集数据进行过滤，过滤完成后输送至缓存池中。
作为本发明的一实施例，dataCrawler采集子系统通信连接dataChannel采集子系统。
如图2所示，本发明还提供一种调度一体化平台数据回流与增量同步的方法，包括以下步骤：
步骤S1、初始化调度一体化平台并在调度一体化平台上启用定时调试任务；
步骤S2、对调度一体化平台进行登录结果判断，若输出结果为是，即，调度一体化平台已登录且登录未过期，则调度一体化平台自动抓取数据，并自动转发到dataChannel采集子系统进行数据同步服务；反之，则登录调度一体化平台oauth2，即，登录调度一体化平台的CAS登录认证服务，获取token标记数据，调度一体化平台登录成功后，直接获取token标记数据并自动转发到dataChannel采集子系统进行数据同步服务；
步骤S3、dataChannel采集子系统接收数据后，对所接收的数据进行加密并进行对比缓存；
步骤S4、缓存完成后将所接受的数据添加到增量任务，并对增量任务进行入库；
步骤S5、将已入库的增量任务标记为缓存数据，完成调度一体化平台数据回流与增量同步，通过采用一种调度一体化平台数据回流与增量同步流程，使得数据同步过程中，由于内网无法开通服务，内存过小的问题得到缓解，为其它系统得到更多大扩展空间，省去了数据导出同步的繁琐流程。而且还有效地省去了人力、物力及时间成本，进而有效地提高了变电站操作票的执行效率。
作为本发明的一实施例，基于步骤S3，dataChannel采集子系统接收数据后，对所接收的数据进行加密并与缓存池数据作比较，若所接受数据不存在缓存池时，则直接添加入增量数据队列，否则加入修改数据队列中。
作为本发明的一实施例，基于步骤S4，增量任务的入库具体实施方式包括：增量新增入库以及增量修改入库。
作为本发明的一实施例，本发明系统取代原有调度模式，重新规范调度工作流程，将调度运行的检修单、操作票、工作票、电子令等功能进行整合，形成完整的操作闭环流程，在流程的各个环节进行安全校核，提高了调度指挥智能化水平，提升了调度运行管理效率，实现电网运行安全与效率的统一，此外，本发明采用一种调度一体化平台数据回流与增量同步流程，使得在数据不流通的系统环境下操作DICP数据的中间桥梁，数据逻辑筛选过滤等大量逻辑分离，大大节约了OA机器的系统成本，而且还有效地同步DICP数据，进而有效地提高了电力数据以及中调系统的可扩展性；与此同时，极大的简化了数据导出到各个环节的流程，从而不仅有效地提高了操作项目的自动化程度，而且还有效地降低了误操作及漏操作的风险。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是，以上所述仅为本发明的具体实施方式，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应含在本发明的保护范围之内。

Claims (3)

1.一种调度一体化平台数据回流与增量同步的系统，其特征在于：包括 dataCrawler采集子系统以及 dataChannel 采集子系统，
所述 dataCrawler 采集子系统包括登录模块、定时采集模块以及自动转发同步模块，其中，
所述登录模块连接自动转发同步模块，以用于所述调度一体化平台初始登录外部客户机，完成数据搭载；
所述定时采集模块连接所述自动转发同步模块，用于定时获取所述调度一体化平台的数据；
所述自动转发同步模块在采信到所述调度一体化平台的数据后，自动同步到所述dataChannel 采集子系统进行数据同步服务；
所述 dataChannel 采集子系统包括数据增量过滤模块、缓存池以及数据同步模块，其中，
所述数据增量过滤模块连接数据同步模块以用于所述自动转发同步模块在采信到所述调度一体化平台的数据时，对采集数据进行压缩加密；
所述缓存池连接所述数据同步模块，用于对过滤后的所述采集数据进行缓存并存储；
所述数据同步模块用于对所述缓存后采集数据进行数据更新；包括以下步骤：
步骤 S1、初始化调度一体化平台并在所述调度一体化平台上启用定时调试任务；
步骤 S2、对调度一体化平台进行登录结果判断，若输出结果为是，则调度一体化平台自动抓取数据，并自动转发到 dataChannel 采集子系统进行数据同步服务；反之， 则登录调度一体化平台的 CAS 登录认证服务，获取 token 标记数据，调度一体化平台登录成功后，直接获取 token 标记数据并自动转发到 dataChannel 采集子系统进行数据同步服务；
步骤 S3、dataChannel 采集子系统接收数据后，对所接收的数据进行加密并进行对比缓存；其中，
所述 dataChannel 采集子系统接收数据后，对所接收的数据进行加密并与缓存池数据作比较，若所接收数据不存在缓存池时，则直接添加入增量数据队列，否则加入修改数据队列中
步骤 S4、缓存完成后将所接受的数据添加到增量任务，并对增量任务进行入库， 其中，所述增量任务的入库具体实施方式包括：增量新增入库以及增量修改入库；
步骤 S5、将已入库的增量任务标记为缓存数据，完成调度一体化平台数据回流与增量同步。
2.根据权利要求 1 所述的一种调度一体化平台数据回流与增量同步的系统，其特征在于：所述数据增量过滤模块在对采集数据进行压缩加密时，若，所述采集数据已进行同步，则所述采集数据进行过滤，过滤完成后输送至所述缓存池中。
3.根据权利要求 1 所述的一种调度一体化平台数据回流与增量同步的系统，其特征在于：所述 dataCrawler 采集子系统通信连接所述 dataChannel 采集子系统。
CN202110679118.1A 2021-06-18 2021-06-18 一种调度一体化平台数据回流与增量同步的系统和方法 Active CN113726840B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110679118.1A CN113726840B (zh) 2021-06-18 2021-06-18 一种调度一体化平台数据回流与增量同步的系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110679118.1A CN113726840B (zh) 2021-06-18 2021-06-18 一种调度一体化平台数据回流与增量同步的系统和方法

Publications (2)

Publication Number Publication Date
CN113726840A CN113726840A (zh) 2021-11-30
CN113726840B true CN113726840B (zh) 2023-07-04

Family

ID=78673001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110679118.1A Active CN113726840B (zh) 2021-06-18 2021-06-18 一种调度一体化平台数据回流与增量同步的系统和方法

Country Status (1)

Country Link
CN (1) CN113726840B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105554114A (zh) * 2015-12-17 2016-05-04 深圳市从晶科技有限公司 一种数据同步方法及数据同步固件平台
CN111259081A (zh) * 2020-02-04 2020-06-09 杭州数梦工场科技有限公司 一种数据同步方法、装置、电子设备及存储介质
CN111723160A (zh) * 2020-08-24 2020-09-29 国网浙江省电力有限公司 一种多源异构增量数据同步方法及系统
CN112256674A (zh) * 2020-10-30 2021-01-22 中国建设银行股份有限公司 一种数据迁移方法、装置、电子设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105554114A (zh) * 2015-12-17 2016-05-04 深圳市从晶科技有限公司 一种数据同步方法及数据同步固件平台
CN111259081A (zh) * 2020-02-04 2020-06-09 杭州数梦工场科技有限公司 一种数据同步方法、装置、电子设备及存储介质
CN111723160A (zh) * 2020-08-24 2020-09-29 国网浙江省电力有限公司 一种多源异构增量数据同步方法及系统
CN112256674A (zh) * 2020-10-30 2021-01-22 中国建设银行股份有限公司 一种数据迁移方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN113726840A (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
CN101567013B (zh) 一种etl调度的实现方法及装置
CN108366067B (zh) 电力系统通用服务协议一致性测试系统及方法
CN106815681B (zh) 基于二维码的变电站二次设备闭环管理平台及其管理系统
CN111372209B (zh) 信令数据处理方法、装置、设备及介质
CN100403696C (zh) 在网元与网管间实现数据配置的存储管理方法与系统
CN102868552B (zh) 数据发送方法
CN102281310B (zh) 一种实时监视车载gps终端在线状况的方法
CN113726840B (zh) 一种调度一体化平台数据回流与增量同步的系统和方法
CN104426710A (zh) 监控取证方法及系统
CN105607606A (zh) 一种基于双主板架构的数据采集装置及方法
CN112308507B (zh) 一种一键顺控变电站操作票的系统和方法
JP3842154B2 (ja) 電力系統監視制御装置
CN111960208A (zh) 一种电梯远程数据采集方法和系统
CN110687878A (zh) 工业设备模型组件应用云平台
CN111314408B (zh) 一种基于通信层多数据项缓存任务的本地边缘计算和物联管理方法
CN109828489B (zh) 一种通用型综合监控前置通信控制器软件
CN112261509A (zh) 一种用电信息采集终端的抄表调度方法
CN107104508B (zh) 一种整合交互通信功能的停送电时间自动计算系统
CN111898916A (zh) 一种煤炭产业链风险监控系统及其监控方法
CN112235361B (zh) 一种光伏电站数据转接平台
CN103501243A (zh) 页面式通信管理装置及方法
CN113065733B (zh) 一种基于人工智能的电气资产管理方法
CN111800381B (zh) 公共事业数据一体化远程采集统一规约处理系统及方法
CN112114192B (zh) 电力采集终端搜表方法、电子设备及搜表系统
CN101830241B (zh) 一种轨道交通系统配置器及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant