CN114416718A - 数据库同步历史数据的方法、系统、电子设备和储存介质 - Google Patents
数据库同步历史数据的方法、系统、电子设备和储存介质 Download PDFInfo
- Publication number
- CN114416718A CN114416718A CN202210315978.1A CN202210315978A CN114416718A CN 114416718 A CN114416718 A CN 114416718A CN 202210315978 A CN202210315978 A CN 202210315978A CN 114416718 A CN114416718 A CN 114416718A
- Authority
- CN
- China
- Prior art keywords
- data
- synchronization
- database
- executing
- task information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种数据库同步历史数据的方法、系统、电子设备和储存介质，本发明包括测点数据自检模块、同步任务信息生成模块、数据库交互模块和数据同步执行模块，该系统通过实时监测指定电厂的数据库中数据缺失情况，获取数据缺失的起始时间和结束时间，并生成同步任务信息，对数据库进行同步，实现了数据丢失后自动同步缺失数据的目的，且不需要占用大量的磁盘空间。该系统既可以解决同步数据过程数据缺失的问题，也可以为整个项目节省高额的人力资源以及财力成本。
Description
技术领域
本发明属于网络数据传输领域，具体涉及一种数据库同步历史数据的方法、系统、电子设备和储存介质。
背景技术
电厂实时数据库与电厂所属区域公司或集团实时数据库同步的过程中，往往会发生网络中断、网络不稳定、软件重启等外因，导致同步过程中出现数据缺失的问题。在电厂侧向区域公司或集团同步数据的整个过程中：如果使用写缓存方式补录缺失数据，后期补录数据会占用大量磁盘空间；且丢失数据的时间过长，会因磁盘空间不足造成数据永久丢失，影响到集团总部数据存储的完整性和准确性，该问题是系统数据维护人员需要考虑的重要问题之一。
发明内容
本发明的目的在于克服上述不足，提供一种数据库同步历史数据的方法、系统、电子设备和储存介质，能够解决同步数据过程数据缺失的问题，也可以为整个项目节省高额的人力资源以及财力成本。
为了达到上述目的，一种数据库同步历史数据的方法，包括以下步骤：
S1，配置各地电厂指定标签组，执行S2；
S2，实时监测指定标签组中数据库的数据缺失情况，若发生数据缺失，则执行S3；若未发现数据缺失，则重新执行S2；
S3，获取数据缺失的起始时间和结束时间，并生成同步任务信息，执行S4；
S4，将同步任务信息发送至对应电厂，执行S5；
S5，进行数据同步。
S1中，通过手动配置指定时间段，生成对应的指定时间同步任务信息，将指定时间同步任务信息发送至对应电厂，执行S4。
S4中，在数据同步时，执行以下步骤：
S41，实时监测数据同步期间是否有中断，若是，则执行S42；若否，则重新执行S41；
S42，记录中断的起始时间，执行S43；
S43，实时监测是否有连接是否恢复，若是，则执行S44；若否，则执行S41；
S44，记录连接中断的结束时间，执行S45；
S45，根据连接中断的起始时间和结束时间，生成对应的断点同步任务信息，执行S46；
S46，重新执行S5。
S5中，数据同步的具体方法如下：
S51，接收同步任务信息，执行S52；
S52，解析同步任务信息，执行S53；
S53，将同步任务信息与任务队列中任务进行对比分析，若有重复的同步内容进行删除，保留需同步的信息，执行S54；
S54，生成新任务信息，并加入到任务队列中，进行S55；
S55，从任务队列中获取其中一个任务，进行S56；
S56，获取同步数据，进行S57；
S57：将同步数据同步入库，完成同步。
一种实时数据库自动同步历史数据的系统，包括：
测点数据自检模块，用于配置各地电厂指定标签组，实时监测指定标签组中数据库的数据缺失情况；
同步任务信息生成模块，用于获取数据缺失的起始时间和结束时间，并生成同步任务信息；
数据库交互模块，用于将同步任务信息发送至对应电厂；
数据同步执行模块，用于进行数据同步。
测点数据自检模块、同步任务信息生成模块和数据库交互模块置于数据同步服务端，数据同步服务端连接区域实时数据库；
数据同步执行模块置于数据同步客户端，数据同步客户端连接对应电厂的实时数据库；
数据同步服务端和若干数据同步客户端均通过以太网连接。
数据同步服务端包括手动配置模块；
手动配置模块，用于手动配置指定时间段，生成对应的指定时间同步任务信息。
数据同步客户端包括数据中断执行模块；
数据中断执行模块，用于监测数据同步期间是否有中断，若有中断，则根据连接中断的起始时间和结束时间，生成对应的断点同步任务信息。
一种电子设备，包括：处理器；存储器，用于存储计算机程序指令；用于执行所述计算机程序时实现数据库同步历史数据的方法的步骤。
一种储存介质，所述储存介质存储有计算机程序指令，所述计算机程序指令被处理器加载并运行时，所述处理器执行数据库同步历史数据的方法。
与现有技术相比，本发明的方法能够根据各地电厂中数据缺失的起始时间和结束时间，生成同步任务信息，能够有效地提高工作效率，能做到只需配置一次，即无需人工手动干预，就可实现自动同步数据。
进一步的，本发明能够针对一些特殊的情况，如服务中断和意外停止运行等外因引发的系列问题，还能够手工设定同步时间，进行数据同步，能够适用于不同工况，具有全面性。
本发明的系统包括测点数据自检模块、同步任务信息生成模块、数据库交互模块和数据同步执行模块，该系统通过实时监测指定电厂的数据库中数据缺失情况，获取数据缺失的起始时间和结束时间，并生成同步任务信息，对数据库进行同步，实现了数据丢失后自动同步缺失数据的目的，且不需要占用大量的磁盘空间。该系统既可以解决同步数据过程数据缺失的问题，也可以为整个项目节省高额的人力资源以及财力成本。
附图说明
图1是本发明的系统结构图；
图2是本发明的测点数据自检模块流程图；
图3是本发明的数据中断执行模块流程图；
图4是本发明的手动同步执行模块流程图；
图5是本发明的数据同步执行模块流程图。
具体实施方式
下面结合附图对本发明做进一步说明。
参见图1，一种实时数据库自动同步历史数据的系统，包括：
测点数据自检模块，用于配置各地电厂指定标签组，实时监测指定标签组中数据库的数据缺失情况；
同步任务信息生成模块，用于获取数据缺失的起始时间和结束时间，并生成同步任务信息；
数据库交互模块，用于将同步任务信息发送至对应电厂；
数据同步执行模块，用于进行数据同步。
测点数据自检模块、同步任务信息生成模块和数据库交互模块置于数据同步服务端，数据同步服务端连接区域实时数据库；数据同步服务端包括手动配置模块；手动配置模块，用于手动配置指定时间段，生成对应的指定时间同步任务信息。
数据同步执行模块置于数据同步客户端，数据同步客户端连接对应电厂的实时数据库；数据同步客户端包括数据中断执行模块；数据中断执行模块，用于监测数据同步期间是否有中断，若有中断，则根据连接中断的起始时间和结束时间，生成对应的断点同步任务信息。
数据同步服务端和若干数据同步客户端均通过以太网连接。
参见图2，一种数据库同步历史数据的方法，包括以下步骤：
S1，配置各地电厂指定标签组，执行S2；
S2，实时监测指定标签组中数据库的数据缺失情况；
S3，若发生数据缺失，获取数据缺失的起始时间和结束时间，并生成同步任务信息synchro_Info，执行S4；若未发现数据缺失，则重新执行S2；
S4，将同步任务信息synchro_Info发送至对应电厂，执行S5；
S5，进行数据同步后，重新执行S2。
参见图3，在数据同步时，执行以下步骤：
S41，实时监测数据同步期间是否有中断，若是，则执行S42；若否，则重新执行S41；
S42，记录中断的起始时间time_s，执行S43；
S43，实时监测是否有连接是否恢复，若是，则执行S44；若否，则执行S41；
S44，记录连接中断的结束时间time_e，执行S45；
S45，根据连接中断的起始时间time_s和结束时间time_e，生成对应的断点同步任务信息，执行S46；
S46，将同步任务信息synchro_Info发送至对应电厂，进行数据同步，返回S41。
参见图4，手动同步执行的具体方法如下：
S11，配置指定电厂的标签组，进行S12；
S12，手动配置指定时间段，进行S13；
S13，生成同步任务信息synchro_Info，进行S14；
S14，将同步任务信息synchro_Info发送给对应电厂数据同步客户端的数据同步执行模块，进行数据同步。
参见图5，数据同步的具体方法如下：
S51，数据同步客户端的数据同步执行模块接收来自手动同步执行模块、数据中断执行模块和测点数据自检模块的同步任务信息synchro_Info，进行步骤S52；
S52，解析同步任务信息synchro_Info，信息主要包含同步的标签组、起始时间、结束时间，进行S53；
S53，同步任务信息synchro_Info与任务队列中任务进行对比分析，若有重复的同步内容进行删除，保留需同步的信息，进行S54；
S54，生成新任务信息，并加入到任务队列中，进行S55；
S55，从任务队列中获取其中一个任务，进行S56；
S56，通过数据库交互模块，获取同步数据synchro_data，进行S57；
S57，将同步数据synchro_data发送给数据同步服务端的数据库交互模块，将同步数据入库，完成同步，返回S55。
一种电子设备，包括：处理器；存储器，用于存储计算机程序指令；用于执行所述计算机程序时实现数据库同步历史数据的方法的步骤。
一种储存介质，所述储存介质存储有计算机程序指令，所述计算机程序指令被处理器加载并运行时，所述处理器执行数据库同步历史数据的方法。
某集团根据集团和其旗下电厂的实际情况，将数据同步服务器建于某云虚拟机上，厂侧可以通过VPN访问该数据同步服务器。在配置各个电厂的标签表和标签组时，考虑电厂的标签不会频繁进行大量的修改、删除、增加，存储各个电厂配置标签时，将存储结构设计为哈希表，提高查询效率。测点数据自检模块在实际过程中，实际最多监测30个测点，测试间断中能够发现并补全缺失的数据；数据库交互模块在实际中开发了支持Rython3、Rython4、Rython5、麦杰实时数据库、PI数据库、Golden实时数据库，并提供了对外的接口方便二次开发；数据中断执行模块和手动同步配置模块，实际中测试时能够在满足20个电厂每个电厂10万标签同时进行7天历史数据同步。该方法在实际应用中，能够解决某集团旗下电厂和该集团数据同步过程中发生的数据缺失问题，并且只需配置并完成设置，全自动运行解放劳动力，有效提高了工作效率。
Claims (10)
1.一种数据库同步历史数据的方法，其特征在于，包括以下步骤：
S1，配置各地电厂指定标签组，执行S2；
S2，实时监测指定标签组中数据库的数据缺失情况，若发生数据缺失，则执行S3；若未发现数据缺失，则重新执行S2；
S3，获取数据缺失的起始时间和结束时间，并生成同步任务信息，执行S4；
S4，将同步任务信息发送至对应电厂，执行S5；
S5，进行数据同步。
2.根据权利要求1所述的一种数据库同步历史数据的方法，其特征在于，S1中，通过手动配置指定时间段，生成对应的指定时间同步任务信息，将指定时间同步任务信息发送至对应电厂，执行S4。
3.根据权利要求1所述的一种数据库同步历史数据的方法，其特征在于，S4中，在数据同步时，执行以下步骤：
S41，实时监测数据同步期间是否有中断，若是，则执行S42；若否，则重新执行S41；
S42，记录中断的起始时间，执行S43；
S43，实时监测是否有连接是否恢复，若是，则执行S44；若否，则执行S41；
S44，记录连接中断的结束时间，执行S45；
S45，根据连接中断的起始时间和结束时间，生成对应的断点同步任务信息，执行S46；
S46，将同步任务信息synchro_Info发送至对应电厂，进行数据同步，返回S41。
4.根据权利要求1所述的一种数据库同步历史数据的方法，其特征在于，S5中，数据同步的具体方法如下：
S51，接收同步任务信息，执行S52；
S52，解析同步任务信息，执行S53；
S53，将同步任务信息与任务队列中任务进行对比分析，若有重复的同步内容进行删除，保留需同步的信息，执行S54；
S54，生成新任务信息，并加入到任务队列中，进行S55；
S55，从任务队列中获取其中一个任务，进行S56；
S56，获取同步数据，进行S57；
S57：将同步数据同步入库，完成同步，返回S55。
5.一种数据库同步历史数据的系统，其特征在于，包括：
测点数据自检模块，用于配置各地电厂指定标签组，实时监测指定标签组中数据库的数据缺失情况；
同步任务信息生成模块，用于获取数据缺失的起始时间和结束时间，并生成同步任务信息；
数据库交互模块，用于将同步任务信息发送至对应电厂；
数据同步执行模块，用于进行数据同步。
6.根据权利要求5所述的一种数据库同步历史数据的系统，其特征在于，测点数据自检模块、同步任务信息生成模块和数据库交互模块置于数据同步服务端，数据同步服务端连接区域实时数据库；
数据同步执行模块置于数据同步客户端，数据同步客户端连接对应电厂的实时数据库；
数据同步服务端和若干数据同步客户端均通过以太网连接。
7.根据权利要求5所述的一种数据库同步历史数据的系统，其特征在于，数据同步服务端包括手动配置模块；
手动配置模块，用于手动配置指定时间段，生成对应的指定时间同步任务信息。
8.根据权利要求5所述的一种数据库同步历史数据的系统，其特征在于，数据同步客户端包括数据中断执行模块；
数据中断执行模块，用于监测数据同步期间是否有中断，若有中断，则根据连接中断的起始时间和结束时间，生成对应的断点同步任务信息。
9.一种电子设备，包括：处理器；存储器，用于存储计算机程序指令；其特征在于，
用于执行所述计算机程序时实现如权利要求1-4任一项所述的数据库同步历史数据的方法的步骤。
10.一种储存介质，所述储存介质存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器加载并运行时，所述处理器执行权利要求1-4任一项所述的数据库同步历史数据的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210315978.1A CN114416718A (zh) | 2022-03-28 | 2022-03-28 | 数据库同步历史数据的方法、系统、电子设备和储存介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210315978.1A CN114416718A (zh) | 2022-03-28 | 2022-03-28 | 数据库同步历史数据的方法、系统、电子设备和储存介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114416718A true CN114416718A (zh) | 2022-04-29 |
Family
ID=81264425
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210315978.1A Pending CN114416718A (zh) | 2022-03-28 | 2022-03-28 | 数据库同步历史数据的方法、系统、电子设备和储存介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114416718A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1677887A (zh) * | 2005-02-01 | 2005-10-05 | 北京北方烽火科技有限公司 | N+1备份的数据实时同步方法 |
| CN105354322A (zh) * | 2015-11-13 | 2016-02-24 | 广东电网有限责任公司电力科学研究院 | 将电力系统历史数据高效完整同步到综合数据平台的方法 |
| CN105610917A (zh) * | 2015-12-22 | 2016-05-25 | 腾讯科技（深圳）有限公司 | 实现系统中同步数据修复的方法及系统 |
| CN107423303A (zh) * | 2016-05-24 | 2017-12-01 | 北京京东尚科信息技术有限公司 | 数据同步的方法和系统 |
| US20190392063A1 (en) * | 2018-06-25 | 2019-12-26 | Microsoft Technology Licensing, Llc | Reducing data loss in remote databases |
| CN112702427A (zh) * | 2020-12-23 | 2021-04-23 | 武汉湖江科技有限公司 | 工业互联网数据同步系统 |
-
2022
- 2022-03-28 CN CN202210315978.1A patent/CN114416718A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1677887A (zh) * | 2005-02-01 | 2005-10-05 | 北京北方烽火科技有限公司 | N+1备份的数据实时同步方法 |
| CN105354322A (zh) * | 2015-11-13 | 2016-02-24 | 广东电网有限责任公司电力科学研究院 | 将电力系统历史数据高效完整同步到综合数据平台的方法 |
| CN105610917A (zh) * | 2015-12-22 | 2016-05-25 | 腾讯科技（深圳）有限公司 | 实现系统中同步数据修复的方法及系统 |
| CN107423303A (zh) * | 2016-05-24 | 2017-12-01 | 北京京东尚科信息技术有限公司 | 数据同步的方法和系统 |
| US20190392063A1 (en) * | 2018-06-25 | 2019-12-26 | Microsoft Technology Licensing, Llc | Reducing data loss in remote databases |
| CN112702427A (zh) * | 2020-12-23 | 2021-04-23 | 武汉湖江科技有限公司 | 工业互联网数据同步系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107783975B (zh) | 分布式数据库同步处理的方法和装置 | |
| CN107423303B (zh) | 数据同步的方法和系统 | |
| CN110347746B (zh) | 一种异构数据库同步数据一致性校验方法及装置 | |
| CN112506915B (zh) | 一种应用数据的管理系统以及处理方法、装置和服务器 | |
| CN104809202A (zh) | 一种数据库同步的方法和装置 | |
| CN110895488B (zh) | 任务调度方法及装置 | |
| CN110413693B (zh) | 一种数据库实时同步系统数据一致性的检验方法及装置 | |
| CN101707399A (zh) | 电能信息采集方法及系统 | |
| CN111400104B (zh) | 数据同步方法及装置、电子设备、存储介质 | |
| CN111984390A (zh) | 任务调度方法、装置、设备及存储介质 | |
| US20140156603A1 (en) | Method and an apparatus for splitting and recovering data in a power system | |
| CN105677465B (zh) | 应用于银行跑批处理的数据处理方法及装置 | |
| CN111913933B (zh) | 基于统一支撑平台的电网历史数据管理方法及系统 | |
| CN110795287A (zh) | 数据恢复方法、系统、电子设备及计算机存储介质 | |
| CN110569142A (zh) | 一种oracle数据增量同步系统及方法 | |
| CN111339118A (zh) | 基于Kubernetes的资源变更历史记录方法及装置 | |
| WO2016178661A1 (en) | Determining idle testing periods | |
| CN114741375A (zh) | 一种多源异构数据库快速自动数据迁移系统及方法 | |
| CN111767346A (zh) | 一种数据库的数据同步方法、装置、设备及存储介质 | |
| CN114416718A (zh) | 数据库同步历史数据的方法、系统、电子设备和储存介质 | |
| CN109376026A (zh) | 一种基于脚本的数据同步校验实现方法 | |
| CN113377156A (zh) | 一种rtc时钟准确性验证方法和装置 | |
| CN112668285A (zh) | 结合rpa和ai的资金日报的生成方法、装置及电子设备 | |
| CN111654410B (zh) | 网关请求监控方法、装置、设备及介质 | |
| CN112346994B (zh) | 一种测试信息关联方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220429 |