CN106649814A - 一种配电自动化跨区数据库一致性校验方法 - Google Patents
一种配电自动化跨区数据库一致性校验方法 Download PDFInfo
- Publication number
- CN106649814A CN106649814A CN201611245447.0A CN201611245447A CN106649814A CN 106649814 A CN106649814 A CN 106649814A CN 201611245447 A CN201611245447 A CN 201611245447A CN 106649814 A CN106649814 A CN 106649814A
- Authority
- CN
- China
- Prior art keywords
- data
- dynamic
- window
- consistency
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000009826 distribution Methods 0.000 title claims abstract description 16
- 238000001514 detection method Methods 0.000 claims abstract description 25
- 230000003068 static effect Effects 0.000 claims abstract description 18
- 238000002955 isolation Methods 0.000 claims abstract description 5
- 238000007689 inspection Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000005192 partition Methods 0.000 abstract description 8
- 238000012795 verification Methods 0.000 description 7
- 238000007726 management method Methods 0.000 description 6
- 238000009412 basement excavation Methods 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 2
- 238000013524 data verification Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012913 prioritisation Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种配电自动化跨区数据库一致性校验方法，通过自动数据观察窗口，对静态、动态增量和动态更新三类数据进行划分，按照优先级自动安排检查顺序，针对静态与动态增量数据，通过数据大小进行直接比较，快速发现不一致现象，针对动态更新数据，以优选条件干预的形式，更为智能的和高效的发现数据同步不一致现象。本发明可以有效、及时地发现隔离分区中的数据不一致情况。对主流数据库产品没有特殊要求，实现数据一致性判定的方法也无需在数据库层增加更多的底层细节，可以方便灵活的实现客户对不同分区数据库的快速检测。
Description
技术领域
本发明提供了一种数据库一致性校验方法，尤其是一种配电自动化跨区数据库一致性校验方法。
背景技术
在某些对系统、数据安全性要求较高的领域，如电网领域，需要按照电网生产影响的紧要程度对网络进行分区，同时实现各个分区间的物理隔离，保障信息通信安全。但实际情况下，两个或以上的分区网络需要对某些数据进行共享的需求十分明显，例如，配电调度自动化系统的数据库建立在Ⅰ区，而电网生产管理信息系统建立在Ⅲ区，如果在Ⅲ区配网停电抢修业务需要了解Ⅰ区配电自动化系统中的配网故障情况，那么就需要在Ⅲ区有个实时镜像库保持与Ⅰ区配电调度自动化系统数据库保持一致。为此，在Ⅰ区建立了主数据库，Ⅲ区建立了镜像库，将Ⅰ区数据库变化如执行的SQL语句脚本文件通过网络隔离装置传送到Ⅲ区，Ⅲ区数据库根据传送来的SQL语句脚本文件，同步更新Ⅲ区镜像数据库，从而保证Ⅰ、Ⅲ区数据库在网络隔离状态下的数据一致。但在实际运行维护中，经常由于网络通道丢包、数据处理负载等原因造成同步Ⅰ区传送命令丢失、未执行或延迟等，造成Ⅰ、Ⅲ区数据库不一致现象。这些异常通过人工都难以及时发现，往往给Ⅲ区中的电网信息管理工作造成困扰后，才发现问题。因此，如何快速检测电网分区同步数据库数据的一致性，是目前困扰调度信息维护人员的一项主要问题。
发明内容
本发明要解决的技术问题是现有的电网分区同步数据库缺乏有效的数据一致性校验方法，导致调度信息维护人员工作效率低下。
为了解决上述技术问题，本发明提供了一种配电自动化跨区数据库一致性校验方法，包括如下步骤：
步骤1，在镜像数据库所在网络中建立自动观察窗口，自动观察窗口用于将数据划分为静态数据、动态增量数据以及动态更新数据这三种管理类型，并按照用户对需要检测一致性数据的特性和检测需求将主数据库组成的数据对象推送到三种管理类型相对应的检测窗口中；
步骤2，检测窗口对推送到窗口的数据对象进行一致性校验，具体为：
检测窗口在对静态数据的一致性进行校验时，首先将主数据库和镜像数据库中的被用户罗列在自动观察窗口中的数据表结构和数据存储到XML文件中，其中，主数据库生成文件通过物理隔离装置从主数据库所在区域传送到镜像数据库所在网络区域，通过主数据库和镜像数据库双方文件大小的比较来检验静态数据的一致性；
检测窗口在对动态增量数据的一致性进行校验时，分为两种情况，一种带有时标的动态增量数据，另一种则不带有时标，对于带有时标的动态增量数据一致性检查，首先镜像数据库需要延迟一个时间空隙，查询出上一次检测至当前时间内的总记录数据，通过总记录数据是否一致来直接进行一致性判定，对于不带有时标的动态增量数据，则将整体数据中任一主键或索引字段倒序排列，以主数据库文件为准，通过主数据库和镜像数据库中该数据对象记录数是否一致进行一致性判定；
检测窗口在对动态更新数据的一致性进行校验时，需要将整体数据按照索引或主键字段排序后，切分成若干区域，利用分布式计算方式，通过多个计算机进程对不同区域进行详细比较，从而实现对动态更新数据的一致性进行校验。
采用将数据划分为静态数据、动态增量数据以及动态更新数据这三种管理类型，从而有针对性地进行数据一致性校验，不仅具有较好的校验效率，而且可适应性采用专用方法进行校验，提高了校验的可靠性；采用切分成若干区域对动态更新数据的一致性进行校验，将大大提高数据一致性问题发掘的效率。
作为本发明的进一步限定方案，步骤2中，在各个检测窗口对三种管理类型的数据对象进行一致性校验前，各个检测窗口需要为推送到窗口中的数据对象设定优先权值，同时记录每个检测周期发现问题的数据对象。利用设定优先权值来对校验数据的先后顺序进行限定，不仅使数据校验有序进行，而且使得校验工作的效率也较高。
作为本发明的进一步限定方案，步骤2中，自动观察窗口根据不一致次数*权值/检查次数的方式计算优先权值，优先权值高的数据对象将自动排在优先的顺序进行检测。
作为本发明的进一步限定方案，步骤1中，静态数据是指对数据不一致性检查周期较长或相对检查周期基本没有多大变化的数据，动态增量数据是指数据呈现单一增长变化没有更新的数据，动态更新数据是指数据内容存在有增有减或内容更新的数据。
作为本发明的进一步限定方案，步骤2中，时间空隙为系统要求的传输延迟。
本发明的有益效果在于：（1）采用将数据划分为静态数据、动态增量数据以及动态更新数据这三种管理类型，从而有针对性地进行数据一致性校验，不仅具有较好的校验效率，而且可适应性采用专用方法进行校验，提高了校验的可靠性；（2）采用切分成若干区域对动态更新数据的一致性进行校验，将大大提高数据一致性问题发掘的效率；（3）对主流数据库产品没有特殊要求，实现数据一致性判定的方法也无需在数据库层增加更多的底层细节，可以方便灵活的实现客户对不同分区数据库的快速检测。
附图说明
图1为本发明实现方法的具体实施流程图。
具体实施方式
下面结合附图和实例对本发明作进一步的说明。
如图1所示，本发明提供了一种配电自动化跨区数据库一致性校验方法，包括以下步骤:
A、用户维护自动观察窗口数据对象
用户在数据自动观察窗口维护主、镜像数据库中需要检查的静态的或者动态数据对象。
B、启动数据观察窗口工作
完成维护后，通过按钮启动数据自动观察工作。
C、根据发现问题频率和权值计算优先级并排列数据对象
检测窗口将根据当前对象发现不一致性历史累积次数占总检查次数的百分比乘以用户设定权值进行优先级排序。
D、读取一个数据对象
读取优先级排序形成的数据对象列表中的最靠前数据对象。
E、判定数据观察窗口数据类型
判定该数据对象所在的窗口类型，如果是静态数据则转入步骤F，如果是动态增量数据则转入步骤J，如果是动态更新数据则转入步骤P。
F、生成主、镜像数据库静态数据XML文件
主、镜像数据库网络区域中各自生成该静态数据对象的XML文件。
G、将主数据库静态数据文件传送到镜像数据库分区
将主数据库静态文件传送到镜像数据库分区中。
H、比较文件大小是否一致
检测窗口对传送来的主数据库静态数据XML文件与镜像数据库的XML文件进行文件大小比较，看是否一致，如果一致，转入步骤I，如果不一致，转入步骤O。
I、是否存在下一个数据对象
判断自动观察窗口中是否还存在本轮检查尚未执行的数据对象，如果存在，转入步骤D，如果不存在，结束本次自动观察任务流程，等待下一个时间间隔的检查。
J、推迟一个时间空隙，并记录下当前时间
首先镜像数据库所在网络分区中的数据观察窗口记录下当前时间，并将上次检查成功的时间及记录下的当前时间形成临时文件，通过隔离装置发送到主数据库网络分区中。
K、判定数据对象是否带有时标
判断该动态增量数据对象是否是带有时标的，如果带有时标，则转入步骤L,如果不带有时标，则转入步骤N。
L、按时标倒序查询出上一次检测至记录下的当前时间内的数据
主数据库接收到文件后，执行文件中定义的起止时间段时标范围的数据查询，返回结果记录数。
M、比较记录数是否一致
镜像数据库区也按照同样条件查询出结果数，通过主数据库与镜像数据库查询的结果条数进行比较，判断结果数是否一致，一致则转入步骤I，不一致则转入步骤P。
N、按照某个主键或索引字段倒序排列
针对不带时标的动态更新数据，按照主键或者索引字段的倒序排列，形成记录数文件通过隔离装置从主数据库区域传送到镜像数据库区域，转入步骤M判断。
O、标注该数据对象存在不一致现象
标注分析出不一致数据对象，并记录到告警日志中，通过邮件或短信形式告知用户。
P、按照用户定义的条件优选排列查询并切分数据
针对动态更新数据，只能按照主键或索引倒序排列条件逐个区域范围进行查询，例如5千条一个单位对数据10万进行检查，若队列太多，可通过多进程或分布式计算方式。由于动态更新数据，按照用户维护数据的工作习惯，通常集中在一个段或某个与日常工作相关的条件范围内，因此，在自动观察窗口通过设定额外条件，将查询结果集以文件形式从主数据库网络分区传送到镜像数据库网络分区中再进行切分将大大提高数据一致性问题发掘的效率。
R、数据区是否存在变化
对照结果集文件逐项比较是否存在变化，如果存在则转入步骤O，如果不存在则转入步骤I。
以上内容是结合具体实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。
Claims (5)
1.一种配电自动化跨区数据库一致性校验方法，其特征在于，包括如下步骤：
步骤1，在镜像数据库所在网络中建立自动观察窗口，自动观察窗口用于将数据划分为静态数据、动态增量数据以及动态更新数据这三种管理类型，并按照用户对需要检测一致性数据的特性和检测需求将主数据库组成的数据对象推送到三种管理类型相对应的检测窗口中；
步骤2，检测窗口对推送到窗口的数据对象进行一致性校验，具体为：
检测窗口在对静态数据的一致性进行校验时，首先将主数据库和镜像数据库中的被用户罗列在自动观察窗口中的数据表结构和数据存储到XML文件中，其中，主数据库生成文件通过物理隔离装置从主数据库所在区域传送到镜像数据库所在网络区域，通过主数据库和镜像数据库双方文件大小的比较来检验静态数据的一致性；
检测窗口在对动态增量数据的一致性进行校验时，分为两种情况，一种带有时标的动态增量数据，另一种则不带有时标，对于带有时标的动态增量数据一致性检查，首先镜像数据库需要延迟一个时间空隙，查询出上一次检测至当前时间内的总记录数据，通过总记录数据是否一致来直接进行一致性判定，对于不带有时标的动态增量数据，则将整体数据中任一主键或索引字段倒序排列，以主数据库文件为准，通过主数据库和镜像数据库中该数据对象记录数是否一致进行一致性判定；
检测窗口在对动态更新数据的一致性进行校验时，需要将整体数据按照索引或主键字段排序后，切分成若干区域，利用分布式计算方式，通过多个计算机进程对不同区域进行详细比较，从而实现对动态更新数据的一致性进行校验。
2.根据权利要求1所述的配电自动化跨区数据库一致性校验方法，其特征在于，步骤2中，在各个检测窗口对三种管理类型的数据对象进行一致性校验前，各个检测窗口需要为推送到窗口中的数据对象设定优先权值，同时记录每个检测周期发现问题的数据对象。
3.根据权利要求2所述的配电自动化跨区数据库一致性校验方法，其特征在于，步骤2中，自动观察窗口根据不一致次数*权值/检查次数的方式计算优先权值，优先权值高的数据对象将自动排在优先的顺序进行检测。
4.根据权利要求1所述的配电自动化跨区数据库一致性校验方法，其特征在于，步骤1中，静态数据是指对数据不一致性检查周期较长或相对检查周期基本没有多大变化的数据，动态增量数据是指数据呈现单一增长变化没有更新的数据，动态更新数据是指数据内容存在有增有减或内容更新的数据。
5.根据权利要求1所述的配电自动化跨区数据库一致性校验方法，其特征在于，步骤2中，时间空隙为系统要求的传输延迟。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611245447.0A CN106649814A (zh) | 2016-12-29 | 2016-12-29 | 一种配电自动化跨区数据库一致性校验方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611245447.0A CN106649814A (zh) | 2016-12-29 | 2016-12-29 | 一种配电自动化跨区数据库一致性校验方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106649814A true CN106649814A (zh) | 2017-05-10 |
Family
ID=58837084
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611245447.0A Pending CN106649814A (zh) | 2016-12-29 | 2016-12-29 | 一种配电自动化跨区数据库一致性校验方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106649814A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107658866A (zh) * | 2017-09-25 | 2018-02-02 | 珠海许继芝电网自动化有限公司 | 一种高可靠性跨区传输的测试系统及其方法 |
| CN108762686A (zh) * | 2018-06-04 | 2018-11-06 | 平安科技（深圳）有限公司 | 数据一致性校验流控方法、装置、电子设备及存储介质 |
| CN112347189A (zh) * | 2020-11-05 | 2021-02-09 | 江苏电力信息技术有限公司 | 基于云计算的财务数据一致性失效的发现与恢复方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1976301A (zh) * | 2006-12-02 | 2007-06-06 | 华为技术有限公司 | 数据同步的方法 |
| CN101193001A (zh) * | 2006-11-23 | 2008-06-04 | 中兴通讯股份有限公司 | 通过静态数据或动态数据的检测判断主备机一致性的方法 |
| CN101937435A (zh) * | 2009-07-01 | 2011-01-05 | 北京科东电力控制系统有限责任公司 | 面向电力系统的分布式实时数据库在线同步方法 |
| CN102354292A (zh) * | 2011-09-21 | 2012-02-15 | 国家计算机网络与信息安全管理中心 | 主、备数据库记录一致性校验方法及系统 |
| CN104111937A (zh) * | 2013-04-18 | 2014-10-22 | 中兴通讯股份有限公司 | 主、备数据库及其数据一致性检测、修复方法和装置 |
| CN104252481A (zh) * | 2013-06-27 | 2014-12-31 | 阿里巴巴集团控股有限公司 | 主从数据库一致性的动态校验方法和装置 |
| CN104346454A (zh) * | 2014-10-30 | 2015-02-11 | 上海新炬网络技术有限公司 | 基于Oracle数据库的数据一致性校验方法 |
| CN105117435A (zh) * | 2015-08-07 | 2015-12-02 | 北京思特奇信息技术股份有限公司 | 一种动态数据一致性比对方法及系统 |
-
2016
- 2016-12-29 CN CN201611245447.0A patent/CN106649814A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101193001A (zh) * | 2006-11-23 | 2008-06-04 | 中兴通讯股份有限公司 | 通过静态数据或动态数据的检测判断主备机一致性的方法 |
| CN1976301A (zh) * | 2006-12-02 | 2007-06-06 | 华为技术有限公司 | 数据同步的方法 |
| CN101937435A (zh) * | 2009-07-01 | 2011-01-05 | 北京科东电力控制系统有限责任公司 | 面向电力系统的分布式实时数据库在线同步方法 |
| CN102354292A (zh) * | 2011-09-21 | 2012-02-15 | 国家计算机网络与信息安全管理中心 | 主、备数据库记录一致性校验方法及系统 |
| CN104111937A (zh) * | 2013-04-18 | 2014-10-22 | 中兴通讯股份有限公司 | 主、备数据库及其数据一致性检测、修复方法和装置 |
| CN104252481A (zh) * | 2013-06-27 | 2014-12-31 | 阿里巴巴集团控股有限公司 | 主从数据库一致性的动态校验方法和装置 |
| CN104346454A (zh) * | 2014-10-30 | 2015-02-11 | 上海新炬网络技术有限公司 | 基于Oracle数据库的数据一致性校验方法 |
| CN105117435A (zh) * | 2015-08-07 | 2015-12-02 | 北京思特奇信息技术股份有限公司 | 一种动态数据一致性比对方法及系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107658866A (zh) * | 2017-09-25 | 2018-02-02 | 珠海许继芝电网自动化有限公司 | 一种高可靠性跨区传输的测试系统及其方法 |
| CN108762686A (zh) * | 2018-06-04 | 2018-11-06 | 平安科技（深圳）有限公司 | 数据一致性校验流控方法、装置、电子设备及存储介质 |
| CN108762686B (zh) * | 2018-06-04 | 2021-01-01 | 平安科技（深圳）有限公司 | 数据一致性校验流控方法、装置、电子设备及存储介质 |
| CN112347189A (zh) * | 2020-11-05 | 2021-02-09 | 江苏电力信息技术有限公司 | 基于云计算的财务数据一致性失效的发现与恢复方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105095056B (zh) | 一种数据仓库数据监控的方法 | |
| US8645769B2 (en) | Operation management apparatus, operation management method, and program storage medium | |
| US20100088197A1 (en) | Systems and methods for generating remote system inventory capable of differential update reports | |
| CN100440160C (zh) | 监控设备、监控方法和监控系统 | |
| CN106685676B (zh) | 一种节点切换方法及装置 | |
| CN103595807B (zh) | 一种数据同步更新方法和装置 | |
| CN104135395A (zh) | Idc网络中数据传输质量监控方法和系统 | |
| CN106649814A (zh) | 一种配电自动化跨区数据库一致性校验方法 | |
| CN109558411A (zh) | 一种基于区块链数据的下链同步方法及装置 | |
| US10567557B2 (en) | Automatically adjusting timestamps from remote systems based on time zone differences | |
| CN108390907B (zh) | 一种基于Hadoop集群的管理监控系统及方法 | |
| CN103607418B (zh) | 基于云服务数据特征的大规模数据分割系统及分割方法 | |
| CN106095911A (zh) | 搜索系统及数据同步方法 | |
| CN103581626A (zh) | 一种视频监控系统及其视频存储信息记录方法 | |
| CN105989140B (zh) | 一种数据块处理方法和设备 | |
| CN102722584A (zh) | 数据存储系统及方法 | |
| CN115017235B (zh) | 数据同步方法及电子设备、存储介质 | |
| CN112667673A (zh) | 配网运营数据监控方法、装置、计算机设备和存储介质 | |
| CN103903102A (zh) | 高架库及其配方系统和配方方法 | |
| US7542998B1 (en) | Cause to effect methodology for monitoring database performance | |
| WO2014196982A1 (en) | Identifying log messages | |
| CN111797352A (zh) | 封禁帐号的方法、装置及封禁系统 | |
| EP3099012A1 (en) | A method for determining a topology of a computer cloud at an event date | |
| CN106570193B (zh) | 一种时序大数据的加载方法 | |
| CN115577160A (zh) | 一种生产线数据采集方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170510 |
|
| RJ01 | Rejection of invention patent application after publication |