CN102541940A - 一种工业数据库数据完整性管控方法 - Google Patents
一种工业数据库数据完整性管控方法 Download PDFInfo
- Publication number
- CN102541940A CN102541940A CN2010106192971A CN201010619297A CN102541940A CN 102541940 A CN102541940 A CN 102541940A CN 2010106192971 A CN2010106192971 A CN 2010106192971A CN 201010619297 A CN201010619297 A CN 201010619297A CN 102541940 A CN102541940 A CN 102541940A
- Authority
- CN
- China
- Prior art keywords
- data
- backup
- incremental
- industrial
- period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种工业数据库数据完整性管控方法，工业数据库中需要管控的数据分为：已归档数据、未归档数据和运行中的内存数据，根据不同数据的变化特性，按照不同的周期和方式分别进行备份，可以完整而全面地完成数据备份，最大程度满足工业数据库的需求，并且能够在灾难性事件发生后，最大限度的完成数据的恢复，保证系统的正常运行。
Description
技术领域
本发明涉及一种工业数据库数据完整性管控技术。
背景技术
工业数据库系统与一般的商业数据库系统(关系型数据库或者面向对象的数据库)在本质上没有不同，但在安全性角度上，工业数据库系统中数据丢失所造成的危害可能比一般的商业数据库系统要大很多。作为系统容灾措施的重要组成部分，工业数据库必须提供一套完整的灾难恢复机制，以便系统在异常情况下，包括软件异常、硬件异常、意外掉电、存储介质溢出等，保证数据完整性，不影响系统重新正常运行。
发明内容
本发明主要解决的技术问题是提供一种工业数据库数据完整性管控方法，使得可以完整地完成工业数据库数据备份，以便在灾难性事件发生后，最大限度地完成数据的恢复，保证系统的正常运行。
为了解决上述技术问题，本发明提供了一种工业数据库数据完整性管控方法，包含以下步骤：
按照第一周期对工业数据库中未存档数据进行整体备份；
在所述第一周期内按照第二周期对所述工业数据库中未存档数据进行增量备份，所述第二周期小于第一周期；
按照第三周期对工业数据库中已归档数据进行整体备份；
按照第四周期对内存中数据进行实时快照备份。
其中第一周期和第三周期一般以周计算，通常大于等于一周小于等于一个月；述第二周期一般以小时计算，通常大于等于一小时小于等于八小时；第四周期可以以分钟计算，一般小于等于十分钟。
作为上述方案的改进，在初次进行整体备份或增量备份时分别建立对应的备份索引和备份日志；
之后每次进行整体备份或增量备份时，更新对应的备份索引和备份日志；
在备份过程中出现突发事件时，根据所述备份索引和备份日志进行整体和增量备份数据的有效性检查，并进行恢复。
作为上述技术方案的改进，所述对未存档数据进行增量备份的步骤之前，还包括以下步骤：
判断本时间点之前的一个整体备份周期内，系统是否完成了整体备份，如果上一个整体备份周期内，正常完成整体备份，则执行所述对未存档数据进行增量备份的步骤；反之，则对工业数据库中未存档数据进行整体备份。
作为上述技术方案的改进，所述对内存数据进行快照备份的步骤中：
对内存中运行状态下的未归档数据进行实时物理备份，将所述数据同步到一快照文件，包括正在执行数据库事务的所有内容。
作为上述技术方案的改进，所述对内存数据进行快照备份的步骤中：检查事务完整性，对未完成的事务进行过滤，对过滤出来的未完成的事务不进行备份。
作为上述技术方案的改进，所述已归档数据为未归档数据压缩转存后得到，每个已归档数据文件对应一时间戳；
所述对已归档数据进行增量备份的步骤中，如果所述已归档数据文件的时间戳早于所述第三周期的指点时间，则进行备份操作。
本发明实施方式与现有技术相比，主要区别及其效果在于：工业数据库中需要管控的数据分为：已归档数据、未归档数据和运行中的内存数据，根据不同数据的变化特性，按照不同的周期和方式分别进行备份，可以完整而全面地完成数据备份，最大程度满足工业数据库的需求，并且能够在灾难性事件发生后，最大限度的完成数据的恢复，保证系统的正常运行。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细说明。
图1是本发明一较佳实施方式中工业数据库未归档数据备份方法流程图；
图2是本发明一较佳实施方式中工业数据库已归档数据备份方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。
本发明一较佳实施方式涉及一种工业数据库数据完整性管控方法。主要包括工业数据库中已归档数据、未归档数据和运行中的内存数据按照不同的周期分别进行备份。其中，已归档数据为未归档数据进行整理、压缩后转存到归档数据区后的数据文件，每个已归档数据文件对应一时间戳。上述的未归档数据及已归档数据主要包括数据文件、索引和日志等。
对于未归档数据：
本实施方式中，按照一周、几周、或一个月为周期，定期对工业数据库中的未存档数据进行整体备份，并在两次整体备份的间隙，以几小时为周期进行增量备份。由管理员设置未归档数据整体备份的周期和时间点，以及增量备份的周期。
本实施方式中，对未归档数据的备份流程如图1所示。步骤101中，在系统运行到整体备份周期内的预定时间点后，执行备份功能，对数据库中未归档的数据文件、索引和日志等进行统一备份，可以通过系统锁和控制开关，保证业务事务的完整性。
本步骤中，在初次进行备份时，需要新建一备份索引和一备份日志，每次执行备份后，均对该备份索引和备份日志进行更新。在出现突发事件时，根据该备份索引和备份日志进行整体备份数据的有效性检查，并进行恢复。
步骤102中，在系统运行到增量备份周期的预定时间点时，判断当前时间点往前的一个整体备份周期内，系统是否正常完成整体备份，即上一个整体备份周期内，系统是否进行了整体备份，如果该周期内未进行整体备份，可能因系统关机、重新启动等原因，跳过了上个周期整体备份的时间点，则进入步骤103，对未归档数据执行整体备份；反之，则进入步骤104，对未归档数据进行增量备份。
在步骤104中，如果本次增量备份为上一次整体备份后的首次增量备份，则备份该整体备份的增量部分；如果本次增量备份之前已存在上一次增量备份，则基于上一次增量备份的增量部分进行备份。
对于增量备份，在备份完毕后，同样需要保存备份日志和备份索引。如果在备份时出现灾难性事件，则以日志为准，进行备份的有效性检查，并进行恢复。
比如说，管理员设置整体备份周期为一周，时间点为每周三，增量备份的周期为4小时。则系统运行到每周三时，自动进行未归档数据的整体备份，并在整体备份之后每4小时，基于上一次的备份执行增量备份。在增量备份前，首先判本时间往前一个周期内，系统是否正常完成了整体备份，如因为关机等原因，未进行整体备份，则先进行整体备份，之后每4小时再进行增量备份。
对于内存中的数据：
本实施方式中，进行实时的快照备份，一般可以以几分钟为周期进行备份。具体地说，就是对内存中运行状态下的未归档数据进行实时物理备份，将数据同步到一快照文件，包括正在执行数据库事务的所有内容。
在备份时，首先需要检查事务完整性，对未完成的事务进行过滤，未完成的事务将不被备份，以免无法进行恢复。
需要说明的是，为了尽可能地备份和恢复业务数据，降低数据的丢失，必须减少内存中内容的单元粒度，但在实际应用中，为了保证系统性能，减少备份操作的任务执行对系统CPU等资源的占用，需要进行一个平衡，视系统运行的实际环境，采用灵活配置，可以以1～n笔事务操作为备份的执行主体。
对于已归档数据：
本实施方式中，进行周期性地物理备份。同样可以由管理员设置备份周期和对应的时间点。周期一般是几周或者一个月。这里所说的已归档数据为未归档数据压缩转存后得到的数据文件，每个已归档数据文件对应一时间戳。在备份时，根据归档文件的时间戳、和备份所要求的时间条件，进行文件备份。其流程如图2所示。
步骤201中，在系统运行到增量备份周期的预定时间点时，扫描已归档的所有数据文件，检查其时间戳，如果文件的时间戳早于备份所要求的指定时间点，则进入步骤202，进行备份操作，拷贝备份的文件到备份的目的存储介质。反之则结束本流程。比如备份所要求的时间条件为：每次备份三天前的所有文件，则扫描已归档的所有数据文件，检查其时间戳，如果文件的时间戳为三天前的，则进入步骤202，进行备份操作，否则结束本流程。
步骤203中，在首次备份时建立备份的日志和备份索引，之后每次进行备份完毕后，更新备份的日志和索引。如果在备份时出现灾难性事件，则以日志为准，进行备份的有效性检查，并进行恢复。
上述数据完整性管控方法针对不同数据的特性，分别进行不同方式的备份，可以完整而全面地完成数据备份，最大程度满足工业数据库的需求，并且能够在灾难性事件发生后，最大限度的完成数据的恢复，保证系统的正常运行。
虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。
Claims (9)
1.一种工业数据库数据完整性管控方法，其特征在于，包含以下步骤：
按照第一周期对工业数据库中未存档数据进行整体备份；
在所述第一周期内按照第二周期对所述工业数据库中未存档数据进行增量备份，所述第二周期小于第一周期；
按照第三周期对工业数据库中已归档数据进行整体备份；
按照第四周期对内存中数据进行实时的快照备份。
2.根据权利要求1所述的工业数据库数据完整性管控方法，其特征在于，所述增量备份和整体备份的数据至少包括数据文件、索引和日志。
3.根据权利要求1所述的工业数据库数据完整性管控方法，其特征在于，还包含以下步骤：
在初次进行整体备份或增量备份时分别建立对应的备份索引和备份日志；
之后每次进行整体备份或增量备份时，更新对应的备份索引和备份日志；
在备份过程中出现突发事件时，根据所述备份索引和备份日志进行整体和增量备份数据的有效性检查，并进行恢复。
4.根据权利要求1所述的工业数据库数据完整性管控方法，其特征在于，所述对未存档数据进行增量备份的步骤之前，还包括以下步骤：
判断本时间点之前的一个整体备份周期内，系统是否完成了整体备份，如果上一个整体备份周期内，正常完成整体备份，则执行所述对未存档数据进行增量备份的步骤；反之，则对工业数据库中未存档数据进行整体备份。
5.根据权利要求4所述的工业数据库数据完整性管控方法，其特征在于，所述对未存档数据进行增量备份的步骤中，
如果本次备份为上一次整体备份后的首次增量备份，则基于该整体备份的增量部分进行备份；
如果本次增量备份之前已存在上一次增量备份，则基于上一次增量备份的增量部分进行备份。
6.根据权利要求1所述的工业数据库数据完整性管控方法，其特征在于，所述对内存数据进行快照备份的步骤中：
对内存中运行状态下的未归档数据进行实时物理备份，将所述数据同步到一快照文件，包括正在执行数据库事务的所有内容。
7.根据权利要求6所述的工业数据库数据完整性管控方法，其特征在于，所述对内存数据进行快照备份的步骤中：检查事务完整性，对未完成的事务进行过滤，对过滤出来的未完成的事务不进行备份。
8.根据权利要求1所述的工业数据库数据完整性管控方法，其特征在于，所述已归档数据为未归档数据压缩转存后得到，每个已归档数据文件对应一时间戳；
所述对已归档数据进行增量备份的步骤中，如果所述已归档数据文件的时间戳早于所述第三周期的指定时间，则进行备份操作。
9.根据权利要求1至8中任意一项所述的工业数据库数据完整性管控方法，其特征在于，
所述第一周期和第三周期以周计算，大于等于一周小于等于一个月；
所述第二周期以小时计算，大于等于一小时小于等于八小时；
所述第四周期以分钟计算，小于等于十分钟。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010106192971A CN102541940A (zh) | 2010-12-31 | 2010-12-31 | 一种工业数据库数据完整性管控方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010106192971A CN102541940A (zh) | 2010-12-31 | 2010-12-31 | 一种工业数据库数据完整性管控方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102541940A true CN102541940A (zh) | 2012-07-04 |
Family
ID=46348855
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2010106192971A Pending CN102541940A (zh) | 2010-12-31 | 2010-12-31 | 一种工业数据库数据完整性管控方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102541940A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103942117A (zh) * | 2013-01-21 | 2014-07-23 | 中国移动通信集团河南有限公司 | 一种数据备份方法、装置及系统 |
| CN104820625A (zh) * | 2015-05-19 | 2015-08-05 | 重庆大学 | 一种面向信息管理系统的数据记录、备份及恢复方法 |
| CN105243109A (zh) * | 2015-09-25 | 2016-01-13 | 杭州华为数字技术有限公司 | 数据备份的方法和数据处理系统 |
| CN105302667A (zh) * | 2015-10-12 | 2016-02-03 | 国家计算机网络与信息安全管理中心 | 基于集群架构的高可靠性数据备份与恢复方法 |
| CN105320886A (zh) * | 2015-09-22 | 2016-02-10 | 北京奇虎科技有限公司 | 检测移动终端中是否存在恶意软件的方法和移动终端 |
| CN105740101A (zh) * | 2016-01-29 | 2016-07-06 | 青岛海尔智能家电科技有限公司 | 用于MySQL数据库的自动备份与自动还原方法及装置 |
| CN109992448A (zh) * | 2017-12-31 | 2019-07-09 | 中国移动通信集团山西有限公司 | 文件变化增量备份方法、装置、设备及介质 |
| CN110784499A (zh) * | 2018-07-30 | 2020-02-11 | 华为技术有限公司 | 备份数据的方法和终端设备 |
| WO2021018020A1 (zh) * | 2019-07-26 | 2021-02-04 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置、电子设备及计算机存储介质 |
| US11132260B2 (en) | 2015-09-25 | 2021-09-28 | Huawei Technologies Co., Ltd. | Data processing method and apparatus |
| CN108989088B (zh) * | 2018-06-21 | 2021-10-26 | 京信网络系统股份有限公司 | 一种日志上传方法和通信设备 |
| RU2808759C1 (ru) * | 2023-08-07 | 2023-12-04 | федеральное государственное казенное военное образовательное учреждение высшего образования "Краснодарское высшее военное орденов Жукова и Октябрьской Революции Краснознаменное училище имени генерала армии С.М. Штеменко" Министерства обороны Российской Федерации | Способ контроля целостности данных на основе неравномерного кодирования |
-
2010
- 2010-12-31 CN CN2010106192971A patent/CN102541940A/zh active Pending
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103942117A (zh) * | 2013-01-21 | 2014-07-23 | 中国移动通信集团河南有限公司 | 一种数据备份方法、装置及系统 |
| CN104820625A (zh) * | 2015-05-19 | 2015-08-05 | 重庆大学 | 一种面向信息管理系统的数据记录、备份及恢复方法 |
| CN105320886A (zh) * | 2015-09-22 | 2016-02-10 | 北京奇虎科技有限公司 | 检测移动终端中是否存在恶意软件的方法和移动终端 |
| CN105320886B (zh) * | 2015-09-22 | 2018-04-06 | 北京奇虎科技有限公司 | 检测移动终端中是否存在恶意软件的方法和移动终端 |
| CN105243109A (zh) * | 2015-09-25 | 2016-01-13 | 杭州华为数字技术有限公司 | 数据备份的方法和数据处理系统 |
| US11132260B2 (en) | 2015-09-25 | 2021-09-28 | Huawei Technologies Co., Ltd. | Data processing method and apparatus |
| US11119863B2 (en) | 2015-09-25 | 2021-09-14 | Huawei Technologies Co., Ltd. | Data backup method and data processing system |
| WO2017049965A1 (zh) * | 2015-09-25 | 2017-03-30 | 华为技术有限公司 | 数据备份的方法和数据处理系统 |
| CN105302667B (zh) * | 2015-10-12 | 2018-05-04 | 国家计算机网络与信息安全管理中心 | 基于集群架构的高可靠性数据备份与恢复方法 |
| CN105302667A (zh) * | 2015-10-12 | 2016-02-03 | 国家计算机网络与信息安全管理中心 | 基于集群架构的高可靠性数据备份与恢复方法 |
| CN105740101A (zh) * | 2016-01-29 | 2016-07-06 | 青岛海尔智能家电科技有限公司 | 用于MySQL数据库的自动备份与自动还原方法及装置 |
| CN109992448A (zh) * | 2017-12-31 | 2019-07-09 | 中国移动通信集团山西有限公司 | 文件变化增量备份方法、装置、设备及介质 |
| CN108989088B (zh) * | 2018-06-21 | 2021-10-26 | 京信网络系统股份有限公司 | 一种日志上传方法和通信设备 |
| CN110784499A (zh) * | 2018-07-30 | 2020-02-11 | 华为技术有限公司 | 备份数据的方法和终端设备 |
| CN110784499B (zh) * | 2018-07-30 | 2021-08-20 | 华为技术有限公司 | 备份数据的方法和终端设备 |
| WO2021018020A1 (zh) * | 2019-07-26 | 2021-02-04 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置、电子设备及计算机存储介质 |
| RU2808759C1 (ru) * | 2023-08-07 | 2023-12-04 | федеральное государственное казенное военное образовательное учреждение высшего образования "Краснодарское высшее военное орденов Жукова и Октябрьской Революции Краснознаменное училище имени генерала армии С.М. Штеменко" Министерства обороны Российской Федерации | Способ контроля целостности данных на основе неравномерного кодирования |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102541940A (zh) | 一种工业数据库数据完整性管控方法 | |
| GB2567761B (en) | Automated and self-adjusting data backup operations | |
| US9244775B2 (en) | Reducing reading of database logs by persisting long-running transaction data | |
| US9645892B1 (en) | Recording file events in change logs while incrementally backing up file systems | |
| US10496672B2 (en) | Creating replicas at user-defined points in time | |
| US10310951B1 (en) | Storage system asynchronous data replication cycle trigger with empty cycle detection | |
| US10204016B1 (en) | Incrementally backing up file system hard links based on change logs | |
| US9098439B2 (en) | Providing a fault tolerant system in a loosely-coupled cluster environment using application checkpoints and logs | |
| CN107145403A (zh) | 面向Web开发环境的关系型数据库数据回溯方法 | |
| US10185631B2 (en) | System and method of performing continuous backup of a data file on a computing device | |
| EP3789880B1 (en) | System and method for consistent backup of distributed, transactional databases | |
| CN108614876B (zh) | 一种基于Redis数据库的系统和数据处理方法 | |
| CN115145697B (zh) | 数据库事务的处理方法、装置及电子设备 | |
| US7941619B1 (en) | Space-optimized backup set conversion | |
| US20040078628A1 (en) | Method, program and system for managing operation | |
| CN101916215B (zh) | 一种基于操作截取的分布式关键任务系统悔改方法 | |
| CN105487940A (zh) | 灾备端、生产端及两者之间的数据恢复方法 | |
| CN113360322A (zh) | 一种基于备份系统恢复数据的方法及设备 | |
| US11042454B1 (en) | Restoration of a data source | |
| CN104156369B (zh) | 一种数据库镜像制作方法和一种数据库 | |
| CN117520294A (zh) | 数据库的数据处理方法和装置 | |
| US10853201B1 (en) | Backing up files storing virtual machines | |
| CN113190379B (zh) | 一种数据库备份减少备份集的方法、系统及介质 | |
| CN115134213B (zh) | 一种容灾方法、装置、设备及存储介质 | |
| CN118069431B (zh) | 一种基于原地更新储存的数据库闪回方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20120704 |
|
| WD01 | Invention patent application deemed withdrawn after publication |