CN101436207A - 一种基于日志快照的数据恢复和同步方法 - Google Patents

一种基于日志快照的数据恢复和同步方法 Download PDF

Info

Publication number
CN101436207A
CN101436207A CNA2008102384265A CN200810238426A CN101436207A CN 101436207 A CN101436207 A CN 101436207A CN A2008102384265 A CNA2008102384265 A CN A2008102384265A CN 200810238426 A CN200810238426 A CN 200810238426A CN 101436207 A CN101436207 A CN 101436207A
Authority
CN
China
Prior art keywords
data
journal file
program
file
snapshot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008102384265A
Other languages
English (en)
Other versions
CN101436207B (zh
Inventor
张熹微
张伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Communication Information System Co Ltd
Original Assignee
Inspur Communication Information System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Communication Information System Co Ltd filed Critical Inspur Communication Information System Co Ltd
Priority to CN2008102384265A priority Critical patent/CN101436207B/zh
Publication of CN101436207A publication Critical patent/CN101436207A/zh
Application granted granted Critical
Publication of CN101436207B publication Critical patent/CN101436207B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明涉及海量数据存储空间占用和历史数据备份和恢复领域，具体提供一种基于日志快照的数据恢复和同步方法。本发明的一种基于日志快照的数据恢复和同步方法在现有资源和需求的情况下，采用特定格式的日志文件记录数据库数据每次变更的信息，变更信息经过格式化后定位存进日志文件中，解析程序通过多线程的方式调用取近算法获取指定时间点的有效数据，数据暂存于临时表中，依据临时表生成抽象存在的数据快照，利用快照实现数据的恢复和同步。采用本发明能够大大减轻数据库系统的负担，对数据库系统和应用系统的效率有显著提高，并且能够节省大量的存储空间，降低系统的运营成本。

Description

一种基于日志快照的数据恢复和同步方法
技术领域
本发明涉及海量数据存储空间占用和历史数据备份和恢复领域，具体提供一种基于日志快照的数据恢复和同步方法。
背景技术
当今社会已进入快速发展的信息时代，每天都会产生大量的信息数据，尤其以通信行业为主的网络。移动通信网络随着业务日益发展壮大，数据量也与日俱增，海量的数据处理已成为影响应用系统性能越来越重要的因素。对海量数据的处理需满足以下几点要求：数据尽可能较小占用存储空间、减少不合理的数据的存储、历史数据信息尽可能完整等。目前对海量数据的处理的应对措施包括：购买大型商业数据库并聘请专业的数据库技术人员对数据库进行优化和维护；购买高性能的服务器并聘请专业的维护人员进行维护和管理。然而这些措施都需要巨大的成本投入，并且随着数据日益剧增对软硬件的投入也日益提高，同时需提高开发人员的要求，因为开发人员就必须掌握数据库操作的优化技巧。
综上所述，对海量数据存储的改造已迫在眉睫，基于日志快照的数据恢复/同步技术的发明可以很好地节省存储空间和历史数据信息保存，同时对于软硬件的要求也大大降低了。
发明内容
本发明所要解决的问题是提供一种基于日志快照的数据恢复和同步方法，其采用将历史数据通过日志文件的方式来存储，日志文件存储历史数据的方式不仅能够节省存储空间，而且能够大大降低数据库系统的负担，提高了整个应用系统的效率。
本发明解决其技术问题所采用的技术方案是：
A、应用系统对数据库进行增删改操作时并发将变更的数据信息写入特定格式的日志文件。
B、用户给出一个指定表在指定时间的数据恢复或同步的请求，应用程序开始读取日志文件，采用自主创新的取近算法从日志文件取出符合条件的数据。
C、将获取的数据按照一定的组织格式生成抽象存在的数据快照。
D、利用生成的数据快照实现指定表在指定时间的数据恢复或同步。
步骤A中的日志文件的命名由表名和生成日志文件的时间组成，这样的命名方式有利于读取日志文件程序筛选符合条件的日志文件，提高程序读取效率；日志文件的格式是每一行记录着每一条变更信息，每一条变更信息由数据的变更时间(TimeStamp)、数据唯一标识(Id)、数据变更类型(Type)、数据变更后的值(Value)四部分顺序组成，其数据结构如下：
 
Id Type TimeStamp Value
便于程序截取字段值，提高程序执行性能；每个日志文件的行数相等的，一个日志写满就生成新的日志文件，生成多个日志文件可以使程序采用多线程的方式来解析，大大提高解析的速度。
步骤B中的取近算法的概述是：指定表和指定时间作为两个参数传给解析程序，解析程序通过获得的两个参数与日志文件名进行匹配，过滤掉不在合适范围内的文件，减少程序的负担加快执行速度；根据命中的日志文件个数初始化线程的个数，每个线程解析一个文件；程序解析文件前，建立一个临时表记录数据，并对变更时间和唯一标识建立索引；程序采用逐行读取的方式，首先截取变更时间与时间参数进行比对，再截取唯一标识加上变更时间与临时表中的唯一标识和变更时间进行比对，然后将符合条件的数据写进临时表，程序执行结束时删除临时表。取近算法的表达式描述如下：
表达式1：if(″变更时间不晚于时间参数″){″执行表达式2″}else{″停止读取文件″}
表达式2：if(″唯一标识存在于临时表中″){″执行表达式3″}else{″记录插入临时表中″}
表达式3：if(″变更时间晚于临时表中的变更时间记录″){″更新临时表记录″}else{″跳出表达式1″}
步骤C中的数据快照是基于临时表抽象存在的，相对于快照存储在数据库或文件中大大节省了存储空间。
步骤D中利用快照可以指定将数据恢复或同步到数据库或文件系统中。
本发明通过结构设计合理的日志文件，优良的文件解析算法以实现了对历史数据保存和备份。在现有的资源和需求下，实现的功能有：
(1)：历史数据存入特定格式的日志文件相对于存入数据库节省了存储开销，节省了系统成本。
(2)：历史数据由于不存入数据库，数据库的性能有了提高，上层应用系统的效率和硬件性能能够得到最大应用。
(3)：历史数据采用日志文件存储，由于文件的移植操作简单，所以对于数据的恢复和同步也更加简单化且不需专业人员参与，并且能够在不影响现有生产系统的生产效率情况下实现数据恢复和同步。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1为本发明的一种基于日志快照的数据恢复和同步方法的流程实现图；
图2为本发明的一种基于日志快照的数据恢复和同步方法的取近算法的流程图。
具体实施方式
下面结合附图和具体实施例对本发明的一种基于日志快照的数据恢复和同步方法作进一步的描述。
如附图1所示，本发明的一种基于日志快照的数据恢复和同步方法包括以下步骤：
A、应用系统对数据库进行增删改操作时并发将变更的数据信息写入特定格式的日志文件。
B、用户给出一个指定表在指定时间的数据恢复或同步的请求，应用程序开始读取日志文件，采用自主创新的取近算法从日志文件取出符合条件的数据。
C、将获取的数据按照一定的组织格式生成抽象存在的数据快照。
D、利用生成的数据快照实现指定表在指定时间的数据恢复或同步。
步骤A中的日志文件的命名由表名和生成日志文件的时间组成，这样的命名方式有利于读取日志文件程序筛选符合条件的日志文件，提高程序读取效率；日志文件的格式是每一行记录着每一条变更信息，每一条变更信息由数据的变更时间(TimeStamp)、数据唯一标识(Id)、数据变更类型(Type)、数据变更后的值(Value)四部分顺序组成，其数据结构如下：
 
Id Type TimeStamp Value
便于程序截取字段值，提高程序执行性能；每个日志文件的行数相等的，一个日志写满就生成新的日志文件，生成多个日志文件可以使程序采用多线程的方式来解析，大大提高解析的速度。
如附图2所示，步骤B中的取近算法的概述是：指定表和指定时间作为两个参数传给解析程序，解析程序通过获得的两个参数与日志文件名进行匹配，过滤掉不在合适范围内的文件，减少程序的负担加快执行速度；根据命中的日志文件个数初始化线程的个数，每个线程解析一个文件；程序解析文件前，建立一个临时表记录数据，并对变更时间和唯一标识建立索引；程序采用逐行读取的方式，首先截取变更时间与时间参数进行比对，再截取唯一标识加上变更时间与临时表中的唯一标识和变更时间进行比对，然后将符合条件的数据写进临时表，程序执行结束时删除临时表。取近算法的表达式描述如下：
表达式1：if(″变更时间不晚于时间参数″){″执行表达式2″}else{″停止读取文件″}
表达式2：if(″唯一标识存在于临时表中″){″执行表达式3″}else{″记录插入临时表中″}
表达式3：if(″变更时间晚于临时表中的变更时间记录″){″更新临时表记录″}else{″跳出表达式1″}
步骤C中的数据快照是基于临时表抽象存在的，相对于快照存储在数据库或文件中大大节省了存储空间。
步骤D中利用快照可以指定将数据恢复或同步到数据库或文件系统中。
以上所述的实施例，只是本发明较优选的具体实施方式的一种，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。

Claims (4)

1、一种基于日志快照的数据恢复和同步方法，其特征在于，包括以下步骤：
A、应用系统对数据库进行增、删、改操作时并发将变更的数据信息写入特定格式的日志文件；
B、用户给出一个指定表在指定时间的数据恢复或同步的请求，指定表和指定时间作为请求的两个参数传给应用程序，应用程序获得两个参数后开始读取日志文件，采用取近算法从日志文件取出符合条件的数据，；
C、将获取的数据按照数据库表格式生成抽象存在的数据快照；
D、利用生成的数据快照实现所述指定表在指定时间的数据恢复或同步。
2、根据权利要求1所述的一种基于日志快照的数据恢复和同步方法，其特征在于，所述特定格式的日志文件是指日志文件每一行记录着每一条变更信息，每一条变更信息由数据的变更时间(TimeStamp)、数据唯一标识(Id)、数据变更类型(Type)、数据变更后的值(Value)四部分顺序组成，其数据结构如下表：
  Id Type TimeStamp Value
3、根据权利要求1所述的一种基于日志快照的数据恢复和同步方法，其特征在于，所述取近算法具体如下：指定表和指定时间作为两个参数传给解析程序，解析程序通过获得的两个参数与日志文件名进行匹配，过滤掉不在合适范围内的文件，减少程序的负担加快执行速度；根据命中的日志文件个数初始化线程的个数，每个线程解析一个文件；程序解析文件前，建立一个临时表记录数据，并对变更时间和唯一标识建立索引；程序采用逐行读取的方式，首先截取变更时间与时间参数进行比对，再截取唯一标识加上变更时间与临时表中的唯一标识和变更时间进行比对，然后将符合条件的数据写进临时表，程序执行结束时删除临时表。
4、根据权利要求1所述的一种基于日志快照的数据恢复和同步方法，其特征在于，所述步骤D中利用快照可以指定将数据恢复或同步到数据库或文件系统中。
CN2008102384265A 2008-12-16 2008-12-16 一种基于日志快照的数据恢复和同步方法 Expired - Fee Related CN101436207B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2008102384265A CN101436207B (zh) 2008-12-16 2008-12-16 一种基于日志快照的数据恢复和同步方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2008102384265A CN101436207B (zh) 2008-12-16 2008-12-16 一种基于日志快照的数据恢复和同步方法

Publications (2)

Publication Number Publication Date
CN101436207A true CN101436207A (zh) 2009-05-20
CN101436207B CN101436207B (zh) 2011-01-19

Family

ID=40710645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008102384265A Expired - Fee Related CN101436207B (zh) 2008-12-16 2008-12-16 一种基于日志快照的数据恢复和同步方法

Country Status (1)

Country Link
CN (1) CN101436207B (zh)

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923573A (zh) * 2010-08-09 2010-12-22 哈尔滨工程大学 一种针对数据丢失的数据库数据快速恢复方法
CN102222071A (zh) * 2010-04-16 2011-10-19 华为技术有限公司 数据同步处理方法、设备及系统
CN102331949A (zh) * 2011-10-12 2012-01-25 华为技术有限公司 一种虚拟机内存快照生成和恢复方法、装置及系统
CN101795211B (zh) * 2010-01-13 2012-02-22 北京中创信测科技股份有限公司 一种数据存储方法及系统
CN102419758A (zh) * 2010-09-28 2012-04-18 金蝶软件（中国）有限公司 数据处理系统及方法
CN102567818A (zh) * 2010-12-08 2012-07-11 金蝶软件（中国）有限公司 生成订单物料清单的方法和系统
CN102629365A (zh) * 2012-03-09 2012-08-08 北京神州数码思特奇信息技术股份有限公司 一种移动ngcrm系统中跨库业务的数据库处理方法及系统
CN101635746B (zh) * 2009-08-27 2013-01-16 杭州华三通信技术有限公司 一种数据保护方法及装置
CN103020071A (zh) * 2011-09-22 2013-04-03 中兴通讯股份有限公司 数据同步方法及装置
CN103488854A (zh) * 2012-06-12 2014-01-01 中国银联股份有限公司 一种可配置参数维护装置和方法
CN103617097A (zh) * 2013-11-19 2014-03-05 华为技术有限公司 文件恢复方法及装置
CN103870478A (zh) * 2012-12-12 2014-06-18 腾讯科技（深圳）有限公司 一种恢复同步数据的方法及装置
CN104035952A (zh) * 2013-03-08 2014-09-10 海坎普系统股份有限公司 硬件支持的存储临时拷贝
CN104239443A (zh) * 2014-09-01 2014-12-24 英方软件（上海）有限公司 一种序列化数据操作日志的存储方法
CN104462342A (zh) * 2014-12-04 2015-03-25 北京国双科技有限公司 数据库快照同步处理方法及装置
CN104715041A (zh) * 2015-03-24 2015-06-17 深圳市乾华数据科技有限公司 一种数据库恢复方法及系统
CN104809202A (zh) * 2015-04-24 2015-07-29 联动优势科技有限公司 一种数据库同步的方法和装置
CN104820625A (zh) * 2015-05-19 2015-08-05 重庆大学 一种面向信息管理系统的数据记录、备份及恢复方法
CN105187464A (zh) * 2014-06-19 2015-12-23 中兴通讯股份有限公司 一种分布式存储系统中的数据同步方法、装置及系统
CN106021016A (zh) * 2015-03-27 2016-10-12 伊姆西公司 在快照之间的虚拟时间点访问
CN106021071A (zh) * 2016-05-04 2016-10-12 北京思特奇信息技术股份有限公司 一种监控sql运行过程的方法和系统
CN106303609A (zh) * 2016-09-29 2017-01-04 聚好看科技股份有限公司 电视应用程序管理方法及管理服务器
CN106326041A (zh) * 2016-08-31 2017-01-11 杭州沃趣科技股份有限公司 一种用于数据库秒级恢复的方法
WO2017008657A1 (zh) * 2015-07-14 2017-01-19 阿里巴巴集团控股有限公司 一种数据快照获取的方法及系统
CN106372170A (zh) * 2016-08-30 2017-02-01 上海爱数信息技术股份有限公司 数据库中表的恢复方法、系统及具有该系统的服务器
CN106502842A (zh) * 2016-11-23 2017-03-15 北京小米移动软件有限公司 数据恢复方法及系统
CN106599006A (zh) * 2015-10-20 2017-04-26 阿里巴巴集团控股有限公司 一种数据恢复方法和装置
WO2017162032A1 (zh) * 2016-03-22 2017-09-28 阿里巴巴集团控股有限公司 执行数据恢复操作的方法及装置
US9798630B2 (en) 2013-03-08 2017-10-24 Intel Corporation Hardware-supported memory temporal copy
CN107330031A (zh) * 2017-06-26 2017-11-07 广州华多网络科技有限公司 一种数据存储的方法、装置及电子设备
CN107748705A (zh) * 2017-11-08 2018-03-02 厦门市美亚柏科信息股份有限公司 系统evt日志碎片恢复的方法、终端设备及存储介质
TWI625621B (zh) * 2013-07-11 2018-06-01 格芯公司 用於資料庫中進行回復的方法、電腦可用程式產品、與資料處理系統
CN108270814A (zh) * 2016-12-30 2018-07-10 北京优朋普乐科技有限公司 一种数据同步方法及装置
CN108322533A (zh) * 2018-01-31 2018-07-24 广州鼎甲计算机科技有限公司 基于操作日志的分布式集群节点间配置同步方法
CN108491218A (zh) * 2018-03-12 2018-09-04 浙江中控技术股份有限公司 一种数据库变更文件生成的方法和装置
CN109284331A (zh) * 2018-08-16 2019-01-29 中国平安人寿保险股份有限公司 基于业务数据资源的制证信息获取方法、终端设备及介质
CN109710454A (zh) * 2018-11-08 2019-05-03 厦门集微科技有限公司 一种云主机快照方法及装置
CN110121712A (zh) * 2017-12-05 2019-08-13 华为技术有限公司 一种日志管理方法、服务器和数据库系统
CN110737242A (zh) * 2018-07-20 2020-01-31 发那科株式会社 产业用机械的控制系统
CN112612649A (zh) * 2020-12-31 2021-04-06 广州鼎甲计算机科技有限公司 Cache数据库的日志恢复方法、系统及存储介质
CN113157496A (zh) * 2021-04-28 2021-07-23 深圳市腾讯网域计算机网络有限公司 应用于数据恢复的处理方法、相关装置、设备及存储介质
CN113821407A (zh) * 2021-09-15 2021-12-21 浙江网新恩普软件有限公司 一种Storm分布式实时计算方法及系统
WO2022033269A1 (zh) * 2020-08-13 2022-02-17 华为技术有限公司 数据处理的方法、设备及系统
CN115510144A (zh) * 2022-11-17 2022-12-23 北京滴普科技有限公司 一种用于数据库实时变化数据抓取的方法及系统
CN117349297A (zh) * 2023-12-06 2024-01-05 江西云眼视界科技股份有限公司 一种基于表结构变更的数据交换方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106776136B (zh) * 2016-12-12 2019-10-22 网易（杭州）网络有限公司 数据库处理方法和装置

Cited By (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101635746B (zh) * 2009-08-27 2013-01-16 杭州华三通信技术有限公司 一种数据保护方法及装置
CN101795211B (zh) * 2010-01-13 2012-02-22 北京中创信测科技股份有限公司 一种数据存储方法及系统
CN102222071B (zh) * 2010-04-16 2014-04-02 华为技术有限公司 数据同步处理方法、设备及系统
CN102222071A (zh) * 2010-04-16 2011-10-19 华为技术有限公司 数据同步处理方法、设备及系统
CN101923573A (zh) * 2010-08-09 2010-12-22 哈尔滨工程大学 一种针对数据丢失的数据库数据快速恢复方法
CN102419758A (zh) * 2010-09-28 2012-04-18 金蝶软件（中国）有限公司 数据处理系统及方法
CN102567818A (zh) * 2010-12-08 2012-07-11 金蝶软件（中国）有限公司 生成订单物料清单的方法和系统
CN103020071B (zh) * 2011-09-22 2017-11-28 中兴通讯股份有限公司 数据同步方法及装置
CN103020071A (zh) * 2011-09-22 2013-04-03 中兴通讯股份有限公司 数据同步方法及装置
CN102331949B (zh) * 2011-10-12 2014-11-05 华为技术有限公司 一种虚拟机内存快照生成和恢复方法、装置及系统
US9507672B2 (en) 2011-10-12 2016-11-29 Huawei Technologies Co., Ltd. Method, apparatus, and system for generating and recovering memory snapshot of virtual machine
CN102331949A (zh) * 2011-10-12 2012-01-25 华为技术有限公司 一种虚拟机内存快照生成和恢复方法、装置及系统
CN102629365A (zh) * 2012-03-09 2012-08-08 北京神州数码思特奇信息技术股份有限公司 一种移动ngcrm系统中跨库业务的数据库处理方法及系统
CN102629365B (zh) * 2012-03-09 2015-11-25 北京思特奇信息技术股份有限公司 一种移动ngcrm系统中跨库业务的数据库处理方法及系统
CN103488854A (zh) * 2012-06-12 2014-01-01 中国银联股份有限公司 一种可配置参数维护装置和方法
CN103870478A (zh) * 2012-12-12 2014-06-18 腾讯科技（深圳）有限公司 一种恢复同步数据的方法及装置
CN104035952A (zh) * 2013-03-08 2014-09-10 海坎普系统股份有限公司 硬件支持的存储临时拷贝
US9798630B2 (en) 2013-03-08 2017-10-24 Intel Corporation Hardware-supported memory temporal copy
TWI625621B (zh) * 2013-07-11 2018-06-01 格芯公司 用於資料庫中進行回復的方法、電腦可用程式產品、與資料處理系統
CN103617097B (zh) * 2013-11-19 2017-07-07 华为技术有限公司 文件恢复方法及装置
CN103617097A (zh) * 2013-11-19 2014-03-05 华为技术有限公司 文件恢复方法及装置
CN105187464B (zh) * 2014-06-19 2019-11-05 南京中兴软件有限责任公司 一种分布式存储系统中的数据同步方法、装置及系统
CN105187464A (zh) * 2014-06-19 2015-12-23 中兴通讯股份有限公司 一种分布式存储系统中的数据同步方法、装置及系统
CN104239443B (zh) * 2014-09-01 2018-07-06 上海英方软件股份有限公司 一种序列化数据操作日志的存储方法
CN104239443A (zh) * 2014-09-01 2014-12-24 英方软件（上海）有限公司 一种序列化数据操作日志的存储方法
CN104462342A (zh) * 2014-12-04 2015-03-25 北京国双科技有限公司 数据库快照同步处理方法及装置
CN104462342B (zh) * 2014-12-04 2018-08-07 北京国双科技有限公司 数据库快照同步处理方法及装置
CN104715041A (zh) * 2015-03-24 2015-06-17 深圳市乾华数据科技有限公司 一种数据库恢复方法及系统
CN104715041B (zh) * 2015-03-24 2018-09-14 深圳市乾华数据科技有限公司 一种数据库恢复方法及系统
CN106021016A (zh) * 2015-03-27 2016-10-12 伊姆西公司 在快照之间的虚拟时间点访问
CN104809202A (zh) * 2015-04-24 2015-07-29 联动优势科技有限公司 一种数据库同步的方法和装置
CN104809202B (zh) * 2015-04-24 2019-01-18 联动优势科技有限公司 一种数据库同步的方法和装置
CN104820625A (zh) * 2015-05-19 2015-08-05 重庆大学 一种面向信息管理系统的数据记录、备份及恢复方法
WO2017008657A1 (zh) * 2015-07-14 2017-01-19 阿里巴巴集团控股有限公司 一种数据快照获取的方法及系统
WO2017067397A1 (zh) * 2015-10-20 2017-04-27 阿里巴巴集团控股有限公司 一种数据恢复方法和装置
CN106599006A (zh) * 2015-10-20 2017-04-26 阿里巴巴集团控股有限公司 一种数据恢复方法和装置
CN106599006B (zh) * 2015-10-20 2020-08-04 阿里巴巴集团控股有限公司 一种数据恢复方法和装置
WO2017162032A1 (zh) * 2016-03-22 2017-09-28 阿里巴巴集团控股有限公司 执行数据恢复操作的方法及装置
CN106021071A (zh) * 2016-05-04 2016-10-12 北京思特奇信息技术股份有限公司 一种监控sql运行过程的方法和系统
CN106372170A (zh) * 2016-08-30 2017-02-01 上海爱数信息技术股份有限公司 数据库中表的恢复方法、系统及具有该系统的服务器
CN106372170B (zh) * 2016-08-30 2020-02-14 上海爱数信息技术股份有限公司 数据库中表的恢复方法、系统及具有该系统的服务器
CN106326041A (zh) * 2016-08-31 2017-01-11 杭州沃趣科技股份有限公司 一种用于数据库秒级恢复的方法
CN106303609A (zh) * 2016-09-29 2017-01-04 聚好看科技股份有限公司 电视应用程序管理方法及管理服务器
CN106303609B (zh) * 2016-09-29 2019-09-17 聚好看科技股份有限公司 电视应用程序管理方法及管理服务器
CN106502842A (zh) * 2016-11-23 2017-03-15 北京小米移动软件有限公司 数据恢复方法及系统
CN108270814A (zh) * 2016-12-30 2018-07-10 北京优朋普乐科技有限公司 一种数据同步方法及装置
CN107330031A (zh) * 2017-06-26 2017-11-07 广州华多网络科技有限公司 一种数据存储的方法、装置及电子设备
CN107330031B (zh) * 2017-06-26 2020-07-07 广州华多网络科技有限公司 一种数据存储的方法、装置及电子设备
CN107748705A (zh) * 2017-11-08 2018-03-02 厦门市美亚柏科信息股份有限公司 系统evt日志碎片恢复的方法、终端设备及存储介质
CN107748705B (zh) * 2017-11-08 2020-04-14 厦门市美亚柏科信息股份有限公司 系统evt日志碎片恢复的方法、终端设备及存储介质
CN110121712A (zh) * 2017-12-05 2019-08-13 华为技术有限公司 一种日志管理方法、服务器和数据库系统
CN110121712B (zh) * 2017-12-05 2022-04-05 华为技术有限公司 一种日志管理方法、服务器和数据库系统
CN108322533A (zh) * 2018-01-31 2018-07-24 广州鼎甲计算机科技有限公司 基于操作日志的分布式集群节点间配置同步方法
CN108491218A (zh) * 2018-03-12 2018-09-04 浙江中控技术股份有限公司 一种数据库变更文件生成的方法和装置
CN108491218B (zh) * 2018-03-12 2021-09-14 浙江中控技术股份有限公司 一种数据库变更文件生成的方法和装置
CN110737242A (zh) * 2018-07-20 2020-01-31 发那科株式会社 产业用机械的控制系统
CN110737242B (zh) * 2018-07-20 2024-03-26 发那科株式会社 产业用机械的控制系统
CN109284331A (zh) * 2018-08-16 2019-01-29 中国平安人寿保险股份有限公司 基于业务数据资源的制证信息获取方法、终端设备及介质
CN109284331B (zh) * 2018-08-16 2024-04-02 中国平安人寿保险股份有限公司 基于业务数据资源的制证信息获取方法、终端设备及介质
CN109710454A (zh) * 2018-11-08 2019-05-03 厦门集微科技有限公司 一种云主机快照方法及装置
WO2022033269A1 (zh) * 2020-08-13 2022-02-17 华为技术有限公司 数据处理的方法、设备及系统
CN112612649A (zh) * 2020-12-31 2021-04-06 广州鼎甲计算机科技有限公司 Cache数据库的日志恢复方法、系统及存储介质
CN113157496B (zh) * 2021-04-28 2023-03-10 深圳市腾讯网域计算机网络有限公司 应用于数据恢复的处理方法、相关装置、设备及存储介质
CN113157496A (zh) * 2021-04-28 2021-07-23 深圳市腾讯网域计算机网络有限公司 应用于数据恢复的处理方法、相关装置、设备及存储介质
CN113821407B (zh) * 2021-09-15 2023-08-01 浙江浙大网新软件产业集团有限公司 一种Storm分布式实时计算方法及系统
CN113821407A (zh) * 2021-09-15 2021-12-21 浙江网新恩普软件有限公司 一种Storm分布式实时计算方法及系统
CN115510144A (zh) * 2022-11-17 2022-12-23 北京滴普科技有限公司 一种用于数据库实时变化数据抓取的方法及系统
CN117349297A (zh) * 2023-12-06 2024-01-05 江西云眼视界科技股份有限公司 一种基于表结构变更的数据交换方法及系统

Also Published As

Publication number Publication date
CN101436207B (zh) 2011-01-19

Similar Documents

Publication Publication Date Title
CN101436207B (zh) 一种基于日志快照的数据恢复和同步方法
CN107544984B (zh) 一种数据处理的方法和装置
CN101944114B (zh) 内存数据库和物理数据库间的数据同步方法
KR20180055952A (ko) 데이터베이스 관리 시스템에서의 데이터 복제 기법
CN109063196A (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN105069134A (zh) 一种Oracle统计信息自动收集方法
CN103605698A (zh) 一种用于分布异构数据资源整合的云数据库系统
CN102779138B (zh) 实时数据的硬盘存取方法
CN107451233B (zh) 时间属性优先的时空轨迹数据文件在辅助存储设备中的存储方法
CN102063500A (zh) 一种数据迁移的方法及装置
CN101141754B (zh) 一种增值业务分析系统及其方法
CN111400326A (zh) 一种智慧城市数据管理系统及其方法
CN111651519B (zh) 数据同步方法、数据同步装置、电子设备及存储介质
CN113419823B (zh) 一种适用于高并发事务的联盟链系统及其设计方法
CN109146653B (zh) 一种基于分布式环境的用于账务日切的核对方法及装置
CN103399888B (zh) 电网模型数据的差分同步方法及系统
CN104036029A (zh) 大数据一致性对比方法和系统
CN104834700A (zh) 一种基于轨迹变更的移动数据增量捕获方法
CN103327124A (zh) 一种文件同步的方法、装置、客户端、服务器端及设备
CN106339408A (zh) 数据同步方法、数据同步装置和服务器
CN110083600A (zh) 一种日志收集处理的方法、装置、计算设备及存储介质
CN105787058A (zh) 一种用户标签系统及基于用户标签系统的数据推送系统
CN114218218A (zh) 基于数据仓库的数据处理方法、装置、设备及存储介质
CN105338107A (zh) 一种据点运营同步管理系统及方法
CN115292414A (zh) 一种业务数据同步到数仓的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110119

Termination date: 20131216