CN107402981A - 一种基于分布式离线数据库的数据增量处理方法及系统 - Google Patents
一种基于分布式离线数据库的数据增量处理方法及系统 Download PDFInfo
- Publication number
- CN107402981A CN107402981A CN201710549726.4A CN201710549726A CN107402981A CN 107402981 A CN107402981 A CN 107402981A CN 201710549726 A CN201710549726 A CN 201710549726A CN 107402981 A CN107402981 A CN 107402981A
- Authority
- CN
- China
- Prior art keywords
- data
- record
- split
- mode
- increment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2372—Updates performed during offline database operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明旨在提供种基于分布式离线数据库的数据增量处理方法及系统，以解决现有技术方案中因主键值变更，大数据平台在进行数据增量合并后数据出现重复的问题。包括如下步骤：获取增量数据的关键信息并写入增量变化表；获取增量数据记录表中操作状态为变更的增量数据记录作为待处理数据记录；获取待处理数据记录中更新前主键和更新后主键不相等的记录作为待拆分数据记录；将待拆分数据记录拆分为操作状态为删除的数据记录和拆分为操作状态为添加的数据记录；根据增量变化表进行数据增量合并。有益技术效果：防止数据因为主键变更而出现重复。
Description
技术领域
本发明涉及一种数据增量处理，具体为一种基于分布式离线数据库的数据增量处理方法及装置。
背景技术
大数据(big data,mega data)，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理(MPP)数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算、互联网和可扩展的存储系统。其中基于分布式文件系统，采用分布式并行计算框架，适合海量离线数据批量加工处理的技术平台，在业界大数据实践中得到广泛的应用，可实现了海量数据存储、数据处理、数据挖掘。数据接入是将业务源系统(简称源系统)中业务数据采用一定技术方式同步至大数据平台。按照数据接入策略，数据接入可分为全量、增量接入。由于源业务系统数据量很大时，全量数据接入严重影响系统性能，一般采用数据增量接入大数据平台，再和之前全量数据进行合并的方式加以替代。由于大数据平台相比传统关系数据库存在数据只能新增、不能覆盖、删除等操作，所以接入到大数据平台中的当天增量数据，需要与之前全量数据进行数据对比、去重，并最终形成当天完整全量数据。由于增量数据的来源较多，当一方数据存在问题时，经常会影响数据合并的结果，造成数据重复、丢失等情况。
现有技术中解决增量数据接入重复的方法是：通过增量数据复制组件，获取源头增量变化数据，并对每条变化的记录上打上操作标志位、变更时间，写入大数据平台增量变化表中；大数据平台调用增量合并程序，按照数据变更时间对增量变化表中数据进行排序，按照主键去重形成当天最终增量数据，之后和昨天全量数据进行对比找出未变化的数据，最后将未变化的数据与去重后最终增量数据进行合并，从而形成一份无重复记录的当天全量的数据。其不足在于：当业务源头对部分记录进行主键值变更，将原记录直接变更为新记录时，通过增量数据复制组件复制过来的数据仅记录了数据变更等信息，后续增量合并时无法判断出主键值变更的数据，无法通过原来程序逻辑消除掉到重复记录，增量合并数据存在重复情况，后续只能通过全量刷新数据暂时解决该问题。
发明内容
本发明旨在提供种基于分布式离线数据库的数据增量处理方法及系统，以解决现有技术方案中因主键值变更，大数据平台在进行数据增量合并后数据出现重复的问题。
为了实现所述目的，本发明一种基于分布式离线数据库的数据增量处理方法，包括如下步骤：
获取增量数据的关键信息并写入增量变化表，所述关键信息包括操作时间、操作状态、更新前数据和更新后数据，其中所述更新前数据包括更新前主键，所述更新后数据包括更新后主键；
获取增量数据记录表中操作状态为变更的增量数据记录作为待处理数据记录；
获取待处理数据记录中更新前主键和更新后主键不相等的记录作为待拆分数据记录；
将待拆分数据记录拆分为操作状态为删除的数据记录和拆分为操作状态为添加的数据记录，其中操作状态为删除的数据记录的更新后数据采用对应待拆分数据的更新前数据，操作状态为添加的数据记录的更新后数据采用对应待拆分数据的更新后数据，同时拆分为操作状态为添加的数据记录的操作时间在对应拆分为操作状态为删除的数据记录的操作时间之后；
根据增量变化表进行数据增量合并。
优选的，所述获取增量数据的关键信息并写入增量变化表包括：获取源头数据库在线日志或者归档日志，根据在线日志或归档日志获取源头数据库中的增量数据的关键信息，将关键信息写入增量变化表。
优选的，所述根据增量变化表进行数据增量合并包括：按照数据变更时间对增量变化表中数据进行排序，按照主键去重形成当天最终增量数据，之后和昨天全量数据进行对比找出未变化的数据，最后将未变化的数据与去重后最终增量数据进行合并。
优选的，所述操作状态包括添加、删除和变更。
优选的，在待拆分数据记录拆分为操作状态为删除的数据记录和拆分为操作状态为添加的数据记录时，操作状态为删除的数据记录对应的操作时间可以采用对应待拆分数据记录的操作时间，操作状态为添加的数据记录的操作时间在对应待拆分数据记录的操作时间的基础上增加设定时间。
为了实现所述目的，本发明一种基于分布式离线数据库的数据增量处理系统，包括：
增量数据关键信息获取模块，获取增量数据的关键信息并写入增量变化表，所述关键信息包括操作时间、操作状态、更新前数据和更新后数据，其中所述更新前数据包括更新前主键，所述更新后数据包括更新后主键；
待处理数据获取模块，获取增量数据记录表中操作状态为变更的增量数据记录作为待处理数据记录；
待拆分数据记录获取模块，获取待处理数据记录中更新前主键和更新后主键不相等的记录作为待拆分数据记录；
拆分模块，将待拆分数据记录拆分为操作状态为删除的数据记录和拆分为操作状态为添加的数据记录，其中操作状态为删除的数据记录的更新后数据采用对应待拆分数据的更新前数据，操作状态为添加的数据记录的更新后数据采用对应待拆分数据的更新后数据，同时拆分为操作状态为添加的数据记录的操作时间在对应拆分为操作状态为删除的数据记录的操作时间之后；
合并模块，根据增量变化表进行数据增量合并。
优选的，所述获取增量数据的关键信息并写入增量变化表包括：获取源头数据库在线日志或者归档日志，根据在线日志或归档日志获取源头数据库中的增量数据的关键信息，将关键信息写入增量变化表。
优选的，所述根据增量变化表进行数据增量合并包括：按照数据变更时间对增量变化表中数据进行排序，按照主键去重形成当天最终增量数据，之后和昨天全量数据进行对比找出未变化的数据，最后将未变化的数据与去重后最终增量数据进行合并。
优选的，所述操作状态包括添加、删除和变更。
优选的，在待拆分数据记录拆分为操作状态为删除的数据记录和拆分为操作状态为添加的数据记录时，操作状态为删除的数据记录对应的操作时间可以采用对应待拆分数据记录的操作时间，操作状态为添加的数据记录的操作时间在对应待拆分数据记录的操作时间的基础上增加设定时间。
通过实施本发明可以取得以下有益技术效果：相对于现有技术，本发明将主键发生变更的数据拆分为删除数据和增加数据，拆分后再通过现有技术中的数据增量方法进行数据合并，其优点在于：1、防止数据因为主键变更而出现重复；2、可采用现有技术中的增量合并程序进行合并，无需修改原增量合并程序。
具体实施方式
为了便于本领域技术人员的理解，下面结合具体实施例对本发明作进一步的说明：
实施例1：
本发明提供了一种基于分布式离线数据库的数据增量处理方法，包括如下步骤：
获取增量数据的关键信息并写入增量变化表，所述关键信息包括操作时间、操作状态、更新前数据和更新后数据，其中所述更新前数据包括更新前主键，所述更新后数据包括更新后主键；
获取增量数据记录表中操作状态为变更的增量数据记录作为待处理数据记录；
获取待处理数据记录中更新前主键和更新后数据不相等的记录作为待拆分数据记录；
将待拆分数据记录拆分为操作状态为删除的数据记录和拆分为操作状态为添加的数据记录，其中操作状态为删除的数据记录的更新后数据采用对应待拆分数据的更新前数据，操作状态为添加的数据记录的更新后数据采用对应待拆分数据的更新后数据，同时拆分为操作状态为添加的数据记录的操作时间在对应拆分为操作状态为删除的数据记录的操作时间之后；
根据增量变化表进行数据增量合并。
相对于现有技术，本发明将主键发生变更的数据拆分为删除数据和增加数据，拆分后再通过现有技术中的数据增量方法进行数据合并，其优点在于：1、防止数据因为主键变更而出现重复；2、可采用现有技术中的增量合并程序进行合并，无需修改原增量合并程序。
本实施例中，操作状态分为添加、删除、变更三种；每条记录中分为变更前数据和变更后数据。在根据增量变化表进行数据增量合并中，采用的是变更后的数据。
获取待处理数据记录中更新前主键和更新后主键不相等的记录作为待拆分数据记录包括：分别对每条记录中变更前主键和变更后主键进行对比，从而找出主键值不相等的记录即主键值发生变更的记录作为待拆分数据记录。
在待拆分数据记录拆分为操作状态为删除的数据记录和拆分为操作状态为添加的数据记录时，操作状态为删除的数据记录对应的操作时间可以采用对应待拆分数据记录的操作时间，操作状态为添加的数据记录的操作时间可以在对应待拆分数据记录的操作时间的基础上增加设定时间T，该时间T可以为1秒、1分钟等，具体可以根据时间情况设置。
获取增量数据的关键信息并写入增量变化表包括：获取源头数据库在线日志或者归档日志，根据在线日志或归档日志获取源头数据库中的增量数据的关键信息，将关键信息写入增量变化表。该获取关键信息的方法可以采用现有技术中的获取方法，与现有技术的区别在于，获取的关键信息中至少还包含了变更前的主键信息。
所述根据增量变化表进行数据增量合并包括：按照数据变更时间对增量变化表中数据进行排序，按照主键去重形成当天最终增量数据，之后和昨天全量数据进行对比找出未变化的数据，最后将未变化的数据与去重后最终增量数据进行合并。该数据增量合并的方法采用的是现有技术中的合并方法，其中本发明中的变更后主键对应的是现有技术中的主键，本申请中不再进行详细描述。
实施例2：
本发明提供了一种基于分布式离线数据库的数据增量处理系统，包括：
增量数据关键信息获取模块，获取增量数据的关键信息并写入增量变化表，所述关键信息包括操作时间、操作状态、更新前数据和更新后数据，其中所述更新前数据包括更新前主键，所述更新后数据包括更新后主键；
待处理数据获取模块，获取增量数据记录表中操作状态为变更的增量数据记录作为待处理数据记录；
待拆分数据记录获取模块，获取待处理数据记录中更新前主键和更新后主键不相等的记录作为待拆分数据记录；
拆分模块，将待拆分数据记录拆分为操作状态为删除的数据记录和拆分为操作状态为添加的数据记录，其中操作状态为删除的数据记录的更新后数据采用对应待拆分数据的更新前数据，操作状态为添加的数据记录的更新后数据采用对应待拆分数据的更新后数据，同时拆分为操作状态为添加的数据记录的操作时间在对应拆分为操作状态为删除的数据记录的操作时间之后；
合并模块，根据增量变化表进行数据增量合并。
所述获取增量数据的关键信息并写入增量变化表包括：获取源头数据库在线日志或者归档日志，根据在线日志或归档日志获取源头数据库中的增量数据的关键信息，将关键信息写入增量变化表。
所述根据增量变化表进行数据增量合并包括：按照数据变更时间对增量变化表中数据进行排序，按照主键去重形成当天最终增量数据，之后和昨天全量数据进行对比找出未变化的数据，最后将未变化的数据与去重后最终增量数据进行合并。
所述操作状态包括添加、删除和变更。
在待拆分数据记录拆分为操作状态为删除的数据记录和拆分为操作状态为添加的数据记录时，操作状态为删除的数据记录对应的操作时间可以采用对应待拆分数据记录的操作时间，操作状态为添加的数据记录的操作时间在对应待拆分数据记录的操作时间的基础上增加设定时间。
本实施例为实现实施例1中方法的装置，其实现方法采用的是实施例1中的方法，本实施例中不再进行详细描述。
以上所述仅为本发明的具体实施例，但本发明的技术特征并不局限于此，任何本领域的技术人员在本发明的领域内，所作的变化或修饰皆涵盖在本发明的专利范围之中。
Claims (10)
1.一种基于分布式离线数据库的数据增量处理方法，其特征在于，包括如下步骤：
获取增量数据的关键信息并写入增量变化表，所述关键信息包括操作时间、操作状态、更新前数据和更新后数据，其中所述更新前数据包括更新前主键，所述更新后数据包括更新后主键；
获取增量数据记录表中操作状态为变更的增量数据记录作为待处理数据记录；
获取待处理数据记录中更新前主键和更新后主键不相等的记录作为待拆分数据记录；
将待拆分数据记录拆分为操作状态为删除的数据记录和拆分为操作状态为添加的数据记录，其中操作状态为删除的数据记录的更新后数据采用对应待拆分数据的更新前数据，操作状态为添加的数据记录的更新后数据采用对应待拆分数据的更新后数据，同时拆分为操作状态为添加的数据记录的操作时间在对应拆分为操作状态为删除的数据记录的操作时间之后；
根据增量变化表进行数据增量合并。
2.如权利要求1所述的一种基于分布式离线数据库的数据增量处理方法，其特征在于，所述获取增量数据的关键信息并写入增量变化表包括：获取源头数据库在线日志或者归档日志，根据在线日志或归档日志获取源头数据库中的增量数据的关键信息，将关键信息写入增量变化表。
3.如权利要求1所述的一种基于分布式离线数据库的数据增量处理方法，其特征在于，所述根据增量变化表进行数据增量合并包括：按照数据变更时间对增量变化表中数据进行排序，按照主键去重形成当天最终增量数据，之后和昨天全量数据进行对比找出未变化的数据，最后将未变化的数据与去重后最终增量数据进行合并。
4.如权利要求1所述的一种基于分布式离线数据库的数据增量处理方法，其特征在于，所述操作状态包括添加、删除和变更。
5.如权利要求1所述的一种基于分布式离线数据库的数据增量处理方法，其特征在于，在待拆分数据记录拆分为操作状态为删除的数据记录和拆分为操作状态为添加的数据记录时，操作状态为删除的数据记录对应的操作时间可以采用对应待拆分数据记录的操作时间，操作状态为添加的数据记录的操作时间在对应待拆分数据记录的操作时间的基础上增加设定时间。
6.一种基于分布式离线数据库的数据增量处理系统，其特征在于：包括：
增量数据关键信息获取模块，获取增量数据的关键信息并写入增量变化表，所述关键信息包括操作时间、操作状态、更新前数据和更新后数据，其中所述更新前数据包括更新前主键，所述更新后数据包括更新后主键；
待处理数据获取模块，获取增量数据记录表中操作状态为变更的增量数据记录作为待处理数据记录；
待拆分数据记录获取模块，获取待处理数据记录中更新前主键和更新后主键不相等的记录作为待拆分数据记录；
拆分模块，将待拆分数据记录拆分为操作状态为删除的数据记录和拆分为操作状态为添加的数据记录，其中操作状态为删除的数据记录的更新后数据采用对应待拆分数据的更新前数据，操作状态为添加的数据记录的更新后数据采用对应待拆分数据的更新后数据，同时拆分为操作状态为添加的数据记录的操作时间在对应拆分为操作状态为删除的数据记录的操作时间之后；
合并模块，根据增量变化表进行数据增量合并。
7.如权利要求6所述的一种基于分布式离线数据库的数据增量处理系统，其特征在于，所述获取增量数据的关键信息并写入增量变化表包括：获取源头数据库在线日志或者归档日志，根据在线日志或归档日志获取源头数据库中的增量数据的关键信息，将关键信息写入增量变化表。
8.如权利要求6所述的一种基于分布式离线数据库的数据增量处理系统，其特征在于，所述根据增量变化表进行数据增量合并包括：按照数据变更时间对增量变化表中数据进行排序，按照主键去重形成当天最终增量数据，之后和昨天全量数据进行对比找出未变化的数据，最后将未变化的数据与去重后最终增量数据进行合并。
9.如权利要求6所述的一种基于分布式离线数据库的数据增量处理方法，其特征在于，所述操作状态包括添加、删除和变更。
10.如权利要求6所述的一种基于分布式离线数据库的数据增量处理方法，其特征在于，在待拆分数据记录拆分为操作状态为删除的数据记录和拆分为操作状态为添加的数据记录时，操作状态为删除的数据记录对应的操作时间可以采用对应待拆分数据记录的操作时间，操作状态为添加的数据记录的操作时间在对应待拆分数据记录的操作时间的基础上增加设定时间。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710549726.4A CN107402981B (zh) | 2017-07-07 | 2017-07-07 | 一种基于分布式离线数据库的数据增量处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710549726.4A CN107402981B (zh) | 2017-07-07 | 2017-07-07 | 一种基于分布式离线数据库的数据增量处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107402981A true CN107402981A (zh) | 2017-11-28 |
| CN107402981B CN107402981B (zh) | 2023-07-18 |
Family
ID=60405445
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710549726.4A Active CN107402981B (zh) | 2017-07-07 | 2017-07-07 | 一种基于分布式离线数据库的数据增量处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107402981B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108416023A (zh) * | 2018-03-08 | 2018-08-17 | 云南电网有限责任公司电力科学研究院 | 一种模拟用户操作回写系统数据的方法 |
| CN110059087A (zh) * | 2019-03-26 | 2019-07-26 | 阿里巴巴集团控股有限公司 | 一种块链式账本中的数据属性标识方法、装置及设备 |
| CN111177159A (zh) * | 2019-08-16 | 2020-05-19 | 腾讯科技（深圳）有限公司 | 一种数据处理的系统、方法和数据更新设备 |
| CN112612839A (zh) * | 2020-12-28 | 2021-04-06 | 中国农业银行股份有限公司 | 一种数据处理方法及装置 |
| CN112825069A (zh) * | 2019-11-21 | 2021-05-21 | 阿里巴巴集团控股有限公司 | 数据库数据的分析方法、设备、系统及存储介质 |
| CN113094442A (zh) * | 2021-04-30 | 2021-07-09 | 广州虎牙科技有限公司 | 全量数据同步方法、装置、设备和介质 |
| WO2021174696A1 (zh) * | 2020-03-06 | 2021-09-10 | 平安科技（深圳）有限公司 | 数据更新方法、装置、计算机设备及存储介质 |
| CN113535856A (zh) * | 2021-07-29 | 2021-10-22 | 上海哔哩哔哩科技有限公司 | 数据同步方法及系统 |
| CN114943021A (zh) * | 2022-07-20 | 2022-08-26 | 之江实验室 | 一种tb级增量数据筛选方法和装置 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5446881A (en) * | 1992-09-25 | 1995-08-29 | At&T Corp. | Database storage and retrieval method using a declining stage size and repetitive searches |
| JP2002007441A (ja) * | 2000-06-26 | 2002-01-11 | Hitachi Software Eng Co Ltd | 分散データベースシステム |
| WO2004090726A1 (ja) * | 2003-04-04 | 2004-10-21 | Fujitsu Limited | データベース複製プログラムおよびデータベース複製装置 |
| US20060155752A1 (en) * | 2005-01-13 | 2006-07-13 | International Business Machines Corporation | System and method for incremental indexing |
| CN102375827A (zh) * | 2010-08-16 | 2012-03-14 | 北京国科恒通电气自动化科技有限公司 | 一种对版本化的电网模型数据库进行快速加载的方法 |
| CN103853820A (zh) * | 2014-02-20 | 2014-06-11 | 北京用友政务软件有限公司 | 一种数据处理方法及系统 |
| CN104142930A (zh) * | 2013-05-06 | 2014-11-12 | Sap股份公司 | 通用δ数据装载 |
| JP2014219868A (ja) * | 2013-05-09 | 2014-11-20 | 西日本電信電話株式会社 | データベースの移行方法 |
| CN104239357A (zh) * | 2013-06-21 | 2014-12-24 | Sap欧洲公司 | 用于数据库事务的并发请求处理 |
| US20170139909A1 (en) * | 2012-11-09 | 2017-05-18 | o9 Solutions, Inc. | Value-based differential data |
-
2017
- 2017-07-07 CN CN201710549726.4A patent/CN107402981B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5446881A (en) * | 1992-09-25 | 1995-08-29 | At&T Corp. | Database storage and retrieval method using a declining stage size and repetitive searches |
| JP2002007441A (ja) * | 2000-06-26 | 2002-01-11 | Hitachi Software Eng Co Ltd | 分散データベースシステム |
| WO2004090726A1 (ja) * | 2003-04-04 | 2004-10-21 | Fujitsu Limited | データベース複製プログラムおよびデータベース複製装置 |
| US20060155752A1 (en) * | 2005-01-13 | 2006-07-13 | International Business Machines Corporation | System and method for incremental indexing |
| CN102375827A (zh) * | 2010-08-16 | 2012-03-14 | 北京国科恒通电气自动化科技有限公司 | 一种对版本化的电网模型数据库进行快速加载的方法 |
| US20170139909A1 (en) * | 2012-11-09 | 2017-05-18 | o9 Solutions, Inc. | Value-based differential data |
| CN104142930A (zh) * | 2013-05-06 | 2014-11-12 | Sap股份公司 | 通用δ数据装载 |
| JP2014219868A (ja) * | 2013-05-09 | 2014-11-20 | 西日本電信電話株式会社 | データベースの移行方法 |
| CN104239357A (zh) * | 2013-06-21 | 2014-12-24 | Sap欧洲公司 | 用于数据库事务的并发请求处理 |
| CN103853820A (zh) * | 2014-02-20 | 2014-06-11 | 北京用友政务软件有限公司 | 一种数据处理方法及系统 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108416023A (zh) * | 2018-03-08 | 2018-08-17 | 云南电网有限责任公司电力科学研究院 | 一种模拟用户操作回写系统数据的方法 |
| CN108416023B (zh) * | 2018-03-08 | 2021-09-28 | 云南电网有限责任公司电力科学研究院 | 一种模拟用户操作回写系统数据的方法 |
| CN110059087A (zh) * | 2019-03-26 | 2019-07-26 | 阿里巴巴集团控股有限公司 | 一种块链式账本中的数据属性标识方法、装置及设备 |
| CN111177159A (zh) * | 2019-08-16 | 2020-05-19 | 腾讯科技（深圳）有限公司 | 一种数据处理的系统、方法和数据更新设备 |
| CN112825069A (zh) * | 2019-11-21 | 2021-05-21 | 阿里巴巴集团控股有限公司 | 数据库数据的分析方法、设备、系统及存储介质 |
| WO2021174696A1 (zh) * | 2020-03-06 | 2021-09-10 | 平安科技（深圳）有限公司 | 数据更新方法、装置、计算机设备及存储介质 |
| CN112612839A (zh) * | 2020-12-28 | 2021-04-06 | 中国农业银行股份有限公司 | 一种数据处理方法及装置 |
| CN113094442A (zh) * | 2021-04-30 | 2021-07-09 | 广州虎牙科技有限公司 | 全量数据同步方法、装置、设备和介质 |
| CN113094442B (zh) * | 2021-04-30 | 2024-04-19 | 广州虎牙科技有限公司 | 全量数据同步方法、装置、设备和介质 |
| CN113535856A (zh) * | 2021-07-29 | 2021-10-22 | 上海哔哩哔哩科技有限公司 | 数据同步方法及系统 |
| CN113535856B (zh) * | 2021-07-29 | 2022-11-04 | 上海哔哩哔哩科技有限公司 | 数据同步方法及系统 |
| CN114943021A (zh) * | 2022-07-20 | 2022-08-26 | 之江实验室 | 一种tb级增量数据筛选方法和装置 |
| US11789639B1 (en) | 2022-07-20 | 2023-10-17 | Zhejiang Lab | Method and apparatus for screening TB-scale incremental data |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107402981B (zh) | 2023-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107402981A (zh) | 一种基于分布式离线数据库的数据增量处理方法及系统 | |
| CN107526775B (zh) | 一种区块链数据归档的方法 | |
| US10254996B1 (en) | Fast migration of metadata | |
| US8078825B2 (en) | Composite hash and list partitioning of database tables | |
| CN106777225A (zh) | 一种数据的迁移方法和系统 | |
| CN101477487B (zh) | 多次增量文件的备份方法和恢复方法 | |
| CN104850598B (zh) | 一种实时数据库备份恢复方法 | |
| CN116991938A (zh) | 通过使用相关子区块链来扩展区块链效用的系统和方法 | |
| CN1858745A (zh) | 实现内存数据和数据库数据事务一致性的处理方法 | |
| CN110209728A (zh) | 一种分布式异构数据库同步方法、电子设备及存储介质 | |
| US11892979B2 (en) | Storage system garbage collection and defragmentation | |
| CN107025242A (zh) | 数据库间数据的复制方法及装置 | |
| CN106484906A (zh) | 一种分布式对象存储系统闪回方法及装置 | |
| US11422727B2 (en) | Restoring a storage system using file relocation metadata | |
| EP3796174A1 (en) | Restoring a database using a fully hydrated backup | |
| CN106155838A (zh) | 一种数据库备份数据恢复方法及装置 | |
| CN101201593B (zh) | 一种组态文件的同步方法及控制系统 | |
| CN106780157A (zh) | 基于Ceph的电网多时态模型存储与管理系统及方法 | |
| CN106844716B (zh) | 一种基于Solr索引与Oracle存储的海量数据自动化存储方法 | |
| CN109445989A (zh) | 一种文件系统数据备份方法及装置 | |
| CN106874341A (zh) | 一种数据库同步方法 | |
| CN105608235B (zh) | Oracle数据库中备份数据块的重复数据删除方法及系统 | |
| JP3730556B2 (ja) | データベース管理システム | |
| CN106155837A (zh) | 一种主备库数据修复的方法以及装置 | |
| Su | Analysis and Implementation of Shared Data Synchronization Mechanism in University Information Construction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |