CN102819608A - 一种基于Oracle数据库系统的数据抽取方法及装置 - Google Patents
一种基于Oracle数据库系统的数据抽取方法及装置 Download PDFInfo
- Publication number
- CN102819608A CN102819608A CN2012103005205A CN201210300520A CN102819608A CN 102819608 A CN102819608 A CN 102819608A CN 2012103005205 A CN2012103005205 A CN 2012103005205A CN 201210300520 A CN201210300520 A CN 201210300520A CN 102819608 A CN102819608 A CN 102819608A
- Authority
- CN
- China
- Prior art keywords
- database
- data
- change
- encapsulation
- oracle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Storage Device Security (AREA)
Abstract
本发明实施例提供了一种基于Oracle数据库系统的数据抽取方法及装置，将第一数据库中的全部数据先同步到第二数据库中，再依据第一数据库中数据的更新，更新第二数据库中的数据，从而使得第二数据库中能够包括第一数据库中的全部数据并与第一数据库保存同步更新，避免了丢失数据的问题。
Description
技术领域
本发明涉及数据库领域，尤其涉及一种基于Oracle数据库系统的数据抽取方法及装置。
背景技术
增量数据抽取（Change Data Capture，CDC）是Oracle数据库中使用的数据抽取方法，所述方法只关注源端数据库中产生变化的数据，即新插入或删除的数据、经过更新的数据等，将源端数据库中发生变化的数据复制到目标端数据库中，因此，使用现有的增量数据抽取方法获取的目标端数据库中，只存储有发生过变化的数据，而没有未发生变化的数据，从而导致目标端数据库相对于源端数据库，丢失数据的问题。
发明内容
有鉴于此，本发明实施例提供了一种基于Oracle数据库系统的数据抽取方法及装置，目的在于解决现有的增量数据抽取方法存在的目标端数据库相对于源端数据库丢失数据的问题。
一种基于Oracle数据库系统的数据抽取方法，所述Oracle数据库系统至少具有第一数据库和第二数据库，包括：
将所述第一数据库中的全部数据同步至所述第二数据库；
捕获所述第一数据库中发生变化的数据；
在所述第二数据库中更新所述发生变化的数据。
优选地，所述将所述第一数据库中的全部数据同步至所述第二数据库包括：
从所述第一数据库中扫描获取全部数据；
将所述扫描获取的全部数据进行封装；
将封装后的数据同步至所述第二数据库。
优选地，所述将封装后的数据同步至所述第二数据库包括：
将封装后的数据进行加密；
将加密后的数据同步至所述第二数据库。
优选地，所述捕获所述第一数据库中发生变化的数据包括：
利用变更表捕获所述第一数据库中发生变化的数据。
一种基于Oracle数据库系统的数据抽取装置，所述Oracle数据库系统至少具有第一数据库和第二数据库，包括：
同步模块，用于将所述第一数据库中的全部数据同步至所述第二数据库；
捕获模块，用于捕获所述第一数据库中发生变化的数据；
更新模块，用于在所述第二数据库中更新所述发生变化的数据。
优选地，所述同步模块包括：
扫描单元，用于从所述第一数据库中扫描获取全部数据；
封装单元，用于将所述扫描获取的全部数据进行封装；
同步单元，用于将封装后的数据同步至所述第二数据库。
优选地，所述同步单元包括：
加密子单元，用于将封装后的数据进行加密；
同步子单元，用于将加密后的数据同步至所述第二数据库。
优选地，所述捕获模块包括：
变更表。
本发明实施例提供的一种基于Oracle数据库系统的数据抽取方法及装置，将第一数据库中的全部数据先同步到第二数据库中，再依据第一数据库中数据的更新，更新第二数据库中的数据，从而使得第二数据库中能够包括第一数据库中的全部数据并与第一数据库保存同步更新，避免了丢失数据的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例公开的一种基于Oracle数据库系统的数据抽取方法的流程图；
图2为本发明实施例公开的又一种基于Oracle数据库系统的数据抽取方法的流程图；
图3为本发明实施例公开的所述方法配置第一数据库的用户交互界面；
图4为本发明实施例公开的第一数据库数据抽取配置的用户交互界面；
图5为本发明实施例公开的第一数据库抽取内容配置表；
图6为本发明实施例公开的编码方式、配置消息日志以及超时时间选择的用户交互界面；
图7为。本发明实施例公开的一种基于Oracle数据库系统的数据抽取装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种基于Oracle数据库系统的数据抽取方法，所述Oracle数据库系统至少具有第一数据库和第二数据库，如图1所示，所述方法包括：
S101：将所述第一数据库中的全部数据同步至所述第二数据库；
从数据迁移的角度而言，所述第一数据库为源数据库，所述第二数据库为目标数据库。
S102：捕获所述第一数据库中发生变化的数据；
其中，发生变化后的数据包括新增加入第一数据库的数据，从第一数据库中删除的数据，数值进行更新的数据等。
S103：在所述第二数据库中更新所述发生变化的数据。
在第二数据库中更新所述发生变化的数据具体为：将发生变化的数据在第二数据库中进行与其在第一数据库中相同的变化，例如，将新增如第一数据库的数据增加到第二数据库中相同的位置，将第一数据库中删除的数据同样从第二数据库中删除，将第一数据库中数值发生变化的数据，在第二数据库中也更新为相同的数值。
本实施例所述的一种基于Oracle数据库系统的数据抽取方法，将第一数据库中的全部数据同步到第二数据库中后，再对第一数据库与第二数据库进行增量数据抽取，从而保证了第二数据库中不会丢失第一数据库中的数据。当需要使用第二数据库中的数据时，其与第一数据库中的数据是高度一致的，从而避免出现误操作。
本发明实施例公开了又一种基于Oracle数据库系统的数据抽取方法所述Oracle数据库系统至少具有第一数据库和第二数据库，如图2所示，所述方法包括：
S201：从所述第一数据库中扫描获取全部数据；
S202：将所述扫描获取的全部数据进行封装；
S203：将封装后的数据进行加密；
S204：将加密后的数据同步至所述第二数据库；
S205：利用变更表（Change Table）捕获所述第一数据库中发生变化的数据；
S206：在所述第二数据库中更新所述发生变化的数据。
图3所示为本实施例中所述方法配置第一数据库的用户交互界面，图4为第一数据库数据抽取配置的用户交互界面，图5为第一数据库抽取内容配置表，图6为编码方式、配置消息日志以及超时时间选择的用户交互界面。
本实施例所述的基于Oracle数据库系统的数据抽取方法，将第一数据库中的全部数据扫描封装加密后同步至第二数据库，再进行第一数据库与第二数据库间的增量数据抽取，避免了第二数据库相对于第一数据库发生丢失数据的问题。
本发明实施例公开了一种基于Oracle数据库系统的数据抽取装置，如图7所示，所所述装置包括：
同步模块701，用于将所述第一数据库中的全部数据同步至所述第二数据库；
捕获模块702，用于捕获所述第一数据库中发生变化的数据；
其中，捕获模块可以具体为变更表（Change Table）。
更新模块703，用于在所述第二数据库中更新所述发生变化的数据。
进一步地，本实施例中，所述同步模块包括：
扫描单元，用于从所述第一数据库中扫描获取全部数据；
封装单元，用于将所述扫描获取的全部数据进行封装；
同步单元，用于将封装后的数据同步至所述第二数据库。
进一步地，本实施例中，所述同步单元包括：
加密子单元，用于将封装后的数据进行加密；
同步子单元，用于将加密后的数据同步至所述第二数据库。
本实施例所述的基于Oracle数据库系统的数据抽取装置，将第一数据库中的全部数据同步至第二数据库，并且，对第一数据库中的增量数据进行抽取，同步至第二数据库中，因此，使得第二数据库相对于第一数据库而言，不会丢失数据。
本实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本发明实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备（可以是个人计算机，服务器，移动计算设备或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种基于Oracle数据库系统的数据抽取方法，所述Oracle数据库系统至少具有第一数据库和第二数据库，其特征在于，包括：
将所述第一数据库中的全部数据同步至所述第二数据库；
捕获所述第一数据库中发生变化的数据；
在所述第二数据库中更新所述发生变化的数据。
2.根据权利要求1所述的方法，其特征在于，所述将所述第一数据库中的全部数据同步至所述第二数据库包括：
从所述第一数据库中扫描获取全部数据；
将所述扫描获取的全部数据进行封装；
将封装后的数据同步至所述第二数据库。
3.根据权利要求2所述的方法，其特征在于，所述将封装后的数据同步至所述第二数据库包括：
将封装后的数据进行加密；
将加密后的数据同步至所述第二数据库。
4.根据权利要求1所述的方法，其特征在于，所述捕获所述第一数据库中发生变化的数据包括：
利用变更表捕获所述第一数据库中发生变化的数据。
5.一种基于Oracle数据库系统的数据抽取装置，所述Oracle数据库系统至少具有第一数据库和第二数据库，其特征在于，包括：
同步模块，用于将所述第一数据库中的全部数据同步至所述第二数据库；
捕获模块，用于捕获所述第一数据库中发生变化的数据；
更新模块，用于在所述第二数据库中更新所述发生变化的数据。
6.根据权利要求5所述的装置，其特征在于，所述同步模块包括：
扫描单元，用于从所述第一数据库中扫描获取全部数据；
封装单元，用于将所述扫描获取的全部数据进行封装；
同步单元，用于将封装后的数据同步至所述第二数据库。
7.根据权利要求6所述的装置，其特征在于，所述同步单元包括：
加密子单元，用于将封装后的数据进行加密；
同步子单元，用于将加密后的数据同步至所述第二数据库。
8.根据权利要求5所述的装置，其特征在于，所述捕获模块包括：变更表。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012103005205A CN102819608A (zh) | 2012-08-22 | 2012-08-22 | 一种基于Oracle数据库系统的数据抽取方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012103005205A CN102819608A (zh) | 2012-08-22 | 2012-08-22 | 一种基于Oracle数据库系统的数据抽取方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102819608A true CN102819608A (zh) | 2012-12-12 |
Family
ID=47303719
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2012103005205A Pending CN102819608A (zh) | 2012-08-22 | 2012-08-22 | 一种基于Oracle数据库系统的数据抽取方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102819608A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104750744A (zh) * | 2013-12-31 | 2015-07-01 | 中国移动通信集团河南有限公司 | 一种基于Oracle数据库的压缩数据同步方法及装置 |
| CN107229721A (zh) * | 2017-06-02 | 2017-10-03 | 泰华智慧产业集团股份有限公司 | 一种变更数据抽取的方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020194203A1 (en) * | 2001-06-15 | 2002-12-19 | Malcolm Mosher | Ultra-high speed database replication with multiple audit logs |
| CN101923566A (zh) * | 2010-06-24 | 2010-12-22 | 浙江协同数据系统有限公司 | 一种基于触发器的数据增量抽取方法 |
| CN102184251A (zh) * | 2011-05-25 | 2011-09-14 | 盛趣信息技术（上海）有限公司 | 一种数据表同步系统及方法 |
| CN102508835A (zh) * | 2011-09-22 | 2012-06-20 | 用友软件股份有限公司 | 基于日志管理包的增量数据实时同步装置和方法 |
-
2012
- 2012-08-22 CN CN2012103005205A patent/CN102819608A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020194203A1 (en) * | 2001-06-15 | 2002-12-19 | Malcolm Mosher | Ultra-high speed database replication with multiple audit logs |
| CN101923566A (zh) * | 2010-06-24 | 2010-12-22 | 浙江协同数据系统有限公司 | 一种基于触发器的数据增量抽取方法 |
| CN102184251A (zh) * | 2011-05-25 | 2011-09-14 | 盛趣信息技术（上海）有限公司 | 一种数据表同步系统及方法 |
| CN102508835A (zh) * | 2011-09-22 | 2012-06-20 | 用友软件股份有限公司 | 基于日志管理包的增量数据实时同步装置和方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104750744A (zh) * | 2013-12-31 | 2015-07-01 | 中国移动通信集团河南有限公司 | 一种基于Oracle数据库的压缩数据同步方法及装置 |
| CN104750744B (zh) * | 2013-12-31 | 2018-05-22 | 中国移动通信集团河南有限公司 | 一种基于Oracle数据库的压缩数据同步方法及装置 |
| CN107229721A (zh) * | 2017-06-02 | 2017-10-03 | 泰华智慧产业集团股份有限公司 | 一种变更数据抽取的方法及装置 |
| CN107229721B (zh) * | 2017-06-02 | 2019-10-29 | 泰华智慧产业集团股份有限公司 | 一种变更数据抽取的方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10430398B2 (en) | Data storage system having mutable objects incorporating time | |
| KR102128138B1 (ko) | 플레이스홀더에 의한 하이드레이션 및 디하이드레이션 기법 | |
| CN101446984B (zh) | 一种文件存储方法、装置及文件删除方法和装置 | |
| CN103164525B (zh) | Web应用发布方法和装置 | |
| CN103049491A (zh) | 一种图片文件的管理方法及装置 | |
| CN105339903A (zh) | 恢复文件系统对象 | |
| CN102982130A (zh) | 一种nosql与rdbms的数据库同步方法和系统 | |
| CN101556593A (zh) | 一种多人协同工作文档管理的方法和系统 | |
| CN108255989B (zh) | 图片存储方法、装置、终端设备及计算机存储介质 | |
| CN108134696A (zh) | 一种微服务配置更新方法及装置 | |
| CN102821111A (zh) | 文件云存储实时同步方法 | |
| CN105493080B (zh) | 基于上下文感知的重复数据删除的方法和装置 | |
| CN105100149A (zh) | 用于管理文件的方法和系统 | |
| CN103425785A (zh) | 数据存储系统及其用户数据存储、读取方法 | |
| CN103699557A (zh) | 报表处理方法及系统 | |
| CN103430178A (zh) | 数据更新方法及装置和产品 | |
| CN104281717A (zh) | 一种建立海量id映射关系的方法 | |
| CN103713926B (zh) | 一种预更新软件客户端的方法及系统 | |
| CN103902562A (zh) | 一种终端数据库升级方法及相关装置 | |
| CN103106200A (zh) | 非关系型数据库同步系统及双写同步方法 | |
| CN112925759A (zh) | 数据文件的处理方法和装置、存储介质、电子装置 | |
| CN104268097B (zh) | 一种元数据处理方法及系统 | |
| CN105677579A (zh) | 缓存系统中的数据访问方法和系统 | |
| CN102819608A (zh) | 一种基于Oracle数据库系统的数据抽取方法及装置 | |
| CN102737082A (zh) | 一种动态更新文稿数据索引的方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20121212 |