CN104572867A

CN104572867A - 一种基于Oracle的数据处理方法

Info

Publication number: CN104572867A
Application number: CN201410799734.0A
Authority: CN
Inventors: 程永新; 宋辉; 梁铭图
Original assignee: SHANGHAI XINJU NETWORK INFORMATION TECHNOLOGY Co Ltd
Current assignee: SHANGHAI XINJU NETWORK INFORMATION TECHNOLOGY Co Ltd
Priority date: 2014-12-18
Filing date: 2014-12-18
Publication date: 2015-04-29

Abstract

本发明公开了一种基于Oracle的数据处理方法，包括如下步骤：a)针对Oracle数据库中的不同数据表实体，分别设定各表数据的保存方式、迁移方式和清理方式；b)将所述Oracle数据库内至少一个已设定的表数据的清理方式进行组合形成数据清理作业；c)针对所述数据清理作业分配具体的执行时间窗口，并在预设时间窗口内调度作业执行；d)根据自动化作业的调度执行结果，汇总数据迁移和清理的监控信息。本发明通过对不同数据表实体分别设定保存方式、迁移方式和清理方式，调度数据清理作业实现数据迁移、清理过程的周期化、自动化，减少数据操作的工作量，并且实现迁移、清理过程零停机时间以及对应用的零影响。

Description

一种基于Oracle的数据处理方法

技术领域

本发明涉及一种数据处理方法，尤其涉及一种基于Oracle的数据处理方法。

背景技术

由于多数IT系统是7*24小时不间断运转的生产系统，生产运行的过程中不断产生大量数据。这些产生的数据来自于了用户新增，订单，工单，用户帐清单信息等。通常地，这些数据由系统应用不断产生，但是系统应用本身对产生的数据通常并不会作出有效的处理。历史数据在得不到有效的清理的情况下，造成数据只进不出的情况；同时，尽管在系统上线规划时规划了足够的冗余容量，但由于系统新业务不断增加和上线，数据增长的速度还是远远超过了规划。

数据迅速增长，往往会带来各种问题和压力：

1、存储方面影响：在只进不出的情况下，再多的存储也会被沉积的历史数据所吞噬。由于历史数据无法从当前业务表中分离，无法使用数据库压缩，分层次存储等技术，降低存储方面的消耗。

2、系统性能影响：尽管数据的访问一般都集中于近期数据，但数据库仍然要扫描整个表的数据或者索引，单个表的数据量庞大，造成整体数据查询的效率大幅度降低。特别是在数据模型设计不合理的情况下，这种变更特别明显。

3、维护和安全：表数据量过大，造成常见数据库维护变得困难，包括索引创建、数据迁移和数据维护等。数据安全受到影响，数据备份时间变长。同时，需要进行整体数据恢复时，关键的业务数据恢复时间变长。

由上可见，有必要对Oracle的数据处理方法进行改进，在对系统应用影响最少的情况下，解决数据不断增长的问题。数据生命周期管理(DLM)是针对不同类型的业务数据进行贯穿其整个生命周期的管理，通过完整的数据生命周期管理解决方案，可以让不同类型的数据存放在最适合的存储设备上，利用适当的技术手段对这些数据进行快速处理和分析。

数据生命周期管理，是将生产数据按一定的规则和特征，将划分为不同生命周期：一般来说，可划分为产生期、成长期、衰退期和消亡期四类。按数据生命周期的特点，对数据分而治之，进行数据的有效组织和快速的迁移。数据生命周期管理的目的和作用在于：

通过对历史和消亡数据的迁移和管理，有效地减少系统数据库中在线数据量，可以有效提升系统性能；

通过对历史和消亡数据的迁移和管理，减少系统在线数据量和复杂，降低系统备份、恢复以及索引创建等重要数据维护的难度，全面提升系统可维护性；

数据生命周期管理按照规范进行设计和部署，同时又充分考虑到系统应用设计特点，提供充分的灵活性和扩展性；

通过对历史和消亡数据的迁移和管理，在保障数据库安全和性能的情况下，使用较低端的存储，较低的存储数据保护级别，以及运用数据压缩等技术用于历史和消亡数据的存储，大幅提高现有存储设计利用率。

由于数据生命周期管理大幅提高现有存储利用率，从另一方面也降低单位存储，例如每TB数据的平均存储成本，节省大量用于存储扩容的资金。数据生命周期管理一般应用于核心系统的数据管理，如电信运营商的核心系统一般为7*24小时不间断工作的系统，应用系统牵涉到电信运营商日常业务的开展，系统维护操作对企业影响非常大。同时，由于电信运营商IT系统的特性，其核心业务数据库不断产生大量数据，存储扩容速度远不能达到其增长需求，需要不定期进行数据生命周期管理迁移工作才能保证其工作正常开展。

但是目前应用技术方案的缺点在于以下问题：1.数据迁移效率过低，迁移时间过长；2.数据清理的过程中对业务系统产生影响，需要在停机维护窗口实施。例如，对分区方式清理数据时，一般使用truncate partition或drop partition操作，此时如果表存在全局索引或者主键，需要对索引进行自动维护或者手工重建，都会对正在运行的系统应用产生影响。3.对人的依赖性高，自动化程度低。

发明内容

本发明所要解决的技术问题是提供一种基于Oracle的数据处理方法，能够实现数据迁移、清理过程的周期化、自动化，无需人工干预，减少数据操作的工作量，并且实现迁移、清理过程零停机时间以及对应用的零影响。

本发明为解决上述技术问题而采用的技术方案是提供一种基于Oracle的数据处理方法，包括如下步骤：a)针对Oracle数据库中的不同数据表实体，分别设定各表数据的保存方式、迁移方式和清理方式；b)将所述Oracle数据库内至少一个已设定的表数据的清理方式进行组合形成数据清理作业；c)针对所述数据清理作业分配具体的执行时间窗口，并在预设时间窗口内调度作业执行；d)根据自动化作业的调度执行结果，汇总数据迁移和清理的监控信息。

上述的基于Oracle的数据处理方法，其中，所述步骤a)中的表数据的保存方式如下：通过比较表中的时间字段与当前时间，定期保存表数据。

上述的基于Oracle的数据处理方法，其中，所述步骤a)中的表数据的迁移方式包括data pump方式和在线移动历史表空间方式。

上述的基于Oracle的数据处理方法，其中，所述步骤a)中的表数据的清理方式包括按表数据分区清理方式、按分表清理方式和按特定SQL清理方式。

上述的基于Oracle的数据处理方法，其中，所述步骤c)包括如下过程：读取多个数据清理作业配置，创建并行子进程，每个子进程处理一个数据清理作业；同一数据清理作业中的表数据的清理方式按照先后关系串行执行。

上述的基于Oracle的数据处理方法，其中，如果表数据的迁移方式为data pump方式，则使用Oracle提供data pump API将数据从历史数据表中按单个分区或者单个分表倒出；如果表数据的迁移方式为在线移动历史表空间方式，则使用Oracle中的在线移动分区特性，采用在线移动方式将表的历史分区数据迁移到指定表空间。

上述的基于Oracle的数据处理方法，其中，还包括启用Oracle分区增强特性，在线异步维护全局索引。

上述的基于Oracle的数据处理方法，其中，还包括将倒出文件通过FTP或SCP方式传输到备份系统或者备份数据库，以及使用Oracle提供data pump API方式将备份历史数据倒入指定备份数据库中。

本发明对比现有技术有如下的有益效果：本发明提供的基于Oracle的数据处理方法，通过对Oracle数据库中的不同数据表实体分别设定保存方式、迁移方式和清理方式，自动化调度数据清理作业实现数据迁移、清理过程的周期化、自动化，无需人工干预，减少数据操作的工作量，并且实现迁移、清理过程零停机时间以及对应用的零影响。

附图说明

图1为本发明基于Oracle的数据处理流程示意图；

图2为本发明使用的数据生命周期管理架构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的描述。

图1为本发明基于Oracle的数据处理流程示意图；图2为本发明使用的数据生命周期管理架构示意图。

请参见图1和图2，一般来说，在运营商数据生命周期管理中，常以表中数据产生的时间(以表中的时间字段记录)作为数据生命周期管理的依据，总体的技术架构如图2所示，为了实现自动化的数据迁移、清理过程，本发明充分利用oracle 12C新特性结合数据生命周期管理的思路，整理出通过Oracle 12C进行数据生命周期管理方法，大致包括四个步骤：策略定义、作业定义、作业自动化调度和监控与报告。本发明提供的基于Oracle的数据处理方法具体包括如下步骤：

步骤S1:针对Oracle数据库中的不同数据表实体，分别设定各表数据的保存方式、迁移方式和清理方式。

表数据的保存方式用于设定表数据按照什么原则进行数据保留，保存原则可以通过表中的时间字段与当前时间作比较，如保留时间在最近3个月的数据；也可以通过一些特殊规则保存，如已经销户的数据等。

表数据的迁移方式用于设定保留策略以外的数据是将按什么样的规则迁移和备份到数据库或数据文件中，或者在线迁移到相同数据库的备份表空间中；包括datapump方式和在线移动历史表空间方式。

表数据的清理方式是指在数据迁移或备份完成后，数据表如何按保存原则从当前生产表中被清理的方式和方法，包括按表数据分区清理方式、按分表清理方式和按特定SQL清理方式等。

步骤S2:将所述Oracle数据库内至少一个已设定的表数据的清理方式进行组合形成数据清理作业。

步骤S3:针对所述数据清理作业分配具体的执行时间窗口，并在预设时间窗口内调度作业执行。

步骤S4:根据自动化作业的调度执行结果，汇总数据迁移和清理的监控信息。在完成系统平台清理策略和清理作业定义完成后，最终将会实现平台在定义的时间窗口内执行自动化的数据自动迁移、压缩、备份、清理等一系列复杂的工作，减少历史数据清理的对人的依赖。具体实现过程：读取多个数据清理作业配置，创建并行子进程，每个子进程处理一个数据清理作业；同一数据清理作业中的表数据的清理方式按照先后关系串行执行。如果表数据的迁移方式为data pump方式，则使用Oracle提供data pump API将数据从历史数据表中按单个分区或者单个分表倒出；如果表数据的迁移方式为在线移动历史表空间方式，则使用Oracle中的在线移动分区特性，采用在线移动方式将表的历史分区数据迁移到指定表空间。Truncate目标数据库中的单个数据分区，启用oracle 12C分区增强特性，在线异步维护全局索引，减少到在线系统的影响。在数据迁移和清理过程中，充分使用Oracle12C中分区表和索引的新特性partitioning Improvements分区特性增强，实现数据的在线迁移，迁移和清理过程对应用系统透明，并且不影响业务系统的正常运行。实现历史数据清理和迁移“0”停机时间。

此外，根据需要，本发明还将倒出文件通过FTP或SCP方式传输到备份系统或者备份数据库，以及使用Oracle提供data pump API方式将备份历史数据倒入指定备份数据库中。

综上所述，本发明提供的基于Oracle的数据处理方法，通过对Oracle数据库中的不同数据表实体分别设定保存方式、迁移方式和清理方式，自动化调度数据清理作业实现数据迁移、清理过程的周期化、自动化，具体优点如下：1.配置化历史数据备份、迁移和清理策略，平台自身智能判断历史数据所在分区和所在分表，无需要人工编写脚本；2.迁移、清理过程实现周期化、自动化，无需人工干预，减少数据操作的工作量；3.迁移、清理过程通过Oracle 12c的新技术实现支撑，实现在线的数据清理和迁移，并且实现迁移、清理过程零停机时间以及对应用的零影响。

虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。

Claims

1.一种基于Oracle的数据处理方法，其特征在于，包括如下步骤：

a)针对Oracle数据库中的不同数据表实体，分别设定各表数据的保存方式、迁移方式和清理方式；

b)将所述Oracle数据库内至少一个已设定的表数据的清理方式进行组合形成数据清理作业；

c)针对所述数据清理作业分配具体的执行时间窗口，并在预设时间窗口内调度作业执行；

d)根据自动化作业的调度执行结果，汇总数据迁移和清理的监控信息。

2.如权利要求1所述的基于Oracle的数据处理方法，其特征在于，所述步骤a)中的表数据的保存方式如下：通过比较表中的时间字段与当前时间，定期保存表数据。

3.如权利要求1所述的基于Oracle的数据处理方法，其特征在于，所述步骤a)中的表数据的迁移方式包括data pump方式和在线移动历史表空间方式。

4.如权利要求3所述的基于Oracle的数据处理方法，其特征在于，所述步骤a)中的表数据的清理方式包括按表数据分区清理方式、按分表清理方式和按特定SQL清理方式。

5.如权利要求4所述的基于Oracle的数据处理方法，其特征在于，所述步骤c)包括如下过程：读取多个数据清理作业配置，创建并行子进程，每个子进程处理一个数据清理作业；同一数据清理作业中的表数据的清理方式按照先后关系串行执行。

6.如权利要求5所述的基于Oracle的数据处理方法，其特征在于，如果表数据的迁移方式为data pump方式，则使用Oracle提供data pump API将数据从历史数据表中按单个分区或者单个分表倒出；如果表数据的迁移方式为在线移动历史表空间方式，则使用Oracle中的在线移动分区特性，采用在线移动方式将表的历史分区数据迁移到指定表空间。

7.如权利要求6所述的基于Oracle的数据处理方法，其特征在于，还包括启用Oracle分区增强特性，在线异步维护全局索引。

8.如权利要求6所述的基于Oracle的数据处理方法，其特征在于，还包括将倒出文件通过FTP或SCP方式传输到备份系统或者备份数据库，以及使用Oracle提供data pump API方式将备份历史数据倒入指定备份数据库中。