CN101452486A

CN101452486A - 一种甲骨文系统数据管理方法及其装置

Info

Publication number: CN101452486A
Application number: CNA2008101929077A
Authority: CN
Inventors: 陈皓; 郑承满; 张树贵; 高志慧
Original assignee: China Construction Bank Corp
Current assignee: China Construction Bank Corp
Priority date: 2008-12-31
Filing date: 2008-12-31
Publication date: 2009-06-10

Abstract

本发明公开了一种甲骨文数据管理方法，包括：在甲骨文系统中创建哈希表，构造所述哈希表的下标结构，并在甲骨文系统中声明所述哈希表为全局变量；在内存中为所述已被声明为全局变量的哈希表划分内存区域，创建所述哈希表的下标，并将所述下标与所述内存区域一一对应；将甲骨文系统中的数据项目存储到所述内存区域；根据查询条件查询所述哈希表的下标；根据查询到的所述哈希表的下标，从与所述下标对应的内存中读取数据项目采用本发明提供的技术方案，将数据存储在内存中，并且采用了哈希表查找的方式，通过给定数据查找数据下标，从而直接读取数据，避免了逐项对比查找，因而大大提高了查询的效率。本发明还提供了一种oracle数据管理装置。

Description

一种甲骨文系统数据管理方法及其装置

技术领域

本发明涉及甲骨文系统(oracle)数据库管理领域，更具体地，本发明涉及在计算机系统中oracle数据管理的方法和装置。

背景技术

在oracle存储过程中，对于数据量较小(通常在2000条记录以下，如代码转换表)，但又需要频繁查询的表，通常会成为程序执行效率的瓶颈。例如个人征信系统中上报给人民银行征信中心的报文需要将ODS代码转换为人民银行征信中心代码，针对每个账户(假设有1亿个账户)需要代码转换的属性有30个左右，即，每个月底最少要访问代码对照表30亿次，对这样的问题，通常的做法是使用表关联查询，将需要转换的代码作为关联条件与相应的代码转换表进行关联，从而得到转换后的代码，该技术实现简单，而且oracle等数据库系统也会自动完成表关联查询的优化(例如，oracle系统一般会对关联表的记录先做有条件过滤，然后进行连接条件查询，这样可以使多表查询尽可能的高效)。但由于表关联查询在每次执行之前都需要进行自动优化，以及对小数据量数据查询(如代码转换表中的数据)有频繁的磁盘读操作，致使存储过程执行效率下降。

发明内容

本发明是为了在oracle数据管理过程中，减少读取磁盘次数和提高查询效率，提供一种oracle数据管理方法，本发明还提供一种oracle数据管理装置，用以保证上述方法在实际中实现和应用。

本发明提供的一种甲骨文系统数据管理方法包括如下步骤：

步骤a，在甲骨文系统中创建哈希表，构造所述哈希表的下标结构，并在甲骨文系统中声明所述哈希表为全局变量；

步骤b，在内存中为所述已被声明为全局变量的哈希表划分内存区域，创建所述哈希表的下标，并将所述下标与所述内存区域一一对应；

步骤c，将甲骨文系统中的数据项目存储到所述内存区域；

步骤d，根据查询条件查询所述哈希表的下标；

步骤e，根据查询到的所述哈希表的下标，从与所述下标对应的内存中读取数据项目。

其中，步骤a和b是通过oracle package支持完成，并且所述步骤a是根据所述数据项目的主键构造所述哈希表的下标结构，所述数据项目的主键的长度为所述哈希表下标的长度。

所述数据项目是列表、数组中的一种或其他类似的数据类型。

进一步地，所述步骤e中，当所述哈希表下标对应到的内存区域中数据项目为空时，返回预先设定的数据项目。

进一步地，当查询到的所述哈希表的下标多于一项时，读取第一项对应的内存区域中的数据项目。

进一步地，在所述步骤a之前创建一个视图，所述视图的结构即为所述步骤a中的哈希表的下标结构。

进一步地，在所述步骤a之前创建一个结构体，所述结构体的结构即为所述步骤a中的哈希表的下标结构。

本发明提供的一种甲骨文系统数据管理装置，包括：

创建单元，用于在甲骨文系统中创建哈希表，构造所述哈希表的下标结构，并在甲骨文系统中声明所述哈希表为全局变量；

内存划分对应单元，用于在内存中为已被所述创建单元声明为全局变量的所述哈希表划分内存区域，创建所述哈希表的下标，并将所述下标并将所述下标与所述内存区域一一对应；

存储单元，用于将甲骨文系统中的数据项目存储到所述内存划分对应单元划分出的所述内存区域；

查询单元，用于根据查询条件查询哈希表的下标；

读取单元，用于根据所述查询单元查询到的所述哈希表的下标，从与所述下标对应的所述内存区域中读取数据项目。

进一步地，所述的oracle数据管理装置，还包括默认数据项目单元，用于当所述查询单元查询到的所述哈希表下标对应到的内存区域中数据项目为空时，返回预先设定的数据项目。

进一步地，所述的oracle数据管理装置，还包括预处理单元，用于创建一个视图或结构体，所述视图或结构体的结构即为所述哈希表的下标结构。

采用本发明提供的技术方案，通过oracle package包将数据声明为全局变量，从而将数据从存储设备中存储在内存中，使得后续的数据项目查询完全在内存中进行，这样就避免了反复地查询存储设备中的数据，因为内存查询的速度要比在存储设备中查询要快很多，且避免了数据传输到内存的时间，因而大幅度的降低了程序的响应时间。并且，本发明的所提供的技术方案，采用了哈希表(hash table)查找的方式，通过给定数据查找数据下标，从而直接读取数据，避免了逐项对比查找，因而也大大提高了查询的效率。

附图说明

附图1是本发明的一种oracle数据管理方法实施例1的流程图；

附图2是本发明的一种oracle数据管理方法实施例2的流程图；

附图3是本发明的一种oracle数据管理方法实施例3的流程图；

附图4是本发明的一种oracle数据管理方法实施例4的流程图；

附图5是本发明的一种oracle数据管理装置实施例1配合外部设备工作的结构示意框图；

附图6是本发明的一种oracle数据管理装置实施例2配合外部设备工作的结构示意框图；

附图7是本发明的一种oracle数据管理装置实施例3配合外部设备工作的结构示意框图。

具体实施方式

为使本发明的上述目的、特征和优点能更加明显易懂，下面结合附图和具体实施方式对本发明做进一步详细地说明。

本发明可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携设备、平板型设备、多处理器系统、以及包括以上任何系统或设备的分布式计算环境等。操作系统可以是Windows系列操作系统，unix操作系统，linux操作系统等操作系统。

本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过网络通信而被连接的远程处理设备来执行任务，在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

参考图1，图1是本发明的一种oracle数据管理方法实施例1的流程图，包括以下步骤：

S101、在oracle中创建Hash表，构造所述Hash表的下标结构，并在oracle中声明所述Hash表为全局变量。在这一步中，需要对要缓存的表结构，以及该表的主键和常用的关联条件进行分析，计算出Hash表查找下标的长度。所述主键是指数据库中此表中唯一标识每条数据的字段，例如对于银行用户来说，用户的身份证号码即可以用来区别，可以选择其作为主键。通常，使用该表的主键的长度作为Hash表查找下标的长度。在本实施例中，S101采用以下代码实现：

/*定义hash表结构*/

TYPE SWITCH_HASH_TABLE IS TABLE OF表名％ROWTYPE INDEXBY VARCHAR2(25)；

/*声明全部变量hash_table*/

HASH_TABLE SWITCH_HASH_TABLE；

在本实施例中，根据代码类型(CODE_ID)以及原代码值(CODE_ITEM_NO_S)来获取转换后的代码值，此时用CODE_ID和CODE_ITEM_NO_S作为HASH表的下标，那么哈希表下标长度就是依据这2个字段的类型char(10)和char(15)，得出下标长度应该不小于25位，这里为VARCHAR2(25)。然后，利用ORACLE PACKAGE的特点，将该变量声明为PACKAGE内的全局变量，这即有利于数据的封装性，也有利于数据使用的高效性。

S102、在内存中为所述Hash表划分内存区域，创建所述Hash表的各个下标，并将所述下标对应到相应所述的内存区域。在步骤S102中，需要在内存中划出一定内存区域来存储Hash表数据，对于散列的表数据，其散列的下标要对应到内存中相应的物理地址，在本实施例中，S102采用以下代码实现：

PROCEDURE SP_ETLCODE_INIT

IS

R_PUB_ETLCODE PUB_ETLCODE_SWITCH％ROWTYPE；

CURSOR CURETLCODE IS SELECT*FROM

PUB_ETLCODE_SWITCH；

S103、将存储设备中的数据项目存储到所述内存区域。因为本发明就是要将查询工作放置在内存中进行，而数据项目是存储在存储设备中的，所以，必须得将数据项目转移存储到内存中以供下一步查询。在本实施例中，S103采用以下代码实现：

BEGIN

OPEN CURETLCODE；

R_PUB_ETLCODE：＝NULL；

FETCH CURETLCODE INTO R_PUB_ETLCODE；

<<LOOP1>>

LOOP

EXIT LOOP1WHEN CURETLCODE％NOTFOUND；

HASH_TABLE(TRIM(R_PUB_ETLCODE.CODE_ID‖R_PUB_ETLCODE.COD

E_ITEM_NO_S))：＝R_PUB_ETLCODE；

FETCH CURETLCODE INTO R_PUB_ETLCODE；

END LOOP LOOP1；

CLOSE CURETLCODE；

END SP_ETLCODE_INIT；

通过一个循环操作，使得本实例中硬盘上的待存进内存的数据项目被转移到内存中。

S104、根据查询条件查询所述Hash表的下标。S105、根据查询到的所述Hash表的下标，从内存区域中读取数据项目。在S104和S105中，根据查询条件，构造出需要查找的下标，根据得到的构造好的下标，将其作为Hash表的下标，然后读取Hash表中此下标所在内存中的位置所存储的数据项目，该数据项目即为需要查找的数据项目。S104和S105可以通过以下代码实现：

FUNCTION SF_PUB_GET_ETLCODE_SWITCH(

PI_SYSCODE IN CHAR，--种类

PI_CODE_ID IN CHAR，--对照类型

PI_CODE_ITEM_NO_S IN CHAR)

RETURN CHAR

AS

V_CODE_ITEM_NO_S VARCHAR2(15)；

BEGIN

IF PI_CODE_ITEM_NO_S IS NULL THEN

V_CODE_ITEM_NO_S：＝′0000000000′；

ELSE

V_CODE_ITEM_NO_S：＝TRIM(PI_CODE_ITEM_NO_S)；

END IF；

/*下面的代码就是对HASH表进行定位查询*/

RETURN

HASH_TABLE(PI_CODE_ID‖V_CODE_ITEM_NO_S).CODE_ITEM_NO_T；

END；

在本实施例中，将待查询的数据通过oracle package定义为oracle package内的全局变量，使得数据项目在后续步骤中被放入内存中，从而查询变得更为迅速快捷，大大降低了查询响应时间。其次，由于使用了hash表查找算法，通过查询条件得出hash表下标，继而直接找到内存中数据项目存储的物理地址并将其读出，相比较以往的方法，减少了逐个查询对比确认的步骤，大大降低了平均的查询时间，因而使得查询效率进一步得到提升。

如图2所示，在本发明的实施例2中，步骤S201、S202、S203、S204分别与实施例1中的步骤S101、S102、S103、S204基本相类似。在本实施例2中，因为未采用主键作为hash下标，因而在S205中得到的数据项目可能有三种情况。第一种，当查询到的hash下标是多于一项时，这个时候读取第一项对应的内存区域中的数据项目，也就是S2052中所描述的情况。第二种情况，经过步骤S205判断后，hash表下标只有一项，这个时候进入步骤S2051判断该hash表下标对应的内存中的数据项目是否为空值，若是该hash表下标对应的内存中的数据为空值时，也就是说该内存区域没有存储任何数据，这个时候，系统返回一个预先设定的数据项目，例如′0000000000′，如S20512中描述的情况。如果不是空值，如步骤S20511所描述的，这个时候就读取该内存区域中的数据项目。对于步骤S2051、S20511、S20512可以通过以下代码实现：

RETURN

HASH_TABLE(PI_CODE_ID‖V_CODE_ITEM_NO_S).CODE_ITEM_NO_T；

EXCEPTION

WHEN OTHERS THEN

RETURN

HASH_TABLE(PI_CODE_ID‖′0000000000′).CODE_ITEM_NO_T；

END；

本发明还可以对数据项目采用了接口的方式进行封装，从而使得查询的数据项目不局限于同一表结构数据，为大型的储存过程开发提供更高效的查询效率。如图3所示，在本发明的实施例3中，要对2张表进行连接后频繁查询。在oracle中创建一个结构体，可以通过以下代码实现：

/*声明一个结构体*/

TYPE REC PUB_ETLCODE IS RECORD

(CODE_ID CHAR(10)，

CODE_ITEM_NO_S VARCHAR2(15)，

CODE_ITEM_NO_T VARCHAR2(15))；

声明之后，可以将这个结构体作为哈希表的下标结构，执行步骤S302、S303、S304、S305、S306，上述各步骤类似于实施例1中的步骤S101、S102、S103、S104、S105，这样就可以对2张表连接查询，丰富了数据项目查询的方式。

参见图4，在本发明实施例4中，S401先创建了一个结构体，S402创建哈希表，将该结构体设为hash表下标结构，并在oracle中声明所述Hash表为全局变量；S403在内存中为所述哈希表划分内存区域，创建所述Hash表的各个下标，并将所述下标对应到相应所述的内存区域；S404将存储设备中的数据项目存储到所述内存区域；S405根据查询条件查询所述Hash表的下标；S406判断所述下标是否多于一项；如果多于一项，则为S4062读取第一项对应的内存区域中的数据项目；如果为一项，则S4061判断数据项目是否为空，如果为空，则执行步骤S40612返回预先设定的数据项目，否则，执行步骤S40611根据查询到的所述Hash表的下标，从内存区域中读取数据项目。在本发明的其他实施例中，该结构体也可以是视图，例如建立视图V_PUB_CODE，然后声明该视图：

TYPE SWITCH_HASH_TABLE IS TABLE OF视图名％ROWTYPEINDEX BY VARCHAR2(25)；

/*声明全部变量hash_table*/

HASH_TABLE SWITCH_HASH_TABLE；

再然后在oracle中创建Hash表，构造所述Hash表的下标结构，并在oracle中声明所述Hash表为全局变量；在内存中为所述Hash表划分内存区域，创建所述Hash表的各个下标，并将所述下标对应到相应所述的内存区域；将存储设备中的数据项目存储到所述内存区域；根据查询条件查询所述Hash表的下标；根据查询到的所述Hash表的下标，如果该内存区域中数据项目不为空值，从内存区域中读取数据项目，否则返回′0000000000′。该实施例的代码实现如下：

PROCEDURE SP_ETLCODE_INIT

IS

R_PUB_ETLCODE PUB_视图名％ROWTYPE；

CURSOR CURETLCODE IS SELECT*FROM视图名；

BEGIN

OPEN CURETLCODE；

R_PUB_ETLCODE：＝NULL；

FETCH CURETLCODE INTO R_PUB_ETLCODE；

<<LOOP1>>

LOOP

EXIT LOOP1 WHEN CURETLCODE％NOTFOUND；

HASH_TABLE(TRIM(R_PUB_ETLCODE.CODE_ID‖R_PUB_ETLCODE.

CODE_ITEM_NO_S)):＝R_PUB_ETLCODE；

FETCH CURETLCODE INTO R_PUB_ETLCODE；

ENDLOOP LOOP1；

CLOSE CURETLCODE；

END SP_ETLCODE_INIT；

FUNCTION SF_PUB_GET_ETLCODE_SWITCH(

PI_SYSCODE IN CHAR，--种类

PI_CODE_ID IN CHAR，--对照类型

PI_CODE_ITEM_NO_S IN CHAR)

RETURN CHAR

AS

V_CODE_ITEM_NO_S VARCHAR2(15)；

BEGIN

IF PI_CODE_ITEM_NO_S IS NULL THEN

V_CODE_ITEM_NO_S：＝′0000000000′；

ELSE

V_CODE_ITEM_NO_S：＝TRIM(PI_CODE_ITEM_NO_S)；

END IF；

RETURN

HASH_TABLE(PI_CODE_ID‖V_CODE_ITEM_NO_S).CODE_ITEM_NO_T；

EXCEPTION

WHEN OTHERS THEN

RETURN

HASH_TABLE(PI_CODE_ID‖′0000000000′).CODE_ITEM_NO_T；

参见图5，提供了一种oracle数据管理装置配合内存和硬盘实施的实施例1，oracle数据管理装置5配合内存和硬盘实施，包括创建单元501，用于在oracle中创建Hash表，构造所述Hash表的下标结构，并在oracle中声明所述哈希表为全局变量；内存划分对应单元502，用于在内存503中为创建单元501创建的并被声明为全局变量的所述Hash表划分内存区域，创建所述Hash表的各个数据项目单元的下标，并将所述下标对应到相应所述的内存区域；存储单元505，用于将硬盘507中的oracle数据项目存储到所述内存503中；查询单元504，用于根据查询条件查询哈希表的下标；读取单元506，用于根据查询单元504查询到的所述哈希表的下标，从内存区域中读取数据项目。

参见图6，在本发明一种oracle数据管理装置的实施例2中，oracle数据管理装置6配合硬盘和内存实施，包括创建单元601，用于在oracle中创建哈希表，构造所述哈希表的下标结构，并在oracle中声明所述哈希表为全局变量；内存划分对应单元602，用于在内存603中为创建单元601创建的所述哈希表划分内存区域，创建所述哈希表的各个数据项目单元的下标，并将所述下标对应到相应所述的内存区域；存储单元605，用于将硬盘607中的oracle数据项目存储到所述内存603中；查询单元604，用于根据查询条件查询哈希表的下标；读取单元606，用于根据查询单元604查询到的所述哈希表的下标，从内存区域中读取数据项目。相比较oracle数据管理装置的实施例1，包括多一个默认数据项目单元608，用于当所述哈希表下标对应到的内存区域中数据项目为空时，返回预先设定的数据项目。

参见图7，在本发明一种oracle数据管理装置的实施例3中，oracle数据管理装置7配合硬盘和内存实施，包括创建单元701，用于在oracle中创建哈希表，构造所述哈希表的下标结构，并在oracle中声明所述哈希表为全局变量；内存划分对应单元702，用于在内存703中为创建单元701创建的所述哈希表划分内存区域，创建所述哈希表的各个数据项目单元的下标，并将所述下标对应到相应所述的内存区域；存储单元705，用于将硬盘707中的oracle数据项目存储到所述内存703中；查询单元704，用于根据查询条件查询所述哈希表的下标；读取单元706，用于根据查询到的所述哈希表的下标，从内存区域中读取数据项目；默认数据项目单元708，用于当所述哈希表下标对应到的内存区域中数据项目为空时，返回预先设定的数据项目。相比较oracle数据管理装置的实施例2，包括多一个预处理单元709，用于创建一个视图或结构体，所述视图或结构体被创建单元获取后定义为所述哈希表的下标结构。

本领域的一般技术人员可以理解上述实施例方法中的全部或者部分步骤是可以通过程序来指令相关的硬件来实现，所述的程序可以存储于一计算机可读存储介质中，所述的存储介质如ROM/RAM、磁碟、光盘、软盘等类似的存储介质。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。术语“包含”、“包括”或者其他任何变体意在非排他性的包含，从而使得包括一系列要素的过程、方法、装置、物品或者设备不仅包含那些要素，而且还包含没有明确列出的其他要素，或者是还包括为这种方法、过程、物品、装置、设备所固有的要素。在没有更多的限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品、装置或设备中还存在另外的相同要素。

以上对本发明提供的一种oracle数据管理方法和装置，进行了详细的介绍，本说明书中应用了具体的个例对本发明的原理及其实施方式进行了阐述，以上实施例的说明仅是用于帮助理解本发明的方法和装置的核心思想；同时，本说明书内容不应理解为对本发明的限制，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上所做之同等变化，应都属于本发明的保护范围。

Claims

1.一种甲骨文系统数据管理方法，其特征在于，包括：

步骤c，将甲骨文系统中的数据项目存储到所述内存区域；

步骤d，根据查询条件查询所述哈希表的下标；

2.如权利要求1所述的甲骨文系统数据管理方法，其特征在于：

所述步骤a中，构造所述哈希表的下标结构具体为：根据所述数据项目的主键构造所述哈希表下标结构，所述数据项目的主键的长度为所述哈希表下标的长度。

3.如权利要求1所述的甲骨文系统数据管理方法，其特征在于：

所述步骤e中，当所述哈希表下标对应到的内存区域中数据项目为空时，返回预先设定的数据项目。

4.如权利要求1所述的甲骨文系统数据管理方法，其特征在于：

所述步骤e中，当查询到的所述哈希表的下标多于一项时，读取第一项对应的内存区域中的数据项目。

5.如权利要求1所述的甲骨文系统数据管理方法，其特征在于：

所述数据项目采用接口的方式封装。

6.如权利要求5所述的甲骨文系统数据管理方法，其特征在于：

在所述步骤a之前创建一个视图，所述视图的结构即为所述步骤a中的哈希表的下标结构。

7.如权利要求5所述的甲骨文系统数据管理方法，其特征在于：

在所述步骤a之前创建一个结构体，所述结构体的结构为所述步骤a中的哈希表的下标结构。

8.一种甲骨文系统数据管理装置，其特征在于，包括：

内存划分对应单元，用于在内存中为已被创建单元声明为全局变量的所述哈希表划分内存区域，创建所述哈希表的下标，并将所述下标与所述的内存区域一一对应；

存储单元，用于将甲骨文系统中的数据项目存储到内存划分对应单元划分出的所述内存区域；

查询单元，用于根据查询条件查询哈希表的下标；

读取单元，用于根据查询单元查询到的所述哈希表的下标，从与所述下标对应的所述内存区域中读取数据项目。

9.如权利要求8所述的甲骨文系统数据管理装置，其特征在于，还包括：

默认数据项目单元，用于当所述查询单元查询到的所述哈希表下标对应到的内存区域中数据项目为空时，返回预先设定的数据项目。

10.如权利要求8所述的甲骨文系统数据管理装置，其特征在于，还包括：预处理单元，用于创建一个视图或结构体，所述视图或结构体的结构由所述创建单元获取并定义为所述哈希表的下标结构。