CN100342377C

CN100342377C - 一种提高数据处理效率的方法

Info

Publication number: CN100342377C
Application number: CNB031098770A
Authority: CN
Inventors: 宋毅; 陈江明; 尧浩; 杜华坤
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2003-04-16
Filing date: 2003-04-16
Publication date: 2007-10-10
Anticipated expiration: 2023-04-16
Also published as: US7451128B2; AU2004230500B2; DE602004008760D1; CA2522578C; CN1538324A; WO2004092973A1; AU2004230500A1; EP1615144A1; EP1615144B1; US20060074972A1; EP1615144A4; CA2522578A1; ATE372555T1

Abstract

本发明公开了一种提高数据处理效率的方法，该方法包括以下步骤：1)在后台为前台浏览窗口开辟对应内存块，依浏览窗口需要显示的数据量建立数据块，每个内存块分别暂存每个浏览窗口对应数据库中N个数据块；2)在前台浏览窗口显示的数据移动时，如果浏览窗口需要显示的数据块及其相关的数据块全部在内存块中，则浏览窗口对应内存块中相应数据块的数据，否则，将数据库中浏览窗口需要显示的数据块及其相关数据块保存到内存块中，替换内存块原有的数据块；3)前台向后台发送数据操作命令，对数据库数据进行操作；4)操作完毕，用对应的内存块的数据库数据更新数据库。本发明方法，实现简便、节省系统资源，能够提高数据处理的速度和效率。

Description

一种提高数据处理效率的方法

技术领域

本发明涉及数据处理技术，特别涉及一种提高数据处理效率的方法。

背景技术

数据库表格的规模越来越大，每张表格中的记录数通常达到数万条，甚至更多。在对数据库数据进行数据处理时，各个数据配置的前台采用多窗口技术(MDI)的方式，前台会同时打开多张表格。另外，数据库在网络应用中，存在多个客户端同时操作一张表格的情况。

对于多窗口数据库处理，目前，浏览窗口与数据库的对应关系参见图1，图1为现有技术查询浏览窗口与数据库对应关系示意图。如图1所示，前台浏览窗口101与数据库表102是直接对应的。数据处理中，查询操作是一项重要的操作，查询到数据后，才能对该数据进行下一步的删除、修改、排序等操作。

对数据进行查询操作的基本过程参见图2，图2为现有技术数据查询流程示意图。如图2所示，前台浏览窗口202直接向数据库201查询记录，数据库201将查询到的记录203直接返回给前台浏览窗口202。

可见，一般普通的数据查询，只是简单的对数据库中表的直接操作，当数据量非常大时，操作速度慢。如前台保存所有的数据，在查询的时候，可以减少与数据库交互的次数，但数据量非常大时，要占用非常大的前台内存资源。所以，在数据量非常大的时候，目前的方法对数据库进行数据处理的效率很低，然而，当前在通信、金融等各种领域的应用中数据量越来越大，这使得如何提高数据处理效率成为一个急需解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种提高数据处理效率的方法，能够提高数据库数据处理的速度和效率。

为达到上述目的，本发明的技术方案具体是这样实现的：

一种提高数据处理效率的方法，该方法包括以下步骤：

1)在后台为每个前台浏览窗口开辟对应内存块，依浏览窗口需要显示的数据量建立数据块，每个内存块分别暂存每个浏览窗口在数据库中对应的数据块及其在数据库中相关的共N个数据块；

2)在前台浏览窗口显示的数据移动时，如果浏览窗口需要显示的数据块及其相关的数据块全部在内存块中，则浏览窗口对应内存块中相应数据块的数据，

如果浏览窗口需要显示的数据块及其相关的数据块部分在内存块中，则将数据库中浏览窗口需要显示的数据块及其相关的数据块保存到内存块中，替换内存块原有的数据块；

3)前台向后台发送数据操作命令，对前台浏览窗口对应的内存块中的数据库数据进行操作；

4)前台浏览窗口操作完毕，关闭该窗口，同时用该浏览窗口对应的内存块的数据库数据更新数据库。

所述在后台为前台浏览窗口开辟对应内存块可以为：在后台为每个前台浏览窗口开辟一个对应内存块。

所述在数据库中相关的数据块可以为在数据库中相邻的数据块。

该方法可以进一步包括设置索引数组集，根据前台浏览窗口对内存块大小的要求，生产相应大小的索引数组，前台浏览窗口通过对应的索引数组来映射具体的内存块，索引数组以内存块大小为索引。

该方法也可以进一步包括，当一索引数组不够用时，向索引数组集申请更大型号的索引数组，将该旧数组交给索引数组集来回收，索引数组集将收到的废弃索引数组保留，当收到新的开辟内存申请时，将该索引数组重新提交给后台使用。

该方法还可以进一步包括，当需要的内存块大小超过预定的大小时，后台收到申请，无法找到合适的索引数组时，则删除最不常用的内存块，建立新的索引数组。

该方法可以进一步包括为每条数据库记录设置一个唯一标识的资源号(ResID)，在数据库中以资源号为记录索引建立索引表。

其中，步骤1)所述开辟内存块的过程可以进一步包括以下步骤：

11)前台浏览窗口向后台发送开辟内存块命令，包括数据库表单名和一个数据块包含的记录数；

12)后台收到该命令后，在指定的数据库表单中查找出对应数据块及其相邻数据块共N个数据块，将N个数据块保存到该前台浏览窗口对应的内存块中；

13)后台向前台返回浏览窗口需要显示的数据块中的记录。

步骤2)可以进一步包括：

21)查询记录过程：

a、前台浏览窗口向后台发送数据库表单名和用户指定的数据查询信息；

b、后台根据这些信息，从索引表中读取相关记录索引，根据记录索引判断要查询的记录是否在前台浏览窗口对应的内存块中，如果在，则将该记录所在的数据块返回给前台，执行步骤c；否则，到数据库中查找，将包含要查询记录的数据块返回前台浏览窗口，执行步骤d；

c、判断包含要查询记录的数据块相关的数据块是否在前台浏览窗口对应的内存块中，如果在，则执行步骤e；否则，在数据库中查找相关的数据块；

d、用包含要查询记录的数据块及相关的数据块，更新前台浏览窗口对应的内存块；

e、前台用收到的查询记录刷新浏览窗口；

22)增加记录过程：

a、前台浏览窗口向后台发送数据库表单名、增加记录命令和增加记录的数据；

b、后台收到命令后根据这些条件，在内存块的数据中插入指定数据，成功后获得对应的记录索引，将该记录索引添加到索引表；

c、后台向前台发送记录增加成功消息、当前记录数和刷新浏览窗口通知；

d、前台收到步骤c中所述记录增加成功消息后，刷新该浏览窗口数据；

23)删除记录过程：

a、前台浏览窗口向后台发送数据库表名、删除命令和记录索引；

b、后台收到命令后根据这些条件，在内存块的数据中删除指定数据；

c、后台向前台发送删除成功消息、当前记录数和刷新浏览窗口通知；

d、前台收到步骤c中所述删除成功消息后，刷新当前浏览窗口的数据；

24)修改记录过程：

a、前台浏览窗口向后台发送数据库表名、修改命令、记录索引和修改后的记录数据；

b、后台收到命令后根据这些条件，在内存块的数据中修改指定数据；

c、后台向前台发送修改成功消息和刷新浏览窗口通知；

d、前台收到步骤c中所述修改成功消息后，刷新当前窗口的数据。

步骤2)还可以进一步包括：在增加记录或删除记录或修改记录过程中，对于包含增加或删除的记录的前台非发起操作的浏览窗口，刷新数据。

步骤2)还可以进一步包括对数据库的刷新方法为：重新使用排序条件进行数据库排序，生产新的索引表，并通知前台刷新数据。

步骤2)还可以进一步包括对数据库的刷新方法为：将新增的记录追加到数据库表尾，不进行排序，用户发现后下发排序命令和排序条件重新排序。

该方法可以进一步包括：当用户按翻页键的速度特别快或长按不放时，根据用户按键的次数计算出最后定位的页面，先在当前浏览窗口对应的内存块中查找该页面对应的数据，如果找不到，则到数据库中查找该页面对应的数据。

该方法还可以进一步包括：当用户滚屏到页面的顶部或底部时，显示选择页面按钮，根据用户选择先在当前浏览窗口对应的内存块中查找对应的数据，如果找不到，则到数据库中查找对应的数据。

由上述的技术方案可见，本发明的这种提高数据处理效率的方法，实现简便、节省系统资源，能够提高数据处理的速度和效率。

附图说明

图1为现有技术查询浏览窗口与数据库对应关系示意图；

图2为现有技术数据查询示意图；

图3为本发明一个较佳实施例中前台浏览窗口与后台数据库表对应关系示意图；

图4为图3所示实施例的滑动窗口机制示意图；

图5为图3所示实施例的索引数据工厂结构示意图；

图6为图3所示实施例的数据查询示意图；

图7为图3所示实施例的查询记录的流程图；

图8-1为图3所示实施例中浏览的数据块及相邻数据块不超出内存块时翻页示意图；

图8-2为图3所示实施例中浏览的数据块相邻的数据块超出内存块时翻页示意图。

具体实施方式

为使本发明的目的、技术方案和优点表达的更加清楚明白，下面结合实施例和附图，对本发明进一步详细说明。

本发明主要采用滑动窗口的技术来提高数据处理效率。

首先，在后台为前台浏览窗口开辟对应内存块，参见图3，图3为本发明一个较佳实施例中前台浏览窗口与后台数据库表对应关系示意图。本实施例中，在后台300为每个前台浏览窗口301开辟了一个对应的内存块302，也可以多个浏览窗口对应一个内存块或一个浏览窗口对应多个内存块，以一个浏览窗口需要显示的数据量为一个数据块，每个内存块302暂存浏览窗口在数据库303中对应的数据块及其在数据库303中相邻的共N个数据块。其中，各内存块302中的数据可以重合也可以不重合，如图3中内存块1和内存块2之间存在数据重合，它们和数据块n之间没有数据重合。后台各内存块302的大小可以根据具体情况制定，后台内存块越大，访问数据库的次数就越少，同时为了防止出现较大的资源开销，一般3～5个数据块为宜，以下实施例的内存块中存储了3个数据块：浏览窗口对应的数据块，和与浏览窗口对应的数据块相邻的上、下数据块，这里也可以是其他与浏览窗口对应数据块相关的数据块，比如数据库表中某个域内容相同的数据块。

在前台浏览窗口显示的数据移动时，如果浏览窗口需要显示的数据块及其相邻的数据块全部在内存块中，则在内存块中移动，如果浏览窗口需要显示的数据块及其相邻的数据块不全部在内存块中，则将数据库中浏览窗口需要显示的数据块及其相邻的数据块保存到内存块中，替换内存块原有的数据块。

也就是说，内存块302存储的数据根据前台浏览窗口301的移动在数据库表303中移动，形成了映射数据库数据的滑动窗口。如图4所示，图4为图3所示实施例的滑动窗口机制示意图，前台浏览窗口401对应的后台内存块402中存储的数据块1～3是数据库表403中的数据集1，当前台浏览窗口401需要的数据超出了数据块1～3，而需要的数据在数据集2中时，则后台内存块402改为存储数据集2。

然后，通过前台向后台发送数据操作命令，对前台浏览窗口对应的内存块中的数据库数据进行操作。

最后，前台浏览窗口操作完毕，关闭该窗口，同时用该浏览窗口对应的内存块的数据库数据更新数据库。

这样，当前台需要数据的时候，不用直接访问数据库表，而是通过前台浏览窗口301向后台300发送数据操作命令，对前台浏览窗口301对应的内存块302中的数据库数据进行操作；前台浏览窗口301操作完毕，关闭该窗口，用该窗口301对应的内存块302的数据库数据更新数据库。只对此内存块进行操作，能够大大提高数据处理的速度和效率。当在前台打开多个浏览窗口301时，一个浏览窗口301对应一个内存块302，浏览窗口301之间不相互影响。

上述方案在实现过程中，后台中会生成大量的内存块，其数量等于所有前台中打开浏览窗口数的总和，因此消耗的内存，随着前台打开浏览窗口的增多，会有若干个大大小小的内存块，另外在数据的增删时，还会有大量的内存增删操作。为了提供内存使用的效率，减少内存碎片的产生，本实施例在后台建造一个内存块索引数组集，它负责内存块的生成和回收。其结构参见图5，图5为图3所示实施例的索引数据工厂结构示意图。索引数组集500根据浏览窗口对内存块大小的需要，生产相应大小的索引数组501，每个索引数组501对应一个内存块502。当某个后台因为增加数据导致原来的索引数组不够用时，直接向索引数组集500申请更大型号的索引数组，将原来的旧数组交给索引数组集500来回收，索引数组集500收到废弃的数组后，并不马上删除，而是保留起来，如果收到新开辟内存块申请，就可以将这些数组重新提交给后台使用。为了保证内存块使用的总量不会无限的增大，当总的内存块超过一定数量，如果收到后台申请，但无法找到合适的数组，必须更新时，就删除最不常用的内存块，建立新的索引数组。

采用这种方式的好处是，理想状态下，当系统运行一段时间后，就会有足够多的索引数组来满足后台的需要，不会再有不断的内存申请和删除的操作，另外在整个处理过程中，后台也不必为了增加一个索引而进行一系列的内存增删操作。

因为对于数据库记录的操作非常频繁，考虑到数据库的可移植性，本发明为每一条记录设置了一个唯一标识的资源号-ResID；使用此ResID可屏蔽不同数据库使用记录号来访问数据库的差异性，可减少数据库移植的工作量。因此，所有的表格必须以它为索引，并在数据库中建立相关的索引表，建立索引表可以提高记录定位和查询的速度。这个ResID是在添加记录时，由后台程序为每条记录设置的。除了本发明设置的ResID，系统中的下面2个对象也可以用来标识记录：

a、Sybase数据库中的记录号，由数据库缺省分配；

b、Oracle数据库中的行内部地址(RowID)也由数据库缺省分配；

其中记录号和RowID都是数据库自动分配的，可能会对操作的性能有所提高，但因为属于不同的数据库，必须进行统一的封装；而ResID是自己定义的数据，与使用的数据库系统无关，在数据库支持上不会带来额外的麻烦，因此本发明实施例使用ResID。

以下具体说明对数据库数据进行操作的过程：

首先，通过前述的过程为前台浏览窗口开辟一个内存块：前台浏览窗口向后台发送开辟内存块命令、数据库表单名和前台浏览窗口需要显示的记录数。后台收到该命令后，找出数据库中浏览窗口显示的数据块、数据库中该数据块相邻的上、下共3个数据块；最后，后台向前台返回浏览窗口需要显示的数据块中的记录。

然后，就可以对浏览窗口上的数据库记录进行操作。

其中，查询记录操作参见图6，图6为图3所示实施例的数据查询示意图。后台内存块604中存储了数据库601中的3个数据块数据，其中一个数据块数据显示在前台浏览窗口602上。当用户查询时，执行以下步骤：a、前台浏览窗口602向后台发送查询记录命令；b、后台在内存块604的数据块中查询指定数据，如果要查询的数据不在内存块604中，则到数据库601中查找，查找到数据后，后台向前台发送查询记录603；c、前台浏览窗口602显示查询结果。

由于查询记录操作是数据库操作中一个重要的操作，下面详细说明查询记录操作过程。图7为图3所示实施例的查询记录的流程图，其具体流程包括以下步骤：

执行步骤701，前台浏览窗口向后台发送包含数据库表单名和用户指定的数据查询命令。

步骤702，后台根据查询命令，从索引表中读取相关记录索引(ResID)，根据记录索引判断要查询的记录是否在前台浏览窗口对应的内存块中，如果要查询的记录在该内存块中，则执行步骤703；否则，执行步骤706。

步骤703，将该记录所在的数据块N返回给前台。

步骤704，判断包含要查询记录的数据块相邻的数据块是否在内存中，如果在，则执行步骤709，否则执行步骤705。

步骤705，向数据库发送查询该记录的命令，在数据库中查找到要查询记录的数据块的相邻上、下数据块，执行步骤708。

步骤706，向数据库发送查询命令，在数据库中查找到要查询记录的数据块N及其相邻上、下数据块N+1、N-1。

步骤707，将查询到记录所在的数据块N返回给前台。

步骤708，用包含查询到记录数据块N及相邻上、下数据块N+1、N-1，更新前台浏览窗口对应的内存块。

步骤709，前台用收到的查询记录刷新浏览窗口；

增加记录操作包括以下步骤：a、前台浏览窗口向后台发送数据库表单名、增加记录命令和增加记录的数据；b、后台收到命令后根据这些条件，拼装SQL语句，在内存块的数据集中插入指定数据，成功后获得对应记录的ResID，将该ResID添加到索引数组；c、后台向前台发送记录增加成功消息、当前记录数，和刷新浏览窗口通知；d、前台收到c中所述记录增加成功消息后，刷新该浏览窗口数据。

删除记录操作包括以下步骤：a、前台浏览窗口向后台发送数据库表名、删除命令和记录索引(ResID)；b、后台收到命令后根据这些条件，拼装SQL语句，在数据库中删除指定数据；c、后台向前台发送删除成功消息、当前记录数和刷新浏览窗口通知；d、前台收到c中所述删除成功消息后，刷新当前浏览窗口的数据。

修改记录操作包括以下步骤：a、前台浏览窗口向后台发送数据库表名、修改命令、记录索引(ResID)和修改后的记录数据；b、后台收到命令后根据这些条件，拼装SQL语句，在数据库中修改指定数据；c、后台向前台发送修改成功消息和刷新浏览窗口通知；d、前台收到c中所述修改成功消息后，刷新当前窗口的数据。

在增加记录或删除或修改记录过程中，在刷新发起操作浏览窗口的同时，可以同时刷新其他包含增加记录或删除或修改记录的浏览窗口，方法为：遍历所有非发起操作浏览窗口的索引数组，当检查到增加或删除的记录在前台非发起增加操作浏览窗口中时，则刷新该前台浏览窗口的数据。对于增加记录后窗口的刷新，可以采用追加的方法，新增记录的ResID添加在索引数组的尾部，这样可以大大提高更新索引数组的效率。

在记录增加，后台需要对索引表进行刷新，但是排序的索引有一定的特殊性，当数据集按照制定的条件排序后，它们的索引--ResID，很可能是无序的，因此在这种情况下，要把新的ResID正确的插入索引表中是比较困难的，可采用下述两种方式：

一、重新使用排序条件进行数据库排序，生产新的索引表，并通知前台刷新数据。该方法，处理简单，但增加后台的处理工作量，刷新数组的速度比较慢，但是前台可能感觉不到。

二、将新增的记录追加到索引表尾，不进行排序，这种方法处理最简单，用户发现后可以下发条件重新排序。

另外，前台浏览窗口翻页操作的过程参见图8-1、图8-2，图8-1为图3所示实施例中浏览的数据块及相邻数据块不超出内存块时翻页示意图、图8-2为图3所示实施例中浏览的数据块相邻的数据块超出内存块时翻页示意图。

如图8-1所示，如果前台浏览窗口811需要显示的记录为100条，当前对应的数据块是内存块812中的数据块1，每个数据块的记录也是100条，在向下翻页时，显示的数据超出数据块1，则前台浏览窗口811对应内存块812中的数据块2，将数据块2的数据返回给前台，这种情况不对数据库813进行操作。

如图8-2所示，如果当前前台浏览窗口811对应的是内存块812中的数据块2，在向下翻页时，显示的数据超出数据块2，则前台浏览窗口811对应内存块812中的数据块3，将数据块3的数据返回给前台，由于此时与数据块3相邻的数据块4不在内存块812中，所以删除与数据块3不相邻的数据块1的数据，同时向数据库813发出数据请求，将数据块4的数据保存到内存块812中。

如果此时向上翻页，则前台浏览窗口811对应内存块812中的数据块2，将数据块2的数据返回给前台，同时在内存块812中删除数据块4，将数据块1添加到数据块2前面，其结果如图8-1。

在实际应用中，当用户按翻页键的速度特别快或长按不放时，根据用户按键的次数计算出最后定位的页面，到数据库中查找该页面对应的数据块及其相邻的数据块。当用户滚屏到页面的顶部或底部时，显示选择页面按钮，根据用户选择在数据库中查找对应的数据块及其相邻的数据块。

由上述的实施例可见，本发明的这种提高数据处理效率的方法，实现简便、节省系统资源，能够提高数据处理的速度和效率。

Claims

1、一种提高数据处理效率的方法，其特征在于，该方法包括以下步骤：

1)在后台为前台浏览窗口开辟对应内存块，依浏览窗口需要显示的数据量建立数据块，每个内存块分别暂存每个浏览窗口在数据库中对应的数据块及其在数据库中相关的共N个数据块；

2、如权利要求1所述的方法，其特征在于，所述在后台为前台浏览窗口开辟对应内存块为：在后台为每个前台浏览窗口开辟一个对应内存块。

3、如权利要求1所述的方法，其特征在于：所述在数据库中相关的数据块为在数据库中相邻的数据块。

4、如权利要求1所述的方法，其特征在于：该方法进一步包括设置索引数组集，根据前台浏览窗口对内存块大小的要求，生产相应大小的索引数组，前台浏览窗口通过对应的索引数组来映射具体的内存块，索引数组以内存块大小为索引。

5、如权利要求4所述的方法，其特征在于：该方法进一步包括，当一索引数组不够用时，向索引数组集申请更大型号的索引数组，将该旧数组交给索引数组集来回收，索引数组集将收到的废弃索引数组保留，当收到新的开辟内存块申请时，将该索引数组重新提交给后台使用。

6、如权利要求4或5所述的方法，其特征在于：该方法进一步包括，当需要的内存块大小超过预定的大小时，后台收到申请，无法找到合适的索引数组时，则删除最不常用的内存块，建立新的索引数组。

7、如权利要求1所述的方法，其特征在于：步骤1)所述开辟内存块的过程进一步包括以下步骤：

13)后台向前台返回浏览窗口需要显示的数据块中的记录。

8、如权利要求1所述的方法，其特征在于：为每条数据库记录设置一个唯一标识的资源号ResID，在数据库中以资源号为记录索引建立索引表，所述步骤2)进一步包括：

21)查询记录过程：

e、前台用收到的查询记录刷新浏览窗口；

22)增加记录过程：

23)删除记录过程：

24)修改记录过程：

c、后台向前台发送修改成功消息和刷新浏览窗口通知；

9、如权利要求8所述的方法，其特征在于，所述步骤2)进一步包括：在增加记录或删除记录或修改记录过程中，对于包含增加或删除的记录的前台非发起操作的浏览窗口，刷新数据。

10、如权利要求8所述的方法，其特征在于，所述步骤2)进一步包括对数据库的刷新方法为：重新使用排序条件进行数据库排序，生产新的索引表，并通知前台刷新数据。

11、如权利要求8所述的方法，其特征在于，所述步骤2)进一步包括对数据库的刷新方法为：将新增的记录追加到数据库表尾，不进行排序，用户发现后下发排序命令和排序条件重新排序。

12、如权利要求1所述的方法，其特征在于，该方法进一步包括：当用户按翻页键的速度特别快或长按不放时，根据用户按键的次数计算出最后定位的页面，先在当前浏览窗口对应的内存块中查找该页面对应的数据，如果找不到，则到数据库中查找该页面对应的数据。

13、如权利要求1所述的方法，其特征在于，该方法进一步包括：当用户滚屏到页面的顶部或底部时，显示选择页面按钮，根据用户选择，先在当前浏览窗口对应的内存块中查找对应的数据，如果找不到，则到数据库中查找对应的数据。