CN1556482A - 一种用于实现数据库多表查询的数据处理方法 - Google Patents

Abstract

本发明涉及一种用于实现数据库多表查询的数据处理方法，用于计算机数据库查询处理模块，包括：配置数据查询的相关信息，将数据查询按一定规则分解为多个子查询；进行数据库查询时，先读取查询配置信息中的参数信息；从配置信息中读取查询相关信息；根据查询语句及参数信息拼装SQL语句，连接子查询涉及的数据库，然后执行SQL语句；将查询结果按配置文件规定的格式写入相应的内存数据区，并对数据记录按关键字排序；根据查询元素的汇总属性，生成合计记录；将数据列描述信息写入查询内存数据区。本发明一方面能够高速度的完成多表及复杂的数据库查询，同时能够实现通用查询，即通过配置信息，不用编写程序便能完成复杂的数据库查询。

Description

一种用于实现数据库多表查询的数据处理方法

技术领域

本发明涉及一种计算机数据处理方法，尤其涉及一种用于实现数据库多表查询的数据处理方法。

背景技术

在计算机数据库查询中，一个查询涉及多张表的情况很普遍，一般的解决方法是在一个SQL(结构化查询语言)语句中关联多张表进行查询。这种方法当关联的表越多、查询的数据表记录越多时，计算机查询处理速度会成几倍甚至几十倍的下降，数据查询时间会达到十几分钟甚至几小时，一般当查询的数据表记录很多时，关联两、三张表的数据库数据查询速度已明显下降。此外，当数据查询很复杂，一个SQL语句很难实现或者一个查询涉及多个数据库、甚至不同类型的数据库时，往往要对每个查询编写一段较复杂的程序进行处理，开发成本很高。这一点在大型通讯网络系统中尤为明显。

发明内容

本发明所要解决的技术问题是克服现有技术中数据库多表查询速度慢以及开发成本高的缺点，提供一用于实现数据库多表查询的数据处理方法，一方面能够高速度的完成多表及复杂的数据库查询，同时能够实现通用查询，即通过配置信息，不用编写程序便能完成复杂的数据库查询。

为了实现上述目的，本发明提供了一种用于实现数据库多表查询的数据处理方法，用于计算机数据库查询处理模块，其特点在于，包括如下步骤：

步骤一，配置数据查询的相关信息，将数据查询按一定规则分解为多个子查询，将所述配置信息存入数据库或文件中；

步骤二，进行数据库查询时，先读取查询配置信息中的参数信息；

步骤三，从所述配置信息中读取查询相关信息，并在计算机内存中申请查询结果数据区；

步骤四，根据查询语句及参数信息拼装SQL语句，连接子查询涉及的数据库，然后执行SQL语句；

步骤五，将所述查询结果按配置文件规定的格式写入相应的内存数据区，并对数据记录按关键字排序；

步骤六，重复执行步骤四和步骤五，直到执行完所有子查询；

步骤七，根据计算元素的计算公式，计算并在所述内存数据区中写入计算元素数据；

步骤八，根据查询元素的汇总属性，生成合计记录，写入所述数据区；

步骤九，将数据列描述信息写入查询内存数据区；

步骤十，返回查询结果。

上述的数据库多表查询方法，其特点在于，在步骤一中，配置数据查询相关信息的步骤，又包括：

配置查询总信息；

配置数据源信息；

配置子查询信息；

配置查询元素信息；

配置查询参数信息；

存储配置信息。

上述的数据库多表查询方法，其特点在于，在步骤二中，读取查询总信息及参数配置信息时，还包括一判别参数获取方式的步骤，如果是通过人机交互方式获取，则根据配置信息生成参数录入界面，通过所述界面由手工输入参数；如果是直接获取，则通过直接传入参数值。

上述的数据库多表查询方法，其特点在于，在进行步骤四之前，还包括一判别目前连接数据库是否与查询数据库一致的步骤，如果不一致，则连接数据库，如果一致则执行步骤四。

上述的数据库多表查询方法，其特点在于，在步骤五中，将查询结果写入相应的内存数据区的过程，还进一步包括：

步骤a，判别查询结果类型，如果结果行数固定，则执行步骤b；如果结果行数可变，则执行步骤d；

步骤b，判断元素汇总类型是否为常量，如果是，则按元素配置项中的位置信息写入内存数据区，如果否，则按元素配置项中的位置信息，将该字段按汇总类型累计到内存数据区中，继续执行步骤c；

步骤c，判断是否处理完所有字段，如果是，则结束，如果不是则返回继续执行步骤b；

步骤d，读取一条记录的查询结果；

步骤e，是否为第一个子查询，如果是，则执行步骤h，在数据区顺序链表上添加记录，如果不是，则进行步骤f；

步骤f，进行关键字匹配；

步骤g，判断是否已有该关键字记录，如果是，则直接执行步骤i，如果不是，则执行步骤h，后再执行步骤i；

步骤h，在内存数据区顺序链表中添加一条记录；

步骤i，判断元素汇总类型是否为常量，如果是，则执行步骤i，按元素配置项中的位置信息将该字段写入内存数据区，如果否，则执行步骤j，按元素配置项中的行位置信息，将该字段按汇总类型累计至内存数据区中；

步骤k，判断是否处理完所有字段，如果是则执行步骤1，如果不是则继续执行步骤525；

步骤1，判断是否处理完所有记录，如果不是则执行步骤d，如果是则结束。

上述的数据库多表查询方法，其特点在于，所述内存数据区包括查询说明区部分和查询结果数据区部分，所述查询说明区用于存入直接从查询配置文件中读取的信息；所述查询结果区用于存放数据查询结果的数据区。

上述的数据库多表查询方法，其特点在于，所述直接从查询配置文件中读取的信息，又包括：查询标题、查询元素描述、是否显示元素；所述存放数据查询结果的数据区包括顺序链表区、关键字区和数据区。

上述的数据库多表查询方法，其特点在于：

所述查询总配置信息，包括：查询编号、查询名称、查询结果类型、模板文件名、输出路径及文件名；

所述数据源配置信息，包括：数据库编号、IP地址、用户名、密码、数据库名；

所述子查询配置信息，包括：查询编号、子查询编号、数据库库编号、子查询语句；

所述查询元素配置信息，包括：查询编号、查询元素编号、元素行位置、元素行位置、元素名称、数据类型、汇总类型、计算公式、是否关键字、是否输出；

所述查询参数配置信息，包括：查询编号、参数编号、参数名称、数据类型、默认值、参数源类型、取值范围、数据库编号、SQL语句、查询获取方式。

上述的数据库多表查询方法，其特点在于：所述计算公式包括元素编号、运算符、常量；所述汇总属性包括：平均、求和、最大、最小、常量。

上述的数据库多表查询方法，其特点在于：所述计算机数据处理模块为通讯网络GSM系统或PCS系统的产品性能统计数据查询模块。

采用本发明所述方法，与现有技术相比，由于采取了对多表、复杂的数据库查询按一定规则分解成多个子查询，以及将查询的相关信息通过配置信息进行分类存储的技术措施，达到了高速度完成多表、复杂的数据库查询，以及能够实现通用查询工具，不用编写程序便能完成复杂的数据库查询的效果，节省了开发成本，大大提高了数据查询的效率，能将一般方法在几十分钟完成的查询，在几十秒、甚至几秒内完成，对于关联表越多、数据记录越多的查询，效果体现的越明显。

附图说明

图1为本发明所示配置查询参数的流程示意图；

图2为本发明进行数据库查询过程的流程示意图；

图3为本发明所示数据库查询结果写入内存数据区的流程示意图。

具体实施方式

下面结合附图，基本按照附图的顺序对技术方案的实施作进一步的详细描述：

在图1中，本发明揭示了配置查询参数的处理流程。其中，配置查询参数包括步骤配置查询总信息、数据源信息、子查询信息、查询元素信息、查询参数信息五部分的查询信息，各部分查询信息的主要配置项及说明如下：

步骤11，配置查询总信息，包括：

查询编号            每个查询一个唯一编号

查询名称            查询的文字描述

查询结果类型        分查询结果行数固定及不固定两种类型

模板文件名          查询输出的的模板文件(可选)

输出路径及文件名    查询输出文件的路径及默认文件名(可选)

步骤12，配置数据源信息，包括：

数据库编号          对查询涉及的每个数据库分配一个唯一编号

IP地址(129)         数据库所在机器的IP地址

用户名              数据库用户名

密码                数据库密码

数据库名            数据库名称

步骤13，配置子查询信息，包括：

查询编号            对应查询总配置信息中的查询编号

子查询编号          每个子查询一个唯一编号

数据库库编号        对应数据源配置信息中的数据库编号

子查询语句          子查询的查询语句，格式为标准SQL语句中添加

                    一些特殊字符串

步骤14，配置查询元素信息(查询字段信息)，包括：

查询编号            对应查询总配置信息中的查询编号

查询元素编号        每个查询元素一个唯一编号

元素行位置          查询元素在查询数据区中起始的行位置

元素行位置          查询元素在查询数据区中的列位置

元素名称            查询元素的文字描述

数据类型            查询元素的数据类型

汇总类型            数据元素汇总时的类型(平均、求合、最大、最小、

                    常量)

计算公式            由元素编号、运算符、常量等组成，可包含0～9、

                    +、-、×、/、()等符号，用于完成对0～n个查

                    询元素的计算

是否关键字          是否是关键字元素，一个查询可有多个关键字元素

是否输出            查询元素是否输出

步骤15，查询参数配置信息，包括：

查询编号            对应查询总配置信息中的查询编号

参数编号            每个查询参数一个唯一编号

参数名称            查询参数的文字描述

数据类型            查询元素的数据类型

默认值              查询元素的默认值(可选)

参数源类型          参数值可选择的范围，包括取值范围及从数据表中

                    获取

取值范围            参数的取值范围(可以是枚举类型)

数据库编号          对应数据源配置信息中的数据库编号

SQL语句             获取参数源的查询语句

查询获取方式        有两种获取参数的方式。直接传入参数值或自动

                    生成录入参数人机界面获取参数

此外，在将复杂查询分解为一至多个子查询语句时，还要遵循以下原则：

1、各子查询语句间必须有相同的关键字字段，以此关联各子查询，对于查询结果行数固定类型的查询无此要求。

2、对需不同表的字段相计算得出的查询字段，尽量使用计算字段，以降低查询中各数据表之间的耦合度。

3、对汇总结果不用另外执行SQL查询获得，此查询系统会自动、高效的生成汇总结果。

4、对复杂查询尽量进行分解，但不严格要求每个子查询只能涉及一张数据表。

5、子查询语句基本与标准的SQL语句格式一致，只是查询语句在每个查询参数前多了“％”符号，表示是查询参数，例如：

select sdate，num1 al，num2 a2 from table1 WHERE sdate＞％TYPE01

此SQL语句完成对table1表sdate、num1、num2字段数据的查询，查询条件是sdate字段值大于TYPE01参数值，其中TYPE01参数值是程序运行时动态传入的。

在图2中，本发明进行数据库查询的处理流程。

具体步骤如下：

步骤200，先读取查询参数配置信息，

步骤210，根据查询获取方式配置项判别采用何种方式获取参数。

步骤2102，直接接收所传入的参数值即可；

步骤2101，根据查询参数配置信息，自动生成人机界面，其中可通过配置信息获得参数默认值、取值范围、将数据表的记录作为选取参数值的数据源等，然后通过手工录入获取参数值(步骤，2103)。

步骤220，从配置信息中读取查询相关信息，包括数据库、子查询语句、数据列、计算字段等信息。在内存中申请查询结果数据区。

步骤230，判别目前连接数据库是否与查询数据库一致，如果不一致，则执行步骤240，连接数据库，如果一致，则执行步骤250

步骤250，根据子查询语句及参数信息拼装SQL语句，连接子查询涉及的数据库，对目前连接数据库与查询数据库一致的情况，不用重新连接数据库，然后执行SQL语句(步骤260)。

步骤270，将查询结果按配置文件规定的格式写入相应的数据区，详见图3中的流程。

步骤280，判断是否已执行完所有子查询，如果否，则继续执行步骤230，5.如果是，则执行步骤290

步骤290，根据计算元素的计算公式，计算并在内存数区中写入计算元素数据。

步骤291，根据查询元素的汇总属性(求和、平均、最大、最小)，生成合计记录，写入数据区。

步骤292，将查询标题、查询字段描述等信息写入数据区。

步骤293，返回查询结果。

在图3中，揭示了本发明子查询结果写入内存数据区的处理流程，其是图2中步骤270的一个子流程图。

先介绍一下内存数据区。内存数据区包括查询说明区及查询结果数据区两部分。查询说明区包括查询标题、查询元素描述、是否显示元素等直接从查询配置文件中读取的信息；查询结果区主要是存放数据查询结果的数据区，包括三部分：顺序链表区：将结果数据按关键字顺序进行排列，结果行数固定类型的查询不用此项。关键字区：存放可以唯一标识一行数据结果的关键字，结果行数固定类型的查询不用此项。数据区：存放一般的查询数据。

在图3中，该流程图描述了将一个子查询的数据库查询结果写入内存数据区的过程。对于数据库查询结果的每一个字段均对应查询元素配置信息中的一个元素项，写内存数据区的主要过程就是根据查询元素配置信息中元素项的信息，将每个查询字段数据逐一写入内存数据区。其具体步骤如下：

步骤500，判别查询结果类型

根据查询结果的类型，分别对查询结果行数固定及不固定两种类型的查询采用不同的处理流程。结果行数固定类型的查询是一种特殊的查询，指查询结果的行、列位置及数量是固定的，数据库查询的结果应该只有一条记录，一般是汇总记录，每个查询结果对应内存数据区中固定的位置；结果行数可变的查询是指数据库查询结果记录个数不固定，每个查询结果记录对应内存数据区中不同的行位置。

对于查询结果行数固定的查询处理流程：

读取数据库查询记录中的字段数据，步骤510，判断该字段对应配置信息中元素的汇总类型是否为常量，常量数据是指不参与计算、汇总的数据。

步骤511，对常量类型的元素，直接按元素配置项中的位置信息将查询数据写入内存数据区；

步骤512，对非常量数据，按元素配置项中的位置信息及汇总类型，将查询数据通过计算，累计到内存数据区中，其中对平均值字段仍求和，并对求和的次数进行计数，因为平均值元素应该先求和，再除以求和次数才能得到正确的平均值。

步骤513，判别是否处理完所有字段，然后逐一按上述步骤完成所有查询字段的内存数据区写入操作。

对于结果行数可变的查询处理流程：

步骤520，读取一条记录的查询结果；步骤521，判别当前子查询是否为查询的第一个子查询，如果不是，执行步骤522，就要根据查询元素配置信息中的关键字，如果是，则在数据区顺序链表上添加记录(步骤524)；

步骤523，进一步判断是否已有该关键字记录，在内存数据区中检索与当前记录匹配的记录如果没有匹配记录，就要在内存数据区中添加一条记录(步骤524)，每次在内存数据区中添加一条数据记录，都要在数据区顺序链表中添加相应的记录，顺序链表是按查询关键字进行排序的；如果是，则执行步骤525；

步骤525，读取数据库查询记录中的字段数据，判断该字段对应配置信息中元素的汇总类型是否为常量。

步骤526，对常量类型的元素，直接按元素配置项中的位置信息将查询数据写入内存数据区；

步骤527，对非常量的数据，按元素配置项中的位置信息及汇总类型，将查询数据通过计算，累计到内存数据区中，对于平均值字段仍求和，并对求和的次数进行计数。然后将数据库查询记录中所有字段的数据逐一写入内存数据区，

通过步骤528和步骤529，逐一完成所有查询记录的内存数据区写入操作。

目前，本发明已试验性地应用在通讯领域GSM产品、PCS产品的性能统计数据查询模块中，一方面解决了多表查询效率低的问题，同时完成了多局(不同局的数据存储在不同的数据库)数据的快速汇总查询，因为实现了代码的通用性，大大降低了开发成本，取得了很好的效果。

Claims (10)

1、一种用于实现数据库多表查询的数据处理方法，用于计算机数据库查询处理模块，其特征在于，包括如下步骤：

步骤一，配置数据查询的相关信息，将数据查询按一定规则分解为多个子查询，将所述配置信息存入数据库或文件中；

步骤二，进行数据库查询时，先读取查询配置信息中的参数信息；

步骤三，从所述配置信息中读取查询相关信息，并在计算机内存中申请查询结果数据区；

步骤四，根据查询语句及参数信息拼装SQL语句，连接子查询涉及的数据库，然后执行SQL语句；

步骤五，将所述查询结果按配置文件规定的格式写入相应的内存数据区，并对数据记录按关键字排序；

步骤六，重复执行步骤4和步骤5，直到执行完所有子查询；

步骤七，根据计算元素的计算公式，计算并在所述内存数据区中写入计算元素数据；

步骤八，根据查询元素的汇总属性，生成合计记录，写入所述数据区；

步骤九，将数据列描述信息写入查询内存数据区；

步骤十，返回查询结果。

2、根据权利要求1所述的数据库多表查询方法，其特征在于，在步骤一中，配置数据查询相关信息的步骤，又包括：

配置查询总信息；

配置数据源信息；

配置子查询信息；

配置查询元素信息；

配置查询参数信息；

存储配置信息。

3、根据权利要求1或2所述的数据库多表查询方法，其特征在于，在步骤二中，读取查询总信息及参数配置信息时，还包括一判别参数获取方式的步骤，如果是通过人机交互方式获取，则根据配置信息生成参数录入界面，通过所述界面由手工输入参数；如果是直接获取，则通过直接传入参数值。

4、根据权利要求3所述的数据库多表查询方法，其特征在于，在进行步骤四之前，还包括一判别目前连接数据库是否与查询数据库一致的步骤，如果不一致，则连接数据库，如果一致则执行步骤四。

5、根据权利要求1或2所述的数据库多表查询方法，其特征在于，在步骤五中，将查询结果写入相应的内存数据区的过程，还进一步包括：

步骤a，判别查询结果类型，如果结果行数固定，则执行步骤b；如果结果行数可变，则执行步骤d；

步骤b，判断元素汇总类型是否为常量，如果是，则按元素配置项中的位置信息写入内存数据区，如果否，则按元素配置项中的位置信息，将该字段按汇总类型累计到内存数据区中，继续执行步骤c；

步骤c，判断是否处理完所有字段，如果是，则结束，如果不是则返回继续执行步骤b；

步骤d，读取一条记录的查询结果；

步骤e，是否为第一个子查询，如果是，则执行步骤h，在数据区顺序链表上添加记录，如果不是，则进行步骤f；

步骤f，进行关键字匹配；

步骤g，判断是否已有该关键字记录，如果是，则直接执行步骤i，如果不是，则执行步骤h，后再执行步骤i；

步骤h，在内存数据区顺序链表中添加一条记录；

步骤i，判断元素汇总类型是否为常量，如果是，则执行步骤i，按元素配置项中的位置信息将该字段写入内存数据区，如果否，则执行步骤j，按元素配置项中的行位置信息，将该字段按汇总类型累计至内存数据区中；

步骤k，判断是否处理完所有字段，如果是则执行步骤1，如果不是则继续执行步骤525；

步骤l，判断是否处理完所有记录，如果不是则执行步骤d，如果是则结束。

6、根据权利要求5所述的数据库多表查询方法，其特征在于，所述内存数据区包括查询说明区部分和查询结果数据区部分，所述查询说明区用于存入直接从查询配置文件中读取的信息；所述查询结果区用于存放数据查询结果的数据区。

7、根据权利要求6所述的数据库多表查询方法，其特征在于，所述直接从查询配置文件中读取的信息，又包括：查询标题、查询元素描述、是否显示元素；所述存放数据查询结果的数据区包括顺序链表区、关键字区和数据区。

8、根据权利要求2所述的数据库多表查询方法，其特征在于：

所述配置查询总配置信息，包括配置：查询编号、查询名称、查询结果类型、模板文件名、输出路径及文件名；

所述配置数据源配置信息，包括配置：数据库编号、IP地址、用户名、密码、数据库名；

所述配置子查询配置信息，包括配置：查询编号、子查询编号、数据库库编号、子查询语句；

所述配置查询元素配置信息，包括配置：查询编号、查询元素编号、元素行位置、元素行位置、元素名称、数据类型、汇总类型、计算公式、是否关键字、是否输出；

所述配置查询参数配置信息，包括配置：查询编号、参数编号、参数名称、数据类型、默认值、参数源类型、取值范围、数据库编号、SQL语句、查询获取方式。

9、根据权利要求1或8所述的数据库多表查询方法，其特征在于，所述计算公式包括元素编号、运算符、常量；所述汇总属性包括：平均、求和、最大、最小、常量。

10、根据权利要求1所述的数据库多表查询方法，其特征在于，所述计算机数据处理模块为通讯网络GSM系统或PCS系统的产品性能统计数据查询模块。