CN105550342A

CN105550342A - 一种全透明的分布式数据库的数据处理方法

Info

Publication number: CN105550342A
Application number: CN201510988036.XA
Authority: CN
Inventors: 张向利; 李世文; 张红梅; 陈鹤; 童记超
Original assignee: Guilin University of Electronic Technology; CETC 54 Research Institute
Current assignee: Guilin University of Electronic Technology; CETC 54 Research Institute
Priority date: 2015-12-25
Filing date: 2015-12-25
Publication date: 2016-05-04
Anticipated expiration: 2035-12-25
Also published as: CN105550342B

Abstract

本发明公开一种全透明的分布式数据库的数据处理方法，包括数据存储的过程，数据查询的过程和数据更新的过程；即预先将用户所需存储数据分布式存储到分布式数据库中，当用户需要访问分布式数据库时，分布式数据库对用户发送的数据库操作语句进行类型判断：当判断为查询语句时，则进行数据查询；当判断为更新语句时，则进行数据更新。本发明在oracle基础上，实现了全局透明性，只需在sql语句中指出全局表名称，不需要指出分片和站点，减轻了开发者的工作量，避免了开发者的人工错误，并提高了数据分布式操作的效率。

Description

一种全透明的分布式数据库的数据处理方法

技术领域

本发明涉及数据处理技术领域，具体涉及一种全透明的分布式数据库的数据处理方法。

背景技术

随着企业信息化的深入，业务数据不断积累、日益庞大，集中式数据存储进入瓶颈时期，表现在系统的响应缓慢、用户体验较差、数据空间扩展困难、多用户并发时系统性能下降等问题。目前，多采用分布式数据库系统，来实现高效的数据存储、管理和使用，提高系统性能和运行稳定性。然而，基于oracle的分布式数据库的数据处理方式，大部分只做到局部数据库透明性，该透明性是最低层次的透明性，只提供数据到局部数据库的映像，而不提供分片和位置透明性，则应用程序在对数据处理时不仅需要指出数据在哪个片段，而且还要指出存放该片段的站点。这样的操作会增加开发者对分布式数据库处理难度，开发效率不高，容易出错。

发明内容

本发明所要解决的是现有分布式数据库的数据处理方式只能做到数据的局部透明性的问题，提供一种全透明的分布式数据库的数据处理方法。

为解决上述问题，本发明是通过以下技术方案实现的：

一种全透明的分布式数据库的数据处理方法，包括数据存储的过程，数据查询的过程和数据更新的过程；即预先将用户所需存储数据分布式存储到分布式数据库中，当用户需要访问分布式数据库时，分布式数据库对用户发送的数据库操作语句进行类型判断：当判断为查询语句时，则进行数据查询；当判断为更新语句时，则进行数据更新。

上述数据存储的过程具体为：

步骤1.1，获取业务系统的全局表，根据预先设定的分片规则，将全局表切割成多个分片，并且把分片记录登记到分片映像表；

步骤1.2，获取站点信息，根据预先设定的分配规则，把步骤1.1所得的分片分配到站点上，并且把分配记录登记到分配映像表；

步骤1.3，根据分片映像表和分配映像表的记录，将用户所需存储数据切割成各分片，再把分片进行分布式存储到各站点上；

上述数据查询的过程具体为：

步骤2.1，接收用户发送的查询语句，分析查询语句的查询属性、查询条件和全局表；

步骤2.2，查询分片映像表，得出所需查询的数据所存储的分片；

步骤2.3，查询分配映像表，得出分片所存储的站点；

步骤2.4，对分片进行判断；当判断分片为单副本时，则直接进入相应站点的本地数据库去查询分片；当判断分片为多副本时，则选择负载最轻的站点，进入此站点的本地数据库去查询分片；

步骤2.5，对站点进行判断；当在单个站点的本地数据库对分片进行查询，则直接将得到的查询结果返回给用户；若在多个站点的本地数据库对各分片进行查询，则把所有查询结果进行合并，然后返回给用户；

上述数据更新的过程具体为：

步骤3.1，接收用户发送的更新语句，分析更新语句的更新属性、更新条件和全局表；

步骤3.2，查询分片映像表，得出所需更新的数据所存储的各个分片；

步骤3.3，查询分配映像表，得出各个分片所存储的站点；

步骤3.4，对分片进行判断；当判断分片为单副本时，则直接进入相应站点的本地数据库更新分片，得到更新结果，并将结果返回给用户；当判断分片为多副本时，则需要对各个副本进行同步更新。

上述步骤2.2还进一步包括，若有多个分片都包含所要查询的数据，则选择数据量最小的分片。

上述步骤3.4之后还一步包括如下步骤：步骤3.5，启动一个数据库事务，将各个站点的更新操作打包在一个数据库事务中进行处理；若有一个站点的副本更新操作失败，则数据库事务回滚，并将分布式数据库恢复到更新操作前的状态，并且生成一个错误信息返回给用户；若全部站点的副本更新成功，则提交该数据库事务，更新组件返回更新成功信息给用户。

与现有技术相比，本发明能实现分布式数据库数据全透明处理，用户不必关心数据是如何分片的，它们对数据的操作在全局关系上进行，即如何分片对用户是透明的，因此，当分片改变时应用程序可以不变。数据如何分布，如何存储等细节不必关心，其应用程序的编写与集中式数据库相同。应用程序只需要在数据库语句中提供全局表名称，由发明所设计的方法，生成数据库所识别的语句进行执行。本发明在oracle基础上，实现了全局透明性，只需在sql语句中指出全局表名称，不需要指出分片和站点，减轻了开发者的工作量，避免了开发者的人工错误，并提高了数据分布式操作的效率。

附图说明

图1为一种全透明的分布式数据库的数据处理方法的原理图。

图2为一种全透明的分布式数据库的数据处理方法的数据存储过程原理图。

图3为一种全透明的分布式数据库的数据处理方法的数据查询过程原理图。

图4为一种全透明的分布式数据库的数据处理方法的数据更新过程原理图。

具体实施方式

一种全透明的分布式数据库的数据处理方法，如图1所示，包括分布式数据库的存储组件对数据进行存储的过程，分布式数据库的查询组件对数据进行查询的过程和分布式数据库的更新组件对数据进行更新的过程。用户需要将数据进行分布式存储，调用存储组件进行数据存储。当数据存储成功后，应用程序需要对数据访问时，访问接口接收应用程序发送的数据库操作语句，接口对语句进行类型判断；当接口判断为查询语句时，则调用查询组件进行数据查询；当接口判断为更新语句时，则调用更新组件进行数据更新。

上述分布式数据库的存储组件对数据进行存储的过程，如图2所示，用户通过业务系统注册功能，将提供的应用系统名称和数据源，导入业务系统的数据表名、表属性名等信息，将业务系统及其中的数据表和字段自动注册登记到系统中。通过站点信息登记，将底层站点的信息(如站点名，服务名、username、password等)登记到系统中。接着通过分片策略配置和分配策略配置，生成分片映像和分配映像。最后，根据分片映像和分配影像，将数据分布式存储到各站点上。数据存储的具体步骤如下：

1.1系统获取业务系统的全局表，根据设定的分片规则，系统将全局表切割成多个分片，并且把分片记录登记到分片映像表。

1.2系统获取站点信息，根据设定的分配规则，系统把分片分配到站点上，并且把分配记录登记到分配映像表。

1.3系统根据分片映像表和分配映像表的记录，将数据切割成各分片，再把分片进行分布式存储到各站点上。

存储过程举例：业务系统中一个全局表，如表1，表1中有个属性为时间，分片规则是在表1中时间大于或等于2015年的数据分割成分片1，在表1中时间小于2015年的数据分割成分片2.假设有3个站点，分别是站点1、站点2，站点3，分配规则是把分片1分配给站点1，分片2分配给站点2，分片1和分片2都分配给站点3.分配分为单副本分配和多副本分配，但多采用多副本分配；上述分配是多副本分配，即一个分片分配到多个站点。

分布式存储平台：完成数据的分片与分配策略配置以及分布式存储的执行操作。包括：数据的分片与分配策略配置，对数据进行分片和分配处理，执行数据分布式存储的物理部署，将数据存储于分布式环境中。支持用户选择应用系统、指定数据表、指定分片规则和分配规则，生成各分片并完成部署。分布式数据存储组件，只需了解全局关系，根据数据分片和分配策略的配置，对数据进行分片和分配处理，将数据存储于分布式环境中，生成数据的分片和分配映像，执行分布式数据的物理部署。分片映像表和分配映像表为用户自定义，分片映像表是根据分片策略生成的全局表与分片的关系，分配映像表是根据分配策略生成的站点对应分片的关系。根据全局表，查询分片映像表和分配映像表，即可找出对应的分片和站点，生成oracle所识别的数据库语句进行执行，实现全透明操作。

应用程序调用查询与更新操作组件的分布式访问接口，并且传入数据库语句。然后判断数据库语句类型，如果是查询语句，则调用查询操作组件，并且传入数据库语句。如果是更新语句，则调用更新操作组件，并且传入数据库语句。对数据库语句进一步解析，查找分片映像和分配映像，调用分片分配调度组件进行相应操作，并返回结果给应用程序。

上述分布式数据库的查询组件对数据进行查询的过程，如图3所示，首先进行查询分析和优化，弄清该查询需要哪些数据，这些数据都存储在哪里，若有多个副本，选用哪个或哪些副本能使查询代价最小，即需要数据定位，通过查询分片映像表和分配映像表，确定将哪个版本(正本或某个副本)的数据提供给该查询使用，并指出该数据版本的存放站点，完成数据定位功能。一旦确定了查询处理的策略，调度模块调度局部处理和数据传输，向有关站点发布命令，使相应站点的DBMS执行局部处理，站点完成查询并返回结果给优化合并模块，该模块进行优化合并后把结果返回给用户。数据查询的具体步骤如下：

2.1查询组件接收应用程序发送的查询语句，分析查询语句的各部分，查询语句的各部分包括查询属性、全局表、查询条件。

2.2查询组件查询分片映像表，得出数据所存储的分片。若有多个分片都包含所要查询的数据，则选择数据量最小的分片。

2.3查询组件查询分配映像表，得出分片所存储的站点。

2.4当查询组件判断分片为单副本时，则查询组件进入相应站点的本地数据库去查询分片。

2.5当查询组件判断分片为多副本时，查询组件需要选择负载最轻的站点，进入此站点的本地数据库去查询分片。

2.6若查询组件是在单个站点的本地数据库对分片进行查询，将得到的查询结果返回给应用程序。

2.7若查询组件是在多个站点的本地数据库对各分片进行查询，则把所有查询结果进行合并，然后返回给应用程序。

查询操作举例：应用程序调用查询组件，将查询语句传送给查询组件，查询组件分析查询语句得到所需数据在分片4，并查得分片4位于站点2和3，由于站点3负载较轻，定位在站点3的分片4中进行查询处理，进入站点3的本地数据库管理系统执行查询语句查询分片4中数据，站点3执行完处理后将结果返回给应用程序。

查询组件：完成对分布式数据库的查询操作。提供给应用程序的接口是数据查询方法库组件，应用程序通过调用该组件完成对底层分布式数据的查询处理。该项操作支持查询的完全透明性，并支持应用系统移植的易操作性。应用程序只需将原有的数据库语句以函数参数的方式传递给组件，不需了解数据的分片、站点分配以及查询策略等细节以及实现，由组件自动完成分片查找、站点定位以及优化处理等操作并将结果返回给应用程序。

上述分布式数据库的更新组件对数据进行更新的过程，如图4所示，在进行插入、删除和修改等更新操作时，首先也是需要定位，通过查询分片映像表和分配映像表，确定数据存储在哪里，确定要更新的版本，向有关站点发布命令，执行局部的更新处理和数据传输。在更新操作中，为维护数据库的完整性和一致性，需要检查完整性规则，并处理多副本数据的同步更新。对于多副本情况，采用同步更新的方法。首先查找所需更新的数据分片，定位分片所在的站点，会发现多个站点中都有此主数据的副本，需要进行同步更新，而这些更新要满足原子性操作要求，即：要么全部更新都成功，只要有一个操作失败，则全部失败。为了达到此要求，在调动各站点同步更新之前，先启动一个事务，将各站点的更新操作打包在一个事务中，这些处理，要么全部更新都成功，只要有一个操作失败，则恢复到更新前的状态，生成一个错误信息，由可靠性模块对此错误信息进行处理，或者报警、或者退出系统，或者重新执行更新操作。数据更新的具体步骤如下：

3.1更新组件接收应用程序发送的更新语句，分析更新语句的各部分，更新语句分为插入、删除、修改语句，语句各部分包括更新属性、更新条件、全局表。

3.2更新组件查询分片映像表，得出所需更新的数据所存储的各分片。

3.3更新组件查询分配映像表，得出各分片所存储的站点。

3.4当更新组件判断分片为单副本时，则更新组件进入相应站点的本地数据库更新分片，得到更新结果，并将结果返回给应用程序。

3.5当更新组件判断分片为多副本时，更新组件需要对各副本进行同步更新。

3.6更新组件启动一个数据库事务，将各站点的更新操作打包在一个事务中进行处理。

3.7若有一个站点的副本更新操作失败，事务回滚，更新组件则恢复到更新操作前的状态，并且生成一个错误信息返回给应用程序。若全部站点的副本更新成功，则提交事务，更新组件返回更新成功信息给应用程序。(注：数据库事务，是指作为单个逻辑工作单元执行的一系列操作，要么完全地执行，要么完全地不执行。)

更新操作举例：应用程序调用更新组件，将更新语句传送给更新组件，更新组件分析更新语句，并查询分片映像表得到所需数据在分片2，更新组件查询分配映像表，得到分片2位于站点1、2、3，调度处理建立事务E,并启动事务E,通知站点1、2、3分别执行更新操作更新分片2中数据，结束事务时若没有发生异常，则提交事务，否则事务回滚到更新前状态，发出错误信息给应用程序。

更新组件：完成对分布式数据库的插入、删除、修改等更新操作。同检索功能一样，系统提供给应用程序接口为数据更新方法库组件，应用程序通过调用该类组件完成对底层分布式数据的插入、删除、修改等更新处理。该项操作也支持插入、删除、修改等更新操作的完全透明性，并支持应用系统移植的易操作性。应用程序只需将更新操作请求提交给组件，不需了解数据的分片、站点分配、多副本同步更新等细节，由组件自动完成此类处理。分布式数据更新组件包含分布式数据的插入、删除、修改操作，用户在调用组件的函数时不必关心底层分片和分配的细节，只需将原有的SQL语句以函数参数的方式传递给组件，由组件自动完成分片查找、站点定位、同步更新等操作并将结果返回给应用程序。

Claims

1.一种全透明的分布式数据库的数据处理方法，包括数据存储的过程，数据查询的过程和数据更新的过程；即预先将用户所需存储数据分布式存储到分布式数据库中，当用户需要访问分布式数据库时，分布式数据库对用户发送的数据库操作语句进行类型判断：当判断为查询语句时，则进行数据查询；当判断为更新语句时，则进行数据更新；其特征在于：

上述数据存储的过程具体为：

上述数据查询的过程具体为：

步骤2.3，查询分配映像表，得出分片所存储的站点；

上述数据更新的过程具体为：

步骤3.3，查询分配映像表，得出各个分片所存储的站点；

2.根据权利要求1所述的一种全透明的分布式数据库的数据处理方法，其特征在于：步骤2.2还进一步包括，若有多个分片都包含所要查询的数据，则选择数据量最小的分片。

3.根据权利要求1所述的一种全透明的分布式数据库的数据处理方法，其特征在于：步骤3.4之后还一步包括如下步骤，

步骤3.5，启动一个数据库事务，将各个站点的更新操作打包在一个数据库事务中进行处理；若有一个站点的副本更新操作失败，则数据库事务回滚，并将分布式数据库恢复到更新操作前的状态，并且生成一个错误信息返回给用户；若全部站点的副本更新成功，则提交该数据库事务，更新组件返回更新成功信息给用户。