CN103440303A - 一种异构云存储系统及其数据处理方法 - Google Patents

Abstract

本发明提供了一种异构云存储系统，包括多个云存储器、接收单元、解析引擎，接收单元用于接收用户发送的数据库语句，所述数据库语句符合异构云存储系统中数据对象的语法；解析引擎用于解析所述数据库语句，云存储器用于接收解析后的操作指令并执行。本发明还提供了一种异构云存储系统的数据处理方法。通过设计一套统一的数据定义语法和数据查询语法，利用外观模式对外提供统一的接口，底层则采用适配器模式，接入不同云存储器，实现不同功能侧重点的异构云存储系统的融合。采用本发明的技术方案，用户只需要通过统一的接口就可以调用底层多种存储，满足更多场景的数据处理。

Description

一种异构云存储系统及其数据处理方法

技术领域

本发明涉及计算机领域，尤其涉及一种异构云存储系统及其数据处理方法。

背景技术

关于数据存储系统，目前符合结构化查询语言SQL标准的系统是使用最广泛的。现在众多的云存储系统都会对外提供一个类似JDBC(JAVA数据库连接，一种用于执行SQL的JAVAAPI，它可以兼容多种关系型数据库)或者ODBC(由微软提出的数据访问接口标准，开放数据库互联的标准)的标准接口。目的是给专门从事某种业务的数据处理分析，可以更快的入手，不必花更多时间去了解不同的存储系统的特定的接口功能。利用一个统一的标准接口，就可以访问更多不同的数据存储系统，完成不同存储系统上的数据处理。

随着大数据需求日益高涨，业界出现了很多各种各样的数据存储系统。因为大数据处理的需求和应用场景不同，有的只需要离线处理，允许一定的处理延迟。对于这种情况，可以采用批量处理的系统，如Map Reduce平台，通过调度批量任务来操作静态数据，缺点就是存在一定的延迟。有的则需要交互式处理，希望延迟尽可能的短，可以及时返回结果。对于这种情况就需要交互式处理系统，不能把多个请求放到一起批量处理，而是需要每来一个请求就及时处理。还有的需要随着数据量的增加进行增量处理，这种情况需要对原始数据集有修改操作，因此也就需要系统支持修改操作。还有的需要随着数据源源不断的到来，实现针对数据流的处理。

不同的应用场景需要采用不同的存储和处理系统。很多时候在同一个业务中，会同时有几种不同的需求，比如，在线交互处理与离线处理的混合。因此，如果能有一种架构可以将这些大数据处理系统进行融合，对外提供统一的接口，将会给业务开发人员带来很大的便利。

而现有的大数据处理系统都有自己特定的数据定义以及数据查询接口，比如：HBase、Cassandra、Hive、HDFS等，他们对外提供的数据处理接口各不相同。Hive主要支持有明确模式的结构化数据，数据定义和查询类似于SQL标准。HDFS可以支持无模式的非结构化数据，但是需要用户提供一个解析数据的类。如果用户只是离线批量处理，就可以考虑采用HDFS、Hive。如果用户需要对存储数据的修改更新操作，可以采用HBase、Cassandra等类似的NoSq1数据库(Not only SQL，针对大数据处理的、模式简单、限制低的数据库产品)。因此，不同的数据处理需要去调用不同的客户端接口，给业务开发人员带来了极大的负担。目前还没有一种可将不同架构和设计的存储系统融合在一起方法。

发明内容

针对现有技术中存在的技术问题，本发明提供了一种异构云存储系统及其数据处理方法，可以将异构的云存储系统融合起来，并对外提供统一的查询处理接口。

为了达到上述目的，本发明提供了一种异构云存储系统，技术方案如下：

接收单元，用于接收用户发送的数据库语句，所述数据库语句符合异构云存储系统中数据对象的语法；

解析引擎，用于解析所述数据库语句；

云存储器，用于接收解析后的操作指令并执行。

所述解析引擎包括公共解析引擎和二级解析引擎，所述公共解析引擎包括公共数据定义解析引擎和公共数据查询解析引擎，所述二级解析引擎包括对应于每个云存储器的二级数据定义解析引擎和二级数据查询解析引擎：其中，所述公共解析引擎用于将所述数据库语句解析为多条数据库语句，解析后的多条数据库语句分别发送给相应云存储器的二级解析引擎，所述数据库语句包括数据定义语句和数据查询语句；所述二级解析引擎用于接收所述公共解析引擎解析后的数据库语句，并对相应云存储器对应的数据定义语句和数据查询语句进行解析。

所述公共解析引擎具体用于：将所述数据定义语句和所述数据查询语句分别解析为多条数据定义语句和多条数据查询语句，并将解析后的多条数据定义语句和多条数据查询语句分别发送给相应云存储器的二级数据定义解析引擎和二级数据查询解析引擎。

所述二级数据定义解析引擎将相应云存储器的数据定义语句解析为可执行的数据定义操作指令；所述二级数据查询解析引擎将相应云存储器的数据查询语句解析为可执行的数据查询操作指令。

所述系统对外采用外观模式，用于对外提供统一的数据接口；对内采用适配器模式，用于适配统一接口与异构的各云存储器的内部接口。

本发明还提供了一种异构云存储系统的数据处理方法，主要技术方案如下：

接收用户发送的数据库语句，并对其进行解析；所述数据库语句符合异构云存储系统中数据对象的语法；

将解析后的操作指令发送到相应的云存储器中执行该操作。

所述数据库语句包括数据定义语句和数据查询语句。

所述解析具体为：将所述数据库语句解析为多条数据库语句，分别发送给相应云存储器的二级解析引擎，再由各云存储器的二级解析引擎进行解析，得到可执行的操作指令；所述可执行的操作指令包括数据定义操作指令和数据查询操作指令。

将解析后的操作指令通过各云存储器的驱动发送到相应的云存储器中执行。

所述数据对象包括结构化数据、非结构化数据、半结构化数据。

所述数据对象的语法具体为：对结构化数据定义数据模式、数据对象名字；对非结构化数据或半结构化数据定义数据模式、数据对象名字、解析数据的方式。

对所述三种数据对象分别指定不同的分区方式进行分区，不同云存储器之间数据对象的属性名称不同。

本发明提供的一种异构云存储系统及其数据处理方法，通过设计一套统一的数据定义语法和数据查询语法，利用外观模式对外提供统一的接口，实现不同功能侧重点的异构云存储系统的融合。采用本发明的技术方案，用户只需要通过统一的接口就可以调用底层多种存储，满足更多场景的数据处理。

附图说明

图1是本发明实施例的异构存储系统的结构示意图；

图2是本发明实施例的公共解析引擎的结构示意图；

图3是本发明实施例的二级解析引擎的结构示意图；

图4是本发明实施例的数据处理方法流程图；

图5是本发明实施例的数据定义过程示意图；

图6是本发明实施例的数据查询过程示意图；

具体实施方式

为了使本发明的技术方案及优点更加清楚明白，以下结合附图对本发明的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本发明的一部分实施例，而不是所有实施例的穷举。

本发明提供了一种异构云存储系统及其数据处理方法，主要的思想是设计统一的数据定义和查询语法，将这些数据定义语句以及查询语句通过统一的接口提交，而底层的执行对用户来说都是透明的。

所谓云存储系统，指的是通过集群应用、网络技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。而异构云存储系统，则指的是整体架构、存储、查询原理不一样的存储软件称为异构。本发明中的异构云存储系统包括多个云存储器(存储软件)，各个云存储器之间是异构的。

为达到上述目的，本发明上层采用了设计模式中的外观模式，对用户屏蔽底层各云存储器之间复杂的接口，而底层接入的多个云存储器采用适配器模式，采用这样的方式也不会影响用户的使用习惯。这里所说的上层也可以称为外层，所说的底层也可以称为下层。

其中设计模式中，外观模式是指简化接口的调用，提供一个整洁的一致的接口给客户端，使多个相关的接口有一个统一的接口调用。适配器模式则是改变原有对象的接口，将一个接口通过适配来间接转换为另一个接口，使之变得适应新的需求。

因此，本发明实施例提供了一种异构云存储系统，如图1所示，包括接收单元201、解析引擎202和多个云存储器205，解析引擎202包括公共解析引擎203和二级解析引擎204；二级解析引擎204可以为一个也可以为多个，当二级解析引擎为一个时，则需要底层有多个驱动，二级解析引擎204的接口与底层接入的多个云存储器的驱动相连接。不管是一个二级解析引擎通过多个底层驱动与各云存储器相连接，还是多个二级解析引擎直接与各云存储器相连接，都应该确保每个云存储器205至少有一个相应的二级解析引擎204与之对应。图1中仅以多个二级解析引擎204为例进行了说明。而如图2所示，公共解析引擎203包括公共数据定义解析引擎2031和公共数据查询解析引擎2032。如图3所示，二级解析引擎204包括二级数据定义解析引擎2041和二级数据查询解析引擎2042。当然，在实际应用过程中，本领域技术人员根据解析语句的需要还可以有其他类型的公共解析引擎或二级解析引擎，本发明实施例中公共解析引擎和二级解析引擎不仅限于数据定义解析引擎和数据查询解析引擎这两种解析引擎。其中：

接收单元201，用于接收用户发送的数据库语句；公共解析引擎203对用户发送的该数据库语句进行初步解析，也即，公共定义解析引擎2031对用户发送的数据定义语句进行解析，也即根据数据对象存储平台的不同，将数据定义语句将解析为多条数据定义语句；公共查询解析引擎2032对用户发送的数据查询语句进行初步解析，根据数据对象存储平台的不同，将数据查询语句解析为多条数据查询语句。公共解析引擎203从元数据中获取存储系统设置，该存储系统设置中保存有各云存储器中语法与各二级解析引擎之间的对应关系；公共数据定义解析引擎2031根据它们之间的对应关系将解析后的每条数据定义语句发送到相应云存储器的二级数据定义解析引擎2041中，公共数据查询解析引擎2032将解析后的每条数据查询语句发送到相应云存储器的二级数据查询解析引擎2042中。

二级数据定义解析引擎2041，用于解析相应云存储器的数据定义语句，将其解析并改写成可操作的数据定义操作指令，并发送给相应的云存储器；由相应的云存储器执行该数据定义操作指令。相应的，二级数据查询解析引擎2042，用于解析相应云存储器的数据查询语句，将其解析并改写成可操作的数据查询操作指令，并发给相应的云存储器；由相应的云存储器执行该数据查询操作指令。

本发明实施例所提供的异构云存储系统包括多个云存储器205，各个云存储器之间是异构的。本发明实施例中，公共解析引擎是一个统一的解析引擎，包括公共数据定义解析引擎2031和公共数据查询解析引擎2032。公共解析引擎203可以对应多个二级解析引擎204，本发明对二级解析引擎的数目不作限制。每个云存储器的上面一层至少有一个可用于解析该相应云存储器数据定义语法的二级数据定义解析引擎和一个用于解析该相应云存储器数据查询语法的二级数据查询解析引擎与之对应。

本发明实施例提供的异构云存储系统上一层通过公共解析引擎203(包括公共数据定义解析引擎2031和公共数据查询解析引擎2032)、采用外观模式，实现对外提供统一的数据接口；下一层通过各个二级解析引擎204(包括各个云存储器相应的二级数据定义解析引擎2041和二级数据查询解析引擎2042)、采用适配器模式，实现各个云存储器之间的接口适配以及执行用户操作等。

基于同一发明构思，本发明实施例还提供了一种异构云存储系统的数据处理方法，如图4所示，包括如下步骤：

S101、接收用户发送的数据库语句，数据库语句可以是数据定义语句，也可以是数据查询语句。该数据库语句是符合本发明实施例中异构云存储系统中数据对象的语法的。

其中，本发明实施例中异构云存储系统中数据对象的语法为用户自定义的一套统一的数据语法，可以实现对外(对用户)提供统一的数据接口。本发明实施例设计了一种统一的数据定义语法以及数据查询语法，实现自定义存储的符合框架标准的数据定义引擎和数据查询引擎。本领域技术人员对统一的数据语法可以有其他的常规设计方法，本发明对统一的数据语法的设计方法不作限制。

S102、对用户发送的该数据库语句进行解析；根据数据对象存储平台的不同，分别将数据定义语句解析为多条数据定义语句，将数据查询语句解析为多条数据查询语句。

S103、获取元数据，该元数据中包括存储系统设置，存储系统设置是指各云存储器中的语法与各个二级解析引擎之间的对应关系。其中，二级解析引擎包括与各云存储器对应的二级数据定义引擎以及二级数据查询引擎。结合该存储系统设置，将上述语法初步解析后的多条数据定义语句或多条数据查询语句分发到相应云存储器对应的二级数据定义解析引擎或二级数据查询解析引擎中。

如果用户发送的是数据定义语句，则相应云存储器的二级数据定义解析引擎解析并改写后获得该语句对应的数据定义操作指令，并将该数据定义操作指令发送到相应云存储器中；

如果用户发送的是数据查询语句，则相应云存储器的二级数据查询解析引擎解析并改写后获得该语句对应的数据查询操作指令，并将该数据查询操作指令发送到相应云存储器中。

S104、相应的云存储器接收到该解析后的操作指令以后，便对该操作指令进行执行命令以实现该操作，并且同时将存储系统设置保存到元数据中。也就是，对于数据定义操作指令，相应云存储器对其执行数据定义操作；对于数据查询操作指令，相应云存储器对其执行数据查询操作。

由于本发明实施例设计统一的数据语法包括数据定义语法和数据查询语法，下面就针对这两种语法分别进行详细的举例说明，具体语法的设计不限于下面的举例：

一、对于统一的数据定义实现，如图5所示。上层采用外观模式对外提供统一的接口，下层采用适配器模式，将接口转换到相应的二级解析引擎。对于如何设计统一的数据定义语法，本领域技术人员可能有多种设计方法，下面仅就本发明实施例的设计统一的数据定义语法进行详细说明：

首先需要定义可以跨云存储系统的数据对象，然后对数据对象的操作才可以实现跨多种云存储系统。其中，所谓的数据对象主要包括结构化数据、非结构化数据、半结构化数据三种类型，这三种类型数据定义需要采用不同的定义方式，而且需要指定的参数属性也有差别。其中，目前现有技术中采用半结构化数据的数据库一般为NoSQL数据库。

对于结构化数据定义，需要指定数据模式描述、数据对象名字。对于非结构化数据或者半结构化数据的数据定义，需要提供解析数据的方式、数据模式描述、数据对象名字。而对于半结构化数据则根据数据库的不同，可能需要指定一系列的属性名字、属性值等。最终提炼出这三种类型数据对象定义的共性。下面给出具体的数据定义语法示例，如下所示：

参考SQL数据定义的方式：create table tablename(schema)，其中schema指的是：

(columnname1 columntype1，

columnname2 columntype2，

columnname3 columntype3，

……)

同时，考虑到非结构化数据以及半结构化数据的特殊性，设计统一语法模式如下：

CREATE TABLE tablename NONSTRUCT(schema)PARTITION BY…，STRUCT(schema)PARTITION BY…，SEMISTRUCT(schema)PARTITIONBY…，PROPERTIES(name1＝value1，name2＝value2…)

因为不同类型的数据会分开存储，所以数据模式以及数据分区方式需要分组。上述语句中的“PARTITION BY…”是用来指明三种数据类型存储时的分区方式的，由于三种类型数据需要分开存储，所以需要分别指定不同的分区方式。为保证各云存储系统数据定义的属性名字不冲突，可将数据的属性设置放到一起，比如放到同一个定义块中。

同时，非结构化数据需要必要的属性，也即数据的解析方式类，指明数据需要用什么方式读取和输出。例如：

PROPERTIES(inputformat＝TEXT，outputformat＝TEXT)。

上面的各示例语句中，大写的语句或字母为统一定义的关键字，小写的语句或字母则是需要用户数据定义来具体指定。数据模式、属性设置等都需要用户定义、设置好，当然也可以扩展，增加单独修改设置属性的语法。

二、对于统一的数据查询语法的设计，指的是对外提供一种统一的查询计算接口，本发明中统一的数据查询实现，如图6所示。融合异构云存储系统对外提供统一的数据查询接口，首先设计针对数据处理中的共性、针对数据对象做某种操作。标准SQL语句中的操作主要有：映射、投影、条件投影、多表连接、过滤、聚合操作、排序、数据计算、嵌套查询。将这些操作延伸到更广义上的数据处理、更多存储系统上、更多类型的数据处理。本发明也需要扩展SQL标准的操作，设计一种类SQL语言，实现数据映射、投影、条件投影、多数据对象连接(考虑到针对的是大数据处理，这里指的是等值连接)、聚合操作、排序、过滤。数据计算可以用非结构化数据的单个复杂的MapReduce处理、单步数据挖掘、用户自定义数据处理函数、多个数据处理任务的级联。本发明实施例的类SQL语言是在现有标准SQL语言的基础上新增了对多种数据类型的数据定义和数据查询功能，在数据定义时用户指定数据解析类，并将这个类添加到classpath中，类SQL语言就可以在查询处理时调用这个类进行解析处理。不仅如此，在现有标准SQL语言的function函数基础上新增了单入多出的功能，用户可以自定义function函数，实现每行语句有多个输出。

下面本发明实施例就以标准SQL语言和本发明实施例所设计的类SQL语言比较，说明如下：

1、从适用范围看，标准SQL语言只支持二维表的结构化数据定义和数据查询；而本发明实施例所提供的类SQL语言可以支持对更多格式的数据进行定义和查询。

本发明实施例的类SQL语言，只需要用户在数据定义时指定数据解析类，并且将此类添加到classpath中，类SQL语言在对数据进行查询处理时便可以直接调用这个类实现对数据的解析处理。而这个过程对用户而言是完全透明的。

2、从功能角度看，本发明实施例中的类SQL语言可以支持用户自定义的function函数，以及复杂算法的提交运行。

标准SQL语言中，针对数据列进行查询计算的形式如下所示：

Select col1，col2，function(col3)

From table1；

其中，function只能是系统中预定义好的function，并且只能是单入单出的普通函数(也就是说，每一行产生一个输出)，或者是多入单出的聚集函数(也就是说，多行产生一个输出)。

而采用本发明实施例的类SQL语言，可以使用用户自定义的function，并且可以实现单入多出，也即，每一行产生多行的输出。此外，还可以支持用户提交自定义的复杂数据处理程序，比如Map Reduce程序。

例如：

select mr_function( )

from data_obj；

这样可以实现在数据对象data_obj之上运行mr_function作业，实现更复杂的数据处理，例如一些复杂的数据挖掘算法在大数据集上面运行。

当然，相比标准SQL本发明实施例中类SQL语言新增的功能，也即，实现更多格式的数据的定义和查询、单入多出以及更复杂的数据处理，是以预定义为前提的。

3、从支持的数据类型看，标准SQL语言只支持字符串、时间、数字、二进制等类型；而本发明实施例的类SQL语言不仅可以支持struct、array、map、union，这些类型的数据存储方式分隔符在数据定义的时候指定，与其他列的分隔符区分开。这样就可以提供更多的数据组织方式，使得复杂类型的数据处理更加方便。

从上面的描述可以看出，类SQL语言支持的功能比SQL标准的功能要更丰富一些，既不会限制底层的异构云存储器对外提供的功能，也使得用户使用更加方便。

采用本发明的技术方案，将外观模式和适配器模式的思想应用到异构云存储系统统一处理数据的架构中，对外提供统一的接口，实现不同功能侧重点的异构的云存储器的融合。在降低用户学习成本的同时，实现对多种云存储器的使用。用户只需要通过统一的接口就可以调用底层多种存储，满足更多场景的数据处理。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，在不背离本发明精神及其实质的情况下，本领域技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围内。

Claims (12)

1.一种异构云存储系统，其特征在于，包括多个云存储器和：

接收单元，用于接收用户发送的数据库语句，所述数据库语句符合异构云存储系统中数据对象的语法；

解析引擎，用于解析所述数据库语句；

云存储器，用于接收解析后的操作指令并执行。

2.如权利要求1所述的异构云存储系统，其特征在于，所述解析引擎包括公共解析引擎和二级解析引擎，所述公共解析引擎包括公共数据定义解析引擎和公共数据查询解析引擎，所述二级解析引擎包括对应于每个云存储器的二级数据定义解析引擎和二级数据查询解析引擎：

其中，所述公共解析引擎用于将所述数据库语句解析为多条数据库语句，解析后的多条数据库语句分别发送给相应云存储器的二级解析引擎，所述数据库语句包括数据定义语句和数据查询语句；

所述二级解析引擎用于接收所述公共解析引擎解析后的数据库语句，并对相应云存储器对应的数据定义语句和数据查询语句进行解析。

3.如权利要求2所述的异构云存储系统，其特征在于，所述公共解析引擎具体用于：将所述数据定义语句和所述数据查询语句分别解析为多条数据定义语句和多条数据查询语句，并将解析后的多条数据定义语句和多条数据查询语句分别发送给相应云存储器的二级数据定义解析引擎和二级数据查询解析引擎。

4.如权利要求3所述的异构云存储系统，其特征在于，所述二级数据定义解析引擎将相应云存储器的数据定义语句解析为可执行的数据定义操作指令；所述二级数据查询解析引擎将相应云存储器的数据查询语句解析为可执行的数据查询操作指令。

5.如权利要求1所述的异构云存储系统，其特征在于，所述系统对外采用外观模式，用于对外提供统一的数据接口；对内采用适配器模式，用于适配统一接口与异构的各云存储器的内部接口。

6.一种异构云存储系统的数据处理方法，其特征在于，包括以下步骤：

接收用户发送的数据库语句，并对其进行解析；所述数据库语句符合异构云存储系统中数据对象的语法；

将解析后的操作指令发送到相应的云存储器中执行该操作。

7.如权利要求6所述的数据处理方法，其特征在于，所述数据库语句包括数据定义语句和数据查询语句。

8.如权利要求6所述的数据处理方法，其特征在于，所述解析具体为：将所述数据库语句解析为多条数据库语句，分别发送给相应云存储器的二级解析引擎，再由各云存储器的二级解析引擎进行解析，得到可执行的操作指令；所述可执行的操作指令包括数据定义操作指令和数据查询操作指令。

9.如权利要求6所述的数据处理方法，其特征在于，将解析后的操作指令通过各云存储器的驱动发送到相应的云存储器中执行。

10.如权利要求6所述的数据处理方法，其特征在于，所述数据对象包括结构化数据、非结构化数据、半结构化数据。

11.如权利要求10所述的数据处理方法，其特征在于，所述数据对象的语法具体为：

对结构化数据定义数据模式、数据对象名字；

对非结构化数据或半结构化数据定义数据模式、数据对象名字、解析数据的方式。

12.如权利要求10所述的数据处理方法，其特征在于，对所述三种数据对象分别指定不同的分区方式进行分区，不同云存储器之间数据对象的属性名称不同。

Images