CN103425779A - 数据的处理方法和装置 - Google Patents

Abstract

本发明提供了一种数据的处理方法和装置，属于海量数据处理技术领域。所述方法包括：获取非结构化数据的解析方式；根据所述解析方式对所述非结构化数据进行解析，得到有模式的数据；调用预先封装的处理非结构化数据的类SQL功能类；根据所述类SQL功能类对所述有模式的数据进行处理。本发明通过将非结构化数据处理分类，封装为统一的算子，通过设计类SQL语法，在类SQL语句中调用实现数据处理，将SQL数据处理思想应用到非结构化数据处理，封装基本操作，组合基本操作实现多种复杂操作，减少重复性的工作，这样可以在不限制应用范围的前提下使得非结构化数据处理实现的复杂度大大降低。

Description

数据的处理方法和装置

技术领域

本发明涉及海量数据处理技术领域，特别涉及一种数据的处理方法和装置。

背景技术

随着数据业务的发展，出现了海量的非结构化数据。非结构化数据是没有明确的类型和格式的数据，包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。

现有技术中有一种对海量非结构化数据处理的方式，包括：撰写MapReduce作业提交给MapReduce框架执行。在数据处理过程中，用户需要管理数据的输入解析，输出格式设置，中间计算的定义，数据类型的一致性等细节。这种方式对于用户的要求比较高，需要用户了解MapReduce的工作原理，并能根据这个原理写出正确的MapReduce作业，实现逻辑正确的并行处理。这种数据处理方式学习成本较高，使用不方便，每一种应用逻辑需要撰写不同的作业代码，很难复用，影响了对海量非结构化数据的处理效率。

发明内容

本发明针对上述问题，提出了一种数据的处理方法和装置。

在一个方面，本发明提供了一种数据的处理方法，所述方法包括：

获取非结构化数据的解析方式；

根据所述解析方式对所述非结构化数据进行解析，得到有模式的数据；

调用预先封装的处理非结构化数据的类SQL功能类；

根据所述类SQL功能类对所述有模式的数据进行处理。

在另一个方面，本发明提供了一种数据的处理装置，所述装置包括：

获取模块，用于获取非结构化数据的解析方式；

解析模块，用于根据所述解析方式对所述非结构化数据进行解析，得到有模式的数据；

类SQL调用模块，用于调用预先封装的处理非结构化数据的类SQL功能类；

数据处理模块，用于根据所述类SQL功能类对所述有模式的数据进行处理。

本发明提供的技术方案的有益效果是：通过将非结构化数据处理分类，封装为统一的算子，通过类SQL语句调用或者组装这些算子，实现数据处理。将SQL数据处理思想应用到非结构化数据处理，封装基本操作，设计调用和组装基本操作的语法，实现多种复杂操作，减少重复性的工作，这样可以在不限制应用范围的前提下使得非结构化数据处理实现的复杂度大大降低。

附图说明

下面将参照附图描述本发明的具体实施例，其中

图1是本发明实施例一中提供的一种数据的处理方法的流程图；

图2是本发明实施例二中提供的一种数据的处理方法的流程图；

图3是本发明实施例三中提供的一种数据的处理装置的示意图；

图4是本发明实施例三中提供的另一种数据的处理装置的示意图。

具体实施方式

为了使本发明的技术方案及优点更加清楚明白，以下结合附图对本发明的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本发明的一部分实施例，而不是所有实施例的穷举。

本实施例中涉及到的范式指的是一个共同体成员所共享的信仰、价值、技术等等的集合。数据库设计范式，是符合某一种级别的关系模式的集合。构造数据库必须遵循一定的规则。本文指非结构化数据处理必须遵循的一定规则。

本实施例中涉及到的类SQL(Structured Query Language，结构化查询语言)，类似SQL规范的语法描述，但是不完全符合SQL规范，是基于SQL规范进行的扩展，需要包含非结构化数据处理的需要的特殊操作，因此称为类SQL。

实施例一

参见图1，本发明实施例中提供了一种数据的处理方法，包括：

101、获取非结构化数据的解析方式；

102、根据所述解析方式对所述非结构化数据进行解析，得到有模式的数据；

103、调用预先封装的处理非结构化数据的类SQL功能类；

104、根据所述类SQL功能类对所述有模式的数据进行处理。

其中，有模式的数据就是指按指定输出方式输出的数据。

可选地，所述预先封装的处理非结构化数据的类SQL功能类包括以下的一种或多种：统计类、过滤类、数据迁移转换类和排序类。

在另一实施例中，所述获取非结构化数据的解析方式之前，还包括：

对非结构化数据进行类SQL处理，其中，所述类SQL处理包括：创建所述非结构化数据对应SQL标准中的表名，对应所述SQL标准中字段名，字段类型列表以及所述非结构化数据组件的解析方式。

优选地，所述非结构化数据的解析方式包括：非结构化数据的读取解析方式和输出方式。

优选地，所述调用预先封装的处理非结构化数据的类SQL功能类，包括：

根据根据类SQL语法，调用和组装预先封装的处理非结构化数据的类SQL功能类。

本实施例的有益效果是：通过将非结构化数据处理分类，封装为统一的算子(即数据处理函数)，并通过SQL调用，将SQL数据处理思想应用到非结构化数据处理，采用这些封装的接口，可以减少重复性的工作——封装基本操作，组合基本操作实现多种复杂操作，减少重复性的工作。这样可以在不限制应用范围的前提下使得非结构化数据处理实现的复杂度大大降低。

实施例二

本实施例中提供了一种数据的处理方法，将非结构化数据处理的基本操作分解为一个个基本的算子，提供类SQL标准的语法供用户实现算子组装。由于非结构化数据处理的不确定性，允许用户嵌入一些自定义的计算。这样动态处理与静态组装结合，既降低了非结构化数据处理实现的复杂度，同时不会丢失其局限性。本实施例中，以海量的非结构化数据存储在分布式系统中为例进行说明，其余的存储方式，例如：NoSQL，DB只要实现相应的数据读取驱动，则不影响本技术的实施，对此本实施例中并不做具体限定。

参见图2，具体的方法流程包括：

201、对非结构化数据进行类SQL处理。

本实施例中，提供了一种非结构化数据读取和分析的框架。这个框架主要包括数据读取行划分方式，数据读取列划分方式两个模块，框架提供接口，用户实现接口中数据的行划分方式，列划分方式，输出数据的模式描述。因此本实施例中非结构化数据解析对用户透明，用户需要以FUNCTION的方式提供数据解析方式，本实施例中的通用框架会提供统一的架构，可以允许嵌入任何解析方式。

本实施例中，通用框架用SQL语句实现，其中，对非结构化类SQL处理包括：创建非结构化数据对应SQL标准中的表名，对应SQL标准中字段名，字段类型列表以及非结构化数据组件的解析方式。优选地，非结构化数据的解析方式包括：非结构化数据的读取的解析方式和输出的方式两个类。其中，输出的方式就是指定的非结构化数据解析之后的数据模式。

具体的SQL语句可以为如下所示：

createdata_obj(schema)fileformat[inputformat，outputformat]；

data_obj对应SQL标准中的表名，schema对应SQL标准中字段名，字段类型列表，后面多了对数据对象的解析方式，即读取解析方式和输出方式两个类，需要用户提供。

值得说明的是，本步骤是在存储非结构化数据时需要执行的步骤，在进行数据的处理过程中如果已完成了对数据的存储则不需要执行该步骤，对此本实施例不做具体限定。

202、获取非结构化数据的解析方式，根据该解析方式对非结构化数据进行解析，得到有模式的数据。

本步骤中，在用户进行非结构化数据查询或是其它数据处理时，需要先对非结构化数据进行解析。由于预先定义了非结构化数据的解析方式，所以在进行数据处理时，调用非结构化数据的解析方式，其中解析方式包括非结构化数据的读取解析方式和输出的方式两个类，根据解析方式对非结构化数据进行解析，得到有模式的数据。其中，有模式的数据就是指按指定输出的方式输出的数据。

203、调用预先封装的处理非结构化数据处理的功能类，根据该功能类对解析出的有模式的数据进行处理。

本实施例中，为了实现非结构化数据的类SQL处理，非结构化数据处理操作范式化，分解为更多种类的通用的算子。首先需要把计算分类，将非结构化数据一些常用的处理预先封装为统一的算子。非结构化数据的主要处理按照计算模式包括但不限于以下四类：

1)统计类：数据求和，数据量统计，求平均，加减乘除等算子。

2)过滤类：数据过滤(非结构化复杂条件过滤)，数据投影(结构化有模式数据过滤某些字段)。

3)数据迁移转换类：数据解析，格式转化(数据解析为<key，value>)数据合并，数据分组。

4)排序类：排序，top(n)。

5)复杂计算类：数据挖掘，级联处理。

其中，编号1到4的数据处理，可以封装为统一的算子，通过类SQL语法调用实现对非结构化数据的处理。简化了用户数据处理的操作。其中调用语句可以为：selectFUNCTION()from data_obj。本实施例中，将编号1-4支持的简单操作组合还可以支持更复杂的计算。

编号5的复杂计算，可以允许用户自定义FUNCTION。其中调用语句可以为selectFUNCTION()fromdata_obj。级联处理可以采用SQL查询的子查询语法实现，对此本实施例中并不做具体限定。

为了使本领域技术人员更加清楚的了解本发明，现将数据对象表示为OBJ(schema)，举例如下：

map(f：obj1-＞obj2)，将数据对象obj1映射为数据对象obj2。通过map的参数决定map的具体映射方式。

Obj1(field1，field3).join(obj2(field1，field2))，将数据对象Obj1的字段field1，field3和数据对象Obj2的字段field1，field2进行连接操作。

selectfilter(f：T＝＞Bool)fromobj，将过滤条件写在filter的参数列表中。

selectreduce(f：(T，T)＝＞T)fromobj，将多条记录按照一定条件合并为一条记录，相同key的求和或者取最大等操作。

selectcount(*)fromobj，计算数据对象的数据记录的数目。

search(k：K)select*fromobjwhereobj.k＝K，寻找数据记录中特定的key值。

Obj.save(path：string)；select*fromobjintopath；将当前数据对象持久化到参数设置文件系统的目录中。

selectsample(fraction：Float)from obj采样，按照一定规则，从当前数据对象采用出一定的数据样本。不同的采样规则可以用不同的函数名字表示，比如**sample。

本实施例中，将非结构化数据常做的一些操作封装为统一的算子，并设置一定的规则，用户只需要参考在SQL中调用function的方式调用和组装封装好的非结构化数据处理算子，便可以实现对非结构化数据的处理。唯一与关系型数据处理不同的地方，是需要用户指定特定的数据解析方式。

本实施例中，为了实现上述标准算子的调用，也可以封装到SQL语句中实现，语法如下：select FUNCTION()fromOBJ。经过解析，交给特定的执行引擎执行，实现非结构化数据的类SQL处理。

本实施例的有益效果包括：将非结构化数据处理分类，封装为统一的算子(数据处理函数)，并参考SQL标准语法设计出使用这些算子的语法，在类SQL语句中调用这些算子。将SQL数据处理思想应用到非结构化数据处理，采用这些封装的算子，可以减少重复性的工作——封装基本操作，组合基本操作实现多种复杂操作，减少重复性的工作。这样可以在不限制应用范围的前提下使得非结构化数据处理实现的复杂度大大降低。

实施例三

参见图3，本实施例中提供了一种数据的处理装置，包括：获取模块301，解析模块302，类SQL调用模块303和数据处理模块304。

获取模块301，用于获取非结构化数据的解析方式；

解析模块302，用于根据所述解析方式对所述非结构化数据进行解析，得到有模式的数据；

类SQL调用模块303，用于调用预先封装的处理非结构化数据的类SQL功能类；

数据处理模块304，用于根据所述类SQL功能类对所述有模式的数据进行处理。

可选地，所述预先封装的处理非结构化数据的类SQL功能类包括以下的一种或多种：统计类、过滤类、数据迁移转换类和排序类。

参见图4，在另一实施例中，所述装置还包括：

类SQL处理模块305，用于在所述获取模块301获取非结构化数据的解析方式之前，对非结构化数据进行类SQL处理，其中，所述类SQL处理包括：创建所述非结构化数据对应SQL标准中的表名，对应所述SQL标准中字段名，字段类型列表以及所述非结构化数据组件的解析方式。

优选地，所述非结构化数据的解析方式包括：非结构化数据的读取的解析方式和输出的方式两个类。

本实施例的有益效果是：通过将非结构化数据处理分类，封装为统一的算子(即数据处理函数)，并通过SQL调用，将SQL数据处理思想应用到非结构化数据处理，采用这些封装的算子，可以减少重复性的工作——封装基本操作，组合基本操作实现多种复杂操作，减少重复性的工作。这样可以在不限制应用范围的前提下使得非结构化数据处理实现的复杂度大大降低。

需要说明的是：上述实施例提供的数据的处理装置在执行数据处理时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

另外，上述实施例提供的数据的处理装置与数据的处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上实施例仅用以说明本发明的技术方案，而非对其进行限制。因此，在不背离本发明的精神及其实质的情况下，本领域技术人员可作出各种改变、替换和变型。很显然，但这些改变、替换和变型都应涵盖于本发明权利要求的保护范围之内。

Claims (10)

1.一种数据的处理方法，其特征在于，所述方法包括：

获取非结构化数据的解析方式；

根据所述解析方式对所述非结构化数据进行解析，得到有模式的数据；

调用预先封装的处理非结构化数据的类SQL功能类；

根据所述类SQL功能类对所述有模式的数据进行处理。

2.如权利要求1所述的方法，其特征在于，所述预先封装的处理非结构化数据的类SQL功能类包括以下的一种或多种：统计类、过滤类、数据迁移转换类和排序类。

3.如权利要求1所述的方法，其特征在于，所述获取非结构化数据的解析方式之前，还包括：

对非结构化数据进行类SQL处理，其中，所述类SQL处理包括：创建所述非结构化数据对应SQL标准中的表名，对应所述SQL标准中字段名，字段类型列表以及所述非结构化数据组件的解析方式。

4.如权利要求1所述的方法，其特征在于，所述非结构化数据的解析方式包括：非结构化数据的读取的解析方式和输出的方式两个类。

5.如权利要求1所述的方法，其特征在于，所述调用预先封装的处理非结构化数据的类SQL功能类，包括：

根据根据类SQL语法，调用和组装预先封装的处理非结构化数据的类SQL功能类。

6.一种数据的处理装置，其特征在于，所述装置包括

获取模块，用于获取非结构化数据的解析方式；

解析模块，用于根据所述解析方式对所述非结构化数据进行解析，得到有模式的数据；

类SQL调用模块，用于调用预先封装的处理非结构化数据的类SQL功能类；

数据处理模块，用于根据所述类SQL功能类对所述有模式的数据进行处理。

7.如权利要求6所述的装置，其特征在于，所述预先封装的处理非结构化数据的类SQL功能类包括以下的一种或多种：统计类、过滤类、数据迁移转换类和排序类。

8.如权利要求6所述的装置，其特征在于，所述装置还包括：

类SQL处理模块，用于在所述获取模块获取非结构化数据的解析方式之前，对非结构化数据进行类SQL处理，其中，所述类SQL处理包括：创建所述非结构化数据对应SQL标准中的表名，对应所述SQL标准中字段名字段类型列表以及所述非结构化数据组件的解析方式。

9.如权利要求6所述的装置，其特征在于，所述非结构化数据的解析方式包括：非结构化数据的读取解析方式和输出方式。

10.如权利要求6所述的装置，其特征在于，所述类SQL调用模块，具体用于：

根据根据类SQL语法，调用和组装预先封装的处理非结构化数据的类SQL功能类。

Images