CN109033324A - 一种数据处理系统及方法 - Google Patents

Abstract

本申请实施例提供了一种数据处理系统及方法，其中，该系统包括：模板管理模块，用于存储多种数据处理通用模板；模板构建模块，用于按照用户输入的脚本指令，获取所述脚本指令对应的数据处理通用模板，基于获取的数据处理通用模板构建数据处理定制模板，所述脚本指令依据待处理源数据的处理类型生成；数据输入模块，用于接收输入的所述待处理源数据，并将所述待处理源数据发送至数据处理模块；数据处理模块，用于接收到所述待处理源数据后，通过构建的所述数据处理定制模板对所述待处理源数据进行处理后输出。本申请实施例降低了对大量数据的处理难度。

Description

一种数据处理系统及方法

技术领域

本申请涉及大数据技术领域，具体而言，涉及一种数据处理系统及方法。

背景技术

如今，随着技术的发展，越来越多的企业或工厂都开始使用电子化管理，在这过程中就必然会产生大量的数据，如何将这些数据快速地导入数据库以便及时进行数据处理就成为了一个迫切需要解决的问题。

现有技术中，在大量数据导入数据库之前，会预先对这些大量数据进行预先处理，以确保这些数据能够满足预先设定的存储格式，由于这些大量数据可能来自不同的源数据库，且每个源数据库中的存储格式各不相同，在对这些数据进行预处理时，需要分别建立与各个数据对应的不同的处理方法，当有大量不同格式的数据需要进行预处理时，就会较为繁琐。

综上，目前对数据进行预处理时，需要建立与各个数据对应的不同的处理方法，在执行时较为繁琐。

发明内容

有鉴于此，本申请的目的在于提供一种数据处理系统及方法，以降低对大量数据的处理难度。

第一方面，本申请实施例提供了一种数据处理系统，包括：

模板管理模块，用于存储多种数据处理通用模板；

模板构建模块，用于按照用户输入的脚本指令，获取所述脚本指令对应的数据处理通用模板，基于获取的数据处理通用模板构建数据处理定制模板，所述脚本指令依据待处理源数据的处理类型生成；

数据输入模块，用于接收输入的所述待处理源数据，并将所述待处理源数据发送至数据处理模块；

所述数据处理模块，用于接收到所述待处理源数据后，通过构建的所述数据处理定制模板对所述待处理源数据进行处理后输出。

结合第一方面，本申请实施例提供了第一方面的第一种可能的实施方式，所述数据处理系统还包括：

子处理类型代码块生成模块，用于对各处理类型包含的子处理类型进行统计，得到子处理类型集，为所述子处理类型集中的每一子处理类型生成对应的子处理类型代码块，将所述子处理类型代码块发送至所述模板管理模块。

结合第一方面的第一种可能的实施方式，本申请实施例提供了第一方面的第二种可能的实施方式，所述模板管理模块，包括：

代码接收子模块，用于接收输入的子处理类型代码块，并将所述子处理类型代码块发送至所述通用模板生成子模块；

通用模板生成子模块，用于存储由所述子处理类型代码块和所述子处理类型代码块对应的子处理类型组成的数据处理通用模板。

结合第一方面，本申请实施例提供了第一方面的第三种可能的实施方式，所述数据输入模块在接收输入的所述待处理源数据之后，具体用于：

检测所述源数据是否符合预设格式，若否，按照预设格式对所述待处理源数据进行格式转换，并将格式转换后的待处理源数据发送至所述数据处理模块；

若是，将所述待处理源数据发送至所述数据处理模块。

结合第一方面，本申请实施例提供了第一方面的第四种可能的实施方式，所述待处理源数据包括多种类型的数据，所述数据输入模块包括多种类型的数据接口，每一类型的数据接口对应接收一类型的数据。

结合第一方面，本申请实施例提供了第一方面的第五种可能的实施方式，所述模板构建模块，包括：

指令接收子模块，用于接收所述用户输入的所述脚本指令，获取所述脚本指令中携带的对应的子处理类型；

模板调用子模块，用于按照所述子处理类型调用所述数据处理通用模板，并根据所述数据处理通用模板组成所述数据处理定制模板。

结合第一方面的第一种可能的实施方式，本申请实施例提供了第一方面的第六种可能的实施方式，所述模板构建模块，具体用于：

依据脚本指令中包含的处理类型，确定该处理类型包含的子处理类型；

依据各子处理类型之间的逻辑关系以及获取的数据处理通用模板，构建所述数据处理定制模板。

结合第一方面的第二种可能的实施方式，本申请实施例提供了第一方面的第七种可能的实施方式，所述数据处理系统还包括：

数据通信子模块，用于接收到数据处理通用模板更新指令时，将所述更新指令发送至所述模板管理模块，所述更新指令包括新的子处理类型代码块；

所述模板管理模块，还用于基于所述子处理类型代码块和所述子处理类型代码块对应的子处理类型组成并存储新的数据处理通用模板。

第二方面，本申请实施例提供了一种数据处理方法，所述方法包括：

接收输入的待处理源数据；

按照用户输入的脚本指令，获取所述脚本指令对应的预先存储的数据处理通用模板，基于获取的数据处理通用模板构建数据处理定制模板，所述脚本指令依据所述待处理源数据的处理类型生成；

通过构建的所述数据处理定制模板对所述待处理源数据进行处理后输出。

结合第二方面，本申请实施例提供了第二方面的第一种可能的实施方式，所述接收输入的待处理源数据之前，所述方法还包括：

对各处理类型包含的子处理类型进行统计，得到子处理类型集，为所述子处理类型集中的每一子处理类型生成对应的子处理类型代码块；

存储由所述子处理类型代码块和所述子处理类型代码块对应的子处理类型组成的数据处理通用模板。

与现有技术相比，本申请实施例提供的数据处理系统，包括：模板管理模块，用于存储多种数据处理通用模板；模板构建模块，用于按照用户输入的脚本指令，获取所述脚本指令对应的数据处理通用模板，基于获取的数据处理通用模板构建数据处理定制模板，所述脚本指令依据待处理源数据的处理类型生成；数据输入模块，用于接收输入的所述待处理源数据，并将所述待处理源数据发送至数据处理模块；数据处理模块，用于接收到所述待处理源数据后，通过构建的所述数据处理定制模板对所述待处理源数据进行处理后输出。

这样，在接收到输入的待处理源数据后，通过待处理源数据的处理类型直接调用预先存储的多种数据处理通用模板构建数据处理定制模板，并通过该数据处理定制模板对待处理源数据进行处理，这样即使对于编辑水平不高的用户，也可以简便的完成对待处理数据进行处理，从而降低了对大量数据的处理难度。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例所提供的第一种数据处理系统结构示意图；

图2示出了本申请实施例所提供的第二种数据处理系统结构示意图；

图3示出了本申请实施例所提供的第三种数据处理系统结构示意图；

图4示出了本申请实施例所提供的一种数据处理方法流程示意图。

图标：101-模板管理模块；102-模板构建模块；103-数据输入模块；104-数据处理模块；105-子处理类型代码块生成模块；106-数据通信模块。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供了一种数据处理系统，如图1所示，包括：

模板管理模块101，用于存储多种数据处理通用模板。

这些数据处理通用模板是指通过设定语言编写好的具有对数据进行简单处理的代码，比如数据删除、数据过滤和数据替换等，这些代码可是由该数据处理系统的开发人员在前期提前编写好，通过编写多种功能不一样的数据处理通用模板，使得这些数据处理通用模板在后期用户使用时，用来适用于各种需求的数据处理。

模板构建模块102，用于按照用户输入的脚本指令，获取脚本指令对应的数据处理通用模板，基于获取的数据处理通用模板构建数据处理定制模板，脚本指令依据待处理源数据的处理类型生成。

该数据处理系统在使用时，用户会根据待处理源数据的处理类型，通过设定的语言来编写脚本指令，并将该脚本指令输入至该数据处理系统中的模板构建模板，模板构建模板调用该脚本指令对应的，并将调用的这些数据处理通用模板进行组合排序后，构建成数据处理定制模板。

这里每个数据处理定制模板都对应一个对源数据进行处理的处理类型，这个处理类型包括多个子处理类型，每个子处理类型对应一个数据处理通用模板，这些子处理类型即为上述提到的删除数据、过滤数据和替换数据等。

这里用户编写的脚本指令使用了与待处理数据所处领域相关的语言，比如医学领域、农业领域、教育领域或建筑领域等，对于各个行业通用的处理则可以直接调用预先存储的数据处理通用模板。

比如，统计某家医院的病人信息，会按照医学领域来完成统计，在统计之前需要对一些错误数据进行删除，补入正确的数据，以及还可能需要将各个病人的信息都按照统一的格式进行编写，比如姓名-年龄-性别-病床-疾病类型等，这里的数据删除、数据替换、数据排序则为各个数据处理通用模板，而对该医院的病人信息完成最终的统计，则是涉及到这些数据处理通用模板的数据处理定制模板。

为了方便对上述编写脚本指令进行编写，本申请实施例引入一种脚本语言，下面是对该脚本语音的描述：

脚本语言是一种半编译半解释型语言，可以在运行时动态地编译和解释执行。用脚本语言编写的代码称为脚本。脚本由脚本引擎编译、解释、执行。脚本在加载时由编译器编译成内部数据结构(中间代码)，然后由解释器解释执行。各个脚本文件的编译、执行互相独立。

脚本语言支持一般编程语言的四要素：函数、变量、条件、循环。

脚本语言的要素：字面量、变量、内置函数、表达式、语句、用户自定义函数、常量。

脚本语言分为核心语言与函数库两部分，核心语言保持简单，其强大功能由丰富的函数库来提供。

脚本语言的语法在外层采用JSON语言的语法，以方便将代码与数据集成在同一个源文件中。

脚本语言的语法在内层采用类似C语言的语法，以方便新手快速学会该语言。

脚本语言源文件是一个Json文件，根对象通过键区分不同类别的语言实体。自定义语言实体是Json二级对象的元素。这些语言实体分为两大类：自定义函数和自定义常量。自定义常量分为标量和容器两大类。标量即原语类型。通过引入新的键可以扩充语言实体。

脚本语言自定义函数中，Json字符串表示简单语句，Json数组表示复合语句(块语句)。

脚本语言关键字：true、false、if、else_if、else、switch、case、default、sswitch、scase、sdefault、for、while、do_while、break、continue、return、try、catch。

脚本语言操作符包括：函数调用操作符()、创建操作符:＝、赋值操作符＝、逗号操作符,

脚本语言是一种动态类型语言，变量的类型检查在运行时进行，由内置函数负责。变量的类型不会显式地出现在代码中，变量的类型根据初始化表达式自动推导。变量的类型在运行时是可变的。

脚本语言支持的原语类型包括：空类型(Null)、布尔型(Boolean)、整型(Integer)、浮点型(Float)、字符串类型(String)。

脚本语言内置了基本容器类型：Vector、List、Map、Set、Multimap、Multiset、HashMap、HashSet、HashMultimap、HashMultiset，可以用Json数组对容器常量进行列表初始化。

脚本语言不支持用户自定义类型，函数库提供了丰富的内置类型，用户可以用函数库中的容器类型来模拟自定义类型。

脚本语言具有完全的反射能力，可以在运行时查询变量的类型信息。

脚本语言为空类型(Null)、布尔型(Boolean)、整型(Integer)、浮点型(Float)、字符串类型(String)提供字面量支持，数值型字面量支持数字分隔符。

脚本语言支持定义常量、变量、函数。常量在自定义函数之外定义，位于文件作用域中。变量在自定义函数之内定义。常量、变量、函数都被视作变量统一处理。内置函数与自定义函数被同等对待。

脚本语言为标量类型、容器类型、元数据类型提供常量定义支持。

脚本语言内置常量：null、.null、.script。

脚本语言对变量采用引用语义(少数原语类型采用值语义)。

脚本语言可以在运行时动态地创建变量、销毁变量。内置函数动态地创建变量可以简化脚本的编写。

脚本语言内置变量：.exit、.args、.ret。

脚本语言函数必须返回值，包括空值(null)。

脚本语言支持可变参数函数，支持函数重载，支持多返回值。函数可以嵌套调用，支持回调与递归。

脚本语言的表达式分为：字面量表达式、变量表达式、函数调用表达式、创建表达式、赋值表达式、逗号表达式。前两种为原子表达式，后四种为复合表达式。复合表达式中，函数调用表达式可以嵌套，创建表达式、赋值表达式、逗号表达式不可以嵌套。字面量表达式、变量表达式、函数调用表达式合称简单表达式。函数调用表达式的参数、创建表达式与赋值表达式的右值只能是简单表达式。逗号表达式的子表达式不能是逗号表达式。if语句、else_if语句中的表达式可以是任何布尔类型表达式。switch语句中的表达式可以是任何整型表达式。case语句中的表达式只能是整型字面量。sswitch中的表达式可以是任何字符串型表达式。scase中的表达式只能是字符串字面量。while语句与do_while语句中的表达式可以是任何不含创建表达式的布尔类型表达式。for语句中的第一个表达式可以是任何类型的表达式，第二个表达式可以是布尔类型的不含创建表达式的任何表达式，第三个表达式可以是不含创建表达式的任何表达式。范围for语句中的表达式可以是任何容器类型的表达式，元素可以是结构化绑定的变量名列表。return语句如果返回值，返回值表达式可以是任何表达式。

脚本语言支持条件与循环语句。支持整型与字符串型的switch语句。支持容器的范围for语句。

脚本语言的语句分类：空语句、表达式语句、结构化绑定语句、复合语句、控制语句、跳转语句。

脚本语言支持异常的抛出与截获。

脚本语言是一种动态作用域语言。在函数内可以访问调用栈中其他函数内的局部变量，从而简化了函数调用时的参数传递。

脚本语言支持块作用域，支持控制语句的控制作用域(类似C++)。脚本语言的作用域在编译时被组织成一个树形结构，在运行时被组织成一个栈。位于顶层的是全局作用域、文件作用域、线程作用域，然后是函数作用域、块作用域、控制作用域。

脚本语言内置函数位于全局作用域中，自定义函数与自定义常量位于文件作用域中。线程作用域存放线程管理的内置变量。函数作用域存放参数与返回值。控制作用域存放控制语句表达式中创建的变量。

脚本语言是基于栈的语言，脚本语言变量具有作用域生命周期，离开作用域后，变量自动销毁，相关资源自动释放。脚本语言不需要垃圾收集机制。

脚本语言中所有语言实体的名字位于同一个名字空间中。子孙作用域中的名字可以隐藏祖先作用域中的同名名字。名字均在运行时完成绑定。

脚本语言名字只能使用字母数字下划线小数点，第一个字符不能为数字，区分大小写。自定义名字不能含有小数点，由此避免名字隐藏。

脚本语言运行时环境由四部分组成：编译器、解释器、监视器、运行时库。

脚本语言运行时环境是actor(演员、工作者)的容器。一个脚本对应一个actor。actor调用编译器来编译脚本，调用解释器来执行脚本。脚本调用内置函数来完成具体工作。内置函数也可以反向调用脚本。

脚本监视器负责actor的管理。根据脚本的增减变化来添加、删除、重启actor。

具体地，如图2所示，数据处理系统还包括：

子处理类型代码块生成模块105，用于对各处理类型包含的子处理类型进行统计，得到子处理类型集，为子处理类型集中的每一子处理类型生成对应的子处理类型代码块，将子处理类型代码块发送至所述模板管理模块。

因为源数据的类型有多种多样，对一个源数据进行处理时，需要进行多种处理，比如一组源数据需要进行数据删除处理、数据填充处理以及数据排序处理，又比如另一组源数据需要进行数据删除处理、数据填充处理以及数据过滤处理等，则这两则数据均需要进行的子处理类型进行数据删除处理和数据填充处理，这两个就组成了子处理类型集，在实际应用中，子处理类型集包括多种多样的子处理类型，针对每个子处理类型的目的功能，为每个子处理类型生成对应的子处理代码块，这里的子处理代码块可以是通过C语言编写的函数。

可选地，模板管理模块，包括：

代码接收子模块，用于接收输入的子处理类型代码块，并将所述子处理类型代码块发送至通用模板生成子模块。

通用模板生成子模块，用于存储由子处理类型代码块和子处理类型代码块对应的子处理类型组成的数据处理通用模板。

子处理类型代码块生成模块将完成的子处理类型代码块发送至模板管理模块后，模块管理模块中的代码接收子模块将这些子处理类型代码块发送至模块管理模块中的通用模板生成子模块，通用模板生成子模块识别每个子处理类型代码块的含义，并根据其含义确定其对应的子处理类型，从而将子处理类型代码块和对应的子处理类型组合成数据处理通用模板，这个数据处理通用模板就是通过对应的子处理类型代码块来对数据进行处理的。

具体地，模板构建模块，包括：

指令接收子模块，用于接收用户输入的脚本指令，获取脚本指令中携带的对应的子处理类型。

用户在编写脚本指令时，会按照需要对待处理源数据进行的处理类型进编写，处理类型是包括多个子处理类型的，当指令接收子模块接收到该脚本指令后，获取到这些子处理类型。

模板调用子模块，用于按照子处理类型调用数据处理通用模板，并根据数据处理通用模板组成数据处理定制模板。

由于每个子处理类型都对应数据处理通用模板，模板调用子模块根据这些子处理类型调用这些子处理类型对应的各个数据处理通用模板。

可选地，模板构建模块，具体用于：

依据脚本指令中包含的处理类型，确定该处理类型包含的子处理类型。

依据各子处理类型之间的逻辑关系以及获取的数据处理通用模板，构建所述数据处理定制模板。

这里各子处理类型之间的逻辑关系是指在对待处理源数据完成与处理类型对应的处理过程中，各个子处理类类型的先后顺序，比如对待处理源数据是先进行数据删除处理还是先进行数据排序处理。

数据输入模块103，用于接收输入的待处理源数据，并将待处理源数据发送至数据处理模块104。

可选地，数据输入模块在接收输入的待处理源数据之后，具体用于：

检测源数据是否符合预设格式，若否，按照预设格式对待处理源数据进行格式转换，并将格式转换后的待处理源数据发送至所述数据处理模块。

若是，将待处理源数据发送至数据处理模块。

这里，待处理源数据包括多种类型的数据，对应的数据输入模块包括多种类型的数据接口，每一类型的数据接口对应接收一类型的数据，这里的数据接口并不是实体接口，而是对对应的数据类型进行识别的虚拟接口。

因为待处理源数据包括多种类型的数据，比如待处理源数据可以是结构话数据、半结构化数据或者非结构化数据，故对应的数据接口也包括多种类别。

此外，这里的数据输入模块可以接收各种文件类型的待处理源数据，比如word版、pdf版或者txt版。

当需要待处理源数据满足预设格式时，比如需要待处理源数据为txt版时，若接收的待处理源数据不是txt版时，就需要先对待处理源数据进行格式转换。

数据处理模块104，用于接收到待处理源数据后，通过构建的数据处理定制模板对待处理源数据进行处理后输出。

构建数据处理定制模板能够对待处理源数据进行处理，用户只需要简单的选择数据处理系统中预存的数据处理通用模板就可以对待处理数据进行处理，并将处理后符合需求的数据输出。

可选地，如图3所示，数据处理系统还包括：

数据通信子模块106，用于接收到数据处理通用模板更新指令时，将更新指令发送至模板管理模块，更新指令包括新的子处理类型代码块。

模板管理模块101，还用于基于子处理类型代码块和子处理类型代码块对应的子处理类型组成并存储新的数据处理通用模板。

此外，该当待处理源数据的数量庞大时，可以通过多个数据处理系统对该待处理数据进行并行处理，每个数据处理系统可以对负责处理该待处理源数据的一段数据。

该处理处理系统可以与各种数据存储器对接，可以接收各种数据存储器传输的数据，可以处理各种文件和消息格式，也可以接收在线数据和离线数据传输，而且支持自动化处理和交互式处理，即既可以自动化完成对待处理源数据的处理，也可以接收用户输出的指令，按照用户输入的指令对待处理数据进行处理。

本申请实施例还提供了一种数据处理方法，如图4所示，具体步骤包括S101～S103：

S101，接收输入的待处理源数据。

S102，按照用户输入的脚本指令，获取脚本指令对应的预先存储的数据处理通用模板，基于获取的数据处理通用模板构建数据处理定制模板，脚本指令依据待处理源数据的处理类型生成。

S103，通过构建的数据处理定制模板对待处理源数据进行处理后输出。

可选地，步骤S101中的接收输入的待处理源数据之前，该方法还包括：

对各处理类型包含的子处理类型进行统计，得到子处理类型集，为子处理类型集中的每一子处理类型生成对应的子处理类型代码块。

存储由子处理类型代码块和子处理类型代码块对应的子处理类型组成的数据处理通用模板。

可选地，该方法按照以下方式预先存储数据处理通用模板：

接收输入的子处理类型代码块，并将子处理类型代码块发送至所述通用模板生成子模块。

存储由所述子处理类型代码块和子处理类型代码块对应的子处理类型组成的数据处理通用模板。

可选地，步骤S101中的接收输入的待处理源数据之后，该方法还包括：

检测所述源数据是否符合预设格式，若否，按照预设格式对待处理源数据进行格式转换。

可选地，步骤S102中，基于获取的数据处理通用模板构建数据处理定制模板，包括：

接收用户输入的脚本指令，获取脚本指令中携带的对应的子处理类型。

按照子处理类型调用数据处理通用模板，并根据数据处理通用模板组成数据处理定制模板。

具体地，基于获取的数据处理通用模板构建数据处理定制模板，包括

依据脚本指令中包含的处理类型，确定该处理类型包含的子处理类型。

依据各子处理类型之间的逻辑关系以及获取的数据处理通用模板，构建数据处理定制模板。

可选地，该方法还包括：

接收到数据处理通用模板更新指令时，将更新指令发送至模板管理模块，更新指令包括新的子处理类型代码块。

基于子处理类型代码块和子处理类型代码块对应的子处理类型组成并存储新的数据处理通用模板。

与现有技术相比，本申请实施例提供的数据处理系统，包括：模板管理模块，用于存储多种数据处理通用模板；模板构建模块，用于按照用户输入的脚本指令，获取所述脚本指令对应的数据处理通用模板，基于获取的数据处理通用模板构建数据处理定制模板，所述脚本指令依据待处理源数据的处理类型生成；数据输入模块，用于接收输入的所述待处理源数据，并将所述待处理源数据发送至数据处理模块；数据处理模块，用于接收到所述待处理源数据后，通过构建的所述数据处理定制模板对所述待处理源数据进行处理后输出。

这样，在接收到输入的待处理源数据后，通过待处理源数据的处理类型直接调用预先存储的多种数据处理通用模板构建数据处理定制模板，并通过该数据处理定制模板对待处理源数据进行处理，这样即使对于编辑水平不高的用户，也可以简便的完成对待处理数据进行处理，从而降低了对大量数据的处理难度。

本申请实施例所提供的进行数据处理方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

本申请实施例所提供的数据处理系统可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离模块说明的单元可以是或者也可以不是物理上分开的，作为单元显示的模块可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种数据处理系统，其特征在于，包括：

模板管理模块，用于存储多种数据处理通用模板；

模板构建模块，用于按照用户输入的脚本指令，获取所述脚本指令对应的数据处理通用模板，基于获取的数据处理通用模板构建数据处理定制模板，所述脚本指令依据待处理源数据的处理类型生成；

数据输入模块，用于接收输入的所述待处理源数据，并将所述待处理源数据发送至数据处理模块；

所述数据处理模块，用于接收到所述待处理源数据后，通过构建的所述数据处理定制模板对所述待处理源数据进行处理后输出。

2.根据权利要求1所述的系统，其特征在于，所述数据处理系统还包括：

子处理类型代码块生成模块，用于对各处理类型包含的子处理类型进行统计，得到子处理类型集，为所述子处理类型集中的每一子处理类型生成对应的子处理类型代码块，将所述子处理类型代码块发送至所述模板管理模块。

3.根据权利要求2所述的系统，其特征在于，所述模板管理模块，包括：

代码接收子模块，用于接收输入的子处理类型代码块，并将所述子处理类型代码块发送至所述通用模板生成子模块；

通用模板生成子模块，用于存储由所述子处理类型代码块和所述子处理类型代码块对应的子处理类型组成的数据处理通用模板。

4.根据权利要求1所述的系统，其特征在于，所述数据输入模块在接收输入的所述待处理源数据之后，具体用于：

检测所述源数据是否符合预设格式，若否，按照预设格式对所述待处理源数据进行格式转换，并将格式转换后的待处理源数据发送至所述数据处理模块；

若是，将所述待处理源数据发送至所述数据处理模块。

5.根据权利要求1所述的系统，其特征在于，所述待处理源数据包括多种类型的数据，所述数据输入模块包括多种类型的数据接口，每一类型的数据接口对应接收一类型的数据。

6.根据权利要求1所述的系统，其特征在于，所述模板构建模块，包括：

指令接收子模块，用于接收所述用户输入的所述脚本指令，获取所述脚本指令中携带的对应的子处理类型；

模板调用子模块，用于按照所述子处理类型调用所述数据处理通用模板，并根据所述数据处理通用模板组成所述数据处理定制模板。

7.根据权利要求2所述的系统，其特征在于，所述模板构建模块，具体用于：

依据脚本指令中包含的处理类型，确定该处理类型包含的子处理类型；

依据各子处理类型之间的逻辑关系以及获取的数据处理通用模板，构建所述数据处理定制模板。

8.根据权利要求3所述的系统，其特征在于，所述数据处理系统还包括：

数据通信子模块，用于接收到数据处理通用模板更新指令时，将所述更新指令发送至所述模板管理模块，所述更新指令包括新的子处理类型代码块；

所述模板管理模块，还用于基于所述子处理类型代码块和所述子处理类型代码块对应的子处理类型组成并存储新的数据处理通用模板。

9.一种数据处理方法，其特征在于，所述方法包括：

接收输入的待处理源数据；

按照用户输入的脚本指令，获取所述脚本指令对应的预先存储的数据处理通用模板，基于获取的数据处理通用模板构建数据处理定制模板，所述脚本指令依据所述待处理源数据的处理类型生成；

通过构建的所述数据处理定制模板对所述待处理源数据进行处理后输出。

10.根据权利要求9所述的方法，其特征在于，所述接收输入的待处理源数据之前，所述方法还包括：

对各处理类型包含的子处理类型进行统计，得到子处理类型集，为所述子处理类型集中的每一子处理类型生成对应的子处理类型代码块；

存储由所述子处理类型代码块和所述子处理类型代码块对应的子处理类型组成的数据处理通用模板。