CN108509447A - 数据处理方法及装置 - Google Patents

Abstract

本发明公开了一种数据处理方法及装置，涉及信息技术领域，解决了当存在多组待处理数据时需要分别对各组数据进行代码编写而造成的工作量较大，从而导致数据处理效率较低的问题，所述方法包括：首先获取携带有算法标识信息的待处理数据；然后从配置文件中提取与所述算法标识信息对应的数据处理操作指令；再根据所述数据处理操作指令，对所述待处理数据进行处理。本发明适用于数据处理。

Description

数据处理方法及装置

技术领域

本发明涉及信息技术领域，尤其涉及一种数据处理方法及装置。

背景技术

近些年来，随着互联网的快速发展，大数据的应用越来越广泛，Spark是一种大数据分布式编程框架，用户可以通过spark分布式处理平台实现快速集群计算。而SparkDataframe(Spark数据框)是spark中的一种数据结构，能够提供丰富的API(ApplicationProgramming Interface，应用程序编程接口)，因而用户可以使用Dataframe进行多种数据处理。

目前，在通过Dataframe进行数据处理时，每次都需要通过人工方式，根据相应数据处理算法分别对每组数据编写代码，并重新打包后提交到spark分布式处理平台进行数据处理，大量重复的工作使得数据处理过程中的工作量增加，影响了数据处理的效率。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的数据处理方法及装置。

为了达到上述目的，本发明主要提供如下技术方案：

一方面，本发明提供了一种数据处理方法，该方法包括：

获取携带有算法标识信息的待处理数据；

从配置文件中提取与所述算法标识信息对应的数据处理操作指令；

根据所述数据处理操作指令，对所述待处理数据进行处理。

可选的，所述配置文件中还包含有与各个待处理数据来源分别对应的数据获取操作指令，所述获取携带有算法标识信息的待处理数据之前，所述方法还包括：

接收数据处理请求，所述数据处理请求中包含有所述待处理数据来源位置信息；

从配置文件中提取与所述待处理数据来源位置信息对应的数据获取操作指令；

所述获取携带有算法标识信息的待处理数据包括：

根据所述数据获取操作指令，从相应的数据来源位置获取携带有算法标识信息的待处理数据。

可选的，所述根据所述数据获取操作指令，从相应的数据来源位置获取携带有算法标识信息的待处理数据之后，所述方法还包括：

调用与所述数据来源位置信息对应的预置接口；

通过所述预置接口中的预置数据结构转换关系，将所述待处理数据转换为预置数据框结构的数据。

可选的，所述数据处理操作指令为join连接、聚合运算，结构化查询语言sql分析中的一种或多种。

可选的，所述根据所述数据处理操作指令，对所述待处理数据进行处理之后，所述方法还包括：

将处理后的数据进行输出并保存在预置存储区域内。

另一方面，本发明提供了一种数据处理装置，该装置包括：

获取单元，用于获取携带有算法标识信息的待处理数据；

提取单元，用于从配置文件中提取与所述算法标识信息对应的数据处理操作指令；

处理单元，用于根据所述数据处理操作指令，对所述待处理数据进行处理。

可选的，所述配置文件中还包含有与各个待处理数据来源分别对应的数据获取操作指令，所述装置还包括：接收单元，

所述接收单元，用于接收数据处理请求，所述数据处理请求中包含有所述待处理数据来源位置信息；

所述提取单元，还用于从配置文件中提取与所述待处理数据来源位置信息对应的数据获取操作指令；

所述获取单元，具体用于根据所述数据获取操作指令，从相应的数据来源位置获取携带有算法标识信息的待处理数据。

可选的，所述装置还包括：

调用单元，用于调用与所述数据来源位置信息对应的预置接口；

转换单元，用于通过所述预置接口中的预置数据结构转换关系，将所述待处理数据转换为预置数据框结构的数据。

可选的，所述数据处理操作指令为join连接、聚合运算，结构化查询语言sql分析中的一种或多种。

可选的，所述装置还包括：

输出单元，用于将运算后的数据进行输出；

保存单元，用于将所述输出的数据保存在预置存储区域内。

借由上述技术方案，本发明实施例提供的技术方案至少具有下列优点：

本发明提供的一种数据处理方法及装置，首先获取携带有算法标识信息的待处理数据，所述算法标识信息用于标识所述待处理数据需要的运算算法；然后从配置文件中提取与所述算法标识信息对应的数据处理操作指令，所述配置文件中包含有与各个算法标识信息分别对应的数据处理操作指令；再根据所述数据处理操作指令，对所述待处理数据进行处理。与现有技术相比，当存在多组待处理数据时，本发明实施例无需分别对每组数据进行代码编写，从而大大减少了数据处理过程中的工作量，提高了数据处理的效率。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的一种数据处理方法流程示意图；

图2示出了本发明实施例提供的另一种数据处理方法流程示意图；

图3示出了本发明实施例提供的一种数据处理的过程示意图；

图4示出了本发明实施例提供的一种数据处理装置结构示意图；

图5示出了本发明实施例提供的另一种数据处理装置结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明实施例提供的一种数据处理方法，如图1所示，该方法包括：

101、获取携带有算法标识信息的待处理数据。

其中，所述运算标识信息可以为join运算的标识信息、聚合运算的标识信息、排序运算的标识信息等，所述算法标识信息用于标识所述待处理数据需要的运算算法，而所述运算算法可以为join(字符串)运算、聚合运算、分组运算、排序运算等，所述数据可以为数字型数据、字节型数据、文本型数据等，本发明实施例不做限定。

需要说明的是，对于本发明实施例的执行主体可以为配置在spark平台中，用于数据处理的装置，当该装置接收到需要进行数据处理操作信息时，说明此时需要获取待处理数据，则触发获取携带有算法标识信息的待处理数据，进而实现数据处理。

102、从配置文件中提取与所述算法标识信息对应的数据处理操作指令。

其中，所述配置文件中包含有与各个算法标识信息分别对应的数据处理操作指令，而所述数据处理操作指令可以为用于数据运算等的处理程序。

具体地，所述步骤102可以为通过将预置接口进行预处理，以使得预置接口能够进行文件配置，进而通过预处理后的预置接口提取数据处理操作。例如，配置文件中包含有算法标识信息1对应的数据处理操作指令1，和算法标识信息2对应的数据处理操作指令2，当获取到携带有算法标识信息2的待处理数据时，则从配置文件中提取数据处理操作指令2。

103、根据所述数据处理操作指令，对所述待处理数据进行处理。

例如，待运算数据为：

var arr＝new Array(2)

arr[0]＝″Michael″

arr[1]＝″Jack″

arr[2]＝″Hank″

通过从配置文件中提取对应的数据处理操作指令为document.write(arr.join(″.″))，则根据该运算程序对待处理数据进行处理得到：Michael.Jack.Hank。

本发明提供的一种数据处理方法，与现有的分别对每个待处理数据进行编写代码从而实现数据处理的方式相比，本发明实施例通过获取携带有算法标识信息的待处理数据，然后从配置文件中提取与算法标识信息对应的数据处理操作指令，并根据得到的数据处理操作指令，对待处理数据进行处理，因而当存在多组待处理数据时，无需分别对每组数据进行代码编写，减少了数据处理过程中的工作量，提高了数据处理的效率。

具体的，本发明实施例提供了另一种数据处理方法，如图2所示，该方法包括：

201、接收数据处理请求。

其中，所述数据处理请求中包含有所述待处理数据来源位置信息，而所述数据来源位置信息可以为分布式系统位置信息、数据库位置信息、本地文件位置信息等。所述数据的概念解释可以参考步骤101中的相应描述，在此不再赘述。

202、从配置文件中提取与所述待处理数据来源位置信息对应的数据获取操作指令。

其中，所述数据获取操作指令可以为用于指导数据处理系统从相应的位置获取待处理数据的处理程序。例如，配置文件中包含有分布式系统位置信息对应的数据获取操作指令a、数据库位置信息对应的数据获取操作指令b、本地文件位置信息对应的数据获取操作指令c，当接收的数据处理请求中包含有数据库位置信息时，则从配置文件中提取与数据库位置信息对应的数据获取操作指令c，以便于进一步获取待处理数据。

对于本发明实施例，通过预先将数据获取操作指令封装保存在配置文件中，并在需要获取待处理数据时通过调用相应的数据获取操作指令即可，从而提高了数据获取的准确性和数据处理的效率。

203、根据所述数据获取操作指令，从相应的数据来源位置获取携带有算法标识信息的待处理数据。

其中，所述算法标识信息用于标识所述待处理数据需要的运算算法。

对于本发明实施例，所述步骤203之后，所述方法还包括：调用与所述数据来源位置信息对应的预置接口；通过所述预置接口中的预置数据结构转换关系，将所述待处理数据转换为预置数据框结构的数据。其中，所述数据框结构可以为dataframe结构。

需要说明的是，对于本发明实施例可以预先在spark平台中通过文件进行配置，以使得在spark平台中包含有加载配置部分，而加载配置部分的配置文件中包含有数据获取操作指令，从而当需要进行数据处理时，加载配置部分可以调用预置API从相应的位置获取待处理数据，且在获取到待处理数据后，根据预置接口中一一对应的数据结构转换关系，将待处理数据转换为dataframe结构，并将待处理数据存放在dataframe中。例如，在spark分布式处理平台中预先设置，位置信息为分布式系统位置信息时对应的预置接口为接口1，位置信息为数据库位置信息时对应的预置接口为接口2，则当接收到含有分布式系统位置信息的数据处理请求时，加载配置部分调用与分布式系统位置信息对应的接口1获取待处理数据并将数据转换为dataframe结构，然后将数据存放在dataframe中，以便于在dataframe中进一步对数据进行使用处理。

对于本发明实施例，通过预先设置加载配置部分，在根据数据的位置信息调用相应的预置接口获取待处理数据后，并将数据转换为统一的dataframe结构，无需对各个待处理数据依次进行数据结构的转换，从而提高了数据处理的效率。

204、从配置文件中提取与所述算法标识信息对应的数据处理操作指令。

其中，所述配置文件中包含有与各个算法标识信息分别对应的数据处理操作指令。所述数据处理操作指令的概念解释可以参考步骤102中的相应描述，在此不再赘述。

对于本发明实施例，通过获取携带有算法标识信息的待处理数据，并根据算法标识信息从配置文件中提取对应的数据处理操作指令，避免了获取到与待处理数据的运算不相符的操作指令的问题，从而提高了数据处理的准确率。

对于本发明实施例，可以将各个数据处理需要的代码进行编写，而后打包成可运行的程序保存在配置文件中，从而在数据处理时可以通过预处理后的预置接口进行配置传输配置文件，完成相应的数据处理。通过将数据处理需要运行的程序进行编写，并保存在配置文件中，使得在数据处理时只需要将配置文件通过预处理后的预置接口进行配置传输即可，无需分别对各个待处理数据进行代码编写，大大减少了数据处理过程中的工作量，节约了资源且提高了数据处理的效率。

205、根据所述数据处理操作指令，对所述待处理数据进行处理。

例如，待处理数据为list[″a″，″b″，″c″]，则根据数据处理操作指令中的运算程序list.join()，对该数据进行join运算，得到字符串a，b，c。

206、将处理后的数据进行输出并保存在预置存储区域内。

其中，所述预置存储区域可以为spark平台中的数据存储库，也可以为本地数据存储库等，本发明实施例不做限定。

对于本发明实施例，以在spark平台中对数据进行join运算为例，具体数据处理过程可以如图3所示，当需要进行数据处理时，首先接收数据处理请求，而后通过在spark平台中预先设置的加载配置调取相应的预置接口获取待处理数据，将数据结构转换为dataframe结构后保存在dataframe中，再通过预处理后的预置接口从配置文件中提取用于join运算的数据处理操作指令，然后根据join运算程序对数据进行join运算，最后通过输出配置将已经完成join运算的数据输出并保存在预置存储位置中，以便对完成处理的数据进行使用。

本发明提供的另一种数据处理方法，与现有的分别对每个待处理数据进行编写代码从而实现数据处理的方式相比，本发明实施例通过接收数据处理请求，并从配置文件中提取与待处理数据来源位置信息对应的数据获取操作指令，然后根据数据获取操作指令，从相应的数据来源位置获取携带有算法标识信息的待处理数据，之后从配置文件中提取与所述算法标识信息对应的数据处理操作指令，根据所述数据处理操作指令，对所述待处理数据进行处理，将处理后的数据进行输出并保存在预置存储区域内，因而当存在多组待处理数据时，无需分别对每组数据进行代码编写，减少了数据处理过程中的工作量，提高了数据处理的效率。

进一步地，作为图1所示方法的具体实现，本发明实施例提供了一种数据处理优化装置，如图4所示，所述装置包括：获取单元31、提取单元32、处理单元33。

所述获取单元31，可以用于获取携带有算法标识信息的待处理数据。

所述提取单元32，可以用于从配置文件中提取与所述算法标识信息对应的数据处理操作指令。

所述处理单元33，可以用于根据所述数据处理操作指令，对所述待处理数据进行处理。

需要说明的是，本发明实施例提供的一种数据处理装置所涉及各功能单元的其他相应描述，可以参考图1的对应描述，在此不再赘述。

本发明提供的一种数据处理装置，与现有的分别对每个待处理数据进行编写代码从而实现数据处理的方式相比，本发明实施例通过获取携带有算法标识信息的待处理数据，然后从配置文件中提取与算法标识信息对应的数据处理操作指令，并根据得到的数据处理操作指令，对待处理数据进行处理，因而当存在多组待处理数据时，无需分别对每组数据进行代码编写，减少了数据处理过程中的工作量，提高了数据处理的效率。

进一步地，作为图2所示方法的具体实现，本发明实施例提供了另一种数据处理装置，如图5所示，所述装置包括：获取单元41、提取单元42、处理单元43。

所述获取单元41，可以用于获取携带有算法标识信息的待处理数据。

所述提取单元42，可以用于从配置文件中提取与所述算法标识信息对应的数据处理操作指令。

所述处理单元43，可以用于根据所述数据处理操作指令，对所述待处理数据进行处理。

进一步地，上述配置文件中还包含有与各个待处理数据来源分别对应的数据获取操作指令，所述装置还包括：接收单元44。

所述接收单元44，可以用于接收数据处理请求。

所述提取单元42，还可以用于从配置文件中提取与所述待处理数据来源位置信息对应的数据获取操作指令。

所述获取单元41，具体可以用于根据所述数据获取操作指令，从相应的数据来源位置获取携带有算法标识信息的待处理数据。

进一步地，所述装置还包括：

调用单元45，可以用于调用与所述数据来源位置信息对应的预置接口。

转换单元46，可以用于通过所述预置接口中的预置数据结构转换关系，将所述待处理数据转换为预置数据框结构的数据。

进一步地，所述装置还包括：输出单元47、保存单元48。

所述输出单元47，可以用于将运算后的数据进行输出。

所述保存单元48，可以用于将所述输出单元47输出的数据保存在预置存储区域内。

需要说明的是，本发明实施例提供的另一种数据处理装置所涉及各功能单元的其他相应描述，可以参考图2的对应描述，在此不再赘述。

本发明提供的另一种数据处理装置，与现有的分别对每个待处理数据进行编写代码从而实现数据处理的方式相比，本发明实施例通过接收数据处理请求，并从配置文件中提取与待处理数据来源位置信息对应的数据获取操作指令，然后根据数据获取操作指令，从相应的数据来源位置获取携带有算法标识信息的待处理数据，之后从配置文件中提取与所述算法标识信息对应的数据处理操作指令，根据所述数据处理操作指令，对所述待处理数据进行处理，将处理后的数据进行输出并保存在预置存储区域内，因而当存在多组待处理数据时，无需分别对每组数据进行代码编写，减少了数据处理过程中的工作量，提高了数据处理的效率。

所述数据处理装置包括处理器和存储器，上述获取单元、提取单元、处理单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来解决现有技术中会限制业务发展以及会对整个页面的布局、排版造成影响的问题。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序代码：获取携带有算法标识信息的待处理数据；从配置文件中提取与所述算法标识信息对应的数据处理操作指令；根据所述数据处理操作指令，对所述待处理数据进行处理。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

获取携带有算法标识信息的待处理数据，所述算法标识信息用于标识所述待处理数据需要的运算算法；

从配置文件中提取与所述算法标识信息对应的数据处理操作指令，所述配置文件中包含有与各个算法标识信息分别对应的数据处理操作指令；

根据所述数据处理操作指令，对所述待处理数据进行处理。

2.根据权利要求1所述的方法，其特征在于，所述配置文件中还包含有与各个待处理数据来源分别对应的数据获取操作指令，所述获取携带有算法标识信息的待处理数据之前，所述方法还包括：

接收数据处理请求，所述数据处理请求中包含有所述待处理数据来源位置信息；

从配置文件中提取与所述待处理数据来源位置信息对应的数据获取操作指令；

所述获取携带有算法标识信息的待处理数据包括：

根据所述数据获取操作指令，从相应的数据来源位置获取携带有算法标识信息的待处理数据。

3.根据权利要求2所述的方法，其特征在于，所述根据所述数据获取操作指令，从相应的数据来源位置获取携带有算法标识信息的待处理数据之后，所述方法还包括：

调用与所述数据来源位置信息对应的预置接口；

通过所述预置接口中的预置数据结构转换关系，将所述待处理数据转换为预置数据框结构的数据。

4.根据权利要求1所述的方法，其特征在于，所述数据处理操作指令为join连接、聚合运算，结构化查询语言sql分析中的一种或多种。

5.根据权利要求1所述的方法，其特征在于，所述根据所述数据处理操作指令，对所述待处理数据进行处理之后，所述方法还包括：

将处理后的数据进行输出并保存在预置存储区域内。

6.一种数据处理装置，其特征在于，包括：

获取单元，用于获取携带有算法标识信息的待处理数据，所述算法标识信息用于标识所述待处理数据需要的运算算法；

提取单元，用于从配置文件中提取与所述算法标识信息对应的数据处理操作指令，所述配置文件中包含有与各个算法标识信息分别对应的数据处理操作指令；

处理单元，用于根据所述数据处理操作指令，对所述待处理数据进行处理。

7.根据权利要求6所述的装置，其特征在于，所述配置文件中还包含有与各个待处理数据来源分别对应的数据获取操作指令，所述装置还包括：接收单元，

所述接收单元，用于接收数据处理请求，所述数据处理请求中包含有所述待处理数据来源位置信息；

所述提取单元，还用于从配置文件中提取与所述待处理数据来源位置信息对应的数据获取操作指令；

所述获取单元，具体用于根据所述数据获取操作指令，从相应的数据来源位置获取携带有算法标识信息的待处理数据。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

调用单元，用于调用与所述数据来源位置信息对应的预置接口；

转换单元，用于通过所述预置接口中的预置数据结构转换关系，将所述待处理数据转换为预置数据框结构的数据。

9.根据权利要求6所述的装置，其特征在于，所述数据处理操作指令为join连接、聚合运算，结构化查询语言sql分析中的一种或多种。

10.根据权利要求6所述的装置，其特征在于，所述装置还包括：

输出单元，用于将运算后的数据进行输出；

保存单元，用于将所述输出的数据保存在预置存储区域内。