CN108021400A - 数据处理方法及装置、计算机存储介质及设备 - Google Patents

Abstract

一种数据处理方法，该方法包括步骤：获取程序运行请求，响应程序运行请求，读取任务标识对应待处理任务中输入表身份标识信息对应的待处理输入数据、待运行程序以及运行待运行程序所需的参数信息；读取作业程序；通过作业程序启动沙箱机制并调用策略文件，在沙箱机制下，根据待处理输入数据、参数信息以及策略文件运行待运行程序，获得待运行程序对应的运行结果并输出。由于是根据策略文件在沙箱机制下运行待运行程序，可确保云计算平台在运行待运行程序过程中的安全，且即使在多租户的方式下运行多用户分别对应的待运行程序，在沙箱机制下能安全运行各待运行程序，从而提高云计算平台的安全性。

Description

数据处理方法及装置、计算机存储介质及设备

技术领域

本发明涉及计算机信息处理技术领域，特别涉及一种数据处理方法及装置、计算机存储介质及设备。

背景技术

EMR(Elastic MapReduce，弹性MapReduce)为云计算平台提供的PAAS(Platform-as-a-Service，平台即服务)层大数据服务，MapReduce为Hadoop(分布式系统基础架构)的计算框架。用户在控制台提出创建EMR集群后，后台会自动在云上为用户创建专属集群，由于是专属集群(为指定的用户提供服务，其他用户无法使用)，用户可以在专属集群上做任意操作，包括运行MapReduce程序，指定的用户需要承担该集群的所有费用，成本高。

后续提出的通过多租户的方式帮助用户处理云端的海量数据，各用户可分摊费用，减少成本。然而，在云计算平台上通过多租户的方式为用户提供服务的过程中，在多租户平台上，由于多个用户共享一个平台，给平台的安全性带来了极大的挑战，如此平台存在较大的安全风险。

发明内容

基于此，有必要针对目前云计算平台存在安全风险的问题，提出一种数据处理方法及装置、计算机存储介质及设备。

提供一种数据处理方法，包括以下步骤：

获取程序运行请求，其中，所述程序运行请求携带待处理任务的任务标识；

响应所述程序运行请求，读取所述任务标识对应所述待处理任务中输入表身份标识信息对应的待处理输入数据、待运行程序以及运行所述待运行程序所需的参数信息；

读取作业程序；

通过所述作业程序启动沙箱机制并调用策略文件，在所述沙箱机制下，根据所述待处理输入数据、所述参数信息以及所述策略文件运行所述待运行程序，获得所述待运行程序对应的运行结果并输出。

本发明还提供一种数据处理装置，包括：

请求获取模块，用于获取程序运行请求，其中，所述程序运行请求携带待处理任务的任务标识；

信息读取模块，用于响应所述程序运行请求，读取所述任务标识对应所述待处理任务中输入表身份标识信息对应的待处理输入数据、待运行程序以及运行所述待运行程序所需的参数信息；

作业读取模块，用于读取作业程序；

运行模块，用于通过所述作业程序启动沙箱机制并调用策略文件，在所述沙箱机制下，根据所述待处理输入数据、所述参数信息以及所述策略文件运行所述待运行程序，获得所述待运行程序对应的运行结果并输出。

一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任意一项方法的步骤。

一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时上述任意一项方法的步骤。

上述数据处理方法及装置、计算机存储介质以及设备，通过获取待处理程序包中的自定义编写的待运行程序、参数信息、待处理输入数据、策略文件以及作业程序，然后通过作业程序，根据待处理输入数据、参数信息以及策略文件运行待运行程序，获得待运行程序对应的运行结果并输出。由于是根据策略文件在沙箱机制下运行待运行程序，可确保云计算平台在运行待运行程序过程中的安全，且即使在多租户的方式下运行多用户分别对应的待运行程序，在沙箱机制下能安全运行各待运行程序，从而提高云计算平台的安全性。

附图说明

图1为本发明一个实施例的工作环境示意图；

图2为一个实施例中的云计算平台上服务器的组成结构示意图；

图3为一个实施例的数据处理方法的流程示意图；

图4为另一个实施例的数据处理方法的流程示意图；

图5为另一个实施例的数据处理方法的子流程示意图；

图6为云计算平台提供的一实施例的交互界面图；

图7为云计算平台实现一实施例的数据处理方法的交互图；

图8为输入表身份标识信息和输出表身份标识信息分别映射到数据存储路径的原理图；

图9为沙箱机制下运行程序的原理框图；

图10为一个实施例的数据处理装置的模块示意图；

图11为另一个实施例的数据处理装置的模块示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

图1示出了本发明一个实施例中的工作环境示意图，如图1所示，其工作环境涉及终端10和服务器20，终端10和服务器20通过网络30连接，终端10及服务器20可以通过网络30进行通信。用终端10可显示服务器20的交互界面，户可通过在交互界面对服务器20运行待运行程序所需的参数设置等，且可通过操作终端10生成程序运行请求并发送给服务器20。服务器20在获取到程序运行请求后，响应程序运行请求，可运行待运行程序。该终端10可以是任何一种能够实现智能输入输出以及启动应用的设备，例如，台式电脑或移动终端，移动终端可以是智能手机、平板电脑、车载电脑、穿戴式智能设备等。该服务器20可以是接收终端10发送的程序运并运行待运行程序的云计算平台(可以是公有云计算平台、私有云计算平台或混合云计算平台)所在的服务器；服务器20可以为一个或多个。本实施例涉及的是云计算平台上服务器进行数据处理的方案。

服务器20在一个实施例中的内部结构图如图2所示。该服务器20包括通过系统总线连接的处理器、存储介质、网络接口和内存。其中，服务器20的存储介质存储有操作系统和计算机可读请求，该计算机刻度请求在被处理器执行时，可使得处理器实现一种数据处理方法。服务器20的处理器用于提供计算和控制能力，支撑整个服务器20的运行。服务器20的内存中可储存有计算机可读请求，该计算机可读请求被处理器执行时，可使得处理器执行一种数据处理方法。服务器20的网络接口用于与网络30连接和通信。

请参阅图3，一个实施例中的数据处理方法，可应用于云计算平台上，云计算平台可以为公有云计算平台、私有云计算平台或混合云计算平台，包括以下步骤S310至步骤S340。

S310：获取程序运行请求。

程序运行请求携带待处理任务的任务标识。待处理任务是指还未被处理等待被处理的任务，任务可以理解为进行某项处理工作的信息集合。云计算平台可接收到各种各样的任务执行请求(本实施例中，为携带待处理任务的任务标识的程序运行请求)，根据任务执行请求中携带的任务标识可执行对应任务中的处理工作，例如，可以认为云计算平台运行某一个算法的程序为执行一项任务，任务中包括了执行该算法的程序所需的信息集合，具体的一个示例中，针对词频统计，云计算平台在接收到用于请求统计词频的程序运行请求时，则表示需要执行词频统计的任务，该任务中包括了执行词频统计所需的程序等。具体地，可通过对云计算平台提供的运行界面上的“运行”虚拟按键进行操作，生成程序运行请求，从而，云计算平台获取程序运行请求。

S320：响应程序运行请求，读取任务标识对应待处理任务中输入表身份标识信息对应的待处理输入数据、待运行程序以及运行待运行程序所需的参数信息。

由于在云计算平台中，预先生成了任务标识对应的待处理任务，等待处理即可，该待处理任务中对应有输入表身份标识信息、待运行程序以及运行待运行程序所需的参数信息，在接收到程序运行请求之后，即可对上述待处理任务进行处理，首先从待处理任务中读取这些信息。其中，待处理输入数据是为运行待运行程序提供的数据，可以使文本、训练样本等数据，例如，可以使一篇文章，可为运行词频统计程序提供数据，词频统计程序根据该文章，可统计该文章中各词的词频。待运行程序为针对待处理数据实现某种功能的代码，不同的待运行程序对应实现不同的功能，从而得到的运行结果也可能不同。例如，上述的词频统计程序，即为实现对文章中各词的出现的频次进行统计的功能。参数信息可以包括Map类、Reduce类、Map待运行子程序的Key(键)输出格式、Map待运行子程序的Value(值)输出格式、Reduce待运行子程序的Key(键)输出格式以及Reduce待运行子程序的Value(值)输出格式。一个实施例中，待运行程序可以为根据待处理输入数据自定义的程序，即可满足不同用户的个性化需求。

S330：读取作业程序。

作业程序能调用其他程序的程序，例如，对于词频统计算法的程序，可在作业程序中执行，即通过作业程序可调用词频统计算法的程序实现词频统计。在云计算平台上，预先存储有作业程序，通过作业程序可运行各种待运行程序。在一个示例中，作业程序可以为JOB程序。

S340：通过作业程序启动沙箱机制并调用策略文件，在沙箱机制下，根据待处理输入数据、参数信息以及策略文件运行待运行程序，获得待运行程序对应的运行结果并输出。

在读取作业程序后，即可通过作业程序启动沙箱机制(JAVA沙箱验证机制)，沙箱是一个限制程序运行的环境，限制程序运行，在沙箱机制下运行待运行程序，一方面可以保护系统资源，另一方面也是为了保护待运行程序自己。沙箱主要限制系统资源访问，即限制系统访问的权限，例如，可以限制对CPU、内存、文件系统以及网络中任意系统资源进行访问，不同的沙箱对系统资源的限制也可能不一样。在需要启动沙箱时，都可以指定需要启动的沙箱，也可以指定安全策略。策略文件是控制沙箱的管理要素，一个策略文件可以包括一个或多个保护域(用来组合代码源和权限，例如，保护域声明了代码A可以做权限B这样的事情)的项，策略文件完成了程序权限的指定任务。

在启动沙箱机制后，即可在沙箱机制下根据待处理输入数据、参数信息以及策略文件运行待运行程序，从而可确保待运行程序在策略文件制定的保护域的情况下运行，以限制待运行程序的权限，防止其执行策略文件以外的权限，提高安全性。

上述数据处理方法，通过云计算平台获取待处理程序包中的自定义编写的待运行程序、参数信息、待处理输入数据、策略文件以及作业程序，然后通过作业程序，根据待处理输入数据、参数信息以及策略文件运行待运行程序，获得待运行程序对应的运行结果并输出。由于是根据策略文件在沙箱机制下运行待运行程序，可确保云计算平台在运行待运行程序过程中的安全，且即使在多租户的方式下运行多用户分别对应的待运行程序，在沙箱机制下能安全运行各待运行程序，从而提高云计算平台的安全性。

在其中一个实施例中，在沙箱机制下，根据待处理输入数据、参数信息以及策略文件运行待运行程序，获得待运行程序对应的运行结果并输出的方式包括：通过作业程序，根据待处理输入数据以及参数信息运行待运行程序，并根据策略文件对待运行程序进行权限验证；当待运行程序通过策略文件下的权限验证时，则获得运行待运行程序对应的运行结果并输出。

由于策略文件是为了限制待运行程序的权限，例如，限制某些系统资源的访问权限，若运行待运行程序过程中，有需要策略文件以外的权限，例如，策略文件限制文件系统上的文件a是只读的，但是执行待运行程序时需要对文件a写操作，则根据策略文件对待运行程序进行权限验证时，是不能通过权限验证的，即验证失败，若待运行程序能通过权限验证，说明该待运行程序是在策略文件限定的权限下可以执行的，即可获得运行待运行程序对应的运行结果并输出，确保云计算平台的安全性。

在本实施例中，当待运行程序未通过策略文件下的权限验证时，即验证失败时，给出程序运行出错提示信息，以提醒用户自定义编写的待运行程序中被云计算平台的策略文件限制的程序，不能运行，以便用户了解。

请参阅图4，在其中一个实施例中，获取程序运行请求的步骤S310之前，还包括步骤S301-S304。S301-S304的步骤为云计算平台在获取到程序运行请求之前的信息设置并生成待处理任务的过程。

S301：获取输入表身份标识信息。

身份标识信息能唯一标识对象的身份，输入表身份标识信息即能唯一标识输入表的身份。在本实施例中，预先在云计算平台上建立了输入表，且输入表中包括待处理数据，在获知输入表身份标识信息之后，即可根据输入表身份标识信息获知对应的输入表，也就可获知输入表中的待处理输入数据，因此，本实施了中生成待处理任务时，获取输入表身份标识信息即可。具体地，用户可选择输入表身份标识信息，可通过在云计算平台提供的交互界面上的输入表输入口选择输入表身份标识信息，云计算平台即可获取用户选择输入的输入表身份标识信息。

S302：获取待处理程序包，解析待处理程序包获得待运行程序。

待处理程序包根据待运行程序打包生成的，便于上传，可以对其进行解析即可获得可以运行的待运行程序。具体地，用户可选择输入待处理包，可通过在云计算平台提供的交互界面上的上传包的输入口选择待处理程序包，云计算平台即可获取到待处理程序包，解析待处理程序包获得待运行程序。

S303：获取运行待运行程序所需的参数信息。

用户可对运行待运行程序所需的参数信息进行设置，可通过在云计算平台提供的交互界面上的参数信息输入口分别设置参数信息，云计算平台即可获取用户设置的参数信息。

S304：根据输入表身份标识信息、待运行程序以及参数信息生成待处理任务。

其中，待处理任务与任务标识对应，待处理输入数据与待处理程序包对应，即待处理程序包中的待运行程序是执行待处理输入数据实现对应的功能。获取到输入表身份标识信息、待运行程序以及参数信息后，云计算平台即可根据输入表身份标识信息、待运行程序以及参数信息生成待处理任务，即待处理任务中包括输入表身份标识信息、待运行程序以及参数信息。在获知任务标识后，即可定位到任务标识对应的待处理任务，即可获取到待处理任务中的输入表身份标识信息，后续可根据输入表身份标识信息获知对应的输入表对应的待处理输入数据。

在其中一个实施例中，读取任务标识对应待处理任务中输入表身份标识信息对应的待处理输入数据的方式包括：获取输入表身份标识信息与数据存储路径之间的对应关系；根据输入表身份标识信息以及对应关系，获取输入表身份标识信息对应的数据存储路径；从输入表身份标识信息对应的数据存储路径中读取数据，获得输入表身份标识信息对应的待处理输入数据。

一方面，待处理数据在输入表中存储在数据库中，另一方面，待处理数据还存储在文件系统中对应的存储路径中，在本实施例中，通过表格形式封装待处理数据，只需要获取到输入表身份标识信息，根据预先设置的输入表身份标识信息与数据存储路径之间的对应关系，即可路由到输入表身份标识信息对应的数据存储路径，即存储输入表中待处理输入数据的存储路径，然后从输入表身份标识信息对应的数据存储路径中读取数据，即可获得输入表身份标识信息对应的待处理输入数据。通过输入表身份标识信息路由到存储待处理输入数据的存储路径，而不是直接提供存储路径，提高安全性。

在其中一个实施例中，获取输入表身份标识信息之前，还包括步骤：获取输入的待处理输入数据；将待处理输入数据封装成表，建立输入表，输入表对应输入表身份标识信息。

即在获取输入表身份标识信息之前，还需要建立输入表。具体地，用户可通过云计算平台提供的另一个界面实现待处理输入数据的输入，即可对云计算平台提供的另一个界面上的新建输入表的虚拟按键进行操作，弹出可输入数据的界面，用户可在该界面上输入待处理输入数据例如文章，如此，云计算平台即可获取输入的待处理输入数据，然后将待处理输入数据封装成表，建立输入表，输入表对应输入表身份标识信息，通过该输入表身份标识信息可查找到对应的输入表，从而可获知输入表中的待处理输入数据，后续即可将该待处理输入数据存储对应的存储路径中。

在其中一个实施例中，将待处理输入数据封装成表，建立输入表之后，获取表身份标识信息与数据存储路径之间的对应关系之前，还包括：建立表身份标识信息与数据存储路径之间的对应关系；将待处理输入数据存放至对应关系中输入表身份标识信息对应的数据存储路径中。

由于在运行待运行程序时，需要读取到存储路径中的待处理输入数据，依据的是输入表身份标识信息，从而，需要预先建立表身份标识信息与数据存储路径之间的对应关系，并将待处理输入数据存放至对应关系中输入表身份标识信息对应的数据存储路径中，后续再获取到输入表身份标识信息后，即可路由到输入表身份标识信息对应的数据存储路径，然后可读取该数据存储路径中的待处理输入数据。

请参阅图5，在其中一个实施例中，通过作业程序，根据待处理输入数据以及参数信息运行待运行程序，并根据策略文件对待运行程序进行权限验证的步骤包括：

S510：将作业程序分发至云计算平台上的各计算节点。

云计算平台上包括资源管理节点、管理控制节点以及各计算节点，通过资源管理节点读取作业程序，并将作业程序分发至云计算平台上的各计算节点，使每个计算节点上均接受的作业程序，以便后续计算节点能正常启动沙箱机制并运行待运行子程序。在一个示例中，上述云计算平台为云计算平台时，上述将作业程序分发至云计算平台上的各计算节点具体为将作业程序分发至云计算平台的各计算节点。

S520：从各计算节点中选择运行程序的工作节点。

待运行程序包括各待运行子程序，由于各待运行子程序的数量有限，可能用不到全部的计算节点进行程序运行，从而，可通过资源管理节点在各计算节点中指定运行程序的工作节点。

S530：将策略文件分发至各工作节点。

资源管理节点在各计算节点中指定运行程序的工作节点后，将策略文件分发至各工作节点，以便工作节点在运行程序过程中根据策略文件进行权限限制，提高安全性。

S540：将待处理程序包中待运行程序的各待运行子程序分别分派至对应的工作节点，由各工作节点根据待处理输入数据以及参数信息运行对应的子程序，并根据策略文件对子程序进行权限验证。

为了避免单个工作节点对整个待运行程序进行处理时压力过大导致运行效率低的问题，可将待运行程序中的各待运行子程序分别分派至对应的工作节点、例如，待运行程序包括Map待运行子程序和Reduce待运行子程序，可将这2个程序分别分派至对应的工作节点，由工作节点运行对应接收到的待运行子程序，加快运行效率。

在其中一个实施例中，获取程序运行请求之前，还包括步骤：获取输出表身份标识信息。

上述获得运行结果并输出的方式包括：

将运行结果写入输出表身份标识信息对应的输出表中获得输出表格并输出。

具体地，可通过对上述交互界面上的“新建表”虚拟按键进行操作，新建一个输出表，该输出表是空的，但其对应有输出表身份标识信息，从而，可获取输出表身份标识信息，在进行待处理任务生成的过程中，还依据该输出表身份标识信息，即待处理任务中还包括输出表身份标识信息。如此，在运行待运行程序之后，可将运行结果写入输出表身份标识信息对应的输出表中获得输出表格并输出，便于用户查看。具体地，用户可通过对云计算平台提供的结果显示界面上的“显示结果”虚拟按键进行操作，弹出所述输出表格。

下面以一具体实施对上述数据处理方法的过程加以具体说明，以数据处理方法应用于云计算平台为例。

请参阅图6，为云计算平台的一个实施例的交互界面图，交互界面上包括数据库名(例如，图中的proj_k9d0qijh数据库)，在该数据库中存储有输入表对应的待处理输入数据以及输出表，另外，通过该交互界面，可指定输入表身份标识信息和输出表身份标识信息，输入表是预先建立在数据库中，输入表中包括用户预先输入的待处理输入数据，通过交互界面图中的“选择输入表”虚拟按键即可从数据库中选择输入表名称(输入表身份标识信息的一个具体示例)，并且用户可通过交互界面上的“新建表”虚拟按键建立输出表，此时，输出表中的数据为空的，可以理解可指定输出表名称(输出表身份标识信息的一个具体示例)，目的是为了在运行待运行程序得到的运行结果后，将运行结果写入到该指定的输出表名称对应的输出表中并输出。另外，用户可在上述交互界面上输入由根据待处理输入数据自定义编写的待运行程序打包生成的jar包(例如，图6中的tdfwordcount.jar)。用户还可在交互界面上输入运行待运行程序所需的参数信息，在一个示例中，待运行程序可以包括Map待运行子程序和Reduce待运行子程序，参数信息可以包括图6中的Map类(MapperClass)、Reduce类(ReucerClass)、Map待运行子程序的Key(键)输出格式(Mapper OutputKey)、Map待运行子程序的Value(值)输出格式(Mapper Output Value)、Reduce待运行子程序的Key(键)输出格式(Reducer Output Key)以及Reduce待运行子程序的Value(值)输出格式(Reducer Output Value)。例如，Map待运行子程序的Key输出格式可以为文本格式，Map待运行子程序的Value输出格式可以为整型(Int型)格式，比如，运行结果为文章(待处理输入数据)中各词的词频，运行结果中包括“我”、“你”、“她”以及“吃饭”，以及分别与上述各词对应的词频，词频分别为1、1、1以及1，即运行结果中即包括了文本格式的词，又包括了整型格式的频次。

在通过上述图6的交互界面，用户可预先指定输入表名称以及输出表名称，且可将用户自定义的jar包(待处理程序包)上传至云计算平台，以及用户可输入运行待运行程序的参数信息，用户在通过交互界面设置完成后，云计算平台可根据指定的输入表名称、输出表名称、jar包中待运行程序以及参数信息生成待处理任务，且该待处理任务有唯一的标识即任务标识。在后续需要对通过上述交互界面输入的jar包中的待运行程序进行运行时，只需接收到程序运行请求，该运行请求携带任务标识，运行任务标识对应的jar包中的待运行程序即可。

请参阅图7，为在实际应用中，云计算平台实现待运行程序运行的交互图，其中云计算平台包括接入层以及计算平台，首先，在通过图6的交互界面进行信息设置之前，用户还可通过云计算平台的另一个界面，输入待处理输入数据，接入层在获取到用户输入的待处理输入数据后，根据用户输入的待处理输入数据、创建输入表，即输入表中包括待处理输入数据，输入表存储在数据库中，计算平台为输入表中待处理输入数据创建数据存储路径，建立输入表身份标识信息与数据存储路径的对应关系，并可将输入表身份标识信息对应的输入表中的待处理数据预先存储到对应的存储路径中。类似地，接入层也可以创建输出表，有对应的输出表身份标识信息，此时创建的输出表为空，计算平台建立输出表身份标识信息与数据存储路径的对应关系，在运行待运行程序后，一方面可将得到的运行结果放入到上述输出表中并输出，另一方面可将运行结果存储到输出表身份标识信息对应的数据存储路径中进行存储。另外，计算平台还可记录创建输入表身份标识信息与数据存储路径的对应关系的时间以及记录创建输出表身份标识信息与数据存储路径的对应关系的时间等元数据。

另外，请参阅图8，为从输入表身份标识信息和输出表身份标识信息分别映射到数据存储路径的原理图，在获取到输入表身份标识信息后，可通过表格映射处理器将输入表身份标识信息映射到对应的数据存储路径，云计算平台的MapRedcue计算框架可从映射到的数据存储路径中读取对应的待处理输入数据。类似地，在获取到输出表身份标识信息后，可通过表格映射处理器将输出表身份标识信息映射到对应的数据存储路径，云计算平台的MapRedcue计算框架可将运行结果存储到从映射到的数据存储路径中。

请继续参阅图7，用户可通过上述图6中的交互界面上传jar包，接入层接收用户上传的自定义的jar包，并根据接收的jar包中的自定义的待运行程序、输入表身份标识信息、输出表身份标识信息以及参数信息生成待处理任务。在云计算平台中预先设置policy文件(策略文件)和JOB程序中(作业程序)，有云计算平台自身提供policy文件和JOB程序，通过计算平台可读取JOB程序并调用policy文件。用户在通过上述交互界面设置完上述信息后保存设置，另外，云计算平台还提供运行程序的虚拟按键(图未示)，用户可通过点击运行程序的虚拟按键，生成程序运行请求，云计算平台在获取到该程序运行请求后，通过JOB程序启动沙箱机制，并在policy文件下开始运行jar包中的待运行程序以获得运行结果，输出程序运行结束提示信息，以提醒用户程序运行结束。可将运行结果写入至上述空的输出表中，以表封装运行结果，即以表形式输出运行结果，用户可查看输出表获取运行结果。

在本实施例中，为了提高程序运行的安全性，在运行待运行程序时，需要启动沙箱机制，以限制待运行程序的行为，即对待运行程序中过高权限的处理行为进行限制。具体地，通过JOB程序启动沙箱机制并调用policy文件，通过policy文件对待运行程序进行权限验证，以限制待运行程序的行为。请参阅图9，为沙箱机制下运行程序的原理框图。具体原理过程如下：

首先，用户可根据待处理数据自定义Map待运行子程序和Reduce待运行子程序，并打包生成jar包，即用户自定义Map待运行子程序和Reduce待运行子程序。通过上述交互界面上传该jar包至云计算平台，且上传用户设置的参数信息。另外，用户可通过云计算平台提供的另一个界面输入待处理数据，云计算平台可根据待处理数据预先创建输入表，输入表对应有输入表身份标识信息，在上述交互界面上，用户可选择输入表身份标识信息，以及新建一个输出表，输出表对应有输出表身份标识信息，从而指定了输出表身份标识信息。云计算平台中预先设置有policy文件和JOB程序，从而可直接调用JOB程序，以启动沙箱机制，根据policy文件对待运行程序进行验证。为了让用户上传的Map待运行子程序和Reduce待运行子程序运行在JAVA沙箱中，这里需要在JOB程序中设置mapred.map.child.java.opts以及mapred.reduce.child.java.opts参数，该参数赋予了给用户自定义的待运行程序的JVM(虚拟机)附加参数的能力。为了启动沙箱机制，我们需要加上-Djava.security.manager参数，同时我们还需要通过-Djava.security.policy参数指定policy文件，policy文件就是具体限制待运行程序的策略文件，可以理解为是一个白名单策略，只有明确允许的操作才能运行，否则用户的程序会直接报错。

在云计算平台上使用Mapreduce框架时，可通过不同的计算节点处理对应的子任务即运行待运行子程序(分布式地处理任务)，在本实施例中，待运行程序可以包括Map待运行子程序以及Reduce待运行子程序，从而可将各子待运行子程序分布式地分别分派至对应的计算节点进行处理，避免单个计算节点处理各子待运行程序时处理压力过大导致处理效率差的问题。具体地，如图9所示，云计算平台包括资源管理节点、管理控制节点以及各计算节点(例如，图9中的计算节点1和计算节点2)，各计算节点可分别与资源管理节点和管理控制节点进行通信，各计算节点再执行对应的子任务时，即运行对应的待运行子程序时，需要用到JOB程序，从而，首先将JOB程序分发至各计算节点，即各计算节点均包括有JOB程序，由于计算节点的数量可能有多个，然而子待运行程序的数量较少，无需所有计算节点进行工作，节省资源，此时，资源管理节点需要从各计算节点中选择运行程序的工作节点，然后，将policy文件分发至各工作节点，即每个工作节点都能接收到policy文件，并将jar包中中各待运行子程序分别分派至对应的工作节点(例如，图9中，计算节点1为工作节点1，计算节点2为工作节点2，将Map待运行子程序分派至计算节点1即执行Map任务的节点，将Reduce待运行子程序分派给计算节点2即执行Reduce任务的节点)，如此，工作节点各自接收到对应的待运行子程序进行运行，即工作节点运行接收到的待运行子程序，各工作节点一起完成待运行程序中的所有待运行子程序的运行，从而实现待运行程序的运行，即完成一个待处理任务。其中，管理控制节点用于管理各计算节点，例如，有计算节点在运行待运行子程序时出现错误，会将错误提交至该管理控制节点等。

如此，上述云计算平台实现数据处理的过程中，采用表格的形式封装待处理输入数据和运行结果，用户只需要关心待运行程序部分，云计算平台提供运行的JOB程序，在执行任务中的待运行程序时，有云计算平台指定对应用户设置的运行参数，并确保用户的待运行程序在JAVA沙箱中运行。

请参阅图10，本发明的一个实施例还提供一种数据处理装置，可应用于云计算平台、私有云计算平台或混合云计算平台，以应用于云计算平台为例，包括：

请求获取模块110，用于获取程序运行请求，其中，程序运行请求携带待处理任务的任务标识；

信息读取模块120，用于响应程序运行请求，读取任务标识对应待处理任务中输入表身份标识信息对应的待处理输入数据、待运行程序以及运行待运行程序所需的参数信息；

作业读取模块130，用于读取作业程序；

运行模块140，用于通过作业程序启动沙箱机制并调用策略文件，在沙箱机制下，根据待处理输入数据、参数信息以及策略文件运行待运行程序，获得待运行程序对应的运行结果并输出。

在其中一个实施例中，运行模块包括：

验证模块，用于通过作业程序，根据待处理输入数据以及参数信息运行待运行程序，并根据策略文件对待运行程序进行权限验证；

结果获取模块，用于当待运行程序通过策略文件下的权限验证时，则获得运行待运行程序对应的运行结果并输出。

请参阅图11，在其中一个实施例中，上述数据处理装置，还包括：

输入表标识获取模块101，用于获取输入表身份标识信息；

解析模块102，用于获取待处理程序包，解析待处理程序包获得待运行程序；

参数获取模块103，用于获取运行待运行程序所需的参数信息；

任务生成模块104，用于根据输入表身份标识信息、待运行程序以及参数信息生成待处理任务，其中，待处理任务与任务标识对应，待处理输入数据与待处理程序包对应。

在其中一个实施例中，上述信息读取模块包括：

对应关系获取模块，用于获取输入表身份标识信息与数据存储路径之间的对应关系；

查找模块，用于根据输入表身份标识信息以及对应关系，获取输入表身份标识信息对应的数据存储路径；

数据获取模块，用于从输入表身份标识信息对应的数据存储路径中读取数据，获得输入表身份标识信息对应的待处理输入数据。

在其中一个实施例中，上述数据处理装置，还包括：

输入数据获取模块，用于获取输入的待处理输入数据；

输入表建立模块，用于将待处理输入数据封装成表，建立输入表，输入表对应输入表身份标识信息。

在其中一个实施例中，上述数据处理装置，还包括：

关系建立模块，用于建立表身份标识信息与数据存储路径之间的对应关系；

存放模块，用于将待处理输入数据存放至对应关系中输入表身份标识信息对应的数据存储路径中。

在其中一个实施例中，上述验证模块包括：

作业分发模块，用于将作业程序分发至云计算平台上的各计算节点；

选择模块，用于从各计算节点中选择运行程序的工作节点；

文件分发模块，用于将策略文件分发至各工作节点；

分派模块，用于将待处理程序包中待运行程序的各待运行子程序分别分派至对应的工作节点，由各工作节点根据待处理输入数据以及参数信息运行对应的子程序，并根据策略文件对子程序进行权限验证。

在其中一个实施例中，上述数据处理装置，还包括：

输出表获取模块，用于获取输出表身份标识信息；其中，待处理任务中还包括输出表身份标识信息

运行模块，还用于将运行结果写入输出表身份标识信息对应的输出表中获得输出表格并输出。

本发明还提供一种实施例的计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述数据处理方法的步骤。

本发明还提供一种实施例的计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述数据处理方法的步骤。

上述数据处理装置、计算机存储介质以及计算机设备中的技术特征分别与上述数据处理方法中的技术特征是对应的，在此不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来请求相关的硬件来完成，计算机程序可存储于一非易失性的计算机可读取存储介质中，如本发明实施例中，该计算机程序可存储于计算机系统的存储介质中，并被该计算机系统中的至少一个处理器执行，以实现包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种数据处理方法，其特征在于，包括以下步骤：

获取程序运行请求，其中，所述程序运行请求携带待处理任务的任务标识；

响应所述程序运行请求，读取所述任务标识对应所述待处理任务中输入表身份标识信息对应的待处理输入数据、待运行程序以及运行所述待运行程序所需的参数信息；

读取作业程序；

通过所述作业程序启动沙箱机制并调用策略文件，在所述沙箱机制下，根据所述待处理输入数据、所述参数信息以及所述策略文件运行所述待运行程序，获得所述待运行程序对应的运行结果并输出。

2.根据权利要求1所述的数据处理方法，其特征在于，所述在所述沙箱机制下，根据所述待处理输入数据、所述参数信息以及所述策略文件运行所述待运行程序，获得所述待运行程序对应的运行结果并输出的方式包括：

通过所述作业程序，根据所述待处理输入数据以及所述参数信息运行所述待运行程序，并根据所述策略文件对所述待运行程序进行权限验证；

当所述待运行程序通过所述策略文件下的权限验证时，则获得运行所述待运行程序对应的运行结果并输出。

3.根据权利要求1所述的数据处理方法，其特征在于，所述获取程序运行请求之前，还包括步骤：

获取输入表身份标识信息；

获取待处理程序包，解析所述待处理程序包获得待运行程序；

获取运行所述待运行程序所需的参数信息；

根据所述输入表身份标识信息、所述待运行程序以及所述参数信息生成待处理任务，其中，所述待处理任务与所述任务标识对应，所述待处理输入数据与所述待处理程序包对应。

4.根据权利要求3所述的数据处理方法，其特征在于，所述读取所述任务标识对应所述待处理任务中输入表身份标识信息对应的待处理输入数据的方式包括：

获取输入表身份标识信息与数据存储路径之间的对应关系；

根据所述输入表身份标识信息以及所述对应关系，获取所述输入表身份标识信息对应的数据存储路径；

从所述输入表身份标识信息对应的数据存储路径中读取数据，获得所述输入表身份标识信息对应的所述待处理输入数据。

5.根据权利要求3所述的数据处理方法，其特征在于，所述获取输入表身份标识信息之前，还包括步骤：

获取输入的所述待处理输入数据；

将所述待处理输入数据封装成表，建立所述输入表，所述输入表对应所述输入表身份标识信息。

6.根据权利要求5所述的数据处理方法，其特征在于，所述将所述待处理输入数据封装成表，建立所述输入表之后，所述获取表身份标识信息与数据存储路径之间的对应关系之前，还包括：

建立所述表身份标识信息与数据存储路径之间的对应关系；

将所述待处理输入数据存放至所述对应关系中所述输入表身份标识信息对应的数据存储路径中。

7.根据权利要求2所述的数据处理方法，其特征在于，所述通过所述作业程序，根据所述待处理输入数据以及所述参数信息运行所述待运行程序，并根据所述策略文件对所述待运行程序进行权限验证的步骤包括：

将所述作业程序分发至云计算平台上的各计算节点；

从各所述计算节点中选择运行程序的工作节点；

将所述策略文件分发至各所述工作节点；

将所述待处理程序包中所述待运行程序的各待运行子程序分别分派至对应的所述工作节点，由各所述工作节点根据所述待处理输入数据以及所述参数信息运行对应的所述子程序，并根据所述策略文件对所述子程序进行权限验证。

8.根据权利要求2-7中任意一项所述的数据处理方法，其特征在于，所述获取程序运行请求之前，还包括步骤：获取输出表身份标识信息；其中，所述待处理任务中还包括输出表身份标识信息

所述获得运行结果并输出的方式包括：

将所述运行结果写入输出表身份标识信息对应的输出表中获得输出表格并输出。

9.一种数据处理装置，其特征在于，包括：

请求获取模块，用于获取程序运行请求，其中，所述程序运行请求携带待处理任务的任务标识；

信息读取模块，用于响应所述程序运行请求，读取所述任务标识对应所述待处理任务中输入表身份标识信息对应的待处理输入数据、待运行程序以及运行所述待运行程序所需的参数信息；

作业读取模块，用于读取作业程序；

运行模块，用于通过所述作业程序启动沙箱机制并调用策略文件，在所述沙箱机制下，根据所述待处理输入数据、所述参数信息以及所述策略文件运行所述待运行程序，获得所述待运行程序对应的运行结果并输出。

10.根据权利要求9所述的数据处理装置，其特征在于，所述运行模块包括：

验证模块，用于通过所述作业程序，根据所述待处理输入数据以及所述参数信息运行所述待运行程序，并根据所述策略文件对所述待运行程序进行权限验证；

结果获取模块，用于当所述待运行程序通过所述策略文件下的权限验证时，则获得运行所述待运行程序对应的运行结果并输出。

11.根据权利要求9所述的数据处理装置，其特征在于，还包括：

输入表标识获取模块，用于获取输入表身份标识信息；

解析模块，用于获取待处理程序包，解析所述待处理程序包获得待运行程序；

参数获取模块，用于获取运行所述待运行程序所需的参数信息；

任务生成模块，用于根据所述输入表身份标识信息、所述待运行程序以及所述参数信息生成待处理任务，其中，所述待处理任务与所述任务标识对应，所述待处理输入数据与所述待处理程序包对应。

12.根据权利要求10所述的数据处理装置，其特征在于，所述验证模块包括：

作业分发模块，用于将所述作业程序分发至云计算平台上的各计算节点；

选择模块，用于从各所述计算节点中选择运行程序的工作节点；

文件分发模块，用于将所述策略文件分发至各所述工作节点；

分派模块，用于将所述待处理程序包中所述待运行程序的各待运行子程序分别分派至对应的所述工作节点，由各所述工作节点根据所述待处理输入数据以及所述参数信息运行对应的所述子程序，并根据所述策略文件对所述子程序进行权限验证。

13.根据权利要求10-12中任意一项所述的数据处理装置，其特征在于，还包括：

输出表获取模块，用于获取输出表身份标识信息；其中，所述待处理任务中还包括输出表身份标识信息

所述运行模块，还用于将所述运行结果写入输出表身份标识信息对应的输出表中获得输出表格并输出。

14.一种计算机存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现上述权利要求1-8中任意一项所述方法的步骤。

15.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-8中任意一项所述方法的步骤。