CN109885624B - 数据处理方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种数据处理方法、装置、计算机设备和存储介质。所述方法包括：获取携带有数据标识的待处理数据；根据所述数据标识查询与所述待处理数据对应的数据处理任务；在数据处理平台中部署的数据处理应用中，确定与所述数据处理任务对应的数据处理应用；根据所述数据处理应用对所述待处理数据进行处理，得到所述数据处理任务对应的数据处理结果；将所述数据处理结果对应于所述数据处理任务存储。本方法根据数据标识确定与待处理数据对应的数据处理任务，通过数据处理平台中部署的且与数据处理任务对应的数据处理应用，对待处理数据进行处理，提高了数据处理效率。

Description

数据处理方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种数据处理方法、装置、计算机设备和存储介质。

背景技术

随着计算机技术的发展，出现了大数据处理技术。同时，随着物联网技术的发展，出现了海量的待处理数据。通常，用户使用以Hadoop(海杜普)为代表的技术来处理和存储大数据。

然而，传统的以Hadoop为代表的大数据处理技术，需要分别针对不同场景搭建不同的数据处理平台，数据处理平台所需的各种数据处理应用需要分别进行安装和维护；而且以Hadoop为代表的大数据处理技术通常是开源的，在使用时需要用户输入命令来进行操作，数据处理效率较低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高数据处理效率的数据处理方法、装置、计算机设备和存储介质。

一种数据处理方法，所述方法包括：

获取携带有数据标识的待处理数据；

根据所述数据标识查询与所述待处理数据对应的数据处理任务；

在数据处理平台中部署的数据处理应用中，确定与所述数据处理任务对应的数据处理应用；

根据所述数据处理应用对所述待处理数据进行处理，得到所述数据处理任务对应的数据处理结果；

将所述数据处理结果对应于所述数据处理任务存储。

在其中一个实施例中，获取携带有数据标识的待处理数据之前，还包括：

获取终端发送的任务创建请求；

根据所述任务创建请求指示所述终端展示任务创建页面；

获取在所述任务创建页面中添加的任务配置信息；

根据获取的任务配置信息创建数据处理任务。

在其中一个实施例中，获取携带有数据标识的待处理数据包括：

监听触发的数据获取指令；

当监听到触发的数据获取指令时，获取所述数据获取指令中的数据库地址和数据标识；

从所述数据库地址对应的数据库中，提取与所述数据标识对应的待处理数据。

在其中一个实施例中，根据所述数据处理应用对所述待处理数据进行处理，得到所述数据处理任务对应的数据处理结果包括：

根据所述数据处理任务确定所述待处理数据的数据类型；

当确定所述待处理数据的数据类型为实时数据类型时，将所述待处理数据加载到数据仓库和消息队列中的至少一种，根据所述数据处理应用对所述数据仓库或消息队列中的待处理数据进行处理，得到所述数据处理任务对应的数据处理结果；

当确定所述待处理数据的数据类型为非实时数据类型时，将所述待处理数据加载到数据仓库中，根据所述数据处理应用对所述数据仓库中的待处理数据进行处理，得到所述数据处理任务对应的数据处理结果。

在其中一个实施例中，将所述数据处理结果对应于所述数据处理任务存储之后，还包括：

获取终端发送的携带有所述数据标识的结果展示请求；

查询与所述数据标识对应的数据处理结果；

将查询到的数据处理结果发送至所述终端，以通过所述终端展示所述查询到的数据处理结果。

一种数据处理装置，其特征在于，所述装置包括：

数据获取模块，用于获取携带有数据标识的待处理数据；

任务查询模块，用于根据所述数据标识查询与所述待处理数据对应的数据处理任务；

应用确定模块，用于在数据处理平台中部署的数据处理应用中，确定与所述数据处理任务对应的数据处理应用；

结果得到模块，用于根据所述数据处理应用对所述待处理数据进行处理，得到所述数据处理任务对应的数据处理结果；

结果存储模块，用于将所述数据处理结果对应于所述数据处理任务存储。

在其中一个实施例中，数据处理装置还包括：

创建获取模块，用于获取终端发送的任务创建请求；

指示展示模块，用于根据所述任务创建请求指示所述终端展示任务创建页面；

信息获取模块，用于获取在所述任务创建页面中添加的任务配置信息；

任务创建模块，用于根据获取的任务配置信息创建数据处理任务。

其中一个实施例中，数据处理装置还包括：

展示获取模块，用于获取终端发送的携带有所述数据标识的结果展示请求；

结果查询模块，用于查询与所述数据标识对应的数据处理结果；

结果发送模块，用于将查询到的数据处理结果发送至所述终端，以通过所述终端展示所述查询到的数据处理结果。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取携带有数据标识的待处理数据；

根据所述数据标识查询与所述待处理数据对应的数据处理任务；

在数据处理平台中部署的数据处理应用中，确定与所述数据处理任务对应的数据处理应用；

根据所述数据处理应用对所述待处理数据进行处理，得到所述数据处理任务对应的数据处理结果；

将所述数据处理结果对应于所述数据处理任务存储。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取携带有数据标识的待处理数据；

根据所述数据标识查询与所述待处理数据对应的数据处理任务；

在数据处理平台中部署的数据处理应用中，确定与所述数据处理任务对应的数据处理应用；

根据所述数据处理应用对所述待处理数据进行处理，得到所述数据处理任务对应的数据处理结果；

将所述数据处理结果对应于所述数据处理任务存储。

上述数据处理方法、装置、计算机设备和存储介质，获取携带有数据标识的待处理数据，根据数据标识查询与待处理数据对应的数据处理任务，其中数据处理任务为预先配置好的；在对待处理数据进行处理的数据处理平台中，集成部署有多种数据处理应用；在确定数据处理平台中与数据处理任务对应的数据处理应用后，根据数据处理平台中确定的数据处理应用对待处理数据进行处理，得到数据处理任务对应的数据处理结果，再将数据处理结果对应于数据处理任务存储，实现对数据的一站式处理，提高了数据处理效率。

附图说明

图1为一个实施例中数据处理方法的应用环境图；

图2为一个实施例中数据处理方法的流程示意图；

图3为一个实施例中创建数据处理任务的步骤的流程示意图；

图4为一个实施例中获取待处理数据的步骤的流程示意图；

图5为一个实施例中得到数据处理结果的步骤的流程示意图；

图6为一个实施例中展示数据处理结果的步骤的流程示意图；

图7为一个实施例中数据处理平台的示意图；

图8为一个实施例中数据处理的示意图；

图9为一个实施例中数据处理装置的结构框图；

图10为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的数据处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。服务器104上部署有数据处理平台。

在一个实施例中，如图2所示，提供了一种数据处理方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：

步骤202，获取携带有数据标识的待处理数据。

其中，数据标识是待处理数据的标识，可以是待处理数据的数据名称。待处理数据是需要由服务器进行处理的数据。比如，当待处理数据为预设时间段内即时聊天软件的登录账号数量时，数据标识可以是“登录账号数量”。

具体地，服务器根据数据获取指令获取待处理数据。当服务器接收到触发的数据获取指令时，根据数据获取指令访问存储有待处理数据的数据库，从访问的数据库中提取携带有数据标识的待处理数据。

在一个实施例中，待处理数据可以是巨量数据集合即大数据(Big Data)，具有大量(Volume)、高速(Velocity)、多样(Variety)、低密度价值(Value)和真实性(Veracity)等特点。

在一个实施例中，待处理数据可以是由包括物联网终端在内的各种计算机设备产生或采集到的数据。计算机设备将产生或采集到的数据发送至预设的数据库中存储。

步骤204，根据数据标识查询与待处理数据对应的数据处理任务。

其中，数据处理任务是预先配置好的，指示服务器对待处理数据进行处理的信息。

具体地，服务器提取待处理数据中的数据标识，获取数据处理任务列表。服务器在数据处理任务列表中查询与数据标识对应的数据处理任务，将查询到的数据处理任务作为与获取到的待处理数据对应的数据处理任务。

步骤206，在数据处理平台中部署的数据处理应用中，确定与数据处理任务对应的数据处理应用。

其中，数据处理应用是借助于数据处理平台对待处理数据进行处理的软件。

具体地，服务器中部署有数据处理平台，数据处理平台集成部署多种数据处理应用。服务器查询到与待处理数据对应的数据处理任务后，提取数据处理任务中的数据处理应用信息，根据数据处理应用信息确定与数据处理任务对应的数据处理应用。

步骤208，根据数据处理应用对待处理数据进行处理，得到数据处理任务对应的数据处理结果。

其中，数据处理结果是服务器对待处理数据进行处理后得到的结果。

具体地，服务器确定与数据处理任务对应的数据处理应用后，通过数据处理平台中的数据处理应用，对待处理数据进行处理，得到与数据处理任务对应的数据处理结果。

步骤210，将数据处理结果对应于数据处理任务存储。

具体地，服务器得到与数据处理任务对应的数据处理结果后，从数据处理任务中提取数据处理任务标识，将数据处理结果和数据处理任务标识一起进行存储。

在一个实施例中，服务器得到与数据处理任务对应的数据处理结果后，从数据处理任务中提取结果存储地址和数据处理任务标识。服务器根据提取到的结果存储地址访问数据库的存储空间，将数据处理结果和数据处理任务标识一起存储到访问到的存储空间中。

在一个实施例中，服务器将待处理数据的数据标识、数据处理结果和数据处理任务标识一起存储。

本实施例中，获取携带有数据标识的待处理数据，根据数据标识查询与待处理数据对应的数据处理任务，其中数据处理任务为预先配置好的；在对待处理数据进行处理的数据处理平台中，集成部署有多种数据处理应用；在确定数据处理平台中与数据处理任务对应的数据处理应用后，根据数据处理平台中确定的数据处理应用对待处理数据进行处理，得到数据处理任务对应的数据处理结果，再将数据处理结果对应于数据处理任务存储，实现对数据的一站式处理，提高了数据处理效率。

如图3所示，在一个实施例中，步骤202之前还包括创建数据处理任务的步骤，该步骤具体包括如下步骤：

步骤302，获取终端发送的任务创建请求。

其中，任务创建请求是终端发送的创建数据处理任务的请求。

具体地，终端访问数据处理平台的用户页面，用户可以通过用户页面管理数据处理平台。当终端检测到用户页面中的任务创建按钮或任务创建链接被点击时，生成任务创建请求。终端将生成的任务创建请求发送至服务器，服务器获取终端发送的任务创建请求。

步骤304，根据任务创建请求指示终端展示任务创建页面。

其中，任务创建页面是创建数据处理任务的页面。

具体地，服务器获取到终端发送的任务创建请求后，提取任务创建页面数据，将任务创建页面数据发送至终端。终端接收服务器发送的任务页面创建数据，根据页面创建数据展示任务创建页面。

步骤306，获取在任务创建页面中添加的任务配置信息。

其中，任务配置信息是创建的数据处理任务的配置信息；服务器根据数据处理任务中的任务配置信息对待处理数据进行处理。

具体地，任务创建页面中展示有多个文本框以及与各文本框分别对应的文本框标识，文本框标识用于指示用户录入任务配置信息；文本框标识还可以对应于多个任务配置信息选项，用户通过点击任务配置信息选项前的勾选按钮录入任务配置信息。用户根据文本框标识依次录入任务配置信息，终端获取任务配置页面中添加的任务配置信息。

当任务创建页面中的创建确定按钮被点击时，终端将任务创建页面中添加的任务配置信息发送至服务器。服务器接收在任务创建页面中添加的任务配置信息。

在一个实施例中，任务创建页面中包括多个任务配置信息字段，用户可以通过“拖拽”操作添加任务配置信息。用户可以对任务配置信息字段进行操作，当通过光标对任务配置信息字段持续作用时，触发字段选取指令；终端根据字段选取指令选定任务配置信息字段，跟随光标的移动轨迹移动选定的任务配置信息字段的副本，将任务配置信息字段添加到任务创建页面的编辑区域内。比如任务配置信息字段可以是数据处理的步骤名称，分别是“获取待处理数据”、“去重”和“排列”，用户通过设置任务配置信息字段的关系可以得到对待处理数据的处理流程。用户还可以添加与任务配置信息字段相关的任务配置信息字段，比如对“排列”添加“排列顺序为从小到大”的任务配置信息字段。

在一个实施例中，任务配置信息可以包括数据处理的步骤、待处理数据的数据标识、数据类型、获取待处理数据时数据库的网络地址和密码、端口号、结果存储地址等。

步骤308，根据获取的任务配置信息创建数据处理任务。

具体地，服务器接收到终端发送的任务配置信息后，触发任务创建指令，根据任务创建指令对任务配置信息进行封装，生成数据处理任务。

本实施例中，获取终端发送的任务创建请求后，指示终端展示任务创建页面；通过网络获取用户在终端的任务创建页面中添加的任务配置信息，根据获取的任务配置信息创建数据处理任务；以便获取待处理数据后，可以直接根据配置好的数据处理任务对待处理数据进行处理，保证了数据处理效率。

如图4所示，在一个实施例中，步骤202具体还包括获取待处理数据的步骤，该步骤具体包括如下步骤：

步骤402，监听触发的数据获取指令。

其中，数据获取指令是指示服务器获取待处理数据的指令。

具体地，待处理数据保存在数据源服务器的数据库中，数据源服务器通过数据获取指令指示服务器获取待处理数据。数据源服务器触发数据获取指令后，将数据获取指令发送至服务器。服务器时刻监听触发的数据获取指令。

步骤404，当监听到触发的数据获取指令时，获取数据获取指令中的数据库地址和数据标识。

其中，数据库地址是服务器获取待处理数据时访问的数据库的网络地址。

具体地，当数据源服务器中的待处理数据满足预设的上传条件时，数据源服务器获取数据库地址和待处理数据的数据标识，根据数据库地址和数据标识触发数据获取指令，并将触发的数据获取指令发送至服务器。服务器接收数据获取指令，对数据获取指令进行解析，得到数据获取指令中的数据库地址和数据标识。

步骤406，从数据库地址对应的数据库中，提取与数据标识对应的待处理数据。

具体地，服务器获取到数据获取指令中的数据库地址和数据标识后，访问与数据库地址对应的数据库，在访问的数据库中查询与数据标识对应的待处理数据，提取查询到的待处理数据。

在一个实施例中，待处理数据为实时数据，实时数据可以是包括物联网终端在内的各种计算机设备实时采集或产生的数据。计算机设备将实时数据存储至数据源服务器的数据库中。服务器获取实时数据时通过实时接入方式，即当数据库中实时数据的数据量大于等于预设的上传数据量时，触发数据获取指令，服务器根据数据获取指令获取待处理数据。其中，预设的上传数据量较低，比如，预设的上传数据量为10兆，当实时数据的数据量达到10兆时，满足预设的上传条件，触发数据获取指令。

在一个实施例中，待处理数据为非实时数据，非实时数据可以是数据源服务器的数据库在预定时间段内存储的数据。服务器获取非实时数据时通过非实时接入方式，即数据源服务器可以在预设时间点触发数据获取指令，服务器根据数据获取指令获取待处理数据。比如，数据源服务器的数据库中存储的非实时数据可以来自ERP系统(EnterpriseResource Planning，企业资源计划)中的数据列表。数据源服务器在每个月的特定时间触发数据获取指令。数据源服务器中的数据库可以是关系数据库，比如MySQL。数据源服务器中的操作系统可以是Linux系统，使用Linux中的Cron(定时任务)触发数据获取指令。Cron可以在约定的时间执行特定的任务。

在一个实施例中，用户可以将待处理数据整理为文本文件，通过终端将待处理数据发送至服务器。文本文件的格式可以是JSON和CSV中的至少一种。

本实施例中，监听触发的数据获取指令，当监听到触发的数据获取指令时，解析数据获取指令得到数据库地址和数据标识，从数据库地址对应的数据库中，根据数据标识提取待处理数据，提高了获取待处理数据的效率。

如图5所示，在一个实施例中，步骤208具体还包括得到数据处理结果的步骤，该步骤具体包括如下步骤：

步骤502，根据数据处理任务确定待处理数据的数据类型。

其中，数据类型是待处理数据的种类；数据类型可以由待处理数据的时间属性确定。

具体地，服务器查询到与待处理数据对应的数据处理任务后，提取数据处理任务中的数据类型信息，根据提取到的数据类型信息，确定待处理数据的数据类型。

步骤504，当确定待处理数据的数据类型为实时数据类型时，将待处理数据加载到数据仓库和消息队列中的至少一种，根据数据处理应用对数据仓库或消息队列中的待处理数据进行处理，得到数据处理任务对应的数据处理结果。

其中，实时数据是包括物联网终端在内的各种计算机设备实时采集或产生的数据；数据仓库是数据存储集合，可以用于数据分析、数据挖掘和数据报表等；消息队列是在数据的传输过程中保存数据的容器。

具体地，当服务器根据数据处理任务确定待处理数据的数据类型为实时数据类型时，根据数据处理任务中的数据加载信息，将待处理数据加载到数据仓库和消息队列中的至少一种。服务器通过数据处理平台中部署的且与数据处理任务对应的数据处理应用，对数据仓库或消息队列中的待处理数据进行处理，得到与数据处理任务对应的数据处理结果。

步骤506，当确定待处理数据的数据类型为非实时数据类型时，将待处理数据加载到数据仓库中，根据数据处理应用对数据仓库中的待处理数据进行处理，得到数据处理任务对应的数据处理结果。

其中，非实时数据是数据源服务器的数据库在预定时间段内存储的数据。

具体地，当服务器根据数据处理任务确定待处理数据的数据类型为非实时数据类型时，根据数据处理任务中的数据加载信息，将待处理数据加载到数据仓库中。服务器通过数据处理平台中部署的且与数据处理任务对应的数据处理应用，对数据仓库中的待处理数据进行处理，得到与数据处理任务对应的数据处理结果。

本实施例中，通过查询数据处理任务确定待处理数据的数据类型，数据类型包括实时数据类型和非实时数据类型；根据不同的数据类型对待处理数据进行不同的加载，并根据数据处理平台中的数据处理应用对加载后的待处理数据进行处理，得到与数据处理任务对应的数据处理结果，提高了数据处理的效率。

如图6所示，在一个实施例中，步骤210之后还包括展示数据处理结果的步骤，该步骤具体包括如下步骤：

步骤602，获取终端发送的携带有数据标识的结果展示请求。

其中，结果展示请求是展示存储的数据处理结果的请求。

具体地，终端访问数据处理平台的用户页面，用户可以通过用户页面查询待处理数据的数据处理结果。用户可以在用户页面中录入待处理数据的数据标识，当用户页面中的查询按钮被点击时，终端生成携带有数据标识的结果展示请求。终端将携带有数据标识的结果展示请求发送至服务器，服务器获取终端发送的结果展示请求。

步骤604，查询与数据标识对应的数据处理结果。

具体地，服务器对结果展示请求进行解析，得到结果展示请求中的数据标识。服务器从存储的全部数据处理结果中，查询与解析得到的数据标识对应的数据处理结果，提取查询到的数据处理结果。

在一个实施例中，数据处理结果存储在数据库中。服务器对结果展示请求进行解析得到数据标识。服务器访问存储有数据处理结果的数据库，在数据库中查询解析得到的数据标识，提取与查询到的数据标识对应的数据处理结果。

在一个实施例中，服务器确定与解析得到的数据标识对应的数据处理任务的数据处理任务标识，在数据库中查询数据处理任务标识，提取与查询到的数据处理任务标识对应的数据处理结果。

步骤606，将查询到的数据处理结果发送至终端，以通过终端展示查询到的数据处理结果。

具体地，服务器提取查询到的数据处理结果，将数据处理结果发送至终端。终端接收服务器发送的数据处理结果，通过显示屏展示接收到的数据处理结果。终端还可以对接收到的数据处理结果进行处理。

在一个实施例中，用户可以在用户页面中录入数据处理任务标识，终端生成携带有数据处理任务标识的结果展示请求。服务器查询与数据处理任务标识对应的数据处理结果，将查询到的数据处理结果发送至终端。

本实施例中，获取终端发送的结果展示请求，提取结果展示请求中的数据标识，查询与数据标识对应的数据处理结果，再将查询到的数据处理结果发送至终端，以使终端展示查询到的数据处理结果，提高了展示数据处理结果的效率。

图7为一个实施例中数据处理平台的示意图。具体地，参照图7，数据处理平台包括：存储层、处理层、框架和公共库层以及数据处理流程层。其中，存储层用于存储数据处理平台中的全部数据，包括获取的待处理数据以及数据处理结果，存储层可以通过HDFS(Hadoop Distributed File System，一种分布式文件系统)、Hive(建立在Hadoop上的数据仓库基础构架，可以将结构化的数据文件映射为数据库表)、HBase(分布式的开源数据库)和Kafka(一种高吞吐量的分布式发布订阅消息系统)等大数据组件实现。

处理层由YARN(Yet Another Resource Negotiator，是一种Hadoop资源管理器)提供数据处理资源管理和数据处理任务调度，用于管理数据处理平台中所有的数据处理资源和调度数据处理任务。

框架和公共库层，包含各类数据处理任务可以使用的框架和公共库，比如MapReduce框架、Spark并行处理框架(MapReduce Spark)、流处理框架(Spark Streaming)、图分析库(Spark GraphX)和机器学习库(Spark MLib)等，框架和公共库层提供数据处理应用。

数据处理流程层用于为数据处理定义数据处理流程。数据处理流程可以标准化为3个主要环节：数据获取、数据处理和结果展示。数据获取环节中服务器从存储待处理数据的数据库获取待处理数据，将待处理数据接入数据处理平台。

数据处理环节中，服务器根据用户定义的数据处理任务，对待处理数据进行处理，得到数据处理结果，并将数据处理结果保存至数据处理平台中。

结果展示环节中，服务器将数据处理结果发送至终端，终端展示数据处理结果，供终端上的应用或用户进行处理。

数据处理流程层可以实现平台清理、UI(User Interface，用户界面)/API(Application Programming Interface,应用程序编程接口)管理、平台监控、数据管理和任务管理等功能。其中，平台清理用于清理数据处理平台中的数据；平台监控用于监控数据处理平台的运行状况；数据管理用于对数据处理平台中的全部数据进行管理；任务管理用于管理数据处理任务。

服务器展示的数据处理结果，可以应用于报表展示、信息推送和智能联动等。其中，报表展示是展示对待处理数据进行统计分析得到的报表；信息推送是将用户的访问数据作为待处理数据，通过数据处理平台预测用户喜好，向用户进行信息推荐；智能联动是使不同的计算机设备实现数据共享、协同运行。

图8为一个实施例中数据处理的示意图、具体地，参照图8，待处理数据是实时数据时，服务器通过实时接入方式获取待处理数据。服务器先将待处理数据存储到实时数据接收缓存区，实时数据接收缓存区可以通过Kafka实现。当服务器通过数据处理任务确定待处理数据需要加载到消息队列时，可以通过Flume(日志采集、聚合和传输的系统，Flume可以对待处理数据进行定制，以及对待处理数据进行处理)中的Kafka Sink将待处理数据加载到分布式消息队列，分布式消息队列可以通过Kafka实现。服务器可以通过Spark(一种开源集群计算环境)对分布式消息队列中的待处理数据进行处理，数据处理可以是实时统计、实施决策等，数据处理结果可以是实时状态。比如，待处理数据可以是某公共场所中的人数，服务器对人数进行实时统计，当人数达到预设人数阈值时，实时决策可以是触发预警通知。实时状态可以是人数统计及行人动向分析。服务器存储得到的数据处理结果。

当服务器通过数据处理任务确定待处理数据需要加载到数据仓库时，可以通过数据仓库Sink将待处理数据加载到数据仓库。

当待处理数据为非实时数据时，服务器通过非实时接入方式获取待处理数据。服务器先将获取到的待处理数据存储到非实时数据缓存区，非实时数据缓存区可以通过HDFS实现。当服务器通过数据处理任务确定待处理数据需要加载到数据仓库时，通过预设的数据导入接口批量将待处理数据加载到数据仓库中。服务器可以通过Spark对数据仓库中的待处理数据进行处理，包括数据预处理、挖掘建模和统计分析等，数据处理结果可以是统计报表和预测模型等。服务器对数据仓库中的待处理数据进行处理时，可以根据数据处理任务提取服务器中的已存储数据，对数据仓库中的待处理数据和已存储数据同时进行处理。服务器也可以直接存储数据仓库中的待处理数据。服务器存储数据可以通过Hive或HDFS实现。服务器再通过数据导出接口得到数据处理结果并存储。

存储的数据处理结果可以被终端的数据应用读取，数据应用可以是展示类应用(比如展示统计报表)和决策类应用(比如公共场所的监督预警系统)等。

服务器中的数据处理平台在运行时还进行任务管理和平台监控。

应该理解的是，虽然图2-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图9所示，提供了一种数据处理装置900，包括：数据获取模块902、任务查询模块904、应用确定模块906、结果得到模块908和结果存储模块910，其中：

数据获取模块902，用于获取携带有数据标识的待处理数据。

任务查询模块904，用于根据数据标识查询与待处理数据对应的数据处理任务。

应用确定模块906，用于在数据处理平台中部署的数据处理应用中，确定与数据处理任务对应的数据处理应用。

结果得到模块908，用于根据数据处理应用对待处理数据进行处理，得到数据处理任务对应的数据处理结果。

结果存储模块910，用于将数据处理结果对应于数据处理任务存储。

本实施例中，获取携带有数据标识的待处理数据，根据数据标识查询与待处理数据对应的数据处理任务，其中数据处理任务为预先配置好的；在对待处理数据进行处理的数据处理平台中，集成部署有多种数据处理应用；在确定数据处理平台中与数据处理任务对应的数据处理应用后，根据数据处理平台中确定的数据处理应用对待处理数据进行处理，得到数据处理任务对应的数据处理结果，再将数据处理结果对应于数据处理任务存储，实现对数据的一站式处理，提高了数据处理效率。

在一个实施例中，数据处理装置900还包括创建获取模块、指示展示模块、信息获取模块和任务创建模块，其中：

创建获取模块，用于获取终端发送的任务创建请求。

指示展示模块，用于根据任务创建请求指示终端展示任务创建页面。

信息获取模块，用于获取在任务创建页面中添加的任务配置信息。

任务创建模块，用于根据获取的任务配置信息创建数据处理任务。

本实施例中，获取终端发送的任务创建请求后，指示终端展示任务创建页面；通过网络获取用户在终端的任务创建页面中添加的任务配置信息，根据获取的任务配置信息创建数据处理任务；以便获取待处理数据后，可以直接根据配置好的数据处理任务对待处理数据进行处理，保证了数据处理效率。

在一个实施例中，数据获取模块902用于监听触发的数据获取指令；当监听到触发的数据获取指令时，获取数据获取指令中的数据库地址和数据标识；从数据库地址对应的数据库中，提取与数据标识对应的待处理数据。

本实施例中，监听触发的数据获取指令，当监听到触发的数据获取指令时，解析数据获取指令得到数据库地址和数据标识，从数据库地址对应的数据库中，根据数据标识提取待处理数据，提高了获取待处理数据的效率。

在一个实施例中，结果得到模块908用于根据数据处理任务确定待处理数据的数据类型；当确定待处理数据的数据类型为实时数据类型时，将待处理数据加载到数据仓库和消息队列中的至少一种，根据数据处理应用对数据仓库或消息队列中的待处理数据进行处理，得到数据处理任务对应的数据处理结果；当确定待处理数据的数据类型为非实时数据类型时，将待处理数据加载到数据仓库中，根据数据处理应用对数据仓库中的待处理数据进行处理，得到数据处理任务对应的数据处理结果。

本实施例中，通过查询数据处理任务确定待处理数据的数据类型，数据类型包括实时数据类型和非实时数据类型；根据不同的数据类型对待处理数据进行不同的加载，并根据数据处理平台中的数据处理应用对加载后的待处理数据进行处理，得到与数据处理任务对应的数据处理结果，提高了数据处理的效率。

在一个实施例中，数据处理装置900还包括：展示获取模块、结果查询模块和结果发送模块，其中：

展示获取模块，用于获取终端发送的携带有数据标识的结果展示请求。

结果查询模块，用于查询与数据标识对应的数据处理结果。

结果发送模块，用于将查询到的数据处理结果发送至终端，以通过终端展示查询到的数据处理结果。

本实施例中，获取终端发送的结果展示请求，提取结果展示请求中的数据标识，查询与数据标识对应的数据处理结果，再将查询到的数据处理结果发送至终端，以使终端展示查询到的数据处理结果，提高了展示数据处理结果的效率。

关于数据处理装置的具体限定可以参见上文中对于数据处理方法的限定，在此不再赘述。上述数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储用于数据处理的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据处理方法。

本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：获取携带有数据标识的待处理数据；根据数据标识查询与待处理数据对应的数据处理任务；在数据处理平台中部署的数据处理应用中，确定与数据处理任务对应的数据处理应用；根据数据处理应用对待处理数据进行处理，得到数据处理任务对应的数据处理结果；将数据处理结果对应于数据处理任务存储。

在一个实施例中，获取携带有数据标识的待处理数据之前，处理器执行计算机程序时还实现以下步骤：获取终端发送的任务创建请求；根据任务创建请求指示终端展示任务创建页面；获取在任务创建页面中添加的任务配置信息；根据获取的任务配置信息创建数据处理任务。

在一个实施例中，获取携带有数据标识的待处理数据包括：监听触发的数据获取指令；当监听到触发的数据获取指令时，获取数据获取指令中的数据库地址和数据标识；从数据库地址对应的数据库中，提取与数据标识对应的待处理数据。

在一个实施例中，根据数据处理应用对待处理数据进行处理，得到数据处理任务对应的数据处理结果包括：根据数据处理任务确定待处理数据的数据类型；当确定待处理数据的数据类型为实时数据类型时，将待处理数据加载到数据仓库和消息队列中的至少一种，根据数据处理应用对数据仓库或消息队列中的待处理数据进行处理，得到数据处理任务对应的数据处理结果；当确定待处理数据的数据类型为非实时数据类型时，将待处理数据加载到数据仓库中，根据数据处理应用对数据仓库中的待处理数据进行处理，得到数据处理任务对应的数据处理结果。

在一个实施例中，将数据处理结果对应于数据处理任务存储之后，处理器执行计算机程序时还实现以下步骤：获取终端发送的携带有数据标识的结果展示请求；查询与数据标识对应的数据处理结果；将查询到的数据处理结果发送至终端，以通过终端展示查询到的数据处理结果。

本实施例中，获取携带有数据标识的待处理数据，根据数据标识查询与待处理数据对应的数据处理任务，其中数据处理任务为预先配置好的；在对待处理数据进行处理的数据处理平台中，集成部署有多种数据处理应用；在确定数据处理平台中与数据处理任务对应的数据处理应用后，根据数据处理平台中确定的数据处理应用对待处理数据进行处理，得到数据处理任务对应的数据处理结果，再将数据处理结果对应于数据处理任务存储，实现对数据的一站式处理，提高了数据处理效率。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取携带有数据标识的待处理数据；根据数据标识查询与待处理数据对应的数据处理任务；在数据处理平台中部署的数据处理应用中，确定与数据处理任务对应的数据处理应用；根据数据处理应用对待处理数据进行处理，得到数据处理任务对应的数据处理结果；将数据处理结果对应于数据处理任务存储。

在一个实施例中，获取携带有数据标识的待处理数据之前，计算机程序被处理器执行时还实现以下步骤：获取终端发送的任务创建请求；根据任务创建请求指示终端展示任务创建页面；获取在任务创建页面中添加的任务配置信息；根据获取的任务配置信息创建数据处理任务。

在一个实施例中，获取携带有数据标识的待处理数据包括：监听触发的数据获取指令；当监听到触发的数据获取指令时，获取数据获取指令中的数据库地址和数据标识；从数据库地址对应的数据库中，提取与数据标识对应的待处理数据。

在一个实施例中，根据数据处理应用对待处理数据进行处理，得到数据处理任务对应的数据处理结果包括：根据数据处理任务确定待处理数据的数据类型；当确定待处理数据的数据类型为实时数据类型时，将待处理数据加载到数据仓库和消息队列中的至少一种，根据数据处理应用对数据仓库或消息队列中的待处理数据进行处理，得到数据处理任务对应的数据处理结果；当确定待处理数据的数据类型为非实时数据类型时，将待处理数据加载到数据仓库中，根据数据处理应用对数据仓库中的待处理数据进行处理，得到数据处理任务对应的数据处理结果。

在一个实施例中，将数据处理结果对应于数据处理任务存储之后，计算机程序被处理器执行时还实现以下步骤：获取终端发送的携带有数据标识的结果展示请求；查询与数据标识对应的数据处理结果；将查询到的数据处理结果发送至终端，以通过终端展示查询到的数据处理结果。

本实施例中，获取携带有数据标识的待处理数据，根据数据标识查询与待处理数据对应的数据处理任务，其中数据处理任务为预先配置好的；在对待处理数据进行处理的数据处理平台中，集成部署有多种数据处理应用；在确定数据处理平台中与数据处理任务对应的数据处理应用后，根据数据处理平台中确定的数据处理应用对待处理数据进行处理，得到数据处理任务对应的数据处理结果，再将数据处理结果对应于数据处理任务存储，实现对数据的一站式处理，提高了数据处理效率。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据处理方法，所述方法包括：

获取终端发送的任务创建请求；

根据所述任务创建请求指示所述终端展示任务创建页面；所述任务创建页面中展示有多个文本框以及与各文本框分别对应的文本框标识；

获取根据文本框标识依次录入任务配置信息；所述任务配置信息是用于创建的数据处理任务的配置信息；

根据获取的任务配置信息创建数据处理任务；

获取携带有数据标识的待处理数据；根据所述数据标识查询与所述待处理数据对应的数据处理任务；所述数据处理任务是预先配置好的，指示服务器对待处理数据进行处理的信息；

提取数据处理任务中的数据处理应用信息，在数据处理平台中部署的数据处理应用中，根据所述数据处理应用信息确定与所述数据处理任务对应的数据处理应用；

根据所述数据处理任务确定所述待处理数据的数据类型；

当确定所述待处理数据的数据类型为实时数据类型时，将所述待处理数据加载到数据仓库和消息队列中的至少一种，根据所述数据处理应用对所述数据仓库或消息队列中的待处理数据进行处理，得到所述数据处理任务对应的数据处理结果；

当确定所述待处理数据的数据类型为非实时数据类型时，将所述待处理数据加载到数据仓库中，根据所述数据处理应用对所述数据仓库中的待处理数据进行处理，得到所述数据处理任务对应的数据处理结果；

将所述数据处理结果对应于所述数据处理任务存储。

2.根据权利要求1所述的方法，其特征在于，所述获取携带有数据标识的待处理数据包括：

监听触发的数据获取指令；

当监听到触发的数据获取指令时，获取所述数据获取指令中的数据库地址和数据标识；

从所述数据库地址对应的数据库中，提取与所述数据标识对应的待处理数据。

3.根据权利要求1所述的方法，其特征在于，所述将所述数据处理结果对应于所述数据处理任务存储之后，还包括：

获取终端发送的携带有所述数据标识的结果展示请求；

查询与所述数据标识对应的数据处理结果；

将查询到的数据处理结果发送至所述终端，以通过所述终端展示所述查询到的数据处理结果。

4.根据权利要求1所述的方法，其特征在于，所述任务配置信息，包括数据处理的步骤、待处理数据的数据标识、数据类型、获取待处理数据时数据库的网络地址和密码、端口号以及结果存储地址中的一种或多种。

5.一种数据处理装置，其特征在于，所述装置包括：

创建获取模块，用于获取终端发送的任务创建请求；

指示展示模块，用于根据所述任务创建请求指示所述终端展示任务创建页面；所述任务创建页面中展示有多个文本框以及与各文本框分别对应的文本框标识；

信息获取模块，用于获取在所述任务创建页面中添加的任务配置信息；所述任务配置信息是用于创建的数据处理任务的配置信息；

任务创建模块，用于根据获取的任务配置信息创建数据处理任务；

数据获取模块，用于获取携带有数据标识的待处理数据；

任务查询模块，用于根据所述数据标识查询与所述待处理数据对应的数据处理任务；所述数据处理任务是预先配置好的，指示服务器对待处理数据进行处理的信息；

应用确定模块，用于提取数据处理任务中的数据处理应用信息，在数据处理平台中部署的数据处理应用中，根据所述数据处理应用信息确定与所述数据处理任务对应的数据处理应用；

结果得到模块，用于根据所述数据处理任务确定所述待处理数据的数据类型；当确定所述待处理数据的数据类型为实时数据类型时，将所述待处理数据加载到数据仓库和消息队列中的至少一种，根据所述数据处理应用对所述数据仓库或消息队列中的待处理数据进行处理，得到所述数据处理任务对应的数据处理结果；当确定所述待处理数据的数据类型为非实时数据类型时，将所述待处理数据加载到数据仓库中，根据所述数据处理应用对所述数据仓库中的待处理数据进行处理，得到所述数据处理任务对应的数据处理结果；结果存储模块，用于将所述数据处理结果对应于所述数据处理任务存储。

6.根据权利要求5所述的装置，其特征在于，所述装置包括：

所述数据获取模块，还用于监听触发的数据获取指令；当监听到触发的数据获取指令时，获取所述数据获取指令中的数据库地址和数据标识；从所述数据库地址对应的数据库中，提取与所述数据标识对应的待处理数据。

7.根据权利要求5所述的装置，其特征在于，所述装置还包括：

展示获取模块，用于获取终端发送的携带有所述数据标识的结果展示请求；

结果查询模块，用于查询与所述数据标识对应的数据处理结果；

结果发送模块，用于将查询到的数据处理结果发送至所述终端，以通过所述终端展示所述查询到的数据处理结果。

8.根据权利要求5所述的装置，其特征在于，所述任务配置信息，包括数据处理的步骤、待处理数据的数据标识、数据类型、获取待处理数据时数据库的网络地址和密码、端口号以及结果存储地址中的一种或多种。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。

Images