CN108958729B - 一种数据处理方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种数据处理方法，其中包括：获取数据处理任务；根据数据处理任务，获取预设的控制脚本集合；根据预设的控制脚本集合，生成相应的自定义脚本集合；根据自定义脚本集合和控制脚本集合，生成数据处理脚本集合；基于数据处理脚本集合，对相应的目标数据进行相应的处理。本发明还公开了一种数据处理装置及存储介质。本发明实施例预先提供实现数据同步任务、数据分析任务以及数据监控任务等数据处理任务的通用逻辑的控制脚本集合，从而细分地对数据处理的各个过程进行优化，提高了用于数据处理的脚本的开发效率。

Description

一种数据处理方法、装置及存储介质

技术领域

本发明属于通信技术领域，尤其涉及一种数据处理方法、装置及存储介质。

背景技术

数据处理指的是对数据(包括数值的和非数值的)进行采集、转换、存储、检索、分析、加工和传输等处理的过程。随着计算机的推广和普及，采用计算机进行数据处理已经成为数据处理的常用方式。然而，采用计算机进行数据处理通常需要编写大量的脚本以完成数据处理的工作。

具体地，目前采用计算机进行数据处理时，需要对每一个脚本单独编码，然而，由于通常每一个脚本都需要执行数据库操作、日志操作和邮件操作等常用操作，因此编写大量的脚本容易出现许多重复代码，从而导致用于数据处理的脚本的开发效率低下。即使目前提供了将执行例如数据库操作、日志操作和邮件操作等常用操作的脚本代码进行封装的方案，然而该方案仅能够少量地减少编写脚本的过程中的重复代码，无法显著地提高用于数据处理的脚本的开发效率。

发明内容

本发明的目的在于提供一种数据处理方法、装置及存储介质，旨在显著地提高用于数据处理的脚本的开发效率。

为解决上述技术问题，本发明实施例提供以下技术方案：

一种数据处理方法，其中包括：获取数据处理任务；根据数据处理任务，获取预设的控制脚本集合；根据预设的控制脚本集合，生成相应的自定义脚本集合；根据自定义脚本集合和控制脚本集合，生成数据处理脚本集合；基于数据处理脚本集合，对相应的目标数据进行相应的处理。

进一步地，所述方法还包括：通过预设的调度脚本集合启动自定义脚本集合。

进一步地，所述方法还包括：根据自定义脚本集合，生成第二调度脚本集合；将第二调度脚本集合添加至预设的调度脚本集合。

进一步地，所述方法具体包括：根据自定义脚本集合以及预设的调度脚本集合，加载脚本配置文件；基于脚本配置文件，通过调度脚本集合按照预设时间启动自定义脚本集合。

进一步地，所述方法具体还包括：根据启动的自定义脚本集合生成相应的脚本连接文件，其中脚本连接文件为启动的自定义脚本集合调用控制脚本集合所需的资源；控制启动的自定义脚本集合，通过脚本连接文件调用控制脚本集合，生成数据处理脚本集合。

进一步地，数据处理任务的任务类型包括以下的一种或多种：数据同步任务、数据分析任务以及数据监控任务；控制脚本集合包括以下的一种或多种：数据同步脚本集合、数据分析脚本集合以及数据监控脚本集合；所述方法还包括：确定数据处理任务的任务类型；若任务类型是数据同步任务，则将数据同步脚本集合确认为控制脚本集合；若任务类型是数据分析任务，则将数据分析脚本集合确认为控制脚本集合；若任务类型是数据监控任务，则将数据监控脚本集合确认为控制脚本集合。

更进一步地，所述方法具体还包括：

基于数据同步任务，通过数据处理脚本集合对目标数据进行相应的同步配置，生成预处理数据；将预处理数据传输至待处理数据库；

基于数据分析任务，通过数据处理脚本集合对目标数据进行逻辑解析，生成解析数据；控制数据处理脚本集合对解析数据进行统计分析，生成统计分析结果；

基于数据监控任务，通过数据处理脚本集合对目标数据进行监控，生成监控结果。

为解决上述技术问题，本发明实施例还提供以下技术方案：

一种数据处理装置，其特征在于，包括：第一获取模块，用于获取数据处理任务；第二获取模块，用于根据数据处理任务，获取预设的控制脚本集合；第一生成模块，用于根据预设的控制脚本集合，生成相应的自定义脚本集合；第二生成模块，用于根据自定义脚本集合和控制脚本集合，生成数据处理脚本集合；处理模块，用于基于数据处理脚本集合，对相应的目标数据进行相应的处理。

进一步地，所述装置还包括：调度模块，用于通过预设的调度脚本集合启动自定义脚本集合。

进一步地，所述装置还包括：第三生成模块，用于根据自定义脚本集合，生成第二调度脚本集合；将第二调度脚本集合添加至预设的调度脚本集合。

进一步地，调度模块用于：根据自定义脚本集合以及预设的调度脚本集合，加载脚本配置文件；基于脚本配置文件，通过调度脚本集合按照预设时间启动自定义脚本集合。

进一步地，第二生成模块，用于：根据启动的自定义脚本集合生成相应的脚本连接文件，其中脚本连接文件为启动的自定义脚本集合调用控制脚本集合所需的资源；控制启动的自定义脚本集合，通过脚本连接文件调用控制脚本集合，生成数据处理脚本集合。

进一步地，数据处理任务的任务类型包括以下的一种或多种：数据同步任务、数据分析任务以及数据监控任务；所述控制脚本集合包括以下的一种或多种：数据同步脚本集合、数据分析脚本集合以及数据监控脚本集合；所述装置还包括：确认模块，用于确定数据处理任务的任务类型；若任务类型是数据同步任务，则将数据同步脚本集合确认为控制脚本集合；若任务类型是数据分析任务，则将数据分析脚本集合确认为控制脚本集合；若任务类型是数据监控任务，则将数据监控脚本集合确认为控制脚本集合。

进一步地，处理模块包括以下的一种或多种：数字同步子模块、数据分析子模块以及数据监控子模块；

其中，数据同步子模块，用于基于数据同步任务，通过数据处理脚本集合对目标数据进行相应的同步配置，生成预处理数据；将预处理数据传输至待处理数据库；

数据分析子模块，用于基于数据分析任务，通过数据处理脚本集合对目标数据进行逻辑解析，生成解析数据；控制数据处理脚本集合对解析数据进行统计分析，生成统计分析结果；

数据监控子模块，用于基于数据监控任务，通过数据处理脚本集合对目标数据进行监控，生成监控结果。

为解决上述技术问题，本发明实施例还提供以下技术方案：

一种存储介质，其中，该存储介质用于储存多条指令，该多条指令适于由处理器加载并执行上述的数据处理方法中的步骤。

相对于现有技术，本发明实施例首先获取数据处理任务，并根据数据处理任务，获取预设的控制脚本集合；其次根据预设的控制脚本集合，生成相应的自定义脚本集合；再根据自定义脚本集合和控制脚本集合，生成数据处理脚本集合；最后基于数据处理脚本集合，对相应的目标数据进行相应的处理。即本发明实施例预先提供实现数据同步任务、数据分析任务以及数据监控任务等数据处理任务的通用逻辑的控制脚本集合，细分地对数据处理的各个过程进行优化，从而用户或开发人员仅需要编写少量的自定义脚本集合即可调用控制脚本集合实现数据同步、数据分析以及数据监控等数据处理的工作，提高了用于数据处理的脚本的开发效率。

附图说明

下面结合附图，通过对本发明的具体实施方式详细描述，将使本发明的技术方案及其它有益效果显而易见。

图1a为本发明实施例提供的数据处理方法的场景示意图；

图1b为本发明第一实施例提供的数据处理方法的流程示意图；

图2a为本发明第二实施例提供的数据处理方法的流程示意图；

图2b为本发明第二实施例提供的数据同步的流程示意图；

图2c为本发明第二实施例提供的数据分析的流程示意图；

图2d为本发明第二实施例提供的数据监控的流程示意图；

图2e为本发明第二实施例提供的数据监控的另一流程示意图；

图3a为本发明第三实施例提供的数据处理装置的结构示意图；

图3b为本发明第三实施例提供的数据处理装置的另一结构示意图；

图4为本发明第四实施例提供的服务器的结构示意图。

具体实施方式

请参照图式，其中相同的组件符号代表相同的组件，本发明的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本发明具体实施例，其不应被视为限制本发明未在此详述的其它具体实施例。

在以下的说明中，本发明的具体实施例将参考由一部或多部计算机所执行的步骤及符号来说明，除非另有述明。因此，这些步骤及操作将有数次提到由计算机执行，本文所指的计算机执行包括了由代表了以一结构化型式中的数据的电子信号的计算机处理单元的操作。此操作转换该数据或将其维持在该计算机的内存系统中的位置处，其可重新配置或另外以本领域测试人员所熟知的方式来改变该计算机的运作。该数据所维持的数据结构为该内存的实体位置，其具有由该数据格式所定义的特定特性。但是，本发明原理以上述文字来说明，其并不代表为一种限制，本领域测试人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。

本文所使用的术语「模块」可看做为在该运算系统上执行的软件对象。本文所述的不同组件、模块、引擎及服务可看做为在该运算系统上的实施对象。而本文所述的装置及方法优选的以软件的方式进行实施，当然也可在硬件上进行实施，均在本发明保护范围之内。

本发明实施例提供一种数据处理方法、装置及存储介质。

其中，数据处理装置具体可以集成在终端或服务器中，其中终端可以是手机、笔记型计算机、平板电脑、或个人计算机(PC，Personal Computer)等具备储存单元并安装有微处理器的网络设备。

比如，可参见图1a，为本发明实施例提供的数据处理方法的场景示意图，其中数据处理装置集成在平板电脑中，主要用于实现数据同步任务、数据分析任务以及数据监控任务等数据处理任务。

比如，在数据处理装置接收到用户的数据处理请求时，首先，数据处理装置获取数据处理任务，并根据数据处理任务，获取预设的控制脚本集合；其次，根据预设的控制脚本集合，通过开发人员生成相应的自定义脚本集合；然后，数据处理装置根据自定义脚本集合和控制脚本集合，生成数据处理脚本集合；最后，数据处理装置基于数据处理脚本集合，对存储于服务器的相应的目标数据进行相应的处理，比如将存储于服务器的相应的目标数据进行数据同步，将相应的目标数据同步至终端；又比如对存储于服务器的相应的目标数据进行数据分析，将统计分析结果返回至数据处理装置；再比如对存储于服务器的相应的目标数据进行数据监控，将监控结果返回至数据处理装置。

以下将分别进行详细说明。需要说明的是，以下实施例的序号不作为实施例优选顺序的限定。

第一实施例

在本发明实施例中，将从数据处理装置的角度进行描述，该数据处理装置具体可集成在终端等设备中，如手机、笔记型计算机、平板电脑、或个人计算机等等。

一种数据处理方法，包括：获取数据处理任务；根据数据处理任务，获取预设的控制脚本集合；根据预设的控制脚本集合，生成相应的自定义脚本集合；根据自定义脚本集合和控制脚本集合，生成数据处理脚本集合；基于数据处理脚本集合，对相应的目标数据进行相应的处理。

请参阅图1b，图1b是本发明第一实施例提供的数据处理方法的流程示意图。该方法包括：

在步骤S101中，获取数据处理任务。

可以理解的是，本发明实施例的数据处理装置获取数据处理任务的方式有很多，比如，某些实施方式中，数据处理装置集成在平板电脑，用户可以通过平板电脑触发数据处理请求的操作指令，平板电脑根据该数据处理请求获取与该数据处理请求相应的数据处理任务。

需要说明的是，数据处理任务的任务类型可以包括但不限于以下的一种或多种：数据同步任务、数据分析任务以及数据监控任务。其中，数据同步任务指的是将不同存储设备，比如终端与终端、终端与服务器、或者服务器与服务器之间的数据进行传输和备份；数据分析任务指的是通过适当的解析方法对数据进行解析，并通过适当的统计分析方法对数据进行统计分析，提取出符合用户需求的统计分析结果；数据监控任务指的是对数据的值、容量、种类、或走势等进行监测，并提供预警或报警等反馈。

可以理解的是，根据用户的数据处理请求，可以获取一个或多个数据处理任务。比如，根据用户的数据处理请求，获取数据同步任务和数据分析任务。

在步骤S102中，根据数据处理任务，获取预设的控制脚本集合。

控制脚本集合可以是根据数据处理任务的通用逻辑而预先编写并封装的多个脚本。其中，数据处理任务的通用逻辑指的是数据处理任务的一些通用算法，比如数据同步的通用算法、数据分析的通用算法、以及数据监控的通用算法等。

控制脚本集合可以包括但不限于以下的一种或多种：数据同步脚本集合、数据分析脚本集合以及数据监控脚本集合。

其中，数据同步脚本集合指的是根据数据同步任务的通用逻辑而预先编写并封装的多个脚本。比如，预先编写实现数据同步任务的通用逻辑的多个脚本，并将这多个脚本进行封装，形成数据同步脚本集合，其中数据同步任务需要完成的工作可以包括但不限于以下的一种或多种：数据读取、数据格式转换、数据传输、数据比较、同步状态检测、同步失败重试等。

数据分析脚本集合指的是根据数据分析任务的通用逻辑而预先编写并封装的多个脚本。比如，预先编写实现数据分析任务的通用逻辑的多个脚本，并将这多个脚本进行封装，形成数据分析脚本集合，其中数据分析任务需要完成的工作可以包括但不限于以下的一种或多种：数据读取、数据解析、数据统计等。

数据监控脚本集合指的是根据数据监控任务的通用逻辑而预先编写并封装的多个脚本。比如，预先编写实现数据监控任务的通用逻辑的多个脚本，并将这多个脚本进行封装，形成数据监控脚本集合，其中数据监控任务需要完成的工作可以包括但不限于以下的一种或多种：数据读取、数据比较、数据预测、报警反馈等。

在本发明实施例中，在根据数据处理任务，获取预设的控制脚本集合(步骤S102)之前，还可以包括以下步骤：

(11)确定数据处理任务的任务类型；

其中，该任务类型可以根据实际应用的需求进行设置，比如，该任务类型可以包括数据同步任务、数据分析任务、以及数据监控任务等。

(12)若任务类型是数据同步任务，则将数据同步脚本集合确认为控制脚本集合；若任务类型是数据分析任务，则将数据分析脚本集合确认为控制脚本集合；若任务类型是数据监控任务，则将数据监控脚本集合确认为控制脚本集合。

进而，在某些实施方式中，根据数据处理任务，获取预设的控制脚本集合，可以是：根据数据同步任务，获取与预设的数据同步脚本集合。

在某些实施方式中，根据数据处理任务，获取预设的控制脚本集合，可以是：根据数据分析任务，获取与预设的数据分析脚本集合。

在某些实施方式中，根据数据处理任务，获取预设的控制脚本集合，可以是：根据数据监控任务，获取与预设的数据监控脚本集合。

可以理解的是，在某些实施方式中，根据用户的数据处理请求，可以获取多个数据处理任务，则可根据多个数据处理任务，获取多个预设的控制脚本集合。比如，根据数据同步任务和数据分析任务，获取预设的数据同步脚本集合、以及预设的数据分析脚本集合。

在步骤S103中，根据预设的控制脚本集合，生成相应的自定义脚本集合。

其中，自定义脚本集合可以包括一个或多个自定义脚本，这些自定义脚本可以是根据数据处理装置的应用场景的特定需求而编写的脚本。

具体的，比如，基于数据同步任务，自定义脚本可以是实现对控制脚本集合的调用的脚本，也可以是提供数据同步任务的参数配置的脚本。基于数据分析任务，自定义脚本可以是针对特定的运行终端而编写的包含统计分析的逻辑的多个脚本，其中统计分析的逻辑指的是具体的计算算法。基于数据监控任务，自定义脚本可以是提供数据异常条件的脚本。需要说明的是，以上仅是基于不同的数据处理任务对自定义脚本进行举例说明，并不构成对自定义脚本的限定。

在某些实施方式中，自定义脚本集合可以是实现具体应用场景的数据处理任务的主流程的脚本。比如，在某一应用场景，需要数据处理装置对第三方数据进行分析，则开发人员需要编写用于实现对第三方数据进行分析的主流程的脚本，形成供用户获取的自定义脚本集合。该主流程可以是将第三方数据进行同步，再对同步后的第三方数据进行分析。

又比如，在某一应用场景，需要数据处理装置对第三方数据进行监控，则开发人员需要编写用于实现对第三方数据进行监控的主流程的脚本，形成供用户获取的自定义脚本集合。该主流程可以是将第三方数据进行同步，再对同步后的第三方数据进行监控。

在某些实施方式中，自定义脚本集合可以是实现控制脚本集合不包含的功能的脚本。比如，在某一应用场景，需要数据处理装置对第三方数据进行复杂的特定的分析，而预设的控制脚本集合不包含实现该特定的分析的逻辑，则需要针对该特定的分析的逻辑编写自定义脚本集合。

在步骤S104中，根据自定义脚本集合和控制脚本集合，生成数据处理脚本集合。

其中，数据处理脚本集合指的是由自定义脚本集合和控制脚本集合共同形成的，用于实现特定的数据处理任务的多个脚本。

在根据自定义脚本集合和控制脚本集合，生成数据处理脚本集合(步骤S104)之前，还可以包括：通过预设的调度脚本集合启动自定义脚本集合。

其中，调度脚本集合指的是根据脚本调度的工作预先编写并封装的多个脚本。比如预先编写实现脚本调度的工作的具体逻辑的多个脚本，并将这多个脚本进行封装，形成调度脚本集合，其中脚本调度的工作可以包括但不限于以下的一种或多种：脚本配置、加载脚本配置文件、查询脚本状态、启动脚本进程、停止脚本进程等。

具体的，通过预设的调度脚本集合启动自定义脚本集合，可以包括：

(21)根据自定义脚本集合以及预设的调度脚本集合，加载脚本配置文件；

(22)基于脚本配置文件，通过调度脚本集合按照预设时间启动自定义脚本集合。

其中，脚本配置文件包含了自定义脚本集合的配置信息，比如存放路径、归属产品、脚本类型、启动时间、运行等级、自定义脚本集合与控制脚本集合的关系、运行资源配置以及告警收件人等，从而根据脚本配置文件可以获得如何调度自定义脚本集合的信息以及调度自定义脚本集合所需的资源信息。在某些实施方式中，脚本配置文件可以是基于可扩展标记语言(XML，Extensible Markup Language)的文本文件，该文本文件采用键-值(Key-Value)存储模型以及树形层级模式对自定义脚本集合的配置信息进行存储和管理，以便能够根据脚本配置文件清楚地获取不同运行环境下的自定义脚本集合的运行情况。

在某些实施方式中，在通过预设的调度脚本集合启动自定义脚本集合之前，还包括：根据自定义脚本集合，生成第二调度脚本集合；将第二调度脚本集合添加至预设的调度脚本集合。

具体的，可以根据自定义脚本集合以及数据处理装置的应用场景的特定需求，生成预设的调度脚本集合中还缺少的用于调度某些特定的自定义脚本集合的脚本，形成第二调度脚本集合，再将第二调度脚本集合添加至预设的调度脚本集合，以对预设的调度脚本集合进行更新。因此，预设的调度脚本集合是可以根据实际的应用场景的特定需求更新的，以使调度脚本集合能够更加灵活地应用于各种应用场景。

目前采用计算机进行数据处理时，需要计算机对每一个脚本进行单独调度，例如在Linux(一种操作系统)系统中采用系统自带的crontab(一种程序指令)定时任务机制按照预设时间启动脚本，需要为每一个脚本编写crontab配置命令，导致在脚本数量较多的情况下增加了对脚本进行调度和管理的难度。另外，采用Linux系统自带的crontab定时任务机制对脚本进行调度还存在配置散乱以及配置工作量大的问题，比如，一方面Linux系统除了对用于执行本次数据处理任务的大量脚本进行配置之外，还需要对Linux系统的其他程序进行配置；另一方面用于执行本次数据处理任务的大量脚本可能需要在不同的终端/服务器运行，若采用Linux系统自带的crontab定时任务机制则需要在不同的终端/服务器上对用于执行本次数据处理任务的大量脚本进行重新配置。

在本发明实施例中，通过预设的调度脚本集合按照预设时间启动自定义脚本集合，即本发明实施例利用调度脚本集合能够对多个自定义脚本集合进行统一配置，以对多个自定义脚本集合进行统一地调度和管理，从而即使自定义脚本集合在不同的终端/服务器上运行时，也仅需要利用调度脚本集合对自定义脚本集合进行统一配置和调度，而不受终端/服务器上的其他程序的干扰。

在本发明实施例中，根据自定义脚本集合和控制脚本集合，生成数据处理脚本集合，可以包括：根据启动的自定义脚本集合和控制脚本集合，生成数据处理脚本集合。

具体的，根据启动的自定义脚本集合和控制脚本集合，生成数据处理脚本集合，可以包括：

(31)根据启动的自定义脚本集合生成相应的脚本连接文件，其中脚本连接文件为启动的自定义脚本集合调用控制脚本集合所需的资源；

(32)控制启动的自定义脚本集合，通过脚本连接文件调用控制脚本集合，生成数据处理脚本集合。

比如，为启动的自定义脚本集合生成相应的脚本连接文件，然后自定义脚本集合通过该脚本连接文件提供的资源，调用相应的控制脚本集合，生成数据处理脚本集合。可以理解的是，自定义脚本集合与控制脚本集合通过相应的脚本连接文件建立联系，形成数据处理脚本集合。具体的，以数据同步脚本集合封装了实现数据同步任务的通用逻辑的多个脚本为例，根据启动的自定义脚本集合和控制脚本集合，生成数据处理脚本集合，可以包括：为启动的自定义脚本集合生成相应的脚本连接文件，其中脚本连接文件为自定义脚本集合提供调用数据同步脚本集合所需的资源；控制自定义脚本集合，通过脚本连接文件调用数据同步脚本集合，生成用于完成数据同步任务的数据处理脚本集合。

再比如，以数据同步脚本集合封装了实现数据同步任务的通用逻辑的多个脚本，并且自定义脚本集合提供了用于数据同步任务的通用逻辑的参数配置的脚本为例，根据启动的自定义脚本集合和控制脚本集合，生成数据处理脚本集合，可以包括：为启动的自定义脚本集合生成相应的脚本连接文件；控制自定义脚本集合，通过脚本连接文件向数据同步脚本集合传入相应的参数配置，从而由自定义脚本集合和数据同步脚本集合通过参数配置建立联系，生成数据处理脚本集合，该数据处理脚本集合能够自动完成数据同步任务。

可以理解的是，若有多个启动的自定义脚本集合，则可以根据每个启动的自定义脚本集合生成与其相应的脚本连接文件，每个自定义脚本集合在运行过程中使用的脚本连接文件相互独立。

需要说明的，脚本连接文件可以是封装了大量函数和变量的对象，这些函数和变量提供了调用控制脚本集合所需的资源。在某些实施方式中，调用控制脚本集合所需的资源主要是指用于调用数据同步脚本集合、数据分析脚本集合、数据监控脚本集合、日志、数据库、邮件等的函数接口。因此，脚本连接文件能够为自定义脚本集合调用控制脚本集合提供统一的调用入口。

在步骤S105中，基于数据处理脚本集合，对相应的目标数据进行相应的处理。

在某些实施方式中，基于数据处理脚本集合，对相应的目标数据进行相应的处理，可以包括：基于数据同步任务，通过数据处理脚本集合对目标数据进行相应的同步配置，生成预处理数据；将预处理数据传输至待处理数据库。其中，该目标数据指的是待同步的数据，具体可以是存储于其他的数据库/终端/服务器等的待同步的数据。待同步的数据可以是日志文件数据、数据库数据、或接口返回数据等。

比如，基于数据同步任务，数据处理脚本集合可以根据不同类型的目标数据提供相应的同步配置，从而通过数据处理脚本集合对不同类型的目标数据进行处理，形成具有预设的统一格式的预处理数据。

其中，预处理数据指的是具有预设的统一格式的数据。同步配置指的是运行数据处理脚本集合所需的参数、字段映射关系等。待处理数据库指的是用于存储预处理数据的数据库，它可以是数据表等形式。

可以理解的是，数据处理脚本集合可以包含多种常用的数据同步算法。

在某些实施方式中，基于数据处理脚本集合，对相应的目标数据进行相应的处理，可以包括：基于数据分析任务，通过数据处理脚本集合对目标数据进行逻辑解析，生成解析数据；控制数据处理脚本集合对解析数据进行统计分析，生成统计分析结果。其中，该目标数据指的是待分析的数据，具体可以是存储于数据库/终端/服务器等的待分析的数据，比如存储于上述的待处理数据库中的数据。

在某些实施方式中，基于数据处理脚本集合，对相应的目标数据进行相应的处理，可以包括：基于数据监控任务，通过数据处理脚本集合对目标数据进行监控，生成监控结果。其中，该目标数据指的是待监控的数据，具体可以是存储于数据库/终端/服务器等的待监控的数据。监控结果可以是异常数据信息的反馈、报警反馈等。

比如，在本发明实施例中，可以基于数据监控任务，通过数据处理脚本集合对待监控的数据进行监控，当待监控的数据触发预设的数据异常条件时，则向用户发送数据异常的反馈信息。

由上述可知，本发明实施例提供的数据处理方法，首先获取数据处理任务，并根据数据处理任务，获取预设的控制脚本集合；其次根据预设的控制脚本集合，生成相应的自定义脚本集合；根据自定义脚本集合和控制脚本集合，生成数据处理脚本集合；最后基于数据处理脚本集合，对相应的目标数据进行相应的处理。即本发明实施例通过获取预设的数据同步脚本集合、数据分析脚本集合、数据监控脚本集合等控制脚本集合，以获取实现数据同步任务、数据分析任务以及数据监控任务等数据处理任务的通用逻辑的封装脚本，从而仅需要另外编写与数据处理任务相应的少量自定义脚本集合，即可对相应的目标数据完成数据同步、数据分析或数据监控等工作。

因此，本发明实施例通过将数据处理的工作拆分为数据同步、数据分析以及数据监控，并预先将完成数据同步、数据分析以及数据监控的工作的通用逻辑的脚本进行封装，细分地对数据处理的各个过程进行优化，使得开发人员仅需要关注数据处理装置的应用场景的特定需求而编写自定义脚本，从而显著地提高了用于数据处理的脚本的开发效率。

第二实施例

根据上述实施例所述的方法，以下将举例作进一步详细说明。

请参阅图2a，图2a是本发明第二实施例提供的数据处理方法的流程示意图。以数据处理装置集成在终端为例，该数据处理方法包括：

在步骤S201中，终端接收用户的数据处理请求，根据数据处理请求获取相应的数据处理任务。

比如，用户可以通过平板电脑触发数据处理请求的操作指令，数据处理装置在接收到用户的数据处理请求时，根据该数据处理请求获取与相应的数据处理任务。

需要说明的是，数据处理任务的任务类型可以包括但不限于以下的一种或多种：数据同步任务、数据分析任务以及数据监控任务。

比如，在本发明实施例中，接收用户的数据处理请求，根据数据处理请求获取数据处理任务，该数据处理任务包括数据同步任务、数据分析任务以及数据监控任务。

在步骤S202中，终端根据数据处理任务，获取预设的控制脚本集合。

比如，终端根据数据处理任务，获取预先存储于终端的控制脚本集合。

其中，控制脚本集合可以是根据数据处理任务的通用逻辑而预先编写并封装的多个脚本。其中，数据处理任务的通用逻辑指的是数据处理任务的一些通用算法，比如数据同步的通用算法、数据分析的通用算法、以及数据监控的通用算法等。

控制脚本集合可以包括但不限于以下的一种或多种：数据同步脚本集合、数据分析脚本集合以及数据监控脚本集合。

在本发明实施例中，若数据处理任务的任务类型是数据同步任务，则将数据同步脚本集合确认为控制脚本集合；若数据处理任务的任务类型是数据分析任务，则将数据分析脚本集合确认为控制脚本集合；若数据处理任务的任务类型是数据监控任务，则将数据监控脚本集合确认为控制脚本集合

进而，在本发明实施例中，终端根据数据处理任务，获取预设的控制脚本集合，可以包括：终端根据数据同步任务，获取预设的数据同步脚本集合；终端根据数据分析任务，获取预设的数据分析脚本集合；终端根据数据监控任务，获取预设的数据监控脚本集合。

在步骤S203中，终端根据数据处理任务以及预设的控制脚本集合，获取相应的自定义脚本集合。

比如，终端根据数据处理任务以及预设的控制脚本集合，通过开发人员获取相应的自定义脚本集合。

其中，自定义脚本集合可以包括一个或多个自定义脚本，这些自定义脚本可以是根据数据处理装置的应用场景的特定需求而编写的脚本。

在本发明实施例中，终端根据数据处理任务以及预设的控制脚本集合，获取相应的自定义脚本集合，可以包括：

终端根据数据同步任务以及预设的数据同步脚本集合，获取第一自定义脚本集合，将该第一自定义脚本集合确定为相应的自定义脚本集合；

终端根据数据分析任务以及预设的数据分析脚本集合，获取第二自定义脚本集合，将该第二自定义脚本集合确定为相应的自定义脚本集合；

终端根据数据监控任务以及预设的数据监控脚本集合，获取第三自定义脚本集合，将该第三自定义脚本集合确定为相应的自定义脚本集合。

其中，第一自定义脚本集合可以是根据数据处理装置的应用场景的特定需求、数据同步脚本集合包含的通用逻辑而编写的多个脚本；第二自定义脚本集合可以是根据数据处理装置的应用场景的特定需求、数据分析脚本集合包含的通用逻辑而编写的多个脚本；第三自定义脚本集合可以是根据数据处理装置的应用场景的特定需求、数据监控脚本集合包含的通过逻辑而编写的多个脚本。

在步骤S204中，终端通过预设的调度脚本集合启动自定义脚本集合。

其中调度脚本集合指的是根据脚本调度的工作预先编写并封装的多个脚本。脚本调度的工作可以包括但不限于以下的一种或多种：脚本配置、加载脚本配置文件、查询脚本状态、启动脚本进程、停止脚本进程等。

在本发明实施例中，终端通过预设的调度脚本集合启动自定义脚本集合，可以包括：终端根据第一自定义脚本集合、第二自定义脚本集合、第三自定义脚本集合以及预设的调度脚本集合，加载脚本配置文件；基于脚本配置文件，通过调度脚本集合按照相应的预设时间分别启动第一自定义脚本集合、第二自定义脚本集合以及第二自定义脚本集合。

比如，调度脚本集合在时间A启动第一自定义脚本集合，在时间B启动第二自定义脚本集合，在时间C启动第三自定义脚本集合。

其中，脚本配置文件包含了第一自定义脚本集合、第二自定义脚本集合、第三自定义脚本集合的配置信息，比如存放路径、归属产品、脚本类型、启动时间、运行等级、运行资源配置、告警收件人、第一自定义脚本集合与数据同步脚本集合的关系、第二自定义脚本集合与数据分析脚本集合的关系以及第三自定义脚本集合与数据监控脚本集合的关系等，从而根据脚本配置文件可以获得如何调度第一自定义脚本集合、第二自定义脚本集合以及第三自定义脚本集合的信息以及所需的资源信息。

在本发明实施例中，通过预设的调度脚本集合按照预设时间启动自定义脚本集合，即本发明实施例利用调度脚本集合能够对多个自定义脚本集合进行统一配置，以对多个自定义脚本集合进行统一地调度和管理，从而即使自定义脚本集合在不同的终端/服务器运行时，也仅需要利用调度脚本集合对自定义脚本集合进行统一配置和调度，而不受终端/服务器上的其他程序的干扰。

在某些实施方式中，在通过预设的调度脚本集合启动自定义脚本集合之前，还包括：根据自定义脚本集合，生成第二调度脚本集合；将第二调度脚本集合添加至预设的调度脚本集合。

具体的，可以根据自定义脚本集合以及数据处理装置的应用场景的特定需求，生成预设的调度脚本集合中还缺少的用于调度某些特定的自定义脚本集合的脚本，形成第二调度脚本集合，再将第二调度脚本集合添加至预设的调度脚本集合，以对预设的调度脚本集合进行更新。因此，预设的调度脚本集合是可以根据实际的应用场景的特定需求更新的，以使调度脚本集合能够更加灵活地应用于各种应用场景。

在步骤S205中，终端根据自定义脚本集合和控制脚本集合，生成数据处理脚本集合。

其中，数据处理脚本集合指的是由自定义脚本集合和控制脚本集合共同形成的，用于实现特定的数据处理任务的多个脚本。

在本发明实施例中，终端根据自定义脚本集合和控制脚本集合，生成数据处理脚本集合，可以包括：

根据启动的第一自定义脚本集合生成第一脚本连接文件，其中第一脚本连接文件为启动的第一自定义脚本集合调用数据同步脚本集合所需的资源；根据启动的第二自定义脚本集合生成第二脚本连接文件，其中第二脚本连接文件为启动的第二自定义脚本集合调用数据分析脚本集合所需的资源；根据启动的第三自定义脚本集合生成第三脚本连接文件，其中第三脚本连接文件为启动的第三自定义脚本集合调用数据监控脚本集合所需的资源；

控制启动的第一自定义脚本集合，通过第一脚本连接文件调用数据同步脚本集合，生成第一数据处理脚本集合；控制启动的第二自定义脚本集合，通过第二脚本连接文件调用数据分析脚本集合，生成第二数据处理脚本集合；控制启动的第三自定义脚本集合，通过第三脚本连接文件调用数据监控脚本集合，生成第三数据处理脚本集合。

其中，第一数据处理脚本集合指的是由第一自定义脚本集合和数据同步脚本集合共同形成的，用于实现数据同步任务的多个脚本；第二数据处理脚本集合指的是由第二自定义脚本集合和数据分析脚本集合共同形成的，用于实现数据分析任务的多个脚本；第三数据处理脚本集合指的是由第三自定义脚本集合和数据监控脚本集合共同形成的，用于实现数据监控任务的多个脚本。

在步骤S206中，基于数据同步任务，终端通过第一数据处理脚本集合对存储于服务器的第一目标数据进行相应的处理。

其中，第一目标数据指的是待同步的数据，具体可以是存储于其他的数据库/终端/服务器等的待同步的数据。待同步的数据可以是日志文件数据、数据库数据、接口返回数据等。

在本发明实施例中，基于数据同步任务，终端通过第一数据处理脚本集合对存储于服务器的第一目标数据进行相应的处理，可以包括：基于数据同步任务，终端通过第一数据处理脚本集合对存储于服务器的第一目标数据进行相应的同步配置，生成预处理数据；再将预处理数据传输并保存至待处理数据库中。

其中，预处理数据指的是具有预设的统一格式的数据。同步配置指的是运行数据处理脚本集合所需的参数、字段映射关系等。待处理数据库指的是用于存储预处理数据的数据库。

可以理解的是，第一数据处理脚本集合可以包含多种常用的数据同步算法。

比如，请参阅图2b，图2b为本发明第二实施例提供的数据同步的流程示意图。在某些实施方式中，基于数据同步任务，终端通过第一数据处理脚本集合对存储于服务器的第一目标数据进行相应的处理，可以包括：

(41)终端从服务器获取第一目标数据；可以理解的是，终端也可以从第三方的终端或服务器等设备获取第一目标数据；

(42)判断第一目标数据的数据类型；

(43)通过第一数据处理脚本集合对不同数据类型的第一目标数据进行同步配置，生成具有预设的统一格式的预处理数据；

(44)将预处理数据保存至终端的待处理数据库。

具体的，以将日志文件数据同步到用户表为例，首先第一数据处理脚本集合提供访问日志文件的参数，以打开日志文件；其次逐行读取日志文件的文件内容；然后第一数据处理脚本集合提供字段映射关系，将日志文件的文件内容映射形成具有预设的统一格式的预处理数据；最后将预处理数据传输并保存至用户表中。

以将数据库X的数据同步到数据库Y为例，首先第一数据处理脚本集合提供访问数据库X的参数，以连接数据库X；其次查询数据库X的数据；然后第一数据处理脚本集合提供字段映射关系，将数据库X的数据映射形成具有预设的统一格式的预处理数据；最后将预处理数据传输并保存至数据库Y中。

以将接口返回的数据同步到数据库M为例，首先第一数据处理脚本集合提供访问接口的参数；其次获取接口返回的JSON(JavaScript Object Notation，JavaScript对象标记)数据；然后第一数据处理脚本集合提供字段映射关系，将接口返回的JSON数据映射形成具有预设的统一格式的预处理数据；最后将预处理数据传输并保存至数据库M中。

假设，以基于互联网的挂号平台为例，该挂号平台需要从医院的系统接入关于医院信息、科室信息、医生信息等数据，即该挂号平台需要将医院的相关数据信息同步至挂号平台的数据库，则可以通过第一数据处理脚本集合对医院的系统中的医院信息、科室信息、医生信息等数据进行同步配置，生成具有预设的统一格式的预处理数据，再将预处理数据保存至挂号平台的数据库。

在步骤S207中，基于数据分析任务，终端通过第二数据处理脚本集合对存储于服务器的第二目标数据进行相应的处理。

其中，第二目标数据指的是待监控的数据，具体可以是存储于数据库/终端/服务器等的待监控数据。

比如，参阅图2c，图2c为本发明第二实施例提供的数据分析的流程示意图。在某些实施方式中，基于数据分析任务，终端通过第二数据处理脚本集合对存储于服务器的第二目标数据进行相应的处理，可以包括：

(51)终端从服务器获取第二目标数据；可以理解的是，本发明实施例中，终端也可以从上述待处理数据库获取第二目标数据；

(52)基于数据分析任务，通过第二数据处理脚本集合对第二目标数据进行逻辑解析，生成解析数据；

(53)控制第二数据处理脚本集合对解析数据进行统计分析，生成统计分析结果，并将统计分析结果保存至终端。

其中，统计分析结果的形式可以有多种，比如统计表、统计图、函数等。

假设，继续以基于互联网的挂号平台为例，该挂号平台需要对用户的挂号信息进行分析，则可以通过第二数据处理脚本集合对上述挂号平台中的数据库的数据进行逻辑解析，生成解析数据；再对解析数据进行统计分析，获得独立用户/独立访客量(UV，UniqueVisitor)、页面浏览量/点击量(PV，Page View)、在线人数、日均流量、人均访问量等数据指标，以提供挂号平台进行产品运营的基础。

在步骤S208中，基于数据监控任务，终端通过第三数据处理脚本集合对存储于服务器的第三目标数据进行相应的处理。

其中，第三目标数据指的是待监控的数据，具体可以是存储于数据库/终端/服务器等的待监控的数据。监控结果可以是异常数据信息的反馈、报警反馈等。

比如，在本发明实施例中，可以基于数据监控任务，通过数据处理脚本集合对待监控的数据进行监控，当待监控的数据触发预设的数据异常条件时，则向用户发送数据异常的反馈信息。

具体的，比如，参阅图2d，图2d为本发明第三实施例提供的数据监控的流程示意图。在某些实施方式中，基于数据监控任务，终端通过第三数据处理脚本集合对存储于服务器的第三目标数据进行相应的处理，可以包括：

(61)终端从服务器获取第三目标数据；可以理解的是，本发明实施例中，终端也可以从上述待处理数据库或统计分析结果中获取第三目标数据；

(62)查询预设时间区间的数据，并计算该预设时间区间的数据均值；

(63)将当前时间点的数据与上述预设时间区间的数据的均值进行比较，计算当前时间点的数据与预设时间区间的数据均值的差值百分比；

(64)判断差值百分比是否超过阈值，若差值百分比超过阈值，则执行步骤(65)，否则返回执行步骤(62)；

(65)触发报警。

例如，终端需要监控2017年3月26日的数据B是否正常，则终端可以查询2017年3月19日至2017年3月25日的数据，并计算2017年3月19日至2017年3月25日的数据的均值A，进而差值百分比P＝(B-A)/A；判断差值百分比P是否超过阈值，比如阈值为20％；若差值百分比P超过20％，则触发报警。

又比如，参阅图2e，图2e为本发明第三实施例提供的数据监控的另一流程示意图。在某些实施方式中，基于数据监控任务，终端通过第三数据处理脚本集合对存储于服务器的第三目标数据进行相应的处理，可以包括：

(71)终端从服务器获取第三目标数据；可以理解的是，本发明实施例中，终端也可以从上述待处理数据库或统计分析结果中获取第三目标数据；

(72)查询预设时间区间的数据，并计算该预设时间区间的数据的走势函数；

(73)根据走势函数预测下一时间点的预测数据；

(74)计算下一时间点的数据与预测数据的差值百分比；

(75)判断差值百分比是否超过阈值，若差值百分比超过阈值，则执行步骤(76)，否则返回执行步骤(72)；

(77)触发报警。

假设，继续以基于互联网的挂号平台为例，该挂号平台需要关注不同医院提供的号码数量，则可以通过第三数据处理脚本集合对上述挂号平台中的数据库的数据进行监控，比如当号码数量突然出现大幅度下降时则需要提供反馈信息，以维护挂号平台的正常运营。

另外，在该实施例中没有详述的部分，可以参见第一实施例针对数据处理方法的详细描述，在此不再赘述。

由上述可知，本发明实施例通过将数据处理的工作拆分为数据同步、数据分析以及数据监控，并预先将完成数据同步、数据分析以及数据监控的工作的通用逻辑的脚本进行封装，从而不仅细分地对数据处理的各个过程进行优化，而且开发人员仅需要关注数据处理装置的应用场景的特定需求而编写自定义脚本，从而显著地提高了用于数据处理的脚本的开发效率。

第三实施例

为了便于更好的实施本发明实施例提供的数据处理方法，本发明实施例还提供一种基于上述数据处理方法的装置。其中名词的含义与上述数据处理方法中相同，具体实现细节可以参考方法实施例中的说明。

请参阅图3a，图3a为本发明第三实施例提供的数据处理装置的结构示意图，其中该数据处理装置300可以包括第一获取模块301、第二获取模块302、第一生成模块303、第二生成模块304以及处理模块305。

在数据处理装置300中，第一获取模块301用于获取数据处理任务。

可以理解的是，本发明实施例的第一获取模块301获取数据处理任务的方式有很多，比如，某些实施方式中，数据处理装置集成在平板电脑，用户可以通过平板电脑触发数据处理请求的操作指令，平板电脑根据该数据处理请求获取与该数据处理请求相应的数据处理任务。

需要说明的是，数据处理任务的任务类型可以包括但不限于以下的一种或多种：数据同步任务、数据分析任务以及数据监控任务。其中，数据同步任务指的是将不同存储设备，比如终端与终端、终端与服务器、或者服务器与服务器之间的数据进行传输和备份；数据分析任务指的是通过适当的解析方法对数据进行解析，并通过适当的统计分析方法对数据进行统计分析，提取出符合用户需求的统计分析结果；数据监控任务指的是对数据的值、容量、种类、走势等进行监测，并提供预警、报警等反馈。

可以理解的是，根据用户的数据处理请求，数据处理装置300可以获取一个或多个数据处理任务。比如，根据用户的数据处理请求，数据处理装置300获取数据同步任务和数据分析任务。

在数据处理装置300中，第二获取模块302用于根据数据处理任务，获取预设的控制脚本集合。

控制脚本集合可以是根据数据处理任务的通用逻辑而预先编写并封装的多个脚本。其中，数据处理任务的通用逻辑指的是数据处理任务的一些通用算法，比如数据同步的通用算法、数据分析的通用算法、数据监控的通用算法等。

控制脚本集合可以包括但不限于以下的一种或多种：数据同步脚本集合、数据分析脚本集合以及数据监控脚本集合。

其中，数据同步脚本集合指的是根据数据同步任务的通用逻辑而预先编写并封装的多个脚本。比如，预先编写实现数据同步任务的通用逻辑的多个脚本，并将这多个脚本进行封装，形成数据同步脚本集合，其中数据同步任务需要完成的工作可以包括但不限于以下的一种或多种：数据读取、数据格式转换、数据传输、数据比较、同步状态检测、同步失败重试等。

数据分析脚本集合指的是根据数据分析任务的通用逻辑而预先编写并封装的多个脚本。比如，预先编写实现数据分析任务的通用逻辑的多个脚本，并将这多个脚本进行封装，形成数据分析脚本集合，其中数据分析任务需要完成的工作可以包括但不限于以下的一种或多种：数据读取、数据解析、数据统计等。

数据监控脚本集合指的是根据数据监控任务的通用逻辑而预先编写并封装的多个脚本。比如，预先编写实现数据监控任务的通用逻辑的多个脚本，并将这多个脚本进行封装，形成数据监控脚本集合，其中数据监控任务需要完成的工作可以包括但不限于以下的一种或多种：数据读取、数据比较、数据预测、报警反馈等。

请一并参阅图3b，图3b为本发明第三实施例提供的数据处理装置的另一结构示意图。在数据处理装置300中，还可以包括确认模块306。确认模块306用于：确定数据处理任务的任务类型，其中，该任务类型可以根据实际应用的需求进行设置，比如，该任务类型可以包括数据同步任务、数据分析任务、以及数据监控任务；若任务类型是数据同步任务，则将数据同步脚本集合确认为控制脚本集合；若任务类型是数据分析任务，则将数据分析脚本集合确认为控制脚本集合；若任务类型是数据监控任务，则将数据监控脚本集合确认为控制脚本集合。

在某些实施方式中，第二获取模块302具体可以用于：根据数据同步任务，获取预设的数据同步脚本集合。

在某些实施方式中，第二获取模块302具体可以用于：根据数据分析任务，获取预设的数据分析脚本集合。

在某些实施方式中，第二获取模块302具体可以用于：根据数据监控任务，获取预设的数据监控脚本集合。

可以理解的是，在某些实施方式中，根据用户的数据处理请求，数据处理装置300可以获取多个数据处理任务，则可根据多个数据处理任务，获取多个及预设的控制脚本集合。比如，根据数据同步任务和数据分析任务，数据处理装置300获取预设的数据同步脚本集合、以及预设的数据分析脚本集合。

在数据处理装置300中，第一生成模块303用于根据预设的控制脚本集合，生成相应的自定义脚本集合。

其中，自定义脚本集合可以包括一个或多个自定义脚本，这些自定义脚本可以是根据数据处理装置的应用场景的特定需求而编写的脚本。

具体的，比如，基于数据同步任务，自定义脚本可以是实现对控制脚本集合的调用的脚本，也可以是提供数据同步任务的参数配置的脚本。基于数据分析任务，自定义脚本可以是针对特定的运行终端而编写的包含统计分析的逻辑的多个脚本，其中统计分析的逻辑指的是具体的计算算法。基于数据监控任务，自定义脚本可以是提供数据异常条件的脚本。需要说明的是，以上仅是基于不同的数据处理任务对自定义脚本进行举例说明，并不构成对自定义脚本的限定。

在某些实施方式中，自定义脚本集合可以是实现具体应用场景的数据处理任务的主流程的脚本。比如，在某一应用场景，需要数据处理装置对第三方数据进行分析，则开发人员需要编写用于实现对第三方数据进行分析的主流程的脚本，形成供用户获取的自定义脚本集合。该主流程可以是将第三方数据进行同步，再对同步后的第三方数据进行分析。

又比如，在某一应用场景，需要数据处理装置对第三方数据进行监控，则开发人员需要编写用于实现对第三方数据进行监控的主流程的脚本，形成供用户获取的自定义脚本集合。该主流程可以是将第三方数据进行同步，再对同步后的第三方数据进行监控。

在某些实施方式中，自定义脚本集合可以是实现控制脚本集合不包含的功能的脚本。比如，在某一应用场景，需要数据处理装置对第三方数据进行复杂的特定的分析，而预设的控制脚本集合不包含实现该特定的分析的逻辑，则需要针对该特定的分析的逻辑编写自定义脚本集合。

在数据处理装置300中，还可以包括调度模块307。调度模块307用于：通过预设的调度脚本集合启动自定义脚本集合。

其中调度脚本集合指的是根据脚本调度的工作预先编写并封装的多个脚本。比如预先编写实现脚本调度的工作的具体逻辑的多个脚本，并将这多个脚本进行封装，形成调度脚本集合，其中脚本调度的工作可以包括但不限于以下的一种或多种：脚本配置、加载脚本配置文件、查询脚本状态、启动脚本进程、停止脚本进程等。

比如，调度模块307具体可以用于：根据自定义脚本集合以及预设的调度脚本集合，加载脚本配置文件；基于脚本配置文件，通过调度脚本集合按照预设时间启动自定义脚本集合。

其中，脚本配置文件包含了自定义脚本集合的配置信息，比如存放路径、归属产品、脚本类型、启动时间、运行等级、自定义脚本集合与控制脚本集合的关系、运行资源配置以及告警收件人等，从而根据脚本配置文件可以获得如何调度自定义脚本集合的信息以及调度自定义脚本集合所需的资源信息。在某些实施方式中，脚本配置文件可以是基于可扩展标记语言(XML，Extensible Markup Language)的文本文件，该文本文件采用Key-Value存储模型以及树形层级模式对自定义脚本集合的配置信息进行存储和管理，以便能够根据脚本配置文件清楚地获取不同运行环境下的自定义脚本集合的运行情况。

参阅图3b，在数据处理装置300中，还可以包括第三生成模块308。第三生成模块308用于：根据自定义脚本集合，生成第二调度脚本集合；将第二调度脚本集合添加至预设的调度脚本集合。

具体的，第三生成模块308具体可以用于：根据自定义脚本集合以及数据处理装置的应用场景的特定需求，生成预设的调度脚本集合中还缺少的用于调度某些特定的自定义脚本集合的脚本，形成第二调度脚本集合，再将第二调度脚本集合添加至预设的调度脚本集合，以对预设的调度脚本集合进行更新。因此，预设的调度脚本集合是可以根据实际的应用场景的特定需求更新的，以使调度脚本集合能够更加灵活地应用于各种应用场景。

目前采用计算机进行数据处理时，需要计算机对每一个脚本进行单独调度，例如在Linux系统中采用系统自带的crontab定时任务机制按照预设时间启动脚本，需要为每一个脚本编写crontab配置命令，导致在脚本数量较多的情况下增加了对脚本进行调度和管理的难度。另外，采用Linux系统自带的crontab定时任务机制对脚本进行调度还存在配置散乱以及配置工作量大的问题，比如，一方面Linux系统除了对用于执行本次数据处理任务的大量脚本进行配置之外，还需要对Linux系统的其他程序进行配置；另一方面用于执行本次数据处理任务的大量脚本可能需要在不同的终端/服务器运行，若采用Linux系统自带的crontab定时任务机制则需要在不同的终端/服务器上对用于执行本次数据处理任务的大量脚本进行重新配置。

在本发明实施例中，通过预设的调度脚本集合按照预设时间启动自定义脚本集合，即本发明实施例利用调度脚本集合能够对多个自定义脚本集合进行统一配置，以对多个自定义脚本集合进行统一地调度和管理，从而即使自定义脚本集合在不同的终端/服务器上运行时，也仅需要利用调度脚本集合对自定义脚本集合进行统一配置和调度，而不受终端/服务器上的其他程序的干扰。

在数据处理装置300中，第二生成模块304用于根据自定义脚本集合和控制脚本集合，生成数据处理脚本集合。

其中，数据处理脚本集合指的是由自定义脚本集合和控制脚本集合共同形成的，用于实现特定的数据处理任务的多个脚本。

比如，第二生成模块304具体可以用于：根据启动的自定义脚本集合生成相应的脚本连接文件，其中脚本连接文件为启动的自定义脚本集合调用控制脚本集合所需的资源；控制启动的自定义脚本集合，通过脚本连接文件调用控制脚本集合，生成数据处理脚本集合。

比如，第二生成模块304为启动的自定义脚本集合生成相应的脚本连接文件，然后自定义脚本集合通过该脚本连接文件提供的资源，调用相应的控制脚本集合，生成数据处理脚本集合。可以理解的是，自定义脚本集合与控制脚本集合通过相应的脚本连接文件建立联系，形成数据处理脚本集合。具体的，以数据同步脚本集合封装了实现数据同步任务的通用逻辑的多个脚本为例，第二生成模块304具体可以用于：为启动的自定义脚本集合生成相应的脚本连接文件，其中脚本连接文件为自定义脚本集合提供调用数据同步脚本集合所需的资源；控制自定义脚本集合，通过脚本连接文件调用数据同步脚本集合，生成用于完成数据同步任务的数据处理脚本集合。

再比如，以数据同步脚本集合封装了实现数据同步任务的通用逻辑的多个脚本，并且自定义脚本集合提供了用于数据同步任务的通用逻辑的参数配置的脚本为例，第二生成模块304具体还可以用于：为启动的自定义脚本集合生成相应的脚本连接文件；控制自定义脚本集合，通过脚本连接文件向数据同步脚本集合传入相应的参数配置，从而由自定义脚本集合和数据同步脚本集合通过参数配置建立联系，生成数据处理脚本集合，该数据处理脚本集合能够自动执行数据同步任务包含同步工作。

可以理解的是，若有多个启动的自定义脚本集合，则第二生成模块304根据每个启动的自定义脚本集合生成与其相应的脚本连接文件，每个自定义脚本集合在运行过程中使用的脚本连接文件相互独立。

需要说明的，脚本连接文件可以是封装了大量函数和变量的对象，这些函数和变量提供了调用控制脚本集合所需的资源。在某些实施方式中，调用控制脚本集合所需的资源主要是指用于调用数据同步脚本集合、数据分析脚本集合、数据监控脚本集合、日志、数据库、邮件等的函数接口。因此，脚本连接文件能够为自定义脚本集合调用控制脚本集合提供统一的调用入口。

在数据处理装置300中，处理模块305用于基于数据处理脚本集合，对相应的目标数据进行相应的处理。

在某些实施方式中，处理模块305可以包括数据同步子模块3051，数据同步子模块3051用于：基于数据同步任务，通过数据处理脚本集合对目标数据进行相应的同步配置，生成预处理数据；将预处理数据传输至待处理数据库。其中，该目标数据指的是待同步的数据，具体可以是存储于其他的数据库/终端/服务器等的待同步的数据。待同步的数据可以是日志文件数据、数据库数据、接口返回数据等。

比如，数据同步子模块3051，具体可以用于基于数据同步任务，数据处理脚本集合根据不同类型的目标数据提供相应的同步配置，从而通过数据处理脚本集合对不同类型的目标数据进行处理，形成具有预设的统一格式的预处理数据。

其中，预处理数据指的是具有预设的统一格式的数据。同步配置指的是运行数据处理脚本集合所需的参数、字段映射关系等。待处理数据库指的是用于存储预处理数据的数据库，它可以是数据表等形式。

可以理解的是，数据处理脚本集合可以包含多种常用的数据同步算法。

在某些实施方式中，处理模块305可以包括数据分析子模块3052，数据分析子模块3052用于：基于数据分析任务，通过数据处理脚本集合对目标数据进行逻辑解析，生成解析数据；控制数据处理脚本集合对解析数据进行统计分析，生成统计分析结果。其中，该目标数据指的是待分析的数据，具体可以是存储于数据库/终端/服务器等的待分析的数据，比如存储于上述的待处理数据库中的数据。

在某些实施方式中，处理模块305可以包括数据监控子模块3053，数据监控子模块3053用于：基于数据监控任务，通过数据处理脚本集合对目标数据进行监控，生成监控结果。其中，该目标数据指的是待监控的数据，具体可以是存储于数据库/终端/服务器等的待监控的数据。监控结果可以是异常数据信息的反馈、报警反馈等。

比如，在本发明实施例中，可以基于数据监控任务，通过数据处理脚本集合对待监控的数据进行监控，当待监控的数据触发预设的数据异常条件时，则向用户发送数据异常的反馈信息。

由上述可知，本发明实施例提供的数据处理装置，首先通过第一获取模块301获取数据处理任务，并通过第二获取模块302根据数据处理任务，获取预设的控制脚本集合；其次，通过第一生成模块303根据预设的控制脚本集合，生成相应的自定义脚本集合；再由第二生成模块304根据自定义脚本集合和控制脚本集合，生成数据处理脚本集合；最后通过处理模块305基于数据处理脚本集合，对相应的目标数据进行相应的处理。即本发明实施例可以通过获取预设的数据同步脚本集合、数据分析脚本集合、数据监控脚本集合等控制脚本集合，以获取实现数据同步任务、数据分析任务以及数据监控任务等数据处理任务的通用逻辑的封装脚本，从而仅需要另外编写与数据处理任务相应的少量自定义脚本集合，即可对相应的目标数据完成数据同步、数据分析或数据监控等工作。

具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块的具体实施可参见前面的方法实施例，在此不再赘述。

由上述可知，本发明实施例提供的数据处理装置通过将数据处理的工作拆分为数据同步、数据分析以及数据监控，并预先将完成数据同步、数据分析以及数据监控的工作的通用逻辑的脚本进行封装，细分地对数据处理的各个过程进行优化，使得开发人员仅需要关注数据处理装置的应用场景的特定需求而编写自定义脚本，从而显著地提高了用于数据处理的脚本的开发效率。

第四实施例

本发明实施例还提供一种服务器，其中可以集成本发明实施例的数据处理装置，如图4所示，其示出了本发明实施例所涉及的服务器400的结构示意图。

服务器400可以包括一个或者一个以上处理核心的处理器401、一个或者一个以上计算机可读存储介质的存储设备402、输入单元403、显示单元404、通讯单元405以及电源406等部件。本领域技术人员可以理解，图4中示出的服务器结构并不构成对服务器的限定，服务器400可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器401是该服务器的控制中心，利用各种接口和线路连接整个服务器的各个部分，通过运行或执行存储在存储设备402内的软件程序和/或模块，以及调用存储在存储设备402内的数据，执行服务器的各种功能和处理数据，从而对服务器进行整体监控。可选的，处理器401可以包括一个或多个处理核心；在某些实施方式中，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可不集成到处理器401中。

存储设备402可用于存储软件程序及模块，处理器401通过运行存储在存储设备402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储设备402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储设备402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储设备402还可以包括存储器控制器，以提供处理器401对存储设备402的访问。

服务器400还可包括输入单元403。该输入单元403可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元403可包括触控板、物理键盘、鼠标、操作杆等中的一种或多种输入设备。

服务器400还可包括显示单元404。该显示单元404可用于显示由用户输入的信息或提供给用户的信息以及服务器的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元404可包括显示面板，可选的，可以采用液晶显示器(LCD，Liquid Crystal Display)、有机发光二极管(OLED，Organic Light-EmittingDiode)等形式来配置显示面板。

服务器400还可包括通讯单元405。该通讯单元405可用于收发信息过程中，信号的接收和发送，特别地，通讯单元405接收终端发送的信号，并将信号交由一个或者一个以上处理器401处理。

服务器400还可包括给各个部件供电的电源406(比如电池)，在某些实施方式中，电源可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电以及功耗管理等功能。电源406还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

具体在本实施例中，服务器400中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储设备402中，并由处理器401来运行存储在存储设备402中的应用程序，从而实现各种功能，如下：

获取数据处理任务；根据数据处理任务，获取预设的控制脚本集合；根据预设的控制脚本集合，生成相应的自定义脚本集合；根据自定义脚本集合和控制脚本集合，生成数据处理脚本集合；基于数据处理脚本集合，对相应的目标数据进行相应的处理。

在某些实施方式中，处理器401在根据自定义脚本集合和控制脚本集合，生成数据处理脚本集合之前，还可以包括：通过预设的调度脚本集合启动自定义脚本集合。

进而，根据自定义脚本集合和控制脚本集合，生成数据处理脚本集合，可以包括：根据启动的自定义脚本集合和控制脚本集合，生成数据处理脚本集合。

在某些实施方式中，处理器401在通过预设的调度脚本集合启动所述自定义脚本集合之前，还可以包括：根据自定义脚本集合，生成第二调度脚本集合；将第二调度脚本集合添加至预设的调度脚本集合。

在某些实施方式中，处理器401通过预设的调度脚本集合启动自定义脚本集合，可以包括：根据自定义脚本集合以及预设的调度脚本集合，加载脚本配置文件；基于脚本配置文件，通过调度脚本集合按照预设时间启动自定义脚本集合。

在某些实施方式中，处理器401根据启动的自定义脚本集合和控制脚本集合，生成数据处理脚本集合，可以包括：根据启动的自定义脚本集合生成相应的脚本连接文件，其中脚本连接文件为启动的自定义脚本集合调用控制脚本集合所需的资源；控制启动的自定义脚本集合，通过脚本连接文件调用控制脚本集合，生成数据处理脚本集合。

数据处理任务的任务类型可以包括以下的一种或多种：数据同步任务、数据分析任务以及数据监控任务；控制脚本集合可以包括以下的一种或多种：数据同步脚本集合、数据分析脚本集合以及数据监控脚本集合。

在某些实施方式中，处理器401在根据数据处理任务，获取预设的控制脚本集合之前，还可以包括：确定数据处理任务的任务类型；若任务类型是数据同步任务，则将数据同步脚本集合确认为控制脚本集合；若任务类型是数据分析任务，则将数据分析脚本集合确认为控制脚本集合；若任务类型是数据监控任务，则将数据监控脚本集合确认为控制脚本集合。

在某些实施方式中，处理器401基于数据处理脚本集合，对相应的目标数据进行相应的处理，可以包括以下的一种或多种：

基于数据同步任务，通过数据处理脚本集合对目标数据进行相应的同步配置，生成预处理数据；将预处理数据传输至待处理数据库。

基于数据分析任务，通过数据处理脚本集合对目标数据进行逻辑解析，生成解析数据；控制数据处理脚本集合对解析数据进行统计分析，生成统计分析结果。

基于数据监控任务，通过数据处理脚本集合对目标数据进行监控，生成监控结果。

由上述可知，本发明实施例提供的服务器通过将数据处理的工作拆分为数据同步、数据分析以及数据监控，并预先将完成数据同步、数据分析以及数据监控的工作的通用逻辑的脚本进行封装，从而细分地对数据处理的各个过程进行优化，使得开发人员仅需要关注数据处理装置的应用场景的特定需求而编写自定义脚本，从而显著地提高了用于数据处理的脚本的开发效率。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上述针对数据处理方法的详细描述，此处不再赘述。

本发明实施例提供的所述数据处理装置，譬如为计算机、平板电脑、具有触摸功能的手机等等，所述数据处理装置与上文实施例中的数据处理装置属于同一构思，在所述数据处理装置上可以运行所述数据处理方法实施例中提供的任一方法，其具体实现过程详见所述数据处理方法实施例，此处不再赘述。

需要说明的是，对本发明实施例的所述数据处理装置而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储设备中，所述存储设备譬如为只读存储器，磁盘或光盘等。

第五实施例

本发明实施例还提供一种存储介质，该存储介质用于储存多条指令，该多条指令适于由处理器加载并执行如第一实施例、第二实施例所述的数据处理方法，比如：获取数据处理任务；根据数据处理任务，获取预设的控制脚本集合；根据预设的控制脚本集合，生成相应的自定义脚本集合；根据自定义脚本集合和控制脚本集合，生成数据处理脚本集合；基于数据处理脚本集合，对相应的目标数据进行相应的处理。

其中，存储介质可以集成在终端，如手机、笔记型计算机、平板电脑、或个人计算机等。

需要说明的是，本领域普通测试人员可以理解实现本发明实施例所述数据处理方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，所述计算机程序可存储于本实施例的存储介质中，并被终端内的至少一个处理器执行，在执行过程中可包括如所述数据处理方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)等。

以上对本发明实施例所提供的一种数据处理方法、装置及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (15)

1.一种数据处理方法，其特征在于，包括：

接收用户的数据处理请求，并根据用户的数据处理请求，获取至少一个数据处理任务；

确定所述数据处理任务的任务类型，根据所述数据处理任务的任务类型，获取预设的控制脚本集合，其中，所述预设的控制脚本集合包括根据数据处理任务的通用逻辑而预先编写并封装的多个脚本；

根据所述预设的控制脚本集合，生成相应的自定义脚本集合，所述自定义脚本集合是实现具体应用场景的数据处理任务的主流程的脚本；

根据所述自定义脚本集合和所述控制脚本集合，生成数据处理脚本集合；

基于所述数据处理脚本集合，对相应的目标数据进行相应的处理。

2.根据权利要求1所述的数据处理方法，其特征在于，在所述根据所述自定义脚本集合和所述控制脚本集合，生成数据处理脚本集合之前，还包括：

通过预设的调度脚本集合启动所述自定义脚本集合；

所述根据所述自定义脚本集合和所述控制脚本集合，生成数据处理脚本集合，包括：根据启动的自定义脚本集合和所述控制脚本集合，生成数据处理脚本集合。

3.根据权利要求2所述的数据处理方法，其特征在于，所述通过预设的调度脚本集合启动所述自定义脚本集合之前，还包括：

根据所述自定义脚本集合，生成第二调度脚本集合；将所述第二调度脚本集合添加至预设的调度脚本集合。

4.根据权利要求2所述的数据处理方法，其特征在于，所述通过预设的调度脚本集合启动所述自定义脚本集合，包括：

根据所述自定义脚本集合以及预设的调度脚本集合，加载脚本配置文件；

基于所述脚本配置文件，通过所述调度脚本集合按照预设时间启动所述自定义脚本集合。

5.根据权利要求2所述的数据处理方法，其特征在于，所述根据启动的自定义脚本集合和所述控制脚本集合，生成数据处理脚本集合，包括：

根据启动的自定义脚本集合生成相应的脚本连接文件，其中所述脚本连接文件为启动的自定义脚本集合调用所述控制脚本集合所需的资源；

控制启动的自定义脚本集合，通过所述脚本连接文件调用所述控制脚本集合，生成数据处理脚本集合。

6.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理任务的任务类型包括以下的一种或多种：数据同步任务、数据分析任务以及数据监控任务；所述控制脚本集合包括以下的一种或多种：数据同步脚本集合、数据分析脚本集合以及数据监控脚本集合；

在所述根据所述数据处理任务，获取预设的控制脚本集合之前，还包括：

确定所述数据处理任务的任务类型；

若所述任务类型是数据同步任务，则将所述数据同步脚本集合确认为控制脚本集合；若所述任务类型是数据分析任务，则将所述数据分析脚本集合确认为控制脚本集合；若所述任务类型是数据监控任务，则将所述数据监控脚本集合确认为控制脚本集合。

7.根据权利要求6所述的数据处理方法，其特征在于，所述基于所述数据处理脚本集合，对相应的目标数据进行相应的处理，包括以下的一种或多种：

基于所述数据同步任务，通过所述数据处理脚本集合对所述目标数据进行相应的同步配置，生成预处理数据；将所述预处理数据传输至待处理数据库；

基于所述数据分析任务，通过所述数据处理脚本集合对所述目标数据进行逻辑解析，生成解析数据；控制所述数据处理脚本集合对所述解析数据进行统计分析，生成统计分析结果；

基于所述数据监控任务，通过所述数据处理脚本集合对所述目标数据进行监控，生成监控结果。

8.一种数据处理装置，其特征在于，包括：

第一获取模块，用于接收用户的数据处理请求，并根据用户的数据处理请求，获取至少一个数据处理任务；

第二获取模块，用于确定所述数据处理任务的任务类型，根据所述数据处理任务的任务类型，获取预设的控制脚本集合，其中，所述预设的控制脚本集合包括根据数据处理任务的通用逻辑而预先编写并封装的多个脚本；

第一生成模块，用于根据所述预设的控制脚本集合，生成相应的自定义脚本集合，所述自定义脚本集合是实现具体应用场景的数据处理任务的主流程的脚本；

第二生成模块，用于根据所述自定义脚本集合和所述控制脚本集合，生成数据处理脚本集合；

处理模块，用于基于所述数据处理脚本集合，对相应的目标数据进行相应的处理。

9.根据权利要求8所述的数据处理装置，其特征在于，所述装置还包括：

调度模块，用于通过预设的调度脚本集合启动所述自定义脚本集合；

所述第二生成模块，用于根据启动的自定义脚本集合和所述控制脚本集合，生成数据处理脚本集合。

10.根据权利要求9所述的数据处理装置，其特征在于，所述装置还包括：

第三生成模块，用于根据所述自定义脚本集合，生成第二调度脚本集合；将所述第二调度脚本集合添加至预设的调度脚本集合。

11.根据权利要求9所述的数据处理装置，其特征在于，所述调度模块用于：根据所述自定义脚本集合以及预设的调度脚本集合，加载脚本配置文件；基于所述脚本配置文件，通过所述调度脚本集合按照预设时间启动所述自定义脚本集合。

12.根据权利要求9所述的数据处理装置，其特征在于，所述第二生成模块用于：根据启动的自定义脚本集合生成相应的脚本连接文件，其中所述脚本连接文件为启动的自定义脚本集合调用所述控制脚本集合所需的资源；控制启动的自定义脚本集合，通过所述脚本连接文件调用所述控制脚本集合，生成数据处理脚本集合。

13.根据权利要求8所述的数据处理装置，其特征在于，所述数据处理任务的任务类型包括以下的一种或多种：数据同步任务、数据分析任务以及数据监控任务；所述控制脚本集合包括以下的一种或多种：数据同步脚本集合、数据分析脚本集合以及数据监控脚本集合；

所述装置还包括：

确认模块，用于确定所述数据处理任务的任务类型；若所述任务类型是数据同步任务，则将所述数据同步脚本集合确认为控制脚本集合；若所述任务类型是数据分析任务，则将所述数据分析脚本集合确认为控制脚本集合；若所述任务类型是数据监控任务，则将所述数据监控脚本集合确认为控制脚本集合。

14.根据权利要求13所述的数据处理装置，其特征在于，所述处理模块包括以下的一种或多种：数字同步子模块、数据分析子模块以及数据监控子模块；

其中，所述数据同步子模块用于：基于所述数据同步任务，通过所述数据处理脚本集合对所述目标数据进行相应的同步配置，生成预处理数据；将所述预处理数据传输至待处理数据库；

所述数据分析子模块用于：基于所述数据分析任务，通过所述数据处理脚本集合对所述目标数据进行逻辑解析，生成解析数据；控制所述数据处理脚本集合对所述解析数据进行统计分析，生成统计分析结果；

所述数据监控子模块用于：基于所述数据监控任务，通过所述数据处理脚本集合对所述目标数据进行监控，生成监控结果。

15.一种存储介质，其特征在于，所述存储介质用于储存多条指令，所述多条指令适于由处理器加载并执行如权利要求1至7任一项所述的步骤。

Images