CN107800754A - 数据传输任务处理、数据传输任务监控方法和装置 - Google Patents

Abstract

本发明涉及一种数据传输任务处理方法和装置、数据传输任务监控方法和装置，该数据传输任务处理方法包括：向服务器发送针对用户终端与分布式文件系统之间数据传输任务的注册请求；接收所述服务器在根据所述注册请求注册所述数据传输任务后反馈的任务启动指令；根据所述任务启动指令启动所述数据传输任务；向所述服务器上报所述数据传输任务的运行状态；接收所述服务器根据所述运行状态反馈的响应消息；根据所述响应消息对所述数据传输任务进行相应操作。本申请提供的数据传输任务处理方法和装置、数据传输任务监控方法和装置，提高了数据传输的效率。

Description

数据传输任务处理、数据传输任务监控方法和装置

技术领域

本发明涉及互联网技术领域，特别是涉及一种数据传输任务处理、数据传输任务监控方法和装置。

背景技术

随着互联网技术的高速发展，数据以指数倍数飞速增长，仅通过增加硬盘数量来扩展文件系统存储容量的方式已经无法满足用户需求。分布式文件系统中多个节点与网络相连，通过网络进行节点间的数据传输，极大地扩展了文件系统的存储容量，从而凭借其高扩展性成为主要的数据存储系统被广泛地应用。

但是，针对分布式文件系统传输的数据通常都是数据量较大的数据，传输过程需要消耗较长的时间，需要用户关注数据传输的运行状态，否则在数据传输过程中出现问题时就不能得到及时的处理，导致数据传输的效率低下。

发明内容

基于此，有必要针对数据传输效率低下的问题，提供一种数据传输任务处理、数据传输任务监控方法和装置。

一种数据传输任务处理方法，所述方法包括：

向服务器发送针对本地与分布式文件系统之间数据传输任务的注册请求；

接收所述服务器在根据所述注册请求注册所述数据传输任务后反馈的任务启动指令；

根据所述任务启动指令启动所述数据传输任务；

向所述服务器上报所述数据传输任务的运行状态；

接收所述服务器根据所述运行状态反馈的响应消息；

根据所述响应消息对所述数据传输任务进行相应操作。

一种数据传输任务处理装置，包括：

注册请求模块，用于向服务器发送针对用户终端与分布式文件系统之间数据传输任务的注册请求；

任务启动模块，用于接收所述服务器在根据所述注册请求注册所述数据传输任务后反馈的任务启动指令，根据所述任务启动指令启动所述数据传输任务；

状态上报模块，用于向所述服务器上报所述数据传输任务的运行状态；

消息响应模块，用于接收所述服务器根据所述运行状态反馈的响应消息；用于根据所述响应消息对所述数据传输任务进行相应操作。

一种数据传输任务监控方法，所述方法包括：

接收用户终端发送的针对本地与分布式文件系统之间数据传输任务的注册请求；

根据所述注册请求注册所述数据传输任务；

注册所述数据传输任务成功后，向所述用户终端反馈任务启动指令，使得所述用户终端根据所述任务启动指令启动所述数据传输任务；

接收所述用户终端上报的所述数据传输任务的运行状态；

根据所述运行状态向所述用户终端反馈响应消息，使得所述用户终端根据所述响应消息对所述数据传输任务进行相应操作。

一种数据传输任务监控装置，包括：

任务注册模块，用于接收用户终端发送的针对用户终端与分布式文件系统之间数据传输任务的注册请求；根据所述注册请求注册所述数据传输任务；

指令反馈模块，用于注册所述数据传输任务成功后，向所述用户终端反馈任务启动指令，使得所述用户终端根据所述任务启动指令启动所述数据传输任务；

消息反馈模块，用于接收所述用户终端上报的所述数据传输任务的运行状态；根据所述运行状态向所述终端反馈响应消息，使得所述用户终端根据所述响应消息对所述数据传输任务进行相应操作。

上述数据传输任务处理、数据传输任务监控方法和装置，用户终端向服务器发送针对与分布式文件系统之间的数据传输任务注册请求，并获取启动任务指令后，启动数据传输任务；在执行数据传输任务期间，向服务器上报数据传输任务的运行状态，与服务器之间建立通信，服务器根据用户终端上报的运行状态即时做出响应，形成有效的监控机制，能够及时处理数据传输过程中出现的问题，提高了数据传输的效率。

附图说明

图1为一个实施例中数据传输系统的应用环境图；

图2为一个实施例中用户终端的内部结构示意图；

图3为一个实施例中服务器的内部结构示意图；

图4为一个实施例中数据传输任务处理方法的流程示意图；

图5为一个实施例中根据任务重启消息重启数据传输任务步骤的流程示意图；

图6为一个实施例中数据传输任务运行结果校验的流程示意图；

图7为一个实施例中数据传输任务监控方法的流程示意图；

图8为一个实施例中数据传输任务监控方法中服务器与监控终端交互步骤的流程示意图；

图9为一个实施例中数据传输任务处理与监控方法的流程图；

图10为一个实施例中数据传输任务处理装置的结构框图；

图11为另一个实施例中数据传输任务处理装置的结构框图；

图12为一个实施例中数据传输任务监控装置的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

可以理解，本发明所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，第一数据量和第二数据量两者都是数据量，但其不是同一数据量。

图1为一个实施例中数据传输系统的应用环境图。如图1所示，该数据传输系统包括分布式文件系统110、用户终端120、服务器130和监控终端140。分布式文件系统110可通过网络与用户终端120连接并进行数据传输，用户终端120与监控终端140可通过网络连接到服务器140。监控终端140可通过服务器130监控用户终端120与分布式文件系统110之间所进行数据传输任务的运行状态。分布式文件系统110可使用Hadoop服务器集群来实现，其中Hadoop是一个由Apache软件基金会(Apache Software Foundation，简称为ASF)所开发的分布式系统基础架构。

图2为一个实施例中用户终端的内部结构示意图。如图2所示，该用户终端包括通过系统总线连接的处理器、非易失性存储介质、内存储器、网络接口、显示屏和输入装置。其中，用户终端的非易失性存储介质存储有操作系统，还包括一种数据传输任务处理装置，数据传输任务处理装置用于实现一种数据传输任务处理方法。用户终端的处理器用于提供计算和控制能力，支撑整个用户终端的运行。用户终端中的内存储器为非易失性存储介质中的数据传输任务处理装置的运行提供环境。用户终端的内存储器中可储存有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种数据传输任务处理方法。网络接口用于与服务器进行网络通信，如发送数据传输任务的注册请求至服务器，接收服务器发送的任务启动指令等。终端的显示屏可以是液晶显示屏或者电子墨水显示屏等，输入装置可以是显示屏上覆盖的触摸层，也可以是终端外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该终端可以是手机、平板电脑或者个人数字助理或穿戴式设备等。本领域技术人员可以理解，图2中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

图3为一个实施例中服务器的内部结构示意图。如图3所示，该服务器包括通过系统总线连接的处理器、非易失性存储介质、内存储器和网络接口。其中，该服务器的非易失性存储介质存储有操作系统、数据库和数据传输任务监控装置，该数据传输任务监控装置用于实现一种适用于服务器的数据传输任务监控方法。该服务器的处理器用于提供计算和控制能力，支撑整个服务器的运行。该服务器的内存储器为非易失性存储介质中的数据传输任务监控装置的运行提供环境，该内存储器中可储存有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种数据传输任务监控方法。服务器的网络接口用于据以与外部的终端通过网络连接通信。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的服务器的限定，具体的服务器可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

图4为一个实施例中数据传输任务处理方法的流程示意图。本实施例以该方法应用于上述图1中的用户终端120来举例说明。参照图4，该数据传输任务处理方法具体包括如下步骤：

S402，向服务器发送针对本地与分布式文件系统之间数据传输任务的注册请求。

其中，数据传输任务的注册请求是指请求对数据传输任务进行注册的请求。数据传输任务是指在本地与分布式文件系统之间进行数据传输的任务。数据传输可以是数据下载和数据上传，相应的数据传输任务可以是从本地上传数据到分布式文件系统的数据上传任务，或者可以是从分布式文件系统下载数据到本地的数据下载任务等。文件系统是指在存储设备上存储和处理文件的系统，可以用来存储和处理数据；分布式文件系统则是在通过网络连接的多个节点上存储和处理文件的系统，分布式文件系统可用于存储和处理数据量大的数据。

具体地，用户终端可获取触发指令，并根据触发指令向服务器发送数据传输任务的注册请求。触发指令是指触发针对数据传输任务的注册请求的指令，可以通过触摸操作或者物理按键的按压等多种触发方式触发。

进一步地，用户终端可以提供数据传输任务的注册入口，检测对注册入口的触发操作，根据检测到的触发操作进入数据传输任务注册界面，检测在数据传输任务注册界面相应的触发指令，根据该触发指令向服务器发送数据传输任务注册请求。操作入口可以是图标、文字链接或者虚拟按钮等。

该数据传输任务的注册请求携带用户终端标识和任务标识，还可以携带有数据传输任务的数据属性参数与任务设置参数。用户终端标识是唯一标识用户终端的字符串。任务标识是唯一标识数据传输任务的字符串。数据属性参数表征所要传输的数据的基本属性，比如数据量，数据量比如数据的行数和/或大小等。任务设置参数表征数据传输任务的基本设置参数，比如数据传输任务的最大失败次数和/或任务重试的时间间隔等。用户终端可将数据传输任务的注册请求携带的数据传输任务的数据属性参数与任务设置参数存储在数据库、文件或者内存中。

S404，接收服务器在根据注册请求注册数据传输任务后反馈的任务启动指令。

其中，任务启动指令是用于启动数据传输任务的指令。具体地，服务器在接收到用户终端发送的数据传输任务的注册请求后，会将该注册请求携带的用户终端标识以及数据传输任务的数据属性参数与任务设置参数对应存储在文件或者数据库中，从而完成数据传输任务的注册。用户终端接收服务器在完成数据传输任务注册后发送的针对该数据传输任务的任务启动指令。

S406，根据任务启动指令启动数据传输任务。

具体地，用户终端在接收到任务启动指令之后，根据任务启动指令获取存储在数据库、文件或者内存中的任务设置参数，再按照获取的任务设置参数向分布式文件系统发送数据传输请求，在获得分布式文件系统对于该数据传输请求的许可后启动数据传输任务。

S408，向服务器上报数据传输任务的运行状态。

其中，数据传输任务的运行状态表征的是数据传输任务当前的执行情况。该运行状态可以是开始状态、运行中状态、失败状态或者成功状态中的任意一种。

举例说明，数据传输任务是从本地上传数据到分布式文件系统的数据上传任务。用户终端可首先向服务器发送数据上传任务的注册请求，此时数据上传任务的运行状态为开始状态。服务器在接收到用户终端发送的数据上传任务的注册请求后，注册该数据上传任务，然后向用户终端反馈任务启动指令，用户终端在接收到该任务启动指令后，与分布式文件系统建立连接，执行数据上传任务，此时数据上传任务的运行状态为运行中状态。如果在数据上传过程中用户终端与分布式文件系统之间断开连接或者分布式文件系统出错等，导致数据上传任务上传数据失败，此时数据上传任务的运行状态为失败状态。如果用户终端执行数据上传任务完成数据上传，此时数据上传任务的运行状态为成功状态。

具体地，用户终端可以通过实时检测进程列表中数据传输任务的执行情况，获取数据传输任务的运行状态，定期向服务器上报当前的数据传输任务运行状态。其中，进程列表是在当前在用户终端正在进行的所有任务及其运行状态组成的列表；定期是指周期性地执行某种动作，可以是每隔预设时间间隔，比如，每隔1分钟等。这样定期地获取并上报数据传输任务的运行状态至服务器，使得服务器能够知晓数据传输任务的运行状态，以便对运行状态做出及时的处理。当用户终端获取到数据传输任务为失败状态或者成功状态时，用户终端可即时将该运行状态上报服务器。

S410，接收服务器根据运行状态反馈的响应消息。

具体地，服务器可对响应消息预先设置相应的响应策略，该响应策略可定义运行状态和响应消息之间的对应关系。服务器在接收到用户终端上报的运行状态后，根据预先设置的响应策略确定与当前的运行状态匹配的响应消息，将匹配的响应消息反馈给该用户终端。

其中，响应消息是针对不同的运行状态指导用户终端执行后续操作的消息。响应策略是针对不同的运行状态配置的不同的响应消息。比如任务重启消息，是指使得用户终端重新启动数据传输任务的消息；再比如任务结束消息，是指使得用户终端结束数据传输任务的消息等。

S412，根据响应消息对数据传输任务进行相应操作。

具体地，用户终端在接收到服务器反馈的针对用户终端上报的运行状态的响应消息后，根据该响应消息执行与该响应消息对应的操作。比如在接收到重启任务消息后，执行重新启动数据传输任务的操作。再比如，接收到任务结束消息后，执行结束数据传输任务的操作。

上述数据传输任务处理方法，用户终端向服务器发送针对与分布式文件系统之间的数据传输任务注册请求，并获取启动任务指令后，启动数据传输任务；在执行数据传输任务期间，向服务器上报数据传输任务的运行状态，与服务器之间建立通信，服务器根据用户终端上报的运行状态即时做出响应，形成有效的监控机制，能够及时处理数据传输过程中出现的问题，提高了数据传输的效率。

在一个实施例中，步骤410具体包括：接收服务器在运行状态为失败状态且失败次数不超过预设次数阈值时反馈的任务重启消息。步骤412具体包括：根据任务重启消息重启数据传输任务。

在另一个实施例中，步骤410具体包括：接收服务器在运行状态为失败状态且失败次数超过预设次数阈值时反馈的任务终止消息。步骤412具体包括：根据任务终止消息终止数据传输任务。

具体地，在预先设置的响应策略中，针对数据传输任务失败状态界定了不同的响应消息。服务器在接收到数据传输任务为失败状态时，检测失败次数，并将失败次数与预设次数阈值进行比较，其中，预设次数阈值表征的是服务器所容许的最大失败次数，例如8或者10等。

在失败次数不超过预设次数阈值的情况下，服务器根据预先设置的响应策略反馈对应于此种情况下的任务重启消息。用户终端根据接收到的任务重启消息重新向分布式文件系统发送数据传输任务请求，在获得分布式文件系统对于该数据传输请求的许可后启动数据传输任务。

在失败次数超过预设次数阈值的情况下，服务器根据预先设置的响应策略反馈对应于此种情况下的任务终止消息。用户终端根据接收到的任务终止消息开启数据传输任务状态列表，终止该处于失败状态的数据传输任务。其中数据传输任务状态列表是存储在本地的数据传输任务与其运行状态的对照表。

在上述实施例中，在服务器所容许的最大失败次数内，为数据传输任务失败提供了用户终端重试机制，提高了容错能力，增强了数据传输任务的稳定性。在服务器所容许的最大失败次数外，提供了及时终止数据传输任务的处理方法，避免了过多次数的重试浪费服务器资源。

进一步地，在一个实施例中，参照图5，根据任务重启消息重启数据传输任务的步骤具体包括以下步骤：

S502，响应于任务重启消息，获取数据传输任务所对应本地数据的第一数据量，以及与数据传输任务对应的分布式文件系统中数据的第二数据量。

具体地，用户终端可以获取存储在数据库、文件或者内存中的数据传输任务数据属性参数，从该数据属性参数中提取出对应本地数据的第一数据量。用户终端可通过文件查看指令获取分布式文件系统中的与用户终端对应的本地文件列表，从该本地文件列表中提取出分布式文件系统中数据的第二数据量。

其中，文件查看指令是用于在分布式文件系统中查看数据文件的指令。第一数据量与第二数据量都是数据量，用来表征数据的容量，比如数据大小，或者数据行数等。

S504，将第一数据量与第二数据量进行比较，确定本地数据和分布式文件系统中数据之间的差异数据。

具体地，用户终端可将获取的第一数据量与第二数据量进行比较，筛选出第一数据量与第二数据量相同的部分，将剩下的部分作为差异数据。

S506，重启数据传输任务，并在执行数据传输任务时重新传输差异数据。

具体地，用户终端在重新启动数据传输任务时，不再传输上一次任务已经传输完成的数据部分，仅传输差异数据。

举例说明，在一个实施例中，当数据传输任务为数据上传任务时，如果上传过程中出现失败，需要重新启动数据上传任务时，用户终端会获取事先存储在数据库或者文件中的需要上传的数据的行数和大小，再查看分布式文件系统中的数据上传的文件列表，获取文件列表中的已经上传数据的行数和大小。将获取的需要上传的数据的行数和大小与已经上传的数据的行数和大小进行比较，获取行数和大小都匹配的数据，这些数据在重启数据上传任务时不需要再上传，只需要上传上次任务未完成的部分。

在本实施例中，用户终端在重启数据传输任务时，校验上次数据传输任务完成的情况，获取未传输的数据，仅传输未传输的数据，避免了资源浪费的问题。

在一个实施例中，步骤410具体包括：接收服务器在运行状态为成功状态时反馈的任务结束消息。步骤412具体包括：根据任务结束消息结束数据传输任务。

具体地，服务器在接收到数据传输任务为成功状态时，根据预先设置的响应策略反馈对应于此种情况下的任务结束消息。用户终端根据接收到的任务结束消息开启数据传输任务状态列表，结束该处于成功状态的数据传输任务。其中数据传输任务状态列表是存储在本地的数据传输任务与其运行状态的对照表。

在本实施例中，在数据传输任务成功时，用户终端可即时获得对于数据传输任务的结束操作指令，结束当前传输成功的任务，避免了已完成的数据传输任务长时间占据进程浪费资源的问题。在另外的实施例中，数据传输任务处理方法还包括在数据任务结束后对运行结果进行校验的过程。参照图6，该数据传输任务运行结果校验的过程具体包括如下步骤：

S602，当数据传输任务结束后，获取数据传输任务所对应本地数据的第三数据量，以及与数据传输任务对应的分布式文件系统中数据的第四数据量。

具体地，用户终端可在数据传输任务结束之后，获取存储在数据库、文件或者内存中的数据传输任务数据属性参数，从该数据属性参数中提取出对应本地数据的第三数据量；再通过文件查看指令获取分布式文件系统中的与用户终端对应的本地文件列表，从该本地文件列表中提取出分布式文件系统中数据的第四数据量。其中，文件查看指令是用于在分布式文件系统中查看数据文件的指令。

S604，将第三数据量与第四数据量进行比较。

S606，当第三数据量与第四数据量一致时，确定对数据传输任务的运行结果校验通过。

具体地，用户终端通过对第三数据量与第四数据量进行比较，得到两者数据量一致的结果，比如数据大小相同且数据行数相同，则对数据传输任务的运行结果校验通过。此时用户终端判定数据传输任务所对应的传输方与接收方的数据量相同，数据传输正确。

本实施例中，在数据传输任务结束后，对本地数据的数据量与分布式文件系统中数据的数据量进行校验，代替了对每个数据进行逐一对比的检测方法，在节约资源，提高检测效率的情况下，一定程度上保证了数据传输任务的正确性。

图7为一个实施例中数据传输任务监控方法的流程示意图。本实施例以该方法应用于上述图7中的服务器130来举例说明。参照图7，该数据传输任务监控方法具体包括如下步骤：

S702，接收用户终端发送的针对用户终端与分布式文件系统之间数据传输任务的注册请求。

具体地，服务器可通过检测用户终端针对数据传输任务注册请求的触发指令，在检测到该触发指令时，接收该数据传输任务的注册请求。

S704，根据注册请求注册数据传输任务。

具体地，用户终端发送的数据任务注册请求携带了用户终端标识以及数据传输任务的数据属性参数与任务设置参数。服务器会将用户终端标识以及数据传输任务的数据属性参数与任务设置参数对应存储在数据库或者文件中完成数据传输任务的注册。数据传输任务注册是为了在服务器中建立数据传输任务与用户终端之间的关联，以使得服务器可以按照数据传输任务的设置参数对完成任务注册的用户终端具有操控权限。

S706，注册数据传输任务成功后，向用户终端反馈任务启动指令，使得用户终端根据任务启动指令启动数据传输任务。

S708，接收用户终端上报的数据传输任务的运行状态。

S710，根据运行状态向用户终端反馈响应消息，使得用户终端根据响应消息对数据传输任务进行相应操作。

具体地，服务器可根据预先设置的响应策略在接收到用户终端上报的运行状态后，根据预先设置的响应策略确定与当前的运行状态匹配的响应消息，将匹配的响应消息反馈给该用户终端，使得用户终端根据服务器反馈的针对当前运行状态的响应消息具体内容对数据传输任务进行相应操作。

其中，响应消息是针对不同的运行状态指导用户终端执行后续操作的消息。比如任务重启消息，是指使得用户终端重新启动数据传输任务的消息；再比如任务结束消息，是指使得用户终端结束数据传输任务的消息等。

上述数据传输任务监控方法，用户终端向服务器发送针对与分布式文件系统之间的数据传输任务注册请求，并获取启动任务指令后，启动数据传输任务；在执行数据传输任务期间，向服务器上报数据传输任务的运行状态，与服务器之间建立通信，服务器根据用户终端上报的运行状态即时做出响应，形成有效的监控机制，能够及时处理数据传输过程中出现的问题，提高了数据传输的效率。

如图8所示，在一个实施例中，该数据传输任务监控方法还包括与监控终端交互的步骤，具体包括如下步骤：

S802，向监控终端发送运行状态列表，运行状态列表包括上报的运行状态和相应的用户终端标识。

其中，运行状态列表包括用户终端上报的运行状态和相应的用户终端标识，表示的是每个用户终端当前的执行的数据传输任务，以及该数据传输任务的当前运行状态。

具体地，服务器在接收到每个用户终端上报的数据传输任务的运行状态后，将用户终端与该用户终端所执行的数据传输任务的当前运行状态以列表的形式对应存储，生成运行状态列表。再将该运行状态列表发送给监控终端，以使得监控终端知晓每个用户终端所执行的数据传输任务，以及该数据传输任务的当前运行状态。

S804，接收监控终端针对运行状态列表中选中的用户终端标识的任务操作指令。

其中，任务操作指令是监控终端下发的针对用户终端数据传输任务的操作指令，并通过服务器转发给用户终端。具体地，监控终端在接收到服务器发送的运行状态列表后，获取所有用户终端当前数据传输任务的运行状态。监控终端可从运行状态列表中选取一个数据传输任务，在运行状态列表中触发对该数据传输任务的任务操作指令。服务器在检测到该任务操作指令的触发操作后，接收该任务操作指令。

S806，向选中的用户终端标识对应的用户终端发送任务操作指令，使得接收到任务操作指令的用户终端根据任务操作指令对相应的数据传输任务进行操作。

在本实施例中，监控终端通过服务器获得用户终端群组的数据传输任务运行状态，可以对用户终端群组中的任意一个用户终端针对其数据传输任务发出任务操作指令，减小了服务器压力，节约了服务器资源。

在一个实施例中，根据运行状态向用户终端反馈响应消息，使得用户终端根据响应消息对数据传输任务进行相应操作的步骤包括：当运行状态为失败状态时，获取数据传输任务的失败次数；将失败次数与预设次数阈值比较；当失败次数不超过预设次数阈值时，向用户终端反馈任务重启消息，使得用户终端根据任务重启消息重启数据传输任务；当失败次数超过预设次数阈值时，向用户终端反馈任务终止消息，使得用户终端根据任务终止消息终止数据传输任务。

具体地，在服务器中设置有可以用来计数的计数存储器，在服务器完成对用户终端数据传输任务注册时，将该计数存储器置零，并对该计数存储器设置计数阈值，即预设次数阈值。当服务器接收到用户终端发送的数据传输任务运行状态为失败状态时，对计数存储器进行计数加一的操作，当计数存储器计数达到预设次数阈值时，下一次的计数操作为将计数存储器归零。

举例说明，在一个实施例中，当数据传输任务为数据上传任务时，在执行数据传输任务过程中，用户终端向服务器上报数据传输任务的当前运行状态，比如运行中状态、失败状态或者成功状态等。当服务器接收到用户终端上报的失败状态后，获取计数存储器当前计数值，当计数值非零时，向用户终端反馈任务重启消息，使得用户终端根据任务重启消息重启数据传输任务；当计数值为零时，向用户终端反馈任务终止消息，使得用户终端根据任务终止消息终止数据传输任务。

在本实施例中，在服务器所容许的最大失败次数内，为数据传输任务失败提供了用户终端重试机制，提高了容错能力，增强了数据传输任务的稳定性。在服务器所容许的最大失败次数外，提供了及时终止数据传输任务的处理方法，避免了过多次数的重试浪费服务器资源。

在一个实施例中，根据运行状态向用户终端反馈响应消息，使得用户终端根据响应消息对数据传输任务进行相应操作的步骤包括：当运行状态为成功状态时，向用户终端反馈任务结束消息，使得用户终端根据任务结束消息结束数据传输任务。在本实施例中，在数据传输任务成功时，服务器可即时下发对于数据传输任务的结束操作指令，使得用户终端结束当前传输成功的任务，避免了已完成的数据传输任务长时间占据进程浪费资源的问题。图9示出了一个实施例中数据传输任务处理与监控方法的流程图。参考图9，用户终端(Client)获取与分布式文件系统(Hadoop服务器集群)之间的数据传输任务，然后校验该数据传输任务信息是否合法，比如检查待传输数据的目录是否存在等。校验通过后，向服务器(监控Server)发送数据传输任务注册请求消息，然后等待服务器(监控Server)的消息返回，在获得服务器(监控Server)的任务启动指令后，启动数据传输任务。在执行数据传输任务的过程中，用户终端(Client)会将数据传输任务运行状态的信息发送给服务器(监控Server)，然后等待服务器(监控Server)的反馈消息，如果超过预设时间间隔，那么用户终端(Client)会继续将数据传输任务的运行状态发送给服务器(监控Server)，如果有反馈消息，那么，根据消息类型进行响应的操作，比如启动任务、重启任务或者终止任务等。服务器(监控Server)接收来自用户终端(Client)的数据传输任务注册请求和数据传输任务的运行状态，以及来自监控终端(监控Server client)的针对数据传输任务的任务操作指令。服务器(监控Server)在接收到用户终端(Client)的数据传输任务注册请求后，注册该数据传输任务，并返回任务启动指令，使得用户终端启动数据传输任务。服务器(监控Server)在接收到数据传输任务的运行状态后，如果是运行中状态，那么不需要反馈消息；如果是失败状态，并且失败次数不超过预设次数阈值(最大失败次数)，那么返回重试任务命令给用户终端(Client)，让用户终端(Client)进行重启任务操作，否则，发送终止任务命令给用户终端(Client)，让用户终端(Client)进行终止任务操作；如果是成功状态，发送结束任务命令给用户终端(Client)，让用户终端(Client)进行结束操作。如果服务器(监控Server)接收到监控终端(监控Server client)的消息，直接将该消息发送给用户终端(Client)。

图10为一个实施例中数据传输任务处理装置的结构框图，参照图10，数据传输任务处理装置1000包括注册请求模块1001、任务启动模块1002、状态上报模块1003和消息响应模块1004。

注册请求模块1001，用于向服务器发送针对本地与分布式文件系统之间数据传输任务的注册请求。

具体地，注册请求模块1001可获取触发指令，并根据触发指令向服务器发送数据传输任务的注册请求。触发指令是指触发针对数据传输任务的注册请求的指令，可以通过触摸操作或者物理按键的按压等多种触发方式触发。

进一步地，注册请求模块1001可以提供数据传输任务的注册入口，检测对注册入口的触发操作，根据检测到的触发操作进入数据传输任务注册界面，检测在数据传输任务注册界面相应的触发指令，根据该触发指令向服务器发送数据传输任务注册请求。操作入口可以是图标、文字链接或者虚拟按钮等。

任务启动模块1002，用于接收服务器在根据注册请求注册数据传输任务后反馈的任务启动指令，根据任务启动指令启动数据传输任务。

具体地，任务启动模块1002在接收到任务启动指令之后，根据任务启动指令获取存储在数据库、文件或者内存中的任务设置参数，再按照获取的任务设置参数向分布式文件系统发送数据传输请求，在获得分布式文件系统对于该数据传输请求的许可后启动数据传输任务。

状态上报模块1003，用于向服务器上报数据传输任务的运行状态。

具体地，状态上报模块1003可以通过实时检测进程列表中数据传输任务的执行情况，获取数据传输任务的运行状态，定期向服务器上报当前的数据传输任务运行状态。这样定期地获取并上报数据传输任务的运行状态至服务器，使得服务器能够知晓数据传输任务的运行状态，以便对运行状态做出及时的处理。当状态上报模块1003获取到数据传输任务为失败状态或者成功状态时，状态上报模块1003可即时将该运行状态上报服务器。

消息响应模块1004，用于接收服务器根据运行状态反馈的响应消息；根据响应消息对数据传输任务进行相应操作。

上述数据传输任务处理装置，用户终端向服务器发送针对与分布式文件系统之间的数据传输任务注册请求，并获取启动任务指令后，启动数据传输任务；在执行数据传输任务期间，向服务器上报数据传输任务的运行状态，与服务器之间建立通信，服务器根据用户终端上报的运行状态即时做出响应，形成有效的监控机制，能够及时处理数据传输过程中出现的问题，提高了数据传输的效率。

在一个实施例中，消息响应模块1004还用于接收服务器在运行状态为失败状态且失败次数不超过预设次数阈值时反馈的任务重启消息；根据任务重启消息重启数据传输任务。消息响应模块1004还用于接收服务器在运行状态为失败状态且失败次数超过预设次数阈值时反馈的任务终止消息；根据任务终止消息终止数据传输任务。在上述实施例中，在服务器所容许的最大失败次数内，为数据传输任务失败提供了用户终端重试机制，提高了容错能力，增强了数据传输任务的稳定性。在服务器所容许的最大失败次数外，提供了及时终止数据传输任务的处理方法，避免了过多次数的重试浪费服务器资源。

在一个实施例中，消息响应模块1004还用于接收服务器在运行状态为成功状态时反馈的任务结束消息，根据任务结束消息结束数据传输任务。在本实施例中，在数据传输任务成功时，用户终端可即时获得对于数据传输任务的结束操作指令，结束当前传输成功的任务，避免了已完成的数据传输任务长时间占据进程浪费资源的问题。进一步地，在一个实施例中，消息响应模块1004还用于响应于任务重启消息，获取数据传输任务所对应本地数据的第一数据量，以及与数据传输任务对应的分布式文件系统中数据的第二数据量；将第一数据量与第二数据量进行比较，确定本地数据和分布式文件系统中数据之间的差异数据；重启数据传输任务，并在执行数据传输任务时重新传输差异数据。在本实施例中，用户终端再重启数据传输任务时，校验上次数据传输任务完成的情况，获取未传输的数据，仅传输未传输的数据，避免了资源浪费的问题。

图11为另一个实施例中数据传输任务处理装置的结构框图，参照图11，数据传输任务处理装置1100包括注册请求模块1101、任务启动模块1102、状态上报模块1103、消息响应模块1104和数据校验模块1105。

注册请求模块1101，用于向服务器发送针对本地与分布式文件系统之间数据传输任务的注册请求。

任务启动模块1102，用于接收服务器在根据注册请求注册数据传输任务后反馈的任务启动指令，根据任务启动指令启动数据传输任务。

状态上报模块1103，用于向服务器上报数据传输任务的运行状态。

消息响应模块1104，用于接收服务器根据运行状态反馈的响应消息；根据响应消息对数据传输任务进行相应操作。

数据校验模块1105，用于当数据传输任务结束后，获取数据传输任务所对应本地数据的第三数据量，以及与数据传输任务对应的分布式文件系统中数据的第四数据量；将第三数据量与第四数据量进行比较；当第三数据量与第四数据量一致时，确定对数据传输任务的运行结果校验通过。

上述数据传输任务处理装置，在数据传输任务结束后，对本地数据的数据量与分布式文件系统中数据的数据量进行校验，代替了对每一个数据量逐一对比的监测方法，在节约资源，提高检测效率的情况下，一定程度上保证了数据传输任务的正确性。

图12为一个实施例中数据传输任务监控装置的结构框图，参照图12，数据传输任务处理装置1200包括任务注册模块1201、指令反馈模块1202、消息反馈模块1203。

任务注册模块1201，用于接收用户终端发送的针对用户终端与分布式文件系统之间数据传输任务的注册请求；根据注册请求注册数据传输任务。

指令反馈模块1202，用于注册数据传输任务成功后，向用户终端反馈任务启动指令，使得用户终端根据任务启动指令启动数据传输任务。

消息反馈模块1203，用于接收用户终端上报的数据传输任务的运行状态；根据运行状态向终端反馈响应消息，使得用户终端根据响应消息对数据传输任务进行相应操作。

上述数据传输任务监控装置，用户终端向服务器发送针对与分布式文件系统之间的数据传输任务注册请求，并获取启动任务指令后，启动数据传输任务；在执行数据传输任务期间，向服务器上报数据传输任务的运行状态，与服务器之间建立通信，服务器根据用户终端上报的运行状态即时做出响应，形成有效的监控机制，能够及时处理数据传输过程中出现的问题，提高了数据传输的效率。

在一个实施例中，消息反馈模块1203在用于接收用户终端上报的数据传输任务的运行状态之后，还用于向监控终端发送运行状态列表，运行状态列表包括上报的运行状态和相应的用户终端标识；接收监控终端针对运行状态列表中选中的用户终端标识的任务操作指令；向选中的用户终端标识对应的用户终端发送任务操作指令，使得接收到任务操作指令的用户终端根据任务操作指令对相应的数据传输任务进行操作。

在本实施例中，监控终端通过服务器获得用户终端群组的数据传输任务运行状态，可以对用户终端群组中的任意一个用户终端针对其数据传输任务发出任务操作指令，减小了服务器压力，节约了服务器资源。

在一个实施例中，消息反馈模块1203还用于当运行状态为失败状态时，获取数据传输任务的失败次数；将失败次数与预设次数阈值比较；当失败次数不超过预设次数阈值时，向用户终端反馈任务重启消息，使得终端根据任务重启消息重启数据传输任务；当失败次数超过预设次数阈值时，向用户终端反馈任务终止消息，使得终端根据任务终止消息终止数据传输任务。

在本实施例中，在服务器所容许的最大失败次数内，为数据传输任务失败提供了用户终端重试机制，提高了容错能力，增强了数据传输任务的稳定性。在服务器所容许的最大失败次数外，提供了及时终止数据传输任务的处理方法，避免了过多次数的重试浪费服务器资源。

在一个实施例中，消息反馈模块1203还用于当运行状态为成功状态时，向用户终端反馈任务结束消息，使得用户终端根据任务结束消息结束数据传输任务。在本实施例中，在数据传输任务成功时，服务器可即时下发对于数据传输任务的结束操作指令，使得用户终端结束当前传输成功的任务，避免了已完成的数据传输任务长时间占据进程浪费资源的问题。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (16)

1.一种数据传输任务处理方法，所述方法包括：

向服务器发送针对本地与分布式文件系统之间数据传输任务的注册请求；

接收所述服务器在根据所述注册请求注册所述数据传输任务后反馈的任务启动指令；

根据所述任务启动指令启动所述数据传输任务；

向所述服务器上报所述数据传输任务的运行状态；

接收所述服务器根据所述运行状态反馈的响应消息；

根据所述响应消息对所述数据传输任务进行相应操作。

2.根据权利要求1所述的方法，其特征在于，所述接收所述服务器根据所述运行状态反馈的响应消息的步骤包括：

接收所述服务器在所述运行状态为失败状态且失败次数不超过预设次数阈值时反馈的任务重启消息；

所述根据所述响应消息对所述数据传输任务进行相应操作的步骤包括：

根据所述任务重启消息重启所述数据传输任务。

3.根据权利要求2所述的方法，其特征在于，所述根据所述任务重启消息重启所述数据传输任务的步骤包括：

响应于所述任务重启消息，获取所述数据传输任务所对应本地数据的第一数据量，以及与所述数据传输任务对应的所述分布式文件系统中数据的第二数据量；

将所述第一数据量与所述第二数据量进行比较，确定所述本地数据和所述分布式文件系统中数据之间的差异数据；

重启所述数据传输任务，并在执行所述数据传输任务时重新传输所述差异数据。

4.根据权利要求1所述的方法，其特征在于，所述接收所述服务器根据所述运行状态反馈的响应消息的步骤包括：

接收所述服务器在所述运行状态为失败状态且失败次数超过预设次数阈值时反馈的任务终止消息；

所述根据所述响应消息对所述数据传输任务进行相应操作的步骤包括：

根据所述任务终止消息终止所述数据传输任务。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述数据传输任务结束后，获取所述数据传输任务所对应本地数据的第三数据量，以及与所述数据传输任务对应的所述分布式文件系统中数据的第四数据量；

将所述第三数据量与所述第四数据量进行比较；

当所述第三数据量与所述第四数据量一致时，确定对所述数据传输任务的运行结果校验通过。

6.一种数据传输任务监控方法，所述方法包括：

接收用户终端发送的针对所述用户终端与分布式文件系统之间数据传输任务的注册请求；

根据所述注册请求注册所述数据传输任务；

注册所述数据传输任务成功后，向所述用户终端反馈任务启动指令，使得所述用户终端根据所述任务启动指令启动所述数据传输任务；

接收所述用户终端上报的所述数据传输任务的运行状态；

根据所述运行状态向所述用户终端反馈响应消息，使得所述用户终端根据所述响应消息对所述数据传输任务进行相应操作。

7.根据权利要求6所述的方法，其特征在于，所述接收所述用户终端上报的所述数据传输任务的运行状态之后，所述方法还包括：

向监控终端发送运行状态列表，所述运行状态列表包括上报的运行状态和相应的用户终端标识；

接收所述监控终端针对所述运行状态列表中选中的用户终端标识的任务操作指令；

向所述选中的用户终端标识对应的用户终端发送所述任务操作指令，使得接收到所述任务操作指令的所述用户终端根据所述任务操作指令对相应的数据传输任务进行操作。

8.根据权利要求6所述的方法，其特征在于，所述根据所述运行状态向所述用户终端反馈响应消息，使得所述用户终端根据所述响应消息对所述数据传输任务进行相应操作的步骤包括：

当所述运行状态为失败状态时，获取所述数据传输任务的失败次数；

将所述失败次数与预设次数阈值比较；

当所述失败次数不超过预设次数阈值时，向所述用户终端反馈任务重启消息，使得所述用户终端根据所述任务重启消息重启所述数据传输任务；

当所述失败次数超过预设次数阈值时，向所述用户终端反馈任务终止消息，使得所述用户终端根据所述任务终止消息终止所述数据传输任务。

9.一种数据传输任务处理装置，其特征在于，包括：

注册请求模块，用于向服务器发送针对本地与分布式文件系统之间数据传输任务的注册请求；

任务启动模块，用于接收所述服务器在根据所述注册请求注册所述数据传输任务后反馈的任务启动指令，根据所述任务启动指令启动所述数据传输任务；

状态上报模块，用于向所述服务器上报所述数据传输任务的运行状态；

消息响应模块，用于接收所述服务器根据所述运行状态反馈的响应消息；根据所述响应消息对所述数据传输任务进行相应操作。

10.根据权利要求9所述的装置，其特征在于，所述消息响应模块还用于接收所述服务器在所述运行状态为失败状态且失败次数不超过预设次数阈值时反馈的任务重启消息；根据所述任务重启消息重启所述数据传输任务。

11.根据权利要求10所述的装置，其特征在于，所述消息响应模块还用于响应于所述任务重启消息，获取所述数据传输任务所对应本地数据的第一数据量，以及与所述数据传输任务对应的所述分布式文件系统中数据的第二数据量；将所述第一数据量与所述第二数据量进行比较，确定所述本地数据和所述分布式文件系统中数据之间的差异数据；重启所述数据传输任务，并在执行所述数据传输任务时重新传输所述差异数据。

12.根据权利要求9所述的装置，其特征在于，所述消息响应模块还用于接收所述服务器在所述运行状态为失败状态且失败次数超过预设次数阈值时反馈的任务终止消息；根据所述任务终止消息终止所述数据传输任务。

13.根据权利要求9所述的装置，其特征在于，所述装置还包括：

数据校验模块，用于当所述数据传输任务结束后，获取所述数据传输任务所对应本地数据的第三数据量，以及与所述数据传输任务对应的所述分布式文件系统中数据的第四数据量；将所述第三数据量与所述第四数据量进行比较；当所述第三数据量与所述第四数据量一致时，确定对所述数据传输任务的运行结果校验通过。

14.一种数据传输任务监控装置，其特征在于，包括：

任务注册模块，用于接收用户终端发送的针对用户终端与分布式文件系统之间数据传输任务的注册请求；根据所述注册请求注册所述数据传输任务；

指令反馈模块，用于注册所述数据传输任务成功后，向所述用户终端反馈任务启动指令，使得所述用户终端根据所述任务启动指令启动所述数据传输任务；

消息反馈模块，用于接收所述用户终端上报的所述数据传输任务的运行状态；根据所述运行状态向所述终端反馈响应消息，使得所述用户终端根据所述响应消息对所述数据传输任务进行相应操作。

15.根据权利要求14所述的装置，其特征在于，所述消息反馈模块在用于接收所述用户终端上报的所述数据传输任务的运行状态之后，还用于向监控终端发送运行状态列表，所述运行状态列表包括上报的运行状态和相应的用户终端标识；接收所述监控终端针对所述运行状态列表中选中的用户终端标识的任务操作指令；向所述选中的用户终端标识对应的用户终端发送所述任务操作指令，使得接收到所述任务操作指令的所述用户终端根据所述任务操作指令对相应的数据传输任务进行操作。

16.根据权利要求14所述的装置，其特征在于，所述消息反馈模块还用于当所述运行状态为失败状态时，获取所述数据传输任务的失败次数；将所述失败次数与预设次数阈值比较；当所述失败次数不超过预设次数阈值时，向所述用户终端反馈任务重启消息，使得所述终端根据所述任务重启消息重启所述数据传输任务；当所述失败次数超过预设次数阈值时，向所述用户终端反馈任务终止消息，使得所述终端根据所述任务终止消息终止所述数据传输任务。