CN103312623B - 任务协作装置及方法 - Google Patents

Abstract

本发明提出一种任务协作装置及方法。其中，任务协作装置包括：任务接收模块，用于接收任务，并将任务压入队列；队列管理模块，用于有序存储任务接收模块压入的任务并在任务入队后触发同步信号，以及提供各种命令服务；任务处理模块，用于接收用户对任务队列的命令请求，并根据该命令请求从队列管理模块调用相应的命令服务执行命令请求且在命令请求完成后触发同步信号；以及文件同步模块，与队列管理模块和任务接收模块位于同一台服务器上，用于根据同步信号完成任务到磁盘文件的同步操作。根据本发明的任务协作装置，通过使用文件同步模块，在保证接收的任务信息有序高效执行的同时，增强任务存储分发的可靠性。

Description

任务协作装置及方法

技术领域

本发明涉及互联网技术领域，尤其涉及一种任务协作装置及方法。

背景技术

队列是一个只允许在一端进行插入，在另一端进行删除的运算受限的线性表。通常地，在各应用环境中使用队列实现任务临时存储和有序执行。

现有的通过队列实现的任务协作装置存在的问题是，无法保证队列连续长时间工作不丢失任务。一旦出现队列任务所在装置或者机器设备发生故障，在装置或者机器重启后将难以恢复队列中未执行的任务信息，导致队列任务丢失，任务协作装置的可靠性低。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明的一个目的在于提出一种能够在保证任务有序高效执行的同时提高任务存储分发的可靠性的任务协作装置。

本发明的另一目的在于提出一种任务协作方法。

为了实现上述目的，根据本发明的第一方面实施例的任务协作装置，包括：任务接收模块，所述任务接收模块用于接收任务，并将所述任务压入队列；队列管理模块，所述队列管理模块用于有序存储所述任务接收模块压入的任务并在所述任务入队后触发同步信号，以及提供各种命令服务；任务处理模块，所述任务处理模块用于接收用户对任务队列的命令请求，并根据所述命令请求从所述队列管理模块调用相应的命令服务执行所述命令请求且在所述命令请求完成后触发所述同步信号；以及文件同步模块，所述文件同步模块与所述队列管理模块和所述任务接收模块位于同一台服务器上，用于根据所述同步信号完成所述任务到磁盘文件的同步操作。

根据本发明实施例的任务协作装置，利用队列的特性，通过使用文件同步模块，在保证接收的任务信息有序高效执行的同时，增强任务存储分发的可靠性，降低任务队列处理过程中因程序故障或者机器故障导致信息丢失的风险。

为了实现上述目的，根据本发明的第二方面实施例的任务协作方法，包括以下步骤：主设备接收新任务；主设备将所述新任务压入队列，并触发同步信号；主设备根据所述同步信号，将任务数据同步存储至磁盘文件中；主设备接收用户对于任务队列的命令请求；主设备根据所述命令请求执行相应的命令操作，并在所述命令操作完成后触发同步信号；以及主设备根据所述同步信号，对所述磁盘文件中的队列进行更新。

根据本发明实施例的任务协作方法，利用队列的特性，结合文件磁盘存储机制，在保证接收的任务信息有序高效执行的同时，增强了任务存储分发的可靠性，降低了任务队列处理过程中因程序故障或机器故障导致信息丢失的风险。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中，

图1是根据本发明一个实施例的任务协作装置的结构示意图；

图2是根据本发明一个实施例的任务协作装置的结构示意图；

图3是根据本发明一个实施例的任务协作方法的流程图；

图4是根据本发明一个实施例的任务协作方法的流程图；

图5是根据本发明一个实施例的任务协作方法的流程图；以及

图6是根据本发明一个实施例的任务协作方法的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

下面参考附图描述根据本发明实施例的任务协作装置。

一种任务协作装置，包括：任务接收模块，用于接收任务，并将任务压入队列；队列管理模块，用于有序存储任务接收模块压入的任务并在任务入队后触发同步信号，以及提供各种命令服务；任务处理模块，用于接收用户对任务队列的命令请求，并根据命令请求从队列管理模块调用相应的命令服务执行命令请求且在命令请求完成后触发同步信号；以及文件同步模块，与队列管理模块和任务接收模块位于同一台服务器上，用于根据同步信号完成任务到磁盘文件的同步操作。

图1是根据本发明一个实施例的任务协作装置的结构示意图。

如图1所示，根据本发明实施例的任务协作装置包括：任务接收模块10、队列管理模块20、任务处理模块30和文件同步模块40。

任务接收模块10用于接收任务，并将任务压入队列。

队列管理模块20用于有序存储从任务接收模块10压入的任务信息，并在任务入队后触发同步信号，此外还为任务处理模块30提供命令服务。具体地，队列管理模块20其实是一个队列集，由队列名和队列信息组成。不同的队列由用户首次调用前通过接口创建，并由用户主动删除，用户队列总数量在队列程序启动时根据配置指定。队列任务是保存在系统内存中的，这样可以有效的减少任务读写的时间，提高任务操作效率。队列管理模块20除了提供任务入队操作外，还提供任务读取和删除等操作，由任务处理模块30调用。

任务处理模块30用于接收用户对任务队列的命令请求，并根据命令请求从队列管理模块20调用相应的命令服务执行命令请求且在命令请求完成后触发同步信号。

文件同步模块40与队列管理模块20位于同一台服务器上，用于根据同步信号完成任务数据到磁盘文件的同步操作。具体地，队列管理模块20在添加和删除任务时都会完成对文件同步模块40的接口调用，为了尽量不影响队列任务的操作响应时间，该接口调用实际进行的是同步信号触发，文件同步模块40在接收到同步信号后完成任务数据到磁盘文件的同步操作。任务数据在存储时以队列为单位进行文件操作，不同队列的信息存放在不同的文件中。

根据本发明实施例的任务协作装置，利用队列的特性，通过使用文件同步模块，在保证接收的任务信息有序高效执行的同时，增强任务存储分发的可靠性，降低任务队列处理过程中因程序故障或者机器故障导致信息丢失的风险。

在本发明的一个实施例中，任务接收模块10在通过网络接口接收到任务后，在将任务压入队列之前，还会根据协议约定对任务进行有效性校验，例如进行md5有效性校验具体地，其中md5校验码由任务数据、任务时间标签和机器私密共同组成。通过校验丢弃不合法的任务，有效防止无效命令对装置的干扰。

根据本发明的一个实施例，任务接收模块10还用于在任务通过有效性校验后，根据任务和时间参数信息生成一个唯一的标识uuid，并以“uuid&value”的形式一起压入用户指定的队列，vaule为任务信息。由此可见，uuid的存在方便了用户对队列任务信息的获取和查询。

在本发明的一个实施例中，为了防止同步信号丢失导致的信息同步问题，每次数据同步时还会校验是否有同一队列的其他数据未及时得到存储，并清空信号。此外，队列管理模块20在启动过程中同样会通过文件同步模块40来获取前一次程序运行时未得到处理的队列任务，有效地保证队列进程重启时队列任务不丢失。

在本发明的一个实施例中，任务处理模块30提供调用接口，由用户主动发起flush操作、pop操作、get操作和register操作等，其中flush操作会清空指定队列中的所有任务信息；pop操作用于请求发送多个任务，具体地将用户请求的队列任务数量与队列任务中实际存在的任务队列数量进行比较，如果实际数量大于请求数量，则返回请求的任务数量，如果实际数量小于请求数量，则返回实际拥有的任务数量，同时对于已经完成发送的任务信息将其从队列中删除；get操作用于根据用户指定的队列名称和uuid信息，利用“uuid&value”存储结构获取用户需要的任务信息；register操作用于提供用户一个队列任务自动化处理的机制，用户通过register命令注册一个队列任务的处理函数，任务处理模块30会根据用户注册的函数实现队列任务的自动化处理，开启任务自动化操作的队列，将停止针对该队列的pop命令操作，具体地首先将指定队列标识为自动执行队列，开启自动化处理流程，从指定队列获取一条任务信息，并调用用户注册的处理函数实现信息处理，执行完成后将任务从队列中删除，并触发同步信号。

图2是根据本发明一个实施例的任务协作装置的结构示意图。如图2所示，在图1所示的实施例的基础上，该任务协作装置还包括主从备份模块50。

主从备份模块50与文件同步模块40位于不同的服务器上，完成队列任务的远程备份功能。主从备份主要是指主设备到从设备之间的数据备份，主从关系由用户指定实现。为有效避免已更新数据在网络中的传输，节省网络流量，提高传输效率，所有未更新的信息任务在主设备中进行标识，并通过接口为从设备提供更新。具体地，从设备(备份模块50所在的服务器)通过网络接口周期性地向主设备(队列管理模块20等所在的服务器)发送数据更新请求，请求时间间隔根据实际情况可灵活配置。从设备在接收到更新任务后，模拟任务接收模块10将任务压入队列，并写入磁盘文件。

根据本发明实施例的任务协作装置，通过增加主从备份模块实现队列任务远程备份，可以进一步增强任务存储分发的可靠性，降低任务队列处理过程中因程序故障或者机器故障导致信息丢失的风险。

下面详细描述本发明一个实施例的任务协作装置的启动流程：

首先，最先启动的是文件同步模块40，为任务协作装置启动过程中获取磁盘中未处理的队列任务提供装载接口，为队列数据恢复提供可能。

文件同步模块40启动后，队列管理模块20随后启动，根据磁盘文件记录的队列信息自动创建队列，同时通过文件同步模块40提供的接口获取未完成的队列任务，将队列任务压入对应的队列中。

队列管理模块20启动后，主从备份模块50开始启动。主设备启动时无需特殊操作，从设备启动后开始根据配置信息向远端主设备请求任务更新，在接收到更新命令回复后，将新增任务信息压入任务队列，同时触发文件同步模块40更新磁盘文件信息。

在主从备份模块50启动完成时，队列中的任务信息就可以开始接受用户请求进行处理，此时启动的是任务处理模块30，接受用户任务处理函数的注册和任务获取等命令请求，并执行相关处理。

任务处理模块30完成启动后，任务协作装置的队列任务恢复已经完成，同时具备了任务处理和备份的能力，此时启动任务接收模块10，完成装置的新任务接收功能。

下面参考附图描述根据本发明实施例的任务协作方法。

一种任务协作方法，包括以下步骤：主设备接收新任务；主设备将新任务压入队列，并触发同步信号；主设备根据同步信号，将任务数据同步存储至磁盘文件中；主设备接收用户对于任务队列的命令请求；主设备根据命令请求执行相应的命令操作，并在命令操作完成后触发同步信号；以及主设备根据同步信号，对磁盘文件中的队列进行更新。

图3是根据本发明一个实施例的任务协作方法的流程图。

如图3所示，根据本发明实施例的任务协作方法包括下述步骤。

步骤S 101，接收新任务。

具体地，通过网络接口实时接收远程任务信息，该网络接口通过TCP短连接实现，保证数据在网络中传输的可靠性。

步骤S102，将接收到的新任务压入队列并触发文件同步信号。

应理解，任务信息中包括任务需要装载的队列名称，用户在首次装置任务之前，需要首先通过接口创建队列。然后，再将任务压入到相应的队列中。

步骤S103，文件同步模块在接收到文件同步信号后，将未同步的队列任务写入磁盘文件。

通过上述步骤S101至步骤S103完成任务接收处理，实现新任务的同步存储。

步骤S104，接收用户对于队列的命令请求。

在本发明的一个实施例中，该命令请求包括flush命令、pop命令、get命令和register命令等。

步骤S105，根据接收到的命令请求执行相应的命令操作，并在命令操作完成后触发同步信号。

例如，如果是flush命令，则清空指定队列中的所有任务信息，并触发文件同步信号。

如果是pop命令，则将用户请求的任务队列数量与队列任务中实际存在的任务队列数量进行比较，如果实际数量大于请求数量，则返回请求的任务数量；如果实际数量小于请求数量，则返回队列中实际拥有的任务数量。同时，对于已经完成发送的任务信息将其从队列中删除，并触发文件同步信号。

如果是get命令，则根据用户指定的队列名称，获取用户需要的任务信息。

如果是register命令，则用户通过register命令注册一个任务队列的处理函数，根据用户注册的函数实现队列任务的自动化处理。注册完成后，指定队列将被标识为自动执行队列，此时自动化处理流程开启，触发装置根据注册函数中记录的信息从指定队列获取一条任务信息，并调用用户注册的处理函数实现信息处理，执行完成后将任务从队列中删除，并触发同步信息。

步骤S106，主设备根据同步信号，对磁盘文件中的队列进行更新。

通过上述步骤S104至步骤S106，在实现对任务信息处理的同时，通过触发同步信号，保证在删除或接收任务信息等后实现磁盘文件中存储的任务信息的同步更新。

根据本发明实施例的任务接收处理方法，利用队列的特性，结合文件磁盘存储机制，在保证接收的任务信息有序高效执行的同时，增强了任务存储分发的可靠性，降低了任务队列处理过程中因程序故障或者机器故障导致信息丢失的风险。

图4是根据本发明一个实施例的任务协作方法的流程图。

如图4所示，根据本发明实施例的任务协作方法包括下述步骤。

步骤S201，主设备接收新任务。

步骤S202，主设备对接收到的新任务进行有效性校验。

例如，进行MD5有效性校验，其中MD5校验码的产生由任务数据、任务时间标签和机器私密共同组成。通过校验丢弃不合法的任务，有效防止无效命令对装置的干扰。

步骤S203，主设备将通过有效性校验的新任务压入队列，并触发同步信号。

步骤S204，主设备根据同步信号，将任务数据同步存储至磁盘文件中。

步骤S205，主设备接收用户对于任务队列的命令请求。

步骤S206，主设备根据命令请求执行相应的命令操作，并在命令操作完成后触发同步信号。

步骤S207，主设备根据同步信号，对磁盘文件中的队列进行更新

根据本发明实施例的任务协作方法，通过对新任务进行有效性校验，可以有效防止无效命令对装置的干扰。

图5是根据本发明一个实施例的任务协作方法的流程图。

如图5所示，根据本发明实施例的任务协作方法包括下述步骤。

步骤S301，主设备接收新任务。

步骤S302，主设备对接收到的新任务进行有效性校验。

步骤S303，主设备在任务通过有效性校验后，根据任务和时间信息生成uuid标识。

步骤S304，主设备将uuid标识和任务以“uuid&vaule”的形式一起压入队列，并触发同步信号。

也就是，任务队列的队列信息为“uuid&vaule”的结构，由此，通过uuid标识可以方便地获取和查询队列任务信息。

步骤S305，主设备根据同步信号，将任务数据同步存储至磁盘文件中。

步骤S306，主设备接收用户对于任务队列的命令请求。

步骤S307，主设备根据命令请求执行相应的命令操作，并在命令操作完成后触发同步信号。

步骤S308，主设备根据同步信号，对磁盘文件中的队列进行更新。

根据本发明实施例的任务协作方法，通过为队列任务信息增加uuid标识，方便用户对队列任务信息的查询和获取。

图6是根据本发明一个实施例的任务协作方法的流程图。在本发明实施例中，除了使用本地磁盘文件存储外，还使用主从队列备份机制，通过远程文件存储进一步提高任务存储的可靠性。

如图6所示，根据本发明实施例的任务协作方法包括下述步骤。

步骤S401，主设备接收新任务。

步骤S402，主设备对接收到的新任务进行有效性校验。

步骤S403，主设备在任务通过有效性校验后，根据任务和时间信息生成uuid标识。

步骤S404，主设备将uuid标识和任务以“uuid&value”的形式一起压入队列，并触发同步信号。

步骤S405，主设备根据同步信号，将任务数据同步存储至磁盘文件中。

步骤S406，主设备接收用户对于任务队列的命令请求。

步骤S407，主设备根据命令请求执行相应的命令操作，并在命令操作完成后触发同步信号。

步骤S408，主设备根据同步信号对磁盘文件中的队列进行更新。

步骤S409，从设备周期性地向主设备发送任务备份请求。

主从队列备份机制由从设备主动发起，发起时间间隔通过配置实现，方便用户对不同应用环境的需求。

步骤S410，主设备在接收到任务备份请求后，根据标识校验未更新到从设备的任务信息。

步骤S411，主设备根据校验结果，获取队列任务信息，并将任务信息发送给请求的从设备。

步骤S412，从设备接收到任务信息后，将信息压入队列。

根据本发明实施例的任务协作方法，同时使用本地磁盘文件存储和主从队列备份机制，进一步增强了任务存储分发的可靠性。

应理解，本发明实施例中各个步骤之间没有明显的先后顺序，例如从设备可根据预设的时间间隔随时发送任务备份请求，或者主设备可根据用户发送的命令请求随时对未处理的任务进行处理等。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (7)

1.一种任务协作装置，其特征在于，包括：

任务接收模块，所述任务接收模块用于接收任务，并将所述任务压入队列；

队列管理模块，所述队列管理模块用于有序存储所述任务接收模块压入的任务并在所述任务入队后触发同步信号，以及提供各种命令服务；

任务处理模块，所述任务处理模块用于接收用户对任务队列的命令请求，并根据所述命令请求从所述队列管理模块调用相应的命令服务执行所述命令请求且在所述命令请求完成后触发所述同步信号；以及

文件同步模块，所述文件同步模块与所述队列管理模块和所述任务接收模块位于同一台服务器上，用于根据所述同步信号完成所述任务到磁盘文件的同步操作；

所述任务接收模块还用于对所述任务进行有效性校验；

所述任务接收模块还用于在所述任务通过所述有效性校验后，根据所述任务和所述任务的时间信息生成所述任务的uuid标识，并将所述uuid标识和所述任务以“uuid&value”的形式一起压入相应的队列。

2.根据权利要求1所述的任务协作装置，其特征在于，还包括：

主从备份模块，所述主从备份模块与所述文件同步模块位于不同的服务器上，用于周期性地向所述队列管理模块发送更新请求，并在接收到所述队列管理模块根据所述更新请求发送的更新任务后，将所述更新任务压入队列并写入磁盘文件。

3.根据权利要求1所述的任务协作装置，其特征在于，所述命令请求包括：

flush命令，用于清空指定队列中的所有任务信息；

pop命令，用于获取多个任务；

get命令，用于获取用户指定的任务信息；以及

register命令，用于为用户提供队列任务自动化处理机制。

4.根据权利要求1所述的任务协作装置，其特征在于，所述队列管理模块还用于在启动过程中通过所述文件同步模块获取前一次程序运行时未处理的任务队列。

5.一种任务协作方法，其特征在于，包括：

主设备接收新任务；

主设备将所述新任务压入队列，并触发同步信号；

主设备根据所述同步信号，将任务数据同步存储至磁盘文件中；

主设备接收用户对于任务队列的命令请求；

主设备根据所述命令请求执行相应的命令操作，并在所述命令操作完成后触发同步信号；以及

主设备根据所述同步信号，对所述磁盘文件中的队列进行更新；

主设备对所述新任务进行有效性校验；

主设备在所述任务通过所述有效性校验后，根据所述任务和所述任务的时间信息生成uuid标识；以及

主设备将所述uuid标识和所述任务以“uuid&value”的形式一起压入队列。

6.根据权利要求5所述的任务协作方法，其特征在于，进一步包括：

从设备周期性地向所述主设备发送更新请求；

主设备根据所述更新请求校验未更新到所述从设备的任务信息；

主设备根据校验结果，获取队列任务信息，并将所述任务信息发送至所述从设备；

从设备接收所述任务信息，并将所述任务信息压入队列。

7.根据权利要求5所述的任务协作方法，其特征在于，所述命令请求包括：

flush命令，用于清空指定队列中的所有任务信息；

pop命令，用于获取多个任务；

get命令，用于获取用户指定的任务信息；以及

register命令，用于为用户提供队列任务自动化处理机制。