CN112751938A - 一种基于多集群作业的实时数据同步系统，实现方法以及存储介质 - Google Patents

Abstract

本发明公开了一种基于多集群作业的实时数据同步系统，实现方法以及存储介质，本方案包括集群作业数据同步接收模块和集群作业数据同步管理模块，所述集群作业数据同步接收模块，用于提供数据接收端获取作业数据及同步接收与校验数据工作；所述集群作业数据同步管理模块，用于提供数据发送端管理作业数据同步请求与管理数据同步工作。本发明提供的基于多集群作业的自动化实时数据同步技术，创新的将集群作业作为同步单位，能够实现多集群环境下的作业数据动态、精准、实时、自动同步，有效解决现有实时数据同步技术不能根据集群作业数据特点排除临时数据的同步的问题。

Description

一种基于多集群作业的实时数据同步系统，实现方法以及存 储介质

技术领域

本发明涉及计算机系统数据传输技术领域，具体涉及集群作业的自动化实时数据同步技术。

背景技术

实时数据同步技术是一种针对目录或文件的同步技术，其工作原理是客户端通过不断的比较服务端文件系统上的文件数据大小或者最后修改时间发生变化的文件或目录，也可以比较服务端一个文件里变化的内容部分，通过全量、分片、增量、压缩的方式进行传输，从而实现客户端和服务端的数据实时同步。比较有代表性的技术为SyncToy、Rsync、GoodSync、Syncthing、CompareAdvance。

网络文件系统是当前主流异构平台共享文件系统，能够支持在不同类型的系统之间通过网络进行文件共享和传输，广泛应用在Windows、Linux等异构操作系统平台，允许一个系统在网络上与他人共享目录和文件，使用户和程序可以像访问本地文件一样访问远端系统上的文件，可用于不同类型计算机、操作系统、网络架构和传输协议运行环境中的网络文件远程访问和共享，其工作原理为使用客户端/服务器架构，由一个客户端程序和服务器程序组成。服务器程序向其他计算机提供对文件系统的访问，其过程称为输出。客户端程序对共享文件系统进行访问时，把它们从网络文件系统服务器中“输送”出来。文件可以块、文件、对象为单位进行传输。网络文件系统传输协议用于服务器和客户机之间文件访问和共享的通信，从而使客户机远程地访问保存在存储设备上的数据。代表技术有NFS、Lustre、GPFS、GlusterFS、Ceph等网络文件系统。

集群作业调度系统是一种分布式资源管理与任务调度系统，其工作原理是通过管理分布式计算资源和作业队列，从作业任务队列中选取合适的作业，根据作业申请的资源信息，按照一定的资源调度算法，为作业创建进程、分配作业运行所需的CPU、内存、磁盘、显卡等资源。常用的作业调度算法有先来先服务、短作业优先、响应比高优先、优先级调度算法和均衡调度算法。常见技术有LSF、PBS、Torque、Slurm、PBSPro等。

集群作业是可被集群作业调度系统管理和调度的基本单位，为一次应用业务分配所需资源并执行其全部工作称为一个作业，一个作业由作业描述信息、作业资源请求、作业启动目录、执行程序、数据组成。一个执行结束的作业数据由输入数据和输出数据组成。

然而，现有集群作业调度系统自身不管理作业数据，由作业执行进程自行生成和保存数据到集群本地文件系统或网络文件系统上。

而网络文件系统无法解决多集群数据同步问题，在计算过程中作业会产生动态变化的文件及临时过程文件，现有的实时数据同步技术在同步数据时与作业无关，无法针对作业进行数据同步，也无法解决动态数据的同步时机和优先级问题，因此现有实时数据同步技术必须在作业结束后数据不再变化时执行，否则会引发同步时机问题及中间临时数据无效同步问题。

另外，现有数据同步技术预先设置同步数据的源路径和目标路径，对作业数据及非作业数据不加区分，无法针对作业执行过程调整数据同步的优先级，从而影响后续处理效率。

发明内容

针对现有实时数据同步技术在集群作业环境下无法处理集群作业规则导致数据同步不准确问题，需要一种新的实时数据同步技术。

为此，本发明的目的在于提供一种基于多集群作业的自动化实时数据同步系统，并据此提供一种相应的实现方法以及存储介质，由此可克服现有技术所存在的问题。

为了达到上述目的，本发明提供的基于多集群作业的自动化实时数据同步系统，包括集群作业数据同步接收模块和集群作业数据同步管理模块，

所述集群作业数据同步接收模块，用于向数据接收端提供获取作业数据及同步接收与校验数据定时使用远程调用方式连接集群作业数据同步管理模块，获取集群作业、同步规则、作业数据的元数据列表，通过对元数据的预处理形成待同步的作业数据元数据队列，向集群作业数据同步管理模块请求接收作业元数据的目标集群作业数据，对每一个接收完成的作业数据进行本地和远程的数据完整性校验，完成作业的所有数据同步完成后标记作业同步完成；

所述集群作业数据同步管理模块，用于向数据发送端提供管理作业数据同步请求与管理数据同步，处理集群作业数据同步接收模块的请求，提供集群作业、作业同步规则、作业数据的元数据，使用所述集群作业数据同步接收模块的身份关联的集群账号，使用集群传输协议连接集群，读取作业数据，传输作业数据到集群作业数据同步接收模块，提供作业数据完整性校验。

进一步地，所述集群作业数据同步接收模块包括：

作业元数据查询子模块，用于从集群作业数据同步管理模块中查询和获取集群元数据列表、作业元数据列表、作业同步规则元数据列表；这里的作业同步规则元数据由集群信息、作业队列、作业类型、作业状态、作业数据名称、作业数据同步顺序等元数据组成；

作业元数据预处理子模块，用于解析和转换所述作业元数据查询子模块中获取的作业元数据列表，生成集群、作业、作业同步规则等元数据相互关联的数据结构列表，所述数据结构列表中的每一个集群初始化作业元数据同步队列；作业数据规则处理子模块，用于根据作业元数据查询子模块和作业元数据预处理子模块生成的元数据关联的数据结构列表中读取集群信息、作业队列、作业类型、作业状态等规则属性匹配作业元数据，过滤出符合规则的作业元数据；所述作业数据规则处理子模块还根据作业数据名称、作业数据同步顺序规则，对作业数据接收子模块中获取的作业数据列表进行数据名称规则匹配，过滤出符合规则的作业数据列表插入对应作业所在集群的同步队列中，根据作业同步顺序规则对作业所在集群的同步队列进行全局优先级排序，完成作业数据的同步顺序排序；

作业数据接收子模块，通过连接集群作业数据同步管理模块，从作业所在集群的同步队列中使用作业元数据中的集群信息连接目标集群，通过集群作业数据同步管理模块的集群适配器子模块获取作业数据列表，通过作业数据规则处理子模块获取作业数据同步队列，通过集群作业数据同步管理模块的集群数据传输适配器模块从作业数据同步队列中依次增量、压缩地接收作业数据字节流。

进一步地，所述集群作业数据同步接收模块中还包括作业数据接收监控子模块，所述作业数据接收监控子模块用于监控作业数据接收子模块正在接收的数据状态。

进一步地，所述集群作业数据同步接收模块中还包作业数据校验子模块，所述作业数据校验子模块，用于提供对所述作业数据接收子模块的作业同步后的数据进行完整性校验。

进一步地，所述集群作业数据同步管理模块包括：

作业元数据管理子模块，用于向集群作业数据同步接收模块提供集群作业元数据、作业同步规则元数据、作业数据元数据的信息；

作业同步规则管理子模块，用于提供并管理集群作业数据同步接收模块的作业同步规则元数据；这里的作业同步规则元数据包括集群信息、作业队列、作业类型、作业状态、作业数据名称、作业数据同步顺序等元数据；

作业数据发送子模块，根据所述集群作业数据同步接收模块需要接收的作业元数据信息，从集群中读取作业数据并向所述集群作业数据同步接收模块发送作业数据字节流，提供实时数据字节流的压缩和增量传输；这里的集群作业数据同步接收模块通过与所述集群作业数据同步管理模块建立连接，同时通过集群作业数据同步管理模块的集群数据传输适配器子模块，使用作业所在的集群传输协议和与集群作业数据同步接收模块的身份关联的集群账号连接到作业所在的集群；

集群适配器子模块，屏蔽不同类型集群的获取作业元数据的接口差异，用于提供获取多集群作业元数据的统一接口及获取具体集群的作业元数据为作业运行队列、作业信息描述、作业资源请求、作业启动目录、执行程序、作业运行时间、作业运行状态。据此，集群作业数据同步接收模块通过该集群适配器子模块能够获取多集群作业元数据。

进一步地，所述集群作业数据同步管理模块中还包括作业身份认证子模块，所述作业身份认证子模块用于完成集群作业数据同步管理模块与集群作业数据同步接收模块之间的身份认证。

进一步地，所述集群作业数据同步管理模块中还包括作业数据校验管理子模块，所述作业数据校验管理子模块用于对作业数据发送子模块发送作业数据的完整性校验。

为了达到上述目的，本发明提供的基于多集群作业的自动化实时数据同步的实现方法，首先在服务端上运行集群作业数据同步接收模块的身份认证并将身份与集群账号关联，启动集群作业数据同步接收模块开始本轮作业数据同步线程；

接着，集群作业数据同步接收模块远程调用集群作业数据同步管理模块的集群作业元数据管理模块，读取配置作业数据接收模块的作业同步规则元数据；

接着，集群作业数据同步接收模块对集群作业元数据进行预处理，作业元数据规则处理子模块再进一步对预处理后的数据进行匹配、过滤和生成作业元数据同步队列，依次读取作业元数据队列的集群信息；

接着，远程调用集群作业数据同步管理模块的集群作业数据发送子模块，使用集群账号和集群连接协议，调用作业所在集群数据适配器，获取集群作业启动目录下的数据列表，由作业数据规则处理子模块对作业数据列表进行规则处理，生成集群作业数据同步对列；

接着，集群作业数据接收子模遍历集群作业数据同步队列，连接集群作业数据同步管理模块的集群作业数据发送子模块，使用集群账号和集群连接协议；调用作业所在集群数据适配器，依次增量和压缩地接收作业数据的字节数据；

接着，启动数据校验子模块生成接收数据的哈希校验码，远程调用集群作业数据同步管理模块的作业数据校验管理子模块生成集群数据的哈希校验码，比较接收端和发送端的作业数据大小、修改时间、哈希校验码；

最后，依次完成作业数据同步队列中的作业数据接收，关闭本轮数据接收连接线程。

进一步地，所述实现方法中作业数据接收子模块通过建立作业数据同名互斥数据集合和执行同步操作，确保接收作业数据的多线程在同一时刻不会接收同一集群内归属不同作业的相同名称的作业数据。

为了达到上述目的，本发明提供的存储介质，所述存储介质包括存储的程序，所述程序执行上述的基于多集群作业的自动化实时数据同步的实现方法。

本发明针对现有实时数据同步技术在多集群作业数据同步的不足，提供的基于多集群作业的自动化实时数据同步技术，创新的将集群作业作为同步单位，能够实现多集群环境下的作业数据动态、精准、实时、自动同步，有效解决现有实时数据同步技术不能根据集群作业数据特点排除临时数据的同步的问题，从而可进一步解决现有方案造成对带宽的浪费问题，造成某个时刻的高优先级数据无法被优先同步的问题。

附图说明

以下结合附图和具体实施方式来进一步说明本发明。

图1为现有集群作业数据的数据同步系统的应用示例。

图2应用本发明实施例提供的一种基于集群作业的自动化实时数据同步系统的结构图

图3是应用本发明的实施例提供的一种基于集群作业的自动化实时数据同步系统的应用环境示意图。

图4未应用本发明实施例提供的一种多集群的实时数据同步的方法和流程。

图5应用本发明实施例提供的一种基于多集群作业的自动化实时数据同步的方法和流程。

图6应用本发明实施例提供的一种基于多集群作业的自动化实时数据同步接收方法的具体流程图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

参见图1，其所示为现有用于集群作业数据的数据同步系统的实施方案。由图可知，现有用于集群作业数据的数据同步方案中，在提供数据的服务端上增设一个实时数据同步管理模块，同时在接收数据的客户端上增设一个实时数据同步接收模块。

这里的实时数据同步管理模块预先固定要同步数据的同步路径，根据时间或数据大小依序发送数据；而实时数据同步接收模块依序接收数据。如此，使得集群作业生成的数据只能预先位于实时数据同步管理模块的同步路径下，不能区分高优先级作业、低优先级作业、非作业运行目录下的作业数据、不同步的作业临时数据。

同时，现有应用方案中的实时数据同步管理模块不关联集群，不获取作业集群信息、作业数据和作业同步规则，只从实时数据同步管理模块配置的同步路径下同步作业数据，不区分高优先级作业、低优先级作业、非作业运行目录下的作业数据及不需要同步的作业临时数据；再者，现有方案中的实时数据同步接收模块不查询作业数据、只连接单一集群，只从固定的同步路径下同步数据。由此造成现有技术在同步传输作业数据时存在明显不足，一方面无法保证非作业的其他数据或临时数据不同步，另一方面无法保证集群动态作业运行状态下具有不同优先级数据的同步。

对此，本申请给出一种基于集群作业的自动化实时数据同步系统方案，实现多集群环境下的作业数据动态、精准、实时、自动同步。

参见图2，其所示为本申请给出的基于集群作业的自动化实时数据同步系统的构成示例。

由图可知，本自动化实时数据同步系统主要由集群作业数据同步接收模块100和集群作业实时数据同步管理模块200配合构成。

本系统中的集群作业数据同步接收模块100，用于向数据接收端提供获取作业数据及同步接收与校验数据，。

本集群作业数据同步接收模块100在实现时，作为独立运行的程序模块，定时使用远程调用方式连接集群作业数据同步管理模块，获取集群作业、同步规则、作业数据的元数据列表，通过对元数据的预处理形成待同步的作业数据元数据队列，向集群作业数据同步管理模块请求接收作业元数据的目标集群作业数据，对每一个接收完成的作业数据进行本地和远程的数据完整性校验，完成作业的所有数据同步完成后标记作业同步完成。

本系统中的集群作业数据同步管理模块200，用于向数据发送端提供管理作业数据同步请求与管理数据同步。

本集群作业数据同步管理模块200在实现时，作为独立运行的程序，处理集群作业数据同步接收模块的请求，提供集群作业、作业同步规则、作业数据的元数据，使用所述集群作业数据同步接收模块的身份关联的集群账号，使用集群传输协议连接集群，读取作业数据，传输作业数据到集群作业数据同步接收模块，提供作业数据完整性校验。

具体的，本系统中的集群作业数据同步接收模块100主要由：作业元数据查询子模块110，作业元数据预处理子模块120，作业数据规则处理子模块130，作业数据接收子模块140，作业数据接收监控子模块150，作业数据校验子模块160配合构成。

其中，作业元数据查询子模块110，用于获取集群作业元数据列表信息、作业数据列表信息、作业同步规则元数据列表。这里的作业元数据列表信息包括但不限于作业提交集群信息描述、作业运行队列、作业信息描述、作业资源请求、作业启动目录、作业执行程序、作业提交时间、作业运行时间、作业完成时间、作业运行状态等元数据。这里的作业同步规则元数据包括但不限于集群信息、作业队列、作业类型、作业状态、作业数据名称、作业数据同步顺序等元数据。这里的作业数据包括集群作业在计算过程中，产生的隶属作业元数据的输入和输出文件、链接和文件夹数据。

作为举例，本作业元数据查询子模块110通过构造一个获取集群作业元数据的定时查询器线程，实现每隔一个时间周期，通过RPC或Rest方式远程调用一次集群作业数据同步管理模块200,经过登录集群作业实时数据同步管理模块200的身份验证，获取该身份关联的全部集群作业元数据和作业同步规则的元数据的列表信息。

作业元数据预处理子模块120，用于提供解析和转换作业元数据查询子模块110所获取到的作业元数据列表，完成集群、作业数据、作业规则等元数据相互关联的数据结构。

作为举例，本作业元数据预处理子模块120可解析和转换集群作业元数据和同步规则的元数据的列表信息，生成集群、作业数据、作业规则等元数据关联的JSON或XML格式的数据结构，并为每一个集群初始化作业元数据同步队列。

作业数据规则处理子模块130，根据作业元数据查询子模块110和作业元数据预处理子模块120生成的关联数据结构列表中读取集群信息、作业队列、作业类型、作业状态等规则元数据匹配作业元数据，采用字符正则表进行匹配和过滤作业元数据，使过滤后的元数据插入作业元数据同步队列。

本作业数据规则处理子模块130，根据作业元数据查询子模块110和作业元数据预处理子模块120生成的关联数据结构列表中读取作业数据名称、作业数据同步顺序规则，对作业数据接收子模块140中获取的作业数据列表进行数据名称规则匹配，过滤出符合规则的作业数据列表插入对应作业所在集群的同步队列中，根据作业同步顺序规则对作业所在集群的同步队列进行全局优先级排序，完成作业数据的同步顺序排序。

本作业数据规则处理子模块130处理两种类型：

a)从所述集群作业元数据关联结构数据中提取集群信息,根据作业数据规则中的集群信息、作业队列、作业类型、作业状态等规则元数据进行匹配和过滤作业元数据，插入该集群的作业元数据同步队列。

b)从作业数据接收子模块120中获取集群作业数据列表，根据作业数据名称规则元数据进行匹配和过滤作业数据名称，插入作业数据同步队列；最后根据作业同步规则元数据定义的排序规则分别对两种类型进行优先级排序。

本作业数据接收子模块140，通过连接集群作业数据同步管理模块200，从作业元数据同步队列中读取作业元数据的集群信息，通过集群作业数据同步管理模块的集群适配器子模块260使用集群账号和连接协议连接目标集群，然后获取作业数据列表，通过作业数据规则处理子模块130获取作业数据同步队列，通过集群作业数据同步管理模块的集群数据传输适配器模块从作业数据同步队列中依次增量、压缩地接收作业数据字节流。

作为举例，本作业数据接收子模块140首先，从经过本作业数据规则处理子模块130处理后的作业元数据同步队列中依次读取作业所属集群的元数据，其次，连接集群作业实时数据同步管理模块200，经过集群作业实时数据同步管理模块200的身份验证，从而获取本作业所属的目标集群连接账号，通过集群适配器子模块260，使用集群连接账号和集群连接协议如FTP、SFTP、FTPS建立与作业所属集群的连接会话，然后，使用该作业所属的连接会话远程调用一次集群作业实时数据同步管理模块200，获取集群作业数据列表，根据作业元数据查询子模块110和作业元数据预处理子模块120生成的关联数据结构列表中读取作业数据属性列表、作业数据同步顺序规则，使用作业数据名称元数据规则，采用字符串正则表达式匹配和过滤作业数据列表，将作业数据列表中匹配的作业数据名称插入作业数据同步队列并进行作业数据同步顺序的排序。

具体实现时，本方案通过构造一个作业数据同步互斥临界区170。该作业数据同步互斥临界区170的作用是作业数据接收子模块140通过建立作业数据同名互斥数据集合和执行同步操作，确保接收作业数据的多线程在同一时刻不会接收同一集群内归属不同作业的相同名称的作业数据，包括但不限于文件、文件夹和链接。

这里进入本作业数据同步互斥临界区170的规则为：

a)检查待接收的作业数据是否在数据接收端上已存在相同的作业数据名称、最后修改时间、文件大小，当数据接收端不存在相同的作业数据，则进入本作业数据同步互斥临界区170；

b)检查本互斥临界区中是否存在相同名称的作业数据，如果不存在，则进入本作业数据同步互斥临界区170。当本作业数据全部接收校验完毕并保存于数据接收端磁盘上或接收任务线程结束后，从本作业数据同步互斥临界区释放当前作业数据名称。

如此，当一个作业数据名称进入作业数据同步互斥临界区170后，其他相同的作业数据名称无法进入该作业数据同步互斥临界区170后则自动跳过，通过该作业数据接收子模块140，使用该作业所属集群的连接会话，依次增量地接收该作业数据发送子模块240传输的数据字节流。

作业数据接收监控子模块150，用于监控正在接收的数据状态。

作为举例，本作业数据接收监控子模块通过预先定义一个容忍时间，定期检查作业数据接收子模块140中正在接收的作业数据是否有数据大小更新，如果数据大小无更新并超过容忍时间段，则终止当前数据接收任务线程，并从本作业数据同步互斥临界区中释放当前作业数据名称。

作业数据校验子模块160，用于提供对作业数据接收子模块140的作业同步后的数据进行完整性校验。

作为举例，本作业数据校验子模块160针对作业目录的每一个数据接收完成后，分别进行本地作业数据校验和调用远程集群作业数据校验接口，比较本地作业数据和集群作业数据的修改时间、数据大小、数据完整性哈希码，当本作业所有数据校验一致，则标记作业数据同步完成。

本系统中的集群作业数据同步管理模块200包含如下子模块为：

作业身份认证子模块210，作业元数据管理子模块220，作业同步规则管理子模块230，作业数据发送子模块240，作业数据校验管理子模块250，集群适配器子模块260。

其中，作业身份认证子模块210，用于提供管理多集群的数据账号，提供集群作业数据同步接收模块独立的身份账号，作为群作业数据同步接收模块访问集群作业数据同步管理模块的唯一身份标识，并把此身份与多集群原始身份进行映射关联。

作为举例，本系统中，作业身份认证子模块210可对访问的集群作业数据同步接收模块进行身份认证，获取此身份关联的集群账号。

作业元数据管理子模块220，用于提供作业元数据信息，包括作业所在集群信息描述、作业运行队列、作业信息描述、作业资源请求、作业启动目录、执行程序、作业运行时间、作业运行状态、作业运行集群账号、作业同步规则定义等。

本作业元数据管理子模块220可为集群作业数据同步接收模块100提供统一规范的作业元数据列表，列表中的每一项含有集群信息描述、作业运行队列、作业信息描述、作业资源请求、作业启动目录、执行程序、作业运行时间、作业运行状态、作业同步规则等。

作为举例，在集群作业数据同步接收模块100连接集群作业数据同步管理模块200，经过集群作业实时数据同步管理模块200的身份验证后，本作业元数据管理子模块220可获取与此身份关联的所有集群的连接账号和连接协议，然后调用集群适配器字模块260登录集群后，可获取提供统一规范的作业元数据列表，列表中的每一项含有集群信息描述、作业运行队列、作业信息、作业资源请求、作业启动目录、执行程序名称、作业运行时间、作业运行状态、作业同步规则。

集群适配器子模块260，用于提供获取多集群作业元数据的统一接口及获取具体集群的作业元数据为作业运行队列、作业信息描述、作业资源请求、作业启动目录、执行程序、作业运行时间、作业运行状态。

具体的，本集群适配器子模块260在实现时，构造形成集群作业适配器模块和集群数据传输适配器模块。

这里的集群作业适配器模块在适配器中包装特定类型集群的作业命令接口，调用该接口获取当前集群作业实时状态元数据，包含作业运行队列、作业信息描述、作业资源请求、作业启动目录、执行程序、作业运行时间、作业运行状态、作业运行集群账号。

集群数据传输适配器模块，在适配器中包含特定类型集群数据传输协议，通过该协议增量读取和同步作业数据。

作业同步规则管理子模块230，用于提供管理集群作业数据同步接收模块100的作业同步规则，包括集群信息、作业队列、作业类型、作业状态、数据名称表达式等规则。

构造作业数据同步规则表，包含集群信息、作业队列、作业类型、作业状态、数据名称表达式规则属性。

作为举例，本作业同步规则管理子模块230构造作业数据同步规则表，包含集群信息、作业队列、作业类型、作业状态、数据名称表达式规则属性。

对于该作业数据同步规则表的构造方法，包括：

首先根据集群信息规则匹配作业元数据中的集群元数据；

其次根据作业队列规则匹配作业元数据中的队列元数据；

再根据作业状态规则匹配作业元数据中的作业状态元数据；

然后再根据数据名称表达式规则匹配作业数据名称；

最后增加一个作业类型规则匹配作业元数据中的作业类型元数据。

作业数据发送子模块240，用于向管理集群作业数据同步接收模块100发送作业数据，提供实时数据压缩、增量传输。

作为举例，本作业数据发送子模块240在实现时，构造一个发送数据远程调用接口，提供给集群作业数据同步接收模块100进行远程调用。这里的调用过程如下：

首先使用作业身份认证子模块210验证集群作业数据同步接收模块100的身份；其次获取与其身份关联的集群原始身份；最后使用集群原始身份调用集群适配器子模块260构建的集群数据传输适配器模块，使用集群账号根据集群数据传输协议如FTP、SFTP、FTPS完成与集群数据传输通道建立，向集群作业。

作业数据校验管理子模块250，用于提供发送作业数据的完整性校验。

作为举例，本作业数据校验管理子模块250在实现时，构造一个作业数据校验远程调用接口，提供作业数据名称、数据大小、修改时间及完整性校验结果。

参见图3，其所示为本申请提供的基于集群作业的自动化实时数据同步系统的一种应用示例。

由图可知，相对于图1所示现有方案所存在的问题，基于本实例方案构成的基于集群作业的自动化实时数据同步系统，在应用时，可在提供数据的服务端上增设本系统中的实时数据同步管理模块200，同时在接收数据的客户端上增设本系统中的实时数据同步接收模块100。由此，运行在服务端的实时数据同步管理模块200根据集群作业元数据规则、作业数据同步规则，依序匹配和过滤同步作业目录下的作业数据，高优先级作业、低优先级作业，排除作业临时数据和非作业目录下数据。

在此基础上，参见图1和图4，现有用于集群作业数据的数据同步系统在进行数据同步作业时，其首先，在服务端增挂载集群文件系统为同步数据目录，数据接收模块中预先配置数据同步目录。

其次，启动数据同步进程，调用服务端数据管理模块获取文件系统同步数据目录下的数据列表，监控数据同步目录内的数据列表变化。

然后，读取文件系统下的变化数据，调用服务端数据发送管理模块，客户端接收字节数据。

其次，数据校验管理模块对传输的数据进行完整性校验，生成数据哈希码，比较发送的数据哈希码与接收的数据哈希码。

最后，结束本轮数据同步，启动下一轮数据同步。

可见，现有用于集群作业数据的数据同步系统在进行作业数据同步过程中缺少集群、作业、作业同步规则的处理，不支持多集群数据同步的适配，在集群作业计算状态和数据同步规则动态变化的场景中，无法适应多集群动态作业数据的精确、高效同步。

不同于上述现有方案，参见图2、3以及图5，本申请提供的基于集群作业的自动化实时数据同步系统应用后，进行集群作业环境下的实时数据同步作业流程如下：

首先在服务端上运行集群作业数据同步接收模块的身份认证，将其身份与集群账号关联。

然后，启动集群作业数据同步接收模块开始本轮作业数据同步线程，远程调用集群作业数据同步管理模块的集群作业元数据管理子模块，读取配置作业数据接收模块的作业同步规则元数据，同时，作业元数据管理子模块调用与集群作业数据接收子模块身份关联的集群作业适配器获取集群作业调度系统的作业元数据列表。

接着，集群作业数据同步接收模块对集群作业元数据进行预处理，生成集群、作业、作业同步规则等元数据相互关联的数据结构列表，为此数据结构列表中的每一个集群初始化作业元数据同步队列，作业元数据规则处理子模块再进一步对预处理后的数据进行匹配、过滤和生成作业元数据同步队列。

其次，依次从作业元数据同步队列读取作业元数据队列的集群信息，集群作业数据同步接收模块启动获取集群作业数据列表的线程，建立与集群作业数据同步管理模块的集群作业数据发送子模块的数据连接会话，集群作业数据发送子模块使用作业关联的集群账号和集群连接协议，调用集群作业适配器模块，根据集群作业数据同步接收模块需要接收的作业元数据信息，从集群中读取作业数据并向所述集群作业数据同步接收模块发送作业数据字节流，提供实时数据字节流的压缩和增量传输。

这里在数据连接会话中的数据处理流程如下：

1)集群作业数据同步接收模块远程调用集群作业数据同步管理模块的集群作业数据发送子模块，使用与作业关联的集群账号和集群连接协议、调用作业所在集群适配器子模块，获取集群作业启动目录下的数据列表；

2)作业数据规则处理子模块对获取到的集群作业启动目录下的数据列表再进一步对作业启动目录下的数据列表进行匹配、过滤和生成集群作业数据同步队列；

3)集群作业数据同步接收模块的作业数据接收子模块从经过作业同步规则管理子模块生成的作业数据同步队列中依次读取作业数据，并从集群作业数据同步管理模块中依次增量和压缩地接收当前作业数据的字节数据。

4)启动作业数据接收监控子模块，监控在一段时间内正在接收的数据大小变化，如果数据无变化则终止当前数据接收并进行下一个作业数据接收。

5)启动数据校验子模块生成接收数据的哈希校验码，远程调用集群作业数据同步管理模块的作业数据校验管理子模块生成集群数据的哈希校验码，比较接收端和发送端的作业数据大小、修改时间、哈希校验码。

6)依次完成作业数据同步列表的数据接收，关闭本轮数据接收连接线程。

最后，间隔一个时间周期，重复上述集群作业数据同步接收模块的数据同步线程方法和流程。

基于上述方案形成的基于集群作业的自动化实时数据同步系统，在具体应用时，可以以相应的软件系统形式来呈现，实现多集群环境下的作业数据动态、精准、实时、自动同步。

具体的，构成相应的软件程序，该软件程序被配置成执行上述作业流程，同时存储于相应的存储介质中，以供处理器调取执行。

作为举例，以下说明一下，构成的基于集群作业的自动化实时数据同步的软件系统进行自动化实时数据同步接收的流程如下(参见图6)：

1)周期性启动实时数据同步管理线程。

2)连接集群作业数据同步管理模块，远程调用和获取集群作业元数据列表、同步规则列表。

3)对作业元数据列表和同步规则列表解析和预处理，生成集群元作业规则列表。

4)根据集群元数据作业规则，匹配和筛选符合做作业类型、作业队列、作业状态规则的作业元数据列表。

5)远程调用作业数据同步管理模块的集群数据传输适配器，创建集群连接会话线程。

6)在集群连接会话中，递归获取作业工作目录下所属作业数据列表。

7)将本次同步数据路径插入作业数据互斥同步集合，允许有且仅有一个相同名称的数据正在被处理。

8)在集群连接会话中，根据数据名称表达式规则，匹配和筛选符合规则的作业数据名称，生成当前需同步的作业数据列表队列，并根据数据排序规则对数据列表排序。

9)在集群连接会话中，从需同步的作业数据列表队列中依次检查集群与本地同步数据的差异。

10)当存在集群与本地同步路径下的同名数据大小、最后修改时间存在差异，则开始接收数据。

11)检查集群与本地同步路径下的同名数据大小、MD5码，如果不相同则删除本次下载数据，否则设置最后修改时间与集群数据相同。

12)将本次同步的数据路径退出作业数据互斥同步集合。

13)需同步的作业数据列表队列全部处理完毕后，释放集群连接会话。

上述本发明的方法，或特定系统单元、或其部份单元，为纯软件架构，可以透过程序代码布设于实体媒体，如硬盘、光盘片、或是任何电子装置(如智能型手机、计算机可读取的储存媒体)，当机器加载程序代码且执行(如智能型手机加载且执行)，机器成为用以实行本发明的装置。上述本发明的方法与装置亦可以程序代码型态透过一些传送媒体，如电缆、光纤、或是任何传输型态进行传送，当程序代码被机器(如智能型手机)接收、加载且执行，机器成为用以实行本发明的装置。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.基于多集群作业的自动化实时数据同步系统，其特征在于，包括集群作业数据同步接收模块和集群作业数据同步管理模块，

所述集群作业数据同步接收模块，用于向数据接收端提供获取作业数据及同步接收与校验数据，定时使用远程调用方式连接集群作业数据同步管理模块，获取集群作业、同步规则、作业数据的元数据列表，通过对元数据的预处理形成待同步的作业数据元数据队列，向集群作业数据同步管理模块请求接收作业元数据的目标集群作业数据，对每一个接收完成的作业数据进行本地和远程的数据完整性校验，完成作业的所有数据同步完成后标记作业同步完成；

所述集群作业数据同步管理模块，用于向数据发送端提供管理作业数据同步请求与管理数据同步，处理集群作业数据同步接收模块的请求，提供集群作业、作业同步规则、作业数据的元数据，使用所述集群作业数据同步接收模块的身份关联的集群账号，使用集群传输协议连接集群，读取作业数据，传输作业数据到集群作业数据同步接收模块，提供作业数据完整性校验。

2.根据权利要求1所述的自动化实时数据同步系统，其特征在于，所述集群作业数据同步接收模块包括：

作业元数据查询子模块，用于从集群作业数据同步管理模块中查询和获取集群元数据列表、作业元数据列表、作业同步规则元数据列表；

作业元数据预处理子模块，用于解析和转换所述作业元数据查询子模块中获取的作业元数据列表，生成集群、作业、作业同步规则等元数据相互关联的数据结构列表，所述数据结构列表中的每一个集群初始化作业元数据同步队列；

作业数据规则处理子模块，用于根据作业元数据查询子模块和作业元数据预处理子模块生成的元数据关联的数据结构列表中读取集群信息、作业队列、作业类型、作业状态等规则属性匹配作业元数据，过滤出符合规则的作业元数据；所述作业数据规则处理子模块还根据作业数据名称、作业数据同步顺序规则，对作业数据接收子模块中获取的作业数据列表进行数据名称规则匹配，过滤出符合规则的作业数据列表插入对应作业所在集群的同步队列中，根据作业同步顺序规则对作业所在集群的同步队列进行全局优先级排序，完成作业数据的同步顺序排序；

作业数据接收子模块，通过连接集群作业数据同步管理模块，从作业所在集群的同步队列中使用作业元数据中的集群信息连接目标集群，通过集群作业数据同步管理模块的集群适配器子模块获取作业数据列表，通过作业数据规则处理子模块获取作业数据同步队列，通过集群作业数据同步管理模块的集群数据传输适配器模块从作业数据同步队列中依次增量、压缩地接收作业数据字节流。

3.根据权利要求2所述的自动化实时数据同步系统，其特征在于，所述集群作业数据同步接收模块中还包括作业数据接收监控子模块，所述作业数据接收监控子模块用于监控作业数据接收子模块正在接收的数据状态。

4.根据权利要求2所述的自动化实时数据同步系统，其特征在于，所述集群作业数据同步接收模块中还包作业数据校验子模块，所述作业数据校验子模块，用于提供对所述作业数据接收子模块的作业同步后的数据进行完整性校验。

5.根据权利要求1所述的自动化实时数据同步系统，其特征在于，所述集群作业数据同步管理模块包括：

作业元数据管理子模块，用于向集群作业数据同步接收模块提供集群作业元数据、作业同步规则元数据、作业数据元数据的信息；

作业同步规则管理子模块，用于提供并管理集群作业数据同步接收模块的作业同步规则元数据；

作业数据发送子模块，根据所述集群作业数据同步接收模块需要接收的作业元数据信息，从集群中读取作业数据并向所述集群作业数据同步接收模块发送作业数据字节流，提供实时数据字节流的压缩和增量传输；

集群适配器子模块，屏蔽不同类型集群获取作业元数据的接口差异，提供获取多集群作业元数据的统一接口及获取具体集群的作业元数据为作业运行队列、作业信息描述、作业资源请求、作业启动目录、执行程序、作业运行时间、作业运行状态。

6.根据权利要求5所述的自动化实时数据同步系统，其特征在于，所述集群作业数据同步管理模块中还包括作业身份认证子模块，所述作业身份认证子模块用于完成集群作业数据同步管理模块与集群作业数据同步接收模块之间的身份认证。

7.根据权利要求5所述的自动化实时数据同步系统，其特征在于，所述集群作业数据同步管理模块中还包括作业数据校验管理子模块，所述作业数据校验管理子模块用于对作业数据发送子模块发送作业数据的完整性校验。

8.基于多集群作业的自动化实时数据同步的实现方法，其特征在于，

首先在服务端上运行集群作业数据同步接收模块的身份认证并将身份与集群账号关联，启动集群作业数据同步接收模块开始本轮作业数据同步线程；

接着，集群作业数据同步接收模块远程调用集群作业数据同步管理模块的集群作业元数据管理模块，读取配置作业数据接收模块的作业同步规则元数据；

接着，集群作业数据同步接收模块对集群作业元数据进行预处理，作业元数据规则处理子模块再进一步对预处理后的数据进行匹配、过滤和生成作业元数据同步队列，依次读取作业元数据队列的集群信息；

接着，远程调用集群作业数据同步管理模块的集群作业数据发送子模块，使用集群账号和集群连接协议，调用作业所在集群数据适配器，获取集群作业启动目录下的数据列表，由作业数据规则处理子模块对作业数据列表进行规则处理，生成集群作业数据同步对列；

接着，集群作业数据接收子模遍历集群作业数据同步队列，连接集群作业数据同步管理模块的集群作业数据发送子模块，使用集群账号和集群连接协议；调用作业所在集群数据适配器，依次增量和压缩地接收作业数据的字节数据；

接着，启动数据校验子模块生成接收数据的哈希校验码，远程调用集群作业数据同步管理模块的作业数据校验管理子模块生成集群数据的哈希校验码，比较接收端和发送端的作业数据大小、修改时间、哈希校验码；

最后，依次完成作业数据同步队列中的作业数据接收，关闭本轮数据接收连接线程。

9.根据权利要求8所述的基于多集群作业的自动化实时数据同步的实现方法，其特征在于，作业数据接收子模块通过建立作业数据同名互斥数据集合和执行同步操作，确保接收作业数据的多线程在同一时刻不会接收同一集群内归属不同作业的相同名称的作业数据。

10.存储介质，所述存储介质包括存储的程序，其特征在于，所述程序执行权利要求8或9所述的基于多集群作业的自动化实时数据同步的实现方法。

Images