CN117971985A - 作业文件同步方法以及电子设备 - Google Patents

Abstract

本发明涉及数据同步领域，公开了一种作业文件同步方法以及电子设备，该方法包括：根据远程系统作业列表以及本地作业列表，更新本地作业列表；根据所述本地作业列表对应的各本地作业文件列表以及所述远程系统作业列表对应的各远程文件列表，更新本地作业文件列表；根据预设作业同步时机、所述本地作业列表以及所述本地作业文件列表，构建待同步文件列表；针对所述待同步文件列表中的每个待同步文件进行文件更新，并在对所述待同步文件更新的过程中，更新所述待同步文件列表中所述待同步文件的文件同步信息。通过本发明的技术方案，提高了作业和作业文件自动化同步效果、有效性和持久性。

Description

作业文件同步方法以及电子设备

技术领域

本发明涉及数据同步领域，尤其涉及一种作业文件同步方法以及电子设备。

背景技术

随着超级计算技术的发展，大部分超级计算机使用Slurm（Simple Linux Utilityfor Resource Management，可用于大型计算节点集群的高度可伸缩和容错的集群管理器和作业调度系统）。通常情况下，用户使用Slurm系统，必须通过vpn（Virtual PrivateNetwork，虚拟专用网络）远程登录，并通过shell（壳）方式使用。某些作业对应的结果，即产生的作业文件较大，用户将这些文件下载到本地端需要花费大量时间和精力。

有鉴于此，特提出本发明。

发明内容

为了解决上述技术问题，本发明提供了一种作业文件同步方法以及电子设备，实现自动化且持续同步远程端和本地端的作业和作业文件，并对同步信息进行监控，提高作业和作业文件同步的持久性。

本发明实施例提供了一种作业文件同步方法，应用与本地端，该方法包括：

根据远程系统作业列表以及本地作业列表，更新本地作业列表；

根据所述本地作业列表对应的各本地作业文件列表以及所述远程系统作业列表对应的各远程文件列表，更新本地作业文件列表；

根据预设作业同步时机、所述本地作业列表以及所述本地作业文件列表，构建待同步文件列表；

针对所述待同步文件列表中的每个待同步文件进行文件更新，并在对所述待同步文件更新的过程中，更新所述待同步文件列表中所述待同步文件的文件同步信息。

本发明实施例提供了一种电子设备，所述电子设备包括：

处理器和存储器；

所述处理器通过调用所述存储器存储的程序或指令，用于执行任一实施例所述的作业文件同步方法的步骤。

本发明实施例具有以下技术效果：

通过根据远程系统作业列表以及本地作业列表，更新本地作业列表，进而，根据本地作业列表对应的各本地作业文件列表以及远程系统作业列表对应的各远程文件列表，更新本地作业文件列表，以进行初步的作业和作业文件同步，进一步的，根据预设作业同步时机、本地作业列表以及本地作业文件列表，构建待同步文件列表，针对待同步文件列表中的每个待同步文件进行文件更新，并在对待同步文件更新的过程中，更新待同步文件列表中待同步文件的文件同步信息，实现了自动化且持续同步远程端和本地端的作业和作业文件，并对同步信息进行监控，提高作业和作业文件同步的持久性的效果。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种作业文件同步方法的流程图；

图2是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行清楚、完整的描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。

实施例一：

本发明实施例提供的作业文件同步方法，主要适用于在本地端根据远程端存储的作业和作业文件进行同步处理和实时监控的情况。本发明实施例提供的作业文件同步方法可以由电子设备执行。

图1是本发明实施例提供的一种作业文件同步方法的流程图。参见图1，该作业文件同步方法具体包括：

S110、根据远程系统作业列表以及本地作业列表，更新本地作业列表。

其中，远程系统作业列表是远程端所有作业所构成的列表，其中远程端可以是Slurm系统。本地作业列表是本地端所有作业所构成的列表。

具体的，从远程系统作业列表中确定出正在运行的远程作业，将确定出的正在运行的远程作业和本地作业列表进行比较，可以确定本地作业列表中正在运行的部分作业。通过远程系统作业列表和本地作业列表，可以在本地作业列表中补充存在于远程端而未存在于本地端的各作业。

在上述示例的基础上，可以通过下述方式来根据远程系统作业列表以及本地作业列表，更新本地作业列表：

获取远程系统作业列表以及本地作业列表，并根据远程系统作业列表，确定远程正在运行作业列表；

将远程正在运行作业列表中的远程作业与本地作业列表中的本地作业进行匹配，根据匹配结果对各本地作业对应的运行状态进行更新；

针对远程系统作业列表中的每个远程作业，判断远程作业是否存在于本地作业列表中，若不存在，则将远程作业作为本地作业添加至本地作业列表中。

其中，远程正在运行作业列表是远程系统作业列表中运行状态为正在运行的作业所构成的列表。运行状态用于描述远程端作业的运行情况，运行状态可以包括正在运行（running）、运行完成（finished）等。远程作业是存储在远程端的作业。本地作业是存储在本地端的作业。

具体的，获取远程系统作业列表，将远程系统作业列表中作业的运行状态为正在运行的各远程作业，构建成远程正在运行作业列表，获取本地作业列表。将远程正在运行作业列表中的远程作业与本地作业列表中的本地作业进行匹配，若匹配成功，则说明该作业在远程端和本地端均存在，且正在运行，因此将该本地作业的运行状态更新为正在运行，否则保持运行状态不变。针对远程系统作业列表中的每个远程作业，依次判断远程作业是否存在于本地作业列表中，若不存在，则说明远程作业是新增的，还未在本地端建立对应的本地作业，因此，将远程作业作为本地作业添加至本地作业列表中，以对本地作业列表中的本地作业进行添加；若存在，则说明远程端的远程作业已存储在本地端，即存在与远程作业对应的本地作业，无需进行添加处理。

示例性的，针对本地作业列表中的作业更新流程：取出远程端全部作业的运行状态为running的作业：远程正在运行作业列表，调用统一资源接口获取本地端全部作业：本地作业列表。循环判断远程正在运行作业列表的作业与本地作业列表的作业id是否一致：如果作业id一致，则将本地作业列表中该作业id对应的运行状态设置为正在运行，否则，保持运行状态为运行完成。针对本地作业列表中的作业添加流程：取出远程端全部作业：远程系统作业列表，调用统一资源接口获取本地端全部作业：本地作业列表。循环判断远程系统作业列表的作业id在本地作业列表是否存在：如果不存在，则将该作业数据添加至本地作业列表中。上述操作主要通过调度资源，进行作业和作业文件的持久更新。

S120、根据本地作业列表对应的各本地作业文件列表以及远程系统作业列表对应的各远程文件列表，更新本地作业文件列表。

其中，远程文件列表是远程系统作业列表中每个远程作业对应存储的远程作业文件所构成的列表。本地作业文件列表是每个本地作业对应的各本地作业文件所构成的列表。

具体的，根据本地作业列表，可以获取本地作业列表中每个本地作业对应的本地作业文件列表。根据远程系统作业列表，可以获取远程系统作业列表中每个远程作业对应的远程文件列表。将远程文件列表与各本地作业文件列表进行比较，需要将远程作业文件作为本地作业文件更新至对应的本地作业文件列表中，即在对应的本地作业文件列表中增加项，还需要将已改变的本地作业文件按照对应的远程作业文件进行更新，并同步对应的更新本地作业文件列表中对应的项，从而，得到新的本地作业文件列表。

在上述示例的基础上，可以通过下述方式来根据本地作业列表对应的各本地作业文件列表以及远程系统作业列表对应的各远程文件列表，更新本地作业文件列表：

获取本地作业列表对应的各本地作业文件列表以及远程系统作业列表中各远程文件列表；

针对每个远程文件列表中的每个远程作业文件，判断各本地作业文件列表中是否包括与远程作业文件对应的目标本地作业文件；

若包括，则在远程作业文件的校验码与目标本地作业文件的校验码不一致的情况下，将目标本地作业文件删除，并更新目标本地作业文件对应的本地作业文件列表中目标本地作业文件的同步状态；

若不包括，则根据远程作业文件，更新本地作业文件列表。

其中，目标本地作业文件是各本地作业文件列表的本地作业文件中与远程作业文件对应的一个。校验码可以是md5码等。同步状态是用于描述作业或作业文件同步情况的信息。

具体的，获取本地作业列表对应的各本地作业文件列表以及远程系统作业列表中各远程文件列表。针对每个远程文件列表中的每个远程作业文件，判断各本地作业文件列表对应的各本地作业文件中是否包括与远程作业文件对应的目标本地作业文件，若包括，则说明本地作业文件列表中已存在该远程作业文件，需要进一步判断作业文件是否有变化，因此，比较远程作业文件的校验码与目标本地作业文件的校验码，在远程作业文件的校验码与目标本地作业文件的校验码不一致的情况下，说明作业文件发生变化，因此，将目标本地作业文件删除，并将目标本地作业文件所属的本地作业文件列表中目标本地作业文件的同步状态更新为未结束（同步中）；若不包括，则确定远程作业文件所属的远程作业，确定与远程作业对应的本地作业，进而确定与该本地作业对应的本地文件列表，将该远程作业文件添加至该本地作业文件列表中，并标明同步状态为未结束。针对每一个本地作业文件列表，若存在至少一个同步状态为未结束的本地作业文件，则确定该本地作业文件列表对应的作业未结束，将本地作业列表中该作业对应的同步状态确定为未结束。

示例性的，针对本地作业文件更新流程：取出远程端全部作业：远程系统作业列表，循环调用统一资源接口获取远程系统作业列表中各远程作业对应远程文件列表，循环判断接口返回的各远程文件列表中的远程作业文件在各本地作业文件列表是否存在：如果在各本地作业文件列表不存在，则对远程作业文件进行同步，并更新本地作业文件列表以及本地作业文件列表（同步状态更新为同步中，同步信息也可更新，通过后续示例确定）；如果在各本地作业文件列表存在，则判断远程作业文件和目标本地作业文件的md5是否有区别，如果有区别则删除对应的目标本地作业文件（作业文件已发生变化，无法按分块办法继续传输，需要删除该作业文件并重新下载，因此需要将本地作业文件列表的数据进行更新），并更新本地作业文件列表（其中对文件大小、已同步大小、已同步比例、同步状态、同步完成时间、更新时间、分块个数、已同步块个数、校验码等的更新可以在下载文件过程中进行），还更新本地作业文件列表（同步状态更新为同步中，同步信息也可更新，通过后续示例确定）。

S130、根据预设作业同步时机、本地作业列表以及本地作业文件列表，构建待同步文件列表。

其中，预设作业同步时机是预先设定的作业同步触发的时机，可以包括作业结束后同步，作业运行时即同步等。待同步文件列表是需要从远程端下载以进行同步的作业文件所构成的列表。

具体的，根据预设作业同步时机对本地作业列表进行筛选，确定出需要进行同步的各本地作业，进而，根据这些确定出的本地作业对应的本地作业文件列表，确定出其中需要进行同步的本地作业文件，根据这些需要进行同步的本地作业文件，可以构建待同步文件列表。

在上述示例的基础上，可以通过下述方式来根据预设作业同步时机、同时同步作业数、本地作业列表以及本地作业文件列表，构建待同步文件列表：

若预设作业同步时机为作业结束后同步，则根据同时同步作业数，从本地作业列表中确定出作业状态为已结束且同步状态为未结束的待同步本地作业；

若预设作业同步时机为作业运行时同步，则根据同时同步作业数，从本地作业列表中确定出同步状态为未结束的待同步本地作业；

针对每个待同步本地作业，从各本地作业文件列表中确定与待同步本地作业对应的目标作业文件列表，确定目标作业文件列表中同步状态为未结束的各待同步文件；

根据各待同步文件，构建待同步文件列表。

其中，同时同步作业数为预先设置的同时进行更新的作业文件数量，最大数值根据系统承载能力确定。待同步本地作业是需要进行同步的本地作业，待同步本地作业是本地作业列表中作业状态为已结束且同步状态为未结束的部分本地作业。目标作业文件列表是与待同步本地作业对应的本地作业文件列表。待同步文件是需要进行下载和同步的作业文件，待同步文件是目标作业文件列表中同步状态为未结束的本地作业文件。待同步文件列表是各待同步文件构成的列表。

具体的，若预设作业同步时机为作业结束后同步，则从本地作业列表中依次按照同时同步作业数确定出作业状态为已结束且同步状态为未结束的待同步本地作业，即每次确定出同时同步作业数的待同步本地作业，直至本地作业列表中不存在作业状态为已结束且同步状态为未结束的本地作业。若预设作业同步时机为作业运行时同步，则从本地作业列表中依次按照同时同步作业数确定出同步状态为未结束的待同步本地作业，即每次确定出同时同步作业数的待同步本地作业，直至本地作业列表中不存在同步状态为未结束的本地作业。针对每个待同步本地作业，将各本地作业文件列表中，与待同步本地作业对应的本地作业文件列表作为目标作业文件列表，进而，确定目标作业文件列表中同步状态为未结束的各本地作业文件为待同步文件，基于各待同步文件构建待同步文件列表。

示例性的，可以首先检测自动同步设置（自动或手动）。如果未设置为自动，则持续检测是否更改为自动。如果设置为自动，则获取同时同步作业数n，并检测预设作业同步时机（作业结束后同步或作业运行时即同步）。如果预设作业同步时机为作业结束后同步：从本地端（具体可以是本地作业列表）过滤出作业状态为已结束且同步状态为未结束，同步设置（预先标注的是否进行同步）为正常或最优的本地作业，进而，可以按同步设置最优和正常排序，获取前同时同步作业数个作业，即待同步本地作业。如果预设作业同步时机为作业运行时即同步：从本地端过滤出全部同步状态为未结束，同步设置为正常或最优的作业，进而，可以按同步设置最优和正常排序，获取前同时同步作业数个作业，即待同步本地作业。根据待同步本地作业，可以确定对应的目标作业文件列表，进而，可以确定出其中同步状态为未结束的部分为待同步文件。可选的，可以获取各待同步文件的后缀类型，并结合预设的同步文件后缀，对待同步文件进行筛选，得到具有同步文件后缀的待同步文件。按照同时同步作业数循环获取同时同步作业数个作业，直至确定完成。将过滤出的作业工作路径（各目标作业文件列表）下、文件后缀符合预设的同步文件后缀的、同步状态为未结束的待同步文件，加入待同步文件列表（待同步文件列表仲可以包括文件id，文件块大小，当前同步块数等）。后续可以根据待同步文件列表通过多线程并行调度同步执行（参数为获取的待同步文件列表）。

S140、针对待同步文件列表中的每个待同步文件进行文件更新，并在对待同步文件更新的过程中，更新待同步文件列表中待同步文件的文件同步信息。

其中，文件同步信息是对待同步文件更新过程中产生的信息。

具体的，对待同步文件列表中的每个待同步文件进行文件的下载和更新。在对待同步文件更新的过程中，按照文件下载和更新的情况，更新待同步文件列表中待同步文件的文件同步信息。并且，可以将这些文件同步信息更新至待同步文件所属的本地作业文件列表中。

在上述示例的基础上，可以通过下述方式来针对待同步文件列表中的每个待同步文件进行文件更新：

针对待同步文件列表中的每个待同步文件，确定与待同步文件对应的已同步文件；

判断已同步文件的大小与待同步文件的大小之间的大小关系；

若已同步文件的大小小于待同步文件的大小，则根据预设块大小、已同步文件的大小以及待同步文件的大小，确定请求块大小；

根据请求块大小以及已同步文件的大小，确定同步起始位置和同步结束位置；

根据同步起始位置和同步结束位置，更新已同步文件以及已同步文件的大小，返回执行判断已同步文件的大小与待同步文件的大小之间的大小关系的操作，直至已同步文件的大小等于待同步文件的大小。

其中，已同步文件是待同步文件中分块传输存储时已经完成的部分文件。预设块大小是预先设定的对待同步文件每次分块传输存储时的块大小。请求块大小是实际对待同步文件每次分块传输存储时的块大小，请求块大小小于或等于预设块大小。同步起始位置是对待同步文件进行分块传输存储时标记的块起始位置，同步结束位置是对待同步文件进行分块传输存储时标记的块结束位置，同步起始位置和同步结束位置之间的部分待同步文件就是当前分块传输存储的部分文件。

具体的，针对待同步文件列表中的每个待同步文件，确定本地存储空间中与待同步文件对应的部分，即为已同步文件。判断已同步文件的大小与待同步文件的大小之间的大小关系。若已同步文件的大小小于待同步文件的大小，则说明还未分块传输存储完成，因此，需要继续进行块请求、传输和存储，若待同步文件的大小与已同步文件的大小的差值小于预设块大小，则将该差值的大小作为请求块大小，否则，将预设块大小作为请求块大小。将已同步文件的大小作为同步起始位置，将请求块大小与已同步文件的大小的和值作为同步结束位置。按照同步起始位置和同步结束位置，对待同步文件进行分块下载，以更新已同步文件，并更新已同步文件的大小，即在原有的已同步文件的大小的基础上增加请求块大小，进而，返回执行判断已同步文件的大小与待同步文件的大小之间的大小关系的操作，直至已同步文件的大小等于待同步文件的大小。

在上述示例的基础上，可以通过下述方式来更新待同步文件列表中待同步文件的文件同步信息：

根据预设块大小以及已同步文件的大小，确定目标文件同步信息中的当前同步块数；

根据当前时刻以及各请求块的同步结束时间，确定目标请求块，根据目标请求块对应的同步起始时间、同步结束时间以及目标请求块的大小，确定目标文件同步信息中的文件同步速度；

根据已同步文件的大小以及待同步文件的大小，确定目标文件同步信息中的文件同步进度；

若文件同步进度达到满进度，则将待同步文件列表中与待同步文件对应的同步状态更新为已结束，根据已同步文件，确定目标文件同步信息中的校验码以及文件同步完成时间。

其中，目标文件同步信息为待同步文件列表中与待同步文件对应的文件同步信息。当前同步块数是在文件同步过程中分块下载存储时，当前已请求的块数。同步结束时间是请求块下载存储完成的时间。目标请求块是当前时刻之前分块请求下载的请求块中最后一个请求块。同步起始时间是请求块下载存储开始的时间。文件同步速度用于衡量对待同步文件同步的快慢。文件同步进度用于衡量对待同步文件同步的多少。满进度为100%。文件同步完成时间是待同步文件对应的最后一个请求块的同步结束时间，用于表示待同步文件同步结束的时间。

具体的，用已同步文件的大小除以预设块大小的结果向上取整，得到目标文件同步信息中的当前同步块数。将各请求块的同步结束时间中与当前时刻最近的同步结束时间所对应的请求块作为目标请求块。将目标请求块对应的同步结束时间减去同步起始时间，得到同步过程时间，用目标请求块的大小除以同步过程时间，得到目标文件同步信息中的文件同步速度。将已同步文件的大小与待同步文件的大小的商，确定为目标文件同步信息中的文件同步进度。若文件同步进度达到满进度，即达到100%，则说明对待同步文件已更新同步完成，将待同步文件列表中与待同步文件对应的同步状态更新为已结束。对已同步文件进行校验码编码处理，确定目标文件同步信息中的校验码，并将已同步文件中最后一个请求块对应的同步结束时间作为目标文件同步信息中的文件同步完成时间。

示例性的，文件同步速度更新算法：文件同步速度=目标请求块的大小/同步结束时间-同步起始时间。文件同步进度更新算法：文件同步进度=已同步文件的大小/待同步文件的大小×100%。请求块大小计算：获取已同步文件的大小以及预设块大小，判断预设块大小与已同步文件的大小之和是否大于待同步文件的大小，如果大于，则请求块大小=待同步文件的大小-已同步文件的大小，如果不大于，则请求块大小=预设块大小。断点续传文件：从远程端下载请求块，同步起始位置为已同步文件的大小，同步结束位置为已同步文件的大小+请求块大小。将下载的请求块迭代写入本地存储空间，写入起始位置为已同步文件的大小。判断文件下载速度是否设置为最优，如果是最优，相邻请求块的请求迭代之间不设睡眠时间，否则，相邻请求块的请求迭代之间设置时间间隔（如：0.1秒）。更新文件同步信息：①更新当前同步块数：如果当前本地文件大小（已同步文件的大小）<=预设块大小，则当前同步块数=1；如果当前本地文件大小>预设块大小，如果当前本地文件大小%预设块大小!=0（无法整除），则当前同步块数=当前本地文件大小/预设块大小（向下取整数）+1，否则，当前同步块数=当前本地文件大小/预设块大小。②更新当前已同步文件大小=当前本地文件大小。③更新文件同步速度。④更新文件同步进度。⑤如果文件同步进度为100%，则更新待同步文件的同步状态为已同步（已结束），并更新文件同步完成时间，本地文件md5（校验码），否则，更新待同步文件的同步状态为同步中（未结束）。

在上述示例的基础上，还可以对本地作业列表中与各本地作业对应的作业同步信息进行更新，具体可以是：

针对每个本地作业，从各本地作业文件列表中确定与本地作业对应待统计作业文件列表，根据待统计作业文件列表，确定与本地作业对应的待同步信息，并根据待同步信息，更新本地作业列表中与本地作业对应的作业同步信息。

其中，待统计作业文件列表是各本地作业文件列表中与待同步作业同步信息的本地文件对应的一个本地作业文件列表。作业同步信息是对本地作业中各本地作业文件更新过程中产生的信息。

具体的，针对每个本地作业，可以确定与该本地作业对应的待统计作业文件列表。进而，根据待统计作业文件列表中各本地作业文件的同步信息，更新本地作业列表中与该本地作业对应的作业同步信息。

在上述示例的基础上，可以通过下述方式来根据待统计作业文件列表，确定与本地作业对应的待同步信息：

根据待统计作业文件列表中的各文件同步信息中的文件同步速度，确定待同步信息中的作业同步速度；

根据待统计作业文件列表中的各文件同步信息中的文件同步进度以及作业文件大小，确定待同步信息中的作业同步进度；

若作业同步进度达到满进度，则根据待统计作业文件列表中的各文件同步信息中的文件同步完成时间，确定待同步信息中的作业同步完成时间，并确定待同步信息中的同步状态更新为已结束。

其中，作业同步速度是本地作业的同步快慢，是本地作业对应的各本地作业文件的文件同步速度之和。作业同步进度是本地作业的同步多少。作业同步完成时间是本地作业同步结束的时间，也可以理解为本地作业对应的各本地作业文件均同步完成的时间。待同步信息是本地作业文件中的同步信息，用于更新本地作业列表中与本地作业对应的作业同步信息。

具体的，针对每个本地作业对应的待统计作业文件列表，将待统计作业文件列表中的各文件同步信息中的文件同步速度之和，作为待同步信息中的作业同步速度。根据待统计作业文件列表中的各文件同步信息中的文件同步进度乘以对应的作业文件大小并求和，得到该本地作业中已下载的文件大小，将已下载的文件大小除以该本地作业对应的各本地作业文件大小之和，得到待同步信息中的作业同步进度。若作业同步进度达到满进度，则说明该本地作业已同步完成，因此，将待统计文件列表中的各文件同步信息中的文件同步完成时间的最后一个，作为待同步信息中的作业同步完成时间，并确定同步状态为已结束。

示例性的，作业同步速度更新算法：作业同步速度=作业文件同步速度相加。计算作业同步进度=当前本地作业文件大小加和（本地作业对应的各已同步文件的大小）/作业文件大小加和（本地作业对应的各作业文件大小之和）×100%。针对每个本地作业；循环获取各本地作业对应各本地作业文件，统计各本地作业文件的文件同步速度，统计各本地作业文件的已同步文件大小，统计各本地作业文件的作业文件大小。更新本地作业列表：更新作业同步速度，更新作业同步进度。如果作业同步进度为100%，则更新本地作业的同步状态为已同步（已结束），并更新作业同步完成时间。

通过S120-S140，可以读取同步策略，各作业及作业的数据，并根据同步策略进行待同步作业和待同步本地作业文件的过滤，以进行作业同步调度。并且，执行实际的作业同步操作，通过文件分块传输策略实现作业同步，每次调度可实现多个作业文件同步的并行调度，每次调度每个作业文件同步一个请求块，同时可实现断点续传操作。通过读取同步策略、作业及作业文件数据，实现了作业同步信息的更新，包括作业同步进度，作业同步速度等。

在上述示例的基础上，为了避免远程端存储数据过多，还可以通过设置预设时间，来控制远程端文件的生存时间，具体可以通过下述方式实现：

从各本地作业文件列表中确定出同步状态为已结束且同步状态为未结束且删除状态为未删除的待删除作业文件；

针对每个待删除作业文件，根据当前时刻以及待删除作业文件的文件同步完成时间，确定文件保存时间；

在保存时间大于预设时间的情况下，根据待删除作业文件，生成文件删除请求，并将文件删除请求发送至远程端，以在远程端根据文件删除请求删除待删除作业文件对应的远程删除作业文件，并反馈文件删除完成信息至本地端；

在接收到远程端发送的文件删除完成信息的情况下，将待删除作业文件的删除状态更新为已删除，并确定待删除作业文件的删除时间；

针对本地作业列表中的每个本地作业，若本地作业对应的各本地作业文件的删除状态均为已删除，则确定本地作业的删除状态为已删除，并根据各本地作业文件的删除时间，确定本地作业文件的删除时间。

其中，待删除作业文件是本地存储空间中已经同步结束的作业文件。文件保存时间是待删除作业文件已经完整存储在本地存储空间中的持续时间。预设时间是预设的用于触发远程端对应文件删除的时间。文件删除请求是请求在远程端删除与保存时间达到预设时间的待删除作业文件的请求。文件删除完成信息是远程端执行完文件删除请求的反馈信息。远程删除作业文件是远程端存储的与文件删除请求对应的远程作业文件。待删除作业文件的删除状态是表明在远程端是否删除对应的远程删除作业文件的状态。待删除作业文件的删除时间是远程端完全删除对应的远程删除作业文件的时间。本地作业的删除状态是表明在远程端是否已删除该本地作业对应的各远程作业文件的状态。本地作业文件的删除时间是在远程端已删除该本地作业对应的各远程作业文件时，最后一个远程作业文件的删除时间。

具体的，从各本地作业文件列表中确定出同步状态为已结束且同步状态为未结束且删除状态为未删除的本地作业文件，作为待删除作业文件。针对每个待删除作业文件，将待删除作业文件的文件同步完成时间减去当前时刻，得到该待删除作业文件的文件保存时间。在保存时间大于预设时间的情况下，表明该待删除作业文件已经完整同步下载，可以指示远程端删除对应文件，因此，根据待删除作业文件，生成文件删除请求，并将文件删除请求发送至远程端。在远程端接收到文件删除请求时，删除待删除作业文件对应的远程删除作业文件，并反馈文件删除完成信息至本地端。在接收到远程端发送的文件删除完成信息的情况下，确定在远程端已完成删除操作，因此，将待删除作业文件的删除状态更新为已删除，并确定待删除作业文件的删除时间。针对本地作业列表中的每个本地作业，若本地作业对应的各本地作业文件的删除状态均为已删除，则说明本地作业对应的各远程作业文件已在远程端全部删除，因此，确定本地作业的删除状态为已删除，并根据将本地作业文件的删除时间中的最后一个，确定为本地作业文件的删除时间。

示例性的，可以首先检测同步后自动删除设置（自动或手动）。如果为手动，则持续检测自动删除设置是否更改为自动。如果为自动，则同步状态为已结束且同步状态为未结束且删除状态为未删除的本地作业文件，作为待删除作业文件。获取各待删除作业文件同步完成后的文件保存时间：轮询检测各待删除作业文件的文件同步完成时间与当前时刻的时间差，作为文件保存时间。如果文件保存时间大于预设时间，则将该待删除作业文件加入待删除文件列表。后续可以根据待删除文件列表通过多线程并行调度执行删除操作（参数为待删除文件列表）。执行删除操作后，更新文件数据库：统计本地作业列表中的每个本地作业对应的未删除文件个数，统计本地作业列表中的每个本地作业对应的最后删除时间，更新各本地作业的删除状态以及删除时间。判断本地作业删除进度：如果全部文件已删除：本地作业对应的各本地作业文件全部已删除，则更新该本地作业的删除时间（该本地作业对应的各本地作业文件中的最后一个删除时间）。通过上述操作，读取同步策略、作业及作业文件数据，调度后处理执行守护进程，后处理执行守护进程主要通过执行后处理指令（文件删除请求），调度资源调度层，实现远程作业文件的及时清理。

需要说明的是，可以持续执行上述各步骤以达到持续同步和监测的效果，例如根据预设周期（如30s），执行上述各步骤。

可选的，还可以具有策略设置和同步状态查看功能，具体可以是接收并显示各策略（例如：同步策略、删除策略、作业同步时机等），并且，可以在同步过程中，显示各本地作业对应的作业同步信息以及各本地作业文件对应的文件同步信息。还可以在删除过程中，显示各本地作业对应的删除时间，各本地作业文件的删除时间。通过上述操作，可以与用户展开交互，实现写入数据和读取数据，进行同步策略设置、同步策略读取、作业和作业文件的同步信息读取等目的。

可选的，还可以具有进程监控功能，主要通过周期性调度上述各步骤，实现持久化运行，并可以将日志输出至指定位置，方便查看执行情况。

上述各操作基于资源调度接口完成，主要实现通过远程方式对远程端的资源调度，实现远程作业查询、远程作业文件查询、作业文件同步、作业文件删除等操作。

通过上述技术方案可实现同步作业数自主控制、作业同步最优化设置、单文件下载进度监控、单文件下载速度监控、作业全部文件下载进度监控、作业全部文件下载速度监控、用户全部文件下载进度监控、用户全部文件下载速度监控、多文件并行同步，并且文件同步支持断点续传，自主控制作业同步状态。上述技术方案还可以持久化运行，保证同步策略的实时执行，保证数据实时性，由于只与远程端交互数据，具有同步规则设置速度快，同步设置详细信息和状态信息读取速度快的效果，同步策略设置和同步策略执行能够异步执行，而且可执行复杂同步策略设置。在资源请求时，能够通过加密隧道技术进行本地端与远程端的数据交互，保证数据安全性。为节约用户在远程端的存储资源，提供了自动化清理流程。

本发明具有以下技术效果：通过根据远程系统作业列表以及本地作业列表，更新本地作业列表，进而，根据本地作业列表对应的各本地作业文件列表以及远程系统作业列表对应的各远程文件列表，更新本地作业文件列表，以进行初步的作业和作业文件同步，进一步的，根据预设作业同步时机、本地作业列表以及本地作业文件列表，构建待同步文件列表，针对待同步文件列表中的每个待同步文件进行文件更新，并在对待同步文件更新的过程中，更新待同步文件列表中待同步文件的文件同步信息，实现了自动化且持续同步远程端和本地端的作业和作业文件，并对同步信息进行监控，提高作业和作业文件同步的持久性的效果。

实施例二：

图2是本发明实施例提供的一种电子设备的结构示意图。如图2所示，电子设备200包括一个或多个处理器201和存储器202。

处理器201可以是中央处理单元（CPU）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备200中的其他组件以执行期望的功能。

存储器202可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。非易失性存储器例如可以包括只读存储器（ROM）、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器201可以运行程序指令，以实现上文所说明的本发明任意实施例的作业文件同步方法以及/或者其他期望的功能。在计算机可读存储介质中还可以存储诸如初始外参、阈值等各种内容。

在一个示例中，电子设备200还可以包括：输入装置203和输出装置204，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。该输入装置203可以包括例如键盘、鼠标等等。该输出装置204可以向外部输出各种信息，包括预警提示信息、制动力度等。该输出装置204可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图2中仅示出了该电子设备200中与本发明有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备200还可以包括任何其他适当的组件。

需要说明的是，本发明所用术语仅为了描述特定实施例，而非限制本申请范围。如本发明说明书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。

还需说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”等应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案。

Claims (10)

1.一种作业文件同步方法，其特征在于，应用与本地端，包括：

根据远程系统作业列表以及本地作业列表，更新本地作业列表；

根据所述本地作业列表对应的各本地作业文件列表以及所述远程系统作业列表对应的各远程文件列表，更新本地作业文件列表；

根据预设作业同步时机、所述本地作业列表以及所述本地作业文件列表，构建待同步文件列表；

针对所述待同步文件列表中的每个待同步文件进行文件更新，并在对所述待同步文件更新的过程中，更新所述待同步文件列表中所述待同步文件的文件同步信息。

2.根据权利要求1所述的方法，其特征在于，所述根据远程系统作业列表以及本地作业列表，更新本地作业列表，包括：

获取远程系统作业列表以及本地作业列表，并根据所述远程系统作业列表，确定远程正在运行作业列表；

将所述远程正在运行作业列表中的远程作业与所述本地作业列表中的本地作业进行匹配，根据匹配结果对各本地作业对应的运行状态进行更新；

针对所述远程系统作业列表中的每个远程作业，判断所述远程作业是否存在于所述本地作业列表中，若不存在，则将所述远程作业作为本地作业添加至所述本地作业列表中。

3.根据权利要求1所述的方法，其特征在于，所述根据所述本地作业列表对应的各本地作业文件列表以及所述远程系统作业列表对应的各远程文件列表，更新本地作业文件列表，包括：

获取所述本地作业列表对应的各本地作业文件列表以及所述远程系统作业列表中各远程文件列表；

针对每个远程文件列表中的每个远程作业文件，判断各本地作业文件列表中是否包括与所述远程作业文件对应的目标本地作业文件；

若包括，则在所述远程作业文件的校验码与所述目标本地作业文件的校验码不一致的情况下，将所述目标本地作业文件删除，并更新所述目标本地作业文件对应的本地作业文件列表中所述目标本地作业文件的同步状态；

若不包括，则根据所述远程作业文件，更新所述本地作业文件列表。

4.根据权利要求1所述的方法，其特征在于，所述根据预设作业同步时机、所述本地作业列表以及所述本地作业文件列表，构建待同步文件列表，包括：

若所述预设作业同步时机为作业结束后同步，则根据同时同步作业数，从所述本地作业列表中确定出作业状态为已结束且同步状态为未结束的待同步本地作业；

若所述预设作业同步时机为作业运行时同步，则根据所述同时同步作业数，从所述本地作业列表中确定出同步状态为未结束的待同步本地作业；

针对每个待同步本地作业，从各本地作业文件列表中确定与所述待同步本地作业对应的目标作业文件列表，确定所述目标作业文件列表中同步状态为未结束的各待同步文件；

根据各待同步文件，构建待同步文件列表。

5.根据权利要求1所述的方法，其特征在于，所述针对所述待同步文件列表中的每个待同步文件进行文件更新，包括：

针对所述待同步文件列表中的每个待同步文件，确定与所述待同步文件对应的已同步文件；

判断所述已同步文件的大小与所述待同步文件的大小之间的大小关系；

若所述已同步文件的大小小于所述待同步文件的大小，则根据预设块大小、所述已同步文件的大小以及所述待同步文件的大小，确定请求块大小；

根据所述请求块大小以及所述已同步文件的大小，确定同步起始位置和同步结束位置；

根据所述同步起始位置和所述同步结束位置，更新所述已同步文件以及所述已同步文件的大小，返回执行所述判断所述已同步文件的大小与所述待同步文件的大小之间的大小关系的操作，直至所述已同步文件的大小等于所述待同步文件的大小。

6.根据权利要求5所述的方法，其特征在于，所述更新所述待同步文件列表中所述待同步文件的文件同步信息，包括：

根据所述预设块大小以及所述已同步文件的大小，确定目标文件同步信息中的当前同步块数；

根据当前时刻以及各请求块的同步结束时间，确定目标请求块，根据所述目标请求块对应的同步起始时间、同步结束时间以及所述目标请求块的大小，确定所述目标文件同步信息中的文件同步速度；

根据所述已同步文件的大小以及所述待同步文件的大小，确定所述目标文件同步信息中的文件同步进度；

若所述文件同步进度达到满进度，则将所述待同步文件列表中与所述待同步文件对应的同步状态更新为已结束，根据所述已同步文件，确定所述目标文件同步信息中的校验码以及文件同步完成时间；

其中，所述目标文件同步信息为所述待同步文件列表中与所述待同步文件对应的文件同步信息。

7.根据权利要求1所述的方法，其特征在于，还包括：

针对每个本地作业，从各本地作业文件列表中确定与所述本地作业对应待统计作业文件列表，根据所述待统计作业文件列表，确定与所述本地作业对应的待同步信息，并根据所述待同步信息，更新所述本地作业列表中与所述本地作业对应的作业同步信息。

8.根据权利要求7所述的方法，其特征在于，所述根据所述待统计作业文件列表，确定与所述本地作业对应的待同步信息，包括：

根据所述待统计作业文件列表中的各文件同步信息中的文件同步速度，确定所述待同步信息中的作业同步速度；

根据所述待统计作业文件列表中的各文件同步信息中的文件同步进度以及作业文件大小，确定所述待同步信息中的作业同步进度；

若所述作业同步进度达到满进度，则根据所述待统计作业文件列表中的各文件同步信息中的文件同步完成时间，确定所述待同步信息中的作业同步完成时间，并确定所述待同步信息中的同步状态为已结束。

9.根据权利要求1所述的方法，其特征在于，还包括：

从各所述本地作业文件列表中确定出同步状态为已结束且同步状态为未结束且删除状态为未删除的待删除作业文件；

针对每个待删除作业文件，根据当前时刻以及所述待删除作业文件的文件同步完成时间，确定文件保存时间；

在所述保存时间大于预设时间的情况下，根据所述待删除作业文件，生成文件删除请求，并将所述文件删除请求发送至远程端，以在所述远程端根据所述文件删除请求删除所述待删除作业文件对应的远程删除作业文件，并反馈文件删除完成信息至本地端；

在接收到所述远程端发送的文件删除完成信息的情况下，将所述待删除作业文件的删除状态更新为已删除，并确定所述待删除作业文件的删除时间；

针对所述本地作业列表中的每个本地作业，若所述本地作业对应的各本地作业文件的删除状态均为已删除，则确定所述本地作业的删除状态为已删除，并根据各本地作业文件的删除时间，确定所述本地作业文件的删除时间。

10.一种电子设备，其特征在于，所述电子设备包括：

处理器和存储器；

所述处理器通过调用所述存储器存储的程序或指令，用于执行如权利要求1至9任一项所述的作业文件同步方法的步骤。