CN112783848A - 一种数据同步方法、装置及电子设备 - Google Patents

Abstract

本申请提供一种数据同步方法及装置，所述方法包括：检测目标文件夹中的数据的修改时刻是否在预设的热点时段内；如果是，则进一步检测与所述目标文件夹中的数据的修改时刻对应的修改时间戳与上一次获取的所述目标文件夹的修改时间戳是否一致；如果不一致，则获取所述目标文件夹中的增量数据，并将所述增量数据同步至数据使用方。本申请可以缩短从目标文件夹的数据中检测出增量数据的耗时，从而提高数据同步的效率。

Description

一种数据同步方法、装置及电子设备

技术领域

本申请涉及应用技术领域，尤其涉及一种数据同步方法、装置、电子设备及机器可读存储介质。

背景技术

随着大数据技术的发展，越来越多的企业正在将自身的数据库表数据以及文件数据上云，以实现不同存储设备之间、本地主机与服务器之间、或者多云之间的数据共享。在企业生产过程中，存储在不同设备中的数据可能会发生变化，为了保持数据一致性，需要在不同设备之间进行数据同步。

在实际应用中，在不同设备之间进行文件数据的同步时，通常可以先检测出数据同步方的源目录中需要同步的文件，再将这些文件同步至目标设备。但是，随着文件数据的日积月累，源目录中的文件数量越来越多，而且源目录中某些文件不能被删除或转移，导致检测源目录中的文件所消耗的时间越来越长，从而降低文件数据同步的效率。

因此，在大量文件同步上云的场景中，需要提高文件数据同步的效率。

发明内容

有鉴于此，本申请提供一种数据同步方法、装置、电子设备及机器可读存储介质，以解决在大量文件同步上云的场景中，检测文件耗时长，导致文件数据同步效率低的问题。

本申请提供一种数据同步方法，所述方法包括：

检测目标文件夹中的数据的修改时刻是否在预设的热点时段内；

如果是，则进一步检测与所述目标文件夹中的数据的修改时刻对应的修改时间戳与上一次获取的所述目标文件夹的修改时间戳是否一致；

如果不一致，则获取所述目标文件夹中的增量数据，并将所述增量数据同步至数据使用方。

可选的，所述检测目标文件夹中的数据的修改时刻是否在预设的热点时段内，包括：

检测与所述目标文件夹的修改时间戳对应的修改时刻是否在预设的热点时段内；

如果是，则确定所述目标文件夹中的数据的修改时刻在预设的热点时段内；否则，确定所述目标文件夹中的数据的修改时刻不在预设的热点时段内。

可选的，所述目标文件夹包括基于日期命名的文件夹；所述检测目标文件夹中的数据的修改时刻是否在预设的热点时段内，包括：

检测与所述目标文件夹的日期命名对应的时刻是否在预设的热点时段内；

如果是，则确定所述目标文件夹中的数据的修改时刻在预设的热点时段内；否则，确定所述目标文件夹中的数据的修改时刻不在预设的热点时段内。

可选的，所述目标文件夹包含子文件；所述获取所述目标文件夹中的增量数据，包括：

检测与所述子文件中的数据的修改时刻对应的修改时间戳与上一次获取的所述子文件的修改时间戳是否一致；

如果所述子文件的修改时间戳与上一次获取的所述子文件的修改时间戳不一致，则获取所述子文件，作为所述目标文件夹中的增量数据。

可选的，所述获取所述目标文件夹中的增量数据，并将所述增量数据同步至数据使用方，包括：

创建用于检测所述目标文件夹中是否存在增量数据的第一线程，并由所述第一线程记录所述增量数据的路径信息；

创建用于从所述第一线程获取所述路径信息的第二线程，并由所述第二线程获取与所述路径信息对应的增量数据，以及将所述增量数据同步至数据使用方。

本申请还提供一种数据同步装置，所述装置包括：

检测单元，用于检测目标文件夹中的数据的修改时刻是否在预设的热点时段内；如果是，则进一步检测与所述目标文件夹中的数据的修改时刻对应的修改时间戳与上一次获取的所述目标文件夹的修改时间戳是否一致；

同步单元，用于如果所述检测单元确定所述目标文件夹的修改时间戳与上一次获取的所述目标文件夹的修改时间戳不一致，则获取所述目标文件夹中的增量数据，并将所述增量数据同步至数据使用方。

可选的，所述检测单元具体用于：

检测与所述目标文件夹的修改时间戳对应的修改时刻是否在预设的热点时段内；

如果是，则确定所述目标文件夹中的数据的修改时刻在预设的热点时段内；否则，确定所述目标文件夹中的数据的修改时刻不在预设的热点时段内。

可选的，所述目标文件夹包括基于日期命名的文件夹；所述检测单元，具体用于：

检测与所述目标文件夹的日期命名对应的时刻是否在预设的热点时段内；

如果是，则确定对所述目标文件夹中的数据进行最新修改的时刻在预设的热点时段内；否则，确定对所述目标文件夹中的数据进行最新修改的时刻不在预设的热点时段内。

可选的，所述目标文件夹包含子文件；

所述检测单元，具体用于：检测与所述子文件中的数据的修改时刻对应的修改时间戳与上一次获取的所述子文件的修改时间戳是否一致；

所述同步单元，具体用于：如果所述子文件的修改时间戳与上一次获取的所述子文件的修改时间戳不一致，则获取所述子文件，作为所述目标文件夹中的增量数据。

可选的，所述同步单元，具体用于：

创建用于检测所述目标文件夹中是否存在增量数据的第一线程，并由所述第一线程记录所述增量数据的路径信息；

创建用于从所述第一线程获取所述路径信息的第二线程，并由所述第二线程获取与所述路径信息对应的增量数据，以及将所述增量数据同步至数据使用方。

本申请还提供一种电子设备，包括通信接口、处理器、存储器和总线，所述通信接口、所述处理器和所述存储器之间通过总线相互连接；

所述存储器中存储机器可读指令，所述处理器通过调用所述机器可读指令，执行上述方法。

本申请还提供一种机器可读存储介质，所述机器可读存储介质存储有机器可读指令，所述机器可读指令在被处理器调用和执行时，实现上述方法。

通过以上实施例，一方面，通过检测目标文件夹中的数据的修改时刻是否在预设的热点时段内，可以从包含海量文件夹的源目录中快速确定出可能存在增量数据的目标文件夹，从而可以快速筛选出存在增量数据的目标文件夹的筛选效率；另一方面，通过检测目标文件夹的修改时间戳与上一次获取的上述目标文件夹的修改时间戳是否一致，并将存在增量数据的目标文件夹中的增量数据同步至数据使用方，可以避免遍历查询及比较上述目标文件夹中的文件的修改时间戳是否发生改变，从而提高了数据同步效率。

附图说明

图1是一示例性的实施例示出的一种数据同步方法的流程图；

图2是一示例性的实施例示出的一种目标文件夹的示意图；

图3是一示例性的实施例示出的一种数据同步装置的框图；

图4是一示例性的实施例示出的一种数据同步装置所在电子设备的硬件结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

为了使本技术领域的人员更好地理解本说明书实施例中的技术方案，下面先对本说明书实施例涉及的文件数据同步的相关技术，进行简要说明。

随着大数据技术的发展，越来越多的企业正在将自身的数据库表数据以及文件数据上云，以实现不同存储设备之间、本地主机与服务器之间、或者多云之间的数据共享；并且会定期地或实时地在不同设备之间进行数据同步，以保证数据的一致性。

由于文件系统中通常以目录的形式组织和管理文件，在将文件系统中的数据同步上云时，可以只对某个目录(即源目录)进行数据同步。在实际应用中，对源目录进行文件数据同步时，通常可以先检测出源目录中需要同步的文件，再将这些文件同步至目标设备。

在一种现有技术方案中，可以遍历检测源目录下的每个文件夹中的文件，根据每个文件的时间戳、文件大小以及文件内容等信息，判断该文件是否需要同步，再将源目录中需要同步的文件同步至目标设备。

但是，在上述现有技术方案中，一方面，源目录下的某些文件夹实际上不会再出现更新的文件数据，这些文件夹并不需要进行数据同步，但是每次对源目录进行遍历检测时，仍然会对这些不需要同步的文件夹中的每个文件进行检测，浪费检测文件的时间，导致文件数据同步的效率降低；另一方面，随着文件数据的日积月累，源目录中的文件夹数量和文件数量会越来越多，导致对源目录进行一次遍历检测所消耗的时间也会随之越来越长。

例如，某个源目录下有10个文件夹，每个文件夹中包含有10个子文件，需要检测的文件数量为100个，对这100个文件进行一次遍历检测需要1秒。当上述源目录下的文件夹增加至20个，并且每个文件夹中包含的子文件增加至100个时，需要检测的文件数量增加至2000个，对这2000个文件进行一次遍历检测需要20秒；实际上，这20个文件夹中，有8个文件夹已经不会再产生文件数据更新了，但是对源目录进行遍历检测时，依然要浪费8秒对这8个文件夹进行检测。

有鉴于此，本说明书旨在提出一种，基于检测位于热点时段内的目标文件夹的修改时间戳来判断是否存在增量数据，并获取增量数据及进行数据同步的技术方案。

在实现时，数据同步方检测目标文件夹中的数据的修改时刻是否在预设的热点时段内；

如果是，则数据同步方进一步检测与上述目标文件夹中的数据的修改时刻对应的修改时间戳与上一次获取的上述目标文件夹的修改时间戳是否一致；

如果不一致，则数据同步方获取上述目标文件夹中的增量数据，并将上述增量数据同步至数据使用方。

在以上技术方案中，一方面，数据同步方只需对可能存在增量数据的目标文件夹进一步检测修改时间戳，可以减少需要扫描并比较的文件夹的修改时间戳数量，从而缩短检测文件夹的耗时；另一方面，数据同步方只需对存在增量数据的目标文件夹中的数据进一步检测，可以减少需要检测的文件夹数量，进而减少需要检测的文件数量，从而缩短检测文件的耗时，提高文件数据同步的效率。

相较于现有技术方案，在本说明书提供的数据同步方法中，先根据预设的热点时段，判断目标文件夹中是否可能存在增量数据，从而只需对可能存在增量数据的目标文件夹进一步检测；再根据上述目标文件夹的修改时间戳，判断上述目标文件夹中是否存在增量数据，从而只需对存在增量数据的目标文件夹中的文件数据进行检测；因此，本说明书无需对不存在增量数据的目标文件夹中的文件数据进行检测，可以减少需要检测的文件夹数量和文件数量，实现了缩短检测文件的耗时，从而提高了文件数据同步的效率。

下面通过具体实施例，并结合具体的应用场景对本申请进行描述。

请参见图1，图1是一示例性的实施例示出的一种数据同步方法的流程图，上述方法应用于数据同步方，上述数据同步方法执行以下步骤：

步骤101：检测目标文件夹中的数据的修改时刻是否在预设的热点时段内；

步骤102：如果是，则进一步检测与上述目标文件夹中的数据的修改时刻对应的修改时间戳与上一次获取的上述目标文件夹的修改时间戳是否一致；

步骤103：如果不一致，则获取上述目标文件夹中的增量数据，并将上述增量数据同步至数据使用方。

在本说明书中，上述数据同步方，可以包括任何类型的数据存储设备或数据存储设备集群，也可以包括具有数据同步功能的软件。

例如，上述数据同步方，具体可以包括位于本地的服务器或服务器集群，也可以包括位于云端的服务器或者服务器集群；上述数据同步方还可以包括应用于数据集成平台的同步软件。

在本说明书中，上述数据同步方将其存储在目标文件夹中的文件数据同步至数据使用方。

在实际应用中，数据同步方可以基于各种文件系统，如基于FTP、SFTP等协议的文件系统，以文件夹的形式来组织和管理其存储的电子文件。在数据同步的过程中，数据同步方可以指定需要进行文件数据同步的若干目标文件夹(即源目录)，再检测上述目标文件夹中的数据，以获得需要同步的文件；采用增量同步方式时，上述数据同步方可以将上述需要同步的文件作为增量数据，并同步至数据使用方，以使上述数据使用方可以根据上述增量数据更新上述数据使用方所存储的文件。

在本说明书中，上述数据使用方，可以包括任何类型的数据存储设备或数据存储设备集群。

例如，上述数据使用方，具体可以包括位于本地的服务器或服务器集群，也可以包括位于云端的服务器或者服务器集群，也可以包括磁盘等具有存储功能的硬件结构。

在本说明书中，预设的上述热点时段可以用于区分文件数据属于冷数据或热数据。

在实际应用中，上述热点时段可以包括用户按需预设的热点时段，也可以包括上述数据同步方自动预设的热点时段。如果文件数据的最新修改时刻在上述热点时段内，则确定上述文件数据属于热数据，即可以认为上述文件数据可能产生更新；如果文件数据的最新修改时刻不在上述热点时段内，则确定上述文件数据属于冷数据，即可以认为上述文件数据不可能产生更新。

例如，用户可以根据需求，预先设置本次数据同步的边界值为2020年10月1日，若当前的系统时间为2020年12月1日，则对应的热点时段为“2020年10月1日-2020年12月1日”。

又例如，数据同步方可以将每天新增或修改的文件保存在一个文件夹中，并且每周进行一次数据同步，则上述数据同步方可以预设热点时段为近7天；若上一次完成数据同步的时间为2020年12月1日，则本次数据同步时，可以自动计算得出对应的热点时段为“2020年12月1日-2020年12月7日”。

在本说明书中，上述数据同步方检测上述目标文件夹中的数据的修改时刻是否在预设的热点时段内；如果是，则确定上述目标文件夹中可能存在增量数据；否则，确定上述目标文件夹中不可能存在增量数据。

在实际应用中，上述目标文件夹中的数据的修改时刻，可以包括与上述目标文件夹中的文件数据的最新修改时刻对应的时刻。如果上述目标文件夹中的数据的修改时刻在预设的热点时段内，则可以认为上述目标文件夹中的数据属于热数据，即可以确定上述目标文件夹中可能存在增量数据；如果上述目标文件夹中的数据的修改时刻不在预设的热点时段内，则可以认为上述目标文件夹中的数据属于冷数据，即可以确定上述目标文件夹中不可能存在增量数据。

例如，上述目标文件夹中的数据的修改时刻，具体可以包括与上述目标文件夹的修改时间戳对应的时刻，也可以包括与上述目标文件夹的日期命名对应的时刻，还可以包括通过其他方式获得的对目标文件夹中的数据进行最新一次修改的时刻。

在示出的一种实施方式中，在上述目标文件夹中的数据的修改时刻包括与上述目标文件夹的修改时间戳对应的时刻时，在上述数据同步方检测上述目标文件夹中的数据的修改时刻是否在预设的热点时段内的过程中，上述数据同步方检测与上述目标文件夹的修改时间戳对应的修改时刻是否在预设的热点时段内；如果是，则确定上述目标文件夹中的数据的修改时刻在预设的热点时段内；否则，确定上述目标文件夹中的数据的修改时刻不在预设的热点时段内。

在实际应用中，上述修改时间戳，可以包括文件夹或文件的属性信息中的时间戳属性。各种文件系统中，文件和文件夹从创建起对应的属性信息中通常就包含有时间戳属性；其中，文件的时间戳属性用于表示该文件最新的修改时刻，文件夹的时间戳属性用于表示该文件夹中的数据最新的修改时刻。上述数据同步方扫描目标文件夹时，可以读取上述目标文件夹的文件信息，并从中获得上述目标文件夹的修改时间戳。

例如，文件夹名为“test”的目标文件夹中，包含有文件名为“test101”的子文件，当该子文件于2020年12月4日15时23分被修改时，上述子文件“test101”的修改时间戳、以及目标文件夹“test”的修改时间戳，都会相应地更新为“2020/12/4 15:23”。如果预设的热点时段为“2020年12月1日-2020年12月7日”，则与修改时间戳“2020/12/4 15:23”对应的修改时刻在热点时段内，可以认为目标文件夹“test”中的数据属于热数据，可能产生更新，即可以确定目标文件夹“test”中可能存在增量数据。

在示出的另一种实施方式中，在上述对目标文件夹中的数据进行最新修改的时刻包括与上述目标文件夹的日期命名对应的时刻时，在上述数据同步方检测上述目标文件夹中的数据的修改时刻是否在预设的热点时段内的过程中，上述数据同步方检测与上述目标文件夹的日期命名对应的时刻是否在预设的热点时段内；如果是，则确定上述目标文件夹中的数据的修改时刻在预设的热点时段内；否则，确定上述目标文件夹中的数据的修改时刻不在预设的热点时段内。

在实际应用中，上述目标文件夹的日期命名，可以包括基于创建时刻按照指定日期格式命名的文件夹名。各种文件系统中，可以按照指定日期格式为文件夹或文件命名；其中，文件的日期命名用于表示该文件的创建时刻，文件夹的日期命名用于表示该文件夹的创建时刻(也可以标识该文件夹中的文件的共同创建时间范围)。上述数据同步方扫描目标文件夹时，可以将目标文件夹的日期命名转换为对应的时间变量。

例如，日期命名为“202005”的目标文件夹中，包含有日期命名为“20200525”的子文件。数据同步方可以先按照指定日期格式，将目标文件夹的日期命名“202005”转换为对应的时间变量2020年5月；如果预设的热点时段为“2020年4月-2020年6月”，则与日期命名“202005”对应的修改时刻在热点时段内，可以认为目标文件夹“202005”中的数据属于热数据，可能产生更新，即可以确定目标文件夹“202005”中可能存在增量数据。

需要说明的是，在以上示出的实施方式中，数据同步方检测与目标文件夹的日期命名对应的时刻是否在预设的热点时段内，来确定上述目标文件夹中是否可能存在增量数据；由于无需对不可能存在增量数据的目标文件夹进一步地检测修改时间戳，可以减少需要进一步检测的文件夹数量和文件数量，从而实现缩短检测文件数据的耗时，提高数据同步的效率。关于文件夹日期命名的指定日期格式，也可以包括其他能够表示文件夹中的数据的创建时刻的日期格式，如“2020-9-15”等，以上仅仅是示例性的描述，并不代表对本说明书做出限制。

在本说明书中，在检测到上述目标文件夹中的数据的修改时刻在预设的热点时段内时，上述数据同步方可以进一步检测与上述目标文件夹中的数据的修改时刻对应的修改时间戳与上一次获取的上述目标文件夹的修改时间戳是否一致；如果是，则确定上述目标文件夹中存在增量数据；否则，确定上述目标文件夹中不存在增量数据。

在实际应用中，数据同步方可以记录每次扫描时得到的目标文件夹的修改时间戳；其中，上述目标文件夹的修改时间戳，可以表示当前上述目标文件夹中的数据的最新修改时刻；上一次获取的上述目标文件夹的修改时间戳，可以表示上一次扫描时上述目标文件夹中的数据的最新修改时刻。如果上述目标文件夹的修改时间戳变化，说明在两次扫描的间隔中，上述目标文件夹中的数据产生了更新，则可以确定上述目标文件夹中存在增量数据；如果上述目标文件夹的修改时间戳不变，说明上述目标文件夹中的数据未更新，则可以确定上述目标文件夹中不存在增量数据。

例如，文件夹名为“test”的目标文件夹的修改时间戳为“2020/12/4 15:23”，记录中上一次获取的目标文件夹“test”的修改时间戳为“2020/12/4 9:23”，二者不一致，说明上述目标文件夹中的数据产生了更新，则可以确定上述目标文件夹中存在增量数据。

在本说明书中，如果上述目标文件夹中存在增量数据，则上述数据同步方进一步地获取上述目标文件夹中的增量数据。

需要说明的是，在实际应用中，上述数据同步方可以遍历检测上述目标文件夹中的所有文件，根据上述目标文件夹中的所有文件的时间戳属性、文件大小以及文件内容等信息，检测出发生了更新的文件，将上述更新的文件作为增量数据。关于遍历检测文件以获得增量数据的具体实现方式，请参见相关技术，在此不再赘述。

另外需要说明的是，当上述目标文件夹包含若干子文件夹时，上述数据同步方可以将上述子文件夹作为下一个目标文件夹，并从上述子文件夹中筛选出存在增量数据的子文件夹，再获取上述存在增量数据的子文件夹中的增量数据；关于对上述目标文件夹包含的子文件夹进行检测的具体实现方式，与上述对目标文件夹进行检测的实现方式类似，在此不再赘述。

在示出的一种实施方式中，上述数据同步方获取上述目标文件夹中的增量数据，具体包括：上述数据同步方检测与上述子文件中的数据的修改时刻对应的修改时间戳与上一次获取的上述子文件的修改时间戳是否一致；如果不一致，则获取上述子文件，作为上述目标文件夹中的增量数据。

在实际应用中，上述数据同步方还可以记录每次扫描时得到的目标文件夹中包含的子文件夹以及子文件的修改时间戳。如果上述子文件的修改时间戳变化，说明在两次扫描的间隔中，上述子文件的数据产生了更新，则可以确定上述子文件为增量文件；如果上述子文件的修改时间戳无变化，说明在两次扫描的间隔中，上述子文件的数据未更新，则可以确定上述子文件不是增量文件。

例如，目标文件夹“test”中，包含有子文件“test001”和子文件“test002”；其中，子文件“test001”上一次扫描的修改时间戳为“2020/5/20 14:09”，本次扫描的修改时间戳为“2020/6/13 14:09”，二者不一致，则可以确定子文件“test001”为增量文件；子文件“test002”上一次扫描的时间戳为“2020/5/1914:09”，本次扫描的修改时间戳也为“2020/5/19 14:09”，二者一致，则可以确定子文件“test002”不是增量文件。

需要说明的是，上述数据同步方基于上述目标文件夹包含的子文件的修改时间戳，就可以确定上述子文件是否为增量文件，无需比较文件大小、文件内容等其他文件信息，可以减少计算机的资源消耗，还可以提高从存在增量数据的目标文件夹中获取增量数据的效率。

在本说明书中，在获取上述目标文件夹中的增量数据后，上述数据同步方将上述增量数据同步至数据使用方。

在实际应用中，上述数据同步方可以利用数据同步工具，如ETL、Kettle等，将上述获取到的增量数据同步至上述数据使用方，以使上述数据使用方根据上述增量数据来更新自身存储的文件。

例如，数据同步方检测到文件夹名为“test”的目标文件夹中，存在着修改过的子文件“test002”，以及新增的子文件“test004”，上述数据同步方获取到的增量数据可以包括发生修改的或者新增的子文件；上述数据同步方可以通过数据同步工具Kettle，将上述增量数据同步至目标服务器，以使目标服务器更新其存储的文件名为“test002”的文件，并增加文件“test004”。关于将增量数据同步至数据使用方的具体实现方式，请参见相关技术，在此不作赘述。

在示出的一种实施方式中，在上述数据同步方获取上述目标文件夹中的增量数据并将上述增量数据同步至上述数据使用方的过程中，上述数据同步方创建用于检测上述目标文件夹中是否存在增量数据的第一线程，并由上述第一线程记录上述增量数据的路径信息；上述数据同步方创建用于从上述第一线程获取上述增量数据的路径信息的第二线程，并由上述第二线程根据上述路径信息获取对应的增量数据，以及将获取的增量数据同步至上述数据使用方。

在实际应用中，上述数据同步方可以创建不同的线程，也可以从线程池中调用已有的不同线程，分别对目标文件夹进行增量数据检测和增量数据同步。关于上述第二线程获取上述第一线程记录的增量数据的路径信息的具体实现方式，可以包括消费线程订阅发布线程发布的信息，也可以包括其他方式，本说明书不做限定。

例如，增量检测线程作为发布线程，可以发布检测到的增量文件的路径信息，增量同步线程作为消费线程，可以订阅增量检测线程发布的信息，从而在增量检测线程发布增量文件的路径信息时，消费其发布的增量文件的路径信息。

又例如，第一线程可以检测目标文件夹中是否存在增量数据，并将检测到的增量数据的路径信息记录在更新日志中；第二线程可以查询更新日志，以获得上述第一线程记录的增量数据的路径信息，并根据上述路径信息获取对应的增量数据，以及将上述增量数据同步至目标服务器。

需要说明的是，在以上示出的实施方式中，数据同步方可以基于不同的线程，分别对目标文件夹并发执行增量数据检测以及增量数据同步，实现线性提升数据集成平台的执行性能，从而提高数据同步的效率。

在本说明书的技术方案中，一方面，通过检测目标文件夹中的数据的修改时刻是否在预设的热点时段内，可以从源目录中快速确定出可能存在增量数据的目标文件夹，从而提高了进一步确定存在增量数据的目标文件夹的筛选效率；另一方面，通过检测目标文件夹的修改时间戳与上一次获取的上述目标文件夹的修改时间戳是否一致，可以从可能存在增量数据的目标文件夹中快速确定出存在增量数据的目标文件夹，从而提高了进一步获得增量数据的效率，同时，将获取的增量数据同步至数据使用方，实现了数据同步效率的提高。

为了方便理解，以上述数据同步方对包含有多个目标文件夹的源目录进行数据同步的过程为例，进行整体描述。请参见图2，图2是一示例性的实施例示出的一种目标文件夹的示意图。

如图2所示的源目录中，包含着4个文件夹名分别为“test2”、“test3”、“test5”、“test6”的目标文件夹；其中，目标文件夹“test2”和目标文件夹“test3”的修改时间戳均为“2020/4/23 22:15”，目标文件夹“test5”的修改时间戳为“2020/4/2 16:21”，目标文件夹“test6”的修改时间戳为“2020/6/1214:09”。

如果预设的热点时段为“2020年4月20日-2020年6月20日”，数据同步方根据上述目标文件夹的修改时间戳，检测到目标文件夹“test5”中的数据的修改时刻不在预设的热点时段内，则可以确定目标文件夹“test5”中不可能存在增量数据，无需进一步检测；而目标文件夹“test2”、“test3”和“test6”中的数据的修改时刻在预设的热点时段内，则可以确定上述三个目标文件夹内可能存在增量数据。

上述数据同步方可以进一步地对目标文件夹“test2”、“test3”和“test6”进行检测，检测上述目标文件夹的修改时间戳与上一次获取的上述目标文件夹的修改时间戳是否一致；如果上一次获取的目标文件夹“test2”、“test3”和“test6”的修改时间戳分别为“2020/4/18 22:15”、“2020/4/23 22:15”、“2020/4/23 22:15”，则目标文件夹“test2”和“test6”的修改时间戳未变化，可以确定目标文件夹“test2”和“test6”中不存在增量数据，无需对这两个目标文件夹中的文件进一步检测；目标文件夹“test3”的修改时间戳变化，可以确定目标文件夹“test3”中存在增量数据。

进一步地，上述数据同步方可以对目标文件夹“test3”中的文件进行检测，以获取增量数据，并将上述增量数据同步至数据使用方。由此可见，相较于现有技术方案，本说明书中的技术方案先对源目录中的目标文件夹进行筛选，进而只从存在增量数据的目标文件夹中获取增量数据，可以减少需要检测的文件数量，从而缩短检测增量数据的耗时，提高数据同步的效率。

例如，如图2所示的四个目标文件夹中各自包含有1000个子文件，上述数据同步方只需要对目标文件夹“test3”中包含的1000个子文件进行检测，就可以获取源目录中的增量数据，无需对上述四个目标文件夹中包含的全部4000个子文件进行检测，从而大大减少了需要检测的文件数量，缩短了检测增量数据的耗时。

与上述方法实施例对应地，本说明书还提供了一种数据同步装置的实施例。

请参见图3，图3是一示例性的实施例示出的一种数据同步装置的框图，上述装置可以包括如下所示单元：

检测单元301，用于检测目标文件夹中的数据的修改时刻是否在预设的热点时段内；如果是，则进一步检测与上述目标文件夹中的数据的修改时刻对应的修改时间戳与上一次获取的上述目标文件夹的修改时间戳是否一致；

同步单元302，用于如果上述检测单元确定上述目标文件夹的修改时间戳与上一次获取的上述目标文件夹的修改时间戳不一致，则获取上述目标文件夹中的增量数据，并将上述增量数据同步至数据使用方。

在本实施例中，上述检测单元301，具体用于：

检测与上述目标文件夹的修改时间戳对应的修改时刻是否在预设的热点时段内；

如果是，则确定上述目标文件夹中的数据的修改时刻在预设的热点时段内；否则，确定上述目标文件夹中的数据的修改时刻不在预设的热点时段内。

在本实施例中，上述目标文件夹包括基于日期命名的文件夹；上述检测单元301，具体用于：

检测与上述目标文件夹的日期命名对应的时刻是否在预设的热点时段内；

如果是，则确定对上述目标文件夹中的数据进行最新修改的时刻在预设的热点时段内；否则，确定对上述目标文件夹中的数据进行最新修改的时刻不在预设的热点时段内。

在本实施例中，上述目标文件夹包含子文件；

上述检测单元301，具体用于：检测与上述子文件中的数据的修改时刻对应的修改时间戳与上一次获取的上述子文件的修改时间戳是否一致；

上述同步单元302，具体用于：如果上述子文件的修改时间戳与上一次获取的上述子文件的修改时间戳不一致，则获取上述子文件，作为上述目标文件夹中的增量数据。

在本实施例中，上述同步单元302，具体用于：

创建用于检测上述目标文件夹中是否存在增量数据的第一线程，并由上述第一线程记录上述增量数据的路径信息；

创建用于从上述第一线程获取上述路径信息的第二线程，并由上述第二线程获取与上述路径信息对应的增量数据，以及将上述增量数据同步至数据使用方。

此外，本说明书还提供了一种数据同步装置所在的电子设备的实施例。

与上述方法实施例对应地，本说明书还提供了一种数据同步装置的实施例。本说明书的数据同步装置的实施例可以应用在电子设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器，将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，请参见图4，图4是一示例性的实施例示出的一种数据同步装置所在电子设备的硬件结构图，除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的电子设备通常根据该电子设备的实际功能，还可以包括其他硬件，对此不再赘述。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例只是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

在一个典型的配置中，计算机包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书一个或多个实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

以上所述仅为本说明书一个或多个实施例的较佳实施例而已，并不用以限制本说明书一个或多个实施例，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例保护的范围之内。

以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。

Claims (12)

1.一种数据同步方法，其特征在于，所述方法包括：

检测目标文件夹中的数据的修改时刻是否在预设的热点时段内；

如果是，则进一步检测与所述目标文件夹中的数据的修改时刻对应的修改时间戳与上一次获取的所述目标文件夹的修改时间戳是否一致；

如果不一致，则获取所述目标文件夹中的增量数据，并将所述增量数据同步至数据使用方。

2.根据权利要求1所述的方法，其特征在于，所述检测目标文件夹中的数据的修改时刻是否在预设的热点时段内，包括：

检测与所述目标文件夹的修改时间戳对应的修改时刻是否在预设的热点时段内；

如果是，则确定所述目标文件夹中的数据的修改时刻在预设的热点时段内；否则，确定所述目标文件夹中的数据的修改时刻不在预设的热点时段内。

3.根据权利要求1所述的方法，其特征在于，所述目标文件夹包括基于日期命名的文件夹；所述检测目标文件夹中的数据的修改时刻是否在预设的热点时段内，包括：

检测与所述目标文件夹的日期命名对应的时刻是否在预设的热点时段内；

如果是，则确定所述目标文件夹中的数据的修改时刻在预设的热点时段内；否则，确定所述目标文件夹中的数据的修改时刻不在预设的热点时段内。

4.根据权利要求1所述的方法，其特征在于，所述目标文件夹包含子文件；所述获取所述目标文件夹中的增量数据，包括：

检测与所述子文件中的数据的修改时刻对应的修改时间戳与上一次获取的所述子文件的修改时间戳是否一致；

如果所述子文件的修改时间戳与上一次获取的所述子文件的修改时间戳不一致，则获取所述子文件，作为所述目标文件夹中的增量数据。

5.根据权利要求1所述的方法，其特征在于，所述获取所述目标文件夹中的增量数据，并将所述增量数据同步至数据使用方，包括：

创建用于检测所述目标文件夹中是否存在增量数据的第一线程，并由所述第一线程记录所述增量数据的路径信息；

创建用于从所述第一线程获取所述路径信息的第二线程，并由所述第二线程获取与所述路径信息对应的增量数据，以及将所述增量数据同步至数据使用方。

6.一种数据同步装置，其特征在于，所述装置包括：

检测单元，用于检测目标文件夹中的数据的修改时刻是否在预设的热点时段内；如果是，则进一步检测与所述目标文件夹中的数据的修改时刻对应的修改时间戳与上一次获取的所述目标文件夹的修改时间戳是否一致；

同步单元，用于如果所述检测单元确定所述目标文件夹的修改时间戳与上一次获取的所述目标文件夹的修改时间戳不一致，则获取所述目标文件夹中的增量数据，并将所述增量数据同步至数据使用方。

7.根据权利要求6所述的装置，其特征在于，所述检测单元，具体用于：

检测与所述目标文件夹的修改时间戳对应的修改时刻是否在预设的热点时段内；

如果是，则确定所述目标文件夹中的数据的修改时刻在预设的热点时段内；否则，确定所述目标文件夹中的数据的修改时刻不在预设的热点时段内。

8.根据权利要求6所述的装置，其特征在于，所述目标文件夹包括基于日期命名的文件夹；所述检测单元，具体用于：

检测与所述目标文件夹的日期命名对应的时刻是否在预设的热点时段内；

如果是，则确定对所述目标文件夹中的数据进行最新修改的时刻在预设的热点时段内；否则，确定对所述目标文件夹中的数据进行最新修改的时刻不在预设的热点时段内。

9.根据权利要求6所述的装置，其特征在于，所述目标文件夹包含子文件；

所述检测单元，具体用于：检测与所述子文件中的数据的修改时刻对应的修改时间戳与上一次获取的所述子文件的修改时间戳是否一致；

所述同步单元，具体用于：如果所述子文件的修改时间戳与上一次获取的所述子文件的修改时间戳不一致，则获取所述子文件，作为所述目标文件夹中的增量数据。

10.根据权利要求6所述的装置，其特征在于，所述同步单元，具体用于：

创建用于检测所述目标文件夹中是否存在增量数据的第一线程，并由所述第一线程记录所述增量数据的路径信息；

创建用于从所述第一线程获取所述路径信息的第二线程，并由所述第二线程获取与所述路径信息对应的增量数据，以及将所述增量数据同步至数据使用方。

11.一种电子设备，其特征在于，包括通信接口、处理器、存储器和总线，所述通信接口、所述处理器和所述存储器之间通过总线相互连接；

所述存储器中存储机器可读指令，所述处理器通过调用所述机器可读指令，执行权利要求1至5任一项所述的方法。

12.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可读指令，所述机器可读指令在被处理器调用和执行时，实现权利要求1至5任一项所述的方法。

Images