CN114006941A - 数据同步方法、装置、计算机设备及介质 - Google Patents

Abstract

本申请涉及人工智能技术领域，提供一种数据同步方法、装置、计算机设备及介质。其中方法应用于中间件，包括：从第一服务器接收第一数据和第二数据，第一数据在第二数据之后接收到，第一数据和第二数据均未发送给第二服务器；获取第一数据的数据属性和第二数据的数据属性，以及第二服务器的运行状态；基于第一数据的数据属性、第二数据的数据属性和第二服务器的运行状态确定第一数据和第二数据中的待同步数据，以及待同步数据的同步时间；确定待同步数据满足传输规则；在同步时间到达时，将待同步数据发送给第二服务器。采用本申请，在保证数据安全的情况下，提高了数据同步的有效性和灵活性。

Description

数据同步方法、装置、计算机设备及介质

技术领域

本申请涉及人工智能技术领域，主要涉及了一种数据同步方法、装置、计算机设备及介质。

背景技术

随着信息时代的飞速发展，大数据、人工智能的兴起，数据作为一种资源，越来越被一些企业、单位重视，数据产出的经济和社会价值也越来越明显。某一些系统中，例如，政务系统等，由于安全限制，通过内外网隔离数据。其中，外网的数据需要同步给内网，而内网中的一些数据可同步给外网。因此，如何在保证数据安全的情况下，提高内网外数据同步的有效性是本领域技术人员待解决的技术问题。

发明内容

本申请实施例提供了一种数据同步方法、装置、计算机设备及介质，在保证数据安全的情况下，可提高数据同步的有效性和灵活性。

第一方面，本申请实施例提供一种数据同步方法，其中：

中间件从第一服务器接收第一数据和第二数据，所述第一数据在所述第二数据之后接收到，所述第一数据和所述第二数据均未发送给第二服务器；

所述中间件获取所述第一数据的数据属性和所述第二数据的数据属性，以及所述第二服务器的运行状态；

所述中间件基于所述第一数据的数据属性、所述第二数据的数据属性和所述第二服务器的运行状态确定所述第一数据和所述第二数据中的待同步数据，以及所述待同步数据的同步时间；

所述中间件确定所述待同步数据满足传输规则；

在所述同步时间到达时，所述中间件将所述待同步数据发送给所述第二服务器。

第二方面，本申请实施例提供一种数据同步装置，其中：

通信单元，用于从第一服务器接收第一数据和第二数据，所述第一数据在所述第二数据之后接收到，所述第一数据和所述第二数据均未发送给第二服务器；

处理单元，用于获取所述第一数据的数据属性和所述第二数据的数据属性，以及所述第二服务器的运行状态；基于所述第一数据的数据属性、所述第二数据的数据属性和所述第二服务器运行状态确定所述第一数据和所述第二数据中的待同步数据，以及所述待同步数据的同步时间；确定所述待同步数据满足传输规则；

所述通信单元，还用于在所述同步时间到达时，将所述待同步数据发送给所述第二服务器。

第三方面，本申请实施例提供一种计算机设备，包括处理器、存储器和通信接口，其中，上述存储器中存储计算机程序，并且被配置由上述处理器执行，所述计算机程序包括用于如第一方面中所描述的部分或全部步骤的指令。

第四方面，本申请实施例提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行以实现如第一方面中所描述的部分或全部步骤。

实施本申请实施例，将具有如下有益效果：

采用了上述的数据同步方法、装置、计算机设备及介质之后，中间件从第一服务器接收到待发送给第二服务器(即待同步的服务器)的第一数据之后，获取该第一数据的数据属性和在第一数据之前从第一服务器接收到的，且未发送给第二服务器的第二数据的数据属性，以及第二服务器的运行状态。然后中间件基于第一数据的数据属性、第二数据的数据属性和第二服务器的运行状态确定已接收到的第一数据和第二数据中的待同步数据，以及该待同步数据的同步时间。也就是说，根据未发送给待同步的服务器的数据的数据属性和待同步的服务器的运行状态确定待同步数据和传输待同步数据的时间。然后确定该待同步数据是否满足传输规则，若是，则在同步时间到达时，中间件将该待同步数据发送给第二服务器，以使第二服务器对待同步数据进行数据同步。如此，能够在保证数据安全的情况下，提高数据同步的有效性和灵活性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

其中：

图1为本申请实施例提供的一种数据同步系统的结构示意图；

图2为本申请实施例提供的一种数据同步方法的流程示意图；

图3为本申请实施例提供的另一种数据同步方法的流程示意图；

图4为本申请实施例提供的一种数据同步装置的结构示意图；

图5为本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。根据本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

请参照图1，图1是本申请提供的一种数据传输系统的结构示意图。如图1所示，该数据传输系统可包括内网电子设备、外网电子设备、内网服务器、外网服务器和中间件。其中，内网服务器和外网服务器可统称为服务器。在本申请实施例中，服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。服务器或者可以通过多个服务器组成的服务器集群来实现。

内网电子设备和外网电子设备可统称为电子设备。在本申请实施例中，电子设备可以是个人计算机(personal computer，PC)、笔记本电脑或智能手机，还可以是一体机、掌上电脑、平板电脑(pad)、智能电视播放终端、车载终端或便捷式设备等。PC端的电子设备，例如一体机等，其操作系统可以包括但不限于Linux系统、Unix系统、Windows系列系统(例如Windows xp、Windows 7等)、Mac OS X系统(苹果电脑的操作系统)等操作系统。移动端的电子设备，例如智能手机等，其操作系统可以包括但不限于安卓系统、IOS(苹果手机的操作系统)、Window系统等操作系统。如图1中，内网电子设备为智能手机，外网电子设备为笔记本电脑。

内网电子设备可与内网服务器连接，内网服务器用于为至少一个内网电子设备提供服务。外网电子设备可与外网服务器连接，外网服务器用于为至少一个外网电子设备提供服务。中间件可与内网服务器和外网服务器连接，用于实现内外服务器和外网服务器中的数据传输，可以理解为数据传输系统或数据传输服务器。

需要说明的是，内网服务器和外网服务器中的数据并非所有的数据均需要进行同步，且内网服务器同步给外网服务器的数据需要一定的权限，或进行脱敏处理，才能实现数据同步。

本申请对于数据传输系统中每一设备的数量不做限定。电子设备可以安装并运行应用程序，服务器可以是电子设备所安装的应用程序对应的服务器，为应用程序提供应用服务。其中，应用程序可以是单独集成的应用软件，或其它应用中嵌入的小程序，或者网页上的系统等，在此不做限定。在本申请实施例中，应用程序所涉及的业务类型可以包括政务、医学、金融等，在此不做限定。

内网电子设备对应的用户通常为内部员工，外网电子设备对应的用户通常为使用者。以政务类型中的税务数据为例进行说明，内网电子设备对应的用户可以为税务工作人员，外网电子设备对应的用户可以为纳税人。

本申请实施例提出一种数据同步方法，该方法可以由数据同步装置执行。该装置可由软件和/或硬件实现，一般可集成在中间件中，能够在保证数据安全的情况下，提高数据同步的有效性和灵活性。

请参照图2，图2是本申请提供的一种数据同步方法的流程示意图。以该方法以中间件为执行主体进行描述，包括如下步骤S201～S205，其中：

S201：中间件从第一服务器接收第一数据和第二数据。

在本申请实施例中，第一服务器可以为内网服务器或外网服务器，则第一数据可以为内网电子设备对应的用户上传的数据，或者可以为外网电子设备对应的用户上传的数据。当第一服务器为内网服务器时，第二服务器为外网服务器。当第一服务器为外网服务器时，第二服务器为内网服务器。本申请以第一服务器向第二服务器同步数据为例进行描述，对于第二服务器向第一服务器同步数据的方法可参照本申请实施例所提供的数据同步方法。

本申请对于第一数据的数量不做限定，即第一数据的数量可以为1或多个。也就是说，第一服务器可以逐一向中间件上传数据，也可以按照预设的采样时间统一向中间件上传数据。该采样时间可以为固定的时间，例如，1分钟、1小时等。

该采样时间或者可以基于第一服务器的运行状态进行确定，其中，运行状态可包括服务器系统的执行时长、内存占用、内存峰值、处理器(例如，中央处理器(centralprocessing unit，CPU)、图形处理器(graphics processing unit，GPU)等)的使用率等，在此不做限定。可以理解，运行状态越好，处理数据的效率越高，则采样时间可以越短。基于第一服务器的运行状态确定第一数据的采样时间，可提高数据采集的有效性。

在本申请实施例中，中间件中可能缓存有未同步的数据，可将在第一数据之前，从第一服务器接收到的，且未发送给第二服务器的数据称为第二数据。也就是说，第一数据是中间件在接收第二数据之后，从第一服务器中接收到的数据。第一数据和第二数据均是中间件未发送给第二服务器的数据。

本申请对于第二数据的数量不做限定，第二数据的数量可以为0、1或多个。也就是说，在第一数据之前，若中间件将所有来自第一服务器的数据均发送给了第二服务器，则第二数据的数量为0。否则，中间件中还存储有至少一个第二数据。

S202：中间件获取第一数据的数据属性和第二数据的数据属性，以及第二服务器的运行状态。

在本申请实施例中，第一数据的数据属性可包括数据类型、数据容量、业务类型、上传第一服务器的时间、上传中间件的时间等，在此不做限定。第二数据的数据属性可参照第一数据的数据属性的描述，第二服务器的运行状态可参照上述的运行状态的描述，在此不再赘述。需要说明的是，第二数据的数据属性的属性类别可以与第一数据的数据属性的属性类别相同，或不同。

可以理解，中间件可以分时段传输不同的待同步的数据，以提高数据的即时性。在未传输的待同步的数据为紧急数据或与时间关联紧密的数据时，可以优先传输该数据，以提高数据的有效性。第二服务器的运行状态越差，可以不上传数据，或者上传少量的数据给第二服务器进行更新，以减少第二服务器的工作量。

S203：中间件基于第一数据的数据属性、第二数据的数据属性和第二服务器的运行状态确定第一数据和第二数据中的待同步数据，以及待同步数据的同步时间。

在本申请实施例中，待同步数据可以为第一数据和第二数据中优先同步的数据。待同步数据可以理解为中间件下一次向第二服务器传输的来自第一服务器的数据。

需要说明的是，待同步数据的数量可以为0、1或多个。待同步数据的数量的最大值可以为第一数据和第二数据之间的数量和值。也就是说，在待同步数据的数量为第一数据和第二数据之间的数量和值时，可以将所有的第一数据和第二数据发送给第二服务器。在待同步数据的数量为0时，可以不执行后续的步骤，例如，步骤S204、步骤S205、步骤S304～S306。若没有执行步骤S204，则不会将第一数据和第二数据发送给第二服务器。该第一数据和第二数据仍存储于中间件中，作为新的第二数据。在下一次执行步骤S201之后，可确定新接收到的数据为第一数据。

在本申请实施例中，待同步数据的同步时间是指将待同步数据发送给第二服务器的时间。该同步时间可以为从确定待同步数据的当前时间到下一次接收到第一数据之间的任一时间。示例性地，第一数据的采样时间为1分钟，在16点14分0秒接收到第一数据，待同步数据的确定时间为16点14分30秒，则待同步数据的同步时间可以为16点14分30秒到16点15分0秒之间的时间。例如，16点14分40秒。

需要说明的是，若待同步数据的数量为多个，则待同步数据的同步时间可以为1个或多个。也就是说，待同步数据可以一起发送给第二服务器，或者分开发送给第二服务器。

本申请对于确定待同步数据和待同步数据的同步时间的方法不做限定，在一种可能的示例中，步骤S203包括以下步骤A1～A4，其中：

A1：中间件基于第一数据的数据属性和第二服务器的运行状态确定第一数据的传输概率。

A2：中间件基于第二数据的数据属性和第二服务器的运行状态确定第二数据的传输概率。

A3：中间件将第一数据和第二数据中传输概率大于预设阈值的数据作为待同步数据。

本申请对于步骤A1和步骤A2的执行顺序不做限定，可以先执行步骤A1，再执行步骤A2。或者可以先执行步骤A2，再执行步骤A1。或者可以同时执行步骤A1和步骤A2。

在本申请实施例中，传输概率用于描述数据同步的可能性，与预设阈值一起用于确定是否为待同步数据。也就是说，在数据的传输概率大于预设阈值时，确定该数据为待同步数据。本申请对于预设阈值不做限定，可以为固定的数值，例如，0.8等。或者可以基于第一数据和第二数据之间的数据总量等进行获取，例如，数据总量越大，预设阈值越大等。

本申请对于获取传输概率的方法不做限定，可以将运行状态和第一数据的数据属性输入至预设模型，得到第一数据的传输概率。该预设模型可以为训练得到的神经网络，或者可以为机器学习得到的模型等，本申请对于训练方法和机器学习方法不做限定。

以下以第一数据的传输概率为例进行描述，在一种可能的示例中，步骤A1可以包括以下步骤A11-A13，其中：

A11：中间件基于第一数据的数据属性和第二服务器的运行状态确定第一数据的时间期限。

在本申请实施例中，时间期限用于描述第一数据上传给第二服务器的时间范围，可以理解为上传第一数据的时间有效性。本申请对于确定时间期限的方法不做限定，可采用另一个预设模型进行预测得到。该预设模型可采用待同步数据进行重训练，以提高数据同步的有效性。

在一种可能的示例中，第一数据的数据属性至少包括第一数据的数据容量和业务类型，步骤A11可以包括以下步骤A111-A113，其中：

A111：中间件基于第二服务器的运行状态确定第二服务器的剩余处理容量和业务类型的处理效率。

在本申请实施例中，剩余处理容量是指第二服务器当前还能处理的数据容量。本申请对于确定剩余处理容量的方法不做限定，可对第二服务器的运行状态进行评估，得到第二服务器的处理速率；再根据第二服务器的当前处理的数据量和处理速率确定第二服务器的剩余处理容量。如此，基于第二服务器的运行状态确定的第二服务器的剩余处理容量，可提高确定剩余处理容量的准确率。

业务类型的处理效率是指第二服务器在当前运行状态下处理业务类型的数据的效率。本申请对于确定业务类型的处理效率的方法不做限定，可以对第二服务器的历史处理数据的运行状态进行记录，从而确定第二服务器在当前运行状态下业务类型的处理效率。

若未查找到当前运行状态下业务类型的记录，则可以在一种可能的示例中，确定第一数据的业务类型对应的第一历史记录，以及第二服务器的运行状态对应的第二历史记录；基于第一历史记录和第二历史记录估算业务类型的处理效率。

其中，第一历史记录与第一数据的业务类型对应，可以确定业务类型和各种第二服务器的运行状态之间的第一映射关系。第二历史记录与第二服务器的运行状态对应，可以确定第二服务器的运行状态和各种业务类型之间的第二映射关系。在该示例中，基于第一数据的业务类型对应的第一历史记录和第二服务器的运行状态对应的第二历史记录对业务类型的处理效率进行估算，可提高确定处理效率的准确率。

A112：中间件基于第二服务器的剩余处理容量和第一数据的数据容量确定第一数据的处理概率。

在本申请实施例中，第一数据的处理概率用于描述第一数据进行数据同步的概率。本申请对于确定第一数据的处理概率的方法不做限定，可以基于第二服务器的剩余处理容量和第一数据的数据容量之间的比值，或该剩余处理容量和该数据容量之间的差值等。可以理解，待同步数据的数据容量应小于剩余处理容量，即第一数据的数据容量越大，被传输给第二服务器的概率越小。

A113：中间件基于第一数据的业务类型的处理效率和第一数据的处理概率确定第一数据的时间期限。

在本申请实施例中，时间期限可以为第一数据的业务类型的处理效率和第一数据的处理概率之间的乘积，或加权平均值，在此不做限定。

可以理解，在步骤A11-A13中，中间件先基于第二服务器的运行状态确定该第二服务器的剩余处理容量和第一数据的业务类型的处理效率。再基于第二服务器的剩余处理容量和第一数据的数据容量确定第一数据的处理概率，然后基于第一数据的业务类型的处理效率和第一数据的处理概率确定第一数据的时间期限。如此，考虑了第二服务器的处理状态和第一数据的数据属性，可提高确定第一数据的时间期限的准确率。

在另一种可能的示例中，步骤A11可以包括以下步骤：基于第一数据的数据属性获取第一数据的优先级；基于第二服务器的运行状态确定第二服务器的剩余处理容量；基于剩余处理容量和第一数据的数据容量确定第一数据的处理概率；将第一数据的优先级和处理概率输入至预设网络，得到第一数据的时间期限。

在本申请实施例中，优先级是用于描述数据上传给第二服务器的紧急程度。本申请对于优先级的计算方法不做限定，以第一数据的优先级进行举例说明，在一种可能的示例中，基于第一数据的数据容量和预设数据容量之间的比值确定所述第一数据的优先级。其中，预设数据容量可以为固定的数值，例如，1兆等。预设数据容量或者可以为基于中间件的剩余存储容量或第二数据的数据容量进行确定等，在此不做限定。

在另一种可能的示例中，基于第一数据的数据属性获取第一数据的优先级可以包括：基于第一数据的业务类型确定第一数据的有效时间；基于当前时间和第一数据上传所述第一服务器的时间之间的差值获取时间间隔；基于有效时间和时间间隔确定第一数据的优先级。

其中，有效时间用于描述第一数据的时间有效性，可以理解为第一数据的更新时间。时间间隔可以为当前时间和第一数据上传第一服务器的时间之间的差值，可以理解为未上传给第二服务器的已占用时间。如此，可以基于时间期限和时间间隔确定传输第一数据的剩余时间，从而基于该剩余时间确定第一数据的优先级，以提高数据传输的有效性。

需要说明的是，上述2种实施方式并不构成对本申请实施例的限定，实际应用中，还可以采用其他实施方式确定第一数据的时间期限。例如，基于第一数据的数据容量、数量类型和业务类型确定第一数据的时间期限。

A12：中间件计算当前时间和第一数据上传第一服务器的时间之间的差值，得到第一数据的时间间隔。

在本申请实施例中，第一数据的时间间隔可以为当前时间和第一数据上传第一服务器的时间之间的差值，第二数据的时间间隔可以为当前时间和第二数据上传第一服务器的时间之间的差值，可以理解为未上传给第二服务器的已占用时间。

A13：中间件基于第一数据的时间期限和时间间隔确定第一数据的传输概率。

在一种可能的示例中，可以基于时间期限和时间间隔之间的时间差确定传输第一数据的剩余时间，从而基于该剩余时间和传输概率之间的映射关系确定数据的传输概率。或者，在另一种可能的示例中，可以基于时间和传输概率之间的映射关系，确定第一数据的时间期限对应的第一传输概率和第一数据的时间间隔对应的第二传输概率；再对第一传输概率和第二传输概率进行加权计算，得到第一数据的传输概率。

可以理解，在步骤A11～A13中，中间件先基于第一数据的数据属性和第二服务器的运行状态确定第一数据的时间期限，计算当前时间和第一数据上传第一服务器的时间之间的差值得到第一数据的时间间隔。再根据第一数据的时间期限和时间间隔确定第一数据的传输概率。如此，从同步时间的角度计算传输概率，可提高数据同步的有效性和准确率。

A4：中间件将待同步数据的数据属性和第二服务器的运行状态输入至预设网络，得到待同步数据的同步时间。

在本申请实施例中，预设网络用于确定待同步数据的同步时间。可以理解，在步骤A1～A4中，中间件先分别确定第一数据的传输概率和第二数据的传输概率。再选取传输概率大于预设阈值的数据作为待同步数据，从而可提高选取待同步数据的准确率。然后将待同步数据的数据属性和第二服务器的运行状态输入至预设网络，得到待同步数据的同步时间。如此，通过人工智能技术确定待同步数据的同步时间，有利于提高数据同步的有效性和准确率。

在一种可能的示例中，步骤A4可以包括以下步骤A41～A43，其中：

A41：中间件基于待同步数据的数据属性确定待同步数据的数据特征。

A42：中间件基于第二服务器的运行状态确定第二服务器的运行特征。

本申请对于步骤A41和步骤A42的执行顺序不做限定，可以先执行步骤A41，再执行步骤A42。或者可以先执行步骤A42，再执行步骤A41。或者可以同时执行步骤A41和步骤A42。

在本申请实施例中，待同步数据的数据特征可以包括待同步数据的优先级、时间期限、时间间隔、数据类型、业务类型等，在此不做限定。本申请对于确定待同步数据的数据特征的方法不做限定，优先级、时间期限和时间间隔可参照前述，在此不再赘述。数据类型和业务类型可以为数据属性中自带的数据特征，或者可以基于待同步数据的标签、数据来源、用户类型等信息进行确定等。

第二服务器的运行特征可以包括第二服务器的运行速率、支持线程数量、剩余处理容量、业务类型的处理效率等，在此不做限定。且本申请对于确定第二服务器的运行特征的方法不做限定，剩余处理容量和业务类型的处理效率可参照前述，运行速率和支持线程数量可基于历史数据进行分析等。

A43：中间件将待同步数据的数据特征和第二服务器的运行特征输入至预设网络，得到待同步数据的同步时间。

可以理解，在步骤A41～A43中，中间件先确定待同步数据的数据特征，以及第二服务器的运行特征。再将该数据特征和运行特征输入至预设网络，得到待同步数据的同步时间。如此，通过结合人工智能技术，可提高确定同步时间的准确率，有利于提高数据同步的有效性和准确率。

S204：中间件确定待同步数据满足传输规则。

在本申请实施例中，传输规则用于确定待同步数据是否能直接传输给第二服务器。本申请对于传输规则不做限定，在一种可能的示例中，步骤S204可以包括以下步骤：中间件基于第一服务器的服务器类型和待同步数据的数据类型确定传输规则。

应理解，该传输规则可以与第一服务器的服务器类型相关。例如，内网服务器上的内容受安全性的影响，需确定待同步数据是否满足传输规则。若是，才能传输给外网服务器。否则，不传输或传输部分满足传输规则的内容给外网服务器。而外网服务器上的内容可以全部传输给内网服务器。该传输规则还与待同步数据的数据类型相关。例如，外网服务器或内网服务器上的内容有些不需要进行数据同步，或者为敏感信息等，因此对此类数据不进行数据传输，以提高数据传输效率。在该示例中，基于第一服务器的服务器类型和待同步数据的数据类型确定传输规则，可提高数据传输的安全性和有效性。

S205：在同步时间到达时，中间件将待同步数据发送给第二服务器。

在图2所示的方法中，中间件从第一服务器接收到待发送给第二服务器(即待同步的服务器)的第一数据之后，获取该第一数据的数据属性和第一数据之前从第一服务器接收到的，且未发送给第二服务器的第二数据的数据属性，以及第二服务器的运行状态。然后中间件基于第一数据的数据属性、第二数据的数据属性和第二服务器的运行状态确定已接收到的第一数据和第二数据中的待同步数据，以及该待同步数据的同步时间。也就是说，根据未发送给待同步的服务器的数据的数据属性和待同步的服务器的运行状态确定待同步数据和传输待同步数据的时间。然后确定该待同步数据是否满足传输规则，若是，则在同步时间到达时，中间件将该待同步数据发送给第二服务器，以使第二服务器对待同步数据进行数据同步。如此，能够在保证数据安全的情况下，提高数据同步的有效性和灵活性。

请参照图3，图3是本申请提供的另一种数据同步方法的流程示意图。以该方法以中间件为执行主体进行描述，包括如下步骤S301～S306，其中：

S301：中间件从第一服务器接收第一数据和第二数据。

S302：中间件获取第一数据的数据属性和中间件缓存的第二数据的数据属性，以及第二服务器的运行状态。

S303：中间件基于第一数据的数据属性、第二数据的数据属性和第二服务器的运行状态确定第一数据和第二数据中的待同步数据，以及待同步数据的同步时间。

S304：中间件确定待同步数据不满足传输规则。

其中，第一数据在第二数据之后接收到，且第一数据和第二数据均未发送给第二服务器。步骤S301～S304可参照步骤S201～S204的描述，在此不再赘述。

S305：中间件基于待同步数据的脱敏规则对待同步数据进行脱敏处理，得到目标数据。

在本申请实施例中，传输规则可以包括待同步数据的脱敏规则。该脱敏规则用于对待同步数据进行脱敏处理，以使脱敏处理得到的目标数据满足传输规则。本申请对于脱敏处理的方法不做限定，在一种可能的示例中，在步骤S305之前还可以包括以下步骤B1～B3，其中：

B1：中间件对待同步数据进行分词，得到多个词汇和词汇的词性和词义。

本申请对于分词方法不做限定，可基于自然语言处理算法，例如，采用jieba分词工具，或者采用word2vec的词向量模型等获取待同步数据中的词汇，以及该词汇的词性(例如，名词、动词这两大类，还有人名、地名、机构名称等，或者副动词，名动词等)和词义，从而确定该词汇在待同步数据中的含义。

需要说明的是，分词得到的词汇可以为待同步数据中除了停用词之外的词汇。停用词(stop words)是指在信息检索中，为节省存储空间和提高搜索效率，在处理自然语言数据(或文本)之前或之后会自动过滤掉的某些字或词。例如，“吗”“呢”等表示疑问的语气词，“然后”“而”等表示顺承关系的词语等。可以理解，对停用词之外的词汇进行分析，可提高数据分析的效率。

B2：中间件基于词汇的词性和词义确定待同步数据的安全级别，以及词汇中的敏感词汇。

在本申请实施例中，安全级别用于描述待同步数据泄露到外网的影响，可以为对企业或用户的信息泄露的影响。敏感词汇可以预先存储于预设敏感信息表，用于记录已经识别为敏感字段的信息。该预设敏感信息表可包括字段列名、字段内容、表格标识、数据标识、表格名称等属性信息。其中，字段列名为字段的属性类名，例如，姓名、身份证号、电话号码等。字段内容为字段列名对应的值，即字段列名和字段内容属于属性-值的关系。表格标识用于表示表格，表格名称为该字段对应的数据的表格名称。数据标识为数据的标识，或数据对应的用户标识。该预设敏感信息表还可包括敏感字段和该敏感字段对应的脱敏规则。

在本申请实施例中，还可存储一个预设敏感信息例外表，用于记录已经识别为非敏感字段的疑似敏感字段的信息。也就是说，若预设敏感信息表包括疑似敏感字段，则可确定该疑似敏感字段为敏感字段。若预设敏感信息例外表包括疑似敏感字段，则可排除该疑似敏感字段为敏感字段，该疑似敏感字段为非敏感字段。若预设敏感信息表和预设敏感信息例外表，均不包括该疑似敏感字段，则既不能确定该疑似敏感字段为敏感字段，也不能排除该疑似敏感字段为敏感字段。需要说明的是，敏感字段的脱敏规则可单独存储。

本申请对于确定安全级别和敏感词汇的方法不做限定，可以基于预设敏感信息表和预设敏感信息例外表对词汇进行排除。再基于词汇的词性和词义与敏感词汇之间的关联性，再根据关联性的大小确定待同步数据的安全级别。例如，关联性越大，安全级别越低等。

B3：中间件基于待同步数据的数据类型和安全级别生成待同步数据的脱敏规则。

本申请可以预先存储安全级别对应的脱敏规则，以及数据类型对应的脱敏规则，从而在确定安全级别之后，基于该安全级别对应的脱敏规则和数据类型对应的脱敏规则确定待同步数据的脱敏规则。然后，可基于该待同步数据的脱敏规则进行脱敏处理，可提高脱敏处理的效果，有利于提高数据的安全性。

本申请对于安全级别对应的脱敏规则不做限定，安全级别越高，脱敏规则越复杂，数据还原的可能性越低。例如，安全级别低的待同步数据，仅将脱敏词汇进行脱敏处理。安全级别高的待同步数据，会将脱敏词汇和脱敏词汇对应的字段进行脱敏处理。如前所述，传输规则可与待同步数据的数据类型相关，则待同步数据的数据类型可以与传输规则中待同步数据的脱敏规则相关。在待同步数据的脱敏规则与待同步数据的安全级别相关时，可进一步提高数据传输的安全性。

在一种可能的示例中，步骤S305具体可以包括步骤B4：中间件基于待同步数据的脱敏规则对敏感词汇和敏感词汇对应的字段进行脱敏处理，得到目标数据。

在本申请实施例中，敏感词汇对应的字段可以为敏感词汇对应的属性或关联数据，或者敏感词汇对应的句子中的最小处理单元等，在此不做限定。可以理解，对敏感词汇和敏感词汇对应的字段进行脱敏处理，可提高脱敏处理的效果，有利于提高数据的安全性。

可以理解，在步骤B1～B4中，中间件先对待同步数据进行分词，得到多个词汇和每一词汇的词性和词义。再基于词汇的词性和词义确定待同步数据的安全级别，以及词汇中的敏感词汇。然后基于待同步数据的数据类型和安全级别生成的待同步数据的脱敏规则，对敏感词汇和敏感词汇对应的字段进行脱敏处理，可提高脱敏处理的效果，有利于提高数据的安全性。

S306：在同步时间到达时，中间件将目标数据发送给第二服务器。

在图3所示的方法中，中间件基于从第一服务器接收到的数据的数据属性和第二服务器(即待同步的服务器)的运行状态确定已接收到的数据中的待同步数据，以及该待同步数据的同步时间。然后确定该待同步数据是否满足传输规则，若否，则基于传输规则中待同步数据的脱敏规则对待同步数据进行脱敏处理，得到目标数据。在同步时间到达时，中间件将该目标数据发送给第二服务器，以使第二服务器对待同步数据进行数据同步。如此，可进一步提高数据的安全性。

上述详细阐述了本申请实施例的方法，下面提供了本申请实施例的装置。

与图2或图3所示的实施例一致，请参照图4，图4是本申请提出的一种数据同步装置的结构示意图。如图4所示，上述数据同步装置400包括：

通信单元401用于从第一服务器接收第一数据和第二数据，所述第一数据在所述第二数据之后接收到，所述第一数据和所述第二数据均未发送给第二服务器；

处理单元402用于获取所述第一数据的数据属性和所述第二数据的数据属性，以及所述第二服务器的运行状态；基于所述第一数据的数据属性、所述第二数据的数据属性和所述第二服务器的运行状态确定所述第一数据和所述第二数据中的待同步数据，以及所述待同步数据的同步时间；确定所述待同步数据满足传输规则；

所述通信单元401还用于在所述同步时间到达时，将所述待同步数据发送给所述第二服务器。

在一种可能的示例中，所述处理单元402具体用于基于所述第一数据的数据属性和所述第二服务器的运行状态确定所述第一数据的传输概率；基于所述第二数据的数据属性和所述第二服务器的运行状态确定所述第二数据的传输概率；将所述第一数据和所述第二数据中所述传输概率大于预设阈值的数据作为待同步数据；将所述待同步数据的数据属性和所述第二服务器的运行状态输入至预设网络，得到所述待同步数据的同步时间。

在一种可能的示例中，所述处理单元402具体用于基于所述第一数据的数据属性和所述第二服务器的运行状态确定所述第一数据的时间期限；计算当前时间和所述第一数据上传所述第一服务器的时间之间的差值，得到所述第一数据的时间间隔；基于所述第一数据的时间期限和时间间隔确定所述第一数据的传输概率。

在一种可能的示例中，所述第一数据的数据属性至少包括所述第一数据的数据容量和业务类型，所述处理单元402具体用于基于所述第二服务器的运行状态确定所述第二服务器的剩余处理容量和所述业务类型的处理效率；基于所述剩余处理容量和所述数据容量确定所述第一数据的处理概率；基于所述处理效率和所述处理概率确定所述第一数据的时间期限。

在一种可能的示例中，所述数据同步装置400还包括存储单元403，用于存储预设网络；所述处理单元402具体用于基于所述待同步数据的数据属性确定所述待同步数据的数据特征；基于所述第二服务器的运行状态确定所述第二服务器的运行特征；将所述待同步数据的数据特征和所述第二服务器的运行特征输入至所述预设网络，得到所述待同步数据的同步时间。

在一种可能的示例中，所述处理单元402还用于确定所述待同步数据不满足所述传输规则，所述传输规则包括所述待同步数据的脱敏规则；基于所述待同步数据的脱敏规则对所述待同步数据进行脱敏处理，得到目标数据；所述通信单元401还用于在所述同步时间到达时，将所述目标数据发送给所述第二服务器。

在一种可能的示例中，所述处理单元402具体用于对所述待同步数据进行分词，得到多个词汇和所述词汇的词性和词义；基于所述词汇的词性和词义确定所述待同步数据的安全级别，以及所述词汇中的敏感词汇；基于所述待同步数据的数据类型和所述安全级别生成所述待同步数据的脱敏规则；基于所述待同步数据的脱敏规则对所述敏感词汇和所述敏感词汇对应的字段进行脱敏处理，得到目标数据。

该数据同步装置400中各个单元执行详细过程可以参见前述方法实施例中的执行步骤，此处不在赘述。

与图2或图3的实施例一致，请参照图5，图5是本申请实施例提供的一种计算机设备的结构示意图。如图5所示，该计算机设备500包括处理器510、存储器520和通信接口530。其中，处理器510、存储器520和通信接口530之间通过总线540互相连接。图4所示的通信单元401所实现的相关功能可通过通信接口530来实现，图4所示的处理单元402所实现的相关功能可通过处理器510来实现，图4所示的存储单元403所实现的相关功能可通过存储器520来实现。

上述存储器520中存储有计算机程序540，由上述处理器510执行，包括用于执行以下步骤的指令：

从第一服务器接收第一数据和第二数据，所述第一数据在所述第二数据之后接收到，所述第一数据和所述第二数据均未发送给第二服务器；

获取所述第一数据的数据属性和所述第二数据的数据属性，以及所述第二服务器的运行状态；

基于所述第一数据的数据属性、所述第二数据的数据属性和所述第二服务器的运行状态确定所述第一数据和所述第二数据中的待同步数据，以及所述待同步数据的同步时间；

确定所述待同步数据满足传输规则；

在所述同步时间到达时，将所述待同步数据发送给所述第二服务器。

在一个可能的示例中，在所述基于所述第一数据的数据属性、所述第二数据的数据属性和所述第二服务器的运行状态确定所述第一数据和所述第二数据中的待同步数据，以及所述待同步数据的同步时间方面，所述计算机程序540具体包括用于执行以下步骤的指令：

基于所述第一数据的数据属性和所述第二服务器的运行状态确定所述第一数据的传输概率；

基于所述第二数据的数据属性和所述第二服务器的运行状态确定所述第二数据的传输概率；

将所述第一数据和所述第二数据中所述传输概率大于预设阈值的数据作为待同步数据；

将所述待同步数据的数据属性和所述第二服务器的运行状态输入至预设网络，得到所述待同步数据的同步时间。

在一个可能的示例中，在所述基于所述第一数据的数据属性和所述第二服务器的运行状态确定所述第一数据的传输概率方面，所述计算机程序540具体包括用于执行以下步骤的指令：

基于所述第一数据的数据属性和所述第二服务器的运行状态确定所述第一数据的时间期限；

计算当前时间和所述第一数据上传所述第一服务器的时间之间的差值，得到所述第一数据的时间间隔；

基于所述第一数据的时间期限和时间间隔确定所述第一数据的传输概率。

在一个可能的示例中，所述第一数据的数据属性至少包括所述第一数据的数据容量和业务类型，在所述基于所述第一数据的数据属性和所述第二服务器的运行状态确定所述第一数据的时间期限方面，所述计算机程序540具体包括用于执行以下步骤的指令：

基于所述第二服务器的运行状态确定所述第二服务器的剩余处理容量和所述业务类型的处理效率；

基于所述剩余处理容量和所述数据容量确定所述第一数据的处理概率；

基于所述处理效率和所述处理概率确定所述第一数据的时间期限。

在一个可能的示例中，在所述将所述待同步数据的数据属性和所述第二服务器的运行状态输入至预设网络，得到所述待同步数据的同步时间方面，所述计算机程序540具体包括用于执行以下步骤的指令：

基于所述待同步数据的数据属性确定所述待同步数据的数据特征；

基于所述第二服务器的运行状态确定所述第二服务器的运行特征；

将所述待同步数据的数据特征和所述第二服务器的运行特征输入至预设网络，得到所述待同步数据的同步时间。

在一个可能的示例中，所述计算机程序540还包括用于执行以下步骤的指令：

确定所述待同步数据不满足所述传输规则，所述传输规则包括所述待同步数据的脱敏规则；

基于所述待同步数据的脱敏规则对所述待同步数据进行脱敏处理，得到目标数据；

在所述同步时间到达时，将所述目标数据发送给所述第二服务器。

在一个可能的示例中，在所述基于所述待同步数据的脱敏规则对所述待同步数据进行脱敏处理，得到目标数据之前，所述计算机程序540还包括用于执行以下步骤的指令：

对所述待同步数据进行分词，得到多个词汇和所述词汇的词性和词义；

基于所述词汇的词性和词义确定所述待同步数据的安全级别，以及所述词汇中的敏感词汇；

基于所述待同步数据的数据类型和所述安全级别生成所述待同步数据的脱敏规则；

在所述基于所述待同步数据的脱敏规则对所述待同步数据进行脱敏处理，得到目标数据方面，所述计算机程序540具体包括用于执行以下步骤的指令：

基于所述待同步数据的脱敏规则对所述敏感词汇和所述敏感词汇对应的字段进行脱敏处理，得到目标数据。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于存储计算机程序，该计算机程序使得计算机执行以实现方法实施例中记载的任一方法的部分或全部步骤，计算机包括中间件、电子设备和服务器。

本申请实施例还提供一种计算机程序产品，计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，计算机程序可操作来使计算机执行以实现方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，计算机包括中间件、电子设备和服务器。

在上述实施例中，计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。例如，区块链中可存储预设网络、预设阈值、脱敏规则、预设敏感信息表、预设敏感信息例外表等，在此不做限定。

本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模式并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如至少一个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到至少一个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模式的形式实现。

集成的单元如果以软件程序模式的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。根据这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(read-only memory，ROM)、随机存取存储器(random accessmemory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种数据同步方法，其特征在于，包括：

中间件从第一服务器接收第一数据和第二数据，所述第一数据在所述第二数据之后接收到，所述第一数据和所述第二数据均未发送给第二服务器；

所述中间件获取所述第一数据的数据属性和所述第二数据的数据属性，以及所述第二服务器的运行状态；

所述中间件基于所述第一数据的数据属性、所述第二数据的数据属性和所述第二服务器的运行状态确定所述第一数据和所述第二数据中的待同步数据，以及所述待同步数据的同步时间；

所述中间件确定所述待同步数据满足传输规则；

在所述同步时间到达时，所述中间件将所述待同步数据发送给所述第二服务器。

2.根据权利要求1所述的方法，其特征在于，所述中间件基于所述第一数据的数据属性、所述第二数据的数据属性和所述第二服务器的运行状态确定所述第一数据和所述第二数据中的待同步数据，以及所述待同步数据的同步时间，包括：

所述中间件基于所述第一数据的数据属性和所述第二服务器的运行状态确定所述第一数据的传输概率；

所述中间件基于所述第二数据的数据属性和所述第二服务器的运行状态确定所述第二数据的传输概率；

所述中间件将所述第一数据和所述第二数据中所述传输概率大于预设阈值的数据作为待同步数据；

所述中间件将所述待同步数据的数据属性和所述第二服务器的运行状态输入至预设网络，得到所述待同步数据的同步时间。

3.根据权利要求2所述的方法，其特征在于，所述中间件基于所述第一数据的数据属性和所述第二服务器的运行状态确定所述第一数据的传输概率，包括：

所述中间件基于所述第一数据的数据属性和所述第二服务器的运行状态确定所述第一数据的时间期限；

所述中间件计算当前时间和所述第一数据上传所述第一服务器的时间之间的差值，得到所述第一数据的时间间隔；

所述中间件基于所述第一数据的时间期限和时间间隔确定所述第一数据的传输概率。

4.根据权利要求3所述的方法，其特征在于，所述第一数据的数据属性至少包括所述第一数据的数据容量和业务类型，所述中间件基于所述第一数据的数据属性和所述第二服务器的运行状态确定所述第一数据的时间期限，包括：

所述中间件基于所述第二服务器的运行状态确定所述第二服务器的剩余处理容量和所述业务类型的处理效率；

所述中间件基于所述剩余处理容量和所述数据容量确定所述第一数据的处理概率；

所述中间件基于所述处理效率和所述处理概率确定所述第一数据的时间期限。

5.根据权利要求2所述的方法，其特征在于，所述中间件将所述待同步数据的数据属性和所述第二服务器的运行状态输入至预设网络，得到所述待同步数据的同步时间，包括：

所述中间件基于所述待同步数据的数据属性确定所述待同步数据的数据特征；

所述中间件基于所述第二服务器的运行状态确定所述第二服务器的运行特征；

所述中间件将所述待同步数据的数据特征和所述第二服务器的运行特征输入至预设网络，得到所述待同步数据的同步时间。

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述方法还包括：

所述中间件确定所述待同步数据不满足所述传输规则，所述传输规则包括所述待同步数据的脱敏规则；

所述中间件基于所述待同步数据的脱敏规则对所述待同步数据进行脱敏处理，得到目标数据；

在所述同步时间到达时，所述中间件将所述目标数据发送给所述第二服务器。

7.根据权利要求6所述的方法，其特征在于，所述中间件基于所述待同步数据的脱敏规则对所述待同步数据进行脱敏处理，得到目标数据之前，所述方法还包括：

所述中间件对所述待同步数据进行分词，得到多个词汇和所述词汇的词性和词义；

所述中间件基于所述词汇的词性和词义确定所述待同步数据的安全级别，以及所述词汇中的敏感词汇；

所述中间件基于所述待同步数据的数据类型和所述安全级别生成所述待同步数据的脱敏规则；

所述中间件基于所述待同步数据的脱敏规则对所述待同步数据进行脱敏处理，得到目标数据，包括：

所述中间件基于所述待同步数据的脱敏规则对所述敏感词汇和所述敏感词汇对应的字段进行脱敏处理，得到目标数据。

8.一种数据同步装置，其特征在于，包括：

通信单元，用于从第一服务器接收第一数据和第二数据，所述第一数据在所述第二数据之后接收到，所述第一数据和所述第二数据均未发送给第二服务器；

处理单元，用于获取所述第一数据的数据属性和所述第二数据的数据属性，以及所述第二服务器的运行状态；基于所述第一数据的数据属性、所述第二数据的数据属性和所述第二服务器运行状态确定所述第一数据和所述第二数据中的待同步数据，以及所述待同步数据的同步时间；确定所述待同步数据满足传输规则；

所述通信单元，还用于在所述同步时间到达时，将所述待同步数据发送给所述第二服务器。

9.一种计算机设备，其特征在于，包括处理器、存储器和通信接口，其中，所述存储器中存储有计算机程序，被配置由所述处理器执行，所述计算机程序包括用于执行权利要求1-7中任一项方法中的步骤的指令。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，所述计算机程序使得计算机执行以实现权利要求1-7中任一项所述的方法。

Images