CN117033087B - 数据处理方法、装置、存储介质及管理服务器 - Google Patents

Abstract

本申请公开了一种数据处理方法、装置、存储介质及管理服务器，该方法应用于分布式主备系统中，主备系统包括管理服务器和至少一个主库、多个备库，数据处理方法应用于管理服务器中，数据处理方法包括：根据目标主库的第一数据集的第一数据属性/第二数据集的第二数据属性、目标主库、与目标主库通信连接的至少一个备库分别与目标存储设备之间的网络状态、以及，目标主库、与目标主库通信连接的至少一个备库分别与目标存储设备之间的网络距离，确定数据备份或者数据恢复的数据传输方式，本申请实施例通过数据传输方式对数据进行备份或恢复，能够提高数据备份和数据恢复过程的效率和正确率，能够更好的保护数据的完整性和数据传输的可靠性。

Description

数据处理方法、装置、存储介质及管理服务器

技术领域

本申请涉及数据库技术领域，尤其涉及一种数据处理方法、装置、存储介质及管理服务器。

背景技术

实时主备由一个主库以及一个或者多个配置了实时归档的备库组成，其主要目的是保障数据库可用性，提高数据安全性。而主库与备库之间需要进行数据同步，还需要进行数据备份和数据恢复，目前的数据备份过程和数据恢复过程的效率和正确率不够高。

发明内容

本申请实施例提供一种数据处理方法、装置、存储介质及管理服务器，能够提高主备系统的数据备份和数据恢复过程的效率和正确率。

本申请实施例提供了一种数据处理方法，应用于分布式主备系统中，所述主备系统包括管理服务器和至少一个主库、多个备库，所述管理服务器分别与每个主库、每个备库通信连接，每个主库与至少一个备库通信连接，每个主库与所连接的至少一个备库之间的数据保持同步，所述数据处理方法应用于所述管理服务器中，所述数据处理方法包括：

获取与所述主备系统通信连接的目标存储设备的网络位置；

获取目标主库的第一数据集的第一数据属性，或者，所述目标存储设备中的第二数据集的第二数据属性，其中，所述目标主库为至少一个主库中的其中一个主库；

根据所述网络位置确定所述目标主库、与所述目标主库通信连接的至少一个备库分别与所述目标存储设备之间的网络状态；

根据所述网络位置确定所述目标主库、与所述目标主库通信连接的至少一个备库到所述目标存储设备之间的网络距离；

根据所述第一数据属性、所述网络状态和所述网络距离，确定所述目标主库将所述第一数据集备份至所述目标存储设备中的数据传输方式，或者，根据所述第二数据属性、所述网络状态和所述网络距离，确定所述目标存储设备将所述第二数据集恢复至所述目标主库或者恢复至与所述目标主库连接的至少一个备库的数据传输方式。

本申请实施例还提供了一种数据处理装置，应用于分布式主备系统中，所述主备系统包括管理服务器和至少一个主库、多个备库，所述管理服务器分别与每个主库、每个备库通信连接，每个主库与至少一个备库通信连接，每个主库与所连接的至少一个备库之间的数据保持同步，所述数据处理装置应用于所述管理服务器中，包括获取模块、确定模块与处理模块；

所述获取模块用于获取与所述主备系统通信连接的目标存储设备的网络位置；以及，获取目标主库的第一数据集的第一数据属性，或者，所述目标存储设备中的第二数据集的第二数据属性，其中，所述目标主库为至少一个主库中的其中一个主库；

所述确定模块用于根据所述网络位置确定所述目标主库、与所述目标主库通信连接的至少一个备库分别与所述目标存储设备之间的网络状态；以及，根据所述网络位置确定所述目标主库、与所述目标主库通信连接的至少一个备库到所述目标存储设备之间的网络距离；

所述处理模块用于根据所述第一数据属性、所述网络状态和所述网络距离，确定所述目标主库将所述第一数据集备份至所述目标存储设备中的数据传输方式，或者，根据所述第二数据属性、所述网络状态和所述网络距离，确定所述目标存储设备将所述第二数据集恢复至所述目标主库或者恢复至与所述目标主库连接的至少一个备库的数据传输方式。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有多条指令，所述指令适于由处理器加载以执行上述任一项数据处理方法。

本申请实施例还提供了一种管理服务器，包括处理器和存储器，所述处理器与所述存储器电性连接，所述存储器用于存储指令和数据，所述处理器用于上述任一项所述的数据处理方法中的步骤。

本申请提供的数据处理方法、装置、存储介质及管理服务器，根据目标主库的第一数据集的第一数据属性/第二数据集的第二数据属性、目标主库、与目标主库通信连接的至少一个备库分别与目标存储设备之间的网络状态、以及，目标主库、与目标主库通信连接的至少一个备库分别与目标存储设备之间的网络距离，确定数据备份或者数据恢复的数据传输方式，通过数据传输方式对数据进行备份或恢复，能够提高数据备份和数据恢复过程的效率和正确率，能够更好的保护数据的完整性和数据传输的可靠性。

附图说明

下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其它有益效果显而易见。

图1为本申请实施例提供的数据处理方法的应用场景示意图。

图2为本申请实施例提供的数据处理方法的流程示意图。

图3为本申请实施例提供的数据处理装置的结构示意图。

图4为本申请实施例提供的管理服务器的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供一种数据处理方法、装置、存储介质及管理服务器。本申请实施例提供的任一种数据处理装置，可以集成在管理服务器中。

下面对本实施例涉及到的相关词语进行解释，网络传输方式指的是通过计算机网络进行传输，在网络传输方式中，目标传输数据被发送到网络上，通过路由器、交换机等网络设备进行传输，最终到达目标位置。网络传输通常受到网络带宽、延迟和可靠性的限制。在存储器传输方式中，目标主库、与目标主库通信连接的至少一个备库所在的服务器中被配置为挂载nfs（网络文件系统）存储或者其他存储进行数据的传输。

存储器传输方式是指将目标数据直接从源存储设备传输到目标存储设备（从目标主库通过nfs直接传输到目标存储设备或者从目标存储设备通过nfs直接传输到目标主库/与目标主库通信连接的至少一个备库）。在存储器传输方式中，目标传输数据被直接写入目标存储设备/目标主库/与目标主库通信连接的至少一个备库的内存或硬盘中，不需要经过网络传输。存储器传输可以更快地传输大量数据，并且不受网络带宽和稳定性的限制。但是，它需要更多的存储空间和时间，因此成本更高。数据传输方式通常用于备份和还原大型数据集，以避免网络拥塞并提高传输速度。

请参阅图1，图1为本申请实施例所提供的数据处理方法应用的场景示意图，该场景提供了一种分布式主备系统，其中，主备系统包括管理服务器、至少一个主库和多个备库，管理服务器分别与每个主库、每个备库通信连接，每个主库与至少一个备库通信连接，每个主库与所连接的至少一个备库之间的数据保持同步。通过管理服务器获取与主备系统通信连接的目标存储设备的网络位置，获取目标主库的第一数据集的第一数据属性，或者，目标存储设备中的第二数据集的第二数据属性，并确定网络状态，根据数据属性、网络位置和网络状态确定目标主库将第一数据集备份至目标存储设备中的数据传输方式，或者，确定目标存储设备将第二数据集恢复至目标主库或者恢复至目标主库连接的至少一个备库的数据传输方式。其中，主备系统可以仅包括一个主库、多个与主库分别连接的备库，还可以包括集群架构的主备系统，如图1所示，在集群架构的主备系统中，可以包括多个主库，以及分别与每个主库连接的多个备库。

需要说明的是，图1所示的系统场景示意图仅仅是一个示例，本申请实施例描述的服务器以及场景是为了更加清楚地说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着系统的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。

请参阅图2，图2是本申请实施例提供的数据处理方法的流程示意图，其应用于分布式主备系统中，主备系统包括管理服务器和至少一个主库、多个备库，所述管理服务器分别与每个主库、每个备库通信连接，每个主库与至少一个备库通信连接，每个主库与所连接的至少一个备库之间的数据保持同步，数据处理方法应用于管理服务器中，数据处理方法包括：该数据处理方法包括步骤S1~S5，具体可以如下：

S1，获取与主备系统通信连接的目标存储设备的网络位置。

在一种实施例中，目标存储设备分别与至少一个主库、每个主库所连接的至少一个备库进行通信连接。目标存储设备的网络位置可通过目标存储设备的IP地址和端口，或者目标存储设备的域名来表征，根据IP地址和端口，或者域名，可以得知目标存储设备的网络位置。

S2，获取目标主库的第一数据集的第一数据属性，或者，目标存储设备中的第二数据集的第二数据属性，其中，目标主库为至少一个主库中的其中一个主库。

在一种实施例中，第一数据集为目标主库中所有数据的集合，第二数据集为目标存储设备中某一时刻备份的某个主库中的所有数据的集合。当多次进行目标主库的备份时，目标存储设备中存储多个对应备份时刻的多个第二数据集，下一时刻备份的第二数据集不会覆盖上一时刻备份的第二数据集。

在一种实施例中，第一数据集和第二数据集可以包括多种类型的数据，第一数据属性和第二数据属性可以包括数据量大小、数据类型。在数据库中，数据类型包括数字类型、字符类型、日期时间类型等，数字类型包括整数、定点数和浮点数，字符类型包括存储字符和字符串数据，包括二进制数据，例如图片或者文件，日期时间类型包括多种不同格式的日期时间数据。

其中，根据第一数据集/第二数据集中各数据的数据类型，以及各数据占用的字节数，就可以计算数据量大小。

在一种实施例中，步骤S1与步骤S2执行的顺序可以互换，也可以同时执行步骤S1与步骤S2。

S3，根据网络位置确定目标主库、与目标主库通信连接的至少一个备库分别与目标存储设备之间的网络状态。

在一种实施例中，根据目标存储设备的IP地址和端口，或者目标存储设备的域名分别确定目标主库与目标存储设备之间的网络状态，以及，与目标主库通信连接的各个备库与目标存储设备之间的网络状态。其中，网络状态可以包括网络延迟时间、丢包率、带宽速度等。

在一种实施例中，步骤S3可以包括：

S31，利用管理服务器来执行网络探测命令，根据网络探测命令的第一执行结果，来确定目标主库、与目标主库通信连接的至少一个备库分别与目标存储设备之间的网络延迟时间和丢包率；

S32，利用管理服务器来执行第一路由探测命令，根据第一路由探测命令的第二执行结果，确定目标主库、与目标主库通信连接的至少一个备库分别与目标存储设备之间的带宽速度；

其中，网络探测命令或者第一路由探测命令中包括目标存储设备的IP地址和端口，或者目标存储设备的域名。

具体地，在一种实施例中，步骤S31可以包括：

S311，获取管理服务器的系统类型；

S312，当管理服务器的系统类型为windows系统时，调用windows系统自带的cmd命令行解释器窗口，以通过cmd命令行解释器窗口来执行网络探测命令。

S313，当系统类型为linux系统时，调用linux系统自带的bash命令行解释器窗口，以通过bash命令行解释器窗口来执行网络探测命令。

在一种实施例中，网络探测命令可以为ping命令。

具体地，在一种实施例中，步骤S32可以包括：

S321，获取所述管理服务器的系统类型；

S322，当所述管理服务器的系统类型为windows系统时，调用所述windows系统自带的cmd命令行解释器窗口，以通过所述cmd命令行解释器窗口来执行第一路由探测命令；

S323，当所述系统类型为linux系统时，调用所述linux系统自带的bash命令行解释器窗口，以通过所述bash命令行解释器窗口来执行第一路由探测命令。

在一种实施例中，第一路由探测命令可以为traceroute或者tracert命令。

S4，根据网络位置确定目标主库、与目标主库通信连接的至少一个备库到目标存储设备之间的网络距离。

其中，网络距离可以包括路由器数量和跳数。

具体地，在一种实施例中，步骤S4可以包括：

在一种实施例中，步骤S4可以包括：

S41，利用管理服务器来执行第二路由探测命令，根据第二路由探测命令的第三执行结果，确定目标主库、与目标主库通信连接的至少一个备库分别与目标存储设备之间的路由器数量和跳数；

其中，第二路由探测命令中包括目标存储设备的IP地址和端口，或者目标存储设备的域名。

具体地，在一种实施例中，步骤S41可以包括：

S411，获取管理服务器的系统类型；

S412，当管理服务器的系统类型为windows系统时，调用windows系统自带的cmd命令行解释器窗口，以通过cmd命令行解释器窗口来执行第二路由探测命令；

S413，当系统类型为linux系统时，调用linux系统自带的bash命令行解释器窗口，以通过bash命令行解释器窗口来执行第二路由探测命令。

在一种实施例中，第二路由探测命令可以为traceroute或者tracert命令。

S5，根据第一数据属性、网络状态和网络距离，确定目标主库将第一数据集备份至目标存储设备中的数据传输方式，或者，根据第二数据属性、网络状态和网络距离，确定目标存储设备将第二数据集恢复至目标主库或者恢复至与目标主库连接的至少一个备库的数据传输方式。

在一种实施例中，管理服务器包括传输方式确定模型，将第一数据属性、网络状态和网络距离，或者，第二数据属性、网络状态和网络距离，输入至传输方式确定模型中，以得到数据传输方式。将数据传输方式，作为目标主库将第一数据集备份至目标存储设备中的数据传输方式，或者，将数据传输方式，作为目标存储设备将第二数据集恢复至目标主库或者恢复至与目标主库连接的至少一个备库的数据传输方式。

在一种实施例中，传输方式确定模型可以包括传输特征提取模块、融合模块和传输方式确定模块。步骤S5可以包括：

S51，将第一数据属性、目标主库、与目标主库通信连接的至少一个备库分别与目标存储设备之间的网络状态和目标主库、与目标主库通信连接的至少一个备库分别与目标存储设备之间的网络距离，或者，第二数据属性、目标主库、与目标主库通信连接的至少一个备库分别与目标存储设备之间的网络状态和目标主库、与目标主库通信连接的至少一个备库分别与目标存储设备之间的网络距离，输入至传输特征提取模块中进行特征提取处理，以分别得到传输属性特征、传输状态特征、传输距离特征；

S52，将传输属性特征、传输状态特征、传输距离特征，输入至融合模块进行特征融合处理，以得到传输方式特征；

S53，将传输方式特征，输入至传输方式确定模块中进行传输方式确定处理，以得到数据传输方式；

S54，将数据传输方式，作为目标主库将第一数据集备份至目标存储设备中的数据传输方式，或者，将数据传输方式，作为目标存储设备将第二数据集恢复至目标主库或者恢复至与目标主库连接的至少一个备库的数据传输方式。

在一种实施例中，第一数据属性和第二数据属性均包括数据量大小、数据类型中的至少一个，步骤S51可以包括：

S511，将第一数据属性/第二数据属性，输入至传输特征提取模块中，以根据第一数据属性/第二数据属性中的数据量大小、数据类型中的至少一个与对应的数据权重参数，来得到传输属性特征；其中，数据权重参数可以包括数据量权重参数和数据类型权重参数中的至少一个。

S512，将目标主库、与目标主库通信连接的至少一个备库分别与目标存储设备之间的网络状态输入至传输特征提取模块中，以根据网络状态中的网络延迟时间、丢包率和带宽速度中的至少一个与对应的状态权重参数，来得到传输状态特征； 其中，状态权重参数可以包括据网络延时时间权重参数、丢包率权重参数与带宽速度权重参数中的至少一个。

S513，将目标主库、与目标主库通信连接的至少一个备库分别与目标存储设备之间的网络距离输入至传输特征提取模块中，以根据网络距离中的路由器数量、跳数中的至少一个与对应的距离权重参数，来得到传输距离特征。其中，距离权重参数可以包括路由器数量权重参数和跳数权重参数。

在一种实施例中，传输特征提取模块可以包括多个卷积层、池化层与全连接层，多个卷积层、池化层与全连接层依次连接，将第一数据属性、网络状态和网络距离，或者，第二数据属性、网络状态和网络距离，输入至传输特征提取模块中，通过若干个卷积层分别依次进行特征提取处理和融合，就可以分别得到传输属性特征、传输状态特征和传输距离特征。

在一种实施例中，以第一数据属性和第二数据属性包括数据量大小和数据类型为例，以数据权重参数包括数据量权重参数与数据类型权重参数，进行说明，步骤S511可以包括：

S5111，将第一数据属性/第二数据属性输入至特征处理模块中，分别得到数据量特征向量和数据类型特征向量；

S5112，根据数据量权重参数与数据类型权重参数将数据量特征向量和数据类型特征向量进行融合，得到传输属性特征。

在一种实施例中，数据量权重参数与数据类型权重参数可以根据实际进行调整，例如，当数据量较大时，可以将数据量权重参数调整变大。且数据量权重参数与数据类型权重参数的和为1。

在一种实施例中，以网络状态包括网络延迟时间、丢包率和带宽速度为例，以状态权重参数包括网络延迟时间权重参数、丢包率权重参数和带宽速度权重参数，进行说明，步骤S512可以包括：

S5121，将目标主库、与目标主库通信连接的至少一个备库分别与目标存储设备之间的网络状态输入至特征处理模块中，分别得到网络延迟时间特征向量、丢包率特征向量和带宽速度特征向量；

S5122，根据网络延时时间权重参数、丢包率权重参数与带宽速度权重参数将网络延迟时间特征向量、丢包率特征向量和带宽速度特征向量进行融合，得到传输状态特征。

在一种实施例中，网络延时时间权重参数、丢包率权重参数与带宽速度权重参数可以根据实际情况进行调整，且网络延时时间权重参数、丢包率权重参数与带宽速度权重参数的和为1。

在一种实施例中，以网络位置包括路由器数量和跳数为例，以距离权重参数包括路由器数量权重参数和跳数权重参数，进行说明，步骤S513可以包括：

S5131，将目标主库、与目标主库通信连接的至少一个备库分别与目标存储设备之间的网络距离输入至特征处理模块中，分别得到路由器数量特征向量和跳数特征向量；

S5132，根据路由器数量权重参数和跳数权重参数将路由器数量特征向量和跳数特征向量进行融合，得到传输距离特征。

在一种实施例中，路由器数量权重参数和跳数权重参数可以根据实际情况进行调整，且路由器数量权重参数和跳数权重参数的和为1。

在一种实施例中，步骤S52可以包括：

S521，将传输属性特征、传输状态特征与传输距离特征输入至融合模块中，以根据传输属性特征对应的属性权重参数、传输状态特征对应的状态权重参数和传输距离特征对应的距离权重参数，来得到传输方式特征。

在一种实施例中，步骤S521可以包括：

S5211，将传输属性特征、传输状态特征与传输距离特征输入至融合模块中，分别得到传输属性特征向量、传输状态特征向量和传输距离特征向量；

S5212，根据属性权重参数、状态权重参数和距离权重参数将传输属性特征向量、传输状态特征向量和传输距离特征向量进行融合，得到传输方式特征。

在一种实施例中，属性权重参数、状态权重参数和距离权重参数可以根据实际情况进行调整，且属性权重参数、状态权重参数和距离权重参数的和为1。

在一种实施例中，步骤S53可以包括：根据传输方式特征计算传输方式特征值，将传输方式特征值达到预设的传输方式特征阈值时，确定数据传输方式为网络传输方式，当传输方式特征值未达到传输方式特征阈值时，确定数据传输方式为存储器传输方式。

在一种实施例中，步骤S5还可以包括：

S55，获取第一数据属性对应的数据参数阈值、第二数据属性对应的数据参数阈值、网络状态对应的网络参数阈值和网络距离所对应的距离参数阈值；

S56，当第一数据属性达到对应的数据参数阈值/第二数据属性达到对应的数据参数阈值、网络状态达到所述网络参数阈值，且网络距离达到距离参数阈值时，确定数据传输方式为网络传输方式；

S57，当第一数据属性/第二数据属性、网络状态、网络距离中至少有一个未达到其对应的参数阈值时，确定数据传输方式为存储器传输方式。

S58，将网络传输方式/存储器传输方式，作为目标主库将第一数据集备份至目标存储设备中的数据传输方式，或者，将络传输方式/存储器传输方式，作为目标存储设备将第二数据集恢复至目标主库或者恢复至与目标主库连接的至少一个备库的数据传输方式。

根据上述实施例所描述的方法，本实施例将从数据处理装置的角度进一步进行描述，该数据处理装置具体可以集成在管理服务器。

请参阅图3，图3具体描述了本申请实施例提供的数据处理装置，应用于管理服务器中，该数据处理装置可以包括应用于分布式主备系统中，主备系统包括管理服务器和至少一个主库、多个备库，管理服务器分别与每个主库、每个备库通信连接，每个主库与至少一个备库通信连接，每个主库与所连接的至少一个备库之间的数据保持同步，数据处理装置应用于管理服务器中，包括获取模块10、确定模块20与处理模块30；其中：

获取模块10用于获取与主备系统通信连接的目标存储设备的网络位置；以及，获取目标主库的第一数据集的第一数据属性，或者，目标存储设备中的第二数据集的第二数据属性，其中，目标主库为至少一个主库中的其中一个主库；

确定模块20用于根据网络位置确定目标主库、与目标主库通信连接的至少一个备库分别与目标存储设备之间的网络状态；以及，根据网络位置确定目标主库、与目标主库通信连接的至少一个备库到目标存储设备之间的网络距离；

处理模块30用于根据第一数据属性、网络状态和网络距离，确定目标主库将第一数据集备份至目标存储设备中的数据传输方式，或者，根据第二数据属性、网络状态和网络距离，确定目标存储设备将第二数据集恢复至目标主库或者恢复至与目标主库连接的至少一个备库的数据传输方式。

具体实施时，以上各个模块和/或单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块和/或单元的具体实施可参见前面的方法实施例，具体可以达到的有益效果也请参看前面的方法实施例中的有益效果，在此不再赘述。

相应的，本申请实施例还提供一种管理服务器，如图4所示，该管理服务器可以包括WiFi模块101、包括有一个或一个以上计算机可读存储介质的存储器102、输入单元103、显示单元104、包括有一个或者一个以上处理核心的处理器105、以及电源106等部件。本领域技术人员可以理解，图4中示出的管理服务器结构并不构成对管理服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

存储器102可用于存储软件程序以及模块，处理器105通过运行存储在存储器102的软件程序以及模块，从而执行各种功能应用以及虚拟机的备份。输入单元103可用于接收输入的数字或字符信息，以及产生与客户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

显示单元104可用于显示由客户输入的信息或提供给客户的信息以及服务器的各种图形客户接口，这些图形客户接口可以由图形、文本、图标、视频和其任意组合来构成。

WiFi属于短距离无线传输技术，管理服务器通过WiFi模块101可以帮助客户收发电子邮件、浏览网页和随访流式媒体等，它为客户提供了无线的宽带互联网随访。虽然图4示出了WiFi模块101，但是可以理解的是，其并不属于管理服务器的必须构成，完全可以根据需要在不改变申请的本质的范围内而省略。

处理器105是管理服务器的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器102内的软件程序和/或模块，以及调用存储在存储器102内的数据，执行管理服务器的各种功能和处理数据，从而对手机进行整体监控。

管理服务器还包括给各个部件供电的电源106（比如电池），优选的，电源可以通过电源管理系统与处理器105逻辑相连，从而通过电源管理系统实现管理充电、以及功耗管理等功能。

尽管未示出，管理服务器还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，服务器中的处理器105会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器102中，并由处理器105来运行存储在存储器102中的应用程序，从而实现以下功能：

获取与所述主备系统通信连接的目标存储设备的网络位置；

获取目标主库的第一数据集的第一数据属性，或者，所述目标存储设备中的第二数据集的第二数据属性，其中，所述目标主库为至少一个主库中的其中一个主库；

根据所述网络位置确定所述目标主库、与所述目标主库通信连接的至少一个备库分别与所述目标存储设备之间的网络状态；

根据所述网络位置确定所述目标主库、与所述目标主库通信连接的至少一个备库到所述目标存储设备之间的网络距离；

根据所述第一数据属性、所述网络状态和所述网络距离，确定所述目标主库将所述第一数据集备份至所述目标存储设备中的数据传输方式，或者，根据所述第二数据属性、所述网络状态和所述网络距离，确定所述目标存储设备将所述第二数据集恢复至所述目标主库或者恢复至与所述目标主库连接的至少一个备库的数据传输方式。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文的详细描述，此处不再赘述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以实现以下功能：

获取与所述主备系统通信连接的目标存储设备的网络位置；

获取目标主库的第一数据集的第一数据属性，或者，所述目标存储设备中的第二数据集的第二数据属性，其中，所述目标主库为至少一个主库中的其中一个主库；

根据所述网络位置确定所述目标主库、与所述目标主库通信连接的至少一个备库分别与所述目标存储设备之间的网络状态；

根据所述网络位置确定所述目标主库、与所述目标主库通信连接的至少一个备库到所述目标存储设备之间的网络距离；

根据所述第一数据属性、所述网络状态和所述网络距离，确定所述目标主库将所述第一数据集备份至所述目标存储设备中的数据传输方式，或者，根据所述第二数据属性、所述网络状态和所述网络距离，确定所述目标存储设备将所述第二数据集恢复至所述目标主库或者恢复至与所述目标主库连接的至少一个备库的数据传输方式。

其中，该计算机可读存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，Random Access Memory）、磁盘或光盘等。

以上对本申请实施例所提供的一种数据处理方法、装置、管理服务器和计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的技术方案及其核心思想；本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例的技术方案的范围。

Claims (9)

1.一种数据处理方法，其特征在于，应用于分布式主备系统中，所述主备系统包括管理服务器和至少一个主库、多个备库，所述管理服务器分别与每个主库、每个备库通信连接，每个主库与至少一个备库通信连接，每个主库与所连接的至少一个备库之间的数据保持同步，所述数据处理方法应用于所述管理服务器中，所述数据处理方法包括：

获取与所述主备系统通信连接的目标存储设备的网络位置；

获取目标主库的第一数据集的第一数据属性，或者，所述目标存储设备中的第二数据集的第二数据属性，其中，所述目标主库为至少一个主库中的其中一个主库；

根据所述网络位置确定所述目标主库、与所述目标主库通信连接的至少一个备库分别与所述目标存储设备之间的网络状态；

根据所述网络位置确定所述目标主库、与所述目标主库通信连接的至少一个备库到所述目标存储设备之间的网络距离；

根据所述第一数据属性、所述网络状态和所述网络距离，确定所述目标主库将所述第一数据集备份至所述目标存储设备中的数据传输方式，或者，根据所述第二数据属性、所述网络状态和所述网络距离，确定所述目标存储设备将所述第二数据集恢复至所述目标主库或者恢复至与所述目标主库连接的至少一个备库的数据传输方式；

所述数据传输方式包括网络传输方式和存储器传输方式，所述根据所述第一数据属性、所述网络状态和所述网络距离，确定所述目标主库将所述第一数据集备份至所述目标存储设备中的数据传输方式，或者，根据所述第二数据属性、所述网络状态和所述网络距离，确定所述目标存储设备将所述第二数据集恢复至所述目标主库或者恢复至与所述目标主库连接的至少一个备库的数据传输方式的步骤，包括：

获取第一数据属性对应的数据参数阈值、第二数据属性对应的数据参数阈值、所述网络状态对应的网络参数阈值和所述网络距离所对应的距离参数阈值；

当所述第一数据属性达到对应的数据参数阈值/所述第二数据属性达到对应的数据参数阈值、所述网络状态达到所述网络参数阈值，且所述网络距离达到所述距离参数阈值时，确定所述数据传输方式为网络传输方式；

当所述第一数据属性/所述第二数据属性、所述网络状态、所述网络距离中至少有一个未达到其对应的参数阈值时，确定所述数据传输方式为存储器传输方式。

2.根据权利要求1所述的方法，其特征在于，所述管理服务器中包括传输方式确定模型，所述传输方式确定模型包括传输特征提取模块、融合模块和传输方式确定模块；所述根据所述第一数据属性、所述网络状态和所述网络距离，确定所述目标主库将所述第一数据集备份至所述目标存储设备中的数据传输方式，或者，根据所述第二数据属性、所述网络状态和所述网络距离，确定所述目标存储设备将所述第二数据集恢复至所述目标主库或者恢复至与所述目标主库连接的至少一个备库的数据传输方式的步骤，包括：

将所述第一数据属性、所述网络状态和所述网络距离，或者，所述第二数据属性、所述网络状态和所述网络距离，输入至所述传输特征提取模块中进行特征提取处理，以分别得到传输属性特征、传输状态特征、传输距离特征；

将所述传输属性特征、所述传输状态特征、所述传输距离特征，输入至所述融合模块进行特征融合处理，以得到传输方式特征；

将所述传输方式特征，输入至所述传输方式确定模块中进行传输方式确定处理，以得到数据传输方式；

将所述数据传输方式，作为所述目标主库将所述第一数据集备份至所述目标存储设备中的数据传输方式，或者，将所述数据传输方式，作为所述目标存储设备将所述第二数据集恢复至所述目标主库或者恢复至与所述目标主库连接的至少一个备库的数据传输方式。

3.根据权利要求2所述的方法，其特征在于，所述融合模块中包括所述传输属性特征、所述传输状态特征、所述传输距离特征分别对应的属性权重参数、状态权重参数、距离权重参数；

所述将所述传输属性特征、所述传输状态特征、所述传输距离特征，输入至所述融合模块进行特征融合处理，以得到传输方式特征的步骤，包括：

将所述传输属性特征、所述传输状态特征、所述传输距离特征输入至所述融合模块中；

根据所述传输属性特征、所述传输状态特征、所述传输距离特征、所述属性权重参数、所述状态权重参数、所述距离权重参数来进行特征融合处理，以得到传输方式特征。

4.根据权利要求2所述的方法，其特征在于，所述第一数据属性和所述第二数据属性均包括数据量大小、数据类型中的至少一个；所述传输特征提取模块中包括获取数据量大小、数据类型中的至少一个所对应的数据权重参数；

将所述第一数据属性，或者，所述第二数据属性，输入至所述传输特征提取模块中进行特征提取处理，以得到传输属性特征，包括：

将所述第一数据属性/所述第二数据属性，输入至所述传输特征提取模块中，以根据所述第一数据属性/所述第二数据属性中的数据量大小、数据类型中的至少一个与对应的数据权重参数，来得到传输属性特征。

5.根据权利要求1所述的方法，其特征在于，所述网络状态包括网络延迟时间、丢包率、带宽速度中的至少一个，所述网络位置通过所述目标存储设备的IP地址和端口，或者所述目标存储设备的域名表征；所述根据所述网络位置确定所述目标主库、与所述目标主库通信连接的至少一个备库分别与所述目标存储设备之间的网络状态，包括：

利用所述管理服务器来执行网络探测命令，根据网络探测命令的第一执行结果，来确定所述目标主库、与所述目标主库通信连接的至少一个备库分别与所述目标存储设备之间的网络延迟时间和丢包率；

利用所述管理服务器来执行第一路由探测命令，根据第一路由探测命令的第二执行结果，确定所述目标主库、与所述目标主库通信连接的至少一个备库分别与所述目标存储设备之间的带宽速度；

其中，所述网络探测命令或者所述第一路由探测命令中包括所述目标存储设备的IP地址和端口，或者所述目标存储设备的域名。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

获取所述管理服务器的系统类型；

当所述管理服务器的系统类型为windows系统时，调用所述windows系统自带的cmd命令行解释器窗口，以通过所述cmd命令行解释器窗口来执行所述网络探测命令和所述第一路由探测命令；

当所述系统类型为linux系统时，调用所述linux系统自带的bash命令行解释器窗口，以通过所述bash命令行解释器窗口来执行所述网络探测命令和所述第一路由探测命令。

7.一种数据处理装置，其特征在于，应用于分布式主备系统中，所述主备系统包括管理服务器和至少一个主库、多个备库，所述管理服务器分别与每个主库、每个备库通信连接，每个主库与至少一个备库通信连接，每个主库与所连接的至少一个备库之间的数据保持同步，所述数据处理装置应用于所述管理服务器中，包括获取模块、确定模块与处理模块；

所述获取模块用于获取与所述主备系统通信连接的目标存储设备的网络位置；以及，获取目标主库的第一数据集的第一数据属性，或者，所述目标存储设备中的第二数据集的第二数据属性，其中，所述目标主库为至少一个主库中的其中一个主库；

所述确定模块用于根据所述网络位置确定所述目标主库、与所述目标主库通信连接的至少一个备库分别与所述目标存储设备之间的网络状态；以及，根据所述网络位置确定所述目标主库、与所述目标主库通信连接的至少一个备库到所述目标存储设备之间的网络距离；

所述处理模块用于根据所述第一数据属性、所述网络状态和所述网络距离，确定所述目标主库将所述第一数据集备份至所述目标存储设备中的数据传输方式，或者，根据所述第二数据属性、所述网络状态和所述网络距离，确定所述目标存储设备将所述第二数据集恢复至所述目标主库或者恢复至与所述目标主库连接的至少一个备库的数据传输方式；所述数据传输方式包括网络传输方式和存储器传输方式，所述处理模块具体用于获取第一数据属性对应的数据参数阈值、第二数据属性对应的数据参数阈值、所述网络状态对应的网络参数阈值和所述网络距离所对应的距离参数阈值；

当所述第一数据属性达到对应的数据参数阈值/所述第二数据属性达到对应的数据参数阈值、所述网络状态达到所述网络参数阈值，且所述网络距离达到所述距离参数阈值时，确定所述数据传输方式为网络传输方式；

当所述第一数据属性/所述第二数据属性、所述网络状态、所述网络距离中至少有一个未达到其对应的参数阈值时，确定所述数据传输方式为存储器传输方式。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有多条指令，所述指令适于由处理器加载以执行权利要求1至6任一项所述的数据处理方法。

9.一种管理服务器，其特征在于，包括处理器和存储器，所述处理器与所述存储器电性连接，所述存储器用于存储指令和数据，所述处理器用于执行权利要求1至6任一项所述的数据处理方法中的步骤。