CN110968463B - 一种确定群组中各数据节点类型的方法及装置 - Google Patents
一种确定群组中各数据节点类型的方法及装置 Download PDFInfo
- Publication number
- CN110968463B CN110968463B CN201911318777.1A CN201911318777A CN110968463B CN 110968463 B CN110968463 B CN 110968463B CN 201911318777 A CN201911318777 A CN 201911318777A CN 110968463 B CN110968463 B CN 110968463B
- Authority
- CN
- China
- Prior art keywords
- data
- node
- group
- target
- node group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1469—Backup restoration techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1461—Backup scheduling policy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1464—Management of the backup or restore process for networked environments
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供了一种确定群组中各数据节点类型的方法及装置，其中，在所述方法中，首先，获取故障数据节点中各待恢复数据对应的节点群组。然后，依次将每一个所述节点群组作为目标节点群组，结合当前已设定数据节点类型和恢复目的数据节点的节点群组的设定结果，为目标节点群组中各数据节点设定类型。可见，本申请所提供的确定群组中各数据节点类型的方法及装置可以通过分析各数据节点在整体系统中所对应的全部数据通路，为具有适合数据通路数量的数据节点分配相应的类型，以有效避免数据节点所对应的工作负担过重。
Description
技术领域
本申请涉及数据恢复技术领域，尤其涉及一种确定群组中各数据节点类型的方法及装置。
背景技术
WOS(Wuba Object Storage，Wuba对象存储)适合用来保存图片、音频、短视频和各种类型的文件等非非结构化数据，能够满足海量文件存储和处理的需求。WOS前端提供RESTful API，可以直接通过HTTP协议与服务端进行交互，支持多种上传接口。WOS后端采用分布式存储技术，通过多副本或纠删码技术保证数据安全可靠。
WOS在基于纠删码的存储技术实现过程中，WOS首先将一份源数据平均分为4份子数据，并且同时生成2份校验数据，并将上述6份数据分别存储于6个磁盘中，其中，这6个磁盘分属6台机器上，作为6个数据节点，将这6个数据节点定义为一个群组。WOS具有特定的数据恢复功能，即当某一份子数据或者某一份校验数据出现问题需要被恢复时，可以根据其余五份数据对其进行恢复，具体地，将其余五个数据节点分配不同的类型，即一个主恢复节点、三个辅助节点和一个信息提供节点，通过这五个数据节点之间的数据交互生成需要被恢复的数据，此外，新建一个目的节点，用以存储被恢复的数据。可见，上述恢复数据过程中，每个数据节点对应数据的交互，会生成相应的数据通路。目前对于WOS中的数据恢复方式通常为以一份待恢复数据所对应的群组为恢复单元，依次对每一个恢复单元进行数据恢复。
但是，同一台机器上，即同一个数据节点上通常存在多个磁盘，即同时保存分属于多个群组的子数据和校验数据。数据需要恢复的条件通常为所在数据节点出现故障，可见，当一个数据节点出现故障，其上存储的全部子数据和校验数据均需要被恢复，由上文提供的数据恢复功能，恢复一个数据节点上的全部数据，需要同时涉及多个群组中数据节点的辅助，此时，起到辅助作用的每一个数据节点都会在数据恢复的过程中，针对其所在的不同群组形成相应的数据通路，而且每个数据节点随着设定的类型不同，在同一个群组中所形成的数据通路的数量也不同。
目前，采用多个群组同时恢复一个数据节点的数据时，通常随机指定其它数据节点的类型，这样就很容易出现某一个数据节点所对应的数据通路数量较大，即在数据恢复过程中产生数据交换的负担较大。
发明内容
本申请提供了一种确定群组中各数据节点类型的方法及装置，以解决现有数据恢复过程中，在参与数据恢复的数据节点的工作分配不均匀，导致部分数据节点工作负担较大的问题。
第一方面，本申请提供了一种确定群组中各数据节点类型的方法，包括：
获取故障数据节点中各待恢复数据对应的节点群组；
依次将每一个所述节点群组作为目标节点群组，结合当前已设定数据节点类型和恢复目的数据节点的已设定节点群组的设定结果，为目标节点群组中各数据节点设定类型，以使所述目标节点群组中每个数据节点对应的设定后数据通路数量均小于或者等于预设数据通路数量阈值，所述恢复目的数据节点为全部所述节点群组中除所述恢复目的数据节点对应的已设定节点群组以外的一个节点群组中的一个数据节点，所述设定结果包括所述已设定节点群组中每一个数据节点当前所对应的数据通路数量。
在本发明实施例第一方面一种可能的实现方式中，所述获取故障数据节点中各待恢复数据对应的节点群组包括：
从所述故障数据节点对应的管理平台中获取所述故障数据节点的数据源信息，所述数据源信息包括所述故障数据节点中每一待恢复数据对应的源数据；
从所述管理平台中获取与每一所述源数据对应的存储分布信息，所述存储分布信息包括存储所述源数据的全部数据节点的信息；
根据所述存储分布信息，确定各所述待恢复数据对应的节点群组，所述节点群组由同一所述存储分布信息中的各数据节点组成。
在本发明实施例第一方面一种可能的实现方式中，所述依次将每一个所述节点群组作为目标节点群组，结合当前已设定数据节点类型和恢复目的数据节点的已设定节点群组的设定结果，为目标节点群组中各数据节点设定类型包括：
分别计算全部所述已设定节点群组中相同数据节点对应的数据通路数量的和值；
汇总每一数据节点的节点名称和所述数据节点对应的数据通路数量的和值，得到包含各所述数据节点的设定结果的结果列表。
在本发明实施例第一方面一种可能的实现方式中，所述依次将每一个所述节点群组作为目标节点群组，结合当前已设定数据节点类型和恢复目的数据节点的已设定节点群组的设定结果，为目标节点群组中各数据节点设定类型包括：
依次将所述目标节点群组中每一数据节点作为主恢复节点，将所述目标节点群组中的其余数据节点作为辅助节点时，结合所述结果列表，计算每一所述数据节点对应的设定后数据通路数量；
根据所述每一数据节点的设定后数据通路数量，为所述目标节点群组中每一数据节点设定对应的类型，其中，所述每一数据节点的设定后数据通路数量均小于或者等于预设数据通路数量阈值。
在本发明实施例第一方面一种可能的实现方式中，所述方法还包括：
结合所述结果列表，从除所述目标节点群组以外的节点群组中为所述目标节点群组选定恢复目的数据节点，所述恢复目的数据节点所对应的设定后数据通路数量小于所述预设通路数量阈值。
在本发明实施例第一方面一种可能的实现方式中，所述方法还包括：
如果所述目标节点群组中至少一个数据节点所对应的设定后数据通路数量大于所述预设数据通路数量阈值，则暂停所述目标节点群组的数据恢复工作。
在本发明实施例第一方面一种可能的实现方式中，所述方法还包括：
如果将除所述目标节点群组以外的节点群组中任一数据节点作为所述恢复目的数据节点时，所述恢复目的数据节点对应的所述设定后数据通路数量均大于预设通路数量阈值，则暂停所述目标节点群组的数据恢复工作。
第二方面，本申请提供了一种确定群组中各数据节点类型的装置，包括：
节点群组获取模块，用于获取故障数据节点中各待恢复数据对应的节点群组；
类型设定模块，用于依次将每一个所述节点群组作为目标节点群组，结合当前已设定数据节点类型和恢复目的数据节点的已设定节点群组的设定结果，为目标节点群组中各数据节点设定类型，以使所述目标节点群组中每个数据节点对应的设定后数据通路数量均小于或者等于预设数据通路数量阈值，所述恢复目的数据节点为全部所述节点群组中除所述恢复目的数据节点对应的已设定节点群组以外的一个节点群组中的一个数据节点，所述设定结果包括所述已设定节点群组中每一个数据节点当前所对应的数据通路数量。
在本发明实施例第二方面一种可能的实现方式中，所述节点群组获取模块包括：
数据源信息获取模块，用于从所述故障数据节点对应的管理平台中获取所述故障数据节点的数据源信息，所述数据源信息包括所述故障数据节点中每一待恢复数据对应的源数据；
存储信息获取模块，用于从所述管理平台中获取与每一所述源数据对应的存储分布信息，所述存储分布信息包括存储所述源数据的全部数据节点的信息；
节点群组确定模块，用于根据所述存储分布信息，确定各所述待恢复数据对应的节点群组，所述节点群组由同一所述存储分布信息中的各数据节点组成。
在本发明实施例第二方面一种可能的实现方式中，所述类型设定模块包括：
通路和值计算模块，用于分别计算全部所述已设定节点群组中相同数据节点对应的数据通路数量的和值；
列表生成模块，用于汇总每一数据节点的节点名称和所述数据节点对应的数据通路数量的和值，得到包含各所述数据节点的设定结果的结果列表。
在本发明实施例第二方面一种可能的实现方式中，所述类型设定模块包括：
计算模块，用于依次将所述目标节点群组中每一数据节点作为主恢复节点，将所述目标节点群组中的其余数据节点作为辅助节点时，结合所述结果列表，计算每一所述数据节点对应的设定后数据通路数量；
设定模块，用于根据所述每一数据节点的设定后数据通路数量，为所述目标节点群组中每一数据节点设定对应的类型，其中，所述每一数据节点的设定后数据通路数量均小于或者等于预设数据通路数量阈值。
在本发明实施例第二方面一种可能的实现方式中，所述装置还包括：
恢复目的数据节点分配模块，用于结合所述结果列表，从除所述目标节点群组以外的节点群组中为所述目标节点群组选定恢复目的数据节点，所述恢复目的数据节点所对应的设定后数据通路数量小于所述预设通路数量阈值。
在本发明实施例第二方面一种可能的实现方式中，所述装置还包括：
第一暂停模块，用于如果所述目标节点群组中至少一个数据节点所对应的设定后数据通路数量大于所述预设数据通路数量阈值，则暂停所述目标节点群组的数据恢复工作。
在本发明实施例第二方面一种可能的实现方式中，所述装置还包括：
第二暂停模块，用于如果将除所述目标节点群组以外的节点群组中任一数据节点作为所述恢复目的数据节点时，所述恢复目的数据节点对应的所述设定后数据通路数量均大于预设通路数量阈值，则暂停所述目标节点群组的数据恢复工作。
第三方面，本发明实施例提供了一种电子设备，包括：
处理器，以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行所述的确定群组中各数据节点类型的方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的确定群组中各数据节点类型的方法。
本发明提供了一种确定群组中各数据节点类型的方法及装置，其中，在所述方法中，首先，获取故障数据节点中各待恢复数据对应的节点群组。然后，依次将每一个所述节点群组作为目标节点群组，结合当前已设定数据节点类型和恢复目的数据节点的节点群组的设定结果、以及预设数据通路数量阈值，为当前目标节点群组中各数据节点设定类型。可见，本申请所提供的确定群组中各数据节点类型的方法及装置可以通过分析各数据节点在整体系统中所对应的全部数据通路，为具有适合数据通路数量的数据节点分配相应的类型，以有效避免数据节点所对应的工作负担过重。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的确定群组中各数据节点类型的方法的流程图；
图2为本发明实施例提供的数据节点分配的示意图；
图3为本发明实施例提供的数据恢复过程流程图；
图4为本发明实施例提供的一种获取故障数据节点中各待恢复数据对应的节点群组的方法的流程图；
图5为本发明实施例提供的一种信息管理架构示意图；
图6为本发明实施例提供的一种生成设定结果列表的方法的流程图；
图7为本发明实施例提供的一种设定数据节点类型的方法的流程图；
图8为本发明实施例提供的一种确定群组中各数据节点类型的装置实施例一的结构示意图；
图9为本发明实施例提供的一种确定群组中各数据节点类型的装置实施例二的结构示意图；
图10为本发明实施例提供的一种确定群组中各数据节点类型的装置实施例三的结构示意图；
图11为本发明实施例提供的一种确定群组中各数据节点类型的装置实施例四的结构示意图；
图12为本发明实施例提供的一种确定群组中各数据节点类型的装置实施例五的结构示意图；
图13为本发明实施例提供的一种确定群组中各数据节点类型的装置实施例六的结构示意图；
图14为本发明实施例提供的一种确定群组中各数据节点类型的装置实施例七的结构示意图；
图15为本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的确定群组中各数据节点类型的方法的流程图，如图1所示，所述方法包括：
S1、获取故障数据节点中各待恢复数据对应的节点群组；
S2、用于依次将每一个所述节点群组作为目标节点群组，结合当前已设定数据节点类型和恢复目的数据节点的已设定节点群组的设定结果，为目标节点群组中各数据节点设定类型，以使所述目标节点群组中每个数据节点对应的设定后数据通路数量均小于或者等于预设数据通路数量阈值，所述恢复目的数据节点为全部所述节点群组中除所述恢复目的数据节点对应的已设定节点群组以外的一个节点群组中的一个数据节点，所述设定结果包括所述已设定节点群组中每一个数据节点当前所对应的数据通路数量。
在WOC后端的存储数据库中，是将同一份数据平均分为四份子数据，并对应该数据生成两份校验数据之后，将这六份数据分别存储于六个机器(可以为具有数据存储功能的各种终端)中，这里将一台机器作为一个数据节点。可见，一份数据的存储需要涉及六个数据节点。可以将这六个数据节点作为一个节点群组，是恢复一份数据的基本单元。而每个数据节点上可以同时存储多份数据，这些数据又分别对应不同的节点群组，这就会存在同一个数据节点同时属于多个节点群组，令存储数据库中的全部数据节点形成一个互相关联的分布式存储网络。由以上可知，如果一个数据节点出现故障，需要恢复其上存储的各份待恢复数据时，会同时涉及多个节点群组，其中会出现同一个数据节点同时参与多个节点群组的数据恢复操作的情况。需要注意的是，可以根据存储数据的实际需求将需要存储的数据分为适当的份数，同时对应于该份数生成相应份数的校验数据，而不限于本实施例提供的具体数值，本申请各实施例中仅以此数值做简单说明用。
数据节点分配的示意请参见图2，其中，故障数据节点为P，其上存储有待恢复数据a、b、c，根据上文提供的数据存储方式，待恢复数据a对应的节点群组1包含数据节点a1、a2、a3、a4、a5，待恢复数据b对应的节点群组2包含数据节点b1、b2、b3、b4、a5，待恢复数据c对应的节点群组3包含数据节点b1、c2、c3、c4、a5。通常，每一份被恢复的数据需要存储到该节点群组以外的一个数据节点上，将该数据节点定义为恢复目的数据节点。此时，将形成一个新的节点群组，即由原来节点群组中除故障数据节点以外的五个数据节点与该恢复目的数据节点组成的节点群组。在图2中，节点群组1对应的恢复目的数据节点为b2，节点群组2对应的恢复目的数据节点为c3，如果将节点群组3作为当前目标节点群组，则节点群组3对应的恢复目的数据节点待定。
其中，具体地数据恢复过程请参见图3，由上文可知，数据恢复的基本单元为节点群组，即恢复一份待恢复数据，需要利用到其所在节点群组中其余数据节点。以图2中的节点群组1为例，在恢复待恢复数据a时，需要在其余五个数据节点中确定一个主恢复节点，例如，将数据节点a5作为主恢复节点，同时在其余四个数据节点中确定三个辅助节点和一个信息提供节点，例如，将数据节点a1、a2、a3作为辅助节点，将数据节点a4作为信息提供节点。主恢复节点a5分别向辅助节点a1、a2和a3获取其上所保存的数据分片，然后向信息提供节点a4获取其上所保存的分片元信息，此时，主恢复节点a5上加上自身所保存的数据分片，一共带有四个数据分片，根据这四个数据分片与分片元信息，可以生成待恢复数据a。从其他节点群组中指定一个数据节点作为保存恢复后的数据a的恢复目的数据节点。如果将两个数据节点之间的每一个数据传输过程都抽象为一个数据通路，则在恢复一份数据的过程中，主恢复节点a5对应有3个流入的数据通路，1个流出的数据通路；辅助节点a2、a3、a4分别对应有1个流入的数据通路；恢复目的数据节点对应有1个流入的数据通路。其中，由于信息提供节点所流出的数据量非常小，不会对该数据节点造成工作负担，因此，可以忽略信息提供节点对应的数据通路。
通常，在确定了节点群组之后，就可以对应确定各种类型的数据节点在恢复数据时所对应的数据通路数量，可以将这些数据通路数量的相关数据直接使用。
由以上分析可知，如果图2中节点群组1和2均为当前已设定数据节点类型和恢复目的数据节点的已设定节点群组，那么相应的，也就可以通过上述过程获得各个数据节点在每个已设定节点群组中所对应的数据通路数量，即设定结果。如果将节点群组3作为正需要设定数据节点类型的目标节点群组，那么可以确定目标节点群组中各数据节点当前所对应的数据通路的总数量。此时，通过对比该总数量与预设数据通路数量阈值，为每个数据节点设定适合的类型，以避免某个数据节点所对应的数据通路数据量过多。
具体地，如图4所示，为本申请实施例提供的一种获取故障数据节点中各待恢复数据对应的节点群组的方法的流程图，所述方法包括：
S101、从所述故障数据节点对应的管理平台中获取所述故障数据节点的数据源信息，所述数据源信息包括所述故障数据节点中每一待恢复数据对应的源数据；
S102、从所述管理平台中获取与每一所述源数据对应的存储分布信息，所述存储分布信息包括存储所述源数据的全部数据节点的信息；
S103、根据所述存储分布信息，确定各所述待恢复数据对应的节点群组，所述节点群组由同一所述存储分布信息中的各数据节点组成。
如图5所示，通常有管理平台统一管理WOC存储数据库中的各个数据节点信息，所述数据节点信息可以包括数据节点的节点名称、机器ID、数据节点上所保存的各份数据对应的源数据、各个源数据的存储分布信息。具体地，可以根据故障数据节点的节点名称或者机器ID，从管理平台中准确获得该故障数据节点上所保存的各份数据的数据源信息，即各份数据是来自于哪一份源数据，此时的数据源信息可以为该数据源信息的特殊标识、源数据的命名名称等具有标识性的信息。通过数据源信息可以进一步确定该源数据被分布存储于哪些数据节点中，即对应存储分布信息，相应的，也就可以获得各源数据对应的节点群组，即各个待恢复数据对应的节点群组。
可知，本实施例所提供的方法能够准确确定待恢复数据对应的节点群组信息，以保证数据恢复的准确性。
请参阅图6，为本申请实施例提供的一种生成设定结果列表的方法的流程图，所述方法包括：
S201、分别计算全部所述已设定节点群组中相同数据节点对应的数据通路数量的和值；
S202、汇总每一数据节点的节点名称和所述数据节点对应的数据通路数量的和值，得到包含各所述数据节点的设定结果的结果列表。
在获得每个已设定节点群组的设定结果之后，需要通过将全部已设定节点群组的数据汇总之后，才能够知道当前每个数据节点对应的数据通路数量。例如，节点群组1中数据节点a5对应的流入数据通路数量为3，流出数据通路数量为1，为数据节点a5在节点群组1中的设定结果；节点群组2中数据节点a5对应的流出数据通路数量为1，为数据节点a5在节点群组2中的设定结果。此时，需要计算数据节点5对应的数据通路数量的和值，即当前数据节点a5对应的流入数据通路数量为3，流出数据通路数量为2。以此方法，可以计算出节点群组1和2中各数据节点对应的数据通路数量的和值。为了方便对各数据节点的管理，以及便于后续计算的取值，可以将各数据通路数量的和值汇总成结果列表，该结果列表由各数据节点的节点名称和对应数据通路数量的和值组成。进一步地，当各数据节点的数据通路数量发生变更时，例如数据节点参与另一份待恢复数据的恢复过程，或者数据节点对应的数据恢复过程完毕，此时，仅需要更新设定结果列表，即可随时获得准确的数据通路数量，以确保数据节点的类型的设定合理性。
具体地，请参阅图7，为本申请实施例提供的一种设定数据节点类型的方法的流程图，所述方法包括：
S203、依次将所述目标节点群组中每一数据节点作为主恢复节点，将所述目标节点群组中的其余数据节点作为辅助节点时，结合所述结果列表，计算每一所述数据节点对应的设定后数据通路数量；
S204、根据所述每一数据节点的设定后数据通路数量，为所述目标节点群组中每一数据节点设定对应的类型，其中，所述每一数据节点的设定后数据通路数量均小于或者等于预设数据通路数量阈值。
为目标节点群组中各数据节点确定类型的过程实为一个试验的过程，首先，依次将每个数据节点作为主恢复节点，计算当数据节点为主恢复节点时，该数据节点对应的数据通路数量的设定后数量通路数量，例如，对于节点群组3，将a5作为主恢复节点，由设定结果列表可知，a5对应的设定后数据通路数量中流入数据通路数量为6，流出数据通路数量为2；如果将c2作为主恢复节点，由设定结果列表可知，c2对应的设定后数据通路数量中流入数据通路数量为3，流出数据通路数量为1。
再依次计算各个数据节点作为辅助节点和信息提供节点时所对应的设定后数据通路数量。
此时，根据上述各数据节点对应各种类型时所对应的设定后数据通路数量，在保证数据节点对应的设定后数据通路数量小于或者等于预设数据通路数量阈值的基础上，为每个数据节点设定相应的类型。
进一步地，如果为数据节点设定类型时存在多种组合方式，可以选择各数据节点对应的设定后数据通路数量最为平均的组合方式进行设定，以提高各数据节点工作的平衡性。
进一步地，在为目标节点群组中各数据节点设定合适的类型之后，需要为恢复后的数据指定一个用于存储的数据节点。同样的，为了避免超过所选定的恢复目的数据节点的最大可使用的数据通路数量，尤其是想要指定已经参与当前数据恢复过程的数据节点，需要结合结果列表，以选择当前所对应的数据通路数量小于预设通路数量阈值的数据节点作为恢复目的数据节点。
同样的，为了避免数据节点的工作负担超过限定值，如果所述目标节点群组中任一数据节点作为主恢复节点，其余数据节点作为辅助恢复节点时，至少一个数据节点所对应的设定后数据通路数量大于预设数据通路数量阈值，则暂停所述当前目标节点群组的数据恢复工作，并执行下一目标节点群组的数据恢复工作。
即无论采用哪种设定方式，至少会有一个数据节点的设定后数据通路数量超过预设数据通路数量阈值，即至少会有一个数据节点的工作负担超负荷，则此时需要暂停当前目标节点群组的数据恢复工作，执行下一目标节点群组的数据恢复工作，直至有一种设定方式可以令当前目标节点群组中各数据节点对应的设定后数据通路数量均小于预设数据通路数量阈值，再对该目标节点群组进行相应的数据恢复操作。
同样的，在为目标节点群组选定恢复目的数据节点时，如果其它群组中各数据节点对应的数据通路均大于预设通路数量阈值，则暂停所述当前目标节点群组的数据恢复工作，并执行下一目标节点群组的数据恢复工作，以避免所选定的恢复目的数据节点的工作负担超负荷。
图8为本申请实施例提供的一种确定群组中各数据节点类型的装置实施例一的结构示意图，包括：节点群组获取模块1，用于获取故障数据节点中各待恢复数据对应的节点群组；类型设定模块2，用于依次将每一个所述节点群组作为目标节点群组，结合当前已设定数据节点类型和恢复目的数据节点的已设定节点群组的设定结果，为目标节点群组中各数据节点设定类型，以使所述目标节点群组中每个数据节点对应的设定后数据通路数量均小于或者等于预设数据通路数量阈值，所述恢复目的数据节点为全部所述节点群组中除所述恢复目的数据节点对应的已设定节点群组以外的一个节点群组中的一个数据节点，所述设定结果包括所述已设定节点群组中每一个数据节点当前所对应的数据通路数量。
图9为本申请实施例提供的一种确定群组中各数据节点类型的装置实施例二的结构示意图，所述节点群组获取模块1包括：数据源信息获取模块11，用于从所述故障数据节点对应的管理平台中获取所述故障数据节点的数据源信息，所述数据源信息包括所述故障数据节点中每一待恢复数据对应的源数据；存储信息获取模块12，用于从所述管理平台中获取与每一所述源数据对应的存储分布信息，所述存储分布信息包括存储所述源数据的全部数据节点的信息；节点群组确定模块13，用于根据所述存储分布信息，确定各所述待恢复数据对应的节点群组，所述节点群组由同一所述存储分布信息中的各数据节点组成。
图10为本申请实施例提供的一种确定群组中各数据节点类型的装置实施例三的结构示意图，所述类型设定模块2包括：通路和值计算模块21，用于分别计算全部所述已设定节点群组中相同数据节点对应的数据通路数量的和值；列表生成模块22，用于汇总每一数据节点的节点名称和所述数据节点对应的数据通路数量的和值，得到包含各所述数据节点的设定结果的结果列表。
图11为本申请实施例提供的一种确定群组中各数据节点类型的装置实施例四的结构示意图，所述类型设定模块2包括：计算模块23，用于依次将所述目标节点群组中每一数据节点作为主恢复节点，将所述目标节点群组中的其余数据节点作为辅助节点时，结合所述结果列表，计算每一所述数据节点对应的设定后数据通路数量；设定模块24，用于根据所述每一数据节点的设定后数据通路数量，为所述目标节点群组中每一数据节点设定对应的类型，其中，所述每一数据节点的设定后数据通路数量均小于或者等于预设数据通路数量阈值。
图12为本申请实施例提供的一种确定群组中各数据节点类型的装置实施例五的结构示意图，所述装置还包括：恢复目的数据节点分配模块3，用于结合所述结果列表，从除所述目标节点群组以外的节点群组中为所述目标节点群组选定恢复目的数据节点，所述恢复目的数据节点所对应的设定后数据通路数量小于所述预设通路数量阈值。
图13为本申请实施例提供的一种确定群组中各数据节点类型的装置实施例六的结构示意图，所述装置还包括：第一暂停模块4，用于如果所述目标节点群组中至少一个数据节点所对应的设定后数据通路数量大于所述预设数据通路数量阈值，则暂停所述目标节点群组的数据恢复工作。
图14为本申请实施例提供的一种确定群组中各数据节点类型的装置实施例七的结构示意图，所述装置还包括：第二暂停模块5，用于如果将除所述目标节点群组以外的节点群组中任一数据节点作为所述恢复目的数据节点时，所述恢复目的数据节点对应的所述设定后数据通路数量均大于预设通路数量阈值，则暂停所述目标节点群组的数据恢复工作。
图15为本发明实施例提供的电子设备的硬件结构示意图。该电子设备包括：存储器101和处理器102；
存储器101，用于存储计算机程序；
处理器102，用于执行存储器存储的计算机程序，以实现上述实施例中的流量数据监控方法。具体可以参见前述方法实施例中的相关描述。
可选地，存储器101既可以是独立的，也可以跟处理器102集成在一起。
当所述存储器101是独立于处理器102之外的器件时，所述电子设备还可以包括：
总线103，用于连接所述存储器101和处理器102。
本发明实施例提供的电子设备可用于执行上述实施例中任一所示的确定群组中各数据节点类型的方法，其实现方式和技术效果类似，本发明实施例此处不再赘述。
本发明实施例还提供一种可读存储介质，可读存储介质中存储有计算机程序，当消息发送的装置的至少一个处理器执行该计算机程序时，消息发送的装置执行上述实施例任一所述的确定群组中各数据节点类型的方法。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于以计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换，而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (16)
1.一种确定群组中各数据节点类型的方法，其特征在于，包括：
获取故障数据节点中各待恢复数据对应的节点群组，其中，在恢复数据过程中，所述节点群组中的每个数据节点对应数据的交互存在相应的数据通路；
依次将每一个所述节点群组作为目标节点群组，结合当前已设定数据节点类型和恢复目的数据节点的已设定节点群组的设定结果，为目标节点群组中各数据节点设定类型，以使所述目标节点群组中每个数据节点对应的设定后数据通路数量均小于或者等于预设数据通路数量阈值，所述恢复目的数据节点为全部所述节点群组中除所述恢复目的数据节点对应的已设定节点群组以外的一个节点群组中的一个数据节点，所述设定结果包括所述已设定节点群组中每一个数据节点当前所对应的数据通路数量。
2.根据权利要求1所述的方法，其特征在于，所述获取故障数据节点中各待恢复数据对应的节点群组包括：
从所述故障数据节点对应的管理平台中获取所述故障数据节点的数据源信息，所述数据源信息包括所述故障数据节点中每一待恢复数据对应的源数据；
从所述管理平台中获取与每一所述源数据对应的存储分布信息，所述存储分布信息包括存储所述源数据的全部数据节点的信息；
根据所述存储分布信息，确定各所述待恢复数据对应的节点群组，所述节点群组由同一所述存储分布信息中的各数据节点组成。
3.根据权利要求1所述的方法，其特征在于，所述依次将每一个所述节点群组作为目标节点群组，结合当前已设定数据节点类型和恢复目的数据节点的已设定节点群组的设定结果，为目标节点群组中各数据节点设定类型包括：
分别计算全部所述已设定节点群组中相同数据节点对应的数据通路数量的和值；
汇总每一数据节点的节点名称和所述数据节点对应的数据通路数量的和值，得到包含各所述数据节点的设定结果的结果列表。
4.根据权利要求3所述的方法，其特征在于，所述依次将每一个所述节点群组作为目标节点群组，结合当前已设定数据节点类型和恢复目的数据节点的已设定节点群组的设定结果，为目标节点群组中各数据节点设定类型包括：
依次将所述目标节点群组中每一数据节点作为主恢复节点，将所述目标节点群组中的其余数据节点作为辅助节点时，结合所述结果列表，计算每一所述数据节点对应的设定后数据通路数量；
根据所述每一数据节点的设定后数据通路数量，为所述目标节点群组中每一数据节点设定对应的类型，其中，所述每一数据节点的设定后数据通路数量均小于或者等于预设数据通路数量阈值。
5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
结合所述结果列表，从除所述目标节点群组以外的节点群组中为所述目标节点群组选定恢复目的数据节点，所述恢复目的数据节点所对应的设定后数据通路数量小于所述预设数据通路数量阈值。
6.根据权利要求4所述的方法，其特征在于，所述方法还包括：
如果所述目标节点群组中至少一个数据节点所对应的设定后数据通路数量大于所述预设数据通路数量阈值，则暂停所述目标节点群组的数据恢复工作。
7.根据权利要求5所述的方法，其特征在于，所述方法还包括：
如果将除所述目标节点群组以外的节点群组中任一数据节点作为所述恢复目的数据节点时，所述恢复目的数据节点对应的所述设定后数据通路数量均大于所述预设数据通路数量阈值，则暂停所述目标节点群组的数据恢复工作。
8.一种确定群组中各数据节点类型的装置，其特征在于，包括：
节点群组获取模块，用于获取故障数据节点中各待恢复数据对应的节点群组，其中，在恢复数据过程中，所述节点群组中的每个数据节点对应数据的交互存在相应的数据通路；
类型设定模块，用于依次将每一个所述节点群组作为目标节点群组，结合当前已设定数据节点类型和恢复目的数据节点的已设定节点群组的设定结果，为目标节点群组中各数据节点设定类型，以使所述目标节点群组中每个数据节点对应的设定后数据通路数量均小于或者等于预设数据通路数量阈值，所述恢复目的数据节点为全部所述节点群组中除所述恢复目的数据节点对应的已设定节点群组以外的一个节点群组中的一个数据节点，所述设定结果包括所述已设定节点群组中每一个数据节点当前所对应的数据通路数量。
9.根据权利要求8所述的装置，其特征在于，所述节点群组获取模块包括：
数据源信息获取模块，用于从所述故障数据节点对应的管理平台中获取所述故障数据节点的数据源信息，所述数据源信息包括所述故障数据节点中每一待恢复数据对应的源数据；
存储信息获取模块，用于从所述管理平台中获取与每一所述源数据对应的存储分布信息，所述存储分布信息包括存储所述源数据的全部数据节点的信息；
节点群组确定模块，用于根据所述存储分布信息，确定各所述待恢复数据对应的节点群组，所述节点群组由同一所述存储分布信息中的各数据节点组成。
10.根据权利要求8所述的装置，其特征在于，所述类型设定模块包括：
通路和值计算模块，用于分别计算全部所述已设定节点群组中相同数据节点对应的数据通路数量的和值；
列表生成模块，用于汇总每一数据节点的节点名称和所述数据节点对应的数据通路数量的和值，得到包含各所述数据节点的设定结果的结果列表。
11.根据权利要求10所述的装置，其特征在于，所述类型设定模块包括：
计算模块，用于依次将所述目标节点群组中每一数据节点作为主恢复节点，将所述目标节点群组中的其余数据节点作为辅助节点时，结合所述结果列表，计算每一所述数据节点对应的设定后数据通路数量；
设定模块，用于根据所述每一数据节点的设定后数据通路数量，为所述目标节点群组中每一数据节点设定对应的类型，其中，所述每一数据节点的设定后数据通路数量均小于或者等于预设数据通路数量阈值。
12.根据权利要求10所述的装置，其特征在于，所述装置还包括：
恢复目的数据节点分配模块，用于结合所述结果列表，从除所述目标节点群组以外的节点群组中为所述目标节点群组选定恢复目的数据节点，所述恢复目的数据节点所对应的设定后数据通路数量小于所述预设数据通路数量阈值。
13.根据权利要求11所述的装置，其特征在于，所述装置还包括：
第一暂停模块，用于如果所述目标节点群组中至少一个数据节点所对应的设定后数据通路数量大于所述预设数据通路数量阈值，则暂停所述目标节点群组的数据恢复工作。
14.根据权利要求12所述的装置，其特征在于，所述装置还包括：
第二暂停模块，用于如果将除所述目标节点群组以外的节点群组中任一数据节点作为所述恢复目的数据节点时，所述恢复目的数据节点对应的所述设定后数据通路数量均大于所述预设数据通路数量阈值，则暂停所述目标节点群组的数据恢复工作。
15.一种电子设备，其特征在于，所述电子设备包括：
处理器，以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-7任一所述的确定群组中各数据节点类型的方法。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一所述的确定群组中各数据节点类型的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911318777.1A CN110968463B (zh) | 2019-12-19 | 2019-12-19 | 一种确定群组中各数据节点类型的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911318777.1A CN110968463B (zh) | 2019-12-19 | 2019-12-19 | 一种确定群组中各数据节点类型的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110968463A CN110968463A (zh) | 2020-04-07 |
| CN110968463B true CN110968463B (zh) | 2022-08-30 |
Family
ID=70035214
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911318777.1A Active CN110968463B (zh) | 2019-12-19 | 2019-12-19 | 一种确定群组中各数据节点类型的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110968463B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109144787A (zh) * | 2018-09-03 | 2019-01-04 | 郑州云海信息技术有限公司 | 一种数据恢复方法、装置、设备及可读存储介质 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101388844B (zh) * | 2008-11-07 | 2012-03-14 | 东软集团股份有限公司 | 一种数据流程的处理方法和系统 |
| US7917807B2 (en) * | 2009-01-15 | 2011-03-29 | International Business Machines Corporation | Power system communication management and recovery |
| CN102693168B (zh) * | 2011-03-22 | 2014-12-31 | 中兴通讯股份有限公司 | 一种数据备份恢复的方法、系统和服务节点 |
| US9672237B2 (en) * | 2013-03-15 | 2017-06-06 | Amazon Technologies, Inc. | System-wide checkpoint avoidance for distributed database systems |
| US9606856B2 (en) * | 2014-12-03 | 2017-03-28 | International Business Machines Corporation | Event logging and error recovery |
| CN105991458B (zh) * | 2015-02-02 | 2019-12-17 | 中兴通讯股份有限公司 | 一种负载均衡的方法及负载均衡装置 |
| US20160254990A1 (en) * | 2015-02-27 | 2016-09-01 | Alcatel-Lucent Canada, Inc. | Self-healing cam datapath in a distributed communication system |
| CN108804253B (zh) * | 2017-05-02 | 2021-08-06 | 中国科学院高能物理研究所 | 一种用于海量数据备份的并行作业备份方法 |
| CN107145407B (zh) * | 2017-05-16 | 2020-10-27 | 中林云信(上海)网络技术有限公司 | 一种对数据进行本地备份的方法 |
| US10467115B1 (en) * | 2017-11-03 | 2019-11-05 | Nutanix, Inc. | Data consistency management in large computing clusters |
| CN110545326B (zh) * | 2019-09-10 | 2022-09-16 | 杭州数梦工场科技有限公司 | 集群负载调度方法、装置、电子设备和存储介质 |
-
2019
- 2019-12-19 CN CN201911318777.1A patent/CN110968463B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109144787A (zh) * | 2018-09-03 | 2019-01-04 | 郑州云海信息技术有限公司 | 一种数据恢复方法、装置、设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110968463A (zh) | 2020-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10747780B2 (en) | Blockchain-based data processing method and device | |
| CN108681565B (zh) | 区块链数据并行处理方法、装置、设备和存储介质 | |
| EP2834755B1 (en) | Platform for continuous graph update and computation | |
| CN109408590B (zh) | 分布式数据库的扩容方法、装置、设备及存储介质 | |
| US20150178170A1 (en) | Method and Apparatus for Recovering Data | |
| CN108615151B (zh) | 数据处理方法、区块链服务器以及节点设备 | |
| CN106815254B (zh) | 一种数据处理方法和装置 | |
| CN112907369B (zh) | 基于区块链的数据共识方法及装置、电子设备、存储介质 | |
| EP3163446A1 (en) | Data storage method and data storage management server | |
| CN111181800A (zh) | 测试数据处理方法、装置、电子设备及存储介质 | |
| CN109714249A (zh) | 一种小程序消息的推送方法及相关装置 | |
| CN108769118A (zh) | 一种分布式系统中主节点的选取方法及装置 | |
| CN107426012B (zh) | 一种基于超融合架构的故障恢复方法及其装置 | |
| CN107679766B (zh) | 一种群智任务动态冗余调度方法及装置 | |
| CN110968463B (zh) | 一种确定群组中各数据节点类型的方法及装置 | |
| WO2021103800A1 (zh) | 故障修复操作推荐方法、装置及存储介质 | |
| CN111400241B (zh) | 数据重构方法和装置 | |
| CN109981476A (zh) | 一种负载均衡方法和装置 | |
| CN109815047B (zh) | 一种数据处理的方法和相关装置 | |
| CN109361625B (zh) | 核查转发表项的方法、装置和控制器 | |
| US10067778B2 (en) | Management system, recording medium and method for managing virtual machines | |
| CN115756955A (zh) | 一种数据备份、数据恢复的方法、装置及计算机设备 | |
| CN106559439B (zh) | 一种业务处理方法及设备 | |
| US20130297283A1 (en) | Information processing device, information processing method, and program | |
| CN110493071B (zh) | 消息系统资源均衡装置、方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |