CN115774634A - 本地磁盘数据补偿方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种本地磁盘数据补偿方法、装置、设备及存储介质，该方法包括当目标微服务启动后，获取目标微服务所挂载的本地磁盘的组合数据容量，以及目标微服务的共享存储中所存储的特征数据容量，进而确定组合数据数量和特征数据数量，若组合数据数量小于特征数据数量，基于组合数据数量和预设特征数据长度确定差异数据偏移位置，并确定差异数据标识、差异特征数据和差异结构化数据，将差异结构化数据和差异特征数据追加至本地磁盘，可以简单方便的确定到差异数据偏移位置，进而得到差异结构化数据，通过将差异结构化数据和差异特征数据追加至本地磁盘，以对本地磁盘进行数据补偿，在同步过程中，提升了数据捞取速度，降低了服务恢复时长。

Description

本地磁盘数据补偿方法、装置、设备及存储介质

技术领域

本发明实施例涉及计算机技术领域，特别是涉及一种本地磁盘数据补偿方法、装置、设备及存储介质。

背景技术

当前,为了增强系统的容灾能力，分布式系统越来越被大众所接受，分布式所带来的共享存储也同样越来越被大众所使用，安防领域的特征文件由于单条文件大，存储数据库容量大，查询慢，所以最优的方式还是直接存在硬盘中，但由于分布式共享存储的特性，存储数据冗余备份和数据共享，使数据的读取速度变得相对缓慢。

分布式共享存储作为稳定的分布式共享存储，在集群中的某一节点发生宕机的情况下，相关技术中，进行数据的同步需要把分布式共享存储中的文件全量读取出来并复写到其他集群节点的本地磁盘中，当数据量大的时候，因受限与分布式共享存储的读取速度，同步的时间会非常长。在同步的过程中，无法快速的提供数据捞取服务，导致同步过程中，数据捞取速度慢，服务恢复时间长。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种本地磁盘数据补偿方法、装置、设备及存储介质，用于解决对于同步过程中数据捞取速度慢，服务恢复时间长的技术问题。

针对于上述问题，本发明提供了一种本地磁盘数据补偿方法，所述方法包括：当目标微服务启动后，获取所述目标微服务所挂载的本地磁盘的组合数据容量，以及所述目标微服务的共享存储中所存储的特征数据容量，所述本地磁盘存储有所述目标微服务的特征数据和结构化数据，所述共享存储中存储有所述目标微服务的特征数据；根据所述组合数据容量和预设组合数据长度确定组合数据数量，根据所述特征数据容量和预设特征数据长度确定特征数据数量；若所述组合数据数量小于所述特征数据数量，基于所述组合数据数量和所述预设特征数据长度确定差异数据偏移位置，并确定差异数据标识和差异特征数据；基于所述差异数据标识确定差异结构化数据，将所述差异结构化数据和所述差异特征数据追加至所述本地磁盘，以对所述本地磁盘进行数据补偿。

于本发明一实施例中，基于所述组合数据数量和所述预设特征数据长度确定差异数据偏移位置，并确定差异数据标识和差异特征数据包括：根据所述组合数据数量和所述预设特征数据长度确定组合特征长度；基于所述组合特征长度确定所述共享存储中差异数据的所述差异数据偏移位置；自所述共享存储中所述差异数据偏移位置的特征数据开始消费，将得到特征数据和初始数据标识确定为所述差异特征数据和所述差异数据标识，所述共享存储中还存储有各所述特征数据的初始数据标识。

于本发明一实施例中，基于所述差异数据标识确定差异结构化数据包括：基于所述差异数据标识从预设数据库中查询，得到所述差异结构化数据，所述预设数据库中存储有所述目标微服务的所述结构化数据，以及与所述结构化数据对应的所述特征数据的初始数据标识。

于本发明一实施例中，将所述差异结构化数据和所述差异特征数据追加至所述本地磁盘包括：将所述差异结构化数据和所述差异特征数据进行文件组合，得到待存储文件，所述待存储文件的数据长度为所述预设组合数据长度；将所述待存储文件追加至所述本地磁盘。

于本发明一实施例中，获取所述目标微服务所挂载的本地磁盘的组合数据容量，以及所述目标微服务的共享存储中所存储的特征数据容量之前，所述方法包括：在所述目标微服务启动过程中，获取所述目标微服务的备份信息存在状态和当前启动节点；若所述备份信息存在状态为存在，基于所述目标微服务的备份信息确定所述目标微服务的指向节点和指向磁盘；若所述当前启动节点与所述指向节点不同，通过调用集群的服务重启接口，以对所述目标微服务进行重启漂移，直至重启漂移后的所述当前启动节点与所述指向节点相同。

于本发明一实施例中，若所述当前启动节点与所述指向节点不同，通过调用集群的服务重启接口，以对所述目标微服务进行重启漂移，直至重启漂移后的所述当前启动节点与所述指向节点相同之后，所述方法还包括：若所述目标微服务启动完成，获取环境中空闲节点的空闲磁盘，所述空闲节点与所述当前启动节点不同；将所述空闲磁盘确定为所述目标微服务的备份磁盘。

于本发明一实施例中，若所述备份信息存在状态为不存在，所述方法还包括：获取集群的当前启动服务数量和本地磁盘数量；根据所述当前启动服务数量确定最低磁盘数量，所述最低磁盘数量大于或等于所述当前启动服务数量的两倍；若所述本地磁盘数量大于所述最低磁盘数量，将所述目标微服务的特征数据和结构化数据备份至备份磁盘中，所述备份磁盘与所述目标微服务所挂载的所述本地磁盘不同。

于本发明一实施例中，所述方法还包括：获取所述目标微服务的服务状态和磁盘状态；若所述服务状态为正常，且所述磁盘状态为正常，将所述服务备份状态确定为可备份，通过启动同步线程同步所述本地磁盘和备份磁盘的文件数据；若所述服务状态为异常，或所述磁盘状态为异常，将所述服务备份状态确定为未备份，暂不进行数据备份。

于本发明一实施例中，若所述目标微服务的当前启动节点发生宕机，将所述目标微服务的备用节点恢复为新的当前启动节点；基于新的当前启动节点、新的本地磁盘信息、新的备用节点和新的备用磁盘信息生成新的备份信息，以所述新的备份信息替换所述目标微服务的历史备份信息。

于本发明一实施例中，将所述目标微服务的备用节点恢复为新的当前启动节点之后，所述方法还包括：获取空闲节点和空闲磁盘；若没有所述空闲节点或没有所述空闲磁盘，不进行数据备份；间隔预设时长进行轮询查询所述空闲节点和所述空闲磁盘，直到存在所述空闲节点和所述空闲磁盘；将所述空闲节点和所述空闲磁盘确定为备份节点和备份磁盘，并进行数据备份。

本发明实施例还提供了一种本地磁盘数据补偿装置，所述装置包括：容量获取模块，用于当目标微服务启动后，获取所述目标微服务所挂载的本地磁盘的组合数据容量，以及所述目标微服务的共享存储中所存储的特征数据容量，所述本地磁盘存储有所述目标微服务的特征数据和结构化数据，所述共享存储中存储有所述目标微服务的特征数据；数据数量确定模块，用于根据所述组合数据容量和预设组合数据长度确定组合数据数量，根据所述特征数据容量和预设特征数据长度确定特征数据数量；差异确定模块，用于若所述组合数据数量小于所述特征数据数量，基于所述组合数据数量和所述预设特征数据长度确定差异数据偏移位置，并确定差异数据标识和差异特征数据；数据补偿模块，用于基于所述差异数据标识确定差异结构化数据，将所述差异结构化数据和所述差异特征数据追加至所述本地磁盘，以对所述本地磁盘进行数据补偿。

本发明实施例还提供了一种电子设备，包括处理器、存储器和通信总线；所述通信总线用于将所述处理器和存储器连接；所述处理器用于执行所述存储器中存储的计算机程序，以实现如上述实施例中任一项所述的方法。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于使所述计算机执行如上述实施例中任一项所述的方法。

如上所述，本发明提供的一种本地磁盘数据补偿方法、装置、设备及存储介质，具有以下有益效果：

该方法通过当目标微服务启动后，获取目标微服务所挂载的本地磁盘的组合数据容量，以及目标微服务的共享存储中所存储的特征数据容量，根据组合数据容量和预设组合数据长度确定组合数据数量，根据特征数据容量和预设特征数据长度确定特征数据数量，若组合数据数量小于特征数据数量，基于组合数据数量和预设特征数据长度确定差异数据偏移位置，并确定差异数据标识和差异特征数据，基于差异数据标识确定差异结构化数据，将差异结构化数据和差异特征数据追加至本地磁盘，以对本地磁盘进行数据补偿，通过将全量数据中的全量的特征数据存储在共享存储中，将特征数据和结构化数据存储于本地磁盘中，基于本地磁盘中组合数据量与共享存储中的特征数据量进行比对，以确定本地磁盘中是否需要进行数据补偿，并且可以简单方便的确定到差异数据偏移位置，进而得到差异结构化数据，通过将差异结构化数据和差异特征数据追加至本地磁盘，以对本地磁盘进行数据补偿，在同步过程中，提升了数据捞取速度，降低了服务恢复时长。

附图说明

图1是本申请的一示例性实施例示出的本地磁盘数据补偿方法的流程图。

图2是本申请的一示例性实施例示出的本地磁盘数据补偿方法的一种具体示例的流程图。

图3是本申请的一示例性实施例示出的本地磁盘数据补偿方法的另一种具体示例的流程图。

图4是本申请的一示例性实施例示出的本地磁盘数据补偿装置的框图。

图5为一实施例提供的电子设备的一种结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

请参阅图1，图1是本申请的一示例性实施例示出的本地磁盘数据补偿方法的流程图。如图1所示，该方法至少包括步骤S101至步骤S104，详细介绍如下：

步骤S101，当目标微服务启动后，获取目标微服务所挂载的本地磁盘的组合数据容量，以及目标微服务的共享存储中所存储的特征数据容量。

其中，目标微服务为当前集群中正启动的微服务。集群中可能存在很多个微服务，这些微服务部分可能处于启动状态，部分可能正在启动，部分可能尚未启动。本实施例中的目标微服务包括开始启动的微服务。

目标微服务的服务数据通常会采用主磁盘和备用磁盘进行存储。对于目标微服务的当前主磁盘即为本申请实施例中目标微服务所挂载的本地磁盘。当目标微服务的主磁盘发生改变后，本实施例中目标微服务所挂在的本地磁盘(本地磁盘)即变更为改变后的新的主磁盘(可能为原来的备磁盘)。

在一实施例中，服务启动时，先判断启动的服务有无备份信息，再判断整个集群环境中的服务状态和磁盘状态，根据服务状态和磁盘状态确认是否备份情况(服务备份状态)。

请参见图2，图2是本申请的一示例性实施例示出的本地磁盘数据补偿方法的一种具体示例的流程图，如图2所示，在一个实施例中，获取所述目标微服务所挂载的本地磁盘的组合数据容量，以及所述目标微服务的共享存储中所存储的特征数据容量之前，该方法还包括：

步骤S201，在目标微服务启动过程中，获取目标微服务的备份信息存在状态和当前启动节点。此时目标微服务尚未启动成功，备份信息存在状态可以通过对存储有多个微服务的备份信息的数据库进行检索，以确定目标微服务对应的备份信息存在状态，若数据库中存在与目标微服务对应的备份信息，则备份信息存在状态为存在，否则，若数据库中不存在与目标微服务对应的备份信息，则备份状态存在状态为不存在，一种示例性的方式，可以基于目标微服务的服务标识在数据库中进行检索，数据库中的备份信息预先与该备份信息对应的服务标识对应存储，对于当前启动节点(也即主节点)的确定方式可以采用本领域技术人员所知晓的方式实现，在此不做限定；

步骤S202，若备份信息存在状态为存在，基于目标微服务的备份信息确定目标微服务的指向节点和指向磁盘。其中，备份信息包括指向节点和指向磁盘，该指向节点和指向磁盘可以由本领域技术人员预先设定，通常来说，该指向节点和指向磁盘为目标微服务的主节点和主磁盘(若发生主备节点切换，则为切换后的主节点和主磁盘)；

步骤S203，若当前启动节点与指向节点不同，通过调用集群的服务重启接口，以对目标微服务进行重启漂移，直至重启漂移后的当前启动节点与指向节点相同。在一示例中，若当前启动节点与指向节点不一致，则可以通过调用该目标微服务所在集群的服务重启节点，对该目标微服务进行重启，每一次重启均会更改当前启动节点，知道更改后的当前启动节点与指向节点相同，由于节点可以预先设定一定顺序，则对目标微服务进行重启时，可以按照上述顺序进行当前启动节点的漂移。

在本实施例中，当调整到当前启动节点与指向节点相同后，可以将目录挂载到数据库中记录的备份磁盘上，将本地磁盘的数据作为数据源。

在本实施例中，若当前启动节点与指向节点不同，通过调用集群的服务重启接口，以对目标微服务进行重启漂移，直至重启漂移后的当前启动节点与指向节点相同之后，该方法还包括：

若目标微服务启动完成，获取环境中空闲节点的空闲磁盘，空闲节点与当前启动节点不同；

将空闲磁盘确定为目标微服务的备份磁盘，以及将服务备份状态确定为可备份。

例如，当服务启动时，首先判断正在启动的服务(目标微服务)在数据库(该数据库与预设数据库可以是同一数据库也可以是不同数据库，在此不做限定)中是否存在备份信息。如果存在，则根据数据库中指向的节点(指向节点)和指向的磁盘(指向磁盘)定向启动。其中，一种示例性的定向的方法为：判断当前启动的节点(当前启动节点)是否与数据库中的节点(指向节点)一致，不一致则调用集群的服务重启接口，进行服务的重启漂移，直至服务启动的节点和数据库中节点一致，并将目录到挂载到数据库中记录的备份磁盘上(每个磁盘都是有一个磁盘名称，根据名称来确定)，将本地磁盘的数据作为数据源。启动完成后，删除数据库中的对应的服务的节点信息、磁盘信息并将新的节点信息和磁盘信息更新到数据库中，如果环境中其他的节点存在空闲磁盘，则将其他节点的空闲本地磁盘标记为备份磁盘，并记录在数据库中，然后开始分布式共享存储和本地磁盘数据一致性的判断，开始数据同步和数据备份，其中数据备份的方式可以是通过本领域技术人员所知晓的增量方法进行文件形式的增量备份。

继续参见图2，在本实施例中，若备份信息存在状态为不存在，该方法还包括：

步骤S204，获取集群的当前启动服务数量和本地磁盘数量；

步骤S205，根据当前启动服务数量确定最低磁盘数量，其中，最低磁盘数量大于或等于当前启动服务数量的两倍；

步骤S206，若本地磁盘数量大于最低磁盘数量，将目标微服务的特征数据和结构化数据备份至备份磁盘中，备份磁盘与目标微服务所挂载的本地磁盘不同。

例如，如果数据库中不存在服务对应的备份信息。则判断服务启动个数(当前启动服务数量)N以及本地磁盘中的本地磁盘个数(本地磁盘数量，能够供进行本地存储的磁盘的总数)，如果集群中本地磁盘中的个数大于或等于2N，则进行本地磁盘的数据备份，备份的磁盘所在的节点和正在运行的节点不在同一个节点，理论按照正在运行的节点上加1，若加1以后不存在，则为节点1(初始节点或者是本领域技术人员所设定的其他节点)做备份。备份方法可以直接运用本领域技术人员所知晓的增量备份文件的方法，进行数据的备份。服务启动节点数据和磁盘数据及备份的节点数据和磁盘数据存放在数据库中。在一种可选的额实施例中，如果磁盘的个数小于服务启动的个数的两倍，则每一个服务都不进行数据的备份，这样可以更好的保证整个系统的可靠。

在一实施例中，该方法还包括：

获取目标微服务的服务状态和磁盘状态；

若服务状态为正常，且磁盘状态为正常，将服务备份状态确定为可备份，通过启动同步线程同步本地磁盘和备份磁盘的文件数据；

若服务状态为异常，或磁盘状态为异常，将服务备份状态确定为未备份，暂不进行数据备份。此时，可以间隔一定时间如三十分钟轮询查询磁盘状态，直到磁盘状态正常后，进行数据备份。服务状态可以为目标微服务是否启动，以及启动后是否正常运行的状态，若目标微服务正常启动，或者运行正常，则服务状态为正常，否则，服务状态为异常。磁盘状态为当前目标微服务的主用磁盘及备用磁盘的状态，若主用磁盘和备用磁盘均正常，则可以进行主备磁盘之间的备份。

通过上述方式，可以预先判断该目标微服务是否需要启动进行本地磁盘数据补偿，以及提供了进行目标微服务启动和节点选取磁盘选取的方式。

本地磁盘存储有目标微服务的特征数据和结构化数据，共享存储中存储有目标微服务的特征数据。需要说明的是，本地磁盘中特征数据和结构化数据可以是将一特征数据和一结构化数据进行组合，对得到的组合数据进行存储。也可以是将特征数据和结构化数据进行关联存储，但需要保证，一特征数据与一结构化数据对应，若将一特征数据和一结构化数据看做一个数据对，对于数据对中缺失的任意一方，均通过占位的方式进行存储，这样可以保证每一个数据对的存储长度一致。

在本实施例中，目标微服务的服务数据包括但不限于结构化数据和特征数据(也即后续提到的纯特征数据和长特征)，其中，结构化数据全量存放在数据库(预设数据库)中，纯特征数据存放在分布式共享存储(也即本实施例中的共享存储)中，本地磁盘中存放特征数据加结构化数据的组合数据。

其中，组合数据容量也即本地磁盘中当前所存储的组合数据的容量，特征数据容量也即该目标微服务在分布式共享存储中的总的特征数据的容量。具体的获取方式可以采用本领域技术人员所知晓的方式实现。每一个组合数据的大小均相同。

在一实施例中，若服务备份状态为未备份，如节点发生极端情况时，备用节点恢复，把备用节点作为主节点，重新判断备用节点及备用磁盘信息。如果无额外的备用节点和备用磁盘信息，则不进行数据备份。

步骤S102，根据组合数据容量和预设组合数据长度确定组合数据数量，根据特征数据容量和预设特征数据长度确定特征数据数量。

特征数据数量的一种示例性的确定方式如下：

N1＝C1/L1 公式(1)，

其中，N1为特征数据数量，C1为共享存储的总容量(特征数据容量)，L1为单条特征的长度(预设特征数据长度)。

组合数据数量的一种示例性的确定方式如下：

N2＝C2/L2 公式(2)，

其中，N2为组合数据数量，C2为本地磁盘中文件的大小(组合数据容量)，L2为单条特征的长度与单条结构化数据的长度之和，也即预设组合数据长度。可以理解L2＝L1+L0,其中，L2为预设组合数据长度，L1为预设特征数据长度，L0为单条结构化数据的长度。

需要说明的是，本次磁盘存储的组合数据(下文也称组合文件)中的结构化数据的每一条数据，也都以固定长度来添加，如果涉及到部分的结构化数据没有，则使用0来进行空间占位。保证组合文件的大小也都是一致的。

步骤S103，若组合数据数量小于特征数据数量，基于组合数据数量和预设特征数据长度确定差异数据偏移位置，并确定差异数据标识和差异特征数据。

在一实施例中，基于组合数据数量和预设特征数据长度确定差异数据偏移位置，并确定差异数据标识和差异特征数据包括：

根据组合数据数量和预设特征数据长度确定组合特征长度，一种组合特征长度的确定方式为Lz＝N2*Ly,其中，Lz为组合特征长度，N2为组合数据数量，Ly为预设特征数据长度；

基于组合特征长度确定共享存储中差异数据的差异数据偏移位置，由于在进行数据存储的过程中，数据是按照一定顺序进行存储的，若组合数据数量小于特征数据数量，则缺失的差异数据就是差异数据偏移位置起始之后的特征数据，可以通过组合特征长度确定已有的特征数据，已有特征数据结束的位置即为差异数据偏移位置；

自共享存储中差异数据偏移位置的特征数据开始消费，将得到特征数据和初始数据标识确定为差异特征数据和差异数据标识，共享存储中还存储有各特征数据的初始数据标识。

换句话说，自差异数据偏移位置起，其之后存储的特征数据即为差异数据，在共享存储中不仅存有特征数据，还对应存有各特征数据的初始数据标识，至少一部分特征数据对应有结构化数据，该结构化数据存储于数据库中，数据库还对应存储有个结构化数据对应的初始数据标识，这样基于初始数据标识就能够查询到某一特征数据对应的结构化数据。

在本实施例中，基于差异数据标识确定差异结构化数据包括：

基于差异数据标识从预设数据库中查询，得到差异结构化数据，预设数据库中存储有目标微服务的结构化数据，以及与结构化数据对应的特征数据的初始数据标识。

通过上述方式，能够确定本地磁盘中缺少了哪些特征数据(差异特征数据)，以及各特征数据对应的初始数据标识(差异数据标识)，通过该初始数据标识能够查询到缺少的特征数据对应的结构化数据。当然，也可能预设数据库中没有查询到某一差异数据标识对应的结构化数据，此时可以通过预设的占位规则将在后续待存储文件中进行占位。

步骤S104，基于差异数据标识确定差异结构化数据，将差异结构化数据和差异特征数据追加至本地磁盘，以对本地磁盘进行数据补偿。

在一实施例中，将差异结构化数据和差异特征数据追加至本地磁盘包括：

将差异结构化数据和差异特征数据进行文件组合，得到待存储文件，待存储文件的数据长度为预设组合数据长度；

将待存储文件追加至本地磁盘。

因为设计上分布式共享存储中的数据为全量的数据，数据量(特征数据数量)一定是大于或等于本地磁盘中的数量(组合数据数量)，若本地磁盘中的数据少了(也即组合数据数量所述特征数据数量)，则根据特征数据数量*特征文件大小(预设特征数据长度)，得到差异文件的偏移位置，从偏移位置的数据开始消费，消费了特征数据后，根据特征数据的recordID去数据库中查询出来对应的结构化数据，按照固定的格式和固定的长度进行文件组合。以此达到本地磁盘和分布式共享存储上的文件一致的目的。每条数据处理后，利用文件追加的方法，追加到本地磁盘中去。

当服务已经启动后，判断服务挂载的磁盘(本地磁盘)上对应的特征文件与分布式共享存储上的特征文件数量是否一致，如果一致，则不做任何数据同步操作；如果数据量不一致，则进行数据的同步补偿。

在一实施例中，若目标微服务的当前启动节点发生宕机，将目标微服务的备用节点恢复为新的当前启动节点；

基于新的当前启动节点、新的本地磁盘信息、新的备用节点和新的备用磁盘信息生成新的备份信息，以新的备份信息替换目标微服务的历史备份信息。

备份信息可以存储在数据库中，这样通过对数据库中的历史备份信息进行更新，可以保证数据库中所存储的目标微服务的备份信息为最新的数据。

在一实施例中，将目标微服务的备用节点恢复为新的当前启动节点之后，该方法还包括：

获取空闲节点和空闲磁盘；

若没有空闲节点或没有空闲磁盘，不进行数据备份；

间隔预设时长进行轮询查询空闲节点和空闲磁盘，直到存在空闲节点和空闲磁盘；

将空闲节点和空闲磁盘确定为备份节点和备份磁盘，并进行数据备份。

例如，当节点发生极端情况时，服务所在节点宕机，备用节点被恢复成服务节点后，清除数据库中原有记录的原服务的节点和磁盘信息，并把备用节点作为主节点，备用节点及备用磁盘信息，记录在数据库中。如果无额外的备用节点和备用磁盘信息，则不进行该节点的数据备份，30分钟(也可以是本领域技术人员所设定的其他时长)轮询查询是否有足够的节点和空余磁盘信息。有则进行未备份磁盘的数据。需要说明的是，预设时长可以是固定值，也可以是随机值，在此不做限定。

请参阅图3，图3是本申请的一示例性实施例示出的本地磁盘数据补偿方法的一种具体的流程图。如图3所示，预先明确结构化数据全量存放在数据库中，纯特征数据(特征数据)存放在分布式共享存储中，本地磁盘中存放特征数据加结构化数据的组合数据。服务启动时，先判断启动的服务有无备份信息，再判断整个集群环境中的服务状态和磁盘状态，根据服务状态和磁盘状态确认是否备份情况，最后判断本地磁盘中的数据和分布式共享存储中对应的特征文件的数量是否一致。当节点发生极端情况时，备用节点恢复，清除原服务的节点和磁盘信息，并把备用节点作为主节点，重新判断备用节点及备用磁盘信息。如果无额外的备用节点和备用磁盘信息，则不进行备份，30分钟轮询查询是否有足够的节点和空余磁盘信息。有则进行未备份磁盘的数据。继续参见图2，当原有的主节点宕机时，进行主备节点切换，当启动目标微服务，判断是否存在备用节点，若不存在，则判断集群的当前启动服务数量N和本地磁盘数量中，本地磁盘数量是否大于最低磁盘数量2N，若本地磁盘数量大于或等于最低磁盘数量2N，则启动服务，但不备份数据，若本地磁盘数量小于最低磁盘数量2N，则随机启动服务，并在选择的node节点进行备份。一种可选的而选择node节点的方式为，启动服务的node节点上在node上+1(node+1节点作为备用节点)，并挂在node+1节点磁盘为本地磁盘数据备用盘(备用磁盘或备份磁盘)，将上述node+1节点和node+1节点磁盘信息记录在数据库中。若node为节点中的最大值，可以将1节点磁盘为本地磁盘数据备用盘。若存在备用节点(或称备份节点)，调度备用节点信息，挂载备用数据磁盘，判断备用磁盘每个partition(分区)对应的长码文件(特征数据)与ceph(分布式存储系统，共享存储)上的长码文件(特征数据)是否一致，若否，通过数据量计算ceph文件位置(确定差异数据偏移位置)，根据文件位置增量增加到本地磁盘中。其中，ceph中的数据为全量的数据，数据量一定是大于或等于本地磁盘中的数量，若本地磁盘中的数据少了，则根据本地磁盘数量(特征数据数量)*特征文件大小，得到差异文件的偏移位置，从偏移位置的数据开始消费。数量是否一致的判断方法：ceph上的磁盘仅为长特征(特征数据)，本地磁盘的文件数据为长特征+结构化文件(结构化数据)。故计算的时候通过ceph的总容量/单条特征的长度；本地磁盘的数据计算方法为：本地磁盘中文件的大小/(特征长度+结构化数据)。

下面通过又一个具体的实施例对上述实施例提供的本地磁盘数据补偿方法进行示例性的说明，以一套业务系统，服务启动15个，本地磁盘数为50个，集群节点数为5个，数据库中无备份数据来进行举例说明：

服务启动的时候，因为数据库中无备份的数据，故不进行定向启动，又因服务启动个数15，本地磁盘数50，本地磁盘数大于15乘以2，故需要进行数据备份，启动的时候，每个服务的启动节点和备份节点必须在不同的服务器上，故若服务0在Node0上，服务0的备份磁盘就必须在Node1或者其他节点上，如果Node1没有空余磁盘，则在Node1的基础上再加1，以此类推，因为服务启动的时候是全新的磁盘，则需要判断分布式共享存储上的数据和本地磁盘的数据量是否一致，如果分布式共享存储上的存在需要同步到本地磁盘的数据，则进行同步，从分布式共享存储上读取并通过recordID(初始数据标识，也是差异数据标识)找到结构化数据，组合完成后保存在本地磁盘上，并启动同步线程同步本地磁盘和备份磁盘的文件数据。

本实施例提供的本地磁盘数据补偿方法，通过当目标微服务启动后，获取目标微服务所挂载的本地磁盘的组合数据容量，以及目标微服务的共享存储中所存储的特征数据容量，根据组合数据容量和预设组合数据长度确定组合数据数量，根据特征数据容量和预设特征数据长度确定特征数据数量，若组合数据数量小于特征数据数量，基于组合数据数量和预设特征数据长度确定差异数据偏移位置，并确定差异数据标识和差异特征数据，基于差异数据标识确定差异结构化数据，将差异结构化数据和差异特征数据追加至本地磁盘，以对本地磁盘进行数据补偿，通过将全量数据中的全量的特征数据存储在共享存储中，将特征数据和结构化数据存储于本地磁盘中，基于本地磁盘中组合数据量与共享存储中的特征数据量进行比对，以确定本地磁盘中是否需要进行数据补偿，并且可以简单方便的确定到差异数据偏移位置，进而得到差异结构化数据，通过将差异结构化数据和差异特征数据追加至本地磁盘，以对本地磁盘进行数据补偿，在同步过程中，提升了数据捞取速度，降低了服务恢复时长。

上述实施例的方法，通过对服务的本地磁盘数据在其他节点进行增量备份，极大的提升在原有节点发生意外宕机时的处理能力。通过进行数据量(组合数据数量、特征数据数量)的一个计算，判断本地磁盘数据是否有缺失，增量的同步本地磁盘和分布式共享存储盘的数据，缩短服务恢复时间。通过对过程中本地磁盘的组合数据进行数据备份的形式，持续的备份本地磁盘的数据到备用节点中的备用磁盘上，等到发生极端情况时，能够快速的拉起服务，做好分布式共享存储和本地磁盘的数据一致性恢复工作，提供高速的数据捞取能力。通过基于稳定的分布式共享存储系统，再分配单一的本地磁盘，每个本次磁盘数据不共享，不做逻辑冗余，以此来加速特征的读取，每个微服务在磁盘充足的情况下，运用物理方法进行不同集群节点的数据单独备份，某一台服务器宕机后，定向调度到备用集群节点，快速接管备份数据，以此来快速的恢复高速查询的效果。

请参阅图4，图4是本申请的一示例性实施例示出的本地磁盘数据补偿装置的框图，如图4所示，本实施例提供了一种本地磁盘数据补偿装置400，该装置包括：

容量获取模块401，用于当目标微服务启动后，获取目标微服务所挂载的本地磁盘的组合数据容量，以及目标微服务的共享存储中所存储的特征数据容量，本地磁盘存储有目标微服务的特征数据和结构化数据，共享存储中存储有目标微服务的特征数据；

数据数量确定模块402，用于根据组合数据容量和预设组合数据长度确定组合数据数量，根据特征数据容量和预设特征数据长度确定特征数据数量；

差异确定模块403，用于若组合数据数量小于特征数据数量，基于组合数据数量和预设特征数据长度确定差异数据偏移位置，并确定差异数据标识和差异特征数据；

数据补偿模块404，用于基于差异数据标识确定差异结构化数据，将差异结构化数据和差异特征数据追加至本地磁盘，以对本地磁盘进行数据补偿。

在一实施例中，差异确定模块被配置为：根据组合数据数量和预设特征数据长度确定组合特征长度；基于组合特征长度确定共享存储中差异数据的差异数据偏移位置；自共享存储中差异数据偏移位置的特征数据开始消费，将得到特征数据和初始数据标识确定为差异特征数据和差异数据标识，共享存储中还存储有各特征数据的初始数据标识。

在一实施例中，数据补偿模块被配置为：基于差异数据标识从预设数据库中查询，得到差异结构化数据，预设数据库中存储有目标微服务的结构化数据，以及与结构化数据对应的特征数据的初始数据标识。

在一实施例中，数据补偿模块还被配置为：将差异结构化数据和差异特征数据进行文件组合，得到待存储文件，待存储文件的数据长度为预设组合数据长度；将待存储文件追加至本地磁盘。

在一实施例中，该装置还包括启动模块，用于在目标微服务启动过程中，获取目标微服务的备份信息存在状态和当前启动节点；若备份信息存在状态为存在，基于目标微服务的备份信息确定目标微服务的指向节点和指向磁盘；若当前启动节点与指向节点不同，通过调用集群的服务重启接口，以对目标微服务进行重启漂移，直至重启漂移后的当前启动节点与指向节点相同。

在一实施例中，启动模块还被配置为：若当前启动节点与指向节点不同，通过调用集群的服务重启接口，以对目标微服务进行重启漂移，直至重启漂移后的当前启动节点与指向节点相同之后，方法还包括：若目标微服务启动完成，获取环境中空闲节点的空闲磁盘，空闲节点与当前启动节点不同；将空闲磁盘确定为目标微服务的备份磁盘。

在一实施例中，启动模块还被配置为：若备份信息存在状态为不存在，获取集群的当前启动服务数量和本地磁盘数量；根据当前启动服务数量确定最低磁盘数量，最低磁盘数量大于或等于当前启动服务数量的两倍；若本地磁盘数量大于最低磁盘数量，将目标微服务的特征数据和结构化数据备份至备份磁盘中，备份磁盘与目标微服务所挂载的本地磁盘不同。

在一实施例中，该装置还包括备份控制模块，用于获取目标微服务的和磁盘状态；若服务状态为正常，且磁盘状态为正常，将服务备份状态确定为可备份，通过启动同步线程同步本地磁盘和备份磁盘的文件数据；若服务状态为异常，或磁盘状态为异常，将服务备份状态确定为未备份，暂不进行数据备份。

在一实施例中，该装置还包括切换控制模块，用于若目标微服务的当前启动节点发生宕机，将目标微服务的备用节点恢复为新的当前启动节点；基于新的当前启动节点、新的本地磁盘信息、新的备用节点和新的备用磁盘信息生成新的备份信息，以新的备份信息替换目标微服务的历史备份信息。

在一实施例中，该切换控制模块被配置为：将目标微服务的备用节点恢复为新的当前启动节点之后，获取空闲节点和空闲磁盘；若没有空闲节点或没有空闲磁盘，不进行数据备份；间隔预设时长进行轮询查询空闲节点和空闲磁盘，直到存在空闲节点和空闲磁盘；将空闲节点和空闲磁盘确定为备份节点和备份磁盘，并进行数据备份。

在本实施例中，该装置实质上是设置了多个模块用以执行上述任一实施例中的方法，具体功能和技术效果参照上述实施例即可，此处不再赘述。

参见图5，本发明实施例还提供了一种电子设备500，包括处理器501、存储器502和通信总线503；

通信总线503用于将处理器501和存储器连接502；

处理器501用于执行存储器502中存储的计算机程序，以实现如上述实施例中的一个或多个的方法。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，

计算机程序用于使计算机执行如上述实施例一中的任一项的方法。

本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的实施例一所包含步骤的指令(instructions)。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (13)

1.一种本地磁盘数据补偿方法，其特征在于，所述方法包括：

当目标微服务启动后，获取所述目标微服务所挂载的本地磁盘的组合数据容量，以及所述目标微服务的共享存储中所存储的特征数据容量，所述本地磁盘存储有所述目标微服务的特征数据和结构化数据，所述共享存储中存储有所述目标微服务的特征数据；

根据所述组合数据容量和预设组合数据长度确定组合数据数量，根据所述特征数据容量和预设特征数据长度确定特征数据数量；

若所述组合数据数量小于所述特征数据数量，基于所述组合数据数量和所述预设特征数据长度确定差异数据偏移位置，并确定差异数据标识和差异特征数据；

基于所述差异数据标识确定差异结构化数据，将所述差异结构化数据和所述差异特征数据追加至所述本地磁盘，以对所述本地磁盘进行数据补偿。

2.如权利要求1所述的本地磁盘数据补偿方法，其特征在于，基于所述组合数据数量和所述预设特征数据长度确定差异数据偏移位置，并确定差异数据标识和差异特征数据包括：

根据所述组合数据数量和所述预设特征数据长度确定组合特征长度；

基于所述组合特征长度确定所述共享存储中差异数据的所述差异数据偏移位置；

自所述共享存储中所述差异数据偏移位置的特征数据开始消费，将得到特征数据和初始数据标识确定为所述差异特征数据和所述差异数据标识，所述共享存储中还存储有各所述特征数据的初始数据标识。

3.如权利要求1所述的本地磁盘数据补偿方法，其特征在于，基于所述差异数据标识确定差异结构化数据包括：

基于所述差异数据标识从预设数据库中查询，得到所述差异结构化数据，所述预设数据库中存储有所述目标微服务的所述结构化数据，以及与所述结构化数据对应的所述特征数据的初始数据标识。

4.如权利要求1所述的本地磁盘数据补偿方法，其特征在于，将所述差异结构化数据和所述差异特征数据追加至所述本地磁盘包括：

将所述差异结构化数据和所述差异特征数据进行文件组合，得到待存储文件，所述待存储文件的数据长度为所述预设组合数据长度；

将所述待存储文件追加至所述本地磁盘。

5.如权利要求1所述的本地磁盘数据补偿方法，其特征在于，获取所述目标微服务所挂载的本地磁盘的组合数据容量，以及所述目标微服务的共享存储中所存储的特征数据容量之前，所述方法包括：

在所述目标微服务启动过程中，获取所述目标微服务的备份信息存在状态和当前启动节点；

若所述备份信息存在状态为存在，基于所述目标微服务的备份信息确定所述目标微服务的指向节点和指向磁盘；

若所述当前启动节点与所述指向节点不同，通过调用集群的服务重启接口，以对所述目标微服务进行重启漂移，直至重启漂移后的所述当前启动节点与所述指向节点相同。

6.如权利要求5所述的本地磁盘数据补偿方法，其特征在于，若所述当前启动节点与所述指向节点不同，通过调用集群的服务重启接口，以对所述目标微服务进行重启漂移，直至重启漂移后的所述当前启动节点与所述指向节点相同之后，所述方法还包括：

若所述目标微服务启动完成，获取环境中空闲节点的空闲磁盘，所述空闲节点与所述当前启动节点不同；

将所述空闲磁盘确定为所述目标微服务的备份磁盘。

7.如权利要求5所述的本地磁盘数据补偿方法，其特征在于，若所述备份信息存在状态为不存在，所述方法还包括：

获取集群的当前启动服务数量和本地磁盘数量；

根据所述当前启动服务数量确定最低磁盘数量，所述最低磁盘数量大于或等于所述当前启动服务数量的两倍；

若所述本地磁盘数量大于所述最低磁盘数量，将所述目标微服务的特征数据和结构化数据备份至备份磁盘中，所述备份磁盘与所述目标微服务所挂载的所述本地磁盘不同。

8.如权利要求1-7任一项所述的本地磁盘数据补偿方法，其特征在于，所述方法还包括：

获取所述目标微服务的服务状态和磁盘状态；

若所述服务状态为正常，且所述磁盘状态为正常，将所述服务备份状态确定为可备份，通过启动同步线程同步所述本地磁盘和备份磁盘的文件数据；

若所述服务状态为异常，或所述磁盘状态为异常，将所述服务备份状态确定为未备份，暂不进行数据备份。

9.如权利要求1-7任一项所述的本地磁盘数据补偿方法，其特征在于，若所述目标微服务的当前启动节点发生宕机，将所述目标微服务的备用节点恢复为新的当前启动节点；

基于新的当前启动节点、新的本地磁盘信息、新的备用节点和新的备用磁盘信息生成新的备份信息，以所述新的备份信息替换所述目标微服务的历史备份信息。

10.如权利要求9所述的本地磁盘数据补偿方法，其特征在于，将所述目标微服务的备用节点恢复为新的当前启动节点之后，所述方法还包括：

获取空闲节点和空闲磁盘；

若没有所述空闲节点或没有所述空闲磁盘，不进行数据备份；

间隔预设时长进行轮询查询所述空闲节点和所述空闲磁盘，直到存在所述空闲节点和所述空闲磁盘；

将所述空闲节点和所述空闲磁盘确定为备份节点和备份磁盘，并进行数据备份。

11.一种本地磁盘数据补偿装置，其特征在于，所述装置包括：

容量获取模块，用于当目标微服务启动后，获取所述目标微服务所挂载的本地磁盘的组合数据容量，以及所述目标微服务的共享存储中所存储的特征数据容量，所述本地磁盘存储有所述目标微服务的特征数据和结构化数据，所述共享存储中存储有所述目标微服务的特征数据；

数据数量确定模块，用于根据所述组合数据容量和预设组合数据长度确定组合数据数量，根据所述特征数据容量和预设特征数据长度确定特征数据数量；

差异确定模块，用于若所述组合数据数量小于所述特征数据数量，基于所述组合数据数量和所述预设特征数据长度确定差异数据偏移位置，并确定差异数据标识和差异特征数据；

数据补偿模块，用于基于所述差异数据标识确定差异结构化数据，将所述差异结构化数据和所述差异特征数据追加至所述本地磁盘，以对所述本地磁盘进行数据补偿。

12.一种电子设备，其特征在于，包括处理器、存储器和通信总线；

所述通信总线用于将所述处理器和存储器连接；

所述处理器用于执行所述存储器中存储的计算机程序，以实现如权利要求1-10中任一项所述的方法。

13.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，

所述计算机程序用于使所述计算机执行如权利要求1-10中任一项所述的方法。

Images