CN110609845A - 大数据冗余灾备方法、大数据服务系统及查询方法 - Google Patents

Abstract

本发明实施例涉及大数据技术领域，公开了一种大数据冗余灾备方法、大数据服务系统及查询方法。灾备方法应用于大数据服务系统，大数据服务系统包括：N个集群，N为大于1的自然数，各集群的分片的副本数均为0；方法包括：在更新大数据服务系统的业务数据时，各集群同时将待更新的数据更新至本集群。查询方法应用于前述大数据服务系统，该方法包括：在执行查询任务时，若执行查询任务的任一集群出现故障，则将查询任务转移至大数据服务系统中的其他集群。采用本发明实施方式，在实现数据灾备的同时，避免了故障数据转移，从而可在保证集群稳定性的基础上，保障查询性能。

Description

大数据冗余灾备方法、大数据服务系统及查询方法

技术领域

本发明实施例涉及大数据技术领域，特别涉及一种大数据冗余灾备方法、大数据服务系统及查询方法。

背景技术

随着大数据技术的迅速发展，出现了ElasticSearch(简称ES)集群(Cluster)等的优秀的分布式搜索引擎。ES集群内部实现中利用副本分片来解决故障转移，也就是一套集群内部做冗余灾备，利用副本分片，在(副本数-1)个机器宕机时也能保证数据不丢，为ES集群数据安全提供了可靠保障。

发明人发现现有技术中至少存在如下问题：ES集群的副本分片冗余灾备方案有如下缺点：副本故障转移时会增加额外负载，由于故障转移数据量大，转移过程中肯定会占用很高的带宽以及很多的CPU(Centrol Processing Unit，中央处理器，简称CPU)资源，可能影响集群的查询性能；此外，副本故障转移机制也存在可靠性问题，因为系统进行副本故障转移所增加的负载可能会集中到某台机器上，这可能导致连锁反应进而导致系统瘫痪；ES集群数据写入速度慢，客户端在写入数据的时候需要等到多个副本同时写入完成才能返回，这在写入数据量很大的场景中会给访问的实时性等带来难题。

发明内容

本发明实施方式的目的在于提供一种大数据冗余灾备方法、大数据服务系统及查询方法，在实现数据灾备的同时，避免了故障数据转移，从而可在保证集群稳定性的基础上，保障查询性能。

为解决上述技术问题，本发明的实施方式提供了一种大数据冗余灾备方法，应用于大数据服务系统，所述大数据服务系统包括：N个集群，N为大于1的自然数，各集群的分片的副本数均为0；所述方法包括：在更新所述大数据服务系统的业务数据时，所述各集群同时将待更新的数据更新至本集群。

本发明的实施方式还提供了一种大数据服务系统，包括：N个集群，N为大于1的自然数，各集群的分片的副本数均为0；所述各集群分别用于执行如前所述的大数据冗余灾备方法。

本发明的实施方式还提供了一种查询方法，应用于如前所述的大数据服务系统，所述方法包括：在执行查询任务时，若执行所述查询任务的任一集群出现故障，则将所述查询任务转移至所述大数据服务系统中的其他集群。

本发明实施方式相对于现有技术而言，通过部署N个集群，得到大数据服务系统，在更新大数据服务系统的业务数据时，各集群同时将待更新的数据更新至本集群，这样可保证各集群业务数据的一致性，从而使得N个集群可以互为灾备，并且由于各个集群均可独立部署且各集群的分片的副本数均为0，也就是说各集群均不存在副本，进而在系统中不会出现副本故障转移，从而可以提高系统稳定性，保证对外查询性能。

另外，所述待更新的数据包括多个数据包；所述各集群同时将待更新的数据更新至本集群，具体包括：每个所述集群按照以下方式依次将所述多个数据包更新至本集群：将一个所述数据包写入本集群，判断所述数据包是否写入完成，若写入完成，则更新下一个所述数据包。因此，在将多个数据包更新至大数据服务系统时，对于每个集群而言，只要将一个数据包写入至本集群，即可继续写入下一个数据包，而无需受限于系统内的其他集群是否同步更新完成该数据包，从而可以提高数据更新速度。

另外，所述各集群同时将待更新的数据更新至本集群还包括：在所述将一个所述数据包写入本集群时，判断所述数据包的写入速度是否小于预设阈值，若小于所述预设阈值，则反馈写入异常信息。通过反馈写入异常信息，可避免出现写入异常的集群提供服务造成查询错误。

另外，所述待更新的数据包括多个数据包；所述各集群同时将待更新的数据更新至本集群，具体包括：每个所述集群按照以下方式依次将所述多个数据包更新至本集群：每个所述集群判断一个所述数据包是否更新至所述N个集群上，若更新至所述N个集群上，则更新下一个所述数据包。从而可以保证各个集群上的业务数据的一致性。

另外，所述各集群同时将待更新的数据更新至本集群，具体包括：所述各集群分别创建数据更新进程，所述数据更新进程用于将当前更新数据更新至本集群。

另外，所述N个集群用于执行分布式搜索数据服务。

另外，在执行所述查询任务前，还包括：获取所述查询任务；解析得到所述查询任务的查询类型，根据所述查询类型将所述查询任务分配至对应的集群进行查询。这样，多个集群同时参与查询，可以提高查询性能，且不同集群执行不同类型的查询任务，有利于保障不同类型查询任务的响应性能。

另外，所述查询类型按照以下方式划分：查询数据量的大小或者查询任务优先级。这样，可以更好地保障优先级高的查询任务的查询性能。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是根据本发明第一实施方式的大数据冗余灾备方法中的大数据服务系统的结构示意图；

图2是根据本发明第一实施方式的大数据冗余灾备方法的流程图；

图3是根据本发明第二实施方式的大数据冗余灾备方法的流程图；

图4是根据本发明第四实施方式的查询方法的流程图；

图5是根据本发明第五实施方式的查询方法的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

本发明的第一实施方式涉及一种大数据冗余灾备方法，应用于如图1所示的大数据服务系统1。举例而言，该大数据服务系统可以为分布式搜索(即ElasticSearch，简称ES)服务系统，然不限于此。该大数据服务系统1包括N个集群，N为大于1的自然数，各集群的分片的副本数均为0，本实施方式的大数据冗余灾备方法包括：在更新大数据服务系统的业务数据时，各集群同时将待更新的数据更新至本集群。本发明实施方式通过部署N个集群，得到大数据服务系统，在更新大数据服务系统的业务数据时，各集群同时将待更新的数据更新至本集群，这样可保证各集群业务数据的一致性，从而使得N个集群可以互为灾备，并且由于各个集群均可独立部署且各集群的分片的副本数均为0，也就是说各集群均不存在副本，进而在系统中不会出现副本故障转移，从而可以提高系统稳定性，保证对外查询性能。下面对本实施方式的大数据冗余灾备方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。

本实施方式中，N个集群均与外部数据源2通信连接，查询节点3均与N个集群通信连接。应当理解，本实施方式对于外部数据源2以及查询节点3的数量不作具体限制。其中，外部数据源2例如为kafka集群，然不限于此。本实施方式中，各个集群均可以独立部署，由于ES集群具有良好的扩展性能，因此，N个集群的部署时间可以不同，例如，可以先部署(N-3)个集群，在需求增加时，再在系统中加入3个集群。N个集群的分片的副本数均为0，分片例如为索引分片，这样，在对各集群的数据进行更新时，就不需要更新分片副本，由于各集群均不存在分片副本，因此，也就从根本上避免了副本故障问题，从而避免了副本故障转移给系统带来的不利影响，例如由于副本故障转移导致的系统资源占用过多，或者可能导致的系统瘫痪等。本实施方式中的集群均为ES集群，然不限于此，ES集群的部署方式为本领域技术人员所熟知，此处不再赘述。

如图2所示，本实施方式的大数据冗余灾备方法包括步骤202、204。

步骤202：是否需要更新大数据服务系统的业务数据，若需要更新大数据服务系统的业务数据，则执行步骤204，反之，则返回步骤202。

即在需要更新大数据服务系统的业务数据时，执行步骤204，在不需要更新大数据服务系统的业务数据时，返回步骤202。其中，更新大数据服务系统的业务数据例如是将外部数据源的数据写入大数据服务系统，本实施方式对于外部数据源不作具体限制，对大数据服务系统的业务数据的更新方式也不作具体限制。

步骤204：各集群同时将待更新的数据更新至本集群。

其中，待更新的数据包括多个数据包时，步骤204具体包括子步骤2042至子步骤2046。

子步骤2042：将一个数据包写入本集群。

多个数据包可以从外部数据源获取。具体地，子步骤2042中，每个集群可以分别创建数据更新进程，该数据更新进程用于将多个数据包依次更新至本集群。

子步骤2044：判断数据包是否写入完成，若写入完成，则执行子步骤2046，否则返回子步骤2042。

子步骤2044中，每个集群按照以下方式判断数据包是否写入完成：若该数据包写入至本集群，则判定该数据包更新完成，数据包写入完成后继续执行子步骤2046，如果该数据包未写入完成，则返回步骤2042继续写入该数据包。

子步骤2046：判断是否最后一个数据包，如果是最后一个数据包，则结束，此时可以返回待更新数据更新完成，如果不是最后一个数据包，则返回步骤2042，继续写入下一个数据包，直到多个数据包均更新完成。

本实施方式中，N例如等于3，即大数据服务系统包括3个集群，在3个集群分别将一个数据包更新至本集群时，3个集群的写入速度可能会有差异，本实施方式中，每个集群仅需判断该数据包是否写入至本集群，而无需判断该数据包是否已写入至系统中的其他集群，即可继续更新下一个数据包，因此，每个集群的数据更新速度不再受系统中更新最慢的集群的影响，而完全取决于本集群的更新速度，因此，本实施方式的数据更新速度更快。需要说明的是，在实际应用中，各集群应尽量具备相同数据处理能力，从而使得各集群之间的数据更新速度基本接近，从而保证各集群的业务数据的一致性，使得各集群仍能满足灾备需求。

值得一提的是，在执行子步骤2042时，即将一个数据包写入本集群时，还可以判断该数据包的写入速度是否小于预设阈值，若小于预设阈值，则反馈写入异常信息，例如将写入异常信息反馈给查询节点，避免查询结果出错。举例而言，每个集群在写入数据包时，可以根据写入数据量的大小预先统计写入该数据包所需的写入时长，例如一个数据包的最大写入时长为2分钟，如果某个集群在2分钟内未完成该数据包的写入，则反馈写入异常信息。然而，本实施方式对于集群写入数据发生异常的判断方式不做具体限制。

本实施方式与现有技术相比，由于各集群的分片的副本数均为0，因此在向各集群写入数据时，不需要对分片的副本进行写入，从而避免了现有技术中的副本故障转移所产生的资源占用较多，容易引起集群瘫痪，降低集群可靠性的问题，同时本实施方式的集群可各自独立部署，在出现故障时，维护更简单。并且，本实施方式中每个集群在更新业务数据时，在一个数据包写入至本集群的情况下，即可判定该数据包更新完成，并继续更新下一个数据包，从而使得每个集群的数据更新速度不受系统中其他集群的更新速度的限制，进而使得业务数据的更新速度更快。

本发明的第二实施方式涉及一种大数据冗余灾备方法。第二实施方式与第一实施方式大致相同，主要区别之处在于：在第一实施方式中，每个集群在判断出一个数据包已更新至本集群时，即可继续更新下一个数据包。而在本发明第二实施方式中，通过判断一个数据包是否在系统中的各个集群上均更新完成，来判断是否更新下一个数据包，从而可以保证各个集群数据的高度一致性。

请参阅图3，本实施方式的大数据冗余灾备方法包括步骤302、304，其中，步骤302第一实施方式的步骤202相同，此处不再赘述。

步骤304包括子步骤3042至子步骤3046。

子步骤3042：每个集群均将一个数据包写入本集群。

子步骤3044：判断数据包是否更新至N个集群上，若每个集群将数据包更新至本集群，则继续判断该数据包是否更新至系统中的其他集群上，如果N个集群均更新完成，则执行子步骤3046，否则继续等待直到该数据包更新至N个集群上。举例而言，大数据服务系统包括3个集群，在3个集群均将一个数据包更新至本集群时，判定该数据包更新完成，此时，即可继续更新下一个数据包。也就是说，在每个集群的更新速度存在差异时，更新较快的集群需要等待更新最慢的集群更新完毕后才能继续更新下一个数据包。这样，各个集群的业务数据可以保持高度一致，防止查询出错。

本实施方式与第一实施方式相比，通过将一个数据包同步更新至各集群，从而可以保证各集群数据的高度一致性，即使得各集群的业务数据均相同，较大程度上避免了查询出错的情况，同时，由于数据更新时，各集群可以独立创建数据更新进程进行数据更新，更新速度非常快。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明第三实施方式涉及一种大数据服务系统，请继续参阅图1，本实施方式的大数据服务系统包括N个集群，N为大于1的自然数，各集群的分片的副本数均为0，各集群分别用于执行如第一或者第二实施方式所述的大数据冗余灾备方法。

本实施方式与现有技术相比，由于各集群的分片的副本数均为0，因此在向各集群写入数据时，不需要对分片的副本进行写入，从而避免了现有技术中的副本故障转移所产生的资源占用较多，容易引起集群瘫痪，降低集群可靠性的问题。并且，本实施方式通过将待更新的数据同时更新至各集群，从而可以保证各集群数据的高度一致性，即使得各集群的业务数据均相同，进而使得各集群可以互为灾备。同时，由于数据更新时，各集群可以独立创建数据更新进程进行数据更新，更新速度非常快。并且，在更新业务数据时，各集群还可以根据当前更新数据是否更新至本集群来判定当前更新数据是否更新完成，从而使得各集群的更新速度不再受制于系统中更新较慢的集群的影响，进而使得集群的写入速度更快。

其中，各集群分别包括存储器和处理器，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。

处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。

不难发现，本实施方式为与第一或者第二实施方式相对应的系统实施例，本实施方式可与第一或者第二实施方式互相配合实施。第一或者第二实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一或者第二实施方式中。

值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。

本发明第四实施方式涉及一种查询方法，应用于如第三实施方式所述的大数据服务系统。

请参阅图4，本实施方式的查询方法方法步骤402、步骤404。

步骤402：在执行查询任务时，判断执行查询任务的任一集群是否出现故障，若执行查询任务的任一集群出现故障，则进入步骤404，否则结束，即各集群继续执行相应的查询任务。

步骤404：将查询任务转移至大数据服务系统中的其他集群。

举例而言，大数据服务系统包括3个集群(集群A、集群B以及集群C)，当集群A在执行查询任务时出现故障时，则可将集群A的查询任务转移至集群B或者集群C继续处理。在转移查询任务至其他集群时，可以根据其他集群的健康系数或者空闲系数选择被转移至的集群。例如选择健康状况最佳或者较为空闲的集群，本实施方式对于被转移至的集群的选择方式不作具体限制。

本实施方式与现有技术相比，由于大数据服务系统中的N个集群均可单独提供服务，例如搜索服务，因此，在某个集群出现故障时，可以实时将该集群的业务转移至其他集群处理，提高了系统的健壮性。另外，当本实施方式的大数据服务系统中的集群的数量与现有集群的分片的副本数相同时，也就是说两者所需的硬件存储资源相同时，本实施方式的大数据服务系统中多个集群可以对外提供不同的业务查询，并且可以做到业务场景隔离。

本发明的第五实施方式涉及一种查询方法。第五实施方式在第四实施方式的基础上做出改进，主要改进之处在于：在第五实施方式中，还可以根据查询任务的查询类型，为不同的查询任务分配对应的集群进行查询，提高集群的服务性能。

请参阅图5，本实施方式的查询方法包括步骤502至步骤510。

步骤502：获取查询任务。

查询任务来自查询节点，查询任务例如可以是用于告警的查询业务或者用于展示的查询业务等，本实施方式对于查询任务不做具体限制。

步骤504：解析得到查询任务的查询类型，根据查询类型将查询任务分配至对应的集群进行查询。

其中，查询类型可以按照以下方式划分：查询数据量的大小或者查询任务优先级，然不限于此。举例而言，用于监控告警的查询业务所需要查询的数据量较小，且要求响应速度快，因此具有较高的优先级，故而可以将监控告警查询任务划分为查询类型1，并可以为查询类型1预先指定特定的集群进行查询，这样可以避免其他突发的大量查询导致监控告警查询不稳定，从而可以保证监控告警查询响应的及时性以及稳定性。相应地，用于展示的查询业务可能需要的查询数据量巨大，且对响应的即时性要求不高，故而可以将展示类查询任务划分为查询类型2，还可以为查询类型2指定专门的集群进行查询，从而将不同类型的查询业务分配至不同的集群，更好满足各项查询业务的查询需求。本实施方式对于查询类型的数量及划分方式均不作具体限制。

步骤506：在执行查询任务时，判断执行查询任务的任一集群是否出现故障，若执行查询任务的任一集群出现故障，则进入步骤508，否则执行步骤510。

步骤508：将查询任务转移至大数据服务系统中的其他集群。

步骤508与第四实施方式的步骤406相同，此处不再赘述。

步骤510：通过分配的集群执行查询任务。即继续按照分配的集群执行查询任务。

本实施方式中，在根据查询类型将查询任务分配至对应的集群进行查询时，查询类型可以来自查询节点，也可以由大数据服务系统对查询任务进行分析后识别得到，本实施方式对此不作具体限制。

本实施方式与第四实施方式相比，将不同类型的查询任务分配至对应的集群进行查询，从而可以更好地满足不同查询任务的查询效果，提高系统的综合服务能力。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种大数据冗余灾备方法，其特征在于，应用于大数据服务系统，所述大数据服务系统包括：N个集群，N为大于1的自然数，各集群的分片的副本数均为0；

所述方法包括：

在更新所述大数据服务系统的业务数据时，所述各集群同时将待更新的数据更新至本集群。

2.根据权利要求1所述的大数据冗余灾备方法，其特征在于，所述待更新的数据包括多个数据包；

所述各集群同时将待更新的数据更新至本集群，具体包括：

每个所述集群按照以下方式依次将所述多个数据包更新至本集群：

将一个所述数据包写入本集群，判断所述数据包是否写入完成，若写入完成，则更新下一个所述数据包。

3.根据权利要求2所述的大数据冗余灾备方法，其特征在于，所述各集群同时将待更新的数据更新至本集群还包括：

在所述将一个所述数据包写入本集群时，判断所述数据包的写入速度是否小于预设阈值，若小于所述预设阈值，则反馈写入异常信息。

4.根据权利要求1所述的大数据冗余灾备方法，其特征在于，所述待更新的数据包括多个数据包；

所述各集群同时将待更新的数据更新至本集群，具体包括：

每个所述集群按照以下方式依次将所述多个数据包更新至本集群：

每个所述集群判断一个所述数据包是否更新至所述N个集群上，若更新至所述N个集群上，则更新下一个所述数据包。

5.根据权利要求1所述的大数据冗余灾备方法，其特征在于，所述各集群同时将待更新的数据更新至本集群，具体包括：

每个所述集群分别创建数据更新进程，所述数据更新进程用于将所述待更新的数据更新至本集群。

6.根据权利要求1所述的大数据冗余灾备方法，其特征在于，所述大数据服务系统为分布式搜索服务系统。

7.一种大数据服务系统，其特征在于，包括：N个集群，N为大于1的自然数，各集群的分片的副本数均为0；

所述各集群分别用于执行如权利要求1至6中任一项所述的大数据冗余灾备方法。

8.一种查询方法，其特征在于，应用于如权利要求7所述的大数据服务系统，所述方法包括：

在执行查询任务时，若执行所述查询任务的任一集群出现故障，则将所述查询任务转移至所述大数据服务系统中的其他集群。

9.根据权利要求8所述的查询方法，其特征在于，

在执行所述查询任务前，还包括：

获取所述查询任务；

解析得到所述查询任务的查询类型，根据所述查询类型将所述查询任务分配至对应的集群进行查询。

10.根据权利要求9所述的查询方法，其特征在于，所述查询类型按照以下方式划分：查询数据量的大小或者查询任务优先级。