CN106649565B - 一种联机分析处理方法 - Google Patents

Abstract

本发明提供一种联机分析处理方法，包括：提供服务器集群，所述服务器集群包括多个结点；在所述服务器集群中添加新结点，所述新结点的添加过程包括：所述新结点连接至所述服务器集群中任意一个或多个现有的结点；所述新结点从所述任意一个或多个现有的结点获取协调器的信息，所述协调器选自所述服务器集群中的结点；所述新结点根据所述协调器的信息与所述协调器建立连接；所述新结点向所述协调器发出添加至所述服务器集群的申请；所述新结点从所述协调器获取更新后服务器集群的配置信息，所述更新后服务器集群的配置信息包括所述现有的结点的配置信息以及所述新结点的配置信息。所述联机分析处理方法中添加新结点的效率得到提升。

Description

一种联机分析处理方法

技术领域

本发明涉及数据处理领域，尤其涉及一种联机分析处理方法。

背景技术

联机分析处理(On-Line Analytical Processing，OLAP)是一种利用服务器集群对数据进行加工处理的数据处理方法。在联机分析处理的过程中，通常涉及对服务器集群进行数据的写入、数据的读取，以及对数据的进一步分析处理。

现有的联机处理方法中，对服务器集群中新结点添加的效率较低。

发明内容

本发明解决的技术问题是提升联机分析处理方法中添加新结点的效率。

为解决上述技术问题，本发明实施例提供一种联机分析处理方法，包括：提供服务器集群，所述服务器集群包括多个结点；在所述服务器集群中添加新结点，所述新结点的添加过程包括：所述新结点连接至所述服务器集群中任意一个或多个现有的结点；所述新结点从所述任意一个或多个现有的结点获取协调器的信息，所述协调器选自所述服务器集群中的结点；所述新结点根据所述协调器的信息与所述协调器建立连接；所述新结点向所述协调器发出添加至所述服务器集群的申请；所述新结点从所述协调器获取更新后服务器集群的配置信息，所述更新后服务器集群的配置信息包括所述现有的结点的配置信息以及所述新结点的配置信息。

可选的，所述联机分析处理方法还包括：从所述服务器集群中删除结点，删除结点的过程包括：所述协调器接收来自待删除的结点的移除请求信息；在配置信息中移除所述待删除结点的配置信息，以更新所述服务器集群的配置信息。

可选的，所述服务器集群的内存划分为不同的数据桶，各个数据桶独立地进行业务处理。

可选的，所述联机分析处理方法还包括：客户端向所述服务器集群写入数据；所述写入数据包括：根据待写入的键值对判断待写入的数据桶；向所述待写入的数据桶所在的结点发送所述键值对，以向所述数据桶写入所述键值对。

可选的，所述联机分析处理方法还包括：所述服务器集群接收查询函数，所述查询函数用于对所述服务器集群中的目标数据进行处理；所述服务器集群确定所述目标数据所在的数据桶，在所述数据桶中执行所述查询函数；所述服务器集群返回所述查询函数的执行结果。

可选的，所述联机分析处理方法还包括：客户端在所述服务器集群注册插件，所述插件配置有自定义存放算法；所述服务器集群利用所述插件配置的自定义存放算法对接收到的数据进行自定义存放。

可选的，所述服务器集群的内存划分为不同的数据分区，所述自定义存放算法绑定至一个或多个数据分区；所述服务器集群利用所述插件配置的自定义存放算法对接收到的数据进行自定义存放包括：当所述数据待存放至的数据分区为绑定所述自定义存放算法的数据分区时，利用所述自定义存放算法对接收到的数据进行自定义存放。

可选的，所述服务器集群的内存划分为不同的数据分区，所述联机分析处理方法还包括：所述服务器集群判断客户端是否对被划分至不同数据分区的数据进行操作，若对被划分至不同数据分区的数据进行操作，则将所述操作涉及的数据复制到同一结点后，再进行所述操作。

可选的，所述操作为写入操作；将所述操作涉及的数据复制到同一结点包括：将所述操作涉及的数据复制到同一结点的缓存；所述联机分析处理方法还包括：在写入完成后，对比所述写入的数据和所述缓存中的数据，若不一致，则重新写入。

可选的，所述联机分析处理方法还包括：所述服务器集群异步的进行将数据写入内存的操作和对数据的持久化操作。

与现有技术相比，本发明实施例的技术方案具有以下有益效果：

通过新结点连接至服务器集群中的任意一个或者多个现有的结点后，可以从所述任意一个或多个现有的结点获取协调器的信息，根据协调器信息可以与所述协调器进行连接，在连接后可以向协调器发出添加至服务器集群的申请，协调器可以通过上述申请获悉新结点的配置信息，进而可以添加新结点的配置信息，以对现存的配置信息进行更新。在上述过程中，由于协调器选自所述服务器集群中的结点，可以进行动态变更，并且在新结点加入时，由协调器对服务器集群的配置信息进行更新，故可以在服务器集群中的结点在线的情况下，添加新结点至服务器集群，而无需对已有结点进行重启进行配置更新。

进一步，所述服务器集群的内存划分为不同的数据桶，各个数据桶独立的进行业务处理，故可以减少数据桶之间的依赖，使得各个数据桶可以相互独立的进行各自的业务处理。进而在不同的数据桶中可以独立的执行查询函数，提升系统的并行处理能力，进一步提升系统效率。

进一步，客户端可以在服务器集群注册插件，插件中配置由客户端根据自身需求设置的自定义存放算法，服务器集群可以利用插件配置的自定义算法对接收到的数据进行自定义存放。通过上述方式可以由根据客户端设置的方式进行数据的存放，而非仅能根据服务器集群的分配进行存放，通过设置合理的存放算法，可以在利用服务器集群进行分布式计算时，直接在一个结点或者网络距离较近的几个结点中进行计算，进而可以避免通过网络传输带来的性能损耗，进而可以提升服务器集群的响应性能。

进一步，当客户端的操作涉及的数据被划分至不同的分区时，可以将操作涉及到的数据复制到同一结点，在进行所述操作。由于客户端与服务器集群之间进行数据交互的用时通常比较长；若所述操作涉及到被划分至不同分区的数据，则需要服务器集群对操作过程进行不同结点间的协调控制；故先将所述操作涉及的数据复制到同一结点后，再进行操作，可以减少对数据进行操作的时间，进一步提升系统的效率。

附图说明

图1是本发明实施例的联机分析处理方法的流程图；

图2是本发明实施例的联机分析处理方法中一种删除结点的方法的流程图；

图3是本发明实施例的联机分析处理方法中一种客户端向服务器集群写入数据的方法的流程图；

图4是本发明实施例的联机分析处理方法中一种数据查询的方法的流程图；

图5是本发明实施例的联机分析处理方法中一种数据自定义存放的方法的流程图。

具体实施方式

如前所述，现有的联机处理方法中，对服务器集群中新结点添加的效率较低。

现有的集群服务器为静态集群服务器，当新添加结点或者删除结点时，需要对已有的服务器集群更新配置并且分步分批重启已有的服务器集群，使更新的配置生效。

在本发明实施例中，通过新结点连接至服务器集群中的任意一个或者多个现有的结点后，可以从所述任意一个或多个现有的结点获取协调器的信息，根据协调器信息可以与所述协调器进行连接，在连接后可以向协调器发出添加至服务器集群的申请，协调器可以通过上述申请获悉新结点的配置信息，进而可以添加新结点的配置信息，以对现存的配置信息进行更新。在上述过程中，由于协调器选自所述服务器集群中的结点，可以进行动态变更，并且在新结点加入时，由协调器对服务器集群的配置信息进行更新，故可以在服务器集群中的结点在线的情况下，添加新结点至服务器集群，而无需对已有结点进行重启进行配置更新。

为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

图1是本发明实施例中一种联机分析处理方法的流程图。图1所示的联机分析处理方法包括：提供服务器集群，所述服务器集群包括多个结点，其中，新结点的添加过程可以通过如下步骤实现：

步骤S11，所述新结点连接至所述服务器集群中任意一个或多个现有的结点；

步骤S12，所述新结点从所述任意一个或多个现有的结点获取协调器的信息，所述协调器选自所述服务器集群中的结点；

步骤S13，所述新结点根据所述协调器的信息与所述协调器建立连接；

步骤S14，所述新结点向所述协调器发出添加至所述服务器集群的申请；

步骤S15，所述新结点从所述协调器获取更新后服务器集群的配置信息，所述更新后服务器集群的配置信息包括所述现有的结点的配置信息以及所述新结点的配置信息。

服务器集群中的不同结点可以是不同的服务器，服务器集群中的各个服务器可以协同工作，共同完成对数据的分析处理。例如可以对原始数据中进行加工处理，然后形成能够更易理解的、真实反映出多维特性的信息数据；进而可以帮助分析人员、管理人员等相关人员能够从多种角度、不同层次、不同粒度对信息数据进行快速、一致、交互地处理，从而获得对原始数据的更深入了解。OLAP可以基于服务器集群满足决策支持或多维环境下特定的存储、计算、查询和报表需求。

服务器集群中的结点通常是可以动态调整的，可以向服务器集群添加新的结点，也可以删除服务器集群中现有的结点。

在添加新结点时，可以如步骤S11中所示，将新结点连接至服务器集群中任意一个或者多个现有的结点。连接的过程可以通过在新结点配置服现有结点的信息完成。

由于在服务器集群中，每个现有的结点中均存储有协调器的信息，故在连接至现有的结点后，可以如步骤S12所示，通过现有的结点获取协调器的信息。协调器可以选自现有的结点，可以对作为协调器的结点进行更换。

在一个非限定性的例子中，协调器可以选择服务器集群中最早的结点。当前协调器退出服务器集群时，可以在其退出后的服务器集群中选择最早加入的结点作为协调器。

在新结点和协调器建立连接后，可以向协调器发送添加至所述服务器集群的申请，如步骤S14所示。通过该申请，协调器可以获知新结点的配置信息。在具体实施中，配置信息可以是端口信息、结点的资源信息等，服务器集群可以根据配置信息进行系统层面的统筹。

在具体实施中，协调器在获取到新结点的配置信息后，可以添加新结点的配置信息，以对现存的配置信息进行更新。协调器可以向新结点发送其它结点的配置信息，也可以向其他结点发送新结点的配置信息，以使得各个结点之间可以根据需要建立连接。至此，完成新结点添加至服务器集群的过程。

参见图2，本发明实施例中的联机分析处理方法还可以包括从服务器集群中删除结点，具体可以包括：

步骤S21，所述协调器接收来自待删除的结点的移除请求信息；

步骤S22，在配置信息中移除所述待删除结点的配置信息，以更新所述服务器集群的配置信息。

在具体实施中，待删除结点向协调器发送请求信息可以是根据结点接收到的指令进行，该指令可以是由用户输入至结点，例如关闭指令。

在具体实施中，协调器更新所述服务器集群的配置信息可以是更新服务器集群中每个结点的配置信息，更新后的配置信息中不包含已删除结点的配置信息。

在一具体实现中，在删除结点后，协调器可以向待删除结点反馈删除操作的执行结果。

本发明实施例中的服务器集群的内存可以划分为不同的数据桶，各个数据桶可以独立地进行业务处理。在具体实施中，参见图3，联机分析处理方法还可以包括客户端向服务器集群写入数据。具体地，参见图3，可以包括以下步骤：

步骤S31，根据待写入的键值对判断待写入的数据桶；

步骤S32，向所述待写入的数据桶所在的结点发送所述键值对，以向所述数据桶写入所述键值对。

其中，数据桶为键值对的存储单元，可以均衡的分布在集群中不同的结点中，以提供高效的数据查询功能。在具体实施中，数据桶的划分可以基于业务逻辑，同一结点中可以包含多个不同的数据桶。由于每个数据桶均可以独立的进行业务处理，故可以提升系统的并发性。

在一具体实现中，键值对中的键可以指示业务类型或业务需求，服务器集群可以根据键和各个服务器的负载及各个服务器的资源利用率来确定键值对的存储位置，从而在满足业务需求的同时提升系统的均衡性。

本发明实施例中的联机分析处理方法还可以包括数据查询，具体可以参见图4，包括以下步骤：

步骤S41，所述服务器集群接收查询函数，所述查询函数用于对所述服务器集群中的目标数据进行处理；

步骤S42，所述服务器集群确定所述目标数据所在的数据桶，在所述数据桶中执行所述查询函数；

步骤S43，所述服务器集群返回所述查询函数的执行结果。

其中，查询函数可以根据业务需求对对目标数据进行处理，通常步骤S43中所述的执行结果的数据量会小于目标数据的数据量，故在服务器集群利用查询函数对目标数据进行处理后仅返回执行结果，可以节省网络资源。另外，由于服务器集群的资源较为丰富，并且可以在不同的数据桶中可以独立的执行查询函数，可以提升系统的并行处理能力，进一步可以系统效率也得到提升；同时，也可以节省客户端的资源。

本发明实施例中的联机分析处理方法还可以包括自定义数据存放，具体可以参见图5，包括如下步骤：

步骤S51，客户端在所述服务器集群注册插件，所述插件配置有自定义存放算法；

步骤S52，所述服务器集群利用所述插件配置的自定义存放算法对接收到的数据进行自定义存放。

其中，自定义存放算法可以根据业务需求确定。现有的联机分析处理方法中，对数据的存放更多是由服务器集群从系统的负载平衡角度确定，用户无法根据业务需求对数据的存放位置进行自定义，而服务器集群确定的数据存放方式往往无法满足业务的需求，例如，一个业务所需要的数据可能被分散的存在不同结点中。如此，现有的基于服务器集群的联机分析处理方法的效率也会受到网络传输性能的影响。

而在本发明实施例中，客户端可以在服务器集群注册插件，插件中配置由客户端根据自身需求设置的自定义存放算法，服务器集群可以利用插件配置的自定义算法对接收到的数据进行自定义存放。通过上述方式可以由根据客户端设置的方式进行数据的存放，而非仅能根据服务器集群的分配进行存放，通过设置合理的存放算法，可以在利用服务器集群进行分布式计算时，直接在一个结点或者网络距离较近的几个结点中进行计算，进而可以避免通过网络传输带来的性能损耗，进而可以提升服务器集群的响应性能。

在具体实施中，所述服务器集群的内存可以划分为不同的数据分区，所述自定义存放算法绑定至一个或多个数据分区；所述服务器集群利用所述插件配置的自定义存放算法对接收到的数据进行自定义存放包括：当所述数据待存放至的数据分区为绑定所述自定义存放算法的数据分区时，利用所述自定义存放算法对接收到的数据进行自定义存放。

其中，数据分区可以以键值对为基本操作单元，数据分区中可以含有完整数据存储的描述信息和数据存储结构的，可以直接提供给客户端进行调用的逻辑结构。

在具体实施中，所述插件可以在服务器集群对内存进行划分前进行注册，并绑定一个或多个数据分区。在服务器集群对内存进行划分完成后，也可以对插件中配置的自定义存放算法进行调整。当所述数据待存放至的数据分区为绑定所述自定义存放算法的数据分区时，才利用所述自定义存放算法对接收到的数据进行自定义存放。由此，可以提供更加灵活的数据存放方式。

本发明实施例中的联机分析处理方法还可以包括：所述服务器集群判断所述客户端是否对被划分至不同数据分区的数据进行操作，若对被划分至不同数据分区的数据进行操作，则将所述操作涉及的数据复制到同一结点后，再进行所述操作。

当客户端的操作涉及的数据被划分至不同的分区时，可以将操作涉及到的数据复制到同一结点，在进行所述操作。由于客户端与服务器集群之间进行数据交互的用时通常比较长；若所述操作涉及到被划分至不同分区的数据，则需要服务器集群对操作过程进行不同结点间的协调控制，故所述集群服务器需要在数据交互的过程中进行等待；由此，先将所述操作涉及的数据复制到同一结点后，再进行操作，可以减轻服务器集群负担，并且服务器集群无需在数据交互的过程中进行所述操作的等待，故可以减少对数据进行操作的时间，进一步提升系统的效率。

具体地，所述操作可以是写入操作；将所述操作涉及的数据复制到同一结点包括：将所述操作涉及的数据复制到同一结点的缓存；所述联机分析处理方法还包括：在写入完成后，对比所述写入的数据和所述缓存中的数据，若不一致，则重新写入。

其中，写入操作可以是客户端向服务器集群进行的写入操作，服务器集群可以先对写入操作涉及到的数据进行判断，若写入操作涉及到的操作被划分至不同的数据分区，则可以先将操作涉及的数据复制到同一结点的缓存，待复制结束后，再进行对不同数据分区的写入。

由于在写入完成后，比所述写入的数据和所述缓存中的数据，在不一致时重新写入，故可以提升写入操作的可靠性。

本发明实施例中的联机分析处理方法还可以包括：所述服务器集群异步的进行将数据写入内存的操作和对数据的持久化操作。

数据的持久化即将内存的数据存储至永久性存储单元。由于本发明实施例中默认将数据存放在服务器集群的内存中，为了避免在数据管理服务结点出现故障时内存中数据的丢失，可以对内存中数据进行持久化操作。

可以通过更改配置，选择将数据存放在结点的本地文件系统或者任何分布式文件系统，比如HDFS等。也可以同时利用多种持久化的方式。

若客户端每次调用写入内存的操作均调用相应的持久化操作，会造成额外的存储负荷，降低系统写入吞吐。因此，本发明实施例中的联机分析处理方法可以异步地进行将数据写入内存的操作和对数据的持久化操作，从而可以提高系统吞吐量，降低响应延迟。

本发明实施例通过新结点连接至服务器集群中的任意一个或者多个现有的结点后，可以从所述任意一个或多个现有的结点获取协调器的信息，根据协调器信息可以与所述协调器进行连接，在连接后可以向协调器发出添加至服务器集群的申请，协调器可以通过上述申请获悉新结点的配置信息，进而可以添加新结点的配置信息，以对现存的配置信息进行更新。在上述过程中，由于协调器选自所述服务器集群中的结点，可以进行动态变更，并且在新结点加入时，由协调器对服务器集群的配置信息进行更新，故可以在服务器集群中的结点在线的情况下，添加新结点至服务器集群，而无需对已有结点进行重启进行配置更新。

进一步，所述服务器集群的内存划分为不同的数据桶，各个数据桶独立的进行业务处理，故可以减少数据桶之间的依赖，使得各个数据桶可以相互独立的进行各自的业务处理。进而在不同的数据桶中可以独立的执行查询函数，提升系统的并行处理能力，进一步提升系统效率。

进一步，客户端可以在服务器集群注册插件，插件中配置由客户端根据自身需求设置的自定义存放算法，服务器集群可以利用插件配置的自定义算法对接收到的数据进行自定义存放。通过上述方式可以由根据客户端设置的方式进行数据的存放，而非仅能根据服务器集群的分配进行存放，通过设置合理的存放算法，可以在利用服务器集群进行分布式计算时，直接在一个结点或者网络距离较近的几个结点中进行计算，进而可以避免通过网络传输带来的性能损耗，进而可以提升服务器集群的响应性能。

进一步，当客户端的操作涉及的数据被划分至不同的分区时，可以将操作涉及到的数据复制到同一结点，在进行所述操作。由于客户端与服务器集群之间进行数据交互的用时通常比较长；若所述操作涉及到被划分至不同分区的数据，则需要服务器集群对操作过程进行不同结点间的协调控制；故先将所述操作涉及的数据复制到同一结点后，再进行操作，可以减少对数据进行操作的时间，进一步提升系统的效率。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (9)

1.一种联机分析处理方法，结点其特征在于，包括：提供服务器集群，所述服务器集群包括多个结点；

在所述服务器集群中添加新结点，所述新结点的添加过程包括：

所述新结点连接至所述服务器集群中任意一个或多个现有的结点；

所述新结点从所述任意一个或多个现有的结点获取协调器的信息，所述协调器选自所述服务器集群中的结点；

所述新结点根据所述协调器的信息与所述协调器建立连接；

所述新结点向所述协调器发出添加至所述服务器集群的申请；

所述新结点从所述协调器获取更新后服务器集群的配置信息，所述更新后服务器集群的配置信息包括所述现有的结点的配置信息以及所述新结点的配置信息；

其中，所述服务器集群的内存划分为不同的数据分区，所述联机分析处理方法还包括：所述服务器集群判断客户端是否对被划分至不同数据分区的数据进行操作，若对被划分至不同数据分区的数据进行操作，则将所述操作涉及的数据复制到同一结点后，再进行所述操作。

2.根据权利要求1所述的联机分析处理方法，其特征在于，还包括从所述服务器集群中删除结点，删除结点的过程包括：

所述协调器接收来自待删除的结点的移除请求信息；

在配置信息中移除所述待删除结点的配置信息，以更新所述服务器集群的配置信息。

3.根据权利要求1所述的联机分析处理方法，其特征在于，所述服务器集群的内存划分为不同的数据桶，各个数据桶独立地进行业务处理。

4.根据权利要求3所述的联机分析处理方法，其特征在于，还包括：客户端向所述服务器集群写入数据；所述写入数据包括：

根据待写入的键值对判断待写入的数据桶；

向所述待写入的数据桶所在的结点发送所述键值对，以向所述数据桶写入所述键值对。

5.根据权利要求3所述的联机分析处理方法，其特征在于，还包括：

所述服务器集群接收查询函数，所述查询函数用于对所述服务器集群中的目标数据进行处理；

所述服务器集群确定所述目标数据所在的数据桶，在所述数据桶中执行所述查询函数；

所述服务器集群返回所述查询函数的执行结果。

6.根据权利要求1所述的联机分析处理方法，其特征在于，还包括：

客户端在所述服务器集群注册插件，所述插件配置有自定义存放算法；

所述服务器集群利用所述插件配置的自定义存放算法对接收到的数据进行自定义存放；

其中，所述自定义存放算法根据业务需求确定，通过设置所述自定义存放算法，在利用所述服务器集群进行分布式计算时，直接在一个结点或者网络距离较近的几个结点中进行计算。

7.根据权利要求6所述的联机分析处理方法，其特征在于，所述服务器集群的内存划分为不同的数据分区，所述自定义存放算法绑定至一个或多个数据分区；

所述服务器集群利用所述插件配置的自定义存放算法对接收到的数据进行自定义存放包括：当所述数据待存放至的数据分区为绑定所述自定义存放算法的数据分区时，利用所述自定义存放算法对接收到的数据进行自定义存放。

8.根据权利要求1所述的联机分析处理方法，其特征在于，所述操作为写入操作；将所述操作涉及的数据复制到同一结点包括：将所述操作涉及的数据复制到同一结点的缓存；所述联机分析处理方法还包括：在写入完成后，对比所述写入的数据和所述缓存中的数据，若不一致，则重新写入。

9.根据权利要求1所述的联机分析处理方法，其特征在于，还包括：所述服务器集群异步的进行将数据写入内存的操作和对数据的持久化操作。