CN114721746B - 一种Trino catalog热加载方法和系统 - Google Patents

Abstract

本发明公开了一种Trino catalog热加载方法和系统，方法包括：通过trino集群提供catalog resource，所述catalog resource提供了catalog restful接口；配置用户catalog参数，并通过所述catalog restful接口发送给所述catalog resource，通过所述catalog resource判断是否开启热加载功能功能；若开启热加载功能则将配置的用户catalog参数通过内部restful接口发送给内部集群节点；集群管理器在Discovery上创建或删除永久catalog service；节点管理器定时更新catalog实例。

Description

一种Trino catalog热加载方法和系统

技术领域

本发明涉及大数据技术领域，特别涉及一种Trino catalog热加载方法和系统。

背景技术

Trino原生不支持catalog的热加载。所有的catalog配置都是以.properties结尾的配置文件存在于Trino的etc/catalog目录下面，并在Trino启动时被加载并实例化为catalog示例供用户查询，Trino的查询速度与集群的节点大小有关，当Trino集群节点扩大到一定程度后，如果要对Trino集群的catalog进行增加、修改和删除，就必须要将每个Trino节点的catalog 配置文件进行修改并且重启整个集群的所有节点，这样的操作无疑会给运维人员增加极大的工作量，并且会导致Trino的服务在重启过程中无法向用户提供服务。

发明内容

本发明其中一个发明目的在于提供一种Trino catalog热加载方法和系统，所述方法和系统通过Restapi方式对Trino整个集群的catalog配置进行修改，并可以定时地对Trino内存中的catalog进行更新，从而可以大幅减少运维人员的负担，提高了Trino集群的可用性。

本发明另一个发明目的在于提供一种Trino catalog热加载方法和系统，所述方法和系统配置Trino集群的集群管理器和节点管理器，通过所述集群管理器判断预设的Trino节点是否添加、修改和删除等配置catalog，并根据所述配置catalog的结果决定是否在Discovery上创建或删除永久的catalog service，所述永久catalog service不会随着Discovery重启而消失，因此可以在Discovery重启过程中提供连续的catalog service。

本发明另一个发明目的在于提供一种Trino catalog热加载方法和系统，所述方法和系统通过节点管理器，可以对不同的Trino节点执行自身不同的任务，所述节点管理器对每个Trino节点配置定时同步任务，定时从Discovery中拉取catalog service信息，并根据所述catalog service信息对本Trino节点的catalog实例进行更新，从而可以提高集群化catalog服务处理效率

为了实现至少一个上述发明目的，本发明进一步提供一种Trino catalog热加载方法，所述方法包括：

通过trino集群提供catalog resource，所述catalog resource提供了catalogrestful接口；

配置用户catalog参数，并通过所述catalog restful接口发送给所述catalogresource，通过所述catalog resource判断是否开启热加载功能；

若开启热加载功能则将配置的用户catalog参数通过内部restful接口发送给内部Trino 集群节点；

构建catalog集群管理器，所述catalog集群管理器根据不同catalog请求在Discovery上创建或删除永久catalog service；

构建catalog节点管理器，所述catalog节点管理器配置于每一个Trino节点，通过所述catalog节点管理器定时更新每个Trino节点的catalog实例。

根据本发明其中一个较佳实施例，其中通过所述catalog resource判断是否开启热加载功能的方法包括：获取Trino集群的属性配置文件，并在所述属性配置文件中配置热加载配置参数，根据所述热加载参数的值判断是否开启热加载功能，并将需要热加载的catalog集群管理器、catalog节点管理器进行初始化，否则通过catalog resource拦截外部请求。

根据本发明另一个较佳实施例，所述catalog请求包括添加catalog请求、修改catalog请求和删除catalog请求，所述catalog集群管理器识别添加catalog请求和修改catalog请求后在Discovery上创建一个临时catalog service实例，所述临时catalogservice实例包括Discovery上保存的临时catalog配置信息，当Discovery重启时，所述临时catalog service实例自动消失。

根据本发明另一个较佳实施例，若当前catalog请求为添加catalog请求，所述catalog集群管理器识别添加catalog请求中的catalog配置，并将所述catalog配置传输到Discovery上生成临时catalog service实例，配置catalog添加成功规则，其中所述catalog添加成功规则包括至少一个catalog管理节点成功添加catalog或至少一半的worker节点成功添加catalog，则在Discovery上创建永久catalog service实例，删除Discovery上创建的临时catalog service实例，并将所述永久catalog service实例序列化到本地数据库，否则直接删除Discovery上创建的临时catalog service实例。

根据本发明另一个较佳实施例，若当前catalog请求为修改catalog请求，所述catalog集群管理器识别修改catalog请求中的catalog配置，并将所述catalog配置传输到Discovery上生成临时catalog service实例，配置修改catalog成功规则，其中所述修改catalog成功规则包括：若存在至少一个catalog管理节点成功修改catalog或至少一半的worker节点成功修改catalog，则在Discovery上创建永久catalog service实例，删除Discovery上创建的临时catalog service实例，并将所述永久catalog service实例序列化到本地数据库，否则直接删除Discovery上创建的临时catalog service实例。

根据本发明另一个较佳实施例，若所述catalog请求为catalog删除请求，首先通过所述catalog集群管理节点在Discovery上删除永久catalog service实例，进一步通过所述catalog集群管理节点向所有Trino节点发送catalog删除请求，配置删除成功规则：若所有catalog管理节点的catalog删除成功，则表示删除成功，否则重新向Discovery发送请求建立新的永久catalog service实例。

根据本发明另一个较佳实施例，所述catalog节点管理器定时从Discovery中获取catalog service信息，并将获取的catalog service信息和Trino节点内存中的catalogservice实例进行对比，若存在多个相同名字的catalog service，则将最新的catalogservice作为catalog配置。

根据本发明另一个较佳实施例，若所述catalog节点管理器定时从Discovery中获取catalog service信息中存在Trino节点内存中不存在或未更新catalog配置信息，则进一步根据所述catalog service信息对所述Trino节点内存进行catalog实例添加或更新。

为了实现至少一个上述发明目的，本发明进一步提供一种Trino catalog热加载系统，所述系统执行上述一种Trino catalog热加载方法。

本发明进一步提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序可被处理器执行一种Trino catalog热加载方法。

附图说明

图1显示的是本发明一种Trino catalog热加载方法的流程示意图。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。

可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。

请结合图1，本发明公开了一种Trino catalog热加载方法和系统，所述方法主要包括如下步骤：构建catalog集群管理器Cluster Dynamic Catalog Manager，以及构建catalog节点管理器Local Dynamic Catalog Manager，提供restful接口CatalogrestfulApi，简称restful接口，提供服务注册中心Airlift Discovery，简称Discovery。本法中需要通过Trino集群提供Catalog resource，所述Catalog resource为Trino集群中管理节点coordinator提供的restful接口集合，并对restful接口进行管理，外部用户通过Catalog配置模板根据需要填写对应的Catalog配置参数，生成外部的Catalog请求，所述Catalog resource接收外部的Catalog请求，通过所述Catalog resource判断Trino节点的配置文件是否开启热加载功能，若否则返回错误信息，若是则将获取的Catalog请求中的Catalog配置参数传递给所述catalog集群管理器进行处理，所述catalog集群管理器获取Catalog请求后，判断该Catalog请求的类型，并根据所述Catalog请求类型分别进行不同处理。所述catalog集群管理器通过所述Catalog resource将用户配置的Catalog参数发送给所有Trino节点，所述Catalog resource根据当前Trino节点的配置文件判断是否开启热加载功能，若开启热加载功能，则将用户配置的Catalog参数发送给Catalog节点管理器进行处理。

具体而言，所述热加载是否开启的判断方法包括：获取Trino节点的属性配置文件config.properties，其中所述属性配置文件config.properties在Trino节点为默认配置，本发明在获取所述属性配置文件config.properties后，对该文件配置catalog热加载配置参数catalog.dynamic.enable，通过所述catalog热加载配置参数值为true和false两种，当所述catalog热加载配置参数的值为true时，Trino节点初始化过程中可以初始化包括Catalog集群管理器、Catalog节点管理器和其他实现热加载功能的实例对象。若判断所述catalog热加载配置参数的值为false，则不再对所述Catalog集群管理器、Catalog节点管理器和其他实现热加载功能的实例对象进行初始化操作，可以节约内存空间和提高初始化效率，并通过所述Catalog resource将外部请求信息进行拦截并返回错误信息。

所述Catalog集群管理器仅存在于所述Trino节点的管理节点coordinator上，所述Catalog集群管理器用于整个Trino集群的Catalog添加和管理协调操作。当所述Catalog集群管理器接收到来自于所述Catalog resource的Catalog请求信息后，进一步判断所述Catalog请求的类型，其中所述Catalog请求的类型包括添加Catalog请求、修改Catalog请求和删除Catalog请求。当所述Catalog请求为添加Catalog请求，则所述Catalog集群管理器首先将所述添加Catalog请求中的Catalog配置传输给Discovery，并在Discovery上创建一个临时catalog service实例，所述Catalog集群管理器生成内部添加Catalog请求，并向所有Trino节点的catalog resource发送内部添加Catalog请求。所述Catalog集群管理器设置超时阈值和添加Catalog成功规则，当Catalog集群管理器向所有Trino节点在超时阈值时间范围内收到了不同Trino节点catalog resource添加Catalog成功消息，或者当前时间超出了超时阈值，所述Catalog集群管理器进一步根据所述添加Catalog成功规则判断是否成功添加Catalog。其中所述添加Catalog成功规则包括：获取每一个Trino节点中管理节点coordinator和worker节点是否成功添加Catalog，若存在至少一个Trino节点中管理节点coordinator和至少半数worker节点成功添加Catalog，则判定当前满足添加Catalog成功规则，在所述Discovery上生成永久catalog service实例，并删除之前创建的临时catalog service实例，返回添加Catalog成功消息。若否，则表示当前Catalog添加失败，直接删除之前创建的临时catalog service实例，并返回失败消息。

若当前Catalog请求为修改Catalog请求，所述Catalog集群管理器首先将所述修改Catalog请求中的Catalog配置传输给Discovery，并在Discovery上创建一个临时catalog service实例，所述Catalog集群管理器生成内部修改Catalog请求，并向所有Trino节点的catalog resource发送内部修改Catalog请求。所述Catalog集群管理器设置超时阈值和修改Catalog成功规则，当Catalog集群管理器向所有Trino节点catalogresource在超时阈值时间范围内收到了不同Trino节点修改Catalog成功消息，或者当前时间超出了超时阈值，所述Catalog集群管理器进一步根据所述修改Catalog成功规则判断是否成功添加Catalog。其中所述修改Catalog成功规则包括：获取每一个Trino节点中管理节点coordinator和worker节点是否成功修改Catalog，若存在至少一个Trino节点中管理节点coordinator和至少半数worker节点成功修改Catalog，则判定当前满足修改Catalog成功规则，在所述Discovery上生成永久catalog service实例，并删除之前创建的临时catalog service实例，返回修改Catalog成功消息。若否，则表示当前Catalog修改失败，直接删除之前创建的临时catalog service实例，并返回失败消息。

当所述Catalog请求为删除Catalog请求时，所述Catalog集群管理器首先从所述Discovery上删除预先建立的永久catalog service实例，所述Catalog集群管理器向所有Trino节点发送内部的删除Catalog请求，根据预先设置的超时阈值，当前Catalog集群管理器向所有Trino节点在超时阈值时间范围内收到了不同Trino节点的删除成功消息，若所有Trino节点中的管理节点coordinator均删除了Catalog，则当前Catalog删除操作成功。若否，则表示删除Catalog失败，通过所述Catalog集群管理器向Discovery发送请求在所述Discovery上重新生成一个永久catalog service实例。

值得一提的是，所述服务注册中心AirliftDiscovery在所述Catalog集群管理器获取到用户Catalog配置信息后，通过所述服务注册中心AirliftDiscovery在Discovery生成catalog service实例，并将所述Catalog配置信息保存后交给所述catalog service实例。其中所述Catalog配置信息以Discovery中的catalog service实例存在。所述临时catalog service实例仅当用户对catalog操作时存在，当Discovery重启时，所述临时catalog service实例会消失。本发明通过配置永久catalog service实例，所述永久catalog service实例只会当catalog添加到Trino集群成功后存在，并将所述永久catalogservice实例序列化到本地存储后，可以使得Discovery重启后永久catalog service实例不会消失，从而可以在Discovery重启过程中提供连续的catalog service。

需要说明的是，所述catalog节点管理器被配置在每一个Trino节点中，所述catalog节点管理器和Discovery建立通讯链接，所述catalog节点管理器在接收到catalogresource提交的catalog内部请求后，进一步根据所述catalog内部请求的不同做不同的处理。其中所述catalog节点管理器内配置定时任务，所述定时任务定时从所述Discovery中获取catalog service信息，并进一步将获取的所述Discovery中catalog service信息和本Trino节点中的catalog service实例进行同步操作。其中所述catalog节点管理器根据内部请求类型执行包括catalog实例的增加、修改和删除操作。其中所述Discovery用来注册一些 trino 服务，trino节点可以自己的信息注册到Discovery上，其他节点就可以通过拉取 Discovery 上的数据得到其他服务的信息。

所述同步操作包括如下步骤：从Discovery中获取catalog service信息，并判断所述Discovery中获取catalog service信息和Trino节点中的catalog service实例中的catalog名是否相同，若存在多个相同catalog名的catalog service信息，则选定最新的catalog名的catalog service信息作为Trino节点同步信息同步到对应的Trino节点。

所述同步操作需要将Discovery中获取catalog service信息和Trino节点中的catalog service实例进行对比：若catalog service存在本节点内存中不存在的catalog实例，则会根据catalog service的配置信息在本节点上创建相对应的catalog实例。例如catalog service 中存在 catalog name 为 a、b、c 的三个 catalog service，而本节点内存中仅存在catalog name 为 a、c 的两个 catalog 实例，则该节点会根据 catalogname 为b 的 catalog service 中的 catalog 配置信息创建一个catalog name 为 b 的catalog 实例。

若catalog service存在本节点内存中存在的catalog实例，则会将catalogservice的配置信息与本节点上已存在的catalog实例的配置信息进行比较。如果不一致则对本节点内存中的catalog实例进行更新，如果一致则不进行操作。例如catalog service中存在 catalog name 为 a、b、c 的三个 catalog service，而本节点内存中也存在catalog name 为 a、b、c 的三个 catalog 实例，则该节点会获取 catalog name 为a、b、c的 catalog service 中的配置信息并将其与内存中的catalog name 为a、b、c 的catalog 实例配置进行比较。如果对应的 catalog 配置不一致，则以catalog service 中的 catalog 配置信息为准更新本节点内存中的 catalog 实例。

若catalog service不存在本节点内存中存在的catalog实例，则会将本节点内存中的catalog实例删除。例如catalog service 中存在 catalog name 为 a、c 的两个catalog service，而本节点内存中存在catalog name 为 a、b、c 的三个 catalog 实例，则该节点将内存中 catalog name 为 b 的 catalog 删除以保证与 Discovery 上的catalog service 同步。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线段、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线段的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线段、电线段、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明，本发明的目的已经完整并有效地实现，本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

Claims (10)

1.一种Trino catalog热加载方法，其特征在于，所述方法包括：

通过trino集群提供catalog resource，所述catalog resource提供了catalogrestful接口；

配置用户catalog参数，并通过所述catalog restful接口发送给所述catalogresource，通过所述catalog resource判断是否开启热加载功能；

若开启热加载功能则将配置的用户catalog参数通过内部restful接口发送给内部Trino 集群节点；

构建catalog集群管理器，所述catalog集群管理器根据不同catalog请求在Discovery上创建或删除永久catalog service；

构建catalog节点管理器，所述catalog节点管理器配置于每一个Trino节点，通过所述catalog节点管理器定时更新每个Trino节点的catalog service实例。

2.根据权利要求1所述的一种Trino catalog热加载方法，其特征在于，其中通过所述catalog resource判断是否开启热加载功能的方法包括：获取Trino集群的属性配置文件，并在所述属性配置文件中配置热加载配置参数，根据所述热加载配置参数的值判断是否开启热加载功能，并将需要热加载的catalog集群管理器、catalog节点管理器进行初始化，否则通过catalog resource拦截外部请求。

3.根据权利要求1所述的一种Trino catalog热加载方法，其特征在于，所述catalog请求包括添加catalog请求、修改catalog请求和删除catalog请求，所述catalog集群管理器识别添加catalog请求和修改catalog请求后在Discovery上创建一个临时catalogservice实例，所述临时catalog service实例包括Discovery上保存的临时catalog配置信息，当Discovery重启时，所述临时catalog service实例自动消失。

4.根据权利要求3所述的一种Trino catalog热加载方法，其特征在于，若当前catalog请求为添加catalog请求，所述catalog集群管理器识别添加catalog请求中的catalog配置，并将所述catalog配置传输到Discovery上生成临时catalog service实例，配置catalog添加成功规则，其中所述catalog添加成功规则包括至少一个catalog管理节点成功添加catalog或至少一半的worker节点成功添加catalog，则在Discovery上创建永久catalog service实例，删除Discovery上创建的临时catalog service实例，并将所述永久catalog service实例序列化到本地数据库，否则直接删除Discovery上创建的临时catalog service实例。

5.根据权利要求3所述的一种Trino catalog热加载方法，其特征在于，若当前catalog请求为修改catalog请求，所述catalog集群管理器识别修改catalog请求中的catalog配置，并将所述catalog配置传输到Discovery上生成临时catalog service实例，配置修改catalog成功规则，其中所述修改catalog成功规则包括：若存在至少一个catalog管理节点成功修改catalog或至少一半的worker节点成功修改catalog，则在Discovery上创建永久catalog service实例，删除Discovery上创建的临时catalog service实例，并将所述永久catalog service实例序列化到本地数据库，否则直接删除Discovery上创建的临时catalog service实例。

6.根据权利要求3所述的一种Trino catalog热加载方法，其特征在于，若所述catalog请求为catalog删除请求，首先通过所述catalog集群管理器在Discovery上删除永久catalog service实例，进一步通过所述catalog集群管理器向所有Trino节点发送catalog删除请求，配置删除成功规则：若所有catalog管理节点的catalog删除成功，则表示删除成功，否则重新向Discovery发送请求建立新的永久catalog service实例。

7.根据权利要求1所述的一种Trino catalog热加载方法，其特征在于，所述catalog节点管理器定时从Discovery中获取catalog service信息，并将获取的catalog service信息和Trino节点内存中的catalog service实例进行对比，若存在多个相同名字的catalogservice，则将最新的catalog service作为catalog配置。

8.根据权利要求1所述的一种Trino catalog热加载方法，其特征在于，若所述catalog节点管理器定时从Discovery中获取catalog service信息中存在Trino节点内存中不存在或未更新catalog配置信息，则进一步根据所述catalog service信息对所述Trino节点内存进行catalog实例添加或更新。

9.一种Trino catalog热加载系统，其特征在于，所述系统执行权利要求1-8中任意一项所述的一种Trino catalog热加载方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序可被处理器执行权利要求1-8中任意一项所述的一种Trino catalog热加载方法。

Images