CN105335472B - 一种更新数据查询引擎配置列表的方法及装置 - Google Patents

Abstract

本发明实施例公开了一种更新数据查询引擎配置列表的方法及装置。该方法包括：如果监测到数据查询引擎的当前节点的服务进程启动时，则启动后台监控线程，监测所述数据查询引擎的配置文件目录的更新操作；如果监测到所述配置文件目录的更新操作，则获取被更新的配置文件信息；根据所述被更新的配置文件信息，对所述当前节点的配置列表进行相应的更新操作。本发明实施例所采用的技术方案，无需重启数据查询引擎节点的服务进程，就可实现数据查询引擎配置列表的动态更新，达到数据查询引擎自动化运维的效果，从而减轻运维人员负担，提升数据查询引擎的用户体验。

Description

一种更新数据查询引擎配置列表的方法及装置

技术领域

本发明实施例涉及交互式数据查询引擎技术，尤其涉及一种更新数据查询引擎配置列表的方法及装置。

背景技术

在现今的信息化时代，对信息数据的应用与研究已成为一种趋势，很多大型公司需要通过如SQL Server、MySQL等数据库管理系统对公司相关数据进行查询、分析、管理以及处理，从而更好的改善产品质量，随着大数据的出现，仅通过数据库管理系统进行查询操作效率很低，因此，查询引擎成为快速查询相关数据的必备工具。

Presto是一种纯内存的交互式SQL查询引擎，查询效率比Hive(基于Hadoop的一个数据仓库工具，提供简单的SQL查询功能)高出近10倍，能够跨越包括Hive、MySQL、Kafka在内的多种数据源进行查询，目前已成功应用在Facebook、Netflix、Dropbox、京东等知名互联网公司。

Presto可以查询多种不同的数据源，而对于数据源属性的配置是以配置文件的形式存储在名为catalog的配置文件目录中，不同的数据源需要分不同的配置文件进行配置，相同的数据源但是属性不同(如MySQL连接地址不同)同样需要分不同的配置文件进行配置，一个合法的配置文件可作为Presto的一个catalog被保存在catalog列表中。当Presto服务启动时，如图1所示，首先检测catalog配置文件目录下的配置文件，如果配置文件合法则将其加载到Presto服务中，当所有catalog配置文件都加载完成后，当前Presto节点会声明自身所拥有的合法的catalog列表。

在Presto的实际使用中，往往遇到对catalog配置进行增、删和改的更新需求，一般情况下，执行上述需求的现有技术方案往往是重新启动Presto服务，因为现有Presto服务对catalog配置的加载是一次性的，即只在Presto服务启动时进行加载，之后不会再对catalog进行任何处理。当Presto服务启动后，即使存在catalog配置文件的增删改操作，也只有通过重启Presto服务，重新对所有的catalog配置都会进行加载，才能实现catalog配置的更新。现有技术方案对于每次更新都需要重启Presto服务，一旦catalog配置错误就需要频繁重启Presto服务，导致Presto服务不能稳定运行，进而增大运维人员的负担，降低Presto服务的用户体检。

发明内容

本发明提供一种更新数据查询引擎配置列表的方法及装置，实现数据查询引擎中配置列表的动态更新，保证数据查询引擎服务的稳定运行，从而提高数据查询引擎服务的用户体检。

一方面，本发明实施例提供了一种更新数据查询引擎配置列表的方法，包括：

如果监测到数据查询引擎的当前节点的服务进程启动时，则启动后台监控线程，监测所述数据查询引擎的配置文件目录的更新操作；

如果监测到所述配置文件目录的更新操作，则获取被更新的配置文件信息；

根据所述被更新的配置文件信息，对所述当前节点的配置列表进行相应的更新操作。

另一方面，本发明实施例提供了一种更新数据查询引擎配置列表的装置，集成在数据查询引擎中，该装置包括：

更新操作监控模块，用于当监测到数据查询引擎的当前节点的服务进程启动时，启动后台监控线程，监测所述数据查询引擎的配置文件目录的更新操作；

更新信息获取模块，用于当监测到所述配置文件目录的更新操作时，获取被更新的配置文件信息；

配置列表更新模块，用于根据所述被更新的配置文件信息，对所述当前节点的配置列表进行相应的更新操作。

本发明实施例中提供的一种更新数据查询引擎配置列表的方法及装置，根据监控线程监测数据查询引擎的配置文件目录，若监测到配置文件目录存在增加、删除或者修改的配置文件时，根据监测线程提供的被更新的配置文件信息，对数据查询引擎服务进程中的配置列表进行相应的更新。本发明无需重启数据查询引擎节点的服务进程，就可实现数据查询引擎配置列表的动态更新，达到数据查询引擎自动化运维的效果，从而减轻运维人员负担，提升数据查询引擎的用户体验。

附图说明

图1为现有技术中更新数据查询引擎配置列表的流程图；

图2为本发明实施例一提供的一种更新数据查询引擎配置列表的方法的流程示意图；

图3为本发明实施例二提供的一种更新数据查询引擎配置列表的方法的流程示意图；

图4为本发明实施例三提供的一种更新数据查询引擎配置列表的装置的结构框图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图2为本发明实施例一提供的一种更新数据查询引擎配置列表方法的流程示意图，该方法可以由更新数据查询引擎配置列表的装置执行，其中该装置可由软件和/或硬件实现，作为数据查询引擎的一部分集成在数据查询引擎中，本发明实施例提供的更新数据查询引擎配置列表的方法，如图2所示，包括如下操作：

步骤101、如果监测到数据查询引擎的当前节点的服务进程启动时，则启动后台监控线程，监测所述数据查询引擎的配置文件目录的更新操作。

在本实施例中，所述数据查询引擎具体可指交互式连接关系型数据库，并通过客户端的数据查询请求实现快速查询的交互式查询系统，例如，名为Hive、Impala、Spark、Stinger以及Presto等都是目前较流行的开源大数据查询分析引擎，可实现大数据的快速查询处理。

上述数据查询引擎均可用来对大数据进行查询分析和处理，因此在这些数据查询引擎中至少存在两个计算节点，在数据查询引擎工作时，需要启动相应的计算节点服务进程才能进行相应的处理计算工作。本实施例提出的更新数据查询引擎配置列表的方法就是在监测到数据查询引擎相应计算节点的服务进程启动后进行的一系列操作。

在本实施例中，所述后台监控线程具体可指在所述数据查询引擎系统相应代码中加入的监控代码，可通过所述当前节点服务进程启动时的触发器触发启动，具体可用于监控数据查询引擎配置文件目录中是否出现配置文件的更新操作。所述配置文件目录具体可用于存放数据源的配置文件参数信息。所述配置文件目录的更新操作具体可包括：配置文件目录中配置文件的增加、删除以及参数变更。

步骤102、如果监测到所述配置文件目录的更新操作，则获取被更新的配置文件信息。

在本实施例中，对所述配置文件目录更新操作的监测由后台监控线程执行，所述后台监控线程由相应的监控代码实现，所述监控代码具体可为编程语言应用程序自带的编程接口(Application Programming Interface，API)。

优选的，本实施例采用Java语言中的WatchService API，所述WatchService API可以作为一个独立线程后台运行机制，在后台直接监控目录的变更情况并且返回对目录的监控信息，不会影响前端处理。所述WatchService API内部的具体监控目录变更的过程不再详细描述。

步骤103、根据所述被更新的配置文件信息，对所述当前节点的配置列表进行相应的更新操作。

在本实施例中，所述被更新的配置文件信息具体可包括：新增配置文件的文件名及参数信息、被删除文件的文件名、以及被修改配置文件的文件名及修改的参数信息。

在本实施例中，所述对当前节点的配置列表进行相应的更新操作具体包括对当前节点的配置列表进行相应的增加操作、删除操作以及修改操作。

一般情况下，所述的相应更新操作在服务进程运行时进行，所述服务进程需要利用配置列表中的配置文件进行数据源查询处理操作，此时在配置列表中增加一个新的配置文件不会影响服务进程的正常工作，但在进行配置文件的修改和删除操作时，如果恰好正在对这些文件进行查询处理，则会影响数据查询引擎的查询效率。因此，在进行配置列表的删除操作以及修改操作前，需要运维技术人员的人工干预，在确保当前服务进程没有对对应配置文件查询的前提下，再进行配置文件的删除和修改操作。

本实施例一提供的一种更新数据查询引擎配置列表方法，在数据查询引擎的当前节点的服务进程启动时，启动后台监控线程，并监测所述数据查询引擎的配置文件目录的更新操作，然后根据更新操作的配置文件信息，更新数据查询引擎当前节点的配置列表。数据查询引擎的当前节点不用重启服务进程，就可动态实现数据查询引擎配置列表的更新，达到数据查询引擎自动化运维的效果，从而减轻运维人员负担，提升数据查询引擎的用户体验。

实施例二

图3为本发明实施例二提供的一种更新数据查询引擎配置列表方法的流程示意图。本发明实施例二以上述实施例为基础进行优化，在本实施例中，将步骤根据所述被更新的配置文件信息，对所述当前节点的配置列表进行相应的更新操作优化为：如果所述被更新的配置文件信息为新增配置文件，则对所述当前节点的配置列表进行相应的增加操作；如果所述被更新的配置文件信息为被删除配置文件，则对所述当前节点的配置列表进行相应的删除操作；如果所述被更新的配置文件信息为修改配置文件参数，则对所述当前节点的配置列表进行相应的修改操作。

相应的，如图3所示，本实施例的方法包括如下步骤：

步骤201、如果监测到数据查询引擎的当前节点的服务进程启动时，则启动后台监控线程，监测所述数据查询引擎的配置文件目录的更新操作。

在本实施例中，所述配置文件目录可创建于所述数据查询引擎的系统目录中，优选为数据查询引擎的默认路径。所述配置文件目录具体可为一个配置文件夹，用于存放数据源的属性配置信息。一般的，不同的数据源分配到不同的配置文件进行配置，相同的数据源如数据的属性不同(如与关系型数据库的连接地址不同)，也需要分配到不同的配置文件进行配置。

步骤202、监测到所述配置文件目录是否发生更新操作，若是，则执行步骤203；若否，执行步骤210。

在本实施例中，监测所述配置文件目录的更新操作为实时监测，即只要当前节点的服务进程没有关闭，后台监控线程就要实时监控所述配置文件目录是否存在更新操作，且可将开始监测更新操作到当前节点配置列表的相应更新结束作为一次循环周期。

步骤203、获取被更新的配置文件信息。

在本实施例中，所述被更新的配置文件信息具体包括:新增配置文件的文件名及参数信息、被删除文件的文件名、以及被修改配置文件的文件名及修改的参数信息。

步骤204、判断被更新文件信息是否为新增配置文件，若是，则执行步骤205；若否，则执行步骤206。

步骤205、对所述当前节点的配置列表进行相应的增加操作，之后执行步骤210。

进一步的，配置文件增加操作的具体描述如下：如果所述新增配置文件满足所述当前节点的加载要求，则加载所述新增配置文件到所述当前节点的服务进程中，并且更新当前节点的配置声明，同时添加所述新增配置文件到所述当前节点的合法配置列表中。

在本实施例中，所述当前节点的加载要求具体可为：1)所述新增配置文件的配置信息是否属于同一个数据源；2)若属于同一个数据源，则数据源所具有的属性信息是否也相同。若满足上述两个要求则说明满足当前节点加载要求。

在本实施例中，所述当前节点的服务进程加载的配置文件信息为新增配置文件及其参数信息。所述更新当前节点的配置声明具体用于让数据查询引擎系统知道所述当前节点存在配置文件更新。所述当前节点的合法配置列表具体指当前节点可用来进行相关数据信息查询的配置文件列表。

步骤206、判断被更新文件信息是否为被删除配置文件，若是，则执行步骤207；若否，则执行步骤208。

步骤207、对所述当前节点的配置列表进行相应的删除操作，之后执行步骤210。

进一步的，配置文件删除操作的具体描述如下：如果被删除配置文件不是当前节点服务进程的正在查询文件，则获取被删除配置文件的文件名，删除所述当前节点服务进程中与所述文件名相同的配置文件，并且更新当前节点的配置声明，同时从所述当前节点的合法配置列表中删除所述文件名相同的配置文件。

在本实施例中，不能直接删除所述当前节点服务进程中对应的所述被删除配置文件信息，需要先判断所述当前节点服务进程是否正在对要删除的配置文件进行查询操作，若是，则删除所述对应配置文件将导致节点服务进程的错误操作。优选的，本实施例可通过运维人员人工操作判断所述被删除配置文件是否为正查询文件，即在更新配置文件信息前，查询引擎弹出提示窗口，询问是否要进一步进行删除操作，若此时所述被删除配置文件为正在查询文件，运维人员可通过点击“否”按钮取消删除操作。同时，对当前节点服务进程配置文件的删除操作主要基于被删除配置文件的文件名进行识别。

步骤208、判断被更新文件信息是否为修改配置文件参数，若是，则执行步骤209，若否，则执行步骤210。

步骤209、对所述当前节点的配置列表进行相应的修改操作，之后执行步骤210。

进一步的，配置文件修改操作的具体描述如下：

如果被修改配置文件不是当前节点服务进程的正在查询文件，则加载被修改配置文件，修改所述当前节点服务进程中所述被修改配置文件对应的配置信息，并且更新当前节点的配置声明，同时更新当前节点的合法配置列表。

在本实施例中，所述修改操作前也需要判断被修改配置文件是否为正在查询的配置文件，其判断过程同所述删除操作相同，需要运维人员手动判断选择是否进行删除操作。

步骤210、判断所述当前节点的服务进程是否结束，若是，则执行步骤211；若否，则返回步骤202。

在本实施例中，因为所述后台监控线程为配置文件的实时监控，如果所述当前节点的服务进程不结束，则后台监控线程一直处于监控状态，即返回步骤202循环执行上述步骤，因此还需要进一步获取服务进程的结束信息。

步骤211、结束后台监控线程的监控。

本发明实施例提供的一种更新数据查询引擎配置列表的方法，具体给出了配置文件目录存在更新操作时，数据查询引擎当前节点服务进程也对其配置列表进行相对应的更新操作。利用此方法数据查询引擎的当前节点不用重启服务进程，就可动态实现当前节点配置列表的增加、删除和修改操作，达到数据查询引擎自动化运维的效果，从而减轻运维人员负担，提升数据查询引擎的用户体验。

实施例三

图4为本发明实施例三提供的一种更新数据查询引擎配置列表的装置结构框图，该装置可作为数据查询引擎的一部分集成在数据查询引擎中。如图4所示，该装置包括：

更新操作监控模块301，用于当监测到数据查询引擎的当前节点的服务进程启动时，启动后台监控线程，监测数据查询引擎的配置文件目录的更新操作。

更新信息获取模块302，用于当监测到配置文件目录的更新操作时，获取被更新的配置文件信息。

配置列表更新模块303，用于根据被更新的配置文件信息，对当前节点的配置列表进行相应的更新操作。

本发明实施例三提供的一种更新数据查询引擎配置列表的装置，通过更新操作监控模块实现数据查询引擎配置文件目录的更新操作实时监控，并通过更新信息获取模块实现被更新配置文件信息的获取，最终基于配置列表更新模块实现数据查询引擎当前节点配置列表的动态更新。利用所述装置不需重启数据查询引擎当前节点的服务进程，就可动态实现当前节点配置列表的增加、删除和修改操作，达到数据查询引擎自动化运维的效果，从而减轻运维人员负担，提升数据查询引擎的用户体验。

进一步的，配置列表更新模块303，包括：

配置文件增加操作单元，用于当被更新的配置文件信息为新增配置文件时，对当前节点的配置列表进行相应的增加操作。

配置文件删除操作单元，用于当被更新的配置文件信息为被删除配置文件时，对当前节点的配置列表进行相应的删除操作。

配置文件修改操作单元，用于当被更新的配置文件信息为修改配置文件参数时，对当前节点的配置列表进行相应的修改操作。

进一步的，配置文件增加操作单元，具体用于：

当所述被更新的配置文件信息为新增配置文件时，如果所述新增配置文件满足所述当前节点的加载要求，则加载所述新增配置文件到所述当前节点的服务进程中，并且更新当前节点的配置声明，同时添加所述新增配置文件到所述当前节点的合法配置列表中。

进一步的，配置文件删除操作单元，具体用于：

当所述被更新的配置文件信息为被删除配置文件时，如果被删除配置文件不是当前节点服务进程的正在查询文件，则获取被删除配置文件的文件名，删除所述当前节点服务进程中与所述文件名相同的配置文件，并且更新当前节点的配置声明，同时从所述当前节点的合法配置列表中删除所述文件名相同的配置文件。

进一步的，配置文件修改操作单元，具体用于：

当所述被更新的配置文件信息为修改配置文件参数时，如果被修改配置文件不是当前节点服务进程的正在查询文件，则加载被修改配置文件，修改所述当前节点服务进程中所述被修改配置文件对应的配置信息，并且更新当前节点的配置声明，同时更新当前节点的合法配置列表。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种更新数据查询引擎配置列表的方法，其特征在于，包括：

如果监测到数据查询引擎的当前节点的服务进程启动时，则启动后台监控线程，监测所述数据查询引擎的配置文件目录的更新操作；

如果监测到所述配置文件目录的更新操作，则获取被更新的配置文件信息；

根据所述被更新的配置文件信息，对所述当前节点的合法配置列表进行相应的更新操作。

2.根据权利要求1所述的方法，其特征在于，根据所述被更新的配置文件信息，对所述当前节点的配置列表进行相应的更新操作，包括：

如果所述被更新的配置文件信息为新增配置文件，则对所述当前节点的配置列表进行相应的增加操作；

如果所述被更新的配置文件信息为被删除配置文件，则对所述当前节点的配置列表进行相应的删除操作；

如果所述被更新的配置文件信息为修改配置文件参数，则对所述当前节点的配置列表进行相应的修改操作。

3.根据权利要求2所述的方法，其特征在于，所述对所述当前节点的配置列表进行相应的增加操作，包括：

如果所述新增配置文件满足所述当前节点的加载要求，则加载所述新增配置文件到所述当前节点的服务进程中，并且更新当前节点的配置声明，同时添加所述新增配置文件到所述当前节点的合法配置列表中。

4.根据权利要求2所述的方法，其特征在于，所述对所述当前节点的配置列表进行相应的删除操作，包括：

如果被删除配置文件不是当前节点服务进程的正在查询文件，则获取被删除配置文件的文件名，删除所述当前节点服务进程中与所述文件名相同的配置文件，并且更新当前节点的配置声明，同时从所述当前节点的合法配置列表中删除所述文件名相同的配置文件。

5.根据权利要求2所述的方法，其特征在于，所述对所述当前节点的配置列表进行相应的修改操作，包括：

如果被修改配置文件不是当前节点服务进程的正在查询文件，则加载被修改配置文件，修改所述当前节点服务进程中所述被修改配置文件对应的配置信息，并且更新当前节点的配置声明，同时更新当前节点的合法配置列表。

6.一种更新数据查询引擎配置列表的装置，集成在数据查询引擎中，其特征在于，包括：

更新操作监控模块，用于当监测到数据查询引擎的当前节点的服务进程启动时，启动后台监控线程，监测所述数据查询引擎的配置文件目录的更新操作；

更新信息获取模块，用于当监测到所述配置文件目录的更新操作时，获取被更新的配置文件信息；

配置列表更新模块，用于根据所述被更新的配置文件信息，对所述当前节点的合法配置列表进行相应的更新操作。

7.根据权利要求6所述的装置，其特征在于，所述配置列表更新模块，包括：

配置文件增加操作单元，用于当所述被更新的配置文件信息为新增配置文件时，对所述当前节点的配置列表进行相应的增加操作；

配置文件删除操作单元，用于当所述被更新的配置文件信息为被删除配置文件时，对所述当前节点的配置列表进行相应的删除操作；

配置文件修改操作单元，用于当所述被更新的配置文件信息为修改配置文件参数时，对所述当前节点的配置列表进行相应的修改操作。

8.根据权利要求7所述的装置，其特征在于，所述配置文件增加操作单元，具体用于：

当所述被更新的配置文件信息为新增配置文件时，如果所述新增配置文件满足所述当前节点的加载要求，则加载所述新增配置文件到所述当前节点的服务进程中，并且更新当前节点的配置声明，同时添加所述新增配置文件到所述当前节点的合法配置列表中。

9.根据权利要求7所述的装置，其特征在于，所述配置文件删除操作单元，具体用于：

当所述被更新的配置文件信息为被删除配置文件时，如果被删除配置文件不是当前节点服务进程的正在查询文件，则获取被删除配置文件的文件名，删除所述当前节点服务进程中与所述文件名相同的配置文件，并且更新当前节点的配置声明，同时从所述当前节点的合法配置列表中删除所述文件名相同的配置文件。

10.根据权利要求7所述的装置，其特征在于，所述配置文件修改操作单元，具体用于：

当所述被更新的配置文件信息为修改配置文件参数时，如果被修改配置文件不是当前节点服务进程的正在查询文件，则加载被修改配置文件，修改所述当前节点服务进程中所述被修改配置文件对应的配置信息，并且更新当前节点的配置声明，同时更新当前节点的合法配置列表。

11.一种数据查询引擎，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的更新数据查询引擎配置列表的方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-5中任一所述的更新数据查询引擎配置列表的方法。