CN112287017A - 一种基于OpenSSH的Impala集群可视化管理方法 - Google Patents
一种基于OpenSSH的Impala集群可视化管理方法 Download PDFInfo
- Publication number
- CN112287017A CN112287017A CN202011220445.2A CN202011220445A CN112287017A CN 112287017 A CN112287017 A CN 112287017A CN 202011220445 A CN202011220445 A CN 202011220445A CN 112287017 A CN112287017 A CN 112287017A
- Authority
- CN
- China
- Prior art keywords
- user
- node
- connection
- impala
- page
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 241000282813 Aepyceros melampus Species 0.000 title claims abstract description 45
- 230000000007 visual effect Effects 0.000 title claims abstract description 24
- 238000007726 management method Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims description 12
- 238000012795 verification Methods 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明提供一种基于OpenSSH的Impala集群可视化管理方法，属于计算机网络信息管理技术领域，主节点通过Java Web向使用者提供通过浏览器访问的可视化页面服务，并且通过OpenSSH组件创建至Impala集群的各节点的SSH连接，主节点通过该连接向各节点发送收集Impala集群信息的命令并将结果返回至可视化页面。使用者在可视化页面的操作也将分解为相关的系统命令，通过SSH连接执行对应的命令并返回执行结果，最终将结果通过可视化页面反馈至使用者，进而实现对Impala集群的管理。
Description
技术领域
本发明涉及计算机网络信息管理技术，尤其涉及一种基于OpenSSH的Impala 集群可视化管理方法。
背景技术
Impala是Cloudera公司主导开发的新型查询系统，是一个用C++和Java编写的开源软件。它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB 级大数据。它与其他Hadoop的SQL引擎相比，它提供了高性能和低延迟。
OpenSSH是SSH(Secure SHell)协议的免费开源实现。SSH协议族可以用来进行远程控制，或在计算机之间传送文件。而实现此功能的传统方式，如 telnet(终端仿真协议)、rcp ftp、rlogin、rsh都是极为不安全的，并且会使用明文传送密码。OpenSSH提供了服务端后台程序和客户端工具，用来加密远程控制和文件传输过程中的数据，并由此来代替原来的类似服务。
Java Web是用Java技术来解决相关web互联网领域的技术栈。
Impala在大数据领域有着较为广泛的应用。在大部分的应用场景下，Impala 都是以集群的方式配合其他数据存储引擎使用，一个完整的Impala集群一般由若干台主机组成，Impala的catalog节点，statestore节点以及impala节点根据需要分布在集群的各主机上。由于Impala自带的web管理页面仅能提供有限的功能，对于整个Impala集群来说，为了管理该集群，使用者仍需切换至各节点去执行相关的操作。在相关的领域中，Cloudera的CDH也提供了对Impala集群的管理功能，不过CDH着重于提供整个大数据生态的管理，比较庞大，Impala集群的管理仅仅是CDH功能的一小部分。并且CDH的部署及使用过程较为繁琐，消耗的资源也比较多，对于单独管理Impala集群来说并不友好。
发明内容
为了解决以上技术问题，本发明提供了一种基于OpenSSH的Impala集群可视化管理方法，通过可视化的浏览器页面去管理Impala集群，减轻运维复杂度。
本发明的技术方案是：
一种基于OpenSSH的Impala集群可视化管理方法，
通过OpenSSH组件创建至Impala集群的各节点的SSH连接，并通过该连接向各节点发送收集Impala集群信息的命令并返回结果，最终通过Java Web将收集到的信息通过可视化页面反馈至使用者。
进一步的，
主节点通过Java Web向使用者提供通过浏览器访问的可视化页面服务，并将使用者在该页面的操作分解为相关的系统命令。
使用者在可视化页面的操作分解为相关的系统命令后，通过SSH连接执行对应的命令并返回执行结果，最终将结果通过可视化页面反馈至使用者，进而实现对Impala集群的管理。
进一步的，
选取集群中一台主机作为主节点去管理Impala集群的其余节点，该节点通过Java Web调用相关的OpenSSH类库建立与其他节点的SSH连接，通过该连接对该节点的主机发送相关的系统命令，从而获取该节点上的相关信息并在该主机上执行操作；同时，主节点的Java Web还对外提供web服务，使用者通过浏览器访问该web服务提供的相关页面，即可获取由主节点汇总的各节点的信息并执行操作。
主节点通过Java Web调用Java的OpenSSH类库建立与其他节点的连接，并通过其他节点的用户名密码进行验证；验证通过后，通过预设的指令建立与目的节点的该用户的RSA密钥认证，以确保以后进行SSH操作时不需要再次密码认证。
连接成功建立后，主节点的Java Web将持续持有该连接，并通过预设的指定定时刷新获取该节点的信息；
当使用者通过web页面进行操作时，使用者的操作指令将被转化为预设的指令通过该SSH连接下发执行，并返回执行结果。
进一步的，
Impala集群各节点需保证与主节点之间网络通畅且OpenSSH服务可用，并需提供该主机用户的用户名及密码。
进一步的，
主节点使用Java Web提供web服务，通过浏览器访问的html页面，使用者通过浏览器访问相关的预置页面来获取该Impala集群的信息，Java Web服务会将 SSH连接获取到的信息刷新至html页面；使用者通过html上提供的选项，对Impala 集群进行启动，停止，安装，卸载，监控，修改配置以及其他操作。
本发明的有益效果是
通过本方法，使用者可以通过浏览器对Impala集群进行管理并对Impala集群的状态进行实时监控，不再需要手动登录至每个节点的主机进行操作，大大减少了运维工作的工作量。并且本方法将常见的Impala集群操作转化为预置的系统指令，使用者仅需要通过可视化界面选择相应的操作即可，降低了运维工作的难。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的一种基于OpenSSH的Impala集群可视化管理方法，主节点通过Java Web向使用者提供通过浏览器访问的可视化页面服务，并且通过OpenSSH组件创建至Impala集群的各节点的SSH连接，主节点通过该连接向各节点发送收集Impala 集群信息的命令并将结果返回至可视化页面。使用者在可视化页面的操作也将分解为相关的系统命令，通过SSH连接执行对应的命令并返回执行结果，最终将结果通过可视化页面反馈至使用者，进而实现对Impala集群的管理。
1)总体架构
选取集群中一台主机作为主节点去管理Impala集群的其余节点，该节点通过Java Web调用相关的OpenSSH类库建立与其他节点的SSH连接，通过该连接对该节点的主机发送相关的系统命令，从而获取该节点上的相关信息并在该主机上执行操作。同时，主节点的Java Web还对外提供web服务，使用者通过浏览器访问该web服务提供的相关页面，即可获取由主节点汇总的各节点的信息并执行操作。
2)主节点的Java Web与各节点连接
主节点通过Java Web调用Java的OpenSSH类库建立与其他节点的连接，并通过其他节点的用户名密码进行验证。验证通过后，通过预设的指令建立与目的节点的该用户的RSA密钥认证，以确保以后进行SSH操作时不需要再次密码认证。
连接成功建立后，主节点的Java Web将持续持有该连接，并通过预设的指定定时刷新获取该节点的信息。
当使用者通过web页面进行操作时，使用者的操作指令将被转化为预设的指令通过该SSH连接下发执行，并返回执行结果。
3)Impala集群各节点的操作
Impala集群各节点需保证与主节点之间网络通畅且OpenSSH服务可用，并需提供该主机用户的用户名及密码。
5)主节点的Java Web提供web服务
主节点使用Java Web提供web服务，具体为可以通过浏览器访问的html页面，使用者通过浏览器访问相关的预置页面来获取该Impala集群的信息，Java Web 服务会将SSH连接获取到的信息刷新至html页面。使用者通过html上提供的选项，可以对Impala集群进行启动，停止，安装，卸载，监控，修改配置以及其他操作。
以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (8)
1.一种基于OpenSSH的Impala集群可视化管理方法，其特征在于，
通过OpenSSH组件创建至Impala集群的各节点的SSH连接，并通过该连接向各节点发送收集Impala集群信息的命令并返回结果，最终通过Java Web将收集到的信息通过可视化页面反馈至使用者。
2.根据权利要求1所述的方法，其特征在于，
主节点通过Java Web向使用者提供通过浏览器访问的可视化页面服务，并将使用者在该页面的操作分解为相关的系统命令。
3.根据权利要求2所述的方法，其特征在于，
使用者在可视化页面的操作分解为相关的系统命令后，通过SSH连接执行对应的命令并返回执行结果，最终将结果通过可视化页面反馈至使用者，进而实现对Impala集群的管理。
4.根据权利要求3所述的方法，其特征在于，
选取集群中一台主机作为主节点去管理Impala集群的其余节点，该节点通过Java Web调用相关的OpenSSH类库建立与其他节点的SSH连接，通过该连接对该节点的主机发送相关的系统命令，从而获取该节点上的相关信息并在该主机上执行操作；同时，主节点的JavaWeb还对外提供web服务，通过浏览器访问该web服务提供的相关页面，即可获取由主节点汇总的各节点的信息并执行操作。
5.根据权利要求4所述的方法，其特征在于，
主节点通过Java Web调用Java的OpenSSH类库建立与其他节点的连接，并通过其他节点的用户名密码进行验证；验证通过后，通过预设的指令建立与目的节点的该用户的RSA密钥认证，以确保以后进行SSH操作时不需要再次密码认证。
6.根据权利要求5所述的方法，其特征在于，
连接成功建立后，主节点的Java Web将持续持有该连接，并通过预设的指定定时刷新获取该节点的信息；
当使用者通过web页面进行操作时，使用者的操作指令将被转化为预设的指令通过该SSH连接下发执行，并返回执行结果。
7.根据权利要求6所述的方法，其特征在于，
Impala集群各节点需保证与主节点之间网络通畅且OpenSSH服务可用，并需提供该主机用户的用户名及密码。
8.根据权利要求7所述的方法，其特征在于，
主节点使用Java Web提供web服务，通过浏览器访问的html页面，使用者通过浏览器访问相关的预置页面来获取该Impala集群的信息，Java Web服务会将SSH连接获取到的信息刷新至html页面；使用者通过html上提供的选项，对Impala集群进行启动，停止，安装，卸载，监控，修改配置的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011220445.2A CN112287017A (zh) | 2020-11-05 | 2020-11-05 | 一种基于OpenSSH的Impala集群可视化管理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011220445.2A CN112287017A (zh) | 2020-11-05 | 2020-11-05 | 一种基于OpenSSH的Impala集群可视化管理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112287017A true CN112287017A (zh) | 2021-01-29 |
Family
ID=74351974
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011220445.2A Pending CN112287017A (zh) | 2020-11-05 | 2020-11-05 | 一种基于OpenSSH的Impala集群可视化管理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112287017A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113434159A (zh) * | 2021-07-08 | 2021-09-24 | 恒安嘉新（北京）科技股份公司 | 一种可视化运维管理Elasticsearch的方法、装置、介质及电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108536696A (zh) * | 2017-03-02 | 2018-09-14 | 塞纳德（北京）信息技术有限公司 | 一种数据库个性化自助查询平台和方法 |
| CN110493061A (zh) * | 2019-08-30 | 2019-11-22 | 浪潮软件股份有限公司 | 一种ntp集群的管理方法及系统 |
| CN111258977A (zh) * | 2020-01-10 | 2020-06-09 | 山东浪潮商用系统有限公司 | 一种税务大数据存储及分析平台 |
-
2020
- 2020-11-05 CN CN202011220445.2A patent/CN112287017A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108536696A (zh) * | 2017-03-02 | 2018-09-14 | 塞纳德（北京）信息技术有限公司 | 一种数据库个性化自助查询平台和方法 |
| CN110493061A (zh) * | 2019-08-30 | 2019-11-22 | 浪潮软件股份有限公司 | 一种ntp集群的管理方法及系统 |
| CN111258977A (zh) * | 2020-01-10 | 2020-06-09 | 山东浪潮商用系统有限公司 | 一种税务大数据存储及分析平台 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113434159A (zh) * | 2021-07-08 | 2021-09-24 | 恒安嘉新（北京）科技股份公司 | 一种可视化运维管理Elasticsearch的方法、装置、介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7421511B2 (ja) | アプリケーションをデプロイするための方法及び装置、電子機器、読み取り可能な記憶媒体並びにコンピュータプログラム | |
| US10326769B2 (en) | Extensible multi-tenant cloud-management system and methods for extending functionalities and services provided by multi-tenant cloud-management system | |
| Pike et al. | Plan 9 from bell labs | |
| Aiftimiei et al. | Design and implementation of the gLite CREAM job management service | |
| WO2017041649A1 (zh) | 一种应用部署方法及设备 | |
| US8151360B1 (en) | System and method for administering security in a logical namespace of a storage system environment | |
| WO2024113582A1 (zh) | 一种多云集群资源共享方法、装置、设备及存储介质 | |
| CN103634138A (zh) | 分布式调度的远程管理与运维方法及其系统 | |
| US10621111B2 (en) | System and method for unified secure remote configuration and management of multiple applications on embedded device platform | |
| US11861386B1 (en) | Application gateways in an on-demand network code execution system | |
| CN112287017A (zh) | 一种基于OpenSSH的Impala集群可视化管理方法 | |
| CN112395049A (zh) | 一种业务服务器调用方法、系统、设备及存储介质 | |
| Brim et al. | Cluster command and control (c3) tool suite | |
| WO2022121492A1 (zh) | 文件传输方法、装置、计算机设备及存储介质 | |
| Ren et al. | Research on communication method of OPC UA client based on ARM | |
| CN113641641A (zh) | 文件存储服务的切换方法、切换系统、设备及存储介质 | |
| Hao | Edge computing on low availability devices with K3S in a smart home IoT system | |
| US11853560B2 (en) | Conditional role decision based on source environments | |
| WO2024130565A1 (zh) | 任务处理方法、装置及电子设备 | |
| WO2024131083A1 (zh) | 一种数据处理方法、装置、电子设备、计算机存储介质及计算机程序产品 | |
| Peris et al. | LCG-2 user guide | |
| Bagnasco et al. | AliEn-EDG interoperability in ALICE | |
| Stanek | Web Server Administration: The Personal Trainer for IIS 7.0 and IIS 7.5 | |
| Gomberg et al. | Scalable, Remote Administration of Windows {NT} | |
| CN115167878A (zh) | 一种集群的安装和部署方法、装置及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210129 |
|
| RJ01 | Rejection of invention patent application after publication |