CN114448965A - 一种大数据组件的管理方法、装置、系统及可读存储介质 - Google Patents
一种大数据组件的管理方法、装置、系统及可读存储介质 Download PDFInfo
- Publication number
- CN114448965A CN114448965A CN202111583560.0A CN202111583560A CN114448965A CN 114448965 A CN114448965 A CN 114448965A CN 202111583560 A CN202111583560 A CN 202111583560A CN 114448965 A CN114448965 A CN 114448965A
- Authority
- CN
- China
- Prior art keywords
- instruction
- big data
- web shell
- target web
- shell terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000007726 management method Methods 0.000 claims abstract description 125
- 238000012423 maintenance Methods 0.000 claims abstract description 25
- 238000004590 computer program Methods 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 19
- 230000004044 response Effects 0.000 description 17
- 238000012545 processing Methods 0.000 description 16
- 206010047289 Ventricular extrasystoles Diseases 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 7
- 238000005129 volume perturbation calorimetry Methods 0.000 description 7
- 238000000586 desensitisation Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 241000233805 Phoenix Species 0.000 description 3
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 206010020751 Hypersensitivity Diseases 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 208000026935 allergic disease Diseases 0.000 description 1
- 230000007815 allergy Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
- H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/14—Session management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/34—Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
- H04L69/161—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields
- H04L69/162—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields involving adaptations of sockets based mechanisms
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明提供了一种大数据组件的管理方法、装置、系统及可读存储介质，其中，所述管理方法应用于管理端，包括：通过WebSocket协议接收来自目标web shell终端的控制指令，所述目标web shell终端为客户端包括的至少一个web shell终端中的任一个；将所述控制指令转换成预设大数据组件可识别的官方指令，并将所述官方指令发送至所述预设大数据组件，以使所述预设大数据组件响应所述官方指令，获得响应后的结果；将所述响应后的结果发送至所述目标web shell终端，以使所述目标web shell终端显示所述响应后的结果。用于提高大数据组件的管理和运维效率。
Description
技术领域
本发明涉及大数据技术领域，特别是涉及一种大数据组件的管理方法、装置、系统及可读存储介质。
背景技术
随着云计算时代的到来，各种大数据组件借助云平台得到了广泛的应用。然而大数据组件一般具有较高的技术门槛，其运维和管理成为阻碍行业发展的痛点。
目前，业内还没有成熟的可视化数据管理工具或方法可以有效降低用户的运维成本，也没有专门的工具可以用来适配各种大数据组件，用户只能选择云数据库原生的工具对数据进行管理和维护。原生工具往往具有对集群依赖度高、功能单一、操作困难、交互指令复杂等特点，无法满足用户尤其是企业用户日益丰富的业务需求，阻碍了云计算行业的普及和进一步发展。
如何提高大数据组件的管理和运维效率成为急需解决的技术问题。
发明内容
本发明提供了一种大数据组件的管理方法、装置、系统及可读存储介质，用于提高大数据组件的管理和运维效率。
第一方面，本发明实施例提供了一种大数据组件的管理方法，应用于管理端，包括：
通过WebSocket协议接收来自目标web shell终端的控制指令，所述目标webshell终端为客户端包括的至少一个web shell终端中的任一个；
将所述控制指令转换成预设大数据组件可识别的官方指令，并将所述官方指令发送至所述预设大数据组件，以使所述预设大数据组件响应所述官方指令，获得响应后的结果；
将所述响应后的结果发送至所述目标web shell终端，以使所述目标web shell终端显示所述响应后的结果。
在其中一种可能的实现方式中，在所述通过WebSocket协议接收来自目标webshell终端的控制指令之后，所述方法还包括：
在所述管理端的线程池里预加载至少一个shell连接，所述至少一个shell连接用于建立所述管理端与客户端的连接，以使所述管理端根据所述至少一个shell连接将所述控制指令转换成所述官方指令。
在其中一种可能的实现方式中，在所述通过WebSocket协议接收来自目标webshell终端的控制指令之后，所述方法还包括：
对所述控制指令进行脱敏处理和过滤处理，过滤掉对所述目标web shell终端无权限的指令，筛选出对所述目标web shell终端有权限的指令；
将所述有权限的指令作为所述控制指令。
在其中一种可能的实现方式中，在所述筛选出对所述目标web shell终端有权限的指令之后，所述方法还包括：
对所述有权限的指令进行延时控制和截断控制，以使所述管理端与所述目标webshell终端之间连接通畅；
获得处理后的指令，并将所述处理后的指令作为所述控制指令。
第二方面，本发明实施例还提供了一种大数据组件的管理装置，应用于管理端，包括：
接收单元，用于通过WebSocket协议接收来自目标web shell终端的控制指令，所述目标web shell终端具体为客户端包括的至少一个web shell终端中的任一个；
转换单元，用于将所述控制指令转换成预设大数据组件可识别的官方指令，并将所述官方指令发送至所述预设大数据组件，以使所述预设大数据组件响应所述官方指令，获得响应后的结果；
发送单元，用于将所述响应后的结果发送至所述目标web shell终端，以使所述目标web shell终端显示所述响应后的结果。
在其中一种可能的实现方式中，在所述通过WebSocket协议接收来自目标webshell终端的控制指令之后，所述管理装置还包括预加载单元，所述预加载单元用于：
在所述管理端的线程池里预加载至少一个shell连接，所述至少一个shell连接用于建立所述管理端与客户端的连接，以使所述管理端根据所述至少一个shell将所述控制指令转换成所述官方指令。
在其中一种可能的实现方式中，在所述通过WebSocket协议接收来自目标webshell终端的控制指令之后，所述管理装置还包括处理单元，所述处理单元用于：
对所述控制指令进行脱敏处理和过滤处理，过滤掉对所述目标web shell终端无权限的指令，筛选出对所述目标web shell终端有权限的指令；
将所述有权限的指令作为所述控制指令。
在其中一种可能的实现方式中，在所述筛选出对所述目标web shell终端有权限的指令之后，所述处理单元还用于：
对所述有权限的指令进行延时控制和截断控制，以使所述管理端与所述目标webshell终端之间连接通畅；
获得处理后的指令，并将所述处理后的指令作为所述控制指令。
第二方面，本发明实施例还提供了一种控制系统，包括：
客户端和与所述客户端连接的管理端，所述客户端包括至少一个web shell终端，所述管理端被配置为：
通过WebSocket协议接收来自目标web shell终端的控制指令，所述目标webshell终端为所述至少一个web shell终端中的任一个；
将所述控制指令转换成预设大数据组件可识别的官方指令，并将所述官方指令发送至所述预设大数据组件，以使所述预设大数据组件响应所述官方指令，获得响应后的结果；
将所述响应后的结果返回至所述目标web shell终端，以使所述目标web shell终端显示所述响应后的结果。
在其中一种可能的实现方式中，所述客户端支持的控制模式至少包括普通模式和运维模式，每种控制模式对应表征相应的权限命令集。
在其中一种可能的实现方式中，所述管理端包括服务层和与所述服务层连接的代理层，所述服务层被配置为：
通过WebSocket协议接收所述控制指令，对所述控制指令进行解析，解析出包括目标集群的用户信息；
通过与所述目标集群连接的专用通道将所述控制指令发送至所述代理层，以使所述代理层将所述控制指令转换成预设大数据组件可识别的官方指令，并将所述官方指令发送至所述预设大数据组件。
第三方面，本发明实施例还提供了一种管理装置，所述管理装置包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如上面任一项所述的大数据组件的管理方法的步骤。
第四方面，本发明实施例还提供了一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上面任一项所述的大数据组件的管理方法的步骤。
本发明的有益效果如下：
本发明提供了一种大数据组件管理方法、装置、系统及可读存储介质，首先，管理端通过WebSocket协议接收来自目标web shell终端的控制指令，该目标web shell终端为客户端包括的至少一个web shell终端中的任一个，然后，将该控制指令转换成预设大数据组件可识别的官方指令，该预设大数据组件可以是Hbase组件、Hive组件、Phoenix组件、Spark组件等，在此不做限定，还可以将该官方指令发送至预设大数据组件，这样的话，该预设大数据组件就可以响应该官方指令，从而获得响应后的结果。如此一来，可以通过同一管理端实现对各种大数据组件的统一管理，从而提高了大数据组件的管理和运维效率。此外，管理端还可以将响应后的结果发送至目标web shell终端，由目标web shell终端对该响应后的结果进行显示，从而对各种大数据组件实现命令行的可视化，进一步提高了大数据组件的管理和运维效率。
附图说明
图1为本发明实施例提供的一种大数据组件的管理方法所应用的管理系统的其中一种结构示意图；
图2为本发明实施例提供的一种大数据组件的管理方法的方法流程图；
图3为在图2中步骤S101之后的其中一种方法流程图；
图4为在图3中步骤S201之后的其中一种方法流程图；
图5为本发明实施例提供的一种大数据组件的管理方法应用于Hbase组件上云的拓扑图；
图6为本发明实施例提供的一种管理装置的结构示意图；
图7为本发明实施例提供的一种控制系统的结构示意图。
具体实施方式
本发明的说明书和权利要求书及上述附图中的“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了更好的理解上述技术方案，下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明，而不是对本发明技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。
在相关技术中，用户只能选择云数据库原生的工具对大数据组件的相关数据进行管理和维护。而原生工具对集群依赖度高、功能单一、操作困难、交互指令复杂等，导致大数据组件管理和运维效率较低。
鉴于此，本发明实施例提供了一种大数据组件的管理方法、装置、系统及可读存储介质，用于提高大数据组件的管理和运维效率。
在本发明实施例中，在介绍本发明实施例提供的大数据组件的管理方法之前，首先对应用该大数据组件的管理方法的管理系统进行简要说明。如图1所示为管理系统的其中一种结构示意图。结合图1所示，该管理系统包括客户端和与该客户端连接的管理端，该客户端包括至少一个web shell终端，图1中示意出了至少一个web shell终端为多个的情况，此外，该管理端包括服务层和与该服务层连接的代理层，服务层包括控制台，代理层包括shell agent和大数据组件，图1中示意出了大数据组件为多个的情况，当然，对于webshell终端以及大数据组件的具体个数可以根据实际应用需要来设置，在此不做限定。其中，客户端对应的web shell界面层区分了角色操作，为用户提供实时高效的交互响应；服务层的控制台转发请求到各个集群，并实现了主从备份，保证了服务的高可用性；代理层的shell agen负责与组件shell服务进行连接，可以添加预加载、脱敏、截断等预处理操作，保证了组件底层的数据处理效率。管理系统中各个部分之间简要的交互过程可以是，用户通过目标web shell终端发出控制指令，通过WebSocket协议将该控制指令发送到控制台，然后，经由该控制台将该控制指令发送至shell agent，然后，由shell agent将所接收的控制指令转换成云组件可识别的官方指令，然后，将该官方指令发送至云组件，由该云组件响应该官方指令，然后，将返回结果经由shell agent和控制台返回至目标web shell终端。对于图1中管理系统中的各个部分之间详细的交互过程可以参照下文相关部分的描述，在此不做叙述。
如图2所示，本发明实施例提供了一种大数据组件的管理方法，应用于管理端，该管理方法包括：
S101：通过WebSocket协议接收来自目标web shell终端的控制指令，所述目标webshell终端为客户端包括的至少一个web shell终端中的任一个；
在具体实施过程中，管理端可以通过WebSocket协议接收来自目标web shell终端的控制指令，将该控制指令发送至管理端。该目标web shell终端可以为客户端所包括的至少一个web shell终端中的任一个，该客户端所包括的至少一个web shell终端可以是一个，还可以是多个，在此不做限定。该客户端支持的控制模式至少包括普通模式和运维模式，每种控制模式对应表征相应的权限命令集，普通模式所对应的权限命令集和运维模式所对应的权限命令集往往不同，比如，在为运维模式时，运维人员只能使用list_regions等查看表和region属性的命令，无法使用scan和create等增删改查表数据的命令，表内部数据指向实例对应的租户透明。如此一来，通过客户端的web shell界面可以区分用户角色，为用户提供了实时高效的交互响应。
S102：将所述控制指令转换成预设大数据组件可识别的官方指令，并将所述官方指令发送至所述预设大数据组件，以使所述预设大数据组件响应所述官方指令，获得响应后的结果；
在具体实施过程中，在管理端接收到控制指令之后，可以将该控制指令转换成预设大数据组件的可识别的官方指令，比如，可以将该控制指令转换成Hbase组件可识别的官方指令，再比如，可以将该控制指令转换成Hive组件可识别的官方指令。当然，可以根据实际应用的需要来设定预设大数据组件，进而通过管理端将该预设大数据组件转换成相应的可识别的官方指令。在管理端将该控制指令转换成预设大数据组件的可识别的官方指令之后，可以将该官方指令发送至相应的预设大数据组件，这样的话，该预设大数据组件就可以响应该官方指令，从而获得响应后的结果。如此一来，通过管理端可以实现对各种大数据组件的统一管理，从而提高了大数据组件的管理和运维效率。
S103：将所述响应后的结果发送至所述目标web shell终端，以使所述目标webshell终端显示所述响应后的结果。
在具体实施过程中，管理端可以将响应后的结果返回至目标web shell终端，这样的话，目标web shell终端就可以对该响应后的结果进行显示，如此一来，可以对各种大数据组件实现命令行的可视化，进一步提高了大数据组件的管理和运维效率。
在本发明实施例中，在步骤S101：通过WebSocket协议接收来自目标web shell终端的控制指令之后，所述方法还包括：
在所述管理端的线程池里预加载至少一个shell连接，所述至少一个shell连接用于建立所述管理端与客户端的连接，以使所述管理端根据所述至少一个shell将所述控制指令转换成所述官方指令。
在具体实施过程中，在管理端通过WebSocket协议接收来自目标web shell终端的控制指令之后，可以在管理端的线程池里预加载至少一个shell连接，该至少一个shell连接可以是一个，还可以是多个，在此不做限定。该至少一个shell连接用于建立管理端与客户端的连接，以使管理端根据该至少一个shell连接将该控制指令转换成官方指令。由于在管理端的线程池里预加载至少一个shell连接，线程池初始化启动时预加载保持一个shell连接，无需在接收到控制指令时再启动连接，从而提高了对指令处理的响应速度，使用户获得更好的交互体验。
在本发明实施例中，如图3所示，在步骤S101：通过WebSocket协议接收来自目标web shell终端的控制指令之后，所述方法还包括：
S201：对所述控制指令进行脱敏处理和过滤处理，过滤掉对所述目标web shell终端无权限的指令，筛选出对所述目标web shell终端有权限的指令；
S202：将所述有权限的指令作为所述控制指令。
在具体实施过程中，步骤S201至步骤S202的具体实现过程如下：
在管理端通过WebSocket协议接收来自目标web shell终端的控制指令之后，对该控制指令进行脱敏处理和过敏处理，过滤掉对该目标web shell终端无权限的指令，筛选出对该目标web shell终端有权限的指令，此外，控制指令中一些破坏连接的指令会遭到拒绝，从而保证了管理端对web shell终端有权限的指令进行相关处理，提高了大数据组件的管理和运维效率。然后，将该有权限的指令作为控制指令，这样的话，管理端可以将有权限的指令转换成预设大数据组件可识别的官方指令，实现了多角色的shell命令处理。
在本发明实施例中，如图4所示，在步骤S201中筛选出对所述目标web shell终端有权限的指令之后，所述方法还包括：
S301：对所述有权限的指令进行延时控制和截断控制，以使所述管理端与所述目标web shell终端之间连接通畅；
S302：获得处理后的指令，并将所述处理后的指令作为所述控制指令。
在具体实施过程中，步骤S301至步骤S302的具体实现过程如下：
首先，在管理端筛选出对目标web shell终端有权限的指令之后，若检测到响应较慢时，可以对该有权限的指令进行延时控制和截断控制，从而保证了管理端与目标webshell终端之间连接通畅；然后，获得处理后的指令，并将处理后的指令作为控制指令，这样的话，管理端就可以将控制指令转换成可识别的官方指令。如此一来，在保证了大数据组件的管理和运维效率的同时，提高了管理系统的使用性能。
在具体实施过程中，shell agent可以将所获得的响应后的结果通过与目标集群之间的专用通道返回给服务层的控制台，控制台可以将接收到的响应后的结果缓存起来，比如，可以是通过redis将响应后的结果缓存起来，然后，再将该响应后的结果返回给目标web shell终端显示。通过本发明实施例所提供的大数据组件的管理方法，可以实现对现有诸如：Hbase shell、Hive shell、Phoenix shell、Spark shell等云数据库shell的可视化操作，从而在提高了大数据组件的管理和运维效率的同时，保证了用户较好的交互体验。此外，在服务层还可以采用nginx和keepalived技术实现控制台的高可用。
本发明实施例提供了一种大数据组件的管理方法，该管理方法可以应用于对Hbase组件的管理，结合图5所示的Hbase组件上云的拓扑图，对Hbase shell服务化的过程进行详细说明，以此说明本发明实施例中基于可视化交互数据管理和运维实施方案的可行性。结合图5所示，PaaS组件管理系统从物理上分为公共管理区和全国各资源池；其中各资源池又分为预置资源池和VPC区；而用户申请的云主机位于VPC区域内。用户Web控制台和运营控制台部署在云主机上，每个平台会部署主备控制台，并使用VIP实现高可用。每个租户享有单独的VPC，集群与VPC为一对一关系，该VPC中的各个节点之间互通；不同租户之间的VPC之间完全隔离。
租户在控制台下单开通HBase实例时，VPC中的HBase集群进行初始化。其中，实例侧VPC-Server模块采用连接池管理hbase shell，并基于jruby直接调用。为了提升WebShell界面的交互速度，提升用户体验，VPC-Server服务启动时，会预加载一个shell连接，并具备保持1个会话，最大5个会话的连接能力。连接池初始化函数如下：
实例成功启动后，租户和运维人员可以在控制台的Web Shell界面进行hbaseshell的命令行操作，如list，scan等。用户在控制台Web Shell前端敲下命令后，根据当前选定的实例ID，控制台后端在MySql中找到实例机器信息，并发送到指定实例的VPC-Server模块。
VPC-Server模块内使用web socket服务接收控制台传来的hbase shell命令，首先对命令进行角色脱敏：如果命令来源于运维控制台，基于数据的保密原则，运营人员只能使用list_regions等查看表和region属性的命令，无法使用scan，create等增删改查表数据的命令，表内部数据只向实例对应租户透明。另外，quit和exit等破坏数据库会话连接管理的命令也是禁止的。命令脱敏后，VPC-Server模块还对表查询命令加入了截断处理：scan命令的LIMIT参数最大值限制为50，未添加LIMIT参数的scan命令将设置LIMIT＝50，以保证数据库查询速率。然后，VPC-Server从hbase shell连接池中取出一个连接会话，执行经过脱敏和截断处理的命令，并且进行延时控制。另外，对list命令返回的列表进行了过滤处理，将系统表和备份表隐蔽，只返回租户创建的表。最后，VPC-Server模块通过web socket服务将命令执行结果和数据返回给控制台后端，控制台后端再发送到Web Shell前端显示。需要说明的是，对于图5中未提及的部分可以参照相关技术中的描述，在此不再详述。
基于同一发明构思，如图6所示，本发明实施例提供了一种管理装置，应用于管理端，该管理装置包括：
接收单元10，用于通过WebSocket协议接收来自目标web shell终端的控制指令，所述目标web shell终端具体为客户端包括的至少一个web shell终端中的任一个；
转换单元20，用于将所述控制指令转换成预设大数据组件可识别的官方指令，并将所述官方指令发送至所述预设大数据组件，以使所述预设大数据组件响应所述官方指令，获得响应后的结果；
发送单元30，用于将所述响应后的结果发送至所述目标web shell终端，以使所述目标web shell终端显示所述响应后的结果。
在本发明实施例中，在所述通过WebSocket协议接收来自目标web shell终端的控制指令之后，所述管理装置还包括预加载单元，所述预加载单元用于：
在所述管理端的线程池里预加载至少一个shell连接，所述至少一个shell连接用于建立所述管理端与客户端的连接，以使所述管理端根据所述至少一个shell将所述控制指令转换成所述官方指令。
在本发明实施例中，在所述通过WebSocket协议接收来自目标web shell终端的控制指令之后，所述管理装置还包括处理单元，所述处理单元用于：
对所述控制指令进行脱敏处理和过滤处理，过滤掉对所述目标web shell终端无权限的指令，筛选出对所述目标web shell终端有权限的指令；
将所述有权限的指令作为所述控制指令。
在本发明实施例中，在所述筛选出对所述目标web shell终端有权限的指令之后，所述处理单元还用于：
对所述有权限的指令进行延时控制和截断控制，以使所述管理端与所述目标webshell终端之间连接通畅；
获得处理后的指令，并将所述处理后的指令作为所述控制指令。
在具体实施过程中，由于大数据组件的管理装置所要解决的技术问题同前述大数据组件的管理方法，对于管理装置的具体实现过程可以参照前述部分的描述，在此不再赘述。
基于同一发明构思，如图7所示，本发明实施例还提供了一种控制系统，包括：
客户端100和与所述客户端100连接的管理端200，所述客户端100包括至少一个web shell终端，所述管理端200被配置为：
通过WebSocket协议接收来自目标web shell终端的控制指令，所述目标webshell终端为所述至少一个web shell终端中的任一个；
将所述控制指令转换成预设大数据组件300可识别的官方指令，并将所述官方指令发送至所述预设大数据组件300，以使所述预设大数据组件300响应所述官方指令，获得响应后的结果；
将所述响应后的结果返回至所述目标web shell终端，以使所述目标web shell终端显示所述响应后的结果。
在本发明实施例中，所述客户端100支持的控制模式至少包括普通模式和运维模式，每种控制模式对应表征相应的权限命令集。
在其中一种可能的实现方式中，所述管理端200包括服务层201和与所述服务层201连接的代理层202，所述服务层201被配置为：
通过WebSocket协议接收所述控制指令，对所述控制指令进行解析，解析出包括目标集群的用户信息；
通过与所述目标集群连接的专用通道将所述控制指令发送至所述代理层202，以使所述代理层202将所述控制指令转换成预设大数据组件300可识别的官方指令，并将所述官方指令发送至所述预设大数据组件300。
在具体实施过程中，由于管理系统所要解决的技术问题同前述大数据组件的管理方法，对于管理系统的具体实现过程可以参照前述部分的描述，在此不再赘述。
基于同一发明构思，本发明实施例还提供了一种控制装置，所述处理装置包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如上面任一项所述的大数据组件的管理方法的步骤。
基于同一发明构思，本发明实施例还提供了一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上面任一项所述的大数据组件的管理方法的步骤。
本发明的有益效果如下：
本发明提供了一种大数据组件管理方法、装置、系统及可读存储介质，首先，管理端通过WebSocket协议接收来自目标web shell终端的控制指令，该目标web shell终端为客户端包括的至少一个web shell终端中的任一个，然后，将该控制指令转换成预设大数据组件可识别的官方指令，该预设大数据组件可以是Hbase组件、Hive组件、Phoenix组件、Spark组件等，在此不做限定，还可以将该官方指令发送至预设大数据组件，这样的话，该预设大数据组件就可以响应该官方指令，从而获得响应后的结果。如此一来，可以通过同一管理端实现对各种大数据组件的统一管理，从而提高了大数据组件的管理和运维效率。此外，管理端还可以将响应后的结果发送至目标web shell终端，由目标web shell终端对该响应后的结果进行显示，从而对各种大数据组件实现命令行的可视化，进一步提高了大数据组件的管理和运维效率。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种大数据组件的管理方法，应用于管理端，其特征在于，包括：
通过WebSocket协议接收来自目标web shell终端的控制指令，所述目标web shell终端为客户端包括的至少一个web shell终端中的任一个；
将所述控制指令转换成预设大数据组件可识别的官方指令，并将所述官方指令发送至所述预设大数据组件，以使所述预设大数据组件响应所述官方指令，获得响应后的结果；
将所述响应后的结果发送至所述目标web shell终端，以使所述目标web shell终端显示所述响应后的结果。
2.如权利要求1所述的管理方法，其特征在于，在所述通过WebSocket协议接收来自目标web shell终端的控制指令之后，所述方法还包括：
在所述管理端的线程池里预加载至少一个shell连接，所述至少一个shell连接用于建立所述管理端与客户端的连接，以使所述管理端根据所述至少一个shell连接将所述控制指令转换成所述官方指令。
3.如权利要求1所述的管理方法，其特征在于，在所述通过WebSocket协议接收来自目标web shell终端的控制指令之后，所述方法还包括：
对所述控制指令进行脱敏处理和过滤处理，过滤掉对所述目标web shell终端无权限的指令，筛选出对所述目标web shell终端有权限的指令；
将所述有权限的指令作为所述控制指令。
4.如权利要求3所述的管理方法，其特征在于，在所述筛选出对所述目标web shell终端有权限的指令之后，所述方法还包括：
对所述有权限的指令进行延时控制和截断控制，以使所述管理端与所述目标webshell终端之间连接通畅；
获得处理后的指令，并将所述处理后的指令作为所述控制指令。
5.一种大数据组件的管理装置，应用于管理端，其特征在于，包括：
接收单元，用于通过WebSocket协议接收来自目标web shell终端的控制指令，所述目标web shell终端具体为客户端包括的至少一个web shell终端中的任一个；
转换单元，用于将所述控制指令转换成预设大数据组件可识别的官方指令，并将所述官方指令发送至所述预设大数据组件，以使所述预设大数据组件响应所述官方指令，获得响应后的结果；
发送单元，用于将所述响应后的结果发送至所述目标web shell终端，以使所述目标web shell终端显示所述响应后的结果。
6.一种控制系统，其特征在于，包括：
客户端和与所述客户端连接的管理端，所述客户端包括至少一个web shell终端，所述管理端被配置为：
通过WebSocket协议接收来自目标web shell终端的控制指令，所述目标web shell终端为所述至少一个web shell终端中的任一个；
将所述控制指令转换成预设大数据组件可识别的官方指令，并将所述官方指令发送至所述预设大数据组件，以使所述预设大数据组件响应所述官方指令，获得响应后的结果；
将所述响应后的结果返回至所述目标web shell终端，以使所述目标web shell终端显示所述响应后的结果。
7.如权利要求6所述的控制系统，其特征在于，所述客户端支持的控制模式至少包括普通模式和运维模式，每种控制模式对应表征相应的权限命令集。
8.如权利要求6所述的控制系统，其特征在于，所述管理端包括服务层和与所述服务层连接的代理层，所述服务层被配置为：
通过WebSocket协议接收所述控制指令，对所述控制指令进行解析，解析出包括目标集群的用户信息；
通过与所述目标集群连接的专用通道将所述控制指令发送至所述代理层，以使所述代理层将所述控制指令转换成预设大数据组件可识别的官方指令，并将所述官方指令发送至所述预设大数据组件。
9.一种管理装置，其特征在于，所述管理装置包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-4任一项所述的大数据组件的管理方法的步骤。
10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4任一项所述的大数据组件的管理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111583560.0A CN114448965A (zh) | 2021-12-22 | 2021-12-22 | 一种大数据组件的管理方法、装置、系统及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111583560.0A CN114448965A (zh) | 2021-12-22 | 2021-12-22 | 一种大数据组件的管理方法、装置、系统及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114448965A true CN114448965A (zh) | 2022-05-06 |
Family
ID=81363589
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111583560.0A Pending CN114448965A (zh) | 2021-12-22 | 2021-12-22 | 一种大数据组件的管理方法、装置、系统及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114448965A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115208686A (zh) * | 2022-07-29 | 2022-10-18 | 济南浪潮数据技术有限公司 | 一种web控制台及访问集群方法、系统、设备、介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6662241B1 (en) * | 1999-09-17 | 2003-12-09 | Emc Corporation | Apparatus and method for controlling a peripheral device |
| US20050091586A1 (en) * | 2003-10-24 | 2005-04-28 | Snover Jeffrey P. | Mechanism for providing data driven command line output |
| KR20140004567A (ko) * | 2012-07-03 | 2014-01-13 | 아텐인터내셔널컴퍼니리미티드 | 원격관리방법 및 상기 방법을 사용하는 원격관리장치 |
| CN109840209A (zh) * | 2019-01-18 | 2019-06-04 | 深圳壹账通智能科技有限公司 | 应用性能数据采集方法、终端、计算机设备及存储介质 |
| WO2020077256A1 (en) * | 2018-10-12 | 2020-04-16 | Connectwise Llc | Hidden desktop session for remote access |
| CN111177617A (zh) * | 2019-12-06 | 2020-05-19 | 上海上讯信息技术股份有限公司 | 基于运维管理系统的web直接运维方法、装置及电子设备 |
| CN111314452A (zh) * | 2020-02-11 | 2020-06-19 | 安超云软件有限公司 | 云手机的Shell访问方法、装置、设备及存储介质 |
| WO2020199598A1 (zh) * | 2019-04-04 | 2020-10-08 | 平安科技（深圳）有限公司 | 区块链节点管理方法、电子装置、系统及可读存储介质 |
| CN111935276A (zh) * | 2020-08-07 | 2020-11-13 | 中国联合网络通信集团有限公司 | 远程主机访问方法、装置及设备 |
| CN112398860A (zh) * | 2020-11-17 | 2021-02-23 | 珠海大横琴科技发展有限公司 | 一种安全控制的方法和装置 |
| CN112600842A (zh) * | 2020-12-14 | 2021-04-02 | 苏州浪潮智能科技有限公司 | 集群shell方法、装置、电子设备及计算机可读存储介质 |
| CN112954050A (zh) * | 2021-02-07 | 2021-06-11 | 深圳市大梦龙途文化传播有限公司 | 分布式管理方法及装置、管理设备和计算机存储介质 |
| CN113777938A (zh) * | 2021-08-31 | 2021-12-10 | 东风柳州汽车有限公司 | 一种家电控制方法、装置、设备及存储介质 |
-
2021
- 2021-12-22 CN CN202111583560.0A patent/CN114448965A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6662241B1 (en) * | 1999-09-17 | 2003-12-09 | Emc Corporation | Apparatus and method for controlling a peripheral device |
| US20050091586A1 (en) * | 2003-10-24 | 2005-04-28 | Snover Jeffrey P. | Mechanism for providing data driven command line output |
| KR20140004567A (ko) * | 2012-07-03 | 2014-01-13 | 아텐인터내셔널컴퍼니리미티드 | 원격관리방법 및 상기 방법을 사용하는 원격관리장치 |
| WO2020077256A1 (en) * | 2018-10-12 | 2020-04-16 | Connectwise Llc | Hidden desktop session for remote access |
| CN109840209A (zh) * | 2019-01-18 | 2019-06-04 | 深圳壹账通智能科技有限公司 | 应用性能数据采集方法、终端、计算机设备及存储介质 |
| WO2020199598A1 (zh) * | 2019-04-04 | 2020-10-08 | 平安科技（深圳）有限公司 | 区块链节点管理方法、电子装置、系统及可读存储介质 |
| CN111177617A (zh) * | 2019-12-06 | 2020-05-19 | 上海上讯信息技术股份有限公司 | 基于运维管理系统的web直接运维方法、装置及电子设备 |
| CN111314452A (zh) * | 2020-02-11 | 2020-06-19 | 安超云软件有限公司 | 云手机的Shell访问方法、装置、设备及存储介质 |
| CN111935276A (zh) * | 2020-08-07 | 2020-11-13 | 中国联合网络通信集团有限公司 | 远程主机访问方法、装置及设备 |
| CN112398860A (zh) * | 2020-11-17 | 2021-02-23 | 珠海大横琴科技发展有限公司 | 一种安全控制的方法和装置 |
| CN112600842A (zh) * | 2020-12-14 | 2021-04-02 | 苏州浪潮智能科技有限公司 | 集群shell方法、装置、电子设备及计算机可读存储介质 |
| CN112954050A (zh) * | 2021-02-07 | 2021-06-11 | 深圳市大梦龙途文化传播有限公司 | 分布式管理方法及装置、管理设备和计算机存储介质 |
| CN113777938A (zh) * | 2021-08-31 | 2021-12-10 | 东风柳州汽车有限公司 | 一种家电控制方法、装置、设备及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115208686A (zh) * | 2022-07-29 | 2022-10-18 | 济南浪潮数据技术有限公司 | 一种web控制台及访问集群方法、系统、设备、介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9244817B2 (en) | Remote debugging in a cloud computing environment | |
| CN106713003B (zh) | 基于网络拓扑图的虚拟节点创建方法及装置 | |
| CN113742031B (zh) | 节点状态信息获取方法、装置、电子设备及可读存储介质 | |
| US8930401B2 (en) | Accessing and providing access to computer files over a computer network | |
| US9122793B2 (en) | Distributed debugging of an application in a distributed computing environment | |
| US11057464B1 (en) | Synchronization of data between local and remote computing environment buffers | |
| US10698705B2 (en) | Method and device for managing virtual desktops virtualized by a host server and allocated to terminal users, and virtual desktop server | |
| DE112020000535B4 (de) | Fehlerbehebung innerhalb und außerhalb der eigenen Räumlichkeiten | |
| CN108234551B (zh) | 一种数据处理方法及装置 | |
| KR20110083084A (ko) | 가상화를 이용한 서버 운영 장치 및 방법 | |
| CN110545324B (zh) | 数据处理方法、装置、系统、网络设备和存储介质 | |
| CN114448965A (zh) | 一种大数据组件的管理方法、装置、系统及可读存储介质 | |
| CN111654525A (zh) | 混合云管理方法、装置、设备及介质 | |
| CN111930565A (zh) | 分布式管理系统中组件的进程故障自愈方法、装置及设备 | |
| US11900155B2 (en) | Method, device, and computer program product for job processing | |
| CN110019059B (zh) | 一种定时同步的方法和装置 | |
| CN110768855B (zh) | 链路化性能测试的方法和装置 | |
| CN115480910A (zh) | 多集群资源管理方法、装置及电子设备 | |
| US9075497B1 (en) | Enabling selective policy driven seamless user interface presentation between and among a host and a plurality of guests | |
| CN110825477A (zh) | 图形界面的加载方法、装置、设备及存储介质 | |
| CN103118141B (zh) | 一种面向多节点的云部署方法 | |
| CN116382835B (zh) | 基于集群的应用可视化方法、系统、设备和介质 | |
| CN116743728B (zh) | 应用运维方法、系统、设备及存储介质 | |
| CN113297158B (zh) | 一种云安全产品管理方法、装置、设备及存储介质 | |
| CN109714410B (zh) | 一种数据传输方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220506 |