CN114006904A - 一种大数据集群管理方法、装置和计算机设备 - Google Patents
一种大数据集群管理方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN114006904A CN114006904A CN202111261190.9A CN202111261190A CN114006904A CN 114006904 A CN114006904 A CN 114006904A CN 202111261190 A CN202111261190 A CN 202111261190A CN 114006904 A CN114006904 A CN 114006904A
- Authority
- CN
- China
- Prior art keywords
- communication
- host
- service
- data
- big data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title claims description 73
- 230000006854 communication Effects 0.000 claims abstract description 365
- 238000004891 communication Methods 0.000 claims abstract description 362
- 238000000034 method Methods 0.000 claims abstract description 45
- 230000006870 function Effects 0.000 claims description 46
- 230000001276 controlling effect Effects 0.000 claims description 24
- 238000012544 monitoring process Methods 0.000 claims description 23
- 230000001105 regulatory effect Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 16
- 230000000903 blocking effect Effects 0.000 claims description 15
- 238000012795 verification Methods 0.000 claims description 12
- 238000009434 installation Methods 0.000 claims description 5
- 240000000797 Hibiscus cannabinus Species 0.000 description 9
- 235000002905 Rumex vesicarius Nutrition 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013523 data management Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/16—Threshold monitoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请涉及一种大数据集群方法、装置和计算机设备。所述方法包括：将任一主机节点内任一服务的业务功能和通信功能解耦分离；基于任一主机节点之间的通信规则，建立大数据集群通信服务体系；基于所述大数据集群通信服务体系，对所述任一服务的通信功能进行统一管理。本方法具有提升通信网络通信能力与通信质量、提升通信网络容错能力、使得网络通信可监控、能告警的有益效果。
Description
技术领域
本申请涉及大数据技术领域，特别是涉及一种大数据集群管理方法、装置、计算机设备和存储介质。
背景技术
Ambari(一种基于Web的Hadoop分布式集群配置管理工具，支持Apache Hadoop集群的供应、管理和监控，支持Rest API风格的交互方式)是一种建立在Hadoop生态体系之上的大数据系统管理平台，通过Ambari可以用界面化的方式构建大数据集群管理系统，安装大数据服务组件，运行大数据系统。大数据系统都是分布式的系统，通过由多台主机组成，主机之间不可避免地经常进行通信交互、传递数据。Ambari也是一种典型的分布式系统，通过Ambari构建的大数据平台也由多个主机节点组成。各个主机节点上安装了大数据服务组件和平台服务组件，其中：，如：大数据服务组件包括HDFS(一种分布式文件系统，可将大文件分为多个小文件分别存储在多台主机上面)和HBase(一个分布式的、面向列的开源数据库，一个结构化数据的分布式存储系统)等，平台服务组件包括：Ambari-Agent服务(Ambari中的客户端节点，用于具体执行Server发送的命令和任务)和Ambari-Server服务(Ambari中的服务器管理节点，用于处理提交到Ambari中的Rest请求)等，通常是1个Server和多个Agent通信。现有的通信方式是各个服务组件都有一套自己定义的通信系统，各个服务组件无法独立的进行通信，并且大数据系统管理平台也无法对任一服务组件进行统一的管理。
总体而言，现有的大数据系统管理平台及其对应的管理方法的弊端主要有以下几方面：一是、主机节点与主机节点之间的通信和任一主机节点内的各个服务耦合在了一起，各个服务之间的通信本质上都是消息的传递，但是各个服务都定义了1套自己的通信方式，存在着大量的重复和冗余。由于服务的业务功能和通信功能耦合在了一起，对业务的改写可能会影响通信功能，当需要编写新的服务时，还需要对服务再次编写一套通信系统，现有的数据通信方法如图6所示。二是、数量庞大的主机节点下存在着网络阻塞的安全隐患，尤其是当Agent节点数超过1000时，此时Server还是只有1个节点，Server节点的网络通信存在着单点的瓶颈。三是、当节点出现网络问题导致通信不可到达时，现有的通信方法是无限的定时重试连接，直至网络可以联通为止，此方法存在效率低下的弊端。四是、主机之间的通信默认都是明文传输，也没有对主机访问的权限认证，各个服务的主机可以任意的访问，存在安全隐患。五是、对主机网络的通信流量也缺少监控与告警。
因此，急需提出一种能够保持通信网络畅通、提高通信网络容错能力、提升网络通信安全性的可监控、能告警的大数据集群管理方法、系统和计算机设备。
发明内容
基于此，有必要针对上述技术问题，提供一种能够克服或至少减轻现有技术中的至少一个上述缺陷的大数据集群管理方法、装置和计算机设备。
一方面，提供一种大数据集群管理方法，所述大数据集群包括若干个主机节点，所述方法包括：将任一主机节点内任一服务的业务功能和通信功能解耦分离；基于任一主机节点之间的通信规则，建立大数据集群通信服务体系；基于所述大数据集群通信服务体系，对所述任一服务的通信功能进行统一管理。
在其中一个实施例中，所述对所述任一服务的通信功能进行统一管控包括：主机节点初始化、通信流量管控、通信服务调用时长管控和通信数据加解密验证中至少一项。
在其中一个实施例中，所述主机节点初始化包括：初始化主机节点的注册信息，获取初始化注册信息；将所述初始化注册信息发送至任一主机节点；其中：所述主机节点注册信息包括：主机名称、主机IP、主机安装服务。
在其中一个实施例中，所述通信流量管控包括：对主机通信流量进行监测；对主机通信流量进行调控；其中：所述对主机通信流量进行监测包括：定时收集任一主机的通信流量数据；基于所述任一主机的通信流量数据，获取任一主机节点的通信流量堵塞情况；所述对主机通信流量进行调控包括：若所述任一主机的通信流量发生堵塞，则基于分流法和限流法对所述任一主机节点的通信流量进行调控。
在其中一个实施例中，所述通信服务调用时长管控包括：当通信服务调用方调用服务消耗的时长超过第一阈值，则启动断路保护；当所述断路保护的启动时长超过第二阈值，则通信服务调用方进行二次服务调用；若通信服务调用方进行二次服务调用消耗的时长超过第一阈值，则启动断路保护并触发告警。
在其中一个实施例中，所述通信数据加解密验证包括：通信数据发送方对原始通信数据进行加密处理，得到加密通信数据并将所述加密通信数据发送至通信数据接收方；所述通信数据接收方对接收到的所述加密通信数据进行解密，得到所述原始通信数据；
其中：所述加密信息数据包括：消息头和所述原始通信数据；所述信息头包括：调用服务信息、源主机IP地址和目的主机IP地址。
在其中一个实施例中，所述通信时长管控包括：若在一定时限内，未收集到任一主机的数据通信流量数据，则触发告警；若任一主机的数据通信流量数据超过第三阈值，则触发告警。
另一方面，提供了一种大数据集群管理系统，所述系统包括：解耦分离器，以将任一主机节点内的任一服务的业务功能和通信功能解耦分离；大数据集群通信服务体系生成器，以基于任一主机节点之间的通信规则，建立大数据集群通信服务体系；通信服务管控器，以基于所述大数据集群通信服务体系，对所述任一服务的通信功能进行统一管控。
在其中一个实施例中，所述大数据集群通信服务体系生成器包括：注册中心模块；以用于将初始化注册信息发送至任一主机节点；主机节点注册模块，所述节点注册模块与所述注册中心模块通信连接，以用于初始化所述注册信息，并将所述注册信息发送至所述注册中心；通信数据加解密验证模块，以用于加密数据发送方发送的加密通信数据，及数据接收方解密所述加密通信数据，得到原始通信数据；通信服务调用时长管控模块，以用于监测通信服务调用时长；通信流量管控模块，以用于接收任一主机发送的通信流量数据，并实时获取网络流量处于堵塞的主机节点信息及所述主机节点的堵塞情况。
再一方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：步骤S1、将任一主机节点内任一服务的业务功能和通信功能解耦分离；步骤S2、基于任一主机节点之间的通信规则，建立大数据集群通信服务体系；步骤S3、基于所述大数据集群通信服务体系，对所述任一服务的通信功能进行统一管理。
在其中一个实施例中，所述处理器执行所述计算机程序时实现以下步骤：初始化主机节点的注册信息，获取初始化注册信息；将所述初始化注册信息发送至任一主机节点；其中：所述主机节点注册信息包括：主机名称、主机IP、主机安装服务。
在其中一个实施例中，所述处理器执行所述计算机程序时实现以下步骤：对主机通信流量进行监测；对主机通信流量进行调控；
其中：所述对主机通信流量进行监测包括：定时收集任一主机的通信流量数据；基于所述任一主机的通信流量数据，获取任一主机节点的通信流量堵塞情况；
所述对主机通信流量进行调控包括：若所述任一主机的通信流量发生堵塞，则基于分流法和限流法对所述任一主机节点的通信流量进行调控。
在其中一个实施例中，所述处理器执行所述计算机程序时实现以下步骤：当通信服务调用方调用服务消耗的时长超过第一阈值，则启动断路保护；当所述断路保护的启动时长超过第二阈值，则通信服务调用方进行二次服务调用；若通信服务调用方进行二次服务调用消耗的时长超过第一阈值，则启动断路保护并触发告警。
在其中一个实施例中，所述处理器执行所述计算机程序时实现以下步骤：通信数据发送方对原始通信数据进行加密处理，得到加密通信数据并将所述加密通信数据发送至通信数据接收方；所述通信数据接收方对接收到的所述加密通信数据进行解密，得到所述原始通信数据；
其中：所述加密信息数据包括：消息头和所述原始通信数据；所述信息头包括：调用服务信息、源主机IP地址和目的主机IP地址。
在其中一个实施例中，所述处理器执行所述计算机程序时实现以下步骤：若在一定时限内，未收集到任一主机的数据通信流量数据，则触发告警；若任一主机的数据通信流量数据超过第三阈值，则触发告警。
上述大数据集群管理方法、装置、计算机设备和存储介质，通过将任一主机节点内任一服务的业务功能和通信功能解耦分离，构建了相互独立的通信系统和业务系统，使得可以独立地对两个系统中的其中一个系统进行改进升级而不会对另一系统产生影响；基于任一主机节点之间的通信规则，建立大数据集群通信服务体系；基于所述大数据集群通信服务体系，对所述任一服务的通信功能进行统一管理。为现有的Ambari大数据管理平台重构了大数据集群管理方法和系统，增强了对大数据集群的管控能力，具有提升通信网络通信能力与通信质量、提升通信网络容错能力、使得网络通信过程可监控、能告警的有益效果。
附图说明
图1为一个实施例中大数据集群管理方法的流程示意图；
图2为基于本申请所述的大数据集群管理方法的数据通信示意图；
图3为一个实施例中流量管控步骤的流程示意图；
图4为另一个实施例中大数据集群管理系统的结构框图；
图5为基于本申请所述的大数据集群管理系统的数据通信示意图；
图6为基于现有技术的数据通信示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
实施例一
在一个实施例中，如图1-图2所示，提供了一种大数据集群管理方法，所述大数据集群包括若干个主机节点，基于Ambari实现适用于大规模集群的网络通信系统，大数据集群管理方法包括以下步骤：
步骤S1、将任一主机节点内任一服务的业务功能和通信功能解耦分离；即将主机节点之间的数据通信功能和各个服务的业务逻辑分离开来，以使得业务逻辑和通信功能两者在作业的过程中不会互相影响，使得各个服务的通信功能可以生成一个通信系统，上述通信系统可以独立地运行于任一服务之外，技术人员可以独立地对通信系统或业务逻辑进行参数配置，而两者不会互相影响。
步骤S2、基于任一主机节点之间的通信规则，建立大数据集群通信服务体系；即对各个主机节点的通信功能进行管理管理，以使得整个大数据系统内的各个主机节点之间可以互相通信，而不至于发生由于各个主机节点之间的通信功能相互冲突而发生的通信堵塞的问题。建立大数据集群通信服务体系使得各个主机节点之间的通信更加的顺畅和安全，在极大程度上可以抵御外来危险的攻击，并且具有大规模主机节点场景适应性强的有益效果。
步骤S3、基于所述大数据集群通信服务体系，对所述任一服务的通信功能进行统一管理。
在一个具体的实施例中，对所述任一服务的通信功能进行统一管控包括：主机节点初始化、通信流量管控、通信服务调用时长管控和通信数据加解密验证中至少一项。
在一个具体地实施例中，对所述任一服务的通信功能进行统一管控还可以包括：访问权限验证。即可以以主机节内任一服务为维度设置访问黑名单和白名单，还可以在通信之前对主机是否属于大数据集群中的注册状态进行验证。比如：可以设置第一主机内的HDFS服务只允许第一主机访问，当HDFS服务收到第一主机访问请求的时候，第一主机即可访问HDFS服务及第一主机IP，此时第一主机即为白名单。反之，则为黑名单。
本实施例中，所述主机节点初始化包括：初始化主机节点的注册信息，获取初始化注册信息；将所述初始化注册信息发送至任一主机节点；其中：所述主机节点注册信息包括：主机名称、主机IP、主机安装服务。具体地，可以通过设置节点注册模块初始化主机节点，生成初始化注册信息；通过设置控制中心模块接收初始化注册信息，并将初始化注册信息发送至大数据集群内的任一主机节点以用于后续的通信功能的实现及权限验证。需要理解的是，在默认情况下，只有处于大数据集群内的主机可以互相通信，但是本领域的技术人员可以对主机之间的通信规则作出相应的调整以满足不同的场景需求。
本实施例中，所述通信流量管控包括：对主机通信流量进行监测；对主机通信流量进行调控；其中：所述对主机通信流量进行监测包括：定时收集任一主机的通信流量数据；基于所述任一主机的通信流量数据，获取任一主机节点的通信流量堵塞情况。所述对主机通信流量进行调控包括：若所述任一主机的通信流量发生堵塞，则基于分流法和限流法对所述任一主机节点的通信流量进行调控。
具体地，对主机通信流量进行监测可以是在任一主机内设置网路通信流量监测模块，在大数据集群通信服务体系中设置网络通信流量调控模块。即各个主机通过网络流量监测模块定期采集自己的网络通信流量数据，然后将主机将采集到的自己的网络通信流量数据发送至网络通信流量调控模块，由大数据集群通信服务体系根据任一主机的通信流量数据，对任一主机节点的通信流量的堵塞情况作出判断。也可以是在大数据集群通信服务体系中设置网络流量管控模块，通过网络流量管控模块直接对任一主机的通信流量数据进行监测并直接对任一主机节点的通信流量的堵塞情况作出判断。
在一个具体的实施例中，如图3所示，在大数据集群通信服务体系中设置网络流量管控模块，通过网络流量管控模块直接对任一主机的通信流量数据进行监测并直接对任一主机节点的通信流量的堵塞情况作出判断。具体地，每台主机实时地向网络通信流量管控模块报告自己的网络流量使用情况，网络通信流量管控模块实时地向网络中的所有主机反馈处于高流量(使用率超过70％)的主机。基于分流法和限流法对所述任一主机节点的通信流量进行调控。分流法即为流量采用接力发送的方式处理可配置目的主机数量超过800台的情况，比如：先将待通信的消息发送给上述800台可配置目的主机中的前100台，然后再由这100台继续转发给剩余的700台可配置目的主机。限流法主要应用于目的主机处于高流量的场景，即将待通信的消息等到一段时间之后再将待通信消息发送至目的主机，采用限流法的目的在于防止多台主机同时向一个主机发送消息而导致目的主机发生网络堵塞。
本实施例中，所述通信服务调用时长管控包括：当通信服务调用方调用服务消耗的时长超过第一阈值，则启动断路保护；当所述断路保护的启动时长超过第二阈值，则通信服务调用方进行二次服务调用；若通信服务调用方进行二次服务调用消耗的时长超过第一阈值，则启动断路保护并触发告警。
在一个具体的实施例中，当通信服务调用方调用服务消耗的时长超过30s之后，则启动断路保护，即通信服务调用方不再进行服务调用；等待60s之后通信服务调用方进行二次服务调用，若二次服务调用消耗的时长超过30s之后仍未成功调用服务，则判定网络通信线路发生故障无法进行网络通信。此时，通信服务调用方不再进行服务调用，并发出告警以警示工作人员相关通信线路发生故障无法进行通信服务调用，以达到增强网络容错能力，防止因通信线路故障而导致服务调用方的长时间等待，并且可以达到不影响主机上其他程序的正常执行的有益效果。
本实施例中，所述通信数据加解密验证包括：通信数据发送方对原始通信数据进行加密处理，得到加密通信数据并将所述加密通信数据发送至通信数据接收方；所述通信数据接收方对接收到的所述加密通信数据进行解密，得到所述原始通信数据；
其中：所述加密信息数据包括：消息头和所述原始通信数据；所述信息头包括：调用服务信息、源主机IP地址和目的主机IP地址。即为了提高信息数据的保密性，只有通信数据接收方和通信数据发送方可以看到信息数据，具体而言，通信数据接收方掌握对应通信数据发送方发送的信息数据的解密钥匙。更进一步地讲，只有具有当通信数据接收方的解密钥匙可以解锁加密信息数据的时候，通信数据接收方才可以读取到调用服务信息。
本实施例中，所述通信时长管控包括：若在一定时限内，未收集到任一主机的数据通信流量数据，则触发告警；若任一主机的数据通信流量数据超过第三阈值，则触发告警。即如果长时间没有采集到任一主机的数据通信流量或采集到的任一主机的数据通信流量数据超过阈值的时候，则发生相应的告警报告给工作人员，以告知工作人员无法监测得到数据通信流量或数据通信流量不符合预设要求的主机节点的具体位置。
本申请通过一种大数据集群管理方法，解决了大数据集群下通信网络易堵塞和容错能力弱的问题，完善了通信网络安全监控和告警的能力；构建了独立的计算机通信系统，使得业务功能和通信功能分离解耦；基于通信流量管控方法，实现了对通信流量的实时监控，并且基于分流法和限流法，实现了对通信流量的实时调控，确保通信过程顺畅；基于通信服务调用时长管控方法，提升了通信网络的容错能力；基于通信数据加解密验证的方法，提升了网络通信的安全性和可靠性；除此之外，申请通过设置异常告警的方法，使得当通信过程出现异常情况时，可以及时的告知工作人员通信异常的位置和异常类别，降低了人工排查通信异常的难度，提升了大数据集群的通信效率。
其中：需要理解的是，本实施例中所述的大数据集群通信通信服务体系即为图2中所示的系统通信治理服务；图2中所示的注册中心即本实施例中所述的主机点初始化；图2中所示的流量监控、流量告警即对应本实施例中所述的通信流量管控。需要理解的是，相对于整个大数据集群而言，每一个主机相当于一个主机节点，对于每一个主机节点而言，每一个主机节点即为一个主机。
应该理解的是，虽然图1-2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
实施例二
在一个实施例中，提供了一种大数据集群管理方法，所述大数据集群包括若干个主机节点，所述方法包括：将任一主机节点内任一服务的业务功能和通信功能解耦分离；基于任一主机节点之间的通信规则，建立大数据集群通信服务体系；基于所述大数据集群通信服务体系，对所述任一服务的通信功能进行统一管理。
本实施例中，所述对所述任一服务的通信功能进行统一管控包括：主机节点初始化、通信流量管控、通信服务调用时长管控和通信数据加解密验证中至少一项。
本实施例中，所述主机节点初始化包括：初始化主机节点的注册信息，获取初始化注册信息；将所述初始化注册信息发送至任一主机节点；其中：所述主机节点注册信息包括：主机名称、主机IP、主机安装服务。
本实施例中，所述通信流量管控包括：对主机通信流量进行监测；对主机通信流量进行调控；其中：所述对主机通信流量进行监测包括：定时收集任一主机的通信流量数据；基于所述任一主机的通信流量数据，获取任一主机节点的通信流量堵塞情况；所述对主机通信流量进行调控包括：若所述任一主机的通信流量发生堵塞，则基于分流法和限流法对所述任一主机节点的通信流量进行调控。
本实施例中，所述通信服务调用时长管控包括：当通信服务调用方调用服务消耗的时长超过第一阈值，则启动断路保护；当所述断路保护的启动时长超过第二阈值，则通信服务调用方进行二次服务调用；若通信服务调用方进行二次服务调用消耗的时长超过第一阈值，则启动断路保护并触发告警。
本实施例中，所述通信数据加解密验证包括：通信数据发送方对原始通信数据进行加密处理，得到加密通信数据并将所述加密通信数据发送至通信数据接收方；所述通信数据接收方对接收到的所述加密通信数据进行解密，得到所述原始通信数据；其中：所述加密信息数据包括：消息头和所述原始通信数据；所述信息头包括：调用服务信息、源主机IP地址和目的主机IP地址。
本实施例中，所述通信时长管控包括：若在一定时限内，未收集到任一主机的数据通信流量数据，则触发告警；若任一主机的数据通信流量数据超过第三阈值，则触发告警。
实施例三
在一个实施例中，如图4-图5所示，提供了一种大数据集群管理系统，包括：解耦分离器，以将任一主机节点内的任一服务的业务功能和通信功能解耦分离；大数据集群通信服务体系生成器，以基于任一主机节点之间的通信规则，建立大数据集群通信服务体系；通信服务管控器，以基于所述大数据集群通信服务体系，对所述任一服务的通信功能进行统一管控。
本实施例中，所述大数据集群通信服务体系生成器包括：注册中心模块；以用于将初始化注册信息发送至任一主机节点；主机节点注册模块，所述节点注册模块与所述注册中心模块通信连接，以用于初始化所述注册信息，并将所述注册信息发送至所述注册中心；通信数据加解密验证模块，以用于加密数据发送方发送的加密通信数据，及数据接收方解密所述加密通信数据，得到原始通信数据；通信服务调用时长管控模块，以用于监测通信服务调用时长；通信流量管控模块，以用于接收任一主机发送的通信流量数据，并实时获取网络流量处于堵塞的主机节点信息及所述主机节点的堵塞情况。
关于大数据集群管理系统的具体限定可以参见上文中对于大数据集群管理方法的限定，在此不再赘述。上述大数据集群管理系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
实施例四
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：步骤S1、将任一主机节点内任一服务的业务功能和通信功能解耦分离；步骤S2、基于任一主机节点之间的通信规则，建立大数据集群通信服务体系；步骤S3、基于所述大数据集群通信服务体系，对所述任一服务的通信功能进行统一管理。
本实施例中，处理器执行计算机程序时还实现以下步骤：对主机通信流量进行监测；对主机通信流量进行调控；
其中：所述对主机通信流量进行监测包括：定时收集任一主机的通信流量数据；基于所述任一主机的通信流量数据，获取任一主机节点的通信流量堵塞情况；所述对主机通信流量进行调控包括：若所述任一主机的通信流量发生堵塞，则基于分流法和限流法对所述任一主机节点的通信流量进行调控。
本实施例中，处理器执行计算机程序时还实现以下步骤：当通信服务调用方调用服务消耗的时长超过第一阈值，则启动断路保护；当所述断路保护的启动时长超过第二阈值，则通信服务调用方进行二次服务调用；若通信服务调用方进行二次服务调用消耗的时长超过第一阈值，则启动断路保护并触发告警。
本实施例中，处理器执行计算机程序时还实现以下步骤：通信数据发送方对原始通信数据进行加密处理，得到加密通信数据并将所述加密通信数据发送至通信数据接收方；所述通信数据接收方对接收到的所述加密通信数据进行解密，得到所述原始通信数据；
其中：所述加密信息数据包括：消息头和所述原始通信数据；所述信息头包括：调用服务信息、源主机IP地址和目的主机IP地址。
本实施例中，处理器执行计算机程序时还实现以下步骤：若在一定时限内，未收集到任一主机的数据通信流量数据，则触发告警；若任一主机的数据通信流量数据超过第三阈值，则触发告警。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种大数据集群管理方法，所述大数据集群包括若干个主机节点，其特征在于，所述方法包括：
将任一主机节点内任一服务的业务功能和通信功能解耦分离；
基于任一主机节点之间的通信规则，建立大数据集群通信服务体系；
基于所述大数据集群通信服务体系，对所述任一服务的通信功能进行统一管理。
2.根据权利要求1所述的大数据集群管理方法，其特征在于，所述对所述任一服务的通信功能进行统一管控包括：主机节点初始化、通信流量管控、通信服务调用时长管控和通信数据加解密验证中至少一项。
3.根据权利要求2所述的大数据集群管理方法，其特征在于：所述主机节点初始化包括：初始化主机节点的注册信息，获取初始化注册信息；将所述初始化注册信息发送至任一主机节点；
其中：
所述主机节点注册信息包括：主机名称、主机IP、主机安装服务。
4.根据权利要求2所述的大数据集群管理方法，其特征在于：所述通信流量管控包括：对主机通信流量进行监测；对主机通信流量进行调控；
其中：
所述对主机通信流量进行监测包括：定时收集任一主机的通信流量数据；基于所述任一主机的通信流量数据，获取任一主机节点的通信流量堵塞情况；
所述对主机通信流量进行调控包括：若所述任一主机的通信流量发生堵塞，则基于分流法和限流法对所述任一主机节点的通信流量进行调控。
5.根据权利要求2所述的大数据集群管理方法，其特征在于：所述通信服务调用时长管控包括：
当通信服务调用方调用服务消耗的时长超过第一阈值，则启动断路保护；
当所述断路保护的启动时长超过第二阈值，则通信服务调用方进行二次服务调用；
若通信服务调用方进行二次服务调用消耗的时长超过第一阈值，则启动断路保护并触发告警。
6.根据权利要求2所述的大数据集群管理方法，其特征在于：所述通信数据加解密验证包括：
通信数据发送方对原始通信数据进行加密处理，得到加密通信数据并将所述加密通信数据发送至通信数据接收方；
所述通信数据接收方对接收到的所述加密通信数据进行解密，得到所述原始通信数据；
其中：
所述加密信息数据包括：消息头和所述原始通信数据；
所述信息头包括：调用服务信息、源主机IP地址和目的主机IP地址。
7.根据权利要求2所述的大数据集群管理方法，其特征在于：所述通信时长管控包括：
若在一定时限内，未收集到任一主机的数据通信流量数据，则触发告警；
若任一主机的数据通信流量数据超过第三阈值，则触发告警。
8.一种大数据集群管理系统，其特征在于，所述系统包括：
解耦分离器，以将任一主机节点内的任一服务的业务功能和通信功能解耦分离；
大数据集群通信服务体系生成器，以基于任一主机节点之间的通信规则，建立大数据集群通信服务体系；
通信服务管控器，以基于所述大数据集群通信服务体系，对所述任一服务的通信功能进行统一管控。
9.根据权利要求8所述的大数据集群管理系统，其特征在于，所述大数据集群通信服务体系生成器包括：
注册中心模块；以用于将初始化注册信息发送至任一主机节点；
主机节点注册模块，所述节点注册模块与所述注册中心模块通信连接，以用于初始化所述注册信息，并将所述注册信息发送至所述注册中心；
通信数据加解密验证模块，以用于加密数据发送方发送的加密通信数据，及数据接收方解密所述加密通信数据，得到原始通信数据；
通信服务调用时长管控模块，以用于监测通信服务调用时长；
通信流量管控模块，以用于接收任一主机发送的通信流量数据，并实时获取网络流量处于堵塞的主机节点信息及所述主机节点的堵塞情况。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111261190.9A CN114006904A (zh) | 2021-10-28 | 2021-10-28 | 一种大数据集群管理方法、装置和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111261190.9A CN114006904A (zh) | 2021-10-28 | 2021-10-28 | 一种大数据集群管理方法、装置和计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114006904A true CN114006904A (zh) | 2022-02-01 |
Family
ID=79924523
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111261190.9A Pending CN114006904A (zh) | 2021-10-28 | 2021-10-28 | 一种大数据集群管理方法、装置和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114006904A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101232395A (zh) * | 2007-12-27 | 2008-07-30 | Ut斯达康通讯有限公司 | 一种实现网络设备自动配置安装的方法 |
| CN109766210A (zh) * | 2019-01-17 | 2019-05-17 | 多点生活(成都)科技有限公司 | 服务熔断控制方法、服务熔断控制装置和服务器集群 |
| CN109768885A (zh) * | 2018-12-28 | 2019-05-17 | 厦门中控生物识别信息技术有限公司 | 一种支持多协议分布式高并发通信服务端设备和通信方法 |
| CN110198274A (zh) * | 2019-06-21 | 2019-09-03 | 苏宁云计算有限公司 | 一种集群流量的控制方法及其系统 |
| CN111787073A (zh) * | 2020-06-18 | 2020-10-16 | 多加网络科技(北京)有限公司 | 一种统一服务的限流熔断平台及其方法 |
| CN112925620A (zh) * | 2021-02-24 | 2021-06-08 | 北京润尼尔网络科技有限公司 | 分布式的任务调度系统和方法 |
-
2021
- 2021-10-28 CN CN202111261190.9A patent/CN114006904A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101232395A (zh) * | 2007-12-27 | 2008-07-30 | Ut斯达康通讯有限公司 | 一种实现网络设备自动配置安装的方法 |
| CN109768885A (zh) * | 2018-12-28 | 2019-05-17 | 厦门中控生物识别信息技术有限公司 | 一种支持多协议分布式高并发通信服务端设备和通信方法 |
| CN109766210A (zh) * | 2019-01-17 | 2019-05-17 | 多点生活(成都)科技有限公司 | 服务熔断控制方法、服务熔断控制装置和服务器集群 |
| CN110198274A (zh) * | 2019-06-21 | 2019-09-03 | 苏宁云计算有限公司 | 一种集群流量的控制方法及其系统 |
| CN111787073A (zh) * | 2020-06-18 | 2020-10-16 | 多加网络科技(北京)有限公司 | 一种统一服务的限流熔断平台及其方法 |
| CN112925620A (zh) * | 2021-02-24 | 2021-06-08 | 北京润尼尔网络科技有限公司 | 分布式的任务调度系统和方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112422532B (zh) | 业务通信方法、系统、装置及电子设备 | |
| CN111510474B (zh) | 基于消息中间件的数据传输方法及相关设备 | |
| CN113225394B (zh) | 一种基于容器集群的api网关管理系统 | |
| CN111787038B (zh) | 一种提供边缘服务的方法、系统及计算设备 | |
| WO2014086149A1 (zh) | 服务器账号密码管理方法、系统及服务器 | |
| CN107948063B (zh) | 一种建立聚合链路的方法和接入设备 | |
| CN113507691B (zh) | 一种基于配电网跨区服务的信息推送系统和方法 | |
| EP4045998A1 (en) | Token-based device access restriction systems | |
| CN112511422A (zh) | 数据的传输方法、装置、计算机设备及存储介质 | |
| CN109831521B (zh) | 缓存实例管理方法、装置、计算机设备和存储介质 | |
| CN113438242B (zh) | 服务鉴权方法、装置与存储介质 | |
| CN113014545B (zh) | 一种数据处理方法、装置、计算机设备及存储介质 | |
| CN111510329A (zh) | 一种电力sdn控制器中处理报文的方法及流表匹配模块 | |
| CN111427704B (zh) | 配置指令的远程监控方法、装置、设备及存储介质 | |
| KR101881061B1 (ko) | 모드 변경이 가능한 양방향 통신 장치 및 방법 | |
| CN114006904A (zh) | 一种大数据集群管理方法、装置和计算机设备 | |
| CN114465825B (zh) | 针对输电线路的在线监测系统、方法、装置和主站 | |
| CN108737445B (zh) | 安全策略共享方法和安全策略共享系统 | |
| KR101747032B1 (ko) | 소프트웨어 정의 네트워킹 환경에서의 모듈형 제어 장치 및 그 동작 방법 | |
| CN113259185B (zh) | 网管代理以及网元管理平台 | |
| CN111835550B (zh) | 网络节点 | |
| CN110928564B (zh) | 安全更新应用的方法、业务服务器、集群及存储介质 | |
| CN106713295B (zh) | 一种医学影像传输方法及其装置 | |
| CN113194044B (zh) | 一种基于企业安全的智能流量分配方法及系统 | |
| CN110941838B (zh) | 一种数据库访问的方法、装置以及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |