CN111225045B - 一种hive高可用预警方法，设备及计算机可读存储介质 - Google Patents

一种hive高可用预警方法，设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111225045B
CN111225045B CN201911416790.0A CN201911416790A CN111225045B CN 111225045 B CN111225045 B CN 111225045B CN 201911416790 A CN201911416790 A CN 201911416790A CN 111225045 B CN111225045 B CN 111225045B
Authority
CN
China
Prior art keywords
time
index
final
final parameter
calling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911416790.0A
Other languages
English (en)
Other versions
CN111225045A (zh
Inventor
陈欣
张东东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN201911416790.0A priority Critical patent/CN111225045B/zh
Publication of CN111225045A publication Critical patent/CN111225045A/zh
Application granted granted Critical
Publication of CN111225045B publication Critical patent/CN111225045B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种HIVE高可用预警方法，设备及计算机可读存储介质，基于BP神经网络算法和K最邻近分类算法实现通过对Active HiveServer2所在节点服务器各项指标数据采集，调用K最邻近分类算法纵向计算，调用BP神经网络算法横向计算，层层递归计算预测综合终参是否在可控范围内，根据综合终参与服务器与服务器能够正常运行为HiveServer2提供服务的平衡系数QoSMax比较采取对应的行动，实现对HIVE高可用的预警，提高集群服务器利用效率，解决当前资源占用与HIVE HA高可用保障的矛盾问题，降低构建数据中心大数据集群的成本，提高资源利用率，避免多Standby HiveServer2带来的问题。

Description

一种HIVE高可用预警方法，设备及计算机可读存储介质
技术领域
本发明涉及服务器技术领域，尤其涉及一种HIVE高可用预警方法，设备及计算机可读存储介质。
背景技术
Apache社区在HIVE 0.14版本开始支持对HiveServer2 HA的功能，通过ZooKeeperService Discovery模式使用1个Namespace容纳多个节点的HiveServer2配置信息，不再只是指定某一个host和port，以此来保证集群所有HiveServer2的高可用。
当前HIVE HA实现方案需要大量资源提供支持，首先3到5个Standby HiveServer2节点的安装需要3到5台服务器资源及价值成本，服务器所占用机架空间、占用的网络带宽等成本；其次为ZKFC自动切换选举Active时的锁竞争导致的内存高占用问题，每个Standyby HiveServer2向每个Active HiveServer2注册并发送心跳信息所带来成倍增长的网络带宽占用问题，Standby HiveServer2节点同时查看log日志时造成的Agent带宽占用问题。
发明内容
为了克服上述现有技术中的不足，本发明提出一种HIVE高可用预警算法，基于东西向BP神经网络算法和南北向K最邻近分类算法进行立体叠加预测计算，解决当前资源占用与HIVE HA高可用保障的矛盾问题，降低构建数据中心大数据集群的成本，提高资源利用率，避免多Standby HiveServer2带来的问题。
方法包括：
S1，获取HiveServer2所在节点的指标信息；
S2，基于指标信息调用K最邻近算法，计算出下一个时间节点的指标信息；根据各个时间点各项指标信息乘以各自权重相加计算综合终参；
S3，根据各个时间点计算的终参和各时间点指标值以及计算出的下一个时间节点的指标，调用BP神经网络算法计算所述节点的综合终参；
S4，根据预测的综合终参，对比服务器正常运行为HiveServer2提供服务的平衡系数QoSMax，根据范围采取以下操作：
1)、启动HA，关闭Standby HiveServer2节点；
2)、启动所有Standby HiveServer2节点，无需启动HA；
3)、发出预警，提示管理员是否启动HA自动部署；
4)、发出红色预警，并自动启动HA自动部署；
S5，启动HA自动部署，机制为HA自动部署所需时间小于步骤4发出红色预警的时间。
基于上述方法本发明还提供一种实现HIVE高可用预警方法的设备，包括：
存储器，用于存储计算机程序及HIVE高可用预警方法；
处理器，用于执行所述计算机程序及实现多存储器压力测试系统，以实现HIVE高可用预警方法的步骤。
基于上述方法本发明还提供一种具有HIVE高可用预警方法的计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行以实现HIVE高可用预警方法的步骤。
从以上技术方案可以看出，本发明具有以下优点：
本发明基于BP神经网络算法和K最邻近分类算法实现通过对Active HiveServer2所在节点服务器各项指标数据采集，调用K最邻近分类算法纵向计算，调用BP神经网络算法横向计算，层层递归计算预测综合终参是否在可控范围内，根据综合终参与服务器与服务器能够正常运行为HiveServer2提供服务的平衡系数QoSMax比较采取对应的行动，实现对HIVE高可用的预警，提高集群服务器利用效率、提升性能，解决当前资源占用与HIVE HA高可用保障的矛盾问题，降低构建数据中心大数据集群的成本，提高资源利用率，避免多Standby HiveServer2带来的问题。
附图说明
为了更清楚地说明本发明的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为HIVE高可用预警方法流程图。
具体实施方式
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
本发明提供一种HIVE高可用预警方法，如图1所示，方法包括：
S1，获取HiveServer2所在节点的指标信息；
S2，基于指标信息调用K最邻近算法，计算出下一个时间节点的指标信息；根据各个时间点各项指标信息乘以各自权重相加计算综合终参；
S3，根据各个时间点计算的终参和各时间点指标值以及计算出的下一个时间节点的指标，调用BP神经网络算法计算所述节点的综合终参；
S4，根据预测的综合终参，对比服务器正常运行为HiveServer2提供服务的平衡系数QoSMax，根据范围采取以下操作：
1)、启动HA，关闭Standby HiveServer2节点；
2)、启动所有Standby HiveServer2节点，无需启动HA；
3)、发出预警，提示管理员是否启动HA自动部署；
4)、发出红色预警，并自动启动HA自动部署；
S5，启动HA自动部署，机制为HA自动部署所需时间小于步骤4发出红色预警的时间。
基于上述方法，下面具体说明本方法的实施方式：
1：服务器time1-timeN各项详细指标获取
1.1集群启动时间点为time1，获取HiveServer2所在节点I/O、Job、磁盘、CPU、网络、内存、电源、运行时间各项指标。
通过iostat获取当前I/O详细指标；
通过jobs–l获取当前Job详细指标；
通过df获取当前磁盘详细指标
通过top获取当前CPU详细指标和运行时间详细指标；
通过netstat获取当前网络详细指标；
通过free获取当前内存详细指标；
通过System Power Supply获取当前电源详细指标；
1.2每隔DataNode心跳间隔时间(默认时间，可设置)获取一次服务器各项指标；
1.3当前时间为timeN，即当前有N组服务器指标数据。
Figure BDA0002351389420000051
步骤2中：服务器各项指标time(N+1)-time(N+N)终参计算
取距当前时间之前获取的1000组数据(不足1000组的即N<1000时以实际组数为准，多于1000组的取就近1000组数据)。
2.1 I/O终参计算
2.1.1 I/O终参等于各项指标乘各自权重后相加，计算所取1000组数据得到每个时间的I/O终参；
2.1.2调用K最邻近算法，输入I/O指标time1-timeN的各项指标：繁忙程度、负载、响应速度，分别预测time(N+1)的繁忙程度i(N+1)、负载j(N+1)、响应速度k(N+1)；
Figure BDA0002351389420000061
2.1.3调用BP神经网络算法，输入I/O指标time1-timeN的各项指标：IO终参、繁忙程度、负载、响应速度，以及time(N+1)的繁忙程度i(N+1)、负载j(N+1)、响应速度k(N+1)，预测time(N+1)的I/O终参IO(N+1)；
2.1.4循环重复步骤2.1.2和2.1.3计算I/O终参IO(N+2)-IO(N+N)。
2.2 Job终参计算
2.2.1 Job终参等于各项指标乘各自权重后相加，计算所取1000组数据得到每个时间的Job终参；
2.2.2调用K最邻近算法，输入Job指标time1-timeN的各项指标：当前Job数、负载、当前Job已运行时间，分别预测time(N+1)的Job数l(N+1)、负载m(N+1)、当前Job已运行时间n(N+1)；
Figure BDA0002351389420000071
2.2.3调用BP神经网络算法，输入Job指标time1-timeN的各项指标：Job终参、当前Job数、负载、当期Job已运行时间，以及time(N+1)的当前Job数l(N+1)、负载m(N+1)、当期Job已运行时间n(N+1)，预测time(N+1)的Job终参Job(N+1)；
2.2.4循环重复步骤2.2.2和2.2.3计算Job终参Job(N+2)-Job(N+N)。
2.3 CPU终参计算
2.3.1 CPU终参等于各项指标乘各自权重后相加，计算所取1000组数据得到每个时间的CPU终参；
2.3.2调用K最邻近算法，输入CPU指标time1-timeN的各项指标：使用率、负载、总核数，分别预测time(N+1)的使用率o(N+1)、负载p(N+1)、总核数q(N+1)。
Figure BDA0002351389420000081
2.3.3调用BP神经网络算法，输入CPU指标time1-timeN的各项指标：CPU终参、使用率、负载、总核数，以及time(N+1)的使用率o(N+1)、负载p(N+1)、总核数q(N+1)，预测time(N+1)的CPU终参CPU(N+1)；
2.3.4循环重复步骤2.3.2和2.3.3计算CPU终参CPU(N+2)-CPU(N+N)。
2.4网络终参计算
2.4.1网络终参等于各项指标乘各自权重后相加，计算所取1000组数据得到每个时间的网络终参；
2.4.2调用K最邻近算法，输入网络指标time1-timeN的各项指标：使用率、负载、总带宽，分别预测time(N+1)的使用率r(N+1)、负载s(N+1)、总带宽t(N+1)；
Figure BDA0002351389420000091
2.4.3调用BP神经网络算法，输入网络指标time1-timeN的各项指标：网络终参、使用率、负载、总带宽，以及time(N+1)的使用率r(N+1)、负载s(N+1)、总带宽t(N+1)，预测time(N+1)的网络终参：网络(N+1)；
2.4.4循环重复步骤2.4.2和2.4.3计算网络终参网络(N+2)-网络(N+N)。
2.5内存终参计算
2.5.1内存终参等于各项指标乘各自权重后相加，计算所取1000组数据得到每个时间的内存终参；
2.5.2调用K最邻近算法，输入内存指标time1-timeN的各项指标：使用率、负载、总内存，分别预测time(N+1)的使用率u(N+1)、负载v(N+1)、总内存w(N+1)；
Figure BDA0002351389420000101
2.5.3调用BP神经网络算法，输入内存指标time1-timeN的各项指标：内存终参、使用率、负载、总内存，以及time(N+1)的使用率u(N+1)、负载v(N+1)、总内存w(N+1)，预测time(N+1)的内存终参：内存(N+1)；
2.5.4循环重复步骤2.5.2和2.5.3计算内存终参内存(N+2)-内存(N+N)。
2.6电源终参计算
2.6.1电源终参等于各项指标乘各自权重后相加，计算所取1000组数据得到每个时间的电源终参；
2.6.2调用K最邻近算法，输入电源指标time1-timeN的各项指标：是否双路、双路是否有损坏、距上次电源坏点时间，分别预测time(N+1)的是否双路x(N+1)、双路是否有损坏y(N+1)、距上次电源坏点时间z(N+1)；
Figure BDA0002351389420000111
2.6.3调用BP神经网络算法，输入电源指标time1-timeN的各项指标：电源终参、是否双路、双路是否有损坏、距上次电源坏点时间，以及time(N+1)的是否双路x(N+1)、双路是否有损坏y(N+1)、距上次电源坏点时间z(N+1)，预测time(N+1)的电源终参：电源(N+1)；
2.6.4循环重复步骤2.6.2和2.6.3计算电源终参电源(N+2)-电源(N+N)。
2.7运行时间终参计算
2.7.1运行时间终参等于各项指标乘各自权重后相加，计算所取1000组数据得到每个时间的运行时间终参；
2.7.2调用K最邻近算法，输入运行时间指标time1-timeN的各项指标：正常运行时间、距上次设备宕机时间，分别预测time(N+1)的正常运行时间A(N+1)、距上次设备宕机时间B(N+1)；
Figure BDA0002351389420000121
2.7.3调用BP神经网络算法，输入运行时间指标time1-timeN的各项指标：运行时间终参、正常运行时间、距上次设备宕机时间，以及time(N+1)的正常运行时间A(N+1)、距上次设备宕机时间B(N+1)，预测time(N+1)的运行时间终参：运行时间(N+1)；
2.7.4循环重复步骤2.7.2和2.7.3计算运行时间终参运行时间(N+2)-运行时间(N+N)。
2.8磁盘终参计算
2.8.1磁盘终参等于各项指标乘各自权重后相加，计算所取1000组数据得到每个时间的磁盘终参；
2.8.2调用K最邻近算法，输入磁盘指标time1-timeN的各项指标：使用率、负载、总容量、饱和度、IOPS(每秒I/O请求数)、吞吐量、响应时间、转速，分别预测time(N+1)的使用率a(N+1)、负载b(N+1)、总容量c(N+1)、饱和度d(N+1)、IOPS(每秒I/O请求数)e(N+1)、吞吐量f(N+1)、响应时间g(N+1)、转速h(N+1)；
Figure BDA0002351389420000131
2.8.3调用BP神经网络算法，输入磁盘指标time1-timeN的各项指标：磁盘终参、使用率、负载、总容量、饱和度、IOPS(每秒I/O请求数)、吞吐量、响应时间、转速，以及time(N+1)的使用率a(N+1)、负载b(N+1)、总容量c(N+1)、饱和度d(N+1)、IOPS(每秒I/O请求数)e(N+1)、吞吐量f(N+1)、响应时间g(N+1)、转速h(N+1)，预测time(N+1)的磁盘终参：磁盘(N+1)；
2.8.4循环重复步骤2.8.2和2.8.3计算磁盘终参磁盘(N+2)-磁盘(N+N)。
3：服务器综合指标time(N+1)-time(N+N)终参计算
3.1综合终参time(N+1)计算
3.1.1综合终参等于各项详细指标乘各自权重后相加，各项详细指标计算由步骤2计算得到的1000组各项详细指标数据得到每个时间的综合终参；
3.1.2调用BP神经网络算法，输入综合终参指标time1-timeN的各项指标：综合终参、I/O终参、Job终参、CPU终参、网络终参、内存终参、电源终参、运行时间终参、磁盘终参，以及time(N+1)的I/O终参IO(N+1)、Job终参Job(N+1)、CPU终参CPU(N+1)、网络终参网络(N+1)、内存终参内存(N+1)、电源终参电源(N+1)、运行时间终参运行时间(N+1)、磁盘终参磁盘(N+1)，预测time(N+1)的综合终参：综合(N+1)；
3.1.3循环重复从步骤2获取数据，循环重复3.1.2计算综合终参综合(N+2)-综合(N+N)。
Figure BDA0002351389420000141
在S4中：服务器综合终参比较
4.1由步骤2和步骤3计算得到综合终参指标；
4.2服务器能够正常运行为HiveServer2提供服务的平衡系数为QoSMax；
4.3综合终参综合(N+x)<QosMax/2即可只运行Active HiveServer2，无需启动HA，关闭Standby HiveServer2节点，不占用集群任何资源；
4.4 QosMax/2<＝综合终参综合(N+x)<QosMax*3/4即可只运行ActiveHiveServer2，启动所有Standby HiveServer2节点，无需启动HA，不占用集群任何资源；
4.5 QosMax*3/4<＝综合终参综合(N+x)<＝QosMax，只运行Active HiveServer2，并发出预警，提示管理员是否启动HA自动部署；
4.6 QosMax<＝综合终参综合(N+x)，发出红色预警，并自动启动HA自动部署；
在S5中：HA自动部署
5.1从步骤4获取x，x小于HA自动部署所需时间；
5.2调用HA自动部署算法完成自动部署HIVE组件HA。
本发明基于BP神经网络算法和K最邻近分类算法实现通过对Active HiveServer2所在节点服务器各项指标数据采集，调用K最邻近分类算法纵向计算，调用BP神经网络算法横向计算，层层递归计算预测综合终参是否在可控范围内，根据综合终参与服务器与服务器能够正常运行为HiveServer2提供服务的平衡系数QoSMax比较采取对应的行动，实现对HIVE高可用的预警，提高集群服务器利用效率、提升性能，解决当前资源占用与HIVE HA高可用保障的矛盾问题，降低构建数据中心大数据集群的成本，提高资源利用率，避免多Standby HiveServer2带来的问题。
基于上述方法，本发明还提供一种实现HIVE高可用预警方法的设备，包括：存储器，用于存储计算机程序及HIVE高可用预警方法；处理器，用于执行所述计算机程序及实现多存储器压力测试系统，以实现HIVE高可用预警方法的步骤。
基于上述方法，本发明还提供一种具有HIVE高可用预警方法的计算机可读存储介质，计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现HIVE高可用预警方法的步骤。
实现HIVE高可用预警方法的设备是结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的实现HIVE高可用预警方法的设备可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据实现HIVE高可用预警方法的设备公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的索引方法。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种HIVE高可用预警方法，其特征在于，方法包括：
S1，获取HiveServer2所在节点的指标信息；
1.1通过iostat获取当前I/O详细指标；
通过jobs –l获取当前Job详细指标；
通过df获取当前磁盘详细指标；
通过top获取当前CPU详细指标和运行时间详细指标；
通过netstat获取当前网络详细指标；
通过free获取当前内存详细指标；
通过System Power Supply获取当前电源详细指标；
1.2每隔DataNode心跳间隔时间获取一次服务器各项指标；
1.3当前时间为timeN，即当前有N组服务器指标数据；
S2，基于指标信息调用K最邻近算法，计算出下一个时间节点的指标信息；根据各个时间点各项指标信息乘以各自权重相加计算综合终参；
S2具体包括：取距当前时间之前获取的1000组数据；
2.1 I/O终参计算：
2.1.1 I/O终参等于各项指标乘各自权重后相加，计算所取1000组数据得到每个时间的I/O终参；
2.1.2 调用K最邻近算法，输入I/O指标time1-timeN的各项指标：繁忙程度、负载、响应速度，分别预测time（N+1）的繁忙程度i（N+1)、负载j（N+1)、响应速度k（N+1) ；
2.1.3调用BP神经网络算法，输入I/O指标time1-timeN的各项指标，各项指标包括：IO终参、繁忙程度、负载、响应速度time（N+1）的繁忙程度i（N+1)、负载j（N+1)、响应速度k（N+1)以及预测time（N+1）的I/O终参IO（N+1）；
2.1.4循环重复步骤2.1.2和2.1.3计算I/O终参IO（N+2）- IO（N+N）；
2.2 Job终参计算：
2.2.1 Job终参等于各项指标乘各自权重后相加，计算所取1000组数据得到每个时间的Job终参；
2.2.2 调用K最邻近算法，输入Job指标time1-timeN的各项指标：当前Job数、负载、当前Job已运行时间，分别预测time（N+1）的Job数l（N+1)、负载m（N+1)、当前Job已运行时间n（N+1)；
2.2.3调用BP神经网络算法，输入Job指标time1-timeN的各项指标：Job终参、当前Job数、负载、当期Job已运行时间，以及time（N+1）的当前Job数l（N+1)、负载m（N+1)、当期Job已运行时间n（N+1)，预测time（N+1）的Job终参Job（N+1）；
2.2.4循环重复步骤2.2.2和2.2.3计算Job终参Job（N+2）-Job（N+N）；
2.3 CPU终参计算：
2.3.1 CPU终参等于各项指标乘各自权重后相加，计算所取1000组数据得到每个时间的CPU终参；
2.3.2 调用K最邻近算法，输入CPU指标time1-timeN的各项指标：使用率、负载、总核数，分别预测time（N+1）的使用率o（N+1)、负载p（N+1)、总核数q（N+1) ；
2.3.3调用BP神经网络算法，输入CPU指标time1-timeN的各项指标：CPU终参、使用率、负载、总核数，以及time（N+1）的使用率o（N+1)、负载p（N+1)、总核数q（N+1)，预测time（N+1）的CPU终参CPU（N+1）；
2.3.4循环重复步骤2.3.2和2.3.3计算CPU终参CPU（N+2）-CPU（N+N）；
S3，根据各个时间点计算的终参和各时间点指标值以及计算出的下一个时间节点的指标，调用BP神经网络算法计算所述节点的综合终参；
S3具体包括：
服务器综合指标time（N+1）- time（N+N）终参计算；
3.1综合终参time（N+1）计算；
3.1.1 综合终参等于各项指标乘各自权重后相加，各项指标计算由S2计算得到的1000组各项详细指标数据得到每个时间的综合终参；
3.1.2调用BP神经网络算法，输入综合终参指标time1-timeN的各项指标：综合终参、I/O终参、Job终参、CPU终参、网络终参、内存终参、电源终参、运行时间终参、磁盘终参，以及time（N+1）的I/O终参IO（N+1)、Job终参Job（N+1)、CPU终参CPU（N+1) 、网络终参网络（N+1）、内存终参内存(N+1)、电源终参电源(N+1)、运行时间终参运行时间(N+1)、磁盘终参磁盘(N+1)，预测time（N+1）的综合终参：综合（N+1）；
3.1.3循环重复从S2获取数据，循环重复3.1.2计算综合终参综合（N+2）-综合（N+N）；
S4，根据预测的综合终参，对比服务器正常运行为HiveServer2提供服务的平衡系数QoSMax，根据范围采取以下操作：
1）、启动HA，关闭Standby HiveServer2节点；
2）、启动所有Standby HiveServer2节点，无需启动HA；
3）、发出预警，提示管理员是否启动HA自动部署；
4）、发出红色预警，并自动启动HA 自动部署；
S5，启动HA自动部署，机制为HA自动部署所需时间小于S4发出红色预警的时间；
HA自动部署包括：
5.1从S4获取x，x小于HA自动部署所需时间；
5.2调用HA自动部署算法完成自动部署HIVE组件HA。
2.根据权利要求1所述的HIVE高可用预警方法，其特征在于，
步骤S2还包括：
2.4 网络终参计算；
2.4.1 网络终参等于各项指标乘各自权重后相加，计算所取1000组数据得到每个时间的网络终参；
2.4.2 调用K最邻近算法，输入网络指标time1-timeN的各项指标：使用率、负载、总带宽，分别预测time（N+1）的使用率r（N+1)、负载s（N+1)、总带宽t（N+1) ；
2.4.3调用BP神经网络算法，输入网络指标time1-timeN的各项指标：网络终参、使用率、负载、总带宽，以及time（N+1）的使用率r（N+1)、负载s（N+1)、总带宽t（N+1)，预测time（N+1）的网络终参：网络（N+1）；
2.4.4循环重复步骤2.4.2和2.4.3计算网络终参网络（N+2）-网络（N+N）；
2.5 内存终参计算；
2.5.1 内存终参等于各项指标乘各自权重后相加，计算所取1000组数据得到每个时间的内存终参；
2.5.2 调用K最邻近算法，输入内存指标time1-timeN的各项指标：使用率、负载、总内存，分别预测time（N+1）的使用率u（N+1)、负载v（N+1)、总内存w（N+1)；
2.5.3调用BP神经网络算法，输入内存指标time1-timeN的各项指标：内存终参、使用率、负载、总内存，以及time（N+1）的使用率u（N+1)、负载v（N+1)、总内存w（N+1)，预测time（N+1）的内存终参：内存（N+1）；
2.5.4循环重复步骤2.5.2和2.5.3计算内存终参内存（N+2）-内存（N+N）。
3.根据权利要求1所述的HIVE高可用预警方法，其特征在于，
步骤S2还包括：
2.6 电源终参计算；
2.6.1 电源终参等于各项指标乘各自权重后相加，计算所取1000组数据得到每个时间的电源终参；
2.6.2 调用K最邻近算法，输入电源指标time1-timeN的各项指标：是否双路、双路是否有损坏、距上次电源坏点时间，分别预测time（N+1）的是否双路x（N+1)、双路是否有损坏y（N+1)、距上次电源坏点时间z（N+1) ;
2.6.3调用BP神经网络算法，输入电源指标time1-timeN的各项指标：电源终参、是否双路、双路是否有损坏、距上次电源坏点时间，以及time（N+1）的是否双路x（N+1)、双路是否有损坏y（N+1)、距上次电源坏点时间z（N+1)，预测time（N+1）的电源终参：电源（N+1）；
2.6.4循环重复步骤2.6.2和2.6.3计算电源终参电源（N+2）-电源（N+N）；
2.7 运行时间终参计算；
2.7.1 运行时间终参等于各项指标乘各自权重后相加，计算所取1000组数据得到每个时间的运行时间终参；
2.7.2 调用K最邻近算法，输入运行时间指标time1-timeN的各项指标：正常运行时间、距上次设备宕机时间，分别预测time（N+1）的正常运行时间A（N+1)、距上次设备宕机时间B（N+1)；
2.7.3调用BP神经网络算法，输入运行时间指标time1-timeN的各项指标：运行时间终参、正常运行时间、距上次设备宕机时间，以及time（N+1）的正常运行时间A（N+1)、距上次设备宕机时间B（N+1)，预测time（N+1）的运行时间终参：运行时间（N+1）；
2.7.4循环重复步骤2.7.2和2.7.3计算运行时间终参运行时间（N+2）-运行时间（N+N）；
2.8 磁盘终参计算；
2.8.1 磁盘终参等于各项指标乘各自权重后相加，计算所取1000组数据得到每个时间的磁盘终参；
2.8.2 调用K最邻近算法，输入磁盘指标time1-timeN的各项指标：使用率、负载、总容量、饱和度、IOPS、吞吐量、响应时间、转速，分别预测time（N+1）的使用率a（N+1)、负载b（N+1)、总容量c（N+1) 、饱和度d（N+1）、IOPSe(N+1)、吞吐量f (N+1)、响应时间g (N+1)、转速h(N+1); IOPS为每秒I/O请求数；
2.8.3调用BP神经网络算法，输入磁盘指标time1-timeN的各项指标：磁盘终参、使用率、负载、总容量、饱和度、IOPS、吞吐量、响应时间、转速，以及time（N+1）的使用率a（N+1)、负载b（N+1)、总容量c（N+1) 、饱和度d（N+1）、IOPSe(N+1)、吞吐量f (N+1)、响应时间g (N+1)、转速h (N+1)，预测time（N+1）的磁盘终参：磁盘（N+1）；
2.8.4循环重复步骤2.8.2和2.8.3计算磁盘终参磁盘（N+2）-磁盘（N+N）。
4.根据权利要求1所述的HIVE高可用预警方法，其特征在于，
步骤S4还包括：服务器综合终参比较；
4.1由步骤2和步骤3计算得到综合终参指标；
4.2服务器能够正常运行为HiveServer2提供服务的平衡系数为QoSMax；
4.3综合终参综合（N+x）<QosMax/2即可只运行Active HiveServer2，无需启动HA，关闭Standby HiveServer2节点，不占用集群任何资源；
4.4 QosMax/2<=综合终参综合（N+x）<QosMax*3/4即可只运行Active HiveServer2，启动所有Standby HiveServer2节点，无需启动HA，不占用集群任何资源；
4.5 QosMax*3/4<=综合终参综合（N+x）<=QosMax，只运行Active HiveServer2，并发出预警，提示管理员是否启动HA自动部署；
4.6 QosMax<=综合终参综合（N+x），发出红色预警，并自动启动HA 自动部署。
5.一种实现HIVE高可用预警方法的设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求1至4任意一项所述HIVE高可用预警方法的步骤。
6.一种具有HIVE高可用预警方法的计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1至4任意一项所述HIVE高可用预警方法的步骤。
CN201911416790.0A 2019-12-31 2019-12-31 一种hive高可用预警方法，设备及计算机可读存储介质 Active CN111225045B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911416790.0A CN111225045B (zh) 2019-12-31 2019-12-31 一种hive高可用预警方法，设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911416790.0A CN111225045B (zh) 2019-12-31 2019-12-31 一种hive高可用预警方法，设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111225045A CN111225045A (zh) 2020-06-02
CN111225045B true CN111225045B (zh) 2022-12-27

Family

ID=70827046

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911416790.0A Active CN111225045B (zh) 2019-12-31 2019-12-31 一种hive高可用预警方法，设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111225045B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112231294B (zh) * 2020-09-18 2022-08-05 苏州浪潮智能科技有限公司 一种智能存储管理数据块的异构存储策略选举方法、装置
CN112637330B (zh) * 2020-12-22 2022-05-10 山东大学 区块链大文件副本选址方法、系统、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107943668A (zh) * 2017-12-15 2018-04-20 江苏神威云数据科技有限公司 计算机服务器集群日志监控方法及监控平台

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107943668A (zh) * 2017-12-15 2018-04-20 江苏神威云数据科技有限公司 计算机服务器集群日志监控方法及监控平台

Also Published As

Publication number Publication date
CN111225045A (zh) 2020-06-02

Similar Documents

Publication Publication Date Title
CN109218355B (zh) 负载均衡引擎，客户端，分布式计算系统以及负载均衡方法
CN111225045B (zh) 一种hive高可用预警方法，设备及计算机可读存储介质
CN106470123B (zh) 日志收集方法、客户端、服务器和电子设备
CN109873714B (zh) 云计算节点配置更新方法及终端设备
CN114816738A (zh) 算力节点的确定方法、装置、设备及计算机可读存储介质
CN110149377A (zh) 一种视频服务节点资源分配方法、系统、装置及存储介质
CN113099410A (zh) 一种5g电力边缘数据传输处理方法、装置、终端及介质
CN113485792A (zh) 一种kubernetes集群内Pod调度方法、终端设备及存储介质
CN112491742B (zh) 一种边缘计算终端资源调度方法及装置
US9501321B1 (en) Weighted service requests throttling
CN116302453B (zh) 量子电子混合平台的任务调度方法及装置
CN115499443B (zh) 基于超融合基础构架的高可用系统及方法
CN108664322A (zh) 数据处理方法及系统
CN115334001B (zh) 基于优先关系的数据资源调度方法及装置
CN109257256A (zh) 设备监控方法、装置、计算机设备及存储介质
CN111124287A (zh) Hadoop分布式文件系统中高可用的管理方法和装置
CN112331361A (zh) 一种密切接触者的确定方法及装置
CN114500553B (zh) 一种区块链网络的处理方法、系统、电子设备及存储介质
CN115277447B (zh) 网络建设效果的评价方法、装置、电子设备及存储介质
CN114911618B (zh) 异构资源分配方法、装置、电子设备及存储介质
CN113467700B (zh) 基于异构存储的数据分配方法以及装置
CN116974731A (zh) 磁盘负载均衡方法、装置和电子设备
CN114356830B (zh) 总线终端控制方法、装置、计算机设备和存储介质
CN110502338B (zh) 一种性能扩容预测方法、装置、计算设备及存储介质
KR20180052927A (ko) 가상 머신 기반의 서비스 펑션 체이닝에 있어서 가상 머신의 배치 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant