CN109921957B - 机房端到端容量管理方法、电子装置及存储介质 - Google Patents

机房端到端容量管理方法、电子装置及存储介质 Download PDF

Info

Publication number
CN109921957B
CN109921957B CN201910053833.7A CN201910053833A CN109921957B CN 109921957 B CN109921957 B CN 109921957B CN 201910053833 A CN201910053833 A CN 201910053833A CN 109921957 B CN109921957 B CN 109921957B
Authority
CN
China
Prior art keywords
port
state
task
waiting
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910053833.7A
Other languages
English (en)
Other versions
CN109921957A (zh
Inventor
许程远
邢晓坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910053833.7A priority Critical patent/CN109921957B/zh
Publication of CN109921957A publication Critical patent/CN109921957A/zh
Application granted granted Critical
Publication of CN109921957B publication Critical patent/CN109921957B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及机房管理技术,提供一种机房端到端容量管理方法,包括:采集机房中各端口的通信数据;通过通信数据判断各端口的状态,所述状态包括接入状态、未接入状态和无状态,其中,接入状态表示端口正在使用,未接入状态表示端口已经占用但未开启,无状态表示端口未占用;获取端口分配方案;将端口分配方案中处于无状态的端口状态更新为未接入状态;预分配的端口开启,端口状态更新为接入状态;端口分配方案执行完毕,开启之前处于接入和未接入状态的端口更新为未接入状态,开启之前处于无状态的端口在端口分配方案执行完毕后更新为无状态。本发明还提出了一种电子装置及存储介质。本发明提高分配效率,降低运维风险。

Description

机房端到端容量管理方法、电子装置及存储介质
技术领域
本发明涉及机房管理技术领域,更为具体地,涉及一种机房端到端容量管理方法、电子装置及存储介质。
背景技术
在一个计算机数量较多的网络中,运维工作中端口的分配工作常常会有已占用的端口因端口未开而造成重复分配的现象。因此,每次端口分配都需要人工去机房确认,不但浪费时间,效率低下,还增加了运维风险。
发明内容
鉴于上述问题,本发明的目的是提供一种提高运维效率的机房端到端容量管理方法、电子装置及存储介质。
为了实现上述目的,本发明提供一种电子装置,所述电子装置包括存储器和处理器,所述存储器中包括机房端到端容量管理程序,所述机房端到端容量管理程序被所述处理器执行时实现如下步骤:
采集机房中每个交换机的每个端口的通信数据;
通过各端口的所述通信数据,判断各端口的状态,所述状态包括接入状态、未接入状态和无状态,其中,所述接入状态表示端口正在使用,所述未接入状态表示端口已经占用但未开启,所述无状态表示端口未占用;
获取端口分配方案;
将端口分配方案中预分配的端口中处于无状态的端口状态更新为未接入状态;
预分配的端口开启,端口状态更新为接入状态;
端口分配方案执行完毕,开启之前处于接入和未接入状态的端口在端口分配方案执行完毕后更新为未接入状态,开启之前处于无状态的端口在端口分配方案执行完毕后更新为无状态。
此外,为了实现上述目的,本发明还提供一种机房运维管理方法,用于显示当天工作任务需求,包括:
采集机房中每个交换机的每个端口的通信数据;
通过各端口的所述通信数据,判断各端口的状态,所述状态包括接入状态、未接入状态和无状态,其中,所述接入状态表示端口正在使用,所述未接入状态表示端口已经占用但未开启,所述无状态表示端口未占用;
获取端口分配方案;
将端口分配方案中预分配的端口中处于无状态的端口状态更新为未接入状态;
预分配的端口开启,端口状态更新为接入状态;
端口分配方案执行完毕,端口开启之前处于接入和未接入状态的端口在端口分配方案执行完毕后更新为未接入状态,端口开启之前处于无状态的端口在分配方案执行完毕后更新为无状态。
优选地,还包括:
端口资源释放时,预释放端口的端口状态更新为未接入;资源释放完毕,端口关闭,端口状态更新为无。
优选地,所述获取端口分配方案的方法包括:优先选择处于无状态的端口,处于无状态的端口无法满足需求时,次选处于未接入状态的端口。
此外,为了实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中包括机房端到端容量管理程序,所述机房端到端容量管理程序被处理器执行时,实现上述的机房端到端容量管理方法的步骤。
本发明所述机房端到端容量管理方法、电子装置及计算机可读存储介质通过各端口的通信数据判断各端口的状态,不进入机房直接规避了人为操作带来的运维风险,通过将端口分为三种状态,结合端口分配方案实现了机房资源的有效掌控,使之能更加安全合理的利用,提高了工作效率,尤其是大批量作业时,效果显著。
附图说明
图1是本发明机房端到端容量管理方法较佳实施例的应用环境示意图;
图2是图1中机房端到端容量管理程序较佳实施例的模块示意图;
图3是本发明机房端到端容量管理方法较佳实施例的流程图。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
以下将结合附图对本发明的具体实施例进行详细描述。
本发明提供一种机房端到端容量管理方法,应用于一种电子装置1。参照图1所示,为本发明机房端到端容量管理方法较佳实施例的应用环境示意图。
在本实施例中,电子装置1可以是服务器、手机、平板电脑、便携计算机、桌上型计算机等具有运算功能的终端设备。
存储器11包括至少一种类型的可读存储介质。所述至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器11等的非易失性存储介质。在一些实施例中,所述可读存储介质可以是所述电子装置1的内部存储单元,例如该电子装置1的硬盘。在另一些实施例中,所述可读存储介质也可以是所述电子装置1的外部存储器11,例如所述电子装置1上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。
在本实施例中,所述存储器11的可读存储介质通常用于存储安装于所述电子装置1的机房端到端容量管理程序10等。所述存储器11还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU),微处理器或其他数据处理芯片,用于运行存储器11中存储的程序代码或处理数据,例如执行机房端到端容量管理程序10等。
网络接口13可选地可以包括标准的有线接口、无线接口(如WI-FI接口),通常用于在该电子装置1与其他电子设备之间建立通信连接。
通信总线14用于实现这些组件之间的连接通信。
图1仅示出了具有组件11-14的电子装置1,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
可选地,该电子装置1还可以包括用户接口,用户接口可以包括输入单元比如键盘(Keyboard)、语音输入装置比如麦克风(microphone)等具有语音识别功能的设备、语音输出装置比如音响、耳机等,可选地用户接口还可以包括标准的有线接口、无线接口。
可选地,该电子装置1还可以包括显示器,显示器也可以称为显示屏或显示单元。
在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode,OLED)触摸器等。显示器用于显示在电子装置1中处理的信息以及用于显示可视化的用户界面。
可选地,该电子装置1还包括触摸传感器。所述触摸传感器所提供的供用户进行触摸操作的区域称为触控区域。此外,这里所述的触摸传感器可以为电阻式触摸传感器、电容式触摸传感器等。而且,所述触摸传感器不仅包括接触式的触摸传感器,也可包括接近式的触摸传感器等。此外,所述触摸传感器可以为单个传感器,也可以为例如阵列布置的多个传感器。
可选地,该电子装置1还可以包括逻辑门电路,传感器、音频电路等等,在此不再赘述。
在图1所示的装置实施例中,作为一种计算机存储介质的存储器11中可以包括操作系统以及机房端到端容量管理程序10;处理器12执行存储器11中存储的机房端到端容量管理程序10时实现如下步骤:
采集机房中每个交换机的每个端口的通信数据;
通过各端口的所述通信数据,判断各端口的状态,所述状态包括接入状态、未接入状态和无状态,其中,所述接入状态表示端口正在使用,所述未接入状态表示端口已经占用但未开启,所述无状态表示端口未占用;
获取端口分配方案;
将端口分配方案中预分配的端口中处于无状态的端口状态更新为未接入状态;
预分配的端口开启,端口状态更新为接入状态;
端口分配方案执行完毕,开启之前处于接入和未接入状态的端口在端口分配方案执行完毕后更新为未接入状态,开启之前处于无状态的端口在端口分配方案执行完毕后更新为无状态。
在其他实施例中,所述机房运维管理程序10还可以被分割为一个或者多个模块,一个或者多个模块被存储于存储器11中,并由处理器12执行,以完成本发明。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段。参照图2所示,为图1中机房端到端容量管理程序10较佳实施例的功能模块图。所述机房运维管理程序10可以被分割为:
采集模块110,以邮件的形式获取员工的工作任务内容;
端口状态获取模块120,通过各端口的所述通信数据,判断各端口的状态,所述状态包括接入状态、未接入状态和无状态,其中,所述接入状态表示端口正在使用,所述未接入状态表示端口已经占用但未开启,所述无状态表示端口未占用;
端口分配方案获得模块130,获取端口分配方案;
第一端口状态更新模块140,将端口分配方案中预分配的端口中处于无状态的端口状态更新为未接入状态;
第二端口状态更新模块150,预分配的端口开启,端口分配方案中所有端口状态更新为接入状态;
第三端口状态更新模块160,端口分配方案执行完毕,开启之前处于接入和未接入状态的端口在端口分配方案执行完毕后更新为未接入状态,开启之前处于无状态的端口在端口分配方案执行完毕后更新为无状态。
此外,本发明还提供一种机房端到端容量管理方法方法。参照图3所示,为本发明机房端到端容量管理方法较佳实施例的流程图。该方法可以由一个装置执行,该装置可以由软件和/或硬件实现。
在本实施例中,机房端到端容量管理方法,对机房中设置的一个或多个交换机的多个端口进行端到端容量管理,包括:
步骤S1,采集每个交换机的每个端口的通信数据;
步骤S2,通过各端口的所述通信数据,判断各端口的状态,所述状态包括接入状态、未接入状态和无状态,其中,所述接入状态表示端口正在使用,所述未接入状态表示端口已经占用但未开启,所述无状态表示端口未占用;
步骤S3,获取端口分配方案;
步骤S4,将端口分配方案中预分配的端口中处于无状态的端口状态更新为未接入状态;
步骤S5,预分配的端口开启,端口状态更新为接入状态;
步骤S6,端口分配方案执行完毕,端口开启之前处于接入和未接入状态的端口端口分配方案执行完毕后更新为未接入状态,端口开启之前处于无状态的端口分配方案执行完毕后更新为无状态。
优选地,端口资源释放时,预释放端口的端口状态更新为未接入;资源释放完毕,端口关闭,端口状态更新为无,例如,当连接端口的用户决定停止端口信息时(某一业务停产),进行端口资源释放。
在本发明的一个实施例中,机房的多个交换机的多个端口可以提供给不同的客户端,处于未接入状态的端口可能已经分配了客户端,因此,所述获取端口分配方案的方法包括:优先选择处于无状态的端口,处于无状态的端口无法满足需求时,次选处于未接入状态的端口。
优选地,所述端口分配方案还包括:不对处于接入状态的端口进行分配,在给端口分配任务时,验证端口的状态,如果端口状态处于接入状态,不进行任务分配。
在一个可选实施例中,所述获取端口分配方案的方法包括:
根据端口的历史流量数据对未来流量进行预测,包括:
构建各端口不同时刻的流量值的流量时间序列,作为第一序列;
采用至少一种序列长度将所述第一序列划分为多个第二序列,所述第二序列的序列长度短于所述第一序列的序列长度;
根据第二序列构建第一序列的树状图,包括:以第一序列中出现的每一个流量值作为一个根节点,各第二序列中各种流量值组合作为各分支,每一根节点与该根节点相连的各分支构成每一个子树,根节点代表的流量值在第一序列中出现的频数为所述根节点的节点值,从根节点到子节点代表的流量值组合在各第二序列中出现的频数之和为所述子节点的节点值;
预测每一个第二序列下一次序的流量值为第一序列中任一流量值的概率,所述概率可以根据下式(1)计算,
Figure BDA0001951749150000061
其中,i表示所述第一序列的树状图的层数索引,y1表示树状图的子树的一个根节点,y2,…,yi表示所述子树的根节点y1的一个分支的第2层到第i层的子节点,y1y2…yi表示所述分支对应的序列长度为i的第二收视序列,x表示要预测的请求量,p(x|y1y2…yi)表示所述第二序列次序为i+1的流量值为x的内部概率,N(yi+1=x)表示所述分支第i层节点yi的第i+1层的子节点为x的节点值,N(yi)表示所述分支的第i层的节点yi的节点值;
将所述概率的最大值作为下一次序的流量值;
当处于接入状态的端口的流量阈值小于对应的预测的下一次序的流量值时,分配流量任务给处于未接入状态的端口和处于无状态的端口。
在一个可选实施例中,所述获取端口分配方案的方法包括:
设定时间周期;
通过当前周期之前的一个或多个时间周期的任务平均执行时间根据下式(2)和(3)获得当前周期的预测任务平均执行时间,
Figure BDA0001951749150000071
Figure BDA0001951749150000072
其中,
Figure BDA0001951749150000073
为当前周期预测任务平均执行时间,
Figure BDA0001951749150000074
为第i个周期的任务平均执行时间,t为周期长度,Aib和Aie分别为第i个周期的初始任务数和结束任务数,所述初始任务数和结束任务数包括正在执行的任务和等待执行的任务;
通过当前周期的预测任务平均执行时间根据下式(4)确定等待执行各任务的预期等待时间,
Figure BDA0001951749150000075
其中,tm为机房的任一台交换机的任一个端口的第m个任务的预期等待时间;
判断当前周期内是否存在超过各自预期等待时间的等待任务;
如果存在超过预期等待时间的等待任务,判断是否存在可以使用的处于为未接入状态的端口,如果存在可以实用的处于未接入状态的端口,开启所数处于未接入状态的端口,当未接入状态的端口有多个时,开启与等待任务的数据源距离最近的未接入状态的端口;如果不存在可以使用的处于未接入状态的端口,开启处于无状态的端口;
如果不存在超过预期等待时间的等待任务,判断是否存在处于空闲的接入状态的端口,如果存在所述端口,将所述端口的状态变更为未接入。
优选地,当端口在分配等待任务队列中等待时间超过设定阈值时,所述端口推车等待任务队列,并释放其占用的资源。
在一个可选实施例中,所述获取端口分配方案的方法包括:
所述获取端口分配方案的方法包括:
对等待任务进行排序,得到各等待任务的执行顺序;
通过等待任务耗费资源和机房中各端口剩余资源根据下式(5)按照执行顺序进行依次匹配,将各等待任务分配到各端口,
Figure BDA0001951749150000081
其中,Cm、Sm和Nm分别为第m个任务所需的计算资源、存储资源和网络传输资源,Cn、Sn和Nn分别为第n个端口的剩余计算资源、剩余存储资源和剩余网络传输资源,dmn发出第m个任务的数据源与第n个端口的传输距离,Pmn为第m个任务和第n个端口匹配度,匹配度越小说明匹配程度越高。
优选地,所述对等待任务进行排序的方法包括:
构建神经网络结构,神经网络结构中输入层、隐含层和输出层节点数,n为输入层的节点数,l为隐含层的节点数,m为输出层的节点数;
根据下式(6)和(7)构建神经网络的隐含层和输出层输出的模型,即预测模型,其中:
Figure BDA0001951749150000082
Figure BDA0001951749150000083
其中,wij为输入层第i个节点和隐含层第j个节点的连接权值,wjk为隐含层第j个节点和输出层第k个节点的连接权值,aj为隐含层第j个节点的阈值,bk为输出层第k个节点的阈值,n为输入层的节点数,l为隐含层的节点数,k=1,2…m,m为输出层的节点数,xi为输入层的第i个节点的变量,hj为隐含层第j个节点的输出值,Ok为输出层的第k个节点的输出值,f为激励函数
Figure BDA0001951749150000091
通过每一个端口中的任务记录获得任务时间序列,根据输入层节点数和输出层节点数分成多个子序列,设定一个完整任务时间序列为A=[A1,A2,…,At],则将其转换后的多个子序列为,
Figure BDA0001951749150000092
其中,At为一个端口时刻t的任务,每一行都是一个子序列,将来作为训练集或测试集,每一行中前n列都是输入数据,后m列都是输出数据,将每个端口中每一个任务时间序经过这种预处理后按行合并在一起,形成了样本;
对样本按设定比例按行抽样挑出训练集,其余为测试集;
对神经网络的参数进行初始赋值,所述参数包括隐含层和输出层的连接权值、输入层和隐含层的连接权值、隐含层阈值和输出层阈值;
将训练集代入神经网络隐含层和输出层输出的模型进行训练,得到训练后的神经网络结构;
将等待任务组成等待任务集合,将任一等待任务输入训练后的神经网络结构,当神经网络结构输出的任务属于所述等待任务集合时,将输出的等待任务排列于输入的等待任务之后,如果输出的等待任务不属于等待任务集合,对神经网络进行重新训练。
进一步,优选地上述将训练集代入神经网络隐含层和输出层输出的模型进行训练的方法包括:
步骤1,输入训练集的第一个样本;
步骤2,将样本的输入数据代入公式(1)和(2),计算隐含层各节点的输出和输出层各节点的输出;
步骤3,计算输出层各节点误差,
ek=yk-ok
其中,yk是样本第k个节点的实际值,ok是样本第k个节点的预测值;
步骤4,对神经网络的参数依次进行下式(3)-(6)的更新,其中:
ωij'=ωij+αhj(1-hj)xi (3)
ωjk'=ωjk+αhjek (4)
aj'=aj+αhj(1-hj) (5)
bk'=bk+ek (6)
其中,ωij、ωjk、aj和bk为更新前的神经网络参数,ωij'、ωjk'、aj'和bk'为更新后的神经网络参数;
步骤5,开始训练下一个样本,循环步骤2-5,直到所有训练集样本训练结束;
步骤6,计算测试误差,将测试集的输入数据代入经上述步骤训练后的神经网络,得到所述训练后的神经网络的测试误差MSE,
Figure BDA0001951749150000101
其中,N为测试集样本个数,
Figure BDA0001951749150000102
为测试集样本Z在输出层第k个节点的预测值,
Figure BDA0001951749150000103
为测试集样本Z对应的第k个节点的实际值;
步骤S7,判断神经网络训练是否满足结束条件,其中,所述结束条件包括第一结束条件或/和第二结束条件中的一个或两个,第一结束条件为当前迭代次数大于设定的最大迭代次数,第二结束条件为连续多次迭代时神经网络的测试误差变化小于所设目标值;
如果满足结束条件,在步骤8中,输出满足结束条件的神经网络的结构、权值和阈值信息,得到训练后的预测模型;
如果不满足结束条件,返回步骤9,将训练更新后的神经网络参数返回对神经网络的参数进行初始赋值的步骤进行循环训练,直到满足结束条件。
在本发明的一个可选实施例中,所述获取端口分配方案的方法:
判断等待任务是否各端口的任务记录中;
如果等待任务存在于任务记录中,根据下式(8)确定等待任务的任务值
Ri=αt1+βt2+γC (8)
其中,Ri表示等待任务i的任务值,t1为任务记录中等待任务i到任务启动的平均时间,t2为任务记录中等待任务i从任务启动到任务完成平均耗费时间,C为任务记录中等待任务i的平均耗费资源,α、β和γ分别为t1、t2和C的权重,α+β+γ=1;
如果等待任务不存在于任务记录中,根据下式(9)确定等待任务与任务记录中任务的相似度;筛选出相似度最大的任务记录中的任务,相似度与所述任务根据上述(8)获得的任务值的乘积作为所述等待任务的任务值;
按照任务值进行不同等级的划分,得到任务等级,任务值越小任务等级越高;
按照任务等级从高到低的顺序分配端口。
此外,本发明实施例还提出一种计算机可读存储介质,所述计算机可读存储介质中包括机房端到端容量管理程序,所述机房端到端容量管理程序被处理器执行时实现如下步骤:
采集机房中每个交换机的每个端口的通信数据;
通过各端口的所述通信数据,判断各端口的状态,所述状态包括接入状态、未接入状态和无状态,其中,所述接入状态表示端口正在使用,所述未接入状态表示端口已经占用但未开启,所述无状态表示端口未占用;
获取端口分配方案;
将端口分配方案中预分配的端口中处于无状态的端口状态更新为未接入状态;
预分配的端口开启,端口状态更新为接入状态;
分配方案执行完毕,端口开启之前处于接入和未接入状态的端口分配方案执行完毕后更新为未接入状态,端口开启之前处于无状态的端口分配方案执行完毕后更新为无状态。
本发明之计算机可读存储介质的具体实施方式与上述机房端到端容量管理方法、电子装置的具体实施方式大致相同,在此不再赘述。
上述机房端到端容量管理方法、电子装置及计算机可读存储介质无需人工去机房确认端口状态即可进行端口分配,节约了时间,效率高,降低运维风险。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种机房端到端容量管理方法,其特征在于,包括:
采集机房中每个交换机的每个端口的通信数据;
通过各端口的所述通信数据,判断各端口的状态,所述状态包括接入状态、未接入状态和无状态,其中,所述接入状态表示端口正在使用,所述未接入状态表示端口已经占用但未开启,所述无状态表示端口未占用;
获取端口分配方案;
将端口分配方案中预分配的端口中处于无状态的端口状态更新为未接入状态;
预分配的端口开启,端口状态更新为接入状态;
端口分配方案执行完毕,开启之前处于接入和未接入状态的端口在端口分配方案执行完毕后更新为未接入状态,开启之前处于无状态的端口在端口分配方案执行完毕后更新为无状态。
2.根据权利要求1所述的机房端到端容量管理方法,其特征在于,所述获取端口分配方案的方法包括:优先选择处于无状态的端口,处于无状态的端口无法满足需求时,次选处于未接入状态的端口。
3.根据权利要求1所述的机房端到端容量管理方法,其特征在于,端口资源释放时,预释放端口的端口状态更新为未接入;资源释放完毕,端口关闭,端口状态更新为无状态。
4.根据权利要求1所述的机房端到端容量管理方法,其特征在于,所述获取端口分配方案的方法包括:
根据端口的历史流量数据对未来流量进行预测,包括:
构建各端口不同时刻的流量值的流量时间序列,作为第一序列;
采用至少一种序列长度将所述第一序列划分为多个第二序列,所述第二序列的序列长度短于所述第一序列的序列长度;
根据第二序列构建第一序列的树状图,包括:以第一序列中出现的每一个流量值作为一个根节点,各第二序列中各种流量值组合作为各分支,每一根节点与该根节点相连的各分支构成每一个子树,根节点代表的流量值在第一序列中出现的频数为所述根节点的节点值,从根节点到子节点代表的流量值组合在各第二序列中出现的频数之和为所述子节点的节点值;
预测每一个第二序列下一次序的流量值为第一序列中任一流量值的概率,所述概率根据下式(1)计算,
Figure FDA0003524374090000021
其中,i表示所述第一序列的树状图的层数索引,y1表示树状图的子树的一个根节点,y2,...,yi表示所述子树的根节点y1的一个分支的第2层到第i层的子节点,y1y2...yi表示所述分支对应的序列长度为i的第二序列,x表示要预测的请求量,p(x|y1y2...yi)表示所述第二序列次序为i+1的流量值为x的内部概率,N(yi+1=x)表示所述分支第i层节点yi的第i+1层的子节点为x的节点值,N(yi)表示所述分支的第i层的节点yi的节点值;
将所述概率的最大值作为下一次序的流量值;
当处于接入状态的端口的流量阈值小于对应的预测的下一次序的流量值时,分配流量任务给处于未接入状态的端口和处于无状态的端口。
5.根据权利要求1所述的机房端到端容量管理方法,其特征在于,所述获取端口分配方案的方法包括:
设定时间周期;
通过当前周期之前的一个或多个时间周期的任务平均执行时间根据下式(2)和(3)获得当前周期的预测任务平均执行时间,
Figure FDA0003524374090000022
Figure FDA0003524374090000023
其中,
Figure FDA0003524374090000024
为当前周期预测任务平均执行时间,
Figure FDA0003524374090000025
为第i个周期的任务平均执行时间,t为周期长度,Aib和Aie分别为第i个周期的初始任务数和结束任务数,所述初始任务数和结束任务数包括正在执行的任务和等待执行的任务;
通过当前周期的预测任务平均执行时间根据下式(4)确定等待执行各任务的预期等待时间,
Figure FDA0003524374090000031
其中,tm为机房的任一台交换机的任一个端口的第m个任务的预期等待时间;
判断当前周期内是否存在超过各自预期等待时间的等待任务;
如果存在超过预期等待时间的等待任务,判断是否存在可以使用的处于为未接入状态的端口,如果存在可以使用的处于未接入状态的端口,开启所述处于未接入状态的端口,当未接入状态的端口有多个时,开启与等待任务的数据源距离最近的未接入状态的端口;如果不存在可以使用的处于未接入状态的端口,开启处于无状态的端口;
如果不存在超过预期等待时间的等待任务,判断是否存在处于空闲的接入状态的端口,如果存在所述端口,将所述端口的状态变更为未接入。
6.根据权利要求1所述的机房端到端容量管理方法,其特征在于,所述获取端口分配方案的方法包括:
对等待任务进行排序,得到各等待任务的执行顺序;
通过等待任务耗费资源和机房中各端口剩余资源根据下式(5)按照执行顺序进行依次匹配,将各等待任务分配到各端口,
Figure FDA0003524374090000032
其中,Cm、Sm和Nm分别为第m个任务所需的计算资源、存储资源和网络传输资源,Cn、Sn和Nn分别为第n个端口的剩余计算资源、剩余存储资源和剩余网络传输资源,dmn发出第m个任务的数据源与第n个端口的传输距离,Pmn为第m个任务和第n个端口匹配度,匹配度越小说明匹配程度越高。
7.根据权利要求6所述的机房端到端容量管理方法,其特征在于,所述对等待任务进行排序的方法包括:
构建神经网络结构,神经网络结构中输入层、隐含层和输出层节点数,n为输入层的节点数,l为隐含层的节点数,m为输出层的节点数;
根据下式(6)和(7)构建神经网络的隐含层和输出层输出的模型,即预测模型,其中:
Figure FDA0003524374090000041
Figure FDA0003524374090000042
其中,wij为输入层第i个节点和隐含层第j个节点的连接权值,wjk为隐含层第j个节点和输出层第k个节点的连接权值,aj为隐含层第j个节点的阈值,bk为输出层第k个节点的阈值,n为输入层的节点数,l为隐含层的节点数,k=1,2…m,m为输出层的节点数,xi为输入层的第i个节点的变量,hj为隐含层第j个节点的输出值,Ok为输出层的第k个节点的输出值,f为激励函数
Figure FDA0003524374090000043
通过每一个端口中的任务记录获得任务时间序列,根据输入层节点数和输出层节点数分成多个子序列,设定一个完整任务时间序列为A=[A1,A2,…,At],则将其转换后的多个子序列为,
Figure FDA0003524374090000044
其中,At为一个端口时刻t的任务,每一行都是一个子序列,将来作为训练集或测试集,每一行中前n列都是输入数据,后m列都是输出数据,将每个端口中每一个任务时间序经过这种预处理后按行合并在一起,形成了样本;
对样本按设定比例按行抽样挑出训练集,其余为测试集;
对神经网络的参数进行初始赋值,所述参数包括隐含层和输出层的连接权值、输入层和隐含层的连接权值、隐含层阈值和输出层阈值;
将训练集代入神经网络隐含层和输出层输出的模型进行训练,得到训练后的神经网络结构;
将等待任务组成等待任务集合,将任一等待任务输入训练后的神经网络结构,当神经网络结构输出的任务属于所述等待任务集合时,将输出的等待任务排列于输入的等待任务之后,如果输出的等待任务不属于等待任务集合,对神经网络进行重新训练。
8.根据权利要求1所述的机房端到端容量管理方法,其特征在于,所述获取端口分配方案的方法:
判断等待任务是否存在于各端口的任务记录中;
如果等待任务存在于任务记录中,根据下式(8)确定等待任务的任务值
Ri=αt1+βt2+γC (8)
其中,Ri表示等待任务i的任务值,t1为任务记录中等待任务i到任务启动的平均时间,t2为任务记录中等待任务i从任务启动到任务完成平均耗费时间,C为任务记录中等待任务i的平均耗费资源,α、β和γ分别为t1、t2和C的权重,α+β+γ=1;
如果等待任务不存在于任务记录中,则确定等待任务与任务记录中任务的相似度;筛选出相似度最大的任务记录中的任务,相似度与所述任务根据上述式(8)获得的任务值的乘积作为所述等待任务的任务值;
按照任务值进行不同等级的划分,得到任务等级,任务值越小任务等级越高;
按照任务等级从高到低的顺序分配端口。
9.一种电子装置,其特征在于,包括存储器和处理器,所述存储器中存储有机房端到端容量管理程序,所述机房端到端容量管理程序被所述处理器执行时实现如下步骤:
采集机房中每个交换机的每个端口的通信数据;
通过各端口的所述通信数据,判断各端口的状态,所述状态包括接入状态、未接入状态和无状态,其中,所述接入状态表示端口正在使用,所述未接入状态表示端口已经占用但未开启,所述无状态表示端口未占用;
获取端口分配方案;
将端口分配方案中预分配的端口中处于无状态的端口状态更新为未接入状态;
预分配的端口开启,端口状态更新为接入状态;
端口分配方案执行完毕,开启之前处于接入和未接入状态的端口在端口分配方案执行完毕后更新为未接入状态,开启之前处于无状态的端口在端口分配方案执行完毕后更新为无状态。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中包括有机房端到端容量管理程序,所述机房端到端容量管理程序被处理器执行时,实现如权利要求1至8中任一项权利要求所述机房端到端容量管理方法的步骤。
CN201910053833.7A 2019-01-21 2019-01-21 机房端到端容量管理方法、电子装置及存储介质 Active CN109921957B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910053833.7A CN109921957B (zh) 2019-01-21 2019-01-21 机房端到端容量管理方法、电子装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910053833.7A CN109921957B (zh) 2019-01-21 2019-01-21 机房端到端容量管理方法、电子装置及存储介质

Publications (2)

Publication Number Publication Date
CN109921957A CN109921957A (zh) 2019-06-21
CN109921957B true CN109921957B (zh) 2022-04-22

Family

ID=66960530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910053833.7A Active CN109921957B (zh) 2019-01-21 2019-01-21 机房端到端容量管理方法、电子装置及存储介质

Country Status (1)

Country Link
CN (1) CN109921957B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102932062A (zh) * 2012-10-24 2013-02-13 沈越 智能光纤连接分配系统及适配器端口状态信息标识方法
CN103699440A (zh) * 2012-09-27 2014-04-02 北京搜狐新媒体信息技术有限公司 一种云计算平台系统为任务分配资源的方法和装置
CN104954291A (zh) * 2015-06-30 2015-09-30 瑞斯康达科技发展股份有限公司 一种交换端口分配装置、机箱及交换端口分配方法
CN105323105A (zh) * 2014-08-04 2016-02-10 中兴通讯股份有限公司 一种降低接入网设备的功耗方法及装置
CN105703976A (zh) * 2016-04-11 2016-06-22 浪潮集团有限公司 一种交换机端口状态的监控方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3762402B2 (ja) * 2003-10-07 2006-04-05 キヤノン株式会社 データ処理装置及び方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103699440A (zh) * 2012-09-27 2014-04-02 北京搜狐新媒体信息技术有限公司 一种云计算平台系统为任务分配资源的方法和装置
CN102932062A (zh) * 2012-10-24 2013-02-13 沈越 智能光纤连接分配系统及适配器端口状态信息标识方法
CN105323105A (zh) * 2014-08-04 2016-02-10 中兴通讯股份有限公司 一种降低接入网设备的功耗方法及装置
CN104954291A (zh) * 2015-06-30 2015-09-30 瑞斯康达科技发展股份有限公司 一种交换端口分配装置、机箱及交换端口分配方法
CN105703976A (zh) * 2016-04-11 2016-06-22 浪潮集团有限公司 一种交换机端口状态的监控方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的网络流量识别关键技术研究;李玎;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20190115;全文 *

Also Published As

Publication number Publication date
CN109921957A (zh) 2019-06-21

Similar Documents

Publication Publication Date Title
Zhou et al. Automatic design of scheduling policies for dynamic flexible job shop scheduling via surrogate-assisted cooperative co-evolution genetic programming
Gharbi et al. An algorithmic approach for analysis of finite-source retrial systems with unreliable servers
CN108292241A (zh) 处理计算图
US11544633B2 (en) Method for cleaning up background application, storage medium, and electronic device
WO2022068663A1 (zh) 内存分配方法、相关设备及计算机可读存储介质
CN108431832A (zh) 利用外部存储器扩增神经网络
Alves et al. Upper bounds on performance measures of heterogeneous M/M/c queues
US11334758B2 (en) Method and apparatus of data processing using multiple types of non-linear combination processing
CN110799997B (zh) 工业数据服务、数据建模、以及数据应用平台
JP2007317068A (ja) リコメンド装置およびリコメンドシステム
CN107678531B (zh) 应用清理方法、装置、存储介质及电子设备
CN112906865B (zh) 神经网络架构搜索方法、装置、电子设备及存储介质
CN112256886A (zh) 图谱中的概率计算方法、装置、计算机设备及存储介质
Kulkarni et al. Hybrid approach using simulation-based optimisation for job shop scheduling problems
CN111159481B (zh) 图数据的边预测方法、装置及终端设备
Huang et al. Controlling arrival and service of a two-removable-server system using genetic algorithm
CN111813517A (zh) 任务队列的分配方法、装置、计算机设备及介质
CN108874520A (zh) 计算方法及装置
CN111652282B (zh) 基于大数据的用户偏好分析方法、装置及电子设备
CN109921957B (zh) 机房端到端容量管理方法、电子装置及存储介质
CN109951314B (zh) 机房端口自动分配方法、电子装置及存储介质
CN116822927A (zh) 一种业务流程优化方法、装置及存储介质
CN109542617A (zh) 系统资源的处理方法及装置
Lekadir et al. Error bounds on practical approximation for two tandem queue with blocking and non-preemptive priority
CN107797831B (zh) 后台应用清理方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant