CN113141317A - 流媒体服务器负载均衡方法、系统、计算机设备、终端 - Google Patents

Abstract

本发明属于流媒体技术领域，公开了一种流媒体服务器负载均衡方法、系统、计算机设备、终端，包括：服务器集群中有m个服务节点，此时到达的任务请求数为n，负载均衡器综合多个性能指标加权计算出节点当前负载状况L，通过寻优找到最佳的权重向量ω，使得负载L可以正确反映当前集群系统及各个节点的负载状况，根据动态权重达到均衡地选取最佳节点，使集群具有最大的吞吐量和最少的反应时间。本发明通过收敛速度快、全局搜索能力强的粒子群算法为布谷鸟搜索算法提供初始的种群，利用布谷鸟搜索算法动态得到最佳权重，利用深度学习的算法解决了布谷鸟搜索算法中在后期效率降低、收敛速度较慢的问题，平衡各集群节点负载，提高集群的整体性能。

Description

流媒体服务器负载均衡方法、系统、计算机设备、终端

技术领域

本发明属于流媒体技术领域，尤其涉及一种流媒体服务器负载均衡方法、系统、计算机设备、终端。

背景技术

目前，随着计算机网络、多媒体技术的迅猛发展和互联网的容量、带宽的不断扩展，通过网络传输数字化的多媒体信息逐渐成为信息处理领域的一项重要技术，即流媒体技术。流媒体技术通过把音视频文件压缩编码后存入服务器中，使客户端可以实现上传、下载和在线观看。流媒体技术被广泛应用于视频直播、视频会议、网络授课、远程监控系统中。

当业务量较大时，部署在平台中的流媒体服务器的数量会比较多，因此需要采用负载均衡算法选择当前在流媒体服务器集群中最优的服务器实现流媒体服务。

现有的流媒体服务器集群负载均衡算法，按照负载均衡调度策略的不同，主要可以分为静态负载均衡算法和动态负载均衡算法。

静态负载均衡算法用一种固定的分配模式，按照事先设计的请求调度策略将请求分配给各个服务器节点。较为常见的静态负载均衡算法有轮询法、加权轮询等。

动态负载均衡算法需要实时获取服务器的当前负载状况，并通过一定的规则对负载情况进行计算，进而进行分配。较为常见的动态负载均衡算法有三类：第一类是最小连接算法，负载均衡器通过获取当前各节点的连接数，将新的请求直接分配给当前连接数最小的服务器；第二类是加权最小连接算法，在第一类的基础上，将连接数与节点的性能构成的权值进行比率计算，将新的请求直接分配给权值比率最大的服务器；第三类是动态反馈负载均衡算法，该算法中负载均衡器通过定期各节点负载情况和连接数的更新实时掌握各个节点的状态，以此调整节点的请求分配。

杨炳钊等人在《流媒体负载均衡算法研究与应用》中提出了一种基于节点处理能力和负载组合分配的集群负载均衡算法(DFL)，算法中节点处理能力和节点的负载分别用层次分析法以CPU频率、内存容量、磁盘I/O速率、网络带宽四项指标进行度量；通过引入动态反馈机制，选取当前负载正常的节点根据其处理能力进行任务分配。

王晓彤等人在专利《一种动态周期的媒体服务器负载均衡算法》中提出了一种动态调整周期的负载均衡算法。通过收集服务器节点的负载信息，动态调整周期值，实现周期随负载变化的动态更新。

龙笑等人在《基于布谷鸟算法的Storm集群动态负载均衡策略》中提出了一种基于布谷鸟搜索算法的负载均衡策略，通过布谷鸟搜索算法的寻优过程自适应的确定节点性能权重，以此动态分配任务，并将该策略应用于Storm集群中。

现有的静态负载均衡算法在节点分配过程中，采用固定的分配模式，不考虑各个节点服务器的负载状况，导致其无法根据当前的系统状态调整分配，只适用于任务固定、范围较小的场景。

现有的动态负载均衡算法中，第一类最小连接算法以任务连接数作为衡量节点负载状况的指标，更适用与同构服务集群，在异构服务集群中，由于各个节点的处理性能和服务请求不同，无法反映出当前节点真实的负载状况和处理能力。第二类加权最小算法中采取静态的加权方式，然而当并发量较高时，服务器节点的实时剩余负载能力并不能用初始的权值进行判断，因此会导致负载分配不均衡。第三类动态反馈负载均衡算法虽然采取了在固定周期内读取当前服务器节点负载的方法，经过综合计算分配权值，具有较好的负载能力，但由于周期固定、算法陈旧、过分依赖人的经验，无法满足当前大规模服务器集群和流媒体的高并发、大流量的要求。

杨炳钊等人的算法中，在节点处理能力和负载组合分配上改进了经典的动态负载均衡算法，用多项指标来度量节点的负载和处理能力，在一定程度上弥补了经典算法中对硬件资源依赖程度的分析缺失，但是其对服务能力的衡量方法不够精确，对性能的提升有限。

王晓彤等人的专利中采取动态周期和模拟退火算法来改良经典的动态反馈负载均衡算法，模拟退火算法虽然有着较为优秀的局部搜索能力，但是其全局搜索能力较差且参数难以控制，难以保证一次就收敛至最优值。

龙笑等人提出的算法中，提出了将布谷鸟搜索算法引入到动态负载均衡算法中，用来自适应的确定节点性能权重，有效的减少了集群的响应时间，但是布谷鸟搜索算法有着收敛速度较慢、易陷入局部最优解等问题，在该算法中解决的效果不明显。

流媒体服务器集群目的是给客户端提供流媒体服务，在互联网中实时连续的给用户传输音视频数据，因此有着对实时性要求高、数据量大、需要提供并发访问等特点。

现有的经典负载均衡算法大多不再适用于大规模的流媒体服务器集群，在面对高并发、大流量的流媒体数据表现出速度慢、资源利用率低、负载分配不均衡等现象。而大多数改良的负载均衡算法会因为算法的劣势出现全局搜索能力差、收敛速度慢、精度低等问题，不适用于流媒体服务器集群。因此，亟需一种新的流媒体服务器负载均衡方法。

通过上述分析，现有技术存在的问题及缺陷为：

(1)现有的静态负载均衡算法在节点分配过程中，采用固定的分配模式，不考虑各个节点服务器的负载状况，导致其无法根据当前的系统状态调整分配，只适用于任务固定、范围较小的场景。

(2)现有的动态负载均衡算法中，最小连接算法以任务连接数作为衡量节点负载状况的指标，在异构服务集群中，由于各个节点的处理性能和服务请求不同，无法反映出当前节点真实的负载状况和处理能力。

(3)现有的动态负载均衡算法中，加权最小算法中采取静态的加权方式，然而当并发量较高时，服务器节点的实时剩余负载能力并不能用初始的权值进行判断，因此会导致负载分配不均衡。

(4)现有的动态负载均衡算法中，由于周期固定、算法陈旧、过分依赖人的经验，无法满足当前大规模服务器集群和流媒体的高并发、大流量的要求。

(5)现有算法对服务能力的衡量方法不够精确，对性能的提升有限；局搜索能力较差且参数难以控制，难以保证一次就收敛至最优值；布谷鸟搜索算法有着收敛速度较慢、易陷入局部最优解等问题，解决效果不明显。

(6)现有的经典负载均衡算法大多不再适用于大规模的流媒体服务器集群，在面对高并发、大流量的流媒体数据表现出速度慢、资源利用率低、负载分配不均衡等现象。

(7)大多数改良的负载均衡算法会因为算法的劣势出现全局搜索能力差、收敛速度慢、精度低等问题，不适用于流媒体服务器集群。

解决以上问题及缺陷的难度为：现阶段对流媒体服务器集群的负载均衡大多使用的是经典算法，应用于其他服务器集群的算法使用于流媒体服务器集群时会出现收敛速度慢、资源利用率低、负载分配不均衡等缺点，不适用于高并发、大流量的流媒体服务器集群

解决以上问题及缺陷的意义为：可以有效改善当前陈旧的流媒体服务器集群负载均衡方法，将求解最优化问题的搜索算法和深度学习相结合，有效的解决了算法的快速收敛问题，并将其应用于流媒体服务器集群的负载均衡算法中，能够提高集群的整体性能。

发明内容

针对现有技术存在的问题，本发明提供了一种流媒体服务器负载均衡方法、系统、计算机设备、终端。

本发明是这样实现的，一种流媒体服务器负载均衡方法，所述流媒体服务器负载均衡方法，包括：服务器集群中有m个服务节点，此时到达的任务请求数为n，负载均衡器综合多个性能指标加权计算出节点当前负载状况L，通过寻优找到最佳的权重向量ω，使得负载L可以正确反映当前集群系统及各个节点的负载状况，根据动态权重达到均衡地选取最佳节点，使集群具有最大的吞吐量和最快的反应时间。

进一步，所述流媒体服务器负载均衡方法包括以下步骤：

步骤一，选取服务器节点的综合负载指标，计算当前的负载情况。该步骤用以获取当前的负载情况；

步骤二，初始化粒子群算法相关参数，采用粒子群算法选取适应度最小的 20％粒子作为初始种群。该步骤通过收敛速度快、全局搜索能力强的粒子群算法为布谷鸟搜算算法提供初始的种群，可以有效提高整体的收敛速度；

步骤三，初始化改进的布谷鸟算法的初始状态的相关参数，在迭代过程中寻找最优解，采用深度学习算法实现步长的动态更新，并动态调整学习率，直到达到最大迭代次数或者寻找到满足条件的解，得到最终的最优解。该步骤用深度学习算法解决了布谷鸟搜算算法在后期效率降低、收敛速度慢的问题，用以得到最优的权重向量；

步骤四，根据步骤三中生成的最优解，即最优权重向量，计算负载和分配权重，得到最终的任务分配权重向量，指导服务器节点的任务调度。该步骤用以得到新任务分配的权重，得到最优的任务调度方法。

进一步，步骤一中，所述选取服务器节点的综合负载指标，计算当前的负载情况，包括：

(1)选取对流媒体服务器节点影响较大的CPU占用率K₁、内存使用率K₂、磁盘IO使用率K₃和网络带宽占用率K₄四个指标作为综合负载指标；

(2)根据指标利用公式(1)计算当前各节点S_i＝{S₁，S₂，…，S_n}的负载情况 L(S_i)：

其中，i＝1，2，…，m；K_j为A1中选取的负载指标，j＝1，2，3，4；ω为指标对应的权重向量，且∑ω＝1；ω_j为负载指标K_j所对应的权重；

(3)利用公式(2)计算当前各节点的分配权重W(S_i)：

其中，

为当前服务器集群的平均负载情况。

进一步，步骤二中，所述初始化粒子群算法相关参数，采用粒子群算法选取适应度最小的20％粒子作为初始种群，包括：

(1)设置最大迭代次数，初始化粒子的初始位置和初始速度；其中，每个粒子的初始位置、速度服从均匀分布；

(2)根据适应度函数公式(3)计算粒子i的适应度F_i，即最大完成时间，并得到粒子i当前解p_best和全局最优解g_best，g_best即适应度最低的解：

F_i＝max(T_i，i＝1，2，…，n)＝max(A_i+C_i，i＝1，2，…，n) (3)

p_best＝argmaxT_i,i＝1,2,...,n (4-1)

g_best＝argminF (4-2)

其中，T_i为任务的总计时间，A_i为任务的等待时间，C_i为任务的执行时间；

(3)根据公式(5)更新粒子速度：

v_i＝δv_i+c₁rand1(0，1)(p_best-x_i)+c₂rand2(0，1)(g_best-x_i) (5)

其中，δ为惯性因子，其值非负，δ较大时，便于寻找全局最优解，δ较小时，便于寻找局部最优解；c₁和c₂为加速常数，设置为c₁＝c₂＝2；rand1(0，1)和 rand2(0，1)为区间[0，1]上的随机数；

(4)根据公式(6)更新粒子位置：

x_i＝x_i+v_i (6)

(5)若达到迭代次数，则进入步骤三，否则，回到步骤(2)。

进一步，步骤三中，所述初始化改进的布谷鸟算法的初始状态的相关参数；在迭代过程中寻找最优解，采用深度学习算法实现步长的动态更新，并动态调整学习率，直到达到最大迭代次数或者寻找到满足条件的解，得到最终的最优解，包括：

(1)根据获得的适应度最小的20％的粒子作为初始种群，初始化布谷鸟的鸟巢个数为N，每个鸟巢位置X代表D维空间的一个解，X＝(x₁，x₂…，x_i…x_D)，x_i表示D维空间某一分量的值，鸟蛋被发现的概率为P₀，最大迭代次数为T_max，步长的初始值为α₀，随机选择鸟巢的位置，则鸟巢位置更新公式(7)如下：

其中，

和

分别表示鸟巢x_i的第t代和第t+1代的值，α为步长，Levy(λ) 代表Levy飞行，是一个随机数，服从Levy概率分布，分布如公式(8)所示：

(2)判断是否未达到最大迭代次数或当前搜索未实现收敛；若是，进入步骤(4)，否则进入步骤(3)；

(3)当前所得的解ω即为最优的权重向量，利用公式(1)计算当前各节点的负载状况L(S_i)，再利用公式(2)计算当前各节点的分配权重W(S_i)，根据权重指导当前请求的分配；

(4)引入深度学习中的Adam优化算法，计算当前的动态步长；其中，所述布谷鸟搜索算法的步长α计算如公式(9)所示：

其中，α₀是一个常数，通常可以取0.01，

表示分量x_i的第t代值，x_best代表当前整个种群找到的全局最优解；

(5)根据布谷鸟位置更新公式，即公式(7)，得到布谷鸟鸟巢位置的新解ω′；

(6)通过公式(13)判断ω′是否为更优解，若为更优，则保留ω′更新为ω，并回到步骤(2)，若不为更优，则进入步骤(7)；

(7)随机产生一个随机的发现概率P，P∈[0，1]，将P与初始设定的鸟蛋被发现的概率P₀进行比较，若P＞P₀，则进入步骤(8)，否则不变，回到步骤(2)；

(8)根据布谷鸟的局部随机游走公式(14)，对解进行随机更新，产生新解ω″；

为随机选择的两个鸟巢位置：

(9)根据公式(13)判断ω″是否更优，若更优，则保留解ω″并更新为ω，否则不变，返回步骤(2)。

进一步，步骤(4)中，所述Adam优化算法是RMSprop和Momentum算法的结合，其对一阶动量采用指数平均计算；在迭代初始阶段，由于存在一个向初值的偏移；因此，可以对一阶和二阶动量做偏置校正，优化后的步长更新方式如式(10)所示：

其中，Δα为步长更新的大小，Δα_t-1为前一个时刻步长更新的大小，β为权重，η为学习率，v_dx为x方向上速度的变化，v_dy为y方向上速度的变化，∈是一个防止分母为0的极小值。

进一步，步骤(6)中，为有效判断获得的权重向量是否为更优，设 T＝{t₁，t₂，…，t_n}表示待处理的请求任务集合，n表示到达的任务请求数， S_i＝{S₁，S₂，…，S_n}表示集群所包含的流媒体服务器节点，m表示节点个数，将连接请求的集合在服务器集群中的理论执行时间用如下矩阵表示：

其中，ETC_ij表示任务t_i在节点S_j上的执行时间。

随着任务的不断分派，未完成的任务数将越来越少，节点的负载也在不断增加，因此引入任务完成率θ和负载因子γ，将任务的理论完成时间更新为式(12) 所示：

ETC(t_i′，S_j)＝θ·γ·ETC(t₀，S_j)+(1-θ)ETC(t_i，S_j) (12)

根据定义用来评估解是否更优的函数，函数值越小，解越优，如式(13)所示：

进一步，步骤四中，所述根据步骤三中生成的最优解，即最优权重向量，计算负载和分配权重，得到最终的任务分配权重向量，指导服务器节点的任务调度，包括：

(1)根据步骤三中生成的最优解，即最优权重向量，利用公式(1)计算当前各节点S_i的负载情况L(S_i)；

(2)由于每次的请求分配不仅只有一条请求，而是对多条请求的处理，随着任务的不断分配，节点的负载情况也会在不断增加，因此需要综合当前负载和节点任务分配历史对权重进行分配，引入历史分配因子μ，对公式(2)进行改进，其中n为任务个数，n′为当前分配在该节点的任务个数；计算当前各节点的分配权重W(S_i)：

(3)根据步骤(2)中所得的分配权重W(S_i)，进行服务器节点的任务调度。

本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：服务器集群中有m个服务节点，此时到达的任务请求数为n，负载均衡器综合多个性能指标加权计算出节点当前负载状况L，通过寻优找到最佳的权重向量ω，使得负载L可以正确反映当前集群系统及各个节点的负载状况，根据动态权重达到均衡地选取最佳节点，使集群具有最大的吞吐量和最快的反应时间。

本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的流媒体服务器负载均衡方法

本发明的另一目的在于提供一种应用所述的流媒体服务器负载均衡方法的基于改进的布谷鸟搜索算法的流媒体服务器负载均衡系统，所述基于改进的布谷鸟搜索算法的流媒体服务器负载均衡系统包括：流媒体服务器集群、边缘服务器集群和边缘服务器的负载均衡器。

流媒体服务器集群，架构在物联网服务平台之上，用于进行流媒体的数据转发，处理来自用户客户端的推流信息并保存在服务器之上，处理来自设备端的拉流信息并选择最优节点为设备进行拉流；

边缘服务器集群，由大量服务器组成，用于处理来自设备的拉流请求，并从源站拉流；

边缘服务器的负载均衡器，用于进行周期性收集当前各边缘服务器节点的性能参数，同时接收数据的连接请求，并根据请求信息和各节点的性能参数利用负载均衡算法，将用户的任务请求转发给集群系统中的服务器节点进行处理。

进一步，所述流媒体服务器集群分为源站服务器集群和边缘服务器集群，其中源站服务器集群用于处理来自用户的流媒体中推流的请求，以少量的主从式服务器架构构成。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的流媒体服务器负载均衡方法，通过收敛速度快、全局搜索能力强的粒子群算法为布谷鸟搜索算法提供初始的种群，利用布谷鸟搜索算法动态得到最佳权重，并利用深度学习的算法解决了布谷鸟搜索算法中在后期效率降低、收敛速度较慢的问题。

本发明在流媒体服务器集群的负载均衡算法中引入布谷鸟搜索算法，并将布谷鸟搜索算法和粒子群搜索算法相结合，弥补算法在收敛速度和全局搜索能力上的缺陷；动态确定最优权重向量，并采用深度学习中的Adam优化算法对搜索步长进行动态更新；得到最有权重向量后，通过引入历史分配因子改进的分配权重的方法；由源站服务器集群和边缘服务器集群组成的流媒体服务器集群，该集群架构在物联网服务平台上，负责流媒体的数据传递。

针对流媒体服务器集群规模大和流媒体数据高并发、大流量的要求，本发明通过引入标准粒子群算法改进布谷鸟搜索算法动态得到最佳权重，并利用深度学习实现飞行步长的动态优化，使算法能在收敛过程中快速寻找合适步长，快速达到全局最优的收敛位置，从而使负载均衡器将用户的任务请求转发给最佳节点进行处理，以平衡各个集群节点的负载，提高集群的整体性能。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的流媒体服务器负载均衡方法流程图。

图2是本发明实施例提供的于改进的布谷鸟搜索算法的流媒体服务器负载均衡系统架构图。

图3是本发明实施例提供的负载均衡模型图。

图4是本发明实施例提供的仿真网络模型示意图。

图5是本发明实施例提供的响应时间对比图(纵坐标为bits/s)。

图6是本发明实施例提供的服务器负载对比图(纵坐标为bits/s)。

图7、图8分别为每种方法4个服务器的CPU使用率对比图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种流媒体服务器负载均衡方法、系统、计算机设备、终端，下面结合附图对本发明作详细的描述。

本发明实施例提供的流媒体服务器负载均衡方法，包括：服务器集群中有m 个服务节点，此时到达的任务请求数为n，负载均衡器综合多个性能指标加权计算出节点当前负载状况L，通过寻优找到最佳的权重向量ω，使得负载L可以正确反映当前集群系统及各个节点的负载状况，根据动态权重达到均衡地选取最佳节点，使集群具有最大的吞吐量和最快的反应时间。

如图1所示，本发明实施例提供的流媒体服务器负载均衡方法包括以下步骤：

S101，选取服务器节点的综合负载指标，计算当前的负载情况；

S102，初始化粒子群算法相关参数，采用粒子群算法选取适应度最小的20％粒子作为初始种群；

S103，初始化改进的布谷鸟算法的初始状态的相关参数；在迭代过程中寻找最优解，采用深度学习算法实现步长的动态更新，并动态调整学习率，直到达到最大迭代次数或者寻找到满足条件的解，得到最终的最优解；

S104，根据S103中生成的最优解，即最优权重向量，计算负载和分配权重，得到最终的任务分配权重向量，指导服务器节点的任务调度。

下面结合术语解释对本发明的技术方案作进一步的描述。

流媒体服务器：对流媒体内容进行采集、缓存、调度和传输播放的服务器；

集群：通过一组松散集成的计算机软件或硬件连接起来高度紧密地协作完成计算工作；

负载均衡：将负载进行平衡、分摊到多个操作单元上运行，例如FTP服务器、 Web服务器、企业核心应用服务器和其它主要任务服务器等，从而协同完成工作任务；

布谷鸟搜索算法：通过模拟某些种属布谷鸟的寄生育雏，来有效地求解最优化问题的算法；

粒子群算法：一种基于群体智能的全局随机搜索算法，通过设计一种无质量的粒子来模拟鸟群中的鸟，用于解决最优化问题；

深度学习：机器学习的一种，通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示；

推流：指把采集阶段封包好的内容传输到服务器的过程；

拉流：指服务器已有直播内容，用指定地址进行拉取的过程。

下面结合实施例对本发明的技术方案作进一步的描述。

实施例1

1、为了优化算法的收敛速度和全局搜索能力，本发明提供了一种基于改进的布谷鸟搜索算法的流媒体服务器集群负载均衡算法。通过收敛速度快、全局搜索能力强的粒子群算法为布谷鸟搜索算法提供初始的种群，利用布谷鸟搜索算法动态得到最佳权重，并利用深度学习的算法解决了布谷鸟搜索算法中在后期效率降低、收敛速度较慢的问题。

2、本发明的系统架构，如图2所示。流媒体服务器集群架构在物联网服务平台之上，主要负责流媒体的数据转发，负责处理来自用户客户端的推流信息并保存在服务器之上，负责处理来自设备端的拉流信息并选择最优节点为设备进行拉流。该集群主要分为源站服务器集群和边缘服务器集群，其中源站服务器集群用于处理来自用户的流媒体中推流的请求，以少量的主从式服务器架构构成。边缘服务器集群由大量服务器组成，负责处理来自设备的拉流请求，并从源站拉流。边缘服务器的负载均衡器负责周期性收集当前各边缘服务器节点的性能参数，同时负责接收数据的连接请求，并根据请求信息和各节点的性能参数利用负载均衡算法，将用户的任务请求转发给集群系统中的服务器节点进行处理，以平衡各个集群节点的负载，提高集群的整体性能。

本发明中的负载均衡模型可以描述为：服务器集群中有m个服务节点，此时到达的任务请求数为n，负载均衡器综合多个性能指标加权计算出节点当前负载状况L，通过寻优找到最佳的权重向量ω，使得负载L可以正确反映当前集群系统及各个节点的负载状况，根据动态权重达到均衡地选取最佳节点，使集群具有最大的吞吐量和最快的反应时间。其流程图如图3所示。

算法的具体步骤为：

A.选取服务器节点的综合负载指标，计算当前的负载情况。

B.初始化粒子群算法相关参数，采用粒子群算法选取适应度最小的20％粒子作为初始种群。

C.初始化改进的布谷鸟算法的初始状态的相关参数。在迭代过程中寻找最优解，采用深度学习算法实现步长的动态更新，并动态调整学习率，直到达到最大迭代次数或者寻找到满足条件的解，得到最终的最优解。

D.根据步骤C中生成的最优解，即最优权重向量，计算负载和分配权重，得到最终的任务分配权重向量，指导服务器节点的任务调度。

步骤A具体为：

A1.选取对流媒体服务器节点影响较大的CPU占用率K₁、内存使用率K₂、磁盘IO使用率K₃和网络带宽占用率K₄四个指标作为综合负载指标。

A2.根据指标利用公式(1)计算当前各节点S_i＝{S₁，S₂，…，S_n}的负载情况L(S_i)，其中i＝1，2，…，m。式中K_j为A1中选取的负载指标，j＝1，2，3，4。ω为指标对应的权重向量，且∑ω＝1。ω_j为负载指标K_j所对应的权重。

A3.利用公式(2)计算当前各节点的分配权重W(S_i)。其中

为当前服务器集群的平均负载情况。

步骤B具体为：

B1.设置最大迭代次数，初始化粒子的初始位置和初始速度。每个粒子的初始位置、速度服从均匀分布。

B2.根据适应度函数公式(3)计算粒子i的适应度F_i，即最大完成时间，并得到粒子i当前解p_best和全局最优解g_best，g_best即适应度最低的解：。

F_i＝max(T_i，i＝1，2，…，n)＝max(A_i+C_i，i＝1，2，…，n) (3)

p_best＝argmaxT_i,i＝1,2,...,n (4-1)

g_best＝argminF (4-2)

其中，T_i为任务的总计时间，A_i为任务的等待时间，C_i为任务的执行时间。

B3.根据公式(5)更新粒子速度。

v_i＝δv_i+c₁rand1(0，1)(p_best-x_i)+c₂rand2(0，1)(g_best-x_i) (5)

其中，δ为惯性因子，其值非负，δ较大时，便于寻找全局最优解，δ较小时，便于寻找局部最优解。c₁和c₂为加速常数，通常设置为c₁＝c₂＝2。rand1(0，1) 和rand2(0，1)为区间[0，1]上的随机数。

B4.根据公式(6)更新粒子位置。

x_i＝x_i+v_i (6)

B5.若达到迭代次数，则进入步骤C，否则，回到步骤B2。

步骤C具体为：

C1.根据步骤B中获得的适应度最小的20％的粒子作为初始种群，初始化布谷鸟的鸟巢个数为N，每个鸟巢位置X代表D维空间的一个解，X＝(x₁，x₂…，x_i…x_D)， x_i表示D维空间某一分量的值，鸟蛋被发现的概率为P₀，最大迭代次数为T_max，步长的初始值为α₀，随机选择鸟巢的位置。

则鸟巢位置更新公式(7)如下：

其中，

和

分别表示鸟巢x_i的第t代和第t+1代的值，α为步长，Levy(λ) 代表Levy飞行，是一个随机数，它服从Levy概率分布，分布如公式(8)所示：

C2.判断是否未达到最大迭代次数或当前搜索未实现收敛，若是，进入步骤 C4，否则进入步骤C3。

C3.当前所得的解ω即为最优的权重向量，利用公式(1)计算当前各节点的负载状况L(S_i)，再利用公式(2)计算当前各节点的分配权重W(S_i)，根据权重指导当前请求的分配。

C4.引入深度学习中的Adam优化算法，计算当前的动态步长。

布谷鸟搜索算法的步长α计算如公式(9)所示，其中α₀是一个常数，通常可以取0.01，

表示分量x_i的第t代值，x_best代表当前整个种群找到的全局最优解。

Adam优化算法是RMSprop和Momentum算法的结合，其对一阶动量采用指数平均计算。在迭代初始阶段，由于存在一个向初值的偏移。因此，可以对一阶和二阶动量做偏置校正。因此其优化后的步长更新方式如式(10)所示：

其中，Δα为步长更新的大小，Δα_t-1为前一个时刻步长更新的大小，β为权重，η为学习率，v_dx为x方向上速度的变化，v_dy为y方向上速度的变化，∈是一个防止分母为0的极小值。

C5.根据布谷鸟位置更新公式，即公式(7)，得到布谷鸟鸟巢位置的新解ω′。

C6.通过公式(13)判断ω′是否为更优解，若为更优，则保留ω′更新为ω，并回到步骤C2，若不为更优，则进入步骤C7。

为有效判断获得的权重向量是否为更优，设T＝{t₁，t₂，…，t_n}表示待处理的请求任务集合，n表示到达的任务请求数，S_i＝{S₁，S₂，…，S_n}表示集群所包含的流媒体服务器节点，m表示节点个数，将连接请求的集合在服务器集群中的理论执行时间用如下矩阵表示：

其中，ETC_ij表示任务t_i在节点S_j上的执行时间。

随着任务的不断分派，未完成的任务数将越来越少，节点的负载也在不断增加，因此引入任务完成率θ和负载因子γ，将任务的理论完成时间更新为式(12) 所示：

ETC(t_i′，S_j)＝θ·γ·ETC(t₀，S_j)+(1-θ)ETC(t_i，S_j) (12)

因此可以根据定义一个用来评估解是否更优的函数，函数值越小，解越优，如式(13)所示：

C7.随机产生一个随机的发现概率P，P∈[0，1]，将P与初始设定的鸟蛋被发现的概率P₀进行比较，若P＞P₀，则进入步骤C8，否则不变，回到步骤C2。

C8.根据布谷鸟的局部随机游走公式(14)，对解进行随机更新，产生新解ω″。

为随机选择的两个鸟巢位置：

C9.根据公式(13)判断ω″是否更优，若更优，则保留解ω″并更新为ω，否则不变，返回步骤C2。

步骤D具体为：

D1.根据步骤C中生成的最优解，即最优权重向量，利用公式(1)计算当前各节点S_i的负载情况L(S_i)。

D2.由于每次的请求分配不仅只有一条请求，而是对多条请求的处理，随着任务的不断分配，节点的负载情况也会在不断增加，因此需要综合当前负载和节点任务分配历史对权重进行分配，引入历史分配因子μ，对公式(2)进行改进，其中n为任务个数，n′为当前分配在该节点的任务个数。计算当前各节点的分配权重W(S_i)：

D3.根据D2中所得的分配权重W(S_i)，进行服务器节点的任务调度。

3、本发明在流媒体服务器集群的负载均衡算法中引入布谷鸟搜索算法，并将布谷鸟搜索算法和粒子群搜索算法相结合，弥补算法在收敛速度和全局搜索能力上的缺陷。动态确定最优权重向量，并采用深度学习中的Adam优化算法对搜索步长进行动态更新。得到最有权重向量后，通过引入历史分配因子改进的分配权重的方法。由源站服务器集群和边缘服务器集群组成的流媒体服务器集群，该集群架构在物联网服务平台上，负责流媒体的数据传递。

实施例2

采用本发明中提出的算法进行仿真，仿真工具版本为OPNET14.5和 MATLAB，使用MATLAB实现部分实验数值的仿真，OPNET搭建网络模型。 OPNET网络模型结构如图4所示。

在仿真中，设定了4台服务器，且每台服务器与负载均衡器间通过1000BaseX 连接，保证服务集群内的传输效率不会受到限制。客户端包含在10个子网中，每个子网包含30台客户端。

对比本发明中改进的负载均衡方法、经典动态反馈算法与龙笑等人的负载均衡算法，结果如图5图6所示。

图5为平均响应时间结果图，其横坐标为时间，单位为m(分钟)，纵坐标为平均延时，单位为s。图中method1、2、3分别为经典动态反馈算法、龙笑等人的负载均衡算法和本发明中改进的负载均衡方法。图6、图7、图8分别为每种方法 4个服务器的CPU使用率对比图，其横坐标为时间，单位为m(分钟)，纵坐标为 CPU使用率，单位为％。从图5中可以看出，本发明中初始表现不如其他两种方法，但随着请求数的增加，本发明方法的响应时间逐渐开始低于其他两者。这是由于初始时节点可提供资源相同，服务器的负载较低，经典算法更有优势，而随着连接数的增加和节点资源的变化，经典算法的负载压力骤增，如图6、图 7、图8所见，表现出分配不均衡的状态。另一种算法虽然相比较经典算法有所提升，但是随着请求数的增加，本发明的方法表现出比其更快的系统响应时间和更好的负载均衡。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种流媒体服务器负载均衡方法，其特征在于，所述流媒体服务器负载均衡方法服务器集群中有m个服务节点，此时到达的任务请求数为n，负载均衡器综合多个性能指标加权计算出节点当前负载状况L，通过寻优找到最佳的权重向量ω，使得负载L可以正确反映当前集群系统及各个节点的负载状况，根据动态权重达到均衡地选取最佳节点，使集群具有最大的吞吐量和最少的反应时间。

2.如权利要求1所述的流媒体服务器负载均衡方法，其特征在于，所述流媒体服务器负载均衡方法包括以下步骤：

步骤一，选取服务器节点的综合负载指标，计算当前的负载情况；

步骤二，初始化粒子群算法相关参数，采用粒子群算法选取适应度最小的20％粒子作为初始种群；

步骤三，初始化改进的布谷鸟算法的初始状态的相关参数；在迭代过程中寻找最优解，采用深度学习算法实现步长的动态更新，并动态调整学习率，直到达到最大迭代次数或者寻找到满足条件的解，得到最终的最优解；

步骤四，根据步骤三中生成的最优解，即最优权重向量，计算负载和分配权重，得到最终的任务分配权重向量，指导服务器节点的任务调度。

3.如权利要求2所述的流媒体服务器负载均衡方法，其特征在于，步骤一中，所述选取服务器节点的综合负载指标，计算当前的负载情况，包括：

(1)选取对流媒体服务器节点影响较大的CPU占用率K₁、内存使用率K₂、磁盘IO使用率K₃和网络带宽占用率K₄四个指标作为综合负载指标；

(2)根据指标利用公式计算当前各节点S_i＝{S₁，S₂，…，S_n}的负载情况L(S_i)：

其中，i＝1，2，…，m；K_j为A1中选取的负载指标，j＝1，2，3，4；ω为指标对应的权重向量，且∑ω＝1；ω_j为负载指标K_j所对应的权重；

(3)利用公式计算当前各节点的分配权重W(S_i)：

其中，

为当前服务器集群的平均负载情况。

4.如权利要求2所述的流媒体服务器负载均衡方法，其特征在于，步骤二中，所述初始化粒子群算法相关参数，采用粒子群算法选取适应度最小的20％粒子作为初始种群，包括：

(1)设置最大迭代次数，初始化粒子的初始位置和初始速度；其中，每个粒子的初始位置、速度服从均匀分布；

(2)根据适应度函数公式计算粒子i的适应度F_i，即最大完成时间，并得到粒子i当前解p_best和全局最优解g_best，g_best即适应度最低的解：

F_i＝max(T_i，i＝1，2，…，n)＝max(A_i+C_i，i＝1，2，…，n)；

p_best＝argmaxT_i，i＝1，2，...，n；

g_best＝argminF；

其中，T_i为任务的总计时间，A_i为任务的等待时间，C_i为任务的执行时间；

(3)根据公式更新粒子速度：

v_i＝δv_i+c₁rand1(0，1)(p_best-x_i)+c₂rand2(0，1)(g_best-x_i)；

其中，δ为惯性因子，其值非负，δ较大时，便于寻找全局最优解，δ较小时，便于寻找局部最优解；c₁和c₂为加速常数，设置为c₁＝c₂＝2；rand1(0，1)和rand2(0，1)为区间[0，1]上的随机数；

(4)根据公式更新粒子位置：

x_i＝x_i+v_i；

(5)若达到迭代次数，则进入步骤三，否则，回到步骤(2)。

5.如权利要求2所述的流媒体服务器负载均衡方法，其特征在于，步骤三中，所述初始化改进的布谷鸟算法的初始状态的相关参数；在迭代过程中寻找最优解，采用深度学习算法实现步长的动态更新，并动态调整学习率，直到达到最大迭代次数或者寻找到满足条件的解，得到最终的最优解，包括：

(1)根据获得的适应度最小的20％的粒子作为初始种群，初始化布谷鸟的鸟巢个数为N，每个鸟巢位置X代表D维空间的一个解，X＝(x₁，x₂…，x_i…x_D)，x_i表示D维空间某一分量的值，鸟蛋被发现的概率为P₀，最大迭代次数为T_max，步长的初始值为α₀，随机选择鸟巢的位置，则鸟巢位置更新公式如下：

其中，

和

分别表示鸟巢x_i的第t代和第t+1代的值，α为步长，Levy(λ)代表Levy飞行，是一个随机数，服从Levy概率分布，分布如公式所示：

(2)判断是否未达到最大迭代次数或当前搜索未实现收敛；若是，进入步骤(4)，否则进入步骤(3)；

(3)当前所得的解ω即为最优的权重向量，利用公式

计算当前各节点的负载状况L(S_i)，再利用公式

计算当前各节点的分配权重W(S_i)，根据权重指导当前请求的分配；

(4)引入深度学习中的Adam优化算法，计算当前的动态步长；其中，所述布谷鸟搜索算法的步长α计算如公式所示：

其中，α₀是一个常数，通常可以取0.01，

表示分量x_i的第t代值，x_best代表当前整个种群找到的全局最优解；

(5)根据布谷鸟位置更新公式，即公式

得到布谷鸟鸟巢位置的新解ω′；

(6)通过公式

判断ω′是否为更优解，若为更优，则保留ω′更新为ω，并回到步骤(2)，若不为更优，则进入步骤(7)；

(7)随机产生一个随机的发现概率P，P∈[0，1]，将P与初始设定的鸟蛋被发现的概率P₀进行比较，若P＞P₀，则进入步骤(8)，否则不变，回到步骤(2)；

(8)根据布谷鸟的局部随机游走公式

对解进行随机更新，产生新解ω″；

为随机选择的两个鸟巢位置；

(9)根据公式

判断ω″是否更优，若更优，则保留解ω″并更新为ω，否则不变，返回步骤(2)。

6.如权利要求5所述的流媒体服务器负载均衡方法，其特征在于，步骤(4)中，所述Adam优化算法是RMSprop和Momentum算法的结合，其对一阶动量采用指数平均计算；在迭代初始阶段，由于存在一个向初值的偏移；因此，可以对一阶和二阶动量做偏置校正，优化后的步长更新方式如式所示：

其中，Δα为步长更新的大小，Δα_t-1为前一个时刻步长更新的大小，β为权重，η为学习率，v_dx为x方向上速度的变化，v_dy为y方向上速度的变化，∈是一个防止分母为0的极小值。

7.如权利要求5所述的流媒体服务器负载均衡方法，其特征在于，步骤(6)中，为有效判断获得的权重向量是否为更优，设T＝{t₁，t₂，…，t_n}表示待处理的请求任务集合，n表示到达的任务请求数，S_i＝{S₁，S₂，…，S_n}表示集群所包含的流媒体服务器节点，m表示节点个数，将连接请求的集合在服务器集群中的理论执行时间用如下矩阵表示：

其中，ETC_ij表示任务t_i在节点S_j上的执行时间；

随着任务的不断分派，未完成的任务数将越来越少，节点的负载也在不断增加，因此引入任务完成率θ和负载因子γ，将任务的理论完成时间更新为式所示：

ETC(t_i′，S_j)＝θ·γ·ETC(t₀，S_j)+(1-θ)ETC(t_i，S_j)；

根据定义用来评估解是否更优的函数，函数值越小，解越优，如式所示：

所述根据步骤三中生成的最优解，即最优权重向量，计算负载和分配权重，得到最终的任务分配权重向量，指导服务器节点的任务调度，包括：

(1)根据步骤三中生成的最优解，即最优权重向量，利用公式

计算当前各节点S_i的负载情况L(S_i)；

(2)由于每次的请求分配不仅只有一条请求，而是对多条请求的处理，随着任务的不断分配，节点的负载情况也会在不断增加，因此需要综合当前负载和节点任务分配历史对权重进行分配，引入历史分配因子μ，对公式

进行改进，其中n为任务个数，n′为当前分配在该节点的任务个数；计算当前各节点的分配权重W(S_i)：

(3)根据步骤(2)中所得的分配权重W(S_i)，进行服务器节点的任务调度。

8.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：服务器集群中有m个服务节点，此时到达的任务请求数为n，负载均衡器综合多个性能指标加权计算出节点当前负载状况L，通过寻优找到最佳的权重向量ω，使得负载L可以正确反映当前集群系统及各个节点的负载状况，根据动态权重达到均衡地选取最佳节点，使集群具有最大的吞吐量和最少的反应时间。

9.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现权利要求1～7任意一项所述的流媒体服务器负载均衡方法。

10.一种应用如权利要求1～7任意一项所述的流媒体服务器负载均衡方法的基于改进的布谷鸟搜索算法的流媒体服务器负载均衡系统，其特征在于，所述基于改进的布谷鸟搜索算法的流媒体服务器负载均衡系统包括：流媒体服务器集群、边缘服务器集群和边缘服务器的负载均衡器；

流媒体服务器集群，架构在物联网服务平台之上，用于进行流媒体的数据转发，处理来自用户客户端的推流信息并保存在服务器之上，处理来自设备端的拉流信息并选择最优节点为设备进行拉流；

边缘服务器集群，由大量服务器组成，用于处理来自设备的拉流请求，并从源站拉流；

边缘服务器的负载均衡器，用于进行周期性收集当前各边缘服务器节点的性能参数，同时接收数据的连接请求，并根据请求信息和各节点的性能参数利用负载均衡算法，将用户的任务请求转发给集群系统中的服务器节点进行处理。

Images