CN113507618A - 一种直播系统自动扩缩容方法及系统 - Google Patents

一种直播系统自动扩缩容方法及系统 Download PDF

Info

Publication number
CN113507618A
CN113507618A CN202110738161.0A CN202110738161A CN113507618A CN 113507618 A CN113507618 A CN 113507618A CN 202110738161 A CN202110738161 A CN 202110738161A CN 113507618 A CN113507618 A CN 113507618A
Authority
CN
China
Prior art keywords
capacity
expansion
live broadcast
detection index
servers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110738161.0A
Other languages
English (en)
Inventor
沙晓强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weimeng Chuangke Network Technology China Co Ltd
Original Assignee
Weimeng Chuangke Network Technology China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weimeng Chuangke Network Technology China Co Ltd filed Critical Weimeng Chuangke Network Technology China Co Ltd
Priority to CN202110738161.0A priority Critical patent/CN113507618A/zh
Publication of CN113507618A publication Critical patent/CN113507618A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/226—Characteristics of the server or Internal components of the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2405—Monitoring of the internal components or processes of the server, e.g. server load

Abstract

本发明实施例提供一种直播系统自动扩缩容方法及系统，包括：确定直播系统的检测指标以及检测指标值，所述检测指标包括CPU负载或峰值在线人数PCU；根据检测指标值判断该直播系统是否需要扩缩容，当检测指标值满足扩缩容条件时，采用根据经验累积数据得到的容量拟合公式确定该直播系统扩缩容的服务器数量；所述经验积累数据是指历史时间段内每次扩缩容时所采用的检测指标值，在所述历史时间段内当检测指标值满足扩缩容条件时，采用线性扩缩容方式确定该直播系统扩缩容的服务器数量；根据确定的服务器数量进行相应的扩容或缩容操作。采用对历史经验累计数据与扩缩容数据进行拟合的容量拟合公式进行扩缩容，使自动扩缩容更符合真实情况。

Description

一种直播系统自动扩缩容方法及系统
技术领域
本发明涉及自动扩缩容领域，具体涉及一种直播系统自动扩缩容方法及系统。
背景技术
近几年，直播行业的快速发展，直播开播量和在线用户观看量飞速增长，看直播购物已经深入到每个人的生活，成为一种新的生活方式。当然，直播行业的高速发展对互联网企业提出了更高的挑战，企业面临着服务器系统压力过大，购买服务器成本过高的问题，因此企业要解决直播高峰时能够自动的、快速的扩容问题，同时扩容合适数量的服务器来降低成本。
对系统进行扩缩容常用的方式是：企业的运维人员检测到服务系统压力，然后根据经验值发起扩容。一般扩容时的检测指标有CPU负载，接口QPS，接口RT等，当检测指标达到阈值时，根据日常经验评估进行一定数据服务器的扩容；当检测指标达到一个安全阈值时，运维人员进行服务器缩容。扩容的主要流程包括购买服务器、部署服务、上流量等主要部分，缩容的主要流程包括下流量、停服、释放服务器等主要部分。扩缩容的服务器数量主要根据历史经验值进行确定。
在实现本发明过程中，申请人发现现有技术中至少存在如下问题：
目前常见的扩缩容方案需要依赖经验或者简单的线性推演来预估需要扩容的服务器数量，在实时性上大多依赖人为判断人为操作进行扩缩容。而实际上直播行业大流量来的快、来的频繁，因此每天会有大量的扩缩容需要，因此会消耗大量的人力成本进行操作。同时，由于是人为判断，扩缩容数量不会很准确，会出现扩容数量偏多或偏少的情况，结果导致系统服务能力不够或成本浪费的情况。
发明内容
本发明实施例提供一种直播系统自动扩缩容方法及系统，采用对历史经验累计数据与扩缩容数据进行拟合的容量拟合公式进行扩缩容，使自动扩缩容更符合真实情况。
为达上述目的，一方面，本发明实施例提供一种直播系统自动扩缩容方法，包括：
确定直播系统的检测指标，并采集该直播系统的检测指标值，所述检测指标包括CPU负载或峰值在线人数PCU；
根据检测指标值判断该直播系统是否需要扩缩容，当检测指标值满足扩缩容条件时，采用根据经验累积数据得到的容量拟合公式确定该直播系统扩缩容的服务器数量；所述经验积累数据是指历史时间段内每次扩缩容时所采用的检测指标值，在所述历史时间段内当检测指标值满足扩缩容条件时，采用线性扩缩容方式确定该直播系统扩缩容的服务器数量；
根据确定的服务器数量进行相应的扩容或缩容操作。
另一方面，本发明实施例提供一种直播系统自动扩缩容系统，包括：
指标检测单元，用于确定直播系统的检测指标，并采集该直播系统的检测指标值，所述检测指标包括CPU负载或峰值在线人数PCU；
扩缩容确定单元，用于根据检测指标值判断该直播系统是否需要扩缩容，当检测指标值满足扩缩容条件时，采用根据经验累积数据得到的容量拟合公式确定该直播系统扩缩容的服务器数量；所述经验积累数据是指历史时间段内每次扩缩容时所采用的检测指标值，在所述历史时间段内当检测指标值满足扩缩容条件时，采用线性扩缩容方式确定该直播系统扩缩容的服务器数量；
扩缩容单元，用于根据确定的服务器数量进行相应的扩容或缩容操作。
上述技术方案具有如下有益效果：采用对历史经验累计数据与扩缩容数据进行拟合的容量拟合公式进行扩缩容，使自动扩缩容更符合真实情况。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的一种直播系统自动扩缩容方法的流程图；
图2是本发明实施例的一种直播系统自动扩缩容系统的结构图；
图3是本发明实施例的滤波前后效果对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，结合本发明的实施例，提供一种直播系统自动扩缩容方法，包括：
S101：确定直播系统的检测指标，并采集该直播系统的检测指标值，所述检测指标包括CPU负载或峰值在线人数PCU；
S102：根据检测指标值判断该直播系统是否需要扩缩容，当检测指标值满足扩缩容条件时，采用根据经验累积数据得到的容量拟合公式确定该直播系统扩缩容的服务器数量；所述经验积累数据是指历史时间段内每次扩缩容时所采用的检测指标值，在所述历史时间段内当检测指标值满足扩缩容条件时，采用线性扩缩容方式确定该直播系统扩缩容的服务器数量；
S103：根据确定的服务器数量进行相应的扩容或缩容操作。
优选地，在所述根据检测指标值判断该直播系统是否需要扩缩容之前，还包括：
S104：采用低通滤波算法对所采集的检测指标值进行均值过滤，去除指标数据内的噪声，得到净化后的检测指标值，所述净化后的检测指标值用于判断该直播系统是否需要扩缩容。
优选地，在步骤102中，所述在历史时间段内当检测指标值满足扩缩容条件时，采用线性扩缩容方式确定该直播系统扩缩容的服务器数量，具体包括：
S105：当该直播系统的任一净化后的检测指标值达到相应的扩容触发阈值时，根据该净化后的检测指标值采用线性扩容方式确定该直播系统此次扩容的服务器数量，根据此次扩容的服务器数量对该直播系统进行扩容；以及
S106：在对该直播系统扩容之后，当该直播系统的各净化检测指标值均小于各自相应的动态缩容阈值时，根据各净化后的检测指标值采用线性缩容方式分别计算该直播系统相应的各缩容结果，将各缩容结果中缩容的服务器数量的最小值作为此次最终缩容的服务器数量，根据此次最终缩容的服务器数量对该直播系统进行缩容；其中，对于同一检测指标，其扩容触发阈值大于其动态缩容阈值。
优选地，在步骤102中，所述根据经验累积数据得到容量拟合公式的方法，具体包括：
针对每一检测指标，设定最小二乘公式，将经验积累数据中该检测指标的数据、以及相应的扩容服务器数量或相应的最终缩容服务器数量代入到最小二乘公式进行第一次拟合形成超静定方程组；将超静定方程组向量化，向量化超静定方程组具有未知向量系数；通过向量化超静定方程组与相应的扩缩容数据形成残差平方和算式，当该残差平方和算式值最小时得到该未知向量系数值，将未知向量系数值代入到静定方程组得到一次拟合公式；通过将所有经验积累数据中该检测指标的数据、以及相应的扩容服务器数量或相应的最终缩容服务器数量代入到一次拟合公式进行迭代得到二次拟合公式；将迭代预设次数后的拟合公式作为该检测指标的容量拟合公式，其中，所述扩缩容数据是指线性扩缩容方式确定的扩容服务器数量或最终缩容服务器数量。
优选地，步骤102具体包括：
S1021：当该直播系统的任一净化后的检测指标值达到相应的扩容触发阈值时，根据该检测指标的容量拟合公式得到该直播系统本次扩容的服务器数量。
S1022：在对该直播系统扩容之后，当该直播系统的各净化检测指标值均小于各自相应的动态缩容阈值时，根据各检测指标的容量拟合公式得到相应的缩容的服务器数量，将各缩容的服务器数量的最小值作为该直播系统本次最终缩容的服务器数量。
如图2所示，结合本发明的实施例，提供一种直播系统自动扩缩容系统，包括：
指标检测单元21，用于确定直播系统的检测指标，并采集该直播系统的检测指标值，所述检测指标包括CPU负载或峰值在线人数PCU；
扩缩容确定单元22，用于根据检测指标值判断该直播系统是否需要扩缩容，当检测指标值满足扩缩容条件时，采用根据经验累积数据得到的容量拟合公式确定该直播系统扩缩容的服务器数量；所述经验积累数据是指历史时间段内每次扩缩容时所采用的检测指标值，在所述历史时间段内当检测指标值满足扩缩容条件时，采用线性扩缩容方式确定该直播系统扩缩容的服务器数量；
扩缩容单元23，用于根据确定的服务器数量进行相应的扩容或缩容操作。
优选地，还包括：
去噪单元24，用于采用低通滤波算法对所述指标检测单元所采集的检测指标值进行均值过滤，去除指标数据内的噪声，得到净化后的检测指标值并发送给所述扩缩容确定单元，以便所述扩缩容确定单元根据所述净化后的检测指标值判断该直播系统是否需要扩缩容。
优选地，还包括：
线性扩容单元25，用于在历史时间段内，当该直播系统的任一净化后的检测指标值达到相应的扩容触发阈值时，根据该净化后的检测指标值采用线性扩容方式确定该直播系统此次扩容的服务器数量，根据此次扩容的服务器数量对该直播系统进行扩容；
线性缩容单元26，用于在历史时间段内，对该直播系统扩容之后，当该直播系统的各净化后的检测指标值均小于各自相应的动态缩容阈值时，根据各净化后的检测指标值采用线性缩容方式分别计算该直播系统相应的各缩容结果，将各缩容结果中缩容的服务器数量的最小值作为此次最终缩容的服务器数量，根据此次最终缩容的服务器数量对该直播系统进行缩容；其中，对于同一检测指标，其扩容触发阈值大于其动态缩容阈值。
优选地，还包括：
拟合单元27，用于针对历史时间段内每一检测指标，设定最小二乘公式，将经验积累数据中该检测指标的数据、以及相应的扩容服务器数量或相应的最终缩容服务器数量代入到最小二乘公式进行第一次拟合形成超静定方程组；将超静定方程组向量化，向量化超静定方程组具有未知向量系数；通过向量化超静定方程组与相应的扩缩容数据形成残差平方和算式，当该残差平方和算式值最小时得到该未知向量系数值，将未知向量系数值代入到静定方程组得到一次拟合公式；通过将所有经验积累数据中该检测指标的数据、以及相应的扩容服务器数量或相应的最终缩容服务器数量代入到一次拟合公式进行迭代得到二次拟合公式；将迭代预设次数后的拟合公式作为该检测指标的容量拟合公式，其中，所述扩缩容数据是指线性扩缩容方式确定的扩容服务器数量或最终缩容服务器数量。
优选地，所述扩缩容确定单元22包括：
非线性扩容子单元221，用于当该直播系统的任一净化后的检测指标值达到相应的扩容触发阈值时，根据该检测指标的容量拟合公式得到该直播系统本次扩容的服务器数量；
非线性缩容子单元222，用于在对该直播系统扩容之后，当该直播系统的各净化检测指标值均小于各自相应的动态缩容阈值时，根据各检测指标的容量拟合公式得到相应的缩容的服务器数量，将各缩容的服务器数量的最小值作为该直播系统本次最终缩容的服务器数量。
本发明所取得的有益效果如下：
与传统的扩缩容技术相比，本发明从指标检测、线性扩容经验累积，以及统计学数据拟合三个步骤进行扩容缩容数量的获得，并且充分利用了历史扩容数据及评价，进而得到的是方差最小的扩容数量，更加真实体现服务情况，进而兼顾保证扩容服务能力和扩容成本。
下面结合具体的应用实例对本发明实施例上述技术方案进行详细说明，实施过程中没有介绍到的技术细节，可以参考前文的相关描述。
本发明为一种用于直播的系统自动扩缩容技术，用于直播的自动扩缩容技术，一方面对扩缩容的数量进行统计学计算，预估需要扩容的服务器数量；另一方面对扩缩容流程进行自动化设计。本专利分析了检测阈值与扩缩容数量之间的统计规律，结合数据拟合，得到最佳扩缩容数量。该方法提升了扩缩容的自动化速度以及扩缩容精度，更能满足实际应用需求。主要包括以下步骤：
步骤1：搭建指标检测系统
确定直播系统的检测指标，并采集该直播系统的检测指标值，本发明涉及的指标检测维度有CPU负载、PCU(峰值在线人数)、与QPS(每秒请求量)的数据作为检测指标。CPU能够直接体现服务器的实时情况，采用了zabbix作为CPU负载采集工具，对所有的服务器的CPU负载进行采集；PCU作为直播业务的特有属性，是通过实时统计在直播间内的用户量得到。由于采集的数据(CPU)会有高频噪声干扰，因此采用了低通滤波算法进行均值过滤，去除数据采集的噪声(CPU的高频干扰是服务器物理上决定的，主要目的是取出干扰毛刺)，滤波的算式如下：
F[m]＝F[m-1]+K*(P[m]-F[m-1])
其中，m为第m个采样点，P为采样数据，F为滤波后的数值，K为滤波系数，对指标进行滤波后效果如图3所示。也就是，采用低通滤波算法对所采集的检测指标值进行均值过滤，去除指标数据内的噪声，得到净化后的检测指标值，所述净化后的检测指标值用于判断该直播系统是否需要扩缩容。
通过实时的采集指标和进行滤波，能够得到实时的、更能反映实际情况的系统状态，从而为扩容做了决策基础。
步骤2：扩缩容数量指标决策服务
在直播系统中，有的服务相对敏感，当需要更多服务器的时候会更加紧急，比如直播的开播push系统，为了能尽快的给用户发送push，使用户尽快到达直播间，因此需要以更短的时间提高push能力，当push发送完毕后，就可以以很少的服务器维持线上服务。
根据检测指标值判断该直播系统是否需要扩缩容，当检测指标值满足扩缩容条件时，采用根据经验累积数据得到的容量拟合公式确定该直播系统扩缩容的服务器数量；所述经验积累数据是指历史时间段内每次扩缩容时所采用的检测指标值，在所述历史时间段内当检测指标值满足扩缩容条件时，采用线性扩缩容方式确定该直播系统扩缩容的服务器数量。
步骤2.1通过线性扩容进行经验累积。
在决策系统刚开始启动的时候，并没有经验知道扩缩多少数量的服务器才是最合适的，因此采用了线性扩缩容的方式对扩容效果(利用率)进行经验累积。具体地，当该直播系统的任一净化后的检测指标值达到相应的扩容触发阈值时，根据该净化后的检测指标值采用线性扩容方式确定该直播系统此次扩容的服务器数量，根据此次扩容的服务器数量对该直播系统进行扩容。同时对每次扩容效果进行质量评估，这样就得到了每次达到指标后的扩容结果和扩容质量评价。具体地，通过利用率来评估扩容效果，利用率达到机器满载且不等待的经验值(比如cpu利用率达到70％)，则扩容效果好。上下浮动可以理解为与最佳利用率之间的经验差别。其中，线性扩容算式如下：
Figure BDA0003142280990000071
其中，N为扩容系数，跟当前常备服务器数量相关，K为扩容阈值系数，其大小影响着扩容数量的斜率，thr为系统服务的触发阈值(每个指标均具有相应的触发阈值)，x为实时监测到的指标数据，y为计算出来的扩容数量。
通过上述计算，能够得到每次的扩容数量，根据每次的扩容数量扩容服务器(服务器可为处于不同的分布式系统内)然后在服务完成后对此次扩容进行质量评价，评价内容包括此次扩容的利用率等。在对该直播系统扩容之后，当大流量消退后，会进行缩容，缩容遵循慢缩原则，即：当该直播系统的各净化检测指标值均小于各自相应的动态缩容阈值时，根据各净化后的检测指标值采用线性缩容方式分别计算该直播系统相应的各缩容结果，缩容算式如下：
Figure BDA0003142280990000072
其中，shrinkThr为动态缩容阈值，M为扩容服务器的数量，该阈值能始终保证缩容后系统仍能以低于thr的能力提供服务。
将各缩容结果中缩容的服务器数量的最小值作为此次最终缩容的服务器数量，根据此次最终缩容的服务器数量对该直播系统进行缩容；其中，对于同一检测指标，其扩容触发阈值大于其动态缩容阈值。
步骤2.2根据经验数据进行数据拟合扩容公式。
针对每一检测指标，设定最小二乘公式，将经验积累数据中该检测指标的数据、以及相应的扩容服务器数量或相应的最终缩容服务器数量代入到最小二乘公式进行第一次拟合形成超静定方程组；将超静定方程组向量化，向量化超静定方程组具有未知向量系数；通过向量化超静定方程组与相应的扩缩容数据形成残差平方和算式，当该残差平方和算式值最小时得到该未知向量系数值，将未知向量系数值代入到静定方程组得到一次拟合公式；通过将所有经验积累数据中该检测指标的数据、以及相应的扩容服务器数量或相应的最终缩容服务器数量代入到一次拟合公式进行迭代得到二次拟合公式；将迭代预设次数后的拟合公式作为该检测指标的容量拟合公式，其中，所述扩缩容数据是指线性扩缩容，扩容服务器数量或相应的最终缩容服务器数量。具体如下：
这里采用了最小二乘拟合的方法来获取一次拟合、二次拟合、三次拟合公式。公式如下：
Figure BDA0003142280990000081
其中，X表示表示检测指标，i表示第i个采样点，j表示第j次拟合；m代表有多少个方程，也就是达到的指标与扩容数量的关系，n代表n次拟合，且n最大值为3，求解此方程组下的β(拟合系数)即可得到扩容数量拟合公式。
将采集的m个采样点代入到方程中，可以得到超定方程组如下：
Figure BDA0003142280990000082
将该方程组向量化后为：
y＝Xβ
Figure BDA0003142280990000083
对于此类关系方程，最小二乘法可以选取最合适的β使该等式尽量成立，引入了最小残差平方和S:
S(β)＝‖Xβ-y‖2
当取一个β值使S最小时，达到最佳拟合效果，进而得到容量拟合公式。当
Figure BDA0003142280990000084
时(
Figure BDA0003142280990000085
表示一次、二次或者三次拟合的系数)，S(β)取最小值，通过对S(β)进行微分求最值，可以得到：
Figure BDA0003142280990000086
如果矩阵XTX非奇异，则β有唯一解：
Figure BDA0003142280990000087
因此，利用上述算法处理采集的业务量(经验积累数据)，可以得到一次拟合、二次拟合、三次拟合的最佳拟合公式如下：
y＝β1x+β0
y＝β2x2+β1x+β0
y＝β3x3+β2x2+β1x+β0
步骤3：搭建自动扩缩容基础服务。通过指标检测和数据决策(容量拟合公式)得到了需要扩缩多少数量的服务器(服务器可为处于不同的分布式系统内)，之后需要搭建OPS系统进行实际的机器扩容。具体为：
当该直播系统的任一净化后的检测指标值达到相应的扩容触发阈值时，根据该检测指标的容量拟合公式得到该直播系统本次扩容的服务器数量。
在对该直播系统扩容之后，当该直播系统的各净化检测指标值均小于各自相应的动态缩容阈值时，根据各检测指标的容量拟合公式得到相应的缩容的服务器数量，将各缩容的服务器数量的最小值作为该直播系统本次最终缩容的服务器数量。
该基础服务会将之前人为操作的扩容操作步骤自动化，数据决策系统只需要告诉该服务需要扩缩多少台，即可自动完成服务器的增减。
综上，本发明采用了对历史经验扩容数据进行评价和数据拟合相结合的方式，使自动扩缩容在数量上更符合真实情况。同时，本发明从采集指标、数据决策到自动扩容操作进行了完整的系统实践搭建，并进行了大量的事实验证。因此在遇到大流量的情况下，系统可以更高效的扩缩容来满足系统需要，还能够缩减成本。
本发明所取得的有益效果如下：
与传统的扩缩容技术相比，本发明从指标检测、线性扩容经验累积，以及统计学数据拟合三个步骤进行扩容缩容数量的获得，并且充分利用了历史扩容数据及评价，进而得到的是方差最小的扩容数量，更加真实体现服务情况，进而兼顾保证扩容服务能力和扩容成本。
应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。
在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。
为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本申请公开的原理和新颖性特征的最广范围相一致。
上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。
本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。
本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。
本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。
在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种直播系统自动扩缩容方法，其特征在于，包括：
确定直播系统的检测指标，并采集该直播系统的检测指标值，所述检测指标包括CPU负载或峰值在线人数PCU；
根据检测指标值判断该直播系统是否需要扩缩容，当检测指标值满足扩缩容条件时，采用根据经验累积数据得到的容量拟合公式确定该直播系统扩缩容的服务器数量；所述经验积累数据是指历史时间段内每次扩缩容时所采用的检测指标值，在所述历史时间段内当检测指标值满足扩缩容条件时，采用线性扩缩容方式确定该直播系统扩缩容的服务器数量；
根据确定的服务器数量进行相应的扩容或缩容操作。
2.根据权利要求1所述的直播系统自动扩缩容方法，其特征在于，在所述根据检测指标值判断该直播系统是否需要扩缩容之前，还包括：
采用低通滤波算法对所采集的检测指标值进行均值过滤，去除指标数据内的噪声，得到净化后的检测指标值，所述净化后的检测指标值用于判断该直播系统是否需要扩缩容。
3.根据权利要求2所述的直播系统自动扩缩容方法，其特征在于，所述在历史时间段内当检测指标值满足扩缩容条件时，采用线性扩缩容方式确定该直播系统扩缩容的服务器数量，具体包括：
当该直播系统的任一净化后的检测指标值达到相应的扩容触发阈值时，根据该净化后的检测指标值采用线性扩容方式确定该直播系统此次扩容的服务器数量，根据此次扩容的服务器数量对该直播系统进行扩容；以及
在对该直播系统扩容之后，当该直播系统的各净化检测指标值均小于各自相应的动态缩容阈值时，根据各净化后的检测指标值采用线性缩容方式分别计算该直播系统相应的各缩容结果，将各缩容结果中缩容的服务器数量的最小值作为此次最终缩容的服务器数量，根据此次最终缩容的服务器数量对该直播系统进行缩容；其中，对于同一检测指标，其扩容触发阈值大于其动态缩容阈值。
4.根据权利要求3所述的直播系统自动扩缩容方法，其特征在于，所述根据经验累积数据得到容量拟合公式的方法，具体包括：
针对每一检测指标，设定最小二乘公式，将经验积累数据中该检测指标的数据、以及相应的扩容服务器数量或相应的最终缩容服务器数量代入到最小二乘公式进行第一次拟合形成超静定方程组；将超静定方程组向量化，向量化超静定方程组具有未知向量系数；通过向量化超静定方程组与相应的扩缩容数据形成残差平方和算式，当该残差平方和算式值最小时得到该未知向量系数值，将未知向量系数值代入到静定方程组得到一次拟合公式；通过将所有经验积累数据中该检测指标的数据、以及相应的扩容服务器数量或相应的最终缩容服务器数量代入到一次拟合公式进行迭代得到二次拟合公式；将迭代预设次数后的拟合公式作为该检测指标的容量拟合公式，其中，所述扩缩容数据是指线性扩缩容方式确定的扩容服务器数量或最终缩容服务器数量。
5.根据权利要求3所述的直播系统自动扩缩容方法，其特征在于，所述根据检测指标值判断该直播系统是否需要扩缩容，当检测指标值满足扩缩容条件时，采用根据经验累积数据得到的容量拟合公式确定该直播系统扩缩容的服务器数量，具体包括：
当该直播系统的任一净化后的检测指标值达到相应的扩容触发阈值时，根据该检测指标的容量拟合公式得到该直播系统本次扩容的服务器数量。
在对该直播系统扩容之后，当该直播系统的各净化检测指标值均小于各自相应的动态缩容阈值时，根据各检测指标的容量拟合公式得到相应的缩容的服务器数量，将各缩容的服务器数量的最小值作为该直播系统本次最终缩容的服务器数量。
6.一种直播系统自动扩缩容系统，其特征在于，包括：
指标检测单元，用于确定直播系统的检测指标，并采集该直播系统的检测指标值，所述检测指标包括CPU负载或峰值在线人数PCU；
扩缩容确定单元，用于根据检测指标值判断该直播系统是否需要扩缩容，当检测指标值满足扩缩容条件时，采用根据经验累积数据得到的容量拟合公式确定该直播系统扩缩容的服务器数量；所述经验积累数据是指历史时间段内每次扩缩容时所采用的检测指标值，在所述历史时间段内当检测指标值满足扩缩容条件时，采用线性扩缩容方式确定该直播系统扩缩容的服务器数量；
扩缩容单元，用于根据确定的服务器数量进行相应的扩容或缩容操作。
7.根据权利要求6所述的直播系统自动扩缩容系统，其特征在于，还包括：
去噪单元，用于采用低通滤波算法对所述指标检测单元所采集的检测指标值进行均值过滤，去除指标数据内的噪声，得到净化后的检测指标值并发送给所述扩缩容确定单元，以便所述扩缩容确定单元根据所述净化后的检测指标值判断该直播系统是否需要扩缩容。
8.根据权利要求7所述的直播系统自动扩缩容系统，其特征在于，还包括：
线性扩容单元，用于在历史时间段内，当该直播系统的任一净化后的检测指标值达到相应的扩容触发阈值时，根据该净化后的检测指标值采用线性扩容方式确定该直播系统此次扩容的服务器数量，根据此次扩容的服务器数量对该直播系统进行扩容；
线性缩容单元，用于在历史时间段内，对该直播系统扩容之后，当该直播系统的各净化后的检测指标值均小于各自相应的动态缩容阈值时，根据各净化后的检测指标值采用线性缩容方式分别计算该直播系统相应的各缩容结果，将各缩容结果中缩容的服务器数量的最小值作为此次最终缩容的服务器数量，根据此次最终缩容的服务器数量对该直播系统进行缩容；其中，对于同一检测指标，其扩容触发阈值大于其动态缩容阈值。
9.根据权利要求8所述的直播系统自动扩缩容系统，其特征在于，还包括：
拟合单元，用于针对历史时间段内每一检测指标，设定最小二乘公式，将经验积累数据中该检测指标的数据、以及相应的扩容服务器数量或相应的最终缩容服务器数量代入到最小二乘公式进行第一次拟合形成超静定方程组；将超静定方程组向量化，向量化超静定方程组具有未知向量系数；通过向量化超静定方程组与相应的扩缩容数据形成残差平方和算式，当该残差平方和算式值最小时得到该未知向量系数值，将未知向量系数值代入到静定方程组得到一次拟合公式；通过将所有经验积累数据中该检测指标的数据、以及相应的扩容服务器数量或相应的最终缩容服务器数量代入到一次拟合公式进行迭代得到二次拟合公式；将迭代预设次数后的拟合公式作为该检测指标的容量拟合公式，其中，所述扩缩容数据是指线性扩缩容方式确定的扩容服务器数量或最终缩容服务器数量。
10.根据权利要求8所述的直播系统自动扩缩容系统，其特征在于，所述扩缩容确定单元包括：
非线性扩容子单元，用于当该直播系统的任一净化后的检测指标值达到相应的扩容触发阈值时，根据该检测指标的容量拟合公式得到该直播系统本次扩容的服务器数量；
非线性缩容子单元，用于在对该直播系统扩容之后，当该直播系统的各净化检测指标值均小于各自相应的动态缩容阈值时，根据各检测指标的容量拟合公式得到相应的缩容的服务器数量，将各缩容的服务器数量的最小值作为该直播系统本次最终缩容的服务器数量。
CN202110738161.0A 2021-06-30 2021-06-30 一种直播系统自动扩缩容方法及系统 Pending CN113507618A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110738161.0A CN113507618A (zh) 2021-06-30 2021-06-30 一种直播系统自动扩缩容方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110738161.0A CN113507618A (zh) 2021-06-30 2021-06-30 一种直播系统自动扩缩容方法及系统

Publications (1)

Publication Number Publication Date
CN113507618A true CN113507618A (zh) 2021-10-15

Family

ID=78011470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110738161.0A Pending CN113507618A (zh) 2021-06-30 2021-06-30 一种直播系统自动扩缩容方法及系统

Country Status (1)

Country Link
CN (1) CN113507618A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114666615A (zh) * 2022-03-10 2022-06-24 北京达佳互联信息技术有限公司 资源调配方法、装置、服务器、程序和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120130680A1 (en) * 2010-11-22 2012-05-24 Zink Kenneth C System and method for capacity planning for systems with multithreaded multicore multiprocessor resources
CN108984304A (zh) * 2018-07-11 2018-12-11 广东亿迅科技有限公司 基于回归方程的服务器扩容计算方法及装置
CN111355606A (zh) * 2020-02-10 2020-06-30 天津大学 面向web应用的容器集群自适应扩缩容系统和方法
CN112087504A (zh) * 2020-08-31 2020-12-15 浪潮通用软件有限公司 一种基于工作负载特性的动态负载均衡的方法及装置
CN112671570A (zh) * 2020-12-16 2021-04-16 微梦创科网络科技（中国）有限公司 自动扩缩容的方法及系统
CN113032157A (zh) * 2021-05-31 2021-06-25 睿至科技集团有限公司 一种服务器自动智能扩缩容方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120130680A1 (en) * 2010-11-22 2012-05-24 Zink Kenneth C System and method for capacity planning for systems with multithreaded multicore multiprocessor resources
CN108984304A (zh) * 2018-07-11 2018-12-11 广东亿迅科技有限公司 基于回归方程的服务器扩容计算方法及装置
CN111355606A (zh) * 2020-02-10 2020-06-30 天津大学 面向web应用的容器集群自适应扩缩容系统和方法
CN112087504A (zh) * 2020-08-31 2020-12-15 浪潮通用软件有限公司 一种基于工作负载特性的动态负载均衡的方法及装置
CN112671570A (zh) * 2020-12-16 2021-04-16 微梦创科网络科技（中国）有限公司 自动扩缩容的方法及系统
CN113032157A (zh) * 2021-05-31 2021-06-25 睿至科技集团有限公司 一种服务器自动智能扩缩容方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NARJAJA: "超定方程组最优解（最小二乘解）推导", 《HTTPS://WWW.CNBLOGS.COM/NARJAJA/P/9304472.HTML》 *
倪海峰: "基于Kubernetes的云平台HPA算法的优化与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114666615A (zh) * 2022-03-10 2022-06-24 北京达佳互联信息技术有限公司 资源调配方法、装置、服务器、程序和存储介质
CN114666615B (zh) * 2022-03-10 2024-04-16 北京达佳互联信息技术有限公司 资源调配方法、装置、服务器、程序和存储介质

Similar Documents

Publication Publication Date Title
CN109213654B (zh) 一种异常检测方法及装置
CN106503840B (zh) 停车场可用车位预测方法及系统
WO2017031837A1 (zh) 磁盘容量的预测方法、装置及设备
CN109726889B (zh) 室内甲醛消除时间的评估方法、装置及服务器
CN102611454B (zh) 一种实时历史数据动态无损压缩方法
CN113507618A (zh) 一种直播系统自动扩缩容方法及系统
CN109672936B (zh) 一种视频评估集的确定方法、装置及电子设备
CN112730938A (zh) 一种基于用电采集大数据的窃电用户判断方法
CN103345209A (zh) 生产监控方法及系统
CN108592166B (zh) 一种智能供暖方法和智能设备
CN110312983B (zh) 信息采集方法、系统及存储介质
CN113559630B (zh) 一种用于除尘设备的自动清灰方法及系统
CN113673822B (zh) 一种弹性调度方法及系统
CN113987948B (zh) 一种泵站出水流量智能测算方法及系统
CN107590143A (zh) 一种时间序列的检索方法、装置及系统
CN112947625A (zh) 一种数据处理方法、装置、电子设备及存储介质
CN112422669B (zh) 一种多关联设备数据实时提取方法及相关装置
JP4452236B2 (ja) ノード装置および通信ネットワークシステム
CN111241693B (zh) 基于疲劳积累假说的寿命预测系统
CN107305563B (zh) 一种基于距离的异常数据检测方法及系统
CN111563543B (zh) 一种风电机组的风速-发电功率数据的清洗方法及装置
KR102126796B1 (ko) 딥러닝을 이용한 체류시간을 기반의 뉴스 선호도 판단 장치 및 그 방법
CN109945388B (zh) 一种实现机组自动除尘的方法、装置及机组
CN107944085B (zh) 一种用于轧钢自学习模型的数据处理方法和模块
CN110515818B (zh) 固态硬盘的寿命计算方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination