CN110958137B - 流量管理方法、装置及电子设备 - Google Patents
流量管理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN110958137B CN110958137B CN201911111083.0A CN201911111083A CN110958137B CN 110958137 B CN110958137 B CN 110958137B CN 201911111083 A CN201911111083 A CN 201911111083A CN 110958137 B CN110958137 B CN 110958137B
- Authority
- CN
- China
- Prior art keywords
- current
- flow
- degradation
- load information
- traffic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
- H04L41/5003—Managing SLA; Interaction between SLA and QoS
- H04L41/5019—Ensuring fulfilment of SLA
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/04—Network management architectures or arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/12—Avoiding congestion; Recovering from congestion
- H04L47/125—Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
Abstract
本申请提出一种流量管理方法、装置及电子设备,属于网络流量管理技术领域。其中,该方法包括:获取当前负载信息;对当前多个流量进行打分,以生成当前多个流量分别对应的流量等级;根据当前负载信息及当前多个流量分别对应的流量等级,生成降级指令;根据降级指令,对当前多个流量之中的部分流量进行降级处理。由此,通过这种流量管理方法,对流量进行分级,精准识别故障流量,保证了正常用户的服务质量稳定性。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及网络流量管理技术领域,提出一种流量管理方法、装置及电子设备。
背景技术
搜索检索系统是最复杂的网络架构系统,随着流量增长,系统故障呈现指数级增长。
相关技术中,为了能够快速应对系统故障,常用的手段包括异常自动感知分析、自动执行预案等。然而,这种应对系统故障的方式,通过自动执行预案对所有流量进行止损,容易影响正常用户的服务质量稳定性。
发明内容
本申请提出的流量管理方法、装置及电子设备,用于解决相关技术中,通过自动执行预案对所有流量进行止损,应对搜索检索系统故障的方式,容易影响正常用户的服务质量稳定性的问题。
本申请一方面实施例提出的流量管理方法,包括:获取当前负载信息;对当前多个流量进行打分,以生成所述当前多个流量分别对应的流量等级;根据所述当前负载信息及所述当前多个流量分别对应的流量等级,生成降级指令;以及根据所述降级指令,对所述当前多个流量之中的部分流量进行降级处理。
本申请另一方面实施例提出的流量管理装置,包括:第一获取模块,用于获取当前负载信息;第一生成模块,用于对当前多个流量进行打分,以生成所述当前多个流量分别对应的流量等级;第二生成模块,用于根据所述当前负载信息及所述当前多个流量分别对应的流量等级,生成降级指令;以及降级模块,用于根据所述降级指令,对所述当前多个流量之中的部分流量进行降级处理。
本申请再一方面实施例提出的电子设备,其包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如前所述的流量管理方法。
本申请又一方面实施例提出的存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行如前所述的流量管理方法。
上述申请中的任一个实施例具有如下优点或有益效果:通过根据当前负载信息与当前多个流量分别对应的流量等级,生成降级指令,进而根据降级指令对多个流量中的部分流量进行降级处理,从而通过对流量进行分级,精准识别故障流量,保证了正常用户的服务质量稳定性。因为采用获取机房的当前负载信息,并对当前多个流量进行打分,以生成当前多个流量分别对应的流量等级,之后根据当前负载信息及当前多个流量分别对应的流量等级,生成降级指令,进而根据降级指令,对当前多个流量之中的部分流量进行降级处理的技术手段,所以克服了通过自动执行预案对所有流量进行止损,应对搜索检索系统故障的方式,容易影响正常用户的服务质量稳定性的问题,进而达到了精准识别故障流量,保证了正常用户的服务质量稳定性的技术效果。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1为本申请实施例所提供的一种流量管理方法的流程示意图;
图2为本申请实施例所提供的一种负载信息聚合的示意图;
图3为本申请实施例所提供的一种数据透传的示意图;
图4为本申请实施例所提供的另一种流量管理方法的流程示意图;
图5为本申请实施例提供的一种流量管理装置的结构示意图;
图6为本申请实施例提供的电子设备的结构示意图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本申请实施例针对相关技术中,通过自动执行预案对所有流量进行止损,应对搜索检索系统故障的方式,容易影响正常用户的服务质量稳定性的问题,提出一种流量管理方法。
下面参考附图对本申请提供的流量管理方法、装置、电子设备及存储介质进行详细描述。
下面结合图1,对本申请实施例提供的流量管理方法进行详细说明。
图1为本申请实施例所提供的一种流量管理方法的流程示意图。
如图1所示,该流量管理方法,包括以下步骤:
步骤101,获取当前负载信息。
需要说明的是,搜索检索系统是最复杂的网络架构系统,随着流量增长,系统故障也呈现指数级增长。常态下的系统故障呈现出突现性、不稳性、非线性、不确定性、不可预测性等特点,同时外部突发异常(例如外部恶意攻击、用户行为变化、自身雪崩等)可能造成秒级流量骤增,系统容量突然恶化。为了能够快速应对这些系统故障,常用的手段包括异常自动感知分析、自动执行预案。然而,当前的自动感知系统止损周期长,止损方式采用一刀切的方式,不具有连续性,容易误伤正常用户的服务质量稳定性。
本申请实施例的流量管理方法,可以对系统当前的流量进行分级,并根据系统的当前负载信息与当前多个流量的流量等级,生成降级指令,以精准识别故障流量,根据降级指令对故障流量进行降级,从而保证正常用户的服务质量稳定性。
需要说明的是,本申请实施例的流量管理方法由本申请实施例的流量管理装置执行,可以应用在任意需要对网络流量进行管理的系统中。本申请实施例的流量管理装置可以配置在对系统进行控制和管理的服务器中,服务器可以是任意电子设备,本申请实施例对此不做限定。
其中,当前负载信息,是指当前所在的检索系统在与当前时刻之间的时间间隔较短的一段时间内所产生的负载信息。比如,可以是机房在当前时刻前一秒与当前时刻之间所产生的负载信息。
在本申请实施例中,对于大型的检索系统可能包括多个机房,以保证检索系统的正常运行,因此,在获取当前负载信息时,可以以机房为单位获取每个机房的当前负载信息,并以机房为单位进行智能决策,之后同样以机房为单位分别进行降级处理。也就是说,对于有多个机房的检索系统,各个机房的流量管理过程是相互独立的。以下以机房为流量管理的单位进行详细说明。
作为一种可能的实现方式,可以预设获取机房的当前负载信息的频率,以使服务器可以根据预设频率获取机房的当前负载信息。比如,预设频率为1次/秒,则服务器可以每秒钟获取一次机房的当前负载信息,并且每次获取的当前负载信息为机房每秒钟产生的负载信息。
进一步的,可以实时收集机房产生的负载信息并存储在数据库中,以便在需要时直接从数据库中获取机房的负载信息。即在本申请实施例一种可能的实现形式中,上述步骤101之前,还可以包括:
获取索引层、排序层及渲染层的负载信息;
以获取的每条负载信息的获取时刻为键值,对每条负载信息进行存储,以生成负载信息;
相应的,上述获取当前负载信息,包括:
以预设频率获取键值处于所述当前时刻与第一时刻之间的负载信息,其中,第一时刻与当前时刻间的时间间隔为预设时间窗口长度。
作为一种可能的实现方式,本申请实施例的流量管理方法可以应用在包括多个功能模块,或者包括多个具有不同功能的层级的系统中。比如,可以应用在具有索引层、排序层及渲染层的检索系统中,从而服务器可以实时获取每个机房在索引层、排序层、渲染层分别产生的负载信息,并以获取到的每条负载信息的获取时刻为键值,将每条负载信息存储在数据库中,以生成机房的负载信息。也就是说,每个机房的负载信息为每个机房在索引层、排序层、渲染层分别产生的负载信息的聚合。
如图2所示,为本申请实施例所提供的一种负载信息聚合的示意图。其中,索引层在检索系统中负责对召回的检索结果进行基础排序,即根据搜索词与检索结果文本的相关性对检索结果进行排序,并通过上行数据通路将索引层的负载信息转发给排序层;排序层在检索系统中负责对检索结果进行进一步排序,以使较优质的检索结果的排序高于劣质检索结果的排序,并通过上行数据通路将排序层及索引层的负载信息转发给渲染层;渲染层在检索系统中负责对检索结果进行汇聚和渲染,以将检索结果按照预设的展现样式展示给用户,并通过上行数据通路将索引层、排序层及渲染层的负载信息转发给代理模块;代理模块是一个服务转发模块,其接收渲染层的异步请求,并将从渲染层获取到的数据进行打包,以k-v格式增量存入汇聚模块;汇聚模块为数据存储模块,可以为数据库。
在本申请实施例中,可以以预设频率获取机房在预设时间窗口长度内产生负载信息,作为机房的当前负载信息。具体的,服务器可以首先根据预设频率判断当前时刻是否为获取当前负载信息的时刻,若否,则在当前时刻不获取机房的当前负载信息;若是,则根据预设时间窗口长度及当前时刻,确定第一时刻,进而从数据库中获取键值处于第一时刻与当前时刻之间的所有负载信息。
需要说明的是,本申请实施例的预设频率和预设时间窗口长度的数量级都可以是秒级,比如预设频率可以是1次/秒,预设时间窗口长度可以是5秒,从而可以提高本申请实施例的流量管理方法的响应速度,实现秒级响应,提高故障识别力度,降低止损周期。
步骤102,对当前多个流量进行打分,以生成当前多个流量分别对应的流量等级。
在本申请实施例中,可以根据流量质量对全系统的流量进行实时打分。具体的,可以通过大数据分析,挖掘流量的用户行为特征和报文特征,进而根据流量的用户行为特征和报文特征确定流量为低质流量的概率,以根据每个流量为低质流量的概率对相应的流量进行打分。
作为一种可能的实现方式,可以将流量为低质流量的概率确定为对该流量进行打分的分数值,进而根据每个流量的分数值生成每个流量的流量等级,并且,流量的分数值与流量的流量等级呈正相关关系。即流量为低质流量的概率越高,流量质量越差,流量的分数值和流量等级越高。
需要说明的是,本申请实施例的流量的用户行为特征可以包括用户请求频次、用户点击频次等;流量的报文特征可以包括报文完整度等特征。其中,流量的用户请求频次越高、用户点击频次越低、报文完整度越低,则该流量为低质流量的概率越高。在本申请实施例中,服务器在获取到用户请求对应的流量时,可以对该流量进行解析,以获取该流量的报文详情字段,进而根据该流量的报文详情字段确定该流量的用户行为特征和报文特征。
进一步的,还可以利用提前训练好的低质流量识别模型,对流量进行打分,以提高流量管理的效率和智能化程度。即在本申请实施例一种可能的实现形式中,上述步骤102,可以包括:
利用低质流量识别模型对每个流量对应的用户画像数据进行识别处理,以确定当前多个流量分别对应的分数值;
根据当前多个流量分别对应的分数值,确定当前多个流量分别对应的流量等级。
其中,流量对应的用户画像数据,可以包括流量的用户行为特征和报文特征。
在本申请实施例中,训练低质流量识别模型所使用的训练数据可以包括大量流量对应的用户画像数据及相应的分数值数据,从而使得训练出的低质流量识别模型可以根据输入的流量对应的用户画像数据,确定出该流量对应的分数值。因此,在本申请实施例中,可以将当前多个流量中的每个流量对应的用户画像数据输入低质流量识别模型,以使低质流量识别模型对每个流量对应的用户画像数据进行识别处理,确定出当前每个流量分别对应的分数值,进而将每个流量对应的分数值,确定为每个流量对应的流量等级。
步骤103,根据当前负载信息及当前多个流量分别对应的流量等级,生成降级指令。
在本申请实施例中,可以通过智能决策的方式,首先根据机房的当前负载信息确定机房当前是否处于超负荷状态,以及超负荷的严重程度;若确定机房当前未处于超负荷状态,则可以不对机房的当前多个流量进行降级处理;若确定机房当前处于超负荷状态,则可以机房的当前超负荷严重程度及当前多个流量分别对应的流量等级,确定每个等级的流量对应的降级等级,进而将确定的各降级等级进行聚合,以生成降级指令。
需要说明的是,由于流量等级越高的流量,其流量质量越差,因此,流量等级越高的流量对应的降级等级越高,流量等级越低的流量对应的降级等级越低,从而可以尽可能对低质流量进行减载,并保证正常用户的服务体验。其中,在本申请实施例中,降级等级越高,对应的降级程度越大;降级等级越低,对应的降级程度越小;比如,降级等级为0级时,表示不进行降级处理。
步骤104,根据降级指令,对当前多个流量之中的部分流量进行降级处理。
在本申请实施例中,根据机房的当前负载信息和当前多个流量分别对应的流量等级,生成降级指令之后,即可根据降级指令对当前多个流量之中的部分流量进行降级处理,以在打压低质流量的同时,保护正常请求对应的流量。
可选的,在步骤103中生成降级指令时,可以初步对需要进行降级的流量等级进行筛选,之后仅根据筛选出的流量等级生成相应的降级指令。从而,由于降级指令中仅包括当前多个流量之中的部分流量对应的降级等级,因此,在对当前多个流量进行降级处理时,可以直接根据降级指令对当前多个流量之中的部分流量进行降级处理。
可选的,在步骤103中生成降级指令时,降级指令中可能包括当前多个流量对应的所有流量等级对应的降级等级,从而在对当前多个流量进行降级时,可以首先确定出需要进行降级的部分流量。即在本申请实施例一种可能的实现形式中,上述步骤104,可以包括:
根据当前多个流量分别对应的流量等级,确定流量等级大于等级阈值的待降级流量;
根据降级指令对待降级流量进行降级处理。
其中,待降级流量,是指当前需要进行降级的低质流量。
作为一种可能的实现方式,可以预先设置需要进行降级的流量对应的等级阈值,并可以根据当前多个流量分别对应的流量等级,确定出流量等级大于等级阈值的待降级流量,即低质流量。进而,可以根据各待降级流量对应的流量等级,从降级指令中获取与各待降级流量对应的流量等级对应的降级等级,以根据确定的各降级对相应的待降级流量分别进行降级处理。
在本申请实施例中,在生成降级指令之后,可以通过下行操作通路将降级指令透传给检索系统中的各个模块,以使各个模块根据降级指令对相应的流量进行降级处理。如图3所示,为本申请实施例所提供的一种数据透传的示意图。
作为一种可能的实现方式,在根据降级指令进行降级处理之后,还可以继续获取机房的当前负载信息,以判断降级处理之后机房是否还处于超负荷状态,若是,则可以进一步根据新获取的机房的当前负载信息和当前多个流量的流量等级,重新生成降级指令,以进一步对当前多个流量进行降级处理;若否,则可以确定已解决系统故障,从而可以退出降级处理状态,恢复系统的正常运行。
根据本申请实施例的技术方案,通过获取当前负载信息,并对当前多个流量进行打分,以生成当前多个流量分别对应的流量等级,之后根据当前负载信息及当前多个流量分别对应的流量等级,生成降级指令,进而根据降级指令,对当前多个流量之中的部分流量进行降级处理。由此,通过根据机房的当前负载信息与当前多个流量分别对应的流量等级,生成降级指令,进而根据降级指令对多个流量中的部分流量进行降级处理,从而通过对流量进行分级,精准识别故障流量,保证了正常用户的服务质量稳定性。
在本申请一种可能的实现形式中,可以维护历史负载数据表和降级等级表,从而可以通过直接查询历史负载数据表和降级等级表,确定各流量等级对应的降级等级,以生成降级指令。
下面结合图4,对本申请实施例提供的流量管理方法进行进一步说明。
图4为本申请实施例所提供的另一种流量管理方法的流程示意图。
如图4所示,该流量管理方法,包括以下步骤:
步骤201,获取当前负载信息。
步骤202,对当前多个流量进行打分,以生成当前多个流量分别对应的流量等级。
上述步骤201-202的具体实现过程及原理,可以参照上述实施例的详细描述,此处不再赘述。
步骤203,根据当前负载信息的分布值及历史负载数据表,确定当前的消耗值。
其中,当前的消耗值,用于反映当前所在机房当前所负载的流量对系统资源的占用情况,可以用于衡量当前所在机房当前是否处于超负荷状态,以及超负荷的严重程度。可选的,当前的消耗值可以是与机房的极限消耗值相比,机房的当前负载状况的超负荷消耗值。
其中,历史负载数据表,可以包括不同负载信息对应的服务消耗,以及机房的极限消耗值。
在本申请实施例中,服务器每次获取到处于预设时间窗口长度内的当前负载信息之后,即可对获取的当前负载信息进行分析,以确定当前负载信息的分布值,进而通过查询历史负载数据表,确定机房的当前的消耗值。
具体的,服务器可以根据当前负载信息的分布值及历史负载数据表,确定极限服务消耗值及与当前负载信息分布值对应的服务消耗值,并将当前负载信息分布值对应的服务消耗值与极限服务消耗值的差值,确定为当前的消耗值。
也就是说,服务器可以通过查询历史负载数据表,确定与当前负载信息的分布值对应的服务消耗值,进而根据当前负载信息的分布值与历史负载数据表维护的极限服务消耗值的关系,确定机房当前是否处于超负荷状态,以及机房的当前的消耗值。具体的,若当前负载信息分布值对应的服务消耗值小于或等于极限服务消耗值,则可以确定机房当前未处于超负荷状态;若当前负载信息分布值对应的服务消耗值大于极限服务消耗值,则可以确定机房当前处于超负荷状态,并可以将当前负载信息分布值对应的服务消耗值与极限服务消耗值的差值,确定为机房的当前的消耗值。
步骤204,根据当前的消耗值、当前多个流量分别对应的流量等级及降级等级表,确定每个流量等级的流量分别对应的降级等级。
其中,降级等级表,包括多种降级等级及各降级等级分别对应的流量等级、降级方式、服务性能节省值等参数。比如,降级等级表中可以包括60种降级等级,其中,这60种降级等级由20种流量等级和3种降级方式构成,进而根据每种降级等级对应的流量等级和降级方式,确定每种降级等级对应的服务性能节省值。
在本申请实施例中,可以首先根据机房的当前的消耗值,从降级等级表中确定服务性能节省值与当前的消耗值匹配的候选降级等级,进而根据当前每个流量分别对应的流量等级,从候选降级等级中确定当前每个流量对应的降级等级,即每个流量对应的降级等级的流量等级与该流量的流量等级相同。
需要说明的是,候选降级等级是指服务性能节省值大于或等于当前的消耗值的降级等级,以保证通过降级处理可以使得机房不再处于超负荷状态。
步骤205,对每个流量等级的流量分别对应的降级等级进行聚合,以生成降级指令。
在本申请实施例中,确定出每个流量等级的流量分别对应的降级等级之后,即可将确定的各降级等级进行聚合,以生成降级指令。
进一步的,在生成降级指令之后,还可以根据确定的各降级等级,确定降级指令对应的损失值,以估计正常用户使用体验的损失。即在本申请实施例一种可能的实现形式中,上述步骤205之后,还可以包括:
根据每个降级等级对应的服务性能节省值,确定降级指令对应的损失估计。
其中,采用降级指令对系统进行降级之后,可能会对正常用户使用体验造成损伤,而降级指令对应的损失估计是指对前述损伤程度进行估计的参考量。
作为一种可能的实现方式,可以根据降级指令中包括的每个降级等级对应的服务性能节省值,确定降级指令对应的损失估计,以估计降级处理对正常用户的使用体验造成的损伤,从而通过根据损失估计,以用户体验损失最小为目标,更新降级等级表,以对用户体验进行进一步优化。
可选的,可以预先设置损失估计阈值,若降级指令对应的损失估计大于损失估计阈值,则可以确定降级指令对正常用户的使用体验造成的损失较大,从而可以对当前的降级指令以及降级等级表进行更新,以保证更新后的降级指令及降级等级表对用户体验的损伤更小;若降级指令对应的损失估计小于或等于损失估计阈值,则可以确定降级指令对正常用户的使用体验造成的损失较小,从而可以确定当前的降级指令及降级等级表符合性能需求,则无需进行更新操作。
步骤206,根据降级指令,对当前多个流量之中的部分流量进行降级处理。
上述步骤206的具体实现过程及原理,可以参照上述实施例的详细描述,此处不再赘述。
根据本申请实施例的技术方案,通过获取当前负载信息,并对当前多个流量进行打分,以生成当前多个流量分别对应的流量等级,之后根据当前负载信息的分布值及历史负载数据表,确定机房的当前的消耗值,以及根据当前的消耗值、当前多个流量分别对应的流量等级及降级等级表,确定每个流量等级的流量分别对应的降级等级,进而对每个流量等级的流量分别对应的降级等级进行聚合,以生成降级指令,以及根据降级指令,对当前多个流量之中的部分流量进行降级处理。由此,通过维护历史负载数据表和降级等级表,可以根据当前负载信息与当前多个流量分别对应的流量等级,更加方便的确定各流量等级的流量分别对应的降级等级,从而不仅可以精准识别故障流量,而且进一步提高了正常用户的服务质量稳定性。
为了实现上述实施例,本申请还提出一种流量管理装置。
图5为本申请实施例提供的一种流量管理装置的结构示意图。
如图5所示,该流量管理装置30,包括:
第一获取模块31,用于获取当前负载信息;
第一生成模块32,用于对当前多个流量进行打分,以生成所述当前多个流量分别对应的流量等级;
第二生成模块33,用于根据所述当前负载信息及所述当前多个流量分别对应的流量等级,生成降级指令;以及
降级模块34,用于根据所述降级指令,对所述当前多个流量之中的部分流量进行降级处理。
在实际使用时,本申请实施例提供的流量管理装置,可以被配置在任意电子设备中,以执行前述流量管理方法。
根据本申请实施例的技术方案,通过获取当前负载信息,并对当前多个流量进行打分,以生成当前多个流量分别对应的流量等级,之后根据当前负载信息及当前多个流量分别对应的流量等级,生成降级指令,进而根据降级指令,对当前多个流量之中的部分流量进行降级处理。由此,通过根据机房的当前负载信息与当前多个流量分别对应的流量等级,生成降级指令,进而根据降级指令对多个流量中的部分流量进行降级处理,从而通过对流量进行分级,精准识别故障流量,保证了正常用户的服务质量稳定性。
在本申请一种可能的实现形式中,上述第二生成模块33,具体用于:
根据所述当前负载信息的分布值及历史负载数据表,确定当前的消耗值;
根据所述当前的消耗值、所述当前多个流量分别对应的流量等级及降级等级表,确定每个流量等级的流量分别对应的降级等级;
对所述每个流量等级的流量分别对应的降级等级进行聚合,以生成降级指令。
进一步的,在本申请另一种可能的实现形式中,上述第二生成模块33,还用于:
根据所述当前负载信息的分布值及所述历史负载数据表,确定极限服务消耗值及与所述当前负载信息分布值对应的服务消耗值;
将所述当前负载信息分布值对应的服务消耗值与所述极限服务消耗值的差值,确定为所述当前消耗值。
在本申请一种可能的实现形式中,上述流量管理装置30,还包括:
确定模块,用于根据所述每个降级等级对应的服务性能节省值,确定所述降级指令对应的损失估计。
进一步的,在本申请另一种可能的实现形式中,上述流量管理装置30,还包括:
第二获取模块,用于获取索引层、排序层及渲染层的负载信息;
存储模块,用于以获取的每条负载信息的获取时刻为键值,对所述每条负载信息进行存储,以生成负载信息;
相应的,上述第一获取模块31,具体用于:
以预设频率获取所述键值处于所述当前时刻与第一时刻之间的负载信息,其中,所述第一时刻与所述当前时刻间的时间间隔为预设时间窗口长度。
在本申请一种可能的实现形式中,上述降级模块34,具体用于:
根据所述当前多个流量分别对应的流量等级,确定所述流量等级大于等级阈值的待降级流量;
根据所述降级指令对所述待降级流量进行降级处理。
在本申请一种可能的实现形式中,上述第一生成模块32,具体用于:
利用低质流量识别模型对每个流量对应的用户画像数据进行识别处理,以确定所述当前多个流量分别对应的分数值;
根据所述当前多个流量分别对应的分数值,确定所述当前多个流量分别对应的流量等级。
需要说明的是,前述对图1、图4所示的流量管理方法实施例的解释说明也适用于该实施例的流量管理装置30,此处不再赘述。
根据本申请实施例的技术方案,通过获取当前负载信息,并对当前多个流量进行打分,以生成当前多个流量分别对应的流量等级,之后根据当前负载信息的分布值及历史负载数据表,确定机房的当前的消耗值,以及根据当前的消耗值、当前多个流量分别对应的流量等级及降级等级表,确定每个流量等级的流量分别对应的降级等级,进而对每个流量等级的流量分别对应的降级等级进行聚合,以生成降级指令,以及根据降级指令,对当前多个流量之中的部分流量进行降级处理。由此,通过维护历史负载数据表和降级等级表,可以根据当前负载信息与当前多个流量分别对应的流量等级,更加方便的确定各流量等级的流量分别对应的降级等级,从而不仅可以精准识别故障流量,而且进一步提高了正常用户的服务质量稳定性。
根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
如图6所示,是根据本申请实施例的流量管理方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示,该电子设备包括:一个或多个处理器401、存储器402,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个电子设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器401为例。
存储器402即为本申请所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本申请所提供的流量管理方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的流量管理方法。
存储器402作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的流量管理方法对应的程序指令/模块(例如,附图5所示的第一获取模块31、第一生成模块32、第二生成模块33和降级模块34)。处理器401通过运行存储在存储器402中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的流量管理方法。
存储器402可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据流量管理方法的电子设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器402可选包括相对于处理器401远程设置的存储器,这些远程存储器可以通过网络连接至流量管理方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
流量管理方法的电子设备还可以包括:输入装置403和输出装置404。处理器401、存储器402、输入装置403和输出装置404可以通过总线或者其他方式连接,图6中以通过总线连接为例。
输入装置403可接收输入的数字或字符信息,以及产生与流量管理方法的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置404可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案,通过获取机房的当前负载信息,并对当前多个流量进行打分,以生成当前多个流量分别对应的流量等级,之后根据当前负载信息及当前多个流量分别对应的流量等级,生成降级指令,进而根据降级指令,对当前多个流量之中的部分流量进行降级处理。由此,通过根据机房的当前负载信息与当前多个流量分别对应的流量等级,生成降级指令,进而根据降级指令对多个流量中的部分流量进行降级处理,从而通过对流量进行分级,精准识别故障流量,保证了正常用户的服务质量稳定性。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (14)
1.一种流量管理方法,其特征在于,包括:
获取当前负载信息;
对当前多个流量进行打分,以生成所述当前多个流量分别对应的流量等级;
根据所述当前负载信息及所述当前多个流量分别对应的流量等级,生成降级指令;以及
根据所述降级指令,对所述当前多个流量之中的部分流量进行降级处理;
所述对当前多个流量进行打分包括:
挖掘所述多个流量的用户行为特征和报文特征,根据所述用户行为特征和所述报文特征确定每个流量为低质量流量的概率,根据所述每个流量为低质量流量的概率对相应的流量进行打分;
所述获取当前负载信息之前,还包括:
获取索引层、排序层及渲染层的负载信息;
以获取的每条负载信息的获取时刻为键值,对所述每条负载信息进行存储,以生成负载信息;
所述获取当前负载信息,包括:
以预设频率获取所述键值处于所述当前时刻与第一时刻之间的负载信息,其中,所述第一时刻与所述当前时刻间的时间间隔为预设时间窗口长度。
2.如权利要求1所述的方法,其特征在于,所述根据所述当前负载信息及所述当前多个流量分别对应的流量等级,生成降级指令,包括:
根据所述当前负载信息的分布值及历史负载数据表,确定当前的消耗值;
根据所述当前的消耗值、所述当前多个流量分别对应的流量等级及降级等级表,确定每个流量等级的流量分别对应的降级等级;
对所述每个流量等级的流量分别对应的降级等级进行聚合,以生成降级指令。
3.如权利要求2所述的方法,其特征在于,所述根据所述当前负载信息的分布值及历史负载数据表,确定当前的消耗值,包括:
根据所述当前负载信息的分布值及所述历史负载数据表,确定极限服务消耗值及与所述当前负载信息分布值对应的服务消耗值;
将所述当前负载信息分布值对应的服务消耗值与所述极限服务消耗值的差值,确定为所述当前的消耗值。
4.如权利要求2或3所述的方法,其特征在于,所述根据对所述每个流量等级的流量分别对应的降级等级进行聚合,以生成降级指令之后,还包括:
根据所述每个降级等级对应的服务性能节省值,确定所述降级指令对应的损失估计。
5.如权利要求1所述的方法,其特征在于,所述根据所述降级指令,对所述当前多个流量之中的部分流量进行降级处理,包括:
根据所述当前多个流量分别对应的流量等级,确定所述流量等级大于等级阈值的待降级流量;
根据所述降级指令对所述待降级流量进行降级处理。
6.如权利要求1所述的方法,其特征在于,所述对当前多个流量进行打分,以生成所述当前多个流量分别对应的流量等级,包括:
利用低质流量识别模型对每个流量对应的用户画像数据进行识别处理,以确定所述当前多个流量分别对应的分数值;
根据所述当前多个流量分别对应的分数值,确定所述当前多个流量分别对应的流量等级。
7.一种流量管理装置,其特征在于,包括:
第一获取模块,用于获取当前负载信息;
第一生成模块,用于对当前多个流量进行打分,以生成所述当前多个流量分别对应的流量等级;
第二生成模块,用于根据所述当前负载信息及所述当前多个流量分别对应的流量等级,生成降级指令;以及
降级模块,用于根据所述降级指令,对所述当前多个流量之中的部分流量进行降级处理;
所述对当前多个流量进行打分包括:
挖掘所述多个流量的用户行为特征和报文特征,根据所述用户行为特征和所述报文特征确定每个流量为低质量流量的概率,根据所述每个流量为低质量流量的概率对相应的流量进行打分;
还包括:
第二获取模块,用于获取索引层、排序层及渲染层的负载信息;
存储模块,用于以获取的每条负载信息的获取时刻为键值,对所述每条负载信息进行存储,以生成负载信息;
所述第一获取模块,具体用于:
以预设频率获取所述键值处于所述当前时刻与第一时刻之间的负载信息,其中,所述第一时刻与所述当前时刻间的时间间隔为预设时间窗口长度。
8.如权利要求7所述的装置,其特征在于,所述第二生成模块,具体用于:
根据所述当前负载信息的分布值及历史负载数据表,确定当前的消耗值;
根据所述当前的消耗值、所述当前多个流量分别对应的流量等级及降级等级表,确定每个流量等级的流量分别对应的降级等级;
对所述每个流量等级的流量分别对应的降级等级进行聚合,以生成降级指令。
9.如权利要求8所述的装置,其特征在于,所述第二生成模块,还用于:
根据所述当前负载信息的分布值及所述历史负载数据表,确定极限服务消耗值及与所述当前负载信息分布值对应的服务消耗值;
将所述当前负载信息分布值对应的服务消耗值与所述极限服务消耗值的差值,确定为所述当前的消耗值。
10.如权利要求8或9所述的装置,其特征在于,还包括:
确定模块,用于根据所述每个降级等级对应的服务性能节省值,确定所述降级指令对应的损失估计。
11.如权利要求7所述的装置,其特征在于,所述降级模块,具体用于:
根据所述当前多个流量分别对应的流量等级,确定所述流量等级大于等级阈值的待降级流量;
根据所述降级指令对所述待降级流量进行降级处理。
12.如权利要求7所述的装置,其特征在于,所述第一生成模块,具体用于:
利用低质流量识别模型对每个流量对应的用户画像数据进行识别处理,以确定所述当前多个流量分别对应的分数值;
根据所述当前多个流量分别对应的分数值,确定所述当前多个流量分别对应的流量等级。
13.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911111083.0A CN110958137B (zh) | 2019-11-14 | 2019-11-14 | 流量管理方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911111083.0A CN110958137B (zh) | 2019-11-14 | 2019-11-14 | 流量管理方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110958137A CN110958137A (zh) | 2020-04-03 |
CN110958137B true CN110958137B (zh) | 2022-07-01 |
Family
ID=69977258
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911111083.0A Active CN110958137B (zh) | 2019-11-14 | 2019-11-14 | 流量管理方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110958137B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112583737B (zh) * | 2020-12-15 | 2023-05-19 | 百度在线网络技术(北京)有限公司 | 流量调整方法和装置 |
CN113364648B (zh) * | 2021-06-04 | 2024-02-13 | 百果园技术(新加坡)有限公司 | 流量控制方法、系统、装置、服务设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107295572A (zh) * | 2016-04-11 | 2017-10-24 | 北京搜狗科技发展有限公司 | 一种动态自适应限流方法及电子设备 |
CN108173698A (zh) * | 2018-01-17 | 2018-06-15 | 阿里巴巴集团控股有限公司 | 网络服务管理方法、装置、服务器及存储介质 |
CN109756426A (zh) * | 2017-11-01 | 2019-05-14 | 南京烽火软件科技有限公司 | 用户流量控制装置 |
CN110138688A (zh) * | 2019-04-15 | 2019-08-16 | 深圳壹账通智能科技有限公司 | 动态调整业务接口的方法、装置、设备及可读存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130263167A1 (en) * | 2012-03-30 | 2013-10-03 | Bytemobile, Inc. | Adaptive Traffic Management in Cellular Wireless Networks |
US20160065453A1 (en) * | 2014-08-26 | 2016-03-03 | International Business Machines Corporation | Cooperatively managing role based quality of service |
US11055148B2 (en) * | 2017-10-24 | 2021-07-06 | Genesys Telecommunications Laboratories, Inc. | Systems and methods for overload protection for real-time computing engines |
CN109257294B (zh) * | 2018-09-07 | 2022-04-12 | 武汉斗鱼网络科技有限公司 | 基于redis的服务动态降级方法、装置、服务器及存储介质 |
-
2019
- 2019-11-14 CN CN201911111083.0A patent/CN110958137B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107295572A (zh) * | 2016-04-11 | 2017-10-24 | 北京搜狗科技发展有限公司 | 一种动态自适应限流方法及电子设备 |
CN109756426A (zh) * | 2017-11-01 | 2019-05-14 | 南京烽火软件科技有限公司 | 用户流量控制装置 |
CN108173698A (zh) * | 2018-01-17 | 2018-06-15 | 阿里巴巴集团控股有限公司 | 网络服务管理方法、装置、服务器及存储介质 |
CN110138688A (zh) * | 2019-04-15 | 2019-08-16 | 深圳壹账通智能科技有限公司 | 动态调整业务接口的方法、装置、设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110958137A (zh) | 2020-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111967569A (zh) | 神经网络结构的生成方法、装置、存储介质及电子设备 | |
US10963458B2 (en) | Federated chatbots | |
CN110958137B (zh) | 流量管理方法、装置及电子设备 | |
CN111880914A (zh) | 资源调度方法、资源调度装置、电子设备和存储介质 | |
KR102616470B1 (ko) | 이동식 신호등을 검출하는 방법, 장치, 전자 기기 및 저장 매체 | |
CN111666187B (zh) | 用于检测异常响应时间的方法和装置 | |
CN112765452B (zh) | 搜索推荐方法、装置及电子设备 | |
CN112540914A (zh) | 单元测试的执行方法、执行装置、服务器和存储介质 | |
CN112380131A (zh) | 模块测试方法、装置及电子设备 | |
CN112306836A (zh) | 采样对象确定方法、装置、电子设备和计算机可读存储介质 | |
CN111865720B (zh) | 用于处理请求的方法、装置、设备以及存储介质 | |
CN113132479A (zh) | 流量切换、模型生成方法、装置、设备、存储介质及程序 | |
CN113704058A (zh) | 一种业务模型的监控方法、装置及电子设备 | |
CN111680599A (zh) | 人脸识别模型处理方法、装置、设备和存储介质 | |
CN116755974A (zh) | 云计算平台运维方法、装置、电子设备及存储介质 | |
CN112561332B (zh) | 模型管理方法、装置、电子设备、存储介质和程序产品 | |
CN113778973B (zh) | 数据存储方法和装置 | |
CN111597026B (zh) | 用于获取信息的方法及装置 | |
CN110555486B (zh) | 模型结构的延时预测方法、装置以及电子设备 | |
CN112114991A (zh) | 小程序的异常处理方法、装置、电子设备和存储介质 | |
CN111694686A (zh) | 一种异常服务的处理方法、装置、电子设备及存储介质 | |
CN112929198A (zh) | 一种局部热点的处理方法、装置、电子设备及存储介质 | |
CN111160552A (zh) | 负采样处理方法、装置、设备和计算机存储介质 | |
CN112734454A (zh) | 一种用户信息确定方法、装置、电子设备和存储介质 | |
CN112437152B (zh) | 崩溃处理方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |