CN109104378A - 基于时间序列预测的智能令牌预回收方法 - Google Patents
基于时间序列预测的智能令牌预回收方法 Download PDFInfo
- Publication number
- CN109104378A CN109104378A CN201810939342.8A CN201810939342A CN109104378A CN 109104378 A CN109104378 A CN 109104378A CN 201810939342 A CN201810939342 A CN 201810939342A CN 109104378 A CN109104378 A CN 109104378A
- Authority
- CN
- China
- Prior art keywords
- token
- time
- period
- probability
- recovery method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/215—Flow control; Congestion control using token-bucket
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了基于时间序列预测的智能令牌预回收方法,本技术方案主要对令牌进行智能管理,去除人为操作,在应用请求量不大的时候,对令牌进行回收,放回令牌池,为大请求量的合作方或者服务提供充足的令牌请求令牌数。本设计方案主要采用了机器学习中的统计计算模型,对以往的流水按照一定周期的时间段进行划分,然后进行过统计分析,预测后期的分布统计,根据令牌缓存池的分配资源情况,在令牌缓存池资源不足的时候,对统计预测的令牌使用概率进行最小使用及最远被使用的情况进行回收,释放资源。
Description
技术领域
本发明涉及流量控制领域,特别涉及基于时间序列预测的智能令牌预回收方法。
背景技术
网络开放平台是对合作方接入的一个渠道,提供了丰富的api对合作方开放调用,令牌是合作方访问网络内部服务系统的一种标识,没有令牌就无法访问网络开放平台的服务,每个请求进来都会进行令牌的时间有效性检查,如果时间过期就会重新申请令牌,但是在以后一段时间内会一直存在,但是这段时间可能该请求没有进行访问,导致该令牌长期占用系统资源;令牌的及时回收,后面的调用服务有很大的性能优化,通过给合作方的请求数据,从各个维度进行统计分析,合理的分配、回收每个合作方及更细粒度的令牌,发挥令牌的最高效使用率。
现有的令牌管理,是从各个维度及各个维度组合根据需求进行手动配置。在使用完令牌后,也是要等待后台请求处理完成了才能回收令牌,某个服务在请求量不大或者服务量暴增的时候的令牌也不能动态的改变。导致后面的部分请求可能在令牌池中令牌不足的情况下,无法正常访问后台请求,或者某些服务持有令牌又没有被回收出现很大的令牌资源浪费等;需要管理人员手动调整,灵活性特别的差。
发明内容
本发明的目的在于:提供了基于时间序列预测的智能令牌预回收方法,解决了
本发明采用的技术方案如下:
基于时间序列预测的智能令牌预回收方法,令牌缓存池,包括依次进行的以下步骤:
S1、建立时间周期,将一个时间周期分为若干时间段,建立时间序列计算模型;
S2、判断令牌缓存池是否需要回收令牌,若需要回收,进入步骤S3,否则循环步骤S2;
S3、将令牌缓存池中的令牌带入步骤S1中建立的时间序列计算模型,计算每个令牌对应的请求在对应时间段内的出现概率;
S4、根据步骤S3得到的每个令牌对应的请求在对应时间段内的出现概率来回收对应请求的令牌。
本技术方案主要对令牌进行智能管理,去除人为操作,在应用请求量不大的时候,对令牌进行回收,放回令牌池,为大请求量的合作方或者服务提供充足的令牌请求令牌数。本设计方案主要采用了机器学习中的统计计算模型,对以往的流水按照一定周期的时间段进行划分,然后进行过统计分析,预测后期的分布统计,根据令牌缓存池的分配资源情况,在令牌缓存池资源不足的时候,对统计预测的令牌使用概率进行最小使用及最远被使用的情况进行回收,释放资源。
进一步的,所述步骤S1中建立时间序列计算模型的方法包括以下步骤:
S101:将各时间段的历史数据导入时间序列计算模型中;
S102、对步骤S101的历史数据求平均值和标准差;
S103、当标准差低于预设的阈值时,进入步骤S105,否则进入步骤S104;
S104、剔除历史数据中偏离平均值最大的数据,将剩下的数据作为新的历史数据导入步骤S102中;
S105、将该时间段的平均值作为对应的请求在对应时间段内的出现的预测值。
平均值:就是一个周期中某个时间段某个接口的平均调用次数。
标准差:
由公式可以看出:标准差就是描述一个数据的集中性,标准差越小,数据越集中,数据越稳定。在我们的数据中难免会有一些异常的数据,这些数据就需要在偏离平均值很大的情况行进行剔除,在剔除后就需要再次计算平均值和标准差,标准差在我们给定的标准范围中的时候,那么当时的平均值就为下一个周期中当前时间段的预测值。
进一步的,所述步骤S2中判断令牌缓存池是否需要回收令牌的方法包括:
S201、设定令牌缓存池缓存数量阈值,当令牌缓存池内的令牌数量达到阈值时,触发令牌回收;
S202、当时间周期到达时,触发令牌回收。
进一步的,所述当令牌缓存池内的令牌数量达到阈值时,触发令牌回收时,回收情况包括:
S301、该令牌对应的请求在当前时间段内出现概率为0;
S302、该令牌对应的请求在当前时间段内出现概率最小;
S303、该令牌对应的请求在接下来的时间段出现概率最小。
进一步的,所述回收方法的优先级为S301优先于S302优先于S301。
进一步的,所述当时间周期到达时,触发令牌回收,回收情况包括:
S304、该令牌对应的请求在当前时间段内出现概率为0;
S305、该令牌对应的请求在接下来的时间段出现概率最小。
进一步的,所述所述回收方法的优先级为S304优先于S305。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
本发明基于时间序列预测的智能令牌预回收方法,成功地实现了令牌回收功能,能较少人为因素的干扰,特别在令牌智能控制后,能很好的管理令牌,并且很好的管理令牌浪费或者请求因令牌的问题无法请求服务的问题。
附图说明
本发明将通过例子并参照附图的方式说明,其中:
图1是本发明的流程图;
图2是本发明的在第一个时间段内(0-1小时)某个请求一定周期访问量示意图;
图3是在第一个时间段内(0-1小时)另一个请求一定周期访问量示意图;
图4是本发明对比实施例的流程图;
图5是本发明的流程图;
具体实施方式
本说明书中公开的所有特征,或公开的所有方法或过程中的步骤,除了互相排斥的特征和/或步骤以外,均可以以任何方式组合。
下面结合图1至图5对本发明作详细说明。
实施例1
如图1、图5所示,基于时间序列预测的智能令牌预回收方法,令牌缓存池,包括依次进行的以下步骤:
S1、建立时间周期,将一个时间周期分为若干时间段,建立时间序列计算模型;
S2、判断令牌缓存池是否需要回收令牌,若需要回收,进入步骤S3,否则循环步骤S2;
S3、将令牌缓存池中的令牌带入步骤S1中建立的时间序列计算模型,计算每个令牌对应的请求在对应时间段内的出现概率;
S4、根据步骤S3得到的每个令牌对应的请求在对应时间段内的出现概率来回收对应请求的令牌。
本技术方案主要对令牌进行智能管理,去除人为操作,在应用请求量不大的时候,对令牌进行回收,放回令牌池,为大请求量的合作方或者服务提供充足的令牌请求令牌数。本设计方案主要采用了机器学习中的统计计算模型,对以往的流水按照一定周期的时间段进行划分,然后进行过统计分析,预测后期的分布统计,根据令牌缓存池的分配资源情况,在令牌缓存池资源不足的时候,对统计预测的令牌使用概率进行最小使用及最远被使用的情况进行回收,释放资源。
实施例2
本实施例与实施例1的区别在于,进一步的,所述步骤S1中建立时间序列计算模型的方法包括以下步骤:
S101:将各时间段的历史数据导入时间序列计算模型中;
S102、对步骤S101的历史数据求平均值和标准差;
S103、当标准差低于预设的阈值时,进入步骤S105,否则进入步骤S104;
S104、剔除历史数据中偏离平均值最大的数据,将剩下的数据作为新的历史数据导入步骤S102中;
S105、将该时间段的平均值作为对应的请求在对应时间段内的出现的预测值。
平均值:就是一个周期中某个时间段某个接口的平均调用次数。
标准差:
由公式可以看出:标准差就是描述一个数据的集中性,标准差越小,数据越集中,数据越稳定。在我们的数据中难免会有一些异常的数据,这些数据就需要在偏离平均值很大的情况行进行剔除,在剔除后就需要再次计算平均值和标准差,标准差在我们给定的标准范围中的时候,那么当时的平均值就为下一个周期中当前时间段的预测值。
进一步的,所述步骤S2中判断令牌缓存池是否需要回收令牌的方法包括:
S201、设定令牌缓存池缓存数量阈值,当令牌缓存池内的令牌数量达到阈值时,触发令牌回收;
S202、当时间周期到达时,触发令牌回收。
进一步的,所述当令牌缓存池内的令牌数量达到阈值时,触发令牌回收时,回收情况包括:
S301、该令牌对应的请求在当前时间段内出现概率为0;
S302、该令牌对应的请求在当前时间段内出现概率最小;
S303、该令牌对应的请求在接下来的时间段出现概率最小。
进一步的,所述回收方法的优先级为S301优先于S302优先于S301。
进一步的,所述当时间周期到达时,触发令牌回收,回收情况包括:
S304、该令牌对应的请求在当前时间段内出现概率为0;
S305、该令牌对应的请求在接下来的时间段出现概率最小。
进一步的,所述所述回收方法的优先级为S304优先于S305。
实施例3
如图2、图3所示,在本实施例中,主要的数据来源是请求的历史记录,每个请求的令牌从第一申请到失效默认为24小时,所以时间间隔为一天,把一天按照小时划分成24份,分析维度是从某个应用的某个接口的某个时间段,计算这个时间在当天中的概率模型,预测记下来的一天的请求概率分布;
系统在令牌缓存池资源情况紧张的情况下,触发令牌回收,令牌回收的方式为;
S301、该令牌对应的请求在当前时间段内出现概率为0;
S302、该令牌对应的请求在当前时间段内出现概率最小;
S303、该令牌对应的请求在接下来的时间段出现概率最小。
在每个时间间隔交替的时候也会触发令牌回收的流程:
S304、该令牌对应的请求在当前时间段内出现概率为0;
S305、该令牌对应的请求在接下来的时间段出现概率最小。统计模型的预测数据会定期更新,时间间隔为24小时,分析的数据为当前时间到之前的一个时间点的之间的数据,最令牌进预回收,如此重复。
图2为在第一个时间段内(0-1小时)某个请求一定周期访问量,最后一个点为预测的量值。
图3为在第一个时间段内(0-1小时)另一个请求一定周期访问量,最后一个点为预测的量值。
在接下来的一天中,在第一个时间段(0-1小时)之间,要对令牌进行预回收的话,就会找上述图中令牌比例最小的进行回收,如果比例一样,就按照最久未被调用的接口进行回收。
实施例4
如图4所示,本实施例为本方案对比实施例,传统的令牌分配都通过人为手动的分配令牌,灵活性差,人工干预度大,对服务的性能上也有很大的影响。特别是在节假日这样或者系统维护阶段需要手动的调整令牌。
以上所述,仅为本发明的优选实施方式,但本发明的保护范围并不局限于此,任何熟悉本领域的技术人员在本发明所揭露的技术范围内,可不经过创造性劳动想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求书所限定的保护范围为准。
Claims (7)
1.基于时间序列预测的智能令牌预回收方法,包括令牌缓存池,其特征在于:包括依次进行的以下步骤:
S1、建立时间周期,将一个时间周期分为若干时间段,建立时间序列计算模型;
S2、判断令牌缓存池是否需要回收令牌,若需要回收,进入步骤S3,否则循环步骤S2;
S3、将令牌缓存池中的令牌带入步骤S1中建立的时间序列计算模型,计算每个令牌对应的请求在对应时间段内的出现概率;
S4、根据步骤S3得到的每个令牌对应的请求在对应时间段内的出现概率来回收对应请求的令牌。
2.根据权利要求1所述的基于时间序列预测的智能令牌预回收方法,其特征在于:所述步骤S1中建立时间序列计算模型的方法包括以下步骤:
S101:将各时间段的历史数据导入时间序列计算模型中;
S102、对步骤S101的历史数据求平均值和标准差;
S103、当标准差低于预设的阈值时,进入步骤S105,否则进入步骤S104;
S104、剔除历史数据中偏离平均值最大的数据,将剩下的数据作为新的历史数据导入步骤S102中;
S105、将该时间段的平均值作为对应的请求在对应时间段内的出现的预测值。
3.根据权利要求2所述的基于时间序列预测的智能令牌预回收方法,其特征在于:所述步骤S2中判断令牌缓存池是否需要回收令牌的方法包括:
S201、设定令牌缓存池缓存数量阈值,当令牌缓存池内的令牌数量达到阈值时,触发令牌回收;
S202、当时间周期到达时,触发令牌回收。
4.根据权利要求3所述的基于时间序列预测的智能令牌预回收方法,其特征在于:所述当令牌缓存池内的令牌数量达到阈值时,触发令牌回收时,回收情况包括:
S301、该令牌对应的请求在当前时间段内出现概率为0;
S302、该令牌对应的请求在当前时间段内出现概率最小;
S303、该令牌对应的请求在接下来的时间段出现概率最小。
5.根据权利要求4所述的基于时间序列预测的智能令牌预回收方法,其特征在于:所述回收方法的优先级为S301优先于S302优先于S301。
6.根据权利要求3所述的基于时间序列预测的智能令牌预回收方法,其特征在于:所述当时间周期到达时,触发令牌回收,回收情况包括:
S304、该令牌对应的请求在当前时间段内出现概率为0;
S305、该令牌对应的请求在接下来的时间段出现概率最小。
7.根据权利要求6所述的基于时间序列预测的智能令牌预回收方法,其特征在于:所述所述回收方法的优先级为S304优先于S305。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810939342.8A CN109104378B (zh) | 2018-08-17 | 2018-08-17 | 基于时间序列预测的智能令牌预回收方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810939342.8A CN109104378B (zh) | 2018-08-17 | 2018-08-17 | 基于时间序列预测的智能令牌预回收方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109104378A true CN109104378A (zh) | 2018-12-28 |
CN109104378B CN109104378B (zh) | 2019-08-20 |
Family
ID=64850127
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810939342.8A Active CN109104378B (zh) | 2018-08-17 | 2018-08-17 | 基于时间序列预测的智能令牌预回收方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109104378B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110417678A (zh) * | 2019-08-08 | 2019-11-05 | 浪潮云信息技术有限公司 | 一种应用程序接口限流的方法及装置 |
CN117650950A (zh) * | 2024-01-30 | 2024-03-05 | 浙江省电子信息产品检验研究院(浙江省信息化和工业化融合促进中心) | 安全通信方法与装置 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103092699A (zh) * | 2013-01-10 | 2013-05-08 | 中国南方电网有限责任公司超高压输电公司 | 一种云计算资源预分配实现方法 |
CN104462793A (zh) * | 2014-11-25 | 2015-03-25 | 北京数迅科技有限公司 | 时间序列实时预测方法及装置 |
CN105118013A (zh) * | 2015-07-29 | 2015-12-02 | 北京嘀嘀无限科技发展有限公司 | 一种订单的分配方法及装置 |
CN105515936A (zh) * | 2014-09-23 | 2016-04-20 | 中国电信股份有限公司 | 消息通信的方法、服务器和系统 |
US20160162588A1 (en) * | 2014-10-30 | 2016-06-09 | Quantifind, Inc. | Apparatuses, methods and systems for insight discovery and presentation from structured and unstructured data |
WO2016153790A1 (en) * | 2015-03-23 | 2016-09-29 | Oracle International Corporation | Knowledge-intensive data processing system |
CN106453495A (zh) * | 2016-08-31 | 2017-02-22 | 北京邮电大学 | 一种基于内容流行度预测的信息中心网络缓存方法 |
US20170161439A1 (en) * | 2007-07-03 | 2017-06-08 | Eingot Llc | Records access and management |
CN106875027A (zh) * | 2016-06-06 | 2017-06-20 | 阿里巴巴集团控股有限公司 | 资源请求值的预测方法及装置、交易量的预测方法 |
CN107580767A (zh) * | 2015-03-12 | 2018-01-12 | 眼锁有限责任公司 | 使用生物特征来管理网络活动的方法和系统 |
-
2018
- 2018-08-17 CN CN201810939342.8A patent/CN109104378B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170161439A1 (en) * | 2007-07-03 | 2017-06-08 | Eingot Llc | Records access and management |
CN103092699A (zh) * | 2013-01-10 | 2013-05-08 | 中国南方电网有限责任公司超高压输电公司 | 一种云计算资源预分配实现方法 |
CN105515936A (zh) * | 2014-09-23 | 2016-04-20 | 中国电信股份有限公司 | 消息通信的方法、服务器和系统 |
US20160162588A1 (en) * | 2014-10-30 | 2016-06-09 | Quantifind, Inc. | Apparatuses, methods and systems for insight discovery and presentation from structured and unstructured data |
CN104462793A (zh) * | 2014-11-25 | 2015-03-25 | 北京数迅科技有限公司 | 时间序列实时预测方法及装置 |
CN107580767A (zh) * | 2015-03-12 | 2018-01-12 | 眼锁有限责任公司 | 使用生物特征来管理网络活动的方法和系统 |
WO2016153790A1 (en) * | 2015-03-23 | 2016-09-29 | Oracle International Corporation | Knowledge-intensive data processing system |
CN105118013A (zh) * | 2015-07-29 | 2015-12-02 | 北京嘀嘀无限科技发展有限公司 | 一种订单的分配方法及装置 |
CN106875027A (zh) * | 2016-06-06 | 2017-06-20 | 阿里巴巴集团控股有限公司 | 资源请求值的预测方法及装置、交易量的预测方法 |
CN106453495A (zh) * | 2016-08-31 | 2017-02-22 | 北京邮电大学 | 一种基于内容流行度预测的信息中心网络缓存方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110417678A (zh) * | 2019-08-08 | 2019-11-05 | 浪潮云信息技术有限公司 | 一种应用程序接口限流的方法及装置 |
CN117650950A (zh) * | 2024-01-30 | 2024-03-05 | 浙江省电子信息产品检验研究院(浙江省信息化和工业化融合促进中心) | 安全通信方法与装置 |
CN117650950B (zh) * | 2024-01-30 | 2024-04-19 | 浙江省电子信息产品检验研究院(浙江省信息化和工业化融合促进中心) | 安全通信方法与装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109104378B (zh) | 2019-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9112782B2 (en) | Reactive auto-scaling of capacity | |
CN103036974B (zh) | 基于隐马尔可夫模型的云计算资源调度方法和系统 | |
CN106817499B (zh) | 一种话务资源调度方法及预测调度装置 | |
WO2022036778A1 (zh) | 一种输配协同负荷恢复优化控制方法及系统 | |
CN104679595B (zh) | 一种面向应用的IaaS层动态资源分配方法 | |
CN110519783B (zh) | 基于增强学习的5g网络切片资源分配方法 | |
CN109104378B (zh) | 基于时间序列预测的智能令牌预回收方法 | |
US10613492B2 (en) | Method and system for providing flexible reserve power for power grid | |
CN104951372A (zh) | 一种基于预测的Map/Reduce数据处理平台内存资源动态分配方法 | |
CN108965014A (zh) | QoS感知的服务链备份方法及系统 | |
TW202133055A (zh) | 透過多層次相關性建立系統資源預測及資源管理模型的方法 | |
CN109428950B (zh) | Ip地址池自动调度方法和系统 | |
CN108287763A (zh) | 参数交换方法、工作节点以及参数服务器系统 | |
US11750703B2 (en) | Industrial internet of things system for automatic replacement of production line production devices and control methods thereof | |
CN101370236A (zh) | 一种基于话务量触发载频调度的方法 | |
CN110854891A (zh) | 一种配电网灾前资源配置方法及系统 | |
CN114693006B (zh) | 一种用于新型电力系统的配电储能管理系统及其方法 | |
CN112486642A (zh) | 资源调度方法、装置、电子设备及计算机可读存储介质 | |
CN112187535A (zh) | 雾计算环境下服务器部署方法及装置 | |
CN114637586A (zh) | 一种数据驱动的在线预测和实现k8s资源超售的方法 | |
Wu et al. | A novel call admission control policy using mobility prediction and throttle mechanism for supporting QoS in wireless cellular networks | |
CN114462784A (zh) | 一种装维人员调度方法、装置、设备 | |
CN101616473B (zh) | 一种td-scdma系统中无线网络控制器的节能方法及装置 | |
CN109688068A (zh) | 基于大数据分析的网络负载均衡方法和装置 | |
Lyon et al. | Capacity response sets for security-constrained unit commitment with wind uncertainty |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |