CN113472682B - 一种热点对象流媒体源自动伸缩方法及装置 - Google Patents

Abstract

本发明公开了一种热点对象流媒体源自动伸缩方法及装置，所述方法，包括：采用令牌桶算法设置网关节点获取同一资源的token，若获取所述token失败则发送拒绝请求信息至RabbitMQ队列，若没有失败，则继续获取所述token；根据所述拒绝请求信息进行id计数以启用弹性资源事件信息；将所述弹性资源事件信息添加至预设的容器中，所述容器提交一个tag镜像，并上传至镜像仓库，作为扩容事件；当监测到所述容器的节点访问日志的有效访问时间超过15分钟，则对所述容器进行销毁。本发明通过设计扩容与收缩技术，避免数据流量传输造成的资源浪费。

Description

一种热点对象流媒体源自动伸缩方法及装置

技术领域

本发明涉及数据存储技术领域，尤其涉及一种热点对象流媒体源自动伸缩方法及装置。

背景技术

在进行海量数据传输的时候，经常会遇到数据流量不稳定的情况，而且这种波峰波谷的情况是不可预见的，例如一段时间的数据流量突然瞬间暴增，而其他时间流量较小。目前为了解决流量不稳定的情况，仅通过调整服务器规模解决，波谷期流量较小时过多的服务器冗余带来成本的浪费，波峰期流量暴涨时过少的服务器又令平台服务处于崩溃的边缘。

发明内容

本发明目的在于，提供一种热点对象流媒体源自动伸缩方法及装置，以解决由于数据流量信息存储造成的资源浪费的问题。

为实现上述目的，本发明提供一种热点对象流媒体源自动伸缩方法，包括：

采用令牌桶算法设置网关节点获取同一资源的token，若60秒内拒绝请求次数达到120次，网关层触发限流时，从Redis中按对象id检测是否含有所属资源的弹性资源可响应请求，若有，则将所述拒绝请求转发到弹性资源响应请求，若无，则执行限流逻辑，并将拒绝请求的对象id信息、请求时间信息发送到RabbitMQ队列，若没有失败，则继续获取所述token；

根据所述拒绝请求信息进行id计数以启用弹性资源事件信息；

将所述弹性资源事件信息添加至预设的容器中，所述容器提交一个tag镜像，并上传至镜像仓库，作为扩容事件；

当监测到所述容器的节点访问日志的有效访问时间超过15分钟，则对所述容器进行销毁。

优选地，所述获取所述token失败则发送拒绝请求信息至RabbitMQ队列，包括：

若60秒内拒绝请求次数达到120次，网关层触发限流，从Redis中按对象id检测是否含有所属资源的弹性资源可响应请求，若有，则将所述请求转发至弹性资源响应请求，若无，则执行限流逻辑。

优选地，所述发送拒绝请求信息至RabbitMQ队列，还包括：所述拒绝请求信息的对象id信息和请求时间信息。

优选地，所述根据所述拒绝请求信息进行id计数以启用弹性资源事件信息，包括：

所述拒绝请求信息的对象按60秒时间间隔进行id计数，若60秒内拒绝请求次数达到120次，则向所述RabbitMQ中发送对象id启用所述弹性资源事件信息；

根据60秒内的请求次数除以60的商确定弹性资源扩容系数信息。

优选地，所述将所述弹性资源事件信息添加至预设的容器中，所述容器提交一个tag镜像，并上传至镜像仓库，作为扩容事件，包括：

获取所述弹性资源事件信息的对象id，并采用api加载所述弹性资源事件信息为本地文件，将该文件添加至预设的容器中，将所述容器按资源id和时间戳的方式提交一个tag镜像；

所述扩容事件包括，所述tag镜像编码和所述弹性资源扩容系数信息。

本发明还提供一种热点对象流媒体源自动伸缩装置，包括：

获取模块，用于采用令牌桶算法设置网关节点获取同一资源的token，若60秒内拒绝请求次数达到120次，网关层触发限流时，从Redis中按对象id检测是否含有所属资源的弹性资源可响应请求，若有，则将所述拒绝请求转发到弹性资源响应请求，若无，则执行限流逻辑，并将拒绝请求的对象id信息、请求时间信息发送到RabbitMQ队列，若没有失败，则继续获取所述token；

启用模块，用于根据所述拒绝请求信息进行id计数以启用弹性资源事件信息；

扩容模块，用于将所述弹性资源事件信息添加至预设的容器中，所述容器提交一个tag镜像，并上传至镜像仓库，作为扩容事件；

收缩模块，用于当监测到所述容器的节点访问日志的有效访问时间超过15分钟，则对所述容器进行销毁。

优选地，所述获取模块，还用于：

若60秒内拒绝请求次数达到120次，网关层触发限流，从Redis中按对象id检测是否含有所属资源的弹性资源可响应请求，若有，则将所述请求转发至弹性资源响应请求，若无，则执行限流逻辑。

优选地，所述获取模块，还用于：所述拒绝请求信息的对象id信息和请求时间信息。

优选地，所述启用模块，还用于：

所述拒绝请求信息的对象按60秒时间间隔进行id计数，若60秒内拒绝请求次数达到120次，则向所述RabbitMQ中发送对象id启用所述弹性资源事件信息；

根据60秒内的请求次数除以60的商确定弹性资源扩容系数信息。

优选地，所述扩容模块，还用于：

获取所述弹性资源事件信息的对象id，并采用api加载所述弹性资源事件信息为本地文件，将该文件添加至预设的容器中，将所述容器按资源id和时间戳的方式提交一个tag镜像；

所述扩容事件包括，所述tag镜像编码和所述弹性资源扩容系数信息。

本发明采用令牌桶算法设置网关节点获取同一资源的token，若获取token失败则发送拒绝请求信息至RabbitMQ队列，若没有失败，则继续获取所述token，根据拒绝请求信息进行id计数以启用弹性资源事件信息，将弹性资源事件信息添加至预设的容器中，容器提交一个tag镜像，并上传至镜像仓库，作为扩容事件，当监测到容器的节点访问日志的有效访问时间超过15分钟，则对容器进行销毁。本发明通过设计扩容与收缩技术，避免数据流量传输造成的资源浪费。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明某一实施例提供的热点对象流媒体源自动伸缩方法的流程示意图；

图2是本发明另一实施例提供的令牌桶算法的流程示意图；

图3是本发明某一实施例提供的热点对象流媒体源自动伸缩装置的结构示意图。

具体实施方式

下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，文中所使用的步骤编号仅是为了方便描述，不作为对步骤执行先后顺序的限定。

应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请参阅图1，本发明提供一种热点对象流媒体源自动伸缩方法，包括：

S101、采用令牌桶算法设置网关节点获取同一资源的token，若获取所述token失败则发送拒绝请求信息至RabbitMQ队列，若没有失败，则继续获取所述token。

请参照图2，Redis Cell令牌桶算法:假定所有的令牌都放在一个固定容量的令牌桶里，令牌桶中有初始容量，每来一个请求从桶中获取一个令牌，并且在一定时间间隔中可以生成令牌(例如每60秒生成30个token)，请求只有拿到了令牌才能通过，令牌桶的规则如下：

1)定速的往桶内放入令牌；

2)当令牌数量超过桶的限制，丢弃；

3)请求来了先向桶内索要令牌，索要成功则通过被处理，反之拒绝。

Token:(令牌)在网络请求中，要想区分来自不同用户的请求的话，服务端需要根据客户端请求确认其用户身份，即身份验证。在人机交互中，身份验证意味着要求用户登录才能访问某些信息，而为了确认用户身份，用户必须提供只有用户和服务器知道的信息(即身份验证因子)，比如用户名/密码，基于Token的验证是一种常见的身份验证方案。

在基于Token的方案中，服务端根据用户身份信息生成Token，发放给客户端，客户端收好Token，并在之后的数据请求中带上Token，服务端接到请求后校验并解析Token得出用户身份，身份验证中的Token就像身份证，由服务端进行签发和验证，并且在有效期内都具有合法性。

获取所述token失败则发送拒绝请求信息至RabbitMQ队列，包括，若60秒内拒绝请求次数达到120次，网关层触发限流，从Redis中按对象id检测是否含有所属资源的弹性资源可响应请求，若有，则将所述请求转发至弹性资源响应请求，若无，则执行限流逻辑，发送拒绝请求信息至RabbitMQ队列，还包括，拒绝请求信息的对象id信息和请求时间信息。

具体的，本发明采用redis4.0提供的令牌桶算法Redis Cell，设置每个网关节点每次对同一个资源只能申请1个token，60秒生成30个token，如果token消耗完毕，获取token会失败，与此同时发送一个资源获取失败的MQ消息，需要2秒后重试，若60秒内拒绝请求次数达到120次，网关层触发限流时，此时会从Redis中按对象id检测有无该资源的弹性资源可响应请求，若有弹性资源可用则将请求转发到弹性资源响应请求，若无弹性资源可用，则执行限流逻辑，并将限流拒绝请求的对象id信息、请求时间信息发送到RabbitMQ队列，为热点对象感知做数据准备。

S102、根据所述拒绝请求信息进行id计数以启用弹性资源事件信息。

根据拒绝请求信息进行id计数以启用弹性资源事件信息，包括，拒绝请求信息的对象按60秒时间间隔进行id计数，若60秒内拒绝请求次数达到120次，则向RabbitMQ中发送对象id启用弹性资源事件信息，根据60秒内的请求次数除以60的商确定弹性资源扩容系数信息。

具体的，将消费RabbitMQ中从步骤S101中获取拒绝请求信息，对拒绝请求信息中的对象按60秒时间间隔进行id计数，若60秒内拒绝请求次数达到120次，则在向RabbitMQ中发送对象id启用弹性资源事件信息，并依据限流请求次数对60秒求商作为弹性资源扩容大小的系数，例如：60秒内限流请求的次数为1200次，那么弹性资源扩容系数为20，表示会扩容20*标准单位个资源节点。

S103、将所述弹性资源事件信息添加至预设的容器中，所述容器提交一个tag镜像，并上传至镜像仓库，作为扩容事件。

将弹性资源事件信息添加至预设的容器中，容器提交一个tag镜像，并上传至镜像仓库，作为扩容事件，包括，获取弹性资源事件信息的对象id，并采用api加载弹性资源事件信息为本地文件，将该文件添加至预设的容器中，将容器按资源id和时间戳的方式提交一个tag镜像，扩容事件包括，tag镜像编码和弹性资源扩容系数信息。

具体的，制作扩容资源镜像，消费RabbitMQ中从步骤S102中获取启用弹性资源事件信息，从信息中获取对象id，并从对象存储中心中非限流专用api加载一次该对象流信息，系列化到本地文件中，将该文件添加到预置好的单资源弹性资源Docker容器中，以备该镜像下次初始化为容器后自动加载到内存，然后将该容器按资源id+时间毫秒戳的方式提交为一个tag镜像，上传到镜像仓库，然后向RabbitMQ中发送该镜像tag编码、弹性资源扩容系数信息作为扩容事件。

初始化扩容资源，对象流扩容容器初始化将消费RabbitMQ中以镜像tag为编码的扩容事件，当收到扩容事件后，将通知各个机房的K8S编排中心均分弹性资源系数*标准单位个容器，容器启用后将制动加载对象流到内存，并将所属访问地址注册以资源id为key存储到Redis集群中，如果Redis集群中该key已经存在，则向key对应的集合中追加本地址用于负载均衡。

S104、当监测到所述容器的节点访问日志的有效访问时间超过15分钟，则对所述容器进行销毁。

由于热点对象的访问是有时间周期的，过了热点周期，为了响应热点对象请求而弹性扩容的资源应该及时回收，以节约资源，保证另一次对象访问热点发生时有资源可用。对象流弹性源监测回收模块将异步准实时监控filebeat日志信息，当监控到对象流弹性扩容容器节点发生访问日志中最后一次有效访问已经超过15分钟，则调用各个机房的k8s服务api将该容器销毁，并清空Redis中缓存的该对象弹性容器资源访问地址信息。

本发明采用令牌桶算法设置网关节点获取同一资源的token，若获取token失败则发送拒绝请求信息至RabbitMQ队列，若没有失败，则继续获取所述token，根据拒绝请求信息进行id计数以启用弹性资源事件信息，将弹性资源事件信息添加至预设的容器中，容器提交一个tag镜像，并上传至镜像仓库，作为扩容事件，当监测到容器的节点访问日志的有效访问时间超过15分钟，则对容器进行销毁。本发明通过设计扩容与收缩技术，快速瞬间检测热点流量有助于快速扩容并且快速收缩，避免数据流量传输造成的资源浪费。

请参阅图3，本发明提供一种热点对象流媒体源自动伸缩装置，包括：

获取模块11，用于采用令牌桶算法设置网关节点获取同一资源的token，若获取所述token失败则发送拒绝请求信息至RabbitMQ队列，若没有失败，则继续获取所述token。

启用模块12，用于根据所述拒绝请求信息进行id计数以启用弹性资源事件信息。

扩容模块13，用于将所述弹性资源事件信息添加至预设的容器中，所述容器提交一个tag镜像，并上传至镜像仓库，作为扩容事件。

收缩模块14，用于当监测到所述容器的节点访问日志的有效访问时间超过15分钟，则对所述容器进行销毁。

关于热点对象流媒体源自动伸缩装置的具体限定可以参见上文中对于的限定，在此不再赘述。上述热点对象流媒体源自动伸缩装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (6)

1.一种热点对象流媒体源自动伸缩方法，其特征在于，包括：

采用令牌桶算法设置网关节点获取同一资源的token，若60秒内拒绝请求次数达到120次，网关层触发限流时，从Redis中按对象id检测是否含有所属资源的弹性资源可响应请求，若有，则将所述拒绝请求转发到弹性资源响应请求，若无，则执行限流逻辑，并将拒绝请求的对象id信息、请求时间信息发送到RabbitMQ队列，若没有失败，则继续获取所述token；

根据所述拒绝请求信息进行id计数以启用弹性资源事件信息；

将所述弹性资源事件信息添加至预设的容器中，所述容器提交一个tag镜像，并上传至镜像仓库，作为扩容事件；

当监测到所述容器的节点访问日志的有效访问时间超过15分钟，则对所述容器进行销毁。

2.根据权利要求1所述的热点对象流媒体源自动伸缩方法，其特征在于，所述根据所述拒绝请求信息进行id计数以启用弹性资源事件信息，包括：

所述拒绝请求信息的对象按60秒时间间隔进行id计数，若60秒内拒绝请求次数达到120次，则向所述RabbitMQ中发送对象id启用所述弹性资源事件信息；

根据60秒内的请求次数除以60的商确定弹性资源扩容系数信息。

3.根据权利要求2所述的热点对象流媒体源自动伸缩方法，其特征在于，所述将所述弹性资源事件信息添加至预设的容器中，所述容器提交一个tag镜像，并上传至镜像仓库，作为扩容事件，包括：

获取所述弹性资源事件信息的对象id，并采用api加载所述弹性资源事件信息为本地文件，将该文件添加至预设的容器中，将所述容器按资源id和时间戳的方式提交一个tag镜像；

所述扩容事件包括，所述tag镜像编码和所述弹性资源扩容系数信息。

4.一种热点对象流媒体源自动伸缩装置，其特征在于，包括：

获取模块，用于采用令牌桶算法设置网关节点获取同一资源的token，若60秒内拒绝请求次数达到120次，网关层触发限流时，从Redis中按对象id检测是否含有所属资源的弹性资源可响应请求，若有，则将所述拒绝请求转发到弹性资源响应请求，若无，则执行限流逻辑，并将拒绝请求的对象id信息、请求时间信息发送到RabbitMQ队列，若没有失败，则继续获取所述token；

启用模块，用于根据所述拒绝请求信息进行id计数以启用弹性资源事件信息；

扩容模块，用于将所述弹性资源事件信息添加至预设的容器中，所述容器提交一个tag镜像，并上传至镜像仓库，作为扩容事件；

收缩模块，用于当监测到所述容器的节点访问日志的有效访问时间超过15分钟，则对所述容器进行销毁。

5.根据权利要求4所述的热点对象流媒体源自动伸缩装置，其特征在于，所述启用模块，还用于：

所述拒绝请求信息的对象按60秒时间间隔进行id计数，若60秒内拒绝请求次数达到120次，则向所述RabbitMQ中发送对象id启用所述弹性资源事件信息；

根据60秒内的请求次数除以60的商确定弹性资源扩容系数信息。

6.根据权利要求5所述的热点对象流媒体源自动伸缩装置，其特征在于，所述扩容模块，还用于：

获取所述弹性资源事件信息的对象id，并采用api加载所述弹性资源事件信息为本地文件，将该文件添加至预设的容器中，将所述容器按资源id和时间戳的方式提交一个tag镜像；

所述扩容事件包括，所述tag镜像编码和所述弹性资源扩容系数信息。

Images