CN115460090B - 边缘记录上传速度动态设置方法及装置 - Google Patents

边缘记录上传速度动态设置方法及装置 Download PDF

Info

Publication number
CN115460090B
CN115460090B CN202211063490.0A CN202211063490A CN115460090B CN 115460090 B CN115460090 B CN 115460090B CN 202211063490 A CN202211063490 A CN 202211063490A CN 115460090 B CN115460090 B CN 115460090B
Authority
CN
China
Prior art keywords
edge
bandwidth
cluster
computing node
uploading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211063490.0A
Other languages
English (en)
Other versions
CN115460090A (zh
Inventor
孙袁袁
孟令强
樊龙腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Bilibili Technology Co Ltd
Original Assignee
Shanghai Bilibili Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Bilibili Technology Co Ltd filed Critical Shanghai Bilibili Technology Co Ltd
Priority to CN202211063490.0A priority Critical patent/CN115460090B/zh
Publication of CN115460090A publication Critical patent/CN115460090A/zh
Application granted granted Critical
Publication of CN115460090B publication Critical patent/CN115460090B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2385Channel allocation; Bandwidth allocation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0896Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/104Peer-to-peer [P2P] networks
    • H04L67/1074Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H04L67/1078Resource delivery mechanisms
    • H04L67/108Resource delivery mechanisms characterised by resources being split in blocks or fragments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26216Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the channel capacity, e.g. network bandwidth

Abstract

本申请公开了一种边缘记录上传速度动态设置方法及装置,方法包括:根据边缘集群中第一边缘计算节点发送的上传速度询问请求,获取边缘集群的带宽数据;根据边缘集群的带宽数据,以及边缘集群中第一边缘计算节点的个数,确定第一边缘计算节点的边缘记录上传速度;基于边缘记录上传速度对第一边缘计算节点的上传速度进行调整。根据边缘集群的带宽数据来动态确定边缘记录上传速度,可以避免边缘记录上传时占用过多带宽,且边缘记录上传速度动态确定,也保障了边缘集群带宽的正常使用。

Description

边缘记录上传速度动态设置方法及装置
技术领域
本申请涉及互联网技术领域,具体涉及一种边缘记录上传速度动态设置方法及装置。
背景技术
在直播业务中,根据直播的各种要求规范等,需要对直播内容进行记录,如对直播内容进行录制、截图等,以供后续的审核处理。
现有技术在对直播内容进行记录时,可以采用如下方式:
(1)如图1所示,由边缘计算节点通过公网将直播流转推给CDN(Content DeliveryNetwork,内容分发网络),由CDN来进行如录制、截图等处理,但消耗大量公网带宽;
(2)如图1所示,由边缘计算节点将需要在本地录制、截图的直播流转推流给同边缘集群中提供如截图、录制等边缘记录服务的节点,如图1中边缘计算节点转推流给截图录制服务1、截图录制服务N,由截图录制服务1、截图录制服务N等节点进行截图、录制等,生成对应的录制、截图文件分片,再即时地将文件分片通过公网上传至云端进行云存储。但由于边缘计算节点本地的可用资源较少,长期在本地存储会导致磁盘、内存等资源不足,进而无法继续完成对新的主播推送的直播流的截图、录制。
以上无论是主播推流还是将流转推给CDN,亦或者把完整的文件分片上传到云存储,都需使用公网传输。公网传输会消耗公网带宽,而边缘集群的带宽使用量是受限制的,当超过限制带宽使用量时,会存在推流质量差或者边缘计算节点无法继续提供服务等情况。对于主播的公网推流和公网转推给CDN,以上公网传输的带宽无法节省,但对于上传的云端带宽可以进行控制,因此,优选由第(2)种方式来进行截图、录制等边缘记录。但对于上传速度需要进行设置,避免以下问题:
①上传太快,占用较多推流和转推的带宽,导致无法承接更多的主播推流,也会导致计费带宽增高。
②上传太慢,会导致磁盘和内存一直累加,直至资源耗尽,也导致无法继续截图、录制等。
发明内容
鉴于上述问题,提出了本申请实施例以便提供一种克服上述问题或者至少部分地解决上述问题的边缘记录上传速度动态设置方法及装置。
根据本申请实施例的第一方面,提供了一种边缘记录上传速度动态设置方法,其包括:
根据边缘集群中第一边缘计算节点发送的上传速度询问请求,获取边缘集群的带宽数据;
根据边缘集群的带宽数据,以及边缘集群中第一边缘计算节点的个数,确定边缘记录上传速度;
基于边缘记录上传速度对第一边缘计算节点的上传速度进行调整。
可选地,边缘集群中第一边缘计算节点发送的上传速度询问请求具体为:第一边缘计算节点定时发送的上传速度询问请求;其中,第一边缘计算节点包括边缘记录服务节点。
可选地,获取边缘集群的带宽数据进一步包括:
获取边缘集群中各个边缘计算节点的实时使用带宽得到边缘集群的实时使用带宽;边缘计算节点包括转码服务节点、边缘记录服务节点和/或上传服务节点;实时使用带宽包括公网实时使用带宽;
获取边缘集群的最大带宽承载量和/或边缘集群的实时配置带宽;边缘集群的实时配置带宽根据边缘集群中上线状态的各个边缘计算节点的配置带宽之和确定。
可选地,获取边缘集群的最大带宽承载量进一步包括:
获取边缘集群的历史计费数据和/或边缘集群的配置带宽,根据历史计费数据和/或配置带宽确定边缘集群的最大带宽承载量;最大带宽承载量为历史计费数据或者配置带宽的第一预设值中的最大值;历史计费数据根据边缘集群在预设时间范围使用带宽确定。
可选地,根据边缘集群的带宽数据,以及边缘集群中第一边缘计算节点的个数,确定第一边缘计算节点的边缘记录上传速度进一步包括:
根据边缘集群的带宽数据确定边缘记录上传可用带宽;
根据边缘记录上传可用带宽以及边缘集群中第一边缘计算节点的个数,计算得到边缘记录上传速度。
可选地,根据边缘集群的带宽数据确定边缘记录上传可用带宽进一步包括:
根据边缘集群的最大带宽承载量和/或边缘集群的实时配置带宽确定边缘集群的可用带宽;可用带宽为最大带宽承载量或者实时配置带宽的第二预设值中的最小值;
计算边缘集群的可用带宽与边缘集群的实时使用带宽的差值,得到边缘记录上传可用带宽。
可选地,根据边缘记录上传可用带宽以及边缘集群中第一边缘计算节点的个数,计算得到边缘记录上传速度进一步包括:
根据边缘记录上传可用带宽与边缘集群中第一边缘计算节点的个数的比值计算得到边缘记录上传速度。
可选地,基于边缘记录上传速度对第一边缘计算节点的上传速度进行调整进一步包括:
若当前时间到达下一时间周期,将所述边缘集群中各个第一边缘计算节点的上传速度调整为所述边缘记录上传速度;时间周期根据确定边缘记录上传速度的时间确定。
根据本申请实施例的第二方面,提供了一种边缘记录上传速度动态设置装置,其包括:
获取模块,适于根据边缘集群中第一边缘计算节点发送的上传速度询问请求,获取边缘集群的带宽数据;
确定模块,适于根据边缘集群的带宽数据,以及边缘集群中第一边缘计算节点的个数,确定第一边缘计算节点的边缘记录上传速度;
调整模块,适于基于边缘记录上传速度对第一边缘计算节点的上传速度进行调整。
根据本申请实施例的第三方面,提供了一种计算设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行上述边缘记录上传速度动态设置方法对应的操作。
根据本申请实施例的第四方面,提供了一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如上述边缘记录上传速度动态设置方法对应的操作。
根据本申请的提供的边缘记录上传速度动态设置方法及装置,根据边缘集群的带宽数据来动态确定边缘记录上传速度,可以避免边缘记录上传时占用过多带宽,且边缘记录上传速度动态确定,也保障了边缘集群带宽的正常使用。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本申请的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了一种对直播内容进行记录的示意图;
图2示出了根据本申请一个实施例的边缘记录上传速度动态设置方法的流程图;
图3示出了根据本申请另一个实施例的边缘记录上传速度动态设置方法的流程图;
图4示出了另一种对直播内容进行记录的示意图;
图5示出了根据本申请一个实施例的边缘记录上传速度动态设置装置的结构示意图;
图6示出了根据本申请一个实施例的一种计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例,然而应当理解,可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本申请,并且能够将本申请的范围完整的传达给本领域的技术人员。
首先,对本申请一个或多个实施例涉及的名词术语进行解释。
直播流:直播音视频数据的传输,作为一个稳定的和连续的流通过网络传输给观众观看;
边缘计算:一种分布式运算架构,将应用程序、数据资料与服务的运算,由网络中心节点移往网络逻辑上的边缘节点来处理;
边缘计算节点:接收用户推流的节点;
CDN:Content Delivery Network,内容分发网络;
CDN边缘计算厂商:能够提供边缘计算的CDN厂商,可提供基本的边缘计算服务;
字节Byte:计算机中表示数据大小的基本单位;
MB:数据机及网络通讯的传输速率,1MB=1024KB=1024*1024Byte;
计费带宽:边缘集群一天使用带宽的计费95值,计费95值按照约定时间内取样点带宽,如每5分钟统计一次,取带宽最高值做一个点,将获取的多个点进行排序,去掉排序在前的5%的点,第95%个点作为计费带宽;计费带宽越高,公网成本越大;
边缘计算节点配置带宽:网卡带宽为设备上网卡单位时间内传输数据的最大值;
配置带宽:预先设置的边缘集群最大可以使用的带宽总量;
上传速度:文件上传采用程序控制方式,建立一个HTTP长链接,不断地发送文件分片,单位时间内通过长链接传输的字节数转为Mb即上传速度对应的上传带宽。
图2示出了根据本申请一实施例的边缘记录上传速度动态设置方法的流程图,如图2所示,该方法包括如下步骤:
步骤S201,根据边缘集群中第一边缘计算节点发送的上传速度询问请求,获取边缘集群的带宽数据。
第一边缘计算节点可以为提供边缘记录服务的边缘计算节点。主播通过公网推流给边缘计算节点进行转码服务时,同集群的边缘计算节点将直播流通过内网转推流给第一边缘计算节点,边缘计算节点将直播流通过内网转推流给第一边缘计算节点不消耗公网带宽,不产生公网的计费数据。第一边缘计算节点对直播内容进行截图、录制等操作,产生相应的文件分片,以记录直播内容。产生的文件分片后续根据计算得到的边缘记录上传速度来上传云存储,一方面避免对公网带宽过多占用,另一方面可以根据实时空闲的公网带宽加快上传速度,避免对第一边缘计算节点的本地存储资源占用过多。
本申请实施例执行于服务端的控制服务中,在服务端通过控制服务来获取边缘集群的各个带宽数据,以实现边缘记录上传速度的动态调整。具体的,第一边缘计算节点向控制服务发送上传速度询问请求,当控制服务接收到第一边缘计算节点发送的上传速度询问请求后,去获取对应边缘集群的各个带宽数据。带宽数据具体为公网带宽数据,用于后续根据公网带宽数据来计算确定可用于上传的公网带宽数据,从而得到边缘记录上传速度。
步骤S202,根据边缘集群的带宽数据,以及边缘集群中第一边缘计算节点的个数,确定边缘记录上传速度。
在获取到边缘集群的带宽数据后,可以根据边缘集群的各个带宽数据,如边缘集群的实时使用带宽、配置带宽等,确定各个第一边缘计算节点的上传速度所占用的带宽之和,即边缘集群中占用公网上传边缘记录的边缘记录上传可用带宽。在保障边缘集群中各个边缘计算节点正常执行服务如转码服务等前提下,确定用于上传边缘记录的边缘记录上传可用带宽,避免边缘记录上传时占用过多带宽。
根据边缘集群的带宽数据确定边缘记录上传可用带宽,进一步根据边缘集群中第一边缘计算节点的个数,来计算得到各个第一边缘计算节点的边缘记录上传速度,即将边缘记录上传可用带宽分配给各个第一边缘计算节点使用,得到各个第一边缘计算节点的边缘记录上传速度。
步骤S203,基于边缘记录上传速度对第一边缘计算节点的上传速度进行调整。
根据计算得到的边缘记录上传速度,对第一边缘计算节点的上传速度进行调整,若边缘记录上传速度大于当前第一边缘计算节点的上传速度,则将第一边缘计算节点的上传速度加大,以快速完成文件分片的上传,减少对第一边缘计算节点本地存储资源的占用;若边缘记录上传速度小于当前第一边缘计算节点的上传速度,则将第一边缘计算节点的上传速度缩小,以避免占用过多公网带宽,增加对公网带宽的计费等。
根据本申请提供的边缘记录上传速度动态设置方法,根据边缘集群的带宽数据来动态确定边缘记录上传速度,可以避免边缘记录上传时占用过多带宽,且边缘记录上传速度动态确定,也保障了边缘集群带宽的正常使用。
图3示出了根据本申请一实施例的边缘记录上传速度动态设置方法的流程图,如图3所示,该方法包括以下步骤:
步骤S301,根据第一边缘计算节点定时发送的上传速度询问请求,获取边缘集群的带宽数据。
第一边缘计算节点定时发送上传速度询问请求,避免较长时间内均以同一个上传速度上传边缘记录,上传速度已经不适用于当前的带宽数据,上传速度太快导致过多占用公网带宽,上传速度太慢导致第一边缘计算节点本地存储资源告急等问题。第一边缘计算节点定时发送上传速度询问请求,可以根据当前带宽数据对应的调整上传速度。定时的时长可以根据实施情况设置,此处不做限定。
在获取边缘集群的带宽数据时,可以获取边缘集群中各个边缘计算节点的实时使用带宽,统计得到边缘集群的实时使用带宽,边缘计算节点包括如转码服务节点、边缘记录服务节点、上传服务节点等各种边缘计算节点,实时使用带宽为公网的实时使用带宽。
在获取边缘集群的带宽数据时,还获取边缘集群的最大带宽承载量。最大带宽承载量根据历史计费数据或者边缘集群的配置带宽来确定。具体的,先获取边缘集群的历史计费数据、边缘集群的配置带宽。边缘集群的历史计费数据根据边缘集群在预设时间范围使用带宽确定,预设时间范围如一个月、一周等,以一个月为例,边缘集群的历史计费数据即前一个月边缘集群的使用带宽计费,如获取边缘集群前一个月内历史计费95值作为历史计费数据。考虑到若边缘集群为新配置的边缘集群,其不存在历史计费数据时,获取边缘集群的配置带宽来确定最大带宽承载量。最大带宽承载量为历史计费数据或者配置带宽的第一预设值中的最大值,第一预设值如30%,具体根据实施情况设置,此处不做限定。如根据计费95值对应的计费点获取到历史计费数据25G,边缘集群配置带宽30G,配置带宽的第一预设值即30*30%=9G,最大带宽承载量=max(25,30*30%)=25G。最大带宽承载量可以保障边缘集群中各个边缘计算节点中各个服务的正常运行,同时也限制上传速度占用过多公网带宽。
进一步,考虑到边缘集群的配置带宽在实际使用时,存在有时将部分边缘计算节点下线的情况,即实际可使用的带宽会小于边缘集群的配置带宽。因此,本申请实施例还获取了边缘集群的实时配置带宽,边缘集群的实时配置带宽根据边缘集群中上线状态的各个边缘计算节点的配置带宽之和确定,即获取当前实时可使用的各个边缘计算节点的配置带宽,统计得到和值作为当前边缘集群的实时配置带宽。
步骤S302,根据边缘集群的带宽数据,以及边缘集群中第一边缘计算节点的个数,确定第一边缘计算节点的边缘记录上传速度。
根据边缘集群的最大带宽承载量、边缘集群的实时配置带宽等确定边缘集群的可用带宽,可用带宽为最大带宽承载量或者实时配置带宽的第二预设值中的最小值,第二预设值如70%,具体根据实施情况设置,此处不做限定。边缘集群的可用带宽取以上两者最小值,一方面防止边缘集群的实时配置带宽的第二预设值较小导致历史计费数据远高于实时配置带宽而实际无法提供可用的带宽,另一方面保留部分带宽,如30%实时配置带宽预留给主播直播推流等使用。以实时配置带宽30G(即全部边缘计算节点均上线状态)为例,边缘集群的可用带宽=min(25,30*0.7)=21G。
根据边缘集群的可用带宽,以及边缘集群的实时使用带宽(即当前消耗的公网带宽),计算边缘集群的可用带宽与边缘集群的实时使用带宽的差值,得到边缘记录上传可用带宽。根据边缘记录上传可用带宽与边缘集群中第一边缘计算节点的个数的比值,计算得到边缘记录上传速度。具体的,将边缘记录上传可用带宽平均地分配给边缘集群中各个第一计算节点,可以得到各个第一计算节点的可用带宽,也即边缘记录上传速度,如边缘记录上传速度=边缘记录上传可用带宽/第一边缘计算节点的个数,得到第一边缘计算节点对应的边缘记录上传速度。边缘集群中各个第一边缘计算节点可以采用同一边缘记录上传速度。如边缘集群的实时使用带宽为11G,第一边缘计算节点的个数为5个,边缘记录上传速度=(21-11)/5=2G。
步骤S303,根据边缘记录上传速度,对下一时间周期的边缘集群中各个第一边缘计算节点的上传速度进行调整。
在计算得到边缘记录上传速度后,可以将边缘记录上传速度返回给第一边缘计算节点,由第一边缘计算节点来调整其对应的上传速度。具体的,若当前时间到达下一时间周期,则可以在下一时间周期对边缘集群中各个第一边缘计算节点的上传速度进行调整,将边缘集群中各个第一边缘计算节点的上传速度调整为边缘记录上传速度。边缘记录上传速度为第一边缘计算节点可使用的最大的上传速度,调整时可以将上传速度调整为与边缘记录上传速度相同,在不产生更多公网带宽计费的同时,尽快将边缘记录的文件分片上传云存储。
时间周期根据确定边缘记录上传速度的时间确定,即根据控制服务获取边缘集群各个带宽数据,计算得到边缘记录上传速度所花费的时间确定时间周期,如时间周期为2分钟,则2分钟后根据计算得到的边缘记录上传速度调整各个第一边缘计算节点的上传速度,使其与边缘记录上传速度相同等。
整体处理流程如图4所示,本申请实施例中,主播公网推流给边缘计算节点进行如转码服务等,CDN(Content Delivery Network,内容分发网络)从边缘计算节点进行拉流给用户观看。对于直播内容的记录,由边缘计算节点通过内网转推流截图录制服务1、截图录制服务N等,进行边缘记录。控制服务执行以上各步骤,定时获取各个带宽数据,计算得到最大的可用于边缘记录上传的边缘记录上传速度(即图4中最大上传带宽)后,告知给各个第一边缘计算节点(即图4中截图录制服务1、截图录制服务N等),第一边缘计算节点对应调整上传速度,实现上传速度的动态设置。
根据本申请提供的边缘记录上传速度动态设置方法,根据第一边缘计算节点定时发送的上传速度询问请求,获取实时边缘集群的各个带宽数据,动态确定边缘记录上传速度。根据历史计费数据或者边缘集群的配置带宽确定最大带宽承载量,再根据最大带宽承载量、边缘集群的实时配置带宽等确定边缘集群的可用带宽,根据边缘集群的可用带宽以及边缘集群的实时使用带宽的差值以及边缘集群中第一边缘计算节点的个数,计算得到边缘记录上传速度,可以保障在不增加公网过多的计费带宽的同时,尽可能的利用当前空闲带宽快速上传边缘记录,减少对本地存储资源的占用,保障第一边缘计算节点可以继续进行边缘记录。进一步,根据边缘记录上传速度在下一时间周期对边缘集群中各个第一边缘计算节点的上传速度进行调整,保障上传速度可以依据实时带宽数据进行调整。
图5示出了本申请一实施例提供的边缘记录上传速度动态设置装置的结构示意图。如图5所示,该装置包括:
获取模块510,适于根据边缘集群中第一边缘计算节点发送的上传速度询问请求,获取边缘集群的带宽数据;
确定模块520,适于根据边缘集群的带宽数据,以及边缘集群中第一边缘计算节点的个数,确定第一边缘计算节点的边缘记录上传速度;
调整模块530,适于基于边缘记录上传速度对第一边缘计算节点的上传速度进行调整。
可选地,第一边缘计算节点定时发送的上传速度询问请求;其中,第一边缘计算节点包括边缘记录服务节点。
可选地,获取模块510进一步适于:获取边缘集群中各个边缘计算节点的实时使用带宽得到边缘集群的实时使用带宽;边缘计算节点包括转码服务节点、边缘记录服务节点和/或上传服务节点;实时使用带宽包括公网实时使用带宽;获取边缘集群的最大带宽承载量和/或边缘集群的实时配置带宽;边缘集群的实时配置带宽根据边缘集群中上线状态的各个边缘计算节点的配置带宽之和确定。
可选地,获取模块510进一步适于:获取边缘集群的历史计费数据和/或边缘集群的配置带宽,根据历史计费数据和/或配置带宽确定边缘集群的最大带宽承载量;最大带宽承载量为历史计费数据或者配置带宽的第一预设值中的最大值;历史计费数据根据边缘集群在预设时间范围使用带宽确定。
可选地,确定模块520进一步适于:
根据边缘集群的带宽数据确定边缘记录上传可用带宽;
根据边缘记录上传可用带宽以及边缘集群中第一边缘计算节点的个数,计算得到边缘记录上传速度。
可选地,确定模块520进一步适于:根据边缘集群的最大带宽承载量和/或边缘集群的实时配置带宽确定边缘集群的可用带宽;可用带宽为最大带宽承载量或者实时配置带宽的第二预设值中的最小值;计算边缘集群的可用带宽与边缘集群的实时使用带宽的差值,得到边缘记录上传可用带宽。
可选地,确定模块520进一步适于:根据边缘记录上传可用带宽与边缘集群中第一边缘计算节点的个数的比值计算得到边缘记录上传速度。
可选地,调整模块530进一步适于:
若当前时间到达下一时间周期,将边缘集群中各个第一边缘计算节点的上传速度调整为边缘记录上传速度;时间周期根据确定边缘记录上传速度的时间确定。
以上各模块的描述参照方法实施例中对应的描述,在此不再赘述。
根据本申请提供的边缘记录上传速度动态设置装置,根据边缘集群的带宽数据来动态确定边缘记录上传速度,可以避免边缘记录上传时占用过多带宽,且边缘记录上传速度动态确定,也保障了边缘集群带宽的正常使用。
本申请还提供了一种非易失性计算机存储介质,计算机存储介质存储有至少一可执行指令,可执行指令可执行上述任意方法实施例中的边缘记录上传速度动态设置方法。
图6示出了根据本申请一实施例的一种计算设备的结构示意图,本申请的具体实施例并不对计算设备的具体实现做限定。
如图6所示,该计算设备可以包括:处理器(processor)602、通信接口(Communications Interface)604、存储器(memory)606、以及通信总线608。
其中:
处理器602、通信接口604、以及存储器606通过通信总线608完成相互间的通信。
通信接口604,用于与其它设备比如客户端或其它服务器等的网元通信。
处理器602,用于执行程序610,具体可以执行上述边缘记录上传速度动态设置方法实施例中的相关步骤。
具体地,程序610可以包括程序代码,该程序代码包括计算机操作指令。
处理器602可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本申请的一个或多个集成电路。计算设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器606,用于存放程序610。存储器606可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序610具体可以用于使得处理器602执行上述任意方法实施例中的边缘记录上传速度动态设置方法。程序610中各步骤的具体实现可以参见上述边缘记录上传速度动态设置实施例中的相应步骤和单元中对应的描述,在此不赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。
在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本申请也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本申请的内容,并且上面对特定语言所做的描述是为了披露本申请的较佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本申请并帮助理解各个发明方面中的一个或多个,在上面对本申请的示例性实施例的描述中,本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本申请的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤,除有特殊说明外,不应理解为对执行顺序的限定。

Claims (9)

1.一种边缘记录上传速度动态设置方法,其包括:
根据边缘集群中第一边缘计算节点发送的上传速度询问请求,获取所述边缘集群的带宽数据;所述边缘集群的带宽数据包括边缘集群的实时使用带宽、边缘集群的最大带宽承载量和所述边缘集群的实时配置带宽;
根据所述边缘集群的最大带宽承载量和所述边缘集群的实时配置带宽确定所述边缘集群的可用带宽,计算所述边缘集群的可用带宽与所述边缘集群的实时使用带宽的差值,得到边缘记录上传可用带宽,根据所述边缘记录上传可用带宽与所述边缘集群中第一边缘计算节点的个数的比值,确定第一边缘计算节点的边缘记录上传速度;所述边缘集群的可用带宽为所述最大带宽承载量和所述实时配置带宽的第二预设值中的最小值;
基于所述边缘记录上传速度对第一边缘计算节点的上传速度进行调整;若所述边缘记录上传速度大于当前第一边缘计算节点的上传速度,则将所述第一边缘计算节点的上传速度加大;若所述边缘记录上传速度小于当前第一边缘计算节点的上传速度,则将所述第一边缘计算节点的上传速度缩小;
所述基于所述边缘记录上传速度对第一边缘计算节点的上传速度进行调整进一步包括:
若当前时间到达下一时间周期,将所述边缘集群中各个第一边缘计算节点的上传速度调整为所述边缘记录上传速度。
2.根据权利要求1所述的方法,其中,所述边缘集群中第一边缘计算节点发送的上传速度询问请求具体为:第一边缘计算节点定时发送的上传速度询问请求;其中,所述第一边缘计算节点包括边缘记录服务节点。
3.根据权利要求1或2所述的方法,其中,所述获取所述边缘集群的带宽数据进一步包括:
获取所述边缘集群中各个边缘计算节点的实时使用带宽得到所述边缘集群的实时使用带宽;所述边缘计算节点包括转码服务节点、边缘记录服务节点和/或上传服务节点;所述实时使用带宽包括公网实时使用带宽;
获取所述边缘集群的最大带宽承载量和所述边缘集群的实时配置带宽;所述边缘集群的实时配置带宽根据所述边缘集群中上线状态的各个边缘计算节点的配置带宽之和确定。
4.根据权利要求3所述的方法,其中,所述获取所述边缘集群的最大带宽承载量进一步包括:
获取所述边缘集群的历史计费数据和所述边缘集群的配置带宽,根据所述历史计费数据和所述配置带宽确定所述边缘集群的最大带宽承载量;所述最大带宽承载量为所述历史计费数据和所述配置带宽的第一预设值中的最大值;所述历史计费数据根据所述边缘集群在预设时间范围使用带宽确定。
5.根据权利要求1或2所述的方法,其中,所述时间周期根据确定所述边缘记录上传速度的时间确定。
6.一种边缘记录上传速度动态设置装置,其包括:
获取模块,适于根据边缘集群中第一边缘计算节点发送的上传速度询问请求,获取所述边缘集群的带宽数据;所述边缘集群的带宽数据包括边缘集群的实时使用带宽、边缘集群的最大带宽承载量和所述边缘集群的实时配置带宽;
确定模块,适于根据所述边缘集群的最大带宽承载量和所述边缘集群的实时配置带宽确定所述边缘集群的可用带宽,计算所述边缘集群的可用带宽与所述边缘集群的实时使用带宽的差值,得到边缘记录上传可用带宽,根据所述边缘记录上传可用带宽与所述边缘集群中第一边缘计算节点的个数的比值,确定第一边缘计算节点的边缘记录上传速度;所述边缘集群的可用带宽为所述最大带宽承载量和所述实时配置带宽的第二预设值中的最小值;
调整模块,适于基于所述边缘记录上传速度对第一边缘计算节点的上传速度进行调整;若所述边缘记录上传速度大于当前第一边缘计算节点的上传速度,则将所述第一边缘计算节点的上传速度加大;若所述边缘记录上传速度小于当前第一边缘计算节点的上传速度,则将所述第一边缘计算节点的上传速度缩小;
所述调整模块进一步适于:若当前时间到达下一时间周期,将所述边缘集群中各个第一边缘计算节点的上传速度调整为所述边缘记录上传速度。
7.一种计算设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-5中任一项所述的边缘记录上传速度动态设置方法对应的操作。
8.一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如权利要求1-5中任一项所述的边缘记录上传速度动态设置方法对应的操作。
9.一种计算机程序产品,包括至少一可执行指令,所述可执行指令使处理器执行如权利要求1-5中任一项所述的边缘记录上传速度动态设置方法对应的操作。
CN202211063490.0A 2022-08-31 2022-08-31 边缘记录上传速度动态设置方法及装置 Active CN115460090B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211063490.0A CN115460090B (zh) 2022-08-31 2022-08-31 边缘记录上传速度动态设置方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211063490.0A CN115460090B (zh) 2022-08-31 2022-08-31 边缘记录上传速度动态设置方法及装置

Publications (2)

Publication Number Publication Date
CN115460090A CN115460090A (zh) 2022-12-09
CN115460090B true CN115460090B (zh) 2024-03-19

Family

ID=84300979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211063490.0A Active CN115460090B (zh) 2022-08-31 2022-08-31 边缘记录上传速度动态设置方法及装置

Country Status (1)

Country Link
CN (1) CN115460090B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7774468B1 (en) * 2000-07-28 2010-08-10 Siddhartha Nag Network traffic admission control
CN110198344A (zh) * 2019-05-05 2019-09-03 网宿科技股份有限公司 一种资源调度方法及系统
CN110519183A (zh) * 2019-09-29 2019-11-29 北京金山云网络技术有限公司 一种节点限速的方法、装置、电子设备及存储介质
CN111835589A (zh) * 2020-06-30 2020-10-27 新华三信息安全技术有限公司 链路质量探测方法、路径选择方法及其装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9807434B2 (en) * 2015-09-15 2017-10-31 Arris Enterprises Llc Dynamic bandwidth allocation for non-real time operations

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7774468B1 (en) * 2000-07-28 2010-08-10 Siddhartha Nag Network traffic admission control
CN110198344A (zh) * 2019-05-05 2019-09-03 网宿科技股份有限公司 一种资源调度方法及系统
CN110519183A (zh) * 2019-09-29 2019-11-29 北京金山云网络技术有限公司 一种节点限速的方法、装置、电子设备及存储介质
CN111835589A (zh) * 2020-06-30 2020-10-27 新华三信息安全技术有限公司 链路质量探测方法、路径选择方法及其装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
计算机网络可用带宽测量技术探析;袁振;;中国新技术新产品(第23期);第35页 *

Also Published As

Publication number Publication date
CN115460090A (zh) 2022-12-09

Similar Documents

Publication Publication Date Title
CN107295110B (zh) 计算任务的处理方法、边缘节点、业务服务器及系统
CN108924221B (zh) 分配资源的方法和装置
US11088953B2 (en) Systems and methods for load balancing
US20140165119A1 (en) Offline download method, multimedia file download method and system thereof
US20090177792A1 (en) Performance Aware Peer-to-Peer Content-on-Demand
Wang et al. Joint online transcoding and geo-distributed delivery for dynamic adaptive streaming
CN105847381A (zh) 内容服务器的调度方法及装置
CN108810657B (zh) 一种设置视频封面的方法和系统
US10346303B1 (en) Origin server cache eviction system
EP2879339A1 (en) Method for distributing available bandwidth of a network amongst ongoing traffic sessions run by devices of the network, corresponding device.
CN111432247B (zh) 流量调度方法、装置、服务器及存储介质
CN104219286A (zh) 流媒体处理方法、装置、客户端、cdn节点服务器及终端
CN107920108A (zh) 一种媒体资源的推送方法、客户端及服务器
CN103828378A (zh) 内容发布系统、缓存服务器以及内容发布方法
CN113301072A (zh) 服务调度方法及系统、调度设备、客户端
CN115460090B (zh) 边缘记录上传速度动态设置方法及装置
CN111404828B (zh) 实现全局流控的方法及装置
CN103828377A (zh) 发布网络、服务器以及发布方法
WO2021063026A1 (zh) 一种推理服务网络化的方法及装置
CN109688421B (zh) 请求消息处理方法、装置及系统、服务器、存储介质
US20030081623A1 (en) Virtual queues in a single queue in the bandwidth management traffic-shaping cell
CN109788326B (zh) 一种视频资源预推送方法、装置及系统
CN112506632A (zh) 分布式系统中批任务的调度方法和系统
WO2017185632A1 (zh) 数据传输的方法及电子设备
CN114302189B (zh) 直播清晰度处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant