CN115037696A - 数据传输方法、装置、电子设备和存储介质 - Google Patents
数据传输方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN115037696A CN115037696A CN202210602532.7A CN202210602532A CN115037696A CN 115037696 A CN115037696 A CN 115037696A CN 202210602532 A CN202210602532 A CN 202210602532A CN 115037696 A CN115037696 A CN 115037696A
- Authority
- CN
- China
- Prior art keywords
- transmission
- real
- alternative
- distribution network
- content distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
- H04L47/2441—Traffic characterised by specific attributes, e.g. priority or QoS relying on flow classification, e.g. using integrated services [IntServ]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/70—Admission control; Resource allocation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/70—Admission control; Resource allocation
- H04L47/80—Actions related to the user profile or the type of traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本公开提供了一种数据传输方法、装置、电子设备和存储介质,涉及人工智能领域,具体涉及云计算、视频处理和媒体云技术,可应用在智能云场景下。具体实现方案为:获取内容分发网络的流量特征,所述流量特征包括所述内容分发网络中内部节点之间传输实时数据的特征,所述实时数据为实时生成并实时传输的数据;根据所述流量特征,计算所述内容分发网络基于备选映射关系的备选传输成本;根据所述备选映射关系的备选传输成本,确定目标映射关系;根据所述目标映射关系,确定所述内容分发网络传输所述实时数据的目标节点,并通过所述目标节点传输所述实时数据。本公开实施例可以降低内容分发网络中内部节点的内部传输成本。
Description
技术领域
本公开涉及人工智能领域,具体涉及云计算、视频处理和媒体云技术,可应用在智能云场景下,具体涉及一种数据传输方法、装置、电子设备和存储介质。
背景技术
CDN(Content Delivery Network,内容分发网络)是一种新型网络内容服务体系,其基于IP(Internet Protocol,网际协议地址)网络而构建,基于内容访问与应用的效率要求、质量要求和内容秩序而提供内容的分发和服务。
CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。其目的是使用户可就近取得所需内容。
发明内容
本公开提供了一种数据传输方法、装置、电子设备和存储介质。
根据本公开的一方面,提供了一种数据传输方法,包括:
获取内容分发网络的流量特征,所述流量特征包括所述内容分发网络中内部节点之间传输实时数据的特征,所述实时数据为实时生成并实时传输的数据;
根据所述流量特征,计算所述内容分发网络基于备选映射关系的备选传输成本;
根据所述备选映射关系的备选传输成本,确定目标映射关系;
根据所述目标映射关系,确定所述内容分发网络传输所述实时数据的目标节点,并通过所述目标节点传输所述实时数据。
根据本公开的一方面,提供了一种数据传输装置,包括:
流量特征获取模块,用于获取内容分发网络的流量特征,所述流量特征包括所述内容分发网络中内部节点之间传输实时数据的特征,所述实时数据为实时生成并实时传输的数据;
备选传输成本确定模块,用于根据所述流量特征,计算所述内容分发网络基于备选映射关系的备选传输成本;
目标映射关系确定模块,用于根据所述备选映射关系的备选传输成本,确定目标映射关系;
实时数据传输模块,用于根据所述目标映射关系,确定所述内容分发网络传输所述实时数据的目标节点,并通过所述目标节点传输所述实时数据。
根据本公开的另一方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本公开任一实施例所述的数据传输方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行本公开任一实施例所述的数据传输方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现本公开任一实施例所述的数据传输方法。
本公开实施例可以降低内容分发网络中内部节点的内部传输成本。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开实施例公开的一种数据传输方法的流程图;
图2是根据本公开实施例公开的另一种数据传输方法的流程图;
图3是根据本公开实施例公开的基于历史映射关系的内容分发网络传输数据的示意图;
图4是根据本公开实施例公开的基于备选映射关系的内容分发网络传输数据的示意图;
图5是根据本公开实施例公开的另一种数据传输方法的流程图;
图6是根据本公开实施例公开的一种数据传输方法的场景图;
图7是根据本公开实施例公开的一种数据传输装置的结构图;
图8是用来实现本公开实施例的数据传输方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
图1是根据本公开实施例公开的一种数据传输方法的流程图,本实施例可以适用于在内容分发网络中确定传输实时数据的节点的调度策略的情况。本实施例方法可以由数据传输装置来执行,该装置可采用软件和/或硬件的方式实现,并具体配置于具有一定数据运算能力的电子设备中,该电子设备可以是客户端设备或服务器设备,客户端设备例如手机、平板电脑、车载终端和台式电脑等。
S101,获取内容分发网络的流量特征,所述流量特征包括所述内容分发网络中内部节点之间传输实时数据的特征,所述实时数据为实时生成并实时传输的数据。
内容分发网络包括内部节点,内部节点包括边缘节点和父层节点。父层节点与边缘节点不同,边缘节点为最下层节点,父层节点为边缘节点的上层节点,父层节点包括至少一层节点。边缘节点与用户设备交互。边缘节点用于处理用户请求。用户设备可以理解为内容分发网络的外部节点。内部节点之间存在交互。通常内部节点与相邻父层的内部节点交互,内部节点在不存在目标资源的情况下,会向相邻父层的内部节点进行回源。示例性的,内容分发网络包括三层内部节点,边缘节点为第一层节点,边缘节点可以向第二层节点进行回源。第二层节点为父层节点。
流量特征可以是指描述在内容分发网络中传输实时数据的过程中,实时数据的传输过程的特征。流量特征至少包括实时数据在内容分发网络内的传输过程的特征,可以称为内部传输特征,还可以包括实时数据在内容分发网络与用户设备之间的传输过程的特征,可以称为外部传输特征。
流量特征可以从多个维度描述实时数据的传输过程。示例性的,具体从下述至少一项:传输带宽、时间分布、空间分布、冷流热流分类和用户行为等维度。从而可以对实时数据进行信息采集,然后从多个维度对采集的信息进行处理,得到流量特征。
实时数据为实时生成并实时传输的数据。实时数据还可以理解为实时生成并实时消费的数据。实际上,实时数据可以是数据提供端在生成的同时传输以供数据接收端即时使用。也即数据提供端将持续生成的实时数据实时传输至数据接收端。示例性的,实时数据为直播流数据。又如,实时数据为视频会议的数据。
实时数据的传输与普通数据的传输不同。通常,普通数据通过短链接进行传输,节点A将普通数据的数据包发送至节点B,该普通数据的传输过程结束。而实时数据是通过长连接进行传输,实时数据是持续且实时生成的,并在节点之间实时传输。数据提供端会持续生成实时数据,即持续生成数据包,节点A将一个数据包发送至节点B,还有后续多个数据包,从而,节点A还需要依次将多个数据包发送至节点B,从而,节点A和节点B之间的连接是持续存在的。
可选的,实时数据为直播流数据。数据提供端为主播用户设备,数据接收端为观众用户设备。主播用户设备将直接采集的媒体数据实时传输到观众用户设备,以使在主播用户设备采集媒体数据的同时,观众用户设备可以实时播放该媒体数据。可以将应用场景配置为传输直播流的应用场景,可以针对直播流的传输特性,确定目标映射关系并进行节点调度,提高内容分发网络的精准调度,并且直播流的传输量较大,基于传输成本确定目标映射关系,可以降低直播场景中内容分发网络的传输成本。
S102,根据所述流量特征,计算所述内容分发网络基于备选映射关系的备选传输成本。
映射关系用于确定内容分发网络中传输实时数据的节点。映射关系可以是指传输实时数据的两个节点之间的关系。映射关系可以包括内容分发网络中内部节点之间的内部映射关系和用户设备与内容分发网络中边缘节点之间的外部映射关系等。示例性的,节点A可向节点B回源。节点A与节点B之间存在内部映射关系,表明节点A向节点B请求实时数据,节点B将实时数据传输至节点A。映射关系可以理解为内容分发网络的调度策略,根据映射关系,可以确定内容分发网络调度哪些节点传输实时数据。备选映射关系是指初始的映射关系,用于基于备选传输成本被调整,确定目标映射关系。备选映射关系可以包括至少一个内部映射关系,或者还可以包括至少一个内部映射关系和至少一个外部映射关系。需要说明的是,下文会以备选映射关系包括内部映射关系和外部映射关系进行示例性描述,但仅仅是示例性描述,备选映射关系包括可以不包括外部映射关系。
传输成本是指基于内容分发网络中备选映射关系所确定的节点传输实时数据,内容分发网络消耗的成本。该传输成本通常可以采用传输实时数据的传输带宽确定,示例性的,传输成本与传输带宽存在对应关系,可以根据传输带宽和对应关系,计算得到传输成本。内容分发网络的传输成本根据内容分发网络中各内部节点的传输成本确定。通常,传输成本越小,越节省带宽,从而可以使得内容分发网络的带宽应用于其他数据的传输,可以提高内容分发网络的带宽利用率;相反,传输成本越高,带宽的占用越多,降低内容分发网络的带宽利用率。备选传输成本是指基于备选映射关系计算得到内容分发网络的传输成本。
其中,流量特征实际是内容分发网络基于历史映射关系所确定的内部节点传输实时数据的特征。历史映射关系所确定的内部节点实际是基于历史映射关系,内容分发网络中用于传输实时数据的内部节点。根据流量特征可以计算得到基于历史映射关系,内容分发网络中各内部节点传输实时数据的传输带宽。备选映射关系,实际是重新确定传输实时数据的内部节点,从而,重新分配了各内部节点传输实时数据的传输带宽。由此,根据基于历史映射关系下各内部节点的传输带宽,确定备选映射关系下各内部节点的传输带宽,从而确定各内部节点的传输成本,并累加,计算得到内容分发网络的传输带宽。
S103,根据所述备选映射关系的备选传输成本,确定目标映射关系。
目标映射关系用于指示内容分发网络中哪些节点传输实时数据。目标映射关系可以理解为内容分发网络的最佳调度策略。目标映射关系可以包括至少一个内部映射关系,或者还可以包括至少一个内部映射关系和至少一个外部映射关系。
根据所述备选映射关系的备选传输成本,确定目标映射关系,可以检测备选传输成本满足预设条件时的备选映射关系的最优解,并根据最优解,确定目标映射关系。其中,最优解包括至少一个备选映射关系。对备选映射关系不断调整直至备选传输成本满足预设条件,根据计算得到该满足预设条件的备选传输成本的备选映射关系,确定目标映射关系;或者可以是对备选映射关系多次调整得到多个备选映射关系,并计算得到多个备选传输成本,从中筛选出计算得到满足预设条件的备选传输成本的备选映射关系,确定目标映射关系。
S104,根据所述目标映射关系,确定所述内容分发网络传输所述实时数据的目标节点,并通过所述目标节点传输所述实时数据。
目标节点用于传输实时数据。目标节点可以理解为基于目标映射关系,在内容分发网络中确定的待调度的节点。
在现有技术中,CDN的流量调度场景中,人工修改调度策略,需要逐一修改,工作量大效率低。而现有的自动调度,通常是在容灾场景中使用,即当节点出现故障,将该节点的流量转移到其他正常工作的节点上。
根据本公开的技术方案,通过根据内容分发网络中内部节点之间传输实时数据的特征,计算内容分发网络基于备选映射关系的备选传输成本,并根据备选传输成本对备选映射关系进行调整,确定目标映射关系,以及根据目标映射关系确定目标节点,以传输实时数据,实现根据实时数据在内容分发网络内的内部传输的特征,计算内容分发网络在不同映射关系下的备选传输成本,确定合适传输成本的目标映射关系,从而实现适配内部传输的传输成本,调整内容分发网络的调度策略,提高内容分发网络的节点调度灵活性和精准性,同时,减少节点的调度处理量,以及提高节点调度的调整效率。
图2是根据本公开实施例公开的另一种数据传输方法的流程图,基于上述技术方案进一步优化与扩展,并可以与上述各个可选实施方式进行结合。所述获取内容分发网络的流量特征,具体化为:取所述内容分发网络中内部节点传输所述实时数据的传输信息;根据所述实时数据的属性信息对所述实时数据进行划分,得到至少一个类型的实时数据;根据所述实时数据的传输信息,和各所述类型的实时数据,确定所述实时数据的历史传输路径和所述历史传输路径对应的传输带宽,并确定所述内容分发网络的流量特征。
S201,获取所述内容分发网络中内部节点传输所述实时数据的传输信息。
实时数据的传输信息是直接采集得到的描述实时数据传输过程的数据。传输信息可以包括下述至少一项:实时数据关联的请求的地理位置、实时数据的传输时间、传输带宽和由哪些节点传输等信息。其中,请求的地理位置是指,数据接收端发送请求时的所在位置,或者是数据提供端发送请求时的所在位置。实时数据关联的请求,可以是数据提供端生成实时数据并输出实时数据的请求,还可以是数据接收端获取实时数据的请求。传输信息可以通过内容分发网络的边缘节点的日志中获取。
S202,根据所述实时数据的属性信息对所述实时数据进行划分,得到至少一个类型的实时数据。
实时数据的属性信息用于对实时数据分类。属性信息可以包括下述至少一项:实时数据的数据提供端的标识信息、实时数据的内容和实时数据的数据接收端的标识信息等。标识信息可以包括下述至少一项:地理位置、网际协议地址和设备名称等。例如,同一个类型的实时数据的内容相同且地理位置相同。示例性的,在直播场景中,将一个直播流数据确定为一个类型的实时数据,不同类型的实时数据是指不同直播流数据。通常,内容分发网络按照地理位置调度节点。又如,将一个直播流数据中针对同一个地理位置传输的数据流,确定为一个类型的实时数据。其中,一个直播流数据可以是指一个主播用户设备的一次直播生成的数据流。又如,一个类型的实时数据是指一类内容(如游戏或唱跳等)的直播流数据。对此不具体限定。
可以统计一段时间内,内容分发网络传输的全部实时数据,并根据各实时数据的属性信息,对各实时数据进行分类。得到至少一个类型的实时数据。
S203,根据所述实时数据的传输信息,和各所述类型的实时数据,确定所述实时数据的历史传输路径和所述历史传输路径对应的传输带宽,并确定所述内容分发网络的流量特征。
实际上,采集的传输信息都是已经发生过的信息,相应的,实时数据的传输过程是历史发生的传输过程。历史传输路径是表示实时数据的从哪个用户设备到哪个内部节点,以及从哪个内部节点到哪个内部节点的传输路径。历史传输路径包括下述至少一项:用户设备到内部节点(边缘节点)的外部传输路径和内部节点到内部节点的内部传输路径。内部传输路径可以包括下述至少一项:边缘节点到父层节点之间的内部传输路径和父层节点之间的内部传输路径。
历史传输路径对应的传输带宽是指,实时数据沿着历史传输路径传输所占用的带宽。历史传输路径对应的传输带宽可以根据边缘节点传输实时数据的外部传输路径对应的传输带宽确定。边缘节点传输实时数据的外部传输路径对应的传输带宽,可以根据边缘节点的日志,确定一段时间内的传输实时数据的位数,从而确定边缘节点传输实时数据的外部传输路径对应的传输带宽。实际上,由于实时数据是实时生成并实时传输,在一段时间段内的传输实时数据的位数相同。也即,针对同一实时数据,从内部节点到内部节点之间的传输带宽,与从边缘节点到用户设备之间的传输带宽相同。从而,实时数据的内部传输路径,和外部传输路径对应的传输带宽相同。示例性的,实时数据存在的历史传输路径为:从节点A到节点B的历史传输路径a,以及从节点B到用户设备C的历史传输路径b。历史传输路径a对应的传输带宽是指节点A向节点B发送实时数据在某一时间段的传输的数据量。历史传输路径b对应的传输带宽是指节点B向用户设备C发送实时数据在该时间段的传输的数据量。在同一时间段内,实时数据的3个数据包从节点A到节点B,再从节点B到用户设备C,从而,节点A与节点B之间传输的数据量,和节点B与用户设备C之间传输的数据量相同,都是3个数据包。
流量特征包括多个类型的实时数据的历史传输路径和各历史传输路径对应的传输带宽。示例性的,一个类型的实时数据表示一个直播流针对一个地理位置传输的数据流。一个类型的实时数据的历史传输路径表示一个直播流针对一个地理位置的内部传输路径和外部传输路径。可以根据一个直播流针对地理位置为地点1存在多少个请求,确定针对地理位置为地点1存在多少个内部传输路径和多少个外部传输路径,其中,不同用户发出的请求对应不同外部传输路径。而不同用户发出的请求对应同一个边缘节点,则不同用户发出的请求对应的内部传输路径相同;不同用户发出的请求对应不同的边缘节点,则不同用户发出的请求对应的内部传输路径不同。
在一个具体的例子中,如图3所示,基于历史映射关系,边缘节点A传输直播流1(实线箭头)存在来自地理位置1的3个请求,相应存在三个外部传输路径,每个外部传输路径的传输带宽为10M,并且,边缘节点A传输直播流2(虚线箭头)存在来自地理位置2的2个请求,相应存在2个外部传输路径,每个外部传输路径的传输带宽为20M。由此可知,边缘节点A的外部带宽为10*3+20*2=70M。边缘节点D传输直播流2存在来自地理位置2的1个请求,相应存在1个外部传输路径,每个外部传输路径的传输带宽为20M。由此可知,边缘节点D的外部带宽为20M。边缘节点A向第二层节点B回源直播流1,并向第二层节点C回源直播流2。第二层节点B针对3个请求传输直播流1存在1个内部传输路径,传输带宽为10M,第二层节点C针对地理位置2的2个请求传输直播流2存在1个内部传输路径,传输带宽为20M。边缘节点D向第二层节点C回源直播流2。第二层节点C针对地理位置3的1个请求传输直播流2存在1个内部传输路径,传输带宽为20M。由此可知,第二层节点B的内部带宽为10M,第二层节点C的内部带宽为20+20=40M。
S204,根据所述流量特征,计算所述内容分发网络基于备选映射关系的备选传输成本。
备选映射关系用于确定传输实时数据的节点,从而确定实时数据的传输路径。相应的,根据流量特征,确定存在的历史传输路径,备选映射关系实际用于对历史传输路径增删改,根据备选映射关系,确定传输实时数据的新的内部节点,以及新的内部节点关联的历史传输路径,从而,根据历史传输路径的传输带宽,计算新的内部节点的传输带宽,从而计算新的内部节点的传输成本,从而累加各内部节点的传输成本,得到内容分发网络的备选传输成本。
可选的,所述根据所述流量特征,计算所述内容分发网络基于备选映射关系的备选传输成本,包括:基于备选映射关系,确定所述内容分发网络中内部节点传输各所述类型的实时数据的备选传输路径;根据所述历史传输路径和所述历史传输路径对应的传输带宽,确定所述备选传输路径对应的传输带宽;根据所述内容分发网络中内部节点关联的备选传输路径,和各所述备选传输路径对应的传输带宽,确定所述内容分发网络中内部节点的传输带宽,并计算所述备选传输成本。
备选传输路径是基于备选映射关系确定的节点之间传输实时数据的传输路径。内部节点关联的备选传输路径是指在可传输实时数据的内部节点,沿着关联的备选传输路径发送或接收实时数据。根据备选映射关系,以及各类型的实时数据,确定传输实时数据的节点对,将节点对中两个节点(包括内部节点和用户设备)连接形成的传输路径,确定为备选传输路径。实际上,备选映射关系会指定不同类型的实时数据的传输节点不同,从而形成的备选传输路径不同。
根据历史传输路径和历史传输路径对应的传输带宽可以确定备选传输路径对应的传输带宽。具体是,同一个类型的实时数据是指地理位置相同且内容相同的实时数据。针对同一个类型的实时数据,历史传输路径对应的传输带宽和备选传输路径对应的传输带宽匹配,更具体的是,在匹配的时间段,历史传输路径包括的内部传输路径对应的传输带宽、历史传输路径包括的外部传输路径对应的传输带宽、备选传输路径包括的内部传输路径对应的传输带宽、和备选传输路径包括的外部传输路径对应的传输带宽均匹配。匹配可以是相同,还可以是二者数值之间成固定比例关系等。实际上,检测属于同一类型的实时数据的备选传输路径和历史传输路径,并根据同一类型的历史传输路径的传输带宽,确定同一类型的各备选传输路径对应的传输带宽。
根据内部节点关联的备选传输路径,以及关联的备选传输路径对应的传输带宽,计算该内部节点的传输成本,并累加全部内部节点的传输成本,计算内容分发网络的备选传输成本。
综上,根据历史传输路径和对应的传输带宽,确定流量特征可以是:直播流1在地理位置1存在3条请求,存在3个外部传输路径和1个内部传输路径,每个历史传输路径的传输带宽为10M。直播流2在地理位置2存在2个请求,存在2个外部传输路径和1个内部传输路径,每个历史传输路径的传输带宽为20M。
在一个具体的例子中,如图3所示,基于历史映射关系,如前例可知,边缘节点A的外部带宽为70M。边缘节点D的外部带宽为20M。第二层节点B的内部带宽为10M,第二层节点C的内部带宽为40M。如图4所示,基于备选映射关系,边缘节点A传输直播流1(实线箭头)存在来自地理位置1的3个请求,相应存在三个外部传输路径,每个外部传输路径的传输带宽为10M,并且,边缘节点A传输直播流2(虚线箭头)存在来自地理位置2的2个请求以及来自地理位置3的1个请求,相应存在3个外部传输路径,每个外部传输路径的传输带宽为20M。由此可知,边缘节点A的外部带宽为10*3+20*3=90M。边缘节点D不存在请求,边缘节点D的外部带宽为0。边缘节点A向第二层节点B回源直播流1,并向第二层节点C回源直播流2。第二层节点B针对3个请求传输直播流1存在1个内部传输路径,传输带宽为10M,第二层节点C针对地理位置2的2个请求传输直播流2存在1个内部传输路径,传输带宽为20M,第二层节点C针对地理位置3的1个请求传输直播流2存在1个内部传输路径,传输带宽为20M。由此可知,第二层节点B的内部带宽为10M,第二层节点C的内部带宽为20=40M。从而,相对于历史映射关系,基于备选映射关系,边缘节点A的外部带宽增加了20M,边缘节点D的外部带宽减少了20M,第二层节点B的内部带宽增加了20M,第二层节点C的内部带宽减少了40M。相应的,相对于历史映射关系,基于备选映射关系,内容分发网络的传输成本发生改变。
通过基于内部传输实时数据的流量特征,准确计算内部节点之间备选传输路径所消耗的带宽,最终计算备选传输成本,使得备选传输成本可以代表内部传输消耗带宽的成本,增加备选传输成本的代表性,由此确定目标映射关系,精准实现内部传输的成本确定调度策略,降低内容分发网络的内部传输的资源消耗,提高内部传输资源的利用率。
需要说明的是,传输带宽还具有不同时间分布不同的特性,由此,针对同一个类型的实时数据,历史传输路径在目标时间段内对应的传输带宽和备选传输路径在匹配时间段内对应的传输带宽相同。目标时间段与匹配时间段的时长相同,且传输带宽在目标时间段的分布特征与在匹配时间段的分布特征相同。示例性的,目标时间段为16点-20点,匹配时间段同样为16点-20点。又如,目标时间段为1月31日,匹配时间段为2月28日。
可选的,所述流量特征为第一时间段的第一特征;所述根据所述流量特征,计算所述内容分发网络基于备选映射关系的备选传输成本,包括:根据所述第一特征,预测在所述第二时间段内的第二特征;根据所述第二特征,计算所述内容分发网络基于备选映射关系的备选传输成本。
第一时间段是内容分发网络基于历史映射关系确定的内部节点传输实时数据的时间段。第二时间段是内容分发网络基于备选映射关系或目标映射关系确定的内部节点传输实时数据的时间段。第一时间段与第二时间段的时长可以相同,也可以不同。示例性的,第一时间段在第二时间段之前。第一时间段与第二时间段不重叠。第一时间段的末尾的端点时间在第二时间段的首个端点时间之间。示例性的,第一时间段为当天,第二时间段为明天。又如,第一时间段为前天到当天的时间段,即时长为72小时,第二时间段为明天,即时长为24小时。
第一特征是基于第一时间段的真实数据计算的特征。第二特征是预测特征。示例性的,在第一时间段与第二时间段相同的情况下,可以将第一特征确定为第二特征,还可以根据第一时间段与第二时间段之间的时间分布关系,对第一时间段进行划分单元时间段,并获取第一特征映射到各单元时间段的特征并进行加权求和平均计算,得到第二特征,其中,权重可以根据单元时间段与第二时间段之间的时长确定,例如时长越短,权重越大,时长越长,权重越小。在一个具体的例子中,第一时间段为第一天到第三天,第二时间段为第四天,第一时间段分为三天,单元时间段第一天的权重最小,单元时间段第三天的权重最大。
实际上,第一特征是历史时间采集的信息确定的特征,是基于历史映射关系确定。目标映射关系是应用于未来的映射关系。从而可以通过作为真实值的第一特征,预测第二特征,并根据第二特征确定作为预测值的备选传输成本,进而确定最佳的备选映射关系,以及确定目标映射关系。
相应的,针对第二特征包括的历史传输路径和对应的传输带宽,针对同一个类型的实时数据,历史传输路径在对应的传输带宽和备选传输路径对应的传输带宽相同。
通过第一时间段的第一特征预测第二时间段的第二特征,并基于第二特征,计算内容分发网络的备选传输成本,可以灵活调整未来任意时间段的映射关系,提高节点调度的灵活性,以及增加节点的调度细粒度。
可选的,所述备选传输成本包括:所述内容分发网络中内部节点之间的内部传输成本。
内部传输成本是指内部节点的内部传输路径对应的传输成本。可以对内部节点的内部传输路径对应的传输带宽进行累加,确定内部传输路径对应的传输带宽,并对应计算传输成本,确定该内部节点的内部传输成本。备选传输成本还可以包括内容分发网络中内部节点与用户设备的之间的外部传输成本。外部传输成本是指边缘节点的外部传输路径对应的传输成本。可以对边缘节点的外部传输路径对应的传输带宽进行累加,确定外部传输路径对应的传输带宽,并对应计算传输成本,确定该边缘节点的外部传输成本。备选传输成本包括内部传输成本和外部传输成本,备选传输成本可以是内部传输成本和外部传输成本之和。
其中,不同历史传输路径的传输带宽进行累加,是指同一时间段的多个历史传输路径的传输带宽进行累加,不同时间段的多个历史传输路径的传输带宽无法累加。
通过配置备选传输成本包括内部传输成本,可以用于根据内容分发网络的内部传输的成本,确定节点的调度策略,可以精准调整内部传输成本,降低内容分发网络的回源成本,从而进一步降低内容分发网络的整体成本。
S205,根据所述备选映射关系的备选传输成本,确定目标映射关系。
S206,根据所述目标映射关系,确定所述内容分发网络传输所述实时数据的目标节点,并通过所述目标节点传输所述实时数据。
根据本公开的技术方案,通过根据实时数据的属性信息对实时数据进行分类,并根据实时数据的传输信息,和各类型的实时数据,确定传输实时数据的历史传输路径和各历史传输路径对应的传输带宽,从而确定流量特征,实现流量特征准确描述实时数据在内容分发网络的流转过程,增加流量特征的丰富度,以及提高流量特征的内部传输的代表性,从而确定目标映射关系,对内部节点进行调度,增加调度的节点的范围,增加调度的广度,使得调度更加灵活和精准。
图5是根据本公开实施例公开的另一种数据传输方法的流程图,基于上述技术方案进一步优化与扩展,并可以与上述各个可选实施方式进行结合。所述根据所述备选映射关系的备选传输成本,确定目标映射关系,具体化为:获取所述内容分发网络的历史传输成本;以备选传输成本低于所述历史传输成本为目标,调整备选映射关系,确定目标映射关系。
S501,获取内容分发网络的流量特征,所述流量特征包括所述内容分发网络中内部节点之间传输实时数据的特征,所述实时数据为实时生成并实时传输的数据。
S502,根据所述流量特征,计算所述内容分发网络基于备选映射关系的备选传输成本。
S503,获取所述内容分发网络的历史传输成本。
历史传输成本可以是指内容分发网络在历史的一段时间内的传输成本。如前例,该历史的一段时间可以是与第二时间段的时长相同且时间段匹配的一段时间。第一时间段与第二时间段的时长相同的情况下,该历史的一段时间可以是第一时间段。
S504,以备选传输成本低于所述历史传输成本为目标,调整备选映射关系,确定目标映射关系。
备选传输成本低于历史传输成本为目标,表明备选映射关系下的内容分发网络的传输成本变小。对备选映射关系进行调整,具体调整方式可以是增删改哪些内部节点之间的内部映射关系,还可以增删改哪些内部节点的外部映射关系,从而实现增删改哪些内部节点可以用于传输实时数据。示例性的,内容分发网络存在用户设备与节点A之间的外部映射关系,节点A与节点B之间的内部映射关系和节点B与节点C之间的内部映射关系。可以将节点A与节点B之间的内部映射关系删除,并增加节点D与节点B之间的内部映射关系,以及增加节点D与用户设备之间的外部映射关系。从而修改后的备选映射关系包括:节点D与用户设备之间的外部映射关系、节点D与节点B之间的内部映射关系和节点B与节点C之间的内部映射关系。
以备选传输成本低于历史传输成本为目标,调整备选映射关系,还可以采用优化器,将备选映射关系作为自变量,优化器用于基于备选映射关系计算备选传输成本,备选传输成本为函数值,优化器以备选传输成本低于历史传输成本为目标,对备选映射关系进行求解,确定最优解,作为调整后的备选映射关系。其中,最优解包括的备选映射关系的数量为至少一个。
以备选传输成本低于历史传输成本为目标,调整备选映射关系,可以是以备选传输成本满足预设条件为目标,调整备选映射关系,基于调整后的备选映射关系,重新计算备选传输成本,以备选传输成本满足预设条件为目标,对调整后的备选映射关系再次进行调整,从而实现基于备选映射关系计算的备选传输成本不断调整备选映射关系,直至确定满足预设条件的备选传输成本,根据计算得到满足的备选传输成本的备选映射关系,确定目标映射关系。
如果存在多个满足预设条件的备选映射关系,或最优解包括的多个备选映射关系,则可以选择备选传输成本最小的备选映射关系,确定为目标映射关系。又如,还可以是选择备选传输成本较小且映射关系的离散程度最高的备选映射关系。还可以是备选传输成本小于预设阈值且离散程度最高的备选映射关系。其中,离散程度最高的备选映射关系,是指不同地理位置请求的实时数据高离散的分布在不同的内部节点进行传输。
S505,根据所述目标映射关系,确定所述内容分发网络传输所述实时数据的目标节点,并通过所述目标节点传输所述实时数据。
可选的,数据传输方法,还包括:获取所述内容分发网络的传输约束条件;根据所述传输约束条件,对所述备选映射关系进行调整。
传输约束条件用于约束备选映射关系。通常,可以从内部节点的承受能力、内部节点提供的服务质量、内部节点的容错性、故障的内部节点的规避和自定义约束条件等至少一个维度,确定约束条件。例如,约束内部节点的承受能力具体是约束内部节点的传输带宽不能大于最大可承受带宽;又如,约束内部节点的提供的服务质量,具体是约束内部节点的传输实时性和传输距离等;又如,约束内部节点的容错性,具体是约束备选映射关系不能过于集中或分散,过于集中会导致数据堵塞,实时数据的传输实时性下降,而过于分散会导致传输距离过程,增加传输延时,以及增加传输成本;又如,约束故障的内部节点具体是约束哪些内部节点之间不能建立内部映射关系,约束哪些内部节点不能存在外部映射关系等。自定义约束条件可以是根据业务需要设定,例如,哪个类型的实时数据不能通过哪个内部节点传输等。
根据传输约束条件,对备选映射关系进行调整,实际是将备选映射关系中满足传输约束条件的内部映射关系和外部映射关系保留,将不满足传输约束条件的内部映射关系和外部映射关系剔除,使得调整后的备选映射关系满足传输约束条件。
示例性的,如果不添加约束条件,会导致先基于未约束的目标映射关系进行节点调度,再去修改目标映射关系,会增加传输成本。例如,传输成本与传输带宽的峰值对应。外部带宽一直稳定是100G,节点A能承受80G,节点B能承受80G。假如各分一半流量,那么一个月内节点A最大用了50G,节点B最大用了50G。假如一开始全给节点A,然后节点A发现承受不了,赶紧分一半给节点B,一个月内,节点A最大使用80G,节点B最大使用50G,这就多了30G对应的传输成本。
通过配置传输约束条件,可以更灵活的增加或减少某些映射关系,提高备选映射关系的调整灵活性,从而提高节点的调度灵活性,可以适配不同的应用场景,提高网络分发网络的兼容性。
根据本公开的技术方案,通过以备选传输成本低于历史传输成本为目标,调整备选传输映射关系,确定目标映射关系,可以得到更低传输成本的目标映射关系,并据此调度节点可以降低内容分发网络的传输成本。
图6是根据本公开实施例公开的另一种数据传输方法的场景图。数据传输方法可以包括:
具体是在直播应用场景中,传输的实时数据为直播流。
首先进行实时数据的数据采集。获取各直播业务细粒度流量数据:由各边缘节点产生的日志获取,日志记录着不同用户对于不同直播流的首次请求时间、拉流时长、请求个数和带宽等传输信息,以及每个直播流的属性信息,如从直播间的标识、主播用户的标识和观众用户的标识等。具体是要获取某条直播流何时被首次请求、每个时段同时被请求数、何时不在请求等,相当于获取了每个节点上每条直播流的生命周期数据。
其次对采集的数据进行特性抽取:基于这些传输信息,可以分析获得不同业务域名之下的实时直播流的流量结构,并根据属性信息进行分类汇总,形成内容分发网络的流量特征。实际上,内容分发网络的调度是针对一个业务域名的直播流进行内部节点调度。一个业务域名下可以存在多个直播流,一个直播流,通常是指一个主播的一次直播的流数据。同一个业务域名的多个直播流调度的内部节点通常是相同。从而,针对每个业务域名,将边缘节点的带宽计算归属到每一条直播流上,这样能够获取流量本身的数量上的数据,还能获取流量的流量结构(如某业务某时某地某内部节点,有100G的流量被接入该内部节点,这其中直播流1产生10G,直播流2产生100M,直播流3产生……)。对内容分发网络中各内部节点的流量结构进行汇总,得到流量特征,流量特征可以表示每个业务域名的每一条直播流所产生的流量的时间-空间分布。并且,还可以确定每一条直播流的冷流热流的性质和用户行为的性质。其中,冷流是指数量少的用户请求的直播流,热流是指数量多的用户请求的直播流。用户行为的性质是指,用户在何时观看该直播流,以及对该直播流的观看时长等。实际上,基于流量特征中描述的冷流热流的性质和空间分布性质,可以确定内部节点之间的映射关系,从而决定了内部传输成本,而基于流量特征中描述的用户行为的性质和时间分布性质,用于确定单个边缘节点带宽峰值,而带宽峰值决定了边缘节点与用户设备之间的外部传输成本,从而,用户行为的性质和时间分布性质决定了外部传输成本。通过上述性质,流量特征可以很好的描述内容分发网络中决定内部传输成本的信息以及决定外部传输成本的信息,从而基于流量特征,可以准确检测内容分发网络的传输成本。
再次,基于细粒度流量数据建立CDN成本计算模型:基于不同业务域名的直播流的流量特征,可以建立不同业务域名下的流量在各个节点上的分配情况,统计不同的业务域名的流量分配,就能得到单个节点上的流量实时变化数据,进而计算单个节点的流量成本,进而计算整个CDN的总体流量成本。流量特征为第一时间段的第一特征,根据第一特征,预测在第二时间段内的第二特征;根据第二特征基于备选映射关系,确定内容分发网络中内部节点传输各类型的实时数据的备选传输路径;根据历史传输路径和历史传输路径对应的传输带宽,确定备选传输路径对应的传输带宽;根据内容分发网络中内部节点关联的备选传输路径,和各备选传输路径对应的传输带宽,确定内容分发网络中内部节点的传输带宽,并计算内容分发网络基于备选映射关系的备选传输成本。将备选映射关系包括的外部映射关系和内部映射关系设置作为自变量,以直播流特点、节点负载能力和节点容错性等至少一项内容为约束,以备选传输成本为目标函数,针对该优化问题,可以基于优化方法,对这个问题进行求解,获得一个基于流量特征的最佳调度方案,即确定目标映射关系。由于直播流量的变化,因此对调度方案进行定期计算更新,以适应变化的需要。
最后,输出各业务域名的外部映射关系和内部映射关系,并下发更新——将求解结果下发给DNS(Domain Name System,域名系统)解析平台,以生效调度策略。根据目标映射关系,确定内容分发网络传输实时数据的目标节点,并通过目标节点传输实时数据。
根据本公开的技术方案,可以节省人工调整调度方案的人工成本,可以基于精确计算的边缘成本和内部成本,优化调度策略,实现降低直播业务的内部流量的传输成本。
根据本公开的实施例,图7是本公开实施例中的数据传输装置的结构图,本公开实施例适用于在内容分发网络中确定传输实时数据的节点的调度策略的情况。该装置采用软件和/或硬件实现,并具体配置于具备一定数据运算能力的电子设备中。
如图7所示的一种数据传输装置700,包括:流量特征获取模块701、备选传输成本确定模块702、目标映射关系确定模块703和实时数据传输模块704;其中,
流量特征获取模块701,用于获取内容分发网络的流量特征,所述流量特征包括所述内容分发网络中内部节点之间传输实时数据的特征,所述实时数据为实时生成并实时传输的数据;
备选传输成本确定模块702,用于根据所述流量特征,计算所述内容分发网络基于备选映射关系的备选传输成本;
目标映射关系确定模块703,用于根据所述备选映射关系的备选传输成本,确定目标映射关系;
实时数据传输模块704,用于根据所述目标映射关系,确定所述内容分发网络传输所述实时数据的目标节点,并通过所述目标节点传输所述实时数据。
根据本公开的技术方案,通过根据内容分发网络中内部节点之间传输实时数据的特征,计算内容分发网络基于备选映射关系的备选传输成本,并根据备选传输成本对备选映射关系进行调整,确定目标映射关系,以及根据目标映射关系确定目标节点,以传输实时数据,实现根据实时数据在内容分发网络内的内部传输的特征,计算内容分发网络在不同映射关系下的备选传输成本,确定合适传输成本的目标映射关系,从而实现适配内部传输的传输成本,调整内容分发网络的调度策略,提高内容分发网络的节点调度灵活性和精准性,同时,减少节点的调度处理量,以及提高节点调度的调整效率。
进一步的,所述流量特征获取模块701,包括:传输信息获取单元,用于获取所述内容分发网络中内部节点传输所述实时数据的传输信息;实时数据划分单元,用于根据所述实时数据的属性信息对所述实时数据进行划分,得到至少一个类型的实时数据;流量特征检测单元,用于根据所述实时数据的传输信息,和各所述类型的实时数据,确定所述实时数据的历史传输路径和所述历史传输路径对应的传输带宽,并确定所述内容分发网络的流量特征。
进一步的,所述备选传输成本确定模块702,包括:备选传输路径确定单元,用于基于备选映射关系,确定所述内容分发网络中内部节点传输各所述类型的实时数据的备选传输路径;备选传输带宽确定单元,用于根据所述历史传输路径和所述历史传输路径对应的传输带宽,确定所述备选传输路径对应的传输带宽;网络传输成本确定单元,用于根据所述内容分发网络中内部节点关联的备选传输路径,和各所述备选传输路径对应的传输带宽,确定所述内容分发网络中内部节点的传输带宽,并计算所述备选传输成本。
进一步的,所述备选传输成本包括:所述内容分发网络中内部节点之间的内部传输成本。
进一步的,所述流量特征为第一时间段的第一特征;所述目标映射关系确定模块703,包括:流量特征预测单元,用于根据所述第一特征,预测在所述第二时间段内的第二特征;传输成本计算单元,用于根据所述第二特征,计算所述内容分发网络基于备选映射关系的备选传输成本。
进一步的,所述目标映射关系确定模块703,包括:历史传输成本确定单元,用于获取所述内容分发网络的历史传输成本;备选映射关系调整单元,用于以备选传输成本低于所述历史传输成本为目标,调整备选映射关系,确定目标映射关系。
进一步的,所述数据传输装置,还包括:约束信息获取模块,用于获取所述内容分发网络的传输约束条件;约束信息调整模块,用于根据所述传输约束条件,对所述备选映射关系进行调整。
进一步的,所述实时数据包括直播流数据。
上述数据传输装置可执行本公开任意实施例所提供的数据传输方法,具备执行数据传输方法相应的功能模块和有益效果。
本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性区域图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示,设备800包括计算单元801,其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序,来执行各种适当的动作和处理。在RAM 803中,还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805,包括:输入单元806,例如键盘、鼠标等;输出单元807,例如各种类型的显示器、扬声器等;存储单元808,例如磁盘、光盘等;以及通信单元809,例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理,例如数据传输方法。例如,在一些实施例中,数据传输方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元808。在一些实施例中,计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时,可以执行上文描述的数据传输方法的一个或多个步骤。备选地,在其他实施例中,计算单元801可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行数据传输方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或区域图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (19)
1.一种数据传输方法,包括:
获取内容分发网络的流量特征,所述流量特征包括所述内容分发网络中内部节点之间传输实时数据的特征,所述实时数据为实时生成并实时传输的数据;
根据所述流量特征,计算所述内容分发网络基于备选映射关系的备选传输成本;
根据所述备选映射关系的备选传输成本,确定目标映射关系;
根据所述目标映射关系,确定所述内容分发网络传输所述实时数据的目标节点,并通过所述目标节点传输所述实时数据。
2.根据权利要求1所述的方法,其中,所述获取内容分发网络的流量特征,包括:
获取所述内容分发网络中内部节点传输所述实时数据的传输信息;
根据所述实时数据的属性信息对所述实时数据进行划分,得到至少一个类型的实时数据;
根据所述实时数据的传输信息,和各所述类型的实时数据,确定所述实时数据的历史传输路径和所述历史传输路径对应的传输带宽,并确定所述内容分发网络的流量特征。
3.根据权利要求2所述的方法,其中,所述根据所述流量特征,计算所述内容分发网络基于备选映射关系的备选传输成本,包括:
基于备选映射关系,确定所述内容分发网络中内部节点传输各所述类型的实时数据的备选传输路径;
根据所述历史传输路径和所述历史传输路径对应的传输带宽,确定所述备选传输路径对应的传输带宽;
根据所述内容分发网络中内部节点关联的备选传输路径,和各所述备选传输路径对应的传输带宽,确定所述内容分发网络中内部节点的传输带宽,并计算所述备选传输成本。
4.根据权利要求1所述的方法,其中,所述备选传输成本包括:所述内容分发网络中内部节点之间的内部传输成本。
5.根据权利要求1所述的方法,其中,所述流量特征为第一时间段的第一特征;所述根据所述流量特征,计算所述内容分发网络基于备选映射关系的备选传输成本,包括:
根据所述第一特征,预测在所述第二时间段内的第二特征;
根据所述第二特征,计算所述内容分发网络基于备选映射关系的备选传输成本。
6.根据权利要求1所述的方法,其中,所述根据所述备选映射关系的备选传输成本,确定目标映射关系,包括:
获取所述内容分发网络的历史传输成本;
以备选传输成本低于所述历史传输成本为目标,调整备选映射关系,确定目标映射关系。
7.根据权利要求1所述的方法,还包括:
获取所述内容分发网络的传输约束条件;
根据所述传输约束条件,对所述备选映射关系进行调整。
8.根据权利要求1-7任一项所述的方法,其中,所述实时数据包括直播流数据。
9.一种数据传输装置,包括:
流量特征获取模块,用于获取内容分发网络的流量特征,所述流量特征包括所述内容分发网络中内部节点之间传输实时数据的特征,所述实时数据为实时生成并实时传输的数据;
备选传输成本确定模块,用于根据所述流量特征,计算所述内容分发网络基于备选映射关系的备选传输成本;
目标映射关系确定模块,用于根据所述备选映射关系的备选传输成本,确定目标映射关系;
实时数据传输模块,用于根据所述目标映射关系,确定所述内容分发网络传输所述实时数据的目标节点,并通过所述目标节点传输所述实时数据。
10.根据权利要求9所述的装置,其中,所述流量特征获取模块,包括:
传输信息获取单元,用于获取所述内容分发网络中内部节点传输所述实时数据的传输信息;
实时数据划分单元,用于根据所述实时数据的属性信息对所述实时数据进行划分,得到至少一个类型的实时数据;
流量特征检测单元,用于根据所述实时数据的传输信息,和各所述类型的实时数据,确定所述实时数据的历史传输路径和所述历史传输路径对应的传输带宽,并确定所述内容分发网络的流量特征。
11.根据权利要求10所述的装置,其中,所述备选传输成本确定模块,包括:
备选传输路径确定单元,用于基于备选映射关系,确定所述内容分发网络中内部节点传输各所述类型的实时数据的备选传输路径;
备选传输带宽确定单元,用于根据所述历史传输路径和所述历史传输路径对应的传输带宽,确定所述备选传输路径对应的传输带宽;
网络传输成本确定单元,用于根据所述内容分发网络中内部节点关联的备选传输路径,和各所述备选传输路径对应的传输带宽,确定所述内容分发网络中内部节点的传输带宽,并计算所述备选传输成本。
12.根据权利要求9所述的装置,其中,所述备选传输成本包括:所述内容分发网络中内部节点之间的内部传输成本。
13.根据权利要求9所述的装置,其中,所述流量特征为第一时间段的第一特征;所述目标映射关系确定模块,包括:
流量特征预测单元,用于根据所述第一特征,预测在所述第二时间段内的第二特征;
传输成本计算单元,用于根据所述第二特征,计算所述内容分发网络基于备选映射关系的备选传输成本。
14.根据权利要求9所述的装置,其中,所述目标映射关系确定模块,包括:
历史传输成本确定单元,用于获取所述内容分发网络的历史传输成本;
备选映射关系调整单元,用于以备选传输成本低于所述历史传输成本为目标,调整备选映射关系,确定目标映射关系。
15.根据权利要求9所述的装置,还包括:
约束信息获取模块,用于获取所述内容分发网络的传输约束条件;
约束信息调整模块,用于根据所述传输约束条件,对所述备选映射关系进行调整。
16.根据权利要求9-15任一项所述的装置,其中,所述实时数据包括直播流数据。
17.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-8中任一项所述的数据传输方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的数据传输方法。
19.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述的数据传输方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210602532.7A CN115037696B (zh) | 2022-05-30 | 2022-05-30 | 数据传输方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210602532.7A CN115037696B (zh) | 2022-05-30 | 2022-05-30 | 数据传输方法、装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115037696A true CN115037696A (zh) | 2022-09-09 |
CN115037696B CN115037696B (zh) | 2023-07-28 |
Family
ID=83123014
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210602532.7A Active CN115037696B (zh) | 2022-05-30 | 2022-05-30 | 数据传输方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115037696B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150237155A1 (en) * | 2014-02-19 | 2015-08-20 | Level 3 Communications, Llc | Proxy server failover and load clustering |
CN105847140A (zh) * | 2016-05-20 | 2016-08-10 | 乐视控股(北京)有限公司 | 文件分发任务生成方法及系统 |
CN106454414A (zh) * | 2015-08-06 | 2017-02-22 | 瞬已网络科技(上海)有限公司 | 一种多径网络实时视频传输方法 |
CN109787900A (zh) * | 2017-11-15 | 2019-05-21 | 阿里巴巴集团控股有限公司 | 传输方法、装置、设备和机器可读介质 |
CN112383823A (zh) * | 2020-10-16 | 2021-02-19 | 北京奇艺世纪科技有限公司 | 码率自适应方法、装置、电子设备及存储介质 |
CN113038191A (zh) * | 2021-02-26 | 2021-06-25 | 北京百度网讯科技有限公司 | 直播流的调度方法、装置、电子设备及可读存储介质 |
-
2022
- 2022-05-30 CN CN202210602532.7A patent/CN115037696B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150237155A1 (en) * | 2014-02-19 | 2015-08-20 | Level 3 Communications, Llc | Proxy server failover and load clustering |
CN106454414A (zh) * | 2015-08-06 | 2017-02-22 | 瞬已网络科技(上海)有限公司 | 一种多径网络实时视频传输方法 |
CN105847140A (zh) * | 2016-05-20 | 2016-08-10 | 乐视控股(北京)有限公司 | 文件分发任务生成方法及系统 |
CN109787900A (zh) * | 2017-11-15 | 2019-05-21 | 阿里巴巴集团控股有限公司 | 传输方法、装置、设备和机器可读介质 |
CN112383823A (zh) * | 2020-10-16 | 2021-02-19 | 北京奇艺世纪科技有限公司 | 码率自适应方法、装置、电子设备及存储介质 |
CN113038191A (zh) * | 2021-02-26 | 2021-06-25 | 北京百度网讯科技有限公司 | 直播流的调度方法、装置、电子设备及可读存储介质 |
Non-Patent Citations (1)
Title |
---|
徐锡健: "流媒体系统中内容分发网络的服务器部署优化", 计算机工程与设计 * |
Also Published As
Publication number | Publication date |
---|---|
CN115037696B (zh) | 2023-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20170142177A1 (en) | Method and system for network dispatching | |
CN108776934B (zh) | 分布式数据计算方法、装置、计算机设备及可读存储介质 | |
CN113038191B (zh) | 直播流的调度方法、装置、电子设备及可读存储介质 | |
Tang et al. | Dynamic request redirection and elastic service scaling in cloud-centric media networks | |
US20180048150A1 (en) | Distributed resource electrical demand forecasting system and method | |
WO2017152734A1 (zh) | 一种数据处理方法及相关设备、系统 | |
CN109348264B (zh) | 视频资源共享方法、装置、存储介质及电子设备 | |
US20190334785A1 (en) | Forecasting underutilization of a computing resource | |
US20160379122A1 (en) | Recommendation algorithm optimization method, device and system | |
US9817698B2 (en) | Scheduling execution requests to allow partial results | |
CN114500339B (zh) | 一种节点带宽监测方法、装置、电子设备及存储介质 | |
CN110545450B (zh) | 一种节点分配方法、系统及电子设备和存储介质 | |
US20140143427A1 (en) | Providing Resources in a Cloud | |
US9516169B2 (en) | Automatic contact center expansion and contraction | |
CN113132403A (zh) | 用于内容分发网络的回源方法和装置 | |
JP6660283B2 (ja) | トラヒック需要予測装置、トラヒック需要予測方法、及びプログラム | |
CN113079062B (zh) | 一种资源调整方法、装置、计算机设备和存储介质 | |
CN110858844A (zh) | 服务请求处理方法、控制方法、装置、系统及电子设备 | |
CN112615795A (zh) | 流量控制方法、装置、电子设备、存储介质及产品 | |
CN115037696B (zh) | 数据传输方法、装置、电子设备和存储介质 | |
US11106680B2 (en) | System, method of real-time processing under resource constraint at edge | |
CN113434270B (zh) | 数据资源调度方法、装置、电子设备及存储介质 | |
CN113835905A (zh) | 一种消息队列负载均衡方法、装置、电子设备及介质 | |
CN114448838A (zh) | 系统可靠度评估方法 | |
Pletzer et al. | Distributed task allocation for visual sensor networks: a market-based approach |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |