CN110248210B - 视频传输优化方法 - Google Patents
视频传输优化方法 Download PDFInfo
- Publication number
- CN110248210B CN110248210B CN201910456496.6A CN201910456496A CN110248210B CN 110248210 B CN110248210 B CN 110248210B CN 201910456496 A CN201910456496 A CN 201910456496A CN 110248210 B CN110248210 B CN 110248210B
- Authority
- CN
- China
- Prior art keywords
- video
- cache
- edge server
- user
- transcoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000005457 optimization Methods 0.000 title claims abstract description 72
- 230000005540 biological transmission Effects 0.000 title claims abstract description 37
- 238000009826 distribution Methods 0.000 claims description 84
- 238000005516 engineering process Methods 0.000 claims description 10
- 230000002040 relaxant effect Effects 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 7
- 230000003139 buffering effect Effects 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 2
- 238000003860 storage Methods 0.000 abstract description 9
- 238000004364 calculation method Methods 0.000 abstract description 4
- 239000000243 solution Substances 0.000 description 49
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000011480 coordinate descent method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000007983 Tris buffer Substances 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 239000007853 buffer solution Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 210000003666 myelinated nerve fiber Anatomy 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
- H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明提供了一种视频传输优化方法,包括:在源服务器侧,将360度视频流切分为一连串的视频流切分成时空切片;源服务器再对每一个所述时空切片进行编码,得到多个不同码率版本的时空切片;其中,所有码率版本的时空切片构成一个视频切片集合;控制边缘服务器按照预设的优化策略,在每个时间周期的开始时刻,通过边缘服务器缓存指定码率版本的指定视频切片集合;控制边缘服务器按照预设的优化策略,在每个时间周期的时隙的开始时刻,根据用户的视频请求,执行对视频切片集合的转码和分发任务。本发明高效利用了边缘服务器的存储和计算资源以及服务器间的协作,节约了网络运营成本,减轻了回传链路的传输压力,为用户提供延迟更低的视频服务。
Description
技术领域
本发明涉及通信技术领域,具体地,涉及视频传输优化方法。
背景技术
360度视频是虚拟现实技术和增强现实技术的一个重要组成部分。它利用全景相机拍摄各个角度的景象,并通过拼接和融合形成全景视频,给用户提供沉浸式体验。观看360度视频时,用户通常佩戴一个头盔式设备,并通过头部的自由旋转,选择自己最感兴趣的视角区域进行观看。与传统视频相比,360度视频常常具有更高的清晰度,因此在现有的视频分发网络中传输360度视频容易造成大量带宽消耗和时间延迟。
目前,可以利用动态自适应流媒体技术,在把360度视频切分为一系列时间切片的基础上,进一步把每个时间切片切分为空间切片,然后把时空切片编码成不同的版本,再根据用户的请求特性,仅传输合适码率版本的部分视角区域的视频切片,可以大大减少360度视频的传输量。尽管如此,由于用户请求的异构性和较大的视频切片集合空间,传输时空切片依然有可能引起回传链路压力和时延。边缘缓存和转码技术可以有效解决这一问题。边缘服务器位于源服务器和用户之间,且距离用户较近,因此直接由边缘服务器向用户分发视频可以大大减轻回传链路压力和视频传输延迟。在边缘服务器上提前缓存一部分流行的视频切片,或者在用户请求时,利用边缘服务器的计算能力即时转码得到请求的视频切片,可以避免用户通过回传链路从源服务器处获取视频。但是,由于各个边缘服务器的存储资源和计算资源有限且可能异构,同时各个边缘服务器覆盖的用户集合有交叉有不同,而且缓存、转码、分发这几个任务之间的决策互相影响。
经检索,Guanyu Gao等人在2015年的《IEEE Transactions on Multimedia》期刊上发表了题为“Towards cost-efficient video transcoding in media cloud:Insightslearned from user viewing patterns”的文章,该文章利用了动态自适应流媒体技术,提出了一种针对传统视频传输的联合缓存-转码方法,以最小化缓存-转码综合成本为目标。但是该文章涉及的应用场景适用于单个边缘服务器,无法适用于多边缘服务器多用户场景下的360度视频缓存-转码-分发联合决策。
经检索,Xiao Yang等人在2017年的《Asia-Pacific Conference onCommunications》会议上发表了题为“Optimal task scheduling in communication-constrained mobile edge computing systems for wireless virtual reality”的文章,该文章针对VR视频的传输,研究了在通信资源有限的场景下如何在边缘服务器和用户之间分配转码任务以最小化通信资源消耗的问题。但是该文章涉及的应用场景仅研究转码任务的分配,无法适用于时空切分传输的360度视频的边缘缓存-转码-分发多任务联合优化问题。
此外,上述工作对视频的划分都未精细到空间切片维度,也未考虑缓存、转码、分发几项任务的决策的互相影响关系,因此,视频传输性能不佳。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种视频传输优化方法。
根据本发明提供的一种视频传输优化方法,包括:
步骤1:在源服务器侧,将360度视频流切分为一连串的视频流切分成时空切片;
步骤2:源服务器再对每一个所述时空切片进行编码,得到多个不同码率版本的时空切片;所有码率版本的所有时空切片构成一个视频切片集合;
步骤3:控制所述边缘服务器按照预设的优化策略,在每个时间周期的开始时刻,通过边缘服务器缓存指定码率版本的指定视频切片集合;
步骤4:控制所述边缘服务器按照预设的优化策略,在每个时间周期的时隙的开始时刻,根据用户的视频请求,执行对视频切片集合的转码和分发任务;
其中,所述预设的优化策略是根据所有视频切片集合、边缘服务器的性能参数、用户的视频请求,综合优化传输成本之后所得到的视频缓存、转码、分发策略;所述边缘服务器的性能参数包括:各个边缘服务器的缓存和转码资源上限、各个边缘服务器的缓存成本、各个边缘服务器的转码成本、各个边缘服务器负载不均衡的边际成本、各个边缘服务器与用户的连接拓扑图。
可选地,所述步骤1包括:
在源服务器侧,使用动态自适应流媒体编码技术将任意一个360度视频文件切分为一连串的时间切片;
将每一个时间切片切分为多个空间切片,得到时空切片;其中,每个时空切片的播放长度相同或者不相同。
可选地,所述步骤3包括:
确定每个时间周期的长度;
将每个时间周期划分为多个时隙;
根据所述预设的优化策略,确定执行缓存任务的目标边缘服务器,以及所述目标边缘服务器缓存的视频切片集合;
在每个时间周期的开始时刻,通过所述目标边缘服务器缓存指定码率版本的指定视频切片集合。
可选地,所述步骤4包括:
接收用户端发送的视频请求;
确定所述用户端连接的边缘服务器;
在当前时隙的开始时刻,根据用户的视频请求,通过所述边缘服务器执行对视频切片集合的转码任务,得到转码后的视频;
将步骤3中已缓存的视频或者所述转码后的视频分发给所述用户端。
可选地,还包括:
用户端在每个时隙,向边缘服务器反馈下一时隙要播放的视频切片集合;
确定与所述用户端连接的边缘服务器;
建立所述用户端与所述边缘服务器的数据连接;
从所述边缘服务器的缓存中获取或者由所述边缘服务器转码得到所述视频切片集合;
将所述视频切片集合分发给所述用户端。
可选地,还包括:
获取用户端的视频请求历史信息;
在每个周期的开始时刻,预测对应周期中每个时隙用户请求的视频切片集合;
根据预测的视频切片集合,调整所述预设的优化策略。
可选地,所述预设的优化策略对应的目标优化问题如下:
其中,为边缘服务器集合,为用户集合,为360度视频时-空切片集合,为一个周期内的时隙集合,定义为边缘服务器s在当前时间周期缓存占用的缓存资源,Cca为所有边缘服务器缓存造成的网络缓存运营成本,为边缘服务器s在时隙t转码占用的转码资源,Ctr(t)为所有边缘服务器在时隙t转码造成的网络转码运营成本,Cd(t)为所有边缘服务器在时隙t转码和分发视频切片造成的负载不均衡成本;T为一个时间周期内的时隙数目,α为在一个周期T的缓存决策变量,β为在周期的各个时隙的分发决策变量,和分别为边缘服务器s的缓存容量上限和转码容量上限,为用户u的邻域边缘服务器集合,s为一个边缘服务器的下标索引,t为一个周期内一个时隙的下标索引,u为一个用户的下标索引,为在时隙t边缘服务器s是否向用户u分发视频,为边缘服务器s是否缓存视频切片z;为在时隙t用户u是否请求了视频切片z;
1(·)是一个指示函数,若x>0,则1(x)=1,若x=0,则1(x)=0;
优化目标为:最小化平均每个时隙的缓存、转码、负载不均衡成本之和;
约束条件如下:
边缘服务器资源上限限制条件;
用户请求有效响应限制条件;所述用户请求有效响应限制条件是指在任意时隙的任意用户的请求将由其邻域边缘服务器集合中的一个服务器来响应;
决策变量限制条件;其中,缓存变量和分发变量均为[0,1]的变量。
可选地,还包括:
将所述预设的优化策略对应的目标优化问题分解为缓存子问题和分发子问题,其中,缓存子问题和分发子问题的优化步骤如下:
先固定缓存变量求解分发子问题,再固定分发变量求解缓存子问题,每个子问题经过变量松弛采用快速高效的内点法求解,并反复迭代求得到缓存最优解;
将缓存最优解作为每个时间周期开始的分布式边缘缓存方法;
根据当前时隙用户端的视频请求,采用变量松弛和内点法求解分布式边缘缓存方法下缓存变量确定后的优化问题,得到边缘服务器与用户之间的数据连接对方案;
若用户端所连接的边缘服务器缓存有用户请求的视频切片集合,则直接从缓存中获取所述视频切片集合并分发给用户端;
若用户端所连接的边缘服务器未缓存有用户请求的视频切片集合,则所述边缘服务器先转码得到用户请求的视频切片集合,再将转码后的视频切片集合传输给用户端。
可选地,所述分布式边缘缓存方法包括:
设置初始缓存变量为满足所有约束条件的一个可行解,并设置初始步数为1;
固定当前的缓存变量解,根据每一时隙的转码和分发方法,求解出在当前缓存解下各个时隙的分发解;
固定求出的各个时隙的分发解,将缓存变量松弛为连续变量,得到一个线性规划问题,并用内点法求解出连续的缓存最优解;
根据变量离散约束和可行性约束,离散化得到新的缓存解;
若缓存解在预设误差范围内,则停止迭代,并将当前缓存解输出为最优结果;否则,重新迭代求解,直到当前缓存解在预设误差范围内。
可选地,每一时隙的转码和分发方法,包括:
获取当前时间周期的分布式边缘缓存方法,并固定为缓存最优解;
设置初始分发变量为满足所有约束条件的一个可行解;
将分发变量松弛为连续变量,得到一个线性规划问题,并用内点法求解出连续的分发最优解;
根据变量离散约束和可行性约束,离散化得到最终的分发变量最优解;
根据缓存最优解和分发最优解,得到转码分配方案的最优解。与现有技术相比,本发明具有如下的有益效果:
本发明提供的视频传输优化方法,通过结合源服务器处的动态自适应流媒体技术将360度视频流切分为时空切片,并编码成不同的码率版本,综合利用边缘服务器处的存储和计算资源,以及边缘服务器之间的协作,兼顾了各个边缘服务器的缓存和转码容量上限、边缘服务器-用户的连接拓扑图、用户的即时视频请求,联合优化给出每个时间周期的分布式边缘缓存方法和一个周期内每个时隙的转码和分发方法,实现网络运营成本的最小化。本发明高效利用了边缘服务器的存储和计算资源以及服务器间的协作,节约了网络运营成本,减轻了回传链路的传输压力,为用户提供延迟更低的视频服务。能够适用于360度视频流传输的分布式缓存-转码-分发联合优化,能够利用存储和计算两种资源,协调多个服务器间的协作,协调多种任务决策之间的影响,在减小回传链路压力和用户观看延迟的基础上,最小化网络综合运营成本。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明一实施例的方法流程图;
图2为本发明一实施例源服务器处360度视频切分和编码为时空间切片的示意图。
图3为本发明一实施例边缘服务器处联合缓存-转码-分发的原理示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
如图1所示,本实施例可以包括如下步骤:
步骤S1、源服务器处的动态自适应流媒体切分与编码
以下对360度视频流在源服务器端的切分和编码进行实例分析。如图2所示,在本实施例中,假设在源服务器处存储有L个360度视频文件(L为任意大于2的正整数),每个360度视频文件l∈{1,2,…,L}又切分为M个时间切片(M为任意大于2的正整数),每个时间切片由m∈{1,2,…,M}索引。针对每一个360度视频的每一个时间切片,将其中每一帧进一步切分为N个空间切片(N为任意大于2的正整数),每个空间切片由n∈{1,2,…,N}索引。使用动态自适应流媒体编码技术,将任意一个时-空切片编码为Q个不同码率版本(Q为任意大于2的正整数),每个码率版本由q∈{1,2,…,Q}索引。这样,源服务器处存储的所有360度视频切片可以用集合 来表示,其中每个元素zl,m,n,q表示一个360度视频切片(为了简洁性,以下将简记为z)。Rz表示视频切片z的文件大小。
步骤S2、边缘服务器处的分布式缓存放置、转码与分发
如图3所示,边缘服务器群位于源服务器与用户之间,在地理位置上距离用户很近,利用边缘服务器的存储和计算资源进行360度视频切片的缓存和转码,再直接从边缘服务器处分发给用户,可以有效地减轻网络延迟和回传链路压力。以图刻画网络边缘服务器与用户之间的连接关系。其中,表示S个边缘服务器的集合,表示U个用户的集合,边(s,u)∈εsu表示用户在边缘服务器的服务范围内,即边缘服务器s和用户u存在潜在的数据连接通道。用户u的邻域边缘服务器的集合记为
边缘服务器处的分布式边缘缓存放置以时间周期T进行。在一个周期的开始,根据联合优化决策的结果,在各个边缘服务器中进行缓存放置。记为一个缓存变量,表示边缘服务器s将在本周期缓存视频切片z,则表示不缓存。则表示边缘服务器群落中所有缓存变量的集合。一个周期T被进一步划分为多个等长的时隙在每个时隙t的开始,各个边缘服务器根据联合优化的结果,转码相应的视频切片,并与指定的用户建立数据连接,执行视频切片分发。记为一个分发变量,表示在时隙t边缘服务器s将与用户u建立数据连接,为用户u分发请求的视频切片,反之,则表示在时隙t边缘服务器s与用户u不会建立数据连接。因此,表示在时隙t的所有分发变量,表征在时隙t边缘服务器与用户之间的数据连接关系。表示一个周期T所有时隙的分发变量的集合。在时隙t,表示转码变量表示用户的请求信息,具体含义见下文),当其等于1时,表示服务器s将为满足用户u的请求转码视频切片z,否则不转码。为了减小网络延迟和网络回传链路的负担,假设用户所有的视频切片请求由边缘服务器缓存或转码响应。为了保证转码的可实施性,假设所有视频的最高清版本均可由各个边缘服务器获得。此外,任意一个边缘服务器s的存储资源和计算资源都是有限的,因此缓存容量和转码容量有限,分别记为和分别表示边缘服务器s的最大缓存文件大小和在一定时间(小于一个时隙的长度)内的最大转码文件大小。
步骤S3、用户处的360度视频请求与信息反馈
在每个时隙t的开始,每个用户u都向邻域的任意一个边缘服务器发送其在下一时隙的视频切片请求集合。用表示在时隙t所有用户的视频切片请求情况,其中,表示在时隙t用户u请求了视频切片z,则表示未请求。可以由流行的码率适配算法和头部轨迹预测算法在每一时隙获得,因此,在本实施例中用户每一时隙的请求是即时的已知值。此外,分析用户在过去一段时间的历史请求信息,可以获得各个360度视频各个时间切片的统计空间流行度热点图以及各个视频内容、版本的流行度特性,以在每个周期的开始预测这一周期中每个时隙用户可能请求的视频切片集合,用于周期开始时分布式缓存放置的联合优化。
步骤S4、建立适用于360度视频传输的分布式边缘缓存-转码-分发联合决策的优化问题,提出快速高效的决策方法
建立适用于360度视频流传输分布式缓存-转码-分发联合决策的优化问题如下(其中每个参数的含义可在上下文中对应获取):
目标优化问题:
类似地,在每个时隙t内,边缘服务器s消耗的计算资源和所有服务器的计算成本分别为:
其中,ωtr是计算资源的边际成本。假设转码资源消耗与生成的视频切片的码率线性相关。
另外,为了实现多个边缘服务器间的协作,保证转码任务的分配满足负载均衡,以避免用户请求排队等待,可以用Dmax(t)表示在时隙t内,所有边缘服务器进行转码任务导致的最大时间延迟,表达式为:
其中,W为转码每比特视频切片所需的CPU处理周期数,fs为服务器s的CPU主频。当负载不均衡的边际成本是ωd时,负载不均衡成本可以表示为:
Cd(t)=ωd·Dmax(t)
因此,优化目标为:最小化平均每个时隙的缓存、转码、负载不均衡成本之和。
约束条件为:
1)边缘服务器资源上限限制条件,即各个边缘服务器的缓存容量约束(第一条)和转码容量约束(第二条);
2)用户请求有效响应限制条件,即在任意时隙的任意用户的请求将由其邻域边缘服务器集合中的仅一个服务器来响应,即该用户在该时隙仅与一个边缘服务器建立数据连接(第三条);
3)决策变量限制条件,即缓存变量和分发变量均为0-1变量(第四条和第五条)。
根据以上问题可以给出每个周期的分布式缓存放置方法和每个时隙的转码与分发方法。所述每个周期的分布式缓存放置方法,根据用户的历史点播请求信息预测得到的这一周期各个时隙用户的视频切片请求,采用类块坐标下降法的算法将原优化问题分解为两个子问题,先固定缓存变量求解分发子问题,再固定分发变量求解缓存子问题,每个子问题经过变量松弛采用快速高效的内点法求解,由此反复迭代求解出联合优化策略,将其中的缓存最优解作为周期开始的分布式边缘缓存方案;所述每个时隙的转码和分发方法,根据当前时隙用户的即时请求,采用变量松弛和内点法求解当前缓存方法下缓存变量确定后的优化问题,得到边缘服务器与用户之间的数据连接对方案,在此连接方式下,若一个用户所连接的边缘服务器缓存有用户请求的视频切片,则直接取缓存分发视频,若未缓存,则该边缘服务器先转码获得用户请求的视频切片,再传输给用户。
所述每个周期的分布式缓存放置方法的执行过程如下(其中每个参数的含义可在上下文中对应获取):
(1)初始化:设置初始缓存变量为α=0,以及初始步数k=1;
(2)迭代搜索和更新步骤(k=1,2,3,…):
令α*=α,根据每一时隙的转码和分发方法,求解出在当前缓存解下各个时隙的分发解β*={β*(t)|t∈T};然后固定求出的各个时隙的分发解β*,将缓存变量松弛为连续变量,即将替换得到一个线性规划问题,并用内点法求解出连续的缓存最优解最后,根据变量离散约束和可行性约束,离散化得到新的缓存解α并更新;
(3)判定步骤:
若缓存解α在一定误差允许范围内连续几次更新步骤不再变化,停止迭代并将当前缓存解α输出为最优结果;否则,令搜索步数k=k+1并返回迭代搜索和更新步骤。
所述每个时隙的转码与分发方法的执行过程如下(其中每个参数的含义可在上下文中对应获取):
(1)初始化:读取当前周期的缓存放置方案α,并固定为缓存最优解α*=α;设置初始分发变量为满足所有约束条件的一个可行解β(t);
(3)离散化:根据变量离散约束和可行性约束,离散化得到最终的分发变量最优解β(t),并且根据缓存方案和分发方案得到转码分配方案的最优解。
对应于上述的视频传输优化方法,本发明还提供应用上述视频传输优化方法的系统,该系统包括:
在源服务器端,使用动态自适应流媒体技术将360度视频流切分为一连串的视频流时间切片,每一个时间切片又切分为多个空间切片,每一个时-空切片编码为多个不同码率的版本,形成视频切片集合;
在边缘服务器端,在每个时间周期的开始,各个边缘服务器缓存特定码率版本的特定视频切片集合;在一个时间周期里的每个时隙的开始,根据用户的即时请求,分配转码任务和视频分发任务,满足用户的视频点播请求;
在用户端端,在每一时隙,各个用户向边缘服务器反馈即时的视频切片请求,然后接受边缘服务器的视频分发,同时,用户的历史点播请求信息会被部分保留,以分析预测用户的请求特性用于优合缓存-转码-分发联合决策;
边缘缓存-转码-分发联合优化装置,在上述源服务器端、边缘服务器端、用户端的基础上,采用参数:源服务器处得到的360度视频不同码率版本的时-空切片组成的全集、各个边缘服务器的缓存和转码资源上限、各个边缘服务器的参数、缓存、转码、负载不均衡的边际成本、边缘服务器与用户的连接拓扑图、各个用户在当前时隙的视频请求、用户的历史点播请求信息,建立适用于360度视频传输的分布式边缘缓存-转码-分发联合决策的优化问题,采用快速高效的联合优化方法,得到当前周期的分布式缓存放置方案或者当前时隙的转码-分发方案,约束边缘服务器端的缓存放置、转码任务分配和视频分发任务分配,在高效满足用户视频点播请求的前提下,最小化网络运营成本,包括缓存、转码和负载不均衡成本。
所述边缘缓存-转码-分发联合优化装置,包括优化模块,所述优化模块适用于360度视频传输的分布式边缘缓存-转码-分发联合决策的优化问题,结合了所述源服务器处得到的360度视频不同码率版本的时-空切片组成的全集、各个边缘服务器的缓存和转码资源上限、各个边缘服务器的参数、缓存、转码、负载不均衡的边际成本、边缘服务器与用户的连接拓扑图、各个用户在当前时隙的视频请求、用户的历史点播请求信息,并使用网络运营成本(包括缓存、转码和负载不均衡成本)最小化建模方法得到。
所述边缘缓存-转码-分发联合优化装置进一步包括分布式缓存放置模块和转码与分发方法模块,分布式缓存放置模块在每个周期采用类块坐标下降法将优化问题分解为两个子问题,并通过反复迭代求解出最优缓存解,转码与分发方法模块在每个时隙根据当前缓存方案,采用变量松弛和内点法求解出最优分发解,并据此推出转码任务分配方法;
更好地,所述分布式缓存放置模块包括初始化子模块、迭代搜索与更新子模块、判定子模块,其中:
初始化子模块:设置初始缓存变量为满足所有约束条件的一个可行解,以及初始步数为1;
迭代搜索和更新子模块:固定当前的缓存变量解,根据每一时隙的转码和分发方法,求解出在当前缓存解下各个时隙的分发解;然后固定求出的各个时隙的分发解,将缓存变量松弛为连续变量,得到一个线性规划问题,并用内点法求解出连续的缓存最优解;最后,根据变量离散约束和可行性约束,离散化得到新的缓存解并更新;
判定子模块:若缓存解在一定误差允许范围内不再变化,停止迭代并将当前缓存解输出为最优结果;否则,令搜索步数加一并返回迭代搜索和更新步骤。
所述转码与分发模块包括初始化子模块、松弛求解模块、离散化模块,其中:
初始化子模块:读取当前周期的缓存放置方案,并固定为缓存最优解;设置初始分发变量为满足所有约束条件的一个可行解;
松弛求解子模块:将分发变量松弛为连续变量,得到一个线性规划问题,并用内点法求解出连续的分发最优解;
离散化子模块:根据变量离散约束和可行性约束,离散化得到最终的分发变量最优解,并且根据缓存方案和分发方案得到转码分配方案的最优解。
本发明上述系统实施例中,各个模块的实现技术可以采用对应的360度视频传输的分布式边缘缓存-转码-分发联合优化方法中的技术,在此不再赘述。
本发明为了适应360度视频传输的需要,提供了一种在满足各个边缘服务器缓存和转码容量和用户请求得到有效响应条件,且保证网络运营成本(包括缓存、转码、负载不均衡成本)最小化的分布式边缘缓存-转码-分发联合优化方法,节约了网络运营成本,减轻了回传链路的传输压力,为用户提供延迟更低的视频服务。
需要说明的是,本发明提供的360度视频传输的分布式边缘缓存-转码-分发联合优化方法中的步骤,可以利用所述360度视频传输的分布式边缘缓存-转码-分发联合优化系统中对应的模块、装置、单元等予以实现,本领域技术人员可以参照所述系统的技术方案实现所述方法的步骤流程,即,所述系统中的实施例可理解为实现所述方法的优选例,在此不予赘述。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以,本发明提供的系统及其各项装置可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构;也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。
Claims (9)
1.一种视频传输优化方法,其特征在于,包括:
步骤1:在源服务器侧,将360度视频流切分为一连串的视频流切分成时空切片;
步骤2:源服务器再对每一个所述时空切片进行编码,得到多个不同码率版本的时空切片;所有码率版本的所有时空切片构成一个视频切片集合;
步骤3:控制边缘服务器按照预设的优化策略,在每个时间周期的开始时刻,通过边缘服务器缓存指定码率版本的指定视频切片集合;
步骤4:控制所述边缘服务器按照预设的优化策略,在每个时间周期的时隙的开始时刻,根据用户的视频请求,执行对视频切片集合的转码和分发任务;
其中,所述预设的优化策略是根据所有视频切片集合、边缘服务器的性能参数、用户的视频请求,综合优化传输成本之后所得到的视频缓存、转码、分发策略;所述边缘服务器的性能参数包括:各个边缘服务器的缓存和转码资源上限、各个边缘服务器的缓存成本、各个边缘服务器的转码成本、各个边缘服务器负载不均衡的边际成本、各个边缘服务器与用户的连接拓扑图;
所述预设的优化策略具体如下:
其中,为边缘服务器集合,为用户集合,为360度视频时-空切片集合,为一个周期内的时隙集合,定义为边缘服务器s在当前时间周期缓存占用的缓存资源,Cca为所有边缘服务器缓存造成的网络缓存运营成本,为边缘服务器s在时隙t转码占用的转码资源,Ctr(t)为所有边缘服务器在时隙t转码造成的网络转码运营成本,Cd(t)为所有边缘服务器在时隙t转码和分发视频切片造成的负载不均衡成本;T为一个时间周期内的时隙数目,α为在一个周期T的缓存决策变量,β为在周期的各个时隙的分发决策变量,和分别为边缘服务器s的缓存容量上限和转码容量上限,为用户u的邻域边缘服务器集合,s为一个边缘服务器的下标索引,t为一个周期内一个时隙的下标索引,u为一个用户的下标索引,为在时隙t边缘服务器s是否向用户u分发视频,为边缘服务器s是否缓存视频切片z;为在时隙t用户u是否请求了视频切片z;
1(·)是一个指示函数,若x>0,则1(x)=1,若x=0,则1(x)=0;
优化目标为:最小化平均每个时隙的缓存、转码、负载不均衡成本之和;
约束条件如下:
边缘服务器资源上限限制条件;
用户请求有效响应限制条件;所述用户请求有效响应限制条件是指在任意时隙的任意用户的请求将由其邻域边缘服务器集合中的一个服务器来响应;
决策变量限制条件;其中,缓存变量和分发变量均为[0,1]的变量。
2.根据权利要求1所述的视频传输优化方法,其特征在于,所述步骤1包括:
在源服务器侧,使用动态自适应流媒体编码技术将任意一个360度视频文件切分为一连串的时间切片;
将每一个时间切片切分为多个空间切片,得到时空切片;其中,每个时空切片的播放长度相同或者不相同。
3.根据权利要求1所述的视频传输优化方法,其特征在于,所述步骤3包括:
确定每个时间周期的长度;
将每个时间周期划分为多个时隙;
根据所述预设的优化策略,确定执行缓存任务的目标边缘服务器,以及所述目标边缘服务器缓存的视频切片集合;
在每个时间周期的开始时刻,通过所述目标边缘服务器缓存指定码率版本的指定视频切片集合。
4.根据权利要求1所述的视频传输优化方法,其特征在于,所述步骤4包括:
接收用户端发送的视频请求;
确定所述用户端连接的边缘服务器;
在当前时隙的开始时刻,根据用户的视频请求,通过所述边缘服务器执行对视频切片集合的转码任务,得到转码后的视频;
将步骤3中已缓存的视频或者所述转码后的视频分发给所述用户端。
5.根据权利要求1-4中任一项所述的视频传输优化方法,其特征在于,还包括:
用户端在每个时隙,向边缘服务器反馈下一时隙要播放的视频切片集合;
确定与所述用户端连接的边缘服务器;
建立所述用户端与所述边缘服务器的数据连接;
从所述边缘服务器的缓存中获取或者由所述边缘服务器转码得到所述视频切片集合;
将所述视频切片集合分发给所述用户端。
6.根据权利要求1-4中任一项所述的视频传输优化方法,其特征在于,还包括:
获取用户端的视频请求历史信息;
在每个周期的开始时刻,预测对应周期中每个时隙用户请求的视频切片集合;
根据预测的视频切片集合,调整所述预设的优化策略。
7.根据权利要求1-4任一项所述的视频传输优化方法,其特征在于,还包括:
将所述预设的优化策略对应的目标优化问题分解为缓存子问题和分发子问题,其中,缓存子问题和分发子问题的优化步骤如下:
先固定缓存变量求解分发子问题,再固定分发变量求解缓存子问题,每个子问题经过变量松弛采用快速高效的内点法求解,并反复迭代得到缓存最优解;
将缓存最优解作为每个时间周期开始的分布式边缘缓存方法;
根据当前时隙用户端的视频请求,采用变量松弛和内点法求解分布式边缘缓存方法下缓存变量确定后的优化问题,得到边缘服务器与用户之间的数据连接对方案;
若用户端所连接的边缘服务器缓存有用户请求的视频切片集合,则直接从缓存中获取所述视频切片集合并分发给用户端;
若用户端所连接的边缘服务器未缓存有用户请求的视频切片集合,则所述边缘服务器先转码得到用户请求的视频切片集合,再将转码后的视频切片集合传输给用户端。
8.根据权利要求7所述的视频传输优化方法,其特征在于,所述分布式边缘缓存方法包括:
设置初始缓存变量为满足所有约束条件的一个可行解,并设置初始步数为1;
固定当前的缓存变量解,根据每一时隙的转码和分发方法,求解出在当前缓存解下各个时隙的分发解;
固定求出的各个时隙的分发解,将缓存变量松弛为连续变量,得到一个线性规划问题,并用内点法求解出连续的缓存最优解;
根据变量离散约束和可行性约束,离散化得到新的缓存解;
若缓存解在预设误差范围内,则停止迭代,并将当前缓存解输出为最优结果;否则,重新迭代求解,直到当前缓存解在预设误差范围内。
9.根据权利要求8所述的视频传输优化方法,其特征在于,每一时隙的转码和分发方法,包括:
获取当前时间周期的分布式边缘缓存方法,并固定为缓存最优解;
设置初始分发变量为满足所有约束条件的一个可行解;
将分发变量松弛为连续变量,得到一个线性规划问题,并用内点法求解出连续的分发最优解;
根据变量离散约束和可行性约束,离散化得到最终的分发变量最优解;
根据缓存最优解和分发最优解,得到转码分配方案的最优解。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910456496.6A CN110248210B (zh) | 2019-05-29 | 2019-05-29 | 视频传输优化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910456496.6A CN110248210B (zh) | 2019-05-29 | 2019-05-29 | 视频传输优化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110248210A CN110248210A (zh) | 2019-09-17 |
CN110248210B true CN110248210B (zh) | 2020-06-30 |
Family
ID=67885422
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910456496.6A Active CN110248210B (zh) | 2019-05-29 | 2019-05-29 | 视频传输优化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110248210B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112751886B (zh) * | 2019-10-29 | 2023-05-26 | 贵州白山云科技股份有限公司 | 一种转码方法、系统、传输设备及存储介质 |
WO2021102929A1 (zh) * | 2019-11-29 | 2021-06-03 | 深圳大学 | 用于视频数据处理的资源分配方法及电子设备 |
CN111597259B (zh) * | 2020-05-12 | 2023-04-28 | 北京爱奇艺科技有限公司 | 数据存储系统、方法、装置、电子设备及存储介质 |
CN112492325B (zh) * | 2020-10-12 | 2022-01-14 | 北京邮电大学 | 一种观看者协助的视频转码任务分配方法及装置 |
CN112584119B (zh) * | 2020-11-24 | 2022-07-22 | 鹏城实验室 | 一种基于强化学习的自适应全景视频传输方法及系统 |
CN112565606B (zh) * | 2020-12-02 | 2022-04-01 | 鹏城实验室 | 全景视频智能传输方法、设备及计算机存储介质 |
CN114268835B (zh) * | 2021-11-23 | 2022-11-01 | 北京航空航天大学 | 一种低传输流量的vr全景视频时空切片方法 |
CN115297334B (zh) * | 2022-10-09 | 2023-01-03 | 卓望数码技术(深圳)有限公司 | 基于云边协同转码实现窄带传输视频的系统、方法和设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101917385A (zh) * | 2009-11-17 | 2010-12-15 | 新奥特(北京)视频技术有限公司 | 调度服务器及多媒体转码用的分布式系统 |
CN105933727A (zh) * | 2016-05-20 | 2016-09-07 | 中山大学 | 一种应用于游戏直播平台的视频流转码和分发方法 |
CN105979274A (zh) * | 2016-05-06 | 2016-09-28 | 上海交通大学 | 动态自适应视频流媒体的分布式缓存放置方法 |
CN106385641A (zh) * | 2016-10-08 | 2017-02-08 | 中山大学 | 一种基于sdn的直播视频流媒体分发方法 |
CN108551586A (zh) * | 2018-03-14 | 2018-09-18 | 上海交通大学 | 多用户360度视频流服务器端码率自适应分配方法及系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9788053B2 (en) * | 2015-09-09 | 2017-10-10 | Ericsson Ab | Fast channel change in a multicast adaptive bitrate (MABR) streaming network using HTTP download segment recovery in a dedicated bandwidth pipe |
US10298969B2 (en) * | 2016-11-10 | 2019-05-21 | University Of Louisiana At Lafayette | Architecture and method for high performance on demand video transcoding |
-
2019
- 2019-05-29 CN CN201910456496.6A patent/CN110248210B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101917385A (zh) * | 2009-11-17 | 2010-12-15 | 新奥特(北京)视频技术有限公司 | 调度服务器及多媒体转码用的分布式系统 |
CN105979274A (zh) * | 2016-05-06 | 2016-09-28 | 上海交通大学 | 动态自适应视频流媒体的分布式缓存放置方法 |
CN105933727A (zh) * | 2016-05-20 | 2016-09-07 | 中山大学 | 一种应用于游戏直播平台的视频流转码和分发方法 |
CN106385641A (zh) * | 2016-10-08 | 2017-02-08 | 中山大学 | 一种基于sdn的直播视频流媒体分发方法 |
CN108551586A (zh) * | 2018-03-14 | 2018-09-18 | 上海交通大学 | 多用户360度视频流服务器端码率自适应分配方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110248210A (zh) | 2019-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110248210B (zh) | 视频传输优化方法 | |
CN108551586B (zh) | 多用户360度视频流服务器端码率自适应分配方法及系统 | |
US10298968B2 (en) | Distributed multi-datacenter video packaging system | |
US7155475B2 (en) | System, method, and computer program product for media publishing request processing | |
Zhang et al. | Video super-resolution and caching—An edge-assisted adaptive video streaming solution | |
CN106713956B (zh) | 动态自适应视频流媒体的码率控制与版本选择方法及系统 | |
US9521176B2 (en) | System, method, and computer program product for media publishing request processing | |
Jokhio et al. | A computation and storage trade-off strategy for cost-efficient video transcoding in the cloud | |
Erfanian et al. | LwTE: Light-weight transcoding at the edge | |
Zhou et al. | QoE-aware 3D video streaming via deep reinforcement learning in software defined networking enabled mobile edge computing | |
Zhao et al. | Popularity-based and version-aware caching scheme at edge servers for multi-version VoD systems | |
CN110099294B (zh) | 一种针对360度视频的保持时空一致性的动态自适应流媒体码率分配方法 | |
CN114786034A (zh) | 一种基于边缘计算的全景视频优化传输方法和系统 | |
Reddy et al. | Qos-Aware Video Streaming Based Admission Control And Scheduling For Video Transcoding In Cloud Computing | |
Hsu | Mec-assisted fov-aware and qoe-driven adaptive 360 video streaming for virtual reality | |
Shi et al. | Allies: Tile-based joint transcoding, delivery and caching of 360 videos in edge cloud networks | |
Zhu et al. | A novel rate control algorithm for low latency video coding base on mobile edge cloud computing | |
Popescu et al. | An architecture for QoS data replication in network virtual environments | |
Wang et al. | A qoe-based 360 video adaptive bitrate delivery and caching scheme for c-ran | |
Yang et al. | Intelligent cache and buffer optimization for mobile VR adaptive transmission in 5G edge computing networks | |
Gao et al. | Dhp: A joint video download and dynamic bitrate adaptation algorithm for short video streaming | |
EP3788768A1 (en) | Methods and systems for streaming media data over a content delivery network | |
Tamizhselvi et al. | A bayesian gaussian approach for video streaming in mobile cloud computing | |
Elsharkawey et al. | CVSHR: Enchantment Cloud-based Video Streaming using the Heterogeneous Resource Allocation | |
Wang et al. | A relaxing bandwidth smoothing schedule for transmitting prerecorded VBR video in periodic network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |