CN114827131A - 基于云边端协同计算的流媒体传输方法、终端和存储介质 - Google Patents

Abstract

本发明提供了一种基于云边端协同计算的流媒体传输方法、终端和存储介质，涉及流媒体传输技术领域，包括：客户端向服务器请求流媒体数据；客户端检测当前信道质量并把检测结果发送给通信基站，以便于通信基站预测下一时刻的信道质量，生成预测信道质量，并根据预测信道质量以及环境因素向服务器申请进行码率适应后的下一段流媒体数据并缓存到边缘；通信基站检测待传输缓存数据是否匹配当前信道质量，若匹配则发送待传输缓存数据至客户端，若不匹配则申请对其进行云转码或者由客户端重新向服务器发出请求并等待服务器重传码率适应后的数据。能够减少流媒体播放卡顿、减少传输时延，提升网络的传输效率。

Description

基于云边端协同计算的流媒体传输方法、终端和存储介质

技术领域

本发明涉及流媒体传输技术领域，具体而言，涉及一种基于云边端协同计算的流媒体传输方法、终端和存储介质。

背景技术

高铁作为高速移动的典型场景发展迅速，里程以及速度逐年提升，据统计，至2019年我国高速铁路营业总里程超过3.5万公里。随着高铁里程和速度的飞速发展，乘坐高铁出行的旅客日益剧增，据统计2018年动车组列车完成客运量20.05亿人次，旅客对于旅途中流媒体业务有着强烈的需求。同时随着网络数据量的增大，RTP/UDP的不可靠传输逐渐不能满足用户对高质量媒体业务的需求，因此HTTP流媒体技术替代了RTP/UDP成为流媒体传输的首选。HTTP/TCP协议使用80端口，可以轻松穿越防火墙和路由器，使流媒体可以兼容一般的Web服务器。目前YouTube，Netflix，Hulu，Bilibili，快手等主流视频供应商都采用了HTTP/TCP自适应传输协议进行流媒体的传输，如DASH(Dynamic Adaptive Streaming overHTTP)，HLS(HTTP Live Streaming)等。

近期的研究成果表明(2018年的SIGCOMM，2019年的MOBICOM)，在高速移动密集接入场景中(如高铁列车上)，现有面向连接的网络传输控制机制难以保证稳定的数据传输性能，各项性能指标(吞吐率、时延、完成时间等)呈现极大的不确定性。这将十分不利于保障流媒体等对吞吐率和时延敏感业务的用户体验。其原因主要如下所述：高速移动接入网络环境下，网络状态出现不确定以及急速变化的特性。大多数现有传输技术是通过RTT(Round-Trip Time)的变化来判断网络的状态。面向低速运动的场景，RTT的变化与网络状态的变化同步，以RTT为参数感知网络状态，调节网络参数，自适应传输媒体数据是可行有效的。但是在高速移动接入场景下，由于移动速度过快，基站切换频繁(5G网络环境下基站网络覆盖面更小)以及乒乓切换(在高铁运行环境中，用户终端平均每隔13.7/8.6秒 (300/350km/h)进行一次小区切换)，导致网络状态和路由的极大不稳定， ACK到达时间不确定。RTT变化难以与网络状态变化同步，通过RTT的变化难以确定网络的真实状态，继而在此基础上进行的媒体自适应传输方案难以应对急剧变化的网络状态。同时，高铁场景下，由于速度过快，车体穿透损耗大，以及网络的多普勒效应明显，导致误码率增加，误码以及网络状态的快速变化使现有的拥塞控制方案难以准确的调节网络状态。现有的拥塞控制方案缺乏对高速网络状态急剧变化的应对，网络状态估计失真引起网络剧烈的拥塞控制，严重降低了数据链路的吞吐量。

因此，TCP、MPTCP、QUIC等协议在高速移动密集接入场景下，面对高清流媒体业务，难以承载大量流媒体数据的传输。面对下层网络，难以有效区分不同的网络状态，如丢包与误码。从而引起网络链路吞吐量的下降，影响到上层基于HTTP的流媒体传输协议的性能，如DASH，HLS，影响用户的视频体验。

综上，在高铁场景下，用户信道质量抖动严重，用户基站切换频繁导致下层拥塞算法过渡干预，严重影响了流媒体的传输效率。5G网络覆盖范围更小，上述问题更加突出。现有面向连接的网络传输控制机制难以保证稳定的数据传输性能，各项性能指标(吞吐率、时延、完成时间等)呈现极大的不确定性。这将十分不利于保障流媒体等对吞吐率和时延敏感业务的用户体验。

发明内容

本发明旨在至少解决现有技术或相关技术中存在的技术问题之一，公开了一种基于云边端协同计算的流媒体传输方法、终端和存储介质，基于高铁场景特征(高速移动)、无线蜂窝网的特点(边缘计算、边缘缓存) 以及不同网络层的信息，以减少流媒体传输时延，提升传输效率。

本发明中涉及的一些术语解释：

DASH(基于HTTP的动态自适应流，Dynamic Adaptive Streaming over HTTP)：视频服务器端将视频编码成不同质量等级的数据(比如720P， 1080P，2K，4K等)，将每种质量等级的视频数据分成等时间间隔的视频片段，并分别独立编码(视频片段可以独立编码、解码)，时间间隔一般为1秒-10秒，此固定时间间隔由服务器自定义。DASH的传输流程是：用户申请视频数据，服务器收到申请会发送给用户一个MPD文件(视频的详细情况，比如视频分为几个质量等级，视频片段播放时间，不同视频质量等级的码率，每个质量等级的视频片段存储在服务器的哪个位置等)，用户根据收到的MPD文件，之后会估算的自身的带宽选择合适码率(质量等级)的视频数据。

CQI(信道质量指示，Channel Quality Indicator)即信道质量，用户终端可以测量自己设备的信道质量并发送给基站。信道质量和用户的带宽密切相关。用户带宽由两部分组成，一个是信道质量，一个是基站分给用户的无线资源。基站分给用户的无线资源个数是固定的，因此，用户的信道质量越好，用户的可用带宽就越大；反之，用户的可用带宽就越小。

QoS(服务质量，Quality ofService)，其定义为：电信服务的全部特性，这些特性与该服务是否能够满足用户明确和隐含需求的能力有关。

QoE(体验质量，Quality ofExperience)，其定义为：终端用户主观感知到的应用程序或者服务的整体可接受性。它包括完整的端到端系统效应 (客户、终端、网络、服务基础设施等)，有可能受到用户期望和环境影响”。

SSIM(结构相似性，Structural SIMilarity)。

PSNR(峰值信噪比，Peak Signal-to-Noise Ratio)。

本发明的第一方面公开了一种基于云边端协同计算的流媒体传输方法，包括：客户端向服务器请求第j段流媒体数据，其中，j为大于或等于1的正整数；客户端检测当前信道质量并把检测结果发送给通信基站，以便于通信基站预测下一时刻的信道质量，生成预测信道质量，并根据预测信道质量以及环境因素向服务器申请对应码率的第j+1段流媒体数据，其中，第j+1段流媒体数据由服务器发送至对应的通信基站进行缓存，作为待传输缓存数据；客户端继续请求第j+1段流媒体数据；客户端检测当前信道质量并把检测结果发送给通信基站，其中，通信基站检测待传输缓存数据是否匹配当前信道质量，若匹配则发送待传输缓存数据至客户端，若不匹配则申请对第j+1段流媒体数据进行云转码或者由客户端重新向服务器发出请求并等待服务器重传第j+1段流媒体数据。

在该技术方案中，“云边端协同计算”即云计算、边缘计算和终端计算三方协同联动，充分调动了通信基站的边缘计算能力，并且考虑到高速移动环境下如何提高通信效率以及保证用户使用体验。

根据本发明公开的基于云边端协同计算的流媒体传输方法，优选地，预测下一时刻的信道质量的步骤具体包括：

以CQI值表示信道质量，C′_t+1表示第t+1时刻预测的用户CQI的值， C_t(i)表示第t时刻测量的用户CQI的值，α_t为权重参数，预测信道质量的值由如下的公式(1)计算：

C′_t+1(i)＝C_t(i)+α_t{|C′_t(i)-C_t(i)|} (1)

权重参数α_t的计算步骤如公式(2)至公式(5)：

ρ_t＝|C_t(i)-C′x(i)| (5)

在该技术方案中，CQI的具体计算过程采用卡尔曼滤波算法，即通过测量值和观察值(两个不确定的值)预测一个确定的值，本发明使用了这个算法的思想，将其应用到高铁环境下用户CQI预测中。

根据本发明公开的基于云边端协同计算的流媒体传输方法，优选地，第j+1段流媒体数据的码率选取方法包括：

服务器端的视频编码为l个质量等级的视频数据；

根据公式(1)预测的CQI值，基于通信基站可用无线资源计算可为用户提供的带宽B；

根据可用带宽B，假设取最高视频等级H＝h的视频片段，且h的码率为B_h，并且B_h≤B，得到预估的QoE_max；

假设取质量等级为

的视频片段，码率设为B_l，得到预估的 QoE_mid，函数ceil表示向上取整；

计算QoE_max与QoE_mid的差值d；

若d＞0，则假设取视频质量等级为H＝h，并且

若d＜0，则假设取视频质量等级为H＝L，并月

若d＝0，则选取码率为B_h的视频片段。

根据本发明公开的基于云边端协同计算的流媒体传输方法，优选地，由服务器发送至对应的通信基站进行缓存的步骤中，对应的通信基站为接收流媒体数据时相距最近的基站。

根据本发明公开的基于云边端协同计算的流媒体传输方法，优选地，根据流媒体片段进行转码的情况下的QoE值，以及等待服务器重新下发流媒体片段情况下的QoE值，确定对流媒体片段进行转码或重传。

根据本发明公开的基于云边端协同计算的流媒体传输方法，优选地，检测流媒体数据在客户端的QoE值：

QoE＝α×Ψ(QoS)-β×Φ(N，L)-γ×Ω(q，s)-Δ×cost

其中，参数Ψ表示视频的客观质量QoS对体验质量QoE的影响函数，QoS使用SSIM或者PSNR评价指标计算，参数Φ表示视频卡顿的次数N以及时长 L对QoE影响函数，参数Ω表示视频播放中视频质量q的抖动以及抖动次数s 对QoE的影响函数，参数cost表示视频云转码所付出的代价对QoE的影响参数，参数α，β，γ，和Δ表示上述函数的权重，为经验值。

根据本发明公开的基于云边端协同计算的流媒体传输方法，优选地，环境因素具体包括：移动速度、播放设备的参数或用户个性化设置。

根据本发明公开的基于云边端协同计算的流媒体传输方法，优选地，客户端为流媒体播放设备并处于移动状态下。

本发明的第二方面公开了一种基于云边端协同计算的流媒体传输终端，包括：存储器，用于存储程序指令；处理器，用于调用存储器中存储的程序指令以实现如上述任一技术方案的基于云边端协同计算的流媒体传输方法。

本发明的第三方面公开了一种计算机可读存储介质，该计算机可读存储介质存储有程序代码，程序代码用于实现如上述任一技术方案的基于云边端协同计算的流媒体传输方法。

本发明的有益效果至少包括：在高铁场景下，基于用户观看视频的外界环境以及网络状态，通过可变码率视频适应高铁环境严重抖动的信道质量，通过提出用户的QoE计算方法量化用户的主观体验，通过边缘缓存减少媒体数据的传输时延，从而减少媒体播放卡顿、减少传输时延，提升网络的传输效率。

附图说明

图1示出了根据本发明的一个实施例的流程示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例的限制。

如图1所示，根据本发明的一个实施例，该基于云边端协同计算的流媒体传输方法具体包括：

步骤1，用户以无线蜂窝网向服务器申请视频片段j；

步骤2，基站转发用户申请信息；

步骤3，如果第一次申请视频数据(j＝1)直接转发服务器转发的媒体数据，用户测量信道质量并发送给基站，基站预测用户下一时刻的信道质量(本发明中使用CQI表示用户的信道质量)；

上述步骤3中的预测用户的信道质量具体包括以下步骤：

步骤3-1预测的CQI值与用户上一时刻预测的CQI与真实的CQI相关，公式(1)所示：

C′_t+1(i)＝C_t(i)+α_t{|C′_t(i)-C_t(i)|} (1)

公式1中C′_t+1表示第t+1时刻预测的用户CQI的值，C_t(i)表示第t刻测量的用户CQI的值，α_t是权重参数；

步骤3-2公式(2)至公式(5)可以计算权重参数α_t。

ρ_t＝|C_t(i)-C′_t(i)| (5)

步骤3-1中CQI的测量方法可使用基站通用算法测量。

步骤4，基站基于不同的媒体流传输环境预测用户的QoE；

步骤4中用户的QoE定义具体包括以下步骤：

步骤4-1定义用户QoE如公式(6)所示

QoE＝α×Ψ(QoS)-β×Φ(N，L)-γ×Ω(q，s)-Δ× cost (6)

公式(6)中参数Ψ表示视频的客观质量QoS对用户QoE的影响函数，用户客观质量QoS可以使用SSIM或者PSNR等视频客观质量评价指标计算。参数Φ表示用户观看视频过程中，视频卡顿的次数以及时长对用户QoE影响函数。参数Ω表示视频播放中视频质量的抖动对用户QoE的影响函数。参数cost 表示视频云转码所付出的代价对用户QoE的影响参数。参数α，β，γ，和Δ表示上述函数的权重，可根据用户自身情况自行赋值。

步骤4-2函数Φ的计算方法如公式(7)所示

Φ(N，L)＝ae^-b(L)·N+c (7)

参数N表示用户观看时视频程序中的卡顿次数，b(L)表示视频卡顿的平均时长，a和c表示权重参数，可由用户自己赋值。

步骤4-3函数Ω的计算方法如公式(8)所示

参数q_k-q_k-1表示发生两个视频片段的质量抖动。s表示用户观看视频的抖动次数。

步骤4-3参数cost计算方法如公式(9)所示

cost＝Bitrate×T×c (9)

参数Bitrate_n表示需要转码视频的码率。T表示所需要转码视频片段的播放时间。C表示转码代价参数，可由用户自定义。

步骤5，基站基于预测下一时刻的用户CQI，并申请合适码率的视频片段j+1；

步骤5中用户的码率选取算法具体包括以下步骤：

步骤5-1服务器端视频编码为l个质量等级的视频数据。

步骤5-2根据公式(1)预测用户的CQI值。

步骤5-3基于基站可用无线资源计算可为用户提供的带宽B。

步骤5-4在步骤5-3计算的可用带宽限制下，假设取最高视频等级H＝h 的视频片段，且h的码率为B_h，并且B_h≤B，预估用户的QoE_max。

步骤5-5假设取质量等级为

的视频片段，码率设为B_i，预估用户的QoE_mid，函数ceil表示向上取整。

步骤5-6计算d＝QoE_max-QoE_mid。如果d＝0，为用户选取的码率为B_h的视频片段。

步骤5-7如果d＞0，假设取视频质量等级分别为H＝h并且

如果d＜0，假设取视频质量等级分别为H＝L并且

步骤6，服务器将视频片段j+1发送至合适基站缓存；

步骤6中视频片段缓存基站选择方法具体包括以下步骤：

步骤6-1假设高铁沿途基站为{BS₁，BS₂，...，BS_n}，计算当前用户位置S与各个基站的距离为{D₁，D₂，...，D_n}。

步骤6-2假设下一视频片段会在q时刻后播放，用户的当前速度为V，则更新用户位置S′＝S+V×Q，并更新与基站的距离{D′₁，D′₂，...，D′_n}。

步骤6-3选择缓存的基站B_x＝min{D′₁，D′₂，...，D′_n}。

步骤7，用户以无线蜂窝网向服务器申请视频片段j+1；

步骤8，如果缓存媒体数据所需信道质量和用户CQI相匹配则直接发送，如果不匹配则对缓存数据进行云转码或重新申请，如重新申请则基于步骤6将数据缓存至合适位置的边缘缓存；

步骤8中的权衡算法具体包含以下步骤：

步骤8-1假设视频片段y需要转码，则转码代价为cost＝Bitrate×T×c。基于此估算用户的QoE_t。如视频片段进行重传，假设重传时间为t_t，客户端缓存剩余播放时间为t_r，如果t_t＞t_r，则视频播放会产生卡顿。基于上述情况估算用户的QoE_rt。

步骤8-2假如QoE_t≥QoE_rt，则对基站的边缘缓存的媒体数据进行转码， QoEx＜QoE_rt，则重新申请媒体数据。

步骤9，重复步骤3至步骤8，直至完成整个视频传输。

根据本发明的又一个实施例还公开了一种基于云边端协同计算的流媒体传输终端，包括：存储器，用于存储程序指令；处理器，用于调用存储器中存储的程序指令以实现如上述实施例的基于云边端协同计算的流媒体传输方法。

根据本发明的又一个实施例还公开了一种计算机可读存储介质，该计算机可读存储介质存储有程序代码，程序代码用于实现如上述实施例的基于云边端协同计算的流媒体传输方法。

根据本发明的上述实施例，能够在高铁场景下基于用户观看视频的外界环境以及网络状态，通过可变码率视频适应高铁环境严重抖动的信道质量，通过提出用户的QoE计算方法量化用户的媒体主观体验，通过边缘缓存减少媒体数据的传输时延，从而减少媒体播放卡顿、减少传输时延，提升网络的传输效率。

上述实施例的各种方法中的全部或部分步骤是可以通过程序来控制相关的硬件来完成，该程序可以存储于可读存储介质中，存储介质包括只读存储器(Read—OnlyMemory，ROM)、随机存储器(Random Access Memory， RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory， EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read—Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的可读的任何其他介质。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于云边端协同计算的流媒体传输方法，其特征在于，包括：

客户端向服务器请求第j段流媒体数据，其中，j为大于或等于1的正整数；

客户端检测当前信道质量并把检测结果发送给通信基站，以便于所述通信基站预测下一时刻的信道质量，生成预测信道质量，并根据所述预测信道质量以及环境因素向所述服务器申请对应码率的第j+1段流媒体数据，其中，所述第j+1段流媒体数据由所述服务器发送至对应的通信基站进行缓存，作为待传输缓存数据；

客户端继续请求第j+1段流媒体数据；

客户端检测当前信道质量并把检测结果发送给通信基站，其中，所述通信基站检测所述待传输缓存数据是否匹配当前信道质量，若匹配则发送所述待传输缓存数据至客户端，若不匹配则申请对所述第j+1段流媒体数据进行云转码或者由客户端重新向服务器发出请求并等待所述服务器重传所述第j+1段流媒体数据。

2.根据权利要求1所述的基于云边端协同计算的流媒体传输方法，其特征在于，预测下一时刻的信道质量的步骤具体包括：

以CQI值表示信道质量，C′_t+1表示第t+1时刻预测的用户CQI的值，C_t(i)表示第t时刻测量的用户CQI的值，α_t为权重参数，预测信道质量的值由如下的公式(1)计算：

C′_t+1(i)＝C_t(i)+α_t{|C′_t(i)-C_t(i)|} (1)

权重参数α_t的计算步骤如公式(2)至公式(5)：

ρ_t＝|C_t(i)-C′_t(i)| (5)

3.根据权利要求2所述的基于云边端协同计算的流媒体传输方法，其特征在于，第j+1段流媒体数据的码率选取方法包括：

服务器端的视频编码为l个质量等级的视频数据；

根据所述公式(1)预测的CQI值，基于通信基站可用无线资源计算可为用户提供的带宽B；

根据可用带宽B，假设取最高视频等级H＝h的视频片段，且h的码率为B_h，并且B_h≤B，得到预估的QoE_max；

假设取质量等级为

的视频片段，码率设为B_l，得到预估的QoE_mid，函数ceil表示向上取整；

计算QoE_max与QoE_mid的差值d；

若d＞0，则假设取视频质量等级为H＝h，并且

若d＜0，则假设取视频质量等级为H＝L，并且

若d＝0，则选取码率为B_h的视频片段。

4.根据权利要求3所述的基于云边端协同计算的流媒体传输方法，其特征在于，由所述服务器发送至对应的通信基站进行缓存的步骤中，所述对应的通信基站为接收流媒体数据时相距最近的基站。

5.根据权利要求1所述的基于云边端协同计算的流媒体传输方法，其特征在于，根据流媒体片段进行转码的情况下的QoE值，以及等待服务器重新下发流媒体片段情况下的QoE值，确定对流媒体片段进行转码或重传。

6.根据权利要求1所述的基于云边端协同计算的流媒体传输方法，其特征在于，还包括：

检测流媒体数据在客户端的QoE值：

QoE＝α×Ψ(QoS)-β×Φ(N，L)-γ×Ω(q，s)-Δ×cost

其中，参数Ψ表示视频的客观质量QoS对体验质量QoE的影响函数，QoS使用SSIM或者PSNR评价指标计算，参数Φ表示视频卡顿的次数N以及时长L对QoE影响函数，参数Ω表示视频播放中视频质量q的抖动以及抖动次数s对QoE的影响函数，参数cost表示视频云转码所付出的代价对QoE的影响参数，参数α，β，γ，和Δ表示上述函数的权重，为经验值。

7.根据权利要求1至6中任一项所述的基于云边端协同计算的流媒体传输方法，其特征在于，所述环境因素具体包括：移动速度、播放设备的参数或用户个性化设置。

8.根据权利要求1至6中任一项所述的基于云边端协同计算的流媒体传输方法，其特征在于，所述客户端为流媒体播放设备并处于移动状态下。

9.一种基于云边端协同计算的流媒体传输终端，其特征在于，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的所述程序指令以实现如权利要求1至8中任一项所述的基于云边端协同计算的流媒体传输方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序代码，所述程序代码用于实现如权利要求1至8中任一项所述的基于云边端协同计算的流媒体传输方法。

Images