CN115802116B - 一种面向终端能耗优化的交互性视频弹幕传输方法 - Google Patents

Abstract

本发明公开了一种面向终端能耗优化的交互性视频弹幕传输方法，在终端侧，首先需要设置上行弹幕调度的相关参数，其中包括弹幕传输的最大延迟；在有弹幕生成时，若当前有视频块正在传输，则直接传输该弹幕，否则根据视频缓冲区buffer预测下一个视频块传输的开始时间，并以此决定该弹幕传输的时间。在服务器侧，首先需要维护待传输弹幕的队列及其状态信息、视频传输状态信息和用户偏好信息；在进行弹幕下发调度时，以上述状态信息为输入，利用深度强化学习模型进行调度决策，该模型的reward由能耗和用户体验（QoE）综合决定。综上所述，该机制可以有效考虑视频业务及其交互性对终端能耗的影响，并将其纳入弹幕传输时机决策的依据，可同时兼顾用户QoE和终端能耗。

Description

一种面向终端能耗优化的交互性视频弹幕传输方法

技术领域

本发明涉及属于无线网络能耗优化领域，尤其涉及一种面向终端能耗优化的交互性视频弹幕传输方法。

背景技术

近年来，无线网络快速发展，网络带宽逐渐提升，能够支撑起大流量的服务请求，同时移动终端早已普及于民，使得越来越多的人在随时随地使用无线网络终端设备进行网络请求。

当下，视频app逐渐成为移动终端上最受欢迎的程序，无论是爱奇艺、腾讯视频等点播视频应用，还是虎牙、斗鱼等直播应用，它们的用户基数极大，每天需要通过无线网络进行大量视频传输服务。目前移动视频流量占移动数据流量的80％左右。同时，上述视频服务基本使用了带有码率自适应的Dash、HLS传输协议，将视频以切片形式传输，同时部署了弹幕、实时聊天、送礼等交互性功能。根据现有网络传输协议，每次传输时终端的网络模块会进入活跃状态，传输结束后会保持在一个能耗高于睡眠状态的空闲状态，一定时间内无新的传输任务才会进入能耗最低的睡眠状态。而交互功能的开启，大量弹幕小数据包的频繁传输使得网络模块处于睡眠状态的时间明显缩短，从而增加了终端能耗。

目前，业界针对交互性视频提出了一些基于弹幕传输调度的终端能耗优化方法，但仍然存在一些问题：

1、现有弹幕调度策略相对简单，无法应对复杂的系统状态，未考虑到使用深度强化学习模型进行弹幕传输调度的决策。

2、现有的能耗优化方法未能与视频码率自适应相结合，难以实际部署应用。

3、现有的能耗优化方法会导致用户QoE的显著下降，未能综合考虑能耗优化与用户QoE保证。

发明内容

本发明针对现有的Dash、HLS视频流在用户交互性能耗优化方面的不足，提出一种面向终端能耗优化的交互性视频弹幕传输方法。该技术方案利用深度强化学习技术，对于用户交互性强的弹幕发送时延进行决策，利用弹幕的延迟发送来优化用户终端在观看视频时因需要实时接收弹幕而消耗的能耗。

为达到上述目的，本发明的技术方案如下：本发明所述的面向终端能耗优化的交互性视频弹幕传输方法包括：

步骤(1)在终端侧实施弹幕上行调度，根据当前视频传输状态及下一视频块时间预测，决定当前弹幕上行传输的时间；

步骤(2)在服务器侧实施弹幕下发调度，利用深度强化学习模型进行调度决策。

进一步的，所述步骤(1)具体包括：

(11)首先需要设置上行弹幕调度的相关参数，其中包括弹幕传输的最大延迟W；

(12)在有弹幕生成时，若当前有视频块正在传输，则直接传输该弹幕，否则根据视频缓冲区buffer预测下一个视频块传输的开始时间t，决定弹幕上行传输的时间，即：t<80％W，弹幕延迟发送，等待新的视频传输，在有新的视频请求或等待时间到达W时，发送弹幕；t>80％W，直接发送弹幕。

进一步的，所述步骤(2)具体包括：

(21)维护待传输弹幕的队列及其状态信息、视频传输的状态信息和用户偏好信息；

(22)以上述状态信息为输入，利用深度强化学习模型进行弹幕下发调度的决策，该模型的reward由能耗和用户体验(QoE)综合决定；

(23)在Dash视频传输机制的基础上，执行弹幕下发调度的决策。

进一步的，所述步骤(21)具体包括：

(211)维护待传输弹幕的队列及其状态信息：在服务端部署训练完成的LSTM时间序列预测模型，每固定时间间隔调用模型，预测下一时间间隔的弹幕密度；在服务端维护一个待发送弹幕队列，该队列保存所有已从终端上传但未下发至其余终端的弹幕，每条弹幕有文字内容、生成时间、在客户端受到的延迟时间等属性；每当终端新上传一条弹幕，就将其加入队列保存。

(212)维护视频传输的状态信息：实时更新不同终端最近一次的视频块请求时间以及最新视频块传输时间。

(213)维护用户偏好信息：初始化用户体验偏好，在之后的步骤中据此选择参数不同的深度强化学习学习模型。

进一步的，步骤(22)中深度强化学习弹幕下发调度决策模型的训练的过程如下：

(221)该深度强化学习算法的state定义如下：

state＝(α,β,χ,δ,ε,φ,γ)

其中α表示步骤(3)中使用LSTM模型预测的弹幕密度，β表示待传输弹幕列表中的弹幕数量，χ表示当前是否有视频块正在传送，δ表示上一次弹幕发送的时间，ε表示由所有待发送弹幕的生成时间构成的数组，φ表示由所有待发送弹幕在客户端受到延迟构成的数组，γ表示最近一次视频块传输的时间。

(222)该深度强化学习算法中的reward定义如下：

r_t＝S+α·QOE

QOE＝-β·Delay-δ·DC-ε·TE

其中，reward由S和QoE两部分以合适的比例构成，S表示终端的网络模块睡眠时间，S越大代表睡眠时间越长，节能效果越好。QoE则由三部分构成：Delay表示总的弹幕延迟时间，弹幕延迟时间长会与视频内容产生脱节，导致QoE下降；DC表示弹幕密度的不均匀度，机制中将多个弹幕对齐发送，终端将在同一时间收到多条弹幕，导致多条弹幕同时显示，可能会遮挡视频内容或增加用户阅读弹幕内容难度，导致QoE下降；TE表示弹幕时间序列的错位数，因在客户端采取的上行策略不同，可能会使不同终端上先生成的弹幕于后生成的弹幕之后上传，且服务器下发决策时未纠正，导致QoE下降。QoE的三个影响因素在[-1,0]选取合适的比例系数相加。Reward和QoE中各项比例可由用户偏好进行定义。

(223)该深度强化学习算法的action定义为(0,1)，其中0表示保留待发送弹幕列表中的所有弹幕，等待下一次决策；1表示发送待发送列表中的所有弹幕，并清空待发送弹幕队列。

进一步的，步骤(23)中弹幕下发决策执行的具体部署方法如下：

(231)当接受到新的上行弹幕、新的视频传输请求或者距离上次决策超过0.5秒且待传输弹幕队列不为空时使用深度强化学习模型重新决策；

(232)模型返回两个action的概率值，取概率较大的动作值做为实际执行动作，对待发送弹幕队列进行对应的操作。

相对于现有技术，本发明的有益效果：

(1)本发明可以有效考虑视频服务及其交互性带来的影响，并将其纳入弹幕调度的决策依据，以更好的适应无线网络终端当前的节能机制。

(2)本发明在终端侧部署了多层判断构成的弹幕上行调度决策方法，其意义在于尽量保证弹幕在受到延迟后能与视频请求同时发送，降低等待时间到达W的可能，在尽量降低能耗的同时保证弹幕不被过度延迟。

(3)本发明在服务器侧使用深度强化学习技术来决策弹幕调度，相比于传统算法而言，强化学习的核心优势在于可以主动学习，从环境当中获取所需要的反馈，这也是强化学习相对于传统机器学习的重要优势之一。

(4)本发明提出了关于交互性视频弹幕的QoE公式，并且将其作为深度强化模型训练的依据之一，在保证不大幅度降低QoE的前提下有效降低由交互性视频弹幕传输产生的终端能耗。

附图说明

图1是总体架构图。

图2是终端侧弹幕上行调度算法的流程图。

图3是深度强化学习模型示意图。

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。需要说明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”指的是附图中的方向，词语“内”和“外”分别指的是朝向或远离特定部件几何中心的方向。

实施例1：

参见图1-图3，本实施例提供一种面向终端能耗优化的交互性视频弹幕传输方法，根据无线传输信息以及用户体验，实施弹幕传输的调度。该方法分为终端侧和服务器侧两个部分，分别是在终端侧实施弹幕上行调度和在服务器侧实施弹幕下发调度。整体的系统架构如图1所示。

1终端侧实施弹幕上行调度

本例实施根据用户体验偏好以及视频传输信息分成设置弹幕传输最大延迟、预测下一次视频请求的时间、调用弹幕上行调度算法3个步骤。其流程图如图2所示，具体步骤如下：

1.1设置弹幕传输最大延迟

在视频服务开始时，根据用户偏好，客户端设置一个弹幕传输的最大延迟W，即所有弹幕在终端受到延迟的最大值，当延迟时间达到W时，必须发送该弹幕。

1.2预测下一次视频请求的时间

每当有新弹幕生成，根据客户端原本自身的码率自适应请求逻辑，以视频缓冲块buffer预测下一次视频请求的时间t。当buffer大于视频切片长度chunk_time时:t＝0；当buffer小于视频切片长度chunk_time时：t＝[(chunk_time-buffer)/0.5]×0.5。

1.3执行弹幕上行调度策略

当前时间有视频传输：直接发送弹幕。

如果t<80％W：弹幕延迟发送，等待新的视频传输，在有新的视频请求或等待时间到达W时，发送弹幕。

如果t>80％W：直接发送弹幕。

该弹幕调度算法的意义在于尽量保证弹幕在受到延迟后能与视频请求同时发送，降低等待时间到达W的可能，在尽量降低能耗的同时保证弹幕没有明显的延迟。

2在服务器侧实施弹幕下发调度

本例实施实时在服务器侧实施弹幕下发调度，利用深度强化学习模型进行调度决策，分为交互性视频传输状态感知、弹幕下发调度决策和弹幕下发决策的执行三部分。具体步骤如下：

2.1交互性视频传输状态感知

本例实施实时获取交互性视频弹幕服务无线传输信息，分成弹幕队列状态更新、视频传输状态更新、用户体验偏好设置3个步骤。

(1)维护待传输弹幕的队列及其状态信息：在服务端部署训练完成的LSTM时间序列预测模型，每固定时间间隔调用模型，预测下一时间间隔的弹幕密度；在服务端维护一个待发送弹幕队列，该队列保存所有已从终端上传但未下发至其余终端的弹幕，每条弹幕有文字内容、生成时间、在客户端受到的延迟时间等属性；每有一终端新上传一条弹幕，就将其加入列表保存。

(2)实时更新不同终端最近一次的视频块请求时间以及最新视频块传输时间。

(3)初始化用户体验偏好，在之后的步骤中据此选择参数不同的深度强化学习学习模型，针对不同的用户体验偏好做出不同的弹幕下发决策。

2.2服务器侧的弹幕下发调度决策

本例实施根据2.1得到的弹幕密度、待发送弹幕列表、视频传输信息，以及用户偏好，利用深度强化学习模型对弹幕下发调度进行决策。定义深度强化学习的state，reward和action，并搭建仿真环境训练模型。模型示意图如图3所示，具体步骤如下：

(1)该深度强化学习算法的state定义如下：

state＝(α,β,χ,δ,ε,φ,γ)

其中α表示步骤(3)中使用LSTM模型预测的弹幕密度(每秒)，β待传输弹幕列表长度，χ表示当前是否有视频正在传送，δ表示上一次弹幕列表发送的时间，ε表示待发送的弹幕时间列表，φ表示待发送的弹幕在前端受到的延迟，γ表示最近一次视频块传输的时间。

(2)该深度强化学习算法中的reward定义如下：

r_t＝S+α·QOE

QOE＝-β·Delay-δ·DC-ε·TE

其中，reward由S和QoE两部分以合适的比例构成，其中S表示终端的网络模块睡眠时间，S越大代表睡眠时间越长，节能效果越好。QoE则由三部分构成：Delay表示总的弹幕延迟时间，弹幕延迟时间长会与视频内容产生脱节，导致QoE下降；DC表示弹幕密度的不均匀度，机制中将多个弹幕对齐发送，终端将在同一时间收到多条弹幕，导致多条弹幕同时显示，可能会遮挡视频内容或增加用户阅读弹幕内容难度，导致QoE下降；TE表示弹幕时间序列的错位数，因在客户端采取的上行策略不同，可能会使不同终端上先生成的弹幕于后生成的弹幕之后上传，且服务器下发决策时未纠正，导致QoE下降。QoE的三个影响因素在[-1,0]选取合适的比例系数相加。Reward和QoE中各项比例可由用户偏好进行定义。

DC的计算公式可定义为：

DC＝[max(list)-min(list)]×(1-1/len(list))

其中list表示待发送弹幕列表中的弹幕生成时间序列。

(3)该深度强化学习算法的action定义为(0,1)，其中0表示保留弹幕，1表示发送待发送列表中的弹幕，并清空弹幕列表。

(4)构建actor网络和critic网络，采用PPO2算法训练模型，每二十训练步长统计平均reward，达到设定目标值即停止训练。

2.3服务器侧的弹幕下发决策执行

在服务端部署训练好的模型，在满足判断条件时调用模型进行决策。服务器执行Dash视频传输的同时，根据决策结果实施弹幕下发。

该深度强化学习算法的action定义为(0,1)，其中0表示保留待发送弹幕列表中的所有弹幕，等待下一次决策；1表示发送待发送列表中的所有弹幕，并清空待发送弹幕列表。当接受到新的上行弹幕、新的视频传输请求或者距离上次决策超过0.5秒且待传输弹幕列表不为空时使用深度强化学习模型重新决策。模型返回两个action的概率值，取概率较大的动作值做为实际执行动作，对待发送弹幕列表进行对应的操作。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。

Claims (2)

1.一种面向终端能耗优化的交互性视频弹幕传输方法，其特征在于，包含如下步骤：

步骤(1)在终端侧实施弹幕上行调度，根据当前视频传输状态及下一视频块时间预测，决定当前弹幕上行传输的时间；

步骤(2)在服务器侧实施弹幕下发调度，利用深度强化学习模型进行调度决策。

所述步骤(1)具体包括：

(11)首先需要设置上行弹幕调度的相关参数，其中包括弹幕传输的最大延迟W；

(12)在有弹幕生成时，若当前有视频块正在传输，则直接传输该弹幕，否则根据视频缓冲区buffer预测下一个视频块传输的开始时间t，决定弹幕上行传输的时间，t<80％W，弹幕延迟发送，等待新的视频传输，在有新的视频请求或等待时间到达W时，发送弹幕；t>80％W，直接发送弹幕；

所述步骤(2)具体包括：

(21)维护待传输弹幕的队列及其状态信息、视频传输的状态信息和用户偏好信息；

(22)以上述状态信息为输入，利用深度强化学习模型进行弹幕下发调度的决策，该模型的reward由能耗和用户体验(QoE)综合决定；

(23)在Dash视频传输机制的基础上，执行弹幕下发调度的决策；

所述步骤(21)具体包括：

(211)维护待传输弹幕的队列及其状态信息：在服务端部署训练完成的LSTM时间序列预测模型，每固定时间间隔调用模型，预测下一时间间隔的弹幕密度；在服务端维护一个待发送弹幕队列，该队列保存所有已从终端上传但未下发至其余终端的弹幕，每条弹幕有文字内容、生成时间、在客户端受到的延迟时间属性；每当终端新上传一条弹幕，就将其加入队列保存；

(212)维护视频传输的状态信息：实时更新不同终端最近一次的视频块请求时间以及最新视频块传输时间；

(213)维护用户偏好信息：初始化用户体验偏好，在之后的步骤中据此选择参数不同的深度强化学习模型；

步骤(22)中深度强化学习弹幕下发调度决策模型的训练的过程如下：

(221)该深度强化学习算法的state定义如下：

state＝(α,β,χ,δ,ε,φ,γ)

其中α表示步骤(3)中使用LSTM模型预测的弹幕密度，β表示待传输弹幕列表中的弹幕数量，χ表示当前是否有视频块正在传输，δ表示上一次弹幕发送的时间，ε表示由所有待发送弹幕的生成时间构成的数组，φ表示由所有待发送弹幕在客户端受到延迟构成的数组，γ表示最近一次视频块传输的时间；

(222)该深度强化学习算法中的reward定义如下：

r_t＝S+λ·QoE

QoE＝-μ·Delay-δ'·DC-ε'·TE

其中，reward由S和QoE两部分以合适的比例构成，S表示终端的网络模块睡眠时间；QoE的定义考虑总的弹幕延迟时间、弹幕密度的不均匀度、弹幕时间序列的错位数三个方面，其中Delay表示总的弹幕延迟时间，DC表示弹幕密度的不均匀度，TE表示弹幕时间序列的错位数，三个方面的系数μ、δ'、ε'的取值在0到1之间；Reward定义中QoE部分的系数的λ应为正值；上述四个系数的值由用户偏好进行设置；

(223)该深度强化学习算法的action定义为(0,1)，其中0表示保留待发送弹幕列表中的所有弹幕，等待下一次决策；1表示发送待发送列表中的所有弹幕，并清空待发送弹幕队列。

2.根据权利要求1所述的一种面向终端能耗优化的交互性视频弹幕传输方法，其特征在于，步骤(23)中弹幕下发决策执行的具体部署方法如下：

(231)当接受到新的上行弹幕、新的视频传输请求或者距离上次决策超过0.5秒且待传输弹幕队列不为空时使用深度强化学习模型重新决策；

(232)模型返回两个action的概率值，取概率较大的动作值做为实际执行动作，对待发送弹幕队列进行对应的操作。