CN112751865A

CN112751865A - 一种数据上行优化方法以及装置

Info

Publication number: CN112751865A
Application number: CN202011618664.6A
Authority: CN
Inventors: 李金洋; 武庆华; 李振宇
Original assignee: Network Communication and Security Zijinshan Laboratory
Current assignee: Network Communication and Security Zijinshan Laboratory
Priority date: 2020-12-31
Filing date: 2020-12-31
Publication date: 2021-05-04
Anticipated expiration: 2040-12-31
Also published as: CN112751865B

Abstract

本发明公开了一种数据上行优化方法以及装置，属于网络通信领域，其中智能上行优化方法，包括：获取网络交互参数；根据所述网络交互参数确定交互类别；其中所述类别包括目标分类和非目标分类；根据对应的类别选择对应的速率控制方法；所述预测分配法包括对所述目标分类的第一时长进行预测；该数据上行优化方法通过对每个网络交互的参数提取特征，随后对网络交互进行分类，然后对不同的网络交互类型采取不同的上行码率控制方案，对于目标分类，首先预测其第一时长，然后基于预测结果为网络交互的分配合适的上传码率，对于非目标分类，继续使用网络平台原始的码率控制方案，保证实时交互过程中QoE的同时，减少无人交互过程中导致的上行资源浪费。

Description

一种数据上行优化方法以及装置

技术领域

本发明涉及网络通信领域，特别涉及一种数据上行优化方法以及装置。

背景技术

随着移动互联网时代的到来，我国网民数量逐年攀升，移动智能设备(如智能手机、平板)覆盖率越来越高，移动互联网中4G+Wi-Fi的占比也越来越高，移动媒体以前所未有的速度快速发展。网络直播继承了移动互联网的优势，具有直观，快速，实时，表现形式好，交互性强等特点，成为了移动媒体中的代表，呈现爆炸式的发展模式。网络直播作为当今最热门的移动互联网应用之一，吸引了越来越多的用户加入直播、观看的行列中。我们也迎来了全民直播的时代。

网络直播的架构主要由四部分组成：主播客户端，拉流服务器(ingest server)，内容分发服务器(content delivery network,CDN)，以及观众客户端。当主播开始直播，不论是否有人观看，主播客户端都会调用设备(如手机)的摄像头，录制实时视频，并在压缩后上传至拉流服务器，随后在服务器中被分块(chunk)并再次编码为多个码率版本(如720p，1080p)，然后发布到CDN。当有观众请求视频时，CDN分发视频给观众。

尽管网络直播应用的发展如火如荼，但是关于网络直播的研究重点主要集中于下行阶段，即从服务器到观众。我们指出，上行阶段(从主播到服务器)同样重要。很多时候，由于主播是业余人士，因此导致网络不稳定。在中，Pang等人指出上行过程中的卡顿会导致所有观众出现卡顿的情况，影响观众的体验质量(Quality of Experience,QoE)。也强调了上行带宽成为了网络直播应用的瓶颈之一。

目前网络直播中存在大量直播无人观看，导致严重的资源浪费问题。Raman等人发现，Facebook Live(脸书直播)中有41.5％的直播无人观看：一方面由于主播的吸引力不足，另一方面由于主播只是在尝试直播功能或是作为私人记录。这些直播不仅浪费了网络、存储资源，而且会对服务器造成不必要的负担。然而目前鲜有关于无人观看的直播的研究，主要研究如下：Raman等人提出当第一个观众到达时才开始上传。该方法主要存在两方面的不足：首先，暂停实时上传造成额外延迟，严重影响观众QoE。其次，直播中途出现的无人观看的情况未被考虑。本专利将致力于解决由于无人观看的直播导致的资源浪费问题。

目前针对网络直播上行阶段的优化的主要工作如下：

基于目前网络视频QoE严重依赖于带宽资源的观察：当带宽下降时，QoE会不可避免的受到影响。NAS使用了全新的传输框架，为待传输视频预训练一个超码率深度神经网络模型(SR DNN)，这样仅需向客户端传输低码率视频的同时一并传输相应的SR DNN模型，便可以在客户端还原出高码率视频。

优化对象是网络直播中时移观看的QoE。所谓“时移观看”包含：1.直播时拖动进度条观看之前的直播内容，2.直播结束后观看回放录像。时移观看的视频是直播视频在实时上传时保存在服务器中的副本。其作者指出，主播的网络环境往往不稳定，在高带宽期间，带宽利用率不足，而在低带宽期间，上传码率则会受限。Vantage把低带宽期间的直播视频缓存在本地，并以高码率编码，在高带宽期间除了上传直播画面以外，同时再次上传经过高码率编码后的帧(“优化重传”)。

当观众请求视频时，临时上传必然带来从主播客户端到拉流服务器的传输延迟以及编码的处理延迟，使得观众的启动时延(从请求视频到首帧播放的时延)大大提升。而Krishnan等人的研究结果表明，启动时延的提升，使得观众倾向于放弃观看视频。此外，该方法的另一个问题是只关注了完全无人观看的直播，而没有关注无人观看的直播片段(比如，直播开始时，等待观众期间无人观看)。

NAS则存在以下问题：首先，需要对视频预训练对应的SR DNN模型，无法实时进行训练和恢复，因此不适用于直播场景，只适用于点播(VoD)。其次，NAS SR DNN的训练需要依靠服务器级别的GPU，消耗的计算资源极大，应用场景受到了限制。

作为目前对于时移观看的唯一优化工作，Vantage为研究人员提出了一种全新的优化思路，但是其同样存在不足之处：Vantage的优化重传只考虑原始画质，使得一些无人观看的片段也被再次上传，进一步加剧了上行资源的浪费。

综上所述，无人观看的直播造成了严重的资源浪费，然而目前没有既能顾全观看QoE又能减少浪费的优化方案。

发明内容

为了解决上述问题，本发明提供一种能够在保证实时观看QoE的同时，减少无人观看的直播导致的上行资源浪费的上行优化方法以及装置。

为了实现上述目的，本发明一方面提供一种数据上行优化方法，包括：

获取网络交互参数；

根据所述网络交互参数确定交互类别；其中所述类别包括目标分类和非目标分类；

根据对应的类别选择对应的速率控制方法；其中所述非目标分类采用网络平台的原始速率控制方法，所述目标分类采用预测分配法；

所述预测分配法包括对所述目标分类的第一时长进行预测；

根据所述第一时长对上传速率进行分配。

可选的，根据所述网络交互参数确定交互类别，进一步包括：

对所述网络交互参数进行Z-Score标准化和主成分分析降维等数据预处理操作；

使用K-Means算法对特征进行聚类。

可选的，所述的所述目标分类的第一时长进行预测，进一步包括：

构建预测模型；

对所述预测模型进行训练；

将所述网络交互参数导入训练后的预测模型预测出第一时长。

可选的，所述构建预测模型进一步包括：

通过6个1维卷积神经网络将所有5/6数组特征编码为6个一维的新特征；

将所述新特征与其余特征一起输入具有3个隐藏层的全连接网络。

可选的，所述根据所述第一时长对上传速率进行分配第一时长，进一步包括：

当所述第一时长大于第一阈值，且目标分类的时间大于所述第一阈值时，采用第一码率范围上传数据；

当所述第一时长大于第一阈值，且目标分类的时间小于或等于所述第一阈值时，采用第二码率范围上传数据；

当所述第一时长小于或等于第一阈值，且目标分类的时间大于所述第一阈值时，采用第二码率范围上传数据；

当所述第一时长小于或等于第一阈值，且目标分类的时间小于或等于所述第一阈值时，采用第一码率范围上传数据。

可选的，所述第一码率范围是0.05～0.1MBps。

可选的，所述第二码率范围是0.02～0.05MBps。

可选的，所述第一阈值为40～60秒。

另有方面，本发明提供一种数据上行优化装置，包括：

获取单元，用于获取网络交互参数；

确定单元，用于根据所述网络交互参数确定交互类别；其中所述类别包括目标分类和非目标分类；

选择单元，用于根据对应的类别选择对应的速率控制方法；其中所述非目标分类采用网络平台的原始速率控制方法，所述目标分类采用预测分配法；

预测模块，用于对所述目标分类的第一时长进行预测；

分配模块，用于根据所述第一时长对上传速率进行分配。

可选的，所述预测单元包括：

构建模块，用于构建预测模型；

训练单元，用于训练所述预测模型；

使用单元，用于将所述网络交互参数导入训练后的预测模型预测出第一时长。

可选的，所述分配单元包括：

第一分配模块，用于当所述第一时长大于第一阈值，且目标分类的时间大于所述第一阈值时，采用第一码率范围上传数据；

第二分配模块，用于当所述第一时长大于第一阈值，且目标分类的时间小于或等于所述第一阈值时，采用第二码率范围上传数据；

第三分配模块，用于当所述第一时长小于或等于第一阈值，且目标分类的时间大于所述第一阈值时，采用第二码率范围上传数据；

第四分配模块，用于当所述第一时长小于或等于第一阈值，且目标分类的时间小于或等于所述第一阈值时，采用第一码率范围上传数据。

本发明相对于现有技术的有益效果是：该数据上行优化方法通过对每个网络交互的参数提取特征，随后对网络交互进行分类，然后对不同的网络交互类型采取不同的上行码率控制方案，对于目标分类，首先预测其第一时长，然后基于预测结果为网络交互的分配合适的上传码率，对于非目标分类，继续使用网络平台原始的码率控制方案，保证实时交互过程中QoE的同时，减少无人交互过程中导致的上行资源浪费。

附图说明

图1是本发明中一种数据上行优化方法的流程图；

图2是直播构建的特征向量图；

图3是主播聚类结果图；

图4是本发明中预测模型的网络结构图；

图5是本发明中一种数据上行优化装置的结构框架图；

图6是本发明中预测单元的结构框架图；

图7是本发明中分配单元的结构框架图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，本实施例提供一种数据上行优化方法，包括：

S10：获取网络交互参数；

在本实施例中，以网络直播作为具体实施例进行举例说明。

首先，为了便于对不同类型主播的直播进行有针对性的优化，我们利用主播在数据收集周期(10天)内的统计信息，将主播进行聚类。我们收集的聚类特征有：1.总直播次数(Feature1,F1)，2.总直播小时数(Feature 2,F2)，3.活跃天数(Feature 3,F3)，4.总被观看次数(Feature4,F4)，5.总被观看时长(Feature 5,F5)。

在本实施中，构建了73个维度的特征向量，如图2所示，图中，第一列index表示特征的序号；第二列是特征的名称；第三列是特征的类型，其中Integer表示该特征是整型数，Float代表浮点数，最后通过一个例子说明6-tuple：以每次直播的观看人数为例，收集的原始数据是主播每次直播的观看人数，形成一个数组，为数组计算总和，平均值，中位数，方差，最大值和最小值共6个特征值。5-tuple与6-tuple类似，仅少一个总和，灰色框代表下方特征的类别。

S20：根据所述网络交互参数确定交互类别；其中所述类别包括目标分类和非目标分类；

在本实施例中，具体的，非目标直播(即非目标分类)指的是热门主播产生的直播以及冷启动直播(主播过去五天直播次数少于3次)，其余直播称为目标直播(即目标分类)。

对收集到的主播特征向量进行Z-Score标准化和主成分分析降维等数据预处理操作。最后使用K-Means算法对特征进行聚类。为了确定合适的聚类个数，我们试验了从3到10的K值，最后根据相对较小的Davies-Bouldin Index确定K＝3。在K-Means聚类算法中，每个数据点会根据其聚类特征向量与聚类中心的距离(默认是是欧氏距离)远近，将该数据点分配给距离最近的类别。聚类结果如图3，图中，轻度使用(Light,L),中度使用(Medium,M)和重度使用(Heavy,H)，F1～F5分别是五个用于聚类的特征的聚类中心值。从结果中可以看到，尽管人数较少，但是热门主播被观看的次数、时长远超其他两类主播，因此重度使用主播也是“热门主播”。

S30：根据对应的类别选择对应的速率控制方法；其中所述非目标分类采用网络平台的原始速率控制方法，所述目标分类采用预测分配法；

具体的，在本实施例中，对于非目标直播，采用对应网络平台的原始速率控制方法进行数据上传，本实施例中的预测分析法是针对目标直播进行上行优化。下面具体对优化方法进行阐述。

S40：所述预测分配法包括对所述目标分类的第一时长进行预测；；

需要说明的是，在本发明中所描述的第一时长指的是等待首个观众时长，即主播从开始直播到第一位观众到达的时长，后续统称为等待首个观众时长。

S50：根据所述第一时长对上传速率进行分配。

具体的，本实施例提供一种基于深度神经网络(Deep Neural Network,DNN)的直播上传码率自适应调节装置–AUS(Adaptive Uploading System)，AUS的基本思想是根据直播在不同时间段被观看的可能性调整上传的码率。AUS由四个串行模块组成：1.输入模块：直播开始时，输入模块根据主播过去五天的活动数据，为本次直播构建特征向量；2.归类模块：AUS将直播归入以下两类之一：a)“非目标直播”：包括热门主播产生的直播以及冷启动直播(主播过去五天直播次数少于3次)，b)其余直播称为“目标直播”。对于非目标直播，AUS将使用直播平台的原始上传码率控制方案，因为热门主播通常是热门主播，不存在无人观看的情况，而冷启动主播由于历史数据少，则很难预测其受欢迎程度。3.预测模块：对于目标直播而言，有两个优化上行码率的时机：a)AUS在clear-out阶段命令直播从实时上传切换为定期上传GIF(因为进入clear-out阶段表明该直播已失去对观众的吸引力)，b).在第一位观众到达之前以低码率上传。AUS预测模块的预测目标就是预测从开始直播到第一位观众到达的时长(等待首个观众时长)。4.速率分配模块：AUS根据预测模块的预测结果指定直播的码率，直到第一个观众出现。

对于一个目标直播而言，有两个可能的无人观看时段可进行码率优化：a)如果直播进入clear-out阶段表明该直播已失去对观众的吸引力，AUS命令直播从实时上传切换到定期上传GIF，b)在第一位观众到达之前，直播以较低的码率上传。需要说明的是，在本实施例中，GIF指的上传速度为0～0.02MBps，低码率指的是上传速度为0.02～0.05MBps，中码率指的是上传速度为0.05～0.1MBps。

如果可以预测首个观众时长，在首个观众时长结束之前不上传视频，那么既可以兼顾资源的有效利用，又可以保障较低的启动延迟。因此，AUS将首个观众时长预测问题转换为二分类问题：直播的首个观众时长是否大于x(x是所有直播首个观众时长的中位数)。为此，本实施例提供一种深层神经网络，如图4所示的：该神经网络首先通过6个1维卷积神经网络将所有5/6tuple特征编码为6个一维的新特征，然后将其与其余特征一起输入具有3个隐藏层的全连接网络。值得注意的是，在主播分类时，我们发现轻度使用的主播，和中度使用的主播在行为模式上有着较为明显的区别，因此我们为两类主播分别训练模型。

该预测方法将部分特征利用一维卷积神经网络进行编码，然后和其余特征一并输入一个全连接的深度神经网络，最后利用SoftMax函数输出直播等待时长的预测结果，全面考虑了直播的特征，并利用1D-CNN进行编码，全连接层用于分类，可到达较好的预测效果。

根据直播等待时间中位数x(中度使用的主播为40秒，轻度使用的主播为60秒)，目标直播的时间轴t可以分为两个阶段：t≤x(阶段1)和t>x(阶段2)。将根据预测模块的预测结果为直播的每个阶段分配上传码率直到第一个观众到达。

具体的分配规则如下：用于当等待首个观众时长大于x，且目标直播的时间t大于x时，采用中码率范围上传数据；

当等待首个观众时长大于x，且目标直播的时间小于或等于x时，采用低码率范围上传数据；

当等待首个观众时长小于或等于x，且目标直播的时间大于x时，采用中码率范围上传数据；

当所述等待首个观众时长小于或等于x，且目标直播的时间小于或等于x时，采用低码率范围上传数据。

因为如果预测结果正确(大概率事件)，首位观众最有可能在这两个阶段到达，而中码率既能降低资源消耗，也能保证首位观众的QoE。

根据日志数据驱动的模拟实验，AUS可以节省总上行流量的6.8％，相当于6.7年的视频数据量。换句话说，资源浪费可以减少24.1％(＝6.8％/28.2％)。

该分配方法基于历史等待时长中位数(m)，一次直播的时间轴(t)可以被分为两个阶段，即小于等于中位数(t≤m，阶段1)、大于中位数(t>m，阶段2)。根据预测模块的预测结果，直播在不同阶段被观看的可能性不同。AUS根据上述可能性，为处于各个阶段的直播分配上传码率。其技术效果是，根据直播被观看的可能性，为直播分配码率，已到达节约资源以及保障QoE的效果。

另一方面，如图5所示，本实施例提供一种网络直播中的智能上行优化装置，包括：

获取单元100，用于获取网络交互参数；由于具体的获取方式在上述数据上行优化方法的步骤S10中已经详细阐述，故在此不再赘述。

确定单元200，用于根据所述网络交互参数确定交互类别；其中所述类别包括目标分类和非目标分类；由于具体的获确定方法在上述数据上行优化方法的步骤S20中已经详细阐述，故在此不再赘述。

选择单元200，用于根据对应的类别选择对应的速率控制方法；其中所述非目标分类采用网络平台的原始速率控制方法，所述目标分类采用预测分配法；由于具体的获取方式在上述数据上行优化方法的步骤S30中已经详细阐述，故在此不再赘述。

预测单元400，用于对所述目标分类的第一时长进行预测；由于具体的获取方式在上述数据上行优化方法的步骤S40中已经详细阐述，故在此不再赘述。

分配单元500，用于根据所述第一时长对上传速率进行分配，由于具体的获取方式在上述数据上行优化方法的步骤S50中已经详细阐述，故在此不再赘述。

另外，参照图6，所述预测单元400包括：

构建模块401，用于构建预测模型；

训练模块402，用于训练所述预测模型；

使用模块403，用于将所述网络交互参数导入训练后的预测模型预测出第一时长。

另外，参照图7，所述分配单500包括：

第一分配模块501，用于当所述第一时长大于第一阈值，且目标分类的时间大于所述第一阈值时，采用第一码率范围上传数据；

第二分配模块502，用于当所述第一时长大于第一阈值，且目标分类的时间小于或等于所述第一阈值时，采用第二码率范围上传数据；

第三分配模块503，用于当所述第一时长小于或等于第一阈值，且目标分类的时间大于所述第一阈值时，采用第二码率范围上传数据；

第四分配模块504，用于当所述第一时长小于或等于第一阈值，且目标分类的时间小于或等于所述第一阈值时，采用第一码率范围上传数据。

另外，本发明实施例还提供一种计算机可读存储介质，其中，该计算机可读存储介质可存储有程序，该程序执行时包括上述方法实施例中记载的任何数据上行优化方法的部分或全部步骤。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。

以上参照附图描述了根据本发明的实施例的用于实现服务链的方法的示例性流程图。应指出的是，以上描述中包括的大量细节仅是对本发明的示例性说明，而不是对本发明的限制。在本发明的其他实施例中，该方法可具有更多、更少或不同的步骤，且各步骤之间的顺序、包含、功能等关系可以与所描述和图示的不同。

Claims

1.一种数据上行优化方法，其特征在于，包括：

获取网络交互参数；

所述预测分配法包括对所述目标分类的第一时长进行预测；

根据所述第一时长对上传速率进行分配。

2.根据权利要求1所述的数据上行优化方法，其特征在于，根据所述网络交互参数确定交互类别，进一步包括：

使用K-Means算法对特征进行聚类。

3.根据权利要1所述的数据上行优化方法，其特征在于，所述的所述目标分类的第一时长进行预测，进一步包括：

构建预测模型；

对所述预测模型进行训练；

4.根据权利要求3所述的数据上行优化方法，其特征在于，所述构建预测模型进一步包括：通过6个1维卷积神经网络将所有5/6数组特征编码为6个一维的新特征；

5.根据权利要3所述的数据上行优化方法，其特征在于，所述根据所述第一时长对上传速率进行分配第一时长，进一步包括：

6.根据权利要求5所述的数据上行优化方法，其特征在于：所述第一码率范围是0.05～0.1MBps。

7.根据权利要求6所述的数据上行优化方法，其特征在于：所述第二码率范围是0.02～0.05MBps。

8.根据权利要求5所述的智能上行优化方法，其特征在于：所述第一阈值为40～60秒。

9.一种数据上行优化装置，其特征在于，包括：

获取单元，用于获取网络交互参数；

预测模块，用于对所述目标分类的第一时长进行预测；

分配模块，用于根据所述第一时长对上传速率进行分配。

10.根据权利要求9所述的数据上行优化装置，其特征在于，所述预测单元包括：

构建模块，用于构建预测模型；

训练单元，用于训练所述预测模型；

11.根据权利要求9所述的数据上行优化装置，其特征在于，所述分配单元包括：

12.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的一种数据上行优化方法的步骤。