CN114302181B - 一种直播视频的内容预分发方法以及电子设备 - Google Patents

Abstract

本发明提供了一种直播视频的内容预分发方法以及电子设备，该方法包括获取本次直播对应的输入特征，利用经用于直播视频的预分发时机预测的模型的训练方法训练的深度神经网络回归模型根据所述本次直播对应的输入特征预测其对应的预分发时机；本发明通过训练用于直播预分发时机预测的模型，以主播的热度特征、主播的直播特征、主播的观众特征、主播历史直播时观众的到达时差特征作为输入特征以及指示对应直播事件发生时观众的到达时差作为标签，训练深度神经网络回归模型，以对针对主播所对应的特征，使得该模型可以为不同的主播适配与其对应的特征相适应的预分发时机，以降低过晚预分发对用户体验的影响。

Description

一种直播视频的内容预分发方法以及电子设备

技术领域

本发明涉及移动互联网领域，具体来说涉及视频直播数据存储领域，更具体地说，涉及一种直播视频的内容预分发方法以及电子设备。

背景技术

随着移动互联网时代的到来，网民数量逐年攀升，移动智能设备(如智能手机、平板、智能眼镜等)的覆盖率越来越高，移动互联网中4G+Wi-Fi的占比也越来越高，移动媒体业务目前处于高速发展的阶段。视频直播(网络直播，简称直播)继承移动互联网的优势，具有直观、快速、实时、表现形式好、交互性强等特点，成为了移动媒体中的代表，呈现爆炸式的发展模式。视频直播作为当今最热门的移动互联网应用之一，吸引了越来越多的人加入直播行业或者观看直播。

视频直播依赖于视频直播系统，如图1所示，视频直播系统的架构主要由三部分构成，包括：直播客户端10、CDN服务器20(Content Delivery Network Server,内容分发服务器)以及观众客户端30。假设在一个应用场景中，主播开始直播，不论是否有人观看，直播客户端10都会调用设备(如手机)的摄像头，录制实时视频并压缩，然后根据主播所处的网络位置将视频上传至最近的CDN服务器20(假设为服务器A)。视频随后在CDN服务器20中被分块(Chunk)并再次编码为多个码率版本(如720p、1080p等)。当有观众请求视频时，观众所使用的观众客户端30首先会连接到距离其最近的CDN服务器20(假设为服务器B)上，然后服务器B向服务器A请求视频，随后服务器A会向服务器B发送直播视频数据，由服务器B将直播视频数据传输给观众客户端30。在此应用场景下，服务器A和服务器B是部署在网络边缘，以使计算更靠近数据源的物理位置，因此，服务器A和服务器B可被称为边缘服务器；又因服务器A承载了视频源，故可被称为源服务器。值得注意的是，前述应用场景中，所有CDN服务器都可以是通用服务器，根据当前的任务，既可以充当源服务器、也可以充当边缘服务器。例如，若是服务器要存储主播上传的视频直播数据，该服务器相对于需要获取该视频直播数据的其他服务器而言是源服务器；同时，该服务器也可以服务于邻近的观众，作为边缘服务器(服务器所处的网络位置为网络边缘)从其他服务器获取观众所需观看主播的视频直播数据。

尽管视频直播应用发展得如火如荼，但是目前视频直播系统的发展依然存在无法忽视的挑战：因为直播不同于点播，具有主播和观众两方面都存在不确定性的特点，在这种情况下，如何优化服务质量(Quality of Service，简称QoS)以进一步在视频直播中提高观众的服务体验(Quality of Experience，简称QoE)是一个难题。大多数直播在开始之后并不是立即就有观众，而是需要等待一段时间(等待时长中位数约一分钟)。主播开始直播的时间随机性很强，而且不同的主播各不相同；此外，绝大多数直播需要等待一段时间才会有观看，在这段等待时间内预分发不但不会提升用户的QoE，反而会造成流量的浪费。因此直播内容的预分发需要在合适的时机开始，因为过早的启动预分发流程并不会产生任何收益，反而导致浪费。

为提高观看QoE，一些研究者从解决直播的回看性问题出发，优化对象是视频直播中时移观看的QoE，其中，时移观看的主要内容包括：直播时拖动进度条观看之前时刻的直播录像，以及直播结束后观看回放录像。

但是，发明人经过研究发现，影响观众的QoE的关键因素在于降低观众点击播放到首帧开始播放之间的启动时延(Startup Delay)，该指标被证明和观众放弃观看密切相关，显著影响观众的QoE。如果将视频直播数据预分发到所有的边缘服务器，能够有效降低启动时延，可是会对网络资源和存储资源会造成无端的浪费和挑战。如果对针对所有主播采用统一的预分发策略，也会面临资源浪费和QoE难以协调的问题。

目前针对直播的预分发策略的研究较为缺乏，需要根据视频直播的特点针对性地对设计预分发技术。

发明内容

因此，本发明的目的在于克服上述现有技术的缺陷，提供一种直播视频的内容预分发方法以及电子设备。

本发明的目的是通过以下技术方案实现的：

根据本发明的第一方面，提供一种用于直播视频的预分发时机预测的模型的训练方法，包括：获取训练集，其中包括根据不同热度的主播的数据制作的多个训练样本，每个训练样本包括输入特征和标签，每个样本对应一场已发生的直播事件，样本的输入特征包括主播的热度特征、主播的直播特征、主播的观众特征、主播历史直播时观众的到达时差特征，所述标签指示对应直播事件发生时观众的到达时差；利用所述训练集训练所述深度神经网络回归模型根据所述输入特征预测主播对应直播事件的预分发时机，根据预分发时机和标签计算损失值，根据所述损失值更新所述深度神经网络回归模型的参数。该实施例的技术方案至少能够实现以下有益技术效果：本发明通过主播的热度特征、主播的直播特征、主播的观众特征、主播历史直播时观众的到达时差特征来构建输入特征，可以更准确地预测主播对应直播事件的预分发时机。

在本发明的一些实施例中，在训练深度神经网络回归模型时，利用不对称的损失函数计算损失值；其中，在同等的时间偏差幅度下，所述不对称的损失函数对可导致提前分发的预分发时机对应的惩罚值小于可导致延后分发的预分发时机的惩罚值。该实施例的技术方案至少能够实现以下有益技术效果：本发明针对直播视频的预分发时机预测设计了不对称的损失函数，以便在训练模型时更严厉惩罚预测的预分发时机延后的情况，以更好地保障用户体验。

在本发明的一些实施例中，按照以下不对称的损失函数计算损失值：

loss＝diff²×(sign(diff)+α)²；

其中，diff＝Arv_pred+t_relay-Arv_actual，Arv_pred表示预测观众的到达时差，t_relay表示中继传输的传输时延，Arv_actual表示标签中的观众到达时差，sign(·)表示符号函数，当输入为负数时返回-1，否则返回1，α表示高估惩罚参数，α为正数。该实施例的技术方案至少能够实现以下有益技术效果：该损失函数在同等的时间偏差幅度下，对diff值为负(即可能导致提前预分发)时计算出一个较小的损失值，对diff值为非负(即预分发时机与观众到达时差相同或者可能导致延后预分发)时计算出一个较大的损失值，由此，以让模型预测出的预分发时机尽可能地提前，以更好地保障用户体验。

在本发明的一些实施例中，所述主播的直播特征包括：主播历史直播特征，其中，主播历史直播特征包括直播总次数、历史直播时长的统计特征、活跃天数、日直播次数的中位数、本次直播的前次直播的时长、本次直播的前次直播的观看人数、本次直播的前次直播的观众到达时差、本次直播的前次直播是否有人观看、本次直播的前次直播中无人观看部分的占比、本次直播的前次直播中无人观看部分的时长或者其组合。该实施例的技术方案至少能够实现以下有益技术效果：本发明在主播的直播特征中设置多种主播历史直播的相关特征，以提高预测的预分发时机的准确性；另外，本发明加入了本次直播的前次直播的特征，以参考主播最近的直播数据来预测本次直播的预分发时机，以提高预测的预分发时机的准确性。

在本发明的一些实施例中，所述主播的直播特征包括：主播本次直播特征，其中，主播本次直播特征包括：本次直播开始时间、本次直播时主播的设备类型、本次直播时主播的网络类型、本次直播所对应的主播当天直播次数、本次直播与前次直播的间隔时间或者其组合。该实施例的技术方案至少能够实现以下有益技术效果：本发明在主播的直播特征中加入本次直播特征，以根据本次直播自身的特征来提高预测的准确性；另外，本次直播开始时间包含时段信息，可以让模型关注不同时段的直播与观众的到达时差的关系，从而提高预测的预分发时机的准确性。

在本发明的一些实施例中，所述主播的观众特征包括：历史去重观众人数、观看过所有直播的去重观众数、观看过50％直播的去重观众数、主播的粉丝数量、每次直播的观看人数的统计特征、每次直播被观看的时长的统计特征、每次直播被观看的完整度的统计特征或者其组合。该实施例的技术方案至少能够实现以下有益技术效果：本发明针对不同的主播分别加入其观众特征用以预测预分发时机，可能根据不同主播的观众情况，更准确地预测的预分发时机。

在本发明的一些实施例中，所述主播历史直播时观众的到达时差特征包括：主播历史直播中每次直播时观众的到达时差的统计特征以及同时段的直播平台上的观众到达时差的统计特征，其中，到达时差是指直播的观众的到达时间与直播的开始时间的差值。

根据本发明的第二方面，提供一种用于直播视频的内容预分发时机的预测方法，包括：获取本次直播对应的输入特征，利用经第一方面所述的方法训练的深度神经网络回归模型根据所述本次直播对应的输入特征预测其对应的预分发时机。

根据本发明的第三方面，提供一种直播视频的内容预分发方法，包括：获取主播的聚类特征，利用聚类算法根据所述聚类特征确定主播的热度；根据主播的热度和预设的热度阈值，将热度大于等于热度阈值的主播作为热门主播；根据多个地点部署的缓存服务器中所述热门主播的历史直播视频被观看的次数排名和排名阈值，选定所述热门主播的直播视频需要预分发的地点；针对热门主播的本次直播，利用第二方面所述的方法预测其对应的预分发时机；根据预测的预分发时机将所述热门主播的本次直播的内容预分发到所述需要预分发的地点部署的缓存服务器。

根据本发明的第四方面，提供一种电子设备，包括：一个或多个处理器；以及存储器，其中存储器用于存储可执行指令；所述一个或多个处理器被配置为执行所述可执行指令以实现第一方面、第二方面或者第三方面所述的方法。

与现有技术相比，本发明的优点在于：

本发明通过训练用于直播预分发时机预测的模型，以主播的热度特征、主播的直播特征、主播的观众特征、主播历史直播时观众的到达时差特征作为输入特征以及指示对应直播事件发生时观众的到达时差作为标签，训练深度神经网络回归模型，以对针对主播所对应的特征，使得该模型可以为不同的主播适配与其对应的特征相适应的预分发时机，以降低过晚预分发对用户体验的影响。

附图说明

以下参照附图对本发明实施例作进一步说明，其中：

图1为直播过程中直播视频从直播客户端到观众客户端的数据传输示意图；

图2为根据本发明实施例的深度神经网络回归模型的结构原理示意图；

图3为根据本发明实施例的直播视频的内容预分发方法的简要示意图；

图4为根据本发明实施例的直播视频的内容预分发方法的流程示意图；

图5为根据本发明实施例的直播视频的内容预分发方法进行实验得到的误差分布曲线示意图；

图6为根据本发明实施例的直播视频的内容预分发方法以及一种现有的预分发方法进行实验得到的预分发的地点数量与观看覆盖率的关系曲线图。

具体实施方式

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如在背景技术部分提到的，目前针对直播的预分发策略的研究较为缺乏，需要根据视频直播的特点针对性地设计预分发技术。而且，不同的主播对应的特征存在不同，如果都采用统一的预分发时机，会导致一些主播(特别是热门主播)对应的直播视频出现过晚预分发的情况。由此，本发明通过训练用于直播预分发时机预测的模型，以主播的热度特征、主播的直播特征、主播的观众特征、主播历史直播时观众的到达时差特征作为输入特征以及指示对应直播事件发生时观众的到达时差作为标签，训练深度神经网络回归模型，以对针对主播所对应的特征，使得该模型可以为不同的主播适配与其对应的特征相适应的预分发时机，以降低过晚预分发对用户体验的影响。

根据本发明的一个实施例，用于直播视频的预分发时机预测的模型(或者称用于直播预分发时机预测的模型)采用深度神经网络回归模型。优选的，深度神经网络回归模型包括多个输入节点、多层的全连接神经网络以及输出节点。例如，多层全连接神经网络包括三层隐藏的全连接层。

根据本发明的一个实施例，用于训练深度神经网络回归模型的训练集中的训练样本收集于不同热度的多个主播。为了构建训练集，需要为收集样本对应的直播事件构建对应的输入特征(特征向量)。一个样本的输入特征包括根据直播的主播在本次直播事件前一段时间的数据制作的特征，而训练的标签则是直播对应观众的到达时差。优选的，数据收集完毕后，使用Robust Scaler算法对所有输入特征进行标准化，其中，包括：根据RobustScaler算法去除中值，并根据四分位范围对数据进行缩放，以避免异常值的影响。优选的，制作好的训练集包括根据不同热度的主播的数据制作的多个训练样本，每个训练样本包括输入特征和标签，每个样本对应一场已发生的直播事件，样本的输入特征包括主播的热度特征、主播的直播特征、主播的观众特征、主播历史直播时观众的到达时差特征，所述标签指示对应直播事件发生时观众的到达时差。优选的，标签中指示的观众的到达时差可以是观众到达时差的最小值、平均值、中位数或者是25％分位点。但应当理解，在制作同一个训练集时，标签中所选用的观众的到达时差的标注依据应当是统一的，例如，同一个训练集中所有的样本的标签中的观众的到达时差都是观众到达时差的最小值(即样本对应的直播事件的首个观众的到达时差)。

根据本发明的一个实施例，主播的热度特征包括主播的热度。例如，若将主播分为三个热度等级，主播的热度为低热度、中热度和高热度的主播。

根据本发明的一个实施例，主播的直播特征包括：主播历史直播特征和主播本次直播特征。优选的，主播历史直播特征包括直播总次数、历史直播时长的统计特征、活跃天数、日直播次数的中位数、本次直播的前次直播的时长、本次直播的前次直播的观看人数、本次直播的前次直播的观众到达时差、本次直播的前次直播是否有人观看、本次直播的前次直播中无人观看部分的占比、本次直播的前次直播中无人观看部分的时长或者其组合。优选的，主播本次直播特征包括：本次直播开始时间、本次直播时主播的设备类型、本次直播时主播的网络类型、本次直播所对应的主播当天直播次数、本次直播与前次直播的间隔时间或者其组合。

根据本发明的一个实施例，主播的观众特征包括历史去重观众人数、观看过所有直播的去重观众数、观看过50％直播的去重观众数、主播的粉丝数量、每次直播的观看人数的统计特征、每次直播被观看的时长的统计特征、每次直播被观看的完整度的统计特征或者其组合。

根据本发明的一个实施例，主播历史直播时观众的到达时差特征包括：主播历史直播中每次直播时观众的到达时差的统计特征以及同时段的直播平台上的观众到达时差的统计特征，其中，到达时差是指直播的观众的到达时间与直播的开始时间的差值。

优选的，以上相应指标(历史直播时长的统计特征、每次直播的观看人数的统计特征、每次直播被观看的时长的统计特征、每次直播被观看的完整度的统计特征、主播历史直播中每次直播时观众的到达时差的统计特征、同时段的直播平台上的观众到达时差的统计特征)中的统计特征是指基于一段时间内主播的数据统计的最大值、最小值、平均值、中位数、方差、25％分位点、75％分位点、极差。

根据本发明的一个实施例，一个示意性样本的输入特征包括如表1所示的特征：

表1

应当注意的是，根据不同的理解，可以对输入特征中所含子特征的分类产生不同于表1的分类方式，但并不影响对输入特征的组织，例如，基于另一种理解，也可以按照表2的分类方式：

表2

根据本发明的一个实施例，输入特征在输入深度神经网络回归模型时，可以按照指定的特征组织方式输入到相应的节点。例如，输入特征在输入模型时，将同一指标的多个统计特征拼接形成特征组作为特征向量，输入一维CNN输入节点，其他的特征单独输入到输入节点；参见图2，例如，将表1中索引为2-9的历史直播时长的多个统计特征拼接，形成直播时长特征组b₁b₂b₃…b_m，输入相应的一维CNN输入节点1D-CNN；类似的，表1中索引为31-38的指标对应的多个统计特征拼接形成观看人数特征组n₁n₂n₃…n_m，表1中索引为39-46的指标对应的多个统计特征拼接形成观看时长特征组d₁d₂d₃…d_m，表1中索引为47-54的指标对应的多个统计特征拼接形成观看完整度特征组c₁c₂c₃…c_m，表1中索引为55-62的指标对应的多个统计特征拼接形成到主播的观众到达时差特征组w₁w₂w₃…w_m，表1中索引为63-70的指标对应的多个统计特征拼接形成直播平台的观众时间特征组s₁s₂s₃…s_m。优选的，组成相应指标的特征组时，将对应统计特征中的最大值、最小值、平均值、中位数、方差、25％分位点、75％分位点、极差拼接(m＝7)。优选的，除了拼接成特征组外的其他特征f直接单独输入到相应的输入节点(即可以不经1D-CNN的处理)，每个其他特征f经相应的输入节点作为全连接神经网络的隐藏层的输入，全连接网络对经一维卷积处理的多个特征组以及其他特征f进行处理后，输出预测的结果。

基于前述实施例制作好的训练集，根据本发明的一个实施例，提供用于直播视频的预分发时机预测的模型的训练方法，包括：利用所述训练集训练深度神经网络回归模型根据所述输入特征预测主播对应直播事件的预分发时机，根据预分发时机和标签计算损失值，根据所述损失值更新所述深度神经网络回归模型的参数。根据本发明的一个实施例，在训练时，利用不对称的损失函数计算损失值；其中，在同等的时间偏差幅度下，所述不对称的损失函数对可导致提前分发的预分发时机对应的惩罚值小于可导致延后分发的预分发时机的惩罚值。优选的，按照以下不对称的损失函数计算损失值：loss＝diff²×(sign(diff)+α)²；其中，diff＝Arv_pred+t_relay-Arv_actual，Arv_pred表示预测观众的到达时差，t_relay表示中继传输的传输时延，Arv_actual表示标签中的观众到达时差，sign(·)表示符号函数，当输入为负数时返回-1，否则返回1，α表示高估惩罚参数。其中，中继传输的传输时延表示直播视频从源服务器传输到目标服务器的中继传输时延；diff为负数则表示预分发时机加上中继传输时延仍小于观众的到达时差，即直播视频提前缓存好，此时，sign(·)输出-1且高估惩罚参数α为正数，(sign(diff)+α)²可以得到一个较小值，反之，sign(·)输出1，(sign(diff)+α)²可以得到一个较大值；由此可以实现在同等的时间偏差幅度下，所述不对称的损失函数对可导致提前分发的预分发时机对应的惩罚值小于可导致延后分发的预分发时机的惩罚值。优选的，α∈(0,1]，以避免过高地惩罚对模型精度的影响。该实施例的技术方案至少能够实现以下有益技术效果：本发明针对直播视频的预分发时机预测设计了不对称的损失函数，以便在训练模型时更严厉惩罚预测的预分发时机延后的情况，以更好地保障用户体验。

根据本发明的一个实施例，本发明提供一种用于直播视频的内容预分发时机的预测方法，包括：获取本次直播对应的输入特征，利用经前述实施例的用于直播视频的预分发时机预测的模型的训练方法训练的深度神经网络回归模型根据所述本次直播对应的输入特征预测其对应的预分发时机。该实施例的技术方案至少能够实现以下有益技术效果：本发明可以针对不同的直播对应的输入特征，更好地预测直播视频的预分发时机，从而在保障大部分观众的服务体验的情况下节约网络资源和存储资源。本次直播对应的输入特征包括本次直播的主播的热度特征、主播的直播特征、主播的观众特征、主播历史直播时观众的到达时差特征。应当理解，本实施例中本次直播对应的输入特征的实施方式可参照前述实施例中样本对应的输入特征的实施方式，此处不再赘述。

图3以流程图形式示出直播视频的预分发策略/过程，在源服务器收到直播请求时，源服务器会根据主播的聚类特征确定主播热度，对热门主播确定预分发的地点以及预分发时机并预分发，对其他主播(即非热门主播)不执行预分发的操作。由此，以在保障大部分观众的服务体验的情况下节约网络资源和存储资源。

根据本发明的一个实施例，参见图4，本发明提供一种直播视频的内容预分发方法，包括步骤：S1、获取主播的聚类特征，利用聚类算法根据所述聚类特征确定主播的热度；S2、根据主播的热度和预设的热度阈值，将热度大于等于热度阈值的主播作为热门主播；S3、根据多个地点部署的缓存服务器中所述热门主播的历史直播视频被观看的次数排名和排名阈值，选定所述热门主播的直播视频需要预分发的地点；S4、针对热门主播的本次直播，利用经用于直播视频的预分发时机预测的模型的训练方法训练的深度神经网络回归模型根据热门主播的本次直播对应的输入特征预测预分发时机，根据预测的预分发时机将所述主播的本次直播的内容预分发到所述需要预分发的地点部署的缓存服务器。该实施例的技术方案至少能够实现以下有益技术效果：本发明根据主播的聚类特征确定主播的热度，按照主播的热度来确定是否对该主播的直播进行预分发，以实现按主播的热度情况进行针对性的预分发操作，减少对网络资源和存储资源的浪费；本发明按照历史直播视频被观看的次数排名和排名阈值来确定预分发的地点，从而向具有观看相应主播的较多观众所在的热门地点进行预分发，以根据主播的主要观众所在地差异化地预分发，保障网络资源和存储资源的有效利用；本发明根据热门主播的本次直播对应的输入特征预测预分发时机，可以针对热门主播自身的特性，更准确地确定其本次直播的预分发时机，在保障用户体验的情况下可进一步提高网络资源和存储资源的有效利用。

以下结合图3和图4的流程图对根据本发明的实施例的每一个步骤分别进行详细说明。

步骤S1：获取主播的聚类特征，利用聚类算法根据所述聚类特征确定主播的热度。

直播行业中，由于主播的影响力不同，很多低热度的主播处于无人观看或者仅有极少数人员观看的情况，大量的直播无人观看导致资源浪费。一些研究者发现，脸书直播(Facebook Live)中有41.5％的直播无人观看。这些直播不仅浪费了网络资源和存储资源，而且会对服务器造成不必要的负担。直播行业存在难以确定预分发的内容的问题，因为直播视频不仅观看行为的随机性强，上传也存在着随机性。源服务器可能为各种主播提供服务，即时获取不同主播的直播客户端上传的移动视频直播。而为了让其他地区的观众更快地获得热门主播的直播视频，需要进行热度分类。

为了更好地进行热度分类，需要提取相应的聚类特征，根据本发明的一个实施例，聚类特征包括：主播的总直播次数、主播的总直播小时数、主播的活跃天数、主播的总被观看次数和主播总被观看时长。这些特征既能从直播的角度反映主播的活跃度，也能从观看的视角体现主播的流行程度。获取聚类特征后，对收集到的主播特征向量进行预处理操作，其中，预处理操作包括Z-Score标准化和主成分分析(PCA降维)的处理操作。

根据本发明的一个实施例，聚类算法使用K-Means算法，将聚类特征输入K-Means算法以对主播进行聚类。由于K-Means算法无法自动确定聚类的个数，为确定合适的聚类个数(K值)，可以试验从3到10的K值，然后根据相对较小的DBI指数(Davies-Bouldin Index)确定K值(其对应于本发明的热度聚类的类别数量)，因为DBI指数的值相对越小，表明具有更好的聚类效果。根据发明人的实验结果，在K＝3时的聚类效果较好，获得的聚类结果如表3，其中包括每个类型的主播数量比例以及聚类的平均特征值。

表3 主播聚类结果

考虑到不断有新主播加入，对于主播的热度聚类操作可以保持周期性(比如每周一次)的参数更新运行，以保证结果的时效性。根据本发明的一个实施例，所述直播视频的内容预分发方法还包括：动态更新已有的主播的聚类特征以及获取新加入的主播的聚类特征，周期性地根据当前的所有主播的聚类特征，更新聚类算法的聚类参数。

步骤S2：根据主播的热度和预设的热度阈值，将热度大于等于热度阈值的主播作为热门主播。

根据本发明的一个实施例，假设K值为3，三类主播分别是低热度主播(Light,L)、中热度主播(Medium,M)和高热度主播(Heavy,H)。从结果中可以看到，尽管中热度和高热度的主播人数仅占总数的11％，但是这些主播的直播次数、时长，以及被观看的次数、时长明显超过低热度的主播。而且这两类主播的直播被观看的可能性要明显大于低热度的主播。因此，假设用0、1、2分别表示低热度、中热度和高热度，则将热度阈值设为1。由此，将中热度和高热度的主播产生的直播确定为需要预分发的内容。聚类算法能够将所有主播按照活跃程度和流行程度进行无监督的分组(热度划分)，并以此为基础高效地判断特定热度的主播的直播是否需要预分发。应当理解，在实施过程中，根据需要，K值也可按需设置为其他数值，例如：4、5、6等，由此得到更多的热度分类。

步骤S3：根据多个地点部署的服务器中所述热门主播的历史直播视频被观看的次数排名和排名阈值，选定所述热门主播的直播视频需要预分发的地点。

预分发方法的优劣可以从命中率(即预分发内容是否被观看)和成本(预分发的地点的数量)两方面来评价。直播的观看呈现出明显的重尾分布特征：大量直播观看人数极少，观看位置随机性强，而少量直播观看人数可超过数万人，观看位置分散。为了保证命中率和成本之间的平衡，最好的方法是将直播预分发到观众最多、最集中的区域，即主要观众所在的地点。通过数据测量分析和系统操作经验可知：主播倾向于吸引少数几个固定区域的观众(比如广东的主播吸引粤语地区的观众)，主播和主播之间、主播和全局之间的热门观看位置大相径庭。因此，需要为不同主播定制化地确定预分发的地点。

为了制定预分发的地点预测方案，假设每个网络区域(自治系统(ASN)、边界网关(BGP-Prefix))中的CDN服务器共享一个缓存服务器C。缓存服务器C可以被该网络区域内的所有CDN服务器提供缓存服务。由于其服务的对象是边缘服务器，因此也被称为边缘缓存服务器。将配备缓存服务器的区域称为缓存点(对应于部署缓存服务器的地点)。如果某直播将被预分发至某缓存点，则根据选定直播视频对应的预分发的地点，其直播视频的视频片段将作为画面组(Group of Pictures,GoP)连续推送到所选的缓存服务器(GoP例如被设置为120帧)。根据本发明的一个实施例，选定预分发的地点的方式包括：为热门主播从所有地点部署的缓存服务器中选择k个最近5天产生最多观看的地点作为预分发的地点。当这些主播开始直播时，首先接入源服务器，源服务器将内容分发至选定的k个地点的缓存服务器。在观众通过其连接的边缘服务器的缓存服务器请求直播数据时，如果存在预分发的本地副本，则立即返回；否则，请求将转发到源服务器(然后缓存以供后续请求使用)。在所有情况下，每条直播都只缓存最新的GoP，因为过时的(比如一分钟以前的)GoP对实时直播没有作用。根据本发明的一个实施例，针对不同的网络区域，可以设置不同的排名阈值，例如对自治系统(ASN)、边界网关(BGP-Prefix)设置不同的排名阈值，以根据不同的网络区域情况择优设置缓存的地点数量。例如，在实验中，发明人尝试了两种设置：对于将边缘服务器放置在热门主播的历史直播视频被观看的次数由高到低排名的前50个(占比约为1％)自治系统中，又或者，放置在前500个(占比约为5％)边界网关BGP前缀中。

步骤S4：针对热门主播的本次直播，利用经用于直播视频的预分发时机预测的模型的训练方法训练的深度神经网络回归模型根据热门主播的本次直播对应的输入特征预测预分发时机，根据预测的预分发时机将所述主播的本次直播的内容预分发到所述需要预分发的地点部署的缓存服务器。

为了预测合适的预分发开始的时机，希望能够预测观众的到达时差，以此作为预分发时机Arv_pred，使其尽可能的接近观众的实际到达时差Arv_actual；同时，在观众到达之前为直播视频从源服务器中继传输至缓存服务器预留足够的时间，即需要考虑中继传输时延t_relay。优选的，希望满足以下限制条件：

Arv_actual-Arv_pred-t_relay≥0

Arv_actual-Arv_pred-t_relay≤∈

其中，∈表示预测误差范围。∈是一个象征性的非常小的数字，用于表示预测值和实际值应该尽可能地接近。t_relay例如使用200ms(在实验时测试的中继传输耗时的中位数)。

根据本发明的一个实施例，在源服务器上，首先获取将需要被预分发的热门主播的本次直播对应的输入特征(高维特征向量)，然后将部分特征组成特征组利用一维卷积神经网络(1Dimensional-Convolutional Neural Network,1D-CNN)进行编码，随后和剩余的其他特征一并输入全连接神经网络，最后输出观众到达时差的回归预测结果(即预分发时机)，预分发时机指示预分发时间与本次直播开始时间之差(即延后直播开始后多久执行预分发的操作)。该实施例的技术方案至少能够实现以下有益技术效果：本发明全面考虑了主播对应的多种特征，并利用1D-CNN进行编码，全连接层用于解码，可到达较好的预分发时机预测效果，在用户请求数据之前，预先将数据放置在接近用户的缓存服务器上，当用户请求数据时直接由缓存服务器提供数据而不需要从源服务器获得数据以降低用户的启动时延，可以有效降低观看的启动时延以提高用户的QoE。

为了验证本发明的效果，发明人进行了相关的实验。实验所采用的模型结构为图2所示的结构，聚类的K值设为3，训练集中样本为根据多个低热度主播、多个中热度主播、多个高热度主播在样本收集前5天的主播的数据制作，损失函数为loss＝diff²×(sign(diff)+α)²，利用误差(即损失值)反向传递算法对模型进行训练，其中，实验时α＝0.95，使用5折交叉验证来评估模型。图5为预测误差的分布曲线(累积分布函数曲线，CumulativeDistribution Function，CDF)，其横坐标为根据Arv_actual-Arv_pred计算的预测误差，单位为秒，纵坐标为分布占比。从图5所示的预测误差的分布曲线可以看到，高热度主播的直播(Heavy)的可预测性最强，误差中位数仅为4秒；而中热度主播(Medium)和低热度主播(Light)的直播的预测误差相对较大，中位数分别为27秒、73秒。但是，基本都是预测的预分发时机相对提前。应当理解，看似较高的预测误差是意料之内的，因为事实证明，由于观众兴趣的不确定性以及直播刚开始时几乎没有可用信息，导致了提前预测预分发时机非常困难。此外，本发明避免高估的损失函数设计也在一定程度上造成了预测的偏差。更重要的是，本发明的重点不是追求很高的预测精度，而是用预测结果确定预分发的时机。也就是说，只要预分发时机小于观众的到达时差的实际值，就会发生更少的无效上传从而节省资源，也不会对观众造成影响。实验证明，本发明的模型产生的99％以上的预测值都不会大于实际值(即可以产生正向收益)。总的来说，根据本发明的实验结果，本发明每次直播平均大约可以减少10秒的直播视频内容对资源的浪费。

此外，发明人还针对需要预分发的地点数量与观看覆盖率的关系进行了评估。假设共有10个地点设置有缓存服务器，需要预分发的地点数量设为m。将主播的直播视频预分发到全局最多的观众所在的地点的需要预分发的地点数量与观看覆盖率的关系作为对比。将“观看覆盖率”(View Coverage)定义为通过预分发就近获得数据的观看占该直播总观看的比例。观看覆盖率越接近1，预分发方案的效果越好。图6展示了在采用不同m值时，使用本发明提出的主播定制化的预分发策略或(作为对比的)全局热门预分发策略下，所有直播的平均观看覆盖率。其中，曲线1(ASN：主播)对应于根据本发明的方式将主播的直播视频预分发到相应自治系统对应的缓存服务器的曲线，曲线2(BGP-Prefix：主播)对应于根据本发明的方式将主播的直播视频预分发到相应边界网关对应的缓存服务器的曲线，曲线3(ASN：全局)对应于以全局配置的方式(选定全局最热门的地点)将主播的直播视频预分发到相应自治系统对应的缓存服务器的曲线，曲线4(BGP-Prefix：全局)对应于以全局配置的方式(选定全局最热门的地点)将主播的直播视频预分发到相应边界网关对应的缓存服务器的曲线。简单来说，即确定m和使用策略后，所有的直播观看中有多少可以直接从预分发缓存中获取数据。可以看到，为了覆盖一半的观看(即观看覆盖率≥0.5)，需要将直播的最新GoP预分发至仅1个ASN级别的缓存点或4个BGP-Prefix级别的缓存点。可以看到，m越大结果越好(观看覆盖率越大)，因为预分发的副本数量更多，但是m>5时只会产生改善的边际效应。此外，还可以看到，本发明的方法(针对不同主播定制化的预分发方法/策略)明显优于对比策略(始终预分发内容至全局最流行位置)。

本发明对预分发策略带来的启动延迟改善进行了评估(根据上述结果，使用m＝5，以及ASN粒度的缓存点)。对于被用于预分发的每个网络区域G_i，测量启动延迟的改善，即启动加速比：

其中

是观众和服务器都位于网络区域G_i内的观看的平均启动延迟；

是观众位于网络区域G_i而服务器不在网络区域G_i的观看的平均启动延迟。最终，发现原来需要跨ASN获取数据的观看中有92％的观看的启动延迟可以通过预分发得到改善。所有网络区域的启动加速比中值高达29.5％。

需要说明的是，虽然上文按照特定顺序描述了各个步骤，但是并不意味着必须按照上述特定顺序来执行各个步骤，实际上，这些步骤中的一些可以并发执行，甚至改变顺序，只要能够实现所需要的功能即可。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (11)

1.一种用于直播视频的预分发时机预测的模型的训练方法，所述模型为深度神经网络回归模型，其特征在于，包括：

获取训练集，其中包括根据不同热度的主播的数据制作的多个训练样本，每个训练样本包括输入特征和标签，每个样本对应一场已发生的直播事件，样本的输入特征包括主播的热度特征、主播的直播特征、主播的观众特征、主播历史直播时观众的到达时差特征，所述标签指示对应直播事件发生时观众的到达时差；

利用所述训练集训练所述深度神经网络回归模型根据所述输入特征预测主播对应直播事件的预分发时机，根据预分发时机和标签计算损失值，根据所述损失值更新所述深度神经网络回归模型的参数。

2.根据权利要求1所述的方法，其特征在于，在训练时，利用不对称的损失函数计算损失值；其中，在同等的时间偏差幅度下，所述不对称的损失函数对可导致提前分发的预分发时机对应的惩罚值小于可导致延后分发的预分发时机的惩罚值。

3.根据权利要求2所述的方法，其特征在于，按照以下不对称的损失函数计算损失值：

loss＝diff²×(sign(diff)+α)²；

其中，diff＝Arv_pred+t_relay-Arv_actual，Arv_pred表示预测观众的到达时差，t_relay表示中继传输的传输时延，Arv_actual表示标签中的观众到达时差，sign(·)表示符号函数，当输入为负数时返回-1，否则返回1，α表示高估惩罚参数，α为正数。

4.根据权利要求1所述的方法，其特征在于，所述主播的直播特征包括：主播历史直播特征，其中，主播历史直播特征包括直播总次数、历史直播时长的统计特征、活跃天数、日直播次数的中位数、本次直播的前次直播的时长、本次直播的前次直播的观看人数、本次直播的前次直播的观众到达时差、本次直播的前次直播是否有人观看、本次直播的前次直播中无人观看部分的占比、本次直播的前次直播中无人观看部分的时长或者其组合。

5.根据权利要求4所述的方法，其特征在于，所述主播的直播特征包括：主播本次直播特征，其中，主播本次直播特征包括：本次直播开始时间、本次直播时主播的设备类型、本次直播时主播的网络类型、本次直播所对应的主播当天直播次数、本次直播与前次直播的间隔时间或者其组合。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述主播的观众特征包括：历史去重观众人数、观看过所有直播的去重观众数、观看过50％直播的去重观众数、主播的粉丝数量、每次直播的观看人数的统计特征、每次直播被观看的时长的统计特征、每次直播被观看的完整度的统计特征或者其组合。

7.根据权利要求1至5任一项所述的方法，其特征在于，所述主播历史直播时观众的到达时差特征包括：主播历史直播中每次直播时观众的到达时差的统计特征以及同时段的直播平台上的观众到达时差的统计特征，其中，到达时差是指直播的观众的到达时间与直播的开始时间的差值。

8.一种用于直播视频的内容预分发时机的预测方法，其特征在于，包括：

获取本次直播对应的输入特征，利用经权利要求1-7任一项所述的方法训练的深度神经网络回归模型根据所述本次直播对应的输入特征预测其对应的预分发时机。

9.一种直播视频的内容预分发方法，其特征在于，包括：

获取主播的聚类特征，利用聚类算法根据所述聚类特征确定主播的热度；

根据主播的热度和预设的热度阈值，将热度大于等于热度阈值的主播作为热门主播；

根据多个地点部署的缓存服务器中所述热门主播的历史直播视频被观看的次数排名和排名阈值，选定所述热门主播的直播视频需要预分发的地点；

针对热门主播的本次直播，利用权利要求8所述的方法预测其对应的预分发时机，根据预测的预分发时机将所述热门主播的本次直播的内容预分发到所述需要预分发的地点部署的缓存服务器。

10.一种计算机可读存储介质，其特征在于，其上包含有计算机程序，所述计算机程序可被处理器执行以实现权利要求1至9中任一项所述方法的步骤。

11.一种电子设备，其特征在于，包括：

一个或多个处理器；以及

存储器，其中存储器用于存储可执行指令；

所述一个或多个处理器被配置为执行所述可执行指令以实现权利要求1至9中任一项所述的方法。

Images