CN114973051A - 视频传输方法、装置及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种视频传输方法、装置及计算机可读存储介质，其中方法包括：获取目标全景视频的待传输视频片段，以及所述待传输视频片段中各个视频帧对应的基础图块；基于所述目标全景视频对应的目标用户的历史视点轨迹，通过目标强化学习模型的分割模型对所述基础图块进行分割，以获得各个基础图块对应的子图块；基于所述待传输视频片段对应的历史带宽信息，通过目标强化学习模型的质量分配模型确定各个子图块对应的比特率；基于所述比特率以及所述子图块传输所述待传输视频片段至所述目标用户对应的目标终端。本发明能够避免在传输待传输视频片段时出现流量浪费的情况，同时避免用户在观看目标全景视频时出现卡顿现象，提高用户的观看体验。

Description

视频传输方法、装置及计算机可读存储介质

技术领域

本发明涉及视频传输技术领域，尤其涉及一种视频传输方法、装置及计 算机可读存储介质。

背景技术

随着几年来人们生活质量的改变与提升，VR技术逐渐映入大众眼帘并不 断扩大其对各行各业的影响力。VR技术不仅仅是大众所熟知的一项娱乐项 目，它也能为医疗、教育、工业等方向提供意想不到的便利。被认为是未来 的视频格式之一，对VR技术潜在价值的开发能为各行各业带来不少的收益。 其中对VR视频传输技术的开发，对VR行业的发展起着不可或缺的作用。

区别于传统的二维视频，VR依靠沉浸式的用户体验和完全自主的场景选 择成为视频领域的热点。更灵活的视野范围就意味着需要更高分辨率和更高 质量的视频(如4K、8K)才能为用户带来更好的QoE(Quality of Experience， 观看体验)，自然需要更高的带宽才能将高质量的视频画面及时传输。但是， 通常情况下，一段时间间隔内的视频画面中只有其中小部分的视频区域为RoI (Regions of Interest，用户的感兴趣区域)。因此，在传输视频画面过程中， 持续高质量的传输视频画面造成流量的浪费，甚至或导致后续的视频观看过 程中出现卡顿的现象，而影响用户的QoE。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是 现有技术。

发明内容

本发明的主要目的在于提供一种视频传输方法、装置及计算机可读存储 介质，旨在解决持续高质量的传输视频画面造成流量浪费的技术问题。

为实现上述目的，本发明提供一种视频传输方法，所述视频传输方法包 括以下步骤：

获取目标全景视频的待传输视频片段，以及所述待传输视频片段中各个 视频帧对应的基础图块；

基于所述目标全景视频对应的目标用户的历史视点轨迹，通过目标强化 学习模型的分割模型对所述基础图块进行分割，以获得各个基础图块对应的 子图块；

基于所述待传输视频片段对应的历史带宽信息，通过目标强化学习模型 的质量分配模型确定各个子图块对应的比特率；

基于所述比特率以及所述子图块传输所述待传输视频片段至所述目标用 户对应的目标终端。

进一步地，所述基于所述目标全景视频对应的目标用户的历史视点轨迹， 通过目标强化学习模型的分割模型对所述基础图块进行分割，以获得各个基 础图块对应的子图块的步骤包括：

将历史视点轨迹输入第一LSTM长短期记忆网络模型进行模型训练，以 获得各个所述基础图块中各个图块区域对应的预测观看概率；

基于各个预测观看概率所属的观看概率范围以及所述图块区域，通过所 述分割模型确定所述基础图块对应的图块；

基于所述图块对应的观看概率范围，通过所述分割模型确定各个图块对 应的图像质量，以获得各个基础图块对应的子图块。

进一步地，所述基于所述待传输视频片段对应的历史带宽信息，通过目 标强化学习模型的质量分配模型确定各个子图块对应的比特率的步骤包括：

将所述历史带宽信息输入第二LSTM模型进行模型训练，以获得预测带 宽信息；

基于所述预测带宽信息以及各个子图块对应的预测观看概率，通过强化 学习模型确定各个子图块对应的比特率。

进一步地，所述基于所述比特率以及所述子图块传输所述待传输视频片 段至所述目标用户对应的目标终端的步骤之后，还包括：

获取所述待传输视频片段对应的观看体验信息以及所述带宽利用率，并 基于所述观看体验信息以及所述带宽利用率确定所述待传输视频片段对应的 第一奖励信息；

基于各个子图块对应的编码效率惩罚信息以及带宽浪费惩罚信息，确定 各个子图块对应的第二奖励信息，并基于各个所述子图块的窗口质量、窗口 平滑度以及子卡顿时间信息，确定各个子图块对应的第三奖励信息；

关联存储所述第一奖励信息、第二奖励信息以及第三奖励信息至预设存 储区域。

进一步地，所述获取所述待传输视频片段对应的观看体验信息以及所述 带宽利用率的步骤包括：

获取所述待传输视频片段对应的视口平均质量、平滑度以及视频视口的 质量空间变化信息，并获取所述待传输视频片段对应的卡顿时间信息；

基于所述卡顿时间信息、视口平均质量、平滑度以及视频视口的质量空 间变化信息，确定所述待传输视频片段对应的观看体验信息；

基于所述用户视点轨迹、所述子图块对应的第一子存储空间信息以及所 述基础图块对应的第一存储空间信息，确定所述待传输视频片段对应的带宽 利用率。

进一步地，所述获取所述待传输视频片段对应的视口平均质量、平滑度 以及视频视口的质量空间变化信息的步骤包括：

获取所述子图块对应的第一子存储空间信息，基于所述第一子存储空间 信息确定各个所述子图块对应的第一图像质量信息；

获取所述待传输视频片段对应的用户视点轨迹，基于所述用户视点轨迹 以及所述视频帧的数量，确定确定各个所述子图块对应的权重信息；

基于所述子图块对应的权重信息以及所述第一图像质量信息，确定所述 待传输视频片段对应的视口平均质量、平滑度以及视频视口的质量空间变化 信息。

进一步地，所述获取所述待传输视频片段对应的卡顿时间信息的步骤包 括：

获取所述待传输视频片段对应的预测带宽均值以及所述基础图块对应的 第一存储空间信息；

基于所述预测带宽均值以及所述第一存储空间信息确定下载各个基础图 块时的第一缓冲区信息；

基于所述第一缓冲区信息、预测带宽均值以及第一存储空间信息，确定 所述待传输视频片段的卡顿时间信息。

进一步地，所述获取目标全景视频的待传输视频片段，以及所述待传输 视频片段中各个视频帧对应的基础图块的步骤之前，还包括：

在所述目标全景视频传输时，获取所述目标全景视频之前的全景视频对 应的第一奖励信息、第二奖励信息以及第三奖励信息；

基于所述第一奖励信息、第二奖励信息以及第三奖励信息，更新所述强 化学习模型的分割模型以及质量分配模型，获得目标强化学习模型。

此外，为实现上述目的，本发明还提供一种视频传输装置，所述视频传 输装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运 行的视频传输程序，所述视频传输程序被所述处理器执行时实现前述的视频 传输方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述 计算机可读存储介质上存储有视频传输程序，所述视频传输程序被处理器执 行时实现前述的视频传输方法的步骤。

本发明通过获取目标全景视频的待传输视频片段，以及所述待传输视频 片段中各个视频帧对应的基础图块；接着基于所述目标全景视频对应的目标 用户的历史视点轨迹，通过目标强化学习模型的分割模型对所述基础图块进 行分割，以获得各个基础图块对应的子图块；而后基于所述待传输视频片段 对应的历史带宽信息，通过目标强化学习模型的质量分配模型确定各个子图 块对应的比特率；然后基于所述比特率以及所述子图块传输所述待传输视频 片段至所述目标用户对应的目标终端，能够根据历史视点轨迹为RoI分配较 高的分辨率以及图像质量，而为待传输视频片段中的非RoI分配较低的分辨 率，避免在传输待传输视频片段时出现流量浪费的情况，同时避免用户在观 看目标全景视频时出现卡顿现象，提高用户的观看体验。

附图说明

图1是本发明实施例方案涉及的硬件运行环境中视频传输装置的结构示 意图；

图2为本发明视频传输方法第一实施例的流程示意图；

图3为本发明视频传输方法中基础图块的分割示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步 说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限 定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境中视频传输 装置的结构示意图。

本发明实施例视频传输装置可以是PC。如图1所示，该视频传输装置可 以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器 1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通 信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)， 可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004 可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)， 例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存 储装置。

可选地，视频传输装置还可以包括摄像头、RF(Radio Frequency，射频) 电路，传感器、音频电路、WiFi模块等等。当然，视频传输装置还可配置气 压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

本领域技术人员可以理解，图1中示出的终端结构并不构成对视频传输装 置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不 同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系 统、网络通信模块、用户接口模块以及视频传输程序。

在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台 服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客 户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的视频 传输程序。

在本实施例中，视频传输装置包括：存储器1005、处理器1001及存储在 所述存储器1005上并可在所述处理器1001上运行的视频传输程序，其中， 处理器1001调用存储器1005中存储的视频传输程序时，并执行以下各个实 施例中视频传输方法的步骤。

本发明还提供一种视频传输方法，参照图2，图2为本发明视频传输方法 第一实施例的流程示意图。

该视频传输方法包括：

步骤S101，获取目标全景视频的待传输视频片段，以及所述待传输视频 片段中各个视频帧对应的基础图块；

本实施例中，在传输目标全景视频时，先确定目标全景视频中当前的待 传输视频片段，具体地，将完整的目标全景视频以相同的时间间隔等分为多 段(例如I段)Segment，每一段Segment为一个视频片段，每一个视频片段 为由相同数量的f个视频帧组成的序列，待传输视频片段为多段Segment中当 前需要传输的视频片段。

然后，确定待传输视频片段中各个视频帧对应的基础图块，具体地，可 以根据预设规则将待传输视频片段中每个被映射到二维平面上的视频帧分割 为数个能够被独立编解码的矩形的基础图块(base-tile)。

需要说明的是，在传输目标全景视频之前，先获取上一个传输完成的全 景视频所对应的奖励信息，根据该奖励信息更新强化学习模型的分割模型， 得到目标强化学习模型。

步骤S102，基于所述目标全景视频对应的目标用户的历史视点轨迹，通 过目标强化学习模型的分割模型对所述基础图块进行分割，以获得各个基础 图块对应的子图块；

本实施例中，在获取到待传输视频片段的基础图块时，获取目标全景视 频对应的目标用户的历史视点轨迹，具体地，通过目标全景视频对应的播放 设备获取目标用户的历史视点轨迹，目标用户为该播放设备的观看用户，历 史视点轨迹可以为当前时刻之前预设时长内观看该播放设备的视点轨迹，若 该观看设备中播放模块的启动时长小于预设时长，则可将上一次播放全景视 频时播放结束时刻之前预设时长内用户的视点轨迹作为该历史视点轨迹。

在获取到历史视点轨迹时，基于该历史视点轨迹通过目标强化学习模型 的分割模型对所述基础图块进行分割，以获得各个基础图块对应的子图块； 具体地，先根据历史视点轨迹确定基础图块中各个图块区域对应的预测观看 概率，并基于各个预测观看概率所属的观看概率范围以及图块区域，通过分 割模型确定基础图块对应的图块，即将基础图块分割成多个图块，并基于图 块对应的观看概率范围通过分割模型确定各个图块对应的图像质量，以获得 各个基础图块对应的子图块，也就是说基础图块对应的子图块中每一个子图 块具有独立的图像质量，预测观看概率越大的图块区域对应的子图块的图像 质量越高，即随着图块区域的预测观看概率逐渐增大，图块区域对应的子图 块的图像质量逐渐增大。

步骤S103，基于所述待传输视频片段对应的历史带宽信息，通过目标强 化学习模型的质量分配模型确定各个子图块对应的比特率；

本实施例中，在获取到各个基础图块对应的子图块时，获取待传输视频 片段对应的历史带宽信息，该历史带宽信息为当前时刻之前预设时间间隔内 向该播放设备传输全景视频的带宽信息，若该观看设备中播放模块的启动时 长小于预设时间间隔，则可将上一次播放全景视频时播放结束时刻之前预设 时间间隔内传输全景视频的带宽信息作为历史带宽信息。

在获取到历史带宽信息时，基于该历史带宽信息通过目标强化学习模型 的质量分配模型确定各个子图块对应的比特率，具体地，根据历史带宽信息 进行带宽预测得到预测带宽信息，然后基于预测带宽信息以及各个子图块对 应的预测观看概率，通过强化学习模型确定各个子图块对应的比特率，例如， 各个子图块对应的比特率之和小于预设带宽信息对应的预测带宽，预测观看 概率越大的图块区域对应的子图块的比特率越高，即随着图块区域的预测观 看概率逐渐增大，图块区域对应的子图块的比特率逐渐增大。

步骤S104，基于所述比特率以及所述子图块传输所述待传输视频片段至 所述目标用户对应的目标终端。

本实施例中，在获取到子图块的比特率时，基于比特率以及所述子图块 传输所述待传输视频片段至目标用户对应的目标终端(播放设备)，能够根 据历史视点轨迹为RoI分配较高的分辨率，而为待传输视频片段中的非RoI 分配较低的分辨率，避免在传输待传输视频片段时出现流量浪费的情况，通 过避免用户在观看目标全景视频时出现卡顿现象，提高用户的观看体验。

本实施例提出的视频传输方法，通过获取目标全景视频的待传输视频片 段，以及所述待传输视频片段中各个视频帧对应的基础图块；接着基于所述 目标全景视频对应的目标用户的历史视点轨迹，通过目标强化学习模型的分 割模型对所述基础图块进行分割，以获得各个基础图块对应的子图块；而后 基于所述待传输视频片段对应的历史带宽信息，通过目标强化学习模型的质 量分配模型确定各个子图块对应的比特率；然后基于所述比特率以及所述子 图块传输所述待传输视频片段至所述目标用户对应的目标终端，能够根据历 史视点轨迹为RoI分配较高的分辨率以及图像质量，而为待传输视频片段中 的非RoI分配较低的分辨率，避免在传输待传输视频片段时出现流量浪费的 情况，同时避免用户在观看目标全景视频时出现卡顿现象，提高用户的观看 体验。

基于第一实施例，提出本发明视频传输方法的第二实施例，在本实施例 中，步骤S102包括：

步骤S201，将历史视点轨迹输入第一LSTM长短期记忆网络模型进行模 型训练，以获得各个所述基础图块中各个图块区域对应的预测观看概率；

步骤S202，基于各个预测观看概率所属的观看概率范围以及所述图块区 域，通过所述分割模型确定所述基础图块对应的图块；

步骤S203，基于所述图块对应的观看概率范围，通过所述分割模型确定 各个图块对应的图像质量，以获得各个基础图块对应的子图块。

本实施例中，第一LSTM长短期记忆网络模型可以属于目标强化学习模 型，即目标强化学习模型还包括第一LSTM，在获取到历史视点轨迹时，先 将将历史视点轨迹输入第一LSTM长短期记忆网络模型进行模型训练，得到 第一模型训练结果，该第一模型训练结果即为各个所述基础图块中各个图块 区域对应的预测观看概率。

接着，确定各个预测观看概率所属的观看概率范围，并基于各个预测观 看概率所属的观看概率范围以及所述图块区域，通过分割模型确定基础图块 对应的图块；具体地，将第一LSTM的输出即各个预测观看概率以及基础图 块的图块区域输入分割模型，通过分割模型对各个基础图块进行分割训练， 得到的模型训练结果即为各个基础图块对应的图块，对于每一个基础图块， 可以将其中属于同一观看概率范围的连续区域作为一个图块，例如，参照图3， 图3中D_b、D_v、D_h、D_q为基础图块分割为各个图块的示意图。

而后，基于所述图块对应的观看概率范围，通过所述分割模型确定各个 图块对应的图像质量，以获得各个基础图块对应的子图块，具体的，分割模 型还对各个图快进行图像质量的确定，也就是说，子图块为图像质量已确定 的图快，基础图块对应的子图块中每一个子图块具有独立的图像质量，预测 观看概率越大的图块区域对应的子图块的图像质量越高，即随着图块区域的 预测观看概率逐渐增大，图块区域对应的子图块的图像质量逐渐增大。

本实施例提出的视频传输方法，通过将历史视点轨迹输入第一LSTM长 短期记忆网络模型进行模型训练，以获得各个所述基础图块中各个图块区域 对应的预测观看概率；接着基于各个预测观看概率所属的观看概率范围以及 所述图块区域，通过所述分割模型确定所述基础图块对应的图块；而后基于 所述图块对应的观看概率范围，通过所述分割模型确定各个图块对应的图像 质量，以获得各个基础图块对应的子图块，通过预测观看概率对基础图块进 行分割以及图像质量的分配，能够根据历史视点轨迹为RoI分配较高的图像质量，而为待传输视频片段中的非RoI分配较低的图像质量，避免在传输待 传输视频片段时出现流量浪费的情况，同时避免用户在观看目标全景视频时 出现卡顿现象，进一步提高用户的观看体验。

基于第一实施例，提出本发明视频传输方法的第三实施例，在本实施例 中，步骤S103包括：

步骤S301，将所述历史带宽信息输入第二LSTM模型进行模型训练，以 获得预测带宽信息；

步骤S302，基于所述预测带宽信息以及各个子图块对应的预测观看概率， 通过强化学习模型确定各个子图块对应的比特率

本实施例中，在获取到各个基础图块对应的子图块时，获取待传输视频 片段对应的历史带宽信息，该历史带宽信息为当前时刻之前预设时间间隔内 向该播放设备传输全景视频的带宽信息，若该观看设备中播放模块的启动时 长小于预设时间间隔，则可将上一次播放全景视频时播放结束时刻之前预设 时间间隔内传输全景视频的带宽信息作为历史带宽信息。

在获取到历史带宽信息时，基于该历史带宽信息通过目标强化学习模型 的质量分配模型确定各个子图块对应的比特率，具体地，根据历史带宽信息 进行带宽预测得到预测带宽信息，然后基于预测带宽信息以及各个子图块对 应的预测观看概率，通过强化学习模型确定各个子图块对应的比特率，例如， 各个子图块对应的比特率之和小于预设带宽信息对应的预测带宽，预测观看 概率越大的图块区域对应的子图块的比特率越高，即随着图块区域的预测观 看概率逐渐增大，图块区域对应的子图块的比特率逐渐增大。

本实施例提出的视频传输方法，通过将所述历史带宽信息输入第二LSTM 模型进行模型训练，以获得预测带宽信息；接着基于所述预测带宽信息以及 各个子图块对应的预测观看概率，通过强化学习模型确定各个子图块对应的 比特率，能够根据预测观看概率为RoI分配较高的比特率，而为待传输视频 片段中的非RoI分配较低的比特率，避免在传输待传输视频片段时出现流量 浪费的情况，同时避免用户在观看目标全景视频时出现卡顿现象，进一步提 高用户的观看体验。

基于第一实施例，提出本发明视频传输方法的第四实施例，在本实施例 中，步骤S104之后，该视频传输方法还包括：

步骤S401，获取所述待传输视频片段对应的观看体验信息以及所述带宽 利用率，并基于所述观看体验信息以及所述带宽利用率确定所述待传输视频 片段对应的第一奖励信息；

步骤S402，基于各个子图块对应的编码效率惩罚信息以及带宽浪费惩罚 信息，确定各个子图块对应的第二奖励信息，并基于各个所述子图块的窗口 质量、窗口平滑度以及子卡顿时间信息，确定各个子图块对应的第三奖励信 息；

步骤S403，关联存储所述第一奖励信息、第二奖励信息以及第三奖励信 息至预设存储区域。

本实施例中，在传输该待传输视频片段之后，获取所述待传输视频片段 对应的观看体验信息以及所述带宽利用率，具体地，先基于待传输视频片段 对应的视口平均质量、平滑度以及视频视口的质量空间变化信息，确定该待 传输视频片段对应的卡顿时间信息，基于卡顿时间信息、视口平均质量、平 滑度以及视频视口的质量空间变化信息确定对应的观看体验信息，基于用户 视点轨迹、子图块对应的第一子存储空间信息以及基础图块对应的第一存储 空间信息确定对应的带宽利用率，而后基于观看体验信息以及带宽利用率确定待传输视频片段对应的第一奖励信息，其中，第一奖励信息R_i的公式为：

R_i＝Q_i+μE_i；

其中，Q_i为观看体验信息(即用户的加权QoE)，E_i为带宽利用率，μ 为E_i的权重系数。

接着，基于各个子图块对应的编码效率惩罚信息以及带宽浪费惩罚信息， 确定各个子图块对应的第二奖励信息，并基于各个所述子图块的窗口质量、 窗口平滑度以及子卡顿时间信息，确定各个子图块对应的第三奖励信息；其 中，第二奖励信息以及第三奖励信息的公式为：

其中，

为第二奖励信息，

为第三奖励信息，

是带宽效率的权重 系数；

为编码效率惩罚信息，

为带宽浪费惩罚信息；

分 别为子图块的窗口质量、窗口平滑度以及子卡顿时间信息，η₁为窗口质量的 权重系数、η₂为窗口平滑度的权重系数、η₄为子卡顿时间信息的权重系数； 其中，

其中，i为待传输视频片段在目标全景视频中的序号，j为子图块的序号， j∈[0,J-1]，k为基础图块的序号，k∈[0,K-1]，W_i,k为该待传输视频片段中第k 个基础图块所包含的所有子图块的查看概率(预测观看概率)对应的概率向 量，Wi为各个基础图块的查看概率，w_i,j为第j个子图块对应的权重，q_i,j为第 j个子图块的第一图像质量信息，φ2、φ3是带宽效率的权重系数；z_i,j为第j 个子图块的第一子存储空间信息，b_i,j-1为第j-1个子图块的缓冲区信息，p_i为 预测带宽均值；

为第k个基础图块的存储空间信息，

为第k个基础图块中所 有子图块的存储空间信息之和，

为当前待传输视频片段对应的前一个视 频片段的视口平均质量。

然后，关联存储所述第一奖励信息、第二奖励信息以及第三奖励信息至 预设存储区域，便于在后续传输其他全景视频时，基于该目标全景视频中各 个视频片段的第一奖励信息、第二奖励信息以及第三奖励信息更新强化学习 模型。

本实施例提出的视频传输方法，通过获取所述待传输视频片段对应的观 看体验信息以及所述带宽利用率，并基于所述观看体验信息以及所述带宽利 用率确定所述待传输视频片段对应的第一奖励信息；接着基于各个子图块对 应的编码效率惩罚信息以及带宽浪费惩罚信息，确定各个子图块对应的第二 奖励信息，并基于各个所述子图块的窗口质量、窗口平滑度以及子卡顿时间 信息，确定各个子图块对应的第三奖励信息；而后关联存储所述第一奖励信 息、第二奖励信息以及第三奖励信息至预设存储区域，通过关联存储待传输 视频片段的第一奖励信息、第二奖励信息以及第三奖励信息，便于后续通过 该目标全景视频中各个视频片段的奖励信息对强化学习模型进行更新，提高 强化学习模型的准确性，进一步提高用户的观看体验。

基于第四实施例，提出本发明视频传输方法的第五实施例，在本实施例 中，步骤S401包括：

步骤S501，获取所述待传输视频片段对应的视口平均质量、平滑度以及 视频视口的质量空间变化信息，并获取所述待传输视频片段对应的卡顿时间 信息；

步骤S502，基于所述卡顿时间信息、视口平均质量、平滑度以及视频视 口的质量空间变化信息，确定所述待传输视频片段对应的观看体验信息；

步骤S503，基于所述用户视点轨迹、所述子图块对应的第一子存储空间 信息以及所述基础图块对应的第一存储空间信息，确定所述待传输视频片段 对应的带宽利用率。

本实施例中，先获取所述待传输视频片段对应的视口平均质量、平滑度 以及视频视口的质量空间变化信息，具体地，该步骤S501包括：

步骤S5011，获取所述子图块对应的第一子存储空间信息，基于所述第一 子存储空间信息确定各个所述子图块对应的第一图像质量信息；

步骤S5012，获取所述待传输视频片段对应的用户视点轨迹，基于所述用 户视点轨迹以及所述视频帧的数量，确定确定各个所述子图块对应的权重信 息；

步骤S5013，基于所述子图块对应的权重信息以及所述第一图像质量信 息，确定所述待传输视频片段对应的视口平均质量、平滑度以及视频视口的 质量空间变化信息。

本实施例中，获取所述子图块对应的第一子存储空间信息z_i,j，基于所述 第一子存储空间信息确定各个所述子图块对应的第一图像质量信息，该第一 图像质量信息的公式为：

其中，i为待传输视频片段在目标全景视频中的序号，i∈[0,I-1]，j为子 图块的序号，j∈[0,J-1]，q_i,j为第j个子图块的第一图像质量信息，z_i,j为第j 个子图块的第一子存储空间信息，Z_i,j为z_i,j的集合，supZ_i,j为取z_i,j的集合中的 最大值。

接着，获取所述待传输视频片段对应的用户视点轨迹，基于用户视点轨 迹以及视频帧的数量，确定确定各个子图块对应的权重信息，该权重信息的 公式为：

其中，w_i,j为第j个子图块对应的权重信息，f为待传输视频片段中视频帧 的数量，T_i,j为第j个子图块，S_i为待传输视频片段，v_i,j为第j个子图块的视 野权重，对于每一个T_i,j而言，若根据用户视点轨迹确定该T_i,j在用户的视野 范围内，则该T_i,j对应的v_i,j为1，否则该T_i,j对应的v_i,j为0。

而后，基于所述子图块对应的权重信息以及所述第一图像质量信息，确 定所述待传输视频片段对应的视口平均质量、平滑度以及视频视口的质量空 间变化信息，其中，视口平均质量、平滑度以及视频视口的质量空间变化信 息的公式依次为：

其中，

分别为视口平均质量、平滑度以及视频视口的质量空 间变化信息，i为待传输视频片段在目标全景视频中的序号，i∈[0,I-1]，j为 子图块的序号，j∈[0,J-1]，w_i,j为第j个子图块对应的权重信息，q_i,j为第j个 子图块的第一图像质量信息，w_i-1,j为该待传输视频片段对应的前一视频片段 中第j个子图块对应的权重信息，q_i-1,j为该待传输视频片段对应的前一视频片 段中第j个子图块的第一图像质量信息，w_i,h为第j个子图块相邻的子图块对 应的权重信息，q_i,h为第j个子图块相邻的子图块对应的第一图像质量信息，H 为第j个子图块对应的相邻子图块的数量，相邻是指在基础图块中与子图块相邻，即H为第j个子图块对应基础图块中与该第j个子图块相邻的子图块的数 量。

本实施例中，可以根据第一图像质量信息以及权重信息准确获取到视口 平均质量、平滑度以及视频视口的质量空间变化信息。

其中，获取所述待传输视频片段对应的卡顿时间信息的步骤包括：

步骤S5015，获取所述待传输视频片段对应的预测带宽均值以及所述基础 图块对应的第一存储空间信息；

步骤S5016，基于所述预测带宽均值以及所述第一存储空间信息确定下载 各个基础图块时的第一缓冲区信息；

步骤S5017，基于所述第一缓冲区信息、预测带宽均值以及第一存储空间 信息，确定所述待传输视频片段的卡顿时间信息。

本实施例中，先获取待传输视频片段对应的预测带宽均值、所述基础图 块对应的第一存储空间信息，以及待传输视频片段之前一个视频片段中最后 一个基础图块对应的第二存储空间信息，其中，若待传输视频片段为目标全 景视频的首个视频片段，则可将目标全景视频之前的一个全景视频中最后一 个视频片段的最后一个基础图块对应的存储空间信息作为第二存储空间信 息。

接着，基于所述预测带宽均值以及所述第一存储空间信息确定下载各个 基础图块时的第一缓冲区信息，具体地，该第一缓冲区信息的公式为：

其中，b_i为第i个基础图块的第一缓冲区信息，b_i-1为第i-1个基础图块的 第一缓冲区信息，z_i为第i个基础图块的第一存储空间信息，p_i为预测带宽均 值，Δt为网络延迟。

接着，基于所述第一缓冲区信息、预测带宽均值以及第一存储空间信息， 确定所述待传输视频片段的卡顿时间信息，卡顿时间信息的公式为：

其中，

为卡顿时间信息，b_i-1第i-1个基础图块的第一缓冲区信息。

其他实施例中，还可以获取子图块的第二子存储空间信息，并基于所述 预测带宽均值以及第二子存储空间信息确定下载各个子图块时的第二缓冲区 信息；其中，第二缓冲区信息的公式为：

b_i,j为第j个子图块的第二缓冲区信息，b_i,j-1为第j-1个子图块的第二缓冲 区信息，z_i,j为第j个子图块的第一子存储空间信息，p_i为预测带宽均值。

接着，基于所述卡顿时间信息、视口平均质量、平滑度以及视频视口的 质量空间变化信息，确定所述待传输视频片段对应的观看体验信息；其中， 观看体验信息的公式为：

其中，Q_i为观看体验信息，η₁、η₂、η₃、η₄为系数。

基于所述用户视点轨迹、所述子图块对应的第一子存储空间信息以及所 述基础图块对应的第一存储空间信息，确定所述待传输视频片段对应的带宽 利用率，其中，带宽利用率的公式为：

其中，E_i为带宽利用率。

本实施例提出的视频传输方法，通过获取所述待传输视频片段对应的视 口平均质量、平滑度以及视频视口的质量空间变化信息，并获取所述待传输 视频片段对应的卡顿时间信息；接着基于所述卡顿时间信息、视口平均质量、 平滑度以及视频视口的质量空间变化信息，确定所述待传输视频片段对应的 观看体验信息；而后基于所述用户视点轨迹、所述子图块对应的第一子存储 空间信息以及所述基础图块对应的第一存储空间信息，确定所述待传输视频 片段对应的带宽利用率，能够准确得到待传输视频片段对应的观看体验信息 以及带宽利用率，进而提高奖励信息的准确性，便于后续通过该目标全景视 频中各个视频片段的奖励信息对强化学习模型进行更新，提高强化学习模型 的准确性，进一步提高用户的观看体验。

基于上述各个实施例，提出本发明视频传输方法的第六实施例，在本实 施例中，步骤S101之前，该视频传输方法还包括：

步骤S601，在所述目标全景视频传输时，获取所述目标全景视频之前的 全景视频对应的第一奖励信息、第二奖励信息以及第三奖励信息；

步骤S602，基于所述第一奖励信息、第二奖励信息以及第三奖励信息， 更新所述强化学习模型的分割模型以及质量分配模型，获得目标强化学习模 型。

本实施例中，在每次传输新的全景视频时，即在目标全景视频传输时， 获取所述目标全景视频之前的全景视频对应的第一奖励信息、第二奖励信息 以及第三奖励信息，并基于第一奖励信息、第二奖励信息以及第三奖励信息， 更新所述强化学习模型的分割模型以及质量分配模型，将更新后的模型作为 目标强化学习模型，通过目标强化学习模型处理目标全景视频，进而在更好 调整强化学习每一动作策略的同时，也能有效获得最终每一视频片段观感体 验的最优策略。

本实施例提出的视频传输方法，通过在所述目标全景视频传输时，获取 所述目标全景视频之前的全景视频对应的第一奖励信息、第二奖励信息以及 第三奖励信息；接着基于所述第一奖励信息、第二奖励信息以及第三奖励信 息，更新所述强化学习模型的分割模型以及质量分配模型，获得目标强化学 习模型，进而在更好调整强化学习每一动作策略的同时，也能有效获得最终 每一视频片段观感体验的最优策略。

本发明还提供一种计算机可读存储介质。

本发明计算机可读存储介质上存储有视频传输程序，所述视频传输程序 被处理器执行时实现如上所述的视频传输方法的步骤。

其中，在所述处理器上运行的视频传输程序被执行时所实现的方法可参 照本发明视频传输方法各个实施例，此处不再赘述。

此外，本发明实施例还提出一种计算机程序产品，该计算机程序产品上 包括视频传输程序，所述视频传输程序被处理器执行时实现如上所述的视频 传输方法的步骤。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在 涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系 统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括 为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下， 由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物 品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通 过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的 技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、 磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机， 服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是 利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间 接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种视频传输方法，其特征在于，所述视频传输方法包括以下步骤：

获取目标全景视频的待传输视频片段，以及所述待传输视频片段中各个视频帧对应的基础图块；

基于所述目标全景视频对应的目标用户的历史视点轨迹，通过目标强化学习模型的分割模型对所述基础图块进行分割，以获得各个基础图块对应的子图块；

基于所述待传输视频片段对应的历史带宽信息，通过目标强化学习模型的质量分配模型确定各个子图块对应的比特率；

基于所述比特率以及所述子图块传输所述待传输视频片段至所述目标用户对应的目标终端。

2.如权利要求1所述的视频传输方法，其特征在于，所述基于所述目标全景视频对应的目标用户的历史视点轨迹，通过目标强化学习模型的分割模型对所述基础图块进行分割，以获得各个基础图块对应的子图块的步骤包括：

将历史视点轨迹输入第一LSTM长短期记忆网络模型进行模型训练，以获得各个所述基础图块中各个图块区域对应的预测观看概率；

基于各个预测观看概率所属的观看概率范围以及所述图块区域，通过所述分割模型确定所述基础图块对应的图块；

基于所述图块对应的观看概率范围，通过所述分割模型确定各个图块对应的图像质量，以获得各个基础图块对应的子图块。

3.如权利要求1所述的视频传输方法，其特征在于，所述基于所述待传输视频片段对应的历史带宽信息，通过目标强化学习模型的质量分配模型确定各个子图块对应的比特率的步骤包括：

将所述历史带宽信息输入第二LSTM模型进行模型训练，以获得预测带宽信息；

基于所述预测带宽信息以及各个子图块对应的预测观看概率，通过强化学习模型确定各个子图块对应的比特率。

4.如权利要求1所述的视频传输方法，其特征在于，所述基于所述比特率以及所述子图块传输所述待传输视频片段至所述目标用户对应的目标终端的步骤之后，还包括：

获取所述待传输视频片段对应的观看体验信息以及所述带宽利用率，并基于所述观看体验信息以及所述带宽利用率确定所述待传输视频片段对应的第一奖励信息；

基于各个子图块对应的编码效率惩罚信息以及带宽浪费惩罚信息，确定各个子图块对应的第二奖励信息，并基于各个所述子图块的窗口质量、窗口平滑度以及子卡顿时间信息，确定各个子图块对应的第三奖励信息；

关联存储所述第一奖励信息、第二奖励信息以及第三奖励信息至预设存储区域。

5.如权利要求4所述的视频传输方法，其特征在于，所述获取所述待传输视频片段对应的观看体验信息以及所述带宽利用率的步骤包括：

获取所述待传输视频片段对应的视口平均质量、平滑度以及视频视口的质量空间变化信息，并获取所述待传输视频片段对应的卡顿时间信息；

基于所述卡顿时间信息、视口平均质量、平滑度以及视频视口的质量空间变化信息，确定所述待传输视频片段对应的观看体验信息；

基于所述用户视点轨迹、所述子图块对应的第一子存储空间信息以及所述基础图块对应的第一存储空间信息，确定所述待传输视频片段对应的带宽利用率。

6.如权利要求5所述的视频传输方法，其特征在于，所述获取所述待传输视频片段对应的视口平均质量、平滑度以及视频视口的质量空间变化信息的步骤包括：

获取所述子图块对应的第一子存储空间信息，基于所述第一子存储空间信息确定各个所述子图块对应的第一图像质量信息；

获取所述待传输视频片段对应的用户视点轨迹，基于所述用户视点轨迹以及所述视频帧的数量，确定确定各个所述子图块对应的权重信息；

基于所述子图块对应的权重信息以及所述第一图像质量信息，确定所述待传输视频片段对应的视口平均质量、平滑度以及视频视口的质量空间变化信息。

7.如权利要求5所述的视频传输方法，其特征在于，所述获取所述待传输视频片段对应的卡顿时间信息的步骤包括：

获取所述待传输视频片段对应的预测带宽均值以及所述基础图块对应的第一存储空间信息；

基于所述预测带宽均值以及所述第一存储空间信息确定下载各个基础图块时的第一缓冲区信息；

基于所述第一缓冲区信息、预测带宽均值以及第一存储空间信息，确定所述待传输视频片段的卡顿时间信息。

8.如权利要求1至7任一项所述的视频传输方法，其特征在于，所述获取目标全景视频的待传输视频片段，以及所述待传输视频片段中各个视频帧对应的基础图块的步骤之前，还包括：

在所述目标全景视频传输时，获取所述目标全景视频之前的全景视频对应的第一奖励信息、第二奖励信息以及第三奖励信息；

基于所述第一奖励信息、第二奖励信息以及第三奖励信息，更新所述强化学习模型的分割模型以及质量分配模型，获得目标强化学习模型。

9.一种视频传输装置，其特征在于，所述视频传输装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频传输程序，所述视频传输程序被所述处理器执行时实现如权利要求1至8中任一项所述的视频传输方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有视频传输程序，所述视频传输程序被处理器执行时实现如权利要求1至8中任一项所述的视频传输方法的步骤。

Images