CN112565606A - 全景视频智能传输方法、设备及计算机存储介质 - Google Patents

Abstract

本发明公开了一种全景视频智能传输方法、设备及计算机存储介质。该方法应用于边缘设备，所述边缘设备在全景视频提供端和客户端之间传输全景视频数据；所述方法包括：获取客户端发送的预取视频请求；基于所述预取视频请求，根据图块获取策略生成图块获取请求并发送给所述全景视频提供端；接收全景视频提供端针对所述图块获取请求发送的图块数据；将所述图块数据拼接得到视频块后向客户端发送。上述方法可以有效节省带宽、和存储空间，同时也能提供快速的响应。

Description

全景视频智能传输方法、设备及计算机存储介质

技术领域

本发明涉及全景视频领域，尤其涉及一种全景视频智能传输方法、设备及计算机存储介质。

背景技术

随着消费电子和网络技术的迅猛发展，基于全景视频的虚拟现实技术正受到广泛关注。然而全景视频的传输过程存在超高分辨率、网络传输难等挑战。用户在任何时候只能通过HMD观看到整个全景视频的小部分，同时头戴式虚拟现实设备需要靠近用户眼睛播放全景视频，因此要求全景图像/视频的分辨率为4K(3840*1920)、8K(7680*3840)、甚至12K(11520*5760)等超高分辨率，这样全景视频才能更好地显示真实场景的细节。此外，当前的带宽环境不支持超高清全景视频的完整播放，而且持续变化的网络带宽容易导致全景视频播放卡顿。在多用户环境中，多个用户竞争网络带宽用于下载全景视频，如果仅仅利用各个用户的局部信息进行带宽预测，不仅容易错误预测带宽变化，还会产生大量的冗余流量。智能感知多个用户的状态、网络带宽变化等因素，为多个用户提高高质量的沉浸式体验，同时降低带宽需求和流畅传输全景视频，是本发明需要亟待解决的技术问题。

当前，全景视频传输方法主要有三大类：

1、与视口无关的方法，使用特定的投影方法(例如经纬图投影格式或立方体投影格式等)对全景视频进行投影编码，全景视频的每一个部分使用相同的码率进行编码。传输时不考虑任何视口方向，为用户完整传输全景视频流。主要的360°视频提供商(例如YouTube和Facebook)均采用了与视口无关的传输方法。该方法的问题是需要为用户同时提供不被观看到的内容，从而会浪费网络带宽资源；

2、视口驱动编码方法，将全景视频投影在特定的视口方向，依据视口方向为用户选择视频块。传统方法中有提供一种使用视口驱动编码的全景视频交付方法，为不同视口匹配固定数量的高质量全景视频流，全景视频播放器需要根据用户的观看方向选择合适的视频流。该方法的问题是需要服务端至少提前编码准备好30个以上不同视口方向的全景视频流，才能匹配任何观看方向过渡到另一个观看方向时的平滑质量变化，从而增大存储压力；

3、基于图块的视口自适应传输方法，将全景视频在时间维度上分为多块相同时长的视频块，然后对所有视频块使用多种码率进行重新编码，并将编码后的视频块在空间维度上均匀分割为多个相同大小的图块。客户端或者边缘设备可以将图块拼接得到完整视频块，然后在客户端进行播放。传统方法中有提出一种基于图块的视口自适应传输方法，通过预测未来数秒内可能的观看轨迹作为预测视口，仅为预测视口内传输高码率的图块而不为预测视口以外传输图块。该方法的问题是用户改变视口方向的速度有时会很快，该方法在视口预测错误时会让用户视口出现黑屏。

发明内容

有鉴于此，提供一种能够有效节省带宽和存储量的全景视频智能传输方法。

一种全景视频智能传输方法，应用于边缘设备，所述边缘设备在全景视频提供端和客户端之间传输全景视频数据；所述方法包括：

获取客户端发送的预取视频请求；

基于所述预取视频请求，根据图块获取策略生成图块获取请求并发送给所述全景视频提供端；其中，所述图块获取策略为：根据边缘设备自身以及边缘设备与全景视频提供端、客户端之间的工作状态信息，进行基于强化学习的全局码率分配，以对所请求视频块的每个图块分配预设的多个码率中的一个；图块的码率分配结果保存于所述图块获取请求中；

接收全景视频提供端针对所述图块获取请求发送的图块数据；

将所述图块数据拼接得到视频块后向客户端发送。

在其中一个实施例中，所述根据边缘设备自身以及边缘设备与全景视频提供端、客户端之间的工作状态信息，进行基于强化学习的全局码率分配，以对所请求视频块的每个图块分配预设的多个码率中的一个，包括：

获取所请求视频块在边缘设备中的缓存的命中情况、从全景视频提供端到边缘设备以及从边缘设备到客户端的传输量、全景视频播放进度、以及当前网络带宽状态，从中提取所需信息作为当前状态；

将所述当前状态输入深度神经网络，得到动作；其中，所述动作为生成图块的码率分配组合。

在其中一个实施例中，所述根据边缘设备自身以及边缘设备与全景视频提供端、客户端之间的工作状态信息，进行基于强化学习的全局码率分配，以对所请求视频块的每个图块分配预设的多个码率中的一个，还包括：

获取多个客户端对视口内容的平均观看感受、视口内容码率变化情况和卡顿情况，从中提取所需信息作为奖励；

根据所述奖励优化所述深度神经网络。

在其中一个实施例中，采用近端政策优化算法在神经网络训练过程中更新参数。

在其中一个实施例中，所述将所述当前状态输入深度神经网络，得到动作，包括：

为视频名称使用嵌入层获得第一特征向量；

对不同码率分配组合下从云端下载的图块文件传输量和发送到客户端的图块文件传输量、过去8次从边缘端到客户端下载的平均带宽和传输时长分别采用一维卷积层获得第二特征向量；

对平均缓存大小、剩余图块请求个数比例、和上一段平均视口码率分别使用全连接层获得第三特征向量；

将所述第一特征向量、第二特征向量以及第三特征向量混合并输入到一层全连接层进行特征融合，得到当前状态的向量；

接着当前状态向量与历史状态向量一同输入到长短期记忆层获得更新的状态向量；

所述更新的状态向量使用两个全连接层分别输出动作和状态值，其中状态值用于指导神经网络的决策过程。

在其中一个实施例中，所述当前网络带宽状况为最近预设时长内的平均网络带宽。

在其中一个实施例中，所述接收全景视频提供端针对所述图块获取请求发送的图块数据，包括：

当边缘设备的缓存不足以保存所有图块数据时，采用最近最少使用淘汰算法或者最不经常使用淘汰算法将缓存中的图块数据进行置换。

在其中一个实施例中，所述基于所述预取视频请求，根据图块获取策略生成图块获取请求并发送给所述全景视频提供端，之前还包括：

在缓存中查找所述预取视频请求对应的图块，若命中，则直接向客户端反馈；

其中，优先反馈当前最高码率图块。

一种全景视频系统，包括：

全景视频提供端，存储全景视频数据；所述全景视频数据的每个图块均以不同码率分别存储一份；

边缘设备，与所述全景视频提供端通信连接，用于执行上述的方法；

客户端，与所述边缘设备通信连接，从边缘设备获取视频块并输出全景视频。

一种计算机可读存储介质，其上存储有全景视频智能传输方法程序，该全景视频智能传输方法程序被处理器执行时实现上述的方法。

一种全景视频智能传输设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的全景视频智能传输方法程序，所述处理器执行所述全景视频智能传输方法程序时实现上述的方法。

通过在边缘设备在全景视频提供端和客户端之间传输全景视频数据，并采用该全景视频智能传输方法，可以使用边缘设备的存储和计算力，对客户端所需要的图块进行根据当前系统状态的适应性获取，相比与视口无关的传输，可以有效节省带宽；相比视口驱动编码方法，无需提前准备大量的本地全景视频流，可以节省存储空间；相比基于图块的视口自适应传输方法，无需预测观看轨迹，也能提供快速的响应，避免预测错误导致的黑屏。

附图说明

图1为一实施例的全景视频智能传输系统结构图；

图2为一实施例的全景视频智能传输方法流程图；

图3为图2中步骤S204的具体流程图；

图4为与图3对应的强化学习流程示意图；

图5为对强化学习模型的应用流程图；

图6为与图5对应的流程示意图；

图7为另一实施例的全景视频智能传输方法流程图；

图8为又一实施例的全景视频智能传输方法流程图。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例涉及一种全景视频智能传输系统，包括全景视频提供端、边缘设备以及客户端。所述边缘设备在全景视频提供端和客户端之间传输全景视频数据。所述边缘设备运行一种全景视频智能传输方法，包括：

获取客户端发送的预取视频请求。

基于所述预取视频请求，根据图块获取策略生成图块获取请求并发送给所述全景视频提供端；其中，所述图块获取策略为：根据边缘设备自身以及边缘设备与全景视频提供端、客户端之间的工作状态信息，进行基于强化学习的全局码率分配，以对所请求视频块的每个图块分配预设的多个码率中的一个；图块的码率分配结果保存于所述图块获取请求中。

接收全景视频提供端针对所述图块获取请求发送的图块数据。

将所述图块数据拼接得到视频块后向客户端发送。

通过在边缘设备在全景视频提供端和客户端之间传输全景视频数据，并采用该全景视频智能传输方法，可以使用边缘设备的存储和计算力，对客户端所需要的图块进行根据当前系统状态的适应性获取，相比与视口无关的传输，可以有效节省带宽；相比视口驱动编码方法，无需提前准备大量的本地全景视频流，可以节省存储空间；相比基于图块的视口自适应传输方法，无需预测观看轨迹，也能提供快速的响应，避免预测错误导致的黑屏。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

如图1所示，为一实施例的全景视频智能传输系统。该全景视频系统100包括全景视频提供端110、边缘设备120以及客户端130。

全景视频提供端100一般位于远端，例如可以是云端或者专用服务器，以提供多用户的远程数据服务。全景视频提供端100存储全景视频数据。全景视频，是指可以最多以360度视角转向观看的视频。由于需要转动视角观看，所以不能一次性看全所有视频画面。用户通过视口观看所有画面的一部分，当转动视角时，视口位置发生变化，从而使观看画面转移到另一部分。

在本申请的实施例中，所述全景视频数据的每个图块均以不同码率分别存储一份。全景视频在时间维度上分为多块视频块，一般具有相同时长。每个视频块使用多种码率进行编码，并将编码后的视频块在空间维度上均匀分割为多个相同大小的图块。因此，对于相同的视频画面，可能存储为不同码率的图块。

边缘设备120与所述全景视频提供端100通信连接，为保证通信可靠性，可以采用有线连接。边缘设备120比较靠近用户。边缘设备120具有一定的存储能力和计算能力。多个边缘设备120可以与同一全景视频提供端100连接。

客户端130，与所述边缘设备120通信连接，可以采用有线或无线连接。客户端130从边缘设备120获得视频块后，供用户观看。客户端130例如可以包括虚拟现实(VirtualReality，VR)设备。从边缘设备120获取视频块并输出全景视频。多个客户端130可以与多个边缘设备120连接。

对于具有存储能力和计算能力的边缘设备120，其可以包括：

输入设备，向边缘设备120输入数据和信息的设备。是边缘设备120与用户或其他设备通信的桥梁。输入设备是用户和边缘设备120之间进行信息交换的主要装置之一。键盘、鼠标、摄像头、扫描仪、光笔、手写输入板、游戏杆、语音输入装置等都属于输入设备。输入设备是人或外部与边缘设备120进行交互的一种装置，用于把原始数据和处理这些数据的程序输入到边缘设备120中。边缘设备120能够接收各种各样的数据，既可以是数值型的数据，也可以是各种非数值型的数据，如图形、图像、声音等都可以通过不同类型的输入设备输入到边缘设备120中，进行存储、处理和输出。

输出设备，用于接收边缘设备120数据的输出显示、打印、声音、控制外围设备操作等。也是把各种计算结果数据或信息以数字、字符、图像、声音等形式表现出来。常见的输出设备有显示器、打印机、绘图仪、影像输出系统、语音输出系统、磁记录设备等。

该边缘设备120还包括至少一个处理器、存储器。

处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

可以理解，本发明实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ReadOnly Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DRRAM)。本发明实施例描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

如图2所示，一实施例的全景视频智能传输方法，应用于边缘设备120。所述方法包括：

步骤S202：获取客户端130发送的预取视频请求。

客户端130具有存储能力，其利用本地存储空间对传输过的图块进行缓存，当用户视口发生变化时，可以先从缓存中读取，如果缓存中存在当前视口下所需的图块，则无需通过边缘设备120从全景视频提供端110获得。从而能够提高效率。客户端130的预取视频请求发生于缓存空间有空闲时，例如客户端130刚刚开启，缓存空间为空；或者客户端130运行时间不长，缓存空间尚有剩余；或者缓存空间对长期未使用的图块进行了清理，留出了空间。

预取视频是获取下一个时段所需的视频块。预取视频到缓存中，可以提高效率。

边缘设备120可以连接多个客户端130。因此该预取视频请求可以来自任意客户端130。

步骤S204：基于所述预取视频请求，根据图块获取策略生成图块获取请求并发送给所述全景视频提供端110。

所述图块获取策略为：根据边缘设备自身以及边缘设备与全景视频提供端、客户端之间的工作状态信息，进行基于强化学习的全局码率分配，以对所请求视频块的每个图块分配预设的多个码率中的一个；图块的码率分配结果保存于所述图块获取请求中。

边缘设备120自身的工作状态信息，可以包括但不限于边缘设备120的缓存大小。边缘设备120与全景视频提供端110之间的工作状态信息，可以包括但不限于边缘设备120与全景视频提供端110之间的图块传输量。边缘设备120与客户端130之间的工作状态信息，可以包括但不限于边缘设备120与客户端130之间的图块传输量。

强化学习(Reinforcement Learning)是一种无监督的机器学习方法，其根据当前状态s，根据一定的策略采取行动a，生成新的状态s’，获得奖励r，根据奖励r调整策略后，再根据状态s’，采取行动a’，如此往复，最终获得状态与行动之间准确的映射。

本申请实施例根据从上述工作状态信息中提取的状态，采用基于强化学习的全局码率分配，获得客户端130所请求的视频块所对应的图块(即具有不同码率的图块的组合)。将所需图块及其码率信息，即图块的码率分配结果保存于图块获取请求中，发送给全景视频提供端110。

步骤S206：接收全景视频提供端110针对所述图块获取请求发送的图块数据。

边缘设备120发出图块获取请求后，全景视频提供端110根据该图块获取请求，即可从存储的全景视频数据中检索到相应的图块。然后发送给边缘设备120。边缘设备120接收图块数据并进行存储。

步骤S208：将所述图块数据拼接得到视频块后向客户端130发送。

边缘设备120进一步将图块数据拼接为视频块后发送给客户端130。

上述方法，通过在边缘设备在全景视频提供端和客户端之间传输全景视频数据，并采用该全景视频智能传输方法，可以使用边缘设备的存储和计算力，对客户端所需要的图块进行根据当前系统状态的适应性获取，可以有效节省带宽、和存储空间，同时也能提供快速的响应。

如图3所示，在一个实施例中，步骤S204包括：

步骤S302：获取所请求视频块在边缘设备中的缓存的命中情况、从全景视频提供端到边缘设备以及从边缘设备到客户端的传输量、全景视频播放进度、以及当前网络带宽状态，从中提取所需信息作为当前状态。

在基于强化学习的方法中，如何选取状态s是影响模型准确度的关键因素之一。本申请的实施例中，从所请求视频块在边缘设备中的缓存的命中情况、从全景视频提供端到边缘设备以及从边缘设备到客户端的传输量、全景视频播放进度、以及当前网络带宽状态等信息中提取所需信息作为当前状态，最能够实现较好的学习效果。

提取的所需信息例如可以是：

缓存命中：是；

从全景视频提供端110到边缘设备120的传输量：1000个图块；

从边缘设备120到客户端130的传输量：100个视频块；

全景视频播放进度：35％；

网络带宽：100Mbps。

上述信息可以组成一个状态向量，作为当前状态。

步骤S304：将所述当前状态输入深度神经网络，得到动作；其中，所述动作为生成图块的码率分配组合。

在强化学习模型生成后，可以直接将当前状态输入模型，即可得到动作。即生成图块的码率分配组合。

上述强化学习模型，除了在当前给出码率分配组合之外，还能够进一步进行学习，使得模型的精度更高。步骤S204可以进一步包括：

步骤S306：获取多个客户端130对视口内容的平均观看感受、视口内容码率变化情况和卡顿情况，从中提取所需信息作为奖励。

例如可以获得用户通过客户端130给予的观看评价，作为奖励维度之一。获取视口码率在设定时长内的变化幅度，然后进行打分，作为奖励维度之二。获取卡顿间隔、卡顿时长，计算综合得分，作为奖励维度之三。然后根据上述三个维度的信息，生成奖励。

步骤S308：根据所述奖励优化所述深度神经网络。将奖励r反馈给模型，更改策略，优化模型。

上述方法，给出了提取状态和奖励的关键信息，使得强化学习模型的训练更加有效。

在上述实施例中，可以采用近端政策优化(Proximal Policy Optimization，PPO)算法在神经网络训练过程中更新参数。算法执行过程如图4所示。在第t次执行全局码率分配算法时，以边缘缓存的命中情况、从云端到边缘端以及从边缘端到客户端的传输量、全景视频播放进度、以及当前网络带宽状态等因素作为状态s_t，输入神经网络，由神经网络输出动作a_t，该动作表示码率分配组合，即为每一个图块分配码率的组合。用户观看相应视频块时会反馈奖励r_t。

基于该近端政策优化算法，可以定义：

状态：包含视频名称、平均缓存大小、不同码率分配组合下从云端下载的图块文件传输量和发送到客户端的图块文件传输量、剩余图块请求个数比例、过去8次(或者其他合适次数)从边缘设备120到客户端130下载的平均带宽和传输时长、和上一段平均视口码率。其中，状态的前三项均可在图块获取请求中获得。上一段平均视口码率则是通过计算相应用户观看上一段视频块时平均视口码率获得，目的是使全局码率分配算法在决策时能够考虑码率波动因素。

动作：即为每一个图块分配码率的组合。一般来说，为预测视口内图块分配一个高码率，为剩余图块分配最低码率。对于任意用户来说，开始观看视频的时间可能差别很大，为了决策时准确获得最近一段时间的网络带宽变化情况，本申请固定所有人观看的第一段视频块的预测视口内码率为较高码率。

奖励：全局码率分配算法的质量评估指标分为三点：多个用户对视口内容的平均观看感受、视口内容码率是否平滑变化和卡顿时长。

如图5和图6所示，基于该近端政策优化算法，步骤S304可以包括：

步骤S502：为视频名称使用嵌入层(embedding layer)获得第一特征向量。

步骤S504：对不同码率分配组合下从云端下载的图块文件传输量和发送到客户端的图块文件传输量、从边缘端到客户端下载的平均带宽和传输时长(例如过去8次下载)分别采用一维卷积层(one-dimension convolution layer)获得第二特征向量。

步骤S506：对平均缓存大小、剩余图块请求个数比例、和上一段平均视口码率分别使用全连接层获得第三特征向量。

步骤S508：将所述第一特征向量、第二特征向量以及第三特征向量混合并输入到一层全连接层进行特征融合，得到当前状态的向量；

步骤S510：当前状态向量与历史状态向量一同输入到长短期记忆层获得更新的状态向量。

步骤S512：所述更新的状态向量使用两个全连接层分别输出动作和状态值，其中状态值用于指导神经网络的决策过程。

在上述实施例中，所述当前网络带宽状况可以是最近预设时长内的平均网络带宽。

如图7所示，另一实施例的全景视频智能传输方法，包括：

步骤S702：获取客户端发送的预取视频请求。

步骤S704：基于所述预取视频请求，根据图块获取策略生成图块获取请求并发送给所述全景视频提供端。其中，所述图块获取策略为：根据边缘设备自身以及边缘设备与全景视频提供端、客户端之间的工作状态信息，进行基于强化学习的全局码率分配，以对所请求视频块的每个图块分配预设的多个码率中的一个；图块的码率分配结果保存于所述图块获取请求中。

步骤S706：接收全景视频提供端针对所述图块获取请求发送的图块数据。

步骤S708：判断边缘设备的缓存是否能够保存所接收到达图块数据。当边缘设备的缓存不足以保存所有图块数据时，执行步骤S710。

步骤S710：采用最近最少使用淘汰算法或者最不经常使用淘汰算法将缓存中的图块数据进行置换。采用置换算法，以提高边缘设备120的缓存命中率。

步骤S712：将所述图块数据拼接得到视频块后向客户端发送。

本实施例在前述实施例的基础上增加了判断边缘设备缓存存储状况的步骤。采用置换算法，能够把用到较少的图块及时置换出去，提高边缘设备120的缓存命中率，且有效节约缓存空间。

如图8所示，又一实施例的全景视频智能传输方法，包括：

步骤S802：获取客户端发送的预取视频请求；

步骤S804：在缓存中查找所述预取视频请求对应的图块，若命中，则直接向客户端反馈；否则执行步骤S806。其中，优先反馈当前最高码率图块。

步骤S806：基于所述预取视频请求，根据图块获取策略生成图块获取请求并发送给所述全景视频提供端。其中，所述图块获取策略为：根据边缘设备自身以及边缘设备与全景视频提供端、客户端之间的工作状态信息，进行基于强化学习的全局码率分配，以对所请求视频块的每个图块分配预设的多个码率中的一个；图块的码率分配结果保存于所述图块获取请求中。

步骤S808：接收全景视频提供端针对所述图块获取请求发送的图块数据。

步骤S810：将所述图块数据拼接得到视频块后向客户端发送。

本实施例在前述实施例的基础上增加了判断边缘设备120中对所需图块在缓存中命中情况的步骤。边缘设备120中若已经存在所需的图块，则直接提供给客户端即可。在未命中的情况下，才需要进一步向全景视频提供端110获取所需图块。在本实施例中，如果图块在边缘设备120的缓存中命中，可能存在多个图块符合要求，即对于所要呈现的同一画面的同一部分来说，有多个具有不同码率的图块同时存在于缓存中，此时可以优先反馈当前码率最高的图块。一方面可以提供更高的视频观看体验，另一方面码率高的图块多次被命中选择，能提高其在缓存中的留存率，这样缓存中就总是能提供较高码率的图块。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种全景视频智能传输方法，其特征在于，应用于边缘设备，所述边缘设备在全景视频提供端和客户端之间传输全景视频数据；所述方法包括：

获取客户端发送的预取视频请求；

基于所述预取视频请求，根据图块获取策略生成图块获取请求并发送给所述全景视频提供端；其中，所述图块获取策略为：根据边缘设备自身以及边缘设备与全景视频提供端、客户端之间的工作状态信息，进行基于强化学习的全局码率分配，以对所请求视频块的每个图块分配预设的多个码率中的一个；图块的码率分配结果保存于所述图块获取请求中；

接收全景视频提供端针对所述图块获取请求发送的图块数据；

将所述图块数据拼接得到视频块后向客户端发送。

2.如权利要求1所述的全景视频智能传输方法，其特征在于，所述根据边缘设备自身以及边缘设备与全景视频提供端、客户端之间的工作状态信息，进行基于强化学习的全局码率分配，以对所请求视频块的每个图块分配预设的多个码率中的一个，包括：

获取所请求视频块在边缘设备中的缓存的命中情况、从全景视频提供端到边缘设备以及从边缘设备到客户端的传输量、全景视频播放进度、以及当前网络带宽状态，从中提取所需信息作为当前状态；

将所述当前状态输入深度神经网络，得到动作；其中，所述动作为生成图块的码率分配组合。

3.如权利要求2所述的全景视频智能传输方法，其特征在于，所述根据边缘设备自身以及边缘设备与全景视频提供端、客户端之间的工作状态信息，进行基于强化学习的全局码率分配，以对所请求视频块的每个图块分配预设的多个码率中的一个，还包括：

获取多个客户端对视口内容的平均观看感受、视口内容码率变化情况和卡顿情况，从中提取所需信息作为奖励；

根据所述奖励优化所述深度神经网络。

4.如权利要求2所述的全景视频智能传输方法，其特征在于，采用近端政策优化算法在神经网络训练过程中更新参数。

5.如权利要求2所述的全景视频智能传输方法，其特征在于，所述将所述当前状态输入深度神经网络，得到动作，包括：

为视频名称使用嵌入层获得第一特征向量；

对不同码率分配组合下从云端下载的图块文件传输量和发送到客户端的图块文件传输量、过去8次从边缘端到客户端下载的平均带宽和传输时长分别采用一维卷积层获得第二特征向量；

对平均缓存大小、剩余图块请求个数比例、和上一段平均视口码率分别使用全连接层获得第三特征向量；

将所述第一特征向量、第二特征向量以及第三特征向量混合并输入到一层全连接层进行特征融合，得到当前状态的向量；

接着当前状态向量与历史状态向量一同输入到长短期记忆层获得更新的状态向量；

所述更新的状态向量使用两个全连接层分别输出动作和状态值，其中状态值用于指导神经网络的决策过程。

6.如权利要求5所述的全景视频智能传输方法，其特征在于，所述接收全景视频提供端针对所述图块获取请求发送的图块数据，包括：

当边缘设备的缓存不足以保存所有图块数据时，采用最近最少使用淘汰算法或者最不经常使用淘汰算法将缓存中的图块数据进行置换。

7.如权利要求1所述的全景视频智能传输方法，其特征在于，所述基于所述预取视频请求，根据图块获取策略生成图块获取请求并发送给所述全景视频提供端，之前还包括：

在缓存中查找所述预取视频请求对应的图块，若命中，则直接向客户端反馈；

其中，优先反馈当前最高码率图块。

8.一种全景视频智能传输系统，其特征在于，包括：

全景视频提供端，存储全景视频数据；所述全景视频数据的每个图块均以不同码率分别存储一份；

边缘设备，与所述全景视频提供端通信连接，用于执行权利要求1～8任一项所述的方法；

客户端，与所述边缘设备通信连接，从边缘设备获取视频块并输出全景视频。

9.一种计算机可读存储介质，其特征在于，其上存储有全景视频智能传输方法程序，其特征在于，该全景视频智能传输方法程序被处理器执行时实现权利要求1～7任一所述的方法。

10.一种全景视频智能传输设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的全景视频智能传输方法程序，所述处理器执行所述全景视频智能传输方法程序时实现权利要求1～7任一所述的方法。

Images