CN109756540B - 一种全景视频传输方法、装置和计算机可读存储介质 - Google Patents

Abstract

本发明实施例提供了一种全景视频传输方法、装置和计算机可读存储介质，所述方法包括：对原始码率的每个视角的视频片段进行编码，得到与每个视角对应的多个不同码率的视频片段；将终端请求的视频片段的码率rq与对应视频片段的所述多个不同码率进行比较；确定所述rq处于所述多个不同码率中相邻的两个码率之间时，基于预设条件确定码率，并将该码率对应的视频片段转发给所述终端。

Description

一种全景视频传输方法、装置和计算机可读存储介质

技术领域

本发明涉及移动通信技术领域，尤其涉及一种全景视频传输方法、装置和计算机可读存储介质。

背景技术

视角(Field of View，FOV)传输方案主要传输当前视角中的可见画面，一般都是将360度全景视野划分为若干个视角，每个视角生成一个视频文件，所述视频文件中只包含视角内高分辨率视觉信息和高分辨率周围部分低分辨率视觉信息。终端根据用户当前视角姿态位置，向服务器请求对应的视频文件。

传统的视频缓存通过缓存辅助设备来完成，通过在设备上缓存视频来减少对视频服务器的请求，可增加用户体验。

传统的全景视频传输过程中服务器与基站之间的交互比较频繁，虽然可通过所述缓存辅助设备协助完成，但由于缓存辅助设备的容量有限，对带宽资源的占用仍然比较大，导致全景视频传输质量不能很好地满足用户体验。

发明内容

有鉴于此，本发明实施例期望提供一种全景视频传输方法、装置和计算机可读存储介质。

为达到上述目的，本发明实施例的技术方案是这样实现的：

本发明实施例提供了一种全景视频传输方法，该方法包括：

对原始码率的每个视角的视频片段进行编码，得到与每个视角对应的多个不同码率的视频片段；

将终端请求的视频片段的码率rq与对应视频片段的所述多个不同码率进行比较；确定所述rq处于所述多个不同码率中相邻的两个码率之间时，基于预设条件确定码率，并将该码率对应的视频片段转发给所述终端。

其中，所述每个视角对应的多个不同码率的视频片段按码率的大小顺序排序。

可选的，该方法还包括：

确定所述rq大于所述多个不同码率中的最大码率时，向基站请求码率为rq的视频片段，并转发给所述终端。

其中，所述确定所述rq处于所述多个不同码率中相邻的两个码率之间时，基于预设条件确定码率，包括：

将rq与所述相邻的两个码率中较小的码率进行比较作差，如果差值小于预先设定的阈值，则将该较小的码率对应的视频片段转发给所述终端；

如果差值大于等于预先设定的阈值，则将所述相邻的两个码率中较大的码率对应的视频片段编码为码率为所述rq的视频片段，并将所述码率rq对应的视频片段转发给所述终端。

可选的，该方法还包括：

确定所述rq小于所述多个不同码率中的任一码率时，则将所述多个不同码率中的任一码率对应的视频片段编码为码率为所述rq的视频片段，并将所述码率rq对应的视频片段转发给所述终端。

可选的，所述对原始码率的每个视角的视频片段进行编码之前，该方法还包括：

通过基站从视频服务器下载所述原始码率的每个视角的视频片段，并存储。

可选的，所述向基站请求码率为rq的视频片段之后，该方法还包括：

存储所述码率为rq的视频片段。

可选的，所述将所述相邻的两个码率中较大的码率对应的视频片段编码为码率为所述rq的视频片段之后，该方法还包括：

存储所述编码后码率为rq的视频片段。

本发明实施例还提供了一种全景视频传输装置，该装置包括：

编码模块，用于对原始码率的每个视角的视频片段进行编码，得到与每个视角对应的多个不同码率的视频片段；

比较模块，用于将终端请求的视频片段的码率rq与对应视频片段的所述多个不同码率进行比较；确定所述rq处于所述多个不同码率中相邻的两个码率之间时，基于预设条件确定码率，并将该码率对应的视频片段转发给所述终端。

本发明实施例还提供了一种全景视频传输装置，该装置包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，

其中，所述处理器用于运行所述计算机程序时，执行上述方法的步骤。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。

本发明实施例提供的全景视频传输方法、装置和计算机可读存储介质，对原始码率的每个视角的视频片段进行编码，得到与每个视角对应的多个不同码率的视频片段；将终端请求的视频片段的码率rq与对应视频片段的所述多个不同码率进行比较；确定所述rq处于所述多个不同码率中相邻的两个码率之间时，基于预设条件确定码率，并将该码率对应的视频片段转发给所述终端。本发明实施例本发明实施例可在基站与终端之间设置一设备(装置)，通过该设备(装置)为每个视角的视频片段提供多个不同码率，终端根据当前的网络状况请求特定码率的视频片段，以此来满足终端不同的网络状况，提高用户体验质量；相对传统方法来说，大大降低了服务器与基站之间的交互，节省带宽资源。

附图说明

图1为本发明实施例所述全景视频传输方法流程示意图；

图2为本发明实施例所述全景视频传输装置结构示意图；

图3为本发明一实施例的全景视频传输系统结构示意图；

图4为本发明一实施例所述对原始码率视频片段编码后的视频片段码率示意图；

图5为本发明一实施例所述基于编码辅助单元对不同码率FOV视频片段进行传输的方法流程示意图。

具体实施方式

下面结合附图和实施例对本发明进行描述。

本发明实施例提供了一种全景视频传输方法，如图1所示，该方法包括：

步骤101：对原始码率的每个视角的视频片段进行编码，得到与每个视角对应的多个不同码率的视频片段；

步骤102：将终端请求的视频片段的码率rq与对应视频片段的所述多个不同码率进行比较；确定所述rq处于所述多个不同码率中相邻的两个码率之间时，基于预设条件确定码率，并将该码率对应的视频片段转发给所述终端。

本发明实施例可在基站与终端之间设置一设备(装置)，通过该设备(装置)为每个视角的视频片段提供多个不同码率，终端根据当前的网络状况请求特定码率的视频片段，以此来满足终端不同的网络状况，提高用户体验质量；相对传统方法来说，大大降低了服务器与基站之间的交互，节省带宽资源。

本发明实施例中，所述每个视角对应的多个不同码率的视频片段按码率的大小顺序排序。

一个实施例中，该方法还包括：

确定所述rq大于所述多个不同码率中的最大码率时，向基站请求码率为rq的视频片段，并转发给所述终端。

一个实施例中，所述确定所述rq处于所述多个不同码率中相邻的两个码率之间时，基于预设条件确定码率，包括：

将rq与所述相邻的两个码率中较小的码率进行比较作差，如果差值小于预先设定的阈值，则将该较小的码率对应的视频片段转发给所述终端；

如果差值大于等于预先设定的阈值，则将所述相邻的两个码率中较大的码率对应的视频片段编码为码率为所述rq的视频片段，并将所述码率rq对应的视频片段转发给所述终端。

一个实施例中，该方法还包括：

确定所述rq小于所述多个不同码率中的任一码率时，则将所述多个不同码率中的任一码率对应的视频片段编码为码率为所述rq的视频片段，并将所述码率rq对应的视频片段转发给所述终端。

此外，还可将所述编码后的码率rq对应的视频片段进行存储。

一个实施例中，所述对原始码率的每个视角的视频片段进行编码之前，该方法还包括：

通过基站从视频服务器下载所述原始码率的每个视角的视频片段，并存储。

例如：开始设备(装置)中为空，当接收到终端的视频请求后，可下载对应的视频文件，并将视频文件中原始码率的每个视角的视频片段重新进行编码，得到所述与每个视角对应的多个不同码率的视频片段。

本发明实施例中，所述向基站请求码率为rq的视频片段之后，该方法还包括：

存储所述码率为rq的视频片段，以为后续终端提供更多的码率选择，满足更多的终端需求，进而进一步降低视频服务器与基站之间的交互，节省带宽资源。

本发明实施例中，所述将所述相邻的两个码率中较大的码率对应的视频片段编码为码率为所述rq的视频片段之后，该方法还包括：

存储所述编码后码率为rq的视频片段，以为后续终端提供更多的码率选择，满足更多的终端需求，进而进一步降低视频服务器与基站之间的交互，节省带宽资源。

本发明实施例还提供了一种全景视频传输装置，如图2所示，该装置包括：

编码模块201，用于对原始码率的每个视角的视频片段进行编码，得到与每个视角对应的多个不同码率的视频片段；

比较模块202，用于将终端请求的视频片段的码率rq与对应视频片段的所述多个不同码率进行比较；确定所述rq处于所述多个不同码率中相邻的两个码率之间时，基于预设条件确定码率，并将该码率对应的视频片段转发给所述终端。

本发明实施例可在基站与终端之间设置一设备(装置)，通过该设备(装置)为每个视角的视频片段提供多个不同码率，终端根据当前的网络状况请求特定码率的视频片段，以此来满足终端不同的网络状况，提高用户体验质量；相对传统方法来说，大大降低了服务器与基站之间的交互，节省带宽资源。

本发明实施例中，所述每个视角对应的多个不同码率的视频片段按码率的大小顺序排序。

一个实施例中，所述比较模块202，还用于确定所述rq大于所述多个不同码率中的最大码率时，向基站请求码率为rq的视频片段，并转发给所述终端。

一个实施例中，所述比较模块202确定所述rq处于所述多个不同码率中相邻的两个码率之间时，基于预设条件确定码率，包括：

将rq与所述相邻的两个码率中较小的码率进行比较作差，如果差值小于预先设定的阈值，则将该较小的码率对应的视频片段转发给所述终端；

如果差值大于等于预先设定的阈值，则将所述相邻的两个码率中较大的码率对应的视频片段编码为码率为所述rq的视频片段，并将所述码率rq对应的视频片段转发给所述终端。一个实施例中，该方法还包括：

一个实施例中，所述比较模块202，还用于确定所述rq小于所述多个不同码率中的任一码率时，则将所述多个不同码率中的任一码率对应的视频片段编码为码率为所述rq的视频片段，并将所述码率rq对应的视频片段转发给所述终端。

一个实施例中，所述编码模块201对原始码率的每个视角的视频片段进行编码之前，

还用于通过基站从视频服务器下载所述原始码率的每个视角的视频片段，并存储。

一个实施例中，所述比较模块202向基站请求码率为rq的视频片段之后，还用于存储所述码率为rq的视频片段。

一个实施例中，所述比较模块202将所述相邻的两个码率中较大的码率对应的视频片段编码为码率为所述rq的视频片段之后，

还用于存储所述编码后码率为rq的视频片段。

本发明实施例还提供了一种全景视频传输装置，该装置包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，

其中，所述处理器用于运行所述计算机程序时，执行：

对原始码率的每个视角的视频片段进行编码，得到与每个视角对应的多个不同码率的视频片段；

将终端请求的视频片段的码率rq与对应视频片段的所述多个不同码率进行比较；确定所述rq处于所述多个不同码率中相邻的两个码率之间时，基于预设条件确定码率，并将该码率对应的视频片段转发给所述终端。

其中，所述每个视角对应的多个不同码率的视频片段按码率的大小顺序排序。

所述处理器还用于运行所述计算机程序时，执行：

确定所述rq大于所述多个不同码率中的最大码率时，向基站请求码率为rq的视频片段，并转发给所述终端。

所述确定所述rq处于所述多个不同码率中相邻的两个码率之间，基于预设条件确定码率时，所述处理器还用于运行所述计算机程序时，执行：

将rq与所述相邻的两个码率中较小的码率进行比较作差，如果差值小于预先设定的阈值，则将该较小的码率对应的视频片段转发给所述终端；

如果差值大于等于预先设定的阈值，则将所述相邻的两个码率中较大的码率对应的视频片段编码为码率为所述rq的视频片段，并将所述码率rq对应的视频片段转发给所述终端。

所述处理器还用于运行所述计算机程序时，执行：

确定所述rq小于所述多个不同码率中的任一码率时，则将所述多个不同码率中的任一码率对应的视频片段编码为码率为所述rq的视频片段，并将所述码率rq对应的视频片段转发给所述终端。

所述对原始码率的每个视角的视频片段进行编码之前，所述处理器还用于运行所述计算机程序时，执行：

通过基站从视频服务器下载所述原始码率的每个视角的视频片段，并存储。

所述向基站请求码率为rq的视频片段之后，所述处理器还用于运行所述计算机程序时，执行：

存储所述码率为rq的视频片段。

所述将所述相邻的两个码率中较大的码率对应的视频片段编码为码率为所述rq的视频片段之后，所述处理器还用于运行所述计算机程序时，执行：

存储所述编码后码率为rq的视频片段。

需要说明的是：上述实施例提供的装置在进行全景视频传输时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将设备的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的装置与相应方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

在示例性实施例中，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备，如移动电话、计算机、平板设备、个人数字助理等。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，执行：

对原始码率的每个视角的视频片段进行编码，得到与每个视角对应的多个不同码率的视频片段；

将终端请求的视频片段的码率rq与对应视频片段的所述多个不同码率进行比较；确定所述rq处于所述多个不同码率中相邻的两个码率之间时，基于预设条件确定码率，并将该码率对应的视频片段转发给所述终端。

其中，所述每个视角对应的多个不同码率的视频片段按码率的大小顺序排序。

所述计算机程序被处理器运行时，还执行：

确定所述rq大于所述多个不同码率中的最大码率时，向基站请求码率为rq的视频片段，并转发给所述终端。

所述确定所述rq处于所述多个不同码率中相邻的两个码率之间，基于预设条件确定码率时，所述计算机程序被处理器运行时，还执行：

将rq与所述相邻的两个码率中较小的码率进行比较作差，如果差值小于预先设定的阈值，则将该较小的码率对应的视频片段转发给所述终端；

如果差值大于等于预先设定的阈值，则将所述相邻的两个码率中较大的码率对应的视频片段编码为码率为所述rq的视频片段，并将所述码率rq对应的视频片段转发给所述终端。

所述计算机程序被处理器运行时，还执行：

确定所述rq小于所述多个不同码率中的任一码率时，则将所述多个不同码率中的任一码率对应的视频片段编码为码率为所述rq的视频片段，并将所述码率rq对应的视频片段转发给所述终端。

所述对原始码率的每个视角的视频片段进行编码之前，所述计算机程序被处理器运行时，还执行：

通过基站从视频服务器下载所述原始码率的每个视角的视频片段，并存储。

所述向基站请求码率为rq的视频片段之后，所述计算机程序被处理器运行时，还执行：

存储所述码率为rq的视频片段。

所述将所述相邻的两个码率中较大的码率对应的视频片段编码为码率为所述rq的视频片段之后，所述计算机程序被处理器运行时，还执行：

存储所述编码后码率为rq的视频片段。

下面结合场景实施例对本发明进行描述。

本发明实施例通过在基站与终端之间添加编码辅助单元，该编码辅助单元既有传统缓存的存储功能，同时具有视频编码功能，可以将原始视频编码分割成多个不同码率的视频以供客户端的需求。编码辅助单元仅需要从服务器端下载一段高码率(原始码率)的全景视频，然后将其转码为多个不同低码率的全景视频。用户终端根据当前的网络状况去请求特定码率的全景视频片段，最终用户端获取到的特定码率的全景视频片段形成一个完整的视频。

图3为本发明一实施例的全景视频传输系统结构示意图，如图3所示，包括：编码辅助单元(设备)(Coding Henper)、基站(Base Station)、视频服务器(Video Server)和终端(Users)。基于传统全景视频传输系统，本发明实施例在基站与用户端添加编码辅助单元，编码辅助单元用于对全景视频文件进行存储和编码，可以将原始高视频编码成多个不同码率的视频以供客户端需求。编码辅助单元仅需要从服务器端下载一段高码率的全景视频，用户终端根据当前的网络状况去请求特定码率的全景视频文件，编码辅助单元此时将高码率的原始视频转码为不同较低的特定用户请求码率的全景视频。基站用于视频服务器与编码辅助单元之间的信息交换。

基于上述系统，本发明实施例提供了一种基于编码辅助单元对不同码率FOV视频片段进行传输的方法，如图5所示，包括以下步骤：

步骤501：将从视频服务器下载的原始码率的每个视角的视频片段进行编码，得到与每个视角对应的多个不同码率的视频片段；

这里，将编码辅助单元初始缓存的每个视角的视频片段进行编码，得到与每个视角对应的k个不同码率的视频片段，k个视频片段根据码率的大小按照由小到大的顺序升序排列，并按先后顺序将码率标记为r1，r2，……rk。如图4所示，相同视频片段(编号相同的FOV)对应从Low Rate到High Rate有多个码率。

为了进行后续计算可将其中用于与终端需求的FOV视频片段进行码率比较的视频片段的序号m置1，所述1≤m≤k。

步骤502：终端向编码辅助单元请求码率为rq的FOV视频片段；

需要说明的是，所述编码辅助单元中初始状态为空，到收到第一个终端的请求后，从基站侧获取相应视频文件并进行所述对所述原始码率的每个视角的视频片段进行编码，并存储相应视频片段，如果后续收到其他终端或该终端的其他视频请求，则可以从该编码辅助单元中获取相应视频片段，减少基站与视频服务器间的交互。

步骤503：判断终端请求的视频片段的码率rq是否大于编码辅助单元中该视频片段对应的最高码率，如果是，则执行步骤506；否则将rq与编码辅助单元中该视频片段对应的码率从低到高进行比较；

具体的：编码辅助单元将本地缓存的第m个和第m+1个视频片段的码率rm和rm+1与用户需求码率rq分别进行比较，如果rm<rq<rm+1，则执行步骤504；如果rq<rm，则执行步骤505；如果rq>rm+1，则序号m的数值增加1，对于新得到的序号m，如果m<k，则重复执行本步骤；如果m＝k，则执行步骤504；如果m>k，则执行步骤506。

步骤504：计算码率rq与rm的差值_Δr，判断该差值是否小于预设阈值，如果小于阈值，则将码率rm标记为rs(选取待发送给终端的视频片段的码率)；否则，执行步骤505；

这里，根据所述QoE函数：

以能够引起平均意见分(MOS)0.1分(即Q_k的值)的变动的码率差值作为阈值，如果_Δr小于码率差值的阈值，将码率集{r1，r2，……rk}中第m个FOV视频片段的码率rm标记为rn1，并将得到的rn1作为选取视频片段的码率rs，执行步骤507；如果_Δr大于或等于码率差值的阈值，继续比较序号m与编码辅助单元中缓存的FOV视频个数k的大小关系，如果m<k，执行步骤505；如果m大于或等于k，则执行步骤506。

步骤505：将码率为rm+1的视频片段重新编码为码率为rq的视频片段，并标记为rs后存储，之后执行步骤507；

具体的，可将码率为rm+1的FOV视频片段重新编码为较低的rq码率下的视频片段，将其码率标记为rn2，将rn2按照大小关系插入到码率集{r1，r2，……rk}中相应的位置，并将rn2作为选取视频片段的码率rs，之后执行步骤507。

步骤506：向基站请求码率为rq的视频片段，并标记为rs后存储，之后执行步骤507；

具体的，可向基站请求一个新的码率为rq的FOV视频片段，将其码率标记为rb，将rb按照大小关系插入到码率集{r1，r2，……rk}中相应的位置，并将rb作为选取视频片段的码率rs，执行步骤507。

步骤507：将选取的码率为rs的FOV视频片段发送给终端用户；

用户接收到FOV视频片段之后进行观看，当视角姿态位置发生改变时，终端用户向编码辅助单元发送当前视角姿态位置信息。

步骤508：重复步骤502到步骤507。

本发明实施例中的编码辅助单元会预先从视频服务器端下载高码率的视频文件，作为初始缓存；终端请求特定视角特定码率的全景视频后，编码辅助单元将该特定码率与本地缓存码率进行比较，并基于比较结果将相应码率的视频片段发送给终端。可见，所述编码辅助单元不仅具有传统缓存的存储功能，同时具有编码功能，以此来满足终端不同的网络状况，提高用户体验质量。同时，配合编码辅助单元的调度算法，使得整个系统在服务器与基站之间的负载流量大大降低，减少了带宽资源占用，提高了终端用户的体验。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (11)

1.一种全景视频传输方法，其特征在于，该方法包括：

对原始码率的每个视角的视频片段进行编码，得到与每个视角对应的多个不同码率的视频片段；

将终端请求的视频片段的码率rq与对应视频片段的所述多个不同码率进行比较；

确定所述rq处于所述多个不同码率中相邻的两个码率之间时，基于预设条件确定码率，并将该码率对应的视频片段转发给所述终端。

2.根据权利要求1所述的方法，其特征在于，

所述每个视角对应的多个不同码率的视频片段按码率的大小顺序排序。

3.根据权利要求1所述的方法，其特征在于，该方法还包括：

确定所述rq大于所述多个不同码率中的最大码率时，向基站请求码率为rq的视频片段，并转发给所述终端。

4.根据权利要求1所述的方法，其特征在于，所述确定所述rq处于所述多个不同码率中相邻的两个码率之间时，基于预设条件确定码率，包括：

将rq与所述相邻的两个码率中较小的码率进行比较作差，如果差值小于预先设定的阈值，则将该较小的码率对应的视频片段转发给所述终端；

如果差值大于等于预先设定的阈值，则将所述相邻的两个码率中较大的码率对应的视频片段编码为码率为所述rq的视频片段，并将所述码率rq对应的视频片段转发给所述终端。

5.根据权利要求1所述的方法，其特征在于，该方法还包括：

确定所述rq小于所述多个不同码率中的任一码率时，则将所述多个不同码率中的任一码率对应的视频片段编码为码率为所述rq的视频片段，并将所述码率rq对应的视频片段转发给所述终端。

6.根据权利要求1所述的方法，其特征在于，所述对原始码率的每个视角的视频片段进行编码之前，该方法还包括：

通过基站从视频服务器下载所述原始码率的每个视角的视频片段，并存储。

7.根据权利要求3所述的方法，其特征在于，所述向基站请求码率为rq的视频片段之后，该方法还包括：

存储所述码率为rq的视频片段。

8.根据权利要求4所述的方法，其特征在于，所述将所述相邻的两个码率中较大的码率对应的视频片段编码为码率为所述rq的视频片段之后，该方法还包括：

存储所述编码后码率为rq的视频片段。

9.一种全景视频传输装置，其特征在于，该装置包括：

编码模块，用于对原始码率的每个视角的视频片段进行编码，得到与每个视角对应的多个不同码率的视频片段；

比较模块，用于将终端请求的视频片段的码率rq与对应视频片段的所述多个不同码率进行比较；确定所述rq处于所述多个不同码率中相邻的两个码率之间时，基于预设条件确定码率，并将该码率对应的视频片段转发给所述终端。

10.一种全景视频传输装置，其特征在于，该装置包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，

其中，所述处理器用于运行所述计算机程序时，执行权利要求1-7中任一项所述方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-8中任一项所述方法的步骤。

Images