CN112218158B - 一种视频处理的方法及设备 - Google Patents

Abstract

本申请公开了一种视频处理的方法，VR终端可以通过一个请求从流媒体设备获取用户转后头的可视角度所对应的S个子区域的N个画面组序列，N个画面组序列包括与S个子区域一一对应的S个画面组，且S个画面组的序号相同，然后VR终端以全景的方式在S个子区域一一对应的显示S个画面组的视频内容。这种通过交织传输的方式将各子区域中的相同序号的画面组交织在一起传输，确保相同序号的画面组可以在各对应子区域同时显示，克服了同步困难的问题，另外，对一组序号相同的GOP解码后就可以显示，保证了低MTHR。

Description

一种视频处理的方法及设备

技术领域

本申请涉及视频处理技术领域，具体涉及一种视频处理的方法及设备。

背景技术

目前高清(high definition，HD)/4K的视频技术已基本完成部署，内容分发网络(content delivery network，CDN)的发展逐步进入瓶颈，迫切需要寻找新的业务增长点。而随着虚拟现实(virtual reality，VR)技术的逐步成熟，VR业务对于视频服务提供商提升用户粘性，实现价值变现，有着巨大的推动作用。

4K VR在用户视野内仅相当于240P电视的效果，无法满足用户的基本体验要求，为了达成良好的VR体验，全景超高清(8K)码率是入门级VR的基础条件。8K VR可以基于可视角度(field of view，FOV)编码技术，简单的说，FOV编码就是把一帧8K图像分割成若干个子图像，每一个子图像都可以独立编解码，集中若干个子图像可以还原出原始8K图像的一部分，这样就可以只传输和解码用户视野方位内的子图像，这样不但可以降低传输带宽的需求，还可以降低终端的解码压力。

实验证明低于20ms的转头时延(motion to photon，MTP)，可以降低用户使用VR终端时产生的眩晕问题，为了保证MTP不大于20ms，FOV编码会把8K全景视频的图像转换成1个4K/HD背景流+若干个8K子图像的分片流。当用户转头时，终端会首先播放背景视频，然后请求转头所产生的新视角所对应的子图像，在收齐子图像后加以播放，就可以转换为8K的视频，这种处理方式虽然可以保证转头低时延，但会导致并发请求数、并发连接数，以及各子图像同步难度的增加，而且从4K到8K的转头高清显示时延(motion to hireslatency，MTHR)也比较大，导致VR全景视频的显示效果不佳。

发明内容

本申请实施例提供一种视频处理的方法，可以在保证转头低时延的前提下，用较少资源开销就能保证低MTHR。本申请实施了还提供了相应的设备及存储介质。

本申请第一方面提供一种视频处理的方法，可以包括：

虚拟现实VR终端获取第一视角，所述第一视角为用户转头后的可视角度；

所述VR终端根据所述第一视角确定对应的S个子区域，所述S为大于1的整数，所述S个子区域为视频全景显示的M个子区域的子集，所述M为大于S的整数；

所述VR终端向流媒体设备发送请求，所述请求包括所述S个子区域的信息和分片的信息，所述S个子区域的信息和所述分片的信息用于从所述流媒体设备获取所述S个子区域中每个子区域在所述分片的信息所指示的分片的画面组；

所述VR终端通过N条链路接收N个画面组序列，所述N个画面组序列包括与所述S个子区域一一对应的S个画面组，且所述S个画面组的序号相同，所述N为大于或等于1的整数；

所述VR终端对所述N个画面组序列进行处理，以全景的方式在所述S个子区域一一对应的显示所述S个画面组的视频内容。

上述第一方面中，第一视角为用户转头后两眼的最大可视角度。关于第一视角的确定方式可以有多种，例如：可以通过VR终端上的雷达设备测量该第一视角。全景视频可以有42个子区域(tile)，也可以有56个子区域，当然，也可以有其他数量的子区域，当有42个子区域时，M＝42，当有56个子区域时，M＝56，这些子区域的尺寸可以是相同的，也可以是不同的。S是M个子区域中用户在转头后可以看见的子区域。S个子区域的信息可以是S个子区域中每个子区域的名称、标识、索引或序号，如：1、2、3和4号tile。分片(segment)的信息可以是segment的名称、标识、索引或序号，如：1号segment或表示为segment1。画面组(groupof pictures，GOP)包含于segment，一个segment可以包括多个GOP。N个画面组序列中包括S个序号相同的画面组，每个GOP上会有对应的tile的信息，如：tile的名称、标识、索引或序号等，若一个画面组中包括tile3GOP1，则表示是子区域3在所请求的segment中的第一个画面组。序号相同的画面组表示的是各个tile在同一时间点的视频内容。这样，就可以在对这S个序号相同的画面组进行处理后，在S个tile上分别显示各自画面组的视频内容。若是在8K全景视频的场景下，这些GOP都是8K的视频，在VR终端请求GOP时还会请求S个tile所对应的4K的背景流，这样，在8K的GOP完成解码显示后，就会从4K转换到8K的视频状态下。当然，也不限于8K VR利用4K做背景流，也可以是16K VR利用4K做背景流或者16K VR利用8K做背景流。当然，还可以是其他更高码率的环境，本申请的方案不限于具体的使用场景。这种通过交织传输的方式将各子区域中的相同序号的画面组交织在一起传输，从而可以确保相同序号的画面组可以在各对应子区域同时显示，克服了同步困难的问题。另外，对一组序号相同的GOP解码后就可以显示，保证了低MTHR，而且，VR终端只通过一个请求就可以获得S个子区域的GOP，也减少了请求数和并发连接数。再者，终端一次只需要解码S个序号相同的GOP，也降低了对VR解码性能的要求。

在第一方面的一种可能的实现方式中，当N＝1时，所述画面组序列中包括至少两个子序列，其中，每个子序列都包括与所述S个子区域一一对应的S个画面组，且同一子序列中S个画面组的序号相同，不同子序列中画面组的序号不同，相邻的两个子序列中画面组的序号按照在所述子序列被所述流媒体设备发送的先后顺序升序排列；

所述VR终端对所述N个画面组序列进行处理，以全景的方式在所述S个子区域一一对应的显示所述S个画面组的视频内容，包括：

所述VR终端按照接收的先后顺序对所述每个子序列分别进行处理，并以全景的方式按照画面组的序号的先后顺序在所述S个子区域一一对应的显示所述S个画面组的视频内容。

上述可能的实现方式中，N＝1表示通过单链路接收画面组序列，画面组序列可以是一个，其中，每个子序列都中包含S个序号相同的GOP，相邻的两个子序列的序号顺序按照被所述流媒体设备发送的先后顺序升序排列，这样就可以确保需要先显示的各tile的GOP先到达VR终端进行显示，一方面可以减少相同序号GOP的传输时延，另外一方面不需要VR终端在等待相同序号的GOP时浪费缓存去存储其他先到达的序号在后的GOP，有效的提升了VR体验。

在第一方面的一种可能的实现方式中，当N≥2时，所述N个画面组序列被所述流媒体设备通过时钟超时控制的方式在第一时钟范围内在N条链路上发送；所述VR终端通过N条链路接收N个画面组序列，可以包括：

在第一时钟范围内过N条链路接收N个画面组序列；

所述第一时钟范围与第二时钟范围在时间上接续，所述N条链路在所述第二时钟范围内传输的N个画面组中的S个画面组的序号相同，且与所述第一时钟范围内传输的S个画面组的序号按照升序排列。

上述可能的实现方式中，N≥2表示通过多链路接收N个画面组序列，也就是一条链路接收一个画面组序列，在第一时钟范围可以确保N条链路上的N个画面组序列都能传输到VR终端，也就是同一序号的S个画面组在第一时钟范围内都能传输到VR终端，然后才会开始在第二时钟范围传输下一个序号的S个画面组。这样的多链路传输方式可以缩短传输时延，而且也不需要VR终端在等待相同序号的GOP时浪费缓存去存储其他先到达的序号在后的GOP，有效的提升了VR体验。

在第一方面的一种可能的实现方式中，所述请求中还包括画面组的信息，所述画面组的信息用于从所述流媒体设备获取所述分片的画面组中的目标画面组，所述N个画面组序列中所包括的所述S个画面组为所述目标画面组。

上述可能的实现方式中，画面组的信息可以是GOP的标识、索引或序号，也可以是GOP的序号范围，这种在请求中表明了所请求的GOP可以提高GOP获得的准确度，而且也可以避免因传输segment中其他不需要的GOP而导致的资源浪费。

在第一方面的一种可能的实现方式中，所述VR终端对所述N个画面组序列进行处理，以全景的方式在所述S个子区域一一对应的显示所述S个画面组的视频内容，可以包括：

所述VR终端解析所述N个画面组序列中的每个画面组，以确定所述每个画面组所对应的子区域以及所述每个画面组的序号；

所述VR终端对序号相同的S个画面组进行解码，以得到所述S个画面组各自对应的视频内容；

所述VR终端对S个视频内容进行反投影，并在所述S个子区域一一对应的全景显示所述S个画面组各自对应的视频内容。

上述可能的实现方式中，VR终端解析GOP，会从中解析出该GOP所属的子区域的信息，如解析出该GOP属于tile3，也会解析出该GOP的序号，如序号为1，则表示是第一个画面组。反投影可以将平面图像转换为全景图像，然后在各个tile全景显示各自GOP经过解码以及反投影得到的视频内容。

在第一方面的一种可能的实现方式中，所述每个画面组都分别包括分片类型(segment type，STYP)、分片索引(segment indx，SIDX)、媒体描述信息(moof mediafragment，MOOF)和媒体数据(media data，MDAT)；

所述VR终端对序号相同的S个画面组进行解码，可以包括：

针对所述每个画面组，所述VR终端根据所述STYP确定需要解码该画面组，并根据所述SIDX查询所述MOOF，根据所述MOOF解码所述MDAT。

上述可能的实现方式中，每个画面组都有自己独立的一套STYP、SIDX、MOOF和MDAT结构，不需要依赖其他GOP就可以独立完成解码，这样可以提高GOP解码的效率，从而也可以降低显示时延。

本申请第二方面提高一种视频处理的方法，可以包括：

流媒体设备接收虚拟现实VR终端发送的请求，所述请求包括第一视角对应的S个子区域的信息和分片的信息，所述第一视角为用户转头后的可视角度；

所述流媒体设备根据所述S个子区域的信息和所述分片的信息，获取所述S个子区域中每个子区域在所述分片的信息所指示的分片的画面组，所述S为大于1的整数，所述S个子区域为视频全景显示的M个子区域的子集，所述M为大于S的整数；

所述流媒体设备确定N个画面组序列，所述N个画面组序列包括与所述S个子区域一一对应的S个画面组，且所述S个画面组的序号相同，所述N为大于或等于1的整数；

所述流媒体设备通过N条链路向所述VR终端发送所述N个画面组序列，所述N个画面组序列用于所述VR终端以全景的方式在所述S个子区域一一对应的显示所述S个画面组的视频内容。

上述第二方面中，第一视角为用户转头后两眼的最大可视角度。关于第一视角的确定方式可以有多种，例如：可以通过VR终端上的雷达设备测量该第一视角。全景视频可以有42个子区域(tile)，也可以有56个子区域，当然，也可以有其他数量的子区域，当有42个子区域时，M＝42，当有56个子区域时，M＝56，这些子区域的尺寸可以是相同的，也可以是不同的。S是M个子区域中用户在转头后可以看见的子区域。S个子区域的信息可以是S个子区域中每个子区域的名称、标识、索引或序号，如：1、2、3和4号tile。分片(segment)的信息可以是segment的名称、标识、索引或序号，如：1号segment或表示为segment1。画面组(groupof pictures，GOP)包含于segment，一个segment可以包括多个GOP。N个画面组序列中包括S个序号相同的画面组，每个GOP上会有对应的tile的信息，如：tile的名称、标识、索引或序号等，若一个画面组中包括tile3GOP1，则表示是子区域3在所请求的segment中的第一个画面组。序号相同的画面组表示的是各个tile在同一时间点的视频内容。这样，就可以在对这S个序号相同的画面组进行处理后，在S个tile上分别显示各自画面组的视频内容。若是在8K全景视频的场景下，这些GOP都是8K的视频，在VR终端请求GOP时还会请求S个tile所对应的4K的背景流，这样，在8K的GOP完成解码显示后，就会从4K转换到8K的视频状态下。当然，也不限于8K VR利用4K做背景流，也可以是16K VR利用4K做背景流或者16K VR利用8K做背景流。当然，还可以是其他更高码率的环境，本申请的方案不限于具体的使用场景。这种通过交织传输的方式将各子区域中的相同序号的画面组交织在一起传输，从而可以确保相同序号的画面组可以在各对应子区域同时显示，克服了同步困难的问题。另外，对一组序号相同的GOP解码后就可以显示，保证了低MTHR，而且，VR终端只通过一个请求就可以获得S个子区域的GOP，也减少了请求数和并发连接数。再者，终端一次只需要解码S个序号相同的GOP，也降低了对VR解码性能的要求。

在第二方面的一种可能的实现方式中，所述流媒体设备确定N个画面组序列之前，所述方法还可以包括：

所述流媒体设备在第一画面组中添加所述第一画面组所对应的子区域的信息，以及所述第一画面组的序号，所述第一画面组为所述分片的画面组中的任意一个，所述第一画面组的序号根据所述第一画面组在所示分片的画面组中的初始顺序确定。

上述可能的实现方式中，流媒体设备从分片中找到GOP后，会为每个GOP打上元数据头信息，会包括tile的信息，也就是表示该GOP属于哪个tile，GOP序号，还可以有GOP的大小，若在编码阶段就为segment中的GOP按照采集到视频的先后顺序设置了序号，则该序号可以为编码时的序号，若编码时未设置序号，则GOP的序号就是在产生segment时，按照生成GOP的先后的顺序设置的序号。

在第二方面的一种可能的实现方式中，当N＝1时，所述流媒体设备确定N个画面组序列，可以包括：

所述流媒体设备将序号相同的S个画面组确定为同一个子序列；

所述流媒体设备按照所述子序列中画面组序号的升序排列至少两个子序列，以得到画面组序列；

对应地，所述流媒体设备通过N条链路向所述VR终端发送所述N个画面组序列，包括：

所述流媒体设备按照所述至少两个子序列中序号的先后顺序，发送所述至少两个子序列。

上述可能的实现方式中，N＝1表示通过单链路发送画面组序列，画面组序列可以是一个，其中，每个子序列都中包含S个序号相同的GOP，相邻的两个子序列的序号顺序按照被所述流媒体设备发送的先后顺序升序排列，这样就可以确保需要先显示的各tile的GOP先到达VR终端进行显示，一方面可以减少相同序号GOP的传输时延，另外一方面不需要VR终端在等待相同序号的GOP时浪费缓存去存储其他先到达的序号在后的GOP，有效的提升了VR体验。

在第二方面的一种可能的实现方式中，当N≥2时，所述流媒体设备确定N个画面组序列，包括：

所述流媒体设备根据链路的数量，将序号相同的S个画面组划分为N个画面组序列；

对应地，所述流媒体设备通过N条链路向所述VR终端发送所述N个画面组序列，可以包括：

所述流媒体设备通过时钟超时控制的方式在第一时钟范围内在N条链路上发送所述N个画面组序列；

所述第一时钟范围与第二时钟范围在时间上接续，所述N条链路在所述第二时钟范围内传输的N个画面组中的S个画面组的序号相同，且与所述第一时钟范围内传输的S个画面组的序号按照升序排列。

上述可能的实现方式中，N≥2表示通过多链路发送N个画面组序列，也就是一条链路发送一个画面组序列，在第一时钟范围可以确保N条链路上的N个画面组序列都能传输到VR终端，也就是同一序号的S个画面组在第一时钟范围内都能传输到VR终端，然后才会开始在第二时钟范围传输下一个序号的S个画面组。这样的多链路传输方式可以缩短传输时延，而且也不需要VR终端在等待相同序号的GOP时浪费缓存去存储其他先到达的序号在后的GOP，有效的提升了VR体验。

在第二方面的一种可能的实现方式中，所述请求中还包括画面组的信息；所述方法还可以包括：

所述流媒体设备根据所述画面组的信息从取所述分片的画面组中获取目标画面组，所述N个画面组序列中所包括的所述S个画面组为所述目标画面组。

上述可能的实现方式中，画面组的信息可以是GOP的标识、索引或序号，也可以是GOP的序号范围，这种在请求中表明了所请求的GOP可以提高GOP获得的准确度，而且也可以避免因传输segment中其他不需要的GOP而导致的资源浪费。

本申请第三方面提供一种视频处理的方法，可以包括：

编码设备获取全景视频图像；

所述编码设备将所述全景视频图像转换为平面视频图像；

所述编码设备将所述平面视频图像分割为M个子图像，所述M的取值与虚拟现实VR终端上全景显示的子区域的数量相同，所述M为大于1的整数；

所述编码设备将每个子图像中的每Q帧编码为一个画面组，所述Q为大于1的整数，其中，每个画面组中包含一个完整帧；

所述编码设备将属于同一个子图像的画面组封装到一个分片中；

所述编码设备向流媒体设备发送所述平面视频图像的分片。

上述第三方面中，编码设备在编码时将一个分片通过多GOP进行编码，每个GOP都有一个完整帧，也就是I帧，这样每个GOP在终端侧都可以单独解码，提高了终端的解码效率。

在第三方面的一种可能的实现方式中，所述编码设备将每个子图像中的每Q帧编码为一个画面组，可以包括：

所述编码设备按照分片类型STYP、分片索引SIDX、媒体描述信息MOOF和媒体数据MDAT的结构将所述每Q帧编码在所述MDAT的位置，并在所述MOOF中添加所述MDAT的描述信息。

上述可能的实现方式中，每个画面组都有自己独立的一套STYP、SIDX、MOOF和MDAT结构，这样就可以使VR终端不需要依赖其他GOP就可以独立完成解码，这样可以提高GOP解码的效率，从而也可以降低显示时延。

本申请第四方面提供一种虚拟现实终端，用于执行上述第一方面或第一方面的任意可能的实现方式中的方法。具体地，该装置包括用于执行上述第一方面或第一方面的任意可能的实现方式中的方法的模块或单元。

本申请第五方面提供一种流媒体设备，用于执行上述第二方面或第二方面的任意可能的实现方式中的方法。具体地，该装置包括用于执行上述第二方面或第二方面的任意可能的实现方式中的方法的模块或单元。

本申请第六方面提供一种编码设备，用于执行上述第三方面或第三方面的任意可能的实现方式中的方法。具体地，该装置包括用于执行上述第三方面或第三方面的任意可能的实现方式中的方法的模块或单元。

本申请第七方面提供一种终端，包括：至少一个处理器、存储器、收发器以及存储在存储器中并可在处理器上运行的计算机执行指令，当所述计算机执行指令被所述处理器执行时，所述处理器执行如上述第一方面或第一方面任意一种可能的实现方式所述的方法。

本申请第八方面提供一种流媒体设备，包括：至少一个处理器、存储器、收发器以及存储在存储器中并可在处理器上运行的计算机执行指令，当所述计算机执行指令被所述处理器执行时，所述处理器执行如上述第二方面或第二方面任意一种可能的实现方式所述的方法。

本申请第九方面提供一种编码设备，包括：至少一个处理器、存储器、收发器以及存储在存储器中并可在处理器上运行的计算机执行指令，当所述计算机执行指令被所述处理器执行时，所述处理器执行如上述第三方面或第三方面任意一种可能的实现方式所述的方法。

本申请第十方面提供一种存储一个或多个计算机执行指令的计算机可读存储介质，当所述计算机执行指令被处理器执行时，所述处理器执行如上述第一方面或第一方面任意一种可能的实现方式所述的方法。

本申请第十一方面提供一种存储一个或多个计算机执行指令的计算机可读存储介质，当所述计算机执行指令被处理器执行时，所述处理器执行如上述第二方面或第二方面任意一种可能的实现方式所述的方法。

本申请第十二方面提供一种存储一个或多个计算机执行指令的计算机可读存储介质，当所述计算机执行指令被处理器执行时，所述处理器执行如上述第三方面或第三方面任意一种可能的实现方式所述的方法。

本申请第十三方面提供一种存储一个或多个计算机执行指令的计算机程序产品，当所述计算机执行指令被所述处理器执行时，所述处理器执行上述第一方面或第一方面任意一种可能实现方式的方法。

本申请第十四方面提供一种存储一个或多个计算机执行指令的计算机程序产品，当所述计算机执行指令被所述处理器执行时，所述处理器执行上述第二方面或第二方面任意一种可能实现方式的方法。

本申请第十五方面提供一种存储一个或多个计算机执行指令的计算机程序产品，当所述计算机执行指令被所述处理器执行时，所述处理器执行上述第三方面或第三方面任意一种可能实现方式的方法。

本申请第十六方面提供一种视频处理系统，可以包括：虚拟现实终端、流媒体设备、编码设备和视频采集设备；其中，视频采集设备用于采集全景视频；

虚拟现实终端用于执行上述第一方面或第一方面任意一种可能实现方式的方法。

流媒体设备用于执行上述第二方面或第二方面任意一种可能实现方式的方法。

视频采集设备用于执行上述第三方面或第三方面任意一种可能实现方式的方法。

上述第四方面和第九方面所描述的终端、流媒体设备或编码设备也可以是应用于终端、流媒体设备或编码设备中的芯片，或者其他具有上述终端、流媒体设备或编码设备功能的组合器件、部件等。

终端、流媒体设备或编码设备中的接收单元可以是接收器，可以包括天线和射频电路等，处理单元可以是处理器，例如：中央处理单元(central processing unit，CPU)，发送单元可以是发射器，可以包括天线和射频电路等，其中接收器和发射器可以是整合的收发器。

当终端、流媒体设备或编码设备是具有上述终端功能的部件时，接收单元可以是射频单元，处理单元可以是处理器，发送单元可以是射频单元。

当终端、流媒体设备或编码设备是芯片系统时，接收单元可以是芯片系统的输入端口、处理单元可以是芯片系统的处理器，发送单元可以是芯片系统的输出端口。

其中，第四、第七、第十和第十三方面或者其中任一种可能实现方式所带来的技术效果可参见第一方面或第一方面不同可能实现方式所带来的技术效果，此处不再赘述。

其中，第五、第八、第十一和第十四方面或者其中任一种可能实现方式所带来的技术效果可参见第二方面或第二方面不同可能实现方式所带来的技术效果，此处不再赘述。

其中，第六、第九、第十二和第十五方面或者其中任一种可能实现方式所带来的技术效果可参见第三方面或第三方面不同可能实现方式所带来的技术效果，此处不再赘述。

本申请实施例对分片采用画面组的形式进行编码，在传输时将各子区域中的相同序号的画面组交织在一起传输，从而可以确保相同序号的画面组可以在各对应子区域同时显示，保证了低MTHR，而且，VR终端只通过一个请求就可以获得S个子区域的GOP，也减少了请求数和并发连接数，再者，终端一次只需要解码S个序号相同的GOP，也降低了对VR解码性能的要求。

附图说明

图1是本申请实施例中视频处理系统的一实施例示意图；

图2是本申请实施例中视频处理的方法的一实施例示意图；

图3是本申请实施例中子区域、分片和画面组的关系示意图；

图4是本申请实施例中画面组序列的一示例示意图；

图5是本申请实施例中画面组序列的另一示例示意图；

图6是本申请实施例中画面组的编码结构示意图；

图7是本申请实施例中视频处理的方法的另一实施例示意图；

图8是本申请实施例中视频处理的方法的另一实施例示意图；

图9是本申请实施例中VR终端的一实施例示意图；

图10是本申请实施例中流媒体设备的一实施例示意图；

图11是本申请实施例中流媒体设备的一实施例示意图；

图12是本申请实施例中通信设备的一实施例示意图。

具体实施方式

下面结合附图，对本申请的实施例进行描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。本领域普通技术人员可知，随着新技术的发展和新场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例提供一种视频处理的方法，可以在保证转头低时延的前提下，用较少资源开销就能保证低MTHR。本申请实施了还提供了相应的设备及存储介质。以下分别进行详细说明。

VR全景视频作为一种新的视频消费方式，在近几年受到了人们的广泛关注。在观看全景视频时，用户可以通过转动头部观看360度全景视频的不同内容，获得全方位沉浸式的体验。VR全景视频很适用于VR全景直播，例如：在重要新闻事件、体育赛事、演唱会和发布会等大型赛事活动，结合VR全景直播可以实现足不出户即可感知事件现场，不仅了解，更是亲身参与。

在VR全景直播过程中，在现场可以设置视频采集设备采集现场的全景视频，然后将全景视频通过中间设备传输给虚拟现实(virtual reality，VR)终端，用户就可以通过VR终端体验到在直播现场的感觉。

下面结合图1介绍本申请实施例中的针对VR全景视频从采集到VR终端显示的过程。

图1是本申请实施例中视频处理系统的一实施例示意图。

如图1所示，本申请实施例提供的视频处理系统的一实施例可以包括：视频采集设备10、编码设备20、流媒体设备30和虚拟现实终端40，视频采集设备10与编码设备20通信连接，编码设备20与流媒体设备30通信连接，流媒体设备30与虚拟现实终端40通信连接。视频采集设备10可以有多个，虚拟现实终端40也可以有多个，虽然图1中对各设备都只示出了一个，但不应将其理解为是对各设备数量的限定。

视频采集设备10用于采集全景视频。该全景视频图像可以是多个不同方向或不同角度的视频采集设备10分别采集的各个角度的视频，然后拼接而成的。

编码设备20用于：将所述全景视频图像转换为平面视频图像，将所述平面视频图像分割为M个子图像，所述M的取值与虚拟现实VR终端上全景显示的子区域的数量相同，将每个子图像中的每Q帧编码为一个画面组，所述Q为大于1的整数，其中，每个画面组中包含一个完整帧，将属于同一个子图像的画面组封装到一个分片中；向流媒体设备30发送所述平面视频图像的分片。

VR终端40用于：获取第一视角，所述第一视角为用户转头后的可视角度；根据所述第一视角确定对应的S个子区域，向流媒体设备发送请求，所述请求包括所述S个子区域的信息和分片的信息，所述S为大于1的整数，所述S个子区域为视频全景显示的M个子区域的子集，所述M为大于S的整数。

流媒体设备30用于：接收虚拟现实VR终端发送的请求，根据所述S个子区域的信息和所述分片的信息，获取所述S个子区域中每个子区域在所述分片的信息所指示的分片的画面组，确定N个画面组序列，所述N个画面组序列包括与所述S个子区域一一对应的S个画面组，且所述S个画面组的序号相同，所述N为大于或等于1的整数；通过N条链路向所述VR终端发送所述N个画面组序列。

VR终端40用于：通过N条链路接收N个画面组序列，所述N个画面组序列包括与所述S个子区域一一对应的S个画面组，且所述S个画面组的序号相同，对所述N个画面组序列进行处理，以全景的方式在所述S个子区域一一对应的显示所述S个画面组的视频内容。

本申请实施例对分片采用画面组的形式进行编码，在传输时将各子区域中的相同序号的画面组交织在一起传输，从而可以确保相同序号的画面组可以在各对应子区域同时显示，保证了低MTHR，而且，VR终端只通过一个请求就可以获得S个子区域的GOP，也减少了请求数和并发连接数，再者，终端一次只需要解码S个序号相同的GOP，也降低了对VR解码性能的要求。

结合上述图1所示的视频处理系统，本申请实施例还提供了一种视频处理的方法。

如图2所示，本申请实施例提供的视频处理的方法的一实施例可以包括：

101、编码设备获取全景视频图像。

该全景视频图像可以是多个不同方向或不同角度的视频采集设备10分别采集的各个角度的视频，然后拼接而成的。

102、编码设备将所述全景视频图像转换为平面视频图像。

可以是通过投影的方式将全景视频图像投影成平面视频图像。

103、编码设备将所述平面视频图像分割为M个子图像。

所述M的取值与VR终端上全景显示的子区域的数量相同。

VR终端上全景视频显示可以有42个子区域(tile)，也可以有56个子区域，当然，也可以有其他数量的子区域，当有42个子区域时，M＝42，当有56个子区域时，M＝56，这些子区域的尺寸可以是相同的，也可以是不同的。

104、编码设备将每个子图像中的每Q帧编码为一个画面组(group of pictures，GOP)。

所述Q为大于1的整数，其中，每个画面组中包含一个完整帧，例如：Q＝4，完整帧可以为I帧。

子区域tile是时间上的概念，视频图像是用时间来划分的，划分的单位可以是分片(segment，Seg)，本申请实施例中，针对每个子区域的分片在编码时都可以再划分为多个GOP。例如：若一个segment有32帧，每4帧编码为一个GOP，则一个segment可以编码为8个GOP。tile，segment和GOP的关系可以参阅图3进行理解，如图3所示，以全景有42个子区域为例，每个子区域会对应有多个segment，这些segment可以从1开始依次编号，例如：Seg1、Seg2、Seg3…直到全部全景视频结束为止，当然这里只是以用1、2、3编号为例，也可以用其他可编号的符号编号，如：A、B、C等。每个Seg中包括8个GOP，可以依次用GOP1至GOP8编码。

105、编码设备将属于同一个子图像的画面组封装到一个分片中。

上述图3所示的场景中，同一个子图像中有8个GOP，则该分片中有8个GOP，若同一个子图像中有4个GOP，则该分片中有4个GOP。

106、编码设备向流媒体设备30发送所述平面视频图像的分片。

107、VR终端获取第一视角。

所述第一视角为用户转头后的可视角度。

108、VR终端根据所述第一视角确定对应的S个子区域。

S个子区域可以是用户转头后所能见到的所有区域，例如：若用户转头后只能见到tile1的一部分，能见到tile2和tile3的全部，能见到tile4的一部分，那么可以认为用户转头后所能见到的所有区域是tile1、tile2、tile3和tile4。

109、VR终端向流媒体设备发送请求。

所述请求包括所述S个子区域的信息和分片的信息，所述S为大于1的整数，所述S个子区域为视频全景显示的M个子区域的子集，所述M为大于S的整数。

S个子区域的信息可以是每个子区域的名称、标识、索引或序号，如：tile1、tile2、tile3和tile4，也可以表示为tile1-tile4，分片的信息可以是segment的名称、标识、索引或序号，如：Seg1或Seg2或者其他Seg，一个请求中，通常只请求一个Seg。

110、流媒体设备接收VR终端发送的请求后，根据所述S个子区域的信息和所述分片的信息，获取所述S个子区域中每个子区域在所述分片的信息所指示的分片的画面组。

针对一个VR全景视频从开始到结束，每个分片的标识都是唯一的，可以理解分片可以从1开始编号，直到该VR全景视频全部结束，有多少个分片，编号就是多少为止。当然，编号不限于从1开始，也可以是从0开始，或者，用其他的字符来编号，或者用其他方式来标识，只要能唯一标识分片即可。

若请求中包括的子区域的信息是tile1、tile2、tile3和tile4，分片的信息是Seg1，那么流媒体设备就会获取到tile1的Seg1的GOP，tile2的Seg1的GOP，tile3的Seg1的GOP，tile4的Seg1的GOP。

一种可能的实现方式中，还可以包括：所述流媒体设备在第一画面组中添加所述第一画面组所对应的子区域的信息，以及所述第一画面组的序号，所述第一画面组为所述分片的画面组中的任意一个，所述第一画面组的序号根据所述第一画面组在所示分片的画面组中的初始顺序确定。

也就是说，流媒体设备从分片中找到GOP后，会为每个GOP打上元数据头信息，会包括tile的信息，也就是表示该GOP属于哪个tile，GOP序号，还可以有GOP的大小，若在编码阶段就为segment中的GOP按照采集到视频的先后顺序设置了序号，则该序号可以为编码时的序号，若编码时未设置序号，则GOP的序号就是在产生segment时，按照生成GOP的先后的顺序设置的序号。

111、流媒体设备确定N个画面组序列。

所述N个画面组序列包括与所述S个子区域一一对应的S个画面组，且所述S个画面组的序号相同，所述N为大于或等于1的整数。

112、流媒体设备通过N条链路向所述VR终端发送所述N个画面组序列。

把序号相同的GOP放在一起传输也就是交织传输，这样可以确保在最短的时间内将相同时间点的GOP传输到VR终端进行显示，可以有效的降低传输时延。

113、VR终端40通过N条链路接收N个画面组序列后，对所述N个画面组序列进行处理，以全景的方式在所述S个子区域一一对应的显示所述S个画面组的视频内容。

所述N个画面组序列包括与所述S个子区域一一对应的S个画面组，且所述S个画面组的序号相同，对所述N个画面组序列进行处理，以全景的方式在所述S个子区域一一对应的显示所述S个画面组的视频内容。

本申请实施例对分片采用画面组的形式进行编码，在传输时将各子区域中的相同序号的画面组交织在一起传输，从而可以确保相同序号的画面组可以在各对应子区域同时显示，保证了低MTHR，而且，VR终端只通过一个请求就可以获得S个子区域的GOP，也减少了请求数和并发连接数，再者，终端一次只需要解码S个序号相同的GOP，也降低了对VR解码性能的要求。

一种可能的实现方式中，当N＝1时，所述流媒体设备确定N个画面组序列，可以包括：

所述流媒体设备将序号相同的S个画面组确定为同一个子序列；

所述流媒体设备按照所述子序列中画面组序号的升序排列至少两个子序列，以得到画面组序列；

对应地，所述流媒体设备通过N条链路向所述VR终端发送所述N个画面组序列，可以包括：

所述流媒体设备按照所述至少两个子序列中序号的先后顺序，发送所述至少两个子序列。

也就是说，当N＝1时，所述画面组序列中包括至少两个子序列，其中，每个子序列都包括与所述S个子区域一一对应的S个画面组，且同一子序列中S个画面组的序号相同，不同子序列中画面组的序号不同，相邻的两个子序列中画面组的序号按照在所述子序列被所述流媒体设备发送的先后顺序升序排列。

对应地，所述VR终端对所述N个画面组序列进行处理，以全景的方式在所述S个子区域一一对应的显示所述S个画面组的视频内容，可以包括：

所述VR终端按照接收的先后顺序对所述每个子序列分别进行处理，并以全景的方式按照画面组的序号的先后顺序在所述S个子区域一一对应的显示所述S个画面组的视频内容。

N＝1表示通过单链路传输画面组序列，画面组序列可以是一个，其中，每个子序列都中包含S个序号相同的GOP，相邻的两个子序列的序号顺序按照被所述流媒体设备发送的先后顺序升序排列。可以参阅图4对画面组序列进行理解，当请求中包括tile1、tile2、tile3和tile4这4个子区域的信息，分片的信息是Seg1时，画面组序列的排列顺序时，把tile1、tile2、tile3和tile4的GOP1放在一个子序列中，并排序在前，然后接下来的一个子序列是tile1、tile2、tile3和tile4的GOP2，虽然图4中只示出了GOP1和GOP2的序列，但并不表示只有GOP1和GOP2这两个序列，若还有GOP3至GOP8的序列，则按照GOP1和GOP2的排列方式依次排列即可。

该种可能的实现方式，可以确保需要先显示的各tile的GOP先到达VR终端进行显示，一方面可以减少相同序号GOP的传输时延，另外一方面不需要VR终端在等待相同序号的GOP时浪费缓存去存储其他先到达的序号在后的GOP，有效的提升了VR体验。

一种可能的实现方式中，当N≥2时，所述流媒体设备确定N个画面组序列，可以包括：

所述流媒体设备根据链路的数量，将序号相同的S个画面组划分为N个画面组序列；

对应地，所述流媒体设备通过N条链路向所述VR终端发送所述N个画面组序列，可以包括：

所述流媒体设备通过时钟超时控制的方式在第一时钟范围内在N条链路上发送所述N个画面组序列；

所述第一时钟范围与第二时钟范围在时间上接续，所述N条链路在所述第二时钟范围内传输的N个画面组中的S个画面组的序号相同，且与所述第一时钟范围内传输的S个画面组的序号按照升序排列。

N≥2表示通过多链路接收N个画面组序列，也就是一条链路接收一个画面组序列，在第一时钟范围可以确保N条链路上的N个画面组序列都能传输到VR终端，也就是同一序号的S个画面组在第一时钟范围内都能传输到VR终端，然后才会开始在第二时钟范围传输下一个序号的S个画面组。这也就是时钟超时控制的原理，在一个时钟范围内只传输一个序列的画面组，直到该序号的画面组全部传输到VR终端，才会开始下一个序号的画面组的传输。可以参阅图5进行理解，如图5所示，当有3条链路时，可以通过3条链路各传输一部分GOP，如：在第一时钟范围内，在链路1上传输tile1至tile4的GOP1，在链路2上传输tile5至tile8的GOP1，在链路3上传输tile9至tile11的GOP1。在这11个tile的GOP1都传输到VR终端后，紧接着在第二时钟范围内传输tile1至tile11的GOP2，同理，若还有GOP3以及更多的GOP，都按照这种方式接续传输，但在每个时钟范围内只传输同一序号的GOP，而且，接续的两个范围内传输的GOP也是按照升序顺序传输。

这样的多链路传输方式可以缩短传输时延，而且也不需要VR终端在等待相同序号的GOP时浪费缓存去存储其他先到达的序号在后的GOP，有效的提升了VR体验。

一种可能的实现方式中，所述请求中还包括画面组的信息，

所述流媒体设备根据所述画面组的信息从取所述分片的画面组中获取目标画面组，所述N个画面组序列中所包括的所述S个画面组为所述目标画面组。

该种可能实现方式中，画面组的信息可以是GOP的标识、索引或序号，也可以是GOP的序号范围，例如：gop-range:2-7，可以表示要获取GOP2至GOP7的画面组。

若VR终端发出的请求中的信息包括：

x-req-seg1-list:t01/1.m4s,t02/1.m4s,t03/1.m4s,t04/1.m4s；

x-req-gop-range:2-7；

则表示，该VR终端要请求tile1至tile4的seg1的GOP2至GOP7的画面组。

这种在请求中表明了所请求的GOP可以提高GOP获得的准确度，而且也可以避免因传输segment中其他不需要的GOP而导致的资源浪费。

一种可能的实现方式中，所述VR终端对所述N个画面组序列进行处理，以全景的方式在所述S个子区域一一对应的显示所述S个画面组的视频内容，可以包括：

所述VR终端解析所述N个画面组序列中的每个画面组，以确定所述每个画面组所对应的子区域以及所述每个画面组的序号；

所述VR终端对序号相同的S个画面组进行解码，以得到所述S个画面组各自对应的视频内容；

所述VR终端对S个视频内容进行反投影，并在所述S个子区域一一对应的全景显示所述S个画面组各自对应的视频内容。

该种可能的实现方式中，VR终端解析GOP，会从中解析出该GOP所属的子区域的信息，如解析出该GOP属于tile3，也会解析出该GOP的序号，如序号为1，则表示是第一个画面组。反投影可以将平面图像转换为全景图像，然后在各个tile全景显示各自GOP经过解码以及反投影得到的视频内容。

本申请实施例中，因为编码设备在编码时，针对每个GOP都是按照图6所示的结构：按照分片类型STYP、分片索引SIDX、媒体描述信息MOOF和媒体数据MDAT的结构将所述每Q帧编码在所述MDAT的位置，并在所述MOOF中添加所述MDAT的描述信息。

这样VR终端在解码时，针对所述每个画面组，所述VR终端根据所述STYP确定需要解码该画面组，并根据所述SIDX查询所述MOOF，根据所述MOOF解码所述MDAT。

该可能的实现方式中，每个画面组都有自己独立的一套STYP、SIDX、MOOF和MDAT结构，不需要依赖其他GOP就可以独立完成解码，这样可以提高GOP解码的效率，从而也可以降低显示时延。

以上描述了本申请实施例中的视频处理系统和视频处理的方法，若将上述相关设备模块化，本申请实施例所描述的视频处理过程还可以参阅图7进行理解。

如图7所示，本申请实施例提供的视频处理系统的另一实施例中，编码设备包括投影模块、分割模块、编码模块和封装模块。流媒体设备包括磁盘、信令处理模块、磁盘输入输出(IO)模块、视频分片处理模块和发流模块。VR终端包括分片下载模块、分片解析模块、解码模块和显示模块。

上述各模块在上述所描述的视频处理过程中的作用如下：

投影模块，用于将从视频采集设备获取到的全景视频图像转换为平面视频图像。

分割模块，用于将平面视频图像分割为M个子图像，M为VR终端上全景视频显示的子区域的数量。

编码模块，用于将分割后的每个子图像编码成H265格式，编码过程中可以每4帧就包括一个I帧。编码模块在编码时按照图6所示的格式编码每个GOP。

封装模块，用于将同一个分片的P个GOP封装到一个分片中，然后通过通信接口传输到流媒体设备上的磁盘进行存储。

磁盘，用于存储全景视频图像的各个子区域的分片。

信令处理模块，用于接收分片下载模块发送的请求，该请求中携带的子区域的信息、分片的信息以及画面组的信息可以参阅前述所描述的相关内容进行理解。

磁盘IO模块，用于在信令处理模块解析请求后，根据请求中的相应信息，从磁盘读取相应的分片，获取相应的GOP。

视频分片处理模块，用于对GOP进行发包前的二次处理，也就是在每个GOP上添加该GOP所属的tile，以及序号，并生成画面组序列。

发流模块，用于在各链路上串行发送各画面组序列。关于画面组序列可以参阅前述的图4和图5进行理解，发送原理也可以参阅上述相关内容进行理解。

分片下载模块，还用于接收到画面组序列。

分片解析模块，用于解析画面组序列，从GOP中解析出子区域的信息和序号。

解码模块，用于按照图6所示的结构对每个画面组进行解码。

显示模块，用于在各子区域显示对应的GOP。

基于上述图7所示的模块化结构，VR终端和流媒体设备之间画面组序列的获取过程还可以参阅图8进行理解。

如图8所示，VR终端向流媒体设备发送请求后，信令处理模块，用于解析出请求中携带的子区域的信息、分片的信息以及画面组的信息，然后从磁盘中读取相应的子区域的分片中的画面组。

视频分片处理模块对GOP进行发包前的二次处理，也就是在每个GOP上添加该GOP所属的tile，以及序号，并生成画面组序列。

发流模块发送画面组序列，发送模块可以通过令牌桶完成发送队列的序列化。如图8中所示，以画面组序列是图4所示的单链路发送的画面组序列为例。

该画面组序列传输到VR终端后，就可以在各个子区域上显示各自在相同时间点的画面组。

以上描述了视频处理的方法以及相应的视频处理系统，下面结合附图描述本申请实施例中的VR终端、流媒体设备和编码设备。

如图9所示，本申请实施例提供的VR终端40的一实施例可以包括：

处理单元401用于：获取第一视角，所述第一视角为用户转头后的可视角度；根据所述第一视角确定对应的S个子区域，所述S为大于1的整数，所述S个子区域为视频全景显示的M个子区域的子集，所述M为大于S的整数；

发送单元402，用于向流媒体设备发送请求，所述请求包括所述S个子区域的信息和分片的信息，所述S个子区域的信息和所述分片的信息用于从所述流媒体设备获取所述S个子区域中每个子区域在所述分片的信息所指示的分片的画面组；

接收单元403，用于通过N条链路接收N个画面组序列，所述N个画面组序列包括与所述S个子区域一一对应的S个画面组，且所述S个画面组的序号相同，所述N为大于或等于1的整数；

所述处理单元401，还用于对所述N个画面组序列进行处理，以全景的方式在所述S个子区域一一对应的显示所述S个画面组的视频内容。

本申请实施例提供的方案，通过交织传输的方式将各子区域中的相同序号的画面组交织在一起传输，从而可以确保相同序号的画面组可以在各对应子区域同时显示，克服了同步困难的问题。另外，对一组序号相同的GOP解码后就可以显示，保证了低MTHR，而且，VR终端只通过一个请求就可以获得S个子区域的GOP，也减少了请求数和并发连接数。再者，终端一次只需要解码S个序号相同的GOP，也降低了对VR解码性能的要求。

一些可能的实施例中，所述处理单元401，还用于当N＝1时，所述画面组序列中包括至少两个子序列时，按照接收的先后顺序对所述每个子序列分别进行处理，并以全景的方式按照画面组的序号的先后顺序在所述S个子区域一一对应的显示所述S个画面组的视频内容，其中，每个子序列都包括与所述S个子区域一一对应的S个画面组，且同一子序列中S个画面组的序号相同，不同子序列中画面组的序号不同，相邻的两个子序列中画面组的序号按照在所述子序列被所述流媒体设备发送的先后顺序升序排列。

一些可能的实施例中，所述处理单元401，还用于当N≥2时，接收单元403，用于在第一时钟范围内过N条链路接收N个画面组序列；

所述第一时钟范围与第二时钟范围在时间上接续，所述N条链路在所述第二时钟范围内传输的N个画面组中的S个画面组的序号相同，且与所述第一时钟范围内传输的S个画面组的序号按照升序排列。

一些可能的实施例中，所述请求中还包括画面组的信息，所述画面组的信息用于从所述流媒体设备获取所述分片的画面组中的目标画面组，所述N个画面组序列中所包括的所述S个画面组为所述目标画面组。

一些可能的实施例中，所述处理单元401用于：

解析所述N个画面组序列中的每个画面组，以确定所述每个画面组所对应的子区域以及所述每个画面组的序号；

对序号相同的S个画面组进行解码，以得到所述S个画面组各自对应的视频内容；

对S个视频内容进行反投影，并在所述S个子区域一一对应的全景显示所述S个画面组各自对应的视频内容。

一些可能的实施例中，所述每个画面组都分别包括分片类型STYP、分片索引SIDX、媒体描述信息MOOF和媒体数据MDAT；

所述处理单元401用于：

针对所述每个画面组，所述VR终端根据所述STYP确定需要解码该画面组，并根据所述SIDX查询所述MOOF，根据所述MOOF解码所述MDAT。

如图10所示，本申请实施例提供的流媒体设备50的一实施例可以包括：

接收单元501，用于接收虚拟现实VR终端发送的请求，所述请求包括第一视角对应的S个子区域的信息和分片的信息，所述第一视角为用户转头后的可视角度；

处理单元502，用于根据所述S个子区域的信息和所述分片的信息，获取所述S个子区域中每个子区域在所述分片的信息所指示的分片的画面组，所述S为大于1的整数，所述S个子区域为视频全景显示的M个子区域的子集，所述M为大于S的整数；确定N个画面组序列，所述N个画面组序列包括与所述S个子区域一一对应的S个画面组，且所述S个画面组的序号相同，所述N为大于或等于1的整数；

发送单元503，用于通过N条链路向所述VR终端发送所述N个画面组序列，所述N个画面组序列用于所述VR终端以全景的方式在所述S个子区域一一对应的显示所述S个画面组的视频内容。

本申请实施例提供的方案，通过交织传输的方式将各子区域中的相同序号的画面组交织在一起传输，从而可以确保相同序号的画面组可以在各对应子区域同时显示，克服了同步困难的问题。另外，对一组序号相同的GOP解码后就可以显示，保证了低MTHR，而且，VR终端只通过一个请求就可以获得S个子区域的GOP，也减少了请求数和并发连接数。再者，终端一次只需要解码S个序号相同的GOP，也降低了对VR解码性能的要求。

一些可能的实施例中，处理单元502，还用于在第一画面组中添加所述第一画面组所对应的子区域的信息，以及所述第一画面组的序号，所述第一画面组为所述分片的画面组中的任意一个，所述第一画面组的序号根据所述第一画面组在所示分片的画面组中的初始顺序确定。

一些可能的实施例中，处理单元502用于：

当N＝1时，将序号相同的S个画面组确定为同一个子序列；

按照所述子序列中画面组序号的升序排列至少两个子序列，以得到画面组序列；

发送单元503，用于按照所述至少两个子序列中序号的先后顺序，发送所述至少两个子序列。

一些可能的实施例中，处理单元502用于：当N≥2时，根据链路的数量，将序号相同的S个画面组划分为N个画面组序列；

发送单元503，用于通过时钟超时控制的方式在第一时钟范围内在N条链路上发送所述N个画面组序列；

所述第一时钟范围与第二时钟范围在时间上接续，所述N条链路在所述第二时钟范围内传输的N个画面组中的S个画面组的序号相同，且与所述第一时钟范围内传输的S个画面组的序号按照升序排列。

一些可能的实施例中，处理单元502还用于：所述请求中还包括画面组的信息时，根据所述画面组的信息从取所述分片的画面组中获取目标画面组，所述N个画面组序列中所包括的所述S个画面组为所述目标画面组。

如图11所示，本申请实施例提供的编码设备60的一实施例可以包括：

接收单元601，用于获取全景视频图像；

处理单元602用于：

将所述全景视频图像转换为平面视频图像；

将所述平面视频图像分割为M个子图像，所述M的取值与虚拟现实VR终端上全景显示的子区域的数量相同，所述M为大于1的整数；

将每个子图像中的每Q帧编码为一个画面组，所述Q为大于1的整数，其中，每个画面组中包含一个完整帧；

将属于同一个子图像的画面组封装到一个分片中；

发送单元603，用于向流媒体设备发送所述平面视频图像的分片。

本申请实施例中，在编码时将一个分片通过多GOP进行编码，每个GOP都有一个完整帧，也就是I帧，这样每个GOP在终端侧都可以单独解码，提高了终端的解码效率。

一些可能的实施例中，处理单元602用于：按照分片类型STYP、分片索引SIDX、媒体描述信息MOOF和媒体数据MDAT的结构将所述每Q帧编码在所述MDAT的位置，并在所述MOOF中添加所述MDAT的描述信息。

需要说明的是，上述所描述的VR终端、流媒体设备和编码设备由于与本申请方法实施例基于同一构思，其带来的技术效果与本申请方法实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储有程序，该程序执行包括上述方法实施例中记载的部分或全部步骤。

如图12所示，为本申请实施例的又一种通信设备的结构示意图，该通信设备可以是终端、流媒体设备和编码设备，也可以是其他可以实现本申请功能的设备。该通信设备可以包括：处理器701(例如CPU)、存储器702、发送器704和接收器703；发送器704和接收器703耦合至处理器701，处理器701控制发送器704的发送动作和接收器703的接收动作。存储器702可能包含高速RAM存储器，也可能还包括非易失性存储器NVM，例如至少一个磁盘存储器，存储器702中可以存储各种指令，以用于完成各种处理功能以及实现本申请实施例的方法步骤。可选的，本申请实施例涉及的通信设备还可以包括：电源705、以及通信端口706中的一个或多个，图12中所描述的各器件可以是通过通信总线连接，也可以是通过其他连接方式连接，对此，本申请实施例中不做限定。接收器703和发送器704可以集成在通信设备的收发器中，也可以为通信设备上分别独立的收、发天线。通信总线用于实现元件之间的通信连接。上述通信端口706用于实现通信设备与其他外设之间进行连接通信。

在一些实施例中，上述存储器702用于存储计算机可执行程序代码，程序代码包括指令；当处理器701执行指令时，通信设备中的处理器701可以执行图9中处理单元401执行的动作，通信设备中的接收器703可以执行图9中接收单元403执行的动作，通信设备中的发送器704可以执行图9中发送单元402执行的动作，其实现原理和技术效果类似，在此不再赘述。

在一些实施例中，上述存储器702用于存储计算机可执行程序代码，程序代码包括指令；当处理器701执行指令时，通信设备中的处理器701可以执行图10中处理单元502执行的动作，通信设备中的接收器703可以执行图10中接收单元501执行的动作，通信设备中的发送器704可以执行图10中发送单元503执行的动作，其实现原理和技术效果类似，在此不再赘述。

在一些实施例中，上述存储器702用于存储计算机可执行程序代码，程序代码包括指令；当处理器701执行指令时，通信设备中的处理器701可以执行图11中处理单元602执行的动作，通信设备中的接收器703可以执行图11中接收单元601执行的动作，通信设备中的发送器704可以执行图11中发送单元603执行的动作，其实现原理和技术效果类似，在此不再赘述。

本申请还提供了一种芯片系统，该芯片系统包括处理器，用于支持上述通信设备实现其所涉及的功能，例如，例如接收或处理上述方法实施例中所涉及的数据和/或信息。在一种可能的设计中，所述芯片系统还包括存储器，所述存储器，用于保存计算机设备必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包含芯片和其他分立器件。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(Digital Subscriber Line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (12)

1.一种视频处理的方法，其特征在于，包括：

虚拟现实VR终端获取第一视角，所述第一视角为用户转头后的可视角度；

所述VR终端根据所述第一视角确定对应的S个子区域，所述S为大于1的整数，所述S个子区域为视频全景显示的M个子区域的子集，所述M为大于S的整数；

所述VR终端向流媒体设备发送请求，所述请求包括所述S个子区域的信息、分片的信息和画面组的信息，所述S个子区域的信息和所述分片的信息用于从所述流媒体设备获取所述S个子区域中每个子区域在所述分片的信息所指示的分片的画面组,所述画面组的信息用于从所述流媒体设备获取所述分片的画面组中的S个目标画面组；

所述VR终端通过N条链路接收N个画面组序列，所述N个画面组序列包括与所述S个子区域一一对应的所述S个目标画面组，且所述S个目标画面组的序号相同，所述N为大于或等于1的整数；

所述VR终端对所述N个画面组序列进行处理，以全景的方式在所述S个子区域一一对应的显示所述S个目标画面组的视频内容。

2.根据权利要求1所述的方法，其特征在于，当N＝1时，所述画面组序列中包括至少两个子序列，其中，每个子序列都包括与所述S个子区域一一对应的S个目标画面组，且同一子序列中S个目标画面组的序号相同，不同子序列中画面组的序号不同，相邻的两个子序列中画面组的序号按照在所述子序列被所述流媒体设备发送的先后顺序升序排列；

所述VR终端对所述N个画面组序列进行处理，以全景的方式在所述S个子区域一一对应的显示所述S个目标画面组的视频内容，包括：

所述VR终端按照接收的先后顺序对所述每个子序列分别进行处理，并以全景的方式按照画面组的序号的先后顺序在所述S个子区域一一对应的显示所述S个目标画面组的视频内容。

3.根据权利要求1所述的方法，其特征在于，当N≥2时，所述VR终端通过N条链路接收N个画面组序列，包括：

在第一时钟范围内过N条链路接收N个画面组序列；

所述第一时钟范围与第二时钟范围在时间上接续，所述N条链路在所述第二时钟范围内传输的N个画面组中的S个目标画面组的序号相同，且与所述第一时钟范围内传输的S个目标画面组的序号按照升序排列。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述VR终端对所述N个画面组序列进行处理，以全景的方式在所述S个子区域一一对应的显示所述S个目标画面组的视频内容，包括：

所述VR终端解析所述N个画面组序列中的每个画面组，以确定所述每个画面组所对应的子区域以及所述每个画面组的序号；

所述VR终端对序号相同的S个目标画面组进行解码，以得到所述S个目标画面组各自对应的视频内容；

所述VR终端对S个视频内容进行反投影，并在所述S个子区域一一对应的全景显示所述S个目标画面组各自对应的视频内容。

5.根据权利要求4所述的方法，其特征在于，所述每个画面组都分别包括分片类型STYP、分片索引SIDX、媒体描述信息MOOF和媒体数据MDAT；

所述VR终端对序号相同的S个目标画面组进行解码，包括：

针对所述每个画面组，所述VR终端根据所述STYP确定需要解码该画面组，并根据所述SIDX查询所述MOOF，根据所述MOOF解码所述MDAT。

6.一种视频处理的方法，其特征在于，包括：

流媒体设备接收虚拟现实VR终端发送的请求，所述请求包括第一视角对应的S个子区域的信息、分片的信息和画面组的信息，所述第一视角为用户转头后的可视角度；

所述流媒体设备根据所述S个子区域的信息和所述分片的信息，获取所述S个子区域中每个子区域在所述分片的信息所指示的分片的画面组，所述S为大于1的整数，所述S个子区域为视频全景显示的M个子区域的子集，所述M为大于S的整数；

所述流媒体设备根据所述画面组的信息从取所述分片的画面组中获取S个目标画面组；

所述流媒体设备确定N个画面组序列，所述N个画面组序列包括与所述S个子区域一一对应的所述S个目标画面组，且所述S个目标画面组的序号相同，所述N为大于或等于1的整数；

所述流媒体设备通过N条链路向所述VR终端发送所述N个画面组序列，所述N个画面组序列用于所述VR终端以全景的方式在所述S个子区域一一对应的显示所述S个目标画面组的视频内容。

7.根据权利要求6所述的方法，其特征在于，所述流媒体设备确定N个画面组序列之前，所述方法还包括：

所述流媒体设备在第一画面组中添加所述第一画面组所对应的子区域的信息，以及所述第一画面组的序号，所述第一画面组为所述分片的画面组中的任意一个，所述第一画面组的序号根据所述第一画面组在所示分片的画面组中的初始顺序确定。

8.根据权利要求7所述的方法，其特征在于，当N＝1时，所述流媒体设备确定N个画面组序列，包括：

所述流媒体设备将序号相同的S个目标画面组确定为同一个子序列；

所述流媒体设备按照所述子序列中画面组序号的升序排列至少两个子序列，以得到画面组序列；

对应地，所述流媒体设备通过N条链路向所述VR终端发送所述N个画面组序列，包括：

所述流媒体设备按照所述至少两个子序列中序号的先后顺序，发送所述至少两个子序列。

9.根据权利要求7所述的方法，其特征在于，当N≥2时，所述流媒体设备确定N个画面组序列，包括：

所述流媒体设备根据链路的数量，将序号相同的S个目标画面组划分为N个画面组序列；

对应地，所述流媒体设备通过N条链路向所述VR终端发送所述N个画面组序列，包括：

所述流媒体设备通过时钟超时控制的方式在第一时钟范围内在N条链路上发送所述N个画面组序列；

所述第一时钟范围与第二时钟范围在时间上接续，所述N条链路在所述第二时钟范围内传输的N个画面组中的S个目标画面组的序号相同，且与所述第一时钟范围内传输的S个目标画面组的序号按照升序排列。

10.一种虚拟现实终端，其特征在于，包括：

处理器、存储器和收发器，其中，所述存储器存储有程序代码，所述处理器调用所述存储器中存储的程序代码，使得所述虚拟现实终端执行如权利要求1-5任一项所述的视频处理的方法。

11.一种流媒体设备，其特征在于，包括：

处理器、存储器和收发器，其中，所述存储器存储有程序代码，所述处理器调用所述存储器中存储的程序代码，使得所述流媒体设备执行如权利要求6-9任一项所述的视频处理的方法。

12.一种视频处理系统，其特征在于，包括：视频采集设备、编码设备、流媒体设备和虚拟现实终端；其中，

所述视频采集设备用于采集全景视频；

所述编码设备用于：将所述全景视频图像转换为平面视频图像，将所述平面视频图像分割为M个子图像，所述M的取值与虚拟现实VR终端上全景显示的子区域的数量相同，将每个子图像中的每Q帧编码为一个画面组，所述Q为大于1的整数，其中，每个画面组中包含一个完整帧，将属于同一个子图像的画面组封装到一个分片中；向流媒体设备发送所述平面视频图像的分片；

所述虚拟现实VR终端用于：获取第一视角，所述第一视角为用户转头后的可视角度；根据所述第一视角确定对应的S个子区域，向流媒体设备发送请求，所述请求包括所述S个子区域的信息和分片的信息，所述S为大于1的整数，所述S个子区域为视频全景显示的M个子区域的子集，所述M为大于S的整数；

所述流媒体设备用于：接收虚拟现实VR终端发送的请求，根据所述S个子区域的信息、所述分片的信息和画面组的信息，获取所述S个子区域中每个子区域在所述分片的信息所指示的分片的画面组，根据所述画面组的信息从取所述分片的画面组中获取S个目标画面组，确定N个画面组序列，所述N个画面组序列包括与所述S个子区域一一对应的所述S个目标画面组，且所述S个目标画面组的序号相同，所述N为大于或等于1的整数；通过N条链路向所述VR终端发送所述N个画面组序列；

所述虚拟现实VR终端用于：通过N条链路接收N个画面组序列，所述N个画面组序列包括与所述S个子区域一一对应的所述S个目标画面组，且所述S个目标画面组的序号相同，对所述N个画面组序列进行处理，以全景的方式在所述S个子区域一一对应的显示所述S个目标画面组的视频内容。

Images