CN114339265A - 视频处理、控制、播放方法及设备、介质 - Google Patents

Abstract

本公开提供一种视频处理方法，包括：接收多个摄像机发送的多路视频码流，多个摄像机拍摄视角不同，以使得多路所述视频码流对应多个显示视角；将多路所述视频码流进行编码，生成多路合成码流，每一路所述合成码流由至少一路所述视频码流编码生成。本公开实施例还提供一种视频控制方法、一种视频播放方法、一种编码器、一种流媒体服务器、一种终端、一种计算机可读介质。

Description

视频处理、控制、播放方法及设备、介质

技术领域

本公开实施例涉及计算机技术领域，特别涉及一种视频处理方法、一种视频控制方法、 一种视频播放方法、一种编码器、一种流媒体服务器、一种终端、一种计算机可读介质。

背景技术

自由视点视频的原始数据一般是由部署在场地四周多个摄像机组成的集合采集而成，多 个摄像机同时拍摄同一个场景地不同角度。数据通过网络传输到服务器处理并且分发，最终 通过智能终端呈现。使得用户可以任意选择其中之一进行观看，或者根据相邻几个摄像机所 拍摄的视频序列合成出一个虚拟的中间场景进行观看，并实现多个视点之间的无缝自由浏览 和切换。自由视点一般用于各种体育竞技比赛、博览会、场馆赛事等等活动。

但是，自由视频往往无法实现立体和平滑的自由视点切换效果与清晰的显示效果的兼顾。

发明内容

本公开实施例提供一种视频处理方法、一种视频控制方法、一种视频播放方法、一种编 码器、一种流媒体服务器、一种终端、一种计算机可读介质。

第一方面，本公开实施例提供一种视频处理方法，包括：

接收多个摄像机发送的多路视频码流，多个摄像机拍摄视角不同，以使得多路所述视频 码流对应多个显示视角；

将多路所述视频码流进行编码，生成多路合成码流，每一路所述合成码流由至少一路所 述视频码流编码生成。

在一些实施例中，将多路所述视频码流进行编码，生成多路合成码流的步骤之前，所述 视频处理方法还包括：

确定合成每一路所述合成码流的所述视频码流的数量。

在一些实施例中，将多路所述视频码流进行编码，生成多路合成码流的步骤之前，所述 视频处理方法还包括：

根据多路所述视频码流对应的显示视角的相邻关系，确定合成每一路所述合成码流的所 述视频码流，其中，合成同一路所述合成码流的多路所述视频码流对应的显示视角依次相邻。

在一些实施例中，将多路视频码流进行编码，生成多路合成码流的步骤之后，所述编码 方法还包括：

对多路所述合成码流进行时间同步处理。

在一些实施例中，将多路所述视频码流进行编码，生成多路合成码流的步骤之后，所述 视频处理方法还包括：

将多路所述合成码流同步到至少一个流媒体服务器。

第二方面，本公开实施例提供一种视频控制方法，包括：

为多路合成码流中每一路所述合成码流生成地址，其中，多路所述合成码流由多路视频 码流编码生成，每一路所述合成码流由至少一路所述视频码流编码生成；

响应于播放请求，根据所述播放请求中携带的地址将相应的所述合成码流传输到发送所 述播放请求的终端。

在一些实施例中，为多路合成码流中每一路所述合成码流生成地址的步骤之后，所述视 频控制方法还包括：

确定多路所述合成码流的地址的关联关系。

第三方面，本公开实施例提供一种视频播放方法，包括：

解码多路合成码流中的至少一路合成码流，得到至少一路待播放合成图像矩阵，其中， 每一路所述合成码流解码后能够得到一路合成图像矩阵，每一路所述合成图像矩阵划分为至 少一路子网格，多路所述合成码流由多路视频码流编码生成，每一路所述合成码流由至少一 路所述视频码流编码生成，多路所述视频码流对应多个显示视角，每一路所述子网格对应于 一路所述视频码流对应的显示视角；

渲染所述至少一路待播放合成图像矩阵所属的至少一路子网格中的一者，生成播放画面。

在一些实施例中，所述视频播放方法还包括：

响应于切换到目标子网格的指令，渲染所述目标子网格并展示，其中，所述目标子网格 归属的合成图像矩阵为多路所述合成码流解码后能够得到的多路合成图像矩阵中的一者。

在一些实施例中，响应于切换到目标子网格的指令，渲染所述目标子网格并展示的步骤 之前，所述解码方法还包括：

判断所述目标子网格归属的合成图像矩阵是否为所述至少一路待播放合成图像矩阵中的 一者；

当所述目标子网格归属的合成图像矩阵为所述至少一路待播放合成图像矩阵中的一者时， 执行渲染所述目标子网格并展示的步骤；

当所述目标子网格归属的合成图像矩阵非所述至少一路待播放合成图像矩阵中的一者时， 渲染所述目标子网格并展示的步骤之前，所述视频播放方法还包括：

对能够解码得到所述目标子网格归属的合成图像矩阵的合成码流进行解码，得到所述目 标子网格归属的合成图像矩阵。

在一些实施例中，所述切换到目标子网格的指令为根据所述播放画面上的触控点的移动 轨迹生成的指令，响应于切换到目标子网格的指令，渲染所述目标子网格并展示的步骤之前， 所述视频播放方法还包括：

根据所述触控点在所述移动轨迹中的移动方向确定至少一路所述目标子网格。

在一些实施例中，合成同一路所述合成码流的多路所述视频码流对应的显示视角依次相 邻，根据所述触控点在所述移动轨迹中的移动方向确定至少一路所述目标子网格的步骤包括：

根据所述触控点在所述移动轨迹中的移动方向，将与所述播放画面的显示视角相邻的显 示视角对应的子网格确定为所述目标子网格。

在一些实施例中，所述视频播放方法还包括：

预解码至少一路目标合成码流，所述目标合成码流为多路所述合成码流中除解码得到所 述目标子网格归属的合成图像矩阵的合成码流以外的合成码流。

在一些实施例中，所述切换到目标子网格的指令为根据所述播放画面上的触控点的移动 轨迹生成的指令，预解码至少一路目标合成码流的步骤之前，所述视频播放方法还包括：

根据所述触控点在所述移动轨迹中的移动方向确定至少一路所述目标合成码流。

在一些实施例中，根据所述触控点在所述移动轨迹中的移动方向确定至少一路所述目标 合成码流的步骤之前，所述视频播放方法还包括：

确定预解码的所述目标合成码流的数量。

在一些实施例中，解码多路合成码流中的至少一路所述合成码流，得到至少一路待播放 合成图像矩阵的步骤之前，所述视频播放方法还包括：

根据视频播放指令生成播放请求，所述播放请求携带有所述视频播放指令指向的视频的 地址；

将所述播放请求发送到流媒体服务器；

接收所述流媒体服务器发送的与所述地址对应的至少一个合成码流。

第四方面，本公开实施例提供一种解码器，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理 器执行，使得所述一个或多个处理器实现本公开实施例第一方面所述的视频处理方法。

第五方面，本公开实施例提供一种流媒体服务器，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理 器执行，使得所述一个或多个处理器实现本公开实施例第二方面所述的视频控制方法。

第六方面，本公开实施例提供一种终端，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理 器执行，使得所述一个或多个处理器实现本公开实施例第三方面所述的视频播放方法。

第七方面，本公开实施例提供一种计算机可读介质，其上存储有计算机程序，所述程序 被处理器执行时实现以下方法中的至少一者：

本公开实施例第一方面所述的视频处理方法；

本公开实施例第二方面所述的视频控制方法；

本公开实施例第三方面所述的视频播放方法。

在本公开实施例中，编码器将多个摄像机采集生成的多路视频码流进行编码生成多路合 成码流，其中，每一路合成码流由有限数目的视频码流编码生成，当多路合成码流通过流媒 体服务器推送到终端进行播放时，终端通过对一路合成码流解码切割出的网格数量也是有限 数目的，因此可以保障显示清晰度；终端对通过所述视频处理方法生成的多路合成码流进行 解码，能够得到更多的对应不同视角的视频码流，从而能够实现更立体、更大视角、切换更 为平滑的自由视点效果；同时，还能够根据终端性能灵活调整同时解码的合成码流的数量， 从而确保了本公开实施例所述的视频播放方法对不同终端的兼容性。此外，在本公开实施例 中，通过多个编码服务并发或部署多个编码器并发同时生成多路合成码流，编码器一次仅需 将有限数目的视频码流合成为一路合成码流，降低了对编码器性能的要求，保障了视频编码 效率。

附图说明

图1是本公开实施例中一种视频处理方法的流程图；

图2是本公开实施例中另一种视频处理方法中部分步骤的流程图；

图3是本公开实施例中又一种视频处理方法中部分步骤的流程图；

图4是本公开实施例中再一种视频处理方法中部分步骤的流程图；

图5是本公开实施例中一种视频控制方法的流程图；

图6是本公开实施例中另一种视频控制方法中部分步骤的流程图；

图7是本公开实施例中一种视频播放方法的流程图；

图8是本公开实施例中另一种视频播放方法中部分步骤的流程图；

图9是本公开实施例中又一种视频播放方法中部分步骤的流程图；

图10是本公开实施例中再一种视频播放方法中部分步骤的流程图；

图11是本公开实施例中再一种视频播放方法中部分步骤的流程图；

图12是本公开实施例中再一种视频播放方法中部分步骤的流程图；

图13是本公开实施例中再一种视频播放方法中部分步骤的流程图；

图14是本公开实施例中再一种视频播放方法中部分步骤的流程图；

图15是本公开实施例中一种编码器的组成框图；

图16是本公开实施例中一种流媒体服务器的组成框图；

图17是本公开实施例中一种终端的组成框图；

图18是本公开实施例中一种计算机可读介质的组成框图；

图19是本公开实施例中自由视点播放的一种实施方式的示意图；

图20是本公开实施例中编解码示意图。

具体实施方式

为使本领域的技术人员更好地理解本公开的技术方案，下面结合附图对本公开提供的视 频处理方法、视频控制方法、视频播放方法、编码器、流媒体服务器、终端、计算机可读介 质进行详细描述。

在下文中将参考附图更充分地描述示例实施例，但是所述示例实施例可以以不同形式来 体现且不应当被解释为限于本文阐述的实施例。反之，提供这些实施例的目的在于使本公开 透彻和完整，并将使本领域技术人员充分理解本公开的范围。

在不冲突的情况下，本公开各实施例及实施例中的各特征可相互组合。

如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。

本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单 数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是， 当本说明书中使用术语“包括”和/或“由……制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。

除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技 术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释 为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或 过度形式上的含义，除非本文明确如此限定。

经本公开实施例的发明人研究发现，为实现自由视点播放，目前采取的方式是将多个摄 像机拍摄的多路视频码流合成为一路合成码流，播放终端只需解码该一路合成码流并渲染解 码得到的多路视频码流中的一路进行播放。为了呈现更立体、更大视角、切换更为平滑的自 由视点的效果，通常需要部署更密集的摄像机。这会带来如下问题：更密集的摄像机会拍摄 产生更多路视频码流，但是编码器能够处理的视频码流的数量有限，当视频码流数量过多时， 无法将多路视频码流合成为一路合成码流；当合成一路合成码流的视频码流数量过多时，终 端播放器通过解码将切割出更多网格，其中，一个网格对应一路视频码流，在对其中任意一 个网格进行播放时清晰度将大大降低，影响用户体验。

有鉴于此，第一方面，参照图1，本公开实施例提供一种视频处理方法，包括：

在步骤S110中，接收多个摄像机发送的多路视频码流，多个摄像机拍摄视角不同，以使 得多路所述视频码流对应多个显示视角；

在步骤S120中，将多路所述视频码流进行编码，生成多路合成码流，每一路所述合成码 流由至少一路所述视频码流编码生成。

在本公开实施例中，每一路视频码流对应于一个摄像机，不同视频码流对应不同摄像机 对应的不同视角。本公开实施例对步骤S110中由摄像机采集生成的视频码流的数量的上限不 做特殊限定。

需要说明的是，在本公开实施例中，每一路合成码流都是基于相同策略对有限数目的视 频码流进行编码生成的，编码生成不同合成码流的视频码流互不相同。还需要说明的是，多 路合成码流根据对应的视频码流会形成关联关系，例如，合成同一路所述合成码流的多路所 述视频码流对应的显示视角依次相邻。

本公开实施例对编码生成合成码流的视频码流的数量不做特殊限定。例如，可以根据编 码器性能确定编码器能够合成一路合成码流的视频码流的数量；也可以根据终端播放时对显 示清晰度的要求确定合成一路合成码流的视频码流的数量。

在本公开实施例中，可以在同一编码器中并发多个编码服务进行合成编码，每一个编码 服务编码生成至少一路合成码流；也可以部署多个编码器，由多个编码器并发进行合成编码， 每一个编码器生成至少一路合成码流，其中，每一个编码器可以并发多个编码服务，每一个 编码服务编码生成至少一路合成码流。本公开实施例对此不做特殊限定。

本公开实施例对通过步骤S120将至少一路视频码流编码生成合成码流的具体方式不做 特殊限定。作为一种可选的实施方式，以图像矩阵表示视频画面，编码生成的合成码流解码 后能够得到一路合成图像矩阵。本公开实施例对于合成图像矩阵的具体形式不做特殊限定。 作为一种可选的实施方式，合成图像矩阵经渲染、展示后视频画面是由有限数目个摄像机拍 摄的视频画面拼接而成的。

在本公开实施例提供的视频处理方法中，将多个摄像机采集生成的多路视频码流进行编 码生成多路合成码流，其中，每一路合成码流由有限数目的视频码流编码生成，当多路合成 码流通过流媒体服务器推送到终端进行播放时，终端通过对一路合成码流解码切割出的网格 数量也是有限数目的，因此可以保障显示清晰度；同时，终端对通过所述视频处理方法生成 的多路合成码流进行解码，能够得到更多的对应不同显示视角的视频码流，从而能够实现更 立体、更大视角、切换更为平滑的自由视点效果。此外，在本公开实施例中，通过多个编码 服务并发或部署多个编码器并发同时生成多路合成码流，编码器一次仅需将有限数目的视频 码流合成为一路合成码流，降低了对编码器性能的要求，保障了视频编码效率。

在一些实施例中，参照图2，在步骤S120之前，所述视频处理方法还包括：

在步骤S141中，确定合成每一路所述合成码流的所述视频码流的数量。

本公开实施例对编码生成合成码流的视频码流的数量不做特殊限定。例如，可以根据编 码器性能确定编码器能够合成一路合成码流的视频码流的数量；也可以根据终端播放时对显 示清晰度的要求确定合成一路合成码流的视频码流的数量。

在本公开实施例中，发送视频码流的摄像机对应不同的拍摄视角，即不同视频码流对应 不同的显示视角，多个显示视角具有依次相邻关系。作为一种可选的实施方式，按照多个显 示视角的依次相邻关系，将多路视频码流合成为一路合成码流。

相应地，在一些实施例中，参照图2，在步骤S120之前，所述视频处理方法还包括：

在步骤S142中，根据多路所述视频码流对应的显示视角的相邻关系，确定合成每一路所 述合成码流的所述视频码流，其中，合成同一路所述合成码流的多路所述视频码流对应的显 示视角依次相邻。

在本公开实施例中，在同一编码器中并发多个编码服务进行合成编码、或由多个编码器 并发进行合成编码生成多路合成码流后，还需要对多路合成码流进行时间同步处理。

相应地，参照图3，在一些实施例中，在步骤S120之后，所述编码方法还包括：

在步骤S130中，对多路所述合成码流进行时间同步处理。

在本公开实施例中，编码器通过步骤S110至步骤S120编码生成多路合成码流之后，将 多路合成码流推送到多个流媒体节点的流媒体服务器，通过流媒体服务器将合成码流发送到 终端。

相应地，参照图4，在一些实施例中，在步骤S120之后，所述视频处理方法还包括：

在步骤S150中，将多路所述合成码流同步到至少一个流媒体服务器。

第二方面，参照图5，本公开实施例提供一种视频控制方法，包括：

在步骤S210中，为多路合成码流中每一路所述合成码流生成地址，其中，多路所述合成 码流由多路视频码流编码生成，每一路所述合成码流由至少一路所述视频码流编码生成；

在步骤S220中，响应于播放请求，根据所述播放请求中携带的地址将相应的所述合成码 流传输到发送所述播放请求的终端。

在本公开实施例中，编码生成合成码流的每一路视频码流对应于一个摄像机，不同摄像 机对应不同的拍摄视角。每一路合成码流都是基于相同策略对有限数目的视频码流进行编码 生成的，编码生成不同合成码流的视频码流互不相同。多路合成码流根据对应的视频码流会 形成关联关系，例如，根据视频码流对应的显示视角，多路合成码流形成固定的顺序关系。

在本公开实施例中，流媒体服务器接收编码器发送的多路合成码流之后，通过步骤S210 根据多路合成码流的关联关系，为每一路合成码流生成统一资源定位符(URL，Uniform Resoure Locator)，并通过步骤S220向终端发送合成码流，以使终端能够根据URL从流媒体 服务器获取多路合成码流，实自由视点效果。

在本公开实施例提供的视频控制方法中，流媒体服务器能够为多个视频码流编码合成的 多个具有关联关系的合成码流生成地址，并能够响应于终端的播放请求，向终端发送具有关 联关系的合成码流，由于每一路合成码流由有限数目的视频码流编码生成，从而能够保障显 示清晰度；终端对从流媒体服务器获取的多路合成码流进行解码，能够得到更多的对应不同 显示视角的视频码流，从而能够实现更立体、更大视角、切换更为平滑的自由视点效果。

在一些实施例中，参照图6，在步骤S210之后，所述视频控制方法还包括：

在步骤S230中，确定多路所述合成码流的地址的关联关系。

需要说明的是，在本公开实施例中，多路所述合成码流的地址的关联关系对应于多路合 成码流的关联关系。例如，根据视频码流对应的显示视角的关联关系形成多路合成码流之间 的关联关系，多路合成码流的地址能够体现多路合成码流之间的关联关系，根据多路合成码 流的地址能够确定对应于某一个显示视角的视频码流。

在本公开实施例中，可以将一段连续的URL作为多路合成码流的地址，以体现多路合成 码流的关联关系；也可以设置相应的标识标记多路合成码流的关联关系。本公开实施例对此 不做特殊限定。

第三方面，参照图7，本公开实施例提供一种视频播放方法，包括：

在步骤S310中，解码多路合成码流中的至少一路合成码流，得到至少一路待播放合成图 像矩阵，其中，每一路所述合成码流解码后能够得到一路合成图像矩阵，每一路所述合成图 像矩阵划分为至少一路子网格，多路所述合成码流由多路视频码流编码生成，每一路所述合 成码流由至少一路所述视频码流编码生成，多路所述视频码流对应多个显示视角，每一路所 述子网格对应于一路所述视频码流对应的显示视角；

在步骤S320中，渲染所述至少一路待播放合成图像矩阵所属的至少一路子网格中的一者， 生成播放画面。

在本公开实施例中，每一路视频码流对应于一个摄像机，不同摄像机对应不同的拍摄视 角。

在本公开实施例中，以图像矩阵表示视频画面，编码生成的合成码流解码后能够得到一 路合成图像矩阵。本公开实施例对于合成图像矩阵的具体形式不做特殊限定。作为一种可选 的实施方式，合成图像矩阵经渲染、展示后视频画面是由有限数目个摄像机拍摄的视频画面 拼接而成的。

需要说明的是，在本公开实施例中，每一路合成码流都是基于相同策略对有限数目的视 频码流进行编码生成的，编码生成不同合成码流的视频码流互不相同。还需要说明的是，多 路合成码流根据对应的视频码流会形成关联关系，例如，合成同一路所述合成码流的多路所 述视频码流对应的显示视角依次相邻。相应地，多路合成码流解码后能够得到的合成图像矩 阵中的子网格对应的显示视角也依次相邻。

在本公开实施例中，编码器在编码生成多路合成码流时，根据终端播放时对显示清晰度 的要求确定合成一路合成码流的视频码流的数量。本公开实施例中，对合成码流进行解码为 编码器对多路视频码流编码生成合成码流的逆过程。因此，通过步骤S310解码得到的待播放 合成图像矩阵能够划分为有限路子网格，不同子网格对应不同的显示视角；将任意一个子网 格放大后仍然能够满足终端的显示清晰度要求。

在步骤S320中，可以只渲染待播放合成图像矩阵中的一路子网格，在终端显示屏上全屏 显示渲染子网格后得到的播放画面；还可以同时渲染待播放合成图像矩阵中的多路子网格， 在终端显示屏上分屏显示渲染多路子网格后得到的播放画面。本公开实施例对此不做特殊限 定。

还需要说明的是，在本公开实施例中，对步骤S310中同时解码的合成码流的数量不做特 殊限定。作为一种可选的实施方式，可以根据终端的解码性能确定同时解码的合成码流的数 量，从而提高本公开实施例所述的视频播放方法对不同终端的兼容性。例如，若终端解码性 能较强，则同时解码较多的合成码流，同时能够确保自由视点切换的平滑度；若终端解码性 能较弱，则同时解码较少的合成码流。

在本公开实施例提供的视频播放方法中，终端从流媒体服务器获取多个合成码流，多个 合成码流由编码器将多个摄像机采集生成的多路视频码流进行编码生成的，其中，每一路合 成码流由有限数目的视频码流编码生成，当终端进行播放时，终端播放器通过对一路合成码 流解码切割出的子网格数量也是有限数目的，因此可以保障显示清晰度；终端对通过所述视 频处理方法生成的多路合成码流进行解码，能够得到更多的对应不同显示视角的子网格，从 而能够实现更立体、更大视角、切换更为平滑的自由视点效果；同时，还能够根据终端性能 灵活调整同时解码的合成码流的数量，从而确保了本公开实施例所述的视频播放方法对不同 终端的兼容性。

在本公开实施例中，响应于用户切换自由视点的指令，根据合成策略选择新的子网格进 行渲染并展示。

相应地，参照图8，在一些实施例中，所述视频播放方法还包括：

在步骤S330中，响应于切换到目标子网格的指令，渲染所述目标子网格并展示，其中， 所述目标子网格归属的合成图像矩阵为多路所述合成码流解码后能够得到的多路合成图像矩 阵中的一者。

在本公开实施例中，若响应于用户切换自由视点的指令选择的新的子网格为步骤S310中 解码得到的待播放合成图像矩阵中的一者，则直接对选择的新的子网格进行渲染并展示；若 步骤S310中解码得到的待播放合成图像矩阵中不包括选择的新的子网格，则需要对能够解码 得到新的子网格归属的合成图像矩阵的合成码流进行解码，然后对新的子网格进行渲染并展 示。

相应地，参照图9，在一些实施例中，响应于切换到目标子网格的指令，在步骤S330之 前，所述解码方法还包括：

在步骤S341中，判断所述目标子网格归属的合成图像矩阵是否为所述至少一路待播放合 成图像矩阵中的一者；

当所述目标子网格归属的合成图像矩阵为所述至少一路待播放合成图像矩阵中的一者时， 执行渲染所述目标子网格并展示的步骤；

当所述目标子网格归属的合成图像矩阵非所述至少一路待播放合成图像矩阵中的一者时， 在步骤S342中，对能够解码得到所述目标子网格归属的合成图像矩阵的合成码流进行解码， 得到所述目标子网格归属的合成图像矩阵。

在本公开实施例中，用户通过在播放画面上左右滑动切换视角，终端在接收到用户滑动 屏幕的指令时，根据滑动方向确定用户需要切换到的目标视角，进而确定对应于目标视角的 目标子网格。作为一种可选实施方式，终端通过检测播放画面上的触控点的移动轨迹确定用 户在播放画面上的滑动方向，并进一步确定目标子网格。

相应地，参照图10，在一些实施例中，所述切换到目标子网格的指令为根据所述播放画 面上的触控点的移动轨迹生成的指令，响应于切换到目标子网格的指令，渲染所述目标子网 格并展示的步骤之前，所述视频播放方法还包括：

在步骤S350中，根据所述触控点在所述移动轨迹中的移动方向确定至少一路所述目标子 网格。

需要说明的是，在本公开实例中，每一路子网格对应于一路视频码流，每一路视频码流 对应于一个摄像机，不同摄像机的位置不同，即每一路子网格对应于一个显示视角。在步骤 S350中，根据所述触控点在所述移动轨迹中的移动方向确定至少一路所述目标子网格是指， 根据所述触控点在所述移动轨迹中的移动方向，确定目标视角，将所述目标视角对应的子网 格确定为所述目标子网格。

在本公开实施例中，可以预先设定用户在播放画面上的滑动方向与显示视角切换的对应 关系。例如，当用户在播放画面上向左滑动时，则将当前播放画面左侧视角对应的子网格确 定为目标子网格；当用户在播放画面上向右滑动时，则将当前播放画面右侧视角对应的子网 格确定为目标子网格；当用户在播放画面上向下滑动时，则将当前播放画面上侧视角对应的 子网格确定为目标子网格；当用户在播放画面上向上滑动时，则将当前播放画面下侧视角对 应的子网格确定为目标子网格。

作为一种可选的实施方式，将当前播放画面右侧视角对应的子网格作为当前播放画面对 应的子网格的下一路子网格，将当前播放画面左侧视角对应的子网格作为当前播放画面对应 的子网格的上一路子网格。在步骤S350中，当触控点的移动方向为从左向右时，将下一路子 网格作为目标子网格；当触控点的移动方向为从右向左时，将上一路子网格作为目标子网格。

作为一种可选的实施方式，当用户在播放画面上滑动切换视角时，将与用户滑动方向一 致且与当前的播放画面的视角相邻的视角对应的子网格确定为目标子网格，并即时的将与当 前播放画面的视角相邻的视角对应的子网格渲染展示，从而提高视角切换的平滑度。

相应地，参照图11，步骤S350包括：

在步骤S351中，根据所述触控点在所述移动轨迹中的移动方向，将与所述播放画面的显 示视角相邻的显示视角对应的子网格确定为所述目标子网格。

在本公开实施例中，可以根据策略预判可能展示的下一路合成码流，并提前解码，从而 能够缩短自由视点切换时解码、渲染新的合成码流的耗时，避免切换黑屏现象，使自由视点 切换更加平滑。

相应地，参照图12，在一些实施例中，所述视频播放方法还包括：

在步骤S360中，预解码至少一路目标合成码流，所述目标合成码流为多路所述合成码流 中除解码得到所述目标子网格归属的合成图像矩阵的合成码流以外的合成码流。

相应地，参照图13，在一些实施例中，所述切换到目标子网格的指令为根据所述播放画 面上的触控点的移动轨迹生成的指令，在步骤S350之前，所述视频播放方法还包括：

在步骤S371中，根据所述触控点在所述移动轨迹中的移动方向确定至少一路所述目标合 成码流。

作为一种可选的实施方式，将当前播放画面右侧视角对应的合成码流作为当前播放画面 对应的合成码流的下一路合成码流，将当前播放画面左侧视角对应的合成码流作为当前播放 画面对应的合成码流的上一路合成码流。在步骤S360中，当触控点的移动方向为从左向右时， 将下一路、或几路合成码流作为目标合成码流；当触控点的移动方向为从右向左时，将上一 路、或几路合成流作为目标合成码流。

作为另一种可选的实施方式，在步骤S360中，当触控点的移动方向为从左向右，且已解 码的合成码流右侧无合成码流、或已解码的合成码流右侧的合成码流的数量小于预定数量时， 则将上一路、或几路合成码流作为目标合成码流；当触控点的移动方向为从右向左，且已解 码的合成码流左侧无合成码流、或已解码的合成码流左侧的合成码流的数量小于预定数量时， 则将下一路、或几路合成码流作为目标合成码流。

在本公开实施例中，在步骤S360中预解码的目标合成码流的数量可灵活调整，从而确保 兼容性。

相应地，参照图13，在一些实施例中，在步骤S360之前，所述视频播放方法还包括：

在步骤S372中，确定预解码的所述目标合成码流的数量。

本公开实施例对如何执行步骤S372确定目标合成码流的数量不做特殊限定。作为一种可 选的实施方式，可以根据终端的解码性能确定预解码的目标合成码流的数量，从而提高本公 开实施例所述的视频播放方法对不同终端的兼容性。例如，若终端解码性能较强，则预解码 较多的目标合成码流，同时能够确保自由视点切换的平滑度；若终端解码性能较弱，则预解 码较少的目标合成码流。

在本公开实施例中，流媒体服务器接收编码器发送的多路合成码流之后，根据多路合成 码流的关联关系，为每一路合成码流生成URL地址。终端通过向流媒体服务器发送播放请求， 根据URL从流媒体服务器获取多路合成码流，实自由视点效果。

相应地，参照图14，在一些实施例中，在步骤S310之前，所述视频播放方法还包括：

在步骤S381中，根据视频播放指令生成播放请求，所述播放请求携带有所述视频播放指 令指向的视频的地址；

在步骤S382中，将所述播放请求发送到流媒体服务器；

在步骤S383中，接收所述流媒体服务器发送的与所述地址对应的至少一个合成码流。

第四方面，参照图15，本公开实施例提供一种解码器，包括：

一个或多个处理器101；

存储器102，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行， 使得一个或多个处理器实现本公开实施例第一方面所述的视频处理方法；

一个或多个I/O接口103，连接在处理器与存储器之间，配置为实现处理器与存储器的 信息交互。

其中，处理器101为具有数据处理能力的器件，其包括但不限于中央处理器(CPU)等； 存储器102为具有数据存储能力的器件，其包括但不限于随机存取存储器(RAM，更具体如 SDRAM、DDR等)、只读存储器(ROM)、带电可擦可编程只读存储器(EEPROM)、闪存(FLASH)；I/O接口(读写接口)103连接在处理器101与存储器102间，能实现处理器101与存储器 102的信息交互，其包括但不限于数据总线(Bus)等。

在一些实施例中，处理器101、存储器102和I/O接口103通过总线104相互连接，进而与计算设备的其它组件连接。

第五方面，参照图16，本公开实施例提供一种流媒体服务器，包括：

一个或多个处理器201；

存储器202，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行， 使得一个或多个处理器实现本公开实施例第二方面所述的视频控制方法；

一个或多个I/O接口203，连接在处理器与存储器之间，配置为实现处理器与存储器的 信息交互。

其中，处理器201为具有数据处理能力的器件，其包括但不限于中央处理器(CPU)等； 存储器202为具有数据存储能力的器件，其包括但不限于随机存取存储器(RAM，更具体如 SDRAM、DDR等)、只读存储器(ROM)、带电可擦可编程只读存储器(EEPROM)、闪存(FLASH)；I/O接口(读写接口)203连接在处理器201与存储器202间，能实现处理器201与存储器 202的信息交互，其包括但不限于数据总线(Bus)等。

在一些实施例中，处理器201、存储器202和I/O接口203通过总线204相互连接，进而与计算设备的其它组件连接。

第六方面，参照图17，本公开实施例提供一种终端，包括：

一个或多个处理器301；

存储器302，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行， 使得一个或多个处理器实现本公开实施例第三方面所述的视频播放方法；

一个或多个I/O接口303，连接在处理器与存储器之间，配置为实现处理器与存储器的 信息交互。

其中，处理器301为具有数据处理能力的器件，其包括但不限于中央处理器(CPU)等； 存储器302为具有数据存储能力的器件，其包括但不限于随机存取存储器(RAM，更具体如 SDRAM、DDR等)、只读存储器(ROM)、带电可擦可编程只读存储器(EEPROM)、闪存(FLASH)；I/O接口(读写接口)303连接在处理器301与存储器302间，能实现处理器301与存储器 302的信息交互，其包括但不限于数据总线(Bus)等。

在一些实施例中，处理器301、存储器302和I/O接口303通过总线304相互连接，进而与计算设备的其它组件连接。

第七方面，参照图18，本公开实施例提供一种计算机可读介质，其上存储有计算机程序， 所述程序被处理器执行时实现以下方法中的至少一者：

本公开实施例第一方面所述的视频处理方法；

本公开实施例第二方面所述的视频控制方法；

本公开实施例第三方面所述的视频播放方法。

为了使本领域技术人员能够更清楚地理解本公开实施例提供的技术方案，下面通过具体 的实施例，对本公开实施例提供的技术方案进行详细说明：

实施例一

图19为本实施例一中实现自由视点播放的示意图。

如图19所示，在本实施例一种，由摄像机1，……，摄像机N等多个摄像机拍摄获取多 路视频码流。

编码器对多路视频码流进行编码，生成多路合成码流，并对多路合成码流进行时间同步 处理；然后将多路合成码流同步到流媒体服务器。

流媒体服务器响应于终端的播放请求，将多路合成码流传输到终端。

终端对多路视频码流进行解码，得到多路合成图像矩阵，每一路合成图像矩阵划分为多 路子网格，每一路子网格对应一路视频码流；终端渲染要显示的子网格并展示；终端还可以 根据切换指令更新渲染新的子网格，并根据视角切换方向预解码合成码流；例如，将当前播放 画面右侧视角对应的合成码流作为当前播放画面对应的合成码流的下一路合成码流，将当前 播放画面左侧视角对应的合成码流作为当前播放画面对应的合成码流的上一路合成码流，向 左滑动时，预测已解码的合成码流快到边界，则提前解码下一路合成码流；向右滑动时，预 测已解码的合成码流快到边界，则提前解码上一路合成码流。

最终实现自由视点播放。

实施例二

图20为本实施例二中对合成码流进行解码以及对视频码流进行切换、渲染的示意图。

在本实施例二中，为保障立体、平滑的自由视点切换效果，最终围绕拍摄物按照固定步 长分别部署了36个摄像机。

编码器对来自36个摄像机的36路视频码流进行编码，生成多路合成码流。在本实施例 二中，将4路视频码流合成为1路合成码流，以保障终端的显示清晰度。

如图20所示，合成码流解码后能够得到2*2个子网格构成的合成图像矩阵，每一个子网 格对应一路视频码流，最终得到9路合成码流。

在本实施例二中，实现自由视点播放包括以下流程：

编码器并发9个编码服务对36路视频码流进行编码合成；

编码器对9路合成码流进行时间同步处理，确保9路合成码流播放同步；

编码器将合成流同步到流媒体服务器节点；

流媒体服务器为9路合成码流生成URL地址，分别为URL1、URL2、……、URL9；

终端启动播放。默认加载第一路合成码流中的第一个子网格，即图20(a)中的子网格1。 需要说明的是，终端会对URL1进行解码，得到子网格1、子网格2、子网格3、子网格4，但只将子网格1放大平铺到播放窗口，最终渲染并展示。

终端响应于切换指令，进行自由视点切换(在本实施例二中，以用户向右切换进行说明)：

场景一：如图20(a)虚线框所示，当前已解码URL1和URL2，并显示子网格1。自 由视点由左向右切换，从子网格1切换到子网格2、甚至切换到子网格5。终端检测到URL1 和URL2已经解码，直接渲染子网格2或子网格5并进行展示；

场景二：如图20(b)虚线框所示，当前已解码URL2和URL3，并显示子网格10。自 由视点由左向右切换，切换到子网格11。终端检测到URL3合成流向右只剩子网格12，

预加载合成码流URL4，如图20(c)所示，当前已解码URL3和URL4，并显示子网格11。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中 的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以 上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组 件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或 所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软 件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在 计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介 质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信 息(诸如计算机可读指令、数据结构、程序模块或其它数据)的任何方法或技术中实施的易 失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、 闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁盒、磁带、磁盘 存储或其它磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其它的 介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、 程序模块或者诸如载波或其它传输机制之类的调制数据信号中的其它数据，并且可包括任何 信息递送介质。

本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释 为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的 是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素， 或可与其它实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理 解，在不脱离由所附的权利要求阐明的本公开的范围的情况下，可进行各种形式和细节上的 改变。

Claims (20)

1.一种视频处理方法，包括：

接收多个摄像机发送的多路视频码流，多个摄像机拍摄视角不同，以使得多路所述视频码流对应多个显示视角；

将多路所述视频码流进行编码，生成多路合成码流，每一路所述合成码流由至少一路所述视频码流编码生成。

2.根据权利要求1所述的视频处理方法，其中，将多路所述视频码流进行编码，生成多路合成码流的步骤之前，所述视频处理方法还包括：

确定合成每一路所述合成码流的所述视频码流的数量。

3.根据权利要求2所述的视频处理方法，其中，将多路所述视频码流进行编码，生成多路合成码流的步骤之前，所述视频处理方法还包括：

根据多路所述视频码流对应的显示视角的相邻关系，确定合成每一路所述合成码流的所述视频码流，其中，合成同一路所述合成码流的多路所述视频码流对应的显示视角依次相邻。

4.根据权利要求1至3中任意一项所述的视频处理方法，其中，将多路视频码流进行编码，生成多路合成码流的步骤之后，所述编码方法还包括：

对多路所述合成码流进行时间同步处理。

5.根据权利要求1至3中任意一项所述的视频处理方法，其中，将多路所述视频码流进行编码，生成多路合成码流的步骤之后，所述视频处理方法还包括：

将多路所述合成码流同步到至少一个流媒体服务器。

6.一种视频控制方法，包括：

为多路合成码流中每一路所述合成码流生成地址，其中，多路所述合成码流由多路视频码流编码生成，每一路所述合成码流由至少一路所述视频码流编码生成；

响应于播放请求，根据所述播放请求中携带的地址将相应的所述合成码流传输到发送所述播放请求的终端。

7.根据权利要求6所述的视频控制方法，其中，为多路合成码流中每一路所述合成码流生成地址的步骤之后，所述视频控制方法还包括：

确定多路所述合成码流的地址的关联关系。

8.一种视频播放方法，包括：

解码多路合成码流中的至少一路合成码流，得到至少一路待播放合成图像矩阵，其中，每一路所述合成码流解码后能够得到一路合成图像矩阵，每一路所述合成图像矩阵划分为至少一路子网格，多路所述合成码流由多路视频码流编码生成，每一路所述合成码流由至少一路所述视频码流编码生成，多路所述视频码流对应多个显示视角，每一路所述子网格对应于一路所述视频码流对应的显示视角；

渲染所述至少一路待播放合成图像矩阵所属的至少一路子网格中的一者，生成播放画面。

9.根据权利要求8所述的视频播放方法，其中，所述视频播放方法还包括：

响应于切换到目标子网格的指令，渲染所述目标子网格并展示，其中，所述目标子网格归属的合成图像矩阵为多路所述合成码流解码后能够得到的多路合成图像矩阵中的一者。

10.根据权利要求9所述的视频播放方法，其中，响应于切换到目标子网格的指令，渲染所述目标子网格并展示的步骤之前，所述解码方法还包括：

判断所述目标子网格归属的合成图像矩阵是否为所述至少一路待播放合成图像矩阵中的一者；

当所述目标子网格归属的合成图像矩阵为所述至少一路待播放合成图像矩阵中的一者时，执行渲染所述目标子网格并展示的步骤；

当所述目标子网格归属的合成图像矩阵非所述至少一路待播放合成图像矩阵中的一者时，渲染所述目标子网格并展示的步骤之前，所述视频播放方法还包括：

对能够解码得到所述目标子网格归属的合成图像矩阵的合成码流进行解码，得到所述目标子网格归属的合成图像矩阵。

11.根据权利要求9或10所述的视频播放方法，其中，所述切换到目标子网格的指令为根据所述播放画面上的触控点的移动轨迹生成的指令，响应于切换到目标子网格的指令，渲染所述目标子网格并展示的步骤之前，所述视频播放方法还包括：

根据所述触控点在所述移动轨迹中的移动方向确定至少一路所述目标子网格。

12.根据权利要求11所述的视频播放方法，其中，合成同一路所述合成码流的多路所述视频码流对应的显示视角依次相邻，根据所述触控点在所述移动轨迹中的移动方向确定至少一路所述目标子网格的步骤包括：

根据所述触控点在所述移动轨迹中的移动方向，将与所述播放画面的显示视角相邻的显示视角对应的子网格确定为所述目标子网格。

13.根据权利要求9或10所述的视频播放方法，其中，所述视频播放方法还包括：

预解码至少一路目标合成码流，所述目标合成码流为多路所述合成码流中除解码得到所述目标子网格归属的合成图像矩阵的合成码流以外的合成码流。

14.根据权利要求13所述的视频播放方法，其中，所述切换到目标子网格的指令为根据所述播放画面上的触控点的移动轨迹生成的指令，预解码至少一路目标合成码流的步骤之前，所述视频播放方法还包括：

根据所述触控点在所述移动轨迹中的移动方向确定至少一路所述目标合成码流。

15.根据权利要求14所述的视频播放方法，其中，根据所述触控点在所述移动轨迹中的移动方向确定至少一路所述目标合成码流的步骤之前，所述视频播放方法还包括：

确定预解码的所述目标合成码流的数量。

16.根据权利要求8至10中任意一项所述的视频播放方法，其中，解码多路合成码流中的至少一路所述合成码流，得到至少一路待播放合成图像矩阵的步骤之前，所述视频播放方法还包括：

根据视频播放指令生成播放请求，所述播放请求携带有所述视频播放指令指向的视频的地址；

将所述播放请求发送到流媒体服务器；

接收所述流媒体服务器发送的与所述地址对应的至少一个合成码流。

17.一种解码器，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据权利要求1至5中任意一项所述的视频处理方法。

18.一种流媒体服务器，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据权利要求6或7所述的视频控制方法。

19.一种终端，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据权利要求8至16中任意一项所述的视频播放方法。

20.一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现以下方法中的至少一者：

根据权利要求1至5中任意一项所述的视频控制方法；

根据权利要求6或7所述的视频控制方法；

根据权利要求8至16中任意一项所述的视频播放方法。

Images