CN113271464A - 视频编码方法、解码方法及相关装置 - Google Patents

Abstract

本申请提供了一种视频编码方法、解码方法及相关装置，视频编码方法获取拍摄目标的多视角图像序列，该多视角图像序列包括拍摄目标在同一时刻从多个拍摄角度获得的图像；然后，按多视角图像序列对应时间的先后顺序，依次对拍摄目标在每个时刻对应的多视角图像序列进行编码，得到多视角视频流；其中，每个时刻对应的多视角图像序列编码得一个多视角编码图像序列。任一时刻的多视角编码图像序列能够单独进行解码得到该时刻的多视角图像，不需要解码其他时刻的多视角编码图像序列，因此，降低了解码负担。而且，任一个多视角编码图像序列中的编码图像不全是关键帧，因此，最终得到的多视角视频流的码率较低，降低了网络加载负担和带宽资源的需求。

Description

视频编码方法、解码方法及相关装置

技术领域

本发明属于视频编码技术领域，尤其涉及视频编码方法、解码方法及相关装置。

背景技术

在多机位拍摄视频的场景下，可能存在几十台，甚至更多相机围绕拍摄中心目标，即从多个视角拍摄的视频。用户在观看这种视频时，可以在某一画面切换拍摄视角从而观看到不同视角拍摄的图像，即，可以实现多个拍摄视角间随意切换。

目前，对于从多个视角拍摄的视频常用的一种编码方式是：每个拍摄角度的图像按时间顺序编码成一个视频文件，但是，当用户切换视角时，每个拍摄视角对应的视频文件都要从最近的一个I帧开始解码，一直解到目标图像位置。如果目标图像距离I帧较远，则需要把目标图像与I帧之间的所有图像都进行解码，此类方案存在解码负担较大、难以实现实时解码的问题。

而另一种多视角视频的编码方式是：将每个拍摄视角的图像都编码为I 帧，并按时间顺序编码成一个视频文件，因为I帧占用的字节数最多，所以此种编码方案会导致视频的码率非常大，造成网络加载负担重，可能存在无法实时加载视频数据的问题，同时浪费带宽资源。

发明内容

有鉴于此，本发明的目的在于提供一种视频编码方法、解码方法及相关装置，以解决相关技术中的多视角视频解码时无法实时解码，或者无法实时加载视频数据的问题，其技术方案如下：

一方面，本申请提供了一种视频的编码方法，包括：

获取拍摄目标的多视角图像序列，其中，所述多视角图像序列包括所述拍摄目标在同一时刻从各个拍摄角度获得的图像；

按照各个所述多视角图像序列对应时间的先后顺序，依次对所述拍摄目标在每个时刻对应的所述多视角图像序列进行编码，得到所述拍摄目标对应的多视角视频流，其中，每个时刻对应的多视角图像序列编码得到一个多视角编码图像序列，每个所述多视角编码图像序列可独立解码且不全为关键帧。

在一种可能的实现方式中，所述每个时刻对应的多视角图像序列编码得到一个多视角编码图像序列，包括：

对于任一时刻对应的多视角图像序列，将所述多视角图像序列中的第1 帧图像编码为关键帧、且每间隔m帧编码一个关键帧，两个相邻关键帧之间的编码图像均编码为非关键帧；

其中，m为大于0的正整数且m＜N，N为一个所述多视角图像序列包含的全部图像的数量。

在另一种可能的实现方式中，所述按照各个所述多视角图像序列对应时间的先后顺序，依次对所述目标在每个时刻对应的所述多视角图像序列进行编码，得到所述目标对应的多视角视频流，包括：

按照各个所述多视角图像序列对应时间的先后顺序，从未编码的多视角编码图像序列中确定出目标多视角图像序列；

对所述目标多视角图像序列包含的图像进行编码，得到至少一个多视角编码图像序列，其中，每个所述多视角编码图像序列可独立解码且不全为关键帧；

按照各个所述多视角图像序列对应时间的先后顺序，确定下一时刻对应的所述多视角编码图像序列为新的目标多视角图像序列，并对所述新的目标多视角图像序列进行编码，直到所述目标对应的所有多视角编码图像序列都完成编码，得到所述目标对应的多视角视频流。

在又一种可能的实现方式中，所述获取拍摄目标的多视角图像序列，包括：

从所述拍摄目标在各个拍摄角度对应的单视角视频流中，分别选取所述拍摄目标在同一时刻各个拍摄角度对应的图像；

其中，所述单视角视频流是所述拍摄目标在同一拍摄角度获得的图像按时间先后顺序编码得到的视频流。

在另一种可能的实现方式中，所述从所述拍摄目标在各个拍摄角度对应的单视角视频流中，分别选取所述拍摄目标在同一时刻各个拍摄角度对应的图像包括：

按照预设顺序逐个从所述拍摄目标对应的各个拍摄角度的单视角视频流中，选取同一时刻对应的图像，得到所述多视角图像序列。

另一方面，本申请还提供了一种视频解码方法，包括：

在播放多视角视频的过程中，当检测到视角切换操作后，确定视角切换时刻，所述视角切换时刻是检测到所述视角切换操作对应的视频播放时刻；

从与所述多视角视频相匹配的多视角视频流中，查找与所述视角切换时刻对应的多视角编码图像序列，其中，所述多视角视频流根据权利要求1-5 任一项所述的视频编码方法获得；

解码与所述视角切换时刻对应的多视角编码图像序列，得到所述视角切换时刻对应的多视角图像。

在一种可能的实现方式中，所述解码与所述视角切换时刻对应的多视角编码图像序列，得到所述视角切换操作对应的多视角图像，包括：

确定所述视角切换操作对应的目标视角范围；

根据所述多视角编码图像序列中各个编码图像所对应的拍摄角度，获得包含所述目标视角范围的目标多视角编码图像序列；

解码所述目标多视角编码图像序列得到所述视角切换操作对应的多视角图像。

在另一种可能的实现方式中，所述解码与所述视角切换时刻对应的多视角编码图像序列，得到所述视角切换操作对应的多视角图像，包括：

确定所述视角切换操作对应的视角范围是所述多视角视频的所有拍摄角度；

解码与所述视角切换时刻对应的全部多视角编码图像序列中的全部编码图像，得到所述视角切换操作对应的多视角图像。

又一方面，本申请还提供了一种视频的编码装置，包括：

多视角图像获取模块，用于获取拍摄目标的多视角图像序列，其中，所述多视角图像序列包括所述拍摄目标在同一时刻从各个拍摄角度获得的图像；

编码模块，用于按照各个所述多视角图像序列对应时间的先后顺序，依次对所述拍摄目标在每个时刻对应的所述多视角图像序列进行编码，得到所述拍摄目标对应的多视角视频流，其中，每个时刻对应的多视角图像序列编码得到一个多视角编码图像序列，每个所述多视角编码图像序列可独立解码且不全为关键帧。

再一方面，本申请还提供了一种视频解码装置，包括：

视角切换时刻确定模块，用于在播放多视角视频的过程中，当检测到视角切换操作后，确定视角切换时刻，所述视角切换时刻是检测到所述视角切换操作对应的视频播放时刻；

多视角编码图像获取模块，用于从与所述多视角视频相匹配的多视角视频流中，查找与所述视角切换时刻对应的多视角编码图像序列，其中，所述多视角视频流根据上述任一种视频编码方法获得；

解码模块，用于解码与所述视角切换时刻对应的多视角编码图像序列，得到所述视角切换时刻对应的多视角图像。

本发明提供的视频编码方法，用于生成多视角视频流，获取拍摄目标的多视角图像序列，该多视角图像序列包括拍摄目标在同一时刻从多个拍摄角度获得的图像；然后，按多视角图像序列对应时间的先后顺序，依次对拍摄目标在每个时刻对应的多视角图像序列进行编码，得到该拍摄目标对应的多视角视频流；其中，每个时刻对应的多视角图像序列编码得一个多视角编码图像序列，而且，每个多视角编码图像序列可独立解码每个多视角编码图像序列中不全为关键帧。由上述过程可知，将拍摄目标在同一时刻的所有拍摄角度对应的图像编码为一个可以独立解码的多视角编码图像序列，从而保证任一时刻的多视角编码图像序列能够单独进行解码得到该时刻的多视角图像，不需要解码其他时刻的多视角编码图像序列，从而实现任一时刻的多视角图像实时解码，因此，降低了解码负担。而且，任一个多视角编码图像序列中的编码图像不全是关键帧，因此，最终得到的多视角视频流的码率较低，降低了网络加载负担和带宽资源的需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种视频编码方法的流程图；

图2是本申请实施例提供的一种获得多视角视频流过程的示意图；

图3是本申请实施例提供的另一种视频编码方法的流程图；

图4是本申请实施例提供的另一种获得多视角视频流过程的示意图；

图5是本申请实施例提供的一种视频解码方法的流程图；

图6是本申请实施例提供的一种获得多视角图像的过程的流程图；

图7是本申请实施例提供的一种视频编码装置的结构示意图；

图8是本申请实施例提供的一种视频解码装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图1，示出了本申请实施例提供的一种视频编码方法的流程图，该方法应用于电子设备中，该电子设备可以是终端设备或服务器，并不做具体限定。例如，终端设备可以是PC机；服务器可以是单台服务器或服务器集群。如图1所示，该方法包括以下步骤：

S110，获取拍摄目标的多视角图像序列。

其中，多视角图像序列包括拍摄目标在同一时刻从各个拍摄角度获得的图像。

在一示例性实施例中，将N个拍摄装置(如，相机)环绕布置在以目标为中心的预设区域内，例如，以目标为中心的预设多边形或圆形，由这N个拍摄装置对目标进行环绕拍摄。

假设N个相机按相同帧率精准拍摄视频，且所有相机精确地同时开始拍摄。

每个相机拍摄的图像按时间先后顺序生成对应的视频流(即，时间顺序视频流)，针对任一时刻，从每个相机对应的时间顺序视频流中解码得到该时刻对应的图像，构成该时刻对应的多视角图像序列，可见，该图像序列中包含同一时刻在所有拍摄角度拍摄得到的图像。

例如，N个相机分别在t₁时刻拍摄获得的一帧图像分别为P₁、P₂、P₃…… P_N，则t₁时刻对应的多视角图像序列即{P₁、P₂、P₃……P_N}。

S120，按照各个多视角图像序列对应时间的先后顺序，依次对拍摄目标在每个时刻对应的多视角图像序列进行编码，得到拍摄目标对应的多视角视频流。

其中，每个时刻对应的多视角图像序列编码得到一个多视角编码图像序列，且每个多视角编码图像序列可独立解码且不全为关键帧。

按照多视角图像序列对应时间的先后顺序，编码完一个时刻对应的多视角图像序列后，继续编码下一时刻的多视角图像序列，直到所有时刻对应的多视角图像序列都编码完，最终得到多视角视频流。

参见图2，示出了本申请实施例提供的一种获得多视角视频流过程的示意图，假设环绕拍摄目标设置有N个相机，且相机标识依次为0～N-1。图2中横坐标为多视角图像序列对应的时间，纵坐标为多视角图像序列中各个图像对应的相机标识。

如图2所示，先编码t1时刻对应的多视角图像序列得到一个多视角编码图像序列，接着编码t2时刻对应的多视角图像序列，直到所有时刻对应的多视角图像序列都编码完，最终得到过视角视频流。

在本申请的一个实施例中，将同一时刻对应的多视角图像序列编码为图像组(Group of picture，GOP)序列。GOP序列的第一帧为关键帧(即，I帧)，这样能够保证GOP序列不需要参考其他图像，即可以独立解码。其中，I帧是帧内编码图像帧(Intra-codedpicture)，不参考其他图像帧，只利用本帧的信息进行编码和解码。

假设一个多视角图像序列中包含N帧图像，如{P₁、P₂、P₃……P_N}，则 P₁编码成I帧，P₂～P_N是否含有I帧均可，但P₂～P_N不能全为I帧，即一个多视角编码图像序列包含的I帧数量小于N。

其中，非关键帧可以是B帧、P帧，其中，P帧是预测编码图像帧，利用当前帧之前的图像帧(I帧或P帧)，采用运动预测的方式进行帧间预测编码。 B帧是双向预测编码图像帧，它既需要当前帧之前的图像帧(I帧或P帧)，也需要后面的图像帧(P帧)，采用运动预测的方式进行帧间双向预测编码。

其中，一个I帧所占用的字节数大于一个P帧的字节数，一个P帧所占用的字节数大于一个B帧的字节数。

理论上一个多视角编码图像序列中包含的I帧越多解码越快，因为I帧占用的字节数最大所以I帧越多视频的码率越大；但是，如果I帧非常少，需要解码的目标图像距离I帧较远，则需要将I帧到目标图像之间的所有图像都解码出来。因此，为了提高解码效率又不增大码率，可以通过有限次试验确定两个相邻的I帧之间间隔预设数量个图像帧。

其中，预设数量的数值可以根据实际应用需求自行确定，例如，根据当前拍摄场景中所有拍摄角度的数量确定。

在一示例性实施例中，预设数量的数值可以是一个固定值，例如，同一时刻的多视角图像序列中一共有60帧不同拍摄角度的图像，预设数量为30，则这60帧图像中第1帧和第31帧均编码为I帧。

在其他实施例中，预设数量的数值也可以是变化的数值，例如，当同一多视角编码图像序列中包含多个I帧时，该预设数量可以逐渐增大或逐渐减小，例如，例如，前两个相邻的I帧之间间隔30帧非关键帧，第2个和第3 个I帧之间间隔25个非关键帧。

本发明提供的视频编码方法，用于生成多视角视频流，获取拍摄目标的多视角图像序列，该多视角图像序列包括拍摄目标在同一时刻从多个拍摄角度获得的图像；然后，按多视角图像序列对应时间的先后顺序，依次对拍摄目标在每个时刻对应的多视角图像序列进行编码，得到该拍摄目标对应的多视角视频流；其中，每个时刻对应的多视角图像序列编码得一个多视角编码图像序列，而且，每个多视角编码图像序列可独立解码每个多视角编码图像序列中不全为关键帧。由上述过程可知，将拍摄目标在同一时刻的所有拍摄角度对应的图像编码为一个可以独立解码的多视角编码图像序列，从而保证任一时刻的多视角编码图像序列能够单独进行解码得到该时刻的多视角图像，不需要解码其他时刻的多视角编码图像序列，从而实现任一时刻的多视角图像实时解码，因此，降低了解码负担。而且，任一个多视角编码图像序列中的编码图像不全是关键帧，因此，最终得到的多视角视频流的码率较低，降低了网络加载负担和带宽资源的需求。

请参见图3，示出了本申请实施例提供的另一种视频编码方法的流程图，本实施例将详细介绍多视角视频流的编码过程，如图3所示，该方法包括以下步骤：

S210，从拍摄目标在各个拍摄角度对应的单视角视频流中，分别选取拍摄目标在同一时刻各个拍摄角度对应的图像。

其中，单视角视频流是拍摄目标在同一拍摄角度获得的图像按时间先后顺序编码得到的视频流。

对于任一拍摄装置拍摄的所有图像，会按时间由早到晚的顺序编码为单视角视频流。在生成多视角视频流时，需要从各个单视角视频流中提取出同一时刻各个拍摄角度对应的图像构成该时刻对应的多视角图像序列。

在本申请的一个实施例中，可以按照预设顺序依次从各个单视角视频流中选取同一时刻对应的图像。

其中，预设顺序可以根据实际应用需求设定，例如，在各个拍摄装置环绕拍摄目标一周分别从不同的角度拍摄的应用场景中，可以设定某一拍摄角度为起点按顺时针或逆时针方向绕拍摄目标一周所经过的各个拍摄角度的顺序为预设顺序。

在一示例性实施例中，环绕拍摄目标一周共设置N个相机，按从某一拍摄角度(如，当拍摄目标为人物时，该拍摄角度可以是正对人物的正面的角度)开始按顺时针方向旋转一周的顺序依次设定相机标识为0～(N-1)，并按相机编号由小到大的顺序依次提取同一时刻拍摄得到的图像构成该时刻对应的多视角图像序列。按照相同的顺序，依次提取下一时刻对应的图像得到下一时刻对应的多视角图像序列。

对于第一时刻t1，N个相机在该时刻拍摄得到的图像分别为P₁₁、P₂₁、 P₃₁、……P_N1，则t1时刻对应的多视角图像序列可以表示为{P₁₁、P₂₁、P₃₁、…… P_N1}；同理，t2时刻对应的多视角图像序列可以表示为{P₁₂、P₂₂、P₃₂、…… P_N2}。

S220，按各个多视角图像序列对应时间的先后顺序，从未编码的多视角编码图像序列中确定出目标多视角图像序列。

确定未编码的多视角图像序列中时间最早的多视角图像序列为目标待编码的图像序列，例如，未编码的多视角图像序列对应的时刻分别是t1～tm时刻，且这m个时刻的先后顺序为t1早于t2，t2早于t3，依次类推tm为最晚的时刻。

S230，对目标多视角图像序列包含的图像进行编码，得到至少一个多视角编码图像序列。

其中，每个所述多视角编码图像序列可独立解码且不全为关键帧；

在本申请的一个实施例中，对于任一时刻对应的多视角图像序列，将多视角图像序列中的第1帧图像编码为关键帧、且每间隔m帧编码一个关键帧，两个相邻关键帧之间的编码图像均编码为非关键帧；其中，m为大于0的正整数且m＜N，N为一个多视角图像序列包含的全部图像的数量。

在一示例性实施例中，每个多视角编码图像序列可以是GOP序列，GOP 序列的第1帧为关键帧，且每间隔预设数量帧图像后编码一个I帧，其中预设数量可以根据实际需求设定。

对多视角图像序列内的各个图像进行编码时，可以采用已知编码算法，包括但不限于H.264、H.265、VP9、AV1等。

S240，判断是否存在未编码的多视角图像序列，如果是，则返回执行S220，如果否，执行S250。

S250，获得拍摄目标对应的多视角视频流。

如图4所示，示出了本申请实施例提供的一种获得多视角视频流过程的示意图，假设环绕拍摄目标设置有60个相机，相机标识为0～59。

图4的横坐标为多视角图像序列对应的时间，纵坐标为多视角图像序列中图像对应相机标识，例如，0号相机拍摄的图像即0号图像，59号相机拍摄的图像即59号图像。

如图4所示，先对t1时刻对应的图像序列进行编码，完成第59号图像的编码后得到t1时刻对应的多视角编码图像序列，继续对t2时刻对应的0～59 号图像进行编码，以此类推直到每个相机对应的最后一帧图像编完，得到多视角视频流。

在本申请的一个实施例，如果设置两个相邻关键帧之间间隔30帧图像，即每30帧图像编码一个I帧，则图4中每个多视角图像序列中的第0号和第 30号图像会编码成I帧，其他图像编码为非关键帧。

本实施例提供视频编码方法，先从各个单视角视频流中选取拍摄目标在同一时刻所有拍摄角度对应图像得到多视角图像序列。对同一时刻的多视角图像序列进行编码得到可独立解码的多视角编码图像序列，并按多视角图像序列对应的时间先后的顺序依次对各个时刻的多视角图像序列进行编码得到多视角视频流。可见，该多视角视频流中任一时刻对应的编码图像序列都可以单独解码互不依赖。实现任一时刻的多视角图像实时解码，因此，降低了解码负担。而且，任一个多视角编码图像序列中的编码图像不全是关键帧，因此，最终得到的多视角视频流的码率较低，降低了网络加载负担和带宽资源的需求。

请参见图5，示出了本申请实施例提供的一种视频解码方法的流程图，该方法应用于电子设备中，电子设备可以是终端或服务器。

如图5所示，该方法可以包括如下步骤：

S310，在播放多视角视频的过程中，当检测到多视角切换操作后，确定视角切换时刻。

其中，视角切换时刻是检测到所述视角切换操作对应的视频播放时刻。

在一种应用场景中，多视角切换操作可以是在播放界面上的滑动操作，例如，可以是手指在手机播放APP的播放界面上的滑动操作；或者，通过鼠标等控制体在PC机上安装的播放客户端的播放界面上拖动控制光标的操作，本申请并不做具体限定。

检测到所述多视角切换操作时所对应的视频播放时刻，即多视角播放时刻。

S320，从多视角视频相匹配的多视角视频流中，查找与多视角播放时刻对应的多视角编码图像序列。

该步骤中的多视角视频流按上述的视频编码方法编码得到，即先对同一时刻对应多视角图像序列进行编码，再按时间先后顺序依次对不同时刻对应的多视角图像序列进行编码得到多视角视频流。

多视角视频流中各个时刻对应的多视角编码图像序列可以单独解码，因此，确定出多视角切换时刻后，直接从多视角视频流中查找到与该时刻相对应的多视角编码图像序列，最后，解码该多视角编码图像序列得到多视角切换操作对应的多视角图像。

S330，解码与多视角切换时刻对应的多视角编码图像序列，得到多视角切换时刻对应的多视角图像。

在本申请的一个应用场景中，对与多视角切换时刻对应的多视角编码图像序列中的全部图像依次进行解码，得到所有拍摄角度对应的图像并展示给用户，用户可以查看任一拍摄角度的图像。

在本申请的另一个应用场景中，根据多视角切换操作确定出目标视角范围，只需对目标视角范围内的图像进行解码。此种应用场景下，如图6所示，获得多视角图像的过程可以包括以下步骤：

S331，确定多视角切换操作对应的目标视角范围。

例如，播放客户端的显示界面上设置有相应的视角范围选择控件，用户通过视角范围选择控件选择多视角查看范围，即目标视角范围。

又如，根据用户在手机、平板电脑等播放客户端的显示界面上的滑动操作的长度与视角范围之间的映射关系，确定出目标视角范围。

S332，根据多视角编码图像序列中各个图像编码所对应的拍摄角度，获得包含目标视角范围的目标多视角编码图像序列。

确定出目标视角范围后，从多视角编码图像序列中查找到与目标视角范围对应的编码图像。例如，目标视角范围为0°～180°，则可以从多视角编码图像序列中查找到拍摄角度为0°～180°的编码图像。

S333，解码目标多视角编码图像序列得到视角切换操作对应的多视角图像。

本实施例提供的视频解码方法，在编码视频时，分别针对同一时刻对应的所有拍摄角度的图像编码成可以独立解码的多视角编码图像序列，这样，针对任一时刻，当需要向用户展示其他视角的图像时，只需获取该时刻对应的多视角编码图像序列并解码，无需解码其他时刻的多视角编码图像序列可见，极大地降低了解码负担，提高了解码效率，而且，多视角视频流的码率较低，降低了网络加载负担和对带宽资源的需求。

相应于上述的视频编码方法实施例，本申请还提供了视频编码装置实施例。

请参见图7，示出了本申请实施例提供的一种视频编码装置的结构示意图，该装置应用于电子设备中，该电子设备可以是终端设备或服务器，并不做具体限定。例如，终端设备可以是PC机；服务器可以是单台服务器或服务器集群。

如图7所示，该视频编码装置可以包括：

多视角图像获取模块110，用于获取拍摄目标的多视角图像序列，其中，所述多视角图像序列包括所述拍摄目标在同一时刻从各个拍摄角度获得的图像。

在本申请的一个实施例中，从所述拍摄目标在各个拍摄角度对应的单视角视频流中，分别选取所述拍摄目标在同一时刻各个拍摄角度对应的图像；

其中，所述单视角视频流是所述拍摄目标在同一拍摄角度获得的图像按时间先后顺序编码得到的视频流。

在一示例性实施例中，按照预设顺序逐个从所述拍摄目标对应的各个拍摄角度的单视角视频流中，选取同一时刻对应的图像，得到所述多视角图像序列。

编码模块120，用于按照各个所述多视角图像序列对应时间的先后顺序，依次对所述拍摄目标在每个时刻对应的所述多视角图像序列进行编码，得到所述拍摄目标对应的多视角视频流。

其中，每个时刻对应的多视角图像序列编码得到一个多视角编码图像序列，每个所述多视角编码图像序列可独立解码且不全为关键帧。

在本申请的一个实施例中，编码模块用于对一个多视角编码图像序列编码时，具体用于：

将所述多视角图像序列中的第1帧图像编码为关键帧、且每间隔m帧编码一个关键帧，两个相邻关键帧之间的编码图像均编码为非关键帧。

其中，m为大于0的正整数且m＜N，N为一个所述多视角图像序列包含的全部图像的数量。

在本申请的一个实施例中，编码模块具体用于：

按照各个所述多视角图像序列对应时间的先后顺序，从未编码的多视角编码图像序列中确定出目标多视角图像序列；

对所述目标多视角图像序列包含的图像进行编码，得到至少一个多视角编码图像序列，其中，每个所述多视角编码图像序列可独立解码且不全为关键帧；

按照各个所述多视角图像序列对应时间的先后顺序，确定下一时刻对应的所述多视角编码图像序列为新的目标多视角图像序列，并对所述新的目标多视角图像序列进行编码，直到所述目标对应的所有多视角编码图像序列都完成编码，得到所述目标对应的多视角视频流。

本实施例提供的视频编码装置，用于生成多视角视频流，获取拍摄目标的多视角图像序列，该多视角图像序列包括拍摄目标在同一时刻从多个拍摄角度获得的图像；然后，按多视角图像序列对应时间的先后顺序，依次对拍摄目标在每个时刻对应的多视角图像序列进行编码，得到该拍摄目标对应的多视角视频流；其中，每个时刻对应的多视角图像序列编码得一个多视角编码图像序列，而且，每个多视角编码图像序列可独立解码每个多视角编码图像序列中不全为关键帧。由上述过程可知，将拍摄目标在同一时刻的所有拍摄角度对应的图像编码为一个可以独立解码的多视角编码图像序列，从而保证任一时刻的多视角编码图像序列能够单独进行解码得到该时刻的多视角图像，不需要解码其他时刻的多视角编码图像序列，从而实现任一时刻的多视角图像实时解码，因此，降低了解码负担。而且，任一个多视角编码图像序列中的编码图像不全是关键帧，因此，最终得到的多视角视频流的码率较低，降低了网络加载负担和带宽资源的需求。

相应于上述的视频解码方法实施例，本申请还提供了视频解码装置实施例。

请参见图8，示出了本申请实施例提供的一种视频解码装置的结构示意图，该装置应用于电子设备中，电子设备可以是终端或服务器。如图8所示，该装置可以包括：

视角切换时刻确定模块210，用于在播放多视角视频的过程中，当检测到视角切换操作后，确定视角切换时刻。

所述视角切换时刻是检测到所述视角切换操作对应的视频播放时刻。

多视角编码图像获取模块220，用于从与所述多视角视频相匹配的多视角视频流中，查找与所述视角切换时刻对应的多视角编码图像序列。

其中，所述多视角视频流利用上述任一种视频编码方法编码得到。

解码模块230，用于解码与所述视角切换时刻对应的多视角编码图像序列，得到所述视角切换时刻对应的多视角图像。

在本申请的一个实施例中，解码模块230包括：

第一确定子模块，用于确定所述视角切换操作对应的目标视角范围。

获取子模块，用于根据所述多视角编码图像序列中各个编码图像所对应的拍摄角度，获得包含所述目标视角范围的目标多视角编码图像序列。

第一解码子模块，用于解码所述目标多视角编码图像序列得到所述视角切换操作对应的多视角图像。

在另一个实施例中，解码模块230包括：

第二确定子模块，用于确定所述视角切换操作对应的视角范围是所述多视角视频的所有拍摄角度。

第二解码子模块，用于解码与所述视角切换时刻对应的全部多视角编码图像序列中的全部编码图像，得到所述视角切换操作对应的多视角图像。

本实施例提供的视频解码装置，在编码视频时，分别针对同一时刻对应的所有拍摄角度的图像编码成可以独立解码的多视角编码图像序列，这样，针对任一时刻，当需要向用户展示其他视角的图像时，只需获取该时刻对应的多视角编码图像序列并解码，无需解码其他时刻的多视角编码图像序列可见，极大地降低了解码负担，提高了解码效率，而且，多视角视频流的码率较低，降低了网络加载负担和对带宽资源的需求。

本申请提供了一种电子设备，该电子设备包括处理器和存储器，该存储器内存储有可在处理器上运行的程序。该处理器运行存储器内存储的该程序时实现上述任一种视频的编码方法实施例。

在本申请的另一个实施例中，该处理器运行存储器内存储的该程序时实现上述任一种视频的解码方法实施例。

本文中的电子设备可以是服务器、PC机、PAD、手机、可穿戴设备等。

本申请还提供了一种计算设备可执行的存储介质，该存储介质中存储有程序，该程序由计算设备执行时实现上述的视频编码方法。

本申请还提供了另一种计算设备可执行的存储介质，该存储介质中存储有程序，该程序由计算设备执行时实现上述的视频解码方法。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

需要说明的是，本说明书中的各个实施例记载的技术特征可以相互替代或组合，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请各实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。

本申请各实施例中的装置及终端中的模块和子模块可以根据实际需要进行合并、划分和删减。

本申请所提供的几个实施例中，应该理解到，所揭露的终端，装置和方法，可以通过其它的方式实现。例如，以上所描述的终端实施例仅仅是示意性的，例如，模块或子模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个子模块或模块可以结合或者可以集成到另一个模块，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块或子模块可以是或者也可以不是物理上分开的，作为模块或子模块的部件可以是或者也可以不是物理模块或子模块，即可以位于一个地方，或者也可以分布到多个网络模块或子模块上。可以根据实际的需要选择其中的部分或者全部模块或子模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块或子模块可以集成在一个处理模块中，也可以是各个模块或子模块单独物理存在，也可以两个或两个以上模块或子模块集成在一个模块中。上述集成的模块或子模块既可以采用硬件的形式实现，也可以采用软件功能模块或子模块的形式实现。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种视频的编码方法，其特征在于，包括：

获取拍摄目标的多视角图像序列，其中，所述多视角图像序列包括所述拍摄目标在同一时刻从各个拍摄角度获得的图像；

按照各个所述多视角图像序列对应时间的先后顺序，依次对所述拍摄目标在每个时刻对应的所述多视角图像序列进行编码，得到所述拍摄目标对应的多视角视频流，其中，每个时刻对应的多视角图像序列编码得到一个多视角编码图像序列，每个所述多视角编码图像序列可独立解码且不全为关键帧。

2.根据权利要求1所述的方法，其特征在于，所述每个时刻对应的多视角图像序列编码得到一个多视角编码图像序列，包括：

对于任一时刻对应的多视角图像序列，将所述多视角图像序列中的第1帧图像编码为关键帧、且每间隔m帧编码一个关键帧，两个相邻关键帧之间的编码图像均编码为非关键帧；

其中，m为大于0的正整数且m＜N，N为一个所述多视角图像序列包含的全部图像的数量。

3.根据权利要求1所述的方法，其特征在于，所述按照各个所述多视角图像序列对应时间的先后顺序，依次对所述目标在每个时刻对应的所述多视角图像序列进行编码，得到所述目标对应的多视角视频流，包括：

按照各个所述多视角图像序列对应时间的先后顺序，从未编码的多视角编码图像序列中确定出目标多视角图像序列；

对所述目标多视角图像序列包含的图像进行编码，得到至少一个多视角编码图像序列，其中，每个所述多视角编码图像序列可独立解码且不全为关键帧；

按照各个所述多视角图像序列对应时间的先后顺序，确定下一时刻对应的所述多视角编码图像序列为新的目标多视角图像序列，并对所述新的目标多视角图像序列进行编码，直到所述目标对应的所有多视角编码图像序列都完成编码，得到所述目标对应的多视角视频流。

4.根据权利要求1所述的方法，其特征在于，所述获取拍摄目标的多视角图像序列，包括：

从所述拍摄目标在各个拍摄角度对应的单视角视频流中，分别选取所述拍摄目标在同一时刻各个拍摄角度对应的图像；

其中，所述单视角视频流是所述拍摄目标在同一拍摄角度获得的图像按时间先后顺序编码得到的视频流。

5.根据权利要求4所述的方法，其特征在于，所述从所述拍摄目标在各个拍摄角度对应的单视角视频流中，分别选取所述拍摄目标在同一时刻各个拍摄角度对应的图像包括：

按照预设顺序逐个从所述拍摄目标对应的各个拍摄角度的单视角视频流中，选取同一时刻对应的图像，得到所述多视角图像序列。

6.一种视频解码方法，其特征在于，包括：

在播放多视角视频的过程中，当检测到视角切换操作后，确定视角切换时刻，所述视角切换时刻是检测到所述视角切换操作对应的视频播放时刻；

从与所述多视角视频相匹配的多视角视频流中，查找与所述视角切换时刻对应的多视角编码图像序列，其中，所述多视角视频流根据权利要求1-5任一项所述的视频编码方法获得；

解码与所述视角切换时刻对应的多视角编码图像序列，得到所述视角切换时刻对应的多视角图像。

7.根据权利要求6所述的方法，其特征在于，所述解码与所述视角切换时刻对应的多视角编码图像序列，得到所述视角切换操作对应的多视角图像，包括：

确定所述视角切换操作对应的目标视角范围；

根据所述多视角编码图像序列中各个编码图像所对应的拍摄角度，获得包含所述目标视角范围的目标多视角编码图像序列；

解码所述目标多视角编码图像序列得到所述视角切换操作对应的多视角图像。

8.根据权利要求6所述的方法，其特征在于，所述解码与所述视角切换时刻对应的多视角编码图像序列，得到所述视角切换操作对应的多视角图像，包括：

确定所述视角切换操作对应的视角范围是所述多视角视频的所有拍摄角度；

解码与所述视角切换时刻对应的全部多视角编码图像序列中的全部编码图像，得到所述视角切换操作对应的多视角图像。

9.一种视频的编码装置，其特征在于，包括：

多视角图像获取模块，用于获取拍摄目标的多视角图像序列，其中，所述多视角图像序列包括所述拍摄目标在同一时刻从各个拍摄角度获得的图像；

编码模块，用于按照各个所述多视角图像序列对应时间的先后顺序，依次对所述拍摄目标在每个时刻对应的所述多视角图像序列进行编码，得到所述拍摄目标对应的多视角视频流，其中，每个时刻对应的多视角图像序列编码得到一个多视角编码图像序列，每个所述多视角编码图像序列可独立解码且不全为关键帧。

10.一种视频解码装置，其特征在于，包括：

视角切换时刻确定模块，用于在播放多视角视频的过程中，当检测到视角切换操作后，确定视角切换时刻，所述视角切换时刻是检测到所述视角切换操作对应的视频播放时刻；

多视角编码图像获取模块，用于从与所述多视角视频相匹配的多视角视频流中，查找与所述视角切换时刻对应的多视角编码图像序列，其中，所述多视角视频流根据权利要求1-5任一项所述的视频编码方法获得；

解码模块，用于解码与所述视角切换时刻对应的多视角编码图像序列，得到所述视角切换时刻对应的多视角图像。

Images