CN106358033B - 一种全景视频关键帧编码方法和装置 - Google Patents

Abstract

本发明公开了一种全景视频关键帧编码方法和装置，该方法包括：获取球面全景视频关键帧；按照预设映射方式将所述球面全景视频关键帧映射为平面全景视频图像，所述平面全景视频图像分割为多个平面视图；将所述多个平面视图按扫描顺序排列成一个新视频序列；将所述视频序列中的一个平面视图按照I帧方式编码，其余平面视图按照P帧方式编码；将解码后的平面视图按照各自在平面全景视频图像中的位置复原整合为平面全景视频图像；将所述平面全景视频图像逆映射为球面全景视频关键帧。相较于现有技术中仅利用I帧方式编码的方法，本发明提供的编码方法提高了全景视频关键帧的压缩效率，减小了全景视频体积，节省了网络带宽，有利于全景视频的推广应用。

Description

一种全景视频关键帧编码方法和装置

技术领域

本发明涉及虚拟现实(Virtual Reality,VR)视频技术领域，尤其涉及一种全景视频关键帧的编码方法和装置。

背景技术

目前市场上的VR(虚拟现实)视频，以全景视频为主。全景视频的视频覆盖角度为水平360度，竖直180度，相较于正常视频，全景视频的文件数据量增加很大。

另外，当前对全景视频的关键帧(I帧)的编码过程中，如采用HEVC(HighEfficiency Video Coding，是一种新的视频压缩标准，可以替代H.264/AVC编码标准)或AVS(Audio Video coding Standard，音视频编码标准)对I帧进行编码，只利用了帧内的空间相关性，导致I帧的压缩效率较低。

如此导致当前的全景视频体积大，传输时耗费很多网络流量，带宽成本较高，限制了全景视频的推广应用。

发明内容

有鉴于此，本发明提供了一种全景视频关键帧的编码方法和装置，以提高全景视频I帧的压缩效率，减小全景视频体积，节省网络带宽。

为了解决上述技术问题，本发明采用了如下技术方案：

一种全景视频关键帧编码方法，包括：

获取球面全景视频关键帧；

按照预设映射方式将所述球面全景视频关键帧映射为平面全景视频图像，并将所述平面全景视频图像分割为多个平面视图；

将所述多个平面视图按扫描顺序排列成一个新视频序列；

将所述新视频序列中的一个平面视图按照I帧方式编码，其余平面视图按照P帧方式编码；

将解码后的平面视图按照各自在平面全景视频图像中的位置复原整合为平面全景视频图像；

将所述平面全景视频图像逆映射为球面全景视频关键帧。

可选地，映射平面全景视频图像后，排列成新视频序列之前，还包括：

判断平面视图的形状是否均为矩形，如果否，将形状为非矩形的平面视图形状处理为矩形。

可选地，所述预设映射方式包括立方体映射方式、经纬图映射方式、四棱锥映射方式；

所述四棱锥映射方式为将球体映射为外接四棱锥，展开成一个正方形和4个三角形的映射方式。

可选地，所述预设映射方式为四棱锥映射方式，所述四棱锥映射方式为将球体映射为外接四棱锥，展开成一个正方形和4个三角形的映射方式；

所述将形状为非矩形的平面视图形状处理成矩形，具体包括：

将形状为三角形的四个平面视图拼接为两个正方形平面视图。

可选地，所述预设映射方式为四棱锥映射方式，所述四棱锥映射方式为将球体映射为外接四棱锥，展开成一个正方形和4个三角形的映射方式；

所述将形状为非矩形的平面视图形状处理成矩形，具体包括：

将拼接后的正方形视图分割为多个矩形视图。

一种全景视频关键帧编码装置，包括：

获取单元，用于获取球面全景视频关键帧；

映射单元，用于按照预设映射方式将所述球面全景视频关键帧映射为平面全景视频图像，并将所述平面全景视频图像分割为多个平面视图；

排列单元，用于将所述多个平面视图按扫描顺序排列成一个新视频序列；

编码单元，用于将所述新视频序列中的一个平面视图按照I帧方式编码，其余平面视图按照P帧方式编码；

整合单元，用于将解码后的平面视图按照各自在平面全景视频图像中的位置复原整合为平面全景视频图像；

逆映射单元，用于将所述平面全景视频图像逆映射为球面全景视频关键帧。

可选地，所述装置还包括：

判断单元，用于在映射平面全景视频图像后，编码之前，判断平面视图的形状是否为矩形；

处理单元，用于当所述判断单元的判断结果为否时，将形状为非矩形的平面视图形状处理为矩形。

可选地，所述预设映射方式包括立方体映射方式、经纬图映射方式、四棱锥映射方式；

所述四棱锥映射方式为将球体映射为外接四棱锥，展开成一个正方形和4个三角形的映射方式。

相较于现有技术，本发明具有以下有益效果：

全景视频的映射方式决定了映射成的多个平面视图之间具有空间相关性。本发明提供的全景视频关键帧的编码方法中就是利用了这种空间相关性，在对全景视频关键帧的编码过程中，将球面全景视频关键帧映射为平面全景视频图像，并将该平面全景视频图像分割为多个平面视图，再将分割后的一个平面视图按照I帧方式编码，将其作为参考帧，其余的平面视图按照P帧方式编码。按照I帧方式编码能够保证帧画面完整保留，而按照P帧方式编码只保留与参考帧帧之间的差别。如此，按照P帧方式编码的图像的压缩效率比按照I帧方式编码的图像压缩效率大，因而，相较于现有技术中仅利用I帧方式对全景视频关键帧编码的方法，本发明提供的全景视频关键帧编码方法提高了全景视频关键帧的压缩效率，减小了全景视频体积，节省了网络带宽，有利于全景视频的推广应用。

附图说明

为了清楚地理解本发明和现有技术的技术方案，下面将描述本发明具体实施方式时用到的附图做一简要说明。显而易见地，这些附图仅是本发明的部分实施例，本领域技术人员在未付出创造性劳动的前提下，获得的其它附图均在本发明的保护范围之列。

图1是本发明实施例一提供的全景视频关键帧编码方法流程示意图；

图2是相关技术中立方体映射方式示意图；

图3是相关技术中四棱锥映射方式示意图；

图4是相关技术中自适应矩形分割方式示意图；

图5是相关技术中TB Cylinder映射方式示意图；

图6是相关技术中Circle-Tiles Segmentation映射方式示意图；

图7是本发明实施例二提供的全景视频关键帧编码方法流程示意图；

图8是本发明实施例三提供的全景视频关键帧编码方法流程示意图；

图9是本发明实施例四提供的全景视频关键帧编码方法流程示意图；

图10是本发明实施例五提供的全景视频关键帧编码装置结构示意图。

具体实施方式

为使本发明解决的技术问题、技术方案和技术效果更加清楚、完整，下面结合附图对本发明的具体实施方式进行详细描述。

全景视频的映射方式决定了映射成的多个平面视图之间具有空间相关性，本发明提供的全景视频关键帧的编码方法中就是利用了这种空间相关性，在对全景视频关键帧的编码过程中，将映射生成的部分平面视图按照I帧方式编码，其余的平面视图按照P帧方式编码。如此，编码后的全景视频关键帧中既有I帧方式编码块(INTRA块)，又有P帧方式编码块(INTER块)，由于P帧方式编码块的压缩率高于I帧方式编码块，所以，相较于现有技术中只按照I帧方式编码的方法，本发明提供的方法提高了关键帧压缩率。具体实现方式请参见以下实施例，首先参见实施例一。

实施例一

图1是本发明实施例一提供的全景视频关键帧编码方法流程示意图。如图1所示，该方法包括以下步骤：

S101、获取球面全景视频关键帧。

S102、按照预设映射方式将所述球面全景视频关键帧映射为平面全景视频图像，并将所述平面全景视频图像分割为多个平面视图；

本步骤具体为：按照预设映射方式将全景视频关键帧图像直接映射为平面全景视频图像，再将平面全景视频图像分割为多个平面视图。这些平面视图相互之间存在一定的时空相关性。根据映射方式的不同，映射生成的多个平面视图的分辨率可以相同，也可以不同。

需要说明的是，在本发明实施例中，预设映射方式包括但不限于以下几种映射方式：立方体映射(Cubic Projection)方式、四棱锥映射方式、经纬图映射(EquirectangularProjection)。其中，经纬图映射是将球体映射为长方形视图的映射方式。作为示例，预设映射方式还可以包括：自适应矩形分割(Adaptive Tile Segmentation)方式、TB Cylinder的映射方式以及Circle-Tiles Segmentation映射方式。

如图2所示，立方体映射方式是将球体映射为立方体展开成6个正方向的映射方法。

如图3所示，四棱锥映射方式将球体映射为四棱准，展开成一个正方形和4个三角形，并最终整合成一个大正方形的映射方案。

如图4所示，自适应矩形分割方式将全景视频先用equirectangular(经纬图映射)表示，再将其沿竖直方向分割成长方形，并根据纬度线长度来调整这些长方形的大小，使得在保证最低采样率与投影前一致的情况下，这些长方形的总面积最小。

如图5所示，TB cylinder映射方式将球面的南极北极投影成两个圆形，其余部分按equirectangular(经纬图映射)展开。

如图6所示，Circle-Tiles Segmentation映射方式为：将球面沿纬线分割为几部分并分别投影的最佳分割方案。在将球面沿纬线分割为几部分后，南北极区域的弧面被投影成圆形，其余部分的环形图案按equirectangular(经纬图映射)的方式展开为长方形。

S103、将所述多个平面视图按扫描顺序排列成一个新视频序列：

需要说明的是，映射生成的多个平面视图可以组成一个新视频序列，所谓视频序列即为有时空联系的多个视频图像按照一定顺序的排列。

S104、将所述新视频序列中的一个平面视图按照I帧方式编码，其余平面视图按照P帧方式编码：

需要说明的是，按照I帧方式编码生成的模块即为INTRA模块，按照P帧方式编码生成的模块即为INTER模块。由于映射生成的多个平面视图中，既有按照I帧方式编码的平面视图，又有按照P帧方式编码的平面视图，所以后续步骤中整合的全景视频关键帧图像中既有INTRA模块，又有INTER模块。

S105、将解码后的平面视图按照各自在平面全景视频图像中的位置复原整合为平面全景视频图像。

S106、将所述平面全景视频图像逆映射为球面全景视频关键帧。

以上为本发明实施例一提供的全景视频关键帧的编码方法的具体实施方式。在该具体实施方式中，按照I帧方式编码能够保证帧画面完整保留，而按照P帧方式编码只保留与前帧之间的差别。如此，按照P帧方式编码的图像的压缩效率比按照I帧方式编码的图像压缩效率大，因而，相较于现有技术中仅利用I帧方式对球面全景视频关键帧编码的方法，本发明提供的编码方法提高了全景视频关键帧的压缩效率，减小了全景视频体积，节省了网络带宽，有利于全景视频的推广应用。

另外，本领域相关的编码技术一般只能对形状为矩形的图像进行编码，所以，为了能够对映射生成的每个平面视图均能够进行编码，本发明实施例还提供了实施例二。

实施例二

图7是本发明实施例二提供的全景视频关键帧编码方法流程示意图。如图7所示，该方法包括以下步骤：

S701、获取球面全景视频关键帧。

S702、按照预设映射方式将所述球面全景视频关键帧映射为平面全景视频图像，并将所述平面全景视频图像分割为多个平面视图：

步骤S701至步骤S702与实施例一中的步骤S101至S102相同，为了简要起见，在此不再详细描述，详细信息具体参见实施例一的相关描述。

S703、判断平面视图的形状是否均为矩形，如果否，执行步骤S704，如果是，执行步骤S705：

S704、将形状为非矩形的平面视图形状处理成矩形。

作为示例，将形状为非矩形的平面视图形状处理成矩形，可以采用以下方式：作非矩形平面视图的外接矩形。将内嵌有形状为非矩形平面视图的外接矩形作为处理后的平面视图。

S705、将所述多个平面视图按扫描顺序排列成一个新视频序列：

S706、将所述新视频序列中的一个平面视图按照I帧方式编码，其余平面视图按照P帧方式编码。

S707、将解码后的平面视图按照各自在平面全景视频图像中的位置复原整合为平面全景视频图像。

S708、将所述平面全景视频图像逆映射为球面全景视频关键帧。

以上为本发明实施例二提供的全景视频并行编码方法的具体实施方式。在该具体实施方式中，在对平面视图进行编码之前，将形状为非矩形的平面视图预先处理成矩形。如此，采用本领域相关的编码技术能够对映射生成的所有平面视图均能够进行编码。

为了更加清楚地理解本发明的具体实施方式，下面以映射方式为四棱锥映射方式为例更加具体地描述本发明的具体实施方式。具体参见实施例三。

实施例三

图8是本发明实施例三提供的全景视频关键帧编码方法流程示意图。如图8所示，该方法包括以下步骤：

S801、获取球面全景视频关键帧。

S802、按照四棱锥映射方式将球面全景视频关键帧映射为平面全景视频图像，并将该平面全景视频图像分割为一个正方形视图和4个三角形视图。

S803、判断平面视图的形状是否均为矩形，如果否，执行步骤S804。

S804、将形状为三角形的四个平面视图拼接为两个正方形平面视图。

S805、将映射成的正方形视图以及拼接形成的两个正方形平面视图按扫描顺序排列成一个新视频序列。

S806、将视频序列中的一个平面视图按照I帧方式编码，其余两个平面视图按照P帧方式编码。

S807、将解码后的平面视图按照各自在平面全景视频图像中的位置复原整合为平面全景视频图像。

S808、将所述平面全景视频图像逆映射为球面全景视频关键帧。

此外，作为本发明实施例的变型，还可以采用分割的方式将非矩形平面视图处理成矩形平面视图，具体参见实施例四。

实施例四

图9是本发明实施例四提供的全景视频关键帧的编码方法流程示意图。如图9所示，该方法包括以下步骤：

S901、获取球面全景视频关键帧。

S902、按照四棱锥映射方式将所述球面全景视频关键帧映射为平面全景视频图像，并将所述平面全景视频图像分割为一个正方形视图和4个三角形视图：

S903、判断平面视图的形状是否均为矩形，如果否，执行步骤S904。

S904、将拼接后的正方形视图均分为4个正方形视图ss1至ss4：

S905、将4个正方形视图ss1至ss4按扫描顺序排列成一个新视频序列。

S906、将视频序列中的一个平面视图按照I帧方式编码，其余三个平面视图按照P帧方式编码。

S907、将解码后的平面视图按照各自在平面全景视频图像中的位置复原整合为平面全景视频图像。

S908、将所述平面全景视频图像逆映射为球面全景视频关键帧。

以上为本发明实施例四提供的全景视频并行编码方法的具体实施方式。

基于上述实施例提供的全景视频关键帧编码方法的具体实施方式，本发明还提供了全景视频关键帧编码装置的具体实施例。具体参见实施例五。

实施例五

图10是本发明实施例五提供的全景视频关键帧编码装置结构示意图。如图10所示，该装置包括以下单元：

获取单元101，用于获取球面全景视频关键帧；

映射单元102，用于按照预设映射方式将所述球面全景视频关键帧映射为平面全景视频图像，并将所述平面全景视频图像分割为多个平面视图；

排列单元103，用于将所述多个平面视图按扫描顺序排列成一个新视频序列；

编码单元104，用于将所述新视频序列中的一个平面视图按照I帧方式编码，其余平面视图按照P帧方式编码；

整合单元105，用于将解码后的平面视图按照各自在平面全景视频图像中的位置复原整合为平面全景视频图像；

逆映射单元106，用于将所述平面全景视频图像逆映射为球面全景视频关键帧。

此外，作为本发明的另一具体实施例，上述所述的装置还可以包括：

判断单元107，用于在映射平面全景视频图像后，编码之前，判断平面视图的形状是否为矩形；

处理单元108，用于当所述判断单元的判断结果为否时，将形状为非矩形的平面视图形状处理为矩形。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种全景视频关键帧编码方法，其特征在于，包括：

获取球面全景视频关键帧；

按照预设映射方式将所述球面全景视频关键帧映射为平面全景视频图像，并将所述平面全景视频图像分割为多个平面视图；

将所述多个平面视图按扫描顺序排列成一个新视频序列；

将所述新视频序列中的一个平面视图按照I帧方式编码，其余平面视图按照P帧方式编码；

将解码后的平面视图按照各自在平面全景视频图像中的位置复原整合为平面全景视频图像；

将所述平面全景视频图像逆映射为球面全景视频关键帧。

2.根据权利要求1所述的方法，其特征在于，映射平面全景视频图像后，排列成新视频序列之前，还包括：

判断平面视图的形状是否均为矩形，如果否，将形状为非矩形的平面视图形状处理为矩形。

3.根据权利要求1或2所述的方法，其特征在于，所述预设映射方式包括立方体映射方式、经纬图映射方式、四棱锥映射方式；

所述四棱锥映射方式为将球体映射为外接四棱锥，展开成一个正方形和4个三角形的映射方式。

4.根据权利要求2所述的方法，其特征在于，所述预设映射方式为四棱锥映射方式，所述四棱锥映射方式为将球体映射为外接四棱锥，展开成一个正方形和4个三角形的映射方式；

所述将形状为非矩形的平面视图形状处理成矩形，具体包括：

将形状为三角形的四个平面视图拼接为两个正方形平面视图。

5.根据权利要求2所述的方法，其特征在于，所述预设映射方式为四棱锥映射方式，所述四棱锥映射方式为将球体映射为外接四棱锥，展开成一个正方形和4个三角形的映射方式；

所述将形状为非矩形的平面视图形状处理成矩形，具体包括：

将拼接后的正方形视图分割为多个矩形视图。

6.一种全景视频关键帧编码装置，其特征在于，包括：

获取单元，用于获取球面全景视频关键帧；

映射单元，用于按照预设映射方式将所述球面全景视频关键帧映射为平面全景视频图像，并将所述平面全景视频图像分割为多个平面视图；

排列单元，用于将所述多个平面视图按扫描顺序排列成一个新视频序列；

编码单元，用于将所述新视频序列中的一个平面视图按照I帧方式编码，其余平面视图按照P帧方式编码；

整合单元，用于将解码后的平面视图按照各自在平面全景视频图像中的位置复原整合为平面全景视频图像；

逆映射单元，用于将所述平面全景视频图像逆映射为球面全景视频关键帧。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

判断单元，用于在映射平面全景视频图像后，编码之前，判断平面视图的形状是否为矩形；

处理单元，用于当所述判断单元的判断结果为否时，将形状为非矩形的平面视图形状处理为矩形。

8.根据权利要求6或7所述的装置，其特征在于，所述预设映射方式包括立方体映射方式、经纬图映射方式、四棱锥映射方式；

所述四棱锥映射方式为将球体映射为外接四棱锥，展开成一个正方形和4个三角形的映射方式。