CN107040779A - 全景视频编码方法及装置 - Google Patents

Abstract

本发明公开了一种全景视频编码方法及装置，属于网络技术领域。所述方法包括：接收对全景视频进行编码的编码指令；对于所述全景视频中的每一帧图像，将所述图像球面映射至正四面体的内表面上；将所述正四面体展开，拼接形成由所述正四面体的内表面构成的平面图像；对所述平面图像进行编码。本发明解决了现有技术中存在的被矩形球面映射后的全景视频的图像存在水平和垂直形变，使得映射后的全景视频在空间、时间上的相关性有所降低，因此矩形球面映射的方式不适用当前常用的视频标准的问题；达到了提高全景视频在空间、时间上的相关性，使全景视频适用当前常用的视频标准的效果。

Description

全景视频编码方法及装置

技术领域

本发明涉及网络技术领域，特别涉及一种全景视频编码方法及装置。

背景技术

全景视频是通过广角的表现手段，把二维的平面视频模拟成真实的三维空间视频。一般来说，360度视角的全景视频数据比普通部分视角的视频数据多，因此传输全景视频的时长比传输普通视频的时长更多。

为了减小传输全景视频的时长，需要对全景视频进行编码，来压缩全景视频的视频数据。现有的视频编码技术不适用于三维的全景视频，因此在对全景视频进行编码之前，需要将全景视频从三维空间映射成二维平面。目前常用的全景视频的映射方式是矩形球面映射。

然而，上述矩形球面映射方式在实现过程中，被矩形球面映射后的全景视频的图像存在水平和垂直形变，使得映射后的全景视频在空间、时间上的相关性有所降低，因此矩形球面映射的方式不适用当前常用的视频标准。

发明内容

为了解决上述被矩形球面映射后的全景视频的图像存在水平和垂直形变，使得映射后的全景视频在空间、时间上的相关性有所降低，因此矩形球面映射的方式不适用当前常用的视频标准的问题，本发明实施例提供了一种全景视频编码方法及装置。所述技术方案如下：

第一方面，提供了一种全景视频编码方法，所述方法包括：

接收对全景视频进行编码的编码指令；

对于所述全景视频中的每一帧图像，将所述图像球面映射至正四面体的内表面上；

将所述正四面体展开，拼接形成由所述正四面体的内表面构成的平面图像；

对所述平面图像进行编码。

本公开的实施例第一方面提供的技术方案可以包括以下有益效果：通过对于全景视频中的每一帧图像，将该图像球面映射至正四面体的内表面上，再将该正四面体展开，拼接形成由该正四面体的内表面构成的平面图像，并对该平面图像进行编码，由于全景视频的图像格式被映射成各向同性的正四面体格式，因此解决了现有技术中存在的被矩形球面映射后的全景视频的图像存在水平和垂直形变，使得映射后的全景视频在空间、时间上的相关性有所降低，因此矩形球面映射的方式不适用当前常用的视频标准的问题，达到了提高全景视频在空间、时间上的相关性，使全景视频适用当前常用的视频标准的效果。

可选的，所述将所述图像球面映射至正四面体的内表面上，包括：

将所述图像球面映射至球体的外表面上；

确定所述球体的外切正四面体；

将所述球体的外表面上的图像球面映射至所述外切正四面体的内表面上。

可选的，所述将所述正四面体展开，拼接形成由所述正四面体的内表面构成的平面图像，包括：

选取所述正四面体的任一顶点，将所述正四面体沿相交于所述顶点的三条棱展开，形成由所述正四面体的四个面拼接成的形状为等边三角形的第一平面图像。

可选的，在所述拼接形成由所述正四面体的内表面构成的第一平面图像之后，所述方法还包括：

从所述第一平面图像的三个第一等边三角形中选取一个第一等边三角形，每个第一等边三角形分别与第二等边三角形存在共同边，所述第一等边三角形和所述第二等边三角形为所述正四面体的四个面；

沿着中垂线将所述第一等边三角形切割成两个直角三角形，所述中垂线与所述第一等边三角形和所述第二等边三角形之间的共同边垂直；

将两个直角三角形进行平面旋转，与其他三个等边三角形拼接形成形状为矩形的第二平面图像。

本公开的实施例第一方面提供的可选的技术方案可以包括以下有益效果：通过将形状为等边三角形的第一平面图像转换成形状为矩形的第二平面图像，可以有效提高存储空间的利用率，避免存储空间的浪费。

第二方面，提供了一种全景视频编码装置，所述装置包括：

接收模块，用于接收对全景视频进行编码的编码指令；

第一处理模块，用于对于所述全景视频中的每一帧图像，将所述图像球面映射至正四面体的内表面上；

第二处理模块，用于将所述正四面体展开，拼接形成由所述正四面体的内表面构成的平面图像；

编码模块，用于对所述平面图像进行编码。

可选的，所述第一处理模块，包括：

第一处理单元，用于将所述图像球面映射至球体的外表面上；

确定单元，用于确定所述球体的外切正四面体；

第二处理单元，用于将所述球体的外表面上的图像球面映射至所述外切正四面体的内表面上。

可选的，所述第二处理模块，还用于选取所述正四面体的任一顶点，将所述正四面体沿相交于所述顶点的三条棱展开，形成由所述正四面体的四个面拼接成的形状为等边三角形的第一平面图像。

可选的，所述装置还包括：

选取模块，用于在所述拼接形成由所述正四面体的内表面构成的第一平面图像之后，从所述第一平面图像的三个第一等边三角形中选取一个第一等边三角形，每个第一等边三角形分别与第二等边三角形存在共同边，所述第一等边三角形和所述第二等边三角形为所述正四面体的四个面；

切割模块，用于沿着中垂线将所述第一等边三角形切割成两个直角三角形，所述中垂线与所述第一等边三角形和所述第二等边三角形之间的共同边垂直；

拼接模块，用于将两个直角三角形进行平面旋转，与其他三个等边三角形拼接形成形状为矩形的第二平面图像

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例中提供的全景视频编码方法的流程图；

图2A是本发明另一个实施例中提供的全景视频编码方法的流程图；

图2B是本发明一个实施例中提供的将图像球面映射至球体的外表面上的示意图；

图2C是本发明一个实施例中提供的确定球体的外切正四面体的示意图；

图2D是本发明一个实施例中提供的将球体的外表面上的图像球面映射至外切正四面体的内表面上的示意图；

图2E是本发明一个实施例中提供的将正四面体展开后拼接形成平面图像方法的流程图；

图2F是本发明一个实施例中提供的正四面体展开后的平面图像的示意图；

图2G是本发明一个实施例中提供的沿着中垂线将第一等边三角形切割成两个直角三角形的示意图；

图2H是本发明一个实施例中提供的形状为矩形的第二平面图像的示意图；

图3A是本发明一个实施例中提供的全景视频编码装置的结构方框图；

图3B是本发明另一个实施例中提供的全景视频编码装置的结构方框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

图1是本发明一个实施例中提供的全景视频编码方法的流程图，该全景视频编码方法可以应用于视频编码器中。如图1所示，该全景视频编码方法包括以下步骤。

步骤101，接收对全景视频进行编码的编码指令。

这里所讲的编码指令用于控制视频编码器执行对全景视频的编码操作。

步骤102，对于全景视频中的每一帧图像，将该图像球面映射至正四面体的内表面上。

这里所讲的球面映射可以为等立方体球面映射、球面高斯映射、球面纹理映射等方式，本实施例不限定球面映射的具体方式。

步骤103，将正四面体展开，拼接形成由该正四面体的内表面构成的平面图像。

这里所讲的平面图像为将正四面体展开成任意形状的平面图像。

步骤104，对平面图像进行编码。

由于目前的视频编码装置只能对平面图像进行编码，因此，当将球体的外表面上的图像球面映射至外切正四面体的内表面上后，需要将该正四面体展开，拼接形成由该正四面体的内表面构成的平面图像，才能继续对该平面图像进行编码。

综上所述，本发明实施例中提供的全景视频编码方法，通过对于全景视频中的每一帧图像，将该图像球面映射至正四面体的内表面上，再将该正四面体展开，拼接形成由该正四面体的内表面构成的平面图像，并对该平面图像进行编码，由于全景视频的图像格式被映射成各向同性的正四面体格式，因此解决了现有技术中存在的被矩形球面映射后的全景视频的图像存在水平和垂直形变，使得映射后的全景视频在空间、时间上的相关性有所降低，因此矩形球面映射的方式不适用当前常用的视频标准的问题，达到了提高全景视频在空间、时间上的相关性，使全景视频适用当前常用的视频标准的效果。

图2A是本发明另一个实施例中提供的全景视频编码方法的流程图，该全景视频编码方法可以应用于视频编码器中。如图2A所示，该全景视频编码方法包括以下步骤。

步骤201，接收对全景视频进行编码的编码指令。

步骤202a，对于全景视频中的每一帧图像，将图像球面映射至球体的外表面上。

这里所讲的球面映射可以为等立方体球面映射、球面高斯映射、球面纹理映射等方式，本实施例不限定球面映射的具体方式。

图2B是本发明一个实施例中提供的将图像球面映射至球体的外表面上的示意图，如图2B所示，图像A的图像信息球面映射至球体B的外表面上后，可以得到包含该图像信息的球体C。

步骤202b，确定球体的外切正四面体。

正四面体是由四个全等等边三角形围成的空间封闭图形，所有棱长都相等。

若球体A的球心到某一个正四面体B的各面距离相等且等于该球体的半径，则称该球体A为该正四面体B的内切球，该正四面体B为该球体A的外切正四面体。图2C是本发明一个实施例中提供的确定球体的外切正四面体的示意图。

步骤202c，将球体的外表面上的图像球面映射至外切正四面体的内表面上。

图2D是本发明一个实施例中提供的将球体的外表面上的图像球面映射至外切正四面体的内表面上的示意图，如图2D所示，以外切正四面体的一个面为例，为了使整个面都被映射到球体的外表面上的图像，非阴影部分40中的图像会向三个角的方向产生形变，即向a方向、b方向和c方向发生拉伸、变形等，使得阴影部分30被完全映射到图像。

步骤203，将正四面体展开，拼接形成由该正四面体的内表面构成的平面图像。

对正四面展开后，可以将正四面体的四个面拼接在同一个平面上，形成平面图像。根据拼接的方式不同，行驶的平面图像的形状可以不同，比如可以为三角形，也可以为矩形或菱形等。

步骤204，对平面图像进行编码。

按照预先存储的编码方式对平面图像进行编码，这里所讲的编码方式一般为常见的视频编码标准H.264/AVC(中文：高级视频编码，英文：Advanced VideoCoding)，H.265/HEVC(中文：高效视频编码，英文：High Efficiency VideoCoding)。

综上所述，本发明实施例中提供的全景视频编码方法，通过对于全景视频中的每一帧图像，将该图像球面映射至正四面体的内表面上，再将该正四面体展开，拼接形成由该正四面体的内表面构成的平面图像，并对该平面图像进行编码，由于全景视频的图像格式被映射成各向同性的正四面体格式，因此解决了现有技术中存在的被矩形球面映射后的全景视频的图像存在水平和垂直形变，使得映射后的全景视频在空间、时间上的相关性有所降低，因此矩形球面映射的方式不适用当前常用的视频标准的问题，达到了提高全景视频在空间、时间上的相关性，使全景视频适用当前常用的视频标准的效果。

在一种可能实现的方式中，在步骤203实现将正四面体展开成平面图像时，可以将该正四面体沿相交于顶点的三条棱展开并拼接成形状为等边三角形的平面图形。此时可以将步骤203替换为步骤203a，具体参见图2E，图2E是本发明一个实施例中提供的将正四面体展开后拼接形成平面图像方法的流程图。

步骤203a，选取正四面体的任一顶点，将该正四面体沿相交于该顶点的三条棱展开，形成由该正四面体的四个面拼接成的形状为等边三角形的第一平面图像。

通过步骤203a展开拼接后得到的平面图像可以参见图2F所示，图2F是本发明一个实施例中提供的正四面体展开后的平面图像的示意图。由于正四面体是由四个全等的等边三角形围成的空间封闭图形，因此将正四面体沿相交于该顶点的三条棱展开，可以得到由该正四面体的四个面拼接而成的形状为等边三角形的第一平面图像，也即图2F中的等边三角形1、等边三角形2、等边三角形3和等边三角形4拼接形成一个平面图像。

在存储图2F中拼接形成的第一平面图像时，除了需要用于存储等边三角形1、等边三角形2、等边三角形3和等边三角形4所占用的存储空间外，还需要图2F中区域5和区域6所对应的存储空间，也即需要占用存储空间10所对应的空间大小，从而造成存储空间的浪费。

为了提高存储空间的利用率，避免存储空间的浪费，在步骤203a之后，还可以通过图2E中的步骤203b至步骤203d进一步拼接展开的平面图像。

步骤203b，从第一平面图像的三个第一等边三角形中选取一个第一等边三角形，每个第一等边三角形分别与第二等边三角形存在共同边。

这里所讲的第一等边三角形和该第二等边三角形为正四面体的四个面。

仍参见图2F，当正四面体沿相交于该顶点的三条棱展开后，会形成由全等的等边三角形1、等边三角形2、等边三角形3和等边三角形4拼接成的形状为等边三角形的第一平面图像。

其中，将等边三角形1、等边三角形2和等边三角形3作为第一等边三角形，将等边三角形4作为第二等边三角形；边a为等边三角形1与等边三角形4的共同边，边b为等边三角形2与等边三角形4的共同边，边c为等边三角形3与等边三角形4的共同边。

步骤203c，沿着中垂线将第一等边三角形切割成两个直角三角形。

这里所讲的中垂线与该第一等边三角形和第二等边三角形之间的共同边垂直。

图2G是本发明一个实施例中提供的沿着中垂线将第一等边三角形切割成两个直角三角形的示意图，如图2G所示，等边三角形1、等边三角形2和等边三角形3为第一等边三角形，等边三角形4为第二等边三角形。选择等边三角形1为被切割的三角形，沿等边三角形1和等边三角形4之间的共同边a的中垂线d对等边三角形1进行切割，得到直角三角形1A和直角三角形1B。

步骤203d，将两个直角三角形进行平面旋转，与其他三个等边三角形拼接形成形状为矩形的第二平面图像。

在图2G中，将直角三角形1A和等边三角形2的交点记为点P、将直角三角形1B和等边三角形3的交点记为点Q，将直角三角形1A以点P为旋转点进行平面旋转后拼接于等边三角形2的侧边，将直角三角形1B以点Q为旋转点进行平面旋转后拼接于等边三角形3的侧边，旋转后的形成的平面图像如图2H所示。图2H是本发明一个实施例中提供的形状为矩形的第二平面图像的示意图，在图2H中，直角三角形1A、直角三角形1B、等边三角形2、等边三角形3和等边三角形4会拼接形成形状为矩形的第二平面图像。第二平面图像所需要的存储空间20小于第一平面图像所需要的存储空间10。

本实施例中，通过将形状为等边三角形的第一平面图像转换成形状为矩形的第二平面图像，可以有效提高存储空间的利用率，避免存储空间的浪费。

下述为本发明装置实施例，对于装置实施例中未详尽描述的细节，可以参考上述一一对应的方法实施例。

图3A是本发明一个实施例中提供的全景视频编码装置的结构方框图，如图3A所示，该全景视频编码装置包括：接收模块301，第一处理模块302、第二处理模块303和编码模块304。

接收模块301，用于接收对全景视频进行编码的编码指令；

第一处理模块302，用于对于全景视频中的每一帧图像，将该图像球面映射至正四面体的内表面上；

第二处理模块303，用于将正四面体展开，拼接形成由该正四面体的内表面构成的平面图像；

编码模块304，用于对平面图像进行编码。

在一种可能的实现方式中，请参见图3B所示，其是本发明另一个实施例中提供的全景视频编码装置的结构方框图，该第一处理模块302，包括：第一处理单元302a、确定单元302b和第二处理单元302c。

第一处理单元302a，用于将图像球面映射至球体的外表面上；

确定单元302b，用于确定球体的外切正四面体；

第二处理单元302c，用于将球体的外表面上的图像球面映射至外切正四面体的内表面上。

仍参见图3B，该第一劝捐请求还包括预定目标资源值，该第二处理模块303，还用于选取正四面体的任一顶点，将该正四面体沿相交于该顶点的三条棱展开，形成由该正四面体的四个面拼接成的形状为等边三角形的第一平面图像。

仍参见图3B，该全景视频编码装置还包括：选取模块305、切割模块306和拼接模块307。

选取模块305，用于在拼接形成由正四面体的内表面构成的第一平面图像之后，从第一平面图像的三个第一等边三角形中选取一个第一等边三角形，每个第一等边三角形分别与第二等边三角形存在共同边，该第一等边三角形和该第二等边三角形为正四面体的四个面；

切割模块306，用于沿着中垂线将第一等边三角形切割成两个直角三角形，该中垂线与该第一等边三角形和第二等边三角形之间的共同边垂直；

拼接模块307，用于将两个直角三角形进行平面旋转，与其他三个等边三角形拼接形成形状为矩形的第二平面图像。

综上所述，本发明实施例中提供的全景视频编码装置，通过对于全景视频中的每一帧图像，将该图像球面映射至正四面体的内表面上，再将该正四面体展开，拼接形成由该正四面体的内表面构成的平面图像，并对该平面图像进行编码，由于全景视频的图像格式被映射成各向同性的正四面体格式，因此解决了现有技术中存在的被矩形球面映射后的全景视频的图像存在水平和垂直形变，使得映射后的全景视频在空间、时间上的相关性有所降低，因此矩形球面映射的方式不适用当前常用的视频标准的问题，达到了提高全景视频在空间、时间上的相关性，使全景视频适用当前常用的视频标准的效果。

本实施例中，通过将形状为等边三角形的第一平面图像转换成形状为矩形的第二平面图像，可以有效提高存储空间的利用率，避免存储空间的浪费。

需要说明的是：上述实施例中提供的全景视频编码装置在编码全景视频时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将服务器的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的全景视频编码装置与全景视频编码方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种全景视频编码方法，其特征在于，所述方法包括：

接收对全景视频进行编码的编码指令；

对于所述全景视频中的每一帧图像，将所述图像球面映射至正四面体的内表面上；

将所述正四面体展开，拼接形成由所述正四面体的内表面构成的平面图像；

对所述平面图像进行编码。

2.根据所述权利要求1所述的方法，其特征在于，所述将所述图像球面映射至正四面体的内表面上，包括：

将所述图像球面映射至球体的外表面上；

确定所述球体的外切正四面体；

将所述球体的外表面上的图像球面映射至所述外切正四面体的内表面上。

3.根据所述权利要求1或2所述的方法，其特征在于，所述将所述正四面体展开，拼接形成由所述正四面体的内表面构成的平面图像，包括：

选取所述正四面体的任一顶点，将所述正四面体沿相交于所述顶点的三条棱展开，形成由所述正四面体的四个面拼接成的形状为等边三角形的第一平面图像。

4.根据所述权利要求3所述的方法，其特征在于，在所述拼接形成由所述正四面体的内表面构成的第一平面图像之后，所述方法还包括：

从所述第一平面图像的三个第一等边三角形中选取一个第一等边三角形，每个第一等边三角形分别与第二等边三角形存在共同边，所述第一等边三角形和所述第二等边三角形为所述正四面体的四个面；

沿着中垂线将所述第一等边三角形切割成两个直角三角形，所述中垂线与所述第一等边三角形和所述第二等边三角形之间的共同边垂直；

将两个直角三角形进行平面旋转，与其他三个等边三角形拼接形成形状为矩形的第二平面图像。

5.一种全景视频编码装置，其特征在于，所述装置包括：

接收模块，用于接收对全景视频进行编码的编码指令；

第一处理模块，用于对于所述全景视频中的每一帧图像，将所述图像球面映射至正四面体的内表面上；

第二处理模块，用于将所述正四面体展开，拼接形成由所述正四面体的内表面构成的平面图像；

编码模块，用于对所述平面图像进行编码。

6.根据所述权利要求5所述的装置，其特征在于，所述第一处理模块，包括：

第一处理单元，用于将所述图像球面映射至球体的外表面上；

确定单元，用于确定所述球体的外切正四面体；

第二处理单元，用于将所述球体的外表面上的图像球面映射至所述外切正四面体的内表面上。

7.根据所述权利要求5或6所述的装置，其特征在于，所述第二处理模块，还用于选取所述正四面体的任一顶点，将所述正四面体沿相交于所述顶点的三条棱展开，形成由所述正四面体的四个面拼接成的形状为等边三角形的第一平面图像。

8.根据所述权利要求7所述的装置，其特征在于，所述装置还包括：

选取模块，用于在所述拼接形成由所述正四面体的内表面构成的第一平面图像之后，从所述第一平面图像的三个第一等边三角形中选取一个第一等边三角形，每个第一等边三角形分别与第二等边三角形存在共同边，所述第一等边三角形和所述第二等边三角形为所述正四面体的四个面；

切割模块，用于沿着中垂线将所述第一等边三角形切割成两个直角三角形，所述中垂线与所述第一等边三角形和所述第二等边三角形之间的共同边垂直；

拼接模块，用于将两个直角三角形进行平面旋转，与其他三个等边三角形拼接形成形状为矩形的第二平面图像。