CN107197135A - 一种视频生成方法、播放方法及视频生成装置、播放装置 - Google Patents

Abstract

本发明提供一种视频生成方法，包括以下步骤：预设多个摄像头采集环境场景不同空间角度的视频图像；建立环境场景的空间球面模型；将多个摄像头采集的环境场景视频图像进行拼接，得到环境场景的空间球面模型对应的球面纹理图像；将球面纹理图像分割为多个预设尺寸的局部视频图像块；根据视频帧时序编码局部视频图像块。本发明同时提供一种视频播放方法、视频生成装置及视频播放装置。本发明有效地解决了现有的显示设备无法流畅播放高分辨率全景视频的缺陷，同时显著地降低了大容量视频实时传输对于网络带宽的要求，提升了全景视频播放技术在不同场景中的适用性。

Description

一种视频生成方法、播放方法及视频生成装置、播放装置

技术领域

本发明涉及计算机视觉与图像处理技术领域，尤其涉及一种视频生成方法、播放方法及视频生成装置、播放装置。

背景技术

数字三维全景图像，是通过相机捕捉整个环境场景的图像信息，使用软件进行图像的拼接整合，将平面图像进行处理得到的三维全景图像。三维全景图像能够实现把二维的平面图像模拟成真实的三维空间，以达到模拟和再现真实环境场景的效果。

随着计算机软硬件技术的不断发展，智能可穿戴设备日渐普及，头戴式虚拟现实设备通过图像显示屏将虚拟的环境图像展现在使用者眼前，为使用者营造一种置身于虚拟环境中的体验。使用者佩戴头戴式虚拟现实设备时，通过将使用者的视野范围完全限定在图像显示屏的显示范围内，能够隔绝图像显示屏显示范围以外的环境图像，从而让使用者获得沉浸于虚拟场景的体验。

通过拍摄高画质的全景视频图像，保留环境场景中更多的图像细节，能够让使用者通过虚拟现实设备观看全景视频时获得更加真实的沉浸感。然而在现有技术中，一方面受限于虚拟现实设备的运算处理能力和显示器件的显示分辨率，无法解析播放高分辨率的全景视频图像，另一方面，视频图像的分辨率越高，单一视频文件的尺寸越大，对于实时视频传输过程中网络带宽的要求也越高。因此，如何有效提高虚拟现实设备的视频画质，同时保证实时视频传输的流畅性，是全景视频传输与显示过程中亟待解决的技术问题之一。

发明内容

本发明所要解决的技术问题在于全景视觉图像分辨率很高，图像信息量大，在解码播放过程中往往不能满足实时性的要求，尤其在连续视频图像上的处理存在延迟的问题。

在鉴于此，本发明一方面提供一种视频生成方法，包括以下步骤：预设多个摄像头采集环境场景不同空间角度的视频图像；建立所述环境场景的空间球面模型；将所述多个摄像头对应的环境场景视频图像进行拼接，得到所述环境场景的空间球面模型对应的球面纹理图像；将所述球面纹理图像分割为多个预设尺寸的局部视频图像块；根据视频帧时序编码所述局部视频图像块。

优选地，所述多个摄像头设置于球状设备表面，所述每个摄像头采集所述环境场景预设空间角度范围的视频图像，所述多个摄像头采集的环境场景视频图像覆盖所述环境场景的空间全景。

优选地，所述建立所述环境场景的空间球面模型的步骤之前，还包括：对所述每个摄像头采集的环境场景视频图像进行畸变校正。

优选地，所述建立所述环境场景的空间球面模型的步骤，具体为：以所述球状设备的球心为坐标原点构建笛卡尔坐标系，得到所述环境场景的空间球面模型。

优选地，所述建立所述环境场景的空间球面模型的步骤，还包括：根据姿态估计算法，确定所述每个摄像头在所述笛卡尔坐标系中的姿态。

优选地，所述将所述多个摄像头采集的环境场景视频图像进行拼接，得到所述环境场景的空间球面模型对应的球面纹理图像的步骤，还包括：根据所述环境场景空间球面模型表面的经纬度坐标，建立所述环境场景空间球面模型对应的球面纹理图像的经纬度坐标系；根据所述每个摄像头在所述笛卡尔坐标系中的姿态，确定所述每个摄像头对应的视频图像在所述球面纹理图像的经纬度坐标系中的坐标区间。

优选地，所述将所述球面纹理图像分割为多个预设尺寸的局部视频图像块的步骤，具体为：将所述球面纹理图像分割为多个预设尺寸的局部视频图像块，确定所述每个局部视频图像块在所述经纬度坐标系中的坐标区间。

优选地，所述将所述球面纹理图像分割为多个预设尺寸的局部视频图像块的步骤，还包括：对所述局部视频图像块进行纹理压缩。

优选地，所述根据视频帧时序编码所述局部视频图像块的步骤，具体为：根据视频帧时序分别编码所述每个摄像头对应的局部视频图像块。

本发明同时提供一种视频生成装置，包括：图像采集模块：包括多个摄像单元，用于采集环境场景不同空间角度的视频图像；模型建立模块：用于建立所述环境场景的空间球面模型；图像拼接模块：用于将所述多个摄像单元对应的环境场景视频图像进行拼接，得到所述环境场景的空间球面模型对应的球面纹理图像；图像分割模块：用于将所述图像拼接模块得到的球面纹理图像分割为多个预设尺寸的局部视频图像块；视频编码模块：用于根据视频帧时序编码所述图像分割模块得到的局部视频图像块。

优选地，所述多个摄像单元设置于球状设备表面，所述每个摄像单元用于采集所述环境场景预设空间角度范围的视频图像，所述多个摄像单元采集的环境场景视频图像覆盖所述环境场景的空间全景。

优选地，所述模型建立模块，包括：校正单元：用于对所述每个摄像单元采集的环境场景视频图像进行畸变校正；坐标系构建单元：用于以所述球状设备的球心为坐标原点，构建笛卡尔坐标系；姿态估计单元：用于根据姿态估计算法，确定所述每个摄像单元在所述坐标系构建单元构建的笛卡尔坐标系中的姿态。

优选地，所述图像拼接模块，还包括：坐标转换单元，用于根据所述环境场景空间球面模型表面的经纬度坐标，建立所述环境场景空间球面模型对应的球面纹理图像的经纬度坐标系；图像映射单元，用于根据所述每个摄像单元在所述笛卡尔坐标系中的姿态，确定所述每个摄像单元对应的视频图像在所述球面纹理图像的经纬度坐标系中的坐标区间。

优选地，图像分割模块，还包括：纹理压缩单元，用于对所述局部视频图像块进行纹理压缩。

优选地，所述图像映射单元，还用于确定所述每个局部视频图像块在所述经纬度坐标系中的坐标区间。

优选地，所述编码模块，还用于根据视频帧时序分别编码所述每个摄像单元对应的局部视频图像块。

本发明另一方面提供一种视频播放方法，包括以下步骤：获取局部视频图像块及对应的环境场景的空间球面模型，根据视频观测点对应的模型视图矩阵和投影矩阵，确定显示区域在所述环境场景的空间球面模型表面的投影区域；根据所述显示区域在所述环境场景空间球面模型表面的投影区域，确定所述投影区域在所述环境场景的空间球面模型对应的经纬度坐标系中的坐标区间；根据所述局部视频图像块在所述经纬度坐标系中的坐标区间，确定所述投影区域对应的局部视频图像块；对根据视频帧时序编码的所述投影区域对应的局部视频图像块进行解码；在所述显示区域显示所述投影区域对应的局部视频图像块。

优选地，所述获取局部视频图像块及对应的环境场景的空间球面模型，根据视频观测点对应的模型视图矩阵和投影矩阵，确定显示区域在所述环境场景的空间球面模型表面的投影区域的步骤，还包括：根据用户指令调整所述显示区域在所述环境场景的空间球面模型表面的投影区域。

优选地，所述在所述显示区域显示所述投影区域对应的局部视频图像块的步骤，具体为：在所述显示区域中，根据所述视频帧时序显示所述投影区域对应的局部视频图像块。

本发明还提供一种视频播放装置，包括：获取模块：用于获取局部视频图像块及对应的环境场景的空间球面模型，根据视频观测点对应的模型视图矩阵和投影矩阵，确定显示区域在所述环境场景的空间球面模型表面的投影区域；定位模块：用于根据所述显示区域在所述环境场景空间球面模型表面的投影区域，确定所述投影区域在所述环境场景的空间球面模型对应的经纬度坐标系中的坐标区间；映射模块：用于根据每个所述局部视频图像块在所述经纬度坐标系中的坐标区间，确定所述投影区域对应的局部视频图像块；解码模块：用于对根据视频帧时序编码的所述投影区域对应的局部视频图像块进行解码；显示模块：用于在所述显示区域显示所述投影区域对应的局部视频图像块。

优选地，所述获取模块，还包括：指令检测单元：用于检测用户指令；以及，所述获取模块还用于根据所述指令检测单元检测到的用户指令，调整所述显示区域在所述环境场景的空间球面模型中的投影区域。

优选地，所述显示模块，还用于在所述显示区域中，根据所述视频帧时序显示所述投影区域对应的局部视频图像块。

以上本发明的技术方案，通过多个摄像头采集环境场景的视频图像，建立环境场景的空间球面模型，将摄像头采集的视频图像分割为局部视频图像块，在显示设备的显示区域显示环境场景的视频图像时，根据虚拟视角确定显示区域在空间球体模型中的投影区域，获取对应的局部视频图像块在显示区域中进行显示。本发明的技术方案，有效地解决了现有的显示设备无法流畅播放高分辨率全景视频的缺陷，同时显著地降低了大容量视频实时传输对于网络带宽的要求，提升了全景视频播放技术在不同场景中的适用性。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明的技术方案而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构和/或流程来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例的描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例的说明，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图：

图1示出了根据本发明第一种实施例的视频生成方法的流程示意图；

图2示出了根据本发明第二种实施例的视频播放方法的流程示意图；

图3示出了根据本发明第三种实施例的视频生成装置的结构示意图；

图4示出了根据本发明第三种实施例的视频生成装置的模型建立模块的结构示意图；

图5示出了根据本发明第三种实施例的视频生成装置的图像拼接模块的结构示意图；

图6示出了根据本发明第三种实施例的视频生成装置的图像分割模块的结构示意图；

图7示出了根据本发明第四种实施例的视频播放装置的结构示意图；

图8示出了根据本发明第四种实施例的视频播放装置的获取模块的结构示意图。

具体实施方式

为了能够更清楚地理解本发明的目的、特征和优点，下面结合附图和具体实施方式对本发明做进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。

在下面的描述中，阐述了很多具体的技术细节，以便于充分理解本发明。但是，这仅仅是本发明的一些实施例，本发明还可以采用其他不同于在此处描述的其他方式来实施。因此，本发明的保护范围并不受下面公开的具体实施例的限制。

实施例一

图1示出了根据本发明第一种实施例的视频生成方法的流程示意图。

如图1所示，根据本发明第一种实施例的视频生成方法，主要包括以下步骤：

步骤S101，预设多个摄像头采集环境场景不同空间角度的视频图像；

步骤S102，建立环境场景的空间球面模型；

步骤S103，将多个摄像头采集的环境场景视频图像进行拼接，得到环境场景的空间球面模型对应的球面纹理图像；

步骤S104，将球面纹理图像分割为多个预设尺寸的局部视频图像块；

步骤S105，根据视频帧时序编码局部视频图像块。

在该技术方案中，通过多个摄像头采集环境场景的视频图像，建立环境场景的空间球面模型，根据该环境场景的空间球面模型，确定多个摄像头采集的视频图像与环境场景的空间球面模型的映射关系，将多个摄像头采集的视频图像进行拼接，得到环境场景空间球面模型对应的球面纹理图像，通过对球面纹理图像进行分割，将每个摄像头对应的环境场景视频图像分割为多个预设尺寸的局部视频图像块，建立局部视频图像块与空间球面模型的关联索引，按视频帧时序编码并存储局部视频图像块。

在上述技术方案中，优选地，多个摄像头分布于球状设备表面，每个摄像头采集环境场景预设空间角度范围的视频图像，所述多个摄像头采集的视频图像覆盖所述环境场景的空间三维全景。具体地，在球状设备表面设置多个摄像头{C₁，C₂，C₃……C_N}采集环境场景的视频图像，其中，N可以为4～32之间任意的自然数，每个摄像头的FOV(Field of View，视场角)为100～220度中的任意数值，多个摄像头{C₁，C₂，C₃……C_N}采集的原始视频图像{V₁，V₂，V₃……V_N}覆盖环境场景的空间全景，即该多个摄像头采集的原始视频图像{V₁，V₂，V₃……V_N}包含构成环境场景球面全景图像的原始图像数据。

在上述技术方案中，优选地，在步骤S102之前，还包括：对多个摄像头{C₁，C₂，C₃……C_N}中的每个摄像头采集的视频图像进行畸变校正。具体地，采用FOV较大的摄像头采集环境场景的原始视频图像，每个摄像头采集得到的视频图像均会存在一定程度的图像畸变，因此需要对摄像头采集的原始视频图像进行畸变校正，通过畸变校正，将摄像头采集的原始视频图像进行球面映射，得到所述摄像头采集的原始视频图像{V₁，V₂，V₃……V_N}对应的经纬度纹理图像{D₁，D₂，D₃……D_N}。同时修正因摄像头的FOV较大所造成的图像畸变，从而使视频图像中环境场景的还原更加真实。

在上述技术方案中，优选地，所述步骤S102，具体为：以球状设备的球心为坐标原点构建笛卡尔坐标系，得到所述环境场景的空间球面模型。

在上述技术方案中，进一步地，所述步骤S102，还包括：根据姿态估计算法，确定每个摄像头在笛卡尔坐标系中的姿态。具体地，在所述球状设备的球心位置放置相机M，使相机M与多个摄像头{C₁，C₂，C₃……C_N}中任一摄像头C_i的镜头同轴，也即是使相机M与摄像头C_i的镜头光心位于环境场景空间球面模型的同一半径，其中，i为自然数，且1<i<N。根据姿态估计算法，确定摄像头C_i相对于相机M的姿态。重复上述步骤，确定所述多个摄像头{C₁，C₂，C₃……C_N}中的每个摄像头相对于相机M的姿态，得到所述每个摄像头相对于相机M的旋转矩阵{R₁，R₂，R₃……R_N}，从而确定多个摄像头{C₁，C₂，C₃……C_N}中的每个摄像头在所述笛卡尔坐标系中的姿态。

值得说明的是，在需要生成基于双目立体视觉的环境场景视频图像时，则使用于双目视觉图像采集的相邻两个摄像头的镜头光心连线中点与相机M的镜头光心同轴，此处不再赘述。

在上述技术方案中，所述步骤S103，还包括：根据环境场景空间球面模型表面的经纬度坐标，建立环境场景空间球面模型对应的球面纹理图像的经纬度坐标系。具体地，根据环境场景空间球面模型表面的经纬度坐标，以西经180度为经度坐标的0，东经180度为经度坐标的2π，以北纬90度为纬度坐标0，南纬90度为纬度坐标π，建立环境场景空间球面模型对应的经纬度坐标系，以该经纬度坐标系表征环境场景空间球面模型对应的球面纹理图像，优选地，以环境场景空间球面模型表面坐标点(0,0,r)映射为所述球面纹理图像的中心点，其中r为所述环境场景空间球面模型的球体半径。

在该技术方案中，所述步骤S103，还包括：根据所述每个摄像头在所述笛卡尔坐标系中的姿态，确定所述每个摄像头采集的视频图像在所述球面纹理图像的经纬度坐标系中的坐标区间。具体地，多个摄像头采集的环境场景视频图像拼接得到球面纹理图像，根据每个摄像头在环境场景空间球面模型的笛卡尔坐标系中的姿态，确定每个摄像头采集的环境场景视频图像在所述球面纹理图像中的位置映射关系，优选地，该映射关系可以以每个摄像头采集的环境场景视频图像在所述球面纹理图像的经纬度坐标系中的坐标区间进行表征。在本发明实施例中，将所述多个摄像头{C₁，C₂，C₃……C_N}中任一摄像头C_i采集的环境场景视频图像V_i通过畸变校正后得到的球面纹理图像D_i的图像中心点转换为上述环境场景空间球面模型表面坐标点(0,0,r)，则所述视频图像V_i经过畸变校正后得到的视频图像D_i中的任一图像点的经纬度坐标(x，y)在所述环境场景的空间球面模型的经纬度坐标(α,β)可以通过如下表达式对应计算得出：

其中，FovX表示摄像头C_i在X轴方向的视角大小，以弧度表示，例如120度；FovY表示表示摄像头C_i在Y轴方向的视角大小，以弧度表示；w表示球面纹理图像D_i的像素宽度；h表示球面纹理图像D_i的像素高度。

进一步地，根据上述经纬度坐标(α,β)，所述球面纹理图像D_i中任一图像点(x，y)在所述环境场景的空间球面模型表面的坐标可以通过如下表达式得出：

x′＝-sinα·cosβ·r

y′＝sinβ·r

z′＝cosα·cosβ·r

进一步地，根据球面纹理图像D_i对应的旋转矩阵R_i，确定球面纹理图像D_i中的该图像点(x，y)对应在原始球面坐标系下的坐标点(x，y，z)。

对应地，根据上述表达式，可以通过确定球面纹理图像D_i的四个顶点在环境场景的空间球面模型表面的坐标，确定球面纹理图像D_i映射在环境场景的空间球面模型表面的经纬度范围，以及球面纹理图像D_i的中心图像点对应的经纬度坐标。

进一步地，根据球面纹理图像D_i的图像点(x，y)对应的原始球面坐标系下的坐标点(x，y，z)，可以通过下述表达式确定球面纹理图像D_i的图像点(x，y)在经纬度坐标系中的坐标(u，v)。对应地，可以通过确定球面纹理图像D_i的四个顶点在经纬度坐标系中的坐标，从而确定球面纹理图像D_i映射在经纬度坐标系中的坐标区间，以及球面纹理图像D_i的中心图像点对应的经纬度坐标。

v＝arc cosy

值得说明的是，通过环境场景的空间球面模型与所述经纬度坐标系的映射关系，根据原始球面坐标系下的坐标点(x，y，z)的坐标值的符号，可以确定经纬度坐标系中对应的坐标点(u，v)的符号。

进一步地，依此类推，可以确定所述多个摄像头{C₁，C₂，C₃……C_N}中的每个摄像头对应的通过畸变校正得到球面纹理图像在所述经纬度坐标系中的坐标区间。

在上述技术方案中，优选地，所述步骤S104，具体为：将所述球面纹理图像分割为多个预设尺寸的局部视频图像块，确定所述每个局部视频图像块在所述经纬度坐标系中的坐标区间。例如，单个摄像头对应的球面纹理图像的分辨率为8K×4K，通过视频分割，将其分割为分辨率为512×512的局部视频图像块，则每个摄像头对应的球面纹理图像分割为128个局部视频图像块。进一步地，根据每个摄像头对应的球面纹理图像在所述经纬度坐标系中的坐标区间，确定所述每个摄像头对应的局部视频图像块在所述经纬度坐标系中的坐标区间。

值得说明的是，根据每个摄像头对应的球面纹理图像在经纬度坐标系中的映射关系，也可以确定所述经纬度坐标系中任意坐标点(u，v)对应的与某一摄像头对应的球面纹理图像；同样地，根据每个摄像头对应的局部视频图像块在经纬度坐标系中的映射关系，也可以确定所述经纬度坐标系中任意坐标点(u，v)对应的局部视频图像块。

在上述技术方案中，进一步地，所述步骤S103还包括，对所述环境场景视频图像对应的局部视频图像块进行纹理压缩。

在上述技术方案中，优选地，所述步骤S104，具体为：将每个摄像头对应的局部视频图像块，按视频帧时序编码存储为视频文件。

实施例二

图2示出了根据本发明第二种实施例的视频播放方法的流程示意图。

如图2所示，根据本发明第二种实施例的视频播放方法，主要包括以下步骤：

步骤S201，获取局部视频图像块及对应的环境场景的空间球面模型，根据视频观测点对应的模型视图矩阵和投影矩阵，确定显示区域在所述环境场景的空间球面模型表面的投影区域；

步骤S202，根据显示区域在所述环境场景空间球面模型表面的投影区域，确定投影区域在环境场景的空间球面模型对应的经纬度坐标系中的坐标区间；

步骤S203，根据局部视频图像块在经纬度坐标系中的坐标区间，确定投影区域对应的局部视频图像块；

步骤S204，对根据视频帧时序编码的所述投影区域对应的局部视频图像块进行解码；

步骤S205，在所述显示区域显示所述投影区域对应的局部视频图像块。

在该技术方案中，播放环境场景的视频图像时，根据虚拟视角确定显示区域在环境场景的空间球面模型中的投影区域，根据局部视频图像块与空间球面模型的映射关系，获取与投影区域对应的局部视频图像块，解码并在显示区域中对应显示所述获取到的局部视频图像块。

在上述技术方案中，优选地，所述步骤S201，还包括：根据用户指令调整显示区域在环境场景的空间球体模型中的投影区域。具体地，当需要展现环境场景的视频图像时，可以通过显示器显示环境场景的视频图像，或者通过终端设备的屏幕显示环境场景的视频图像等，由于显示设备的显示区域尺寸有限，无法在显示区域完整地显示环境场景的三维全景图像，某一时刻仅能显示环境场景三维图像的部分区域图像。根据显示区域在环境场景空间球体模型表面的投影区域，确定该投影区域对应的环境场景空间球体模型表面图像，也就是在显示区域中显示的图像。在本发明实施例中，预先在环境场景的空间球体模型表面设置一初始参考点，根据该初始参考点确定显示区域在环境场景的空间球体模型中的初始投影区域，获取初始投影区域对应的局部视频图像块。进一步地，可以通过检测用户指令，根据检测到的用户指令调整显示区域在环境场景的空间球体模型中的投影区域，从而在显示区域中切换显示环境场景三维图像中不同区域的图像，向用户展现环境场景中不同区域的图像。具体地，视频观看者可以通过控制指令，调整所述显示区域的投影区域在环境场景空间球体模型表面的位置，从而通过显示区域观看环境场景不同区域的图像，其中，所述控制包括手势指令、语音指令、动作指令、触控指令中的一种或多种。例如，当用户佩戴具有显示屏的头戴式设备时，所述头戴式设备的显示屏即为本发明实施例中的视频显示区域。通过传感器检测头戴式设备的姿态变化，计算显示区域在所述环境场景空间球体模型的相对位置，根据环境场景的空间球体模型的视图矩阵和投影矩阵，在所述环境场景空间球体模型表面确定与显示屏尺寸对应的投影区域。进一步地，用户可以通过手势指令、语音指令、动作指令、触控指令等使显示屏对应的投影区域调整到环境场景空间球体模型表面的不同位置，从而通过显示屏查看环境场景不同空间角度的图像。

在上述技术方案中，优选地，所述步骤S205，具体为：在显示区域中，根据视频帧时序显示投影区域对应的局部视频图像块。

实施例三

图3示出了根据本发明第三种实施例的视频生成装置的结构示意图。

如图3所示，根据本发明第三种实施例的视频生成装置300，主要包括：

图像采集模块301：包括多个摄像单元，用于采集环境场景不同空间角度的视频图像；

模型建立模块302：用于建立所述环境场景的空间球面模型；

图像拼接模块303：用于将多个摄像单元对应的环境场景视频图像进行拼接，得到环境场景的空间球面模型对应的球面纹理图像；

图像分割模块304：用于将图像拼接模块303得到到球面纹理图像分割为多个预设尺寸的局部视频图像块；

视频编码模块305：用于根据视频帧时序编码图像分割模块304得到的局部视频图像块。

在该技术方案中，图像采集模块301通过多个摄像单元采集环境场景的视频图像，模型建立模块302建立环境场景的空间球面模型，图像拼接模块303根据该环境场景的空间球面模型，确定多个摄像单元采集的视频图像与环境场景的空间球面模型的映射关系，将多个摄像单元采集的视频图像进行拼接，得到环境场景空间球面模型对应的球面纹理图像，图像分割模块304通过对球面纹理图像进行分割，将每个摄像头对应的环境场景视频图像分割为多个预设尺寸的局部视频图像块，建立局部视频图像块与空间球面模型的关联索引，视频编码模块305根据视频帧时序编码并存储局部视频图像块。

在上述技术方案中，优选地，多个摄像单元分布于球状设备表面，每个摄像单元采集环境场景预设空间角度范围的视频图像，所述多个摄像单元采集的视频图像覆盖所述环境场景的空间三维全景。具体地，在球状设备表面设置多个摄像单元采集环境场景的视频图像，例如，4～32个摄像单元，每个摄像单元的FOV(Field of View，视场角)为100～220度中的任意数值，多个摄像单元采集的原始视频图像覆盖环境场景的空间全景，即该多个摄像单元采集的原始视频图像包含构成环境场景球面全景图像的原始图像数据。

在上述技术方案中，优选地，如图4所示，模型建立模块302，还包括：校正单元3021：用于对所述每个摄像单元采集的环境场景视频图像进行畸变校正；坐标系构建单元3022：用于以所述球状设备的球心为坐标原点，构建笛卡尔坐标系；姿态估计单元3023：用于根据姿态估计算法，确定所述每个摄像单元在所述坐标系构建单元构建的笛卡尔坐标系中的姿态。具体地，采用FOV较大的摄像单元采集环境场景的原始视频图像，每个摄像单元采集得到的视频图像均会存在一定程度的图像畸变，校正单元3021对摄像单元采集的原始视频图像进行畸变校正，通过畸变校正，将摄像单元采集的原始视频图像进行球面映射，得到所述摄像单元采集的原始视频图像对应的经纬度纹理图像。同时修正因摄像单元的FOV较大所造成的图像畸变，从而使视频图像中环境场景的还原更加真实。

在上述技术方案中，进一步地，姿态估计单元3023根据在所述球状设备的球心位置放置的相机M，使相机M与任一摄像单元的镜头同轴，也即是使相机M与任一摄像单元的镜头光心位于环境场景空间球面模型的同一半径，其中，i为自然数，且1<i<N。根据姿态估计算法，确定摄像单元相对于相机M的姿态。重复上述步骤，确定每个摄像单元相对于相机M的姿态，得到所述每个摄像单元相对于相机M的旋转矩阵，从而确定每个摄像单元在所述笛卡尔坐标系中的姿态。

值得说明的是，在需要生成基于双目立体视觉的环境场景视频图像时，则使用于双目视觉图像采集的相邻两个摄像单元的镜头光心连线中点与相机M的镜头光心同轴，此处不再赘述。

在上述技术方案中，优选地，如图5所示，图像拼接模块303，还包括：坐标转换单元3031：用于根据环境场景空间球面模型表面的经纬度坐标，建立所述环境场景空间球面模型对应的球面纹理图像的经纬度坐标系。具体地，坐标转换单元3031根据环境场景空间球面模型表面的经纬度坐标，以西经180度为经度坐标的0，东经180度为经度坐标的2π，以北纬90度为纬度坐标0，南纬90度为纬度坐标π，建立环境场景空间球面模型对应的经纬度坐标系，以该经纬度坐标系表征环境场景空间球面模型对应的球面纹理图像，优选地，以环境场景空间球面模型表面坐标点(0,0,r)映射为所述球面纹理图像的中心点，其中r为所述环境场景空间球面模型的球体半径。

在上述技术方案中，图像拼接模块303，还包括：图像映射单元3032：用于根据每个摄像单元在笛卡尔坐标系中的姿态，确定每个摄像单元对应的视频图像在球面纹理图像的经纬度坐标系中的坐标区间。具体地，多个摄像单元采集的环境场景视频图像拼接得到球面纹理图像，根据每个摄像单元在环境场景空间球面模型的笛卡尔坐标系中的姿态，确定每个摄像单元采集的环境场景视频图像在所述球面纹理图像中的位置映射关系，优选地，该映射关系可以以每个摄像单元采集的环境场景视频图像在所述球面纹理图像的经纬度坐标系中的坐标区间进行表征。在本发明实施例中，将所述任一摄像单元采集的环境场景原始视频图像通过畸变校正后得到的球面纹理图像的图像中心点转换为上述环境场景空间球面模型表面坐标点(0,0,r)，则所述摄像单元采集的原始视频图像经过畸变校正后得到对应的球面纹理图像，所述摄像单元对应的球面纹理图像中的任一图像点的经纬度坐标(x，y)在所述环境场景的空间球面模型的经纬度坐标(α,β)可以通过如下表达式对应计算得出：

其中，FovX表示摄像单元在X轴方向的视角大小，以弧度表示，例如120度；FovY表示表示摄像单元在Y轴方向的视角大小，以弧度表示；w表示摄像单元对应的球面纹理图像的像素宽度；h表示摄像单元对应的球面纹理图像D_i的像素高度。

进一步地，根据上述经纬度坐标(α,β)，所述摄像单元对应的球面纹理图像中任一图像点(x，y)在所述环境场景的空间球面模型表面的坐标可以通过如下表达式得出：

x′＝-sinα·cosβ·r

y′＝sinβ·r

z′＝cosα·cosβ·r

进一步地，根据所述摄像单元对应的旋转矩阵，确定所述摄像单元对应的球面纹理图像中的该图像点(x，y)对应在原始球面坐标系下的坐标点(x，y，z)。

对应地，根据上述表达式，可以通过确定摄像单元对应的球面纹理图像的四个顶点在环境场景的空间球面模型表面的坐标，确定球面纹理图像映射在环境场景的空间球面模型表面的经纬度范围，以及球面纹理图像的中心图像点对应的经纬度坐标。

进一步地，根据摄像单元对应的球面纹理图像中的图像点(x，y)对应的原始球面坐标系下的坐标点(x，y，z)，可以通过下述表达式确定摄像单元对应的球面纹理图像中的图像点(x，y)在经纬度坐标系中的坐标(u，v)。对应地，可以通过确定摄像单元对应的球面纹理图像的四个顶点在经纬度坐标系中的坐标，从而确定球面纹理图像映射在经纬度坐标系中的坐标区间，以及球面纹理图像的中心图像点对应的经纬度坐标。

v＝arc cosy

值得说明的是，通过环境场景的空间球面模型与所述经纬度坐标系的映射关系，根据原始球面坐标系下的坐标点(x，y，z)的坐标值的符号，可以确定经纬度坐标系中对应的坐标点(u，v)的符号。

据此，可以确定每个摄像单元对应的通过畸变校正得到球面纹理图像在所述经纬度坐标系中的坐标区间。

在上述技术方案中，优选地，如图6所示，图像分割模块304，还包括：纹理压缩单元3041，用于对局部视频图像块进行纹理压缩。具体地，例如，每个摄像单元对应的球面纹理图像的分辨率为8K×4K，通过图像分割模块304进行分割，将其分割为分辨率为512×512的局部视频图像块，则每个摄像单元对应的球面纹理图像分割为128个局部视频图像块。进一步地，纹理压缩单元3041对局部视频图像块进行纹理压缩。

在上述技术方案中，优选地，图像映射单元3032，还用于确定所述每个局部视频图像块在所述经纬度坐标系中的坐标区间。具体地，图像映射单元3032根据每个摄像单元对应的球面纹理视频图像在所述经纬度坐标系中的坐标区间，确定图像分割模块304分割得到的所述每个摄像单元对应的局部视频图像块在所述经纬度坐标系中的坐标区间。

在上述技术方案中，优选地，编码模块305，还用于根据视频帧时序分别编码每个摄像单元对应的局部视频图像块。具体地，编码模块305将每个摄像单元对应的局部视频图像块分别进行编码存储。

实施例四

图7示出了根据本发明第四种实施例的视频播放装置的结构示意图。

如图7所示，根据本发明第四种实施例的视频播放装置，主要包括：

获取模块401：用于获取局部视频图像块对应的环境场景的空间球面模型，根据视频观测点对应的模型视图矩阵和投影矩阵，确定显示区域在环境场景的空间球面模型表面的投影区域；定位模块402：用于根据所述显示区域在环境场景空间球面模型表面的投影区域，确定投影区域在环境场景的空间球面模型对应的经纬度坐标系中的坐标区间；映射模块403：用于根据局部视频图像块在所述经纬度坐标系中的坐标区间，确定投影区域对应的局部视频图像块；解码模块404：用于对根据视频帧时序编码的投影区域对应的局部视频图像块进行解码；显示模块405：用于在显示区域显示所述投影区域对应的局部视频图像块。

在该技术方案中，播放环境场景的视频图像时，根据虚拟视角确定显示区域在环境场景的空间球面模型中的投影区域，根据局部视频图像块与空间球面模型的映射关系，获取与投影区域对应的局部视频图像块，解码并在显示区域中对应显示所述获取到的局部视频图像块。

在上述技术方案中，优选地，如图8所示，获取模块401，还包括：指令检测单元4011：用于检测用户指令；以及，所述获取模块401还用于根据所述指令检测单元4011检测到的用户指令，调整所述显示区域在所述环境场景的空间球面模型中的投影区域。具体地，当需要展现环境场景的视频图像时，可以通过显示器显示环境场景的视频图像，或者通过终端设备的屏幕显示环境场景的视频图像等，由于显示设备的显示区域尺寸有限，无法在显示区域完整地显示环境场景的三维全景图像，某一时刻仅能显示环境场景三维图像的部分区域图像。根据显示区域在环境场景空间球体模型表面的投影区域，确定该投影区域对应的环境场景空间球体模型表面图像，也就是在显示区域中显示的图像。在本发明实施例中，预先在环境场景的空间球体模型表面设置一初始参考点，获取模块401根据该初始参考点确定显示区域在环境场景的空间球体模型中的初始投影区域，获取初始投影区域对应的局部视频图像块。进一步地，获取模块401可以通过检测用户指令，根据检测到的用户指令调整显示区域在环境场景的空间球体模型中的投影区域，从而在显示区域中切换显示环境场景三维图像中不同区域的图像，向用户展现环境场景中不同区域的图像。具体地，视频观看者可以通过控制指令，调整所述显示区域的投影区域在环境场景空间球体模型表面的位置，从而通过显示区域观看环境场景不同区域的图像，其中，所述控制包括手势指令、语音指令、动作指令、触控指令中的一种或多种。例如，当用户佩戴具有显示屏的头戴式设备时，所述头戴式设备的显示屏即为本发明实施例中的视频显示区域。通过传感器检测头戴式设备的姿态变化，计算显示区域在所述环境场景空间球体模型的相对位置，根据环境场景的空间球体模型的视图矩阵和投影矩阵，在所述环境场景空间球体模型表面确定与显示屏尺寸对应的投影区域。进一步地，用户可以通过手势指令、语音指令、动作指令、触控指令等使显示屏对应的投影区域调整到环境场景空间球体模型表面的不同位置，从而通过显示屏查看环境场景不同空间角度的图像。

在上述技术方案中，优选地，显示模块405还用于，在所述显示区域中，根据所述视频帧时序显示所述投影区域对应的局部视频图像块。

再次声明，本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

本领域的技术人员应该明白，上述的本申请实施例所提供的方法中的各步骤，它们可以集中在单个的计算装置进行执行，或者分布在多个计算装置所组成的网络上进行执行。可选地，它们可以用计算装置可执行的程序代码来实现。从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明技术方案而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (22)

1.一种视频生成方法，其特征在于，包括以下步骤：

预设多个摄像头采集环境场景不同空间角度的视频图像；

建立所述环境场景的空间球面模型；

将所述多个摄像头对应的环境场景视频图像进行拼接，得到所述环境场景的空间球面模型对应的球面纹理图像；

将所述球面纹理图像分割为多个预设尺寸的局部视频图像块；

根据视频帧时序编码所述局部视频图像块。

2.根据权利要求1所述的视频生成方法，其特征在于，所述预设多个摄像头采集环境场景不同空间角度的视频图像的步骤，具体为：所述多个摄像头设置于球状设备表面，所述每个摄像头采集所述环境场景预设空间角度范围的视频图像，所述多个摄像头采集的环境场景视频图像覆盖所述环境场景的空间全景。

3.根据权利要求2所述的视频生成方法，其特征在于，所述建立所述环境场景的空间球面模型的步骤之前，还包括：

对所述每个摄像头采集的环境场景视频图像进行畸变校正。

4.根据权利要求3所述的视频生成方法，其特征在于，所述建立所述环境场景的空间球面模型的步骤，具体为：

以所述球状设备的球心为坐标原点构建笛卡尔坐标系，得到所述环境场景的空间球面模型。

5.根据权利要求4所述的视频生成方法，其特征在于，所述建立所述环境场景的空间球面模型的步骤，还包括：

根据姿态估计算法，确定所述每个摄像头在所述笛卡尔坐标系中的姿态。

6.根据权利要求5所述的视频生成方法，其特征在于，所述将所述多个摄像头采集的环境场景视频图像进行拼接，得到所述环境场景的空间球面模型对应的球面纹理图像的步骤，还包括：

根据所述环境场景空间球面模型表面的经纬度坐标，建立所述环境场景空间球面模型对应的球面纹理图像的经纬度坐标系；

根据所述每个摄像头在所述笛卡尔坐标系中的姿态，确定所述每个摄像头对应的视频图像在所述球面纹理图像的经纬度坐标系中的坐标区间。

7.根据权利要求6所述的视频生成方法，其特征在于，所述将所述球面纹理图像分割为多个预设尺寸的局部视频图像块的步骤，具体为：

将所述球面纹理图像分割为多个预设尺寸的局部视频图像块，确定所述每个局部视频图像块在所述经纬度坐标系中的坐标区间。

8.根据权利要求6或7所述的视频生成方法，其特征在于，所述将所述球面纹理图像分割为多个预设尺寸的局部视频图像块的步骤，还包括：

对所述局部视频图像块进行纹理压缩。

9.根据权利要求8所述的视频生成方法，其特征在于，所述根据视频帧时序编码所述局部视频图像块的步骤，具体为：

根据视频帧时序分别编码所述每个摄像头对应的局部视频图像块。

10.一种视频生成装置，其特征在于，包括：

图像采集模块：包括多个摄像单元，用于采集环境场景不同空间角度的视频图像；

模型建立模块：用于建立所述环境场景的空间球面模型；

图像拼接模块：用于将所述多个摄像单元对应的环境场景视频图像进行拼接，得到所述环境场景的空间球面模型对应的球面纹理图像；

图像分割模块：用于将所述图像拼接模块得到的球面纹理图像分割为多个预设尺寸的局部视频图像块；

视频编码模块：用于根据视频帧时序编码所述图像分割模块得到的局部视频图像块。

11.根据权利要求10所述的视频生成装置，其特征在于，所述多个摄像单元设置于球状设备表面，所述每个摄像单元用于采集所述环境场景预设空间角度范围的视频图像，所述多个摄像单元采集的环境场景视频图像覆盖所述环境场景的空间全景。

12.根据权利要求11所述的视频生成装置，其特征在于，所述模型建立模块，包括：

校正单元：用于对所述每个摄像单元采集的环境场景视频图像进行畸变校正；

坐标系构建单元：用于以所述球状设备的球心为坐标原点，构建笛卡尔坐标系；

姿态估计单元：用于根据姿态估计算法，确定所述每个摄像单元在所述坐标系构建单元构建的笛卡尔坐标系中的姿态。

13.根据权利要求12所述的视频生成装置，其特征在于，所述图像拼接模块，还包括：

坐标转换单元：用于根据所述环境场景空间球面模型表面的经纬度坐标，建立所述环境场景空间球面模型对应的球面纹理图像的经纬度坐标系；

图像映射单元：用于根据所述每个摄像单元在所述笛卡尔坐标系中的姿态，确定所述每个摄像单元对应的视频图像在所述球面纹理图像的经纬度坐标系中的坐标区间。

14.根据权利要求13所述的视频生成装置，其特征在于，所述图像分割模块，还包括：

纹理压缩单元：用于对所述局部视频图像块进行纹理压缩。

15.根据权利要求13或14所述的视频生成装置，其特征在于，所述图像映射单元，还用于确定所述每个局部视频图像块在所述经纬度坐标系中的坐标区间。

16.根据权利要求15所述的视频生成装置，其特征在于，所述编码模块，还用于根据视频帧时序分别编码所述每个摄像单元对应的局部视频图像块。

17.一种视频播放方法，其特征在于，包括以下步骤：

获取局部视频图像块及对应的环境场景的空间球面模型，根据视频观测点对应的模型视图矩阵和投影矩阵，确定显示区域在所述环境场景的空间球面模型表面的投影区域；

根据所述显示区域在所述环境场景空间球面模型表面的投影区域，确定所述投影区域在所述环境场景的空间球面模型对应的经纬度坐标系中的坐标区间；

根据所述局部视频图像块在所述经纬度坐标系中的坐标区间，确定所述投影区域对应的局部视频图像块；

对根据视频帧时序编码的所述投影区域对应的局部视频图像块进行解码；

在所述显示区域显示所述投影区域对应的局部视频图像块。

18.根据权利要求17所述的视频播放方法，其特征在于，所述获取局部视频图像块及对应的环境场景的空间球面模型，根据视频观测点对应的模型视图矩阵和投影矩阵，确定显示区域在所述环境场景的空间球面模型表面的投影区域的步骤，还包括：

根据用户指令调整所述显示区域在所述环境场景的空间球面模型表面的投影区域。

19.根据权利要求17或18所述的视频播放方法，其特征在于，所述在所述显示区域显示所述投影区域对应的局部视频图像块的步骤，具体为：

在所述显示区域中，根据所述视频帧时序显示所述投影区域对应的局部视频图像块。

20.一种视频播放装置，其特征在于，包括：

获取模块：用于获取局部视频图像块及对应的环境场景的空间球面模型，根据视频观测点对应的模型视图矩阵和投影矩阵，确定显示区域在所述环境场景的空间球面模型表面的投影区域；

定位模块：用于根据所述显示区域在所述环境场景空间球面模型表面的投影区域，确定所述投影区域在所述环境场景的空间球面模型对应的经纬度坐标系中的坐标区间；

映射模块：用于根据所述局部视频图像块在所述经纬度坐标系中的坐标区间，确定所述投影区域对应的局部视频图像块；

解码模块：用于对根据视频帧时序编码的所述投影区域对应的局部视频图像块进行解码；

显示模块：用于在所述显示区域显示所述投影区域对应的局部视频图像块。

21.根据权利要求20所述的视频播放装置，其特征在于，所述获取模块，还包括：

指令检测单元：用于检测用户指令；以及，

所述获取模块还用于根据所述指令检测单元检测到的用户指令，调整所述显示区域在所述环境场景的空间球面模型中的投影区域。

22.根据权利要求20或21所述的视频播放装置，其特征在于，所述显示模块，还用于在所述显示区域中，根据所述视频帧时序显示所述投影区域对应的局部视频图像块。