CN106296589B - 全景图像的处理方法及装置 - Google Patents

Abstract

本发明公开了一种全景图像的处理方法及装置，所述方法包括：获取拍摄设备上的多个图像采集单元拍摄得到的多路广角图像，将多路广角图像展开并拼接融合为全景图像；针对每一帧全景图像，获取全景图像对应的方位信息以及用于展示方位信息的方位展示图像；将方位信息通过方位展示图像进行展示，将展示有方位信息的方位展示图像合成到对应的全景图像中。本申请将全景图像对应的方位信息通过方位展示图像进行展示，并将方位展示图像合成到全景图像中，从而覆盖住全景图像中的全景相机和拍摄辅助设备的画面，既能够为用户提供更丰富的画面内容信息，又能够有效的对需要去除的画面进行覆盖，减少图像处理的复杂度，并提供了画面的显示效果。

Description

全景图像的处理方法及装置

技术领域

本发明涉及图像处理技术，尤指一种全景图像的处理方法及装置。

背景技术

全景相机可以在拍摄位置拍摄左右上下360度的视频和图像，让观看者有一种身临其境的感觉。全景相机通过两个广角镜头(如鱼眼镜头)或两个以上的广角镜头采集外界图像，再通过算法进行拼接，形成全景视频或图像。

由于全景相机需要拍摄360度的全景图像，这就会导致将全景相机和固定全景相机的拍摄辅助器材(如云台、三脚架等)拍摄到全景图像中。现有技术中通过切割全景图像中的全景相机和拍摄辅助器材的画面，然后拉伸周围像素填充被切割的部分，将全景相机本身和拍摄辅助器材去除出全景图像。这种方式会导致全景图像中出现不自然的拉伸。

发明内容

为了解决上述技术问题，本发明提供了一种全景图像的处理方法及装置，能够自然的将全景相机和拍摄辅助器材从全景图像中去除掉。

为了达到本发明目的，本发明提供了一种全景图像的处理方法，包括：

获取拍摄设备上的多个图像采集单元拍摄得到的多路广角图像，将所述多路广角图像展开并拼接融合为全景图像；

针对每一帧全景图像，获取全景图像对应的方位信息以及用于展示所述方位信息的方位展示图像；

将所述方位信息通过所述方位展示图像进行展示，将展示有方位信息的方位展示图像合成到对应的全景图像中。

本发明还提供了一种全景内容的播放方法，包括：

解码得到全景图像，所述全景图像中合成有展示方位信息的方位展示图像；

将所述全景图像渲染到预定义的三维几何模型的表面，得到全景映射图，并向用户进行画面显示，其中，所述全景映射图的极点位置显示有所述展示方位信息的方位展示图像。

本发明还提供了一种全景图像的处理装置，包括：全景拼接单元、方位信息处理单元和图像合成单元，其中：

所示全景拼接单元，用于获取拍摄设备上的多个图像采集单元拍摄得到的多路广角图像，将所述多路广角图像展开并拼接融合为全景图像；

所述方位信息处理单元，用于针对每一帧全景图像，获取全景图像对应的方位信息以及用于展示所述方位信息的方位展示图像，并将所述方位信息通过所述方位展示图像进行展示；

所述图像合成单元，用于将展示有方位信息的方位展示图像合成到对应的全景图像中。

本发明还提供了一种全景内容的播放装置，包括：解码单元、渲染单元和播放单元，其中：

所述解码单元，用于解码得到全景图像，所述全景图像中合成有展示方位信息的方位展示图像；

所述渲染单元，用于将所述全景图像渲染到预定义的三维几何模型的表面，得到全景映射图；

所述播放单元，用于向用户进行画面显示，其中，所述全景映射图的极点位置显示有所述展示方位信息的方位展示图像。

与现有技术相比，本申请包括获取拍摄设备上的多个图像采集单元拍摄得到的多路广角图像，将多路广角图像展开并拼接融合为全景图像；针对每一帧全景图像，获取全景图像对应的方位信息以及用于展示方位信息的方位展示图像；将方位信息通过方位展示图像进行展示，将展示有方位信息的方位展示图像合成到对应的全景图像中。本申请将全景图像对应的方位信息通过方位展示图像进行展示，并将方位展示图像合成到全景图像中，从而覆盖住全景图像中的全景相机和拍摄辅助设备的画面，既能够为用户提供更丰富的画面内容信息，又能够有效的对需要去除的画面进行覆盖，减少图像处理的复杂度，并提供了画面的显示效果。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本申请一实施例的全景图像的处理方法的流程图；

图2为本申请另一实施例的全景内容的播放方法的流程图；

图3为本申请又一实施例展示全景图像的示意图；

图4为本申请又一实施例的全景图像的处理装置的架构图；

图5为本申请又一实施例的全景内容的播放装置的架构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

现有技术中，对于全景相机拍摄得到的全景图像中的全景相机自身和拍摄辅助器材的画面，通过在全景图像中对全景相机自身和拍摄辅助器材的画面进行切割，再拉伸周围像素填充被切割的部分，从而将全景相机自身和拍摄辅助器材的画面从全景图像中去除掉，这就导致全景图像中出现不自然的拉伸，使画面质量降低，影响整体拍摄效果。

本申请中为每一帧全景图像匹配一对应的方位信息，方位信息可以是关键帧指向信息，也可以是拍摄设备拍摄图像时的方位信息，通过方位展示图像展示方位信息，再将方位展示图像合成到全景图像的底部，从而在将全景图像渲染到预定义的几何模型后，位展示图像能够覆盖掉拍摄设备本身以及拍摄辅助设备的画面，使得用户不会看到拍摄设备本身和拍摄辅助设备的画面，而是看到能够提供指向的方位信息，一方面能够降低图像处理的复杂度，另一方面增强了画面的质量。

以下结合附图详细说明本申请各实施例提供的技术方案。

如图1所示，本申请的一实施例提供的全景图像的处理方法，包括：

步骤101：获取拍摄设备上的多个图像采集单元拍摄得到的多路广角图像，将多路广角图像展开并拼接融合为全景图像；

步骤102：针对每一帧全景图像，获取全景图像对应的方位信息以及用于展示方位信息的方位展示图像；

步骤103：将方位信息通过方位展示图像进行展示，将展示有方位信息的方位展示图像合成到对应的全景图像中。

本申请的全景图像的处理方法可应用于拍摄设置中，如全景相机、全景摄像机等。这些全景拍摄设备中包括至少两个图像采集单元，图像采集单元包括一个广角镜头(如鱼眼镜头)和一个摄取由该广角镜头形成的图像的图像传感器。至少两个图像采集单元背向设置，保证采集到水平和垂直各360度的全景图像。拍摄设备通过将各图像采集单元摄取的图像结合在一起获得立体角弧度为4π的图像。此外，本申请的全景图像的处理方法也可以应用于对全景相机拍摄的图像、视频进行后期处理的设备。

为获得全景内容，多个图像采集单元各拍摄超过180度范围的广角图像，再进行广角图像(如鱼眼图像)的展开、拼接融合得到全景图像。本实施例提供的方法可以是拍摄设备将各路超过180度范围的广角图像拼接融合为全景图像、全景视频。

优选的，本实施例中可以是包含两个图像采集单元的拍摄设备，将两路超过180度范围的鱼眼图像拼接融合为全景图像。拍摄设备需要首先使用图像采集单元拍摄外界图像，得到两路鱼眼图像，两图像采集单元拍摄的图像需保证有部分重叠区域。拍摄设备接收两路鱼眼图像，以对两路鱼眼图像进行拼接融合处理，得到全景图像。

本申请中为了避免在从全景图像中去除拍摄设备本身和拍摄辅助设备的画面时影响画面质量，通过在每一帧全景图像中添加方位信息，以覆盖拍摄设备本身和拍摄辅助设备的画面，从而不仅在全景图像中增加了用户有用的信息，也不会降低图像的画面质量。

在将方位信息添加到全景图像中之前，需要获取每一帧全景图像各自对应的方位信息以及用于展示方位信息的方位展示图像。本申请中的方位信息可以是关键帧指向信息，关键帧指向信息是指对于全景视频，在全景视频的每一帧全景图像中指示出全景视频中的关键帧在全景视频中的位置的信息。

为了获得每一帧全景图像对应的关键帧指向信息，需要首先确定全景视频中的关键帧。全景视频中的关键帧可以是在整个视频中表现关键画面的一帧或几帧全景图像，也可以是拍摄者想要主要展现的一帧或几帧全景图像。在全景视频拍摄完成后，可以向拍摄者提供选择全景视频中的关键帧的界面，并标记出拍摄者选择的关键帧。

其次，在确定全景视频中的关键帧后，针对全景视频中的每一帧全景图像分别确定与关键帧的相对位置关系，得到每一帧全景图像对应的关键帧指向信息。

对于每一帧全景图像，相对位置关系可以是在关键帧之前，也可以是在关键帧之后。

例如，对于全景视频中仅包含一个关键帧的情况，在关键帧之前的全景图像对应的关键帧指向信息可以是指示向后；在关键帧之后的全景图像对应的关键帧指向信息可以是指向向前；在关键帧自身也可以对应指向自身的关键帧指向信息。

全景视频中也可以包含多个关键帧，在这种情况下，针对全景视频中的每一帧全景图像，确定全景图像与距离最近的关键帧的相对位置关系，得到该全景图像对应的关键帧指向信息。例如，对于某一全景图像，如果距离其最近的关键帧从播放时间上在后，则该全景图像的关键帧指向信息可以是指向向后；如果距离其最近的关键帧从播放时间上在前，则该全景图像的关键帧指向信息可以是指向向前。

在本申请的另一可选实施例中，方位信息也可以是拍摄设备在拍摄广角图像时的方位信息，将拍摄设备拍摄视频时的方位信息展现给用户，可以使用户获知拍摄视频的实时方位信息，从而获知拍摄者的视角。

上述拍摄设备在拍摄广角图像时的方位信息可由拍摄设备上配置的重力传感器、加速度传感器、陀螺仪传感器以及它们的任意组合确定，并在输出广角图像的同时将拍摄广角图形的方位信息同时输出。

在对每一帧全景图像确定了对应的方位信息后，为了能够在全景图像上展示方位信息，还需要获取用于展示方位信息的方位展示图，以将方位信息展示在方位展示图中，并将展示有方位信息的方位展示图合成到全景图像中。如，方位展示图可以是指针、罗盘等。

在获得全景图像的方位信息和方位展示图像后，将方位信息通过方位展示图像进行展示。例如，方位信息为指向向后，获取的方位展示图像为指针，则将指针设置为指向向后。

在将方位信息展示到方位展示图像中后，即可将展示有方位信息的方位展示图像合成到全景图像中。为了能够覆盖拍摄设备在全景图像中的画面，在将方位展示图像合成到全景图像中时，需要将方位展示图像合成到全景图像的底部。

全景图像是将广角图像展开、拼接融合后得到的图像，在播放时，需要将全景图像渲染到预定义的三维几何模型的表面，因此需要根据播放时，方位展示图像的显示位置对方位展示图像进行展开处理。例如，如果要在播放时将方位展示图像显示在极点位置，则需要对方位展示图像进行在渲染后能够显示在极点位置的展开处理。

在本申请的一可选实施例中，方位展示图像可以是普通形式的图像，在将方位信息展示到方位展示图像中后，再根据播放时，方位展示图像的显示位置对方位展示图像进行展开处理；也可以是预定义已完成展开处理的方位展示图像，在获取方位信息和方位展示图像后，再通过方位展示图像展示方位信息。

在将方位信息通过方位展示图像进行展示后，就可以将展示有方位信息的方位展示图像合成到对应的全景图像中，从而能够在播放时，将方位展示图像显示在相应的位置。在本申请的一实施例中，将方位展示图像合成到全景图像的底部，从而在播放全景图像时，将方位展示图像显示在南极点位置，从而遮盖拍摄设备的画面。

在将展示有方位信息的方位展示图像合成到对应的全景图像中时，需要首先确定拍摄设备的画面在全景图像底部所占的范围，再按照拍摄设备的图像在全景图像底部所占的范围，将展示有方位信息的方位展示图像覆盖到拍摄设备的画面所占的范围上。如果方位展示图像与拍摄设备的画面所占的范围不完全匹配，还需要对方位展示图像的尺寸进行调整，以使两者能够完全匹配，覆盖住拍摄设备的画面所占的范围。

在将方位展示图像覆盖到拍摄设备的画面所占的范围上后，对全景图像的处理则已完成，至此，在播放全景图像的过程中，拍摄设备的画面将会被方位展示图像所覆盖。在不需要通过复杂的后期处理，也不会影响画面质感的情况下，解决了拍摄设备画面的抠除问题。

如图2所示，本申请的另一实施例提供的全景内容的播放方法，包括：

步骤201：解码得到全景图像，全景图像中合成有展示有方位信息的方位展示图像；

全景内容可以在手机、全景相机、PC等终端设备上播放。本申请实施例的全景内容的播放方法可以适用于上述终端设备，不仅如此，任何能够播放全景内容的设备、装置、终端都可以适用本申请的全景内容的播放方法。

全景相机拍摄的全景视频或全景图像会进行编码输出。在播放全景内容前，需要接收全景视频数据或全景图像数据，并对接收到的全景视频数据或全景图像数据进行解码，得到全景图像。对于全景视频是指全景图像序列。

为了能够在播放时遮盖拍摄设备的画面，本申请的全景图像中合成有展示方位信息的方位展示图像。进一步，方位展示图像是合成到全景图像的底部，拍摄设备的画面所覆盖的范围。

步骤202：将全景图像渲染到预定义的三维几何模型的表面，得到全景映射图，并向用户进行画面显示，其中，全景映射图的极点位置显示有展示方位信息的方位展示图像。

为了能够使用户观看到全景图像，并通过操作变换观看的角度，需要将全景图像渲染到预定义的三维几何模型的表面。三维几何模型可以是圆球体等。在将全景图像贴到预定义的三维几何模型的表面得到全景映射图后，即可向用户进行显示。

如图3所示，本申请中的全景图像的底部拍摄设备的画面所占的范围覆盖有方位展示图像，因此，在全景映射图的南极点位置显示有方位展示图像，方位展示图像展示全景图像对应的方位信息。

本申请中的方位信息可以是关键帧指向信息，关键帧指向信息是指对于全景视频，在全景视频的每一帧全景图像中指示出全景视频中的关键帧在全景视频中的位置的信息。全景视频中的关键帧可以是在整个视频中表现关键画面的一帧或几帧全景图像，也可以是拍摄者想要主要展现的一帧或几帧全景图像。

此外，方位信息也可以是拍摄设备在拍摄广角图像时的方位信息，将拍摄设备拍摄视频时的方位信息展现给用户，可以使用户获知拍摄视频的实时方位信息，从而获知拍摄者的视角。

上述拍摄设备在拍摄广角图像时的方位信息可由拍摄设备上配置的重力传感器、加速度传感器、陀螺仪传感器以及它们的任意组合确定，并在输出广角图像的同时将拍摄广角图形的方位信息同时输出。

如图4所示，本申请还提供了一种全景图像的处理装置，包括：全景拼接单元、方位信息处理单元和图像合成单元，其中：

所示全景拼接单元，用于获取拍摄设备上的多个图像采集单元拍摄得到的多路广角图像，将多路广角图像展开并拼接融合为全景图像；

方位信息处理单元，用于针对每一帧全景图像，获取全景图像对应的方位信息以及用于展示方位信息的方位展示图像，并将方位信息通过方位展示图像进行展示；

图像合成单元，用于将展示有方位信息的方位展示图像合成到对应的全景图像中。

进一步，上述方位信息为关键帧指向信息，关键帧指向信息用于在每一帧全景图像中指示出全景视频中的关键帧在全景视频中的位置；或者，方位信息为拍摄设备在拍摄广角图像时的方位信息。

进一步，上述图像合成单元将展示有方位信息的方位展示图像合成到对应的全景图像中，包括：

确定在全景图像的底部，拍摄设备的图像所占的范围；

将展示有方位信息的方位展示图像覆盖到拍摄设备的图像所占的范围。

如图5所示，本申请还提供了一种全景内容的播放装置，包括：解码单元、渲染单元和播放单元，其中：

解码单元，用于解码得到全景图像，全景图像中合成有展示方位信息的方位展示图像；

渲染单元，用于将全景图像渲染到预定义的三维几何模型的表面，得到全景映射图；

播放单元，用于向用户进行画面显示，其中，全景映射图的极点位置显示有展示方位信息的方位展示图像。

本申请中的方位信息可以是关键帧指向信息，关键帧指向信息是指对于全景视频，在全景视频的每一帧全景图像中指示出全景视频中的关键帧在全景视频中的位置的信息。全景视频中的关键帧可以是在整个视频中表现关键画面的一帧或几帧全景图像，也可以是拍摄者想要主要展现的一帧或几帧全景图像。

此外，方位信息也可以是拍摄设备在拍摄广角图像时的方位信息，将拍摄设备拍摄视频时的方位信息展现给用户，可以使用户获知拍摄视频的实时方位信息，从而获知拍摄者的视角。

上述拍摄设备在拍摄广角图像时的方位信息可由拍摄设备上配置的重力传感器、加速度传感器、陀螺仪传感器以及它们的任意组合确定，并在输出广角图像的同时将拍摄广角图形的方位信息同时输出。

虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (5)

1.一种全景图像的处理方法，其特征在于，包括：

获取拍摄设备上的多个图像采集单元拍摄得到的多路广角图像，将所述多路广角图像展开并拼接融合为全景图像；

针对每一帧全景图像，获取全景图像对应的方位信息以及用于展示所述方位信息的方位展示图像；其中，所述方位信息为关键帧指向信息，所述关键帧指向信息用于在每一帧全景图像中指示出全景视频中的关键帧在所述全景视频中的位置；或者，所述方位信息为所述拍摄设备在拍摄所述广角图像时的方位信息；

将所述方位信息通过所述方位展示图像进行展示，将展示有方位信息的方位展示图像合成到对应的全景图像中；其中，

所述将展示有方位信息的方位展示图像合成到对应的全景图像中，包括：

确定在所述全景图像的底部，所述拍摄设备的图像所占的范围；

将所述展示有方位信息的方位展示图像覆盖到所述拍摄设备的图像所占的范围。

2.根据权利要求1所述的方法，其特征在于，所述获取全景图像对应的方位信息，包括：

确定全景视频中的关键帧；

确定所述全景视频中的每一帧全景图像与所述关键帧的相对位置关系，得到每一帧全景图像对应的关键帧指向信息。

3.一种全景内容的播放方法，其特征在于，包括：

解码得到全景图像，所述全景图像中合成有展示方位信息的方位展示图像；其中，所述方位信息为关键帧指向信息，所述关键帧指向信息用于在每一帧全景图像中指示出全景视频中的关键帧在所述全景视频中的位置；或者，所述方位信息为拍摄设备在拍摄广角图像时的方位信息；所述方位展示图像是合成到全景图像的底部，拍摄设备的画面所覆盖的范围；

将所述全景图像渲染到预定义的三维几何模型的表面，得到全景映射图，并向用户进行画面显示，其中，所述全景映射图的极点位置显示有所述展示方位信息的方位展示图像。

4.一种全景图像的处理装置，其特征在于，包括：全景拼接单元、方位信息处理单元和图像合成单元，其中：

所示全景拼接单元，用于获取拍摄设备上的多个图像采集单元拍摄得到的多路广角图像，将所述多路广角图像展开并拼接融合为全景图像；

所述方位信息处理单元，用于针对每一帧全景图像，获取全景图像对应的方位信息以及用于展示所述方位信息的方位展示图像，并将所述方位信息通过所述方位展示图像进行展示；其中，所述方位信息为关键帧指向信息，所述关键帧指向信息用于在每一帧全景图像中指示出全景视频中的关键帧在所述全景视频中的位置；或者，所述方位信息为所述拍摄设备在拍摄所述广角图像时的方位信息；

所述图像合成单元，用于将展示有方位信息的方位展示图像合成到对应的全景图像中；具体地，确定在全景图像的底部，拍摄设备的图像所占的范围；将展示有方位信息的方位展示图像覆盖到拍摄设备的图像所占的范围。

5.一种全景内容的播放装置，其特征在于，包括：解码单元、渲染单元和播放单元，其中：

所述解码单元，用于解码得到全景图像，所述全景图像中合成有展示方位信息的方位展示图像；其中，所述方位信息为关键帧指向信息，所述关键帧指向信息用于在每一帧全景图像中指示出全景视频中的关键帧在所述全景视频中的位置；或者，所述方位信息为拍摄设备在拍摄广角图像时的方位信息；所述方位展示图像是合成到全景图像的底部，拍摄设备的画面所覆盖的范围；

所述渲染单元，用于将所述全景图像渲染到预定义的三维几何模型的表面，得到全景映射图；

所述播放单元，用于向用户进行画面显示，其中，所述全景映射图的极点位置显示有所述展示方位信息的方位展示图像。

Images