CN107123080A

CN107123080A - 显示全景内容的方法及装置

Info

Publication number: CN107123080A
Application number: CN201710198610.0A
Authority: CN
Inventors: 陈诺; 黄业桃
Original assignee: Beijing Madv Technology Co Ltd
Current assignee: Beijing Madv Technology Co Ltd
Priority date: 2017-03-29
Filing date: 2017-03-29
Publication date: 2017-09-01

Abstract

本发明公开了一种显示全景内容的方法及装置，所述方法包括：将屏幕上用于显示全景内容的显示区域划分为多个子显示区域；按照子显示区域的数量，从渲染为全景展示体的全景内容中确定相同数量的显示视角，其中，每个显示视角对应一个子显示区域；将每个显示视角的视窗范围内的画面，对应的显示在显示视角对应的子显示区域中。本申请将显示区域划分为多个子显示区域，每个子显示区域对应一个显示视角，在不同子显示区域中显示不同视角的画面，能够同时展现全景内容在多个视角上的画面，使观看者无需调整显示视角就能全面的观看到全景内容中的画面，并且减少了观看者的显示控制操作，提高了观看者的观看体验。

Description

显示全景内容的方法及装置

技术领域

本发明涉及虚拟现实技术，尤指一种显示全景内容的方法及装置。

背景技术

全景拍摄可以在拍摄位置拍摄水平和垂直360度的全景视频或全景图片(全景内容)，让观看者有一种身临其境的感觉。目前，全景拍摄设备通过两个鱼眼镜头或多个广角镜头采集外界图像，然后通过算法进行拼接，形成全景内容。随着技术的不断成熟，全景内容正在逐渐普及，并进入人们的生活，人们可以通过各种各样的途径接触到种类繁多的全景内容。

虽然全景内容包含水平和垂直360度的全景信息，但是，在将全景内容渲染到三维几何形体上，并在二维屏幕上展现给观看者时，只能截取全景内容在特定视线方向的视窗上的画面进行展示，其他方向的画面信息无法同时予以展现，只能由观看者调整全景内容的观看视角才能看到其他方向的信息，无法充分满足对360全景信息的展现需求。

发明内容

为了解决上述技术问题，本发明提供了一种显示全景内容的方法及装置，能够同时展现全景内容多个视角方向的画面。

为了达到本发明目的，本申请提供了一种显示全景内容的方法，包括：

将屏幕上用于显示全景内容的显示区域划分为多个子显示区域；

按照所述子显示区域的数量，从渲染为全景展示体的全景内容中确定相同数量的显示视角，其中，每个显示视角对应一个子显示区域；

将每个显示视角的视窗范围内的画面，对应的显示在显示视角对应的子显示区域中。

本申请还提供了一种显示全景内容的装置，包括：

一显示区域划分单元，被配置为将屏幕上用于显示全景内容的显示区域划分为多个子显示区域；

一显示视角确定单元，被配置为按照所述子显示区域的数量，从渲染为全景展示体的全景内容中确定相同数量的显示视角，其中，每个显示视角对应一个子显示区域；

一显示单元，被配置为将每个显示视角的视窗范围内的画面，对应的显示在显示视角对应的子显示区域中。

与现有技术相比，本发明包括将屏幕上用于显示全景内容的显示区域划分为多个子显示区域；按照子显示区域的数量，从渲染为全景展示体的全景内容中确定相同数量的显示视角，其中，每个显示视角对应一个子显示区域；将每个显示视角的视窗范围内的画面，对应的显示在显示视角对应的子显示区域中。本申请将显示区域划分为多个子显示区域，每个子显示区域对应一个显示视角，在不同子显示区域中显示不同视角的画面，能够同时展现全景内容在多个视角上的画面，使观看者无需调整显示视角就能全面的观看到全景内容中的画面，并且减少了观看者的显示控制操作，提高了观看者的观看体验。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本申请一实施例的显示全景内容的方法的流程图；

图2为本申请一实施例的将显示区域划分为多个子显示区域的示意图；

图3为本申请另一实施例的将显示区域划分为多个子显示区域的示意图；

图4为本申请又一实施例的确定显示视角的示意图；

图5为本申请又一实施例的显示全景内容的装置的架构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

现有技术中，为了将全景内容展现给观看者，需要将全景图像贴在预定的三维几何形体的表面，得到全景展示体。假设观看者在全景展示体的中心，望向全景展示体表面上所关注的区域，将观看者关注的区域内的画面显示在屏幕上，就实现了全景内容的显示。由于全景内容是360度范围的图像，而在二维屏幕上展现给观看者时，只能截取全景内容在特定显示视角的视窗上的画面进行展示，其他方向的画面信息无法同时予以展现。只能由观看者在观看的过程中，通过调整显示视角才能看到其他方向的画面信息，这就导致观看者无法看到同一时刻下，全景内容中除显示视角外的其他部分的画面信息，无法满足对360全景信息的充分展现需求，并且容易错过精彩画面。

本申请通过将屏幕的显示区域划分为多个子显示区域，在全景展示体中选取多个显示视角，其中，子显示区域与显示视角一一对应。在划分子显示区域并选取相应数量的显示视角后，将每个显示视角的画面显示在相对应的子显示区域中，实现同时显示全景内容在多个显示视角的画面。本申请通过多个子显示区域同时显示全景内容在同一时刻的多个显示视角的画面，能够使观看者同时看到全景内容在多个角度的画面，满足观看者观看多个感兴趣的角度的需求。尤其针对体育赛事、演唱会等视频内容，可以使观看者多角度的观看到视频内容。

如图1所示，本申请一实施例提供的显示全景内容的方法，包括：

步骤101：将屏幕上用于显示全景内容的显示区域划分为多个子显示区域；

步骤102：按照子显示区域的数量，从渲染为全景展示体的全景内容中确定相同数量的显示视角，其中，每个显示视角对应一个子显示区域；

步骤103：将每个显示视角的视窗范围内的画面，对应的显示在显示视角对应的子显示区域中。

本申请提供的显示全景内容的方法可以应用在手机、头显设备等用于播放全景内容的显示设备中。全景内容可以是全景相机、运动相机等拍摄设备拍摄的全景图片、全景视频等，也可以是全景电影、全景动画等由专业设备拍摄制作的全景内容等。

首先，在显示全景内容之前，为了能够在一个屏幕上同时显示全景内容在多个显示视角上的画面，需要将屏幕上显示全景内容的显示区域划分为若干个子显示区域。对于显示设备，显示全景内容的显示区域可以是播放器播放视频或图像的显示区域。

在划分子显示区域时，可以将显示区域划分为默认数量的子显示区域，也可以由观看者选择或设置划分的子显示区域的数量。

例如，如图2所示，在观看者启动全景内容的播放时，在屏幕上展现360度全景内容前，默认的将屏幕的显示区域均分为两个子显示区域，如图中的子显示区域①和子显示区域②。后续分别在每个子显示区域中显示全景内容在一个特定视角方向上的画面。

在本申请的另一可选实施例中，在将屏幕上用于显示全景内容的显示区域划分为多个子显示区域前，可以向观看者显示多种显示区域划分方式，并检测观看者的选择操作，按照观看者选择的划分方式将显示区域划分为多个子显示区域。

例如，如图3所示，可以在屏幕上显示多种划分子显示区域的方式，通过用户交互界面引导观看者选择划分子显示区域的方式。划分的方式可以包括各种子显示区域的数量、形状和排列方式等，通过用户交互界面，让观看者选择划分的方式。

此外，也可以通过用户交互界面由观看者设置子显示区域的数量，并向观看者提供子显示区域排列的方式，由观看者选择排列的方式，最后按照观看者设置的子显示区域的数量和排列方式，将显示区域划分为多个子显示区域。

其次，在划分出多个子显示区域后，需要为每个子显示区域确定一个对应的在全景内容中的显示视角。也就是说，需要按照子显示区域的数量从全景内容中确定出相同数量的显示视角，再建立已划分的子显示区域与确定出的显示视角的一一对应关系。

例如，在已经将显示区域划分为两个子显示区域的情况下，需要从全景内容中确定两个显示视角，再对应的建立一个子显示区域与一个显示视角的一一对应关系，从而在子显示区域中显示对应的显示视角的画面。

在显示全景内容之前，需要针对全景内容的每一帧全景图像，将全景图像贴到预定的三维几何形体的表面，得到全景展示体。全景展示体可以是显示设备对拍摄设备拍摄的全景内容进行解码，得到组成全景内容的全景图像序列后，将全景图像贴在预定的三维几何形体的表面，得到全景展示体。上述预定的三维几何形体包括但不限于球体、立方体、三棱锥体等。

为了能够同时在多个子显示区域中显示同一时刻下全景内容在不同视角方向上的内容，需要从全景展示体中分别为每一个子显示区域确定一个对应的显示视角，以便在子显示区域中显示对应显示视角的视窗范围内的画面。

由于全景展示体为360度的空间贴图(如球面贴图)，在全景展示体中意欲展示的视线方向为上述显示视角。在每一个显示视角上，通过视窗截取画面以显示在二维屏幕上，视窗范围通常为长方形区域。视窗范围内的画面被显示在屏幕上。本申请中划分多个子显示区域，每个子显示区域对应一个显示视角，在每个子显示区域中显示对应的显示视角的视窗范围内的画面，从而实现在二维屏幕上同时显示360度全景内容的不同视线角度上的视窗区域。

在本申请的一可选实施例中，在从渲染为全景展示体的全景内容中确定相同数量的显示视角时，可以先确定一个基准显示视角，基准显示视角并没有任何限制，只要是将要在其中一个子显示区域中进行显示的视角即可。基准显示视角可以是一个默认的视角，也可以由观看者进行选择。在确定基准显示视角后，以基准显示视角为基础，按照预先设定的偏转量，依次确定出每个显示视角。

例如，如图4所示，在确定基准显示视角后，假设预先设定的偏移量为60度，在确定基准显示视角后，在基准显示视角的基础上，按照逆时针或顺时针旋转60度，确定第二个显示视角。如果还有第三个显示视角(图4中未示出)，则再对第二显示视角按照相同的方向旋转60度作为第三个显示视角，并可以以此类推，确定出其他的显示视角。

在以基准显示视角为基础按照偏移量进行旋转确定基准显示视角之外的视角时，可以是对视角指向线进行旋转。视角指向线是以对全景内容进行渲染采用的三维几何形体的中心为原点，且穿过视角的视界的几何中心的直线。

在确定子显示区域与显示视角的对应关系时，也可以按照一特定顺序进行确定。例如，在确定显示视角时是按照基准显示视角的顺时针方向旋转偏移量确定其他显示视角，则在确定子显示区域与显示视角的对应关系时，也可以依据子显示区域在屏幕上的排列方式，按照顺时针的方向建立显示视角与子显示区域的对应关系。

在本申请的另一可选实施例中，在从渲染为全景展示体的全景内容中确定相同数量的显示视角时，也可以是按照显示视角的数量，将全景展示体的展示范围划分为相同数量的展示区，在每个展示区中设置一个显示视角，显示视角限定在相对应的展示区中。

例如，在将全景内容渲染到球体表面得到球体形状的全景展示体(球面贴图)时，如果确定子显示区域和显示视角的数量为两个，则可以将球面贴图划分为上半球和下半球，也可以划分为左半球和右半球，一个显示视角限定在一个半球上，从而实现一个子显示区域显示一个半球上的画面。在子显示区域和显示视角为三个时，可以将球面贴图划分为三个展示区，一个展示区上设置一个显示视角，并以此类推。

不仅如此，在从渲染为全景展示体的全景内容中确定相同数量的显示视角时，也可以在用户交互界面中为观看者显示一对全景内容进行渲染时所采用的三维几何形体的模型，由观看者在三维几何形体的模型上点击相应的区域，选取出意欲观看的多个显示视角。

最后，在为每个子显示区域确定一个对应的显示视角后，就可以将显示视角的视窗范围内的画面，对应的显示在显示视角对应的子显示区域中。

在每个子显示区域显示全景内容时，可以在全景展示体中的对应视角方向上，截取视角方向上的视角范围内的画面，按照某种投影变换映射为二维图像，将二维图像对应的显示在子显示区域中，就实现了全景内容多个视角的显示。上述投影变换包括但不限于透视变换、正交投影变换等。

进一步的，在显示全景内容时，观看者可以通过对每个子显示区域进行特定的输入操作，例如对触摸屏的触碰滑动操作，可以移动改变该子显示区域的视角方向和缩放显示区域等，也可以动态改变子显示区域的大小和形状等。

在将每个显示视角的视窗范围内的画面，对应的显示在显示视角对应的子显示区域中后，需要检测观看者的显示控制操作，在检测到观看者对其中一个子显示区域的视角调整指令时，在对该子显示区域的显示视角进行调整，同时，相应的对其他子显示区域进行相同角度的视角调整。

例如，在检测到观看者对其中一个子显示区域的视角顺时针调整30度时，在对该子显示区域进行视角调整的同时，可以对其他子显示区域的显示视角做相同的调整，也就是对其他子显示区域的显示视角也顺时针调整30度，这种方式可以将多个子显示区域作为一个相互关联的系统进行显示，能够增加对全景内容显示的整体性。

当然，上述联动的视角调整方式只是本申请的一个具体实施例，同样也可以对每个子显示区域进行单独、独立的视角控制。

本申请提供的显示全景内容的方法可以同时对全景内容的多个视角方向进行显示。例如对于足球比赛，观看者在观看持球运动员所在半场相互对抗的同时，也会想观看另外半场或是观众席的画面；对于演唱会和娱乐节目，观看者在观看表演的同时，也想观看评委席、观众席的画面。而现有的显示方法中，只能显示一个视角的画面，需要由观看者通过手动操作才能在视角之间切换，但是必然会顾此失彼，无法满足观看者的需要。

本申请将屏幕的显示区域划分为多个子显示区域，每个子显示区域对应一个显示视角，使观看者能够观看到多个显示视角的画面。例如，对于足球比赛，不仅能够看到持球运动员直接的对抗，也可以看到无球运动员的跑位和观众席中的精彩画面。对于演唱会和娱乐节目，不仅能够使观看者观看到舞台中心的表演，也能使观看者同时观看到非舞台中心的演员的表现，以及评委席上评委的表现，观众席上观众的表现等。对于观看者而言，能够全方位的获取到全景内容中精彩画面，不会因为需要视角的切换而错过精彩的内容。

如图5所示，本申请还提供了一种显示全景内容的装置，包括：

一显示视角确定单元，被配置为按照子显示区域的数量，从渲染为全景展示体的全景内容中确定相同数量的显示视角，其中，每个显示视角对应一个子显示区域；

进一步，显示视角确定单元从渲染为全景展示体的全景内容中确定相同数量的显示视角，包括：

确定一基准显示视角，以基准显示视角为基础，按照预先设定的偏转量，依次确定出每个显示视角。

按照显示视角的数量，将全景展示体的展示范围划分为相同数量的展示区，在每个展示区中设置一个显示视角，显示视角限定在相对应的展示区中。

进一步，该装置还包括视角调整单元，其中：

视角调整单元，被配置为在显示单元将每个显示视角的视窗范围内的画面，对应的显示在显示视角对应的子显示区域中后，检测观看者的显示控制操作，在检测到对其中一个子显示区域的视角调整指令时，对该子显示区域的显示视角进行调整，同时，相应的对其他子显示区域进行相同角度的视角调整。

进一步，显示区域划分单元，还被配置为在将屏幕上用于显示全景内容的显示区域划分为多个子显示区域前，向观看者显示多种显示区域划分方式，检测观看者的选择操作，按照观看者选择的划分方式将显示区域划分为多个子显示区域。

虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims

1.一种显示全景内容的方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述从渲染为全景展示体的全景内容中确定相同数量的显示视角，包括：

确定一基准显示视角，以所述基准显示视角为基础，按照预先设定的偏转量，依次确定出每个显示视角。

3.根据权利要求1所述的方法，其特征在于，所述从渲染为全景展示体的全景内容中确定相同数量的显示视角，包括：

按照显示视角的数量，将全景展示体的展示范围划分为相同数量的展示区，在每个展示区中设置一个显示视角，所述显示视角限定在相对应的展示区中。

4.根据权利要求1～3任意之一所述的方法，其特征在于，所述方法还包括：

在将每个显示视角的视窗范围内的画面，对应的显示在显示视角对应的子显示区域中后，检测观看者的显示控制操作，在检测到对其中一个子显示区域的视角调整指令时，对该子显示区域的显示视角进行调整，同时，相应的对其他子显示区域进行相同角度的视角调整。

5.根据权利要求1～3任意之一所述的方法，其特征在于，所述方法还包括：

在将屏幕上用于显示全景内容的显示区域划分为多个子显示区域前，向观看者显示多种显示区域划分方式，检测观看者的选择操作，按照观看者选择的划分方式将显示区域划分为多个子显示区域。

6.一种显示全景内容的装置，其特征在于，包括：

7.根据权利要求6所述的装置，其特征在于，所述显示视角确定单元从渲染为全景展示体的全景内容中确定相同数量的显示视角，包括：

8.根据权利要求6所述的装置，其特征在于，所述显示视角确定单元从渲染为全景展示体的全景内容中确定相同数量的显示视角，包括：

9.根据权利要求6～8任意之一所述的装置，其特征在于，所述装置还包括视角调整单元，其中：

所述视角调整单元，被配置为在所述显示单元将每个显示视角的视窗范围内的画面，对应的显示在显示视角对应的子显示区域中后，检测观看者的显示控制操作，在检测到对其中一个子显示区域的视角调整指令时，对该子显示区域的显示视角进行调整，同时，相应的对其他子显示区域进行相同角度的视角调整。

10.根据权利要求6～8任意之一所述的装置，其特征在于：

所述显示区域划分单元，还被配置为在将屏幕上用于显示全景内容的显示区域划分为多个子显示区域前，向观看者显示多种显示区域划分方式，检测观看者的选择操作，按照观看者选择的划分方式将显示区域划分为多个子显示区域。