CN106447788A - 观看视角的指示方法及装置 - Google Patents

Abstract

本发明公开了一种观看视角的指示方法及装置，所述方法包括在屏幕上展现全景内容时，同时展现一用于对全景内容进行渲染所采用的三维几何形体的模型；在展现全景内容的过程中，检测观看者观看的实时视角方向；将检测得到的观看者观看的实时视角方向展现在三维几何形体的模型中。本申请通过展现一对全景内容进行渲染所采用的三维几何形体的模型，将观看者观看的实时视角方向展现在三维几何形体的模型中，使用户能够实时获知当前所观看的画面在全景内容中所处的位置，一方面能够使观看者在观看全景内容时获得方向感，另一方面能够方便观看者调整观看的视角方向，以便调整达到意欲观看的视角方向。

Description

观看视角的指示方法及装置

技术领域

本发明涉及虚拟现实技术，尤指一种观看视角的指示方法及装置。

背景技术

随着虚拟现实技术的不断成熟，全景内容正在逐渐普及，并进入人们的生活，人们可以通过各种各样的途径接触到种类繁多的全景内容。

全景内容是水平和垂直各360度的图像。目前在播放全景视频、全景图片等全景内容的过程中，是由观看者通过重力传感器、加速度传感器、陀螺仪传感器等姿态传感器调整全景视频、全景图片的观看视角，或通过观看者在屏幕上的手势操作调整观看视角。

上述方式下，观看者在经过一系列的视角调整后，很难再意识到屏幕上当前呈现的画面在全景内容中所处的位置，这就导致观看者在观看全景内容时缺乏方位感，长时间观看后会感到混乱，降低用户的体验。

此外，观看者在观看全景内容时进行视角调整的随意性很大，很容易因为观看者的任意调整而错过关键或精彩的画面。

发明内容

为了解决上述技术问题，本发明提供了一种观看视角的指示方法及装置，能够向观看者指示出当前的视角方向，方便观看者进行视角的调整。

为了达到本申请目的，本申请提供了一种观看视角的指示方法，包括：

在屏幕上展现全景内容时，同时展现一用于对全景内容进行渲染所采用的三维几何形体的模型；

在展现全景内容的过程中，检测观看者观看的实时视角方向；

将检测得到的观看者观看的实时视角方向展现在所述三维几何形体的模型中。

本申请还提供了一种观看视角的指示装置，包括：

一第一展现单元，用于在屏幕上展现全景内容时，同时展现一用于对全景内容进行渲染所采用的三维几何形体的模型；

一检测单元，用于在所述第一展现单元展现全景内容的过程中，检测观看者观看的实时视角方向；

一第二展现单元，用于将所述检测单元检测得到的观看者观看的实时视角方向展现在所述三维几何形体的模型中。。

与现有技术相比，本申请包括在屏幕上展现全景内容时，同时展现一用于对全景内容进行渲染所采用的三维几何形体的模型；在展现全景内容的过程中，检测观看者观看的实时视角方向；将检测得到的观看者观看的实时视角方向展现在三维几何形体的模型中。本申请通过展现一对全景内容进行渲染所采用的三维几何形体的模型，将观看者观看的实时视角方向展现在三维几何形体的模型中，使用户能够实时获知当前所观看的画面在全景内容中所处的位置，一方面能够使观看者在观看全景内容时获得方向感，另一方面能够方便观看者调整观看的视角方向，以便调整达到意欲观看的视角方向。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本申请一实施例提供的观看视角的指示方法的流程图；

图2为本申请一实施例在屏幕上展现三维几何形体的模型的示意图；

图3和图4为本申请一实施例在三维几何形体的模型中展现实时视角方向的示意图；

图5为本申请另一实施例在屏幕上展现三维几何形体的模型的示意图；

图6和图7为申请另一实施例在三维几何形体的模型中展现实时视角方向和推荐视角方向的示意图；

图8为本申请又一实施例的观看视角的指示装置的架构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

现有技术中，在播放全景内容时，观看者可以通过姿态传感器或通过在屏幕上进行手势操作的方式调整全景内容的观看视角。由于全景内容是360度范围的图像，因此，观看者在观看过程中进行一系列的视角调整后，很容易导致观看者无法判断出当前所观看的画面在全景内容中所处的位置，以致产生错乱，失去方位感。并且，观看者在观看全景内容时，通常会先从整体上浏览一遍全景内容，再着重观看自己感兴趣的部分，而观看者在经过毫无指引的任意视角调整后，由于既无法获知当前所观看部分在全景内容中的位置，又无法确定自己感兴趣的部分在全景内容中的位置，导致难于再找到自己感兴趣的部分，或者说是会错过全景内容中最为精彩的部分或画面，观看者的观看体验会大大降低。

本申请中，考虑到全景内容不同于普通图片或视频，在播放全景内容时，通常是将全景内容渲染到以观看者为中心的三维几何形体上，如渲染到360度的球面上，然后根据用户的屏幕操作或者播放设备本身的姿势产生的姿态传感器数据来控制观看者的视角方向，从而决定全景内容的显示区域，并将其投射到矩形屏幕上面，完成渲染显示。因此，在将全景内容在屏幕上展示时，只能展现出全景内容在某个方向上的部分画面。

为了让观看者能够了解当前观看的视角方向，方便进行视角调整等更多的操作，例如调整视角到希望关注的方向。本申请中在展现全景内容的同时，还在屏幕上展现一用于对全景内容进行渲染所采用的三维几何形体的模型，在模型中展现出观看者实时的视角方向，使观看者了解自身现在的观看视角在全景内容中的方向，从而在观看的过程中保持方向感，并能够方便的调整达到意欲观看的视角方向。

以下结合附图详细说明本申请各实施例提供的技术方案。

如图1所示，本申请一实施例提供的观看视角的提示方法，包括：

步骤101：在屏幕上展现全景内容时，同时展现一用于对全景内容进行渲染所采用的三维几何形体的模型；

步骤102：在展现全景内容的过程中，检测观看者观看的实时视角方向；

步骤103：将检测得到的观看者观看的实时视角方向展现在三维几何形体的模型中。

本申请的观看视角的指示方法可以应用于对全景视频、全景图片、全景动画和由计算机程序生成的全景画面等全景内容进行播放时，向观看者实时指示视角方向，使观看者实时获知屏幕上当前展现的画面在全景内容中所处的位置。

本申请中的全景内容可以是拍摄终端包含的多个图像采集单元各拍摄超过180度范围的图像，再由拍摄终端进行拼接融合得到全景内容。例如可以是全景视频、全景图片等，也可以是全景动画和由计算机程序实时生成的全景画面等全景内容。

在对全景内容进行播放时，需要将全景内容渲染到三维几何形体上，例如通常会渲染到球体上。将三维几何形体的中心作为观看者的设定位置，观看者可以看向三维几何形体上的任意区域，从而达到观看全景的效果。在本申请中，在将全景内容渲染到三维几何形体上后，在屏幕上展现全景内容时，为了能够向观看者展现出观看者实时的观看视角，在展现全景内容的同时还在屏幕上展现一在对全景内容进行渲染时所采用的三维几何形体的模型。

如图2所示，为了让观看者获知当前视角展现的内容在全景内容中的方向，在屏幕上显示用于展现观看者的实时视角方向的三维几何形体的模型。该三维几何形体是对全景内容进行渲染时采用的三维几何形体。例如，如果在采用球体对全景内容进行渲染时，则显示一球体的模型。

在本申请的另一可选实施例中，如果采用立方体对全景内容进行渲染，则显示一立方体的模型；如果采用三棱锥体进行渲染，则显示一三棱锥体的模型。

需要说明的是，三维几何形体的模型可以显示在屏幕上不影响整体观看效果的位置，如果边角位置等。当然，也可以由观看者自主选择、设定模型的显示位置。

本申请中显示一个对全景内容进行渲染时采用的三维几何形体的模型，并将三维几何形体的模型与全景内容的渲染采用相同的坐标系，从而在检测到观看者观看的实时视角方向后，根据坐标将视角方向准确的展现在模型中，模拟出观看者观看的画面在全景内容中的方位，给观看者以方向的指示。

三维几何形体的模型会与全景内容同时显示在屏幕上，在展现全景内容的过程中，由于观看者会通过播放设备上的姿态传感器或通过在屏幕上的手势操作，随时调整全景内容的展现视角，为了将观看者的实时视角方向展现在三维几何形体的模型中，在展现全景内容的过程中，需要对观看者的视角方向进行实时检测，以便得到观看者的实时视角方式。

进一步的，在本申请的一可选实施例中，检测观看者观看的实时视角方向，可以包括：

确定屏幕上当前展现的画面在全景内容中的位置；

根据屏幕上当前展现的画面在全景内容中的位置和观看者在对全景内容中的设定位置，确定观看者当前的视角方向。

展现在屏幕上的画面是视界在全景内容中圈定范围内的图像，根据屏幕上展现的画面的像素点的坐标即可确定当前展现的画面在全景内容中的位置。在将全景内容渲染到三维几何形体的表面上时，通常会将三维几何形体的中心作为观看者的设定位置，假设观看者从该设定位置望向三维几何形体的表面，观看者望向的区域将会显示在屏幕上。视界通常是指一长方形区域，以观看者在设定位置为基准点，按照观看者对视角的调整而转动，在全景内容中圈定一个范围，圈定范围内的画面被展现在屏幕上。

在确定屏幕上当前展示的画面在全景内容中的位置后，再根据渲染时对观看者在全景内容中的设定位置，即可确定观看者当前的视角方向。例如，假设将渲染后的全景内容的中心作为观看者的设定位置，在渲染后的全景内容中从当前展现的画面两侧边缘发出的光线在中心位置所成的夹角即为观看者当前的视角。

在检测得到观看者的实时视角方向后，为了能够使观看者直观的了解到自己观看的画面在全景内容中的位置，需要将检测得到的观看者观看的实时视角方向展现在屏幕上与全景内容同时显示的三维几何形体的模型中。采用渲染时使用的三维几何形体的模型展现观看者的实时视角方向，并且将三维几何形体的模型与全景内容的渲染采用相同的坐标系，可以完全相同的再现出屏幕上当前展现的画面在全景内容中的位置，这种直观的方式大大增强了观看者观看全景内容的体验。

进一步的，在本申请的一可选实施例中，将检测得到的观看者观看的实时视角方向展现在三维几何形体的模型中，包括：

在三维几何形体的模型中设定观看者的位置；

根据检测得到的观看者当前的视角方向，以从观看者在模型中的设定位置发出的一条或多条直线在展现在屏幕上的三维几何形体的模型中标记出观看者当前的视角方向。

如图3所示，在本申请的一可选实施例中，可以采用观看者观看视角的角平分线在三维几何形体的模型中展现出观看者的实时视角方向。例如，观看者的实时视角方向的角平分线从观看者在模型中的设定位置发出，可以延伸到模型的表面，也可以不延伸的模型的表面。图中的球心示意出观看者在模型中的设定位置，射线表示视线的方向，如果射线延伸到模型的表面，还可以在模型中以点A(x，y，z)或者点A(θ、α、1)表示射线与360度球面的交点。观看者操作改变视角方向时，图中的射线方向也相应的按照视角方向的改变而改变在三维几何形体的模型中的指向。

如图4所示，在本申请的另一可选实施例中，可以采用多条直线在模型中标记出观看者的实时视角方向。例如，通过从观看者在模型中的设定位置发出的多条直线标记出视界的轮廓，也就是标记出屏幕上当前展现的画面的位置。如通过四条直线，每条直线从观看者在模型中的设定位置发出，并延伸到视界的一个顶点，从而标记出视界的顶点在模型表面上的位置，实现对观看者当前视角方向的指示。

另外，还可以显示出视界顶点之间的连线，通过从观看者在模型中的设定位置到视界顶点之间的直线以及视界顶点之间的连线直观而形象的展现出观看者当前的视角方向。

由于观看者的视角方向是随时可能发生变化的，为了将这种变化的过程实时展现在三维几何形体的模型中，实时检测观看者的视角方向发生的变化，通过上述视角的角平分线或视界的标记线沿观看者设定位置的转动，将变化后的视角方向展现在三维几何形体的模型中。

值得说明的是，如图5所示，在本申请的又一可选实施例中，在将检测得到的观看者观看的实时视角方向展现在三维几何形体的模型中时，还可以在三维几何形体的模型中展现推荐视角方向；推荐视角方向是推荐观看者观看的视角方向。

由于全景内容是360度范围的图像，而在播放全景内容的过程中，观看者会通过姿态传感器或通过手势的方式任意调整展现全景内容的视角。因此，观看者在观看过程中进行任意视角的调整会很容易错过精彩画面，导致观看者无法观看到全景内容中最为精彩的部分。本申请中，在为观看者指示出实时视角方向的同时，为了使观看者避免错过精彩内容，还在三维几何形体的模型中展现推荐视角方向。

进一步的，本申请中，在三维几何形体的模型中展现推荐视角方向，可以包括：

获取推荐视角信息，推荐视角信息用于指示出推荐视角方向；

在模型中设定观看者的位置，根据推荐视角信息，以从观看者在模型中的设定位置发出的一条或多条直线在模型中标记出推荐视角方向。

本申请中，为了能够在模型中展现推荐视角方向，在制作全景内容时，可以为全景内容记录推荐视角信息，将推荐视角信息复用到全景内容中或单独进行传输，以便播放时，能够根据推荐视角信息在三维几何形体的模型中展现出推荐视角方向，从而使观看者可以根据模型中展示的实时视角方向和推荐视角方向，通过操作使自己的视角方向接近并达到推荐视角方向，以便达到更好的观看效果。

在本申请的一可选实施例中，推荐视角信息可以包含视角方向坐标和帧标识。

视角方向坐标是能够表示推荐视角方向的坐标值。视角方向坐标可以采用直角坐标，也可以采用角坐标。

如果在三维几何形体的模型中采用视角的角平分线指示视角方向，则可以采用角平分线上除原点外的任意一点的直角坐标作为视角方向坐标；或者，也可以采用能够表示该角平分线的角坐标作为视角方向坐标。

如果在三维几何形体的模型中采用多条直线标记出视界轮廓的方式指示观看者的实时视角方向，则可以将视界的四个顶点的坐标作为视角方向坐标。

帧标识是能够唯一表示推荐视角信息所属帧的标识信息。全景视频由帧序列组成，包含多帧图像，由于每一帧图像均有对应的推荐视角信息，因此，推荐视角信息中需要包含帧标识，用以匹配每一帧图像与相应的视角方向坐标的匹配关系。

在本申请的一可选实施例中，帧标识可以采用帧号或者图像帧对应的时间戳。在推荐视角信息中包含帧号或时间戳，以便在展示推荐视角方向时，根据帧号或时间戳为相应的图像帧匹配对应的视角方向坐标。

在全景视频播放时，通过解复用MP4或MPEG2-TS等格式的多媒体文件或通过分析通信应答内容(RTSP等)等方式可以获取到全景内容以及该全景内容对应的推荐视角信息。

在本申请中，在完成全景内容的渲染后，为了能够将推荐视角方向展现在模型中，还要根据每一帧图像的推荐视角信息，确定每一帧图像的推荐视角方向。每一帧图像具有各自对应的推荐视角信息。在从多媒体文件解复用或解析通信应答内容得到的推荐视角信息中包括视角方向坐标和帧标识。视角方向坐标与帧标识具有对应关系，可以根据帧标识为每一帧图像匹配到各自对应的视角方向坐标。

在得到相应图像帧的视角方向坐标后，根据观看者在模型中的设定位置和视角方向坐标，通过一条或多条直线在模型中标记出推荐视角方向。例如，如图6所示，在通过角平分线指示推荐视角方向的方式中，视角方向坐标为角平分线上除原点外的一点的坐标。在得到视角方向坐标后，可以在模型中绘制出从原点(观看者在模型中的设定位置)到视角方向坐标指示出的点的连线，以标记出推荐视角方向。

如图7所示，在通过标记出视界轮廓指示推荐视角方向的方式中，视角方向坐标为视界的四个顶点的坐标。在得到视角方向坐标后，可以在模型中绘制出从观看者在模型中的设定位置到视界的四个顶点的连线以及视界的四个顶点之间的连线，以标记出推荐视角方向。

本申请中，在屏幕上显示全景内容的同时，还显示一用于对全景内容进行渲染所采用的三维几何形体的模型，在模型中同时展示出观看者观看的实时视角方向以及推荐视角方向，使观看者能够按照实时视角方向和推荐视角方向的指引，将当前的视角方向调整到推荐视角方向上，从而观看者到全景内容中最为精彩的部分。

如图8所示，本申请还提供一种观看视角的指示装置，包括：

一第一展现单元，用于在屏幕上展现全景内容时，同时展现一用于对全景内容进行渲染所采用的三维几何形体的模型；

一检测单元，用于在第一展现单元展现全景内容的过程中，检测观看者观看的实时视角方向；

一第二展现单元，用于将检测单元检测得到的观看者观看的实时视角方向展现在三维几何形体的模型中。

进一步，第二展现单元，还用于在将检测单元检测得到的观看者观看的实时视角方向展现在三维几何形体的模型中时，还在三维几何形体的模型中展现推荐视角方向；其中，推荐视角方向是推荐观看者观看的视角方向。

进一步，检测单元检测观看者观看的实时视角方向，包括：

确定屏幕上当前展现的画面在全景内容中的位置；

根据屏幕上当前展现的画面在全景内容中的位置和观看者在全景内容中的设定位置，确定观看者当前的视角方向。

进一步，第二展现单元将检测单元检测得到的观看者观看的实时视角方向展现在三维几何形体的模型中，包括：

在模型中设定观看者的位置；

根据观看者当前的视角方向，以从观看者在模型中的设定位置发出的一条或多条直线在模型中标记出观看者当前的视角方向。

进一步，第二展现单元在三维几何形体的模型中展现推荐视角方向，包括：

获取推荐视角信息，推荐视角信息用于指示出推荐视角方向；

在模型中设定观看者的位置，根据推荐视角信息，以从观看者在模型中的设定位置发出的一条或多条直线在模型中标记出推荐视角方向。

虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种观看视角的指示方法，其特征在于，包括：

在屏幕上展现全景内容时，同时展现一用于对全景内容进行渲染所采用的三维几何形体的模型；

在展现全景内容的过程中，检测观看者观看的实时视角方向；

将检测得到的观看者观看的实时视角方向展现在所述三维几何形体的模型中。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在将检测得到的观看者观看的实时视角方向展现在所述三维几何形体的模型中时，还在所述三维几何形体的模型中展现推荐视角方向；

其中，所述推荐视角方向是推荐观看者观看的视角方向。

3.根据权利要求1或2所述的方法，其特征在于，所述检测观看者观看的实时视角方向，包括：

确定屏幕上当前展现的画面在全景内容中的位置；

根据屏幕上当前展现的画面在全景内容中的位置和观看者在全景内容中的设定位置，确定观看者当前的视角方向。

4.根据权利要求3所述的方法，其特征在于，所述将检测得到的观看者观看的实时视角方向展现在所述三维几何形体的模型中，包括：

在所述模型中设定观看者的位置；

根据所述观看者当前的视角方向，以从观看者在模型中的设定位置发出的一条或多条直线在所述模型中标记出观看者当前的视角方向。

5.根据权利要求2所述的方法，其特征在于，所述在所述三维几何形体的模型中展现推荐视角方向，包括：

获取推荐视角信息，所述推荐视角信息用于指示出推荐视角方向；

在所述模型中设定观看者的位置，根据所述推荐视角信息，以从观看者在模型中的设定位置发出的一条或多条直线在所述模型中标记出所述推荐视角方向。

6.一种观看视角的指示装置，其特征在于，包括：

一第一展现单元，用于在屏幕上展现全景内容时，同时展现一用于对全景内容进行渲染所采用的三维几何形体的模型；

一检测单元，用于在所述第一展现单元展现全景内容的过程中，检测观看者观看的实时视角方向；

一第二展现单元，用于将所述检测单元检测得到的观看者观看的实时视角方向展现在所述三维几何形体的模型中。

7.根据权利要求6所述的装置，其特征在于：

所述第二展现单元，还用于在将所述检测单元检测得到的观看者观看的实时视角方向展现在所述三维几何形体的模型中时，还在所述三维几何形体的模型中展现推荐视角方向；其中，所述推荐视角方向是推荐观看者观看的视角方向。

8.根据权利要求6或7所述的装置，其特征在于，所述检测单元检测观看者观看的实时视角方向，包括：

确定屏幕上当前展现的画面在全景内容中的位置；

根据屏幕上当前展现的画面在全景内容中的位置和观看者在全景内容中的设定位置，确定观看者当前的视角方向。

9.根据权利要求8所述的装置，其特征在于，所述第二展现单元将所述检测单元检测得到的观看者观看的实时视角方向展现在所述三维几何形体的模型中，包括：

在所述模型中设定观看者的位置；

根据所述观看者当前的视角方向，以从观看者在模型中的设定位置发出的一条或多条直线在所述模型中标记出观看者当前的视角方向。

10.根据权利要求7所述的装置，其特征在于，所述第二展现单元在所述三维几何形体的模型中展现推荐视角方向，包括：

获取推荐视角信息，所述推荐视角信息用于指示出推荐视角方向；

在所述模型中设定观看者的位置，根据所述推荐视角信息，以从观看者在模型中的设定位置发出的一条或多条直线在所述模型中标记出所述推荐视角方向。