CN110430411A - 一种全景视频的显示方法及装置 - Google Patents

Abstract

本发明提供了一种全景视频的显示方法及装置。上述显示方法包括：获取全景视频文件；计算全景视频文件中的每一帧全景图片的显示阈值，其中，显示阈值是指可显示区域对应的播放视角的极限值；实时获取用户观看全景视频的播放视角；以及判定用户的播放视角是否超出显示阈值，若其播放视角超出显示阈值，则将该播放视角对应的视角参数调整至显示阈值的角度，得到调整后的播放视角，并根据调整后的播放视角对全景视频进行显示播放。本发明的上述技术不需要利用图片填充全景图片的盲区部分便可避免用户观看到无人机机身等非观景内容，相对现有技术改善了全景视频观看效果，使得用户观看全景视频的沉浸感和实际体验感受更佳。

Description

一种全景视频的显示方法及装置

技术领域

本发明涉及全景视频技术，尤其涉及一种全景视频的显示方法及装置。

背景技术

目前，现有的全景视频采集方式主要是将全景相机悬挂在无人机机架本体上，或者是放在三脚架上，或者是手持云台全景相机进行拍摄。但无论哪种形式，全景相机的承载体都会影响全景相机的拍摄区域，会对合成后的全景图部分区域造成一定遮挡，例如天空部分显示的是无人机机翼。一般被遮挡的拍摄盲区主要依靠计算机后期处理，利用其它的图片填充全景图片的盲区部分，但是这样做在很大程度上会影响全景视频观看效果，使用户观看全景视频的沉浸感和实际体验感受到影响。

发明内容

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不意图确定本发明的关键或重要部分，也不意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

鉴于此，本发明提供了一种全景视频的显示方法及装置，以至少解决现有技术中全景相机载体遮挡产生拍摄盲区而影响用户观看全景视频效果的问题。

本发明提供了一种全景视频的显示方法，所述显示方法包括：获取全景视频文件；计算所述全景视频文件中的每一帧全景图片的显示阈值，其中，所述显示阈值是指可显示区域对应的播放视角的极限值；实时获取用户观看全景视频的播放视角；以及判定用户的播放视角是否超出所述显示阈值，若其播放视角超出所述显示阈值，则将该播放视角对应的视角参数调整至所述显示阈值的角度，得到调整后的播放视角，并根据所述调整后的播放视角对全景视频进行显示播放。

进一步地，显示阈值包括一个或多个上行显示阈值和/或一个或多个下行显示阈值；其中，在视角从较小的角度变大的情况下，当视角大于上行显示阈值时则将要显示盲区的部分或全部；在视角从较大的角度变小的情况下，当视角小于下行显示阈值时则将要显示盲区的部分或全部。

进一步地，所述获取全景视频文件的步骤包括：获取未对被遮挡盲区处理过的全景视频文件。

进一步地，在视频缓冲阶段预先进行显示阈值的计算，或在视频播放阶段实时进行显示阈值的计算。

进一步地，所述计算用户当前观看的全景视频中的每一帧全景图片的显示阈值的步骤包括：针对用户当前观看的全景视频中的每一帧全景图片，通过人工或机器识别的方法识别出该帧的盲区部分，该盲区部分为不规则图形或规则图形；以预定规则图形外接盲区部分得到盲区划分区域，并确定该盲区划分区域的边界像素点，所述预定规则图形为外接圆或外接矩形；通过将该矩形窗口与上述盲区划分区域边界相切，获得对应的多个切点，并得到该多个切点位置对应的多个矩形窗口的中心像素点；按照全景显示方法，依据显示模型选择投影算法，针对获得的多个中心像素点中的每一个，根据该中心像素点以及设定的视场角获得一组观察角，以确定与多个中心像素点对应的多组观察角，其中，所述观察角包括俯仰角和方位角；以及从多组观察角中选择俯仰角和方位角的极限值作为非盲区显示阈值。

进一步地，通过预先对全景视频帧图片的盲区部分人工分析判断盲区边界像素点坐标的方式来得到盲区部分。

进一步地，所述计算用户当前观看的全景视频中的每一帧全景图片的显示阈值的步骤还包括：设置显示阈值参数或为视频文件设置包含显示阈值的配置文件。

根据本发明的另一方面，还提供了一种全景视频的显示装置，所述显示装置包括：视频获取单元，适于获取全景视频文件；阈值计算单元，适于计算所述全景视频文件中的每一帧全景图片的显示阈值，其中，所述显示阈值是指全景视频帧中盲区对应的水平和/或垂直视角线与盲区边界视角线之间的夹角；播放视角获取单元，适于实时获取用户观看全景视频的播放视角；以及判定单元，适于判定用户的播放视角是否超出所述显示阈值，若其播放视角超出所述显示阈值，则将该播放视角对应的视角参数调整至所述显示阈值的角度，得到调整后的播放视角，并根据所述调整后的播放视角对全景视频进行显示播放。

进一步地，显示阈值包括一个或多个上行显示阈值和/或一个或多个下行显示阈值。

进一步地，阈值计算单元适于在视频缓冲阶段预先进行显示阈值的计算，或在视频播放阶段实时进行显示阈值的计算。

进一步地，所述阈值计算单元包括：盲区识别模块，适于针对用户当前观看的全景视频中的每一帧全景图片，通过人工或机器识别的方法识别出该帧的盲区部分，该盲区部分为不规则图形或规则图形；盲区划分模块，适于以预定规则图形外接盲区部分得到盲区划分区域，并确定该盲区划分区域的边界像素点，所述预定规则图形为外接圆或外接矩形；显示阈值确定模块，适于：通过将该矩形窗口与上述盲区划分区域边界相切，获得对应的多个切点，并得到该多个切点位置对应的多个矩形窗口的中心像素点；按照全景显示方法，依据显示模型选择投影算法，针对获得的多个中心像素点中的每一个，根据该中心像素点以及设定的视场角获得一组观察角，以确定与多个中心像素点对应的多组观察角，其中，所述观察角包括俯仰角和方位角；以及从多组观察角中选择俯仰角和方位角的极限值作为非盲区显示阈值。

本发明的一种全景视频的显示方法及装置，通过识别全景视频中每一帧的盲区，基于盲区与非盲区的交界确定盲区边界，以基于盲区边界以及视场角、屏幕分辨率确定显示阈值，当用户观看的播放视角超出该阈值时，将其播放视角调整回阈值内，从而不需要利用其它的图片填充全景图片的盲区部分便可避免用户观看到无人机机身等非观景内容(即盲区内容)，由此相对现有技术改善了全景视频观看效果，使得用户观看全景视频的沉浸感和实际体验感受更佳。

通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其他优点将更加明显。

附图说明

本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。其中：

图1是示出本发明的一种全景视频的显示方法的一种示例性处理的流程图；

图2是示出确定显示阈值的一种可能处理的流程图；

图3是示出显示阈值的一个示例的示意图；

图4是示出本发明的一种全景视频的显示装置的一个示例的结构框图。

本领域技术人员应当理解，附图中的元件仅仅是为了简单和清楚起见而示出的，而且不一定是按比例绘制的。例如，附图中某些元件的尺寸可能相对于其他元件放大了，以便有助于提高对本发明实施例的理解。

具体实施方式

在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本发明内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。

在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

通常智能终端在播放全景视频时，显示屏播放的只是全景视频中某个朝向的部分画面，全景视频是以观察者为中心，绕固定点旋转一周所观察到全方位360度的视野场景，在播放时智能终端可以默认或根据用户手动选择来决定显示全景视频当前帧图像中的哪部分图像，该部分图像相当于用户作为观察者以一定观察视角观看全景视频时所看到的部分图像，此观察视角即为当前视频的播放视角。因此，本发明的实施例提出一种全景视频的显示方法，以通过该方法使该全景视频的播放视角始终处于全景相机被遮挡的拍摄盲区外。

图1示出了上述一种全景视频的显示方法的一种示例性处理。

如图1所示，该处理开始后，首先执行步骤S110。

在步骤S110中，获取全景视频文件。上述全景视频文件的格式包括但不限于：*.jpg、*.mp4、*.insp、*.insv等。

其中，上述全景视频文件是包含盲区的全景视频文件。

接着，在步骤S120中，计算全景视频文件中的每一帧全景图片的显示阈值，其中，所述显示阈值是指可显示区域对应的播放视角的极限值(如上限或下限)或边界值。

需要说明的是，可显示区域是指在不显示盲区部分的情况下的一段连续的播放视角区间，这一段播放视角区间内(包括边界值)是可以对用户显示的，且用户在这一段播放视角区间内(包括边界值)是不会看到任何盲区部分的，而超出这一段播放视角区间的边界之外则“不可显示”(即不对用户显示)，否则用户将会看到至少部分盲区。

作为示例，显示阈值可以包括上行显示阈值和/或下行显示阈值。

上行显示阈值是指，在视角从较小的角度逐渐变大的过程下，当视角大于上行显示阈值时则将要显示盲区的部分或全部。

下行显示阈值是指，在视角从较大的角度逐渐变小的过程下，当视角小于下行显示阈值时则将要显示盲区的部分或全部。

应当理解的是，上行显示阈值可以是一个或多个，下行显示阈值也可以是一个或多个。在同一个示例中，可以只具有一个或多个上行显示阈值，也可以只具有下行显示阈值；或者，也可以同时有一个或多个上行显示阈值以及一个或多个下行显示阈值，而且上行显示阈值的数目与下行显示阈值的数目可以相同或不同。

此外，还需要说明的是，对于水平视角(如下文所说的方位角)或垂直视角(如下文所说的俯仰角)来说，可能仅对应一段可显示区域。

例如，假设某一帧全景图片中的真实的盲区部分对应的垂直视角范围是45°～90°，(假设无论水平视角是多少，在这个垂直视角范围内都是盲区，也就是说，当垂直视角在45°～90°时能看到部分的或全部的盲区，但是这个盲区对应的视角范围并不是已知的)，而全景图片对应的全部垂直视角范围假设是-90°～90°，则在步骤S120中所要确定的垂直视角的显示阈值应当是45°。这样，垂直视角范围-90°～45°是垂直视角的唯一一段可显示区域。此外，在该例子中，垂直视角45°是上行阈值，也即，当从小于45°的垂直视角增大至大于45°时(比如46°)，则将显示垂直视角的盲区。

又如，假设某一帧全景图片中的真实的盲区部分对应的水平视角范围是60°～90°，(假设无论垂直视角是多少，在这个水平视角范围内都是盲区，也就是说，当水平视角在60°～90°时能看到部分的或全部的盲区，但是这个盲区对应的视角范围并不是已知的)，而全景图片对应的全部水平视角范围假设是0°～360°，则在步骤S120中所要确定的水平视角的显示阈值应当是60°和90°。这样，水平视角范围0°～60°是水平视角的一段可显示区域，而水平视角范围90°～360°是水平视角的另一段可显示区域。此外，在该例子中，60°为上行阈值，90°为下行阈值，也即，当从小于60°的水平视角增大至大于60°时(比如61°)，则将显示盲区；当从大于90°的水平视角减小至小于90°时(比如88°)，则将显示盲区。

作为示例，步骤S120中例如可以采用如图2所示的处理来确定显示阈值。

如图2所示，可以按照如下描述的步骤A1～A3来确定显示阈值。

在步骤A1中，进行盲区识别。例如，针对用户当前观看的全景视频中的每一帧全景图片(像素点W*H)，通过人工或机器识别的方法识别出该帧的盲区部分，该盲区部分为不规则图形或规则图形。

作为示例，在盲区部分特征明显的情况下可以通过特征识别方法来识别盲区，从而确定盲区的范围，例如盲区部分已由单一颜色图片填充，则因其明显特征为颜色特征，则可通过颜色特征识别出盲区部分。

此外，也可以通过预先对全景视频帧图片的盲区部分人工分析判断盲区边界像素点坐标的方式来得到盲区部分。

接着，在步骤A2中，进行盲区划分。例如，以预定规则图形外接盲区部分(囊括盲区部分)得到盲区划分区域，并确定该盲区划分区域的边界像素点，预定规则图形例如为外接圆或外接矩形等。

然后，在步骤A3中，确定非盲区对应的显示阈值，例如可以按照步骤A31～A33来执行。

在步骤A31中，因为从全景图中取一块平面视图，须设定要获取的局部平面图的大小，因此以局部平面图的大小(像素点w*h)为矩形窗口大小，通过将该矩形窗口与上述盲区划分区域边界相切，获得对应的多个切点，并得到该多个切点位置对应的多个矩形窗口的中心像素点。

其中，按预定方向移动的过程中，每次移动的步长例如为单位像素点，也可以根据经验值设定，或者通过试验方法确定。

例如，若预定规则图形为外接矩形，则获得的“多个切点”包括4个切点，分别是与该外接矩形的4条边的切点。需要说明的是，矩形与矩形相切，也即一个矩形的一条边与另一个矩形的一条边重合、且这两个矩形不重叠。当矩形与矩形相切时，其切点有无穷多个，可以在这些切点中任选其一。比如，外接矩形的上边与矩形窗口的下边相切，外接矩形的下边与矩形窗口的上边相切，外接矩形的左边与矩形窗口的右边相切，外接矩形的右边与矩形窗口的左边相切。

又如，若预定规则图形为外接圆，则获得的“多个切点”包括4个切点，分别是该外接圆的与该矩形窗口的4条边的切点。比如，外接圆的圆周上最上面的点与矩形窗口的下边相切，外接圆的圆周上最下面的点与矩形窗口的上边相切，外接圆的圆周上最左面的点与矩形窗口的右边相切，外接圆的圆周上最右面的点与矩形窗口的左边相切。

然后，在步骤A32中，按照全景显示方法，依据显示模型选择投影算法，针对步骤A31中获得的多个中心像素点中的每一个，可以根据该中心像素点以及设定的视场角获得一组观察角，该观察角包括俯仰角和方位角，由此可以确定与多个中心像素点对应的多组观察角。其中，上述的显示模型例如可以是球面模型，并由此选择与球面模型对应的投影算法，等等。

这样，在步骤A33中，从多组观察角中选择俯仰角和方位角的极限值(上限或下限)作为非盲区显示阈值，即用户观察全景视频帧中非盲区局部区域的俯仰角的极限值和/或方位角的极限值。

反过来理解，依据全景反投影算法，根据上述确定的多组观察角中的一组观察角、局部平面图大小(像素点w*h)以及设定的视场角(这里，局部平面图大小和视场角大小可以确定焦距)可以确定全景图中的局部平面视图，若想使用户观察视角内不出现盲区部分，则该局部平面视图的极限位置是与盲区划分区域相切。

作为示例，每一帧的显示阈值例如也可以通过经验值设定。

此外，图2所示的流程还可以包括如下处理：可以设置显示阈值参数或为视频文件设置包含显示阈值的配置文件。

此外，作为示例，也可以通过在视频缓冲阶段预先进行显示阈值的计算，或是在视频播放阶段实时进行显示阈值的计算。

以被遮挡的拍摄盲区为无人机机翼部分为例，如图3所示，无人机机翼形成的盲区部分如图中阴影所示，观察坐标系原点为球心，则盲区边界最下面的点与球心连线确定的垂直俯仰角为β，则显示阈值中垂直俯仰角的上限即为β，即观察垂直俯仰角不超过β则为可显示区域。

如图1所示，在执行完步骤S120后，可以在步骤S130中实时获取用户(也即用户设备，诸如手机等)观看全景视频的播放视角。其中，播放视角可采用任意表现形式，例如坐标、姿态角、空间向量等中的一种。

这样，在步骤S140中，判定用户的播放视角是否超出上述显示阈值，若其播放视角超出上述显示阈值，则将该播放视角对应的视角参数调整至上述显示阈值的角度，得到调整后的播放视角，并根据上述调整后的播放视角对全景视频进行显示播放。

例如，在上文所述的例子中，在步骤S120中所要确定的显示阈值是60°和90°，其中，60°为上行显示阈值，而90°为下行显示阈值。在这种情况下，若用户的播放视角从小于60°的某个视角(如50°)开始增大，当显示到60°时为这一段显示视角(非盲区0°～60°)的极限(上限)，若继续增大，则自动对该播放视角进行调整，使得其仍然为上述显示阈值60°。

此外，若用户的播放视角从大于90°的某个视角(如100°)开始减小，当显示到90°时为这一段显示视角(非盲区90°～360°)的极限(下限)，若继续减小，则自动对该播放视角进行调整，使得其仍然为上述显示阈值90°。

此外，本发明的实施例还提供了一种全景视频的显示装置。图4示出了上述全景视频的显示装置的一个示例的结构框图。

如图4所示，全景视频的显示装置包括视频获取单元410、阈值计算单元420、播放视角获取单元430和判定单元440。

如图2所示，视频获取单元410可用于获取全景视频文件。上述全景视频文件的格式包括但不限于：*.jpg、*.mp4、*.insp、*.insv等。

作为示例，上述全景视频是未对被遮挡盲区处理过的全景视频。

阈值计算单元420可用于计算全景视频文件中的每一帧全景图片的显示阈值，其中，所述显示阈值是指播放视角的极限值(如上限或下限)，换句话说，显示阈值是指可显示区域对应的播放视角的极限值。

作为示例，阈值计算单元420例如可以采用上文中结合图2所描述的处理来确定显示阈值，这里不再赘述。

如图4所示，播放视角获取单元430可用于实时获取用户(也即用户设备，诸如手机等)观看全景视频的播放视角。其中，播放视角可采用任意表现形式，例如坐标、姿态角、空间向量等中的一种。

这样，判定单元440可判定用户的播放视角是否超出上述显示阈值，若其播放视角超出上述显示阈值，则将该播放视角对应的视角参数调整至上述显示阈值的角度，得到调整后的播放视角，并根据上述调整后的播放视角对全景视频进行显示播放。

例如，显示阈值包括一个或多个上行显示阈值和/或一个或多个下行显示阈值。

作为示例，阈值计算单元例如可以包括盲区识别模块、盲区划分模块和显示阈值确定模块。

其中，盲区识别模块适于针对用户当前观看的全景视频中的每一帧全景图片，通过人工或机器识别的方法识别出该帧的盲区部分，该盲区部分为不规则图形或规则图形；

盲区划分模块适于以预定规则图形外接盲区部分得到盲区划分区域，并确定该盲区划分区域的边界像素点，所述预定规则图形为外接圆或外接矩形；

显示阈值确定模块适于：通过将该矩形窗口与上述盲区划分区域边界相切，获得对应的多个切点，并得到该多个切点位置对应的多个矩形窗口的中心像素点；按照全景显示方法，依据显示模型选择投影算法，针对获得的多个中心像素点中的每一个，根据该中心像素点以及设定的视场角获得一组观察角，以确定与多个中心像素点对应的多组观察角，其中，所述观察角包括俯仰角和方位角；以及从多组观察角中选择俯仰角和方位角的极限值作为非盲区显示阈值。

最后应说明的是：以上实施例仅用以示例性说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明及本发明带来的有益效果进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求的范围。

Claims (10)

1.一种全景视频的显示方法，其特征在于，所述显示方法包括：

获取全景视频文件；

计算所述全景视频文件中的每一帧全景图片的显示阈值，其中，所述显示阈值是指可显示区域对应的播放视角的极限值；

实时获取用户观看全景视频的播放视角；以及

判定用户的播放视角是否超出所述显示阈值，若其播放视角超出所述显示阈值，则将该播放视角对应的视角参数调整至所述显示阈值的角度，得到调整后的播放视角，并根据所述调整后的播放视角对全景视频进行显示播放。

2.根据权利要求1所述的全景视频的显示方法，其特征在于，显示阈值包括一个或多个上行显示阈值和/或一个或多个下行显示阈值。

3.根据权利要求1或2所述的显示方法，其特征在于，在视频缓冲阶段预先进行显示阈值的计算，或在视频播放阶段实时进行显示阈值的计算。

4.根据权利要求1-3中任一项所述的显示方法，其特征在于，所述计算用户当前观看的全景视频中的每一帧全景图片的显示阈值的步骤包括：

针对用户当前观看的全景视频中的每一帧全景图片，通过人工或机器识别的方法识别出该帧的盲区部分；

以预定规则图形外接盲区部分得到盲区划分区域，并确定该盲区划分区域的边界像素点，所述预定规则图形为外接圆或外接矩形；

通过将该矩形窗口与上述盲区划分区域边界相切，获得对应的多个切点，并得到该多个切点位置对应的多个矩形窗口的中心像素点；

按照全景显示方法，依据显示模型选择投影算法，针对获得的多个中心像素点中的每一个，根据该中心像素点以及设定的视场角获得一组观察角，以确定与多个中心像素点对应的多组观察角，其中，所述观察角包括俯仰角和方位角；以及

从多组观察角中选择俯仰角和方位角的极限值作为非盲区显示阈值。

5.根据权利要求1-4中任一项所述的显示方法，其特征在于，通过预先对全景视频帧图片的盲区部分人工分析判断盲区边界像素点坐标的方式来得到盲区部分。

6.根据权利要求4所述的显示方法，其特征在于，所述计算用户当前观看的全景视频中的每一帧全景图片的显示阈值的步骤还包括：设置显示阈值参数或为视频文件设置包含显示阈值的配置文件。

7.一种全景视频的显示装置，其特征在于，所述显示装置包括：

视频获取单元，适于获取全景视频文件；

阈值计算单元，适于计算所述全景视频文件中的每一帧全景图片的显示阈值，其中，所述显示阈值是指可显示区域对应的播放视角的极限值；

播放视角获取单元，适于实时获取用户观看全景视频的播放视角；以及

判定单元，适于判定用户的播放视角是否超出所述显示阈值，若其播放视角超出所述显示阈值，则将该播放视角对应的视角参数调整至所述显示阈值的角度，得到调整后的播放视角，并根据所述调整后的播放视角对全景视频进行显示播放。

8.根据权利要求8所述的全景视频的显示装置，其特征在于，显示阈值包括一个或多个上行显示阈值和/或一个或多个下行显示阈值。

9.根据权利要求7或8所述的显示方法，其特征在于，所述阈值计算单元适于在视频缓冲阶段预先进行显示阈值的计算，或在视频播放阶段实时进行显示阈值的计算。

10.根据权利要求7-9中任一项所述的显示方法，其特征在于，所述阈值计算单元包括：

盲区识别模块，适于针对用户当前观看的全景视频中的每一帧全景图片，通过人工或机器识别的方法识别出该帧的盲区部分；

盲区划分模块，适于以预定规则图形外接盲区部分得到盲区划分区域，并确定该盲区划分区域的边界像素点，所述预定规则图形为外接圆或外接矩形；

显示阈值确定模块，适于：通过将该矩形窗口与上述盲区划分区域边界相切，获得对应的多个切点，并得到该多个切点位置对应的多个矩形窗口的中心像素点；按照全景显示方法，依据显示模型选择投影算法，针对获得的多个中心像素点中的每一个，根据该中心像素点以及设定的视场角获得一组观察角，以确定与多个中心像素点对应的多组观察角，其中，所述观察角包括俯仰角和方位角；以及从多组观察角中选择俯仰角和方位角的极限值作为非盲区显示阈值。