CN107277474B - 全景画面生成方法及生成装置 - Google Patents

Abstract

本发明提供一种全景画面生成方法，其包括：以第一设定时间间隔，检测用户在当前全景画面上的当前观看投影点；获取距离当前观看投影点距离最近的热点区域，并将距离当前观看投影点距离最近的热点区域设置为激活热点区域；根据激活热点区域，设置全景画面中各个区域的画面分辨率；根据全景画面中各个区域的画面分辨率，生成后续全景画面；并返回检测当前观看投影点的步骤，直至全景画面播放完毕。本发明还提供一种全景画面生成装置，本发明基于全景画面的激活热点区域设置全景画面中各个区域的画面分辨率，在保证全景画面的画面显示品质的基础上，有效的减少了全景画面的带宽占用量。

Description

全景画面生成方法及生成装置

技术领域

本发明涉及图像处理技术领域，特别是涉及一种全景画面生成方法及生成装置。

背景技术

随着科技的发展，人们对视觉图像的要求越来越高，因此各种各样的虚拟现实应用被开发出来。

现有的虚拟现实应用一般具有虚拟现实(Virtual Reality)与增强现实(Augmented Reality)等视觉效果，可实现如3D全景影片播放、3D全景游戏体验以及3D全景画面现场直播等全景画面视觉图像。

当用户通过VR眼镜等全景画面获取装置观看全景画面时，为了满足用户在360度全景方向的观看要求，一般全景画面服务器会给VR眼镜提供360度完整的全景画面。但是随着用户对全景画面分辨率的要求越来越高，360度完整的全景画面需要占用的带宽也越来越高，在网络环境较差的情况下，可能会造成全景画面播放卡顿现象的出现。如根据网络环境情况降低全景画面的分辨率，虽可一定程度上消除全景画面播放卡顿的问题，但是较低分辨率的全景画面又会降低全景画面的画面显示品质，从而影响到用户的观看体验。

故，有必要提供一种全景画面生成方法及生成装置，以解决现有技术所存在的问题。

发明内容

本发明实施例提供一种在保证全景画面的画面显示品质的基础上，有效减少全景画面的带宽占用量的全景画面生成方法及生成装置；以解决现有的全景画面生成方法及生成装置中的全景画面播放卡顿或全景画面的画面显示品质较差的技术问题。

本发明实施例提供一种全景生成方法，其包括：

以第一设定时间间隔，检测用户在当前全景画面上的当前观看投影点；其中所述当前全景画面包括多个热点区域；

获取距离所述当前观看投影点距离最近的热点区域，并将距离所述当前观看投影点距离最近的热点区域设置为激活热点区域；

根据所述激活热点区域，设置全景画面中各个区域的画面分辨率；以及

根据所述全景画面中各个区域的画面分辨率，生成后续全景画面；并返回检测当前观看投影点的步骤，直至全景画面播放完毕。

在本发明实施例所述的全景画面生成方法中，所述全景画面生成方法还包括：

获取设定全景画面，并统计多个用户在所述设定全景画面上的观看投影点；

对多个用户的观看投影点进行聚类操作，以获取所述设定全景画面的多个观看投影区域；以及

根据所述设定全景画面的观看投影区域，确定所述设定全景画面的多个热点区域，其中每个热点区域对应至少一个所述观看投影区域。

在本发明实施例所述的全景画面生成方法中，所述统计多个用户在所述设定全景画面上的观看投影点的步骤包括：

在设定时间段内，以第二设定时间间隔，统计多个用户在所述设定全景画面上的静态区域的观看投影点，其中所述静态区域是指所述设定全景画面的固定位置区域；或

在设定时间段内，以第二设定时间间隔，统计多个用户在所述设定全景画面上的动态区域的观看投影点，其中所述动态区域是指所述设定全景画面中的设定活动内容对应的区域。

在本发明实施例所述的全景画面生成方法中，对多个用户的观看投影点进行聚类操作，以获取所述设定全景画面的多个观看投影区域的步骤包括：

确定一设定观看投影点；并获取所述设定观看投影点对应的观看投影区域的所有观看投影点；以及

将所述设定全景画面上的不具有观看投影区域的其他观看投影点设置为所述设定观看投影点，并转到确定设定观看投影点的步骤，直至所述设定全景画面上的所有观看投影点均具有对应的观看投影区域。

在本发明实施例所述的全景画面生成方法中，所述确定所述设定观看投影点对应的观看投影区域的所有观看投影点的步骤包括：

获取所述设定观看投影点的相邻观看投影点；

如所述相邻观看投影点和所述设定观看投影点的距离小于等于设定值，则设定所述相邻观看投影点属于所述设定观看投影点对应的观看投影区域；以及

将所述观看投影区域的其他观看投影点设置为所述设定观看投影点，并转到获取相邻观看投影点的步骤，直至所述观看投影区域中未增加新的观看投影点。

在本发明实施例所述的全景画面生成方法中，根据所述设定全景画面的观看投影区域，确定所述设定全景画面的多个热点区域的步骤包括：

获取所述观看投影区域的区域中心；以及

根据所述观看投影区域的区域中心以及设定区域半径，设定所述观看投影区域对应的热点区域。

在本发明实施例所述的全景画面生成方法中，所述全景画面生成方法还包括：

如相邻观看投影区域对应的热点区域具有重叠区域，则将相邻观看投影区域对应的热点区域合并为同一热点区域。

在本发明实施例所述的全景画面生成方法中，所述根据所述激活热点区域，设置全景画面中各个区域的画面分辨率的步骤为：

根据所述全景画面中各个区域和所述激活热点区域的距离，设置所述全景画面中各个区域的画面分辨率；

其中距离所述激活热点区域较近的全景画面区域的画面分辨率，大于距离所述激活热点区域较远的全景画面区域的画面分辨率。

本发明实施例还提供一种全景画面生成装置，其包括：

当前观看投影点检测模块，用于以第一设定时间间隔，检测用户在当前全景画面上的当前观看投影点；其中所述当前全景画面包括多个热点区域；

激活热点区域设置模块，用于获取距离所述当前观看投影点距离最近的热点区域，并将距离所述当前观看投影点距离最近的热点区域设置为激活热点区域；

画面分辨率设置模块，用于根据所述激活热点区域，设置全景画面中各个区域的画面分辨率；以及

全景画面生成模块，用于根据所述全景画面中各个区域的画面分辨率，生成后续全景画面。

在本发明实施例所述的全景画面生成装置中，所述全景画面生成装置包括：

观看投影点统计模块，用于获取设定全景画面，并统计多个用户在所述设定全景画面上的观看投影点；

聚类模块，用于对多个用户的观看投影点进行聚类操作，以获取所述设定全景画面的多个观看投影区域；以及

热点区域确定模块，用于根据所述设定全景画面的观看投影区域，确定所述设定全景画面的多个热点区域，其中每个热点区域对应至少一个所述观看投影区域。

在本发明实施例所述的全景画面生成装置中，所述观看投影点统计模块用于在设定时间段内，以第二设定时间间隔，统计多个用户在所述设定全景画面上的静态区域的观看投影点，其中所述静态区域是指所述设定全景画面的固定位置区域；或

所述观看投影点统计模块用于在设定时间段内，以第二设定时间间隔，统计多个用户在所述设定全景画面上的动态区域的观看投影点，其中所述动态区域是指所述设定全景画面中的设定活动内容对应的区域。

在本发明实施例所述的全景画面生成装置中，所述聚类模块包括：

相关观看投影点获取单元，用于确定一设定观看投影点；并获取所述设定观看投影点对应的观看投影区域的所有观看投影点；以及

设定观看投影点设置单元，用于将所述设定全景画面上的不具有观看投影区域的其他观看投影点设置为所述设定观看投影点。

在本发明实施例所述的全景画面生成装置中，所述相关观看投影点获取单元包括：

相邻观看投影点获取子单元，用于获取所述设定观看投影点的相邻观看投影点；

观看投影区域设置子单元，用于如所述相邻观看投影点和所述设定观看投影点的距离小于等于设定值，则设定所述相邻观看投影点属于所述设定观看投影点对应的观看投影区域；以及

设定观看投影点设置子单元，用于将所述观看投影区域的其他观看投影点设置为所述设定观看投影点。

在本发明实施例所述的全景画面生成装置中，所述热点区域确定模块包括：

区域中心获取单元，用于获取所述观看投影区域的区域中心；以及

热点区域设定单元，用于根据所述观看投影区域的区域中心以及设定区域半径，设定所述观看投影区域对应的热点区域。

在本发明实施例所述的全景画面生成装置中，所述热点区域确定模块还包括：

热点区域合并单元，用于如相邻观看投影区域对应的热点区域具有重叠区域，则将相邻观看投影区域对应的热点区域合并为同一热点区域。

在本发明实施例所述的全景画面生成装置中，所述画面分辨率设置模块用于根据所述全景画面中各个区域和所述激活热点区域的距离，设置所述全景画面中各个区域的画面分辨率；

其中距离所述激活热点区域较近的全景画面区域的画面分辨率，大于距离所述激活热点区域较远的全景画面区域的画面分辨率。

相较于现有技术的全景画面生成方法及生成装置，本发明的全景画面生成方法及生成装置基于全景画面的激活热点区域设置全景画面中各个区域的画面分辨率，在保证全景画面的画面显示品质的基础上，有效的减少了全景画面的带宽占用量；解决了现有的全景画面生成方法及生成装置中的全景画面播放卡顿或全景画面的画面显示品质较差的技术问题。

附图说明

图1为本发明的全景画面生成方法的第一优选实施例的流程图；

图2为本发明的全景画面生成方法的第二优选实施例的流程图；

图3为本发明的全景画面生成方法的第二优选实施例的步骤S202的流程图；

图4为本发明的全景画面生成方法的第二优选实施例的步骤S301的流程图；

图5为本发明的全景画面生成方法的第二优选实施例的步骤S203的流程图；

图6为本发明的全景画面生成装置的第一优选实施例的结构示意图；

图7为本发明的全景画面生成装置的第二优选实施例的结构示意图；

图8为本发明的全景画面生成装置的第二优选实施例的聚类模块的结构示意图；

图9为本发明的全景画面生成装置的第二优选实施例的聚类模块的相关观看投影点获取单元的结构示意图；

图10为本发明的全景画面生成装置的第二优选实施例的热点区域确定模块的结构示意图；

图11、图12以及图13为本发明的全景画面生成方法及全景画面生成装置的具体实施例的原理示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的全景画面生成方法及全景画面生成装置可设置在全景画面服务器或全景画面采集装置中，用于根据VR眼镜等全景画面获取装置的需求提供全景画面。由于本发明中的全景画面生成装置可基于全景画面的激活热点区域设置全景画面中各个区域的画面分辨率，因此在保证全景画面的画面显示品质的基础上，有效的减少全景画面的带宽占用量，避免了全景画面播放卡顿的问题产生；有效的解决了现有的全景画面生成方法及生成装置中的全景画面播放卡顿或全景画面的画面显示品质较差的技术问题。

请参照图1，图1为本发明的全景画面生成方法的第一优选实施例的流程图。本优选实施例的全景画面生成方法可使用上述的全景画面服务器或全景画面采集装置进行实施，本优选实施例的全景画面生成方法包括：

步骤S101，以第一设定时间间隔，检测用户在当前全景画面上的当前观看投影点；其中当前全景画面包括多个热点区域；

步骤S102，获取距离当前观看投影点距离最近的热点区域，并将距离当前观看投影点距离最近的热点区域设置为激活热点区域；

步骤S103，根据激活热点区域，设置全景画面中各个区域的画面分辨率；

步骤S104，根据全景画面中各个区域的画面分辨率，生成后续全景画面；并返回步骤S101，直至全景画面播放完毕。

下面详细说明本优选实施例的全景画面生成方法的各步骤的具体流程。

在步骤S101中，全景画面生成装置(如全景画面服务器或全景画面采集装置等)以第一设定时间间隔，检测当前观看用户在当前全景画面上的当前观看投影点。其中该当前全景画面包括多个热点区域。

这里的当前全景画面的热点区域是指预先设定的当前全景画面的用户主要关注区域。如足球比赛的禁区前区域或舞台演出的舞台中心区域等。用户观看当前全景画面时，主要会关注上述热点区域及热点区域的周边区域。

当前全景画面可包括多个热点区域，如足球比赛双方的禁区前区域、教练席区域以及主要看台区域等；还比如舞台演出的舞台中心区域、后台大屏幕展示区域以及周边的副舞台区域等。

这里的当前观看投影点是指当前观看用户在当前全景画面上的观看视点，如当前观看用户正在观看当前全景画面上的舞台演出的歌唱表演，则当前观看投影点一般会处于歌唱者周围，如舞台中心区域或副舞台区域中观看视点；当前观看用户的当前观看投影点可为热点区域中的观看视点或非热点区域中的观看视点。

这里的第一设定时间间隔可根据对当前观看用户的观看投影点的检测频率进行设置。随后转到步骤S102。

在步骤S102中，全景画面生成装置根据步骤S101获取的当前观看投影点，获取距离该当前观看投影点距离最近的热点区域。随后全景画面生成装置将该距离当前观看投影点距离最近的热点区域设置为激活热点区域。

这里的激活热点区域为距离当前观看投影点最近的热点区域，由于热点区域为所有用户的主要关注区域，激活热点区域极可能为当前用户想要关注的热点区域。随后转到步骤S103。

在步骤S103中，全景画面生成装置根据步骤S102获取的激活热点区域，设置全景画面中各个区域的画面分辨率。

具体的，全景画面生成装置可根据全景画面中各个区域和激活热点区域的距离，设置全景画面中各个区域的画面分辨率。距离激活热点区域较近的全景画面区域的画面分辨率，大于距离激活热点区域较远的全景画面区域的画面分辨率。

如全景画面的激活热点区域可设置为高画面分辨率；全景画面中接近激活热点区域的画面区域设置为中画面分辨率；全景画面中远离激活热点区域的画面区域设置为低画面分辨率。

由于用户观看全景画面的主要关注区域一般集中在激活热点区域，因此用户对中画面分辨率的激活热点区域的接近周边区域以及低画面分辨率的激活热点区域的远离周边区域的关注度依次降低，对接近周边区域和远离周边区域设置较低的画面分辨率并不会对用户当前正在观看的全景画面的画面显示品质造成较大影响。随后转到步骤S104。

在步骤S104中，全景画面生成装置根据步骤S103获取的全景画面中各个区域的画面分辨率，生成后续全景画面，并发送至对应的全景画面获取装置，从而可有效的降低该全景画面的带宽占用量。

随后全景画面生成装置返回步骤S101继续检测用户在当前全景画面上的当前观看投影点的位置变化，以便对激活热点区域进行及时调整，直至该全景画面在全景画面获取装置上播放完毕。

这样即完成了本优选实施例的全景画面生成方法的全景画面生成过程。

本优选实施例的全景画面生成方法基于全景画面的激活热点区域设置全景画面中各个区域的画面分辨率，从而在保证全景画面的画面显示品质的基础上，有效的减少了全景画面的带宽占用量。

请参照图2，图2为本发明的全景画面生成方法的第二优选实施例的流程图。本优选实施例的全景画面生成方法可使用上述的全景画面服务器或全景画面采集装置进行实施，本优选实施例的全景画面生成方法描述了如何确定第一优选实施例中的全景画面的热点区域。该全景画面的热点区域的确认流程包括：

步骤S201，获取设定全景画面，并统计多个用户在设定全景画面上的观看投影点；

步骤S202，对多个用户的观看投影点进行聚类操作，以获取设定全景画面的多个观看投影区域；

步骤S203，根据设定全景画面的观看投影区域，确定设定全景画面的多个热点区域，其中每个热点区域对应至少一个观看投影区域。

下面详细说明本优选实施例的全景画面生成方法中的全景画面的热点区域的确认流程。

本优选实施例通过统计多个用户在设定全景画面上观看情况来确定该设定全景画面的热点区域，具体为：

在步骤S201中，全景画面生成装置获取设定全景画面，并统计多个用户在该设定全景画面上的观看投影点。

如设定全景画面的热点区域为静态区域，这里的静态区域是指设定全景画面的固定位置区域，如足球比赛双方的禁区前区域或教练席区域等。则全景画面生成装置在设定时间段内，以第二设定时间间隔，统计多个用户在设定全景画面上的静态区域的观看投影点。静态区域的观看投影点可较好的反映用户对设定全景画面上某个固定位置区域的关注度。

如在全景影片的三小时的播放时间内，以一分钟的设定时间间隔，统计100名用户在设定全景画面上的所有静态区域的观看投影点。这里的静态区域可包括设定全景画面的所有显示区域，如足球比赛的正前方的球场区域，左右两侧的看台区域以及上下两侧的看台区域等显示区域等。当然这里的静态区域的划分可根据用户的需要进行调整，如将球场区域划分为左侧球场以及左侧球场；或将球场区域划分为左侧禁区区域、右侧禁区区域以及中场区域等。

如设定全景画面的热点区域为动态区域，这里的动态区域是指设定全景画面中的设定活动内容对应的区域，如篮球比赛中某位热门球星的活动区域等。则全景画面生成装置在设定时间段内，以第二设定时间间隔，统计多个用户在设定全景画面上的动态区域的观看投影点。动态区域的观看投影点可较好的反映用户对设定全景画面上某个设定活动内容的关注度。

如在全景影片的三小时的播放时间内，以2秒的设定时间间隔或100帧画面的设定时间间隔，统计100名用户在设定全景画面上的所有静态区域的观看投影点。这里的动态区域为设定全景画面的设定活动内容对应的区域，如舞台表演的男主角活动区域，女主角活动区域以及足球比赛的足球所在区域等。

这里的第二设定时间间隔可根据对观看投影点的统计频率进行设置。随后转到步骤S202。

在步骤S202中，全景画面生成装置对步骤S201获取的多个用户的观看投影点进行聚类操作，以获取设定全景画面的多个观看投影区域。

具体请参照图3，图3为本发明的全景画面生成方法的第二优选实施例的步骤S202的流程图。该步骤S202包括：

步骤S301，全景画面生成装置确定一设定观看投影点，并获取该设定观看投影点对应的观看投影区域的所有观看投影点。

即全景画面生成装置从设定全景画面中任取一观看投影点作为设定观看投影点，然后获取该观看投影点对应的所有相关的观看投影点，该观看投影点及相关观看投影点即构成一个观看投影区域。

步骤S302，全景画面生成装置将设定全景画面上的不具有观看投影区域的其他观看投影点设置为设定观看投影点，并返回步骤S301重复观看投影区域的设置流程，直至设定全景画面上所有的观看投影点均具有对应的观看投影区域。

当然这里可以设定将观看投影点数量小于一定值的观看投影区域删除，以提高观看投影区域对用户关注度反馈的有效性。

下面详细说明步骤S301中获取设定观看投影点对应的观看投影区域的所有观看投影点的流程。请参照图4，图4为本发明的全景画面生成方法的第二优选实施例的步骤S301的流程图。该步骤S301包括：

步骤S401，全景画面生成装置获取设定观看投影点的相邻观看投影点。

这样的设置可有效的减少与设定观看投影点相关的观看投影点的获取数量。

步骤S402，如相邻观看投影点和设定观看投影点的距离小于等于设定值，则全景画面生成装置设定相邻观看投影点属于设定观看投影点对应的观看投影区域。

步骤S403，将观看投影区域的其他观看投影点设置为设定观看投影点，并转到步骤S401，直至观看投影区域中未增加新的观看投影点。随后转到步骤S203。

在步骤S203中，全景画面生成装置根据步骤S202获取的设定全景画面的观看投影区域，确定设定全景画面的多个热点区域，其中每个热点区域对应至少一个观看投影区域。

具体请参照图5，图5为本发明的全景画面生成方法的第二优选实施例的步骤S203的流程图。该步骤S203包括：

步骤S501，获取观看投影区域的区域中心；

步骤S502，根据观看投影区域的区域中心以及设定区域半径，设定观看投影区域对应的热点区域。

随后全景画面生成装置还可判断相邻观看投影区域对应的热点区域是否具有重叠区域，如具有重叠区域，则可将相邻观看投影区域对应的热点区域合并为同一热点区域。

这样即完成了本优选实施例的全景画面生成方法中的全景画面的热点区域的确认流程。

在第一优选实施例的基础上，本优选实施例的全景画面生成方法对设定全景画面上的多个用户的观看投影点进行统计以及聚类操作，从而可准确的获取全景画面上用户关注度较高的观看投影区域，进而可准确的获取全景画面上用户关注度较高的热点区域；通过对热点区域的高画面分辨率显示，提高了全景画面的画面显示品质。

本发明还提供一种全景画面生成装置，请参照图6，图6为本发明的全景画面生成装置的第一优选实施例的结构示意图。本优选实施例的全景画面生成装置可使用上述的第一优选实施例的全景画面生成方法进行实施。该全景画面生成装置60包括当前观看投影点检测模块61、激活热点区域设置模块62、画面分辨率设置模块63以及全景画面生成模块64。

当前观看投影点检测模块61用于以第一设定时间间隔，检测用户在当前全景画面上的当前观看投影点；其中当前全景画面包括多个热点区域。激活热点区域设置模块62用于获取距离当前观看投影点距离最近的热点区域，并将距离当前观看投影点距离最近的热点区域设置为激活热点区域。画面分辨率设置模块63用于根据激活热点区域，设置全景画面中各个区域的画面分辨率。全景画面生成模块64用于根据全景画面中各个区域的画面分辨率，生成后续全景画面。

本优选实施例的全景画面生成装置60使用时，首先当前观看投影点检测模块61以第一设定时间间隔，检测当前观看用户在当前全景画面上的当前观看投影点。其中该当前全景画面包括多个热点区域。

这里的当前全景画面的热点区域是指预先设定的当前全景画面的用户主要关注区域。如足球比赛的禁区前区域或舞台演出的舞台中心区域等。用户观看当前全景画面时，主要会关注上述热点区域及热点区域的周边区域。

当前全景画面可包括多个热点区域，如足球比赛双方的禁区前区域、教练席区域以及主要看台区域等；还比如舞台演出的舞台中心区域、后台大屏幕展示区域以及周边的副舞台区域等。

这里的当前观看投影点是指当前观看用户在当前全景画面上的观看视点，如当前观看用户正在观看当前全景画面上的舞台演出的歌唱表演，则当前观看投影点一般会处于歌唱者周围，如舞台中心区域或副舞台区域中观看视点；当前观看用户的当前观看投影点可为热点区域中的观看视点或非热点区域中的观看视点。

这里的第一设定时间间隔可根据对当前观看用户的观看投影点的检测频率进行设置。

随后激活热点区域设置模块62根据当前观看投影点检测模块61获取的当前观看投影点，获取距离该当前观看投影点距离最近的热点区域。随后激活热点区域设置模块62将该距离当前观看投影点距离最近的热点区域设置为激活热点区域。

这里的激活热点区域为距离当前观看投影点最近的热点区域，由于热点区域为所有用户的主要关注区域，激活热点区域极可能为当前用户想要关注的热点区域。

然后画面分辨率设置模块63根据激活热点区域设置模块62获取的激活热点区域，设置全景画面中各个区域的画面分辨率。

具体的，画面分辨率设置模块63可根据全景画面中各个区域和激活热点区域的距离，设置全景画面中各个区域的画面分辨率。距离激活热点区域较近的全景画面区域的画面分辨率，大于距离激活热点区域较远的全景画面区域的画面分辨率。

如全景画面的激活热点区域可设置为高画面分辨率；全景画面中接近激活热点区域的画面区域设置为中画面分辨率；全景画面中远离激活热点区域的画面区域设置为低画面分辨率。

由于用户观看全景画面的主要关注区域一般集中在激活热点区域，因此用户对中画面分辨率的激活热点区域的接近周边区域以及低画面分辨率的激活热点区域的远离周边区域的关注度依次降低，对接近周边区域和远离周边区域设置较低的画面分辨率并不会对用户当前正在观看的全景画面的画面显示品质造成较大影响。

随后全景画面生成模块64根据画面分辨率设置模块63获取的全景画面中各个区域的画面分辨率，生成后续全景画面，并发送至对应的全景画面获取装置，从而可有效的降低该全景画面的带宽占用量。

最后全景画面生成模块64返回当前观看投影点检测模块继续检测用户在当前全景画面上的当前观看投影点的位置变化，以便对激活热点区域进行及时调整，直至该全景画面在全景画面获取装置上播放完毕。

这样即完成了本优选实施例的全景画面生成装置60的全景画面生成过程。

本优选实施例的全景画面生成装置基于全景画面的激活热点区域设置全景画面中各个区域的画面分辨率，从而在保证全景画面的画面显示品质的基础上，有效的减少了全景画面的带宽占用量。

请参照图7，图7为本发明的全景画面生成装置的第二优选实施例的结构示意图。本优选实施例的全景画面生成装置可使用上述的第二优选实施例的全景画面生成方法进行实施。该全景画面生成装置70包括观看投影点统计模块71、聚类模块72、热点区域确定模块73、当前观看投影点检测模块74、激活热点区域设置模块75、画面分辨率设置模块76以及全景画面生成模块77。

观看投影点统计模块71用于获取设定全景画面，并统计多个用户在设定全景画面上的观看投影点；聚类模块72用于对多个用户的观看投影点进行聚类操作，以获取设定全景画面的多个观看投影区域；热点区域确定模块73用于根据设定全景画面的观看投影区域，确定设定全景画面的多个热点区域，其中每个热点区域对应至少一个观看投影区域；当前观看投影点检测模块74用于以第一设定时间间隔，检测用户在当前全景画面上的当前观看投影点；其中当前全景画面包括多个热点区域；激活热点区域设置模块75用于获取距离当前观看投影点距离最近的热点区域，并将距离当前观看投影点距离最近的热点区域设置为激活热点区域；画面分辨率设置模块76用于根据激活热点区域，设置全景画面中各个区域的画面分辨率；全景画面生成模块77用于根据全景画面中各个区域的画面分辨率，生成后续全景画面。

请参照图8，图8为本发明的全景画面生成装置的第二优选实施例的聚类模块的结构示意图。该聚类模块72包括相关观看投影点获取单元81以及设定观看投影点设置单元82。

相关观看投影点获取单元81用于确定一设定观看投影点；并获取设定观看投影点对应的观看投影区域的所有观看投影点。设定观看投影点设置单元82用于将设定全景画面上的不具有观看投影区域的其他观看投影点设置为设定观看投影点。

请参照图9，图9为本发明的全景画面生成装置的第二优选实施例的聚类模块的相关观看投影点获取单元的结构示意图，该相关观看投影点获取单元81包括相邻观看投影点获取子单元91、观看投影区域设置子单元92以及设定观看投影点设置子单元93。

相邻观看投影点获取子单元91用于获取设定观看投影点的相邻观看投影点；观看投影区域设置子单元92用于如相邻观看投影点和设定观看投影点的距离小于等于设定值，则设定相邻观看投影点属于设定观看投影点对应的观看投影区域；设定观看投影点设置子单元93用于将观看投影区域的其他观看投影点设置为设定观看投影点。

请参照图10，图10为本发明的全景画面生成装置的第二优选实施例的热点区域确定模块的结构示意图。该热点区域确定模块73包括区域中心获取单元101、热点区域设定单元102以及热点区域合并单元103。

区域中心获取单元101用于获取观看投影区域的区域中心；热点区域设定单元102用于根据观看投影区域的区域中心以及设定区域半径，设定观看投影区域对应的热点区域。热点区域合并单元103用于如相邻观看投影区域对应的热点区域具有重叠区域，则将相邻观看投影区域对应的热点区域合并为同一热点区域。

本优选实施例的全景画面生成装置70使用时，首先对全景画面中的热点区域进行确认，具体为：

首先观看投影点统计模块71获取设定全景画面，并统计多个用户在该设定全景画面上的观看投影点。

如设定全景画面的热点区域为静态区域，这里的静态区域是指设定全景画面的固定位置区域，如足球比赛双方的禁区前区域或教练席区域等。则全景画面生成装置在设定时间段内，以第二设定时间间隔，统计多个用户在设定全景画面上的静态区域的观看投影点。静态区域的观看投影点可较好的反映用户对设定全景画面上某个固定位置区域的关注度。

如在全景影片的三小时的播放时间内，以一分钟的设定时间间隔，统计100名用户在设定全景画面上的所有静态区域的观看投影点。这里的静态区域可包括设定全景画面的所有显示区域，如足球比赛的正前方的球场区域，左右两侧的看台区域以及上下两侧的看台区域等显示区域等。当然这里的静态区域的划分可根据用户的需要进行调整，如将球场区域划分为左侧球场以及左侧球场；或将球场区域划分为左侧禁区区域、右侧禁区区域以及中场区域等。

如设定全景画面的热点区域为动态区域，这里的动态区域是指设定全景画面中的设定活动内容对应的区域，如篮球比赛中某位热门球星的活动区域等。则全景画面生成装置在设定时间段内，以第二设定时间间隔，统计多个用户在设定全景画面上的动态区域的观看投影点。动态区域的观看投影点可较好的反映用户对设定全景画面上某个设定活动内容的关注度。

如在全景影片的三小时的播放时间内，以2秒的设定时间间隔或100帧画面的设定时间间隔，统计100名用户在设定全景画面上的所有静态区域的观看投影点。这里的动态区域为设定全景画面的设定活动内容对应的区域，如舞台表演的男主角活动区域，女主角活动区域以及足球比赛的足球所在区域等。

这里的第二设定时间间隔可根据对观看投影点的统计频率进行设置。

随后聚类模块72对观看投影点统计模块71获取的多个用户的观看投影点进行聚类操作，以获取设定全景画面的多个观看投影区域。

具体包括：

聚类模块72的相关观看投影点获取单元81确定一设定观看投影点，并获取该设定观看投影点对应的观看投影区域的所有观看投影点。

即相关观看投影点获取单元81从设定全景画面中任取一观看投影点作为设定观看投影点，然后获取该观看投影点对应的所有相关的观看投影点，该观看投影点及相关观看投影点即构成一个观看投影区域。

聚类模块72的设定观看投影点设置单元82将设定全景画面上的不具有观看投影区域的其他观看投影点设置为设定观看投影点，并返回相关观看投影点获取单元81重复观看投影区域的设置流程，直至设定全景画面上所有的观看投影点均具有对应的观看投影区域。

当然这里可以设定将观看投影点数量小于一定值的观看投影区域删除，以提高观看投影区域对用户关注度反馈的有效性。

下面详细说明相关观看投影点获取单元81获取设定观看投影点对应的观看投影区域的所有观看投影点的流程。该流程具体包括：

相关观看投影点获取单元81的相邻观看投影点获取子单元91获取设定观看投影点的相邻观看投影点。这样的设置可有效的减少与设定观看投影点相关的观看投影点的获取数量。

如相邻观看投影点和设定观看投影点的距离小于等于设定值，则相关观看投影点获取单元81的观看投影区域设置子单元92设定相邻观看投影点属于设定观看投影点对应的观看投影区域。

相关观看投影点获取单元81的设定观看投影点设置子单元93将观看投影区域的其他观看投影点设置为设定观看投影点，并返回相邻观看投影点获取子单元进行获取相邻观看投影点的操作，直至观看投影区域中未增加新的观看投影点。

最后热点区域确定模块73根据聚类模块72获取的设定全景画面的观看投影区域，确定设定全景画面的多个热点区域，其中每个热点区域对应至少一个观看投影区域。

具体包括：

热点区域确定模块73的区域中心获取单元101获取观看投影区域的区域中心。

热点区域确定模块73的热点区域设定单元102根据观看投影区域的区域中心以及设定区域半径，设定观看投影区域对应的热点区域。

最后热点区域确定模块73的热点区域合并单元103还可判断相邻观看投影区域对应的热点区域是否具有重叠区域，如具有重叠区域，则可将相邻观看投影区域对应的热点区域合并为同一热点区域。

这样即完成了本优选实施例的全景画面生成装置70中的全景画面的热点区域的确认流程。

随后全景画面生成装置70的当前观看投影点检测模块74、激活热点区域设置模块75、画面分辨率设置模块76以及全景画面生成模块77可基于上述热点区域和用户的当前观看投影点对全景画面各个区域的画面分辨率进行实施，具体请参照全景画面生成装置的第一优选实施例中的相关描述。

在第一优选实施例的基础上，本优选实施例的全景画面生成装置对设定全景画面上的多个用户的观看投影点进行统计以及聚类操作，从而可准确的获取全景画面上用户关注度较高的观看投影区域，进而可准确的获取全景画面上用户关注度较高的热点区域；通过对热点区域的高画面分辨率显示，提高了全景画面的画面显示品质。

下面通过一具体实施例说明本发明的全景画面生成方法及全景画面生成装置的具体工作原理。请参照图11至图13图，图11、图12以及图13为本发明的全景画面生成方法及全景画面生成装置的具体实施例的原理示意图。本具体实施例的全景画面生成装置设置在全景画面服务器中。其中图11中的全景画面观看点、观看投影区域以及热点区域。

当全景画面服务器需要将图11所示的全景画面发送至VR眼镜等终端时，会预先对该全景画面进行以下处理：

一、全景画面服务器获取全景画面，并统计多个用户在该全景画面上的观看投影点。

二、全景画面服务器获取全景画面上的设定观看投影点1101，设定观看投影点1101的相邻观看投影点为观看投影点1102、观看投影点1103、观看投影点1104以及观看投影点1105。

三、由于观看投影点1102、观看投影点1103以及观看投影点1104，与观看投影点1101的距离小于等于设定值，全景画面服务器设定该观看投影点1102、观看投影点1103以及观看投影点1104属于观看投影区域1110。观看投影点1105与观看投影点1101的距离大于设定值，则不对观看投影点1105进行判断。

这样观看投影区域1110具有观看投影点1101、观看投影点1102、观看投影点1103以及观看投影区域1104。

四、全景画面服务器将观看投影区域的观看投影点1102设置为设定观看投影点。

五、全景画面服务器获取设定观看投影点1102的相邻光看投影点1101、相邻观看投影点1103以及相邻观看投影点1106。

六、由于观看投影点1106与观看投影点1102的距离小于等于设定值。

这样观看投影区域1110具有观看投影点1101、观看投影点1102、观看投影点1103、观看投影点1104以及观看投影点1106。

七、全景画面服务器依次将观看投影点1103、观看投影点1104以及观看投影点1106设置为设定观看投影点，最终获取图11中的观看投影区域1110。

当依据上述流程，观看投影区域1110中不会增加新的观看投影点时，全景画面服务器即获取该设定观看投影点对应的观看投影区域1110的所有观看投影点。

这样全景画面服务器可获取观看投影区域1110、观看投影区域1120、观看投影区域1130以及观看投影区域1140。由于观看投影点1105对应观看投影区域中的观看投影点数量较少，因此观看投影点1105对应的观看投影区域删除。

七、全景画面服务器以观看投影区域1110的区域中心为中心设置了热点区域1210，以观看投影区域1120的区域中心为中心设置了热点区域1220，以观看投影区域1130的区域中心为中心设置了热点区域1230，以观看投影区域1140的区域中心为中心设置了热点区域1240。当然这里的热点区域也可设置为方形或其他规则或不规则的形状的区域。

由于热点区域1220以及热点区域1230具有重叠区域，这里全景画面服务器可对热点区域1220以及热点区域1230进行热点区域的合并操作。

这样全景画面服务器可生成合并操作后的热点区域1310、热点区域1210以及热点区域1240。其中合并后的热点区域1310包括热点区域1220以及热点区域1230。如图12所示。这里要求合并后的热点区域包括之前的热点区域即可，合并后的点区域可为圆形、方形或其他规则或不规则的形状的区域。

这样即完成了全景画面服务器对该全景画面的热点区域的确认流程。

随后全景画面服务器根据上述全景画面的热点区域生成对应的全景画面，其包括以下流程：

一、全景画面服务器以第一设定时间间隔，检测用户在当前全景画面上的当前观看投影点，如图13中的观看投影点1401。

二、全景画面服务器获取距离观看投影点1401最近的热点区域1310，并将热点区域1310设置为激活热点区域。

三、全景画面服务器根据激活热点区域，设置全景画面中各个区域的画面分辨率，具体如图13所示。其中全景画面区域1501为高画面分辨率区域，全景画面区域1502为中画面分辨率区域，全景画面区域1503为低画面分辨率区域。随后返回获取用户的当前观看投影点的步骤，直至全景画面播放完毕。

当然这里也可以其他方式对全景画面区域进行划分，如将高画面分辨率区域、中画面分辨率区域以及低画面分辨率区域设置为圆形、椭圆形或其他规则或不规则形状的区域

这样即完成了本具体实施例的全景画面生成方法及全景画面生成装置的全景画面生成过程。

本发明的全景画面生成方法及生成装置基于全景画面的激活热点区域设置全景画面中各个区域的画面分辨率，在保证全景画面的画面显示品质的基础上，有效的减少了全景画面的带宽占用量；解决了现有的全景画面生成方法及生成装置中的全景画面播放卡顿或全景画面的画面显示品质较差的技术问题。

如本申请所使用的术语“组件”、“模块”、“系统”、“接口”、“进程”等等一般地旨在指计算机相关实体：硬件、硬件和软件的组合、软件或执行中的软件。例如，组件可以是但不限于是运行在处理器上的进程、处理器、对象、可执行应用、执行的线程、程序和/或计算机。通过图示，运行在控制器上的应用和该控制器二者都可以是组件。一个或多个组件可以有在于执行的进程和/或线程内，并且组件可以位于一个计算机上和/或分布在两个或更多计算机之间。

本文提供了实施例的各种操作。在一个实施例中，所述的一个或多个操作可以构成一个或多个计算机可读介质上存储的计算机可读指令，其在被电子设备执行时将使得计算设备执行所述操作。描述一些或所有操作的顺序不应当被解释为暗示这些操作必需是顺序相关的。本领域技术人员将理解具有本说明书的益处的可替代的排序。而且，应当理解，不是所有操作必需在本文所提供的每个实施例中存在。

而且，本文所使用的词语“优选的”意指用作实例、示例或例证。奉文描述为“优选的”任意方面或设计不必被解释为比其他方面或设计更有利。相反，词语“优选的”的使用旨在以具体方式提出概念。如本申请中所使用的术语“或”旨在意指包含的“或”而非排除的“或”。即，除非另外指定或从上下文中清楚，“X使用A或B”意指自然包括排列的任意一个。即，如果X使用A；X使用B；或X使用A和B二者，则“X使用A或B”在前述任一示例中得到满足。

而且，尽管已经相对于一个或多个实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件、资源等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或多个其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。

本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的方法。

综上所述，虽然本发明已以优选实施例揭露如上，但上述优选实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。

Claims (14)

1.一种全景画面生成方法，其特征在于，包括：

以第一设定时间间隔，检测用户在当前全景画面上的当前观看投影点；其中所述当前全景画面包括多个热点区域；

获取距离所述当前观看投影点距离最近的热点区域，并将距离所述当前观看投影点距离最近的热点区域设置为激活热点区域；

根据所述激活热点区域，设置全景画面中各个区域的画面分辨率；其中距离所述激活热点区域较近的全景画面区域的画面分辨率，大于距离所述激活热点区域较远的全景画面区域的画面分辨率；以及

根据所述全景画面中各个区域的画面分辨率，生成后续全景画面；并返回检测当前观看投影点的步骤，直至全景画面播放完毕；

所述全景画面生成方法还包括：

获取设定全景画面，并统计多个用户在所述设定全景画面上的观看投影点；

对多个用户的观看投影点进行聚类操作，以获取所述设定全景画面的多个观看投影区域；以及

根据所述设定全景画面的观看投影区域，确定所述设定全景画面的多个热点区域，其中每个热点区域对应至少一个所述观看投影区域。

2.根据权利要求1所述的全景画面生成方法，其特征在于，所述统计多个用户在所述设定全景画面上的观看投影点的步骤包括：

在设定时间段内，以第二设定时间间隔，统计多个用户在所述设定全景画面上的静态区域的观看投影点，其中所述静态区域是指所述设定全景画面的固定位置区域；或

在设定时间段内，以第二设定时间间隔，统计多个用户在所述设定全景画面上的动态区域的观看投影点，其中所述动态区域是指所述设定全景画面中的设定活动内容对应的区域。

3.根据权利要求1所述的全景画面生成方法，其特征在于，对多个用户的观看投影点进行聚类操作，以获取所述设定全景画面的多个观看投影区域的步骤包括：

确定一设定观看投影点；并获取所述设定观看投影点对应的观看投影区域的所有观看投影点；以及

将所述设定全景画面上的不具有观看投影区域的其他观看投影点设置为所述设定观看投影点，并转到确定设定观看投影点的步骤，直至所述设定全景画面上的所有观看投影点均具有对应的观看投影区域。

4.根据权利要求3所述的全景画面生成方法，其特征在于，所述获取所述设定观看投影点对应的观看投影区域的所有观看投影点的步骤包括：

获取所述设定观看投影点的相邻观看投影点；

如所述相邻观看投影点和所述设定观看投影点的距离小于等于设定值，则设定所述相邻观看投影点属于所述设定观看投影点对应的观看投影区域；以及

将所述观看投影区域的其他观看投影点设置为所述设定观看投影点，并转到获取相邻观看投影点的步骤，直至所述观看投影区域中未增加新的观看投影点。

5.根据权利要求1所述的全景画面生成方法，其特征在于，根据所述设定全景画面的观看投影区域，确定所述设定全景画面的多个热点区域的步骤包括：

获取所述观看投影区域的区域中心；以及

根据所述观看投影区域的区域中心以及设定区域半径，设定所述观看投影区域对应的热点区域。

6.根据权利要求5所述的全景画面生成方法，其特征在于，所述全景画面生成方法还包括：

如相邻观看投影区域对应的热点区域具有重叠区域，则将相邻观看投影区域对应的热点区域合并为同一热点区域。

7.根据权利要求1所述的全景画面生成方法，其特征在于，所述根据所述激活热点区域，设置全景画面中各个区域的画面分辨率的步骤为：

根据所述全景画面中各个区域和所述激活热点区域的距离，设置所述全景画面中各个区域的画面分辨率。

8.一种全景画面生成装置，其特征在于，包括：

当前观看投影点检测模块，用于以第一设定时间间隔，检测用户在当前全景画面上的当前观看投影点；其中所述当前全景画面包括多个热点区域；

激活热点区域设置模块，用于获取距离所述当前观看投影点距离最近的热点区域，并将距离所述当前观看投影点距离最近的热点区域设置为激活热点区域；

画面分辨率设置模块，用于根据所述激活热点区域，设置全景画面中各个区域的画面分辨率；其中距离所述激活热点区域较近的全景画面区域的画面分辨率，大于距离所述激活热点区域较远的全景画面区域的画面分辨率；以及

全景画面生成模块，用于根据所述全景画面中各个区域的画面分辨率，生成后续全景画面；

所述全景画面生成装置包括：

观看投影点统计模块，用于获取设定全景画面，并统计多个用户在所述设定全景画面上的观看投影点；

聚类模块，用于对多个用户的观看投影点进行聚类操作，以获取所述设定全景画面的多个观看投影区域；以及

热点区域确定模块，用于根据所述设定全景画面的观看投影区域，确定所述设定全景画面的多个热点区域，其中每个热点区域对应至少一个所述观看投影区域。

9.根据权利要求8所述的全景画面生成装置，其特征在于，

所述观看投影点统计模块用于在设定时间段内，以第二设定时间间隔，统计多个用户在所述设定全景画面上的静态区域的观看投影点，其中所述静态区域是指所述设定全景画面的固定位置区域；或

所述观看投影点统计模块用于在设定时间段内，以第二设定时间间隔，统计多个用户在所述设定全景画面上的动态区域的观看投影点，其中所述动态区域是指所述设定全景画面中的设定活动内容对应的区域。

10.根据权利要求8所述的全景画面生成装置，其特征在于，所述聚类模块包括：

相关观看投影点获取单元，用于确定一设定观看投影点；并获取所述设定观看投影点对应的观看投影区域的所有观看投影点；以及

设定观看投影点设置单元，用于将所述设定全景画面上的不具有观看投影区域的其他观看投影点设置为所述设定观看投影点。

11.根据权利要求10所述的全景画面生成装置，其特征在于，所述相关观看投影点获取单元包括：

相邻观看投影点获取子单元，用于获取所述设定观看投影点的相邻观看投影点；

观看投影区域设置子单元，用于如所述相邻观看投影点和所述设定观看投影点的距离小于等于设定值，则设定所述相邻观看投影点属于所述设定观看投影点对应的观看投影区域；以及

设定观看投影点设置子单元，用于将所述观看投影区域的其他观看投影点设置为所述设定观看投影点。

12.根据权利要求8所述的全景画面生成装置，其特征在于，所述热点区域确定模块包括：

区域中心获取单元，用于获取所述观看投影区域的区域中心；以及

热点区域设定单元，用于根据所述观看投影区域的区域中心以及设定区域半径，设定所述观看投影区域对应的热点区域。

13.根据权利要求12所述的全景画面生成装置，其特征在于，所述热点区域确定模块还包括：

热点区域合并单元，用于如相邻观看投影区域对应的热点区域具有重叠区域，则将相邻观看投影区域对应的热点区域合并为同一热点区域。

14.根据权利要求8所述的全景画面生成装置，其特征在于，所述画面分辨率设置模块用于根据所述全景画面中各个区域和所述激活热点区域的距离，设置所述全景画面中各个区域的画面分辨率。