CN109978753B - 绘制全景热力图的方法和装置 - Google Patents

Abstract

本发明公开了一种绘制全景热力图的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取场景的全景图、多个单视角热力图；从多个单视角热力图中提取目标区域的热力数据；将目标区域的热力数据映射到目标区域在全景图中对应的区域，以得到全景热力图。该实施方式能够立体地展示场景的热力数据；并减少视觉盲区。

Description

绘制全景热力图的方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种绘制全景热力图的方法和装置。

背景技术

热力图是一种以特殊高亮的形式(即使用某些特殊的颜色)显示访客热衷的页面区域或地理区域的图像，通常热力图的形式主要有以下三种：

1.网页热力图，是指记录用户在网页上鼠标点击的位置，根据用户在网页上点击的位置所制作的热力图；

2.开放环境热力图，应用于开放环境的热力图，其热力数据采集一般使用到卫星或收集用户的全球定位系统(GPS)数据等，以此获取地理位置上的人流或车流密集程度，例如在地图中显示的交通堵塞图等；

3.场景热力图，是指利用摄像头识别访客流，通过监控影像记录访客在该场景的停留位置从而制作的热力图。

现有技术在绘制场景热力图时通常采用以下两种方法：

1.基于一个摄像头(即单一视角)的绘制方法，通过一个摄像头拍摄场景图，并利用该摄像头识别人流以确定访客在店铺中的停留位置，从而获得场景的热力数据，根据热力数据和场景图直接绘制场景热力图；

2.基于多个摄像头(即多个视角)的绘制方法，首先获取场景的二维平面图，然后通过多个摄像头识别人流以确定访客在店铺中的停留位置等信息，从而获得多个摄像头在场景的热力数据，将多个摄像头的热力数据进行融合，形成二维平面的场景热力图。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

1.基于单一视角所绘制的热力图存在大量的视觉盲区，无法完整地展示示场景深度信息；

2.基于多个视角所绘制的热力图无法立体地展示热力数据，即无法表示场景深度信息。

发明内容

有鉴于此，本发明实施例提供一种绘制全景热力图的方法和装置，能够立体地展示场景的热力数据；并减少视觉盲区。

为实现上述目的，根据本发明实施例的一个方面，提供了一种绘制全景热力图的方法。

本发明实施例的一种绘制全景热力图的方法包括：获取场景的全景图、多个单视角热力图；从多个所述单视角热力图中提取目标区域的热力数据；将所述目标区域的热力数据映射到所述目标区域在所述全景图中对应的区域，以得到全景热力图。

可选地，将所述目标区域的热力数据映射到所述目标区域在所述全景图中对应的区域包括：选取场景中所述目标区域的标记点，根据所述标记点将所述目标区域划分为多个多边形区域；其中，所述多边形区域的顶点是所述标记点；将所述多边形区域的热力数据映射到所述多边形区域在所述全景图中对应的区域。

可选地，热力数据包括多个离散点的热力值；将所述多边形区域的热力数据映射到所述多边形区域在所述全景图中对应的区域包括：根据所述单视角热力图的多个所述离散点的热力值计算所述多边形区域的顶点的热力值；利用线性插值法根据所述多边形区域的顶点的热力值计算所述多边形区域的边缘热力数据；其中，所述边缘热力数据包括多个边缘离散点的热力值；将所述多边形区域的顶点的热力值和多个所述边缘离散点的热力值绘制到所述全景图中；以及将所述多边形区域在所述单视角热力图中对应的多个所述离散点的热力值透视投影到所述全景图中。

可选地，根据所述单视角热力图的多个所述离散点的热力值计算所述多边形区域的顶点的热力值包括：获取所述多边形区域的顶点在所述单视角热力图中的位置坐标；从所述单视角热力图中选取靠近所述多边形区域的顶点的多个所述离散点，并确定多个所述离散点的位置坐标；利用线性插值法或邻近算法根据所述多边形区域的顶点的位置坐标、多个所述离散点的位置坐标以及多个所述离散点的热力值计算所述多边形区域的顶点的热力值。

可选地，所述方法还包括：获取所述标记点在所述全景热力图中的归一化坐标；利用映射方程对所述归一化坐标进行计算得到所述标记点在球面全景热力图像中的全景坐标；基于所述全景坐标和所述全景热力图生成所述球面全景热力图像。

为实现上述目的，根据本发明实施例的又一方面，提供了一种绘制全景热力图的装置。

本发明实施例的一种绘制全景热力图的装置包括：获取模块，用于获取场景的全景图、多个单视角热力图；提取模块，用于从多个所述单视角热力图中提取目标区域的热力数据；映射模块，用于将所述目标区域的热力数据映射到所述目标区域在所述全景图中对应的区域，以得到全景热力图。

可选地，所述映射模块还用于：选取场景中所述目标区域的标记点，根据所述标记点将所述目标区域划分为多个多边形区域；其中，所述多边形区域的顶点是所述标记点；将所述多边形区域的热力数据映射到所述多边形区域在所述全景图中对应的区域。

可选地，热力数据包括多个离散点的热力值；所述映射模块进一步用于：根据所述单视角热力图的多个所述离散点的热力值计算所述多边形区域的顶点的热力值；利用线性插值法根据所述多边形区域的顶点的热力值计算所述多边形区域的边缘热力数据；其中，所述边缘热力数据包括多个边缘离散点的热力值；将所述多边形区域的顶点的热力值和多个所述边缘离散点的热力值绘制到所述全景图中；以及将所述多边形区域在所述单视角热力图中对应的多个所述离散点的热力值透视投影到所述全景图中。

可选地，所述映射模块进一步用于：获取所述多边形区域的顶点在所述单视角热力图中的位置坐标；从所述单视角热力图中选取靠近所述多边形区域的顶点的多个所述离散点，并确定多个所述离散点的位置坐标；利用线性插值法或邻近算法根据所述多边形区域的顶点的位置坐标、多个所述离散点的位置坐标以及多个所述离散点的热力值计算所述多边形区域的顶点的热力值。

可选地，所述装置还包括：生成模块，用于获取所述标记点在所述全景热力图中的归一化坐标；利用映射方程对所述归一化坐标进行计算得到所述标记点在球面全景热力图像中的全景坐标；基于所述全景坐标和所述全景热力图生成所述球面全景热力图像。

为实现上述目的，根据本发明实施例的又一方面，提供了一种绘制全景热力图的电子设备。

本发明实施例的一种绘制全景热力图的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的一种绘制全景热力图的方法。

为实现上述目的，根据本发明实施例的再一方面，提供了一种计算机可读存储介质。

本发明实施例的一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的一种绘制全景热力图的方法。

上述发明中的一个实施例具有如下优点或有益效果：因为采用单视角热力图与全景图结合的技术手段，从多个单视角热力图中提取目标区域的热力数据，将目标区域的热力数据映射到全景图中与目标区域对应的区域，从而得到全景热力图，所以克服了基于单一视角所绘制的热力图存在大量的视觉盲区；基于多个视角所绘制的热力图无法立体地展示热力数据的技术问题，进而达到立体地展示场景的热力数据；且所绘制的全景热力图能够减少视觉盲区的技术效果。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的绘制全景热力图的方法的主要步骤的示意图；

图2是根据本发明实施例的绘制全景热力图的装置的主要模块的示意图；

图3是根据本发明实施例的绘制全景热力图的方法的一种实现流程示意图；

图4是根据本发明实施例的一种应用场景的示意图；

图5是根据本发明实施例的绘制全景热力图的方法的另一种实现流程示意图；

图6是根据本发明实施例的另一种应用场景的示意图；

图7是本发明实施例可以应用于其中的示例性系统架构图；

图8是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要指出的是，在不冲突的情况下，本发明的实施例以及实施例中的技术特征可以相互结合。

图1是根据本发明实施例的绘制全景热力图的方法的主要步骤的示意图。

如图1所示，本发明实施例的绘制全景热力图的方法主要包括以下步骤：

步骤S101：获取场景的全景图、多个单视角热力图。

由于现有技术在绘制热力图时，是基于普通图像或平面图进行绘制，而基于一个视角的普通图像所绘制的热力图存在视觉盲区；并且，并且基于普通图像或二维平面图所绘制的热力图均无法立体地展示场景的热力数据。

为了立体地展示场景的热力数据，便于精确分析访客热衷的区域，本发明实施例基于场景的全景图以及多个单视角热力图来绘制全景热力图。全景图是通过全景相机将水平+/-180°、垂直+/-90°场景内的图像完整的记录下来，将同一场景不同视角的多个图像经过全景图像拼接算法得到的，全景图中包含该场景的全部图像信息。

需要说明的是，热力数据是基于访客在场景中的停留位置及在停留位置停留时间等信息所得到的数据；场景可以是商场、店铺、书店或图书馆等能够拍摄全景的空间。

步骤S102：从多个单视角热力图中提取目标区域的热力数据。

为了使所绘制的全景热力图避免存在视觉盲区，可以从已有的多个视角的普通热力图中提取目标区域所对应的热力数据，即分别提取目标区域在每个单视角热力图中所对应的热力数据，可以直接从单视角热力图中提取目标区域所对应的热力数据，也可以基于绘制单视角热力图的数据来提取目标区域所对应的热力数据。例如单视角热力图以特殊高亮的形式显示热力数据，可以根据单视角热力图在目标区域所标记的颜色提取热力数据。

其中，目标区域是指场景中需要展示或分析的区域，可以是场景中某些物体的周边区域，例如店铺中的货架区域，即货架附近区域，包括货架的顶部到底部等立体区域。

需要说明的是，本步骤在提取热力数据时，可以从多个单视角热力图中选取一个单视角热力图来提取目标区域的热力数据，也可以分别从多个单视角热力图中提取目标区域所对应的热力数据，再基于目标区域在多个单视角热力图中所对应的热力数据计算目标区域的热力数据。

步骤S103：将目标区域的热力数据映射到目标区域在全景图中对应的区域，以得到全景热力图。

为了能够在全景热力图中立体地展示热力数据，将多个单视角热力图中的热力数据分别映射到全景图中与目标区域对应的区域，通过多个视角的热力数据与全景图结合立体地展示场景的热力数据。

在本发明实施例中，步骤S103可以通过选取场景中目标区域的标记点，根据标记点将目标区域划分为多个多边形区域，将标记点作为多边形区域的顶点；将多边形区域的热力数据映射到多边形区域在全景图中对应的区域实现。

在为某个场景绘制全景热力图时，从该场景需要绘制热力图像的目标区域中选取标记点，所选取的标记点可以作为基准用于计算目标区域的热力数据。其中，标记点可以根据实际情况从目标区域选取，并预先在目标区域进行标记，也可以直接在全景图中添加。

由于目标区域可能不是一个连续的区域，或目标区域是一个较大的区域，为便于计算并保证所绘制全景热力图的精度，可以将目标区域划分为多个的多边形区域，例如在目标区域任意选取三个点构成三角形区域，该三角形区域即为一个多边形区域；在将目标区域划分为多个多边形区域的同时，也将目标区域在多个单视角热力图中的热力数据进行划分，即划分出的多边形区域在多个单视角热力图中分别对应有相应的热力数据，因此，可以将多边形区域在单视角热力图中对应的热力数据映射到全景图中对应的多边形区域。需要说明的是，上述内容是将从一个单视角热力图中提取的热力数据映射到全景图中，重复上述内容可以将从各个单视角热力图中提取的热力数据全部映射到全景图中，从而得到全景热力图。

在本发明实施例中，热力数据包括多个离散点的热力值。其中，离散点是将热力数据离散化后得到的多个点，离散化是指把热力数据所对应的区域中无限个点采用对坐标近似处理的方式得到有限个点，即目标区域的热力数据包括该目标区域中多个离散点的热力值，多边形区域的热力数据包括该多边形区域中多个离散点的热力值。

多边形区域包括多边形区域的顶点、多边形区域的边缘和多边形区域的内部，则将多边形区域对应的热力数据投影到全景图中对应的多边形区域可以包括以下步骤：

步骤S1031：根据单视角热力图的多个离散点的热力值计算多边形区域的顶点的热力值：

对于多边形区域的顶点的热力值可以根据该多边形区域中多个离散点的热力值计算得到。

步骤S1032：利用线性插值法根据多边形区域的顶点的热力值计算多边形区域的边缘热力数据：

多边形区域的边缘热力数据可以根据该多边形区域的顶点的热力值计算得到，具体地，边缘热力数据同样包括多个边缘离散点的热力值，可以根据顶点的热力值采用线性插值法等算法计算多个边缘离散点的热力值。

步骤S1033：将多边形区域的顶点的热力值和多个边缘离散点的热力值绘制到全景图中；以及将多边形区域对应的多个离散点的热力值透视投影到全景图中：

在得到多边形区域的顶点的热力值、多个缘离散点的热力值以及多边形区域中多个离散点的热力值后，可以在全景图中绘制热力数据，具体地，多边形区域的顶点的热力值和多个缘离散点的热力值可以直接绘制到全景图中，多边形区域对应的多个离散点的热力值可以透视投影到全景图中，从而绘制出全景热力图。

需要说明的是，透视投影是从某个投射中心将物体投射到单一投影面上所得到的图形。透视图与人观看物体时所产生的视觉效果非常接近，所以它能更加生动形象地表现物体，在已有实景实物的情况下，通过拍照或摄像即能得到透视图。

具体地，可以利用邻近算法或线性插值法根据多个离散点的热力值计算多边形区域的顶点的热力值。在本发明实施例中，根据多个离散点的热力值计算多边形区域的顶点的热力值包括：获取多边形区域的顶点在单视角热力图中的位置坐标；从单视角热力图中选取靠近多边形区域的顶点的多个离散点，并确定多个离散点的位置坐标；利用线性插值法或邻近算法根据多边形区域的顶点的位置坐标、多个离散点的位置坐标以及多个离散点的热力值计算多边形区域的顶点的热力值。

需要说明的是，线性插值法是指使用连接两个已知量的直线来确定在这两个已知量之间的一个未知量的值的方法，本发明实施例可以根据多边形区域的顶点的位置坐标、该顶点附近的离散点的位置坐标以及多个离散点的热力值计算多边形区域的顶点的热力值；邻近算法是一种是数据挖掘分类算法，能够用于对未知数据的识别，通过找出与样本最近的几个“邻居”，将这些“邻居”的属性的平均值赋给该样本，就可以得到该样本的属性，本发明实施例可以根据多边形区域的顶点附近的离散点的热力值计算该顶点的热力值。

在本发明实施例中，绘制出全景热力图之后，还可以根据全景热力图进一步生成球面全景热力图像，该球面全景热力图像能够在全景播放设备中进行播放，通过调整屏幕角度可以观看某个场景不同视角的全景热力图，例如在智能手机中播放某个图书馆的球面全景热力图像，通过滑动屏幕观看该图书馆不同视角的全景热力图。

具体地，可以通过以下步骤生成球面全景热力图像：

步骤一：获取标记点在全景热力图中的归一化坐标：

首先，以全景图的某个顶点作为原点，从全景图中测量各标记点的坐标(a，b)，其中，可以将坐标中的a对应于全景图的宽、b对应于全景图的高；然后，测量全景图的宽和高；最后，将各标记点的坐标进行归一化处理得到各标记点的归一化坐标(a’，b’)，其中，归一化处理是指将标记点的坐标中的a和b分别除以全景图的宽和高，a’即为a除以全景图的宽得到的值，b’即为b除以全景图的宽得到的值。

步骤二：利用映射方程对归一化坐标进行计算得到标记点在球面全景热力图像中的全景坐标：

标记点在全景热力图中的归一化坐标是二维坐标，而生成球面全景热力图像需要标记点的三维坐标，即标记点在球面全景热力图像中的全景坐标，可以利用映射方程将二维坐标系转换为三维坐标系，映射方程为：

x＝cos[(v/b-0.5)*π]*sin(u/a*2*π)；

y＝sin[(v/b-0.5)*π]；

z＝cos[(v/b-0.5)*π]*cos(u/a*2*π)；

其中，a和b分别为全景热力图的长宽，(u，v)表示标记点在全景热力图中的坐标，(x，y，z)表示标记点在球面全景热力图像中的坐标。

步骤三：基于全景坐标和全景热力图生成球面全景热力图像。

球面全景热力图像是基于全景热力图生成，球面全景热力图像是将观测点设置在球面全景热力图像的球心处，观测点任一视角下的观测区域是梯形区域(梯形区域的上底靠近观测点)，梯形区域的上底作为前投影面，区域中的图像通过透视投影方法映射至前投影面，前投影面上的图像即为球面全景热力图像。

根据本发明实施例的绘制全景热力图的方法可以看出，因为采用单视角热力图与全景图结合的技术手段，从多个单视角热力图中提取目标区域的热力数据，将目标区域的热力数据映射到全景图中与目标区域对应的区域，从而得到全景热力图，所以克服了基于单一视角所绘制的热力图存在大量的视觉盲区；基于多个视角所绘制的热力图无法立体地展示热力数据的技术问题，进而达到立体地展示场景的热力数据；且所绘制的全景热力图能够减少视觉盲区的技术效果。

图2是根据本发明实施例的绘制全景热力图的装置的主要模块的示意图。

如图2所示，本发明实施例的绘制全景热力图的装置200包括：获取模块201、提取模块202和映射模块203。

其中，

获取模块201，用于获取场景的全景图、多个单视角热力图；

提取模块202，用于从多个所述单视角热力图中提取目标区域的热力数据；

映射模块203，用于将所述目标区域的热力数据映射到所述目标区域在所述全景图中对应的区域，以得到全景热力图。

在本发明实施例中，所述映射模块203还用于：选取场景中所述目标区域的标记点，根据所述标记点将所述目标区域划分为多个多边形区域；其中，所述多边形区域的顶点是所述标记点；将所述多边形区域的热力数据映射到所述多边形区域在所述全景图中对应的区域。

此外，热力数据包括多个离散点的热力值。

在本发明实施例中，所述映射模块203进一步用于：根据所述单视角热力图的多个所述离散点的热力值计算所述多边形区域的顶点的热力值；利用线性插值法根据所述多边形区域的顶点的热力值计算所述多边形区域的边缘热力数据；其中，所述边缘热力数据包括多个边缘离散点的热力值；将所述多边形区域的顶点的热力值和多个所述边缘离散点的热力值绘制到所述全景图中；以及将所述多边形区域在所述单视角热力图中对应的多个所述离散点的热力值透视投影到所述全景图中。

在本发明实施例中，所述映射模块203进一步用于：获取所述多边形区域的顶点在所述单视角热力图中的位置坐标；从所述单视角热力图中选取靠近所述多边形区域的顶点的多个所述离散点，并确定多个所述离散点的位置坐标；利用线性插值法或邻近算法根据所述多边形区域的顶点的位置坐标、多个所述离散点的位置坐标以及多个所述离散点的热力值计算所述多边形区域的顶点的热力值。

此外，所述装置还包括：生成模块，用于获取所述标记点在所述全景热力图中的归一化坐标；利用映射方程对所述归一化坐标进行计算得到所述标记点在球面全景热力图像中的全景坐标；基于所述全景坐标和所述全景热力图生成所述球面全景热力图像。

根据本发明实施例的绘制全景热力图的装置可以看出，因为采用单视角热力图与全景图结合的技术手段，从多个单视角热力图中提取目标区域的热力数据，将目标区域的热力数据映射到全景图中与目标区域对应的区域，从而得到全景热力图，所以克服了基于单一视角所绘制的热力图存在大量的视觉盲区；基于多个视角所绘制的热力图无法立体地展示热力数据的技术问题，进而达到立体地展示场景的热力数据；且所绘制的全景热力图能够减少视觉盲区的技术效果。

图3是根据本发明实施例的绘制全景热力图的方法的一种实现流程示意图。

本发明实施例在绘制全景热力图时，可以使用多个普通摄像头来获取某个场景的单视角热力图，分别从多个单视角热力图中提取该场景的热力数据，并分别绘制到该场景的全景图中，从而得到全景热力图。

如图3所示，首先，获取目标区域在单视角热力图中的位置；同时，获取目标区域在单视角热力图中的热力数据；然后，基于目标区域在单视角热力图中的热力数据计算目标区域在全景图中的热力数据；同时，基于目标区域在单视角热力图中的位置确定目标区域在全景图中的位置，可以通过选取参照点的方式确定目标区域在全景图中的位置；最后，根据目标区域在全景图中的位置将目标区域在全景图中的热力数据绘制到全景图中。

上述步骤是从一个单视角热力图中提取热力数据并绘制到全景图中，重复上述步骤获取每个单视角热力图中的热力数据并绘制到全景图，即可得到全景热力图。

需要说明的是，为某个场景绘制全景热力图时，可以从不同视角的单视角热力图中提取热力数据，且不限制单视角热力图的数量，单视角热力图能够覆盖该场景的全景图即可，以图4所示的场景为例，该场景中仅有两个目标区域，即目标1的周边区域和目标2的周边区域，且目标1和目标2相对存在于该场景的两侧，由于全景摄像头位于中间位置，所拍摄的全景图仅包括目标1和目标2之间的区域，所以，在选择单视角热力图时，只需要选择目标1和目标2靠近全景摄像头这一侧的单视角热力图，即通过普通摄像头1和普通摄像头2所得到的两个单视角热力图。

图5是根据本发明实施例的绘制全景热力图的方法的另一种实现流程示意图。

如图5所示，本发明实施例绘制全景热力图的流程包括以下几个步骤：

步骤S501：获取场景的全景图：

场景的全景图可以利用全景摄像头拍摄，也可以通过普通图合成，还可以获取现有的全景图。

需要说明的是，全景图中可以带有目标区域的标记点，并为标记点添加编号，该标记点可以根据需要预先在目标区域标记，也可以直接在全景图中添加。

步骤S502：获取目标区域的各个标记点在一个单视角热力图中的位置坐标(m，n)。

步骤S503：计算目标区域的各标记点在一个单视角热力图中的热力值：

由于单视角热力图中的热力数据包括多个离散点的热力值，因此，在计算各标记点在一个单视角热力图中的热力值时，可以先从该单视角热力图中选取靠近多边形区域的顶点的多个离散点，并确定每个离散点的位置坐标(p，q)，然后利用线性插值法或邻近算法根据各个标记点的位置坐标(m，n)、每个离散点的位置坐标(p，q)以及每个离散点的热力值计算多边形区域的顶点的热力值。

其中，各标记点在一个单视角热力图中的热力数据可以表示为(m，n，r)，其中，m和n用于表示标记点在单视角热力图中的坐标，r表示该标记点的热力值。

步骤S504：确定目标区域的各标记点在全景图中的热力值：

通过标记点的编号可以得到步骤S503计算出的标记点在一个单视角热力图中的热力值。

步骤S505：计算目标区域的各个标记点在全景图中的归一化坐标(a’，b’)：

首先，以全景图的某个顶点作为原点，从全景图中测量各标记点的坐标(a，b)，其中，可以将坐标中的a对应于全景图的宽、b对应于全景图的高；然后，测量全景图的宽和高；最后，将各标记点的坐标进行归一化处理得到各标记点的归一化坐标(a’，b’)，其中，归一化处理是指将标记点的坐标中的a和b分别除以全景图的宽和高，a’即为a除以全景图的宽得到的值，b’即为b除以全景图的宽得到的值。

根据所得到的各个标记点的归一化坐标(a’，b’)将步骤S504所得到的各标记点的热力值绘制到全景图中。

步骤S506：确定目标区域在全景热力图中的热力数据：

根据标记点将目标区域划分为多个的多边形区域，将标记点作为多边形区域的顶点，基于单视角热力图确定各个多边形区域在全景热力图中的热力数据，即得到目标区域在全景热力图中的热力数据。

通过将各个多边形区域的热力数据分别绘制到全景图中的方式，将目标区域的热力数据绘制到全景图中。

以三个标记点构成一个多边形区域为例，如图6所示，图中的两个三角形区域分别是该多边形区域在单视角热力图和全景图的对应区域，该多边形区域包括三个顶点(即构成该多边形区域的三个标记点)、三个边缘和多边形区域的内部，对于三个顶点的热力值可以通过步骤S504得到；对于三个边缘可以利用线性插值法根据各顶点的位置坐标以及各顶点的热力值计算得到三个边缘的边缘热力数据，基于顶点的位置坐标将边缘热力数据绘制到全景图中；三个标记点所构成的多边形区域的内部为多个离散点及多个离散点的热力值，多个离散点的热力值可以从单视角热力图中直接获得，将多个离散点的热力值透视投影到全景图中。通过上述步骤即可将该多边形区域的热力数据绘制到全景图中。

步骤S507：绘制场景的全景热力图：

重复步骤S502-步骤S506即可将多个单视角热力图中的热力数据绘制到全景图中得到全景热力图。

需要注意的是，通过步骤S503计算得到的是标记点在一个单视角热力图中的热力值，重复步骤S503即可得到标记点不同视角的单视角热力图中的热力值，可以根据标记点的编号从不同视角的单视角热力图中获取标记点的热力值，并从中选择一个作为该标记点在全景图中的热力值，或将标记点在不同视角的单视角热力图中的热力值的均值作为该标记点在全景图中的热力值；

以及，多边形区域在全景热力图中的热力数据可以基于一个单视角热力图确定，也可以基于多个单视角热力图确定，如果多边形区域基于多个单视角热力图所得到的热力数据不同，可以取均值作为该多边形区域在全景图中的热力数据，从而确定目标区域在全景热力图中的热力数据。

步骤S508：生成场景的球面全景热力图像：

首先，以全景图的某个顶点作为原点，从全景图中测量各标记点的坐标(a，b)，其中，可以将坐标中的a对应于全景图的宽、b对应于全景图的高；然后，测量全景图的宽和高；最后，将各标记点的坐标进行归一化处理得到各标记点的归一化坐标(a’，b’)，其中，归一化处理是指将标记点的坐标中的a和b分别除以全景图的宽和高，a’即为a除以全景图的宽得到的值，b’即为b除以全景图的宽得到的值；

然后，利用映射方程对归一化坐标进行计算得到各标记点的全景坐标，标记点在全景热力图中的归一化坐标是二维坐标，而生成球面全景热力图像需要标记点的三维坐标，可以利用映射方程将二维坐标系转换为三维坐标系，映射方程为：

x＝cos[(v/b-0.5)*π]*sin(u/a*2*π)；

y＝sin[(v/b-0.5)*π]；

z＝cos[(v/b-0.5)*π]*cos(u/a*2*π)；

其中，a和b分别为全景热力图的长宽，(u，v)表示标记点在全景热力图中的坐标，(x，y，z)表示标记点在球面全景热力图像中的坐标；

最后，基于各标记点的全景坐标和全景热力图生成球面全景热力图像。

通过步骤S508生成的球面全景热力图像能够在全景播放设备中进行播放，球面全景热力图像是将观测点设置在球面全景热力图像的球心处，通过调整屏幕角度可以观看某个场景不同视角的全景热力图。

全景热力图是由普通图像合成全景图后，在全景图中绘制热力数据得到的，因此，可以基于合成全景图的普通图像，首先，在合成全景图之前将普通图像进行拼接，获取各标记点在拼接的普通图像中的坐标；然后，获取全景图的宽和高；最后，将各标记点的坐标进行归一化处理得到各标记点的归一化坐标，其中，归一化处理是指将标记点的坐标分别除以全景图的宽和高，例如某标记点的横坐标对应于全景图的宽、纵坐标对应于全景图的高，则将横坐标除以全景图的宽得到的值和纵坐标除以全景图的高得到的值作为该标记点的归一化坐标。

图7示出了可以应用本发明实施例的绘制全景热力图的方法或绘制全景热力图的装置的示例性系统架构700。

如图7所示，系统架构700可以包括终端设备701、702、703，网络704和服务器705。网络704用以在终端设备701、702、703和服务器705之间提供通信链路的介质。网络704可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备701、702、703通过网络704与服务器705交互，以接收或发送消息等。终端设备701、702、703上可以安装有各种全景播放应用。

终端设备701、702、703可以是具有显示屏的各种电子设备，终端设备701、702、703还可以是全景播放设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器705可以是提供各种服务的服务器。后台管理服务器可以对接收到的图像等数据进行处理，并将处理结果反馈给终端设备。

需要说明的是，本发明实施例所提供的绘制全景热力图的方法一般由服务器705执行，相应地，绘制全景热力图的装置一般设置于服务器705中。

应该理解，图7中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图8，其示出了适于用来实现本发明实施例的终端设备的计算机系统800的结构示意图。图8示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图8所示，计算机系统800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有系统800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括获取模块、提取模块和映射模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，提取模块还可以被描述为“提取目标区域在多个所述单视角热力图中所对应的热力数据的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：步骤S101：获取场景的全景图、多个单视角热力图；步骤S102：从多个单视角热力图中提取目标区域的热力数据；步骤S103：将目标区域的热力数据映射到目标区域在全景图中对应的区域，以得到全景热力图。

根据本发明实施例的技术方案，因为采用单视角热力图与全景图结合的技术手段，从多个单视角热力图中提取目标区域的热力数据，将目标区域的热力数据映射到全景图中与目标区域对应的区域，从而得到全景热力图，所以克服了基于单一视角所绘制的热力图存在大量的视觉盲区；基于多个视角所绘制的热力图无法立体地展示热力数据的技术问题，进而达到立体地展示场景的热力数据；且所绘制的全景热力图能够减少视觉盲区的技术效果。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种绘制全景热力图的方法，其特征在于，包括：

获取场景的全景图、多个单视角热力图；

从多个所述单视角热力图中提取目标区域的热力数据，其中目标区域划分为多个多边形区域，每个多边形区域对应有包括多个离散点热力值的热力数据；

将所述目标区域的热力数据映射到所述目标区域在所述全景图中对应的区域，以得到全景热力图，包括：根据单视角热力图的多个所述离散点的热力值计算多边形区域的顶点的热力值；利用线性插值法根据多边形区域的顶点的热力值计算多边形区域的边缘热力数据，将多边形区域的顶点的热力值和多个边缘离散点的热力值绘制到全景图中；以及将多边形区域对应的多个离散点的热力值透视投影到全景图中。

2.根据权利要求1所述的方法，其特征在于，将所述目标区域的热力数据映射到所述目标区域在所述全景图中对应的区域包括：

选取场景中所述目标区域的标记点，根据所述标记点将所述目标区域划分为多个多边形区域；其中，所述多边形区域的顶点是所述标记点；

将所述多边形区域的热力数据映射到所述多边形区域在所述全景图中对应的区域。

3.根据权利要求1所述的方法，其特征在于，根据所述单视角热力图的多个所述离散点的热力值计算所述多边形区域的顶点的热力值包括：

获取所述多边形区域的顶点在所述单视角热力图中的位置坐标；

从所述单视角热力图中选取靠近所述多边形区域的顶点的多个所述离散点，并确定多个所述离散点的位置坐标；

利用线性插值法或邻近算法根据所述多边形区域的顶点的位置坐标、多个所述离散点的位置坐标以及多个所述离散点的热力值计算所述多边形区域的顶点的热力值。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

获取所述标记点在所述全景热力图中的归一化坐标；

利用映射方程对所述归一化坐标进行计算得到所述标记点在球面全景热力图像中的全景坐标；

基于所述全景坐标和所述全景热力图生成所述球面全景热力图像。

5.一种绘制全景热力图的装置，其特征在于，包括：

获取模块，用于获取场景的全景图、多个单视角热力图；

提取模块，用于从多个所述单视角热力图中提取目标区域的热力数据，其中目标区域划分为多个多边形区域，每个多边形区域对应有包括多个离散点热力值的热力数据；

映射模块，用于将所述目标区域的热力数据映射到所述目标区域在所述全景图中对应的区域，以得到全景热力图，包括：根据单视角热力图的多个所述离散点的热力值计算多边形区域的顶点的热力值；利用线性插值法根据多边形区域的顶点的热力值计算多边形区域的边缘热力数据，将多边形区域的顶点的热力值和多个边缘离散点的热力值绘制到全景图中；以及将多边形区域对应的多个离散点的热力值透视投影到全景图中。

6.根据权利要求5所述的装置，其特征在于，所述映射模块还用于：

选取场景中所述目标区域的标记点，根据所述标记点将所述目标区域划分为多个多边形区域；其中，所述多边形区域的顶点是所述标记点；

将所述多边形区域的热力数据映射到所述多边形区域在所述全景图中对应的区域。

7.根据权利要求5所述的装置，其特征在于，所述映射模块进一步用于：

获取所述多边形区域的顶点在所述单视角热力图中的位置坐标；

从所述单视角热力图中选取靠近所述多边形区域的顶点的多个所述离散点，并确定多个所述离散点的位置坐标；

利用线性插值法或邻近算法根据所述多边形区域的顶点的位置坐标、多个所述离散点的位置坐标以及多个所述离散点的热力值计算所述多边形区域的顶点的热力值。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：

生成模块，用于获取所述标记点在所述全景热力图中的归一化坐标；利用映射方程对所述归一化坐标进行计算得到所述标记点在球面全景热力图像中的全景坐标；基于所述全景坐标和所述全景热力图生成所述球面全景热力图像。

9.一种绘制全景热力图的电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任一所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-4中任一所述的方法。