CN109300182B - 全景图像数据处理方法、处理设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种全景图像数据处理方法、处理设备及存储介质。所述全景图像数据处理方法包括：沿载体球的经线和纬线切割全景球体图像，以形成多个切割图像；其中，切割图像包括位于兴趣区域的第一类图像，和位于非兴趣区域的第二类图像；以第一渲染点密度对应的第一处理参数处理第一类图像，得到第一图像数据；并以第二渲染点密度对应的第二处理参数处理第二类图像，得到第二图像数据；其中，第一渲染点密度大于第二渲染点密度；记录各切割图像在载体球上的位置，形成显示位置参数；基于将第一图像数据、第二图像数据、第一渲染点密度、第二渲染点密度及显示位置参数，形成全景图像文件；其中，全景图像文件，用于重新输出全景球体图像。

Description

全景图像数据处理方法、处理设备及存储介质

技术领域

本发明涉及多媒体信息技术领域，尤其涉及一种全景图像数据处理方法、处理设备及存储介质。

背景技术

全景图像，是以摄像头为中心的上、下、左及右等各个范围以360度空间进行拍摄得到的图像。全景图像在输出时，相当于将用户置于以摄像头为中线的采集空间内，替代摄像头的位置进行观察。用户可以根据自身需求，选择全景图像的各个景别。

在现有技术中，通常把在各个角度采集的图像，通过切割生成一个球体图像之后，将球体图像打包到生成图像文件。实践发现，这样的图像文件的数据量大，后续存储在服务器中，占用的存储资源大，在输出设备中重新恢复球体图像时，计算量大。

发明内容

有鉴于此，本发明实施例期望提供一种全景图像数据处理方法、处理设备及存储介质，至少部分解决上述问题。

为达到上述目的，本发明的技术方案是这样实现的：

第一方面，本发明实施例提供一种全景图像数据处理方法，包括：

沿载体球的经线和纬线切割全景球体图像，以形成多个切割图像；其中，所述切割图像包括位于兴趣区域的第一类图像，和位于非兴趣区域的第二类图像；

以第一渲染点密度对应的第一处理参数处理所述第一类图像，得到第一图像数据；并以第二渲染点密度对应的第二处理参数处理所述第二类图像，得到第二图像数据；其中，所述第一渲染点密度大于所述第二渲染点密度；

记录各所述切割图像在所述载体球上的位置，形成显示位置参数；

基于将所述第一图像数据、所述第二图像数据、所述第一渲染点密度、第二渲染点密度及所述显示位置参数，形成全景图像文件；其中，所述全景图像文件，用于重新输出全景球体图像。

基于上述方案，所述方法还包括：

确定位于所述载体球上的兴趣中心；

将兴趣图像以所述兴趣中心为对称中心，贴附到所述载体球上；

根据所述兴趣图像所在位置确定出兴趣区域；其中，所述兴趣区域以所述兴趣中心为中心，所述兴趣区域的边界与所述载体球的经线和纬线重合。

基于上述方案，所述确定位于所述载体球上的兴趣中心，包括：

在所述载体球的赤道上选择一个点作为所述兴趣中心；

其中，所述兴趣区域对称分布在所述赤道的两侧；所述显示位置参数还包括：所述兴趣区域所对应的经度和纬度，或，所述兴趣中心的位置及纬度方向的角度和/或经度方向的角度。

基于上述方案，所述方法还包括：

获取图像清晰度要求；

所述以第一渲染点密度对应的第一处理参数处理所述第一类图像，得到第一图像数据；并以第二渲染点密度对应的第二处理参数处理所述第二类图像，得到第二图像数据，包括：

基于与所述清晰度要求对应的第一渲染点密度，处理所述第一类图像得到所述第一图像数据，基于低于所述清晰度要求对应的第二渲染点密度处理所述第二类图像得到所述第二图像数据。

第二方面，本发明实施例提供一种全景图像数据处理方法，包括：

接收全景图像文件，其中，所述全景图像文件包括：显示位置参数参数、第一图像数据、第二图像数据、第一渲染点密度、第二渲染点密度；

构建载体球；

以所述第一渲染点密度对所述第一图像数据进行渲染处理，生成渲染后的第一类图像；并以所述第二渲染点密度对所述第二图像数据进行渲染处理，生成渲染后的第二类图像；其中，第一类图像贴附到所述载体球上后，形成兴趣区域；所述第二类图像贴附到所述载体球上后，形成非兴趣区域；所述第一渲染点密度高于所述第二渲染点密度；所述第一类图像和所述第二类图像，均是沿载体球的经线和纬线切割的切割图像；

根据所述显示位置参数，将渲染后的所述第一类图像和渲染后的所述第二类图像贴附到所述载体球上，形成全景球体图像。

基于上述方案，所述显示位置参数还包括：所述兴趣区域所对应的经度和纬度，或，所述兴趣区域的兴趣中心的位置及纬度方向的角度和/或经度方向的角度；

所述根据所述显示位置参数，将渲染后的所述第一类图像和渲染后的所述第二类图像贴附到所述载体球上，形成全景球体图像，包括：

根据所述兴趣区域所对应的经度和纬度，或，兴趣中心的位置及角度，

将所述渲染后的第一类图像贴附到所述兴趣区域。

基于上述方案，所述兴趣中心位于所述载体球的赤道上；所述兴趣区域对称分布在所述赤道的两侧。

第三方面，本发明实施例提供一种处理设备，所述处理设备为提供服务器，包括：

切割单元，用于沿载体球的经线和纬线切割全景球体图像，以形成多个切割图像；其中，所述切割图像包括位于兴趣区域的第一类图像，和位于非兴趣区域的第二类图像；

处理单元，用于以第一渲染点密度对应的第一处理参数处理所述第一类图像，得到第一图像数据；并以第二渲染点密度对应的第二处理参数处理所述第二类图像，得到第二图像数据；其中，所述第一渲染点密度大于所述第二渲染点密度；

记录单元，用于记录各所述切割图像在所述载体球上的位置，形成显示位置参数；

第一形成单元，用于基于将所述第一图像数据、所述第二图像数据、所述第一渲染点密度、第二渲染点密度及所述显示位置参数，形成全景图像文件；其中，所述全景图像文件，用于重新输出全景球体图像。

第四方面，本发明实施例提供一种处理设备，所述处理设备为输出设备，包括：

接收单元，用于接收全景图像文件，其中，所述全景图像文件包括：显示位置参数参数、第一图像数据、第二图像数据、第一渲染点密度、第二渲染点密度；

构建单元，用于构建载体球；

生成单元，用于以所述第一渲染点密度对所述第一图像数据进行渲染处理，生成渲染后的第一类图像；并以所述第二渲染点密度对所述第二图像数据进行渲染处理，生成渲染后的第二类图像；其中，第一类图像贴附到所述载体球上后，形成兴趣区域；所述第二类图像贴附到所述载体球上后，形成非兴趣区域；所述第一渲染点密度高于所述第二渲染点密度；所述第一类图像和所述第二类图像，均是沿载体球的经线和纬线切割的切割图像；

第二形成单元，用于根据所述显示位置参数，将渲染后的所述第一类图像和渲染后的所述第二类图像贴附到所述载体球上，形成全景球体图像。

第五方面，本发明实施例提供一种处理设备，包括：处理器、存储器、及存储在所述存储器上且由所述处理器运行的计算机程序；

所述处理器，用于通过执行所述计算机程序，实现前述一个或多个技术方案提供的全景图像数据处理方法。

第六方，本发明实施例提供一种计算机存储介质，所述计算机存储介质存储有计算机程序；所述计算机程序被执行后，能够实现前述一个或多个技术方案提供的全景图像数据处理方法。

本发明实施例提供的全景图像数据处理方法、处理设备及存储介质，服务提供方在提供全景图像文件时，首先会对全景球体图像沿着载体球的经线和纬线切割，分别得到组成得兴趣区域的第一类图像，和组成非兴趣区域的第二类图像。这样会使得兴趣区域和非兴趣区域的边界一定是与载体球的经线和纬线重合的。这样后续在输出设备，以不同的渲染点密度进行兴趣区域和非兴趣区域的渲染后拼贴时，不会产生僵硬的拼贴痕迹，可以提升全景球体图像的图像质量。在本实施例中，还会基于兴趣区域和非兴趣区域，采用与对应的渲染点的密度匹配的处理参数分别处理，这样会使得非兴趣区域的图像数据的数据量可以大大的减少，从而减少全景图像文件的数据量，减少存储全景图像文件的存储容量的消耗，减少传输全景图像文件的带宽及流量的占用。

附图说明

图1为本发明实施例提供的第一种全景图像数据处理方法的流程示意图；

图2为本发明实施例提供的一种载体球的示意图；

图3为本发明实施例提供的兴趣区域和非兴趣区域在载体球上的分布示意图；

图4为本发明实施例提供的第二种全景图像数据处理方法的流程示意图；

图5为本发明实施例提供的一种提供服务器的结构示意图；

图6为本发明实施例提供的一种输出设备的结构示意图；

图7为本发明实施例提供的一种处理设备的结构示意图；

图8为本发明实施例提供的第三种全景图像数据处理方法的流程示意图。

具体实施方式

以下结合说明书附图及具体实施例对本发明的技术方案做进一步的详细阐述。

如图1所示，本实施例提供一种全景图像数据处理方法，包括：

步骤S110：沿载体球的经线和纬线切割所述全景球体图像，以形成多个切割图像；其中，所述切割图像包括位于兴趣区域的第一类图像，和位于非兴趣区域的第二类图像；

步骤S120：以第一渲染点密度对应的第一处理参数处理所述第一类图像，得到第一图像数据，并以第二渲染点密度对应的第二处理参数处理所述第二类图像，得到第二图像数据；其中，所述第一渲染点密度大于所述第二渲染点密度；

步骤S130：记录各所述切割图像在所述载体球上的位置，形成显示位置参数；

步骤S140：基于将所述第一图像数据、所述第二图像数据、所述第一渲染点密度、第二渲染点密度及所述显示位置参数，形成全景图像文件；其中，所述全景图像文件，用于重新输出全景球体图像。

本实施例提供的全景图像数据处理方法，可为应用于进行全景图像提供的提供服务器中。

在执行步骤S110之前，所述方法还可包括：获取所述全景球体图形。在一些实施例中，所述获取全景球体图像可包括：构建载体球；将采集的图像贴附到所述载体球上，以形成全景球体图像。在另一些实施例中，所述获取全景球体图像还可包括：从其他电子设备接收全景球体图像。

这里的载体球为一个未贴附有采集的图像的球体。是所述全景球体图像的支撑球体。

在本实施例中在步骤S110中会切割全景球体图像，在进行切割时，会沿着所述载球体的经线和纬线进行切割。若一个球体包括两个位于一条直径两端的极点，则在球体表面连接这两个极点的线为经线，而在球体表面分布的与经线垂直的为纬线。如图2所示为一个显示有经线和纬线的载体球。其中经线的周长是等长的，纬线的长度是不相等，从中间位置向两极纬线的周长依次缩小，其中最长的也是位于最中间位置的纬线为赤道。

在本实施例中进行全景球体图像切割时，是沿着经线和纬线切割的，这样形成的切割图像，若利用经线和纬线将载体球划分多个区域时，若划分区域的区域表面积不小于最小面积的切割图像的面积，则不会产生一个切割图像被置于多个区域的现象。

在本实施例中，所述全景球体图像包括：用户会感兴趣的兴趣区域和兴趣区域以外的非兴趣区域。在本实施例中所述切割图像是沿经线和/或所述纬线切割成的，则由切割图像组成的兴趣区域和非兴趣区域的边界，会与所述经线和/或所述纬线重合。

在完成图像切割之后，分别对第一类图像和第二类图像进行处理。所述第一类图像会采用与第一渲染点密度的第一处理参数进行处理，对于第二类图像会采用第二渲染点密度的第二处理参数。这里的渲染点密度为：输出设备在进行图像渲染时，单位面积上需要渲染的像素点的个数。

若渲染点密度越高，则相当于单位面积上的渲染的像素点越多，则要求对应的被渲染的图像的图像分辨率越高。图像分辨率可为单面面积上包括的像素个数。单位面积内包括的像素个数越多，则显然图像数据越多。

故在本实施例中所述步骤S120，若全景球体图像上切割下来的切割图像的图像分辨率高于与所述第一渲染点密度匹配的图像分辨率，则通过降采样等方式，降低对应切割图像的图像分辨率，从而减少所述第一图像数据的图像量。故此时，所述第一处理参数和第二处理参数可为采样率。在本实施例中等面积的切割图像，采用第一处理参数和第二处理参数处理后，输出图像数据的数据量是不同，采用第一处理参数处理得到图像数据的数据量，通常是大于采用第二处理参数处理后的图像数据的数据量。

在本实施例中，与所述第一渲染点密度匹配的图像分辨率可为：位于兴趣区域的原始图像的最低图像分辨率。非兴趣区域通常为用户不会关注的图像区域，在本实施例中，通常以低于第一渲染点密度的第二渲染点密度对应的第二处理参数，处理第二类图像。这样处理得到的第二类图像可为图像分辨率是低于第一类图像的图像分辨率，图像分辨率降低了，显然图像数据的数据量就减少了，故再次降低了全景图像文件的图像数据量，从而减少了图像数据占用的存储内存。

在一些实施例中，所述第一处理参数和第二处理参数可为编码率；通常所述编码率越低，则编码形成图像数据中的冗余比特越多，一般冗余比特可包括校验比特，通过校验比特的引入减少数据传输过程差错。故在本实施例中所述第一处理参数可包括第一编码率，所述第二处理参数可为第二编码率；所述第一编码率小于第二编码率。第一类图像的编码率较低以确保更加正确的传输。

在另一些实施例中，所述第一处理参数和第二处理参数还可包括：输出参数。通常兴趣区域是用于需要查看的区域，需要输出图像数据。而非兴趣区域为用户可能不需要查看的区域，若此时对应的渲染点密度为0，所述第二处理参数可为禁止输出参数，则第二图像数据输出为空。此时，可以进一步减少所述全景图像文件中的数据量。

总之，所述第一处理参数、第二处理参数，均可为图像分辨率、编码率及输出参数等至少其中之一。

所述全景球体图像可为全景球体视频，也可以为单张的静态的全景球体图像，还可以是包括几张可以切换的全景球体动图等。

在步骤S130中会记录下各个切割图像在载体球上的位置，形成显示位置参数。这样的话，输出设备在进行切割图像再次拼接为全景球体图像时，知道如何具体哪一个切割图像的贴附位置。

在一些实施例中，所述第一类图像和所述第二类图像可以分别位于所述全景图像文件的不同部分，这样输出设备接收端之后，就知道哪些是第一图像数据及哪些是第二图像数据，从而相对应的渲染点密度进行渲染，获得预期的图像效果。

在另一些实施例中，所述全景图像文件中还会设置兴趣区域的区域位置信息，这样的话，输出设备在接收到所述区域位置信息之后，结合显示位置信息，就知道哪些图像数据为第一类图像的图像数据，需要以第一渲染点密度进行渲染，哪些是第二类图像的图像数据，需要以第二渲染点密度进行渲染。

在还有一些实施例中，可以在全景图像文件中，增加区分第一图像数据和第二图像数据的数据标识，这样输出设备接收到全景图像文件之后，也可以却分出第一图像数据和第二图像数据，从而采用对应的渲染点密度进行渲染处理。

在还有一些实施例中，全景图像文件的按照预定格式，将第一图像数据、第二图像数据、显示位置参数、第一渲染点密度和第二渲染点密度等存储在特定位置，输出设备根据预定格式，就可以区分出第一图像数据和第二图像数据。例如，将第一渲染点密度和第一图像数据、第一类图像的显示位置参数封装在一个子文件中，将第二图像数据、第二渲染点密度及第二类图像的显示位置参数封装在另一个子文件中，这样的话，基于不同的子文件就知道图像数据、渲染点密度及显示位置参数之间的对应关系，从而输出设备基于存储的预定格式，就实现采用对应的渲染点密度对图像数据进行处理，从而获得其他的渲染后的全景球体图像。

在一些实施例中，所述方法还包括：

确定位于所述载体球上的兴趣中心；这里的兴趣中心优选为兴趣区域的中心点；将兴趣图像以所述兴趣中心为对称中心，贴附到所述载体球上。

在本实施例中，提供全景图像数据的提供服务器，预先将采集的用于构建全景图像的多个原始分图像拼接到载体球上，形成全景球体图像。在进行拼接的时候，首先会确定兴趣中心，然后基于兴趣中心，将兴趣区域对应的原始分图像以兴趣中心为对称中心，拼接到所述载体球上。例如，利用分布在不同方向上的8个采集设备，采集了8张原始分图像；其中，1台设备采集的用户可能最感兴趣的图像，该原始分图像为兴趣图像。在确定出所述兴趣中心之后，将原始分图像拼接到载体球上时，架构所述兴趣图像的中心对准所述兴趣中心进行帖附，从而可以确保兴趣图像贴附到载体球上之后，以所述兴趣中心对称分布。这样会使得兴趣区域在载体球上对称分布，满足人眼观看的习惯，提高用户观看感受。

图3所示为一个兴趣区域和非兴趣区域在载体球上的一个分布示意图，在图3中兴趣中心位于赤道上，兴趣区域分布在赤道两侧，且以兴趣中兴为中心堆成。非兴趣区域为载体球上兴趣区域以外的区域。在图3中兴趣区域内的网格密度大于非兴趣区域的网格密度，这里的网格密度可以指代不同的渲染点密度。且从图3可知兴趣区域和非兴趣区域的边界处显然与载体球的经线和纬线重合。

所述方法还包括：根据所述兴趣图像所在位置，确定出兴趣区域；其中，所述兴趣区域以所述兴趣中心为中心，所述兴趣区域的边界与所述载体球的经线和纬线重合。

通常原始分图像贴附到载体球上之后，相连两个分图像之间的重叠部分可能需要裁减掉，兴趣图像中的部分可能也会被裁减掉，在本实施例中可以根据兴趣图像在载体球上的位置，确定出兴趣区域。在本实施例中兴趣区域的边界是经线和/或纬线构成。兴趣区域对应的第一类图像均是采用第一处理参数处理的，例如，图像分辨率、编码率等，这样可以确保同一个兴趣区域内的图像质量或图像显示效果具有统一性，避免出现不同清晰明显边界的图像效果差的问题。

在还有一些实施例中，所述兴趣区域可以分为多个等级兴趣子区域，不同等级的兴趣子区域对应的渲染点密度也是不同，对应的第一处理参数的也是不同，但是同一个兴趣子区域对应的渲染点密度和处理参数是唯一可以确定的。将兴趣区域再次划分为多个等级的兴趣子区域，在进行图像数据处理时，再次进行分级处理，可以进一步减少图像数据的数据量，可以再次在输出设备中实现渲染的差异化，以最小的存储资源和渲染资源提供符合预期的渲染后的全景球体图像。

进一步地，所述确定位于所述载体球上的兴趣中心，包括：

在所述载体球的赤道上选择一个点作为所述兴趣中心；

其中，所述兴趣区域对称分布在所述赤道的两侧；所述显示位置参数还包括：所述兴趣区域所对应的经度和纬度，或，所述兴趣中心的位置及纬度方向的角度和/或经度方向的角度。

在本实施例中所述兴趣中心，设定在载体球上的赤道上。这里的赤道为载体球上周长最大的纬线，也是位于最中间位置的纬线，而经线的周长都是等长。

在本实施例中将兴趣中心设置在赤道上，且兴趣区域是以兴趣中心对称分布的，相当于使得兴趣区域对称分布在载体球的赤道两侧，而这个区域通常是用户视觉最集中的区域，将图像质量最好及渲染效果最好的区域，展现在用户视觉最集中的区域，显然可以提供用户的观看效果。

在本实施例中，显示位置参数可包括指示兴趣区域所在位置的区域位置参数。具体可为兴趣区域所对应的经度和纬度，这里的经度和纬度可为兴趣区域的边界重叠的经度和纬度，这样输出设备基于该经度和纬度，可以确定载体球上兴趣区域。在另一些实施例中，所述区域位置参数还可包括：兴趣中心的位置，例如，中心点的经度和纬度。结合兴趣区域在经度上所跨过的角度及在纬度上所跨国的角度，也可以确定出兴趣区域来。在本实施例中是直接利用显示位置参数，告知输出设备兴趣区域的所在位置，而非利用存储格式等各种方式来隐性指示。

可选地，所述方法还包括：

获取图像清晰度要求；

所述步骤S120可包括：

基于与所述清晰度要求对应的第一渲染点密度，处理所述第一类图像得到所述第一图像数据，基于低于所述清晰度要求对应的第二渲染点密度处理所述第二类图像得到所述第二图像数据。

清晰度要求可以转换为图像分辨率等图像参数。在本实施例中，所述渲染点密度时与清晰度要求相匹配的。一个全景球体图像并非每一个区域都是用户重点关注的区域，都需要达到所述清晰度要求。在本实施例中通过将全景图像区分为兴趣区域和非兴趣区域，可以仅对兴趣区域满足所述清晰度要求即可，故对兴趣区域基于与所述清晰度要求匹配的第一渲染点密度处理兴趣区域，而对于非兴趣区域可以降低对图像质量的要求，以降低输出的第二类图像的第二图像数据的数据量。

进一步地，所述方法还可包括：

压缩所述全景图像文件，

将所述全景图像文件上传给存储服务器。

所述存储服务器在接收到所述全景图像文件之后，会存储所述全景图像文件。由于全景图像文件自设携带的数据量本来就少，再次压缩后，数据量更少，这样存储到存储服务器之后，显然占用的存储资源少。

在一些实施例中，所述方法还可包括：

存储服务器在接收到读取请求或者发送请求时，将自身存储的所述全景图像文件的压缩文件发送给输出设备。

所述读取请求可为来自输出设备的主动请求，所述发送请求可为来自所述提供服务器指示发送给对应输出设备的请求。

在另一些实施例中，所述发送请求还可为：基于应用设置自动推送的请求，该自动推送的请求可为存储服务器自动生成的。

总之，所述存储服务器在接收到对应的请求之后，会将所述全景图像文件的压缩文件传输给输出设备，以提供输出设备输出对应的全景球体图像所需的数据。

在一些实施例中，为了方便输出设备精确重现提供服务器形成的全景球体图像，所述全景图像文件中还可以携带有载体球的半径或直接等球体参数。所述半径或所述直径，可以用于确定所述载体球的大小。在另一些实施例中，所述球体参数还可包括：倾斜角度参数。这里的倾斜角度参数，可以为载体球的平面与观看者所在铅垂线之间的角度，从而通过球体参数的提供，以方便输出设备精确输出提供服务器所提供的全景球体图像，提升用户观看效果。

在本实施例中，所述输出设备可为智能眼镜等设备。

如图4所示，本实施例提供一种全景图像数据处理方法，包括：

步骤S210：接收全景图像文件，其中，所述全景图像文件包括：显示位置参数参数、第一图像数据、第二图像数据、第一渲染点密度、第二渲染点密度；

步骤S220：构建载体球；

步骤S230：以所述第一渲染点密度对所述第一图像数据进行渲染处理，生成渲染后的第一类图像；并以所述第二渲染点密度对所述第二图像数据进行渲染处理，生成渲染后的第二类图像；其中，第一类图像贴附到所述载体球上后，形成兴趣区域；所述第二类图像贴附到所述载体球上后，形成非兴趣区域；所述第一渲染点密度高于所述第二渲染点密度；所述第一类图像和所述第二类图像，均是沿载体球的经线和纬线切割的切割图像；

步骤S240：根据所述显示位置参数，将渲染后的所述第一类图像和渲染后的所述第二类图像贴附到所述载体球上，形成全景球体图像。

本实施例提供的全景图像数据处理方法，为应用于输出设备中的方法。在本实施例中所述输出设备可为各种能够搭建全景球体图像的方法，例如，围绕观看者的智能投影设备，例如，可以在用户眼中投影的智能眼镜等，或者悬挂在空中悬挂式投影仪等显示设备等。

在本实施例中输出设备接收全景图像文件，这里的全景图像文件可为压缩后的图像文件，具有数据量少的特点。此外，全景图像文件中图像数据是不同类图像的图像数据，至少第二类图像的第二图像数据是通过降采样或高编码率等处理过的，是数据量少的图像数据。这样的话，显然可以节省带宽和数据流量。

构建载体球，这里的载体球的构建，可以确定出全景图像文件中携带的切割图像的贴附球体。在接收到所述全景图像文件之后，会解析所述全景图像文件，然后对应不同的图像数据，以不同的渲染点密度进行渲染。对于兴趣区域的第一类图像采用较高渲染点密度进行渲染，而对于用户不感兴趣的非兴趣区域采用较低的渲染点密度进行渲染，避免采用统一较高的渲染点密度进行渲染，导致占用的输出设备的渲染资源多的问题，减少因为输出设备渲染消耗资源大导致的反映时延大的现象，减少设备出现死机或卡顿的现象，提升用户观看满意度。

在完成图像的渲染之后，将图像逐一拼贴到载体球上，且由于第一类图像和第二类图像的切割过程在，都是沿着载体球的经线和纬线切割的，故拼贴的过程中不会因为兴趣区域和非兴趣区域之间的明显交界线，减少拼贴痕迹，再次提升图像效果。

可选地，所述显示位置参数还包括：兴趣区域所对应的经度和纬度，或，所述兴趣中心的位置及纬度方向的角度和/或经度方向的角度；

所述步骤S240可包括：

根据所述兴趣区域所对应的经度和纬度，或，兴趣中心的位置及角度，

将所述渲染后的第一类图像贴附到所述兴趣区域。

所述显示位置参数还包括：指示兴趣区域的区域位置参数，这样的话，输出设备在接收到所述全景图像文件，生成所述全景球体图像之后，就知道当前兴趣区域的所在位置。

在一些实施例中，所述方法还包括：

获取用户的视线信息，例如，用户视线对准的方位等信息；

基于用户的视线信息，转动生成全景球体图像，使得全景球体图像的兴趣区域朝向用户的视线方向，实现智能显示，避免用户自行通过视线方向的调整是来搜寻兴趣区域导致的用户体验差，或用户首先关注到的是图像质量差等用户体验差的问题。

进一步地，所述兴趣区域对称分布在所述载体球赤道的两侧；所述兴趣中心位于所述赤道上。

在本实施例中兴趣区域是中心对称区域。所述兴趣区域的中心即为所述兴趣中心，该兴趣中心位于赤道上，则所述兴趣区域会对称分布在所述赤道两侧。这种对称分布可以满足人类观看习惯，可以提升观看体验。

如图5所示，本实施例提供一种处理设备，所述处理设备为提供服务器，包括：

切割单元110，用于沿载体球的经线和纬线切割全景球体图像，以形成多个切割图像；其中，所述切割图像包括位于兴趣区域的第一类图像，和位于非兴趣区域的第二类图像；

处理单元120，用于以第一渲染点密度对应的第一处理参数处理所述第一类图像，得到第一图像数据；并以第二渲染点密度对应的第二处理参数处理所述第二类图像，得到第二图像数据；其中，所述第一渲染点密度大于所述第二渲染点密度；

记录单元130，用于记录各所述切割图像在所述载体球上的位置，形成显示位置参数；

第一形成单元140，用于基于将所述第一图像数据、所述第二图像数据、所述第一渲染点密度、第二渲染点密度及所述显示位置参数，形成全景图像文件；其中，所述全景图像文件，用于重新输出全景球体图像。

本实施例提供的一种电子设备，该电子设备为提供全景图像文件的提供服务器。

所述切割单元110、处理单元120、记录单元130及第一形成单元140均可以对应于与存储介质及处理器。所述处理器可包括：中央处理器、微处理器、数字信号处理器、应用处理器或可编程阵列及专用集成电路等。

所述处理器可通过计算机程序等执行，实现前述一个或多个应用于提供服务器中的全景图像数据处理方法。

在一些实施例中，所述提供服务器还包括：

确定单元，用于确定位于所述载体球上的兴趣中心；

贴附单元，用于将兴趣图像以所述兴趣中心为对称中心，贴附到所述载体球上；

所述确定单元，还用于根据所述兴趣图像所在位置确定出兴趣区域；其中，所述兴趣区域以所述兴趣中心为中心，所述兴趣区域的边界与所述载体球的经线和纬线重合。

所述确定单元，可对应于处理器或处理电路。

进一步地，所述确定单元，具体用于在所述载体球的赤道上选择一个点作为所述兴趣中心；其中，所述兴趣区域对称分布在所述赤道的两侧；所述显示位置参数还包括：所述兴趣区域所对应的经度和纬度，或，所述兴趣中心的位置及纬度方向的角度和/或经度方向的角度。

进一步地，所述提供服务器还包括：获取单元，用于获取图像清晰度要求；所述处理单元120，可具体用于基于与所述清晰度要求对应的第一渲染点密度，处理所述第一类图像得到所述第一图像数据，基于低于所述清晰度要求对应的第二渲染点密度处理所述第二类图像得到所述第二图像数据。

所述获取单元可对应于通信接口，从其他设备接收所述清晰度要求，或者，对应于人机交互接口，可以从键盘、鼠标或键盘等接收所述清晰度要求，或者，对应于处理器，基于采集的原始分图像确定出清晰度要求，例如，通过函数处理，计算各个原始分图像的清晰度，利用计算得到的清晰度均值或中值作为所述清晰度要求对应的清晰度值。当然，这里仅是举例，具体实现不局限于上述任意一种。

如图6所示，本实施例提供一种处理设备所述处理设备为输出设备，包括：

接收单元210，用于接收全景图像文件，其中，所述全景图像文件包括：显示位置参数参数、第一图像数据、第二图像数据、第一渲染点密度、第二渲染点密度；

构建单元220，用于构建载体球；

生成单元230，用于以所述第一渲染点密度对所述第一图像数据进行渲染处理，生成渲染后的第一类图像；并以所述第二渲染点密度对所述第二图像数据进行渲染处理，生成渲染后的第二类图像；其中，第一类图像贴附到所述载体球上后，形成兴趣区域；所述第二类图像贴附到所述载体球上后，形成非兴趣区域；所述第一渲染点密度高于所述第二渲染点密度；所述第一类图像和所述第二类图像，均是沿载体球的经线和纬线切割的切割图像；

第二形成单元240，用于根据所述显示位置参数，将渲染后的所述第一类图像和渲染后的所述第二类图像贴附到所述载体球上，形成全景球体图像。

在本实施例中所述接收单元可对应于通信接口，例如，网络接口或接收天线等，可以从网络侧或其他设备处接收所述全景图像文件。

构建单元220、生成单元230及第二形成单元240都可以对应于处理器，这里的处理器的相关描述可以参见前述提供服务器中对处理器的描述。

所述输出设备可为各种类型的显示设备，例如，可进行投影显示的投影显示设备，例如，智能眼镜等。

在本实施例中，所述构建单元220构建载体球，例如，基于输出设备自身存储的，或者，基于全景图像文件中携带的各种参数，例如渲染密度参数、显示位置参数及球体参数等，构建所述载体球；在构建出载体球后，会将渲染处理后的第一类图像和第二类图像，基于显示位置参数拼贴到该载体球上，形成以用户眼睛所在位置为球心的全景球体图像。

可选地，所述显示位置参数还包括：所述兴趣区域所对应的经度和纬度，或，所述兴趣区域的兴趣中心的位置及纬度方向的角度和/或经度方向的角度；

所述第二形成单元240，具体可用于根据所述兴趣区域所对应的经度和纬度，或，兴趣中心的位置及角度，将所述渲染后的第一类图像贴附到所述兴趣区域。

可选地，所述兴趣中心位于所述载体球的赤道上；所述兴趣区域对称分布在所述赤道的两侧。

如图7所示，本实施例还提供一种处理设备，包括：处理器310、存储器320、及存储在所述存储器320上且由所述处理器310运行的计算机程序；所述处理器310，用于通过执行所述计算机程序，实现前述一个实施例或多个实施例提供的全景图像数据处理方法。

这里的处理设备可为前述的提供服务器或输出设备等。当所述处理设备为输出设备时，还包括：显示器，该显示器用于显示生成的全景球体图像。

所述处理器可包括：中央处理器、微处理器、数字信号处理器、应用处理器或可编程阵列及专用集成电路等。

所述存储器320可包括各种类型的存储介质，所述存储介质可为随机存储介质、只读存储介质、闪存等各种存储介质，可选为至少包括：部分非瞬间存储介质，该非瞬间存储介质可用于存储所述计算机程序。

所述处理器310从所述存储器320上读取所述计算机程序，并执行所述计算机程序，可以执行前述任意一个或多个方案提供的全景图像数据处理方法。

本发明实施例还提供一种计算机存储介质，所述计算机存储介质存储有计算机程序；所述计算机程序被执行后，能够前述一个或多个技术方案提供的全景图像数据处理方法。

本实施例提供的计算机存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。优选地，所述计算机存储介质为非存储介质。

以下结合上述任意一个实施例提供两个具体示例：

示例1：

球面全景视频的播放载体通常为球体，并且该球体上的渲染点，按照经纬度和预先划定的间隔规则地分布。倘若载球体上的渲染点数目过少而全景视频单帧的像素总数过大，则播放时视频将由于渲染不足而模糊不清。然而倘若有同一球体上的两处区域，其中一处区域的渲染点刚好足够完全渲染某个尺寸的视频切片，而另一处区域的渲染点数目较少，则同一清晰度的视频切片呈现在后者上的清晰度必然小于前者，并且所占用的空间和系统资源都较小。

本示例首先提供一个全景图像处理系统包括：提供服务器、存储服务器和输出设备。以下以全景视频为例进行全景图像处理的说明。例如，提供服务器以原始的球面全景视频的矩形展开为原材料，进行视频压缩，并将输出的视频发送至服务器中保存。服务器将被压缩的全景视频发送给提交查看请求的输出设备，输出设备接受视频后运行专门适配的播放器，即可播放被压缩后的视频。

本示例提供的全景图像数据处理方法，包括：

提供服务器确定感兴趣中心和兴趣区域的尺寸；所述尺寸包括：当视频贴贴附到球体上后，感兴趣中心到兴趣区域边界所需要经过的经度和纬度度数。

在确定兴趣区域的中心位置后，构建出视频载体球B，使得原始全景展开视频I在收拢到球体B上后，感兴趣中心能够恰好位于球体B赤道上，此时依据先前的经纬度尺寸划出兴趣区域，则该区域的形状关于在载体球的赤道和某条经线是对称的。

载体球B的渲染点分布应当如下：仅在视频兴趣区域的对应位置内，渲染点的密度仅仅足以完全清晰地渲染该区域的视频(即不再需要多余的渲染点)，而兴趣区域外，渲染点的密度应当较为稀疏。不论兴趣区域内外，渲染点都仍保持经纬线型的分布。

将视频附着到载体球上，并开始压缩视频。设定导出视频仅在载体球B上有渲染点的位置进行像素导出，而抛弃其余位置的像素。因此，导出视频除了兴趣区域保持原有清晰度外，剩余的兴趣区域以外的非兴趣区域的清晰度将小于兴趣区域的清晰度。

提供服务器将压缩后导出的全景视频Ⅱ发往服务器中保存，由于全景视频Ⅱ的数据量远小于原始全景视频Ⅰ，因此便于传输，并且占用服务器较小的存储空间。

用户在输出设备发出浏览请求(查看请求的一种)，服务器接受该请求后，将全景压缩视频Ⅱ连同载体球B的各项参数一起发送到输出设备。

输出设备播放器获取载体球B的数据后在输出设备本机构造载体球，之后导入视频并播放。

本示例中第一方面，缩视频(图片同样适用)的是直接在球体上以经纬度为边界进行操作。并且基于兴趣区域和非兴趣区域设置不同的渲染点密度，兴趣区域的渲染点的密度可以高于非兴趣区域的渲染点密度，从而降低了非兴趣区域的渲染点高密度导致的数据量大的问题，减少了数据量。

第二方面，为了提视觉效果，压缩后的视频在播放时感兴趣区域的边界在视觉中是对称的，符合人眼视场对称的关系。

第三方面，因为在压缩时构建了渲染点分布不均匀的载体球，构建与压缩时同规格的载体球才能进行播放。构建载体球只需要在调取视频的同时调用设备的系统资源来完成，其所占用的系统资源少且处理时间较少，而通过独特载体球来播放视频，由于其对于视频的渲染小于常规播放器，因此占用的系统资源也将比常规全景播放器更小。

示例2：

如图8所示，本示例提供一种全景图像视频处理方法，包括：

全景球体的原始视频的视频帧展开；

选择兴趣中心；

构建载体球，按照兴趣区域的尺寸及兴趣中心的位置，在载体球上拼贴视频帧，形成原始的全景球体图像；

沿着经线和纬线至少切割出兴趣区域和非兴趣区域，形成切割图像；

利用不同的处理参数处理兴趣区域和非兴趣区域的切割图像，得到图像数据输出；

压缩视频帧的图像数据，导出有渲染点的切割图像的图像数据(图形中像素的像素值)。

存储服务器接收到提供服务器发送的全景图像文件，再次压缩；

再次压缩后存储。

输出设备启用专用播放器；

读取视频；

按照对应的参数构建载体球，

播出全景球体视频。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种全景图像数据处理方法，其特征在于，包括：

确定位于载体球上的兴趣中心；

将兴趣图像以所述兴趣中心为对称中心，贴附到所述载体球上；所述兴趣中心位于所述载体球的赤道上；

根据所述兴趣图像在所述载体球上的位置，确定出兴趣区域；所述兴趣区域对称分布在所述赤道的两侧；

沿载体球的经线和纬线切割全景球体图像，以形成多个切割图像；其中，所述切割图像包括位于兴趣区域的第一类图像，和位于非兴趣区域的第二类图像；

以第一渲染点密度对应的第一处理参数处理所述第一类图像，得到第一图像数据；并以第二渲染点密度对应的第二处理参数处理所述第二类图像，得到第二图像数据；其中，所述第一渲染点密度大于所述第二渲染点密度；

记录各所述切割图像在所述载体球上的位置，形成显示位置参数；

基于将所述第一图像数据、所述第二图像数据、所述第一渲染点密度、第二渲染点密度及所述显示位置参数，形成全景图像文件；其中，所述全景图像文件，用于重新输出全景球体图像。

2.根据权利要求1所述的方法，其特征在于，

所述兴趣区域以所述兴趣中心为中心，所述兴趣区域的边界与所述载体球的经线和纬线重合。

3.根据权利要求2所述的方法，其特征在于，

所述确定位于载体球上的兴趣中心，包括：

在所述载体球的赤道上选择一个点作为所述兴趣中心；

其中，所述显示位置参数还包括：所述兴趣区域所对应的经度和纬度，或，所述兴趣中心的位置及纬度方向的角度和/或经度方向的角度。

4.根据权利要求1、2或3所述的方法，其特征在于，

所述方法还包括：

获取图像清晰度要求；

所述以第一渲染点密度对应的第一处理参数处理所述第一类图像，得到第一图像数据；并以第二渲染点密度对应的第二处理参数处理所述第二类图像，得到第二图像数据，包括：

基于与所述清晰度要求对应的第一渲染点密度，处理所述第一类图像得到所述第一图像数据，基于低于所述清晰度要求对应的第二渲染点密度处理所述第二类图像得到所述第二图像数据。

5.一种全景图像数据处理方法，其特征在于，包括：

接收全景图像文件，其中，所述全景图像文件包括：显示位置参数、第一图像数据、第二图像数据、第一渲染点密度、第二渲染点密度；

构建载体球；

以所述第一渲染点密度对所述第一图像数据进行渲染处理，生成渲染后的第一类图像；并以所述第二渲染点密度对所述第二图像数据进行渲染处理，生成渲染后的第二类图像；其中，第一类图像贴附到所述载体球上后，形成兴趣区域；所述兴趣区域根据兴趣图像在所述载体球上的位置确定出，所述兴趣区域对称分布在所述载体球的赤道的两侧，所述兴趣图像以位于所述载体球上的兴趣中心为对称中心贴附到所述载体球上，所述兴趣中心位于所述载体球的赤道上；所述第二类图像贴附到所述载体球上后，形成非兴趣区域；所述第一渲染点密度高于所述第二渲染点密度；所述第一类图像和所述第二类图像，均是沿载体球的经线和纬线切割的切割图像；

根据所述显示位置参数，将渲染后的所述第一类图像和渲染后的所述第二类图像贴附到所述载体球上，形成全景球体图像。

6.根据权利要求5所述的方法，其特征在于，

所述显示位置参数还包括：所述兴趣区域所对应的经度和纬度，或，所述兴趣区域的兴趣中心的位置及纬度方向的角度和/或经度方向的角度；

所述根据所述显示位置参数，将渲染后的所述第一类图像和渲染后的所述第二类图像贴附到所述载体球上，形成全景球体图像，包括：

根据所述兴趣区域所对应的经度和纬度，或，兴趣中心的位置及角度，

将所述渲染后的第一类图像贴附到所述兴趣区域。

7.一种处理设备，其特征在于，所述处理设备为提供服务器，包括：

确定单元，用于确定位于载体球上的兴趣中心；

贴附单元，用于将兴趣图像以所述兴趣中心为对称中心，贴附到所述载体球上；所述兴趣中心位于所述载体球的赤道上；

所述确定单元，还用于根据所述兴趣图像在所述载体球上的位置，确定出兴趣区域；所述兴趣区域对称分布在所述赤道的两侧；

切割单元，用于沿载体球的经线和纬线切割全景球体图像，以形成多个切割图像；其中，所述切割图像包括位于兴趣区域的第一类图像，和位于非兴趣区域的第二类图像；

处理单元，用于以第一渲染点密度对应的第一处理参数处理所述第一类图像，得到第一图像数据；并以第二渲染点密度对应的第二处理参数处理所述第二类图像，得到第二图像数据；其中，所述第一渲染点密度大于所述第二渲染点密度；

记录单元，用于记录各所述切割图像在所述载体球上的位置，形成显示位置参数；

第一形成单元，用于基于将所述第一图像数据、所述第二图像数据、所述第一渲染点密度、第二渲染点密度及所述显示位置参数，形成全景图像文件；其中，所述全景图像文件，用于重新输出全景球体图像。

8.一种处理设备，其特征在于，所述处理设备为输出设备，包括：

接收单元，用于接收全景图像文件，其中，所述全景图像文件包括：显示位置参数、第一图像数据、第二图像数据、第一渲染点密度、第二渲染点密度；

构建单元，用于构建载体球；

生成单元，用于以所述第一渲染点密度对所述第一图像数据进行渲染处理，生成渲染后的第一类图像；并以所述第二渲染点密度对所述第二图像数据进行渲染处理，生成渲染后的第二类图像；其中，第一类图像贴附到所述载体球上后，形成兴趣区域；所述兴趣区域根据兴趣图像在所述载体球上的位置确定出，所述兴趣区域对称分布在所述载体球的赤道的两侧，所述兴趣图像以位于所述载体球上的兴趣中心为对称中心贴附到所述载体球上，所述兴趣中心位于所述载体球的赤道上；所述第二类图像贴附到所述载体球上后，形成非兴趣区域；所述第一渲染点密度高于所述第二渲染点密度；所述第一类图像和所述第二类图像，均是沿载体球的经线和纬线切割的切割图像；

第二形成单元，用于根据所述显示位置参数，将渲染后的所述第一类图像和渲染后的所述第二类图像贴附到所述载体球上，形成全景球体图像。

9.一种处理设备，其特征在于，包括：处理器、存储器、及存储在所述存储器上且由所述处理器运行的计算机程序；

所述处理器，用于通过执行所述计算机程序，实现权利要求1至6任一项提供的全景图像数据处理方法。

10.一种计算机存储介质，所述计算机存储介质存储有计算机程序；所述计算机程序被执行后，能够实现权利要求1至6任一项提供的全景图像数据处理方法。