CN105872546B - 一种实现全景图像压缩存储的方法和系统 - Google Patents

Abstract

本发明公开了一种实现全景图像压缩存储的方法和系统，克服了简单水平降采样获取1:1尺寸压缩图的缺陷，较好地保留了兴趣区域的细节内容，降低了全景图像的存储量。其技术方案为：使用纬度图像保留图像内容，利用图像翻折进行图像的压缩，较好的保留了兴趣区域的细节内容，降低了全景图像的存储量。在保留图像细节的同时，降低了图像的存储量，而且算法便于移植，可进行实时加速，可用于全景视频的数据存储和全景图像的数据存储，此外还能够实现对压缩图像在播放时的复原。

Description

一种实现全景图像压缩存储的方法和系统

技术领域

本发明涉及图像压缩技术，尤其涉及对全景图像的压缩并进行复原的方法和系统。

背景技术

随着全景和全景视频技术的不断普及，对于高质量全景图像的需求在不断加大。

传统全景图像按照2:1的尺寸进行存储，存储量较大，全景图像特别是全景视频的保存和处理对图像的压缩存储提出了新的要求。

全景图像传统的存储方式为2:1球型全景，需要的存储空间较大；全景图像传统的压缩方案简单地将图像进行水平降采样,获取尺寸1:1的压缩图像，牺牲了图像细节，图像质量损失较大。

发明内容

以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。

本发明的目的在于解决上述问题，提供了一种实现全景图像压缩存储的方法和系统，克服了简单水平降采样获取1:1尺寸压缩图的缺陷，较好地保留了兴趣区域的细节内容，降低了全景图像的存储量。

本发明的技术方案为：本发明揭示了一种实现全景图像压缩存储的方法，包括：

将全景图像转化成纬度图像；

将纬度图像进行翻折，获取压缩存储图像。

根据本发明的实现全景图像压缩存储的方法的一实施例，纬度图像的转化步骤进一步包括：

创建一定宽高比的纬度图像；

逐行计算采样后的纬度图像每行的宽度，将全景图像双线性内插为纬度图像。

根据本发明的实现全景图像压缩存储的方法的一实施例，纬度图像的翻折步骤进一步包括：

创建一定宽高比的压缩存储图像；

将纬度图像的左半部分复制到压缩存储图像的对应位置；

将纬度图像的右半部分翻折到压缩存储图像的对应位置，生成完整的压缩存储图像。

根据本发明的实现全景图像压缩存储的方法的一实施例，还包括将压缩存储图像复原为全景图像的步骤：

创建一定宽高比的用于复原的球形全景图像；

逐行在压缩存储图像上找到映射位置，双线性内插出球形全景图像。

根据本发明的实现全景图像压缩存储的方法的一实施例，全景图像包括360°球型全景图像和立方体全景图像。

本发明还揭示了一种实现全景图像压缩存储的系统，其特征在于，包括：

纬度图像生成模块，将全景图像转化成纬度图像；

压缩图像生成模块，将纬度图像进行翻折，获取压缩存储图像。

根据本发明的实现全景图像压缩存储的系统的一实施例，纬度图像生成模块进一步包括：

纬度图像创建单元，创建一定宽高比的纬度图像；

双线性内插压缩单元，逐行计算采样后的纬度图像每行的宽度，将全景图像双线性内插为纬度图像。

根据本发明的实现全景图像压缩存储的系统的一实施例，压缩图像生成模块进一步包括：

压缩存储图像创建单元，创建一定宽高比的压缩存储图像；

图像翻折单元，将纬度图像的左半部分复制到压缩存储图像的对应位置，将纬度图像的右半部分翻折到压缩存储图像的对应位置，生成完整的压缩存储图像。

根据本发明的实现全景图像压缩存储的系统的一实施例，还包括用于将压缩存储图像复原为全景图像的全景图像复原模块，全景图像复原模块进一步包括：

全景复原创建单元，创建一定宽高比的用于复原的全景图像；

双线性内插复原单元，逐行在压缩存储图像上找到映射位置，双线性内插出全景图像。

根据本发明的实现全景图像压缩存储的系统的一实施例，全景图像包括360°球型全景图像和立方体全景图像。

本发明对比现有技术有如下的有益效果：本发明利用全景图像兴趣区域的分布特点和球型全景的图像特点，使用纬度图像保留图像内容，利用图像翻折进行图像的压缩，较好的保留了兴趣区域的细节内容，降低了全景图像的存储量。相较于传统方案，本发明的算法对全景图像的处理方式更为简单，在保留图像细节的同时，降低了图像的存储量，而且算法便于移植，可进行实时加速，可用于全景视频的数据存储和全景图像的数据存储，此外还能够实现对压缩图像在播放时的复原。

附图说明

图1A示出了本发明的实现全景图像压缩存储的方法的第一实施例的流程图。

图1B示出了本发明的实现全景图像压缩存储的方法的第二实施例的流程图。

图2A示出了本发明的实现全景图像压缩存储的系统的第一实施例的原理图。

图2B示出了本发明的实现全景图像压缩存储的系统的第二实施例的原理图。

图3示出了纬度图像的示意图。

图4示出了纬度图像和球型全景的转化关系的示意图。

图5示出了纬度图像和基于纬度图像的几种压缩存储图像的示意图。

图6示出了一种尺寸比为1:1的压缩存储图像的示意图。

图7示出了基于1:1的压缩存储图像复原为全景图像的示意图。

具体实施方式

在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。

实现全景图像压缩存储的方法的第一实施例

图1A示出了本发明的实现全景图像压缩存储的方法的第一实施例的流程。请参见图1A，本实施例的步骤详述如下。本实施例的目的是基于纬度图像实现将全景图像进行压缩存储。

步骤S11：创建一定高宽比的纬度图像。

纬度图像保留经过压缩的纬线圈图像，从赤道方向到两极，纬度图像的有效图像宽度依次递减，是如图3所示的图廓为菱形的图像，有效存储区域为2:1的球型全景图像的一半。

在本实施例中，例如创建宽高比为2:1的纬度图像。

步骤S12：逐行计算采样后的纬度图像每行的宽度，将全景图像双线性内插为纬度图像。

纬度图像是360°球型全景图像经过纬度圈水平压缩形成的图像，每行图像的压缩比随着纬度增大而增加。纬度图像和球型全景的转化关系如图4所示。

设纬度图像尺寸为(w,h)。纬度图像上当前点坐标为(I,J)。该行纬度图像的压缩后宽度为L，则

设(I,J)对应的球型全景坐标为(θ,φ),则根据比例关系：

有：

对(θ,φ)处的原始球型全景图像进行双线性内插，即可得到(I,J)处的纬度图像。

步骤S13：创建一定宽高比的压缩存储图像。

将纬度图像进行翻折，可以形成如图5所示的几种压缩存储图像。压缩存储图像的宽高比例为1:1或4:1，如图5所示，根据纬度图像上1、2、3、4四块数据的翻折位置的不同，对纬度图像的翻折变换可以有多种组合方式。

例如创建宽高比为1:1的压缩存储图像。即，本实施例是以其中的一种宽高比为1:1的存储图像为例，如图6所示。

步骤S14：将纬度图像的左半部分复制到压缩存储图像的对应位置。

如图5所示的1、2块数据为纬度图像的左半部分，复制到压缩存储图像的对应位置。

步骤S15：将纬度图像的右半部分翻折到压缩存储图像的对应位置，生成完整的压缩存储图像。

如图5所示的3、4块数据位纬度图像的右半部分，翻折到压缩存储图像的对应位置，生成完整的压缩存储图像。

设压缩存储图像坐标为(I,J)，对应的纬度图像坐标为(sI,sJ)，纬度图像该行的压缩后宽度为L,有：

在本实施例中，全景图像是以360°球型全景图像为例来说明的，也可以是立方体全景图像等其他投影方式，可以通过360°球型全景图像作为中间量，转换为纬度图像。

实现全景图像压缩存储的方法的第二实施例

图1B示出了本发明的实现全景图像压缩存储的方法的第二实施例的流程。请参见图1B，本实施例的步骤详述如下。本实施例的目的是基于纬度图像实现将全景图像进行压缩存储。

步骤S21：创建一定高宽比的纬度图像。

纬度图像保留经过压缩的纬线圈图像，从赤道方向到两极，纬度图像的有效图像宽度依次递减，是如图3所示的图廓为菱形的图像，有效存储区域为2:1的球型全景图像的一半。

在本实施例中，例如创建宽高比为2:1的纬度图像。

步骤S22：逐行计算采样后的纬度图像每行的宽度，将全景图像双线性内插为纬度图像。

纬度图像是360°球型全景图像经过纬度圈水平压缩形成的图像，每行图像的压缩比随着纬度增大而增加。纬度图像和球型全景的转化关系如图4所示。

设纬度图像尺寸为(w,h)。纬度图像上当前点坐标为(I,J)。该行纬度图像的压缩后宽度为L，则

设(I,J)对应的球型全景坐标为(θ,φ),则根据比例关系：

有：

对(θ,φ)处的原始球型全景图像进行双线性内插，即可得到(I,J)处的纬度图像。

步骤S23：创建一定宽高比的压缩存储图像。

将纬度图像进行翻折，可以形成如图5所示的几种压缩存储图像。压缩存储图像的宽高比例为1:1或4:1，如图5所示，根据纬度图像上1、2、3、4四块数据的翻折位置的不同，对纬度图像的翻折变换可以有多种组合方式。

例如创建宽高比为1:1的压缩存储图像。即，本实施例是以其中的一种宽高比为1:1的存储图像为例，如图6所示。

步骤S24：将纬度图像的左半部分复制到压缩存储图像的对应位置。

如图5所示的1、2块数据为纬度图像的左半部分，复制到压缩存储图像的对应位置。

步骤S25：将纬度图像的右半部分翻折到压缩存储图像的对应位置，生成完整的压缩存储图像。

如图5所示的3、4块数据位纬度图像的右半部分，翻折到压缩存储图像的对应位置，生成完整的压缩存储图像。

设压缩存储图像坐标为(I,J)，对应的纬度图像坐标为(sI,sJ)，纬度图像该行的压缩后宽度为L,有：

步骤S26：创建一定宽高比的用于复原的球型全景图像。

例如，创建宽高比2:1的用于复原的球型全景图像。

步骤S27：逐行在压缩存储图像上找到映射位置，双线性内插出球形全景图像。

如图7所示，设复原图像坐标为(I,J),对应的纬度图像坐标为(lat_x,lat_y),全景图尺寸为(w,h)，有：

设对应压缩存储图像的坐标为(sI,sJ)，则：

对(sI,sJ)位置处的像素进行双线性内插，可得到复原全景图像上的像素。

在本实施例中，全景图像是以360°球型全景图像为例来说明的，也可以是立方体全景图像等其他投影方式，可以通过360°球型全景图像作为中间量，转换为纬度图像。

实现全景图像压缩存储的系统的第一实施例

图2A示出了本发明的实现全景图像压缩存储的系统的第一实施例的原理。请参见图2A，本实施例的系统包括纬度图像生成模块11和压缩图像生成模块12。

纬度图像生成模块11用于将全景图像转化成纬度图像，模块进一步包括纬度图像创建单元111和双线性内插压缩单元112。

纬度图像创建单元111创建一定宽高比的纬度图像。纬度图像保留经过压缩的纬线圈图像，从赤道方向到两极，纬度图像的有效图像宽度依次递减，是如图3所示的图廓为菱形的图像，有效存储区域为2:1的球型全景图像的一半。

在本实施例中，例如创建宽高比为2:1的纬度图像。

双线性内插压缩单元112逐行计算采样后的纬度图像每行的宽度，将全景图像双线性内插为纬度图像。

纬度图像是360°球型全景图像经过纬度圈水平压缩形成的图像，每行图像的压缩比随着纬度增大而增加。纬度图像和球型全景的转化关系如图4所示。

设纬度图像尺寸为(w,h)。纬度图像上当前点坐标为(I,J)。该行纬度图像的压缩后宽度为L，则

设(I,J)对应的球型全景坐标为(θ,φ),则根据比例关系：

有：

对(θ,φ)处的原始球型全景图像进行双线性内插，即可得到(I,J)处的纬度图像。

压缩图像生成模块12用于将纬度图像进行翻折，获取压缩存储图像。压缩图像生成模块12包括压缩存储图像创建单元121、图像翻折单元122。

压缩存储图像创建单元121创建一定宽高比的压缩存储图像。将纬度图像进行翻折，可以形成如图5所示的几种压缩存储图像。压缩存储图像的宽高比例为1:1或4:1，如图5所示，根据纬度图像上1、2、3、4四块数据的翻折位置的不同，对纬度图像的翻折变换可以有多种组合方式。

例如创建宽高比为1:1的压缩存储图像。即，本实施例是以其中的一种宽高比为1:1的存储图像为例，如图6所示。

图像翻折单元122将纬度图像的左半部分复制到压缩存储图像的对应位置，将纬度图像的右半部分翻折到压缩存储图像的对应位置，生成完整的压缩存储图像。

如图5所示，1、2块数据为纬度图像的左半部分，复制到压缩存储图像的对应位置。3、4块数据位纬度图像的右半部分，翻折到压缩存储图像的对应位置，生成完整的压缩存储图像。

设压缩存储图像坐标为(I,J)，对应的纬度图像坐标为(sI,sJ)，纬度图像该行的压缩后宽度为L,有：

在本实施例中，全景图像是以360°球型全景图像为例来说明的，也可以是立方体全景图像等其他投影方式，可以通过360°球型全景图像作为中间量，转换为纬度图像。

实现全景图像压缩存储的系统的第二实施例

图2B示出了本发明的实现全景图像压缩存储的系统的第二实施例的原理。请参见图2B，本实施例的系统包括纬度图像生成模块21、压缩图像生成模块22以及全景图像复原模块23。

纬度图像生成模块21用于将全景图像转化成纬度图像，模块进一步包括纬度图像创建单元211和双线性内插压缩单元212。

纬度图像创建单元211创建一定宽高比的纬度图像。纬度图像保留经过压缩的纬线圈图像，从赤道方向到两极，纬度图像的有效图像宽度依次递减，是如图3所示的图廓为菱形的图像，有效存储区域为2:1的球型全景图像的一半。

在本实施例中，例如创建宽高比为2:1的纬度图像。

双线性内插压缩单元212逐行计算采样后的纬度图像每行的宽度，将全景图像双线性内插为纬度图像。

纬度图像是360°球型全景图像经过纬度圈水平压缩形成的图像，每行图像的压缩比随着纬度增大而增加。纬度图像和球型全景的转化关系如图4所示。

设纬度图像尺寸为(w,h)。纬度图像上当前点坐标为(I,J)。该行纬度图像的压缩后宽度为L，则

设(I,J)对应的球型全景坐标为(θ,φ),则根据比例关系：

有：

对(θ,φ)处的原始球型全景图像进行双线性内插，即可得到(I,J)处的纬度图像。

压缩图像生成模块22用于将纬度图像进行翻折，获取压缩存储图像。压缩图像生成模块22包括压缩存储图像创建单元221、图像翻折单元222。

压缩存储图像创建单元221创建一定宽高比的压缩存储图像。将纬度图像进行翻折，可以形成如图5所示的几种压缩存储图像。压缩存储图像的宽高比例为1:1或4:1，如图5所示，根据纬度图像上1、2、3、4四块数据的翻折位置的不同，对纬度图像的翻折变换可以有多种组合方式。

例如创建宽高比为1:1的压缩存储图像。即，本实施例是以其中的一种宽高比为1:1的存储图像为例，如图6所示。

图像翻折单元222将纬度图像的左半部分复制到压缩存储图像的对应位置，将纬度图像的右半部分翻折到压缩存储图像的对应位置，生成完整的压缩存储图像。

如图5所示，1、2块数据为纬度图像的左半部分，复制到压缩存储图像的对应位置。3、4块数据位纬度图像的右半部分，翻折到压缩存储图像的对应位置，生成完整的压缩存储图像。

设压缩存储图像坐标为(I,J)，对应的纬度图像坐标为(sI,sJ)，纬度图像该行的压缩后宽度为L,有：

全景图像复原模块23用于将压缩存储图像复原为全景图像。全景图像复原模块23进一步包括全景复原创建单元231和双线性内插复原单元232。

全景复原创建单元231创建一定宽高比的用于复原的全景图像。例如，创建宽高比2:1的用于复原的球型全景图像。

双线性内插复原单元232逐行在压缩存储图像上找到映射位置，双线性内插出全景图像。

如图7所示，设复原图像坐标为(I,J),对应的纬度图像坐标为(lat_x,lat_y),全景图尺寸为(w,h)，有：

设对应压缩存储图像的坐标为(sI，sJ)，则：

对(sI,sJ)位置处的像素进行双线性内插，可得到复原全景图像上的像素。

在本实施例中，全景图像是以360°球型全景图像为例来说明的，也可以是立方体全景图像等其他投影方式，可以通过360°球型全景图像作为中间量，转换为纬度图像。

尽管为使解释简单化将上述方法图示并描述为一系列动作，但是应理解并领会，这些方法不受动作的次序所限，因为根据一个或多个实施例，一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。

本领域技术人员将进一步领会，结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性，各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性，但这样的实现决策不应被解读成导致脱离了本发明的范围。

结合本文所公开的实施例描述的各种解说性逻辑板块、模块、和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器、或任何其他此类配置。

结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。

在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品，则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。

提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。

Claims (4)

1.一种实现全景图像压缩存储的方法，其特征在于，包括：

将全景图像转化成纬度图像，其中全景图像包括2:1的360°球型全景图像，其中纬度图像的转化步骤进一步包括：

创建一定宽高比的纬度图像；

逐行计算采样后的纬度图像每行的宽度，将全景图像双线性内插为纬度图像；

将纬度图像进行翻折，获取压缩存储图像；

其中纬度图像的翻折步骤进一步包括：

创建一定宽高比的压缩存储图像；

将纬度图像的左半部分复制到压缩存储图像的对应位置；

将纬度图像的右半部分翻折到压缩存储图像的对应位置，生成完整的压缩存储图像。

2.根据权利要求1所述的实现全景图像压缩存储的方法，其特征在于，还包括将压缩存储图像复原为全景图像的步骤：

创建一定宽高比的用于复原的球形全景图像；

逐行在压缩存储图像上找到映射位置，双线性内插出球形全景图像。

3.一种实现全景图像压缩存储的系统，其特征在于，包括：

纬度图像生成模块，将全景图像转化成纬度图像，其中全景图像包括2:1的360°球型全景图像，其中纬度图像生成模块进一步包括：

纬度图像创建单元，创建一定宽高比的纬度图像；

双线性内插压缩单元，逐行计算采样后的纬度图像每行的宽度，将全景图像双线性内插为纬度图像；

压缩图像生成模块，将纬度图像进行翻折，获取压缩存储图像；

其中压缩图像生成模块进一步包括：

压缩存储图像创建单元，创建一定宽高比的压缩存储图像；

图像翻折单元，将纬度图像的左半部分复制到压缩存储图像的对应位置，将纬度图像的右半部分翻折到压缩存储图像的对应位置，生成完整的压缩存储图像。

4.根据权利要求3所述的实现全景图像压缩存储的系统，其特征在于，还包括用于将压缩存储图像复原为全景图像的全景图像复原模块，全景图像复原模块进一步包括：

全景复原创建单元，创建一定宽高比的用于复原的全景图像；

双线性内插复原单元，逐行在压缩存储图像上找到映射位置，双线性内插出全景图像。