CN106875331B - 一种全景图像的非对称映射方法 - Google Patents

Abstract

本发明公布了一种全景图像的非对称映射方法，包括映射过程和反向映射过程；映射过程通过非对称前向映射方法将原始图转换成非对称图；包括：将经纬图坐标映射为原始全景图坐标；计算经纬图感兴趣区域横向和纵向上的最大下采样比例；建立从映射图到经纬图相同点坐标的映射关系；生成非对称映射图；反向映射过程通过非对称反向映射方法将非对称图反映射成原始图。原始图为任意格式的全景图。本发明对全景图像中的感兴趣区域使用较高的采样精度，对非感兴趣区域使用较低采样精度，由此降低图像分辨率，进而降低全景图像的数据量。

Description

一种全景图像的非对称映射方法

技术领域

本发明涉及虚拟现实(VR)技术领域，尤其涉及一种新的全景图像非对称映射方法，可减少全景图上非ROI区域(非感兴趣区域)所占的图像面积，降低编码全景图像所需的码率

背景技术

目前，虚拟现实技术和相关应用正在快速发展。在虚拟现实技术中，全景图像是一个重要的组成部分。由于全景图像记录了360度视角的全部画面，具有极高的数据量，不利于传输和存储。

由于全景图像中往往只有一部分是用户比较感兴趣的区域，而其余部分不太容易引起用户注意。因此，可以对全景图像中的感兴趣区域(ROI)使用较高的采样精度，而对非感兴趣区域使用较低采样精度，可以大幅降低全景图像的数据量。但是，目前通用的基于经纬图的全景图像映射方式无法灵活地设定图像的采样精度。因此，现有的全景图像映射方法不能使用上述非对称的采样精度，映射方式不合理，难以降低全景图像的数据量。

发明内容

为了克服上述现有技术的不足，本发明提供一种针对全景图像的非对称映射方法，可对全景图像不同区域使用不同的采样精度，降低非ROI区域的数据量。

本发明提供的技术方案是：

一种全景图像的非对称映射方法，包括非对称前向映射方法和非对称反向映射方法；非对称前向映射方法将原始图转换成非对称图；非对称反向映射方法将上述非对称图反映射成原始图；

其中，对全景图像通过非对称前向映射方法将原始图转换(映射)成非对称图的过程中，原始图可以是任意格式的全景图，如经纬图；图像上同一列像素具有相同的经度，同一行像素具有相同的维度；与现有的经纬图映射不同，该方法中，图像在中心位置按照指定宽高设定ROI区域，ROI区域具有同经纬图上对应点相同的采样精度，非ROI区域的采样精度沿图像中心向图像边缘平滑递减。该映射方法具体步骤为：

第一步：指定一个宽高为W×H的传统经纬图，将经纬图坐标映射为按照任意指定的映射方法采集或存储的原始全景图坐标，即建立从所属经纬图上某一点的坐标(x,y)到所述原始全景图像上相同点的坐标(xo,yo)的映射关系为：

F:(xo,yo)＝F(x,y) (式1)

第二步：对经纬图指定一个中心为经纬图中心、且宽高为Wr×Hr的ROI区域。指定映射图的宽高为W′×H′，计算横向和纵向上的最大下采样比例rx和ry:

第三步：建立从映射图上某一点的坐标(x′,y′)到所述经纬图上相同点的坐标(x,y)的映射关系F′，F′可以写作F′(x′,y′)＝(Fx′(x′),Fy′(y′))，其中x＝Fx′(x′),y＝Fy′(y′)。

如图3所示，图3(a)表示经纬图；R_h表示ROI纵向边界到经纬图纵向边界的横向距离；图3(b)表示映射图，R_h′表示ROI纵向边界到映射图纵向边界的横向距离。

x′和x的映射关系Fx′可以写作：

当x′<R_h′时，如映射图上P_l′点，x＝R_h-D_l,如经纬图上P_l点；

当x′>R_h′+W_r时，如映射图上P_r′点，x＝R_h+Wr+D_r，如经纬图上P_r点；

否则，x＝R_h+x′-R_h′。

D_l和D_r是经纬图上的点P_l和P_r到ROI纵向边界的横向距离，可以由映射图上的点P_l′和P_r′到 ROI纵向边界的横向距离D_l′和D_r′计算，公式为：

其中，D_h代表D_l或D_r，D_h′代表D_l′或D_r′，并且，D_l′＝R_h′-x′，D_r′＝x′-Wr-R_h′。

如图4所示，图4(a)表示经纬图，R_v表示ROI横向边界到经纬图横向边界的纵向距离；图4(b)表示映射图，R_v′表示ROI横向边界到映射图横向边界的纵向距离。

y′和y的映射关系Fy′可以写作：

当y′<R_v′时，如映射图上P_t′点，y＝R_v-D_t,如经纬图上P_t点；

当y′>R_v′+Hr时，如映射图上P_b′点，y＝R_v+Hr+D_b，如经纬图上P_b点；

否则，y＝R_v+y′-R_v′。

D_t和D_b是经纬图上的点P_t和P_b到ROI横向边界的纵向距离，可以由映射图上的点P_t′和P_b′到ROI横向边界的纵向距离D_t′和D_b′计算，公式为：

其中，D_v代表D_t或D_b，D_v′代表D_t′或D_b′，并且，D_t′＝R_v′-y′，D_b′＝y′-Hr-R_v′。

第四步：生成映射图(非对称图)，映射图上某一点(x′,y′)的像素值为原始全景图上 F(F′(x′,y′))点的像素值。对映射图上每一点做上述操作，得到映射图。

另一方面，通过非对称反向映射方法将映射图反向映射到经纬图上，并进一步反向映射到其它任何映射方式的全景图(目标全景图)上，这个过程包括如下具体步骤：

第一步：将按照任意指定映射方法映射的目标全景图坐标映射到经纬图坐标，即建立从目标全景图上某一点的坐标(xo,yo)到所述经纬图上相同点的坐标(x,y)的映射关系：

F^-1:(x,y)＝F^-1(xo,yo) (式11)

第二步：如图2所示，经纬图的宽高为W×H，ROI区域宽高为Wr×Hr，映射图的宽高为W′×H′，计算横向和纵向上的最大下采样比例rx和ry:

第三步：建立从经纬图上某一点的坐标(x,y)到所述映射图上相同点的坐标(x′,y′)的映射关系F″，F″可以写作F″(x,y)＝(Fx″(x),Fy″(y))，其中x′＝Fx″(x),y′＝Fy″(y)。

如图3所示，图3(a)表示经纬图，R_h表示ROI纵向边界到经纬图纵向边界的横向距离；图3(b)表示映射图，R_h′表示ROI纵向边界到映射图纵向边界的横向距离。

x和x′的映射关系Fx″可以写作：

当x<R_h时，如映射图上P_l点，x′＝R_h′-D_l′,如经纬图上P_l′点；

当x>R_h+W_r时，如映射图上P_r点，x′＝R_h′+Wr+D_r′，如经纬图上P_r′点；

否则，x′＝R_h′+x-R_h。

D_l′和D_r′是映射图上的点P_l′和P_r′到ROI边界的横向距离，可以由经纬图上的点P_l和P_r到 ROI边界的横向距离D_l和D_r计算，公式为：

其中，D_h′代表D_l′或D_r′，D_h代表D_l或D_r，并且，D_l＝R_h-x，D_r＝x-W_r-R_h。

如图4所示，图4(a)表示经纬图，R_v表示ROI横向边界到经纬图横向边界的纵向距离；图4(b)表示映射图，R_v′表示ROI横向边界到映射图横向边界的纵向距离。

y和y′的映射关系Fy″可以写作：

当y<R_v时，如映射图上P_t点，y′＝R_v′-D_t′,如经纬图上P_t′点；

当y>R_v+Hr时，如映射图上P_b点，y′＝R_v′+Hr+D_b′，如经纬图上P_b′点；

否则，y＝R_v′+y-R_v。

D_t′和D_b′是映射图上的点P_t′和P_b′到ROI边界的纵向距离，可以由映射图上的点P_t和P_b到 ROI边界的纵向距离D_t和D_b计算，公式为：

其中，D_v′代表D_t′或D_b′，D_v代表D_t或D_b，并且，D_t＝R_v-y，D_b＝y-Hr-R_v。

第四步：生成原始全景图，原始全景图上某一点(xo,yo)的像素值为映射图上F″(F^-1(xo,yo))点的像素值。对原始全景图上每一点做上述操作，得到原始全景图。

与现有技术相比，本发明的有益效果是：

本发明提供一种全景图像的非对称映射方法，包括非对称前向映射方法和非对称反向映射方法；非对称前向映射方法将原始图转换成非对称图；非对称反向映射方法将非对称图反映射成原始图。

本发明可针对任意格式的全景图进行映射处理。本发明实施例以经纬图为原始全景图，采用本发明提供的全景图像的非对称映射方法进行映射，与现有经纬图映射方法相比，本发明可以对全景图像中的感兴趣区域(ROI)使用较高的采样精度，而对非感兴趣区域使用较低采样精度，从而可以降低图像分辨率，进而降低全景图像的数据量。

附图说明

图1是本发明提供的非对称映射方法的流程框图。

图2是本发明实施例中经纬图、映射图以及ROI区域的示意图；

其中，(a)为经纬图，图中的W和H分别代表经纬图的宽和高；(b)为映射图，图中的W′和H′分别代表映射图的宽和高；(a)和(b)中，Wr和Hr分别代表ROI区域的宽和高。

图3是本发明实施例中经纬图和映射图上对应点横坐标的映射关系示意图；

其中，(a)为经纬图，图中的R_h代表ROI纵向边界到经纬图纵向边界的横向距离，P_l和P_r分别示意位于ROI区域左方和右方的两个点，D_l和D_r分别表示P_l和P_r距离ROI纵向边界的横向距离，Wr表示ROI区域的宽度；(b)为映射图，图中的R_h‘代表ROI纵向边界到映射图纵向边界的横向距离，P_l’和P_r‘分别示意位于ROI区域左方和右方的两个点，对应图(a)中P_l和P_r点， D_l’和D_r‘分别表示P_l’和P_r‘距离ROI纵向边界的横向距离，Wr表示ROI区域的高度。

图4是本发明实施例中经纬图和映射图上对应点纵坐标的映射关系示意图；

其中，(a)为经纬图，图中的R_v代表ROI横向边界到经纬图横向边界的纵向距离，P_t和P_b分别示意位于ROI区域上方和下方的两个点，D_t和D_b分别表示P_t和P_b距离ROI横向边界的纵向距离，Hr表示ROI区域的高度；(b)为映射图，图中的R_v‘代表ROI横向边界到映射图横向边界的纵向距离，P_t’和P_b‘分别示意位于ROI区域上方和下方的两个点，对应图(a)中P_t和P_b点， D_t’和D_b‘分别表示P_t’和P_b‘距离ROI横向边界的纵向距离，Hr表示ROI区域的高度。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

本发明提供一种全景图像的非对称映射方法，包括非对称前向映射方法和非对称反向映射方法；非对称前向映射方法将原始图转换成非对称图；非对称反向映射方法将非对称图反映射成原始图。本发明可以对全景图像中的感兴趣区域(ROI)使用较高的采样精度，而对非感兴趣区域使用较低采样精度，从而可以降低图像分辨率，进而降低全景图像的数据量。

以下实施例以经纬图为原始全景图，采用本发明提供的全景图像的非对称映射方法进行映射处理，首先使用非对称前向映射方法将一个经纬图映射成非对称映射图，再使用非对称反向映射方法将映射图映射为经纬图(原始全景图)。

使用非对称前向映射方法将宽高为W×H的经纬图映射为映射图，步骤如下：

第一步：由于原始全景图即为经纬图，因此即建立从经纬图上某一点的坐标(x,y)到所述原始全景图像上相同点的坐标(xo,yo)的映射关系为：

F:(xo,yo)＝F(x,y)＝(x,y) (式1)

第二步：设定ROI区域宽高为Wr×Hr，指定映射图宽高为W′×H′，通过式2计算横向和纵向上的最大下采样比例rx和ry:

第三步：建立从映射图上某一点的坐标(x′,y′)到所述经纬图上相同点的坐标(x,y)的映射关系F′，F′可以写作F′(x′,y′)＝(Fx′(x′),Fy′(y′))，其中x＝Fx′(x′),y＝Fy′(y′)。

如图3所示，图3(a)表示经纬图，R_h表示ROI纵向边界到经纬图纵向边界的横向距离；图3(b)表示映射图，R_h′表示ROI纵向边界到映射图纵向边界的横向距离。

x′和x的映射关系Fx′可以写作：

当x′<R_h′时，如映射图上P_l′点，x＝R_h-D_l,如经纬图上P_l点；

当x′>R_h′+Wr时，如映射图上P_r′点，x＝R_h+Wr+D_r，如经纬图上P_r点；

否则，x＝R_h+x′-R_h′。

D_l和D_r是经纬图上的点P_l和P_r到ROI边界的横向距离，可以由映射图上的点P_l′和P_r′到 ROI边界的横向距离D_l′和D_r′计算，公式为式3：

其中，D_h代表D_l或D_r，D_h′代表D_l′或D_r′，并且，D_l′＝R_h′-x′，D_r′＝x′-Wr-R_h′。

如图4所示，图4(a)表示经纬图，R_v表示ROI横向边界到经纬图横向边界的纵向距离；图4(b)表示映射图，R_v′表示ROI横向边界到映射图横向边界的纵向距离。

y′和y的映射关系Fy′可以写作：

当y′<R_v′时，如映射图上P_t′点，y＝R_v-D_t,如经纬图上P_t点；

当y′>R_v′+Hr时，如映射图上P_b′点，y＝R_v+Hr+P_b，如经纬图上P_b点；

否则，y＝R_v+y′-R_v′。

D_t和D_b是经纬图上的点P_t和P_b到ROI边界的纵向距离，可以由映射图上的点P_t′和D_b′到ROI 边界的纵向距离D_t′和D_b′计算，公式为式4：

其中，D_v代表D_t或D_b，D_v′代表D_t′或D_b′，并且，D_t′＝R_v′-y′，D_b′＝y′-Hr-R_v′。

第四步：生成映射图，映射图上某一点(x′,y′)的像素值为原始全景图上F(F′(x′,y′))点的像素值，即原始全景图上F′(x′,y′)点的像素值。对映射图上每一点做上述操作，得到映射图。

使用非对称反向映射方法将映射图反向映射为经纬图，步骤为：

第一步：由于目标全景图即为经纬图，建立从目标全景图上某一点的坐标(xo,yo)到经纬图上相同点的坐标(x,y)的映射关系为式5：

F^-1:(x,y)＝F^-1(xo,yo)＝(xo,yo) (式5)

第二步：设定经纬图的宽高为W×H，ROI区域宽高为Wr×Hr，映射图的宽高为W′×H′，计算横向和纵向上的最大下采样比例rx和ry:

第三步：建立从经纬图上某一点的坐标(x,y)到所述映射图上相同点的坐标(x′,y′)的映射关系F″，F″可以写作F″(x,y)＝(Fx″(x),Fy″(y))，其中x′＝Fx″(x),y′＝Fy″(y)。

如图3所示，图3(a)表示经纬图，R_h表示ROI纵向边界到经纬图纵向边界的横向距离；图3(b)表示映射图，R_h′表示ROI纵向边界到映射图纵向边界的横向距离。

x和x′的映射关系Fx″可以写作：

当x<R_h时，如映射图上P_l点，x′＝R_h′-D_l′,如经纬图上P_l′点；

当x>R_h+Wr时，如映射图上P_r点，x′＝R_h′+Wr+D_r′，如经纬图上P_r′点；

否则，x′＝R_h′+x-R_h。

D_l′和D_r′是映射图上的点P_l′和P_r′到ROI边界的横向距离，可以由经纬图上的点P_l和P_r到

ROI边界的横向距离D_l和D_r计算，公式为如下：

其中，D_h′代表D_l′或D_r′，D_h代表D_l或D_r，并且，D_l＝R_h-x，D_r＝x-Wr-R_h。

如图4所示，图4(a)表示经纬图，R_v表示ROI横向边界到经纬图横向边界的纵向距离；图4(b)表示映射图，R_v′表示ROI横向边界到映射图横向边界的纵向距离。

y和y′的映射关系Fy″可以写作：

当y<R_v时，如映射图上P_t点，y′＝R_v′-D_t′,如经纬图上P_t′点；

当y>R_v+H_r时，如映射图上P_b点，y′＝R_v′+Hr+D_b′，如经纬图上P_b′点；

否则，y＝R_v′+y-R_v。

D_t′和D_b′是映射图上的点P_t′和P_b′到ROI边界的纵向距离，可以由映射图上的点P_t和P_b到 ROI边界的纵向距离D_t和D_b计算，公式为式8 ：

其中，D_v′代表D_t′或D_b′，D_v代表D_t或D_b，并且，D_t＝R_v-y，D_b＝y-H_r-R_v。

第四步：生成原始全景图，原始全景图上某一点(xo,yo)的像素值为映射图上 F″(F^-1(xo,yo))点的像素值,即为映射图上F″(yo,yo)点的像素值。对原始全景图上每一点做上述操作，得到原始全景图。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (6)

1.一种全景图像的非对称映射方法，包括映射过程和反向映射过程；所述映射过程通过非对称前向映射方法将原始图转换成非对称图；所述反向映射过程通过非对称反向映射方法将上述非对称图反映射成原始图；所述原始图为任意格式的全景图；非对称图像上同一列像素具有相同的经度，同一行像素具有相同的纬 度；所述非对称图的中心区域为指定宽高的感兴趣区域；所述感兴趣区域和非感兴趣区域具有不同的采样精度，且非感兴趣区域的采样精度沿非对称图中心向非对称图边缘递减；

所述映射过程包括如下步骤：

第一步：将指定宽高为W×H的经纬图的坐标映射为任意原始全景图坐标，即建立从所述经纬图上某一点的坐标(x,y)到所述原始全景图上相同点的坐标(xo,yo)的映射关系,表示为式1：

F:(xo,yo)＝F(x,y) (式1)

第二步：对经纬图指定一个感兴趣区域，所述感兴趣区域的中心为经纬图中心、且宽高为Wr×Hr；设定映射图的宽高为W′×H′；

第三步：建立从映射图上某一点的坐标(x′,y′)到所述经纬图上相同点的坐标(x,y)的映射关系F′，F′表示为：F′(x′,y′)＝(Fx′(x′),Fy′(y′))，其中x＝Fx′(x′),y＝Fy′(y′)；设定R_h表示感兴趣区域纵向边界到经纬图纵向边界的横向距离；R_h′表示感兴趣区域纵向边界到映射图纵向边界的横向距离；x′和x的映射关系Fx′为：

当x′<R_h′时，x＝R_h-D_l；

当x′>R_h′+Wr时，x＝R_h+W_r+D_r；

否则，x＝R_h+x′-R_h′；

其中，D_l和D_r分别是经纬图上的点P_l和P_r到感兴趣区域纵向边界的横向距离；

设定R_v表示感兴趣区域横向边界到经纬图横向边界的纵向距离；R_v′表示感兴趣区域横向边界到映射图横向边界的纵向距离；y′和y的映射关系Fy′为：

当y′<R_v′时，y＝R_v-D_t；

当y′>R_v′+Hr时，y＝R_v+Hr+D_b；

否则，y＝R_v+y′-R_v′；

其中，D_t和D_b是经纬图上的点P_t和P_b到感兴趣区域横向边界的纵向距离；

第四步：生成非对称映射图：将原始全景图上F(F′(x′,y′))点的像素值作为映射图上相应的每一点(x′,y′)的像素值，由此得到非对称映射图；

所述反向映射过程通过非对称反向映射方法将上述非对称映射图反向映射到经纬图上，并进一步反向映射到任何映射方式的全景图上，包括如下步骤：

第一步：将目标全景图坐标映射到经纬图坐标，即建立从目标全景图上某一点的坐标(xo,yo)到所述经纬图上相同点的坐标(x,y)的映射关系，表示为式11：

F^-1:(x,y)＝F^-1(xo,yo) (式11)

第二步：建立从经纬图上某一点的坐标(x,y)到所述映射图上相同点的坐标(x′,y′)的映射关系F″，记作F″(x,y)＝(Fx″(x),Fy″(y))，其中x′＝Fx″(x),y′＝Fy″(y)；

设定R_h表示感兴趣区域纵向边界到经纬图纵向边界的横向距离，R_h′表示感兴趣区域纵向边界到映射图纵向边界的横向距离，x和x′的映射关系Fx″表示为：

当x<R_h时，x′＝R_h′-D_l′；

当x>R_h+Wr时，x′＝R_h′+Wr+D_r′；

否则，x′＝R_h′+x-R_h；

其中，D_l′和D_r′分别是映射图上的点P_l′和P_r′到感兴趣区域边界的横向距离；

设定R_v表示感兴趣区域横向边界到经纬图横向边界的纵向距离，R_v′表示感兴趣区域横向边界到映射图横向边界的纵向距离；y和y′的映射关系Fy″表示为：

当y<R_v时，y′＝R_v′-D_t′；

当y>R_v+Hr时，y′＝R_v′+Hr+D_b′；

否则，y＝R_v′+y-R_v；

其中，D_t′和D_b′分别是映射图上的点P_t′和P_b′到感兴趣区域边界的纵向距离；

第三步：生成原始全景图，原始全景图上某一点(xo,yo)的像素值为映射图上F″(F^-1(xo,yo))点的像素值；对原始全景图上每一点做上述赋值操作，由此得到原始全景图。

2.如权利要求1所述非对称映射方法，其特征是，在非对称图纵向边缘处，横向下采样比例为：

在非对称图横向边缘处，纵向下采样比例为：

其中，rx为横向上的下采样比例；ry为纵向上的下采样比例。

3.如权利要求2所述非对称映射方法，其特征是，所述映射过程第三步中，所述经纬图上的点P_l和P_r到感兴趣区域纵向边界的横向距离D_l和D_r，具体通过式3由映射图上的对应点P_l′和P_r′到感兴趣区域纵向边界的横向距离D_l′和D_r′计算得到：

其中，D_h代表D_l或D_r；D_h′代表D_l′或D_r′，并且，D_l′＝R_h′-x′，D_r′＝x′-Wr-R_h′。

4.如权利要求2所述非对称映射方法，其特征是，所述映射过程第三步中，所述经纬图上的点P_t和P_b到感兴趣区域横向边界的纵向距离D_t和D_b，具体通过式4由映射图上的对应点P_t′和P_b′到感兴趣区域横向边界的纵向距离D_t′和D_b′计算得到：

其中，D_v代表D_t或D_b；D_v′代表D_t′或D_b′，并且，D_t′＝R_v′-y′，D_b′＝y′-Hr-R_v′。

5.如权利要求2所述非对称映射方法，其特征是，所述反向映射过程第二步中，所述映射图上的点P_l′和P_r′到感兴趣区域边界的横向距离D_l′和D_r′，具体由经纬图上的对应点P_l和P_r到感兴趣区域边界的横向距离D_l和D_r通过式13计算得到：

其中，D_h′代表D_l′或D_r′；D_h代表D_l或D_r，并且，D_l＝R_h-x，D_r＝x-W_r-R_h。

6.如权利要求2所述非对称映射方法，其特征是，所述反向映射过程第二步中，所述映射图上的点P_t′和P_b′到感兴趣区域横向边界的纵向距离D_t′和D_b′，由经纬图上的对应点P_t和P_b到感兴趣区域横向边界的纵向距离D_t和D_b通过式14计算得到：

其中，D_v′代表D_t′或D_b′，D_v代表D_t或D_b，并且，D_t＝R_v-y，D_b＝y-Hr-R_v。