CN106127691B - 全景图像映射方法 - Google Patents

全景图像映射方法 Download PDF

Info

Publication number
CN106127691B
CN106127691B CN201610543056.0A CN201610543056A CN106127691B CN 106127691 B CN106127691 B CN 106127691B CN 201610543056 A CN201610543056 A CN 201610543056A CN 106127691 B CN106127691 B CN 106127691B
Authority
CN
China
Prior art keywords
panoramic picture
point
mapping
latitude
longitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610543056.0A
Other languages
English (en)
Other versions
CN106127691A (zh
Inventor
王荣刚
王悦名
王振宇
高文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Priority to CN201610543056.0A priority Critical patent/CN106127691B/zh
Publication of CN106127691A publication Critical patent/CN106127691A/zh
Priority to US16/313,731 priority patent/US10796410B2/en
Priority to PCT/CN2016/109603 priority patent/WO2018010371A1/zh
Application granted granted Critical
Publication of CN106127691B publication Critical patent/CN106127691B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding

Abstract

本发明公布了一种全景图像映射方法，针对分辨率为2M×M的矩形映射全景图像，根据纬度设置映射区域和非映射区域，只将设置的映射区域映射为方形区域包括：对于所述方形区域上的点，计算得到该点到方形区域中心的垂直距离和水平距离，取其中较大者记为m；计算得到该点到同心方形上第零个点的距离n；计算得到该点所对应的经度和纬度；计算得到该点反映射到矩形映射全景图像中所对应的位置(X,Y)；再给该点赋值。本发明方法可有效降低过采样，由此达到在失真较小的情况下有效降低全景图像的像素数和编码所需的码率的目的。

Description

全景图像映射方法
技术领域
本发明涉及虚拟现实(VR)领域，尤其涉及一种新的全景图像映射技术，可用于矩形映射(equirectangular)的全景图像，减少编码全景图像所需的码率。
背景技术
随着虚拟现实技术的日益发展，对虚拟现实视频的需求日益增加。而360°的全景图像由于要求更广的视角，因此相比于传统的平面图像需要更高的分辨率，其编码所需的码率也相较传统的平面图像高出许多。
如今最常见的映射方式是矩形映射，但是这种映射方式在高纬度区域存在较严重的过采样现象。学术界和工业界都对全景图像的映射方式进行了改进，将矩形映射的全景图像映射到一些新的平面上来降低高纬度区域的过采样，虽然新的映射方法在码率上有比较不错的节省，但由于映射过程中的插值，均存在一些失真的问题。
发明内容
为了克服上述现有技术的不足，本发明提供一种新的全景图像映射方法，可用于矩形映射(equirectangular)的全景图像，有效减少映射过程中的失真问题并减少编码全景图像所需的码率，可改善矩形映射中存在的过采样的问题。
本发明提供的映射方法，在较优的设置下可以减少25％的像素数，在测试的序列中减少了11％的码率(高纬度区域如果有较多的细节，针对高纬度区域的全景图像会节省更多的码率)，并且基本没有失真。
本发明提供的技术方案是：
一种全景图像映射方法，针对分辨率为2M×M的矩形映射全景图像，根据纬度设置映射区域和非映射区域，只将设置的映射区域映射为方形区域，从而有效降低过采样，由此达到在失真较小的情况下有效降低全景图像的像素数和编码所需的码率的目的；包括如下步骤：
第一步：对于所述方形区域上的坐标为(x,y)的点，计算得到该点到方形区域中心的垂直距离和水平距离，取其中较大的一个记为m；
第二步：对于所述方形区域上的坐标为(x,y)的点，计算得到该点到同心方形上第零个点的距离，记为n；所述第零个点为任意位置的点；
第三步：根据所述n和m计算得到所述方形区域上的坐标为(x,y)的点所对应的经度latitude和纬度longitude；
第四步：根据第三步得到的经度latitude和纬度longitude，通过式8和式9计算得到所述方形区域上的坐标为(x,y)的点反映射到矩形映射全景图像中所对应的位置(X,Y):
第五步：当(X,Y)是整像素时，将矩形映射全景图像中(X,Y)处的像素值赋给所述方形区域上的(x,y)点；当(X,Y)不是整像素时，取(X,Y)附近的而像素进行插值得到所述方形区域上的(x,y)点的像素值。
针对上述全景图像映射方法，进一步地，将全景图像高纬度的2M×H的区域设置为映射区域，所述映射区域为两个；所述H为设置映射区域的高度，H≤M/2。优选地，所述H为0.25M。
针对上述全景图像映射方法，进一步地，所述设置为映射区域的全景图像高纬度范围优选为±45°到±90°之间。
针对上述全景图像映射方法，进一步地，第二步所述计算得到该点到同心方形上第零个点的距离，具体选取右上角的像素为第零个像素，通过如下计算过程得到：
nup＝y-m′ (式2)
nright＝s+x-m′ (式3)
ndown＝2×s+(1024-1-y-m′) (式4)
nleft＝3×s+(1024-1-x-m′) (式5)
其中，nup,nright,ndown,nleft分别表示同心方框的上侧、右侧、下侧和左侧的点到第零个点的距离；s＝2×m,为方框上像素数的 m为步骤一所述方形区域上的坐标为(x,y)的点到方形区域中心的垂直距离和水平距离取其中较大者。
针对上述全景图像映射方法，进一步地，第三步根据所述n和m，具体通过以下公式计算得到所述方形区域上的坐标为(x,y)的点所对应的经度latitude和纬度longitude：
其中，4s是点所在的同心方形的像素个数；longitude的取值从-180°到180°，表示西经180°到东经180°；latitude的取指从到±90°，正值代表北纬，负值代表南纬。
针对上述全景图像映射方法，进一步地，第五步所述插值方法为双三次插值方法、双线性插值方法或最近邻插值方法。插值方法优选为双三次插值方法。
与现有技术相比，本发明的有益效果是：
本发明提供一种新的全景图像映射方法，可用于矩形映射(equirectangular)的全景图像，有效减少映射过程中的失真问题并减少编码全景图像所需的码率，可改善矩形映射中存在的过采样的问题。一般地，高纬度区域有较多的细节，针对高纬度区域的全景图像会节省更多的码率，并且基本没有失真。
本发明具有以下优点：
(一)降低了纬度较高的区域存在的过采样现象，降低图像的像素数从而降低编码所需要的码率，比如将分辨率为2M×M的矩形映射的纬度较高的两个2M×0.5M区域映射成两个的方形区域可节省25％的像素数，在测试序列上平均节省11％的码率。
(二)映射过程中造成的失真很小。
附图说明
图1是本发明实施例中的映射关系示意图。
图2是本发明提供的全景图像映射方法的流程框图。
图3是本发明实施例中映射方法具体计算过程示意图；
其中，(a)为计算坐标为(x,y)的点到方形区域中心的垂直距离和水平距离的示意图，图中分别为其到中心的垂直距离和水平距离；(b)为计算坐标为(x,y)的点到同心方形上第零个点的距离的示意图(第零个点的位置可随意选取，我们选择左上45°方向的点作为第零个点)。
图4是本发明实施例的映射效果图；
其中，(a)是采用矩形映射方法得到的全景图像；(b)是利用本发明提供方法映射得到的全景图像。
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
本发明提供一种新的全景图像映射方法，可用于矩形映射(equirectangular)的全景图像，有效减少映射过程中的失真问题并减少编码全景图像所需的码率，可改善矩形映射中存在的过采样的问题。
本发明提供的映射方法，对于矩形映射全景图像中纬度较低的区域不进行映射，只将图像中纬度较高的区域映射到两个方形区域上，有效降低了高纬度区域的过采样，在失真较小的情况下有效的降低了全景图像的像素数和编码所需的码率。本发明方法可以减少25％的像素数，在测试的序列中减少了11％的码率(高纬度区域如果有较多的细节，针对高纬度区域的全景图像会节省更多的码率)，并且基本没有失真。
对于分辨率为2M×M的矩形映射全景图像，对其纬度较低的区域不进行映射，只对存在严重过采样现象的纬度较高的区域进行映射，将矩形映射的全景图像中纬度较高的区域的映射成两个N×N的方形区域(纬度较低的区域和纬度较高的区域的范围可自己设置。实验中，我们发现对±45°之间的2M×0.5M的区域不进行映射，只将±45°到±90°之间的两个2M×0.25M的区域进行映射成两个0.5M×0.5M的方形区域，其效果较好)。可将分辨率为2M×M的矩形映射全景图像中的高纬度的两个2M×H(其中H为自己设置的纬度较高的区域的高度，H≤M/2)的区域映射到两个N×N的方形区域。
以下实施例描述了本发明的具体实现过程。本发明映射过程的关系如图1所示，矩形映射的全景图像的低纬度区域不进行映射，而对于高纬度映射成方形。可将分辨率为4096×2048的矩形映射全景图像的低纬度区域保留(本实施例中保留了低纬度的4096×1024的区域)，将上、下高纬度的4096×512的区域映射成两个1024×1024的方形，映射后像素数减少了25％。
图2是本发明提供的全景图像映射方法的流程框图。高纬度区域映射的具体计算如下(在计算机中下标的起始值通常为0，因此下面公式有的进行了减1的操作)：
第一步：计算图3(a)中坐标为(x,y)的点到方形区域中心的垂直距离和水平距离，取其中较大的一个记为m，其计算如下：
第二步：计算图3(b)中坐标为(x,y)的点到同心方形上第零个点的距离(第零个点的位置可随意选取，我们选择左上45°方向的点作为第零个点)，其结果记为n，其计算公式如下：
nup＝y-m′ (式2)
nright＝s+x-m′ (式3)
ndown＝2×s+(1024-1-y-m′) (式4)
nleft＝3×s+(1024-1-x-m′) (式5)
其中，nup,nright,ndown,nleft分别表示同心方框的上侧、右侧、下侧和左侧的点到第零个点的距离；s＝2×m,为方框上像素数的
第三步：根据n和m计算出方形区域上的坐标为(x,y)的点所对应的经度和纬度，计算公式如下：
第四步：根据latitude和longitude确定方形区域上的坐标为(x,y)的点反映射到矩形映射全景图像中所对应的位置(X,Y)，其中：
第五步：如果(X,Y)是整像素，则将矩形映射全景图像中(X,Y)处的像素值赋给方形区域上的(x,y)点，如果(X,Y)不是整像素，则取(X,Y)附近的像素进行插值得到方形区域上的(x,y)点的像素值。优选地，本实施例采用的插值方法是双三次插值；也可使用其他的差值方式，如双线性插值，最近邻插值等。
至此完成本映射实施例的所有步骤，实施例展示效果如图4所示，其中，(a)是采用矩形映射方法得到的全景图像；(b)是利用本发明提供方法映射得到的全景图像。从图中可看出，本映射将矩形映射的全景图像的低纬度区域保留，将高纬度区域映射到两个方形的区域，有效的降低了图像的面积(即降低了像素个数)。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (9)

1.一种全景图像映射方法，针对分辨率为2M×M的矩形映射全景图像，根据纬度设置映射区域和非映射区域，只将设置的映射区域映射为方形区域，从而有效降低过采样，由此达到在失真较小的情况下有效降低全景图像的像素数和编码所需的码率的目的；包括如下步骤：
第一步：对于所述方形区域上的坐标为(x,y)的点，计算得到该点到方形区域中心的垂直距离和水平距离，取其中较大的一个记为m；
第二步：对于所述方形区域上的坐标为(x,y)的点，计算得到该点到同心方形上第零个点的距离，记为n；所述第零个点为任意位置的点；
第三步：根据所述n和m计算得到所述方形区域上的坐标为(x,y)的点所对应的经度latitude和纬度longitude；
第四步：根据第三步得到的经度latitude和纬度longitude，计算所述方形区域上的坐标为(x,y)的点映射到矩形映射全景图像中所对应的位置(X,Y)；
第五步：当(X,Y)是整像素时，将矩形映射全景图像中(X,Y)处的像素值赋给所述方形区域上的(x,y)点；当(X,Y)不是整像素时，取(X,Y)附近的像素进行插值得到所述方形区域上的(x,y)点的像素值。
2.如权利要求1所述全景图像映射方法，其特征是，将全景图像高纬度的2M×H的区域设置为映射区域，所述映射区域为两个；所述H为设置映射区域的高度，H≤M/2。
3.如权利要求2所述全景图像映射方法，其特征是，所述设置为映射区域的全景图像高纬度范围优选为+45°到+90°或-45°到-90°。
4.如权利要求2所述全景图像映射方法，其特征是，所述H为0.25M。
5.如权利要求1所述全景图像映射方法，其特征是，第二步所述计算得到该点到同心方形上第零个点的距离，具体选取右上角的像素为第零个像素，通过如下计算过程得到：
nup＝y-m′ (式1)
nright＝s+x-m′ (式2)
ndown＝2×s+(1024-1-y-m′) (式3)
nleft＝3×s+(1024-1-x-m′) (式4)
其中，nup,nright,ndown,nleft分别表示同心方框的上侧、右侧、下侧和左侧的点到第零个点的距离；s＝2×m,为方框上像素数的m为步骤一所述方形区域上的坐标为(x,y)的点到方形区域中心的垂直距离和水平距离取其中较大者。
6.如权利要求1所述全景图像映射方法，其特征是，第三步根据所述n和m，具体通过以下公式计算得到所述方形区域上的坐标为(x,y)的点所对应的经度latitude和纬度longitude：
其中，4s是点所在的同心方形的像素个数；longitude的取值从-180°到180°，表示西经180°到东经180°；latitude的取指从到±90°，正值代表北纬，负值代表南纬；H为设置映射区域的高度。
7.如权利要求1所述全景图像映射方法，其特征是，第四步根据经度latitude和纬度longitude具体通过式7和式8计算方形区域上的坐标为(x,y)的点反映射到矩形映射全景图像中所对应的位置(X,Y)：
其中，方形区域上点的坐标为(x,y)；该点反映射到矩形映射全景图像中所对应的位置为(X,Y)；矩形映射全景图像的分辨率为2M×M。
8.如权利要求1所述全景图像映射方法，其特征是，第五步所述插值方法包括但不限于双三次插值方法、双线性插值方法或最近邻插值方法。
9.如权利要求1所述全景图像映射方法，其特征是，第五步所述插值方法优选为双三次插值方法。
CN201610543056.0A 2016-07-12 2016-07-12 全景图像映射方法 Active CN106127691B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610543056.0A CN106127691B (zh) 2016-07-12 2016-07-12 全景图像映射方法
US16/313,731 US10796410B2 (en) 2016-07-12 2016-12-13 Panoramic image mapping method
PCT/CN2016/109603 WO2018010371A1 (zh) 2016-07-12 2016-12-13 全景图像映射方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610543056.0A CN106127691B (zh) 2016-07-12 2016-07-12 全景图像映射方法

Publications (2)

Publication Number Publication Date
CN106127691A CN106127691A (zh) 2016-11-16
CN106127691B true CN106127691B (zh) 2019-04-12

Family

ID=57283036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610543056.0A Active CN106127691B (zh) 2016-07-12 2016-07-12 全景图像映射方法

Country Status (3)

Country Link
US (1) US10796410B2 (zh)
CN (1) CN106127691B (zh)
WO (1) WO2018010371A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127691B (zh) * 2016-07-12 2019-04-12 北京大学深圳研究生院 全景图像映射方法
CN108269229B (zh) * 2016-12-30 2021-08-06 央视国际网络无锡有限公司 一种全景图像或视频的像素位置分布优化方法
CN106846245B (zh) * 2017-01-17 2019-08-02 北京大学深圳研究生院 基于主视点的全景视频映射方法
CN106875331B (zh) * 2017-01-19 2019-04-12 北京大学深圳研究生院 一种全景图像的非对称映射方法
CN108566554A (zh) * 2018-05-11 2018-09-21 北京奇艺世纪科技有限公司 一种vr全景视频处理方法、系统及电子设备
CN110956583B (zh) * 2018-09-26 2022-05-10 华为技术有限公司 球面图像处理方法、装置及服务器
CN111062875B (zh) * 2019-12-19 2021-11-12 广州启量信息科技有限公司 一种用于空中全景漫游数据的坐标转换方法及装置
CN113411615B (zh) * 2021-06-22 2023-01-10 深圳市大数据研究院 一种面向虚拟现实的纬度自适应的全景图像编码方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6239808B1 (en) * 1998-04-03 2001-05-29 Nvidia Corporation Method and apparatus for determining texture values of graphical images
CN101777193A (zh) * 2010-02-03 2010-07-14 中国人民解放军国防科学技术大学 基于双向映射精确插值的折反射全向图柱面全景展开方法
CN103942754A (zh) * 2013-01-18 2014-07-23 深圳市腾讯计算机系统有限公司 全景图像补全方法及装置
CN104333675A (zh) * 2014-10-20 2015-02-04 长春理工大学 一种基于球面投影的全景电子稳像方法
CN104835117A (zh) * 2015-05-11 2015-08-12 合肥工业大学 基于重叠方式的球面全景图生成方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1152845A (ja) * 1997-08-08 1999-02-26 Aisin Aw Co Ltd 地図表示装置及び記録媒体
CN102346923B (zh) * 2010-07-30 2013-10-23 中国科学院遥感应用研究所 一种基于经纬网格的数据分级组织方法
GB2520822B (en) * 2014-10-10 2016-01-13 Aveva Solutions Ltd Image rendering of laser scan data
WO2016140082A1 (ja) * 2015-03-05 2016-09-09 ソニー株式会社 画像処理装置および画像処理方法
CN106127691B (zh) * 2016-07-12 2019-04-12 北京大学深圳研究生院 全景图像映射方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6239808B1 (en) * 1998-04-03 2001-05-29 Nvidia Corporation Method and apparatus for determining texture values of graphical images
CN101777193A (zh) * 2010-02-03 2010-07-14 中国人民解放军国防科学技术大学 基于双向映射精确插值的折反射全向图柱面全景展开方法
CN103942754A (zh) * 2013-01-18 2014-07-23 深圳市腾讯计算机系统有限公司 全景图像补全方法及装置
CN104333675A (zh) * 2014-10-20 2015-02-04 长春理工大学 一种基于球面投影的全景电子稳像方法
CN104835117A (zh) * 2015-05-11 2015-08-12 合肥工业大学 基于重叠方式的球面全景图生成方法

Also Published As

Publication number Publication date
US20200175648A1 (en) 2020-06-04
WO2018010371A1 (zh) 2018-01-18
CN106127691A (zh) 2016-11-16
US10796410B2 (en) 2020-10-06

Similar Documents

Publication Publication Date Title
CN106127691B (zh) 全景图像映射方法
WO2018157568A1 (zh) 全景图像映射方法
WO2016116045A1 (zh) 电子地图的数字地面模型数据生成方法和装置
CN103400366B (zh) 基于条纹结构光的动态场景深度获取方法
WO2018133380A1 (zh) 基于主视点的全景视频映射方法
CN106875331B (zh) 一种全景图像的非对称映射方法
CN105094507B (zh) 一种实现3d ui中圆角图标焦点套合方法及系统
CN103810739A (zh) 一种图像文字变形动画的生成方法
CN104392435A (zh) 鱼眼相机标定方法及标定装置
WO2015180039A1 (zh) 天线工程参数的获取方法和设备及系统
Bian et al. 3D reconstruction of single rising bubble in water using digital image processing and characteristic matrix
CN107154070B (zh) 矢量要素与数字地面模型叠加方法及装置
CN107147888B (zh) 一种利用图形处理芯片自动校正失真方法和装置
CN104655106B (zh) 基于gps rtk和全景影像的自主定位定向测图方法
CN108592884A (zh) 一种通用线阵卫星核线影像生成方法
KR101854612B1 (ko) 구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 장치 및 방법
CN103325109B (zh) 适用于墙装式全景摄像机的鱼眼图像的畸变校正方法
CN108562900B (zh) 一种基于高程校正的sar图像几何配准方法
CN103440638A (zh) 利用双平面镜装置和圆环点性质求解摄像机内参数
CN107679015B (zh) 一种基于三维地图的云台摄像机实时监控范围仿真方法
CN103035007B (zh) 利用正六棱台求解摄像机内参数
CN102982550B (zh) 利用正五棱台求解摄像机内参数
CN104180794B (zh) 数字正射影像拉花区域的处理方法
CN108895979B (zh) 线段编码的结构光深度获取方法
CN106408517A (zh) 快速的图像旋转方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant