CN106899840B - 全景图像映射方法 - Google Patents

全景图像映射方法 Download PDF

Info

Publication number
CN106899840B
CN106899840B CN201710116888.9A CN201710116888A CN106899840B CN 106899840 B CN106899840 B CN 106899840B CN 201710116888 A CN201710116888 A CN 201710116888A CN 106899840 B CN106899840 B CN 106899840B
Authority
CN
China
Prior art keywords
plane
iii
coordinate
latitude
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710116888.9A
Other languages
English (en)
Other versions
CN106899840A (zh
Inventor
王荣刚
王悦名
王振宇
高文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Priority to CN201710116888.9A priority Critical patent/CN106899840B/zh
Publication of CN106899840A publication Critical patent/CN106899840A/zh
Priority to PCT/CN2017/098378 priority patent/WO2018157568A1/zh
Priority to US16/490,373 priority patent/US10798301B2/en
Application granted granted Critical
Publication of CN106899840B publication Critical patent/CN106899840B/zh
Priority to US16/558,870 priority patent/US20200074593A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公布了一种全景图像映射方法及反映射方法。其中，映射过程将全景图像或视频A对应的球面映射为二维平面图像或视频B，首先根据球面的纬度，将球面分成三个区域：分别记为区域I，区域II和区域III；将所述三个区域分别映射为方形平面I′、矩形平面II′和方形平面III′；再将平面I′、II′、III′拼成一个平面；所得的平面即为二维平面图像或视频B。相比于现有常用映射方法，本发明方法有效地改善了在高纬度区域的过采样，能够有效降低编码所需的码率以及解码的复杂度。涉及虚拟现实领域，可应用于全景图像和视频。

Description

全景图像映射方法
技术领域
本发明涉及虚拟现实(VR)领域，尤其涉及一种新的全景图像映射方法，能够减少编码全景图像和视频所需的码率，可用于全景图像和视频。
背景技术
随着虚拟现实技术的日益发展，各领域对虚拟现实视频的需求日益增加。相比于传统的平面图像，360°的全景图像要求更广的视角，因此，全景图像需要更高的分辨率，其编码所需的码率也高出许多。
现有的编码和存储技术均不支持球面，因此，采用现有方法对全景图像进行编码和存储，需要将360°的全景图像映射到二维平面上。现有方法中，最常见的映射方式是equirectangular映射，这种映射方式根据球面的经度和纬度对球面进行采样，将球面映射到二维平面上。但是，采用这种映射方式对360°全景图像进行映射时，在球面的高纬度区域存在着较严重的过采样现象，编码所需的码率及解码的复杂度高。
发明内容
本发明提供一种新的全景图像映射方法及其相应的反映射方法，通过全景图像映射方法可将球面映射到二维平面上，采用全景图像反映射方法可从平面映射回球面，以进行渲染观看。本发明方法有效改善全景图像或视频所对应球面在高纬度区域的过采样，减少编码全景图像和视频所需的码率，同时提高了编码效率。
本发明提供的技术方案是：
一种全景图像映射方法，将全景图像或视频A所对应的球面映射到二维平面图像或视频B上，可改善全景图像在高纬度区域的过采样，减少编码全景图像和视频所需的码率；所述映射方法将球面映射为二维平面，首先根据球面的纬度，将球面分成三个区域：分别记为区域I，区域II和区域III；区域I对应球面上纬度为-90°～Z1的区域，区域II对应球面上纬度为Z1～Z2的区域，区域III对应球面上纬度为Z2～90°的区域；然后将区域I映射为分辨率为WI×WI的方形平面I′，区域II映射为分辨率为WII×HII的矩形平面II′，区域III映射为分辨率为WIII×WIII的方形平面III＇；最后根据WI，WII，HII，WIII的值将平面I＇，II′，III′拼成一个平面，所的平面即为上述二维平面图像B；所述参数Z1，Z2，WI，WII，HII，WIII均可进行设置，且需满足条件：-90°≤Z1≤Z2和Z1≤Z2≤90°。
针对上述全景图像映射方法，进一步地，将全景图像或视频A所对应的球面映射到二维平面图像或视频B上的过程包括以下步骤或以下步骤的等效实现：
1)对方形平面I′中的每个像素点，根据其在平面I′中的坐标(X，Y)，计算其对应的球面坐标Coordinate(经度和纬度)，然后根据球面坐标Coordinate取球面上对应位置的像素值(或附近像素通过插值计算得到相应像素值)，作为平面I′中像素点(X，Y)的像素值。根据平面I′中的坐标(X，Y)计算其对应的球面坐标Coordinate的方法为：
1.1)计算得到该点到方形平面I′中心的垂直距离和水平距离，取其中较大的一个记为m；
1.2)方形平面I′可看作是多个同心方形组成的，本步中计算得到该点到其所在的同心方形上第零个点的距离，记为n；其中第零个点的位置可任意选取，可按照顺时针或逆时针方式计算上述距离；
1.3)根据n和m计算得到方形平面I′中坐标为(X，Y)的点所对应的纬度latitude和经度longitude；
2)对矩形平面II′中的每个像素点，根据其在平面II′中的坐标(X，Y)，计算其对应的球面坐标Coordinate(经度和纬度)，然后根据球面坐标Coordinate取球面上对应位置的像素值(或附近像素通过插值计算得到相应像素值)，作为平面II′中像素点(X，Y)的像素值。根据平面II′中的坐标(X，Y)计算其对应的球面坐标Coordinate的公式为：
latitude＝Z2-(Z2-Z1)×(Y+0.5)÷HII
longitude＝360°×(X+0.5)÷WII-180°+offset
其中，offset为矩形平面II′中心对应的经度，可自行设置。
3)对方形平面III′中的每个像素点，根据其在平面III′中的坐标(X，Y)，计算其对应的球面坐标Coordinate(经度和纬度)，然后根据球面坐标Coordinate取球面上对应位置的像素值(或附近像素通过插值计算得到相应像素值)，作为平面I′中像素点(X，Y)的像素值。根据平面I′中的坐标(X，Y)计算其对应的球面坐标Coordinate的方法为：
3.1)计算得到该点到方形平面III′中心的垂直距离和水平距离，取其中较大的一个记为m；
3.2)方形平面III′可看作是多个同心方形组成的，本步中计算得到该点到其所在的同心方形上第零个点的距离，记为n；其中第零个点的位置可任意选取；
3.3)根据n和m计算得到方形平面III′中坐标为(X，Y)的点所对应的纬度latitude和经度longitude；
4)根据WI，WII，HII，WIII的值将平面I′，II′，III′拼成一个平面。
针对上述全景图像映射过程，进一步地，全景图像或视频A的映射格式包括但不限于经纬图、立方体映射图像或视频、多路相机采集的全景图像或视频。
针对上述全景图像映射方法，进一步地，步骤1.1)中计算得到该点到方形平面I′中心的垂直距离和水平距离，取其中较大的一个记为m的计算公式如下：
m＝max(abs(WI÷2-X-0.5),abs(WI÷2-Y-0.5))
针对上述全景图像映射方法，进一步地，步骤1.2)中计算得到该点到其所在的同心方形上第零个点的距离，具体选取右上角的像素为第零个像素，距离按逆时针方向计算，其计算方法如下：
m2＝(WI-1)÷2-m
针对上述全景图像映射方法，进一步地，步骤1.3)中根据n和m计算得到方形平面I′中坐标为(X，Y)的点所对应的纬度latitude和经度longitude的计算公式如下：
latitude＝(Z1+90°)×m÷(WI÷2)-90°
longitude＝n÷(8×m)×360°-180°
针对上述全景图像映射方法，进一步地，步骤3.1)中计算得到该点到方形平面III′中心的垂直距离和水平距离，取其中较大的一个记为m的计算公式如下：
m＝max(abs(WIII÷2-X-0.5),abs(WIII÷2-Y-0.5))
针对上述全景图像映射方法，进一步地，步骤3.2)中计算得到该点到其所在的同心方形上第零个点的距离，具体选取右上角的像素为第零个像素，距离按顺时针方向计算，其计算方法如下：
m2＝(WIII-1)÷2-m
针对上述全景图像映射方法，进一步地，步骤3.3)中根据n和m计算得到方形平面III′中坐标为(X，Y)的点所对应的纬度latitude和经度longitude的计算公式如下：
latitude＝90°-(90°-Z2)×m÷(WIII÷2)
longitude＝n÷(8×m)×360°-180°
针对上述全景图像映射方法，进一步地，步骤4)中当WI＝0.25×WII＝HII＝WIII时可进行如下的拼接：由于0.25×WII＝HII，因此矩形平面II′的分辨率为表示为4HII×HII，首先将矩形平面II′分成四个分辨率为HII×HII的小平面，记作：II′1，II′2，II′3，II′4，然后按照平面II′1，平面II′2，平面II＇3，平面III′，平面II′4，平面I′的顺序将它们拼接成一个分辨率为6WI×WI的平面，拼接中平面III′顺时针旋转90°，平面II′4逆时针旋转90°。
另一方面，全景图像反映射方法将二维平面图像或视频B映射回球面，二维平面图像B由三个平面拼接而成，这三个平面记为平面I′，平面II′，平面III′，平面I′是分辨率为WI×WI的方形平面，平面II′是分辨率为WII×HII的矩形平面，平面III′是分辨率为WIII×WIII的方形平面；全景视频反映射方法将平面I′映射回球面上纬度为-90°～Z1的区域I，平面II′映射回球面上纬度为Z1～Z2的区域II，平面III′映射回球面上纬度为Z2～90°的区域III，所述参数Z1，Z2，WI，WII，HII，WIII的值包括但不限于从码流中获取。
针对上述全景图像反映射方法，将二维平面图像或视频B映射回球面的过程包括以下步骤及以下步骤的等效实现：
1)将二维平面图像B拆分成平面I′，平面II′，平面III′
2)对于球面上纬度为-90°～Z1的区域中的所有像素，根据其球面坐标Coordinate(经度和纬度)计算其对应到平面I′中的坐标(X，Y)，取平面I′中(X，Y)处的像素值(或附近像素进行插值)，作为球面上坐标Coordinate处像素点的值。根据球面坐标Coordinate计算其对应到平面I′中的坐标(X，Y)的步骤如下：
2.1)根据纬度latitude计算球面上的点在平面I′中的对应点距离平面I′中心的距离m；
2.2)根据经度longitude计算球面上的点在平面I′中的对应点距离该对应点所在的同心方形中第零个点的距离n；
2.3)根据m和n的值以及同心方形第零个像素的位置，计算出球面上的点在平面I′中的对应点的坐标(X，Y)
3)对于球面上纬度为Z1～Z2的区域中的所有像素，根据其球面坐标Coordinate(经度和纬度)计算其对应到平面II′中的坐标(X，Y)，取平面II′中(X，Y)处的像素值(或附近像素进行插值)，作为球面上坐标Coordinate处像素点的值。根据其球面坐标Coordinate计算其对应到平面II′中的坐标(X，Y)的计算公式为：
Y＝(Z2-latitude)×HII÷(Z2-Z1)-0.5
X＝(longitude+180°-offste)÷360°×WII-0.5
其中offset为矩形平面II′中心对应的经度。
4)对于球面上纬度为Z2～90°的区域中的所有像素，根据其球面坐标Coordinate(经度和纬度)计算其对应到平面III′中的坐标(X，Y），取平面III′中(X，Y）处的像素值(或附近像素进行插值)，作为球面上坐标Coordinate处像素点的值。
4.1)根据纬度latitude计算球面上的点在平面III′中的对应点距离平面III′中心的距离m；
4.2)根据经度longitude计算球面上的点在平面III＇中的对应点距离该对应点所在的同心方形中第零个点的距离n；
4.3)根据m和n的值以及同心方形第零个像素的位置，计算出球面上的点在平面III＇中的对应点的坐标(X，Y）
针对上述全景图像反映射方法，进一步地，步骤1)中当参数WI＝0.25×WII＝HII＝WIII，且平面I′，平面II′，平面III′拼接成的二维平面图像B分辨率为6WI×WI时，可进行如下拆分：将二维平面图像B分成6个WI×WI的平面，分别记作平面1，平面2，平面3，平面4，平面5，平面6，将平面4逆时针旋转90°得到平面III′；平面6即为平面I＇；剩下的4个平面按照平面1，平面2，平面3，平面5的顺序拼接为分辨率4WI×WI的平面(其中平面5顺时针旋转90°)得到平面II＇
针对上述全景图像反映射方法，进一步地，步骤2.1)中根据纬度latitude计算球面上的点在平面I＇中的对应点距离平面I′中心的距离m的计算公式如下：
m＝(WI÷2)×(latitude+90°)÷(Z1+90°)
针对上述全景图像反映射方法，进一步地，步骤2.2)中根据经度longitude计算球面上的点在平面I′中的对应点距离该对应点所在的同心方形中第零个点的距离n的计算公式如下：
n＝8×m×(longitude+180°)÷360°
针对上述全景图像反映射方法，进一步地，步骤2.3)中根据m和n的值，具体选取右上角的像素为第零个像素，距离按逆时针方向计算，计算出球面上的点在平面I＇中的对应点的坐标(X，Y)的计算公式如下：
m2＝(WI-1)÷2-m
针对上述全景图像反映射方法，进一步地，步骤4.1)中根据纬度latitude计算球面上的点在平面III＇中的对应点距离平面III＇中心的距离m的计算公式如下：
m＝(WIII÷2)×(90°-latitude)÷(90°-Z2)
针对上述全景图像反映射方法，进一步地，步骤4.2)中根据经度longitude计算球面上的点在平面III′中的对应点距离该对应点所在的同心方形中第零个点的距离n的计算公式如下：
n＝8×m×(longitude+180°)÷360°
针对上述全景图像反映射方法，进一步地，步骤4.3)中根据m和n的值，具体选取右上角的像素为第零个像素，距离按顺时针方向计算，计算出球面上的点在平面III′中的对应点的坐标(X，Y)的计算公式如下：
m2＝(WIII-1)÷2-m
与现有技术相比，本发明的有益效果是：
本发明提供一种新的全景图像映射方法及反映射方法。其中，映射过程将全景图像或视频A对应的球面映射为二维平面图像或视频B，首先根据球面的纬度，将球面分成三个区域：分别记为区域I，区域II和区域III；将所述三个区域分别映射为方形平面I′、矩形平面II′和方形平面III′；再将平面I′、II′、III′拼成一个平面；所得的平面即为二维平面图像或视频B
本发明方法可自行设置参数进行映射和反映射。相较于equirectangular映射方法，当合理选择参数时(比如：WI＝0.25×WII＝HII＝WIII)，本发明方法可有效地改善在高纬度区域的过采样，能够有效降低编码所需的码率以及解码的复杂度。在具体实施中，将球面全景视频分别使用equirectangular，PLANE_POLES和本发明的方法映射为相同大小(像素个数相同)的平面视屏并进行编码，本发明的方法相较于equirectangular映射取得了超过10％的编码效率的提升，相较于PLANE_POLES方法，取得了3％-4％的编码效率的提升。本发明可应用于全景图像和视频。
附图说明
图1是本发明实施例提供的全景图像映射方法中映射过程的示意图；
其中，(a)为映射前的球面全景图像；(b)为通过本发明全景图像映射方法映射后的方形平面I′、矩形平面II′和方形平面III′的示意图；(c)为映射后再拼接得到的平面图像。
图2是本发明实施例将全景图像映射成平面图像的效果图。
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
本发明提供了一种新的全景图像映射方法及其相应的反映射方法，通过本发明的全景图像映射方法可将球面映射到二维平面上，能够改善在高纬度区域的过采样。通过全景图像反映射方法可将本发明中的平面图像映射回球面，以进行渲染观看。
本发明实施例提供了一种基于主视点的全景图像映射方法，包括全景图像映射方法以及相应的反映射方法，以下分别介绍映射方法以及反映射方法的实施例。
图1所示为通过全景视频反映射方法将全景图像A所对应的球面映射到二维平面图像B上的映射过程。根据球面的纬度，将球面分成三个区域：分别记为区域I，区域II和区域III；区域I对应球面上纬度为-90°～Z1的区域，区域II对应球面上纬度为Z1～Z2的区域，区域III对应球面上纬度为Z2～90°的区域；然后将区域I映射为分辨率为WI×WI的方形平面I′，区域II映射为分辨率为WII×HII的矩形平面II′，区域III映射为分辨率为WIII×WIII的方形平面III′；最后根据WI，WII，HII，WIII的值将平面I′，II′，III′拼成一个平面，所得的平面即为上述二维平面图像B；所述参数Z1，Z2，WI，WII，HII，WIII均可进行设置，且需满足条件：-90°≤Z1≤Z2和Z1≤Z2≤90°，在本实施例中令参数WI＝0.25×WII＝HII＝WIII以保证最后拼接成矩形。将图1(a)中的球面映射并拼接成图1(c)中的平面的方法步骤如下：
第一步：对方形平面I′中的每个像素点，根据其在平面I′中的坐标(X，Y)，计算其对应的球面坐标Coordinate(经度和纬度)，然后根据球面坐标Coordinate取球面上对应位置的像素值(或附近像素通过插值计算得到相应像素值)，作为平面I′中像素点(X，Y)的像素值。根据平面I′中的坐标(X，Y)计算其对应的球面坐标Coordinate的方法为：
1.1)计算得到该点到方形平面I′中心的垂直距离和水平距离，取其中较大的一个记为m；通过式1计算得到：
m＝max(abs(WI÷2-X-0.5),abs(WI÷2-Y-0.5)) (式1)
1.2)方形平面I′可看作是多个同心方形组成的，本步中计算得到该点到其所在的同心方形上第零个点的距离，记为n；具体地，本实施例选取右上角的像素为第零个像素，距离按逆时针方向计算，其计算方法如下：
其中，m2＝(WI-1)÷2-m。
1.3)根据n和m，分别通过式3和式4计算得到方形平面I′中坐标为(X，Y)的点所对应的纬度latitude和经度longitude：
latitude＝(Z1+90°)×m÷(WI÷2)-90° (式3)
longitude＝n÷(8×m)×360°-180° (式4)
第二步：对方形平面II＇中的每个像素点，根据其在平面II＇中的坐标(X，Y)，计算其对应的球面坐标Coordinate(经度和纬度)，然后根据球面坐标Coordinate取球面上对应位置的像素值(或附近像素通过插值计算得到相应像素值)，作为平面II′中像素点(X，Y)的像素值。根据平面II′中的坐标(X，Y)计算其对应的球面坐标Coordinate的公式为：
latitude＝Z2-(Z2-Z1)×(Y+0.5)÷HII (式5)
longitude＝360°×(X+0.5)÷WII-180°+offset (式6)
其中，offset为矩形平面II′中心对应的经度，可自行设置。
第三步：对方形平面III′中的每个像素点，根据其在平面III′中的坐标(X，Y)，计算其对应的球面坐标Coordinate(经度和纬度)，然后根据球面坐标Coordinate取球面上对应位置的像素值(或附近像素通过插值计算得到相应像素值)，作为平面III′中像素点(X，Y)的像素值。根据平面III′中的坐标(X，Y)计算其对应的球面坐标Coordinate的方法为：
3.1)计算得到该点到方形平面III′中心的垂直距离和水平距离，取其中较大的一个记为m；
m＝max(abs(WIII÷2-X-0.5),abs(WIII÷2-Y-0.5)) (式7)
3.2)方形平面III′可看作是多个同心方形组成的，本步中计算得到该点到其所在的同心方形上第零个点的距离，记为n；其中第零个点的位置可任意选取；
其中，m2＝(WIII-1)÷2-m；
3.3)根据n和m计算得到方形平面III′中坐标为(X，Y)的点所对应的纬度latitude和经度longitude；
latitude＝90°-(90°-Z2)×m÷(WIII÷2) (式9)
longitude＝n÷(8×m)×360°-180° (式10)
第四步：如图1(b)和图1(c)所示，首先将矩形平面II′分成四个分辨率为HII×HII的小平面，记作：II′1，II′2，II′3，II′4，然后按照平面II′1，平面II′2，平面II′3，平面III′，平面II′4，平面I′的顺序将它们拼接成一个分辨率为6WI×WI的平面，拼接中平面III′顺时针旋转90°，平面II′4逆时针旋转90°。
至此，本实施例完成将全景图像从球面映射成平面图像，得到的平面图像展示效果如图2所示。
另一方面，本发明提供的全景图像反映射方法将二维平面图像B映射回球面，二维平面图像B由三个平面拼接而成，这三个平面记为平面I′，平面II′，平面III′，平面I′是分辨率为WI×WI的方形平面，平面II′是分辨率为WII×HII的矩形平面，平面III′是分辨率为WIII×WIII的方形平面；全景视频反映射方法将平面I′映射回球面上纬度为-90°～Z1的区域I，平面II′映射回球面上纬度为Z1～Z2的区域II，平面III′映射回球面上纬度为Z2～90°的区域III，所述参数Z1，Z2，WI，WII，HII，WIII的值包括但不限于从码流中获取。本实施例中令参数WI＝0.25×WII＝HII＝WIII，且平面I′，平面II′，平面III′拼接成的二维平面图像B分辨率为6WI×WI。
上述全景视频反映射方法将二维平面图像B映射回球面的具体步骤如下：
第一步：二维平面图像B拆分成平面I′，平面II′，平面III′，拆分的方法为，将二维平面图像B分成6个WI×WI的平面，分别记作平面1，平面2，平面3，平面4，平面5，平面6，将平面4逆时针旋转90°得到平面III′；平面6即为平面I′；剩下的4个平面按照平面1、平面2、平面3、平面5的顺序拼接为分辨率4WI×WI的平面(其中平面5顺时针旋转90°)得到平面II′；
第二步：对于球面上纬度为-90°～Z1的区域中的所有像素，根据其球面坐标Coordinate(经度和纬度)计算其对应到平面I′中的坐标(X，Y)，取平面I′中(X，Y)处的像素值(或附近像素进行插值)，作为球面上坐标Coordinate处像素点的值。根据球面坐标Coordinate计算其对应到平面I′中的坐标(X，Y)的步骤如下：
2.1)根据纬度latitude计算球面上的点在平面I′中的对应点距离平面I′中心的距离m，计算公式如下：
m＝(WI÷2)×(latitude+90°)÷(Z1+90°) (式11)
2.2)根据经度longitude计算球面上的点在平面I′中的对应点距离该对应点所在的同心方形中第零个点的距离n，其计算公式如下：
n＝8×m×(longitude+180°)÷360° (式12)
2.3)根据m和n的值计算出球面上的点在平面I′中的对应点的坐标(X，Y)：
其中，m2＝(WI-1)÷2-m；
第三步：对于球面上纬度为Z1～Z2的区域中的所有像素，根据其球面坐标Coordinate(经度和纬度)计算其对应到平面II＇中的坐标(X，Y)，取平面II＇中(X，Y)处的像素值(或附近像素进行插值)，作为球面上坐标Coordinate处像素点的值。根据其球面坐标Coordinate计算其对应到平面II＇中的坐标(X，Y)的计算公式为：
Y＝(Z2-latitude)×HII÷(Z2-Z1)-0.5 (式14)
X＝(longitude+180°-offset)÷360°×WII-0.5 (式15)
其中，offset为矩形平面II′中心对应的经度。
第四步：对于球面上纬度为Z2～90°的区域中的所有像素，根据其球面坐标Coordinate(经度和纬度)计算其对应到平面III′中的坐标(X，Y)，取平面III′中(X，Y)处的像素值(或附近像素进行插值)，作为球面上坐标Coordinate处像素点的值。
4.1)根据纬度latitude计算球面上的点在平面III′中的对应点距离平面III′中心的距离m；
m＝(WIII÷2)×(90°-latitude)÷（90°-Z2) (式16)
4.2)根据经度longitude计算球面上的点在平面III′中的对应点距离该对应点所在的同心方形中第零个点的距离n；
n＝8×m×（longitude+180°)÷360° (式17)
4.3)根据m和n的值计算出球面上的点在平面III′中的对应点的坐标(X，Y)
m2＝(WIII-1)÷2-m
其中，m2＝(WIII-1)÷2-m。
至此，上述实施例完成本发明反映射方法的所有步骤，通过反映射方法将二维平面图像B映射回球面，便于进行渲染观看。
在具体实施中，将球面全景视频分别使用equirectangular映射方法、PLANE_POLES映射方法和本发明方法映射为相同大小(像素个数相同)的平面视频并进行编码。其中，PLANE_POLES映射方法是在equirectangular映射方法基础上，将球面上两极附近的区域映射成方形，将球面上纬度相同的圆环映射为平面上的圆环。实施结果表明，本发明的方法相较于equirectangular映射取得了超过10％的编码效率的提升，相较于PLANE_POLES的方法，取得了3％-4％的编码效率的提升。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (12)

1.一种全景图像映射方法，将全景图像或视频A对应的球面映射为二维平面图像或视频B，首先根据球面的纬度，将球面分成三个区域：分别记为区域I，区域II和区域III；将所述三个区域分别映射为方形平面I＇、矩形平面II＇和方形平面III＇；再将平面I＇、II′、III′拼成一个平面；所得的平面即为二维平面图像或视频B；
所述区域I对应球面上纬度为-90°～Z1的区域，区域II对应球面上纬度为Z1～Z2的区域，区域III对应球面上纬度为Z2～90°的区域；所述参数Z1、Z2取值可自行设置并满足条件：-90°≤Z1≤Z2和Z1≤Z2≤90°；
所述方形平面I′分辨率为WI×WI，矩形平面II′分辨率为WII×HII，方形平面III′分辨率为WIII×WIII；所述参数WI、WII、HII、WIII取值可自行设置；
所述映射方法包括如下步骤：
1)针对方形平面I′中的每个像素点，根据平面I′中像素点的坐标(X，Y)，计算得到该像素点对应的球面坐标Coordinate，包括经度和纬度；然后根据球面坐标Coordinate取球面上对应位置的像素值或对附近像素通过插值计算得到相应像素值，作为平面I′中像素点(X，Y)的像素值；所述根据像素点在平面I′中的坐标(X，Y)计算其对应的球面坐标Coordinate，包括如下步骤：
1.1)计算得到该像素点到方形平面I′中心的垂直距离和水平距离，取其中较大者记为m；
1.2)将方形平面I′看作是由多个同心方形组成，计算得到该像素点到其所在的同心方形上第零个点的距离，记为n；所述第零个点的位置可任意选取；按照顺时针或逆时针方式计算得到该像素点到其所在的同心方形上第零个点的距离；
1.3)根据n和m计算得到方形平面I′中坐标为(X，Y)的点所对应的纬度latitude和经度longitude，即对应的球面坐标Coordinate；
2)针对矩形平面II′中的每个像素点，根据平面II′中像素点的坐标(X，Y)，计算得到该像素点对应的球面坐标Coordinate，包括经度和纬度；然后根据球面坐标Coordinate取球面上对应位置的像素值或对附近像素通过插值计算得到相应像素值，作为平面II′中像素点(X，Y)的像素值；
3)针对方形平面III′中的每个像素点，根据平面III′中像素点的坐标(X，Y)，计算得到该像素点对应的球面坐标Coordinate，包括经度和纬度；然后根据球面坐标Coordinate取球面上对应位置的像素值或附近像素通过插值计算得到相应像素值，作为平面I′中像素点(X，Y)的像素值；所述根据像素点在平面III′中的坐标(X，Y)计算其对应的球面坐标Coordinate的方法为：
3.1)计算得到该像素点到方形平面III′中心的垂直距离和水平距离，取其中较大的一个记为m；
3.2)将方形平面III＇看作是由多个同心方形组成，计算得到该像素点到其所在的同心方形上第零个点的距离，记为n；其中第零个点的位置可任意选取；
3.3)根据n和m计算得到方形平面III＇中坐标为(X，Y)的点所对应的纬度latitude和经度longitude；
4)根据参数WI、WII、HII、WIII取值，将平面I′、II′、III′拼接成一个平面。
2.如权利要求1所述映射方法，其特征是，步骤1.1)通过式1计算得到：
m＝max(abs(WI÷2-X-0.5),abs(WI÷2-Y-0.5)) (式1)
其中，m为像素点到方形平面I＇中心的垂直距离和水平距离中较大者；
步骤1.2)通过式2计算：
其中，m2＝(WI-1)÷2-m；n为像素点到其所在的同心方形上第零个点的距离；
步骤1.3)通过式3和式4计算：
latitude＝(Z1+90°)×m÷(WI÷2)-90° (式3)
longitude＝n÷(8×m)×360°-180° (式4)
其中，latitude为方形平面I′中坐标为(X，Y)的点所对应的纬度；longitude为相应的经度。
3.如权利要求1所述映射方法，其特征是，步骤2)根据像素点在平面II′中的坐标(X，Y)计算其对应的球面坐标Coordinate的公式为：
latitude＝Z2-(Z2-Z1)×(Y+0.5)÷HII (式5)
longitude＝360°×(X+0.5)÷WII-180°+offset (式6)
其中，offset为矩形平面II′中心对应的经度，可自行设置。
4.如权利要求1所述映射方法，其特征是，步骤3.1)通过式7计算得到：
m＝max(abs(WIII÷2-X-0.5),abs(WIII÷2-Y-0.5)) (式7)
其中，m为像素点到方形平面III′中心的垂直距离和水平距离中较大者；
步骤3.2)通过式8计算：
其中，m2＝(WIII-1)÷2-m；n为像素点到其所在的同心方形上第零个点的距离；
步骤3.3)通过式9和式10计算：
latitude＝90°-(90°-Z2)×m÷(WIII÷2) (式9)
longitude＝n÷(8×m)×360°-180° (式10)
其中，latitude为方形平面III′中坐标为(X，Y)的点所对应的纬度；longitude为相应的经度。
5.如权利要求1所述映射方法，其特征是，步骤4)根据参数WI、WII、HII、WIII取值，将平面I′、II′、III′拼接成一个平面的方法，具体地：当WI＝0.25×WII＝HII＝WIII时，首先将矩形平面II′分成四个分辨率为HII×HII的小平面，分别记作：II′1、II′2、II′3、II′4；然后按照平面II′1、平面II′2、平面II′3、平面III′、平面II′4、平面I′的顺序，将上述六个平面进行拼接，拼接过程中将平面III′顺时针旋转90°，将平面II′4逆时针旋转90°，即得到分辨率为6WI×WI的一个平面。
6.一种全景图像反映射方法，将二维平面图像或视频B映射回球面，得到全景图像或视频A；所述二维平面图像或视频B由三个平面拼接而成，所述三个平面分别记为平面I′、平面II′、平面III′；所述平面I′是分辨率为WI×WI的方形平面，平面II′是分辨率为WII×HII的矩形平面，平面III＇是分辨率为WIII×WIII的方形平面；所述反映射方法将平面I′映射回球面上纬度为-90°～Z1的区域I，将平面II′映射回球面上纬度为Z1～Z2的区域II，将平面III′映射回球面上纬度为Z2～90°的区域III；所述参数Z1、Z2、WI、WII、HII、WIII取值包括但不限于从码流中获取；所述反映射方法包括以下步骤：
1)将二维平面图像B拆分成平面I＇、平面II＇、平面III＇；
2)对于球面上纬度为-90°～Z1的区域中的每一个像素点，根据其球面坐标Coordinate计算该像素点对应到平面I′中的坐标(X，Y)，取平面I′中(X，Y)处的像素值或对附近像素进行插值得到的像素值，作为球面上坐标Coordinate处像素点的值；
3)对于球面上纬度为Z1～Z2的区域中的每一个像素点，根据其球面坐标Coordinate计算其对应到平面II′中的坐标(X，Y)，取平面II′中(X，Y)处的像素值或对附近像素进行插值得到的像素值，作为球面上坐标Coordinate处像素点的值；
4)对于球面上纬度为Z2～90°的区域中的每一个像素点，根据其球面坐标Coordinate计算其对应到平面III′中的坐标(X，Y)，取平面III′中(X，Y)处的像素值或对附近像素进行插值得到的像素值，作为球面上坐标Coordinate处像素点的值；
由此实现将二维平面图像或视频B映射回球面，得到全景图像或视频A。
7.如权利要求6所述反映射方法，其特征是，步骤1)中，当参数WI＝0.25×WII＝HII＝WIII，且平面I′、平面II′、平面III′拼接成的二维平面图像B分辨率为6WI×WI时，将二维平面图像B分成6个WI×WI的平面，分别记作平面1、平面2、平面3、平面4、平面5、平面6，将平面4逆时针旋转90°得到平面III′；平面6即为平面I′；将剩下的四个平面按照平面1、平面2、平面3、平面5的顺序拼接为分辨率4WI×WI的平面，其中平面5顺时针旋转90°，即得到平面II′。
8.如权利要求6所述反映射方法，其特征是，步骤2)对于球面上纬度为-90°～Z1的区域中的每一个像素点，根据该像素点球面坐标Coordinate计算其对应到平面I′中的坐标(X，Y)的步骤如下：
2.1)根据纬度latitude计算球面上的点在平面I′中的对应点距离平面I＇中心的距离m；
2.2)根据经度longitude计算球面上的点在平面I＇中的对应点距离该对应点所在的同心方形中第零个点的距离n；
2.3)根据m和n的值计算出球面上的点在平面I＇中的对应点的坐标(X，Y)。
9.如权利要求8所述反映射方法，其特征是，步骤2.1)通过式11根据纬度latitude计算球面上的点在平面I＇中的对应点距离平面I＇中心的距离m：
m＝(WI÷2)×(latitude+90°)÷(Z1+90°) (式11)
步骤2.2)通过式12根据经度longitude计算球面上的点在平面I′中的对应点距离该对应点所在的同心方形中第零个点的距离n：
n＝8×m×(longitude+180°)÷360° (式12)
步骤2.3)通过式13根据m和n的值计算出球面上的点在平面I′中的对应点的坐标(X，Y)：
其中，m2＝(WI-1)÷2-m。
10.如权利要求6所述反映射方法，其特征是，步骤3)对于球面上纬度为Z1～Z2的区域中的每一个像素点，根据该像素点球面坐标Coordinate，通过式14和式15计算得到其对应到平面II′中的坐标(X，Y)：
Y＝(Z2-latitude)×HII÷(Z2-Z1)-0.5 (式14)
X＝(longitude+180°-offset)÷360°×WII-0.5 (式15)
其中，offset为矩形平面II＇中心对应的经度。
11.如权利要求6所述反映射方法，其特征是，步骤4)对于球面上纬度为Z2～90°的区域中的每一个像素点，根据其球面坐标Coordinate(经度和纬度)计算其对应到平面III＇中的坐标(X，Y)，取平面III＇中(X，Y)处的像素值或对附近像素进行插值得到的像素值，作为球面上坐标Coordinate处像素点的值；包括如下步骤：
4.1)根据纬度latitude计算球面上的点在平面III′中的对应点距离平面III′中心的距离m；
4.2)根据经度longitude计算球面上的点在平面III′中的对应点距离该对应点所在的同心方形中第零个点的距离n；
4.3)根据m和n的值计算出球面上的点在平面III′中的对应点的坐标(X，Y)。
12.如权利要求11所述反映射方法，其特征是，步骤4.1)通过式16根据纬度latitude计算球面上的点在平面III′中的对应点距离平面III′中心的距离m：
m＝(WIII÷2)×(90°-latitude)÷(90°-Z2) (式16)
步骤4.2)通过式17根据经度longitude计算球面上的点在平面III′中的对应点距离该对应点所在的同心方形中第零个点的距离n：
n＝8×m×(longitude+180°)÷360° (式17)
步骤4.3)通过式18根据m和n的值计算出球面上的点在平面III′中的对应点的坐标(X，Y)：
其中，m2＝(WIII-1)÷2-m。
CN201710116888.9A 2017-03-01 2017-03-01 全景图像映射方法 Active CN106899840B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710116888.9A CN106899840B (zh) 2017-03-01 2017-03-01 全景图像映射方法
PCT/CN2017/098378 WO2018157568A1 (zh) 2017-03-01 2017-08-22 全景图像映射方法
US16/490,373 US10798301B2 (en) 2017-03-01 2017-08-22 Panoramic image mapping method
US16/558,870 US20200074593A1 (en) 2017-03-01 2019-09-03 Panoramic image mapping method, apparatus, and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710116888.9A CN106899840B (zh) 2017-03-01 2017-03-01 全景图像映射方法

Publications (2)

Publication Number Publication Date
CN106899840A CN106899840A (zh) 2017-06-27
CN106899840B true CN106899840B (zh) 2018-06-05

Family

ID=59185344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710116888.9A Active CN106899840B (zh) 2017-03-01 2017-03-01 全景图像映射方法

Country Status (3)

Country Link
US (1) US10798301B2 (zh)
CN (1) CN106899840B (zh)
WO (1) WO2018157568A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
CN106899840B (zh) 2017-03-01 2018-06-05 北京大学深圳研究生院 全景图像映射方法
CN109218755B (zh) * 2017-07-07 2020-08-25 华为技术有限公司 一种媒体数据的处理方法和装置
CN109327699B (zh) * 2017-07-31 2021-07-16 华为技术有限公司 一种图像的处理方法、终端和服务器
CN110349226B (zh) * 2018-04-01 2021-06-01 浙江大学 一种全景图像处理方法及装置
CN108769680B (zh) * 2018-05-31 2021-02-23 上海大学 一种全景视频基于斜率分段采样方法及装置
CN111489288B (zh) * 2019-01-28 2023-04-07 北京魔门塔科技有限公司 一种图像的拼接方法和装置
CN110545429B (zh) * 2019-09-26 2021-08-31 福州大学 一种基于全景视频纬度特性的复杂度优化方法及设备
CN110827193B (zh) * 2019-10-21 2023-05-09 国家广播电视总局广播电视规划院 基于多通道特征的全景视频显著性检测方法
CN111275730A (zh) * 2020-01-13 2020-06-12 平安国际智慧城市科技股份有限公司 地图区域的确定方法、装置、设备及存储介质
CN111429529B (zh) * 2020-04-10 2024-02-20 浙江大华技术股份有限公司 一种坐标转换的标定方法、电子设备以及计算机存储介质
CN111507894B (zh) * 2020-04-17 2023-06-13 浙江大华技术股份有限公司 一种图像拼接处理方法及装置
CN112927371A (zh) * 2021-03-03 2021-06-08 深圳市创想三维科技有限公司 图像处理方法、装置、计算机设备和存储介质
CN115619648A (zh) * 2021-07-14 2023-01-17 华为技术有限公司 全景图像的色调映射方法和装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160286128A1 (en) * 2002-10-01 2016-09-29 Dylan TX ZHOU Amphibious vtol super drone camera in a mobile case (phone case) with multiple aerial and aquatic flight modes for capturing panoramic virtual reality views, selfie and interactive video
CN100458560C (zh) * 2004-12-17 2009-02-04 上海杰图软件技术有限公司 一种基于全帧图像生成球形全景的方法
JP4980153B2 (ja) * 2007-06-21 2012-07-18 株式会社ソニー・コンピュータエンタテインメント 画像表示装置および画像表示方法
CN103077509B (zh) 2013-01-23 2015-10-28 天津大学 利用离散立方体全景图实时合成连续平滑全景视频的方法
CN105898344A (zh) * 2016-04-12 2016-08-24 乐视控股（北京）有限公司 一种全景视频的播放方法和装置
CN105898339A (zh) * 2016-04-12 2016-08-24 乐视控股（北京）有限公司 一种全景视频转码的方法及装置
CN106231311A (zh) 2016-08-01 2016-12-14 上海国茂数字技术有限公司 一种非矩形视频编码方法及装置
CN106162207B (zh) * 2016-08-25 2019-02-12 北京字节跳动科技有限公司 一种全景视频并行编码方法和装置
CN106412554B (zh) 2016-09-22 2018-05-18 北京搜狐新媒体信息技术有限公司 一种编码方法及装置
CN106899840B (zh) * 2017-03-01 2018-06-05 北京大学深圳研究生院 全景图像映射方法

Also Published As

Publication number Publication date
CN106899840A (zh) 2017-06-27
US10798301B2 (en) 2020-10-06
US20200092471A1 (en) 2020-03-19
WO2018157568A1 (zh) 2018-09-07

Similar Documents

Publication Publication Date Title
CN106899840B (zh) 全景图像映射方法
TWI615810B (zh) 具紋理映射功能的全景影像產生方法及裝置
TWI673995B (zh) 生成和編碼包括堆疊在360度虛擬實境投影佈局中的至少一個填充區域和至少一個投影面的基於投影的圖框的方法及裝置
US10467775B1 (en) Identifying pixel locations using a transformation function
US7292722B2 (en) Representation and coding of panoramic and omnidirectional images
EP3534336B1 (en) Panoramic image generating method and apparatus
ES2886637T3 (es) Método y aparato de compresión de imagen panorámica
Fu et al. The rhombic dodecahedron map: An efficient scheme for encoding panoramic video
JPS60501922A (ja) テクスチャ発生の方法および装置
CN107924556B (zh) 图像生成装置和图像显示控制装置
WO2018164852A1 (en) Image reconstruction for virtual 3d
CN110246146A (zh) 基于多次深度图像渲染的全视差光场内容生成方法及装置
Livny et al. A GPU persistent grid mapping for terrain rendering
CN106162140A (zh) 一种全景视频的压缩方法及装置
TW201830956A (zh) 生成基於投影的幀的方法以及裝置
CN108510558B (zh) 点云数据的压缩方法、装置及终端
CN110458755A (zh) 图像处理方法、相关设备及计算机存储介质
WO2018052100A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム
CN115187729A (zh) 三维模型生成方法、装置、设备和存储介质
CN106127681B (zh) 一种图像采集方法、虚拟现实图像传输方法及显示方法
CN111273877A (zh) 一种实景三维数据与二维栅格图片的联动展示平台及其联动方法
EP1745440A1 (en) Graphics pipeline for rendering graphics
Fan et al. Pixels and Panoramas: An Enhanced Cubic Mapping Scheme for Video\/Image-Based Virtual-Reality Scenes
CN106973277B (zh) 一种rgb格式图像转yuv420格式的方法及装置
US20220108420A1 (en) Method and system of efficient image rendering for near-eye light field displays

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant