CN106846245A - 基于主视点的全景视频映射方法 - Google Patents

基于主视点的全景视频映射方法 Download PDF

Info

Publication number
CN106846245A
CN106846245A CN201710031017.7A CN201710031017A CN106846245A CN 106846245 A CN106846245 A CN 106846245A CN 201710031017 A CN201710031017 A CN 201710031017A CN 106846245 A CN106846245 A CN 106846245A
Authority
CN
China
Prior art keywords
region
pixel
latitude
ball
longitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710031017.7A
Other languages
English (en)
Other versions
CN106846245B (zh
Inventor
王荣刚
王悦名
王振宇
高文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Priority to CN201710031017.7A priority Critical patent/CN106846245B/zh
Publication of CN106846245A publication Critical patent/CN106846245A/zh
Priority to US16/478,607 priority patent/US20200143511A1/en
Priority to PCT/CN2017/095984 priority patent/WO2018133380A1/zh
Priority to US16/514,269 priority patent/US20200154111A1/en
Application granted granted Critical
Publication of CN106846245B publication Critical patent/CN106846245B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T3/12—
    • G06T3/06—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G06T3/08—
    • G06T3/147—

Abstract

本发明公布了全景视频正映射方法和全景视频反映射方法，涉及虚拟现实(VR)视频领域。本发明中，正映射方法基于主视点，将球面上的区域I、II、III分别映射到平面上相应的区域，其中区域I对应夹角0°～Z1的区域，区域II对应夹角Z1～Z2的区域，区域III对应夹角Z2～180°的区域。全景视频正映射方法将全景图像A所对应的球面映射到平面方形图像B上；全景视频反映射方法将平面方形图像B映射回球面，进行渲染播放。本发明可大大降低视频的分辨率，有效地降低全景视频编码的码率和编解码的复杂度，达到减少编码码率并保证ROI区域的视频质量的目的。

Description

基于主视点的全景视频映射方法
技术领域
本发明涉及虚拟现实(VR)视频领域，尤其涉及一种基于主视点的全景视频映射方法，可用于全景视频，在保证全景视频的主视点区域质量不变的前提下，能够大大减少全景视频的文件大小和编码的码率。
背景技术
随着虚拟现实技术的日益发展，对虚拟现实视频的需求日益增加。全景视频提供了360°的可视范围，但是，观看者在一段时间内只观看一定区域内的视频。以上这些情况下，观看者观看的视频区域可称为主视点区域，主视点区域往往只是360°全景视频的一部分。
由于360°的要求更广的视角，因此，全景视频相比于传统的平面视频，需要更高的分辨率，其编码所需的码率也相较传统的平面视频高出许多，并且视频编解码的复杂度也大大提高。现有的映射方法难以降低全景视频编码的码率和编解码的复杂度，也难以保证主视点区域的视频质量。
发明内容
为了克服上述现有技术的不足，本发明提供一种新的全景图像正映射及相应的反映射方法，全景图像正映射方法在保证主视点区域视频质量不变的情况下，大大降低视频的分辨率，从而有效地降低全景视频编码的码率和编解码的复杂度，达到减少全景视频编码的码率并保证主视点区域的视频质量的目的。全景图像反映射技术提供了从平面映射回球面的方法，通过此方法可以对本发明中的平面图像进行渲染观看。
本发明提供的技术方案是：
一种基于主视点的全景视频正映射方法，将全景图像A所对应的球面映射到平面方形图像B上；主视点中心的经度和纬度为(lon，lat)，根据与主视点中心到球心连线的夹角，将球面分成三个区域：分别记为区域I，区域II和区域III，区域I对应夹角0°～Z1的区域，区域II对应夹角Z1～Z2的区域，区域III对应夹角Z2～180°的区域；然后将区域I映射为图像B上以图像中心为圆心，半径为ρ0的圆；将区域II映射为图像B上以图像中心为圆心，内半径为ρ0；外半径为图像尺寸一半的圆环；区域III映射为以图像B四个角为圆心的四个四分之一圆，四分之一圆与区域II对应的圆环的外圈相切；特别的，当Z1＝0°时，ρ0＝0，此时不存在区域I，只存在区域II，III；当Z1＝Z2时，ρ0为图像尺寸的一半，此时没有区域II，只存在区域I，III；采用上述方法映射后，图像B中有部分区域未使用，可填充成任意的像素值；
针对上述全景视频正映射过程，进一步地，将全景图像A所对应的球面映射到平面方形图像B(其分辨率N×N)上的具体方法为针对平面图像B中的每一个像素点(X，Y)，根据(X，Y)计算其对应的球面坐标Coordinate，球面坐标Coordinate与(X，Y)的关系可表示为：Coordinate＝F(X，Y)＝fT(fM(X，Y))，其中fM表示计算主视点中心为北纬90度(或南纬90度)时，平面图像B中的像素点(X，Y)对应到球面上的坐标，对应以下的步骤11)，fT表示旋转的操作，对应以下的步骤12)，然后根据球面坐标Coordinate取球面上对应位置的像素值(或附近像素通过插值计算得到相应像素值)，作为平面图像B中像素点(X，Y)的像素值。上述方法的具体过程包括如下步骤11)～13)：
11)计算得到主视点中心为北纬90度时，平面图像B中的像素点(X，Y)对应到球面上的坐标；具体包括如下步骤：
A)计算平面图像B中的每个像素点(X，Y)到平面图像B中心的距离ρ；
B)根据ρ的值判断像素点(X，Y)所在的区域，当像素点(X，Y)在区域I或区域II中时，转入步骤C)，反之计算像素点(X，Y)到图像四个角的距离，取其中最小的距离记作ρ′，根据ρ′的值判断像素点(X，Y)是否在区域III中，当像素点(X，Y)在区域III中时，转入步骤C)；当像素点(X，Y)不在区域III中时，像素点(X，Y)为未使用像素，填充成任意值(如果像素靠近II，III的区域边界，优选地，可填充成II，III区域边界上像素的值或按照II，III区域的映射方式计算出像素值)，结束操作；
C)根据像素点(X，Y)所在的区域以及ρ或ρ′的值，来计算当前点与主视点中心夹角Z的值；
D)根据公式latitude＝90°-Z(主视点中心为北纬90度)或latitude＝-90°+Z(主视点中心为南纬90度)，计算得到像素点(X，Y)对应的纬度；
E)如果像素点(X，Y)在区域I或区域II中，根据平面上区域I，II选取的经度为0的方向(经度为0的方向可自行设置)以及X,Y的值，计算得到当前像素点的经度longitude；如果像素点(X，Y)在区域III中，根据四个四分之一圆所对应的角度(其对应的角度可自行设置，但需要覆盖整个360°的范围)和X,Y的值，计算得到当前像素点的经度longitude；
F)根据像素点的经度和纬度得到该像素点在球面的坐标，该坐标为主视点中心为北纬90度或南纬90度时，平面图像B中的像素点(X，Y)对应到球面上的坐标；
12)对步骤F)所得到的坐标进行旋转，得到主视点中心为(lon，lat)时，平面图像B中的像素点(X，Y)所对应的坐标；
13)根据步骤2)中旋转后的坐标，取球面上对应位置的像素值(或通过插值计算得到相应像素值)，作为平面图像B中的像素点(X，Y)的像素值。
针对上述全景视频正映射过程，进一步地，全景图像A的映射格式包括但不限于经纬图、立方体映射图像、多路相机采集的全景视频。
针对上述全景视频正映射过程，进一步地，所述方法中的参数lon，lat，Z1，Z2和ρ0的值均可自行设置。
针对上述全景视频正映射过程，进一步地，步骤A)计算平面图像B中的像素点(X，Y)到平面图像B中心的距离ρ，具体将平面图像B中的像素点(X，Y)归一化到-1到1，归一化后的坐标为(X′，Y′)，再计算点(X′，Y′)到平面图像B中心的距离为
针对上述全景视频正映射过程，进一步地，步骤B)判断像素点(X，Y)所在的区域的方法为：当ρ≤ρ0时，所述像素点(X，Y)位于区域I中；当1≥ρ>ρ0时，所述像素点(X，Y)位于区域II中；当ρ>1时，计算像素点(X，Y)到平面图像B四个角的距离，取其中最小的距离记作ρ′，当时，像素点(X，Y)位于区域III中，当时，平面图像B中的像素点(X，Y)为未使用像素，填充成任意值(如果像素靠近II，III区域边界，建议填充成II，III区域边界上像素的值或按照II，III区域的映射方式计算出像素值)；
针对上述全景视频正映射过程，进一步地，步骤C)根据像素点(X，Y)所在的区域以及ρ或ρ′的值，来计算方位角Z的值的方法为：如果像素点(X，Y)位于区域I中，方位角为C0由边界条件：ρ＝ρ0时，Z＝Z1来确定；如果像素点(X，Y)位于区域II中，方位角Z由ρ2＝C1+C0∫sinZf1(Z)dZ求解得到，公式中的C0，C1由边界条件：ρ＝ρ0时，Z＝Z1和ρ＝1时，Z＝Z2来确定；如果像素点(X，Y)位于区域III中，方位角Z由ρ′2＝C1+C0∫sinZf2(Z)dZ求解得到，公式中的C0，C1由边界条件：ρ′＝0时，Z＝180°和时，Z＝Z2来确定；
针对上述全景视频正映射过程，进一步地，步骤12)所述旋转，具体根据经度和纬度计算得到点在单位球面上的直角坐标(X球，Y球，Z球)，再将坐标(X球，Y球，Z球)乘旋转矩阵(该旋转矩阵满足以下条件：北纬90度(或南纬90度)的点的坐标乘上该旋转矩阵后得到的坐标为主视点中心(lon，lat)处的坐标)，得到平面图像B中的像素点(X，Y)对应到球面上的直角坐标(X球′，Y球′，Z球′)(也可通过此直角坐标求出对应的经度和纬度)。
另一方面，全景视频反映射过程，基于主视点，将平面方形图像B映射回球面；设方形图像B的主视点中心的经度和纬度为(lon，lat)，区域I为图像B上以图像中心为圆心，半径为ρ0的圆，对应球面上与主视点中心道球心连线夹角为0°～Z1的区域；区域II为图像B上以图像中心为圆心，内半径为ρ0，外半径为图像尺寸一半的圆环，对应球面上与主视点中心道球心连线夹角为Z1～Z2的区域；区域III为以图像B四个角为圆心的四个四分之一圆，四分之一圆与区域II对应的圆环的外圈相切，对应球面上与主视点中心道球心连线夹角为Z2～180°的区域；所述参数lon，lat，Z1，Z2和ρ0的值包括但不限于从码流中获取。
全景视频反映射具体方法为：对于球面上的点，根据其坐标Coordinate计算其对应到平面的坐标(X，Y)，平面坐标(X，Y)与Coordinate的关系表示为：(X，Y)＝F′(Coordinate)＝fM′(fT′(Coordinate))，其中fT′表示旋转操作对应以下的步骤21)，fM′表示映射的操作，对应以下的步骤22)到24)，然后根据平面坐标(X，Y)取平面上对应位置的像素值(或附近像素通过插值计算得到相应像素值)，作为球面上Coordinate处像素点的像素值，以上球面坐标Coordinate可表示为(longitude′，latitude′)或(X球′，Y球′，Z球′)，上述方法的具体步骤如下：
21)对球面上的点进行旋转，得到假设当前主视点中心为北纬90度(或南纬90度)，其所对应的经纬度(longitude，latitude)；
22)根据纬度latitude，计算出与北纬90度(或南纬90度)的夹角Z，然后根据Z的值判断当前点所在的区域(区域I，区域II或区域III)；
23)根据当前点所对应的区域以及Z的值，计算出当前点对应到平面上后距离平面图像B中心的距离ρ或距离平面图像B四个角的最小距离ρ′；
24)根据步骤23)中求出的ρ或ρ′以及经度longitude，来求出当前点对应到平面图像B上后的坐标(X，Y)；
25)取平面图像B上(X，Y)处的像素值(或附近像素进行插值)，作为球面上坐标为(longitude′，latitude′)或(X球′，Y球′，Z球′)的点的像素值；
针对上述全景视频反映射过程，进一步地，步骤21)所述旋转，具体将球面坐标(longitude′，latitude′)或(X球′，Y球′，Z球′)转换为直角坐标(X球′，Y球′，Z球′)，再将坐标(X球′，Y球′，Z球′)乘以旋转矩阵(该旋转矩阵满足以下条件：能将主视点中心(lon，lat)处的点旋转到北纬90度(或南纬90度)处)，得到旋转后的直角坐标(X球，Y球，Z球)，然后根据直角坐标(X球，Y球，Z球)算出对应的经纬度(longitude，latitude)。
针对上述全景视频反映射过程，进一步地，步骤22)根据纬度latitude计算出与北纬90度(或南纬90度)的夹角Z，然后根据Z的值判断当前点所在的区域(区域I，区域II或区域III)，其具体的方法为：由公式Z＝90°-latitude(主视点中心为北纬90度)或Z＝latitude+90°(主视点中心为南纬90度)计算出Z的值；如果0°≤Z<Z1，则其位于区域I中；如果Z1<Z<Z2，则其位于区域II中；如果Z2<Z≤180°，则其位于区域III中；如果Z＝Z1，可归为区域I或区域II，如果Z＝Z2，可归为区域II或区域III，但需要与正映射一致。
针对上述全景视频反映射过程，进一步地，步骤23)根据当前点所对应的区域以及Z的值，计算出当前点对应到平面上后距离平面图像B中心的距离ρ或距离平面图像B四个角的最小距离ρ′的具体方法为：当前点位于区域I中时，ρ由公式计算得到，C0由边界条件：ρ＝ρ0时，Z＝Z1来确定；当前点位于区域II中时，ρ由公式ρ2＝C1+C0∫sinZf1(Z)dZ求解得到，其中的C0，C1由边界条件：ρ＝ρ0时，Z＝Z1和ρ＝1时，Z＝Z2来确定；当前点位于区域III中时，ρ′由公式ρ′2＝C1+C0∫sinZf2(Z)dZ求解得到，其中的C0，C1由边界条件：ρ′＝0时，Z＝180°和时，Z＝Z2来确定。
针对上述全景视频反映射过程，进一步地，步骤24)求解坐标(X，Y)的值，具体的如果点位于区域I或II中，根据longitude得到当前点与平面上区域I或II所选的经度为0的方向的夹角，根据夹角的大小以及ρ的值求解出当前点映射到平面上的坐标(X，Y)的值；如果点位于区域III中，根据longitude、ρ′的值以及四个四分之一圆所对应的角度得到当前点映射到平面上的坐标(X，Y)的值。区域I或II所选的经度为0的方向以及四个四分之一圆所对应的角度应与正映射过程一致。
本发明实施例中，采用基于主视点的全景视频映射方法，包括全景视频正映射过程和全景视频反映射方法过程；通过正映射过程的上述步骤，可将图像A(球面上的区域)分别映射到平面图像B(平面上的相应区域)，通过反映射过程的上述步骤，可将平面图像B映射回球面进行渲染观看。
与现有技术相比，本发明的有益效果是：
本发明提供一种新的全景图像正映射技术及反映射技术，在保证主视点区域视频质量不变的情况下，大大降低视频的分辨率，从而有效地降低全景视频编码的码率和编解码的复杂度，达到减少全景视频编码的码率并保证主视点区域的视频质量的目的。
具体地，本发明具有以下优点：
(一)本发明中的全景图像映射参数Z1，Z2，ρ0，f(Z)均是可调的，即主视点区域的范围一集采样密度的变化速度是可调的。
(二)在合理选择映射的参数Z1，Z2，ρ0，f(Z)时(比如Z1＝60°，Z2＝90°，ρ0＝sin60°，时)，即可保证主视点区域及有较好的质量，又能有效地降低非主视点区域的采样密度，大大减小图像的分辨率，从而有效地降低全景视频编码的码率和编解码的复杂度。
在上述参数条件下，我们将分辨率为4096x2048的图像映射成分辨率为1536x1536的图像，像素数下降了约72％，在测试中，编码的所需的码率下降了约55％，主视点区域的视频质量基本不变。
(三)通过反映射方法，可将本发明中的平面图像B映射回球面进行渲染观看。
附图说明
图1是全景图像映射与球面对应关系的示意图，通过本发明提供的全景图像正映射方法，将球面上的I,II,III区域分别映射到平面上的I,II,III区域；通过本发明提供的全景图像反映射方法，将平面上的I,II,III区域分别映射回球面上的I,II,III区域；
其中，(a)为球面上的全景图像的示意图；(b)为经本发明方法映射后的图像的示意图；(a)中的区域I为以点C为中心的主视点区域，其对应从0°到Z1的区域；Z1为(a)图中∠BOC的度数，可自行设置；本发明将其映射到(b)中的区域I的圆面上，(b)中的I区域圆面半径为ρ0，可自行设置；(a)球面上的II区域为第一级的非主视点区域，其对应从Z1到Z2之间的区域，Z2为(a)图中∠AOC的度数，可自行设置；本发明将其映射到(b)方形中的II区域的圆环上；(a)球面上的III区域为第二级非主视点区域，其对应从R′到180°之间的区域，本发明将其映射到(b)方形中的III区域的圆面上，方形中的III区域的圆面由四个1/4圆面组成；(b)方形中除I、II、III区域之外的区域为未使用区域，填充成任意的像素值。
图2是本发明中的映射与球面上面积对应的示意图；其中，(a)为球面上一小块区域面积计算的示意图；(b)为平面上一小块区域面积计算的示意图；单位球面上一个较小区域的面积可表示为S球＝sinZdαdZ，将其映射到平面中的圆面上后对应的面积为S圆面＝ρdαdρ，二者面积之比为当其面积之比为一个常数，即时，解出ρ与Z的关系为这保证了主视点区域中的采样密度是一样的；当令其面积之比为一个值随Z增加而非递增的函数f(Z)，即时，解出ρ与Z的关系为ρ2＝C1+C0∫sinZf(Z)dZ，这保证了离主视点区域越远，采样密度越低。
图3是本发明正映射方法的流程图。
图4是本发明反映射方法的流程图。
图5是本发明实施例中进行正映射和反映射计算的示意图；
其中，I，II区域选择X轴正方向为longitude为0°的方向，通过映射计算得到III区域上longitude的对应关系。
图6是本发明实施例进行正映射得到的效果图。
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
本发明实施例提供了一种基于主视点的全景图像映射方法，包括全景图像正映射方法以及相应的反映射方法，以下分别介绍正映射方法以及反映射方法的实施例。
全景图像正映射方法如图1所示，通过本发明提供的全景图像正映射方法，将球面上的I,II,III区域分别映射到平面上的I,II,III区域。图1中，左边为球面上的全景图像的示意图，右边为本发明方法映射后的图像的示意图。球面上的I区域为以点C为中心的主视点区域，其对应从0°到Z1(Z1为图中∠BOC的度数，可自行设置)之间的区域，本发明将其映射到方形中的I区域的圆面上(I区域圆面半径为ρ0，可自行设置)；球面上的II区域为第一级的非主视点区域，其对应从Z1到Z2(Z2为图中∠AOC的度数，可自行设置)之间的区域，本发明将其映射到方形中的II区域的圆环上；球面上的III区域为第二级非主视点区域，其对应从R′到180°之间的区域，本发明将其映射到方形中的III区域的圆面上(方形中的III区域的圆面由四个1/4圆面组成)；方形中除I，II，II区域之外的区域为未使用区域，可填充成任意的像素值。
如图2所示，单位球面上一个较小区域的面积可表示为S球＝sinZdαdZ，其映射到平面中的圆面上后对应的面积为S圆面＝ρdαdρ，他们的面积之比为在方形中的I区域对应的圆面中，令其面积之比为一个常数，即解出ρ与Z的关系为这保证了方形中I区域的圆面中(主视点区域中)的采样密度是一样的。在方形中的II，III区域对应的圆面中，令其面积之比为一个值随Z增加而非递增的函数f(Z)(方形中的II，III区域的f(Z)函数可以不同)，即解出ρ与Z的关系为ρ2＝C1+C0∫sinZf(Z)dZ，这保证了离主视点区域越远，采样密度越低。
在实施例中，我们将某种映射格式的全景图像A(如经纬图，立方体映射图像等)所对应的球面映射到本发明中设计的全景映射对应的平面图像B(平面图像B的分辨率为N×N)。其具体的流程如下(其中第一步到第六步为计算主视点中心为北纬90度时，平面图像B中的像素点(X，Y)对应到球面上的坐标，第七步经过旋转将坐标旋转到当前主视点中心所对应的坐标)：
第一步：将平面图像B中的像素点(X，Y)归一化到-1到1，归一化后的坐标为(X′，Y′)(这里可以不进行归一化，但归一化以后后面的公式更便于推导)。
第二步：计算点(X′，Y′)到平面图像B中心的距离
第三步：如果ρ≤ρ0，则点位于区域I中，方位角(公式中的C0由边界条件：ρ＝ρ0时，Z＝Z1来确定)；如果1≥ρ>ρ0，则点位于区域II中，方位角Z由ρ2＝C1+C0∫sinZf1(Z)dZ求解出(公式中的C0，C1由边界条件：ρ＝ρ0时，Z＝Z1和ρ＝1时，Z＝Z2来确定)；如果ρ>1，计算点(X′，Y′)到平面图像B四个角的距离，取其中最小的距离记作ρ′，如果则点位于区域III中，方位角Z由ρ′2＝C1+C0∫sinZf2(Z)dZ求解出(公式中的C0，C1由边界条件：ρ′＝0时，Z＝180°和1时，Z＝Z2来确定)，如果则平面图像B中的像素点(X，Y)为未使用像素这，可填充成任意值。
第四步：根据公式latitude＝90°-Z计算出该点对应的纬度，latitude为正时表示北纬，latitude为负时表示南纬。
第五步：根据X′，Y′的值计算出当前点的经度longitude，longitude为正表示东经，longitude为负表示西经。
第六步：根据经度和纬度便可知道该点在球面的坐标，即为主视点中心为北纬90度时，平面图像B中的像素点(X，Y)对应到球面上的坐标。
第七步：根据经度纬度计算出点在单位球面上的笛卡尔坐标(X球，Y球，Z球)，再将坐标(X球，Y球，Z球)乘上从北纬90度旋转到主视点中心所对应的旋转矩阵得到平面图像B中的像素点(X，Y)对应到球面上的笛卡尔坐标(X球′，Y球′，Z球′)(这里也可以对经度纬度坐标直接进行旋转，但对笛卡尔坐标进行旋转在计算上比较简单)。
第八步：根据球面上坐标(X球′，Y球′，Z球′)取球面上对应位置的像素值(或通过插值计算得到相应像素值)，作为平面图像B中的像素点(X，Y)的像素值。
图3是本发明正映射方法的流程图。本实施例正映射过程的具体计算如下：
第一步：将平面图像B(分辨率为N×N)中的像素点(X，Y)归一化到-1到1，归一化后的坐标为(X′，Y′)，其计算公式如下：
第二步：计算点(X′，Y′)到平面图像B中心的距离：
其中，ρ为点(X′，Y′)到平面图像B中心的距离。
第三步：如果ρ≤ρ0，则点位于区域I中；如果1≥ρ>ρ0，则点位于区域II中；如果ρ>1，计算点(X′，Y′)到平面图像B四个角的距离，取其中最小的距离记作ρ′，如果则点位于区域III中，，如果则平面图像B中的像素点(X，Y)为未使用像素这，可填充成任意值，然后直接跳过后面的步骤。如果点位于区域I，II，III中，则根据ρ或ρ′和Z的关系解出Z的值，其计算的关系如下：
区域I中：
区域II中：ρ2＝C1+C0∫sinZf1(Z)dZ 式5)
区域III中：ρ′2＝C1+C0∫sinZf2(Z)dZ (式6)
以上公式中的C0,C1由边界条件解出，区域I，II，III的边界条件如下：
区域I中：
区域II中：
区域III中:
第四步：根据Z计算出该点对应的纬度latitude，latitude为正时表示北纬，latitude为负时表示南纬，计算公式如下：
latitude＝90°-Z (式10)
第五步：根据X′，Y′的值计算出当前点的经度longitude，longitude为正表示东经，longitude为负表示西经。平面图像B中的I，II区域上longitude为0°的方向和III区域上longitude的对应关系可自行设置。本实施例中I，II区域选择X轴正方向为longitude为0°的方向，III区域上longitude的对应关系如图5所示，其具体的计算公式：
区域I，II中：
区域III中：
第六步：根据经度和纬度便可知道该点在球面的坐标，即为主视点中心为北纬90度时，平面图像B中的像素点(X，Y)对应到球面上的坐标。
第七步：根据经度纬度计算出点在单位球面上的笛卡尔坐标(X球，Y球，Z球)(坐标系的X,Y,Z轴如图1所示)，其计算如下：
X球＝sin(longitude)×cos(latitude) (式13)
Y球＝sin(latitude) (式14)
Z球＝cos(longitude)×cos(latitude) (式15)
再将坐标(X球，Y球，Z球)乘上从北纬90度旋转到主视点中心所对应的旋转矩阵得到平面图像B中的像素点(X，Y)对应到球面上的笛卡尔坐标(X球′，Y球′，Z球′)。
第八步：根据球面上坐标(X球′，Y球′，Z球′)取球面上对应位置的像素值(或通过插值计算得到相应像素值)，作为平面图像B中的像素点(X，Y)的像素值。
至此，该本发明正映射方法实施例的所有步骤完成，实施例展示效果如图6所示。
另一方面，全景图像反映射方法将平面方形图像B映射回球面。在本实施例中，设方形图像B的主视点中心的经度和纬度为(lon，lat)，分辨率为N×N，区域I为图像B上以图像中心为圆心，半径为ρ0的圆，对应球面上与主视点中心道球心连线夹角为0°～Z1的区域；区域II为图像B上以图像中心为圆心，内半径为ρ0，外半径为图像尺寸一半的圆环，对应球面上与主视点中心道球心连线夹角为Z1～Z2的区域；区域III为以图像B四个角为圆心的四个四分之一圆，四分之一圆与区域II对应的圆环的外圈相切，对应球面上与主视点中心道球心连线夹角为Z2～180°的区域；所述参数lon，lat，Z1，Z2和ρ0的值包括但不限于从码流中获取。
图4是本发明反映射方法的流程图。反映射方法实施例具体的流程如下：
第一步：将球面上坐标为(longitude′，latitude′)或(X球′，Y球′，Z球′)的点的坐标转换为直角坐标(X球′，Y球′，Z球′)，其计算公式如下(坐标系的X,Y,Z轴如图1所示，如果输入是(X球′，Y球′，Z球′)，则不需要进行转换)：
X球′＝sin(longitude′)×cos(latitude′) (式16)
Y球′＝sin(latitude′) (式17)
Z球′＝cos(longitude′)×cos(latitude′) (式18)
第二步：将坐标(X球′，Y球′，Z球′)乘以从主视点中心(lon，lat)旋转到北纬90度(或南纬90度)所对应的旋转矩阵，得到旋转后的直角坐标(X球″，Y球″，Z球″)；
第三步：对(X球″，Y球″，Z球″)进行归一化，归一化后的直角坐标为(X球，Y球，Z球)，其计算的关系如下：
第三步：然后根据直角坐标(X球，Y球，Z球)算出对应的经纬度(longitude，latitude)，其计算的关系如下：
latitude＝arcsin(Y球) (式20)
第四步：由公式Z＝90°-latitude算出当前点与主视点中心的夹角；
第五步：根据Z的值判断当前点所在的区域，如果0°≤Z≤Z1，则其位于区域I中；如果Z1<Z≤Z2，则其位于区域II中；如果Z2<Z≤180°，则其位于区域III中；
第六步：如果该点位于区域I、II中，则计算当前点对应到平面上后距离平面图像B中心的距离ρ，如果该点位于区域III中，则计算当前点对应到平面上后距离平面图像B四个角的最小距离ρ′，ρ或ρ′由以下公式解出：
区域I中：
区域II中：ρ2＝C1+C0∫sinZf1(Z)dZ (式23)
区域III中：ρ′2＝C1+C0∫sinZf2(Z)dZ (式24)
以上公式中，的C0，C1由边界条件求解出，边界条件如下：
区域I中：
区域II中：
区域III中:
第七步：根据longitude，ρ或ρ′的值计算出当前点在平面上的坐标(X，Y)，具体的如果点位于区域I或II中，根据longitude得到当前点与平面上区域I或II所选的经度为0的方向的夹角，根据夹角的大小以及ρ的值求解出当前点映射到平面上的坐标(X，Y)的值；如果点位于区域III中，根据longitude、ρ′的值以及四个四分之一圆所对应的角度得到当前点映射到平面上的坐标(X′，Y′)的值。本实施例中I，II区域选择X轴正方向为longitude为0°的方向，III区域上longitude的对应关系如图5所示，其具体的计算公式：
区域I，II中：X′＝ρcos(longitude),Y′＝ρsin(longitude) (式28)
区域III中：
第八步：上一步中算出的(X′，Y′)是归一化到-1到1后的坐标，需反归一化，反归一化的计算如下：
第九步：取平面图像B上(X，Y)处的像素值(或附近像素进行插值)，作为球面上坐标为(longitude′，latitude′)或(X球′，Y球′，Z球′)的点的像素值；
至此，通过上述正映射过程和反映射过程的所有步骤，本发明实施例的正映射过程可将图像A(球面上的区域)映射到平面图像B(平面上的相应区域)，本发明实施例的反映射过程可将平面图像B映射回球面进行渲染观看。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (14)

1.一种全景视频正映射方法，基于主视点，将全景图像A所对应的球面映射到平面方形图像B上；其中，主视点中心的经度和纬度为(lon，lat)，根据与主视点中心到球心连线的夹角，将球面分成三个区域：分别记为区域I，区域II和区域III，区域I对应夹角0°～Z1的区域，区域II对应夹角Z1～Z2的区域，区域III对应夹角Z2～180°的区域。然后将区域I映射为图像B上以图像中心为圆心，半径为ρ0的圆；将区域II映射为图像B上以图像中心为圆心，内半径为ρ0；外半径为图像尺寸一半的圆环；区域III映射为以图像B四个角为圆心的四个四分之一圆，四分之一圆与区域II对应的圆环的外圈相切；当Z1＝0°时，ρ0＝0，此时不存在区域I，只存在区域II和III；当Z1＝Z2时，ρ0为图像尺寸的一半，此时没有区域II，只存在区域I和III；经所述方法正映射后，图像B中有部分区域未使用，将未使用区域填充成任意的像素值。
2.如权利要求1所述全景视频正映射方法，其特征是，将全景图像A所对应的球面映射到分辨率为N×N的平面方形图像B上的具体方法为：针对平面图像B中的每一个像素点(X，Y)，包括如下步骤：
1)计算得到主视点中心为北纬90度或南纬90度时，平面图像B中的像素点(X，Y)对应到球面上的坐标；具体包括如下步骤：
A)计算平面图像B中的每个像素点(X，Y)到平面图像B中心的距离ρ；
B)根据ρ的值判断像素点(X，Y)所在的区域，当像素点(X，Y)在区域I或区域II中时，转入步骤C)，反之计算像素点(X，Y)到图像四个角的距离，取其中最小的距离记作ρ′，根据ρ′的值判断像素点(X，Y)是否在区域III中，当像素点(X，Y)在区域III中时，转入步骤C)；当像素点(X，Y)不在区域III中时，像素点(X，Y)为未使用像素，填充成任意值，结束操作；
C)根据像素点(X，Y)所在的区域以及ρ或ρ′的值，来计算当前点与主视点中心夹角Z的值；
D)根据公式latitude＝90°-Z(主视点中心为北纬90度)或latitude＝-90°+Z(主视点中心为南纬90度)，计算得到像素点(X，Y)对应的纬度；
E)如果像素点(X，Y)在区域I或区域II中，根据平面上区域I，II选取的经度为0的方向(经度为0的方向可自行设置)以及X,Y的值，计算得到当前像素点的经度longitude；如果像素点(X，Y)在区域III中，根据四个四分之一圆所对应的角度(其对应的角度可自行设置，但需要覆盖整个360°的范围)和X,Y的值，计算得到当前像素点的经度longitude；
F)根据像素点的经度和纬度得到该像素点在球面的坐标，该坐标为主视点中心为北纬90度或南纬90度时，平面图像B中的像素点(X，Y)对应到球面上的坐标；
2)对步骤F)所得到的坐标进行旋转，得到主视点中心为(lon，lat)时，平面图像B中的像素点(X，Y)所对应的坐标；
3)根据步骤2)中旋转后的坐标，取球面上对应位置的像素值(或通过插值计算得到相应像素值)，作为平面图像B中的像素点(X，Y)的像素值。
3.如权利要求1所述全景视频正映射方法，其特征是，所述全景图像A的映射格式包括但不限于经纬图、立方体映射图像、多路相机采集的全景视频。
4.如权利要求1所述全景视频正映射方法，其特征是，所述方法中的参数lon，lat，Z1，Z2和ρ0的值均可自行设置。
5.如权利要求2所述全景视频正映射方法，其特征是，步骤A)计算平面图像B中的像素点(X，Y)到平面图像B中心的距离ρ，具体将平面图像B中的像素点(X，Y)归一化到-1到1，归一化后的坐标为(X′，Y′)，再计算点(X′，Y′)到平面图像B中心的距离为
6.如权利要求2所述全景视频正映射方法，其特征是，步骤B)判断像素点(X，Y)所在的区域的方法为：当ρ＜ρ0时，所述像素点(X，Y)位于区域I中(ρ＝ρ0是可归为区域I也可归为区域II)；当1≥ρ＞ρ0时，所述像素点(X，Y)位于区域II中；当ρ＞1时，计算像素点(X，Y)到平面图像B四个角的距离，取其中最小的距离记作ρ′，当时，像素点(X，Y)位于区域III中；当时，平面图像B中的像素点(X，Y)为未使用像素，填充成任意值(如果像素靠近II，III区域边界，建议填充成II，III区域边界上像素的值或按照II，III区域的映射方式计算出像素值)。
7.如权利要求2所述全景视频正映射方法，其特征是，步骤C)根据像素点(X，Y)所在的区域、ρ或ρ′的值，来当前点与主视点中心夹角Z的值的方法具体为：
当像素点(X，Y)位于区域I中时，Z由公式计算得到，C0由边界条件：ρ＝ρ0时，Z＝Z1来确定；
当像素点(X，Y)位于区域II中时，Z由公式ρ2＝C1+C0∫sinZf1(Z)dZ求解得到，其中的C0，C1由边界条件：ρ＝ρ0时，Z＝Z1和ρ＝1时，Z＝Z2来确定；
当像素点(X，Y)位于区域III中时，方位角Z由ρ′2＝C1+C0∫sinZf2(Z)dZ求解得到，其中的C0，C1由边界条件：ρ′＝0时，Z＝180°和时，Z＝Z2来确定。
8.如权利要求2所述全景视频正映射方法，其特征是，步骤2)所述旋转，具体根据经度和纬度计算得到点在单位球面上的直角坐标(X球，Y球，Z球)，再将坐标(X球，Y球，Z球)乘以从北纬90度(或南纬90度)旋转到主视点中心(lon，lat)所对应的旋转矩阵，得到平面图像B中的像素点(X，Y)对应到球面上的直角坐标(X球′，Y球′，Z球′)(也可通过此直角坐标求出对应的经度longitude′和纬度latitude′)。
9.一种全景视频反映射方法，基于主视点，将平面方形图像B反映射回球面；其中，设方形图像B的主视点中心的经度和纬度为(lon，lat)，区域I为图像B上以图像中心为圆心，半径为ρ0的圆，将其反映射成球面上与主视点中心道球心连线夹角为0°～Z1的区域；区域II为图像B上以图像中心为圆心，内半径为ρ0，外半径为图像尺寸一半的圆环，将其反映射成球面上与主视点中心道球心连线夹角为Z1～Z2的区域；区域III为以图像B四个角为圆心的四个四分之一圆，四分之一圆与区域II对应的圆环的外圈相切，将其反映射成球面上与主视点中心道球心连线夹角为Z2～180°的区域；当ρ0＝0时，Z1＝0，此时不存在区域I，只存在区域II和III；当ρ0为图像尺寸的一半时，Z1＝Z2，此时没有区域II，只存在区域I和III；所述参数lon，lat，Z1，Z2和ρ0的值包括但不限于从码流中获取。
10.如权利要求9所述全景视频反映射方法，其特征是，将平面方形图像B反映射回球面的具体方法为对于球面上的点，其坐标为(longitude′，latitude′)或(X球′，Y球′，Z球′)，进行如下的步骤：
1)对球面上的点进行旋转，得到假设当前主视点中心为北纬90度(或南纬90度)，其所对应的经纬度(longitude，latitude)；
2)根据纬度latitude，计算出与北纬90度(或南纬90度)的夹角Z，然后根据Z的值判断当前点所在的区域；
3)根据当前点所对应的区域以及Z的值，计算出当前点对应到平面上后距离平面图像B中心的距离ρ或距离平面图像B四个角的最小距离ρ′；
4)根据步骤3)中求出的ρ或ρ′以及经度longitude，来求出当前点对应到平面图像B上后的坐标(X，Y)；
5)取平面图像B上(X，Y)处的像素值(或附近像素进行插值)，作为球面上坐标为(longitude′，latitude′)或(X球′，Y球′，Z球′)的点的像素值；
对球面上所有点执行以上步骤1)～5)，由此完成全景视频的反映射。
11.如权利要求10所述全景视频反映射方法，其特征是，步骤1)所述旋转，具体将坐标(longitude′，latitude′)或(X球′，Y球′，Z球′)转换为直角坐标(X球′，Y球′，Z球′)，再将坐标(X球′，Y球′，Z球′)乘以从主视点中心(lon，lat)旋转到北纬90度(或南纬90度)所对应的旋转矩阵，得到旋转后的直角坐标(X球，Y球，Z球)，然后根据直角坐标(X球，Y球，Z球)算出对应的经纬度(longitude，latitude)。
12.如权利要求10所述全景视频反映射方法，其特征是，步骤2)根据纬度latitude计算出与北纬90度或南纬90度的夹角Z，然后根据Z的值判断当前点所在的区域的方法为：
当主视点中心为北纬90度时，由公式Z＝90°-latitude计算出Z的值；当主视点中心为南纬90度时，由公式Z＝latitude+90°计算出Z的值；
当0°≤Z＜Z1时，当前点位于区域I中；当Z1＜Z＜Z2时，当前点位于区域II中；当Z2＜Z≤180°时，当前点位于区域III中；当Z＝Z1时，当前点位于区域I或区域II中；当Z＝Z2时，当前点位于区域II或区域III。
13.如权利要求10所述全景视频反映射方法，其特征是，步骤3)根据当前点所对应的区域以及Z的值，计算出当前点对应到平面上后距离平面图像B中心的距离ρ或距离平面图像B四个角的最小距离ρ′的具体方法为：
当前点位于区域I中时，ρ由公式计算得到，C0由边界条件：ρ＝ρ0时，Z＝Z1来确定；
当前点位于区域II中时，ρ由公式ρ2＝C1+C0∫sinZf1(Z)dZ求解得到，其中的C0，C1由边界条件：ρ＝ρ0时，Z＝Z1和ρ＝1时，Z＝Z2来确定；
当前点位于区域III中时，ρ′由公式ρ′2＝C1+C0∫sinZf2(Z)dZ求解得到，其中的C0，C1由边界条件：ρ′＝0时，Z＝180°和时，Z＝Z2来确定。
14.如权利要求10所述全景视频反映射方法，其特征是，步骤4)求解坐标(X，Y)的值，具体方法是：
当点位于区域I或II中时，根据longitude得到当前点与平面上区域I或II所选的经度为0的方向的夹角，再根据夹角的大小和ρ的值求解出当前点映射到平面上的坐标(X，Y)的值；
当点位于区域III中时，根据longitude、ρ′的值和四个四分之一圆所对应的角度，得到当前点映射到平面上的坐标(X，Y)的值。
CN201710031017.7A 2017-01-17 2017-01-17 基于主视点的全景视频映射方法 Active CN106846245B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710031017.7A CN106846245B (zh) 2017-01-17 2017-01-17 基于主视点的全景视频映射方法
US16/478,607 US20200143511A1 (en) 2017-01-17 2017-08-04 Panoramic video mapping method based on main viewpoint
PCT/CN2017/095984 WO2018133380A1 (zh) 2017-01-17 2017-08-04 基于主视点的全景视频映射方法
US16/514,269 US20200154111A1 (en) 2017-01-17 2019-07-17 Image mapping methods, apparatuses, device, and computer-readable memory medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710031017.7A CN106846245B (zh) 2017-01-17 2017-01-17 基于主视点的全景视频映射方法

Publications (2)

Publication Number Publication Date
CN106846245A true CN106846245A (zh) 2017-06-13
CN106846245B CN106846245B (zh) 2019-08-02

Family

ID=59124746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710031017.7A Active CN106846245B (zh) 2017-01-17 2017-01-17 基于主视点的全景视频映射方法

Country Status (3)

Country Link
US (1) US20200143511A1 (zh)
CN (1) CN106846245B (zh)
WO (1) WO2018133380A1 (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107622474A (zh) * 2017-09-26 2018-01-23 北京大学深圳研究生院 基于主视点的全景视频映射方法
CN108074281A (zh) * 2017-12-27 2018-05-25 北京奇艺世纪科技有限公司 棱锥全景图模型生成方法及装置、存储介质及电子设备
WO2018133380A1 (zh) * 2017-01-17 2018-07-26 北京大学深圳研究生院 基于主视点的全景视频映射方法
CN108520492A (zh) * 2018-03-16 2018-09-11 中国传媒大学 全景视频映射方法及系统
WO2018184528A1 (en) * 2017-04-05 2018-10-11 Mediatek Inc. Method and apparatus for processing projection-based frame with at least one projection face generated using non-uniform mapping
CN109104611A (zh) * 2018-07-11 2018-12-28 深圳超多维科技有限公司 一种用于球面与平面间映射的方法和装置
WO2019007120A1 (zh) * 2017-07-07 2019-01-10 华为技术有限公司 一种媒体数据的处理方法和装置
CN109218274A (zh) * 2017-07-07 2019-01-15 华为技术有限公司 一种媒体信息的处理方法及装置
CN109300182A (zh) * 2017-07-25 2019-02-01 中国移动通信有限公司研究院 全景图像数据处理方法、处理设备及存储介质
CN109496429A (zh) * 2017-12-29 2019-03-19 深圳市大疆创新科技有限公司 视频编码方法、视频解码方法及相关装置
WO2019062714A1 (en) * 2017-09-27 2019-04-04 Mediatek Inc. PROJECTION-BASED FRAME PROCESSING METHOD COMPRISING AT LEAST ONE CONDITIONED PROJECTION FACE IN A 360 DEGREE VIRTUAL REALITY PROJECTION LAYOUT
GB2568355A (en) * 2017-11-03 2019-05-15 Adobe Inc Dynamic mapping of virtual and physical interactions
US10313652B1 (en) 2016-08-18 2019-06-04 Relay Cars LLC Cubic or spherical mapped content for presentation of pre-rendered images viewed from a fixed point of view in HTML, javascript and/or XML for virtual reality applications
CN110072158A (zh) * 2019-05-06 2019-07-30 复旦大学 球面赤道区域双c型全景视频投影方法
CN110956583A (zh) * 2018-09-26 2020-04-03 华为技术有限公司 球面图像处理方法、装置及服务器
CN111566704A (zh) * 2017-09-26 2020-08-21 交互数字Ce专利控股公司 用于对表示球体多媒体内容的球体进行瓦片化的方法和网络装备
US11004173B2 (en) 2017-03-13 2021-05-11 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout
US11057643B2 (en) 2017-03-13 2021-07-06 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout
US11494870B2 (en) 2017-08-18 2022-11-08 Mediatek Inc. Method and apparatus for reducing artifacts in projection-based frame

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612621A (zh) * 2022-05-13 2022-06-10 武汉大势智慧科技有限公司 基于三维倾斜模型的全景图生成方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080074500A1 (en) * 1998-05-27 2008-03-27 Transpacific Ip Ltd. Image-Based Method and System for Building Spherical Panoramas
CN105959702A (zh) * 2016-05-30 2016-09-21 北京奇艺世纪科技有限公司 一种球面视频编码方法和装置
CN106060570A (zh) * 2016-06-30 2016-10-26 北京奇艺世纪科技有限公司 一种全景视频图像播放、编码方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7058239B2 (en) * 2001-10-29 2006-06-06 Eyesee360, Inc. System and method for panoramic imaging
GB2465791A (en) * 2008-11-28 2010-06-02 Sony Corp Rendering shadows in augmented reality scenes
CN101777193A (zh) * 2010-02-03 2010-07-14 中国人民解放军国防科学技术大学 基于双向映射精确插值的折反射全向图柱面全景展开方法
CN104835117B (zh) * 2015-05-11 2020-12-29 合肥工业大学 基于重叠方式的球面全景图生成方法
CN105069761A (zh) * 2015-08-28 2015-11-18 Tcl集团股份有限公司 一种低计算量的柱面全景图实现方法及系统
CN106127691B (zh) * 2016-07-12 2019-04-12 北京大学深圳研究生院 全景图像映射方法
CN106846245B (zh) * 2017-01-17 2019-08-02 北京大学深圳研究生院 基于主视点的全景视频映射方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080074500A1 (en) * 1998-05-27 2008-03-27 Transpacific Ip Ltd. Image-Based Method and System for Building Spherical Panoramas
CN105959702A (zh) * 2016-05-30 2016-09-21 北京奇艺世纪科技有限公司 一种球面视频编码方法和装置
CN106060570A (zh) * 2016-06-30 2016-10-26 北京奇艺世纪科技有限公司 一种全景视频图像播放、编码方法及装置

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10313652B1 (en) 2016-08-18 2019-06-04 Relay Cars LLC Cubic or spherical mapped content for presentation of pre-rendered images viewed from a fixed point of view in HTML, javascript and/or XML for virtual reality applications
WO2018133380A1 (zh) * 2017-01-17 2018-07-26 北京大学深圳研究生院 基于主视点的全景视频映射方法
US11057643B2 (en) 2017-03-13 2021-07-06 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout
US11004173B2 (en) 2017-03-13 2021-05-11 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout
US10356386B2 (en) 2017-04-05 2019-07-16 Mediatek Inc. Method and apparatus for processing projection-based frame with at least one projection face generated using non-uniform mapping
GB2573951A (en) * 2017-04-05 2019-11-20 Mediatek Inc Method and apparatus for processing projection-based frame with at least one projection face generated using non-uniform mapping
WO2018184528A1 (en) * 2017-04-05 2018-10-11 Mediatek Inc. Method and apparatus for processing projection-based frame with at least one projection face generated using non-uniform mapping
WO2019007120A1 (zh) * 2017-07-07 2019-01-10 华为技术有限公司 一种媒体数据的处理方法和装置
CN109218274A (zh) * 2017-07-07 2019-01-15 华为技术有限公司 一种媒体信息的处理方法及装置
CN109218755A (zh) * 2017-07-07 2019-01-15 华为技术有限公司 一种媒体数据的处理方法和装置
CN109300182A (zh) * 2017-07-25 2019-02-01 中国移动通信有限公司研究院 全景图像数据处理方法、处理设备及存储介质
US11494870B2 (en) 2017-08-18 2022-11-08 Mediatek Inc. Method and apparatus for reducing artifacts in projection-based frame
CN107622474B (zh) * 2017-09-26 2021-03-30 北京大学深圳研究生院 基于主视点的全景视频映射方法
CN107622474A (zh) * 2017-09-26 2018-01-23 北京大学深圳研究生院 基于主视点的全景视频映射方法
CN111566704A (zh) * 2017-09-26 2020-08-21 交互数字Ce专利控股公司 用于对表示球体多媒体内容的球体进行瓦片化的方法和网络装备
WO2019062714A1 (en) * 2017-09-27 2019-04-04 Mediatek Inc. PROJECTION-BASED FRAME PROCESSING METHOD COMPRISING AT LEAST ONE CONDITIONED PROJECTION FACE IN A 360 DEGREE VIRTUAL REALITY PROJECTION LAYOUT
GB2568355B (en) * 2017-11-03 2019-12-11 Adobe Inc Dynamic mapping of virtual and physical interactions
GB2568355A (en) * 2017-11-03 2019-05-15 Adobe Inc Dynamic mapping of virtual and physical interactions
CN108074281A (zh) * 2017-12-27 2018-05-25 北京奇艺世纪科技有限公司 棱锥全景图模型生成方法及装置、存储介质及电子设备
CN108074281B (zh) * 2017-12-27 2021-10-15 北京奇艺世纪科技有限公司 棱锥全景图模型生成方法及装置、存储介质及电子设备
CN109496429B (zh) * 2017-12-29 2022-05-06 深圳市大疆创新科技有限公司 视频编码方法、视频解码方法及相关装置
CN109496429A (zh) * 2017-12-29 2019-03-19 深圳市大疆创新科技有限公司 视频编码方法、视频解码方法及相关装置
CN108520492A (zh) * 2018-03-16 2018-09-11 中国传媒大学 全景视频映射方法及系统
CN108520492B (zh) * 2018-03-16 2022-04-26 中国传媒大学 全景视频映射方法及系统
CN109104611A (zh) * 2018-07-11 2018-12-28 深圳超多维科技有限公司 一种用于球面与平面间映射的方法和装置
CN110956583A (zh) * 2018-09-26 2020-04-03 华为技术有限公司 球面图像处理方法、装置及服务器
CN110956583B (zh) * 2018-09-26 2022-05-10 华为技术有限公司 球面图像处理方法、装置及服务器
CN110072158A (zh) * 2019-05-06 2019-07-30 复旦大学 球面赤道区域双c型全景视频投影方法
CN110072158B (zh) * 2019-05-06 2021-06-04 复旦大学 球面赤道区域双c型全景视频投影方法

Also Published As

Publication number Publication date
CN106846245B (zh) 2019-08-02
WO2018133380A1 (zh) 2018-07-26
US20200143511A1 (en) 2020-05-07

Similar Documents

Publication Publication Date Title
CN106846245B (zh) 基于主视点的全景视频映射方法
CN106251404B (zh) 方位跟踪方法、实现增强现实的方法及相关装置、设备
CN104330074B (zh) 一种智能测绘平台及其实现方法
CN105635551B (zh) 一种球型摄像机生成全景图像的方法及球型摄像机
CN107622474A (zh) 基于主视点的全景视频映射方法
CN107197200A (zh) 一种实现监控视频显示的方法及装置
CN106651764B (zh) 一种全景图压缩方法及装置
CN103268621B (zh) 一种房屋实景图生成方法与装置
CN107830846A (zh) 一种利用无人机和卷积神经网络测量通信塔天线角度方法
CN103345630B (zh) 一种基于球面全景视频的交通标志定位方法
CN107845060A (zh) 地理位置与对应的图像位置坐标转换方法及系统
CN106127691B (zh) 全景图像映射方法
CN103425626B (zh) 一种摄像机间坐标转换方法及装置
CN104655106B (zh) 基于gps rtk和全景影像的自主定位定向测图方法
Menna et al. \HIGH RESOLUTION 3D MODELING OF THE BEHAIM GLOBE
CN109741446A (zh) 一种三维数字地球上动态生成精细海岸地形的方法
CN105334525B (zh) 一种基于增强现实技术的地理信息显示方法
CN108668108A (zh) 一种视频监控的方法、装置及电子设备
CN109949367A (zh) 一种基于圆形投影的可见光成像定位方法
CN106643735A (zh) 一种室内定位方法、装置和移动终端
CN107462220A (zh) 面向月基对地观测影像的投影极坐标几何表达方法
CN109949401A (zh) 一种移动平台的非静态物体非实时阴影渲染的方法
CN110532865A (zh) 基于可见光与激光融合的航天器结构识别方法
CN108646922A (zh) 一种交互式数字地球仪及交互方法
CN111080523A (zh) 红外周视搜索系统及基于角度信息的红外周视图像拼接方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant