CN107622474B - 基于主视点的全景视频映射方法 - Google Patents
基于主视点的全景视频映射方法 Download PDFInfo
- Publication number
- CN107622474B CN107622474B CN201710882161.1A CN201710882161A CN107622474B CN 107622474 B CN107622474 B CN 107622474B CN 201710882161 A CN201710882161 A CN 201710882161A CN 107622474 B CN107622474 B CN 107622474B
- Authority
- CN
- China
- Prior art keywords
- angle
- coordinate
- rectangular pyramid
- plane
- center
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000001028 reflection method Methods 0.000 claims abstract description 17
- 238000005070 sampling Methods 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000012886 linear function Methods 0.000 claims description 9
- 230000009191 jumping Effects 0.000 claims description 6
- 238000009877 rendering Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 5
- 238000010606 normalization Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 241000543540 Guillardia theta Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/12—Panospheric to cylindrical image transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公布了一种新的全景视频非对称映射方法及相应的反映射方法,通过映射方法将全景图像或视频A所对应的球面映射到二维图像或视频B上;先将球面投影到底面为方形的等腰四棱锥上,再进一步将四棱锥投影到平面上;投影中对主视点的区域使用等角投影并使用较高的采样密度,保证主视点的区域的视频质量较高,对非主视点区域使用较低的采样密度以节省码率。该全景视频非对称映射技术在保证主视点区域视频质量不变的情况下,大大降低视频其余区域的分辨率,有效地节省了虚拟现实视频编码所需的码率。全景视频非对称反映射技术提供了从平面映射回球面的方法,通过此方法可将平面视频映射回球面进行渲染观看。
Description
技术领域
本发明涉及虚拟现实(VR)视频技术领域,尤其涉及一种新的基于主视点的全景视频映射方法及相应的反映射方法,该映射技术用于全景视频,在保证全景视频的主视点区域质量不变的前提下,可大大减少全景视频的文件大小和编码的码率。
背景技术
随着虚拟现实视频的发展,对虚拟现实视频的需求日益增加。相较于传统视屏100多度的视角,虚拟现实视频需要提供360度的视角,因此虚拟现实视频需要更大的分辨率,此外虚拟现实视频通常需要在头戴式设备上观看,为了不给用户造成眩晕感,建议的帧率需要在60帧每秒以上,甚至需要120帧每秒。由于分辨率和帧率的增加,虚拟现实视频编码所需的码率也比传统视频大大增加。
虽然虚拟现实视频提供了360度的视角,但是用户在一小段时间内只会观看一个视点附近的图像,这个视点方向称为用户观看的主视点,针对这个特点,非对称映射技术和流切换技术被提出以实现节省码率的目的。非对称映射技术是使用较高的采样密度对主视点区域进行采样,而对别的区域使用较低的采样密度进行采样。流切换技术在服务器端编码存储多路主视点不同的非对称映射视频的码流,客户端根据用户视点的位置选择接收对应的流。
使用非对称映射技术和流切换技术虽然需要提高服务器端的存储和编码成本,但是能有效地降低网络的传输成本和客户端的解码复杂度,在一对多的应用场景下十分有效。但现有的非对称映射技术的编码效率较低下,还有待提高。
发明内容
为了克服上述现有技术的不足,进一步提高非对称映射技术的编码效率,本发明提出了一种新的全景视频非对称映射方法及相应的反映射方法。该全景视频非对称映射技术在保证主视点区域视频质量不变的情况下,大大降低视频其余区域的分辨率,有效地节省了虚拟现实视频编码所需的码率。全景视频非对称反映射技术提供了从平面映射回球面的方法,通过此方法可将平面视频映射回球面进行渲染观看。
本发明提供的技术方案是:
一种新的基于主视点的全景视频非对称映射方法,将全景图像或视频A所对应的球面映射到二维图像或视频B上;所述映射方法先将球面投影到底面为方形的等腰四棱锥上,再进一步将四棱锥投影到平面上;投影中对主视点附近的区域使用等角投影并使用较高的采样密度,保证主视点附近的区域的视频质量较高,对距离主视点较远的区域使用较低的采样密度以节省码率;进一步的,过球心O建立右手坐标系,Z轴指向球面经度和纬度为(0°,0°)的方向,Y轴指向球面北极的方向,X轴指向球面经度和纬度为(90°,0°)的方向;再建立一个四棱锥W,其底面中心在Z轴正半轴上,顶点在Z轴负半轴上,底面边分别与X轴和Y轴平行,四棱锥的底面中心D与球心O的连线记作l1,四棱锥的底面边的中心与球心O的连线记作l2,l1和l2所成角的角度为θ,将四棱锥的底面记为面I″,与X轴正半轴相交的侧面记为面II″,与Y轴正半轴相交的侧面记为面III″,与X轴负半轴相交的侧面记为面IV″,与Y轴负半轴相交的侧面记为面V″;当主视点的俯仰角(pitch),航偏角(yaw)和翻滚角(roll)分别为(β1,β2,β3)时对应的四棱锥为上述四棱锥Q绕球心O旋转(β1,β2,β3)后对应的四棱锥Q′,过球心O与四棱锥Q′的四条底边作四个扇形平面,四个扇形平面将球面划为两个区域,其中包含主视点的区域称为主视点区域,其对应棱锥的底面,记为区域I,另一区域称为非主视点区域,过球心O与四棱锥Q′的四条侧边作四个扇形平面,四个平面进一步将非主视点区域划分为四个子区域,四个子区域分别对应棱锥的四个侧面II″,III″,IV″,V″,分别记作区域II、III、IV、V。本发明的映射方法将上述的区域I映射到分辨率为WI′×HI′的矩形平面I′上,将区域II、III、IV、V分别映射到四个等腰三角形平面II′,III′,IV′,V′上,四个等腰三角形平面的底和高分别为再将四个等腰三角形拼接成分辨率为WII′×HII′矩形平面VI′。所述参数θ,WI′,HI′,WII′,HII′,β1,β2,β3均自行设置;矩形平面I′和矩形平面VI′即为映射得到的二维图像或视频B。
上述全景图像A的映射格式包括但不限于经纬图、立方体映射图像、多路相机采集的全景视频。上述二维图像或视频B包含上述矩形平面I′和矩形平面VI′。
针对上述全景图像映射方法,进一步地,将全景图像或视频A所对应的球面映射到二维平面图像或视频B上的方法包括如下步骤:
第一步:对矩形平面I′中的每个像素点,根据其在平面I′中的坐标(XI′,YI′),计算其对应到四棱锥Q′底面上的坐标Coordinate′,然后进一步根据透视投影的方法计算其对应到球面上的坐标Coordinate,最后根据球面坐标Coordinate取球面上对应位置的像素值(或附近像素通过插值计算得到相应像素值),作为平面I′中像素点(XI,YI)的像素值,根据平面坐标(XI′,YI′)计算球面坐标Coordinate的具体步骤为:
(1.1)将平面I′中坐标为(XI′,YI′)的点对应四棱锥Q′底面上的点记为AI′,四棱锥Q′底面对边中心的连线记为m1和m2,点AI′在m1和m2上的投影分别记作BI′和CI′,四棱锥Q′底面中心记为D,AI′的方位可以由角BI′OD和角CI′OD来确定;本发明中根据(XI′,YI′)的值来计算角BI′OD和角CI′OD的大小,角BI′OD和角CI′OD的大小分别与XI′和YI′的值成一次函数关系;
(1.2)根据角BI′OD和角CI′OD的大小以及β1,β2,β3的值求出AI′的坐标Coordinate′;
第二步:对四个等腰三角形平面II′,III′,IV′,V′中的每个像素点,根据其坐标(XII′,YII′)(X和Y坐标轴分别垂直和平行于等腰三角形的底边),计算其对应到四棱锥Q′侧面上的坐标Coordinate′,然后进一步根据透视投影的方法计算其对应到球面上的坐标Coordinate,最后根据球面坐标Coordinate取球面上对应位置的像素值(或附近像素通过插值计算得到相应像素值),作为像素点(XII′,YII′)的像素值,根据平面坐标(XII′,YII′)计算球面坐标Coordinate的具体步骤为:
(2.1)将像素点(XII′,YII′)对应到四棱锥Q′侧面上的点记为AII′,四棱锥Q′侧面底边中心和顶点的连线记为n1,四棱锥Q′顶点和底面中心的连线记为n2,点AII′在n1和n2上的投影分别记作BII′和CII′,四棱锥Q′底面中心记为D,AII′的方位可以由角BII′OD和角AII′CII′BII′来确定;本发明中根据(XII′,YII′)的值来计算角BII′OD和角AII′CII′BII′的大小,角AII′CII′BII′的大小与YII′的值成一次函数关系,角BII′OD的大小与XII′的关系为∠BII′OD=f(XII′),f函数为满足以下条件的任意函数:
θ=f(0)
180°=f(H)
(2.2)根据角BII′OD和角AII′CII′BII′的大小以及β1,β2,β3的值求出AII′的坐标Coordinate′;
第三步:将第二步中得到的四个等腰三角形平面II′,III′,IV′,V′拼接成分辨率为WII′×HII′矩形平面VI′。
矩形平面I′和矩形平面VI′即为映射得到的二维图像或视频B。
针对上述全景视频映射过程,进一步的,步骤(2.1)中,f(XII′)可为:
另一方面,全景视频反映射过程是基于主视点,将二维图像或视频B映射回球面的过程;二维图像或视频B包含分辨率为WI′×HI′的矩形平面I′和分辨率为WII′×HII′矩形平面VI′,矩形平面VI′可进一步划分为四个等腰三角形平面II′,III′,IV′,V′,四个等腰三角形的底和高分别为所述反映射方法先将上述平面通过等角投影等方法映射到四棱锥上,然后再将四棱锥映射到球面上。进一步的,过球心O建立右手坐标系,Z轴指向球面经度和纬度为(0°,0°)的方向,Y轴指向球面北极的方向,X轴指向球面经度和纬度为(90°,0°)的方向;再建立一个四棱锥W,其底面中心在Z轴正半轴上,顶点在Z轴负半轴上,底面边分别与X轴和Y轴平行,四棱锥的底面中心D与球心O的连线记作l1,四棱锥的底面边的中心与球心O的连线记作l2,l1和l2所成角的角度为θ,θ表示了主视点区域的大小,将四棱锥的底面记为面I″,与X轴正半轴相交的侧面记为面II″,与Y轴正半轴相交的侧面记为面III″,与X轴负半轴相交的侧面记为面IV″,与Y轴负半轴相交的侧面记为面V″;当主视点的俯仰角(pitch),航偏角(yaw)和翻滚角(roll)分别为(β1,β2,β3)时对应的四棱锥为上述四棱锥Q绕球心O旋转(β1,β2,β3)后对应的四棱锥Q′,过球心O与四棱锥Q′的四条底边作四个扇形平面,四个扇形平面将球面划为两个区域,其中包含主视点的区域称为主视点区域,其对应棱锥的底面,记为区域I,另一区域称为非主视点区域,过球心O与四棱锥Q′的四条侧边作四个扇形平面,四个平面进一步将非主视点区域划分为四个子区域,四个子区域分别对应棱锥的四个侧面II″,III″,IV″,V″,分别记作区域II、III、IV、V。本发明的反映射方法将二维图像或视频B包含的分辨率为WI′×HI′的矩形平面I′映射到球面的主视点区域I上,将二维图像或视频B包含的四个等腰三角形平面II′,III′,IV′,V′映射到球面的非主视点区域II、III、IV、V上,所述参数θ,WI′,HI′,WII′,HII′,β1,β2,β3的值包括但不限于从码流中获取。
针对上述全景图像反映射方法,进一步地,将平面图像或视频B映射回球面的方法为对球面上的所有点具体进行如下操作:
第一步:根据球面点的坐标Coordinate以及β1,β2,β3的值判断其位于区域I、II、III、IV、V中的哪一个区域;如果其位于区域I中,则跳到第二步;如果其位于区域II、III、IV、V中,则跳到第五步;
第二步:将球面坐标为Coordinate的点记为AI′,四棱锥Q′底面对边中心的连线记为m1和m2,点AI′在m1和m2上的投影分别记作BI′和CI′,四棱锥Q′底面中心记为D;根据AI′的坐标Coordinate以及β1,β2,β3的值来计算角BI′OD和角CI′OD的大小;
第三步:根据角BI′OD和角CI′OD的大小来计算平面坐标(XI′,YI′)的值,XI′和YI′的值分别与角BI′OD和角CI′OD的大小分别成一次函数关系;
第四步:取矩形平面I′上(XI′,YI′)处的像素值(或附近像素进行插值),作为球面上坐标为Coordinate的点的像素值;跳过后续步骤;
第五步:将球面坐标为Coordinate的点记为AII′,四棱锥Q′侧面底边中心和顶点的连线记为n1,过n1于球心O的平面记为α3,四棱锥Q′顶点和底面中心的连线记为n2,点AII′在α3和n2上的投影分别记作BII′和CII′,四棱锥Q′底面中心记为D;根据AII′的坐标Coordinate以及β1,β2,β3的值来计算角BII′OD和角AII′CII′BII′的大小;
第六步:根据角BII′OD和角AII′CII′BII′的大小计算出平面坐标(XII′,YII′)的值(X和Y坐标轴分别垂直和平行于等腰三角形的底边),YII′的值与角AII′CII′BII′的大小成一次函数关系,角BII′OD的大小与XII′的关系为∠BII′OD=f(XII′),f函数为满足以下条件的任意函数:
θ=f(0)
180°=f(H)
第七步:取三角形平面上(XII′,YII′)处的像素值(或附近像素进行插值),作为球面上坐标为Coordinate的点的像素值;
对球面上所有的点进行第一步到第七步的操作,由此得到球面的全景图像。
针对上述全景视频反映射过程,进一步的,第六步中,f(XII′)可为:
与现有技术相比,本发明的有益效果是:
本发明提供了一种新的全景视频非对称映射方法及相应的反映射方法,通过映射方法将全景图像或视频A所对应的球面映射到二维图像或视频B上;先将球面投影到底面为方形的等腰四棱锥上,再进一步将四棱锥投影到平面上;投影中对主视点的区域使用等角投影并使用较高的采样密度,保证主视点的区域的视频质量较高,对非主视点区域使用较低的采样密度以节省码率。该全景视频非对称映射技术在保证主视点区域视频质量不变的情况下,大大降低视频其余区域的分辨率,有效地节省了虚拟现实视频编码所需的码率。全景视频非对称反映射技术提供了从平面映射回球面的方法,通过此方法可将平面视频映射回球面进行渲染观看。
本发明克服了现有技术的不足,进一步提高非对称映射技术的编码效率,具有以下优点:
(一)本发明中主视点区域球面上的角度与平面坐标成一次函数的关系,即对主视点根据角度等间距的采样,保证主视点区域的采样比较均匀;
(二)本发明中的全景图像映射参数θ和函数f是可调的,即主视点区域的范围以及采样密度的变化速度是可调的;
(三)在合理设置参数θ和函数f(XII)时,能保证主视点区域的质量,又能大大节省码率。如θ=45°,时,将分辨率为4096x2048的视频映射成分辨率为平面I′和平面VI′分辨率均为1024x1024的视频,然后将平面I和平面II拼接成分辨率均为2048x1024的视频,相比于已有的非对称映射技术能提高约10%-30%的编码效率;
(四)通过反映射方法,可将本发明中的平面图像B映射回球面进行渲染观看。
附图说明
图1是本发明映射过程中,球面与平面映射关系示意图;
其中,(a)为当主视点的俯仰角(pitch),航偏角(yaw)和翻滚角(roll)分别为(0°,0°,0°)时对应的四棱锥和球面的示意图;(b)为当主视点的俯仰角(pitch),航偏角(yaw)和翻滚角(roll)分别为(β1,β2,β3)时对应的四棱锥和球面的示意图;(c)为将球面通过本发明方法映射到平面后得到的矩形平面I′和矩形平面VI′的示意图;
(a)中:O为球心;Z轴指向球面经度和纬度为(0°,0°)的方向,Y轴指向球面北极的方向,X轴指向球面经度和纬度为(90°,0°)的方向;四棱锥中,底面中心D在Z轴正半轴上,顶点在Z轴负半轴上,底面边分别与X轴和Y轴平行;四棱锥的底面中心D与球心O的连线和四棱锥的底面边的中心与球心O的连线所成角的角度为θ,θ表示主视点区域的大小;
(b)中:四棱锥是将(a)中四棱锥根据俯仰角(pitch),航偏角(yaw)和翻滚角(roll)绕球心O进行旋转后的结果;
(c)中:I′为矩形平面;II′,III′,IV′,V′为四个等腰三角形平面,II′,III′,IV′,V′拼接成矩形平面VI′
图2是本发明中矩形面平I′中坐标为(XI′,YI′)的点与四棱锥上的点AI′的映射关系示意图;
其中,(a)是矩形面平I′中坐标为(XI′,YI′)的点的示意图;(b)是四棱锥上的点AI′的示意图;图中,O是球心,D是主视点中心,m1和m2分别是四棱锥底面对边中点的连线,点AI′是矩形面平I′中坐标为(XI′,YI′)的点映射到四棱锥上的对应点,BI′和CI′分别是点AI′在m1和m2上的投影。
图3是本发明中三角形平面中坐标为(XII′,YII′)的点与四棱锥上的点AII′的映射关系示意图;
其中,(a)是三角形平面中坐标为(XII′,YII′)的点的示意图;(b)是四棱锥上的点AII′的示意图;图中,O是球心,D是主视点中心,n1是四棱锥侧面底边中心和顶点的连线,n2是四棱锥顶点和底面中心D的连线,点AII′是三角形平面中坐标为(XII′,YII′)的点映射到四棱锥上的对应点,BII′和CII′分别是点AII′在n1和n2上的投影。
图4是本发明全景图像映射方法实施例效果图。
图5是本发明全景图像反映射方法中计算角BOD和角COD时的示意图;
其中,点B和点C分别是点A在ZOX平面和ZOY平面上投影;D是Z轴正半轴上的点,E是Z轴负半轴上的点。
图6是本发明全景图像反映射方法中球面上位于区域I中的点AI′与矩形平面I′中坐标为(XI′,YI′)的点的映射关系示意图;
其中,(a)是球面上位于区域I中的点AI′的示意图,O是球心,D是主视点中心,m1和m2分别是四棱锥底面对边中点的连线,BI′和CI′分别是点AI′在m1和m2上的投影;(b)是矩形平面I′中坐标为(XI′,YI′)的点的示意图。
图7本发明全景图像反映射方法中球面上位于区域II、III、IV、V中的点AII′与三角形平面中的点(XII′,YII′)的映射关系示意图;
其中,(a)是球面上位于区域II、III、IV、V中的点AII′的示意图,O是球心,D是主视点中心,n1是四棱锥侧面底边中心和顶点的连线,n2是四棱锥顶点和底面中心D的连线,BII′和CII′分别是点AII′在n1和n2上的投影;(b)是三角形平面中的点(XII′,YII′)的示意图。
具体实施方式
下面结合附图,通过实施例进一步描述本发明,但不以任何方式限制本发明的范围。
本发明实施例提供了一种基于主视点的全景图像映射方法,包括全景图像映射方法以及相应的反映射方法,以下分别介绍映射方法以及反映射方法的实施例。
在全景图像映射方法的实施例中,我们将某种映射格式的全景图像A(如经纬图,立方体映射图像等)所对应的球面映射到本发明中设计的全景映射对应的平面图像B,平面图像B包含分辨率为WI′×HI′的矩形平面I′和分辨率为WII′×HII′矩形平面VI′。全景图像映射方法先将球面投影到底面为方形的等腰四棱锥上,再进一步将四棱锥投影到平面上;投影中对主视点的区域使用等角投影并使用较高的采样密度,保证主视点的区域的视频质量较高,对非主视点区域使用较低的采样密度以节省码率。如图1所示,过球心O建立右手坐标系,Z轴指向球面经度和纬度为(0°,0°)的方向,Y轴指向球面北极的方向,X轴指向球面经度和纬度为(90°,0°)的方向;再建立一个四棱锥W,其底面中心在Z轴正半轴上,顶点在Z轴负半轴上,底面边分别与X轴和Y轴平行,四棱锥的底面中心D与球心O的连线记作l1,四棱锥的底面边的中心与球心O的连线记作l2,l1和l2所成角的角度为θ,θ表示了主视点区域的大小,将四棱锥的底面记为面I″,与X轴正半轴相交的侧面记为面II″,与Y轴正半轴相交的侧面记为面III″,与X轴负半轴相交的侧面记为面IV″,与Y轴负半轴相交的侧面记为面V″;当主视点的俯仰角(pitch),航偏角(yaw)和翻滚角(roll)分别为(β1,β2,β3)时对应的四棱锥为上述四棱锥Q绕球心O旋转(β1,β2,β3)后对应的四棱锥Q′,过球心O与四棱锥Q′的四条底边作四个扇形平面,四个扇形平面将球面划为两个区域,其中包含主视点的区域称为主视点区域,其对应棱锥的底面,记为区域I,另一区域称为非主视点区域,过球心O与四棱锥Q′的四条侧边作四个扇形平面,四个平面进一步将非主视点区域划分为四个子区域,四个子区域分别对应棱锥的四个侧面II″,III″,IV″,V″,分别记作区域II、III、IV、V。本发明的映射方法将上述的区域I映射到分辨率为WI′×HI′的矩形平面I′上,将区域II、III、IV、V分别映射到四个等腰三角形平面II′,III′,IV′,V′上,四个等腰三角形平面的底和高分别为再将四个等腰三角形拼接成分辨率为WII′×HII′矩形平面VI′。所述参数θ,WI′,HI′,WII′,HII′,β1,β2,β3均自行设置。全景图像映射方法具体的流程如下:
第一步:对矩形平面I′中的每个像素点,根据其在平面I′中的坐标(XI′,YI′),计算其对应到四棱锥Q′底面上的坐标Coordinate′,然后进一步根据透视投影的方法计算其对应到球面上的坐标Coordinate,最后根据球面坐标Coordinate取球面上对应位置的像素值(或附近像素通过插值计算得到相应像素值),作为平面I′中像素点(XI,YI)的像素值,根据平面坐标(XI′,YI′)计算球面坐标Coordinate的具体步骤为:
(1.1)如图2所示,平面I′中坐标为(XI′,YI′)的点对应四棱锥Q′底面上的点为AI′,四棱锥Q′底面对边中心的连线记为m1和m2,点AI′在m1和m2上的投影分别为BI′和CI′,根据(XI′,YI′)的值来计算角BI′OD和角CI′OD的大小,其计算公式为:
(1.2)根据角BI′OD和角CI′OD的大小以及β1,β2,β3的值求出AI′的坐标Coordinate′,Coordinate′由笛卡尔坐标来表示,其计算公式为:
其中T是一个根据俯仰角β1,航偏角β2和翻滚角β3生成的3×3维的旋转矩阵;k是线段OD的长度;
第二步:对四个等腰三角形平面II′,III′,IV′,V′中的每个像素点,根据其坐标(XII′,YII′)(X和Y坐标轴分别垂直和平行于等腰三角形的底边),计算其对应到四棱锥Q′侧面上的坐标Coordinate′,然后进一步根据透视投影的方法计算其对应到球面上的坐标Coordinate,最后根据球面坐标Coordinate取球面上对应位置的像素值(或附近像素通过插值计算得到相应像素值),作为像素点(XII′,YII′)的像素值,根据平面坐标(XII′,YII′)计算球面坐标Coordinate的具体步骤为:
(2.1)如图3所示,将像素点(XII′,YII′)对应到四棱锥Q′侧面上的点为AII′,四棱锥Q′侧面底边中心和顶点的连线为n1,四棱锥Q′顶点和底面中心的连线为n2,点AII′在n1和n2上的投影分别为BII′和CII′,根据(XII′,YII′)的值来计算角BII′OD和角AII′CII′BII′的大小,其计算公式如下:
∠BII′OD=f(XII′)
其中,f函数为满足以下条件的任意函数:
θ=f(0)
180°=f(H)
其中H为等腰三角形的高,对于四个等腰三角形平面II′,III′,IV′,V′,其值分别为 L为等腰三角形的底,对于四个等腰三角形平面II′,III′,IV′,V′,其值分别为WII′,HII′,WII′,HII′;
(2.2)根据角BII′OD和角AII′CII′BII′的大小以及β1,β2,β3的值求出AII′的坐标Coordinate′,Coordinate′由笛卡尔坐标来表示,其计算公式为:
其中T是一个根据俯仰角β1,航偏角β2和翻滚角β3生成的3×3维的旋转矩阵;k是线段CII′BII′的长度;
第三步:将第二步中得到的四个等腰三角形平面II′,III′,IV′,V′拼接成分辨率为WII′×HII′矩形平面VI′;
至此,全景图像映射方法的实施例的所有步骤完成,实施例展示效果如图4所示。
另一方面,在全景图像反映射方法的实施例中,基于主视点,将二维图像或视频B映射回球面;二维图像或视频B包含分辨率为WI′×HI′的矩形平面I′和分辨率为WII′×HII′矩形平面VI′,矩形平面VI′可进一步划分为四个等腰三角形平面II′,III′,IV′,V′,四个等腰三角形的底和高分别为所述反映射方法先将上述平面通过等角投影等方法映射到四棱锥上,然后再将四棱锥映射到球面上。进一步的,过球心O建立右手坐标系,Z轴指向球面经度和纬度为(0°,0°)的方向,Y轴指向球面北极的方向,X轴指向球面经度和纬度为(90°,0°)的方向;再建立一个四棱锥W,其底面中心在Z轴正半轴上,顶点在Z轴负半轴上,底面边分别与X轴和Y轴平行,四棱锥的底面中心D与球心O的连线记作l1,四棱锥的底面边的中心与球心O的连线记作l2,l1和l2所成角的角度为θ,θ表示了主视点区域的大小,将四棱锥的底面记为面I″,与X轴正半轴相交的侧面记为面II″,与Y轴正半轴相交的侧面记为面III″,与X轴负半轴相交的侧面记为面IV″,与Y轴负半轴相交的侧面记为面V″;当主视点的俯仰角(pitch),航偏角(yaw)和翻滚角(roll)分别为(β1,β2,β3)时对应的四棱锥为上述四棱锥Q绕球心O旋转(β1,β2,β3)后对应的四棱锥Q′,过球心O与四棱锥Q′的四条底边作四个扇形平面,四个扇形平面将球面划为两个区域,其中包含主视点的区域称为主视点区域,其对应棱锥的底面,记为区域I,另一区域称为非主视点区域,过球心O与四棱锥Q′的四条侧边作四个扇形平面,四个平面进一步将非主视点区域划分为四个子区域,四个子区域分别对应棱锥的四个侧面II″,III″,IV″,V″,分别记作区域II、III、IV、V。本发明的反映射方法将二维图像或视频B包含的分辨率为WI′×HI′的矩形平面I′映射到球面的主视点区域I上,将二维图像或视频B包含的四个等腰三角形平面II′,III′,IV′,V′映射到球面的非主视点区域II、III、IV、V上,所述参数θ,WI′,HI′,WII′,HII′,β1,β2,β3的值包括但不限于从码流中获取。全景图像反映射方法具体的流程如下:
第一步:根据球面点的坐标Coordinate以及β1,β2,β3的值判断其位于区域I、II、III、IV、V中的哪一个区域;其具体方法为:
首先根据β1,β2,β3对球面点的坐标Coordinate进行旋转,坐标Coordinate由笛卡尔坐标来表示为(X球,Y球,Z球),旋转后的点记为A,A的坐标为:
(XA,YA,ZA)=(X球,Y球,Z球)×T′
其中,T′是一个根据俯仰角-β1,航偏角-β2和翻滚角-β3生成的3×3维的旋转矩阵;
如图5所示,将点A向ZOX平面和ZOY平面上投影,投影点分别为点B和点C,计算角BOD和角COD的大小:
∠COD=arctan(YA,ZA)
∠BOD=arctan(XA,ZA)
根据角BOD和角COD判断其所在区域:
如果不是以上情况,则点在区域II、III、IV、V中,需根据XA,YA的值进一步判断:
如果其位于区域I中,则跳到第二步;如果其位于区域II、III、IV、V中,则跳到第五步;
第二步:如图6所示,将球面坐标为Coordinate的点记为AI′,坐标Coordinate由笛卡尔坐标来表示为(X球,Y球,Z球),四棱锥Q′底面对边中心的连线记为m1和m2,点AI′在m1和m2上的投影分别记作BI′和CI′,四棱锥Q′底面中心记为D;根据AI′的坐标Coordinate以及β1,β2,β3的值来计算角BI′OD和角CI′OD的大小:
其中,T′是一个根据俯仰角-β1,航偏角-β2和翻滚角-β3生成的3×3维的旋转矩阵;
角BI′OD和角CI′OD的计算与第一步中角BOD和角COD的计算方法一样,因此,也可直接使用第一步中角BOD和角COD的值作为角BI′OD和角CI′OD的值;
第三步:根据角BI′OD和角CI′OD的大小来计算平面坐标(XI′,YI′)的值,其计算公式如下:
第四步:取矩形平面I′上(XI′,YI′)处的像素值(或附近像素进行插值),作为球面上坐标为Coordinate的点的像素值;跳过后续步骤;
第五步:如图7所示,将球面坐标为Coordinate的点记为AII′,坐标Coordinate由笛卡尔坐标来表示为(X球,Y球,Z球),四棱锥Q′侧面底边中心和顶点的连线记为n1,过n1于球心O的平面记为α3,四棱锥Q′顶点和底面中心的连线记为n2,点AII′在α3和n2上的投影分别记作BII′和CII′,四棱锥Q′底面中心记为D;根据AII′的坐标Coordinate以及β1,β2,β3的值来计算角BII′OD和角AII′CII′BII′的大小;
其中,T′是一个根据俯仰角-β1,航偏角-β2和翻滚角-β3生成的3×3维的旋转矩阵;
第六步:根据角BII′OD和角AII′CII′BII′的大小计算出平面坐标(XII′,YII′)的值(X和Y坐标轴分别垂直和平行于等腰三角形的底边),YII′的值与角AII′CII′BII′的关系为:
角BII′OD的大小与XII′的关系为∠BII′OD=f(XII′),f函数为满足以下条件的任意函数:
θ=f(0)
180°=f(H)
第七步:取对应三角形平面上(XII′,YII′)处的像素值(或附近像素进行插值),作为球面上坐标为Coordinate的点的像素值;
至此,完成全景图像反映射方法实施的所有步骤。
需要注意的是,公布实施例的目的在于帮助进一步理解本发明,但是本领域的技术人员可以理解:在不脱离本发明及所附权利要求的精神和范围内,各种替换和修改都是可能的。因此,本发明不应局限于实施例所公开的内容,本发明要求保护的范围以权利要求书界定的范围为准。
Claims (3)
1.一种基于主视点的全景视频映射方法,将全景图像或视频A所对应的球面映射到二维图像或视频B上;首先将球面投影到底面为方形的等腰四棱锥上,再进一步将等腰四棱锥投影到平面上;投影中对主视点区域使用等角投影并使用较高的采样密度,使得主视点的区域的视频质量较高;对非主视点区域使用较低的采样密度以节省码率;
所述全景视频映射方法包括:
首先过球心O建立右手坐标系,Z轴指向球面经度和纬度为(0°,0°)的方向,Y轴指向球面北极的方向,X轴指向球面经度和纬度为(90°,0°)的方向;
再建立一个四棱锥W,底面中心在Z轴正半轴上,顶点在Z轴负半轴上,底面边分别与X轴和Y轴平行,四棱锥的底面中心D与球心O的连线记作l1,四棱锥的底面边的中心与球心O的连线记作l2,l1和l2所成角的角度为θ,θ表示主视点区域的大小;
将四棱锥的底面记为面I″,与X轴正半轴相交的侧面记为面II″,与Y轴正半轴相交的侧面记为面III″,与X轴负半轴相交的侧面记为面IV″,与Y轴负半轴相交的侧面记为面V″;当主视点的俯仰角pitch、航偏角yaw和翻滚角roll分别为(β1,β2,β3)时,对应的四棱锥设为四棱锥Q绕球心O旋转(β1,β2,β3)后对应的四棱锥Q′;
过球心O与四棱锥Q′的四条底边作四个扇形平面,四个扇形平面将球面划为两个区域,其中包含主视点的区域称为主视点区域,其对应棱锥的底面,记为区域I,另一区域称为非主视点区域;
过球心O与四棱锥Q′的四条侧边作四个扇形平面,四个扇形平面进一步将非主视点区域划分为四个子区域,四个子区域分别对应棱锥的四个侧面II″、III″、IV″、V″,分别记作区域II、III、IV、V;
将区域I映射到分辨率为WI′×HI′的矩形平面I′上;将区域II、III、IV、V分别映射到四个等腰三角形平面II′,III′,IV′,V′上,四个等腰三角形平面的底和高分别为WII′×再将四个等腰三角形拼接成分辨率为WII′×HII′矩形平面VI′;
矩形平面I′和矩形平面VI′即为映射得到的二维图像或视频B;
所述参数θ,WI′,HI′,WII′,HII′,β1,β2,β3均可自行设置;
所述全景视频映射方法包括如下步骤:
第一步:对矩形平面I′中的每个像素点,根据其在平面I′中的坐标(XI′,YI′),计算其对应到四棱锥Q′底面上的坐标Coordinate′;然后进一步根据透视投影的方法计算其对应到球面上的坐标Coordinate;最后根据球面坐标Coordinate取球面上对应位置的像素值,附近像素通过插值计算得到相应像素值,作为平面I′中像素点(XI,YI)的像素值;
根据平面坐标(XI′,YI′)计算球面坐标Coordinate的具体步骤为:
(1.1)将平面I′中坐标为(XI′,YI′)的点对应四棱锥Q′底面上的点记为AI′,四棱锥Q′底面对边中心的连线记为m1和m2,点AI′在m1和m2上的投影分别记作BI′和CI′,四棱锥Q′底面中心记为D,AI′的方位由角BI′OD和角CI′OD来确定;根据(XI′,YI′)的值来计算角BI′OD和角CI′OD的大小,角BI′OD和角CI′OD的大小分别与XI′和YI′的值成一次函数关系;
(1.2)根据角BI′OD和角CI′OD的大小以及β1,β2,β3的值求出AI′的坐标Coordinate′;
第二步:对四个等腰三角形平面II′,III′,IV′,V′中的每个像素点,根据其坐标(XII′,YII′),计算其对应到四棱锥Q′侧面上的坐标Coordinate′,然后进一步根据透视投影的方法计算其对应到球面上的坐标Coordinate,最后根据球面坐标Coordinate取球面上对应位置的像素值,或附近像素通过插值计算得到相应像素值,作为像素点(XII′,YII′)的像素值;
根据平面坐标(XII′,YII′)计算球面坐标Coordinate的具体步骤为:
(2.1)将像素点(XII′,YII′)对应到四棱锥Q′侧面上的点记为AII′,四棱锥Q′侧面底边中心和顶点的连线记为n1,四棱锥Q′顶点和底面中心的连线记为n2,点AII′在n1和n2上的投影分别记作BII′和CII′,四棱锥Q′底面中心记为D,AII′的方位可由角BII′OD和角AII′CII′BII′来确定;优选地,可根据(XII′,YII′)的值来计算角BII′OD和角AII′CII′BII′的大小,角AII′CII′BII′的大小与YII′的值成一次函数关系,角BII′OD的大小与XII′的关系为∠BII′OD=f(XII′);f(XII′)为:
其中C是大于0小于0.5的常数;
(2.2)根据角BII′OD和角AII′CII′BII′的大小以及β1,β2,β3的值求出AII′的坐标Coordinate′;
第三步:将第二步中得到的四个等腰三角形平面II′,III′,IV′,V′拼接成分辨率为WII′×HII′矩形平面VI′;
其中C是大于0小于0.5的常数。
2.如权利要求1所述全景视频映射方法,其特征是,全景图像A的映射格式包括但不限于经纬图、立方体映射图像、多路相机采集的全景视频。
3.一种基于主视点的全景视频反映射方法,基于主视点,将二维图像或视频B映射回球面;二维图像或视频B包含分辨率为WI′×HI′的矩形平面I′和分辨率为WII′×HII′矩形平面VI′;矩形平面VI′进一步划分为四个等腰三角形平面II′,III′,IV′,V′,四个等腰三角形的底和高分别为所述反映射方法先将上述平面通过等角投影方法映射到四棱锥上,然后再将四棱锥映射到球面上;包括:
过球心O建立右手坐标系,Z轴指向球面经度和纬度为(0°,0°)的方向,Y轴指向球面北极的方向,X轴指向球面经度和纬度为(90°,0°)的方向;
再建立一个四棱锥W,其底面中心在Z轴正半轴上,顶点在Z轴负半轴上,底面边分别与X轴和Y轴平行,四棱锥的底面中心D与球心O的连线记作l1,四棱锥的底面边的中心与球心O的连线记作l2,l1和l2所成角的角度为θ,θ表示了主视点区域的大小,将四棱锥的底面记为面I″,与X轴正半轴相交的侧面记为面II″,与Y轴正半轴相交的侧面记为面III″,与X轴负半轴相交的侧面记为面IV″,与Y轴负半轴相交的侧面记为面V″;
当主视点的俯仰角pitch,航偏角yaw和翻滚角roll分别为(β1,β2,β3)时,对应的四棱锥设为上述四棱锥Q绕球心O旋转(β1,β2,β3)后对应的四棱锥Q′,过球心O与四棱锥Q′的四条底边作四个扇形平面,四个扇形平面将球面划为两个区域,其中包含主视点的区域称为主视点区域,其对应棱锥的底面,记为区域I,另一区域称为非主视点区域;
过球心O与四棱锥Q′的四条侧边作四个扇形平面,四个平面进一步将非主视点区域划分为四个子区域,四个子区域分别对应棱锥的四个侧面II″,III″,IV″,V″,分别记作区域II、III、IV、V;
将二维图像或视频B包含的分辨率为WI′×HI′的矩形平面I′映射到球面的主视点区域I上,将二维图像或视频B包含的四个等腰三角形平面II′,III′,IV′,V′映射到球面的非主视点区域II、III、IV、V上;
所述参数θ,WI′,HI′,WII′,HII′,β1,β2,β3的值包括但不限于从码流中获取;
将平面图像或视频B映射回球面,针对球面上的所有点进行如下操作:
第一步:根据球面点的坐标Coordinate以及β1,β2,β3的值判断其位于区域I、II、III、IV、V中的哪一个区域;如果其位于区域I中,则跳到第二步;如果其位于区域II、III、IV、V中,则跳到第五步;
第二步:将球面坐标为Coordinate的点记为AI′,四棱锥Q′底面对边中心的连线记为m1和m2,点AI′在m1和m2上的投影分别记作BI′和CI′,四棱锥Q′底面中心记为D;根据AI′的坐标Coordinate以及β1,β2,β3的值来计算角BI′OD和角CI′OD的大小;
第三步:根据角BI′OD和角CI′OD的大小来计算平面坐标(XI′,YI′)的值,XI′和YI′的值分别与角BI′OD和角CI′OD的大小分别成一次函数关系;
第四步:取矩形平面I′上(XI′,YI′)处的像素值,或附近像素进行插值,作为球面上坐标为Coordinate的点的像素值;跳过后续步骤;
第五步:将球面坐标为Coordinate的点记为AII′,四棱锥Q′侧面底边中心和顶点的连线记为n1,过n1于球心O的平面记为α3,四棱锥Q′顶点和底面中心的连线记为n2,点AII′在α3和n2上的投影分别记作BII′和CII′,四棱锥Q′底面中心记为D;根据AII′的坐标Coordinate以及β1,β2,β3的值来计算角BII′OD和角AII′CII′BII′的大小;
第六步:根据角BII′OD和角AII′CII′BII′的大小计算出平面坐标(XII′,YII′)的值,YII′的值与角AII′CII′BII′的大小成一次函数关系,角BII′OD的大小与XII′的关系为∠BII′OD=f(XII′),f函数为满足以下条件的任意函数:
θ=f(0)
180°=f(H)
f(XII′)为:
其中,C是大于0小于0.5的常数;
第七步:取三角形平面上(XII′,YII′)处的像素值,或附近像素进行插值,作为球面上坐标为Coordinate的点的像素值;
对球面上所有的点进行第一步到第七步的操作,由此得到球面的全景图像。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710882161.1A CN107622474B (zh) | 2017-09-26 | 2017-09-26 | 基于主视点的全景视频映射方法 |
PCT/CN2018/088806 WO2019062177A1 (zh) | 2017-09-26 | 2018-05-29 | 基于主视点的全景视频映射方法 |
US16/650,141 US11301953B2 (en) | 2017-09-26 | 2018-05-29 | Main viewpoint-based panoramic video mapping method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710882161.1A CN107622474B (zh) | 2017-09-26 | 2017-09-26 | 基于主视点的全景视频映射方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107622474A CN107622474A (zh) | 2018-01-23 |
CN107622474B true CN107622474B (zh) | 2021-03-30 |
Family
ID=61090677
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710882161.1A Active CN107622474B (zh) | 2017-09-26 | 2017-09-26 | 基于主视点的全景视频映射方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11301953B2 (zh) |
CN (1) | CN107622474B (zh) |
WO (1) | WO2019062177A1 (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11004173B2 (en) | 2017-03-13 | 2021-05-11 | Mediatek Inc. | Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout |
US11057643B2 (en) | 2017-03-13 | 2021-07-06 | Mediatek Inc. | Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout |
GB2573951A (en) * | 2017-04-05 | 2019-11-20 | Mediatek Inc | Method and apparatus for processing projection-based frame with at least one projection face generated using non-uniform mapping |
TWI681662B (zh) | 2017-08-18 | 2020-01-01 | 聯發科技股份有限公司 | 用於減少基於投影的圖框中的偽影的方法和裝置 |
CN107622474B (zh) * | 2017-09-26 | 2021-03-30 | 北京大学深圳研究生院 | 基于主视点的全景视频映射方法 |
DE102018006838A1 (de) * | 2017-11-03 | 2019-05-09 | Adobe Inc. | Dynamisches Mapping von virtuellen und physischen Interaktionen |
CN108322727A (zh) * | 2018-02-28 | 2018-07-24 | 北京搜狐新媒体信息技术有限公司 | 一种全景视频传输方法及装置 |
CN108520492B (zh) * | 2018-03-16 | 2022-04-26 | 中国传媒大学 | 全景视频映射方法及系统 |
CN110290285B (zh) | 2018-03-19 | 2021-01-22 | 京东方科技集团股份有限公司 | 图像处理方法、图像处理装置、图像处理系统及介质 |
US10735765B2 (en) | 2018-06-07 | 2020-08-04 | Hong Kong Applied Science and Technology Research Institute Company, Limited | Modified pseudo-cylindrical mapping of spherical video using linear interpolation of empty areas for compression of streamed images |
CN109792490B (zh) * | 2018-06-07 | 2021-01-15 | 香港应用科技研究院有限公司 | 用于流图像压缩的球面视频的改进的伪圆柱映射 |
CN110956583B (zh) * | 2018-09-26 | 2022-05-10 | 华为技术有限公司 | 球面图像处理方法、装置及服务器 |
CN113630622B (zh) * | 2021-06-18 | 2024-04-26 | 中图云创智能科技(北京)有限公司 | 全景视频图像处理方法、服务端、目标设备、装置和系统 |
CN116309083A (zh) * | 2021-12-17 | 2023-06-23 | 华为技术有限公司 | 全景视频的动态范围映射方法及装置 |
CN115018904B (zh) * | 2022-06-02 | 2023-10-20 | 如你所视(北京)科技有限公司 | 全景图像的掩膜生成方法和装置 |
CN115802039B (zh) * | 2023-02-10 | 2023-06-23 | 天翼云科技有限公司 | 一种帧间编码方法、装置、电子设备及计算机可读介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140169669A1 (en) * | 2012-12-19 | 2014-06-19 | National Chung Cheng University | Tone mapping method of high dynamic range image/video |
CN104939828A (zh) * | 2014-03-28 | 2015-09-30 | 阿尔贝特-路德维希斯弗赖堡大学 | 磁共振成像方法 |
CN105898254A (zh) * | 2016-05-17 | 2016-08-24 | 亿唐都科技(北京)有限公司 | 节省带宽的vr全景视频布局方法、装置及展现方法、系统 |
CN106028115A (zh) * | 2016-05-18 | 2016-10-12 | 乐视控股(北京)有限公司 | 视频播放方法和装置 |
CN106846245A (zh) * | 2017-01-17 | 2017-06-13 | 北京大学深圳研究生院 | 基于主视点的全景视频映射方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030011714A1 (en) * | 2001-07-10 | 2003-01-16 | Nevins Robert W. | System and method for transmitting program data including immersive content |
US20140169699A1 (en) * | 2012-09-21 | 2014-06-19 | Tamaggo Inc. | Panoramic image viewer |
CN104376591B (zh) | 2014-11-18 | 2017-08-08 | 北京工业大学 | 一种手语动态合成光场的生成方法 |
CN104637061A (zh) | 2015-01-30 | 2015-05-20 | 中国科学院自动化研究所 | 一种二维三维医学图像配准方法 |
KR102208132B1 (ko) * | 2016-05-26 | 2021-01-27 | 엘지전자 주식회사 | 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치 |
CN106651764B (zh) * | 2016-12-29 | 2019-10-15 | 北京奇艺世纪科技有限公司 | 一种全景图压缩方法及装置 |
CN107622474B (zh) * | 2017-09-26 | 2021-03-30 | 北京大学深圳研究生院 | 基于主视点的全景视频映射方法 |
-
2017
- 2017-09-26 CN CN201710882161.1A patent/CN107622474B/zh active Active
-
2018
- 2018-05-29 WO PCT/CN2018/088806 patent/WO2019062177A1/zh active Application Filing
- 2018-05-29 US US16/650,141 patent/US11301953B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140169669A1 (en) * | 2012-12-19 | 2014-06-19 | National Chung Cheng University | Tone mapping method of high dynamic range image/video |
CN104939828A (zh) * | 2014-03-28 | 2015-09-30 | 阿尔贝特-路德维希斯弗赖堡大学 | 磁共振成像方法 |
CN105898254A (zh) * | 2016-05-17 | 2016-08-24 | 亿唐都科技(北京)有限公司 | 节省带宽的vr全景视频布局方法、装置及展现方法、系统 |
CN106028115A (zh) * | 2016-05-18 | 2016-10-12 | 乐视控股(北京)有限公司 | 视频播放方法和装置 |
CN106846245A (zh) * | 2017-01-17 | 2017-06-13 | 北京大学深圳研究生院 | 基于主视点的全景视频映射方法 |
Non-Patent Citations (3)
Title |
---|
Next-generation video encoding techniques for 360 video and VR;Evgeny Kuzyakov 等;《https://engineering.fb.com/virtual-reality/next-generation-video-encoding-techniques-for-360-video-and-vr/》;20160121;第1-3页 * |
Viewport-adaptive Encoding and Streaming of 360-degree Video for Virtual Reality Applications;Kashyap Kammachi-Sreedhar 等;《2016 IEEE International Symposium on Multimedia》;IEEE;20161213;第583-584页 * |
用于虚拟现实的360度视频编码技术新进展;艾达 等;《计算机应用研究》;20170917;第1-9页 * |
Also Published As
Publication number | Publication date |
---|---|
US11301953B2 (en) | 2022-04-12 |
US20210192678A1 (en) | 2021-06-24 |
CN107622474A (zh) | 2018-01-23 |
WO2019062177A1 (zh) | 2019-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107622474B (zh) | 基于主视点的全景视频映射方法 | |
US11528468B2 (en) | System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view | |
WO2018157568A1 (zh) | 全景图像映射方法 | |
CN105678693B (zh) | 全景视频浏览播放方法 | |
US20170363949A1 (en) | Multi-tier camera rig for stereoscopic image capture | |
US20050265619A1 (en) | Image providing method and device | |
US20210218890A1 (en) | Spherical image processing method and apparatus, and server | |
CN107924556B (zh) | 图像生成装置和图像显示控制装置 | |
EP3304894A1 (en) | Omnistereo capture and render of panoramic virtual reality content | |
CN106780317B (zh) | 全景投影方法及装置 | |
JP2004187298A (ja) | パノラマ画像および全方位画像の描画および符号化 | |
WO2018077071A1 (zh) | 一种全景图像的生成方法及装置 | |
WO2018068612A1 (zh) | 一种全景图像的映射方法、装置和设备 | |
CN101132535A (zh) | 基于转台的多投影大屏拼接方法 | |
CN105741233B (zh) | 一种视频图像球面拼接方法及系统 | |
WO2012166593A2 (en) | System and method for creating a navigable, panoramic three-dimensional virtual reality environment having ultra-wide field of view | |
JP7243631B2 (ja) | 再生装置および方法、並びに、生成装置および方法 | |
Sandnes et al. | Translating the viewing position in single equirectangular panoramic images | |
CN108765582B (zh) | 一种全景图片显示方法及设备 | |
US10699372B2 (en) | Image generation apparatus and image display control apparatus | |
CN112002003B (zh) | 虚拟3d场景的球面全景立体画面生成与交互式显示方法 | |
US20230326128A1 (en) | Techniques for processing multiplane images | |
CN112218110A (zh) | Vr全景视频的传输方法、装置、服务器及交互系统 | |
CN1707353A (zh) | 一种基于全帧图像生成球形全景的方法 | |
CN108122283B (zh) | 一种利用坐标变换编辑vr影像的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |