CN110072158B - 球面赤道区域双c型全景视频投影方法 - Google Patents

球面赤道区域双c型全景视频投影方法 Download PDF

Info

Publication number
CN110072158B
CN110072158B CN201910373250.2A CN201910373250A CN110072158B CN 110072158 B CN110072158 B CN 110072158B CN 201910373250 A CN201910373250 A CN 201910373250A CN 110072158 B CN110072158 B CN 110072158B
Authority
CN
China
Prior art keywords
spherical
projection
plane
strip
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910373250.2A
Other languages
English (en)
Other versions
CN110072158A (zh
Inventor
范益波
孟子皓
池俊
曾晓洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN201910373250.2A priority Critical patent/CN110072158B/zh
Publication of CN110072158A publication Critical patent/CN110072158A/zh
Application granted granted Critical
Publication of CN110072158B publication Critical patent/CN110072158B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

本发明属于数字视频技术领域，具体为一种球面赤道区域双C型全景视频投影方法。本发明使用两个法线方向相互垂直的条带实现对球面的包裹，并在两个条带内分别进行等距柱状投影实现从球面和平面之间的相互转换，称为“球面双C型投影”。本发明方法具有很好的对称性，使用该方法投影到平面上后的图片更接近人眼常见视觉。该种投影方式能在保持和ERP具有相同球面像素信息的情况下节约25%平面图像面积。

Description

球面赤道区域双C型全景视频投影方法
技术领域
本发明属于数字视频技术领域，具体涉及一种球面双C型投影方法。
背景技术
随着电子多媒体技术的长足发展，人们对于全景视频的需求也越来越旺盛。不管是看电影、玩游戏还是视频会议，人们都在追求更加沉浸式的体验。人们能够更为身临其境地感受视频的氛围并获得比传统多媒体形式更多的信息。全景视频作为虚拟现实技术中的一种重要分支，近年来受到了越来越多的关注。
现阶段制约全景视频普及的难点主要是球面投影方法的均匀性和传输带宽限制。由于全景视频一般由多个摄像头采集水平方向360度和垂直方向180度范围内的图像内容后拼接成完整球面得到，而目前常用的编解码工具都是基于平面的，因此为了适应现有的编解码和传输工具引入了投影技术来实现像素在球面和平面之间的相互转换。
投影方式的复杂度和均匀性都是需要重点解决的问题，目前被广泛应用的投影方式主要是等距柱体投影(ERP)，其特点是直观简便。但ERP的简便性带来的是图片两极区域像素点的极大畸变。
本发明可以有效消除球面投影两极区域的像素畸变提高投影质量。并且能够在保留同等像素信息的情况下相对于传统等距柱状投影(ERP)格式节约25％的平面像素面积。
发明内容
本发明的目的在于提出一种可以克服现有等距柱状投影(ERP)格式全景视频图像中存在的畸变问题和像素冗余导致的图像质量下降问题的新型投影方法。
本发明使用了一种球面双C型条带投影方式替代传统ERP投影。使用两个法线方向相互垂直的条带实现对球面的包裹，并在两个条带内分别进行等距柱状投影实现从球面和平面之间的相互转换，命名为“球面双C型投影”。在该方法中，以等距柱状投影为基础，使用两个法线方向相互垂直的条带实现对球面的包裹，并对两个区域都进行传统ERP投影方法中赤道附近区域的投影计算。所述两个法线方向相互垂直的条带划分规则为：条带a为球面赤道区域经度方向270°、纬度方向90°的C型区域，如图2(a)所示，条带b为通过球面两极的C型区域，可以通过将a条带绕x轴逆时针旋转90°并绕z轴顺时针旋转180°得到，如图2(b)所示。本发明方法具有很好的对称性，使用该方法投影到平面上后的图片更接近人眼常见视觉。该种投影方式能在保持和ERP具有相同球面像素信息的情况下节约25％平面图像面积。
设
Figure BDA0002050733960000021
为按照图1(a)中规定方式描述的投影点的球面坐标，(u,v)为按照图1(b)中规定方式描述的投影点的平面坐标。从半径为1的单位球面到长宽为W*H的平面的投影，即
Figure BDA0002050733960000022
的步骤如下：
首先判断
Figure BDA0002050733960000023
是否落在范围[-3π/4,3π/4]内，θ是否落在范围[-π/4,π/4]内，若上述两个条件同时为是，则该点落在图2(a)所划定的条带a内；否则该点落在图2(b)所划定的条带b内。
当点落在条带a内时，使用图2(a)中的XYZ坐标轴规定，并进行等距柱状投影得到相应的平面坐标(u,v)。条带a对应的平面区域为[0,W]*[0,H/2]。
当点落在条带b内时，使用图2(b)中的X′Y′Z′坐标轴规定，需要对坐标轴描述方式进行修改来计算得到新的坐标轴描述下相应的球面坐标
Figure BDA0002050733960000024
然后根据它计算得到相应的平面坐标(u,v)。条带b对应的平面区域为[0,W]*[H/2,H]。
从长宽为W*H的平面到半径为1的单位球面的投影，即
Figure BDA0002050733960000025
具体步骤如下：
判断平面上点所处位置。首先判断v是否落在范围[0,H/2]内，若是，则该点投影后将落在条带a内；否则该点投影后将落在条带b内。
当点投影后将落在条带a内时，使用图2(a)中的XYZ坐标轴规定，然后对其进行反向等距柱状投影得到图1(a)规定下的球面坐标
Figure BDA0002050733960000026
当点落在图2(b)所划定的条带b内时，使用图2(b)中的X′Y′Z′坐标轴规定，需要对坐标轴描述方式进行修改来计算得到新的坐标轴描述下相应的球面坐标
Figure BDA0002050733960000027
并利用其来计算得到图1(a)规定下的球面坐标
Figure BDA0002050733960000028
本发明提出的球面全景视频的投影方法，克服了现有等距柱状投影(ERP)格式全景视频图像中存在的畸变和像素冗余导致的图像质量下降问题，并节约平面图像存储空间。
附图说明
图1为球面坐标与平面坐标规定。其中，(a)为球面坐标规定，(b)为平面坐标规定。
图2为不同投影条带内的坐标轴规定。其中，(a)为条带a内的坐标轴规定，(b)为条带b内的坐标轴规定。
图3为球面与平面投影后图像放置规定。其中，(a)为球面上两种条带的分割情形，(b)为两个条带在平面图上的排放形式。
图4为一个实际的使用球面双C型投影的结果。其中，(a)为球面全景图，(b)为经过球面双C型投影后的平面全景图，(c)为经过ERP投影后的平面全景图。
具体实施方式
下面通过实例结合附图进一步具体描述本发明方法。
本发明提出一种新型作用于球面全景视频的投影方式，改善了等距柱状投影(ERP)格式全景视频图像中存在的畸变和像素冗余问题。
本发明分为从球面到平面的投影和从平面到球面的投影两个部分。
从球面到大小为W*H的平面的投影，其中
Figure BDA0002050733960000031
为图1(a)中所描述的球面坐标，(u,v)为图1(b)中所描述的平面坐标,
Figure BDA0002050733960000032
具体步骤为：
首先判断球面上点所处位置，以球面坐标
Figure BDA0002050733960000033
来描述点的位置，如图1所示。首先判断
Figure BDA0002050733960000034
是否落在范围[-3π/4，3π/4]内，θ是否落在范围[-π/4,π/4]内，若上述两个条件同时为是，则该点落在条带a内；否则该点落在条带b内。
当点落在条带a内时，使用图2(a)中的坐标轴描述方式，然后对其进行等距柱状投影。其中球面坐标与三维笛卡尔坐标系转换公式如下：
Figure BDA0002050733960000035
条带a对应的平面区域为[0,W]*[0,H/2]，该点从球面转换到平面上的计算公式如下：
Figure BDA0002050733960000036
当点落在条带b内时，需要对坐标轴描述方式进行修改，使用图2(b)中的坐标轴规定来计算得到新的坐标轴描述下的球面坐标
Figure BDA0002050733960000037
计算公式如下：
Figure BDA0002050733960000038
Figure BDA0002050733960000039
条带b对应的平面区域为[0,W]*[H/2,H]，该点从球面转换到平面上的计算公式如下：
Figure BDA00020507339600000310
从大小为W*H的平面到球面的投影，其中
Figure BDA00020507339600000311
为图1(a)中所描述的球面坐标，(u,v)为图1(b)中所描述的平面坐标,(u,v)→(φ,θ)具体步骤为：
判断平面上点所处位置，以平面坐标(u,v)来描述点的位置。首先判断v是否落在范围[0，H/2]内，若上述条件同时满足，则该点落在条带a内；否则该点落在条带b内。
当点落在条带a内时，使用图2(a)中的坐标轴描述方式，然后对其进行反向等距柱状投影。其中球面坐标与三维笛卡尔坐标系转换公式如下：
Figure BDA0002050733960000041
Figure BDA0002050733960000042
当点落在条带b内时，需要对坐标轴描述方式进行修改,使用图2(b)中的坐标轴规定来计算得到新的坐标轴描述下的球面坐标(φ′,θ′)。其中球面坐标与三维笛卡尔坐标系转换公式如下：
Figure BDA0002050733960000043
Figure BDA0002050733960000044
Figure BDA0002050733960000045
Figure BDA0002050733960000046
下面给出一个进行全景视频投影的例子。如图4，其中图4(a)为一个投影在球面上的全景图片，其上有根据条带a和条带b的划分规则划定的分界线；图4(b)为其相应的球面双C型投影后的平面图片；图4(c)为其相应的ERP投影后的平面图片。
首先考虑图4(a)中点
Figure BDA0002050733960000047
与图4(b)中点(u1,v1)。它们分别对应了球面上条带a内的一个点与其相应的平面上的点，遵守公式(1)，(2)所描述的球面到平面的转换关系和公式(6)，(7)所描述的平面到球面的转换关系。可以看到位于球面上条带a内的点将被投影到平面上半区域内。
然后考虑图4(a)中点
Figure BDA0002050733960000048
与图4(b)中点(u2,v2)。它们分别对应了球面上条带b内的一个点与其相应的平面上的点，遵守公式(3)，(4)，(5)所描述的球面到平面的转换关系和公式(8)，(9)，(10)，(11)所描述的平面到球面的转换关系。可以看到位于球面上条带b内的点将被投影到平面下半区域内。
将图4(a)的球面上的点都按照上述具体实现方式内的投影规则投影到平面上就得到了图4(b)的平面全景图像，同理将图4(b)的平面全景图像按照上述具体实现方式内的投影规则投影到球面上就得到了图4(a)的球面全景图片。
在该方法中，以等距柱状投影为基础，使用两个法线方向相互垂直的条带实现对球面的包裹，并对两个区域都进行传统ERP投影方法中赤道附近区域的投影计算。通过比较图4(b)图4(c)的结果可知，球面双C型投影方法解决了ERP投影中两极区域像素被无限拉伸的问题。该方法具有很好的对称性，两个包裹球面的投影条带均为相应坐标轴下球面上经度方向[-3π/4，3π/4]和纬度方向[-π/4,π/4]的区域，投影到平面上后的图片更接近人眼视角；同时也能够通过比较图4(b)图4(c)的平面图像面积得知，在保持和ERP具有相同球面像素信息的情况下球面双C型投影的平面全景图能节约25％图像面积。

Claims (5)

1.一种球面赤道区域双C型全景视频投影方法,其特征在于，使用两个法线方向相互垂直的条带对球面进行包裹，并在两个条带内分别进行等距柱状投影实现从球面和平面之间的相互转换；所述两个法线方向相互垂直的条带划分规则为：条带a为球面赤道区域经度方向270°、纬度方向90°的C型区域，条带b为通过球面两极的C型区域，由a条带绕x轴逆时针旋转90°并绕z轴顺时针旋转180°得到；
(一)设
Figure FDA0002840128780000011
为投影点的球面坐标，(u,v)为投影点的平面坐标；从半径为1的单位球面到长宽为W*H的平面的投影，记为
Figure FDA0002840128780000012
具体步骤如下：
(1)首先判断
Figure FDA0002840128780000013
是否落在范围[-3π/4,3π/4]内，θ是否落在范围[-π/4,π/4]内，若上述两个条件同时为是，则该点落在条带a内；否则该点落在条带b内；
(2)当点落在条带a内时，使用XYZ坐标轴规定，并进行等距柱状投影得到相应的平面坐标(u,v)；条带a对应的平面区域为[0,W]*[0,H/2]；
(3)当点落在条带b内时，使用X′Y′Z′坐标轴规定，通过对坐标轴描述方式进行修改，计算得到新的坐标轴描述下相应的球面坐标
Figure FDA0002840128780000014
然后根据它计算得到相应的平面坐标(u,v)；条带b对应的平面区域为[0,W]*[H/2,H]；
(二)从长宽为W*H的平面到半径为1的单位球面的投影，记为
Figure FDA0002840128780000015
具体步骤如下：
(1)判断平面上点所处位置，首先判断v是否落在范围[0,H/2]内，若是，则该点投影后落在条带a内；否则该点投影后落在条带b内；
(2)当点投影后落在条带a内时，使用XYZ坐标轴规定，然后对其进行反向等距柱状投影，得到球面坐标
Figure FDA0002840128780000016
(3)当点投影后落在条带b内时，使用X′Y′Z′坐标轴规定，通过对坐标轴描述方式进行修改，计算得到新的坐标轴描述下相应的球面坐标
Figure FDA0002840128780000017
并利用其来计算得到球面坐标
Figure FDA0002840128780000018
2.根据权利要求1所述的球面赤道区域双C型全景视频投影方法,其特征在于，步骤(一)-(2)中所述使用XYZ坐标轴规定，并进行等距柱状投影得到相应的平面坐标(u,v)，其计算式为式(1)所示：
Figure FDA0002840128780000019
此条带区域对应的平面区域为[0,W]*[0,H/2]，依据公式(2)实现该点从球面转换到平面：
Figure FDA0002840128780000021
3.根据权利要求2所述的球面赤道区域双C型全景视频投影方法,其特征在于，步骤(一)-(3)中所述使用X′Y′Z′坐标轴规定，通过对坐标轴描述方式进行修改，计算得到新的坐标轴描述下相应的球面坐标
Figure FDA0002840128780000022
然后根据它计算得到相应的平面坐标(u,v)；其计算式为式(3)、式(4)所示：
Figure FDA0002840128780000023
Figure FDA0002840128780000024
此条带区域对应的平面区域为[0,W]*[H/2,H]，根据公式(5)实现该点从球面转换到平面：
Figure FDA0002840128780000025
4.根据权利要求3所述的球面赤道区域双C型全景视频投影方法,其特征在于，步骤(二)-(2)中所述使用XYZ坐标轴规定，然后对其进行反向等距柱状投影，得到球面坐标
Figure FDA0002840128780000026
其中球面坐标与三维笛卡尔坐标系转换如公式(6)、(7)所示：
Figure FDA0002840128780000027
Figure FDA0002840128780000028
5.根据权利要求4所述的球面赤道区域双C型全景视频投影方法,其特征在于，步骤(二)-(3)中所述使用X′Y′Z′坐标轴规定，通过对坐标轴描述方式进行修改，计算得到新的坐标轴描述下相应的球面坐标
Figure FDA0002840128780000029
并利用其来计算得到球面坐标
Figure FDA00028401287800000210
其中球面坐标与三维笛卡尔坐标系转换如公式(8)(9)(10)(11)所示：
Figure FDA00028401287800000211
Figure FDA00028401287800000212
Figure FDA0002840128780000031
Figure FDA0002840128780000032
CN201910373250.2A 2019-05-06 2019-05-06 球面赤道区域双c型全景视频投影方法 Active CN110072158B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910373250.2A CN110072158B (zh) 2019-05-06 2019-05-06 球面赤道区域双c型全景视频投影方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910373250.2A CN110072158B (zh) 2019-05-06 2019-05-06 球面赤道区域双c型全景视频投影方法

Publications (2)

Publication Number Publication Date
CN110072158A CN110072158A (zh) 2019-07-30
CN110072158B true CN110072158B (zh) 2021-06-04

Family

ID=67369978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910373250.2A Active CN110072158B (zh) 2019-05-06 2019-05-06 球面赤道区域双c型全景视频投影方法

Country Status (1)

Country Link
CN (1) CN110072158B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001022728A1 (en) * 1999-09-20 2001-03-29 The Trustees Of Columbia University In The City Of New York Systems and methods for generating spherical mosaic images
JP4875887B2 (ja) * 2005-11-28 2012-02-15 全景株式会社 画像合成システム及び画像合成方法
CN106331527A (zh) * 2016-10-12 2017-01-11 腾讯科技（北京）有限公司 一种图像拼接方法及装置
CN106791840A (zh) * 2016-12-29 2017-05-31 上海国茂数字技术有限公司 一种全景视频双环带采样方法及装置
CN106846245A (zh) * 2017-01-17 2017-06-13 北京大学深圳研究生院 基于主视点的全景视频映射方法
CN107636534A (zh) * 2015-09-16 2018-01-26 谷歌有限责任公司 一般球面捕获方法
CN108022204A (zh) * 2016-10-31 2018-05-11 央视国际网络无锡有限公司 一种柱面全景视频转换为球面全景视频的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9307165B2 (en) * 2008-08-08 2016-04-05 Qualcomm Technologies, Inc. In-camera panorama image stitching assistance

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001022728A1 (en) * 1999-09-20 2001-03-29 The Trustees Of Columbia University In The City Of New York Systems and methods for generating spherical mosaic images
JP4875887B2 (ja) * 2005-11-28 2012-02-15 全景株式会社 画像合成システム及び画像合成方法
CN107636534A (zh) * 2015-09-16 2018-01-26 谷歌有限责任公司 一般球面捕获方法
CN106331527A (zh) * 2016-10-12 2017-01-11 腾讯科技（北京）有限公司 一种图像拼接方法及装置
CN108022204A (zh) * 2016-10-31 2018-05-11 央视国际网络无锡有限公司 一种柱面全景视频转换为球面全景视频的方法
CN106791840A (zh) * 2016-12-29 2017-05-31 上海国茂数字技术有限公司 一种全景视频双环带采样方法及装置
CN106846245A (zh) * 2017-01-17 2017-06-13 北京大学深圳研究生院 基于主视点的全景视频映射方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Panoramic mosaicing optimization;Lionel Robinault 等;《14th International Conference on Image Analysis and Processing (ICIAP 2007)，Modena, Italy，10-14 Sept. 2007》;20070914;1-6 *
基于图像空间变换的全景图生成专利技术综述;王敏 等;《中国发明与专利》;20181228;第15卷(第S2期);79-84 *

Also Published As

Publication number Publication date
CN110072158A (zh) 2019-07-30

Similar Documents

Publication Publication Date Title
US11301953B2 (en) Main viewpoint-based panoramic video mapping method
CN111819798B (zh) 经由实时压缩控制周边图像区域中的图像显示
US11265527B2 (en) Methods and apparatus for providing a frame packing arrangement for panoramic con tent
Chiariotti A survey on 360-degree video: Coding, quality of experience and streaming
CN110521204B (zh) 视频处理方法及相关装置
US20170363949A1 (en) Multi-tier camera rig for stereoscopic image capture
US20180174619A1 (en) Interface for application-specified playback of panoramic video
US20180027181A1 (en) Method to capture, store, distribute, share, stream and display panoramic image or video
US20040247173A1 (en) Non-flat image processing apparatus, image processing method, recording medium, and computer program
KR20190054060A (ko) 360도 비디오 정보의 시그널링을 위한 방법 및 시스템
CN110463196B (zh) 用于传输立体视频内容的方法和装置
CN105898339A (zh) 一种全景视频转码的方法及装置
CN101877767A (zh) 一种六通道视频源生成三维全景连续视频的方法和系统
CN108282694B (zh) 全景视频渲染方法、装置及电子设备
CN106375760B (zh) 一种全景视频多边形采样方法及装置
DE202017104934U1 (de) Mehrstufiges Kameraträgersystem für die stereoskope Bildaufnahme
Cai et al. An overview of panoramic video projection schemes in the IEEE 1857.9 standard for immersive visual content coding
CN111091491B (zh) 一种等距圆柱投影的全景视频像素再分配方法及系统
CN107197135A (zh) 一种视频生成方法、播放方法及视频生成装置、播放装置
CN112437286A (zh) 一种全景原始画面视频分块传输方法
CN110072158B (zh) 球面赤道区域双c型全景视频投影方法
WO2022141781A1 (zh) 一种播放全景视频的方法、系统、存储介质及播放设备
CN106991640B (zh) 一种全景图像展开方法及系统
US20210103764A1 (en) Accurate optical flow estimation in stereo pairs of equirectangular images
US11308575B2 (en) Omnidirectional image processing method and device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant