CN113163184B - 一种面向vr自适应传输的投影算法 - Google Patents

一种面向vr自适应传输的投影算法 Download PDF

Info

Publication number
CN113163184B
CN113163184B CN202110322371.1A CN202110322371A CN113163184B CN 113163184 B CN113163184 B CN 113163184B CN 202110322371 A CN202110322371 A CN 202110322371A CN 113163184 B CN113163184 B CN 113163184B
Authority
CN
China
Prior art keywords
projection
plane
image
cube
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110322371.1A
Other languages
English (en)
Other versions
CN113163184A (zh
Inventor
吴俊�
胡蝶
徐跃东
赵嵩源
刘典
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202110322371.1A priority Critical patent/CN113163184B/zh
Publication of CN113163184A publication Critical patent/CN113163184A/zh
Application granted granted Critical
Publication of CN113163184B publication Critical patent/CN113163184B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Studio Devices (AREA)

Abstract

本发明属于自适应传输技术领域，具体为一种面向VR自适应传输的投影算法。本发明设计的投影算法包括：引入平移因子的立方体投影，将ERP全景图投影至立方体表面，生成6个正方形投影图；对主视面和后面使用投影主视面像素密度调整，减少边缘冗余像素，再经压缩得到投影后图像；对侧面使用像素密度调整的侧面压缩方法，调整像素分布，压缩像素数量，生成最终的投影全景图。本发明算法，投影主视面FOV可以根据需要进行调整，增大了算法的灵活性；使得像素向中心聚集，改善投影面边缘冗余像素问题，提升图像质量；在减少像素冗余的同时，可提高图像质量过渡的平滑性。

Description

一种面向VR自适应传输的投影算法
技术领域
本发明属于自适应传输技术领域，具体涉及一种面向VR自适应传输的投影算法。
背景技术
VR(Adaptive Streaming)自适应传输技术，利用率VR视频观看特点，其采用非均匀质量传输VR图像，通过降低用户FOV(Field of View)以外的画面质量，减少冗余像素，在保证观看体验的情况下可以有效减少系统带宽消耗。自适应传输的一种方案是采用投影算法将质量均匀的ERP全景图像投影到一种特定的形状的多面体上，通过不同方向上投影面积的不同，使得投影后的全景图像在各个方向上具有不同的像素密度，以实现非均匀质量的自适应传输。投影算法的优劣直接决定了最终VR自适应传输的观看质量，因此具有十分重要的意义。
发明内容
本发明的目的在于提供一种面向VR自适应传输的投影算法，以提升自适应传输性能。
本发明提供的面向VR自适应传输的投影算法，在现有TSP投影算法[1]的基础上，引入平移因子和像素密度调整技术，有效增强算法的灵活性和图像质量，具体步骤为：
S01，引入平移因子的立方体投影，将ERP全景图投影至立方体表面，生成6个正方形投影图。
S02，对主视面(FOV)(即前面)和后面使用投影主视面像素密度调整，减少边缘冗余像素，再经压缩得到投影后图像。
S03，对侧面使用像素密度调整的侧面压缩方法(3)，调整像素分布，压缩像素数量，生成最终的投影全景图。
步骤S01中，具体流程为：
S0101，使用立方体作为投影图像，初始状态下其中心位于三维空间直角坐标系(左手系)原点处。其中，x轴正方向所指平面为投影主视面(即前面)，x轴负方向所指平面为后面，其余平面均为侧面；
S0102，引入平移因子s，将立方体整体向x轴负方向移动s后进行投影，使得调整后主视面FOV大小为用户观看FOV的1.2倍，以获得更加鲁棒的传输效果，主视面FOV与平移因子s关系如下；
FOV＝2*tan-1((1-s)-1) (1)
步骤S02中，具体流程为：
S0201，对投影后图像的主视面(前面)和后面，使用像素密度调整函数对图像进行调整。将投影面中心置于平面直角坐标原点处，横纵坐标均位于[-1,1]。根据针对立方体投影算法优化的ACP[2]算法，对横纵坐标分别施加如式(2)所示调整函数，得到调整后投影图像：
Figure BDA0002993378640000021
S0202，对于后面，按照1/4比例下采样得到压缩后图像。
步骤S03中，具体流程为：
S0301，对投影后图像的侧面，在水平和垂直方向上使用不同的调整方法。为使用相同的函数描述横纵坐标上的像素调整，将投影面在水平方向首先进行变换，使其横坐标位于[0,1]，纵坐标仍位于[-1,1]。此时像素密度调整函数如下：
Figure BDA0002993378640000022
S0302，调整后的侧面图像还需要进行像素压缩，对于水平方向上进行3/16的下采样，垂直方向上需要根据其横坐标进行不同等级的下采样。
与现有技术相比，本发明具有以下优点：
(1)本发明增加了平移因子，使得投影主视面FOV可以根据需要进行调整，增大了算法的灵活性。
(2)本发明引入像素密度调整函数，有效改善了投影面边缘的像素冗余问题，提升了图像质量。
(3)本发明使用的侧面像素密度调整方法，使得侧面与主视面衔接处具有更高的像素密度，避免了图像画面的断崖式下降，增加了图像质量过渡的平滑性。
附图说明
图1为本实施例的目标投影图参数。
图2为本实施例立方体投影各面坐标系。
图3为本实施例像素密度调整函数图像。
图4为本实施例立方体投影平移因子。
图5为本实施例立方体投影平移因子对主视面FOV的影响。
图6为本发明方法流程图示。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明。但本发明的保护范围不限于下述的实施例。
实施例
图1展示了本算法投影变换过程和详细参数，立方体的正面为用户FOV方向保持原大小不变。反面按照边长缩小为原本的1/4进行下采样，上下左右四个面则按照正面和反面的相应比例进行缩放，得到四个梯形。最后对得到的6个面按照图1右侧所示方式进行排列，构成一个宽高比2：1的规则矩形图像。由目标投影全景图出发，寻找其各像素点与立方体各点的关系即可求得本算法的投影映射矩阵，完成投影算法，构建投影映射矩阵的具体过程如下：
(1)目标全景图到立方体各面变换
按照图1中坐标数据，TSP全景图内任意点可以用归一化到[0,1]的横纵坐标(u,v)表示。根据6个平面划分规则，下表给出了任意坐标(u,v)归属于各个平面内的判断依据，以及从每个平面坐标(u,v)到立方体投影各平面坐标(u',v')的二维坐标变换。
Figure BDA0002993378640000031
(2)带像素密度调整的立方体映射
立方体投影格式是通过将球面内容投影在立方体模型上后将各个面展开，然后拼接为矩形的一种投影方式，各面坐标系如图2所示。立方体投影使用一个正方体包裹视野球，并将图像投影在6个平面上。由于立方体模型具有极好的对称性，所以在与球面进行相互投影的过程中可以大大降低计算复杂度，并且面与面之间的投影关系是一致的。
所引入主视面和侧面的像素密度调整，可以在本阶段完成。均使用如下函数作为调整函数，其函数图像如图3所示。
Figure BDA0002993378640000041
经像素密度调整函数修正过的不同投影面的变换关系如下表所示。
投影面 x y z
0 x＝1 y＝Adjust(1-2u‘) z＝Adjust(1-2v‘)
1 x＝-1 y＝Adjust(2u‘-1) z＝Adjust(1-2v‘)
2 x＝1-2Adjust(1-v‘) y＝Adjust(1-2u‘) z＝1
3 x＝1-2Adjust(u‘) y＝-1 z＝Adjust(1-2v‘)
4 x＝1-2Adjust(1-u‘) y＝1 z＝Adjust(1-2v‘)
5 x＝1-2Adjust(v‘) y＝Adjust(1-2u‘) z＝-1
(3)平移因子调整
为实现可调整的主视面投影FOV，在TSP投影基础上，增加了一个平移因子s，以微小的改动扩展了TSP算法的灵活性。如图4，平移因子将原本用于投影的立方体向x轴负方向平移s。当立方体向x轴负方向平移后，其主视面(前面)对应的FOV会相应增大，而背面对应的FOV会相应减小。如图5所示，实际上平移后的立方体可以等效成一个未平移的棱台，通过调整平移因子大小可以灵活控制主视面FOV大小。进一步可以计算出主视面FOV与平移因子s的关系如下。
FOV＝2*tan-1((1-s)-1)
将平移因子施加至投影算法中，只需要对(2)计算出的三维直角坐标x减去s即可完成计算，即最终得到的投影映射坐标为(x-s，y，z)。
以上所述，仅是本发明的较佳实例，本发明所主张的权利范围并不局限于此。本发明还有其他多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员可根据本发明作出各种相应的改变和变形，但这些改变和变形都应属于本发明所附的权利要求的保护范围。
参考文献
[1]G.V.d.Auwera,M.Coban and H.Mart.Truncated Square PyramidProjection(TSP)for 360video[C].ITU-T Joint Video Exploration Team(JVET)4thmeeting,2016,document:JVETD0071
[2]M.Coban,G.Van der Auwera,M.Karczewicz.AHG8:Adjusted cubemapprojection for 360-degree video[C].Joint Video Exploration Team of ITU-T SG16WP3 and ISO/IECJTC1/SC29/WG11,JVET-F0025,April 2017,Hobart,Australia.

Claims (1)

1.一种面向VR自适应传输的投影方法，其特征在于，在现有TSP投影算法基础上，引入平移因子和像素密度调整技术，以有效增强算法的灵活性和图像质量，具体步骤为：
S01，引入平移因子的立方体投影，将ERP全景图投影至立方体表面，生成6个正方形投影图；具体流程为：
S0101，使用立方体作为投影图像，初始状态下其中心位于三维空间直角坐标系原点处；其中，x轴正方向所指平面为投影主视面，x轴负方向所指平面为后面，其余平面均为侧面；
S0102，引入平移因子s，将立方体整体向x轴负方向移动s后进行投影，使得调整后主视面FOV大小为用户观看FOV的1.2倍，以获得更加鲁棒的传输效果，主视面FOV与平移因子s关系如下；
Figure DEST_PATH_IMAGE002
（1）；
S02，对主视面和后面使用投影主视面像素密度调整，减少边缘冗余像素，再经压缩得到投影后图像；具体流程为：
S0201，对投影后图像的主视面和后面，使用像素密度调整函数对图像进行调整；将投影面中心置于平面直角坐标原点处，横纵坐标均位于[-1,1]；对横纵坐标分别施加如式（2）所示调整函数，得到调整后投影图像：
Figure DEST_PATH_IMAGE004
（2）
S0202，对于后面，按照1/4比例下采样得到压缩后图像；
S03，对侧面使用像素密度调整的侧面压缩方法，调整像素分布，压缩像素数量，生成最终的投影全景图；具体流程为：
S0301，对投影后图像的侧面，在水平和垂直方向上使用不同的调整方法：为使用相同的函数描述横纵坐标上的像素调整，将投影面在水平方向首先进行变换，使其横坐标位于[0,1]，纵坐标仍位于[-1,1]；此时像素密度调整函数如下：
Figure DEST_PATH_IMAGE006
（3）
S0302，对调整后的侧面图像进行像素压缩，对于水平方向上进行3/16的下采样，垂直方向上根据其横坐标进行不同等级的下采样。
CN202110322371.1A 2021-03-25 2021-03-25 一种面向vr自适应传输的投影算法 Active CN113163184B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110322371.1A CN113163184B (zh) 2021-03-25 2021-03-25 一种面向vr自适应传输的投影算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110322371.1A CN113163184B (zh) 2021-03-25 2021-03-25 一种面向vr自适应传输的投影算法

Publications (2)

Publication Number Publication Date
CN113163184A CN113163184A (zh) 2021-07-23
CN113163184B true CN113163184B (zh) 2022-11-18

Family

ID=76884979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110322371.1A Active CN113163184B (zh) 2021-03-25 2021-03-25 一种面向vr自适应传输的投影算法

Country Status (1)

Country Link
CN (1) CN113163184B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108243333A (zh) * 2016-12-23 2018-07-03 上海微湃电子科技有限公司 全景视频及图片的投影方法和反投影方法
CN108307166A (zh) * 2018-03-09 2018-07-20 嘀拍信息科技南通有限公司 一种新的全景视频传输投影模型
CN110956583A (zh) * 2018-09-26 2020-04-03 华为技术有限公司 球面图像处理方法、装置及服务器

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002334705A1 (en) * 2001-09-27 2003-04-07 Eyesee360, Inc. System and method for panoramic imaging
US20140280264A1 (en) * 2013-03-14 2014-09-18 Thomas C. Fix Apparatus, data structure, and method for media file organization
US10319071B2 (en) * 2016-03-23 2019-06-11 Qualcomm Incorporated Truncated square pyramid geometry and frame packing structure for representing virtual reality video content
US10620441B2 (en) * 2016-12-14 2020-04-14 Qualcomm Incorporated Viewport-aware quality metric for 360-degree video
US10313664B2 (en) * 2017-01-11 2019-06-04 Qualcomm Incorporated Adjusting field of view of truncated square pyramid projection for 360-degree video
CN108520232B (zh) * 2017-08-16 2020-07-24 威盛电子股份有限公司 立体环景影片产生方法及装置
US20200213570A1 (en) * 2019-01-02 2020-07-02 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face and at least one padding region packed in 360-degree virtual reality projection layout

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108243333A (zh) * 2016-12-23 2018-07-03 上海微湃电子科技有限公司 全景视频及图片的投影方法和反投影方法
CN108307166A (zh) * 2018-03-09 2018-07-20 嘀拍信息科技南通有限公司 一种新的全景视频传输投影模型
CN110956583A (zh) * 2018-09-26 2020-04-03 华为技术有限公司 球面图像处理方法、装置及服务器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于移动边缘计算的虚拟现实压缩与传输系统;谭彬，赵嵩源，吴俊，张文茹;《通信学报》;20200430;第41卷(第4期);全文 *

Also Published As

Publication number Publication date
CN113163184A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN110956583B (zh) 球面图像处理方法、装置及服务器
US9706135B2 (en) Method and apparatus for generating an image cut-out
CN109194923B (zh) 基于局部非均匀分辨率的视频图像处理设备、系统及方法
EP0868818B1 (en) Image conversion and encoding techniques
US8723951B2 (en) Interactive wide-angle video server
JP3229162B2 (ja) 圧縮ビデオ・ビットストリーム合成のシステムおよび方法
JP2003536160A (ja) 画像およびビデオをマッピングして操作可能で仮想現実感のあるビデオおよび画像をつくる方法と装置
KR102308604B1 (ko) 레거시 및 몰입형 렌더링 디바이스들에 대한 몰입형 비디오를 포맷하는 방법, 장치 및 스트림
EP1843581A2 (en) Video processing and display
CN105210374B (zh) 利用图像特征对频率提高超分辨率的控制
US20220342365A1 (en) System and method for holographic communication
CN113615200A (zh) 用于点云压缩的量化步长参数
KR20180066551A (ko) 전방향 카메라의 깊이 지도 획득 방법 및 장치
CN111739080A (zh) 多台深度相机共同构建3d空间及3d物体的方法
US20220036515A1 (en) 2d array image foveated processing method and electronic device using the same
US7139439B2 (en) Method and apparatus for generating texture for 3D facial model
CN113163184B (zh) 一种面向vr自适应传输的投影算法
JP2000253396A (ja) リアルタイム動画転送方法
CN108022204A (zh) 一种柱面全景视频转换为球面全景视频的方法
WO2022105584A1 (zh) 基于大屏创建全景图片的方法、装置、智能终端及介质
CN113345074A (zh) 一种车载3d环视影像显示方法
US20220122216A1 (en) Generating and processing an image property pixel structure
CN112437286B (zh) 一种全景原始画面视频分块传输方法
WO2024053371A1 (ja) 情報処理システム、および情報処理システムの作動方法、並びにプログラム
WO2024004134A1 (ja) 画像送信装置および画像送信方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant