CN108307166A - 一种新的全景视频传输投影模型 - Google Patents

一种新的全景视频传输投影模型 Download PDF

Info

Publication number
CN108307166A
CN108307166A CN201810192642.4A CN201810192642A CN108307166A CN 108307166 A CN108307166 A CN 108307166A CN 201810192642 A CN201810192642 A CN 201810192642A CN 108307166 A CN108307166 A CN 108307166A
Authority
CN
China
Prior art keywords
model
projection
projection model
image
octahedra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810192642.4A
Other languages
English (en)
Inventor
李翔
王波
魏晔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pat Information Technology Nantong Co Ltd
Original Assignee
Pat Information Technology Nantong Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pat Information Technology Nantong Co Ltd filed Critical Pat Information Technology Nantong Co Ltd
Priority to CN201810192642.4A priority Critical patent/CN108307166A/zh
Publication of CN108307166A publication Critical patent/CN108307166A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种新的全景视频传输投影模型，即为一种八面体投影模型，其特征在于：该模型由两个金字塔底部相连构成，在赤道中间区域是金字塔的底部，具有最长的周长，在南北极端仅是一个点；为了使图像具有均匀的像素密度，调整八面体模型为等角八面体模型。本发明的有益效果是：采用八面体投影模型得到的图像在赤道周围具有较高的密度，在南北极具有较低的密度；投影得到的图像畸变不明显，可以提高视频压缩算法的效率；将八面体投影模型用于VR直播，可以在保证用户感兴趣的区域图像质量的前提下降低码率，从而可以保证视频的实时性，具有较好的用户体验。

Description

一种新的全景视频传输投影模型
技术领域
本发明涉及一种VR视频领域，具体为一种新的全景视频传输投影模型。
背景技术
VR视频又称全景视频，是指利用专业的VR摄影工具将现场环境真实的记录下来，然后通过计算机的后期处理，将其变成可以实现三维空间展示的视频。全景视频的传输需先将360度的全景图像进行投影，在平面上形成一幅图像，然后对平面全景图进行压缩后再传输。视频图像的投影方式影响着视频压缩算法的效率、视频的质量以及VR视频传输的实时性。
现阶段已存在的投影模型主要存在以下几种：
第一：等距球面投影模型(EQ)；
(1)等距投影要求图像点沿某一特定方向的距离在投影之后仍然保持不变。该投影方式是目前使用最为广泛的投影模型，现有的世界地图即是使用这种方法所绘制的。等距投影模型如图1所示。从该图可以看出：使用等距球面投影模型所获得的图像具有较强的直观性，但是该图像在用于VR视频传输时，存在着严重的缺陷。
(2)在全景视频图像中，重要的信息通常存在于赤道附近，而南北极相对较少，但是由图1左图可以直观的看出，使用等距球面模型进行投影时，与现实需要恰好相反，该方法所获得的图像在南北极处具有较多的像素点，而在赤道附近则相对较少。
(3)等距球面投影模型为了使投影后的距离仍然保持不变，因此，投影所获得的平面图存在严重的畸变。图1左图南北极附近的蓝色圆，在右图中产生了明显的形变。由视频图像投影产生的严重畸变还会降低视频压缩算法的效率。
第二：立方体投影(CUBIC)；
(1)立方体投影方式是针对等距球面投影模型的缺点进行了改进。立方体投影是将球面放置在立方体内部，然后将球面上的图像投影到立方体上。其模型如图2所示。由该图可以直观的看出在投影之后图像还是存在着一定的畸变，且南北极像素密度较大。立方体投影模型的横截面如图3所示，离球面距离较近的部分像素密度低，而离球心远的部分像素密度高。因此仍然会导致赤道附近的图片质量下降。
第三：等角立方体投影(EAC)；
等角立方体投影模型的出现是建立在立方体投影的缺陷之上，其由Google公司提出，针对图像像素在立方体上分布不均匀的情况，改变传统的立方体纹理采样坐标，使像素在立方体上分布均匀。等角立方体投影模型的横截面图与立方体投影的横截面图如图4所示。
相对于立方体模型投影得到的图像，等角立方体得到的图像像素点分布均匀，其二者纹理坐标可相互转化。假设传统立方体纹理坐标为p(px，py)，等角立方体中对应的纹理坐标为q(qu，qv)，则他们之间可用公式1进行转化。
等角立方体模型可以得到密度分布均匀的图像，且每个点的关注度相似，但是在VR视频图中，需要赋予关注图像区域或感兴趣区域较高的密度，使其在视觉上更清晰。
发明内容
理想的投影模型应该具有均匀的色度分布图，在赤道附近应该具有更多的内容和关注度，且随着纬度的上升，关注度和内容逐渐减少，针对上述要求以及现有投影模型的不足，本发明的目的在于提供一种新的全景视频传输投影模型。
本发明采用的技术方案如下：1、一种新的全景视频传输投影模型，即为一种八面体投影模型，其特征在于：该投影模型由两个金字塔底部相连构成，如图5所示，在赤道中间区域是金字塔的底部，具有最长的周长，在南北极端仅是一个点；为了使图像具有均匀的像素密度，调整八面体模型为等角八面体模型。
2、在该模型中，本发明将全景球面放置在八面体的内部，然后将球面上的图像投影到该八面体上。再利用公式2中的变换，将八面体纹理坐标转换为等角八面体的纹理坐标。相对于八面体模型投影得到的图像，等角八面体体得到的图像像素点分布更加均匀，其二者纹理坐标可相互转化。如图5所示，假设八面体单个面上纹理坐标为p(px，py)，图6中等角八面体中对应面上对应的纹理坐标为q(qu，qv)，则他们之间可用公式2进行转化。
由于采用了上述技术方案，本发明的有益效果是：(1)采用八面体投影模型得到的图像在赤道周围具有较高的密度，在南北极具有较低的密度；(2)投影得到的图像畸变不明显，可以提高视频压缩算法的效率；(3)将八面体投影模型用于VR直播，可以在保证用户感兴趣的区域图像质量的前提下降低码率，从而可以保证视频的实时性，具有较好的用户体验；(4)在VR直播中可以保证用户感兴趣的区域具有最高的像素清晰度，在带宽有限的场景达到最优质量。
附图说明
图1为本发明背景技术中的等距球面投影模型示意图。左图为南北极附近的蓝色圆，在右图中产生了明显的形变。
图2为本发明背景技术中的立方体投影模型示意图。
图3为本发明背景技术中立方体投影模型横截面图。
图4为本发明背景技术中等角立方体与立方体模型投影横截面对比图。
图5为本发明中八面体投影模型示意图。
图6为八面体单个面上投影模型坐标示意图
图7为等角八面体单个面上投影模型坐标示意图。
图8为等距球面投影模型色度图。
图9为立方体投影模型色度图。
图10为等角立方体投影模型色度图。
图11为八面体投影模型色度图。
图12为等角八面体投影模型色度图。
图13为八面体投影模型图像质量示例。
图14为等距球面投影模型图像质量示例。
具体实施方式
本发明采用的技术方案如下：一种新的全景视频传输投影模型，即为一种八面体投影模型，其特征在于：该模型由两个金字塔底部相连构成，在赤道中间区域是金字塔的底部，具有最长的周长，在南北极端仅是一个点；为了使图像具有均匀的像素密度，调整八面体模型为等角八面体模型。
在该模型中，本发明将球面放置在八面体的内部，然后将球面上的图像投影到八面体上。再利用公式2中的变换，将八面体纹理坐标转换为等角八面体的纹理坐标。
将上述三种方法与本文案提出的八面体和等角八面体投影模型进行对比实验，得到的全景视频投影质量色度图如图8到12所示。
随着色度图由红色变为橘色，黄色，绿色，蓝色，像素密度逐渐增加。由上图可以清楚的看出等距模型(EQ)具有最差的性能，其在南北极区域图像质量最高，赤道周围图像质量最低。立方体投影(CUBIC)较EQ模型，色度分布稍微均匀，但同样存在着赤道附近图像质量低的情况。等角立方体(EAC)具有最好的色度分布，但是赤道周围图像不能获得最高的像素。采用本文案提出的八面体模型可以得到色度分布较为均匀的图像，且赤道周围像素密度最高，南北极区域密度最低。等角八面体可以在八面体的基础上使图像色度分布更为均匀。
根据上述方案，能够获得感兴趣区域像素清晰的图像。通过这种方法得到的图像如图7左图所示，为了对比，同时使用等距球面模型对图像进行投影，得到的结果如图7右图所示。很明显，左图的中间区域比右图的中间区域更为清晰，视觉效果更好。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (3)

1.一种新的全景视频传输投影模型，即为一种八面体投影模型，其特征在于：该投影模型由两个金字塔底部相连构成，在赤道中间区域是金字塔的底部，具有最长的周长，在南北极端仅是一个点；为了使图像具有均匀的像素密度，调整八面体模型为等角八面体模型。
2.根据权利要求1所述的一种新的全景视频传输投影模型，其特征在于：
(1)将全景球面放置在八面体的内部，然后将球面上的图像投影到八面体上；
(2)再利用公式2中的变换，将八面体纹理坐标转换为等角八面体的纹理坐标，相对于八面体模型投影得到的图像，等角八面体体得到的图像像素点分布更加均匀，其二者纹理坐标可相互转化；
3.根据权利要求2所述的一种新的全景视频传输投影模型，其特征在于：假设八面体单个面上纹理坐标为p(px，py)，等角八面体中对应面上对应的纹理坐标为q(qu，qv)，二者之间可用公式2进行转化。
CN201810192642.4A 2018-03-09 2018-03-09 一种新的全景视频传输投影模型 Pending CN108307166A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810192642.4A CN108307166A (zh) 2018-03-09 2018-03-09 一种新的全景视频传输投影模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810192642.4A CN108307166A (zh) 2018-03-09 2018-03-09 一种新的全景视频传输投影模型

Publications (1)

Publication Number Publication Date
CN108307166A true CN108307166A (zh) 2018-07-20

Family

ID=62849727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810192642.4A Pending CN108307166A (zh) 2018-03-09 2018-03-09 一种新的全景视频传输投影模型

Country Status (1)

Country Link
CN (1) CN108307166A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113163184A (zh) * 2021-03-25 2021-07-23 复旦大学 一种面向vr自适应传输的投影算法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106162139A (zh) * 2016-08-04 2016-11-23 微鲸科技有限公司 编码方法、视频输出装置、解码方法、以及视频播放装置
CN106341673A (zh) * 2016-08-15 2017-01-18 李文松 一种新型2d/3d全景vr视频的存储方法
CN106911902A (zh) * 2017-03-15 2017-06-30 微鲸科技有限公司 视频图像传输方法、接收方法及装置
WO2017175910A1 (ko) * 2016-04-05 2017-10-12 삼성전자 주식회사 이미지 처리 방법 및 장치
WO2018045108A1 (en) * 2016-09-02 2018-03-08 Vid Scale, Inc. Method and system for signaling of 360-degree video information

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017175910A1 (ko) * 2016-04-05 2017-10-12 삼성전자 주식회사 이미지 처리 방법 및 장치
CN106162139A (zh) * 2016-08-04 2016-11-23 微鲸科技有限公司 编码方法、视频输出装置、解码方法、以及视频播放装置
CN106341673A (zh) * 2016-08-15 2017-01-18 李文松 一种新型2d/3d全景vr视频的存储方法
WO2018045108A1 (en) * 2016-09-02 2018-03-08 Vid Scale, Inc. Method and system for signaling of 360-degree video information
CN106911902A (zh) * 2017-03-15 2017-06-30 微鲸科技有限公司 视频图像传输方法、接收方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王悦名等: "面向沉浸式视频编码和传输的高效投影方法", 《中兴通讯技术》 *
郭宗明等: "虚拟现实视频传输架构和关键技术", 《中兴通讯技术》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113163184A (zh) * 2021-03-25 2021-07-23 复旦大学 一种面向vr自适应传输的投影算法
CN113163184B (zh) * 2021-03-25 2022-11-18 复旦大学 一种面向vr自适应传输的投影算法

Similar Documents

Publication Publication Date Title
Zhou et al. Video coding optimization for virtual reality 360-degree source
CN111034201A (zh) 编码和解码体积视频的方法、设备和流
Zheng et al. Segmented spherical projection-based blind omnidirectional image quality assessment
CN106651764B (zh) 一种全景图压缩方法及装置
WO2018157568A1 (zh) 全景图像映射方法
CN110915219A (zh) 用于对几何形状由基于八叉树的结构表示的有色点云的颜色进行编码/解码的方法和装置
CN105989611B (zh) 带有阴影去除的分块感知哈希跟踪方法
CN103999124A (zh) 多谱成像系统
CN105230032B (zh) 利用自适应频率提高来创建图像中的细节
CN110892725A (zh) 一种用于编码/解码表示3d对象的点云的方法和装置
CN105230033B (zh) 利用自适应频率强度受控变换来创建图像中的细节
CN102063706A (zh) 一种快速去雾方法
CN108347611B (zh) 用于经纬图的编码块级拉格朗日乘子的优化方法
CN106558017B (zh) 球形显示图像处理方法及系统
CN103020954A (zh) 面向非规则表面的自适应投影系统
CN110827193A (zh) 基于多通道特征的全景视频显著性检测方法
CN106162140B (zh) 一种全景视频的压缩方法及装置
CN107146274A (zh) 图像数据处理系统、纹理贴图压缩和产生全景视频的方法
Zhang et al. Detecting photographic composites using shadows
CN109523622A (zh) 一种非结构化的光场渲染方法
WO2019112995A1 (en) A method and apparatus for encoding/decoding the geometry of a point cloud representing a 3d object
CN103955889B (zh) 一种基于增强现实技术的制图类作业评阅方法
CN106127706A (zh) 一种基于非线性聚类的单一图像去雾方法
CN111292279B (zh) 一种基于彩色图像融合的偏振图像可视化方法
CN109523462A (zh) 一种vr视频截屏图像的获取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180720