CN111091491B - 一种等距圆柱投影的全景视频像素再分配方法及系统 - Google Patents

一种等距圆柱投影的全景视频像素再分配方法及系统 Download PDF

Info

Publication number
CN111091491B
CN111091491B CN201911326843.XA CN201911326843A CN111091491B CN 111091491 B CN111091491 B CN 111091491B CN 201911326843 A CN201911326843 A CN 201911326843A CN 111091491 B CN111091491 B CN 111091491B
Authority
CN
China
Prior art keywords
cube
image
dimensional coordinates
equidistant cylindrical
cylindrical projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911326843.XA
Other languages
English (en)
Other versions
CN111091491A (zh
Inventor
李聪
杨昕欣
刁为民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhiyu Technology Danyang Co ltd
Original Assignee
Zhiyu Technology Danyang Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhiyu Technology Danyang Co ltd filed Critical Zhiyu Technology Danyang Co ltd
Priority to CN201911326843.XA priority Critical patent/CN111091491B/zh
Publication of CN111091491A publication Critical patent/CN111091491A/zh
Application granted granted Critical
Publication of CN111091491B publication Critical patent/CN111091491B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种等距圆柱投影的全景视频像素再分配方法及系统，该方法包括：获取等距圆柱投影全景视频的每一帧图像；以及图像中各个像素点的二维坐标；获取单位球体的内接正方体以及正方体表面任一像素点的球坐标，并将该球坐标转换为二维坐标，确定正方体表面二维坐标对应的等距圆柱投影像素点二维坐标；对等距圆柱投影像素点二维坐标周围的像素点颜色进行插值处理，直至得到正方体各个表面所有像素点颜色；根据正方体各个表面所有像素点颜色构建正方体各个表面的图像；并根据该图像合成全景视频。本发明能够降低图像和视频的存储空间或传输带宽。

Description

一种等距圆柱投影的全景视频像素再分配方法及系统
技术领域
本发明涉及计算机图形学领域，特别是涉及一种等距圆柱投影的全景视频像素再分配方法及系统。
背景技术
全景视频，又被称为360度视频。顾名思义，全景视频能够使得人们在观看视频的时候不受到空间和角度的限制，完完整整地观看到视频分享者想要呈现的所有方位的细节，能够使得视频观看者拥有更好的身临其境感。传统的视频图像采集处理技术获得的是单视点在某个观察方向上的场景信息，而运用全景成像技术则可以得到单视点在所有观察方向上的场景信息，使得观察者能够更快更准确的感知周围场景的变化。全景视频是全景图片的进阶形式，随着近几年虚拟现实技术的兴起逐渐被人们所熟知，在航空、国防、医学、监控等领域都有着十分广阔的应用前景。
能够正确地展开全物理视域的真实场景到一张2D图片上，并且能够还原到VR眼镜中实现沉浸式观看的数学过程，就叫做投影。目前全景视频的通用投影格式是等距圆柱投影，即将球形的经度和纬度坐标，直接到水平和垂直坐标的一格，这个网格的高度大约宽的两倍。因此从赤道到两极，横向拉伸不断加剧，南北两个极点被拉伸成了扁平的网格在整个上部和下部边缘。等距圆柱投影可以显示整个水平和竖直的360全景。
但是等距圆柱投影从赤道到两极，横向拉伸不断加剧，另外，南北两个极点被拉伸成了扁平的网格，这些拉伸造成了像素点的重复，这些重复像素对于存储和传输是毫无价值的冗余信息，反而对于图像和视频的传输和存储带了负担，占用额外带宽和存储。
发明内容
本发明的目的是提供一种等距圆柱投影的全景视频像素再分配方法及系统，能够降低图像和视频的存储空间或传输带宽。
为实现上述目的，本发明提供了如下方案：
一种等距圆柱投影的全景视频像素再分配方法，包括：
获取等距圆柱投影全景视频的每一帧图像；
获取所述图像中各个像素点的二维坐标，为第一二维坐标；
获取单位球体的内接正方体；
获取所述正方体表面任一像素点的球坐标；
将所述球坐标转换为二维坐标，为第二二维坐标；
确定所述第二二维坐标对应的第一二维坐标；
根据所述第一二维坐标周围的像素点颜色进行插值处理，得到第二二维坐标像素点颜色；
跳转至步骤获取所述正方体表面任一像素点的球坐标，直至得到正方体各个表面所有像素点颜色；
根据所述正方体各个表面所有像素点颜色构建正方体各个表面的图像；
将所述正方体各个表面图像组合成一幅矩形平面图像；
根据所述矩形平面图像得到全景视频。
可选的，所述构建正方体各个表面的图像时各个表面采用并行计算。
可选的，采用查表的方式确定所述第二二维坐标对应的第一二维坐标。
一种等距圆柱投影的全景视频像素再分配系统，包括，图像获取模块，用于获取等距圆柱投影全景视频的每一帧图像；
第一坐标获取模块，用于获取所述图像中各个像素点的二维坐标，为第一二维坐标；
正方体获取模块，用于获取单位球体的内接正方体；
第二坐标获取模块，用于获取所述正方体表面任一像素点的球坐标；
坐标转换模块，用于将所述球坐标转换为二维坐标，为第二二维坐标；
坐标匹配对应模块，用于确定所述第二二维坐标对应的第一二维坐标；
计算模块，用于根据所述第一二维坐标周围的像素点颜色进行插值处理，得到第二二维坐标像素点颜色；
跳转模块，用于跳转至步骤获取所述正方体表面任一像素点的球坐标，直至得到正方体各个表面所有像素点颜色；
图像构建模块，用于根据所述正方体各个表面所有像素点颜色构建正方体各个表面的图像；
图像组合模块，用于将所述正方体各个表面图像组合成一幅矩形平面图像；
视频合成模块，用于根据所述矩形平面图像得到全景视频。
可选的，还包括并行计算模块，用于构建正方体各个表面的图像时对各个表面并行计算。
可选的，还包括查表模块，用于采用查表的方式确定所述第二二维坐标对应的第一二维坐标。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明通过将等距圆柱投影格式的全景视频进行像素点重分配的压缩，改变观看该视频时的投影方式，利用正方体投影的方式进行观看，能够降低图像和视频的存储空间或传输带宽。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明等距圆柱投影的全景视频像素再分配方法流程图；
图2为本发明等距圆柱投影的全景视频像素再分配系统模块图；
图3为本发明等距圆柱投影格式图像示意图；
图4为本发明等距圆柱投影投影数学关系图；
图5为本发明本发明正方体上一点坐标λ与φ角示意图；
图6为本发明双线性插值示意图；
图7为本发明像素重分配压缩过程示意图，(a)为正方体投影格式示意图，(b)为最终输出格式示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种等距圆柱投影的全景视频像素再分配方法及系统，能够降低图像和视频的存储空间或传输带宽。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明一种等距圆柱投影的全景视频像素再分配方法流程图，如图1所示，包括：
步骤101：获取等距圆柱投影全景视频的每一帧图像；
步骤102：获取所述图像中各个像素点的二维坐标，为第一二维坐标；
步骤103：获取单位球体的内接正方体；
步骤104：获取所述正方体表面任一像素点的球坐标；
步骤105：将所述球坐标转换为二维坐标，为第二二维坐标；
步骤106：确定所述第二二维坐标对应的第一二维坐标；
步骤107：根据所述第一二维坐标周围的像素点颜色进行插值处理，得到第二二维坐标像素点颜色；
步骤108：跳转至步骤获取所述正方体表面任一像素点的球坐标，直至得到正方体各个表面所有像素点颜色；
步骤109：根据所述正方体各个表面所有像素点颜色构建正方体各个表面的图像；
步骤110：将所述正方体各个表面图像组合成一幅矩形平面图像；
步骤111：根据所述矩形平面图像得到全景视频。
其中，步骤109中构建正方体各个表面的图像时各个表面采用并行计算；步骤106中采用查表的方式确定所述第二二维坐标对应的第一二维坐标。
具体的，并行加速的过程如下：六个面上逐点寻找对应等距圆柱投影图像坐标点的过程与线性插值面上点的计算颜色的过程是相互独立的六个事件，因此能够将其并行的计算。同时对每个面上计算的过程，以多线程的方式进一步进行加速。对比原本CPU单线程完成的逐点计算过程大规模并行计算，并行计算的过程大大加快了计算的时间，能够达到实时压缩程度。
同时，还利用查找表对像素点重分配压缩过程进行进一步的加速：通过全景视频像素点重新分配的压缩算法，能够计算出由等距圆柱投影视频每一帧图像像素点至正方体投影视频每一帧图像像素点的查找表，该表能够对视频的剩余每一帧图像进行转换而不需要重新计算。因此，采用查找表进行计算能够将逐点计算的过程转换为查找的过程，简化运算复杂度，加速运算过程。
针对上述步骤101-步骤111，本发明的具体原理和方法如下：
投影，是一种能够正确地展开全物理视域的真实场景到一张2D图片上，并且能够还原到虚拟现实眼镜中实现沉浸式观看的数学过程。常用的投影格式有等距圆柱投影投影，圆柱投影，鱼眼投影，摩卡托投影等。在全景视频中最为常用的投影格式为等距圆柱投影格式。全景视频等距圆柱投影格式，如图3所示。将球形的经度和纬度坐标，直接到水平和垂直坐标的一格，这个网格的高度大约宽的两倍。因此从赤道到两极，横向拉伸不断加剧，南北两个极点被拉伸成了扁平的网格在整个上部和下部边缘。由于等距圆柱投影投影覆盖了360°×180°的所有区域，故可以现实整个水平和竖直的360全景。
等距圆柱投影投影数学关系：如图4所示，根据等距圆柱投影图构建(x，y)直角坐标系，同时构建由该图投影至(λ，φ，r＝1)的球坐标系。有如下关系：
x＝λcosφ1         (1)
y＝φ         (2)
其中，λ是球坐标系中的经度；φ是球坐标系的纬度；φ1标准纬线(针对等距圆柱投影投影，φ1为0)；x为等距圆柱投影图的宽度轴，方向由左至右；y为等距圆柱投影图的高度轴，方向由上至下；对于球坐标，(0，0)点位于球心。
由于等距圆柱投影投影从赤道到两极，横向拉伸不断加剧，在重投影至VR眼镜的过程中会产生质量损失，因此需要寻找一种投影，该投影方式生成的画面，是能够覆盖至少360度水平方向和180度的垂直方向，并且没有任何画面的扭曲变形，而符合该条件的投影即为立方体投影(即常说的天空盒)。
立方体投影是一种特殊的纹理技术，它用6幅二维纹理图像构成一个以原点为中心的纹理立方体。对于每个片段，纹理坐标(s，r，t)被当作方向向量看待，每个纹理单元都表示从原点所看到的纹理立方体上的图像。为了创建立方体纹理图像数据，可以在场景的原点上放置一架照相机，然后把相机依次对准各个轴的正方向和负方向，拍摄6幅视野为90°(即fovy＝90)度的“快照”。这些“快照：正方体上任意一点于等距圆柱投影图像上的坐标点把3D空间划分为6个在原点相交的平头截体。
而且考虑到等距圆柱投影从赤道到两极，横向拉伸不断加剧，南北两个极点被拉伸成了扁平的网格在整个上部和下部边缘，像素点浪费严重，而如果使用立方体投影则完全利用了像素点，如果使用立方体投影的方式代替等距圆柱投影投影即可完成像素点的重新分配，达到视频压缩的效果，同等视频质量的情况下大大降低带宽使用。
虽然可以使用“快照”的方式从由等距圆柱投影格式全景视频转化为正方体投影，但是其效率偏低，而且不易移植，故需要从算法层级对其做出实现。从由等距圆柱投影格式全景视频转化为正方体投影的像素点重分配的压缩算法如下：
从由等距圆柱投影格式全景视频转化为正方体投影的像素点重分配的压缩过程主要分为上述11个步骤。该算法的目标是由原始等距圆柱投影格式全景视频的每一帧图像计算出6个正方体投影面上每个像素点相对应颜色值。
具体方法为：按帧截取等距圆柱投影格式全景视频每一帧图像，计算出球坐标与原等距圆柱投影格式图片坐标的对应关系。如图4所示，假设等距圆柱投影图上一点坐标为(i，j)，图像的宽为w，高为h。将该图像的宽和高归一至(-1，1)，则归一化后的坐标(x，y)为：
Figure GDA0004112606290000061
Figure GDA0004112606290000062
确定单位球体的内接正方体上任意一点于等距圆柱投影图像上的坐标点。假设正方体上一点坐标为(xc，yc，zc)，则可以计算出其λ与φ角。将其该点提取出，至直角坐标系进行分析，如图5所示，可以得到计算公式如下：
Figure GDA0004112606290000063
Figure GDA0004112606290000064
其中，λ角的范围是(0，2π)，φ角的范围是
Figure GDA0004112606290000071
计算出λ与φ角后，根据其与等距圆柱投影图片线性对应关系，能够计算出其在归一化后等距圆柱投影图像上对应点的位置：
Figure GDA0004112606290000072
Figure GDA0004112606290000073
因此，由公式(3)，(4)，可以得出：
Figure GDA0004112606290000074
Figure GDA0004112606290000075
将公式(9)，(10)带入至公式(5)，(6)，得出结论：
Figure GDA0004112606290000076
Figure GDA0004112606290000077
利用线性插值进一步计算出该点颜色。由于公式(11)，(12)求出的对应于(xc，yc，zc)的(i，j)值为小数，而图像中(i，j)为整数，如果直接将其取整或四舍五入，最终输出的图像质量不高，可能出现锯齿化现象。因此，需要对其使用双线性插值的方法进行处理。双线性插值，又称为双线性内插。在数学上，双线性插值是有两个变量的插值函数的线性插值扩展，其核心思想是在两个方向分别进行一次线性插值。如图6所示，假如我们想得到未知函数f在点P＝(x，y)的值，假设我们已知函数f在Q11＝(x1，y1)，Q12＝(x1，y2)，Q21＝(x2，y1)以及Q22＝(x2，y2)四个点的值。
首先在x方向进行线性插值，得到：
Figure GDA0004112606290000081
Figure GDA0004112606290000082
然后在y方向进行线性插值，得到：
Figure GDA0004112606290000083
这样就得到所要的结果f(x，y)：
Figure GDA0004112606290000084
如果选择一个坐标系统使得f的四个已知点坐标分别为(0,0)、(0,1)、(1,0)和(1,1)，那么插值公式就可以化简为：
f(x，y)≈f(0，0)(1-x)(1-y)+f(1，0)x(1-y)+f(0，1)(1-x)y+f(1，1)xy    (17)
或者用矩阵运算表示为
Figure GDA0004112606290000085
将公式(11)，(12)带入公式(16)，可以得到最终结果如下：
Figure GDA0004112606290000091
其中，(x1，y1)，(x1，y2)，(x2，y1)，(x2，y2)分别是(i，j)的左上像素点坐标，右上像素点坐标，左下像素点坐标与右下像素点坐标，Q11＝(x1，y1)，Q12＝(x1，y2)，Q21＝(x2，y1)，Q22＝(x2，y2)。
对所算出的每个正方体每个面进行重排列，并将每一帧像素重排列压缩排列后的图像拼成视频。生成的图像如图7(a)所示。将其根据图7(b)的形式进行重新排列，再将每一帧由等距圆柱投影像素点重新排列压缩后的图像拼在一起，输出成最终输出视频。
虽然算法上实现了等距圆柱投影格式视频像素点重分配压缩，但是其处理时间较长，无法做到实时压缩，因此使用GPU对该过程进行加速。
由于转化的六个面不相关，故可六个面可以并行的计算，其中包括计算每个面上像素点的颜色值对应等距圆柱投影图像上点的颜色值的过程(包括计算对应点和双线性插值的过程)。同时，每个面的计算过程中也可以利用多线程进行加速。故可以利用GPU加速完成上述并行加速过程。下面以CUDA为例进行并行加速分析：
利用CUDA(Compute Unified Device Architecture)完成GPU加速的过程。CUDA是显卡厂商NVIDIA推出的运算平台。CUDATM是一种由NVIDIA推出的通用并行计算架构，该架构使GPU能够解决复杂的计算问题。它包含了CUDA指令集架构(ISA)以及GPU内部的并行计算引擎。开发人员现在可以使用C语言来为CUDATM架构编写程序，C语言是应用最广泛的一种高级编程语言。所编写出的程序于是就可以在支持CUDATM的处理器上以超高性能运行。本例中，利用CUDA7.5完成加速过程。CPU和GPU协作完成像素再分配压缩过程。具体流程如下：
CPU控制读取等距圆柱投影格式视频，将其按帧截取为图像，并控制从Host(内存中)将原始视频图像和图像的长宽数据发送至Device(显存)中。
GPU内核开始工作，在GPU中开启6个Block(块)，每个Block中分配192个Thread(线程)对像素点重分配压缩，其中6个Block分别对应正方体投影中的6个面，计算每个面上像素点的颜色值对应等距圆柱投影图像上点的颜色值的过程(包括计算对应点和双线性插值的过程)利用192个Thread进行加速。
在完成该帧图像的计算后，重新对计算出正方体投影每个面的顺序进行排序，拼成一整张输出图像。
再将该图像由Device传输至Host，完成加速过程。
同时，考虑利用查找表以进一步加速运算的过程。通过全景视频像素点重新分配的压缩算法，能够计算出由等距圆柱投影视频一帧上像素点至正方体投影一帧上像素点的查找表；而由于等距圆柱投影格式视频的分辨率不变，因此能够使用该查找表对视频的剩余每一帧图像进行转换而不需要重新计算。由式(11)，(12)能够计算出由等距圆柱投影格式转换至正方体投影时正方体投影上每一点相对应于等距圆柱投影格式图像上点的位置，又由公式(18)，(19)能够计算出经过双线性插值后每一点的颜色的取值。一个典型的查找表如表1所示：
表1查找表
Figure GDA0004112606290000101
其中，w为正方体投影的边长，(xa，yb)为(a,b)对应于等距圆柱投影投影上像素点的横纵坐标，f(xa，yb)为对(xa，yb)点做双线性插值后获得的颜色值。
最后，考虑像素点重分配压缩后视频的播放问题。原等距圆柱投影格式视频播放需要将该视频的每一帧图像作为贴图纹理贴在球形内表面，然后在原点架设摄像机观看该视频。而在渲染过程中，计算机渲染出该球形是利用多个三角形逼近球形，顾对播放端设备渲染压力较大。而经过像素重分配压缩后的视频在观看时只需要将视频作为贴图贴于正方体表面即可，播放端只需要绘制12个三角片即可，对播放端的渲染压力小，故在观看时能够更加流畅的播放、旋转。
本发明还公开了一种等距圆柱投影的全景视频像素再分配系统，如图2所示，包括：
图像获取模块201，用于获取等距圆柱投影全景视频的每一帧图像；
第一坐标获取模块202，用于获取所述图像中各个像素点的二维坐标，为第一二维坐标；
正方体获取模块203，用于获取单位球体的内接正方体；
第二坐标获取模块204，用于获取所述正方体表面任一像素点的球坐标；
坐标转换模块205，用于将所述球坐标转换为二维坐标，为第二二维坐标；
坐标匹配对应模块206，用于确定所述第二二维坐标对应的第一二维坐标；
计算模块207，用于根据所述第一二维坐标周围的像素点颜色进行插值处理，得到第二二维坐标像素点颜色；
跳转模块208，用于跳转至步骤获取所述正方体表面任一像素点的球坐标，直至得到正方体各个表面所有像素点颜色；
图像构建模块209，用于根据所述正方体各个表面所有像素点颜色构建正方体各个表面的图像；
图像组合模块210，用于将所述正方体各个表面图像组合成一幅矩形平面图像；
视频合成模块211，用于根据所述矩形平面图像得到全景视频。
另外，本发明还可以包括并行计算模块，用于构建正方体各个表面的图像时对各个表面并行计算。本发明还可以包括查表模块，用于采用查表的方式确定所述第二二维坐标对应的第一二维坐标。
本发明还公开如下技术效果：
本发明重新分配等距圆柱投影全景视频像素点，将之转化成能够在正方体投影格式下观看的视频格式。转化后的视频每帧图像上包含六福图像，每幅图像都会对应立方体的一个表面，并且在物理空间中相当于水平和垂直都是90度的视域范围。观察者被这样的六幅画面包围在中心，最终的视域范围同样可以达到水平360度，垂直180度，画面不存在任何扭曲变形。与等距圆柱投影格式全景视频图像相比，在保持画质相近的情况下，传输的带宽相比于原等距圆柱投影格式降低20％以上，达到了压缩的目的。
同时，等距圆柱投影格式视频是球形投影，而GUP中绘制球体是利用三角牌近似绘制，因此播放端将等距圆柱投影投影渲染到球形上对播放端的渲染压力较大；而通过将等距圆柱投影投影像素重分配，将其转换压缩成正方体投影，播放端只需要绘制一个正方体(即12个三角片)就可进行播放，对播放端的渲染压力很小，播放起来会更为流畅。
另外，本发明压缩算法具有并行计算的特点，该运算过程能够利用并行加速对其运算过程进行加速，相比于单线程运算，能够大幅度(几十倍)提升运算时间，达到实时压缩的程度。
最后，本发明提出一种利用查找表对该运算过程进行加速，能够在只计算一次对应像素点的情况下算出由等距圆柱投影格式转换至正方体投影所用的查找表，该表能够应用于该视频剩余所有帧并计算出其对应于等距圆柱投影视频的颜色值，加速转化压缩的过程。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种等距圆柱投影的全景视频像素再分配方法，其特征在于，包括：
获取等距圆柱投影全景视频的每一帧图像；
获取所述图像中各个像素点的二维坐标，为第一二维坐标；
获取单位球体的内接正方体；
获取所述正方体表面任一像素点的球坐标；
将所述球坐标转换为二维坐标，为第二二维坐标；
确定所述第二二维坐标对应的第一二维坐标；
根据所述第一二维坐标周围的像素点颜色进行插值处理，得到第二二维坐标像素点颜色；
跳转至步骤获取所述正方体表面任一像素点的球坐标，直至得到正方体各个表面所有像素点颜色；
根据所述正方体各个表面所有像素点颜色构建正方体各个表面的图像；
将所述正方体各个表面图像组合成一幅矩形平面图像；
根据所述矩形平面图像得到全景视频。
2.根据权利要求1所述的等距圆柱投影的全景视频像素再分配方法，其特征在于，所述构建正方体各个表面的图像时各个表面采用并行计算。
3.根据权利要求1所述的等距圆柱投影的全景视频像素再分配方法，其特征在于，采用查表的方式确定所述第二二维坐标对应的第一二维坐标。
4.一种等距圆柱投影的全景视频像素再分配系统，其特征在于，包括：
图像获取模块，用于获取等距圆柱投影全景视频的每一帧图像；
第一坐标获取模块，用于获取所述图像中各个像素点的二维坐标，为第一二维坐标；
正方体获取模块，用于获取单位球体的内接正方体；
第二坐标获取模块，用于获取所述正方体表面任一像素点的球坐标；
坐标转换模块，用于将所述球坐标转换为二维坐标，为第二二维坐标；
坐标匹配对应模块，用于确定所述第二二维坐标对应的第一二维坐标；
计算模块，用于根据所述第一二维坐标周围的像素点颜色进行插值处理，得到第二二维坐标像素点颜色；
跳转模块，用于跳转至步骤获取所述正方体表面任一像素点的球坐标，直至得到正方体各个表面所有像素点颜色；
图像构建模块，用于根据所述正方体各个表面所有像素点颜色构建正方体各个表面的图像；
图像组合模块，用于将所述正方体各个表面图像组合成一幅矩形平面图像；
视频合成模块，用于根据所述矩形平面图像得到全景视频。
5.根据权利要求4所述的等距圆柱投影的全景视频像素再分配系统，其特征在于，还包括并行计算模块，用于构建正方体各个表面的图像时对各个表面并行计算。
6.根据权利要求4所述的等距圆柱投影的全景视频像素再分配系统，其特征在于，还包括查表模块，用于采用查表的方式确定所述第二二维坐标对应的第一二维坐标。
CN201911326843.XA 2019-12-20 2019-12-20 一种等距圆柱投影的全景视频像素再分配方法及系统 Active CN111091491B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911326843.XA CN111091491B (zh) 2019-12-20 2019-12-20 一种等距圆柱投影的全景视频像素再分配方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911326843.XA CN111091491B (zh) 2019-12-20 2019-12-20 一种等距圆柱投影的全景视频像素再分配方法及系统

Publications (2)

Publication Number Publication Date
CN111091491A CN111091491A (zh) 2020-05-01
CN111091491B true CN111091491B (zh) 2023-05-05

Family

ID=70395869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911326843.XA Active CN111091491B (zh) 2019-12-20 2019-12-20 一种等距圆柱投影的全景视频像素再分配方法及系统

Country Status (1)

Country Link
CN (1) CN111091491B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111930233B (zh) * 2020-08-05 2023-07-21 聚好看科技股份有限公司 一种全景视频图像显示方法及显示设备
CN114500970B (zh) * 2020-11-13 2024-04-26 聚好看科技股份有限公司 一种全景视频图像处理、显示方法及设备
CN113206992A (zh) * 2021-04-20 2021-08-03 聚好看科技股份有限公司 一种转换全景视频投影格式的方法及显示设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016140082A1 (ja) * 2015-03-05 2016-09-09 ソニー株式会社 画像処理装置および画像処理方法
CN106558017B (zh) * 2015-09-25 2020-09-18 无锡视美乐科技股份有限公司 球形显示图像处理方法及系统
CN106780310B (zh) * 2016-12-20 2020-11-24 北京奇艺世纪科技有限公司 一种投影图构建方法及装置
CN106780317B (zh) * 2017-01-25 2020-08-11 北京数码视讯科技股份有限公司 全景投影方法及装置
CN109308678B (zh) * 2017-07-28 2023-10-27 株式会社理光 利用全景图像进行重定位的方法、装置及设备

Also Published As

Publication number Publication date
CN111091491A (zh) 2020-05-01

Similar Documents

Publication Publication Date Title
Zakharchenko et al. Quality metric for spherical panoramic video
CN106662749B (zh) 用于全视差光场压缩的预处理器
CN109076172B (zh) 从中间视图生成有效画布视图的方法和系统
CN111091491B (zh) 一种等距圆柱投影的全景视频像素再分配方法及系统
US7570280B2 (en) Image providing method and device
TWI637355B (zh) 紋理貼圖之壓縮方法及其相關圖像資料處理系統與產生３６０度全景視頻之方法
CN107924556B (zh) 图像生成装置和图像显示控制装置
US20060257049A1 (en) Representation and coding of panoramic and omnidirectional images
CN106558017B (zh) 球形显示图像处理方法及系统
CA2927046A1 (en) Method and system for 360 degree head-mounted display monitoring between software program modules using video or image texture sharing
CN108833877B (zh) 图像处理方法及装置、计算机装置及可读存储介质
DE102021207678A1 (de) Streamen eines komprimierten lichtfelds
US9621901B1 (en) Encoding of computer-generated video content
CN113989432A (zh) 3d影像的重构方法、装置、电子设备及存储介质
CN111612878A (zh) 将静态照片制作成三维效果视频的方法及装置
CN114494559A (zh) 一种基于多gpu协同的三维渲染融合方法、系统、介质
WO2020184174A1 (ja) 画像処理装置および画像処理方法
CN113205599B (zh) 一种视频三维融合时gpu加速的视频纹理更新方法
US11528412B2 (en) Apparatus and method for stitching together multiple images
CN108765582B (zh) 一种全景图片显示方法及设备
EP3573018B1 (en) Image generation device, and image display control device
Li et al. Bringing instant neural graphics primitives to immersive virtual reality
WO2023280266A1 (zh) 鱼眼图像压缩、鱼眼视频流压缩以及全景视频生成方法
CN109961395A (zh) 深度图像的生成及显示方法、装置、系统、可读介质
CN114513646A (zh) 一种三维虚拟场景中全景视频的生成方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant