CN106375760B - 一种全景视频多边形采样方法及装置 - Google Patents

一种全景视频多边形采样方法及装置 Download PDF

Info

Publication number
CN106375760B
CN106375760B CN201610889224.1A CN201610889224A CN106375760B CN 106375760 B CN106375760 B CN 106375760B CN 201610889224 A CN201610889224 A CN 201610889224A CN 106375760 B CN106375760 B CN 106375760B
Authority
CN
China
Prior art keywords
sampling
sampled point
region
panoramic video
row
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610889224.1A
Other languages
English (en)
Other versions
CN106375760A (zh
Inventor
吴成家
顾晓
林畅
赵海武
李国平
滕国伟
王国中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI GMT DIGITAL TECHNOLOGY Co Ltd
Original Assignee
SHANGHAI GMT DIGITAL TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI GMT DIGITAL TECHNOLOGY Co Ltd filed Critical SHANGHAI GMT DIGITAL TECHNOLOGY Co Ltd
Priority to CN201610889224.1A priority Critical patent/CN106375760B/zh
Publication of CN106375760A publication Critical patent/CN106375760A/zh
Application granted granted Critical
Publication of CN106375760B publication Critical patent/CN106375760B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

本发明公开了一种全景视频多边形采样方法及装置，该方法包括：根据空间清晰度要求，用等间隔的纬线将球面分成N个环形曲面；根据空间清晰度要求，将位于赤道附近的L个环形曲面沿赤道方向均匀地分成M个区域，每个区域对应一个采样点；将其他环形曲面按等差数列沿赤道方向均匀的分成Mi份，越靠近赤道，Mi越大，每一份对应一个采样点；计算得到的球面上的每一个区域内的光线的平均值，作为该区域对应的采样点的采样值,本发明可以使采样点在球面上满足赤道附近采样点数多，两极采样点数少的特性，避免了采样结构冗余，使得在达到相同的空间清晰度的条件下，采样点数降低，采样后的数据量减小。

Description

一种全景视频多边形采样方法及装置
技术领域
本发明涉及视频编码技术，特别是涉及一种全景视频多边形采样方法及装置。
背景技术
全景视频是指空间中一个观察点四周所有的场景，由这个观察点所能接收到的所有光线构成。全景视频可以抽象成一个以观察点为中心的球面。
在用计算机处理全景视频的时候，不可避免地要对全景视频进行离散化空间采样。在对全景视频进行离散化空间采样的时候，需要保证一定的空间采样密度，以达到所需的清晰度。同时，又要考虑到计算机的存储器不适合存储球面结构的数据，需要以某种方式把采样点排列到平面上。
现有的球面采样方法，通常将球面采样过程分为三步：第一步，映射，把球面映射为平面上的一个区域；第二步，平面采样，以映射后的平面区域为基础设计采样点的分布方式；第三步，排列，把采样点排列为一个矩形。
在第一步映射的过程中，经常不是等面积映射，而且球面的不同区域在映射前后面积的比例也是不同的；第二步平面采样的过程中，经常是把采样点设计成在映射后的平面区域中均匀分布，第一步和第二步结合起来，就会造成采样点在球面上的分布不均匀，理论上，球面赤道附近的采样点数应该比两极附近采样点数多。目前，有三种常用的球面采样方法：经纬图采样，六面体采样以及棱锥采样。
经纬图采样如图1所示，球面上任意一个点可以用所处的经度θ和纬度描述，θ∈[0,2π)，于是可以将球面映射到坐标系下一个宽高比为2:1的矩形。对这个矩形进行均匀采样。经纬图采样方法虽然具有完整相邻性，但在球面的两极附近采样密度过高，会产生很大的冗余。
六面体采样如图2所示，首先将球面映射为其外切正六面体的六个面，从而得到六个平面正方形，再对六个平面正方形进行均匀采样，最终用某种方式把六个正方形拼成一个矩形。六面体采样的采样点在球面上的分布也是不均匀的，依然存在较大的冗余，并且矩形的内容也不具有完整相邻性。
棱锥采样如图3所示，首先将球面映射为一个外切正四棱锥，再将该正四棱锥的每个侧面(等腰三角形)沿底边垂线的方向进行压缩，直到顶角变成直角。这样底面和四个经过二次映射的侧面正好可以拼成一个正方形。最后对这个正方形进行均匀采样。棱锥采样的采样点在球面上的分布也是不均匀的，矩形的内容也不具有完整相邻性。其不均匀程度介于经纬图采样和六面体采样之间，冗余程度也介于经纬图采样和六面体采样之间。
综上所述，已有的全景视频采样方法的主要缺点是存在较大的采样结构冗余和最终形成的矩形不具有内容完整相邻性。采样点在球面上不均匀分布，不仅会带来采样冗余，还给视频质量评价带来不便，因为最终的采样点对应的球面面积是不同的，因此每个采样点的失真对视频质量的影响也是不同的，在计算全景视频经过某种处理，例如压缩解压缩后的质量损失时，必须考虑到每个采样点的重要性是不同的。
发明内容
为克服上述现有技术存在的不足，本发明之目的在于提供一种全景视频多边形采样方法及装置，其可以通过使采样点在球面上的分布满足赤道附近采样点数多，两极附近采样点数很少，从而避免了采样结构冗余，使得在达到相同的空间清晰度的条件下，采样点数减少，而且通过调整赤道附近环形曲面的个数L值的大小，可以改变采样点数，具有很强的灵活性。。
为达上述及其它目的，本发明提出一种全景视频多边形采样方法，包括如下步骤：
步骤一，根据空间清晰度要求，用等间隔的纬线将球面分成N个环形曲面，将该些环形曲面依次记为Oi，i＝0,1,...,N-1；
步骤二，根据空间清晰度要求，将位于赤道附近的L个环形曲面沿赤道方向均匀地分成M个区域，每个区域对应一个采样点；
步骤三，将其他环形曲面按等差数列沿赤道方向均匀的分成Mi份，离赤道越近，Mi越大，每一份对应一个采样点；
步骤四，计算步骤二和步骤三得到的球面上的每一个区域内的光线的平均值，作为该区域对应的采样点的采样值。
进一步地，于步骤一中，从球心的角度观察，Oi按照从上到下的顺序排列。
进一步地，于步骤二中，采样点编号为(N/2,0),(N/2,1)...,(N/2,M-1)，编号为(N/2,0)的采样点对应的区域和编号为(N/2,M-1)的采样点对应的区域是相邻的，它们的分割线为0度经线，从球心的角度观察，编号为(N/2,k)的采样点对应的区域在编号为(N/2,k+1)的采样点对应的区域的左侧。
进一步地，于步骤三中，采样点的编号为(i,0),(i,1)...,(i,Mi-1)，
进一步地，于步骤三中，编号为(i,0)的采样点对应的区域和编号为(i,Mi-1)的采样点对应的区域是相邻的，它们的分割线是0度经线，从球心的角度观察，编号为(i,k)的采样点对应的区域在编号为(i,k+1)的采样点对应的区域的左侧。
进一步地，该方法还包括：在存储时，首先记录N和M；然后将所得的所有采样点的数据按照以下顺序排成一列：(0,0),(0,1),...,(0,M0-1),(1,0),(1,1),...,(1,M1-1),...,(N-1,0),(N-1,1),...,(N-1,MN-1-1)；在平面显示器上显示时，将所得的采样点数据排列在一个N行、N列的矩形区域内，并将每一行编号为(i,0)的数据对齐，其他数据依次排列，数据区域为一个多边形，矩形区域内没有填满的部分用任意数据填充。
进一步地，该方法用于视频编码压缩时，需将每一帧的采样点数拆拼成一个N行、N列的矩形。
进一步地，该拆拼方法如下：先按平面显示器上显示时的方法排列成一个N行、M列的矩形，然后将第(N-L)/2行的上部等分为两份，拆拼到该行的下面，再将第(N+L)/2行的下部等分为两份，拆拼到该行的上面，最终拆拼成一个矩形数据区域。
为达到上述目的，本发明还提供一种全景视频多边形采样装置，包括：
球面分割单元，根据空间清晰度要求，用等间隔的纬线将球面分成N个环形曲面，将该些环形曲面依次记为Oi，i＝0,1,...,N-1；
最大面积环形曲面分割单元，根据空间清晰度要求，将位于赤道附近的L个环形曲面沿赤道方向均匀地分成M个区域，每个区域对应一个采样点；
其他环形曲面分割单元，将其他环形曲面按等差数列沿赤道方向均匀的分成Mi份，离赤道越近，Mi越大，每一份对应一个采样点；
采样值计算单元，计算该最大面积环形曲面分割单元和该其他面积环形曲面分割单元得到的球面上的每一个区域内的光线的平均值，作为该区域对应的采样点的采样值。
进一步地，
与现有技术相比，本发明一种全景视频多边形采样方法及装置，可以通过使采样点在球面上的分布满足赤道附近采样点数多，两极附近采样点数很少，从而避免了采样结构冗余，使得在达到相同的空间清晰度的条件下，采样点数减少，而且通过调整赤道附近环形曲面的个数L值的大小，可以改变采样点数，具有很强的灵活性。
附图说明
图1为现有技术球面采样方法中经纬图采样的示意图；
图2为现有技术球面采样方法中六面体采样的示意图；
图3为现有技术球面采样方法中棱锥采样的实验图；
图4为本发明一种全景视频多边形采样方法的步骤流程图；
图5为本发明一种全景视频多边形采样装置的系统架构图；
图6所示为一个用分辨率为4096×2048的经纬图表示的全景视频的其中一幅图像；
图7所示为采用本发明后所得的显示图像。
图8所示为采用本发明后所得的编码图像。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
图4为本发明一种全景视频多边形采样方法的步骤流程图。如图4所示，本发明一种全景视频多边形采样方法，包括如下步骤：
步骤201，根据空间清晰度要求，用等间隔的纬线将球面分成N个环形曲面，N通常为偶数。将这些环形面依次记为Oi，i＝0,1,...,N-1。将Oi的中心纬线对应的纬度记为θi，θi＝|i-(N/2-0.5)|×π/N。从球心的角度观察，Oi(i＝0,1,...,N-1)按照从上到下的顺序排列。
步骤202，根据空间清晰度要求，将位于赤道附近的L个环形曲面沿赤道方向均匀地分成M个区域，每个区域对应一个采样点，采样点的编号为(N/2,0),(N/2,1)...,(N/2,M-1)。其中编号为(N/2,0)的采样点对应的区域和编号为(N/2,M-1)的采样点对应的区域是相邻的，它们的分割线是0度经线。从球心的角度观察，编号为(N/2,k)的采样点对应的区域在编号为(N/2,k+1)的采样点对应的区域的左侧。
步骤203，将其他环形曲面按照面积的大小沿赤道方向均匀的分成Mi份，，每一份对应一个采样点。采样点的编号为(i,0),(i,1)...,(i,Mi-1)。其中编号为(i,0)的采样点对应的区域和编号为(i,Mi-1)的采样点对应的区域是相邻的，它们的分割线是0度经线。从球心的角度观察，编号为(i,k)的采样点对应的区域在编号为(i,k+1)的采样点对应的区域的左侧。其中，
步骤204，计算步骤202和步骤203得到的球面上的每一个区域内的光线的平均值，作为该区域对应的采样点的采样值。
在存储时，首先记录N和M。然后将所得的所有采样点的数据按照以下顺序排成一列：(0,0),(0,1),...,(0,M0-1),(1,0),(1,1),...,(1,M1-1),...,(N-1,0),(N-1,1),...,(N-1,MN-1-1)。
在平面显示器上显示时，可以将所得的采样点数据排列在一个N行、M列的矩形区域内，并将每一行编号为(i,0)的数据对齐，其他数据依次排列。矩形区域内没有填满的部分可以用任意数据填充。
在进行压缩编码的时候，需要将每一帧的采样点数拆拼成一个N行、N列的矩形，具体拆拼方法是：先按平面显示器上显示时的方法排列成一个N行、M列的矩形，然后将第(N-L)/2行的上部等分为两份，拆拼到该行的下面，在将第(N+L)/2行的下部等分为两份，拆拼到该行的上面，最终拆拼成一个矩形数据区域，用于视频编码。
可见，本发明可以使采样点在球面上满足赤道附近采样点数多，两极采样点数少的特性，该采样点数的分布特性在经纬图上具有多边形分布的性质，所以称之为多边形采样。
图5为本发明一种全景视频多边形采样装置的系统架构图。如图5所示，本发明一种全景视频多边形采样装置，包括：球面分割单元501、最大面积环形曲面分割单元502、其他环形曲面分割单元503以及采样值计算单元504。
其中，球面分割单元501根据空间清晰度要求，用等间隔的纬线将球面分成N个环形曲面，N通常为偶数。将这些环形面依次记为Oi，i＝0,1,...,N-1。将Oi的中心纬线对应的纬度记为θi，θi＝|i-(N/2-0.5)|×π/N。将Oi的面积记为Si。从球心的角度观察，Oi(i＝0,1,...,N-1)按照从上到下的顺序排列。
最大面积环形曲面分割单元502根据空间清晰度要求，将赤道附近L个环形曲面沿赤道方向均匀地分成M个区域，每个区域对应一个采样点，采样点的编号为(N/2,0),(N/2,1)...,(N/2,M-1)。其中编号为(N/2,0)的采样点对应的区域和编号为(N/2,M-3)的采样点对应的区域是相邻的，它们的分割线是0度经线。从球心的角度观察，编号为(N/2,k)的采样点对应的区域在编号为(N/2,k+1)的采样点对应的区域的左侧，其中，
其他面积环形曲面分割单元503，将其他环形曲面按照面积的大小沿赤道方向均匀的分成份，每一份对应一个采样点。采样点的编号为(i,0),(i,1)...,(i,Mi-1)。其中编号为(i,0)的采样点对应的区域和编号为(i,Mi-1)的采样点对应的区域是相邻的，它们的分割线是0度经线。从球心的角度观察，编号为(i,k)的采样点对应的区域在编号为(i,k+1)的采样点对应的区域的左侧。。
采样值计算单元504，计算最大面积环形曲面分割单元502和其他面积环形曲面分割单元503得到的球面上的每一个区域内的光线的平均值，作为该区域对应的采样点的采样值。
本发明在存储时，首先记录N和M。然后将所得的所有采样点的数据按照以下顺序排成一列：(0,0),(0,1),...,(0,M0-1),(1,0),(1,1),...,(1,M1-1),...,(N-1,0),(N-1,1),...,(N-1,MN-1-1)。
在平面显示器上显示时，可以将所得的采样点数据排列在一个N行、M列的矩形区域内，并将每一行编号为(i,0)的数据对齐，其他数据依次排列。矩形区域内没有填满的部分可以用任意数据填充。
在进行压缩编码的时候，需要将每一帧的采样点数拆拼成一个N行、N列的矩形，具体拆拼方法是：先按平面显示器上显示时的方法排列成一个N行、M列的矩形，然后将第(N-L)/2行的上部等分为两份，拆拼到该行的下面，在将第(N+L)/2行的下部等分为两份，拆拼到该行的上面，最终拆拼成一个矩形数据区域，用于视频编码。
以下将通过具体实施例来进一步说明本发明：
实施例一
如图6所示为一个用分辨率为4096×2048的经纬图表示的全景视频的其中一幅图像，在本发明具体实施例中，该全景视频为彩色视频，具有三个分量。假设所采用的颜色分量是RGB，采样后仍然用RGB表示每个采样点的颜色。假设空间清晰度的要求对三个分量是相同的，都是N＝1024，M＝2048，量化精度要求对每个分量也是相同的，都是量化为256级。则对每个分量，重复如下步骤一到步骤四：
步骤一：用等间隔的纬线将球面分成1024个环形曲面。将这些环形面依次记为Oi，i＝0,1,...,1023。将Oi的中心纬线对应的纬度记为θi，θi＝|i-511.5|×π/1024。将Oi的面积记为Si。从球心的角度观察，Oi(i＝0,1,...,1023)按照从上到下的顺序排列。
步骤二：将赤道附近424个环形曲面沿赤道方向均匀地分成2048个区域，每个区域对应一个采样点。例如采样点编号为(512,0),(512,1)...,(512,2047)。其中编号为(512,0)的采样点对应的区域和编号为(512,2047)的采样点对应的区域是相邻的，它们的分割线是0度经线。从球心的角度观察，编号为(512,k)的采样点对应的区域在编号为(512,k+1)的采样点对应的区域的左侧。
步骤三：将其他环形曲面按照面积的大小沿赤道方向均匀的分成份，每一份对应一个采样点。采样点的编号为(i,0),(i,1)...,(i,Mi-1)。其中编号为(i,0)的采样点对应的区域和编号为(i,Mi-1)的采样点对应的区域是相邻的，它们的分割线是0度经线。从球心的角度观察，编号为(i,k)的采样点对应的区域在编号为(i,k+1)的采样点对应的区域的左侧。
步骤四：计算步骤二和步骤三得到的球面上的每一个区域内的光线的平均值，并进行256级量化，得到一个0到255之间的整数值，作为该区域对应的采样点的采样值。
在存储时，首先记录每个分量采样的行数1024和每行最大的采样点数2048。然后将所得的所有采样点的数据按照以下顺序排成一列：(0,0),(0,1),...,(0,M0-1),(1,0),(1,1),...,(1,M1-1),...,(1023,0),(1023,1),...,(1023,M1023-1)。同一个采样点的三个分量按照B,G,R的顺序排列。
在平面显示器上显示时，可以将所得的采样点排列在一个1024行、2048列的矩形区域内，并将每一行编号为(i,0)的数据放在每一行的第1024个位置，编号为(i,k),k＝1..Mi/2,的采样点的数据放在第i行第1024+k个位置，编号为(i,Mi-k),k＝1..Mi/2-1,的采样点的数据放在第i行第1024-k个位置。矩形区域内没有填满的部分用255填充，所得图像如图7所示
在压缩编码时，需要将每一帧的采样点数拆拼成一个724行、1024列的矩形，具体拆拼方法是：先按平面显示器上显示时的方法排列成一个1024行、2048列的矩形，然后将第(1024-424)/2行的上部等分为两份，拆拼到该行的下面，在将第(1024+424)/2行的下部等分为两份，拆拼到该行的上面，最终拆拼成一个矩形数据区域，所得图像如图8所示。
实施例二
如图6所示为一个用分辨率为4096×2048的经纬图表示的全景视频的其中一幅图像，在本发明具体实施例中，该全景视频为彩色视频，具有三个分量。假设所采用的颜色分量是YcbCr，采样比例是4:4:4，采样后仍然用YCbCr表示每个采样点的颜色。假设空间清晰度的要求对Y分量是N＝1024，M＝2048，对Cb和Cr分量是N＝512，M＝1024，量化精度要求对每个分量是相同的，都是量化为256级。
则对Y分量，进行如下步骤：
步骤一：用等间隔的纬线将球面分成1024个环形曲面。将这些环形面依次记为Oi，i＝0,1,...,1023。将Oi的中心纬线对应的纬度记为θi，θi＝|i-511.5|×π/1024。将Oi的面积记为Si。从球心的角度观察，Oi(i＝0,1,...,1023)按照从上到下的顺序排列。
步骤二：将赤道附近424个环形曲面沿赤道方向均匀地分成2048个区域，每个区域对应一个采样点。例如采样点编号为(512,0),(512,1)...,(512,2047)。其中编号为(512,0)的采样点对应的区域和编号为(512,2045)的采样点对应的区域是相邻的，它们的分割线是0度经线。从球心的角度观察，编号为(512,k)的采样点对应的区域在编号为(512,k+1)的采样点对应的区域的左侧。
步骤三：将其他环形曲面按照面积的大小沿赤道方向均匀的分成份，每一份对应一个采样点。采样点的编号为(i,0),(i,1)...,(i,Mi-1)。其中编号为(i,0)的采样点对应的区域和编号为(i,Mi-1)的采样点对应的区域是相邻的，它们的分割线是0度经线。从球心的角度观察，编号为(i,k)的采样点对应的区域在编号为(i,k+1)的采样点对应的区域的左侧。
步骤四：计算步骤二和步骤三得到的球面上的每一个区域内的光线的平均值，并进行256级量化，得到一个0到255之间的整数值，作为该区域对应的采样点的采样值。
则对Cb和Cr分量，分别进行如下步骤：
步骤一：用等间隔的纬线将球面分成512个环形曲面。将这些环形面依次记为Oi，i＝0,1,...,512。将Oi的中心纬线对应的纬度记为θi，θi＝|i-255.5|×π/512。将Oi的面积记为Si。从球心的角度观察，Oi(i＝0,1,...,512)按照从上到下的顺序排列。
步骤二：将赤道附近212个环形曲面沿赤道方向均匀地分成1024个区域，每个区域对应一个采样点。例如采样点编号为(256,0),(256,1)...,(256,1023)。其中编号为(256,0)的采样点对应的区域和编号为(256,1021)的采样点对应的区域是相邻的，它们的分割线是0度经线。从球心的角度观察，编号为(256,k)的采样点对应的区域在编号为(256,k+1)的采样点对应的区域的左侧。
步骤三：将其他环形曲面按照面积的大小沿赤道方向均匀的分成份，每一份对应一个采样点。采样点的编号为(i,0),(i,1)...,(i,Mi-1)。其中编号为(i,0)的采样点对应的区域和编号为(i,Mi-1)的采样点对应的区域是相邻的，它们的分割线是0度经线。从球心的角度观察，编号为(i,k)的采样点对应的区域在编号为(i,k+1)的采样点对应的区域的左侧。
步骤四：计算步骤二和步骤三得到的球面上的每一个区域内的光线的平均值，并进行256级量化，得到一个0到255之间的整数值，作为该区域对应的采样点的采样值。
在存储时，首先记录Y分量采样的行数1024和每行最大的采样点数2048，Cb分量采样的行数512和每行最大的采样点数1024。Cr分量采样的行数512和每行最大的采样点数1024。然后将所得的Y分量采样点的数据按照以下顺序排成一列：(0,0),(0,1),...,(0,M0-1),(1,0),(1,1),...,(1,M1-1),...,(1023,0),(1023,1),...,(1023,M1023-1)。在Y分量采样点的数据后面将所得的Cb分量采样点的数据按照以下顺序排成一列：(0,0),(0,1),...,(0,M0-1),(1,0),(1,1),...,(1,M1-1),...,(511,0),(511,1),...,(511,M511-1)。在Cb分量采样点的数据后面将所得的Cr分量采样点的数据按照以下顺序排成一列：(0,0),(0,1),...,(0,M0-1),(1,0),(1,1),...,(1,M1-1),...,(511,0),(511,1),...,(511,M511-1)。
在压缩编码时，需要将每一帧的Y分量采样点数拆拼成一个724行、2048列的矩形、Cb和Cr分量分别拆拼成一个362行、1024列的矩形。具体拆拼方法是：先按平面显示器上显示时的方法将Y分量排列成一个1024行、2048列的矩形，然后将第(1024-424)/2行的上部等分为两份，拆拼到该行的下面，在将第(1024+424)/2行的下部等分为两份，拆拼到该行的上面，最终拆拼成一个矩形数据区域；然后将Cb和Cr分量分别按Y分量的方法分别拆拼成一个362行、512列的矩形。
综上所述，本发明一种全景视频多边形采样方法及装置，其可以通过使采样点在球面上的分布满足赤道附近采样点数多，两极附近采样点数很少，从而避免了采样结构冗余，使得在达到相同的空间清晰度的条件下，采样点数减少，而且通过调整赤道附近环形曲面的个数L值的大小，可以改变采样点数，具有很强的灵活性。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种全景视频多边形采样方法，包括如下步骤：
步骤一，根据空间清晰度要求，用等间隔的纬线将球面分成N个环形曲面，将该些环形曲面依次记为Oi，i＝0,1,...,N-1；
步骤二，根据空间清晰度要求，将位于赤道附近的L个环形曲面沿赤道方向均匀地分成M个区域，每个区域对应一个采样点；
步骤三，将其他环形区域沿赤道方向均匀的分成Mi份，且Mi是按等差数列分布的，离赤道越近，Mi越大，每一份对应一个采样点；
步骤四，计算步骤二和步骤三得到的球面上的每一个区域内的光线的平均值，作为该区域对应的采样点的采样值。
2.如权利要求1所述的一种全景视频多边形采样方法，其特征在于：于步骤一中，从球心的角度观察，Oi按照从上到下的顺序排列。
3.如权利要求2所述的一种全景视频多边形采样方法，其特征在于：于步骤二中，采样点编号为(N/2,0),(N/2,1)...,(N/2,M-1)，编号为(N/2,0)的采样点对应的区域和编号为(N/2,M-1)的采样点对应的区域是相邻的，它们的分割线为0度经线，从球心的角度观察，编号为(N/2,k)的采样点对应的区域在编号为(N/2,k+1)的采样点对应的区域的左侧。
4.如权利要求3所述的一种全景视频多边形采样方法，其特征在于：于步骤三中，采样点的编号为(i,0),(i,1)...,(i,Mi-1)，
5.如权利要求4所述的一种全景视频多边形采样方法，其特征在于：于步骤三中，编号为(i,0)的采样点对应的区域和编号为(i,Mi-1)的采样点对应的区域是相邻的，它们的分割线是0度经线，从球心的角度观察，编号为(i,k)的采样点对应的区域在编号为(i,k+1)的采样点对应的区域的左侧。
6.如权利要求5所述的一种全景视频多边形采样方法，其特征在于，该方法还包括：在存储时，首先记录N和M；然后将所得的所有采样点的数据按照以下顺序排成一列：(0,0),(0,1),...,(0,M0-1),(1,0),(1,1),...,(1,M1-1),...,(N-1,0),(N-1,1),...,(N-1,MN-1-1)；在平面显示器上显示时，将所得的采样点数据排列在一个N行、N列的矩形区域内，并将每一行编号为(i,0)的数据对齐，其他数据依次排列，数据区域为一个多边形，矩形区域内没有填满的部分用任意数据填充。
7.如权利要求6所述的一种全景视频多边形采样方法，其特征在于，该方法用于视频编码压缩时，需将每一帧的采样点数拆拼成一个N行、N列的矩形。
8.如权利要求7所述的一种全景视频多边形采样方法，其特征在于，该拆拼方法如下：先按平面显示器上显示时的方法排列成一个N行、M列的矩形，然后将第(N-L)/2行的上部等分为两份，拆拼到该行的下面，再将第(N+L)/2行的下部等分为两份，拆拼到该行的上面，最终拆拼成一个矩形数据区域。
9.一种全景视频多边形采样装置，包括：
球面分割单元，根据空间清晰度要求，用等间隔的纬线将球面分成N个环形曲面，将该些环形曲面依次记为Oi，i＝0,1,...,N-1；
最大面积环形曲面分割单元，根据空间清晰度要求，将位于赤道附近的L个环形曲面沿赤道方向均匀地分成M个区域，每个区域对应一个采样点；
其他环形曲面分割单元，将其他环形区域沿赤道方向均匀的分成Mi份，且Mi是按等差数列分布的，离赤道越近，Mi越大，每一份对应一个采样点；
采样值计算单元，计算该最大面积环形曲面分割单元和该其他环形曲面分割单元得到的球面上的每一个区域内的光线的平均值，作为该区域对应的采样点的采样值。
10.如权利要求9所述的一种全景视频多边形采样装置，其特征在于：
CN201610889224.1A 2016-10-11 2016-10-11 一种全景视频多边形采样方法及装置 Active CN106375760B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610889224.1A CN106375760B (zh) 2016-10-11 2016-10-11 一种全景视频多边形采样方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610889224.1A CN106375760B (zh) 2016-10-11 2016-10-11 一种全景视频多边形采样方法及装置

Publications (2)

Publication Number Publication Date
CN106375760A CN106375760A (zh) 2017-02-01
CN106375760B true CN106375760B (zh) 2019-04-19

Family

ID=57895610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610889224.1A Active CN106375760B (zh) 2016-10-11 2016-10-11 一种全景视频多边形采样方法及装置

Country Status (1)

Country Link
CN (1) CN106375760B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108513119A (zh) * 2017-02-27 2018-09-07 阿里巴巴集团控股有限公司 图像的映射、处理方法、装置和机器可读介质
CN106991642A (zh) * 2017-03-23 2017-07-28 上海国茂数字技术有限公司 一种全景视频八角形采样方法及装置
CN109327699B (zh) 2017-07-31 2021-07-16 华为技术有限公司 一种图像的处理方法、终端和服务器
CN109792490B (zh) * 2018-06-07 2021-01-15 香港应用科技研究院有限公司 用于流图像压缩的球面视频的改进的伪圆柱映射
US10735765B2 (en) * 2018-06-07 2020-08-04 Hong Kong Applied Science and Technology Research Institute Company, Limited Modified pseudo-cylindrical mapping of spherical video using linear interpolation of empty areas for compression of streamed images
EP3686833A1 (en) * 2019-01-24 2020-07-29 Koninklijke Philips N.V. Generating and processing an image property pixel structure
CN111402123B (zh) * 2020-03-23 2023-02-10 上海大学 一种分段采样下保持最小变形度的全景视频映射方法
CN113362336A (zh) * 2021-05-10 2021-09-07 上海大学 全景视频最小变形度映射方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104217459A (zh) * 2014-09-04 2014-12-17 天津大学 一种球面特征提取方法
CN105812759A (zh) * 2016-04-15 2016-07-27 杭州当虹科技有限公司 一种360度全景视频的平面投射方法及编码方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2524249B (en) * 2014-03-17 2021-01-20 Sony Interactive Entertainment Inc Image Processing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104217459A (zh) * 2014-09-04 2014-12-17 天津大学 一种球面特征提取方法
CN105812759A (zh) * 2016-04-15 2016-07-27 杭州当虹科技有限公司 一种360度全景视频的平面投射方法及编码方法

Also Published As

Publication number Publication date
CN106375760A (zh) 2017-02-01

Similar Documents

Publication Publication Date Title
CN106375760B (zh) 一种全景视频多边形采样方法及装置
CN106210716B (zh) 一种全景视频等密度采样方法及装置
CN106488233B (zh) 一种全景视频菱形采样方法及装置
US10057562B2 (en) Generating intermediate views using optical flow
CN108564527B (zh) 基于神经网络的全景图内容补全和修复的方法及装置
KR970004118B1 (ko) 실시간 컴퓨터 화상 발생시스템의 심부 버퍼 우선순위 처리방법
TWI303723B (en) Method for rendering data of a color space onto the display of another color space
CN109242855B (zh) 基于多分辨率三维统计信息的屋顶分割方法、系统及设备
US20180122129A1 (en) Generation, transmission and rendering of virtual reality multimedia
AU2016308980B2 (en) Image generating apparatus and image display control apparatus
US20070195083A1 (en) Image-based protruded displacement mapping method and bi-layered displacement mapping method using the same
DE112018000177T5 (de) Verfahren und Vorrichtung zum Generieren und Codieren eines projektionsbasierten Rahmens, welcher mindestens einen Auffüllbereich und mindestens eine Projektionsfläche aufweist, die in einer 360-Grad-Virtual-Reality-Projektionsanordnung gepackt sind
WO2018171608A1 (en) Method and apparatus for generating and encoding projection-based frame with 360-degree content represented in projection faces packed in segmented sphere projection layout
WO2021169396A1 (zh) 一种媒体内容植入方法以及相关装置
JPH05506730A (ja) イメージ発生装置
CN113808261A (zh) 一种基于全景图的自监督学习场景点云补全的数据集生成方法
CN110136052A (zh) 一种图像处理方法、装置和电子设备
JP2023545660A (ja) ランドスケープ仮想画面の表示方法及び装置並びに電子装置及びコンピュータプログラム
CN106991642A (zh) 一种全景视频八角形采样方法及装置
US6351262B1 (en) Display techniques for three-dimensional virtual reality
CN107147910B (zh) 一种全景视频六角形采样方法及装置
EP0989524A2 (en) Display Techniques for three-dimensional virtual reality
CN107833227A (zh) 一种圆形裁剪区域的绘制方法及其系统
CN106658009A (zh) 全景视频改进双环带采样方法及装置
US20170274285A1 (en) Method and apparatus for automating the creation of a puzzle pix playable on a computational device from a photograph or drawing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant