CN106375760A - 一种全景视频多边形采样方法及装置 - Google Patents

一种全景视频多边形采样方法及装置 Download PDF

Info

Publication number
CN106375760A
CN106375760A CN201610889224.1A CN201610889224A CN106375760A CN 106375760 A CN106375760 A CN 106375760A CN 201610889224 A CN201610889224 A CN 201610889224A CN 106375760 A CN106375760 A CN 106375760A
Authority
CN
China
Prior art keywords
sampling
sampled point
region
row
numbering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610889224.1A
Other languages
English (en)
Other versions
CN106375760B (zh
Inventor
吴成家
顾晓
林畅
赵海武
李国平
滕国伟
王国中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI GMT DIGITAL TECHNOLOGY Co Ltd
Original Assignee
SHANGHAI GMT DIGITAL TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI GMT DIGITAL TECHNOLOGY Co Ltd filed Critical SHANGHAI GMT DIGITAL TECHNOLOGY Co Ltd
Priority to CN201610889224.1A priority Critical patent/CN106375760B/zh
Publication of CN106375760A publication Critical patent/CN106375760A/zh
Application granted granted Critical
Publication of CN106375760B publication Critical patent/CN106375760B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种全景视频多边形采样方法及装置,该方法包括:根据空间清晰度要求,用等间隔的纬线将球面分成N个环形曲面;根据空间清晰度要求,将位于赤道附近的L个环形曲面沿赤道方向均匀地分成M个区域,每个区域对应一个采样点;将其他环形曲面按等差数列沿赤道方向均匀的分成Mi份,越靠近赤道,Mi越大,每一份对应一个采样点;计算得到的球面上的每一个区域内的光线的平均值,作为该区域对应的采样点的采样值,本发明可以使采样点在球面上满足赤道附近采样点数多,两极采样点数少的特性,避免了采样结构冗余,使得在达到相同的空间清晰度的条件下,采样点数降低,采样后的数据量减小。

Description

一种全景视频多边形采样方法及装置
技术领域
本发明涉及视频编码技术,特别是涉及一种全景视频多边形采样方法及装置。
背景技术
全景视频是指空间中一个观察点四周所有的场景,由这个观察点所能接收到的所有光线构成。全景视频可以抽象成一个以观察点为中心的球面。
在用计算机处理全景视频的时候,不可避免地要对全景视频进行离散化空间采样。在对全景视频进行离散化空间采样的时候,需要保证一定的空间采样密度,以达到所需的清晰度。同时,又要考虑到计算机的存储器不适合存储球面结构的数据,需要以某种方式把采样点排列到平面上。
现有的球面采样方法,通常将球面采样过程分为三步:第一步,映射,把球面映射为平面上的一个区域;第二步,平面采样,以映射后的平面区域为基础设计采样点的分布方式;第三步,排列,把采样点排列为一个矩形。
在第一步映射的过程中,经常不是等面积映射,而且球面的不同区域在映射前后面积的比例也是不同的;第二步平面采样的过程中,经常是把采样点设计成在映射后的平面区域中均匀分布,第一步和第二步结合起来,就会造成采样点在球面上的分布不均匀,理论上,球面赤道附近的采样点数应该比两极附近采样点数多。目前,有三种常用的球面采样方法:经纬图采样,六面体采样以及棱锥采样。
经纬图采样如图1所示,球面上任意一个点可以用所处的经度θ和纬度描述,θ∈[0,2π),于是可以将球面映射到坐标系下一个宽高比为2:1的矩形。对这个矩形进行均匀采样。经纬图采样方法虽然具有完整相邻性,但在球面的两极附近采样密度过高,会产生很大的冗余。
六面体采样如图2所示,首先将球面映射为其外切正六面体的六个面,从而得到六个平面正方形,再对六个平面正方形进行均匀采样,最终用某种方式把六个正方形拼成一个矩形。六面体采样的采样点在球面上的分布也是不均匀的,依然存在较大的冗余,并且矩形的内容也不具有完整相邻性。
棱锥采样如图3所示,首先将球面映射为一个外切正四棱锥,再将该正四棱锥的每个侧面(等腰三角形)沿底边垂线的方向进行压缩,直到顶角变成直角。这样底面和四个经过二次映射的侧面正好可以拼成一个正方形。最后对这个正方形进行均匀采样。棱锥采样的采样点在球面上的分布也是不均匀的,矩形的内容也不具有完整相邻性。其不均匀程度介于经纬图采样和六面体采样之间,冗余程度也介于经纬图采样和六面体采样之间。
综上所述,已有的全景视频采样方法的主要缺点是存在较大的采样结构冗余和最终形成的矩形不具有内容完整相邻性。采样点在球面上不均匀分布,不仅会带来采样冗余,还给视频质量评价带来不便,因为最终的采样点对应的球面面积是不同的,因此每个采样点的失真对视频质量的影响也是不同的,在计算全景视频经过某种处理,例如压缩解压缩后的质量损失时,必须考虑到每个采样点的重要性是不同的。
发明内容
为克服上述现有技术存在的不足,本发明之目的在于提供一种全景视频多边形采样方法及装置,其可以通过使采样点在球面上的分布满足赤道附近采样点数多,两极附近采样点数很少,从而避免了采样结构冗余,使得在达到相同的空间清晰度的条件下,采样点数减少,而且通过调整赤道附近环形曲面的个数L值的大小,可以改变采样点数,具有很强的灵活性。。
为达上述及其它目的,本发明提出一种全景视频多边形采样方法,包括如下步骤:
步骤一,根据空间清晰度要求,用等间隔的纬线将球面分成N个环形曲面,将该些环形曲面依次记为Oi,i=0,1,...,N-1;
步骤二,根据空间清晰度要求,将位于赤道附近的L个环形曲面沿赤道方向均匀地分成M个区域,每个区域对应一个采样点;
步骤三,将其他环形曲面按等差数列沿赤道方向均匀的分成Mi份,离赤道越近,Mi越大,每一份对应一个采样点;
步骤四,计算步骤二和步骤三得到的球面上的每一个区域内的光线的平均值,作为该区域对应的采样点的采样值。
进一步地,于步骤一中,从球心的角度观察,Oi按照从上到下的顺序排列。
进一步地,于步骤二中,采样点编号为(N/2,0),(N/2,1)...,(N/2,M-1),编号为(N/2,0)的采样点对应的区域和编号为(N/2,M-1)的采样点对应的区域是相邻的,它们的分割线为0度经线,从球心的角度观察,编号为(N/2,k)的采样点对应的区域在编号为(N/2,k+1)的采样点对应的区域的左侧。
进一步地,于步骤三中,采样点的编号为(i,0),(i,1)...,(i,Mi-1),
M i = 4 * i + 4 , 0 &le; i < ( N - L ) / 4 ; M - 4 - M ( N - L ) / 4 - 1 - i , ( N - L ) / 4 &le; i < ( N - L ) / 2 ; M N - 1 - i , ( N + L ) / 2 &le; i < N ; .
进一步地,于步骤三中,编号为(i,0)的采样点对应的区域和编号为(i,Mi-1)的采样点对应的区域是相邻的,它们的分割线是0度经线,从球心的角度观察,编号为(i,k)的采样点对应的区域在编号为(i,k+1)的采样点对应的区域的左侧。
进一步地,该方法还包括:在存储时,首先记录N和M;然后将所得的所有采样点的数据按照以下顺序排成一列:(0,0),(0,1),...,(0,M0-1),(1,0),(1,1),...,(1,M1-1),...,(N-1,0),(N-1,1),...,(N-1,MN-1-1);在平面显示器上显示时,将所得的采样点数据排列在一个N行、N列的矩形区域内,并将每一行编号为(i,0)的数据对齐,其他数据依次排列,数据区域为一个多边形,矩形区域内没有填满的部分用任意数据填充。
进一步地,该方法用于视频编码压缩时,需将每一帧的采样点数拆拼成一个N行、N列的矩形。
进一步地,该拆拼方法如下:先按平面显示器上显示时的方法排列成一个N行、M列的矩形,然后将第(N-L)/2行的上部等分为两份,拆拼到该行的下面,再将第(N+L)/2行的下部等分为两份,拆拼到该行的上面,最终拆拼成一个矩形数据区域。
为达到上述目的,本发明还提供一种全景视频多边形采样装置,包括:
球面分割单元,根据空间清晰度要求,用等间隔的纬线将球面分成N个环形曲面,将该些环形曲面依次记为Oi,i=0,1,...,N-1;
最大面积环形曲面分割单元,根据空间清晰度要求,将位于赤道附近的L个环形曲面沿赤道方向均匀地分成M个区域,每个区域对应一个采样点;
其他环形曲面分割单元,将其他环形曲面按等差数列沿赤道方向均匀的分成Mi份,离赤道越近,Mi越大,每一份对应一个采样点;
采样值计算单元,计算该最大面积环形曲面分割单元和该其他面积环形曲面分割单元得到的球面上的每一个区域内的光线的平均值,作为该区域对应的采样点的采样值。
进一步地,
与现有技术相比,本发明一种全景视频多边形采样方法及装置,可以通过使采样点在球面上的分布满足赤道附近采样点数多,两极附近采样点数很少,从而避免了采样结构冗余,使得在达到相同的空间清晰度的条件下,采样点数减少,而且通过调整赤道附近环形曲面的个数L值的大小,可以改变采样点数,具有很强的灵活性。
附图说明
图1为现有技术球面采样方法中经纬图采样的示意图;
图2为现有技术球面采样方法中六面体采样的示意图;
图3为现有技术球面采样方法中棱锥采样的实验图;
图4为本发明一种全景视频多边形采样方法的步骤流程图;
图5为本发明一种全景视频多边形采样装置的系统架构图;
图6所示为一个用分辨率为4096×2048的经纬图表示的全景视频的其中一幅图像;
图7所示为采用本发明后所得的显示图像。
图8所示为采用本发明后所得的编码图像。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式,本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用,本说明书中的各项细节亦可基于不同观点与应用,在不背离本发明的精神下进行各种修饰与变更。
图4为本发明一种全景视频多边形采样方法的步骤流程图。如图4所示,本发明一种全景视频多边形采样方法,包括如下步骤:
步骤201,根据空间清晰度要求,用等间隔的纬线将球面分成N个环形曲面,N通常为偶数。将这些环形面依次记为Oi,i=0,1,...,N-1。将Oi的中心纬线对应的纬度记为θi,θi=|i-(N/2-0.5)|×π/N。从球心的角度观察,Oi(i=0,1,...,N-1)按照从上到下的顺序排列。
步骤202,根据空间清晰度要求,将位于赤道附近的L个环形曲面沿赤道方向均匀地分成M个区域,每个区域对应一个采样点,采样点的编号为(N/2,0),(N/2,1)...,(N/2,M-1)。其中编号为(N/2,0)的采样点对应的区域和编号为(N/2,M-1)的采样点对应的区域是相邻的,它们的分割线是0度经线。从球心的角度观察,编号为(N/2,k)的采样点对应的区域在编号为(N/2,k+1)的采样点对应的区域的左侧。
步骤203,将其他环形曲面按照面积的大小沿赤道方向均匀的分成Mi份,,每一份对应一个采样点。采样点的编号为(i,0),(i,1)...,(i,Mi-1)。其中编号为(i,0)的采样点对应的区域和编号为(i,Mi-1)的采样点对应的区域是相邻的,它们的分割线是0度经线。从球心的角度观察,编号为(i,k)的采样点对应的区域在编号为(i,k+1)的采样点对应的区域的左侧。其中,
M i = 4 * i + 4 , 0 &le; i < ( N - L ) / 4 ; M - 4 - M ( N - L ) / 4 - 1 - i , ( N - L ) / 4 &le; i < ( N - L ) / 2 ; M N - 1 - i , ( N + L ) / 2 &le; i < N ; .
步骤204,计算步骤202和步骤203得到的球面上的每一个区域内的光线的平均值,作为该区域对应的采样点的采样值。
在存储时,首先记录N和M。然后将所得的所有采样点的数据按照以下顺序排成一列:(0,0),(0,1),...,(0,M0-1),(1,0),(1,1),...,(1,M1-1),...,(N-1,0),(N-1,1),...,(N-1,MN-1-1)。
在平面显示器上显示时,可以将所得的采样点数据排列在一个N行、M列的矩形区域内,并将每一行编号为(i,0)的数据对齐,其他数据依次排列。矩形区域内没有填满的部分可以用任意数据填充。
在进行压缩编码的时候,需要将每一帧的采样点数拆拼成一个N行、N列的矩形,具体拆拼方法是:先按平面显示器上显示时的方法排列成一个N行、M列的矩形,然后将第(N-L)/2行的上部等分为两份,拆拼到该行的下面,在将第(N+L)/2行的下部等分为两份,拆拼到该行的上面,最终拆拼成一个矩形数据区域,用于视频编码。
可见,本发明可以使采样点在球面上满足赤道附近采样点数多,两极采样点数少的特性,该采样点数的分布特性在经纬图上具有多边形分布的性质,所以称之为多边形采样。
图5为本发明一种全景视频多边形采样装置的系统架构图。如图5所示,本发明一种全景视频多边形采样装置,包括:球面分割单元501、最大面积环形曲面分割单元502、其他环形曲面分割单元503以及采样值计算单元504。
其中,球面分割单元501根据空间清晰度要求,用等间隔的纬线将球面分成N个环形曲面,N通常为偶数。将这些环形面依次记为Oi,i=0,1,...,N-1。将Oi的中心纬线对应的纬度记为θi,θi=|i-(N/2-0.5)|×π/N。将Oi的面积记为Si。从球心的角度观察,Oi(i=0,1,...,N-1)按照从上到下的顺序排列。
最大面积环形曲面分割单元502根据空间清晰度要求,将赤道附近L个环形曲面沿赤道方向均匀地分成M个区域,每个区域对应一个采样点,采样点的编号为(N/2,0),(N/2,1)...,(N/2,M-1)。其中编号为(N/2,0)的采样点对应的区域和编号为(N/2,M-3)的采样点对应的区域是相邻的,它们的分割线是0度经线。从球心的角度观察,编号为(N/2,k)的采样点对应的区域在编号为(N/2,k+1)的采样点对应的区域的左侧,其中,
M i = 4 * i + 4 , 0 &le; i < ( N - L ) / 4 ; M - 4 - M ( N - L ) / 4 - 1 - i , ( N - L ) / 4 &le; i < ( N - L ) / 2 ; M N - 1 - i , ( N + L ) / 2 &le; i < N ; .
其他面积环形曲面分割单元503,将其他环形曲面按照面积的大小沿赤道方向均匀的分成份,每一份对应一个采样点。采样点的编号为(i,0),(i,1)...,(i,Mi-1)。其中编号为(i,0)的采样点对应的区域和编号为(i,Mi-1)的采样点对应的区域是相邻的,它们的分割线是0度经线。从球心的角度观察,编号为(i,k)的采样点对应的区域在编号为(i,k+1)的采样点对应的区域的左侧。。
采样值计算单元504,计算最大面积环形曲面分割单元502和其他面积环形曲面分割单元503得到的球面上的每一个区域内的光线的平均值,作为该区域对应的采样点的采样值。
本发明在存储时,首先记录N和M。然后将所得的所有采样点的数据按照以下顺序排成一列:(0,0),(0,1),...,(0,M0-1),(1,0),(1,1),...,(1,M1-1),...,(N-1,0),(N-1,1),...,(N-1,MN-1-1)。
在平面显示器上显示时,可以将所得的采样点数据排列在一个N行、M列的矩形区域内,并将每一行编号为(i,0)的数据对齐,其他数据依次排列。矩形区域内没有填满的部分可以用任意数据填充。
在进行压缩编码的时候,需要将每一帧的采样点数拆拼成一个N行、N列的矩形,具体拆拼方法是:先按平面显示器上显示时的方法排列成一个N行、M列的矩形,然后将第(N-L)/2行的上部等分为两份,拆拼到该行的下面,在将第(N+L)/2行的下部等分为两份,拆拼到该行的上面,最终拆拼成一个矩形数据区域,用于视频编码。
以下将通过具体实施例来进一步说明本发明:
实施例一
如图6所示为一个用分辨率为4096×2048的经纬图表示的全景视频的其中一幅图像,在本发明具体实施例中,该全景视频为彩色视频,具有三个分量。假设所采用的颜色分量是RGB,采样后仍然用RGB表示每个采样点的颜色。假设空间清晰度的要求对三个分量是相同的,都是N=1024,M=2048,量化精度要求对每个分量也是相同的,都是量化为256级。则对每个分量,重复如下步骤一到步骤四:
步骤一:用等间隔的纬线将球面分成1024个环形曲面。将这些环形面依次记为Oi,i=0,1,...,1023。将Oi的中心纬线对应的纬度记为θi,θi=|i-511.5|×π/1024。将Oi的面积记为Si。从球心的角度观察,Oi(i=0,1,...,1023)按照从上到下的顺序排列。
步骤二:将赤道附近424个环形曲面沿赤道方向均匀地分成2048个区域,每个区域对应一个采样点。例如采样点编号为(512,0),(512,1)...,(512,2047)。其中编号为(512,0)的采样点对应的区域和编号为(512,2047)的采样点对应的区域是相邻的,它们的分割线是0度经线。从球心的角度观察,编号为(512,k)的采样点对应的区域在编号为(512,k+1)的采样点对应的区域的左侧。
步骤三:将其他环形曲面按照面积的大小沿赤道方向均匀的分成份,每一份对应一个采样点。采样点的编号为(i,0),(i,1)...,(i,Mi-1)。其中编号为(i,0)的采样点对应的区域和编号为(i,Mi-1)的采样点对应的区域是相邻的,它们的分割线是0度经线。从球心的角度观察,编号为(i,k)的采样点对应的区域在编号为(i,k+1)的采样点对应的区域的左侧。
步骤四:计算步骤二和步骤三得到的球面上的每一个区域内的光线的平均值,并进行256级量化,得到一个0到255之间的整数值,作为该区域对应的采样点的采样值。
在存储时,首先记录每个分量采样的行数1024和每行最大的采样点数2048。然后将所得的所有采样点的数据按照以下顺序排成一列:(0,0),(0,1),...,(0,M0-1),(1,0),(1,1),...,(1,M1-1),...,(1023,0),(1023,1),...,(1023,M1023-1)。同一个采样点的三个分量按照B,G,R的顺序排列。
在平面显示器上显示时,可以将所得的采样点排列在一个1024行、2048列的矩形区域内,并将每一行编号为(i,0)的数据放在每一行的第1024个位置,编号为(i,k),k=1..Mi/2,的采样点的数据放在第i行第1024+k个位置,编号为(i,Mi-k),k=1..Mi/2-1,的采样点的数据放在第i行第1024-k个位置。矩形区域内没有填满的部分用255填充,所得图像如图7所示
在压缩编码时,需要将每一帧的采样点数拆拼成一个724行、1024列的矩形,具体拆拼方法是:先按平面显示器上显示时的方法排列成一个1024行、2048列的矩形,然后将第(1024-424)/2行的上部等分为两份,拆拼到该行的下面,在将第(1024+424)/2行的下部等分为两份,拆拼到该行的上面,最终拆拼成一个矩形数据区域,所得图像如图8所示。
实施例二
如图6所示为一个用分辨率为4096×2048的经纬图表示的全景视频的其中一幅图像,在本发明具体实施例中,该全景视频为彩色视频,具有三个分量。假设所采用的颜色分量是YcbCr,采样比例是4:4:4,采样后仍然用YCbCr表示每个采样点的颜色。假设空间清晰度的要求对Y分量是N=1024,M=2048,对Cb和Cr分量是N=512,M=1024,量化精度要求对每个分量是相同的,都是量化为256级。
则对Y分量,进行如下步骤:
步骤一:用等间隔的纬线将球面分成1024个环形曲面。将这些环形面依次记为Oi,i=0,1,...,1023。将Oi的中心纬线对应的纬度记为θi,θi=|i-511.5|×π/1024。将Oi的面积记为Si。从球心的角度观察,Oi(i=0,1,...,1023)按照从上到下的顺序排列。
步骤二:将赤道附近424个环形曲面沿赤道方向均匀地分成2048个区域,每个区域对应一个采样点。例如采样点编号为(512,0),(512,1)...,(512,2047)。其中编号为(512,0)的采样点对应的区域和编号为(512,2045)的采样点对应的区域是相邻的,它们的分割线是0度经线。从球心的角度观察,编号为(512,k)的采样点对应的区域在编号为(512,k+1)的采样点对应的区域的左侧。
步骤三:将其他环形曲面按照面积的大小沿赤道方向均匀的分成份,每一份对应一个采样点。采样点的编号为(i,0),(i,1)...,(i,Mi-1)。其中编号为(i,0)的采样点对应的区域和编号为(i,Mi-1)的采样点对应的区域是相邻的,它们的分割线是0度经线。从球心的角度观察,编号为(i,k)的采样点对应的区域在编号为(i,k+1)的采样点对应的区域的左侧。
步骤四:计算步骤二和步骤三得到的球面上的每一个区域内的光线的平均值,并进行256级量化,得到一个0到255之间的整数值,作为该区域对应的采样点的采样值。
则对Cb和Cr分量,分别进行如下步骤:
步骤一:用等间隔的纬线将球面分成512个环形曲面。将这些环形面依次记为Oi,i=0,1,...,512。将Oi的中心纬线对应的纬度记为θi,θi=|i-255.5|×π/512。将Oi的面积记为Si。从球心的角度观察,Oi(i=0,1,...,512)按照从上到下的顺序排列。
步骤二:将赤道附近212个环形曲面沿赤道方向均匀地分成1024个区域,每个区域对应一个采样点。例如采样点编号为(256,0),(256,1)...,(256,1023)。其中编号为(256,0)的采样点对应的区域和编号为(256,1021)的采样点对应的区域是相邻的,它们的分割线是0度经线。从球心的角度观察,编号为(256,k)的采样点对应的区域在编号为(256,k+1)的采样点对应的区域的左侧。
步骤三:将其他环形曲面按照面积的大小沿赤道方向均匀的分成份,每一份对应一个采样点。采样点的编号为(i,0),(i,1)...,(i,Mi-1)。其中编号为(i,0)的采样点对应的区域和编号为(i,Mi-1)的采样点对应的区域是相邻的,它们的分割线是0度经线。从球心的角度观察,编号为(i,k)的采样点对应的区域在编号为(i,k+1)的采样点对应的区域的左侧。
步骤四:计算步骤二和步骤三得到的球面上的每一个区域内的光线的平均值,并进行256级量化,得到一个0到255之间的整数值,作为该区域对应的采样点的采样值。
在存储时,首先记录Y分量采样的行数1024和每行最大的采样点数2048,Cb分量采样的行数512和每行最大的采样点数1024。Cr分量采样的行数512和每行最大的采样点数1024。然后将所得的Y分量采样点的数据按照以下顺序排成一列:(0,0),(0,1),...,(0,M0-1),(1,0),(1,1),...,(1,M1-1),...,(1023,0),(1023,1),...,(1023,M1023-1)。在Y分量采样点的数据后面将所得的Cb分量采样点的数据按照以下顺序排成一列:(0,0),(0,1),...,(0,M0-1),(1,0),(1,1),...,(1,M1-1),...,(511,0),(511,1),...,(511,M511-1)。在Cb分量采样点的数据后面将所得的Cr分量采样点的数据按照以下顺序排成一列:(0,0),(0,1),...,(0,M0-1),(1,0),(1,1),...,(1,M1-1),...,(511,0),(511,1),...,(511,M511-1)。
在压缩编码时,需要将每一帧的Y分量采样点数拆拼成一个724行、2048列的矩形、Cb和Cr分量分别拆拼成一个362行、1024列的矩形。具体拆拼方法是:先按平面显示器上显示时的方法将Y分量排列成一个1024行、2048列的矩形,然后将第(1024-424)/2行的上部等分为两份,拆拼到该行的下面,在将第(1024+424)/2行的下部等分为两份,拆拼到该行的上面,最终拆拼成一个矩形数据区域;然后将Cb和Cr分量分别按Y分量的方法分别拆拼成一个362行、512列的矩形。
综上所述,本发明一种全景视频多边形采样方法及装置,其可以通过使采样点在球面上的分布满足赤道附近采样点数多,两极附近采样点数很少,从而避免了采样结构冗余,使得在达到相同的空间清晰度的条件下,采样点数减少,而且通过调整赤道附近环形曲面的个数L值的大小,可以改变采样点数,具有很强的灵活性。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下,对上述实施例进行修饰与改变。因此,本发明的权利保护范围,应如权利要求书所列。

Claims (10)

1.一种全景视频多边形采样方法,包括如下步骤:
步骤一,根据空间清晰度要求,用等间隔的纬线将球面分成N个环形曲面,将该些环形曲面依次记为Oi,i=0,1,...,N-1;
步骤二,根据空间清晰度要求,将位于赤道附近的L个环形曲面沿赤道方向均匀地分成M个区域,每个区域对应一个采样点;
步骤三,将其他环形曲面按等差数列沿赤道方向均匀的分成Mi份,离赤道越近,Mi越大,每一份对应一个采样点;
步骤四,计算步骤二和步骤三得到的球面上的每一个区域内的光线的平均值,作为该区域对应的采样点的采样值。
2.如权利要求1所述的一种全景视频多边形采样方法,其特征在于:于步骤一中,从球心的角度观察,Oi按照从上到下的顺序排列。
3.如权利要求2所述的一种全景视频多边形采样方法,其特征在于:于步骤二中,采样点编号为(N/2,0),(N/2,1)...,(N/2,M-1),编号为(N/2,0)的采样点对应的区域和编号为(N/2,M-1)的采样点对应的区域是相邻的,它们的分割线为0度经线,从球心的角度观察,编号为(N/2,k)的采样点对应的区域在编号为(N/2,k+1)的采样点对应的区域的左侧。
4.如权利要求3所述的一种全景视频多边形采样方法,其特征在于:于步骤三中,采样点的编号为(i,0),(i,1)...,(i,Mi-1),
M i = 4 * i + 4 , 0 &le; i < ( N - L ) / 4 ; M - 4 - M ( N - L ) / 4 - 1 - i , ( N - L ) / 4 &le; i < ( N - L ) / 2 ; M N - 1 - i , ( N + L ) / 2 &le; i < - N ; .
5.如权利要求4所述的一种全景视频多边形采样方法,其特征在于:于步骤三中,编号为(i,0)的采样点对应的区域和编号为(i,Mi-1)的采样点对应的区域是相邻的,它们的分割线是0度经线,从球心的角度观察,编号为(i,k)的采样点对应的区域在编号为(i,k+1)的采样点对应的区域的左侧。
6.如权利要求5所述的一种全景视频多边形采样方法,其特征在于,该方法还包括:在存储时,首先记录N和M;然后将所得的所有采样点的数据按照以下顺序排成一列:(0,0),(0,1),...,(0,M0-1),(1,0),(1,1),...,(1,M1-1),...,(N-1,0),(N-1,1),...,(N-1,MN-1-1);在平面显示器上显示时,将所得的采样点数据排列在一个N行、N列的矩形区域内,并将每一行编号为(i,0)的数据对齐,其他数据依次排列,数据区域为一个多边形,矩形区域内没有填满的部分用任意数据填充。
7.如权利要求6所述的一种全景视频多边形采样方法,其特征在于,该方法用于视频编码压缩时,需将每一帧的采样点数拆拼成一个N行、N列的矩形。
8.如权利要求7所述的一种全景视频多边形采样方法,其特征在于,该拆拼方法如下:先按平面显示器上显示时的方法排列成一个N行、M列的矩形,然后将第(N-L)/2行的上部等分为两份,拆拼到该行的下面,再将第(N+L)/2行的下部等分为两份,拆拼到该行的上面,最终拆拼成一个矩形数据区域。
9.一种全景视频多边形采样装置,包括:
球面分割单元,根据空间清晰度要求,用等间隔的纬线将球面分成N个环形曲面,将该些环形曲面依次记为Oi,i=0,1,...,N-1;
最大面积环形曲面分割单元,根据空间清晰度要求,将位于赤道附近的L个环形曲面沿赤道方向均匀地分成M个区域,每个区域对应一个采样点;
其他环形曲面分割单元,将其他环形曲面按等差数列沿赤道方向均匀的分成Mi份,离赤道越近,Mi越大,每一份对应一个采样点;
采样值计算单元,计算该最大面积环形曲面分割单元和该其他面积环形曲面分割单元得到的球面上的每一个区域内的光线的平均值,作为该区域对应的采样点的采样值。
10.如权利要求9所述的一种全景视频多边形采样装置,其特征在于:
M i = 4 * i + 4 , 0 &le; i < ( N - L ) / 4 ; M - 4 - M ( N - L ) / 4 - 1 - i , ( N - L ) / 4 &le; i < ( N - L ) / 2 ; M N - 1 - i , ( N + L ) / 2 &le; i < - N ; .
CN201610889224.1A 2016-10-11 2016-10-11 一种全景视频多边形采样方法及装置 Active CN106375760B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610889224.1A CN106375760B (zh) 2016-10-11 2016-10-11 一种全景视频多边形采样方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610889224.1A CN106375760B (zh) 2016-10-11 2016-10-11 一种全景视频多边形采样方法及装置

Publications (2)

Publication Number Publication Date
CN106375760A true CN106375760A (zh) 2017-02-01
CN106375760B CN106375760B (zh) 2019-04-19

Family

ID=57895610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610889224.1A Active CN106375760B (zh) 2016-10-11 2016-10-11 一种全景视频多边形采样方法及装置

Country Status (1)

Country Link
CN (1) CN106375760B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106991642A (zh) * 2017-03-23 2017-07-28 上海国茂数字技术有限公司 一种全景视频八角形采样方法及装置
CN108513119A (zh) * 2017-02-27 2018-09-07 阿里巴巴集团控股有限公司 图像的映射、处理方法、装置和机器可读介质
WO2019024521A1 (zh) * 2017-07-31 2019-02-07 华为技术有限公司 一种图像的处理方法、终端和服务器
CN109792490A (zh) * 2018-06-07 2019-05-21 香港应用科技研究院有限公司 用于流图像压缩的球面视频的改进的伪圆柱映射
WO2019232811A1 (en) * 2018-06-07 2019-12-12 Hong Kong Applied Science and Technology Research Institute Company Limited Modified pseudo-cylindrical mapping of spherical video using linear interpolation of empty areas for compression of streamed images
CN111402123A (zh) * 2020-03-23 2020-07-10 上海大学 一种分段采样下保持最小变形度的全景视频映射方法
WO2020152033A1 (en) * 2019-01-24 2020-07-30 Koninklijke Philips N.V. Generating and processing an image property pixel structure
CN113362336A (zh) * 2021-05-10 2021-09-07 上海大学 全景视频最小变形度映射方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104217459A (zh) * 2014-09-04 2014-12-17 天津大学 一种球面特征提取方法
US20150264259A1 (en) * 2014-03-17 2015-09-17 Sony Computer Entertainment Europe Limited Image processing
CN105812759A (zh) * 2016-04-15 2016-07-27 杭州当虹科技有限公司 一种360度全景视频的平面投射方法及编码方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150264259A1 (en) * 2014-03-17 2015-09-17 Sony Computer Entertainment Europe Limited Image processing
CN104217459A (zh) * 2014-09-04 2014-12-17 天津大学 一种球面特征提取方法
CN105812759A (zh) * 2016-04-15 2016-07-27 杭州当虹科技有限公司 一种360度全景视频的平面投射方法及编码方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108513119A (zh) * 2017-02-27 2018-09-07 阿里巴巴集团控股有限公司 图像的映射、处理方法、装置和机器可读介质
CN106991642A (zh) * 2017-03-23 2017-07-28 上海国茂数字技术有限公司 一种全景视频八角形采样方法及装置
US11032571B2 (en) 2017-07-31 2021-06-08 Huawei Technologies Co., Ltd. Image processing method, terminal, and server
WO2019024521A1 (zh) * 2017-07-31 2019-02-07 华为技术有限公司 一种图像的处理方法、终端和服务器
RU2764462C2 (ru) * 2017-07-31 2022-01-17 Хуавей Текнолоджиз Ко., Лтд. Сервер, оконечное устройство и способ обработки изображений
CN109792490A (zh) * 2018-06-07 2019-05-21 香港应用科技研究院有限公司 用于流图像压缩的球面视频的改进的伪圆柱映射
US10735765B2 (en) 2018-06-07 2020-08-04 Hong Kong Applied Science and Technology Research Institute Company, Limited Modified pseudo-cylindrical mapping of spherical video using linear interpolation of empty areas for compression of streamed images
CN109792490B (zh) * 2018-06-07 2021-01-15 香港应用科技研究院有限公司 用于流图像压缩的球面视频的改进的伪圆柱映射
WO2019232811A1 (en) * 2018-06-07 2019-12-12 Hong Kong Applied Science and Technology Research Institute Company Limited Modified pseudo-cylindrical mapping of spherical video using linear interpolation of empty areas for compression of streamed images
WO2020152033A1 (en) * 2019-01-24 2020-07-30 Koninklijke Philips N.V. Generating and processing an image property pixel structure
CN111402123A (zh) * 2020-03-23 2020-07-10 上海大学 一种分段采样下保持最小变形度的全景视频映射方法
CN111402123B (zh) * 2020-03-23 2023-02-10 上海大学 一种分段采样下保持最小变形度的全景视频映射方法
CN113362336A (zh) * 2021-05-10 2021-09-07 上海大学 全景视频最小变形度映射方法

Also Published As

Publication number Publication date
CN106375760B (zh) 2019-04-19

Similar Documents

Publication Publication Date Title
CN106375760A (zh) 一种全景视频多边形采样方法及装置
CN106488233B (zh) 一种全景视频菱形采样方法及装置
CN106210716A (zh) 一种全景视频等密度采样方法及装置
CN110462678B (zh) 图像处理装置及图像处理方法
CA2995665C (en) Image generating apparatus and image display control apparatus for a panoramic image
DE102009041431A1 (de) Fahrsimulationsvorrichtung, Weitwinkelkamera-Videosimulationsvorrichtung und Bilddeformierungs-/-zusammensetzungsvorrichtung
CN103528568A (zh) 一种基于无线信道的目标位姿图像测量方法
CN106600551A (zh) 一种适用于大场景星载sar图像的高精度几何校正方法
CN107045722B (zh) 融合静态信息与动态信息的视频序列分割方法
US20230040777A1 (en) Method and apparatus for displaying virtual landscape picture, storage medium, and electronic device
US9959799B2 (en) Driving method and driving apparatus for display apparatus
CN106991642A (zh) 一种全景视频八角形采样方法及装置
US20150123975A1 (en) Visualization Method Of Numerical Weather Prediction Model Data On Six-Panels Grid Frame And Hardware Device Performing The Same
CN106658009A (zh) 全景视频改进双环带采样方法及装置
Brewer et al. Color representation of aspect and slope simultaneously
CN107147910B (zh) 一种全景视频六角形采样方法及装置
CN106356020B (zh) Led显示屏显示控制方法及图像数据分割方法
CN106791840A (zh) 一种全景视频双环带采样方法及装置
WO2022264793A1 (ja) 表示媒体、処理装置、プログラムおよびプログラムを記録したコンピュータ読み取り可能な記録媒体
WO2022054580A1 (ja) 表示媒体、処理装置およびプログラム
WO2021106972A1 (ja) 表示媒体、処理装置および処理プログラム
US20190156465A1 (en) Converting Imagery and Charts to Polar Projection
WO2021053917A1 (ja) 超解像度立体視化処理システム及びそのプログラム
CN108769680B (zh) 一种全景视频基于斜率分段采样方法及装置
KR101632070B1 (ko) 시뮬레이션용 지구표면영상발생장치 및 지구표면영상저장방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant