CN106210716A - 一种全景视频等密度采样方法及装置 - Google Patents

一种全景视频等密度采样方法及装置 Download PDF

Info

Publication number
CN106210716A
CN106210716A CN201610624368.4A CN201610624368A CN106210716A CN 106210716 A CN106210716 A CN 106210716A CN 201610624368 A CN201610624368 A CN 201610624368A CN 106210716 A CN106210716 A CN 106210716A
Authority
CN
China
Prior art keywords
sampled point
region
sampling
area
numbered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610624368.4A
Other languages
English (en)
Other versions
CN106210716B (zh
Inventor
陈大鹏
吴成家
顾晓
陈芳
陈智贤
林畅
赵海武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI GMT DIGITAL TECHNOLOGY Co Ltd
Original Assignee
SHANGHAI GMT DIGITAL TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI GMT DIGITAL TECHNOLOGY Co Ltd filed Critical SHANGHAI GMT DIGITAL TECHNOLOGY Co Ltd
Priority to CN201610624368.4A priority Critical patent/CN106210716B/zh
Publication of CN106210716A publication Critical patent/CN106210716A/zh
Application granted granted Critical
Publication of CN106210716B publication Critical patent/CN106210716B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking

Abstract

本发明公开了一种全景视频等密度采样方法及装置，该方法包括：根据空间清晰度要求，用等间隔的纬线将球面分成N个环形曲面；根据空间清晰度要求，将面积最大的环形曲面沿赤道方向均匀地分成M个区域，每个区域对应一个采样点；将其他环形曲面按照面积的大小沿赤道方向均匀的分成Mi份，每一份的面积都相等，每一份对应一个采样点；计算得到的球面上的每一个区域内的光线的平均值，作为该区域对应的采样点的采样值,本发明可以使采样点在球面上均匀分布，从而避免了采样结构冗余，使得在达到相同的空间清晰度的条件下，采样点数最少，采样后的数据量最小。

Description

一种全景视频等密度采样方法及装置
技术领域
本发明涉及视频编码技术，特别是涉及一种全景视频等密度采样方法及装置。
背景技术
全景视频是指空间中一个观察点四周所有的场景，由这个观察点所能接收到的所有光线构成。全景视频可以抽象成一个以观察点为中心的球面。
在用计算机处理全景视频的时候，不可避免地要对全景视频进行离散化空间采样。在对全景视频进行离散化空间采样的时候，需要保证一定的空间采样密度，以达到所需的清晰度。同时，又要考虑到计算机的存储器不适合存储球面结构的数据，需要以某种方式把采样点排列到平面上。
现有的球面采样方法，通常将球面采样过程分为三步：第一步，映射，把球面映射为平面上的一个区域；第二步，平面采样，以映射后的平面区域为基础设计采样点的分布方式；第三步，排列，把采样点排列为一个矩形。
在第一步映射的过程中，经常不是等面积映射，而且球面的不同区域在映射前后面积的比例也是不同的。第二步平面采样的过程中，经常是把采样点设计成在映射后的平面区域中均匀分布。第一步和第二步结合起来，就会造成采样点在球面上的分布不均匀。有些区域采样点比较密，有些区域采样点比较稀。最终采样达到的空间清晰度，是以球面上采样点最稀疏的区域为准。因此，在给定空间清晰度的条件下，采样点在球面上的不均匀分布，会带来冗余。
目前，有三种常用的球面采样方法：经纬图采样，六面体采样以及棱锥采样。
经纬图采样如图1所示，球面上任意一个点可以用所处的经度θ和纬度描述，θ∈[0,2π)，于是可以将球面映射到坐标系下一个宽高比为2:1的矩形。对这个矩形进行均匀采样。经纬图采样方法在球面的两极附近采样密度过高，会产生很大的冗余。
六面体采样如图2所示，首先将球面映射为其外切正六面体的六个面，从而得到六个平面正方形，再对六个平面正方形进行均匀采样，最终用某种方式把六个正方形拼成一个矩形。六面体采样的采样点在球面上的分布也是不均匀的，依然存在较大的冗余。
棱锥采样如图3所示，首先将球面映射为一个外切正四棱锥，再将该正四棱锥的每个侧面(等腰三角形)沿底边垂线的方向进行压缩，直到顶角变成直角。这样底面和四个经过二次映射的侧面正好可以拼成一个正方形。最后对这个正方形进行均匀采样。棱锥采样的采样点在球面上的分布也是不均匀的，其不均匀程度介于经纬图采样和六面体采样之间，冗余程度也介于经纬图采样和六面体采样之间。
综上所述，已有的全景视频采样方法的主要缺点是存在较大的采样结构冗余。采样点在球面上不均匀分布，不仅会带来采样冗余，还给视频质量评价带来不便，因为最终的采样点对应的球面面积是不同的，因此每个采样点的失真对视频质量的影响也是不同的，在计算全景视频经过某种处理，例如压缩解压缩后的质量损失时，必须考虑到每个采样点的重要性是不同的。
发明内容
为克服上述现有技术存在的不足，本发明之目的在于提供一种全景视频等密度采样方法及装置，其可以使采样点在球面上均匀分布，从而避免了采样结构冗余，使得在达到相同的空间清晰度的条件下，采样点数最少，采样后的数据量最小，而且，由于每个采样点对应的球面面积相同，每个点的失真对视频质量的影响是相同的。
为达上述及其它目的，本发明提出一种全景视频等密度采样方法，包括如下步骤：
步骤一，根据空间清晰度要求，用等间隔的纬线将球面分成N个环形曲面，将该些环形曲面依次记为Oi，i＝0,1,...,N-1；
步骤二，根据空间清晰度要求，将面积最大的环形曲面沿赤道方向均匀地分成M个区域，每个区域对应一个采样点；
步骤三，将其他环形曲面按照面积的大小沿赤道方向均匀的分成Mi份，每一份的面积都相等，每一份对应一个采样点；
步骤四，计算步骤二和步骤三得到的球面上的每一个区域内的光线的平均值，作为该区域对应的采样点的采样值。
进一步地，于步骤一中，从球心的角度观察，Oi按照从上到下的顺序排列。
进一步地，于步骤二中，采样点的编号为(N/2,0),(N/2,1)...,(N/2,M-1)，编号为(N/2,0)的采样点对应的区域和编号为(N/2,M-1)的采样点对应的区域是相邻的，它们的分割线为0度经线，从球心的角度观察，编号为(N/2,k)的采样点对应的区域在编号为(N/2,k+1)的采样点对应的区域的左侧。
进一步地，于步骤三中，采样点的编号为(i,0),(i,1)...,(i,Mi-1)，Mi＝round(M×Si/SN/2)，其中，round()表示四舍五入到整数，Si为Oi的面积，SN/2为面积最大的环形曲面ON/2的面积。
进一步地，于步骤三中，编号为(i,0)的采样点对应的区域和编号为(i,Mi-1)的采样点对应的区域是相邻的，它们的分割线是0度经线，从球心的角度观察，编号为(i,k)的采样点对应的区域在编号为(i,k+1)的采样点对应的区域的左侧。
进一步地，该方法还包括：在存储时，首先记录N和M；然后将所得的所有采样点的数据按照以下顺序排成一列：(0,0),(0,1),...,(0,M0-1),(1,0),(1,1),...,(1,M1-1),...,(N-1,0),(N-1,1),...,(N-1,MN-1-1)。
进一步地，该方法还包括：在平面显示器上显示时，将所得的采样点数据排列在一个N行、M列的矩形区域内，并将每一行编号为(i,0)的数据对齐，其他数据依次排列，矩形区域内没有填满的部分用任意数据填充。
为达到上述目的，本发明还提供一种全景视频等密度采样装置，包括：
球面分割单元，根据空间清晰度要求，用等间隔的纬线将球面分成N个环形曲面，将该些环形曲面依次记为Oi，i＝0,1,...,N-1；
最大面积环形曲面分割单元，根据空间清晰度要求，将面积最大的环形曲面沿赤道方向均匀地分成M个区域，每个区域对应一个采样点；
其他环形曲面分割单元，将其他环形曲面按照面积的大小沿赤道方向均匀的分成Mi份，每一份的面积都相等，每一份对应一个采样点；
采样值计算单元，计算该最大面积环形曲面分割单元和该其他面积环形曲面分割单元得到的球面上的每一个区域内的光线的平均值，作为该区域对应的采样点的采样值。
进一步地，Mi＝round(M×Si/SN/2)，其中，round()表示四舍五入到整数，Si为Oi的面积，SN/2为面积最大的环形曲面ON/2的面积。
进一步地，该装置在存储时，首先记录N和M；然后将所得的所有采样点的数据按照以下顺序排成一列：(0,0),(0,1),...,(0,M0-1),(1,0),(1,1),...,(1,M1-1),...,(N-1,0),(N-1,1),...,(N-1,MN-1-1)；在平面显示器上显示时，将所得的采样点数据排列在一个N行、M列的矩形区域内，并将每一行编号为(i,0)的数据对齐，其他数据依次排列，矩形区域内没有填满的部分用任意数据填充。
与现有技术相比，本发明一种全景视频等密度采样方法及装置使采样点在球面上均匀分布，从而避免了采样结构冗余，使得在达到相同的空间清晰度的条件下，采样点数最少，采样后的数据量最小，而且，由于每个采样点对应的球面面积相同，每个点的失真对视频质量的影响相同。
附图说明
图1为现有技术球面采样方法中经纬图采样的示意图；
图2为现有技术球面采样方法中六面体采样的示意图；
图3为现有技术球面采样方法中棱锥采样的实验图；
图4为本发明一种全景视频等密度采样方法的步骤流程图；
图5为本发明一种全景视频等密度采样装置的系统架构图；
图6所示为一个用分辨率为4096×2048的经纬图表示的全景视频的其中一幅图像；
图7所示为采用本发明后所得的图像。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
图4为本发明一种全景视频等密度采样方法的步骤流程图。如图4所示，本发明一种全景视频等密度采样方法，包括如下步骤：
步骤201，根据空间清晰度要求，用等间隔的纬线将球面分成N个环形曲面，N通常为偶数。将这些环形面依次记为Oi，i＝0,1,...,N-1。将Oi的中心纬线对应的纬度记为θi，θi＝|i-(N/2-0.5)|×π/N。将Oi的面积记为Si。从球心的角度观察，Oi(i＝0,1,...,N-1)按照从上到下的顺序排列。
步骤202，根据空间清晰度要求，将面积最大(也就是最靠近赤道)的环形曲面(ON/2)沿赤道方向均匀地分成M个区域，每个区域对应一个采样点，采样点的编号为(N/2,0),(N/2,1)...,(N/2,M-1)。其中编号为(N/2,0)的采样点对应的区域和编号为(N/2,M-1)的采样点对应的区域是相邻的，它们的分割线是0度经线。从球心的角度观察，编号为(N/2,k)的采样点对应的区域在编号为(N/2,k+1)的采样点对应的区域的左侧。
步骤203，将其他环形曲面按照面积的大小沿赤道方向均匀的分成Mi＝round(M×Si/SN/2)份，这样每一份的面积都相等，每一份对应一个采样点。其中round()表示四舍五入到整数。采样点的编号为(i,0),(i,1)...,(i,Mi-1)。其中编号为(i,0)的采样点对应的区域和编号为(i,Mi-1)的采样点对应的区域是相邻的，它们的分割线是0度经线。从球心的角度观察，编号为(i,k)的采样点对应的区域在编号为(i,k+1)的采样点对应的区域的左侧。
步骤204，计算步骤202和步骤203得到的球面上的每一个区域内的光线的平均值，作为该区域对应的采样点的采样值。
在存储时，首先记录N和M。然后将所得的所有采样点的数据按照以下顺序排成一列：(0,0),(0,1),...,(0,M0-1),(1,0),(1,1),...,(1,M1-1),...,(N-1,0),(N-1,1),...,(N-1,MN-1-1)。
在平面显示器上显示时，可以将所得的采样点数据排列在一个N行、M列的矩形区域内，并将每一行编号为(i,0)的数据对齐，其他数据依次排列。矩形区域内没有填满的部分可以用任意数据填充。在进行压缩编码的时候，也可以参照在平面显示器上显示时的排列方式。
图5为本发明一种全景视频等密度采样装置的系统架构图。如图5所示，本发明一种全景视频等密度采样装置，包括：球面分割单元501、最大面积环形曲面分割单元502、其他环形曲面分割单元503以及采样值计算单元504。
其中，球面分割单元501根据空间清晰度要求，用等间隔的纬线将球面分成N个环形曲面，N通常为偶数。将这些环形面依次记为Oi，i＝0,1,...,N-1。将Oi的中心纬线对应的纬度记为θi，θi＝|i-(N/2-0.5)|×π/N。将Oi的面积记为Si。从球心的角度观察，Oi(i＝0,1,...,N-1)按照从上到下的顺序排列。
最大面积环形曲面分割单元502根据空间清晰度要求，将面积最大(也就是最靠近赤道)的环形曲面(ON/2)沿赤道方向均匀地分成M个区域，每个区域对应一个采样点，采样点的编号为(N/2,0),(N/2,1)...,(N/2,M-1)。其中编号为(N/2,0)的采样点对应的区域和编号为(N/2,M-1)的采样点对应的区域是相邻的，它们的分割线是0度经线。从球心的角度观察，编号为(N/2,k)的采样点对应的区域在编号为(N/2,k+1)的采样点对应的区域的左侧。
其他面积环形曲面分割单元503将其他环形曲面按照面积的大小沿赤道方向均匀的分成Mi＝round(M×Si/SN/2)份，这样每一份的面积都相等，每一份对应一个采样点。其中round()表示四舍五入到整数。采样点的编号为(i,0),(i,1)...,(i,Mi-1)。其中编号为(i,0)的采样点对应的区域和编号为(i,Mi-1)的采样点对应的区域是相邻的，它们的分割线是0度经线。从球心的角度观察，编号为(i,k)的采样点对应的区域在编号为(i,k+1)的采样点对应的区域的左侧。
采样值计算单元504，计算最大面积环形曲面分割单元502和其他面积环形曲面分割单元503得到的球面上的每一个区域内的光线的平均值，作为该区域对应的采样点的采样值。
本发明在存储时，首先记录N和M。然后将所得的所有采样点的数据按照以下顺序排成一列：(0,0),(0,1),...,(0,M0-1),(1,0),(1,1),...,(1,M1-1),...,(N-1,0),(N-1,1),...,(N-1,MN-1-1)。
在平面显示器上显示时，可以将所得的采样点数据排列在一个N行、M列的矩形区域内，并将每一行编号为(i,0)的数据对齐，其他数据依次排列。矩形区域内没有填满的部分可以用任意数据填充。在进行压缩编码的时候，也可以参照在平面显示器上显示时的排列方式。
以下将通过具体实施例来进一步说明本发明：
实施例一
如图6所示为一个用分辨率为4096×2048的经纬图表示的全景视频的其中一幅图像，在本发明具体实施例中，该全景视频为彩色视频，具有三个分量。假设所采用的颜色分量是RGB，采样后仍然用RGB表示每个采样点的颜色。假设空间清晰度的要求对三个分量是相同的，都是N＝1024，M＝2048，量化精度要求对每个分量也是相同的，都是量化为256级。则对每个分量，重复如下步骤一到步骤四：
步骤一：用等间隔的纬线将球面分成1024个环形曲面。将这些环形面依次记为Oi，i＝0,1,...,1023。将Oi的中心纬线对应的纬度记为θi，θi＝|i-511.5|×π/1024。将Oi的面积记为Si。从球心的角度观察，Oi(i＝0,1,...,1023)按照从上到下的顺序排列。
步骤二：将面积最大的环形曲面(O512)沿赤道方向均匀地分成2048个区域，每个区域对应一个采样点。采样点的编号为(512,0),(512,1)...,(512,2047)。其中编号为(512,0)的采样点对应的区域和编号为(512,2047)的采样点对应的区域是相邻的，它们的分割线是0度经线。从球心的角度观察，编号为(512,k)的采样点对应的区域在编号为(512,k+1)的采样点对应的区域的左侧。
步骤三：将其他环形曲面按照面积的大小沿赤道方向均匀的分成Mi＝round(2048×Si/S512)份，这样每一份的面积都相等，每一份对应一个采样点。其中round()表示四舍五入到整数。采样点的编号为(i,0),(i,1)...,(i,Mi-1)。其中编号为(i,0)的采样点对应的区域和编号为(i,Mi-1)的采样点对应的区域是相邻的，它们的分割线是0度经线。从球心的角度观察，编号为(i,k)的采样点对应的区域在编号为(i,k+1)的采样点对应的区域的左侧。
步骤四：计算步骤二和步骤三得到的球面上的每一个区域内的光线的平均值，并进行256级量化，得到一个0到255之间的整数值，作为该区域对应的采样点的采样值。
在存储时，首先记录每个分量采样的行数1024和每行最大的采样点数2048。然后将所得的所有采样点的数据按照以下顺序排成一列：(0,0),(0,1),...,(0,M0-1),(1,0),(1,1),...,(1,M1-1),...,(1023,0),(1023,1),...,(1023,M1023-1)。同一个采样点的三个分量按照B,G,R的顺序排列。
在平面显示器上显示时，可以将所得的采样点排列在一个1024行、2048列的矩形区域内，并将每一行编号为(i,0)的数据放在每一行的第1024个位置，编号为(i,k),k＝1..Mi/2,的采样点的数据放在第i行第1024+k个位置，编号为(i,Mi-k),k＝1..Mi/2-1,的采样点的数据放在第i行第1024-k个位置。矩形区域内没有填满的部分用255填充，所得图像如图7所示
实施例二
如图6所示为一个用分辨率为4096×2048的经纬图表示的全景视频的其中一幅图像，在本发明具体实施例中，该全景视频为彩色视频，具有三个分量。假设所采用的颜色分量是YcbCr，采样比例是4:4:4，采样后仍然用YCbCr表示每个采样点的颜色。假设空间清晰度的要求对Y分量是N＝1024，M＝2048，对Cb和Cr分量是N＝512，M＝1024，量化精度要求对每个分量是相同的，都是量化为256级。
则对Y分量，进行如下步骤：
步骤一：用等间隔的纬线将球面分成1024个环形曲面。将这些环形面依次记为Oi，i＝0,1,...,1023。将Oi的中心纬线对应的纬度记为θi，θi＝|i-511.5|×π/1024。将Oi的面积记为Si。从球心的角度观察，Oi(i＝0,1,...,1023)按照从上到下的顺序排列。
步骤二：将面积最大的环形曲面(O512)沿赤道方向均匀地分成2048个区域，每个区域对应一个采样点。采样点的编号为(512,0),(512,1)...,(512,2047)。其中编号为(512,0)的采样点对应的区域和编号为(512,2047)的采样点对应的区域是相邻的，它们的分割线是0度经线。从球心的角度观察，编号为(512,k)的采样点对应的区域在编号为(512,k+1)的采样点对应的区域的左侧。
步骤三：将其他环形曲面按照面积的大小沿赤道方向均匀的分成Mi＝round(2048×Si/S512)份，这样每一份的面积都相等，每一份对应一个采样点。其中round()表示四舍五入到整数。采样点的编号为(i,0),(i,1)...,(i,Mi-1)。其中编号为(i,0)的采样点对应的区域和编号为(i,Mi-1)的采样点对应的区域是相邻的，它们的分割线是0度经线。从球心的角度观察，编号为(i,k)的采样点对应的区域在编号为(i,k+1)的采样点对应的区域的左侧。
步骤四：计算步骤二和步骤三得到的球面上的每一个区域内的光线的平均值，并进行256级量化，得到一个0到255之间的整数值，作为该区域对应的采样点的采样值。
则对Cb和Cr分量，分别进行如下步骤：
步骤一：用等间隔的纬线将球面分成512个环形曲面。将这些环形面依次记为Oi，i＝0,1,...,512。将Oi的中心纬线对应的纬度记为θi，θi＝|i-255.5|×π/512。将Oi的面积记为Si。从球心的角度观察，Oi(i＝0,1,...,512)按照从上到下的顺序排列。
步骤二：将面积最大的环形曲面(O256)沿赤道方向均匀地分成1024个区域，每个区域对应一个采样点。采样点的编号为(256,0),(256,1)...,(256,1023)。其中编号为(256,0)的采样点对应的区域和编号为(256,1023)的采样点对应的区域是相邻的，它们的分割线是0度经线。从球心的角度观察，编号为(256,k)的采样点对应的区域在编号为(256,k+1)的采样点对应的区域的左侧。
步骤三：将其他环形曲面按照面积的大小沿赤道方向均匀的分成Mi＝round(1024×Si/S256)份，这样每一份的面积都相等，每一份对应一个采样点。其中round()表示四舍五入到整数。采样点的编号为(i,0),(i,1)...,(i,Mi-1)。其中编号为(i,0)的采样点对应的区域和编号为(i,Mi-1)的采样点对应的区域是相邻的，它们的分割线是0度经线。从球心的角度观察，编号为(i,k)的采样点对应的区域在编号为(i,k+1)的采样点对应的区域的左侧。
步骤四：计算步骤二和步骤三得到的球面上的每一个区域内的光线的平均值，并进行256级量化，得到一个0到255之间的整数值，作为该区域对应的采样点的采样值。
在存储时，首先记录Y分量采样的行数1024和每行最大的采样点数2048，Cb分量采样的行数512和每行最大的采样点数1024。Cr分量采样的行数512和每行最大的采样点数1024。然后将所得的Y分量采样点的数据按照以下顺序排成一列：(0,0),(0,1),...,(0,M0-1),(1,0),(1,1),...,(1,M1-1),...,(1023,0),(1023,1),...,(1023,M1023-1)。在Y分量采样点的数据后面将所得的Cb分量采样点的数据按照以下顺序排成一列：(0,0),(0,1),...,(0,M0-1),(1,0),(1,1),...,(1,M1-1),...,(511,0),(511,1),...,(511,M511-1)。在Cb分量采样点的数据后面将所得的Cr分量采样点的数据按照以下顺序排成一列：(0,0),(0,1),...,(0,M0-1),(1,0),(1,1),...,(1,M1-1),...,(511,0),(511,1),...,(511,M511-1)。
综上所述，本发明一种全景视频等密度采样方法及装置使采样点在球面上均匀分布，从而避免了采样结构冗余，使得在达到相同的空间清晰度的条件下，采样点数最少，采样后的数据量最小，而且，由于每个采样点对应的球面面积相同，每个点的失真对视频质量的影响相同。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种全景视频等密度采样方法，包括如下步骤：
步骤一，根据空间清晰度要求，用等间隔的纬线将球面分成N个环形曲面，将该些环形曲面依次记为Oi，i＝0,1,...,N-1；
步骤二，根据空间清晰度要求，将面积最大的环形曲面沿赤道方向均匀地分成M个区域，每个区域对应一个采样点；
步骤三，将其他环形曲面按照面积的大小沿赤道方向均匀的分成Mi份，每一份的面积都相等，每一份对应一个采样点；
步骤四，计算步骤二和步骤三得到的球面上的每一个区域内的光线的平均值，作为该区域对应的采样点的采样值。
2.如权利要求1所述的一种全景视频等密度采样方法，其特征在于：于步骤一中，从球心的角度观察，Oi按照从上到下的顺序排列。
3.如权利要求2所述的一种全景视频等密度采样方法，其特征在于：于步骤二中，采样点的编号为(N/2,0),(N/2,1)...,(N/2,M-1)，编号为(N/2,0)的采样点对应的区域和编号为(N/2,M-1)的采样点对应的区域是相邻的，它们的分割线为0度经线，从球心的角度观察，编号为(N/2,k)的采样点对应的区域在编号为(N/2,k+1)的采样点对应的区域的左侧。
4.如权利要求3所述的一种全景视频等密度采样方法，其特征在于：于步骤三中，采样点的编号为(i,0),(i,1)...,(i,Mi-1)，Mi＝round(M×Si/SN/2)，其中，round()表示四舍五入到整数，Si为Oi的面积，SN/2为面积最大的环形曲面ON/2的面积。
5.如权利要求4所述的一种全景视频等密度采样方法，其特征在于：于步骤三中，编号为(i,0)的采样点对应的区域和编号为(i,Mi-1)的采样点对应的区域是相邻的，它们的分割线是0度经线，从球心的角度观察，编号为(i,k)的采样点对应的区域在编号为(i,k+1)的采样点对应的区域的左侧。
6.如权利要求5所述的一种全景视频等密度采样方法，其特征在于，该方法还包括：在存储时，首先记录N和M；然后将所得的所有采样点的数据按照以下顺序排成一列：(0,0),(0,1),...,(0,M0-1),(1,0),(1,1),...,(1,M1-1),...,(N-1,0),(N-1,1),...,(N-1,MN-1-1)。
7.如权利要求6所述的一种全景视频等密度采样方法，其特征在于，该方法还包括：在平面显示器上显示时，将所得的采样点数据排列在一个N行、M列的矩形区域内，并将每一行编号为(i,0)的数据对齐，其他数据依次排列，矩形区域内没有填满的部分用任意数据填充。
8.一种全景视频等密度采样装置，包括：
球面分割单元，根据空间清晰度要求，用等间隔的纬线将球面分成N个环形曲面，将该些环形曲面依次记为Oi，i＝0,1,...,N-1；
最大面积环形曲面分割单元，根据空间清晰度要求，将面积最大的环形曲面沿赤道方向均匀地分成M个区域，每个区域对应一个采样点；
其他环形曲面分割单元，将其他环形曲面按照面积的大小沿赤道方向均匀的分成Mi份，每一份的面积都相等，每一份对应一个采样点；
采样值计算单元，计算该最大面积环形曲面分割单元和该其他面积环形曲面分割单元得到的球面上的每一个区域内的光线的平均值，作为该区域对应的采样点的采样值。
9.如权利要求8所述的一种全景视频等密度采样装置，其特征在于：Mi＝round(M×Si/SN/2)，其中，round()表示四舍五入到整数，Si为Oi的面积，SN/2为面积最大的环形曲面ON/2的面积。
10.如权利要求8所述的一种全景视频等密度采样装置，其特征在于：该装置在存储时，首先记录N和M；然后将所得的所有采样点的数据按照以下顺序排成一列：(0,0),(0,1),...,(0,M0-1),(1,0),(1,1),...,(1,M1-1),...,(N-1,0),(N-1,1),...,(N-1,MN-1-1)；在平面显示器上显示时，将所得的采样点数据排列在一个N行、M列的矩形区域内，并将每一行编号为(i,0)的数据对齐，其他数据依次排列，矩形区域内没有填满的部分用任意数据填充。
CN201610624368.4A 2016-08-01 2016-08-01 一种全景视频等密度采样方法及装置 Active CN106210716B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610624368.4A CN106210716B (zh) 2016-08-01 2016-08-01 一种全景视频等密度采样方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610624368.4A CN106210716B (zh) 2016-08-01 2016-08-01 一种全景视频等密度采样方法及装置

Publications (2)

Publication Number Publication Date
CN106210716A true CN106210716A (zh) 2016-12-07
CN106210716B CN106210716B (zh) 2019-08-23

Family

ID=57497189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610624368.4A Active CN106210716B (zh) 2016-08-01 2016-08-01 一种全景视频等密度采样方法及装置

Country Status (1)

Country Link
CN (1) CN106210716B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106658009A (zh) * 2016-12-29 2017-05-10 上海国茂数字技术有限公司 全景视频改进双环带采样方法及装置
CN106991642A (zh) * 2017-03-23 2017-07-28 上海国茂数字技术有限公司 一种全景视频八角形采样方法及装置
CN107197285A (zh) * 2017-06-06 2017-09-22 清华大学 一种基于位置的虚拟现实压缩方法
CN107577338A (zh) * 2017-07-25 2018-01-12 北京小鸟看看科技有限公司 一种全景图像的投射方法、装置及头戴显示设备
WO2018133381A1 (zh) * 2017-01-19 2018-07-26 北京大学深圳研究生院 一种全景图像的非对称映射方法
CN108769680A (zh) * 2018-05-31 2018-11-06 上海大学 一种全景视频基于斜率分段采样方法及装置
CN109792490A (zh) * 2018-06-07 2019-05-21 香港应用科技研究院有限公司 用于流图像压缩的球面视频的改进的伪圆柱映射
WO2019232811A1 (en) * 2018-06-07 2019-12-12 Hong Kong Applied Science and Technology Research Institute Company Limited Modified pseudo-cylindrical mapping of spherical video using linear interpolation of empty areas for compression of streamed images
CN111402123A (zh) * 2020-03-23 2020-07-10 上海大学 一种分段采样下保持最小变形度的全景视频映射方法
CN113362336A (zh) * 2021-05-10 2021-09-07 上海大学 全景视频最小变形度映射方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1491403A (zh) * 2001-10-29 2004-04-21 ���ṫ˾ 非平面图像的图像处理装置、图像处理方法、存储介质及计算机程序
CN102411794A (zh) * 2011-07-29 2012-04-11 南京大学 一种基于球谐变换的三维模型的二维投影的输出方法
CN102938018A (zh) * 2012-10-16 2013-02-20 华北水利水电学院 一种基于经纬线的等面积全球离散格网剖分方法
CN104217459A (zh) * 2014-09-04 2014-12-17 天津大学 一种球面特征提取方法
US20150264259A1 (en) * 2014-03-17 2015-09-17 Sony Computer Entertainment Europe Limited Image processing
CN105812759A (zh) * 2016-04-15 2016-07-27 杭州当虹科技有限公司 一种360度全景视频的平面投射方法及编码方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1491403A (zh) * 2001-10-29 2004-04-21 ���ṫ˾ 非平面图像的图像处理装置、图像处理方法、存储介质及计算机程序
CN102411794A (zh) * 2011-07-29 2012-04-11 南京大学 一种基于球谐变换的三维模型的二维投影的输出方法
CN102938018A (zh) * 2012-10-16 2013-02-20 华北水利水电学院 一种基于经纬线的等面积全球离散格网剖分方法
US20150264259A1 (en) * 2014-03-17 2015-09-17 Sony Computer Entertainment Europe Limited Image processing
CN104217459A (zh) * 2014-09-04 2014-12-17 天津大学 一种球面特征提取方法
CN105812759A (zh) * 2016-04-15 2016-07-27 杭州当虹科技有限公司 一种360度全景视频的平面投射方法及编码方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106658009A (zh) * 2016-12-29 2017-05-10 上海国茂数字技术有限公司 全景视频改进双环带采样方法及装置
WO2018133381A1 (zh) * 2017-01-19 2018-07-26 北京大学深圳研究生院 一种全景图像的非对称映射方法
CN106991642A (zh) * 2017-03-23 2017-07-28 上海国茂数字技术有限公司 一种全景视频八角形采样方法及装置
CN107197285B (zh) * 2017-06-06 2019-09-27 清华大学 一种基于位置的虚拟现实压缩方法
CN107197285A (zh) * 2017-06-06 2017-09-22 清华大学 一种基于位置的虚拟现实压缩方法
CN107577338A (zh) * 2017-07-25 2018-01-12 北京小鸟看看科技有限公司 一种全景图像的投射方法、装置及头戴显示设备
CN108769680A (zh) * 2018-05-31 2018-11-06 上海大学 一种全景视频基于斜率分段采样方法及装置
CN109792490A (zh) * 2018-06-07 2019-05-21 香港应用科技研究院有限公司 用于流图像压缩的球面视频的改进的伪圆柱映射
WO2019232811A1 (en) * 2018-06-07 2019-12-12 Hong Kong Applied Science and Technology Research Institute Company Limited Modified pseudo-cylindrical mapping of spherical video using linear interpolation of empty areas for compression of streamed images
US10735765B2 (en) 2018-06-07 2020-08-04 Hong Kong Applied Science and Technology Research Institute Company, Limited Modified pseudo-cylindrical mapping of spherical video using linear interpolation of empty areas for compression of streamed images
CN109792490B (zh) * 2018-06-07 2021-01-15 香港应用科技研究院有限公司 用于流图像压缩的球面视频的改进的伪圆柱映射
CN111402123A (zh) * 2020-03-23 2020-07-10 上海大学 一种分段采样下保持最小变形度的全景视频映射方法
CN111402123B (zh) * 2020-03-23 2023-02-10 上海大学 一种分段采样下保持最小变形度的全景视频映射方法
CN113362336A (zh) * 2021-05-10 2021-09-07 上海大学 全景视频最小变形度映射方法

Also Published As

Publication number Publication date
CN106210716B (zh) 2019-08-23

Similar Documents

Publication Publication Date Title
CN106210716A (zh) 一种全景视频等密度采样方法及装置
CN106375760B (zh) 一种全景视频多边形采样方法及装置
CN106488233A (zh) 一种全景视频菱形采样方法及装置
Zhang et al. Photogrammetric processing of low‐altitude images acquired by unpiloted aerial vehicles
Lee et al. Washington photometry of the globular cluster system of NGC 4472. II. The luminosity function and spatial structure
CN108765298A (zh) 基于三维重建的无人机图像拼接方法和系统
CN103493093B (zh) 图像处理装置、摄像装置及图像处理方法
CN105841810A (zh) 全光成像系统的物空间校准
CN106023230B (zh) 一种适合变形图像的稠密匹配方法
CN110956187A (zh) 一种基于集成学习的无人机影像植物冠层信息提取方法
CN104217459B (zh) 一种球面特征提取方法
Li et al. Pics: Simulations of strong gravitational lensing in galaxy clusters
CN103528568A (zh) 一种基于无线信道的目标位姿图像测量方法
CN109064391A (zh) 一种全景图像处理方法和全景图像处理装置
CN108596032A (zh) 一种视频中打架行为检测方法、装置、设备及介质
CN106991642A (zh) 一种全景视频八角形采样方法及装置
CN107437237B (zh) 一种区域无云影像合成方法
CN110691236A (zh) 一种全景视频质量评价方法
CN106658009A (zh) 全景视频改进双环带采样方法及装置
CN107147910B (zh) 一种全景视频六角形采样方法及装置
CN106791840A (zh) 一种全景视频双环带采样方法及装置
CN108182702B (zh) 基于深度图像采集设备的实时三维建模方法及系统
CN110533577A (zh) 鱼眼图像校正方法及装置
CN107832805A (zh) 一种基于概率位置模型消除空间位置误差对遥感软分类精度评价影响的技术
Kincses et al. Modelling the spatial structure of Europe

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant