CN111402123A

CN111402123A - 一种分段采样下保持最小变形度的全景视频映射方法

Info

Publication number: CN111402123A
Application number: CN202010210634.5A
Authority: CN
Inventors: 赵海武; 陈钰; 何鸣; 葛平; 邢丹; 冯艺妍
Original assignee: Beijing Transpacific Technology Development Ltd
Current assignee: Beijing Transpacific Technology Development Ltd
Priority date: 2020-03-23
Filing date: 2020-03-23
Publication date: 2020-07-10
Anticipated expiration: 2040-03-23
Also published as: CN111402123B

Abstract

本发明涉及一种分段采样下保持最小变形度的全景视频映射方法，具体包括如下步骤，用等间隔的纬线将球面分成30n个环形曲面，环形曲面依次记为O_i，i＝0,1,…30n‑1；用等间隔的经线将每个环形曲面均匀地分成T_i份区域；计算环形曲面上每份内光线的平均值，作为该区域对应的采样点的采样值；将采样等间距分割为6个子集；将6个子集内采样点重新排列为矩形。该采样方法不仅减少了采样结构冗余，采样逼近均匀，而且采样方式具有最小变形度的理论支撑。该方法提高压缩效率，并具有良好的实施效果。

Description

一种分段采样下保持最小变形度的全景视频映射方法

技术领域

本发明涉及全景视频编码技术领域，尤其涉及一种分段采样下保持最小变形度的全景视频映射方法。

背景技术

全景视频作为VR视频的重要来源之一，其本质是由多个镜头组成的360度相机拍摄所得的球面视频，如图1所示。因为全景视频存储了所有方向的视觉信息，用户转动眼睛就可以观看任意方向上的视觉内容，所以有一种身临其境的感受，这也决定了全景视频比传统视频具有更大的信息量。现有的视频编解码标准如H.265和AVS等适用于平面矩形视频，为了利用传统的视频压缩技术去压缩全景视频，需要研究如何将球面视频上的点映射到平面矩形视频内。

球面映射的实质是球面采样，将从球面视频上采样的点排列得到平面矩形视频。现有的映射方法依旧存在采样密度不均匀和数据冗余度较高的问题。以1帧为例，传统经纬图采样如图2所示，在不同纬度采样相同数量的点，形成一个宽高比为2：1的矩形图像。采样过程中两极采样密度过高，产生很大的冗余。六面体采样如图3所示，从球心发出的射线穿过球面和外切六面体，同一射线上的点一一对应的进行采样，从而得到六个平面正方形，再用某种方式把六个正方形拼成一个矩形。六面体采样的六个面的边缘附近采样密度明显高于面中心的采样密度，同样也存在采样不均匀的问题，而且六个面不能拼接成一张图像内容连续的图片，这不但不利于视频编码中的帧内和帧间预测，还会降低视频的主观质量。八角形采样如图4所示，根据一定的采样公式对球面进行采样，得到一幅八角形平面图像，再进行切割、重排列得到平面矩形视频。该方法虽然尽可能地保证了图像内部内容的连续性，但是采样依旧不均匀，且采样公式中斜率的确定科学依据不足。

综上所述，已有的全景视频采样方法中，采样点在球面上不均匀分布，不仅会带来数据冗余，还给视频质量评价带来不便。如果存在一个映射方式能够达到基本的采样均匀，减小数据冗余，保持内容的连续性，一定可以大幅提升映射质量，并为后续编码压缩提供良好的基础。

发明内容

为了解决现有技术存在的问题，本发明的目的是提供一种分段采样下保持最小变形度的全景视频映射方法，将球面按纬度均匀分段后，对不同段分别均匀采样，借此来逼近整体的均匀采样并减少数据冗余。

为达上述目的，本发明采用如下技术方案：

一种分段采样下保持最小变形度的全景视频映射方法，具体步骤如下：

步骤一，根据空间清晰度要求，用等间隔的纬线将球面分成30n个环形曲面，将这些环形曲面依次记为O_i，i＝0,1,...,30n-1；

步骤二，用等间隔的经线将每个环形曲面均匀的分成T_i份，

步骤三，计算环形曲面上每个区域内光线的平均值，作为该区域对应的采样点的采样值，采样点记为c(i，j)，0≤i<30n，0≤j<T_i；

步骤四，将采样点分为6个子集，依次记为S_k，S_k＝{c(i，j)|5kn≤i<5(k+1)n，0≤j<T_i}，k＝0,1,2,3,4,5；

步骤五，拼接，即重新将采样点排列为矩形，排列后采样点记为p(y，x)，0≤y<20n，0≤x<62n，排列规则如下：

进一步地，所述步骤五中，拼接后得到的矩形中，S₀内的点处于矩形的左下位置，S₅内的点处于矩形的左上位置，拼接后的矩形的宽度记为M，高度记为N。

进一步地，该方法还包括：在存储时，首先记录N和M，然后将所得的所有采样点的数据按照以下顺序排成一列：(0,0),(0,1),...,(0,M-1),(1,0),(1,1),...,(1,M-1),...,(N-1,0),(N-1,1),...,(N-1,M-1)。

进一步地，该方法还包括：在平面显示器上显示时，将所得的采样点数据排列在一个N行、M列的矩形区域内。

与现有技术相比，本发明具有显而易见的突出实质性特点和显著技术进步：

本发明减少了采样结构冗余，使得在达到相同的空间清晰度的条件下，采样更加逼近均匀，压缩效率高；对于分段采样的科学性提供了合理的理论支撑。

附图说明

图1为球面全景视频中的一帧图像；

图2为传统经纬图采样示意图；

图3为六面体采样示意图；

图4为八角形采样示意图；

图5为本发明方法的步骤流程图；

图6为本发明球面分割环形曲面示意图；

图7为本发明采样后图形示意图；

图8为本发明重排列过程示意图；

图9为全景视频中的一帧图像，格式为经纬图，分辨率为3840×1920。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，以下通过本发明的优选实例并结合附图说明本发明。

如图5所示，本实施例分段采样下保持最小变形度的全景视频映射方法，具体步骤如下：

步骤一，根据空间清晰度要求，用等间隔的纬线将球面分成30n个环形曲面，将这些环形曲面依次记为O_i，i＝0,1,...,30n-1，分割示意图如图6所示。

步骤二，用等间隔的经线将每个环形曲面均匀的分成T_i份，

步骤三，计算环形曲面上每个区域内光线的平均值，作为该区域对应的采样点的采样值，采样点记为c(i，j)，0≤i<30n，0≤j<T_i，采样示意图如图7所示；

步骤四，将采样点分为6个子集，从上到下依次标为S_k，S_k＝{c(i，j)|5kn≤i<5(k+1)n，0≤j<T_i}，k＝0,1,2,3,4,5；

令矩形宽为M，M＝62n，高为N，N＝20n。排列过程示意图如图8所示。

在存储时，首先记录N和M，然后将所得的所有采样点的数据按照以下顺序排成一列：(0,0),(0,1),...,(0,M-1),(1,0),(1,1),...,(1,M-1),...,(N-1,0),(N-1,1),...,(N-1,M-1)。

在平面显示器上显示时，将所得的采样点数据排列在一个N行、M列的矩形区域内。

本发明可以使采样点在球面上尽可能满足均匀采样，既保持赤道附近采样点数多，两极采样点数少的特性，也减少重排列后图像内容的不连贯性。

实施例一：本分段采样下保持最小变形度的全景视频采样方法如下：

如图9所示为一帧经纬图格式的全景图，分辨率为3840×1920，在本发明具体实施例中，该全景视频为彩色视频，具有三个分量。假设所采用的颜色分量是RGB，采样后仍然用RGB表示每个采样点的颜色，假设空间清晰度的要求对三个分量是相同的，都是N＝1152，M＝3576，量化精度要求对每个分量也是相同的，都是量化为256级。则对每个分量，重复如下步骤一到步骤五：

步骤一，根据空间清晰度要求，用等间隔的纬线将球面分成1728个环形曲面，将这些环形曲面依次记为O_i，i＝0,1,...,1727；

步骤二，将环形曲面均匀的分成T_i份，每一份对应一个采样点，采样点记为c(i，j)，0≤i<1728，0≤j<T_i，T_i为；

步骤三，计算环形曲面上每个区域内的光线的平均值，作为该区域对应的采样点的采样值，采样点记为c(i，j)，0≤i<1728，0≤j<T_i。

步骤四，将图形等间距分割为6个子集，从上到下依次为S_k，S_k＝{c(i，j)|288k≤i<288(k+1)，0≤j<T_i}，k＝0,1,2,3,4,5；。

步骤五，拼接，即重新排列采样点为矩形，排列后采样点记为p(y，x)，0≤y<1152，0≤x<3576，排列规则如下：

拼接后的矩形的宽度为3576，高度为1152，在拼接后的矩形中，原区域S₀处于矩形的左下位置，且其边缘处的像素点与周围区域不相邻，原区域S₅处于矩形的左上位置，且其边缘处的像素点与周围区域不相邻。原区域S₁处于矩形的右上位置，原区域S₄处于矩形的左下位置，原区域S₂和S₃处于矩形的中央位置。

存储时，首先记录每个分量采样的行数1152和每行的采样点数3576。然后将所得的所有采样点的数据按照以下顺序排成一列：(0,0),(0,1),...,(0,3575),(1,0),(1,1),...,(1,3575),...,(N-1,0),(1151,1),...,(1151,3575)。同一个像素点的三个分量按照B，G，R的顺序排列。

在平面显示器上显示时，将所得的采样点数据排列在一个1152行、3576列的矩形区域内。

实施例二：本分段采样下保持最小变形度的全景视频采样方法如下：

如图9所示为一帧经纬图格式的全景图，分辨率为3840×1920。在本发明具体实施例中，该全景视频为彩色视频，具有三个分量。假设所采用的颜色分量是Y C_bC_r，采样比例是4:2:0，采样后仍然用YCbCr表示每个采样点的颜色。假设空间清晰度的要求对Y分量是N＝1152，M＝3576，对Cb和Cr分量是N＝576，M＝1788，量化精度要求对每个分量是相同的，都是量化为256级。

对Y分量，进行如下步骤：

步骤四，将图形等间距分割为6个子集，按从上到下依次为S_k，S_k＝{c(i，j)|288k≤i<288(k+1)，0≤j<T_i}，k＝0,1,2,3,4,5；。

拼接后的矩形的宽度为3576，高度为1152。在拼接后的矩形中，原区域S₀处于矩形的左下位置，且其边缘处的像素点与周围区域不相邻，原区域S₅处于矩形的左上位置，且其边缘处的像素点与周围区域不相邻。原区域S₁处于矩形的右上位置，原区域S₄处于矩形的左下位置，原区域S₂和S₃处于矩形的中央位置。

对Cb和Cr分量，分别进行如下步骤：

步骤一，根据空间清晰度要求，用等间隔的纬线将球面分成864个环形曲面，将这些环形曲面依次记为O_i，i＝0,1,...,863；

步骤三，计算环形曲面上每个区域内的光线的平均值，作为该区域对应的采样点的采样值，采样点记为c(i，j)，0≤i<864，0≤j<T_i。

步骤四，将图形等间距分割为6个子集，从上到下依次为S_k，按从上到下依次为S_k，S_k＝{c(i，j)|144k≤i<144(k+1)，0≤j<T_i}，k＝0,1,2,3,4,5；。

步骤五，拼接，即重新排列采样点为矩形，排列后采样点记为p(x，y)，0≤y<576，0≤x<1788，排列规则如下：

在上述步骤中，拼接后的矩形的宽度为1788，高度为576，在拼接后的矩形中，原区域S₀处于矩形的左下位置，且其边缘处的像素点与周围区域不相邻，原区域S₅处于矩形的左上位置，且其边缘处的像素点与周围区域不相邻。原区域S₁处于矩形的右上位置，原区域S₄处于矩形的左下位置，原区域S₂和S₃处于矩形的中央位置。

在存储时，首先记录Y分量采样的行数1152和每行的采样点数3576，C_b分量采样的行数576和每行的采样点数1788，C_r分量采样的行数576和每行的采样点数1788。然后将所得的Y分量采样点的数据按照以下顺序排成一列：(0,0),(0,1),...,(0,3575),(1,0),(1,1),...,(1,3575),...,(1151,0),(1151,1),...,(1151,3575)。在Y分量采样点的数据后面将所得的C_b分量采样点的数据按照以下顺序排成一列：(0,0),(0,1),...,(0,1787),(1,0),(1,1),...,(1,1787),...,(575,0),(575,1),...,(575,1787)。在C_b分量采样点的数据后面将所得的C_r分量采样点的数据按照以下顺序排成一列：(0,0),(0,1),...,(0,1787),(1,0),(1,1),...,(1,1787),...,(575,0),(575,1),...,(575,1787)。

综上所述，本发明分段采样下保持最小变形度的全景视频采样方法，其可以通过使采样点在球面上的分布近似均匀，并且满足赤道附近采样点数多，两极附近采样点数很少，从而减少了采样结构冗余，使得在达到相同的空间清晰度的条件下，采样点数减少；同时采样的方式具有最小变形度的理论支撑，经过实验验证。

Claims

1.一种分段采样下保持最小变形度的全景视频映射方法，其特征在于，具体步骤如下：

步骤二，用等间隔的经线将每个环形曲面均匀的分成T_i份，

2.根据权利要求1所述的分段采样下保持最小变形度的全景视频映射方法，其特征在于，所述步骤五中，拼接后得到的矩形中，S₀内的点处于矩形的左下位置，S₅内的点处于矩形的左上位置，拼接后的矩形的宽度记为M，高度记为N。

3.根据权利要求1所述的分段采样下保持最小变形度的全景视频映射方法，其特征在于，该方法还包括：在存储时，首先记录N和M，然后将所得的所有采样点的数据按照以下顺序排成一列：(0,0),(0,1),...,(0,M-1),(1,0),(1,1),...,(1,M-1),...,(N-1,0),(N-1,1),...,(N-1,M-1)。

4.根据权利要求1所述的分段采样下保持最小变形度的全景视频映射方法，其特征在于，该方法还包括：在平面显示器上显示时，将所得的采样点数据排列在一个N行、M列的矩形区域内。