CN113362336A

CN113362336A - 全景视频最小变形度映射方法

Info

Publication number: CN113362336A
Application number: CN202110504138.5A
Authority: CN
Inventors: 邢丹; 赵海武; 滕国伟
Original assignee: SHANGHAI GMT DIGITAL TECHNOLOGY CO LTD; University of Shanghai for Science and Technology
Current assignee: SHANGHAI GMT DIGITAL TECHNOLOGY CO LTD; University of Shanghai for Science and Technology
Priority date: 2021-05-10
Filing date: 2021-05-10
Publication date: 2021-09-07

Abstract

本发明提供了一种全景视频最小变形度映射方法，包括以下步骤：根据空间清晰度要求，用等间隔的纬线将球面分成30n个环形曲面，并将所述环形曲面依次记为A_i，i＝0，1，…，30n‑1；将所述环形曲面A_i用等间隔的经线均匀的分成M_i个区域，计算所述环形曲面A_i上每个区域内光线的平均值，作为所述区域对应的采样点的采样值；将所述采样点按照一定规则重新排列为矩形。本发明提供的全景视频最小变形度映射方法，可以使采样点在球面上尽可能满足均匀采样，既保持赤道附近采样点数多，两极采样点数少的特性，也减少重排列后图像内容的不连贯性，在达到相同的空间清晰度的条件下，优化了采样密度不均匀问题，提高了压缩效率。

Description

全景视频最小变形度映射方法

技术领域

本发明全景视频编码技术领域，尤其涉及一种全景视频最小变形度映射方法。

背景技术

全景视频是一种包括水平360度，垂直180度全方位视角的全向性视频。高分辨率，多视角的特点使其具有更为庞大的信息量，同时传统视频编码标准如HEVC，VVC，AVS等只能针对每帧分辨率相同的平面矩形视频进行编码，无法直接处理球面的全景视频。因此，研究如何从球面视频采样为平面视频是目前研究全景视频压缩的必要过程。

从球面视频采样到平面视频的过程主要包括三个部分：映射，采样和重排列。全景视频映射的实质是对球面进行合理的采样，将采样点在平面上排列为矩形点阵的过程，但现有的映射方法普遍存在采样密度不均匀，映射后部分视频内容变形程度严重的现象。排列就是采样点重新排列，在确保排列为矩形的条件下，尽量减少矩形视频中的不连续画面。

所谓采样密度，是指球面上某局部单位面积的采样点数，采样密度不均匀，映射后的物体就会发生变形，影响后续的处理。以一帧为例，传统的经纬图映射方法通常是在一个半径为r的球面上，在不同纬度采样相同数量的点，形成一个大小为2πr×πr的矩形平面视频。由于不同纬度信息量不同，因此采样密度从赤道附近向两极逐渐增大，两极物体变形程度严重。目前常通过六面体采样和八角形映射的方式来改善变形情况。六面体映射是将球面视频映射到正方体的六个面上，然后将六个面展开并重排列为紧凑的矩形视频。每个面中心处的采样密度最低，面边缘采样密度明显高于面中心。六面体映射改善了采样密度不均匀的问题，但仍然存在明显的采样密度不均匀现象。八角形映射是依据特定的采样公式将球面映射为八角形，并通过切割重排列像素点使其重新组成一个紧凑的矩形视频，但这种方法进一步改善了采样密度不均匀问题，但仍然没有达到最优的效果。

综上所述，现有的全景视频采样方法中，存在的采样密度不均匀，视频内容变形严重的问题，不仅会给压缩编码带来一定的负担，还会影响后期主观和客观质量的评价。因此，需要进一步研究采样均匀，使内容变形程度达到最小，同时在重排列过程中尽量保持采样点之间相关性的映射方式，以提升编码质量和主观体验。

发明内容

本发明的目的在于提供一种全景视频最小变形度映射方法，可以使采样点在球面上尽可能满足均匀采样，既保持赤道附近采样点数多，两极采样点数少的特性，也减少重排列后图像内容的不连贯性。

为了达到上述目的，本发明提供了一种全景视频最小变形度映射方法，包括以下步骤：

根据空间清晰度要求，用等间隔的纬线将球面分成30n个环形曲面，并将所述环形曲面依次记为A_i，i＝0，1，…，30n-1；

将所述环形曲面A_i用等间隔的经线均匀的分成M_i个区域，

其中，c为根据最小变形度计算公式得到的最优解；

计算所述环形曲面A_i上每个区域内光线的平均值，作为所述区域对应的采样点的采样值；

将所述采样点按照一定规则重新排列为矩形。

可选的，所述c的确定步骤具体包括：

以所述球面的0°经线为中心，将每条纬线拉直，并保持纬线长度不变，再把0°经线拉直，得到球面等面积展开图；

根据所述球面等面积展开图得到近似多边形，所述球面等面积展开图和所述近似多边形同心设置；

以所述近似多边形的中心为原点建立直角坐标系，通过七条平行于X轴的直线将所述近似多边形划分成5个部分，从上到下分别记为S0，S1，S2，S3，S4，考虑像素重排列的可行性和引入的人工边界，设定S0及S4对应的三角形的斜边和S1及S3对应的梯形的腰的斜率的绝对值相等且均为2，设赤道的长度为4，c为S2对应的矩形的长度的一半；

在第一象限内，设所述球面等面积展开图的边界方程为X_o(y)，

设所述近似多边形的边界方程为X_n(y,c)，

定义某纵坐标y处的变形度δ(y)，

计算第一象限内总的变形度为δ(y)在区间(0，1)内的积分D(c)，

D(c)＝∫₀ ¹δ(y)dy

当D(c)取最小值时得到c的最优解。

可选的，将所述采样点按照一定规则重新排列为矩形，排列后采样点记为p(y,x)，0≤y＜20n，0≤x＜C，排列规则如下：

可选的，将所述采样点按照一定规则重新排列为矩形后，所述S0对应所述矩形的右上区域，所述S4对应所述矩形的右下区域。

可选的，所述S0及S4对应的矩形区域的边缘处的像素点与周围区域的像素点不相邻。

可选的，环形曲面的采样点的数量朝靠近所述球面的赤道的方向逐渐增多。

可选的，将所述采样点按照一定规则重新排列为矩形后，所述全景视频最小变形度映射方法还包括：

对所述采样点的数据进行存储并在平面显示器上显示。

可选的，对所述采样点的数据进行存储并在平面显示器上显示的步骤具体包括：

在存储时，首先记录N和M，然后将所得的所有采样点的数据按照以下顺序排成一列：(0，0)，(0，1)，...，(0，M-1)，(1，0)，(1，1)，...，(1，M-1)，...，(N-1，0)，(N-1，1)，...，(N-1，M-1)；

在平面显示器上显示时，将所得的采样点数据排列在一个N行、M列的矩形区域内。

可选的，所述全景视频最小变形度映射方法用于对彩色视频进行处理。

可选的，所述彩色视频具有三个颜色分量，所述空间清晰度的要求对三个所述颜色分量相同。

在本发明提供的全景视频最小变形度映射方法中，包括以下步骤：根据空间清晰度要求，用等间隔的纬线将球面分成30n个环形曲面，并将所述环形曲面依次记为A_i，i＝0，1，…，30n-1；将所述环形曲面A_i用等间隔的经线均匀的分成M_i个区域，计算所述环形曲面A_i上每个区域内光线的平均值，作为所述区域对应的采样点的采样值；将所述采样点按照一定规则重新排列为矩形。本发明提供的全景视频最小变形度映射方法，可以使采样点在球面上尽可能满足均匀采样，既保持赤道附近采样点数多，两极采样点数少的特性，也减少重排列后图像内容的不连贯性，在达到相同的空间清晰度的条件下，优化了采样密度不均匀问题，提高了压缩效率。

附图说明

本领域的普通技术人员应当理解，提供的附图用于更好地理解本发明，而不对本发明的范围构成任何限定。其中：

图1为本实施例提供的全景视频最小变形度映射方法的步骤图；

图2为本实施例提供的球面分割环形曲面的示意图；

图3为本实施例提供的采样后图形直角坐标系的示意图；

具体实施方式

为使本发明的目的、优点和特征更加清楚，以下结合附图和具体实施例对本发明作进一步详细说明。需说明的是，附图均采用非常简化的形式且未按比例绘制，仅用以方便、明晰地辅助说明本发明实施例的目的。此外，附图所展示的结构往往是实际结构的一部分。特别的，各附图需要展示的侧重点不同，有时会采用不同的比例。还应当理解的是，除非特别说明或者指出，否则说明书中的术语“第一”、“第二”、“第三”等描述仅仅用于区分说明书中的各个组件、元素、步骤等，而不是用于表示各个组件、元素、步骤之间的逻辑关系或者顺序关系等。

请参照图1-图2，图1为本实施例提供的全景视频最小变形度映射方法的步骤图，图2为本实施例提供的球面分割环形曲面的示意图。本实施例提供了一种全景视频最小变形度映射方法，包括以下步骤：

S1、根据空间清晰度要求，用等间隔的纬线将球面分成30n个环形曲面，并将所述环形曲面依次记为A_i，i＝0，1，…，30n-1；

S2、将所述环形曲面A_i用等间隔的经线均匀的分成M_i个区域，

其中，c为根据最小变形度计算公式得到的最优解；

S3、计算所述环形曲面A_i上每个区域内光线的平均值，作为所述区域对应的采样点的采样值；

S4、将所述采样点按照一定规则重新排列为矩形。

本实施例提供的全景视频最小变形度映射方法，可以使采样点在球面上尽可能满足均匀采样，既保持赤道附近采样点数多，两极采样点数少的特性，也减少重排列后图像内容的不连贯性，在达到相同的空间清晰度的条件下，优化了采样密度不均匀问题，提高了压缩效率，

具体的，先执行步骤S1，结合图2，根据空间清晰度要求，用等间隔的纬线将球面分成30n个环形曲面，并将所述环形曲面依次记为A_i，i＝0，1，…，30n-1，本实施例中，n为正整数。

接着，执行步骤S2，将所述环形曲面A_i用等间隔的经线均匀的分成M_i个区域，

其中，c为根据最小变形度计算公式得到的最优解。

进一步的，请结合图3，图3为本实施例提供的采样后图形直角坐标系的示意图。所述c的确定步骤具体包括：

以所述球面的0°经线为中心，将每条纬线拉直，并保持纬线长度不变，再把0°经线拉直，得到球面等面积展开图，即图3中虚线所围成的图形。

根据所述球面等面积展开图得到近似多边形，即图3中实粗线所围成的图形，所述球面等面积展开图和所述近似多边形同心设置；

以所述近似多边形的中心为原点建立直角坐标系，通过七条平行于X轴的直线将所述近似多边形划分成5个部分，从上到下分别记为S0，S1，S2，S3，S4，考虑像素重排列的可行性和引入的人工边界，设定S0及S4对应的三角形的斜边和S1及S3对应的梯形的腰的斜率的绝对值相等且均为2，其中，为计算方便并不失一般性，设赤道的长度为4，c为S2对应的矩形的长度的一半，所述S0及S4对应的三角形的顶点的坐标分别为(0，1)和(0，-1)。

在第一象限内，设所述近似多边形的边界方程为X_n(y,c)，

在第一象限内，定义某纵坐标y处的变形度δ(y)，

计算第一象限内总的变形度为δ(y)在区间(0，1)内的积分D(c)，

D(c)＝∫₀ ¹δ(y)dy

当D(c)取最小值时得到c的最优解，也就是说，使变形度取最小值的c就是最优解，经过计算，c为1.86582，故

结合上述公式分析，环形曲面A_i内分割出的区域的数量朝靠近所述球面的赤道的方向逐渐增多，故采样点的数量朝靠近所述球面的赤道的方向同样是呈逐渐增多的变化趋势，或者说采样点的数量从所述球面的赤道向两极的方向呈逐渐减少的变化趋势。因此，本实施例通过提出一种最小变形度计算公式，为最小变形度映射的科学性提供了合理的理论支撑，可以使采样点在球面上尽可能满足均匀采样，既保持赤道附近采样点数多，两极采样点数少的特性，也减少重排列后图像内容的不连贯性，在达到相同的空间清晰度的条件下，优化了采样密度不均匀问题，提高了压缩效率。

然后执行步骤S3，计算所述环形曲面A_i上每个区域内光线的平均值，作为所述区域对应的采样点的采样值，采样点可记为c(i,j)，0≤i＜30n，0≤j＜M_i；

最后执行步骤S4，将所述采样点按照一定规则重新排列为矩形。

进一步的，将所述采样点按照一定规则重新排列为矩形，排列后采样点记为p(y,x)，0≤y＜20n，0≤x＜C，排列规则如下：

通过上述重排列的方式在像素重排列中可以尽量减少图像内边界的数量。

本实施例中，将所述采样点按照一定规则重新排列为矩形后，所述S0对应所述矩形的右上区域，所述S4对应所述矩形的右下区域。此外，所述S0及S4对应的矩形区域的边缘处的像素点与周围区域的像素点不相邻。

在执行步骤S4之后，所述全景视频最小变形度映射方法还包括：

对所述采样点的数据进行存储并在平面显示器上显示。

进一步的，对所述采样点的数据进行存储并在平面显示器上显示的步骤具体包括：

在存储时，首先记录N和M，然后将所得的所有采样点的数据按照以下顺序排成一列：(0，0)，(0，1)，...，(0，M-1)，(1，0)，(1，1)，...，(1，M-1)，...，(N-1，0)，(N-1，1)，...，(N-1，M-1)。

本实施例中，所述全景视频最小变形度映射方法可用于对彩色视频进行处理。

本实施例中，所述彩色视频具有三个颜色分量，所述空间清晰度的要求对三个所述颜色分量相同。

以下将结合两个具体实施例进一步阐述本发明。

实施例一

本实施例中，所述全景视频最小变形度映射方法用于处理全景视频中分辨率为8192×4096的经纬图格式的一帧图像，所述全景视频为彩色视频，具有三个分量。假设所采用的颜色分量是RGB，采样后仍然用RGB表示每个采样点的颜色，假设空间清晰度的要求对三个分量是相同的，都是W＝4928，N＝1792，量化精度要求对每个分量也是相同的，都是量化为256级。则对每个分量，重复如下步骤S1-S4：

S1、根据空间清晰度要求，用等间隔的纬线将球面分成2688个环形曲面，将这些环形曲面依次记为A_i，i＝0，1，...，2688；

步骤二，将环形曲面A_i用等间隔的经线均匀的分成M_i个区域：

步骤三，计算环形曲面上每个区域内的光线的平均值，作为该区域对应的采样点的采样值，采样点记为c(i,j)，0≤i＜2688，0≤j＜M_i；

步骤四，拼接，即重新排列采样点为矩形，排列后采样点记为p(y,x)，0≤y＜1792，0≤x＜4928，排列规则如下：

拼接后的矩形的宽度为4928，高度为1792，在拼接后的矩形中，原区域S₀处于矩形的右上位置，且其边缘处的像素点与周围区域不相邻，原区域S₄处于矩形的右下位置，且其边缘处的像素点与周围区域不相邻。

存储时，首先记录每个分量采样的行数1792和每行的采样点数4928。然后将所得的所有采样点的数据按照以下顺序排成一列：(0，0)，(0，1)，...，(0，4927)，(1，0)，(1，1)，...，(1，4927)，...，(1791，0)，(1791，1)，...，(1791，4927)。同一个像素点的三个分量按照B，G，R的顺序排列。

在平面显示器上显示时，将所得的采样点数据排列在一个1792行、4928列的矩形区域内。

实施例二

本实施例中，所述全景视频最小变形度映射方法用于处理全景视频中分辨率为8192×4096的经纬图格式的一帧图像，全景视频为彩色视频，具有三个分量。假设所采用的颜色分量是YC_bC_r，采样比例是4:2:0，采样后仍然用YC_bC_r表示每个采样点的颜色。假设空间清晰度的要求对Y分量是W＝4928，H＝1792，对C_b和C_r分量是W＝2462，H＝896，量化精度要求对每个分量是相同的，都是量化为256级。

对Y分量，进行如下步骤：

S2、将环形曲面A_i用等间隔的经线均匀的分成M_i个区域：

S3、计算环形曲面上每个区域内的光线的平均值，作为该区域对应的采样点的采样值，采样点记为c(i,j)，0≤i＜2688，0≤j＜M_i；

S4、拼接，即重新排列采样点为矩形，排列后采样点记为p(y,x)，0≤y＜1792，0≤x＜4928，排列规则如下：

对C_b和C_r分量，分别进行如下步骤：

S1、根据空间清晰度要求，用等间隔的纬线将球面分成1344个环形曲面，将这些环形曲面依次记为A_i，i＝0，1，...，1344；

S2、将环形曲面A_i用等间隔的经线均匀的分成M_i个区域：

S3、计算环形曲面上每个区域内的光线的平均值，作为该区域对应的采样点的采样值，采样点记为c(i,j)，0≤i＜1344，0≤j＜M_i；

S4、拼接，即重新排列采样点为矩形，排列后采样点记为p(x,y)，0≤y＜896，0≤x＜2464，排列规则如下：

在上述步骤中，拼接后的矩形的宽度为2464，高度为896，在拼接后的矩形中，原区域S₀处于矩形的右上位置，且其边缘处的像素点与周围区域不相邻，原区域S₄处于矩形的右下位置，且其边缘处的像素点与周围区域不相邻。

在存储时，首先记录Y分量采样的行数1792和每行的采样点数4928，C_b分量采样的行数896和每行的采样点数2462，C_r分量采样的行数896和每行的采样点数2462。然后将所得的Y分量采样点的数据按照以下顺序排成一列：(0，0)，(0，1)，...，(0，4927)，(1，0)，(1，1)，...,(1，4927)，...，(1791，0)，(1791，1)，...，(1791，4927)。在Y分量采样点的数据后面将所得的C_b分量采样点的数据按照以下顺序排成一列：(0，0)，(0，1),...,(0，2463)，(1，0)，(1，1)，...，(1，2463)，...，(895，0)，(895，1)，...，(895，2463)。在C_b分量采样点的数据后面将所得的C_r分量采样点的数据按照以下顺序排成一列：(0，0)，(0，1)，...，(0，2463)，(1，0)，(1，1)，...，(1，2463)，...，(895，0)，(895，1)，...，(895，2463)。

综上，本发明提供了一种全景视频最小变形度映射方法，包括以下步骤：根据空间清晰度要求，用等间隔的纬线将球面分成30n个环形曲面，并将所述环形曲面依次记为A_i，i＝0，1，…，30n-1；将所述环形曲面A_i用等间隔的经线均匀的分成M_i个区域，计算所述环形曲面A_i上每个区域内光线的平均值，作为所述区域对应的采样点的采样值；将所述采样点按照一定规则重新排列为矩形。本发明提供的全景视频最小变形度映射方法，可以使采样点在球面上尽可能满足均匀采样，既保持赤道附近采样点数多，两极采样点数少的特性，也减少重排列后图像内容的不连贯性，在达到相同的空间清晰度的条件下，优化了采样密度不均匀问题，提高了压缩效率。

此外还应该认识到，虽然本发明已以较佳实施例披露如上，然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言，在不脱离本发明技术方案范围情况下，都可利用上述揭示的技术内容对本发明技术方案作出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围。