CN111402123A - 一种分段采样下保持最小变形度的全景视频映射方法 - Google Patents

一种分段采样下保持最小变形度的全景视频映射方法 Download PDF

Info

Publication number
CN111402123A
CN111402123A CN202010210634.5A CN202010210634A CN111402123A CN 111402123 A CN111402123 A CN 111402123A CN 202010210634 A CN202010210634 A CN 202010210634A CN 111402123 A CN111402123 A CN 111402123A
Authority
CN
China
Prior art keywords
sampling
annular curved
rectangle
area
dividing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010210634.5A
Other languages
English (en)
Other versions
CN111402123B (zh
Inventor
赵海武
陈钰
何鸣
葛平
邢丹
冯艺妍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Transpacific Technology Development Ltd
Original Assignee
Beijing Transpacific Technology Development Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Transpacific Technology Development Ltd filed Critical Beijing Transpacific Technology Development Ltd
Priority to CN202010210634.5A priority Critical patent/CN111402123B/zh
Publication of CN111402123A publication Critical patent/CN111402123A/zh
Application granted granted Critical
Publication of CN111402123B publication Critical patent/CN111402123B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种分段采样下保持最小变形度的全景视频映射方法，具体包括如下步骤，用等间隔的纬线将球面分成30n个环形曲面，环形曲面依次记为Oi，i＝0,1,…30n‑1；用等间隔的经线将每个环形曲面均匀地分成Ti份区域；计算环形曲面上每份内光线的平均值，作为该区域对应的采样点的采样值；将采样等间距分割为6个子集；将6个子集内采样点重新排列为矩形。该采样方法不仅减少了采样结构冗余，采样逼近均匀，而且采样方式具有最小变形度的理论支撑。该方法提高压缩效率，并具有良好的实施效果。

Description

一种分段采样下保持最小变形度的全景视频映射方法
技术领域
本发明涉及全景视频编码技术领域，尤其涉及一种分段采样下保持最小变形度的全景视频映射方法。
背景技术
全景视频作为VR视频的重要来源之一，其本质是由多个镜头组成的360度相机拍摄所得的球面视频，如图1所示。因为全景视频存储了所有方向的视觉信息，用户转动眼睛就可以观看任意方向上的视觉内容，所以有一种身临其境的感受，这也决定了全景视频比传统视频具有更大的信息量。现有的视频编解码标准如H.265和AVS等适用于平面矩形视频，为了利用传统的视频压缩技术去压缩全景视频，需要研究如何将球面视频上的点映射到平面矩形视频内。
球面映射的实质是球面采样，将从球面视频上采样的点排列得到平面矩形视频。现有的映射方法依旧存在采样密度不均匀和数据冗余度较高的问题。以1帧为例，传统经纬图采样如图2所示，在不同纬度采样相同数量的点，形成一个宽高比为2：1的矩形图像。采样过程中两极采样密度过高，产生很大的冗余。六面体采样如图3所示，从球心发出的射线穿过球面和外切六面体，同一射线上的点一一对应的进行采样，从而得到六个平面正方形，再用某种方式把六个正方形拼成一个矩形。六面体采样的六个面的边缘附近采样密度明显高于面中心的采样密度，同样也存在采样不均匀的问题，而且六个面不能拼接成一张图像内容连续的图片，这不但不利于视频编码中的帧内和帧间预测，还会降低视频的主观质量。八角形采样如图4所示，根据一定的采样公式对球面进行采样，得到一幅八角形平面图像，再进行切割、重排列得到平面矩形视频。该方法虽然尽可能地保证了图像内部内容的连续性，但是采样依旧不均匀，且采样公式中斜率的确定科学依据不足。
综上所述，已有的全景视频采样方法中，采样点在球面上不均匀分布，不仅会带来数据冗余，还给视频质量评价带来不便。如果存在一个映射方式能够达到基本的采样均匀，减小数据冗余，保持内容的连续性，一定可以大幅提升映射质量，并为后续编码压缩提供良好的基础。
发明内容
为了解决现有技术存在的问题，本发明的目的是提供一种分段采样下保持最小变形度的全景视频映射方法，将球面按纬度均匀分段后，对不同段分别均匀采样，借此来逼近整体的均匀采样并减少数据冗余。
为达上述目的，本发明采用如下技术方案：
一种分段采样下保持最小变形度的全景视频映射方法，具体步骤如下：
步骤一，根据空间清晰度要求，用等间隔的纬线将球面分成30n个环形曲面，将这些环形曲面依次记为Oi，i＝0,1,...,30n-1；
步骤二，用等间隔的经线将每个环形曲面均匀的分成Ti份，
Figure BDA0002421618830000021
步骤三，计算环形曲面上每个区域内光线的平均值，作为该区域对应的采样点的采样值，采样点记为c(i，j)，0≤i<30n，0≤j<Ti；
步骤四，将采样点分为6个子集，依次记为Sk，Sk＝{c(i，j)|5kn≤i<5(k+1)n，0≤j<Ti}，k＝0,1,2,3,4,5；
步骤五，拼接，即重新将采样点排列为矩形，排列后采样点记为p(y，x)，0≤y<20n，0≤x<62n，排列规则如下：
Figure BDA0002421618830000022
进一步地，所述步骤五中，拼接后得到的矩形中，S0内的点处于矩形的左下位置，S5内的点处于矩形的左上位置，拼接后的矩形的宽度记为M，高度记为N。
进一步地，该方法还包括：在存储时，首先记录N和M，然后将所得的所有采样点的数据按照以下顺序排成一列：(0,0),(0,1),...,(0,M-1),(1,0),(1,1),...,(1,M-1),...,(N-1,0),(N-1,1),...,(N-1,M-1)。
进一步地，该方法还包括：在平面显示器上显示时，将所得的采样点数据排列在一个N行、M列的矩形区域内。
与现有技术相比，本发明具有显而易见的突出实质性特点和显著技术进步：
本发明减少了采样结构冗余，使得在达到相同的空间清晰度的条件下，采样更加逼近均匀，压缩效率高；对于分段采样的科学性提供了合理的理论支撑。
附图说明
图1为球面全景视频中的一帧图像；
图2为传统经纬图采样示意图；
图3为六面体采样示意图；
图4为八角形采样示意图；
图5为本发明方法的步骤流程图；
图6为本发明球面分割环形曲面示意图；
图7为本发明采样后图形示意图；
图8为本发明重排列过程示意图；
图9为全景视频中的一帧图像，格式为经纬图，分辨率为3840×1920。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，以下通过本发明的优选实例并结合附图说明本发明。
如图5所示，本实施例分段采样下保持最小变形度的全景视频映射方法，具体步骤如下：
步骤一，根据空间清晰度要求，用等间隔的纬线将球面分成30n个环形曲面，将这些环形曲面依次记为Oi，i＝0,1,...,30n-1，分割示意图如图6所示。
步骤二，用等间隔的经线将每个环形曲面均匀的分成Ti份，
Figure BDA0002421618830000031
步骤三，计算环形曲面上每个区域内光线的平均值，作为该区域对应的采样点的采样值，采样点记为c(i，j)，0≤i<30n，0≤j<Ti，采样示意图如图7所示；
步骤四，将采样点分为6个子集，从上到下依次标为Sk，Sk＝{c(i，j)|5kn≤i<5(k+1)n，0≤j<Ti}，k＝0,1,2,3,4,5；
步骤五，拼接，即重新将采样点排列为矩形，排列后采样点记为p(y，x)，0≤y<20n，0≤x<62n，排列规则如下：
Figure BDA0002421618830000041
令矩形宽为M，M＝62n，高为N，N＝20n。排列过程示意图如图8所示。
在存储时，首先记录N和M，然后将所得的所有采样点的数据按照以下顺序排成一列：(0,0),(0,1),...,(0,M-1),(1,0),(1,1),...,(1,M-1),...,(N-1,0),(N-1,1),...,(N-1,M-1)。
在平面显示器上显示时，将所得的采样点数据排列在一个N行、M列的矩形区域内。
本发明可以使采样点在球面上尽可能满足均匀采样，既保持赤道附近采样点数多，两极采样点数少的特性，也减少重排列后图像内容的不连贯性。
实施例一：本分段采样下保持最小变形度的全景视频采样方法如下：
如图9所示为一帧经纬图格式的全景图，分辨率为3840×1920，在本发明具体实施例中，该全景视频为彩色视频，具有三个分量。假设所采用的颜色分量是RGB，采样后仍然用RGB表示每个采样点的颜色，假设空间清晰度的要求对三个分量是相同的，都是N＝1152，M＝3576，量化精度要求对每个分量也是相同的，都是量化为256级。则对每个分量，重复如下步骤一到步骤五：
步骤一，根据空间清晰度要求，用等间隔的纬线将球面分成1728个环形曲面，将这些环形曲面依次记为Oi，i＝0,1,...,1727；
步骤二，将环形曲面均匀的分成Ti份，每一份对应一个采样点，采样点记为c(i，j)，0≤i<1728，0≤j<Ti，Ti为；
Figure BDA0002421618830000051
步骤三，计算环形曲面上每个区域内的光线的平均值，作为该区域对应的采样点的采样值，采样点记为c(i，j)，0≤i<1728，0≤j<Ti。
步骤四，将图形等间距分割为6个子集，从上到下依次为Sk，Sk＝{c(i，j)|288k≤i<288(k+1)，0≤j<Ti}，k＝0,1,2,3,4,5；。
步骤五，拼接，即重新排列采样点为矩形，排列后采样点记为p(y，x)，0≤y<1152，0≤x<3576，排列规则如下：
Figure BDA0002421618830000052
拼接后的矩形的宽度为3576，高度为1152，在拼接后的矩形中，原区域S0处于矩形的左下位置，且其边缘处的像素点与周围区域不相邻，原区域S5处于矩形的左上位置，且其边缘处的像素点与周围区域不相邻。原区域S1处于矩形的右上位置，原区域S4处于矩形的左下位置，原区域S2和S3处于矩形的中央位置。
存储时，首先记录每个分量采样的行数1152和每行的采样点数3576。然后将所得的所有采样点的数据按照以下顺序排成一列：(0,0),(0,1),...,(0,3575),(1,0),(1,1),...,(1,3575),...,(N-1,0),(1151,1),...,(1151,3575)。同一个像素点的三个分量按照B，G，R的顺序排列。
在平面显示器上显示时，将所得的采样点数据排列在一个1152行、3576列的矩形区域内。
实施例二：本分段采样下保持最小变形度的全景视频采样方法如下：
如图9所示为一帧经纬图格式的全景图，分辨率为3840×1920。在本发明具体实施例中，该全景视频为彩色视频，具有三个分量。假设所采用的颜色分量是Y CbCr，采样比例是4:2:0，采样后仍然用YCbCr表示每个采样点的颜色。假设空间清晰度的要求对Y分量是N＝1152，M＝3576，对Cb和Cr分量是N＝576，M＝1788，量化精度要求对每个分量是相同的，都是量化为256级。
对Y分量，进行如下步骤：
步骤一，根据空间清晰度要求，用等间隔的纬线将球面分成1728个环形曲面，将这些环形曲面依次记为Oi，i＝0,1,...,1727；
步骤二，将环形曲面均匀的分成Ti份，每一份对应一个采样点，采样点记为c(i，j)，0≤i<1728，0≤j<Ti，Ti为；
Figure BDA0002421618830000061
步骤三，计算环形曲面上每个区域内的光线的平均值，作为该区域对应的采样点的采样值，采样点记为c(i，j)，0≤i<1728，0≤j<Ti。
步骤四，将图形等间距分割为6个子集，按从上到下依次为Sk，Sk＝{c(i，j)|288k≤i<288(k+1)，0≤j<Ti}，k＝0,1,2,3,4,5；。
步骤五，拼接，即重新排列采样点为矩形，排列后采样点记为p(y，x)，0≤y<1152，0≤x<3576，排列规则如下：
Figure BDA0002421618830000062
拼接后的矩形的宽度为3576，高度为1152。在拼接后的矩形中，原区域S0处于矩形的左下位置，且其边缘处的像素点与周围区域不相邻，原区域S5处于矩形的左上位置，且其边缘处的像素点与周围区域不相邻。原区域S1处于矩形的右上位置，原区域S4处于矩形的左下位置，原区域S2和S3处于矩形的中央位置。
对Cb和Cr分量，分别进行如下步骤：
步骤一，根据空间清晰度要求，用等间隔的纬线将球面分成864个环形曲面，将这些环形曲面依次记为Oi，i＝0,1,...,863；
步骤二，将环形曲面均匀的分成Ti份，每一份对应一个采样点，采样点记为c(i，j)，0≤i<1728，0≤j<Ti，Ti为；
Figure BDA0002421618830000071
步骤三，计算环形曲面上每个区域内的光线的平均值，作为该区域对应的采样点的采样值，采样点记为c(i，j)，0≤i<864，0≤j<Ti。
步骤四，将图形等间距分割为6个子集，从上到下依次为Sk，按从上到下依次为Sk，Sk＝{c(i，j)|144k≤i<144(k+1)，0≤j<Ti}，k＝0,1,2,3,4,5；。
步骤五，拼接，即重新排列采样点为矩形，排列后采样点记为p(x，y)，0≤y<576，0≤x<1788，排列规则如下：
Figure BDA0002421618830000072
在上述步骤中，拼接后的矩形的宽度为1788，高度为576，在拼接后的矩形中，原区域S0处于矩形的左下位置，且其边缘处的像素点与周围区域不相邻，原区域S5处于矩形的左上位置，且其边缘处的像素点与周围区域不相邻。原区域S1处于矩形的右上位置，原区域S4处于矩形的左下位置，原区域S2和S3处于矩形的中央位置。
在存储时，首先记录Y分量采样的行数1152和每行的采样点数3576，Cb分量采样的行数576和每行的采样点数1788，Cr分量采样的行数576和每行的采样点数1788。然后将所得的Y分量采样点的数据按照以下顺序排成一列：(0,0),(0,1),...,(0,3575),(1,0),(1,1),...,(1,3575),...,(1151,0),(1151,1),...,(1151,3575)。在Y分量采样点的数据后面将所得的Cb分量采样点的数据按照以下顺序排成一列：(0,0),(0,1),...,(0,1787),(1,0),(1,1),...,(1,1787),...,(575,0),(575,1),...,(575,1787)。在Cb分量采样点的数据后面将所得的Cr分量采样点的数据按照以下顺序排成一列：(0,0),(0,1),...,(0,1787),(1,0),(1,1),...,(1,1787),...,(575,0),(575,1),...,(575,1787)。
综上所述，本发明分段采样下保持最小变形度的全景视频采样方法，其可以通过使采样点在球面上的分布近似均匀，并且满足赤道附近采样点数多，两极附近采样点数很少，从而减少了采样结构冗余，使得在达到相同的空间清晰度的条件下，采样点数减少；同时采样的方式具有最小变形度的理论支撑，经过实验验证。

Claims (4)

1.一种分段采样下保持最小变形度的全景视频映射方法，其特征在于，具体步骤如下：
步骤一，根据空间清晰度要求，用等间隔的纬线将球面分成30n个环形曲面，将这些环形曲面依次记为Oi，i＝0,1,...,30n-1；
步骤二，用等间隔的经线将每个环形曲面均匀的分成Ti份，
Figure FDA0002421618820000011
步骤三，计算环形曲面上每个区域内光线的平均值，作为该区域对应的采样点的采样值，采样点记为c(i，j)，0≤i<30n，0≤j<Ti；
步骤四，将采样点分为6个子集，依次记为Sk，Sk＝{c(i，j)|5kn≤i<5(k+1)n，0≤j<Ti}，k＝0,1,2,3,4,5；
步骤五，拼接，即重新将采样点排列为矩形，排列后采样点记为p(y，x)，0≤y<20n，0≤x<62n，排列规则如下：
Figure FDA0002421618820000012
2.根据权利要求1所述的分段采样下保持最小变形度的全景视频映射方法，其特征在于，所述步骤五中，拼接后得到的矩形中，S0内的点处于矩形的左下位置，S5内的点处于矩形的左上位置，拼接后的矩形的宽度记为M，高度记为N。
3.根据权利要求1所述的分段采样下保持最小变形度的全景视频映射方法，其特征在于，该方法还包括：在存储时，首先记录N和M，然后将所得的所有采样点的数据按照以下顺序排成一列：(0,0),(0,1),...,(0,M-1),(1,0),(1,1),...,(1,M-1),...,(N-1,0),(N-1,1),...,(N-1,M-1)。
4.根据权利要求1所述的分段采样下保持最小变形度的全景视频映射方法，其特征在于，该方法还包括：在平面显示器上显示时，将所得的采样点数据排列在一个N行、M列的矩形区域内。
CN202010210634.5A 2020-03-23 2020-03-23 一种分段采样下保持最小变形度的全景视频映射方法 Active CN111402123B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010210634.5A CN111402123B (zh) 2020-03-23 2020-03-23 一种分段采样下保持最小变形度的全景视频映射方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010210634.5A CN111402123B (zh) 2020-03-23 2020-03-23 一种分段采样下保持最小变形度的全景视频映射方法

Publications (2)

Publication Number Publication Date
CN111402123A true CN111402123A (zh) 2020-07-10
CN111402123B CN111402123B (zh) 2023-02-10

Family

ID=71431069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010210634.5A Active CN111402123B (zh) 2020-03-23 2020-03-23 一种分段采样下保持最小变形度的全景视频映射方法

Country Status (1)

Country Link
CN (1) CN111402123B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113362336A (zh) * 2021-05-10 2021-09-07 上海大学 全景视频最小变形度映射方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106210716A (zh) * 2016-08-01 2016-12-07 上海国茂数字技术有限公司 一种全景视频等密度采样方法及装置
CN106375760A (zh) * 2016-10-11 2017-02-01 上海国茂数字技术有限公司 一种全景视频多边形采样方法及装置
US20180018807A1 (en) * 2016-07-15 2018-01-18 Aspeed Technology Inc. Method and apparatus for generating panoramic image with texture mapping
CN109104611A (zh) * 2018-07-11 2018-12-28 深圳超多维科技有限公司 一种用于球面与平面间映射的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180018807A1 (en) * 2016-07-15 2018-01-18 Aspeed Technology Inc. Method and apparatus for generating panoramic image with texture mapping
CN106210716A (zh) * 2016-08-01 2016-12-07 上海国茂数字技术有限公司 一种全景视频等密度采样方法及装置
CN106375760A (zh) * 2016-10-11 2017-02-01 上海国茂数字技术有限公司 一种全景视频多边形采样方法及装置
CN109104611A (zh) * 2018-07-11 2018-12-28 深圳超多维科技有限公司 一种用于球面与平面间映射的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
赵海武 等: "全景视频基于纬度分段映射算法", 《计算机应用与软件》 *
邢丹 等: "一种最小变形度全景视频映射方法", 《电视技术》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113362336A (zh) * 2021-05-10 2021-09-07 上海大学 全景视频最小变形度映射方法

Also Published As

Publication number Publication date
CN111402123B (zh) 2023-02-10

Similar Documents

Publication Publication Date Title
CN109716766B (zh) 一种滤波360度视频边界的方法及装置
CN106375760B (zh) 一种全景视频多边形采样方法及装置
WO2019134557A1 (zh) 视频图像的处理方法及装置
CN106488233B (zh) 一种全景视频菱形采样方法及装置
WO2021093584A1 (zh) 基于深度卷积神经网络的自由视点视频生成及交互方法
KR102243120B1 (ko) 인코딩 방법 및 장치 및 디코딩 방법 및 장치
CN106210716B (zh) 一种全景视频等密度采样方法及装置
CN105812759A (zh) 一种360度全景视频的平面投射方法及编码方法
US20230291901A1 (en) Systems and methods for transformation based on an intra block copy (ibc) mode
CN111402123B (zh) 一种分段采样下保持最小变形度的全景视频映射方法
US20180167623A1 (en) Image encoding and decoding methods, image processing device, and computer storage medium
CN116760965B (zh) 全景视频编码方法、装置、计算机设备和存储介质
EP1571852A2 (en) Image coding and decoding with spatial subsampling
CN117041736A (zh) Erp全景视频vvc快速cu划分方法及存储介质
CN103915077B (zh) 一种在普通显示设备上显示高动态图像的方法
CN106991642A (zh) 一种全景视频八角形采样方法及装置
US8855444B2 (en) Method for partitioning and processing a digital image
CN110349226B (zh) 一种全景图像处理方法及装置
CN113362336A (zh) 全景视频最小变形度映射方法
CN113395515B (zh) 对分量下采样格式数据进行点预测的编码解码方法及装置
CN107147910B (zh) 一种全景视频六角形采样方法及装置
CN108769680B (zh) 一种全景视频基于斜率分段采样方法及装置
US6459452B1 (en) System, method, and apparatus for decoding digital video sequences
AU2020395346B2 (en) Rank information in immersive media processing
CN116347089B (zh) Jpeg图像处理方法及其装置、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant