CN106897964B - 保持相邻像素相关性的全景视频帧矩形映射方法 - Google Patents
保持相邻像素相关性的全景视频帧矩形映射方法 Download PDFInfo
- Publication number
- CN106897964B CN106897964B CN201710138225.7A CN201710138225A CN106897964B CN 106897964 B CN106897964 B CN 106897964B CN 201710138225 A CN201710138225 A CN 201710138225A CN 106897964 B CN106897964 B CN 106897964B
- Authority
- CN
- China
- Prior art keywords
- width
- panoramic video
- video frame
- diamond shape
- spherical surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims abstract description 17
- 229910003460 diamond Inorganic materials 0.000 claims abstract description 45
- 239000010432 diamond Substances 0.000 claims abstract description 45
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 11
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000006835 compression Effects 0.000 abstract description 3
- 238000007906 compression Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种保持相邻像素相关性的全景视频帧矩形映射方法，包括：将球面的全景视频帧嵌入至一个近似于圆锥的面，根据映射关系将球面纬度上的每个点映射到圆锥的每个圆环上，将球面经度上的每个点映射到圆锥对应的每个斜面带上，最终获得一菱形的图像；将菱形沿中轴线进行分割，获得两个三角形，再将两个三角形分别调整成高宽比为1：1的菱形；将其中一个菱形切割后与未切割的菱形组合成为一正方形，或者，直接将两个菱形的两个边对齐，拼成一个长宽2：1的长方形，从而在保持相邻像素相关性的前提下实现全景视频帧矩形映射。该方法可以使三维全景视频帧能够映射到一个面积较小和信息损失较小的矩形平面上，进而帮助优化全景视频压缩。
Description
技术领域
本发明涉及全景视频编码技术领域，尤其涉及一种保持相邻像素相关性的全景视频帧矩形映射方法。
背景技术
随着视频采集和处理技术的进步，全景视频开始逐步进入人们的生活。全景视频是以摄像机为中心，对各个视角的景物进行同时记录而得到的视频。人们在观看全景视频时，可以随意切换视角，仿佛身临其境。与传统的二维平面视频相比，全景视频可以给用户带来更好的体验和沉浸感，是未来虚拟现实技术不可或缺的一部分。
然而，全景视频的原始数据量比传统二维平面视频大得多，迫切需要高效的视频压缩方法。全景视频帧的像素分布在一个球体的三维曲面上。为了编码，需要将其映射到2维平面上。因此全景视频的投影映射是全景视频编码中很重要的一个环节。
本质上，全景视频记录的是球面上的视频信息。由于球面不易表示，全景视频一般采用经纬图格式进行表达。经纬图将球面的点按照其经度、维度映射到二维平面，例如，经度映射为列坐标、纬度映射为行坐标，从而将球面展开为矩形平面。经纬图格式的视频可以直接采用传统的二维平面视频的编码器进行压缩编码，但是由于经纬图本身对于球面进行了下采样，经纬图与球面的面积比为1：1.5708，经纬图内包含大量冗余像素。另一种方式是通过正多面体的映射，比如正六面体；其中与球面面积最接近的是正二十面体，与球面的比值为1：1.21，但二十面体本身不是方形，为方便编码需要拼剪成矩形；然而，裁剪的过程中将破坏图像本身的相关性，造成了图像信息的损失。
发明内容
本发明的目的是提供一种保持相邻像素相关性的全景视频帧矩形映射方法，可以使三维全景视频帧能够映射到一个面积较小和信息损失较小的矩形平面上，进而帮助优化全景视频压缩。
本发明的目的是通过以下技术方案实现的：
一种保持相邻像素相关性的全景视频帧矩形映射方法，包括：
将球面的全景视频帧嵌入至一个近似于圆锥的面，根据映射关系将球面每个纬度圆环带从高到低映射到圆锥的每个圆环上，将球面经度上的每个点映射到圆锥对应的每个斜面带上，最终获得一菱形的图像；
将菱形的图像沿中轴线进行自适应的分割，获得若干三角形，再将每一三角形分别通过仿射变换调整成高宽比为1：1的菱形；
将所有通过仿射变换调整后的菱形组合成为一正方形，从而在保持相邻像素相关性的前提下实现全景视频帧矩形映射。
所述圆锥的每个面展开为一个三角形，三角形的底和高的比值为N：1；最终获得的长宽自适应的菱形的图像，其高宽比为N/2：1。
所述将所有通过仿射变换调整后的菱形组合成为一正方形包括：
若通过仿射变换调整后的菱形数量为2，则将其中一个菱形的沿对角切开，将切开的四个三角形分别旋转90度，并将每一三角形最长的边对应拼接到另一个菱形的边上，从而得到一个完整的正方形，正方形的所有相邻像素点均具有相关性。
如果球面的全景视频帧上经度为λ，取值范围(-п,п]，纬度为φ，取值范围为[-п/2,п/2]；则最终映射为正方形后，x，y轴取值范围为[0,width]：
width＝2*arcsin(2/п)+√(п2-4)；
转换公式如下：
λ1＝(λ+λ0)*width/п；
φ1＝(φ+φ0)*width/п；
其中，λ0＝п，φ0＝п/2；
如果x+y<width/2，则x＝width/2-φ1,y＝λ1；
如果y-x>width/2，则x＝φ1-width/2，y＝width-λ1；
如果x+y>width*3/2，则x＝width*3/2-φ1，y＝λ1+4φ1-3*width；
如果y-x<-width/2，则x＝width+φ1，y＝4φ1-λ1；
否则，当y<width/2时，x＝λ1+width/2-2φ1，y＝φ1；
当y>＝width/2，x＝λ1-width*3/2+2φ1，y＝φ1。
由上述本发明提供的技术方案可以看出，矩形平面内部相邻像素点之间都是统计相关的，而传统的二十面体在变为矩形时会有明显的分界面，同时传统正弦映射也会造成互相垂直的经纬线过度变形，因此，本映射方案优于传统的经纬图映射和正六面体映射。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种保持相邻像素相关性的全景视频帧矩形映射方法的流程图；
图2为本发明实施例提供的对球面进行采样映射的示意图；
图3为本发明实施例提供的全景视频的球面示意图；
图4为本发明实施例提供的对经纬面进行采样映射为高宽比为2：1的菱形的示意图；
图5为本发明实施例提供的2：1的菱形调整为1：1菱形的示意图；
图6为本发明实施例提供的对1：1菱形进行分割的示意图；
图7为本发明实施例提供的将两个菱形合并为一个正方形的示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
图1为本发明实施例提供的一种保持相邻像素相关性的全景视频帧矩形映射方法的流程图。如图1所示，其主要包括如下步骤：
步骤11、将球面的全景视频帧嵌入至一个近似于圆锥的面，根据映射关系将球面每个纬度圆环带从高到低映射到圆锥的每个圆环上，将球面经度上的每个点映射到圆锥对应的每个斜面带上，最终获得一菱形的图像。
如图2所示，对球面进行采样时，将其嵌入至一个近似于圆锥的面，圆锥的每个面展开为一个三角形，三角形的底和高的比值为N：1；最终获得长宽自适应的菱形的图像，其高宽比为N/2：1。菱形的高宽比为满足之后的菱形调整，从而是自适应，示例性的，针对传统无降采样的经纬图，可以将N设为4，则高宽比为2：1。
球面映射的坐标如图3所示。高宽比为2：1的菱形如图4所示。
步骤12、将菱形的图像沿中轴线进行自适应的分割，获得若干三角形，再将每一三角形分别通过仿射变换调整成高宽比为1：1的菱形。本发明实施例中，采用自适应的分割方式，可以适应于不同情况，以便于后续拼接操作。
示例性的，可以自适应的分割为两个三角形，进而获得两个高宽比为1：1的菱形。如图5所示，左右两个菱形为调整后的高宽比为1：1的菱形。
步骤13、将所有通过仿射变换调整后的菱形组合成为一正方形，从而在保持相邻像素相关性的前提下实现全景视频帧矩形映射。
本发明实施例中，若通过仿射变换调整后的菱形数量为2，则组合成为一正方形的过程如下：
如图6所示，将其中一个菱形的沿对角切开，将切开的四个三角形分别旋转90度(左上右下逆时针旋转90度，左下右上旋转90度)，并将每一三角形最长的边对应拼接到另一个菱形的边上，从而得到一个如图7所示的完整的正方形，正方形的所有相邻像素点均具有相关性。
如果球面的全景视频帧上经度为λ，取值范围(-п,п]，纬度为φ，取值范围为[-п/2,п/2]；则最终映射为正方形后，x，y轴取值范围为[0,width]：
width＝2*arcsin(2/п)+√(п2-4)；
转换公式如下：
λ1＝(λ+λ0)*width/п；
φ1＝(φ+φ0)*width/п；
其中，λ0＝п，φ0＝п/2；
如果x+y<width/2，则x＝width/2-φ1,y＝λ1；
如果y-x>width/2，则x＝φ1-width/2，y＝width-λ1；
如果x+y>width*3/2，则x＝width*3/2-φ1，y＝λ1+4φ1-3*width；
如果y-x<-width/2，则x＝width+φ1，y＝4φ1-λ1；
否则，当y<width/2时，x＝λ1+width/2-2φ1，y＝φ1；
当y>＝width/2，x＝λ1-width*3/2+2φ1，y＝φ1。
本领域技术人员可以理解，图5-图7仅用于描述由菱形转换为矩形的处理过程，其中所菱形、矩形内部所涉及的图像仅为示意并非构成限制。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。
Claims (3)
1.一种保持相邻像素相关性的全景视频帧矩形映射方法，其特征在于，包括：
将球面的全景视频帧嵌入至一个近似于圆锥的面，根据映射关系将球面每个纬度圆环带从高到低映射到圆锥的每个圆环上，将球面经度上的每个点映射到圆锥对应的每个斜面带上，最终获得一菱形的图像；其中，所述圆锥的每个面展开为一个三角形，三角形的底和高的比值为N：1；最终获得的长宽自适应的菱形的图像，其高宽比为N/2：1
将菱形的图像沿中轴线进行自适应的分割，获得若干三角形，再将每一三角形分别通过仿射变换调整成高宽比为1：1的菱形；
将所有通过仿射变换调整后的菱形组合成为一正方形，从而在保持相邻像素相关性的前提下实现全景视频帧矩形映射。
2.根据权利要求1所述的一种保持相邻像素相关性的全景视频帧矩形映射方法，其特征在于，所述将所有通过仿射变换调整后的菱形组合成为一正方形包括：
若通过仿射变换调整后的菱形数量为2，则将其中一个菱形的沿对角切开，将切开的四个三角形分别旋转90度，并将每一三角形最长的边对应拼接到另一个菱形的边上，从而得到一个完整的正方形，正方形的所有相邻像素点均具有相关性。
3.根据权利要求1或2所述的一种保持相邻像素相关性的全景视频帧矩形映射方法，其特征在于，
如果球面的全景视频帧上经度为λ，取值范围(-п,п]，纬度为φ，取值范围为[-п/2,п/2] ；则最终映射为正方形后，x，y轴取值范围为[0,width]：
width＝2*arcsin(2/п)+√(п2-4)；
转换公式如下：
λ1＝(λ+λ0)*width/п；
φ1＝(φ+φ0)*width/п；
其中，λ0＝п，φ0＝п/2；
如果x+y<width/2，则x＝width/2-φ1,y＝λ1；
如果y-x>width/2，则x＝φ1-width/2，y＝width-λ1；
如果x+y>width*3/2，则x＝width*3/2-φ1，y＝λ1+4φ1-3*width；
如果y-x<-width/2，则x＝width+φ1，y＝4φ1-λ1；
否则，当y<width/2时，x＝λ1+width/2-2φ1，y＝φ1；
当y>＝width/2，x＝λ1-width*3/2+2φ1，y＝φ1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710138225.7A CN106897964B (zh) | 2017-03-09 | 2017-03-09 | 保持相邻像素相关性的全景视频帧矩形映射方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710138225.7A CN106897964B (zh) | 2017-03-09 | 2017-03-09 | 保持相邻像素相关性的全景视频帧矩形映射方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106897964A CN106897964A (zh) | 2017-06-27 |
| CN106897964B true CN106897964B (zh) | 2019-10-25 |
Family
ID=59185235
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710138225.7A Active CN106897964B (zh) | 2017-03-09 | 2017-03-09 | 保持相邻像素相关性的全景视频帧矩形映射方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106897964B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107871304B (zh) * | 2017-11-29 | 2020-05-12 | 中国科学技术大学 | 基于球面环切和仿射变换的全景视频帧矩形映射方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105243469A (zh) * | 2015-09-17 | 2016-01-13 | 上海寰信网络信息技术有限公司 | 一种多维空间映射到低维空间的方法及其展示方法和系统 |
| CN106488233A (zh) * | 2016-10-31 | 2017-03-08 | 上海国茂数字技术有限公司 | 一种全景视频菱形采样方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7308131B2 (en) * | 2002-12-03 | 2007-12-11 | Ntt Docomo, Inc. | Representation and coding of panoramic and omnidirectional images |
-
2017
- 2017-03-09 CN CN201710138225.7A patent/CN106897964B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105243469A (zh) * | 2015-09-17 | 2016-01-13 | 上海寰信网络信息技术有限公司 | 一种多维空间映射到低维空间的方法及其展示方法和系统 |
| CN106488233A (zh) * | 2016-10-31 | 2017-03-08 | 上海国茂数字技术有限公司 | 一种全景视频菱形采样方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于双经度模型的鱼眼图像畸变矫正方法;魏胜利等;《仪器仪表学报》;20150215;第36卷(第2期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106897964A (zh) | 2017-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10424083B2 (en) | Point cloud compression using hybrid transforms | |
| US10853974B2 (en) | Point cloud compression using non-orthogonal projection | |
| US10916041B2 (en) | Method for depth image di coding | |
| CN109644279B (zh) | 用于用信号通知360度视频信息的方法和系统 | |
| CN109478313B (zh) | 处理三维图像的方法和设备 | |
| US11265527B2 (en) | Methods and apparatus for providing a frame packing arrangement for panoramic con tent | |
| CN107230180B (zh) | 一种全景图像的映射方法、装置和设备 | |
| CN106780317B (zh) | 全景投影方法及装置 | |
| CN111034201A (zh) | 编码和解码体积视频的方法、设备和流 | |
| WO2020063547A1 (zh) | 球面图像处理方法、装置及服务器 | |
| CN110506291A (zh) | 处理具有使用非均匀映射生成的至少一个投影面的基于投影的帧的方法和装置 | |
| CN110383842A (zh) | 生成和编码包括堆栈在360度虚拟实境投影布局中的至少一个填充区域和至少一个投影面的基于投影的图框的方法及装置 | |
| US10964067B2 (en) | Visual quality enhancement of reconstructed point clouds via color smoothing | |
| CN107871304B (zh) | 基于球面环切和仿射变换的全景视频帧矩形映射方法 | |
| CN106162140B (zh) | 一种全景视频的压缩方法及装置 | |
| CN107945101A (zh) | 图像处理方法和装置 | |
| CN106897964B (zh) | 保持相邻像素相关性的全景视频帧矩形映射方法 | |
| CN114189697B (zh) | 一种视频数据处理方法、装置以及可读存储介质 | |
| US20220058833A1 (en) | Complexity reduction of video-based point cloud compression encoding using grid-based segmentation | |
| CN108022204B (zh) | 一种柱面全景视频转换为球面全景视频的方法 | |
| CN108520492A (zh) | 全景视频映射方法及系统 | |
| CN109792490A (zh) | 用于流图像压缩的球面视频的改进的伪圆柱映射 | |
| US11854112B1 (en) | Compression of attribute values comprising unit vectors | |
| WO2003045045A2 (en) | Encoding of geometric modeled images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |