CN110349226B - 一种全景图像处理方法及装置 - Google Patents

一种全景图像处理方法及装置 Download PDF

Info

Publication number
CN110349226B
CN110349226B CN201810280029.8A CN201810280029A CN110349226B CN 110349226 B CN110349226 B CN 110349226B CN 201810280029 A CN201810280029 A CN 201810280029A CN 110349226 B CN110349226 B CN 110349226B
Authority
CN
China
Prior art keywords
panoramic image
spherical surface
area
region
format information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810280029.8A
Other languages
English (en)
Other versions
CN110349226A (zh
Inventor
虞露
皇甫旭昶
孙宇乐
郑蕤荻
王彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201810280029.8A priority Critical patent/CN110349226B/zh
Priority to US17/044,265 priority patent/US11308575B2/en
Priority to PCT/CN2019/080042 priority patent/WO2019192377A1/zh
Priority to EP19780513.8A priority patent/EP3779885A4/en
Publication of CN110349226A publication Critical patent/CN110349226A/zh
Application granted granted Critical
Publication of CN110349226B publication Critical patent/CN110349226B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种全景图像处理方法及装置。从码流中提取格式信息，根据格式信息使用特殊的映射关系将解码的全景图像中的位置映射到球面上的位置，解码的全景图像中至少包括一个区域满足所述的特殊映射关系。本发明可以使解码的全景图像中的区域相对于球面分布更均匀，提高了表达效率，降低了转换失真。本发明在设计全景图像处理方法的同时，还设计了相应的装置。

Description

一种全景图像处理方法及装置
技术领域
本发明涉及全景图像处理领域，特别涉及全景图像处理方法及装置。
背景技术
360°全景图像指空间中一个观察点四周所有的场景，由这个观察点所能接收到的所有光线构成，球面可以描述观察点四周的所有场景。。由于球面图像难以存储以及目前的图像编解码器是针对普通的非全景图像设计的，对于球面图像的编码效果不够理想，所以需要将球面图像通过投影转换为全景图像格式，常见的投影格式有经纬图、六面体等。对于不同格式的全景图像可以采用现有的普通非全景图像的编码方式进行编码，例如HEVC、AVS2、AV1等，也可以针对不同的格式使用局部调整后的编码方法。
经纬图采样如图1所示，球面上的点可以用其所在的经度
Figure BDA0001614406350000012
和纬度θ表示。将球面映射到
Figure BDA0001614406350000011
坐标系下一个宽高比为2:1的矩形，然后对这个矩形进行均匀采样。经纬图格式在高纬度区域存在过采样和图像纹理拉伸过度问题。
如图2所示，六面体利用中心投影将球面投影到立方体的六个面上，然后在六面体上均匀采样。相对于经纬图六面体在球面上的采样更加均匀，编码效率更高，但由于中心投影的特性，立方体每个面的角落会比中心区域的采样密度更高，对应到球面来看，球面的采样均匀性不够。
确定球面和全景图像中的位置映射关系之后，可以对全景图像中进行采样，生成每个像素点位置的像素值，再对全景图像进行编解码；也可以利用球面和全景图像中的位置映射关系，进行全景图像的格式转换，可以将经纬图格式转换为六面体或者其他格式。
发明内容
本发明针对现有技术的不足，提出了一种新的全景图像处理方法及装置。
对于相同的面积，六面体格式下每个面的中心区域比边角区域对应到球面上的区域范围大，这导致了在球面的采样不均匀，六面体边角区域有冗余信息，降低了表达效率。
本发明的主要思想是通过调整全景图像和球面在不同位置的伸缩关系，使得全景图像中的每一纬度上的单位间隔在球面上尽可能的等弧长，从而减少六面体投影下边角区域的信息冗余，提高表达效率。
为此，本发明采用如下技术方案：
本发明第一目的是提供一种全景图像处理方法，包括：
从码流中解码获得全景图像编码格式信息；由所述格式信息确定从码流中解码的全景图像中的至少一个区域中的位置(x,y)和球面上的位置
Figure BDA0001614406350000028
的映射关系，所述映射关系为：
x和
Figure BDA0001614406350000021
成线性关系，y和
Figure BDA0001614406350000022
成线性关系，
其中，x表示所述的解码全景图像中所述区域的第一维坐标位置，y表示所述解码全景图像中所述区域的第二维坐标位置，
Figure BDA0001614406350000023
表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到所述球面上的线为赤道线,第二维坐标轴映射到所述球面上的线为零经度线。
作为优选，所述全景图像格式信息为以下情况之一：
1)所述格式信息为格式编号，且该格式编号默认地指定了解码的全景图像中所述区域的第一维坐标的方向；
2)所述格式信息包含格式编号以及解码的全景图像中所述区域的第一维坐标的方向信息。
本发明第二个目的是提供一种全景图像处理方法，包括如下步骤：
全景图像中至少存在一个图像区域采用以下映射关系进行表达，所述图像区域的位置(x,y)和球面上的位置
Figure BDA0001614406350000024
的映射关系为：
x和
Figure BDA0001614406350000025
成线性关系，y和
Figure BDA0001614406350000026
成线性关系，
其中，x表示所述的全景图像中所述区域的第一维坐标位置，y表示所述全景图像中所述区域的第二维坐标位置，
Figure BDA0001614406350000027
表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到所述球面上的线为赤道线,第二维坐标轴映射到所述球面上的线为零经度线；
对采用所述映射关系表达的所述全景图像进行编码并写入码流；
将所述映射关系的格式信息也写入所述码流。
作为优选，所述全景图像格式信息为以下情况之一：
1)所述格式信息为格式编号，且该格式编号默认地指定了全景图像中所述区域的第一维坐标的方向；
2)所述格式信息包含格式编号以及全景图像中所述区域的第一维坐标的方向信息。
本发明第三个目的在于提供一种全景图像处理方法，包括：
从码流中解码获得全景图像编码格式信息；
解码的全景图像中至少存在一对相邻的区域——区域1和区域2，由所述格式信息确定所述的区域1中的位置(x1,y1)和区域2中的位置(x2,y2)与其各自对应到球面上的位置
Figure BDA0001614406350000031
的映射关系，所述映射关系为：
x1和
Figure BDA0001614406350000032
成线性关系，y1和
Figure BDA0001614406350000033
成线性关系，
x2和
Figure BDA0001614406350000034
成线性关系，y2和
Figure BDA0001614406350000035
成线性关系，
其中：x1表示所述的全景图像中所述区域1的第一维坐标位置，y1表示所述图像区域1的第二维坐标位置，
Figure BDA0001614406350000036
表示所述的全景图像中所述区域1中的位置(x1,y1)对应的球面经度位置，θ1表示所述的全景图像中所述区域1中的位置(x1,y1)对应的球面纬度位置；x2表示所述的全景图像中所述区域2的第一维坐标位置，y2表示所述的全景图像中所述区域2的第二维坐标位置，
Figure BDA0001614406350000037
表示所述图像区域2中的位置(x2,y2)对应的球面的经度位置，θ2表示所述的全景图像中所述区域2中的位置(x2,y2)对应的球面纬度位置；所述区域1的第一维坐标轴映射到球面上的线与所述区域2的第一维坐标轴映射到球面上的线为同一条线、且为所述球面的赤道线。
本发明第四个目的在于提供一种全景图像处理装置，包括以下模块：
格式信息提取模块：其输入为编码码流，输出为全景图像格式信息，该模块从所述编码码流中解码获得所述的全景图像格式信息；
位置映射模块：其输入为所述全景图像格式信息，输出为所述码流的解码全景图像中至少一个区域中的位置(x,y)与球面上的位置
Figure BDA0001614406350000038
的映射关系，所述映射关系为：
x和
Figure BDA0001614406350000039
成线性关系，y和
Figure BDA00016144063500000310
成线性关系，
其中，x表示所述的全景图像中所述区域的第一维坐标位置，y表示所述的全景图像中所述区域的第二维坐标位置，
Figure BDA00016144063500000311
表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到球面上的线为赤道线，第二维坐标轴映射到所述球面上的线为零经度线。
作为优选，所述全景图像格式信息为以下情况之一：
1)所述格式信息为格式编号，且该格式编号默认地指定了全景图像中所述区域的第一维坐标的方向；
2)所述格式信息包含格式编号以及全景图像中所述区域的第一维坐标的方向信息。
本发明第五个目的在于提供一种全景图像处理装置，包括以下模块：
位置映射模块：其输出为全景图像格式信息，在该模块内确定全景图像中至少一个区域中的位置(x,y)和球面上的位置
Figure BDA0001614406350000041
的映射关系为：
x和
Figure BDA0001614406350000042
成线性关系，y和
Figure BDA0001614406350000043
成线性关系，
其中，x表示所述全景图像中所述区域的第一维坐标位置，y表示所述全景图像中所述区域的第二维坐标位置，
Figure BDA0001614406350000044
表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到球面上的线为赤道线，第二维坐标轴映射到所述球面上的线为零经度线；
格式信息及图像编码模块：其输入为所述的全景图像格式信息以及采用所述格式信息确定的映射关系表达的全景图像，输出为包含所述全景图像及其格式信息的码流，该模块将所述全景图像和所述的格式信息编码并写入码流。
作为优选，所述全景图像格式信息为以下情况之一：
1)所述格式信息为格式编号，且该格式编号默认地指定了全景图像中所述区域的第一维坐标的方向；
2)所述格式信息包含格式编号以及全景图像中所述区域的第一维坐标的方向信息。
与现有技术相比，本发明通过设计特殊的球面和全景图像位置映射关系，使得全景图像中的每一维度上的单位间隔在球面上尽可能的等弧长，全景图像在球面的分布更加均匀，提高了表达的球面均匀性、同样采样样本数的情况下降低采样损失、提高了编码效率。
附图说明
结合附图，可从下面举出的实施例来对本发明的原理进行解释。
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的各实施例仅用来解释本发明，只是其中的一些特例，本发明的适用范围并不仅限于这些实施例。在附图中：
图1为经纬图格式；
图2为将球面上的位置投影到六面体上的映射关系示意图；
图3为本发明一个实施例中六面体展开面的位置关系；
图4为本发明一个实施例中六面体一个面上的坐标系；
图5为本发明一个实施例中六面体一个面上的坐标系；
图6为本发明一个实施例中六面体一个面对应到球面上的有效区域；
图7为本发明一个实施例中在赤道上水平方向等弧长采样的示意图；
图8为本发明一个实施例中使用本专利的处理方法生成的一副六面体展开图像；
图9为本发明一个实施例中水平排布的两个相邻区域的示意图；
图10为本发明一个实施例中六面体展开面上六个面排布的示意图；
图11为本发明一个实施例中竖直排布的两个相邻区域的示意图；
图12为本发明一个实施例中用来生成六面体展开图像的源经纬图图像；
图13为本发明一个实施例中使用本专利的处理方法将源经纬图图像生成通过格式转换生成的六面体展开图像；
图14为本发明一个实施例中不同映射关系伸缩比例示意图；
图15为本发明一个实施例中的一个处理装置；
图16为本发明一个实施例中的一个处理装置；
图17为本发明一个实施例中的六面体格式各面排布以及有效区域示意图；
图18为本发明一个实施例中的六面体格式各面排布以及有效区域示意图。
具体实施方式
实施例1
本发明实施例提供了一种全景图像处理方法。
本实施例提供的全景图像处理方法包括：
从码流中解码获得全景图像编码格式信息；由所述格式信息确定从码流中解码的全景图像中的至少一个区域中的位置(x,y)和球面上的位置
Figure BDA0001614406350000051
的映射关系，所述映射关系为：x和
Figure BDA0001614406350000052
成线性关系，y和
Figure BDA0001614406350000053
成线性关系，
其中x表示所述的解码全景图像中所述区域的第一维坐标位置，y表示所述解码全景图像中所述区域的第二维坐标位置，
Figure BDA0001614406350000061
表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到所述球面上的线为赤道线,第二维坐标轴映射到所述球面上的线为零经度线。
本实施例中所述解码全景图像为六面体格式，所述区域为图3中六面体的前向面，其中(x,y)和
Figure BDA0001614406350000062
的映射关系为：
Figure BDA0001614406350000063
Figure BDA0001614406350000064
本例中所述格式信息为格式编号，且该格式编号默认地指定了全景图像中所述区域的第一维坐标的方向为水平方向，如图4所示。
实施例2
本发明实施例提供了一种全景图像处理方法。
本实施例提供的全景图像处理方法包括：
从码流中解码获得全景图像编码格式信息；由所述格式信息确定从码流中解码的全景图像中的至少一个区域中的位置(x,y)和球面上的位置
Figure BDA0001614406350000065
的映射关系，所述映射关系为：
x和
Figure BDA0001614406350000066
成线性关系，y和
Figure BDA0001614406350000067
成线性关系，
其中，x表示所述的解码全景图像中所述区域的第一维坐标位置，y表示所述解码全景图像中所述区域的第二维坐标位置，
Figure BDA0001614406350000068
表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到所述球面上的线为赤道线,第二维坐标轴映射到所述球面上的线为零经度线。
本实施例中所述解码全景图像为六面体格式，所述区域为图3中六面体的前向面，其中(x,y)和
Figure BDA0001614406350000069
的映射关系为：
Figure BDA00016144063500000610
Figure BDA00016144063500000611
本例中所述格式信息包含格式编号以及所述区域的第一维坐标的方向信息，该方向信息指定全景图像中所述区域的第一维坐标的方向为竖直方向，如图5所示。
实施例3
本发明实施例提供了一种全景图像处理方法。
本实施例提供的全景图像处理方法包括：
全景图像中至少存在一个图像区域采用以下映射关系进行表达，所述图像区域的位置(x,y)和球面上的位置
Figure BDA0001614406350000071
的映射关系为：
x和
Figure BDA0001614406350000072
成线性关系，y和
Figure BDA0001614406350000073
成线性关系，
其中，x表示所述的全景图像中所述区域的第一维坐标位置，y表示所述全景图像中所述区域的第二维坐标位置，
Figure BDA0001614406350000074
表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到所述球面上的线为赤道线,第二维坐标轴映射到所述球面上的线为零经度线；
本实施例中所述全景图像为六面体格式，所述区域为图3中六面体的前向面，其中(x,y)和
Figure BDA0001614406350000075
的映射关系为：
Figure BDA0001614406350000076
Figure BDA0001614406350000077
本例中所述格式信息为格式编号，且该格式编号默认地指定了全景图像中所述区域的第一维坐标的方向为水平方向，如图4所示。
对采用所述映射关系表达的所述全景图像进行编码并写入码流；
将所述映射关系的格式信息也写入所述码流。
所述全景图像和所述格式信息写入码流的先后顺序可以任意，即可以先将所述全景图像进行编码并写入码流，然后将所述映射关系的格式信息也写入所述码流；也可以先所述映射关系的格式信息写入所述码流，然后将所述映射关系表达的所述全景图像进行编码并写入码流。
实施例4
本发明实施例提供了一种全景图像处理方法。
本实施例提供的全景图像处理方法包括：
全景图像中至少存在一个图像区域采用以下映射关系进行表达，所述图像区域的位置(x,y)和球面上的位置
Figure BDA0001614406350000078
的映射关系为：
x和
Figure BDA0001614406350000079
成线性关系，y和
Figure BDA00016144063500000710
成线性关系，
其中，x表示所述的全景图像中所述区域的第一维坐标位置，y表示所述全景图像中所述区域的第二维坐标位置，
Figure BDA0001614406350000081
表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到所述球面上的线为赤道线,第二维坐标轴映射到所述球面上的线为零经度线；
本实施例中所述全景图像为六面体格式，全景图像中所述区域为图3中六面体的前向面，其中(x,y)和
Figure BDA0001614406350000082
的映射关系为：
Figure BDA0001614406350000083
Figure BDA0001614406350000084
本例中所述格式信息包含格式编号以及所述区域的第一维坐标的方向信息，该方向信息指定全景图像中所述区域的第一维坐标的方向为竖直方向，如图5所示。
对采用所述映射关系表达的所述全景图像进行编码并写入码流；
将所述映射关系的格式信息也写入所述码流。
实施例5
本发明实施例提供了一种利用映射关系进行采样的方法。
本实施例提供的采样方法包括：
待生成全景图像中至少包含一个图像区域，所述图像区域中位置(x,y)和球面上的位置
Figure BDA0001614406350000085
的映射关系为：
x和
Figure BDA0001614406350000086
成线性关系，y和
Figure BDA0001614406350000087
成线性关系，
其中，x表示所述的全景图像中所述区域的第一维坐标位置，y表示所述全景图像中所述区域的第二维坐标位置，
Figure BDA0001614406350000088
表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到所述球面上的线为赤道线,第二维坐标轴映射到所述球面上的线为零经度线；
本实施例中所述待生成全景图像为六面体格式，所述区域为图3中六面体的前向面，其中(x,y)和
Figure BDA0001614406350000089
的映射关系为：
Figure BDA00016144063500000810
Figure BDA00016144063500000811
在竖直方向上的像素采样位置如图6所示，在每条经线上均为等弧长采样，但不同的经线上相邻采样点之间的弧长不相同，在水平方向上的像素采样位置如图7所示，在赤道上等弧长采样，在其他位置近似等弧长采样。
在采样时首先在赤道上对水平方向等弧长采样，然后对所有水平采样位置所对应的经线在竖直方向上进行等弧长采样。
根据待生成全景图像中的像素采样位置，对待生成全景图像中的每一个像素点在球面插值得到其对应的像素值。
图8给出了根据位置映射关系生成出来的一幅图像。
实施例6
本发明实施例提供了一种全景图像处理方法。
本实施例提供的全景图像处理方法包括：
从码流中解码获得全景图像编码格式信息；
解码的全景图像中至少存在一对相邻的区域——区域1和区域2，由所述格式信息确定所述的区域1中的位置(x1,y1)和区域2中的位置(x2,y2)与其各自对应到球面上的位置
Figure BDA0001614406350000091
的映射关系，所述映射关系为：
x1和
Figure BDA0001614406350000092
成线性关系，y1和
Figure BDA0001614406350000093
成线性关系，
x2和
Figure BDA0001614406350000094
成线性关系，y2和
Figure BDA0001614406350000095
成线性关系，
其中：x1表示所述的全景图像中所述区域1的第一维坐标位置，y1表示所述图像区域1的第二维坐标位置，
Figure BDA0001614406350000096
表示所述的全景图像中所述区域1中的位置(x1,y1)对应的球面经度位置，θ1表示所述的全景图像中所述区域1中的位置(x1,y1)对应的球面纬度位置；x2表示所述的全景图像中所述区域2的第一维坐标位置，y2表示所述的全景图像中所述区域2的第二维坐标位置，
Figure BDA0001614406350000097
表示所述图像区域2中的位置(x2,y2)对应的球面的经度位置，θ2表示所述的全景图像中所述区域2中的位置(x2,y2)对应的球面纬度位置；所述区域1的第一维坐标轴映射到球面上的线与所述区域2的第一维坐标轴映射到球面上的线为同一条线、且为所述球面的赤道线。
本例中以图3的前向面和右向面作为所述的全景图像中相邻区域，前向面为区域1，右向面为区域2，其中(x1,y1)和
Figure BDA0001614406350000098
的关系为：
Figure BDA0001614406350000099
Figure BDA0001614406350000101
(x2,y2)和
Figure BDA0001614406350000102
的关系为：
Figure BDA0001614406350000103
Figure BDA0001614406350000104
本例中所述区域1和区域2的第一维方向均为水平方向，如图9所示。
实施例7
本发明实施例提供了一种全景图像处理方法。
本实施例提供的全景图像处理方法包括：
从码流中解码获得全景图像编码格式信息；
解码的全景图像中至少存在一对相邻的区域——区域1和区域2，由所述格式信息确定所述的区域1中的位置(x1,y1)和区域2中的位置(x2,y2)与其各自对应到球面上的位置
Figure BDA0001614406350000105
的映射关系，所述映射关系为：
x1和
Figure BDA0001614406350000106
成线性关系，y1和
Figure BDA0001614406350000107
成线性关系，
x2和
Figure BDA0001614406350000108
成线性关系，y2和
Figure BDA0001614406350000109
成线性关系，
其中：x1表示所述的全景图像中所述区域1的第一维坐标位置，y1表示所述图像区域1的第二维坐标位置，
Figure BDA00016144063500001010
表示所述的全景图像中所述区域1中的位置(x1,y1)对应的球面经度位置，θ1表示所述的全景图像中所述区域1中的位置(x1,y1)对应的球面纬度位置；x2表示所述的全景图像中所述区域2的第一维坐标位置，y2表示所述的全景图像中所述区域2的第二维坐标位置，
Figure BDA00016144063500001011
表示所述图像区域2中的位置(x2,y2)对应的球面的经度位置，θ2表示所述的全景图像中所述区域2中的位置(x2,y2)对应的球面纬度位置；所述区域1的第一维坐标轴映射到球面上的线与所述区域2的第一维坐标轴映射到球面上的线为同一条线、且为所述球面的赤道线。
本例中以图10的前向面和右向面作为所述的全景视频的相邻区域，前向面为区域1，右向面为区域2，其中(x1,y1)和
Figure BDA00016144063500001012
的关系为：
Figure BDA00016144063500001013
Figure BDA00016144063500001014
(x2,y2)和
Figure BDA0001614406350000111
的关系为：
Figure BDA0001614406350000112
Figure BDA0001614406350000113
本例中所述区域1和区域2的第一维方向均为竖直方向，如图11所示。
实施例8
本发明实施例提供了一种全景图像格式转换方法。
本实施例提供的全景图像格式转换方法包括：
待生成全景图像中至少包含一个图像区域，所述图像区域中的位置(x,y)和球面上的位置
Figure BDA0001614406350000114
的映射关系为：
x和
Figure BDA0001614406350000115
成线性关系，y和
Figure BDA0001614406350000116
成线性关系，
其中，x表示所述的全景图像中所述区域的第一维坐标位置，y表示所述全景图像中所述区域的第二维坐标位置，
Figure BDA0001614406350000117
表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到所述球面上的线为赤道线,第二维坐标轴映射到所述球面上的线为零经度线；
本实施例中所述全景图像为六面体格式，所述区域为图3中六面体的前向面，其中(x,y)和
Figure BDA0001614406350000118
的映射关系为：
Figure BDA0001614406350000119
Figure BDA00016144063500001110
本例中所述第一维方向为水平方向，如图4所示。
将球面位置映射到源格式上；以经纬图为源格式，经纬图中的位置(u，v)和球面上的位置
Figure BDA00016144063500001111
的映射关系为：
φ＝(u-0.5)*(2*π)
θ＝(0.5-v)*π
其中u和v的取值均在[0,1]。
在经纬图上插值生成待生成全景图像中的像素值。
图12给出了经纬度图的源格式图像，图13给出了六面体展开格式的全景图像。
实施例9
本发明实施例提供了一种全景图像处理方法。
本实施例提供的全景图像处理方法包括：
从码流中解码获得全景图像编码格式信息；由所述格式信息确定从码流中解码的全景图像中的至少一个区域中的位置(x,y)和球面上的位置
Figure BDA0001614406350000121
的映射关系，所述映射关系为：
x和
Figure BDA0001614406350000122
成线性关系，y和
Figure BDA0001614406350000123
成线性关系，
其中，x表示所述的解码全景图像中所述区域的第一维坐标位置，y表示所述解码全景图像中所述区域的第二维坐标位置，
Figure BDA0001614406350000124
表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到所述球面上的线为赤道线,第二维坐标轴映射到所述球面上的线为零经度线。
本例中所述全景图像中的区域为图3中六面体的后向面。在该面上建立图14所示的坐标系，在X-Y坐标系中当y＝-1时，
Figure BDA0001614406350000125
当y＝1时
Figure BDA0001614406350000126
则
其中(x,y)和
Figure BDA0001614406350000127
的映射关系为：
Figure BDA0001614406350000128
Figure BDA0001614406350000129
在X’-Y’坐标系中当y’＝-1时，
Figure BDA00016144063500001210
当y’＝1时
Figure BDA00016144063500001211
(x’,y’)和关系
Figure BDA00016144063500001212
的映射关系为：
Figure BDA00016144063500001213
Figure BDA00016144063500001214
在y＝±1的区域内为所述全景图像中对应到球面的有效内容，(x’,y’)和(x,y)之间的转换如下：
x＝x’
Figure BDA00016144063500001215
通过上述转换可以得到所述全景图像中的位置(x’,y’)和球面上的位置
Figure BDA00016144063500001217
之间的映射关系：
Figure BDA00016144063500001216
Figure BDA0001614406350000131
实施例10
本发明实施例提供了一种全景图像处理装置。
本实施例提供的全景图像处理装置包括以下模块：
格式信息提取模块：其输入为编码码流，输出为全景图像格式信息，该模块从所述编码码流中解码获得所述的全景图像格式信息；
位置映射模块：其输入为所述全景图像格式信息，输出为所述码流的解码全景图像中至少一个区域中的位置(x,y)与球面上的位置
Figure BDA0001614406350000132
的映射关系，所述映射关系为：
x和
Figure BDA0001614406350000133
成线性关系，y和
Figure BDA0001614406350000134
成线性关系，
其中，x表示所述全景图像中的所述区域的第一维坐标位置，y表示所述全景图像中的所述区域的第二维坐标位置，
Figure BDA0001614406350000135
表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到球面上的线为赤道线，第二维坐标轴映射到所述球面上的线为零经度线。
本实施例中所述全景图像为六面体格式，所述区域为图3中六面体的前向面，其中(x,y)和
Figure BDA0001614406350000136
的映射关系为：
Figure BDA0001614406350000137
Figure BDA0001614406350000138
本例中所述格式信息为格式编号，且该格式编号默认地指定了所述全景图像中的所述区域的第一维坐标的方向为水平方向，如图4所示。
图15给出了该处理装置的示意图。
实施例11
本发明实施例提供了一种全景图像处理装置。
本实施例提供的全景图像处理装置包括以下模块：
格式信息提取模块：其输入为编码码流，输出为全景图像格式信息，该模块从所述编码码流中解码获得所述的全景图像格式信息；
位置映射模块：其输入为所述全景图像格式信息，输出为所述码流的解码全景图像中至少一个区域中的位置(x,y)与球面上的位置
Figure BDA0001614406350000139
的映射关系，所述映射关系为：
x和
Figure BDA0001614406350000141
成线性关系，y和
Figure BDA0001614406350000142
成线性关系，
其中，x表示所述全景图像中的所述区域的第一维坐标位置，y表示所述全景图像中的所述区域的第二维坐标位置，
Figure BDA0001614406350000143
表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到球面上的线为赤道线，第二维坐标轴映射到所述球面上的线为零经度线。
本实施例中所述全景图像为六面体格式，所述区域为图3中六面体的前向面，其中(x,y)和
Figure BDA0001614406350000144
的映射关系为：
Figure BDA0001614406350000145
Figure BDA0001614406350000146
本例中所述格式信息包含格式编号以及所述全景图像中所述区域的第一维坐标的方向信息，该方向信息指定所述全景图像中所述区域的第一维坐标的方向为竖直方向，如图5所示。
图15给出了该处理装置的示意图。
实施例12
本发明实施例提供了一种全景图像处理装置。
本实施例提供的全景图像处理装置包括以下模块：
位置映射模块：其输出为全景图像格式信息，在该模块内确定全景图像中至少一个区域中的位置(x,y)和球面上的位置
Figure BDA0001614406350000147
的映射关系为：
x和
Figure BDA0001614406350000148
成线性关系，y和
Figure BDA0001614406350000149
成线性关系，
其中，x表示所述全景图像中所述区域的第一维坐标位置，y表示所述全景图像中所述区域的第二维坐标位置，
Figure BDA00016144063500001410
表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到球面上的线为赤道线，第二维坐标轴映射到所述球面上的线为零经度线；
格式信息及图像编码模块：其输入为所述的全景图像格式信息以及采用所述格式信息确定的映射关系表达的全景图像，输出为包含所述全景图像及其格式信息的码流，该模块将所述全景图像和所述的格式信息编码并写入码流。
本实施例中所述全景图像为六面体格式，所述区域为图3中六面体的前向面，其中(x,y)和
Figure BDA0001614406350000151
的映射关系为：
Figure BDA0001614406350000152
Figure BDA0001614406350000153
本例中所述格式信息为格式编号，且该格式编号默认地指定了所述全景图像中所述区域的第一维坐标的方向为水平方向，如图4所示。
图16给出了该处理装置的示意图。
实施例13
本发明实施例提供了一种全景图像处理装置。
本实施例提供的全景图像处理装置包括以下模块：
位置映射模块：其输出为全景图像格式信息，在该模块内确定全景图像中至少一个区域中的位置(x,y)和球面上的位置
Figure BDA0001614406350000154
的映射关系为：
x和
Figure BDA0001614406350000155
成线性关系，y和
Figure BDA0001614406350000156
成线性关系，
其中，x表示所述全景图像中所述区域的第一维坐标位置，y表示所述全景图像中所述区域的第二维坐标位置，
Figure BDA0001614406350000157
表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到球面上的线为赤道线，第二维坐标轴映射到所述球面上的线为零经度线；
格式信息及图像编码模块：其输入为所述的全景图像格式信息以及采用所述格式信息确定的映射关系表达的全景图像，输出为包含所述全景图像及其格式信息的码流，该模块将所述全景图像和所述的格式信息编码并写入码流。
本实施例中所述全景图像为六面体格式，所述区域为图3中六面体的前向面，其中(x,y)和
Figure BDA0001614406350000158
的映射关系为：
Figure BDA0001614406350000159
Figure BDA00016144063500001510
本例中所述格式信息包含格式编号以及所述区域的第一维坐标的方向信息，该方向信息指定所述全景图像中所述区域的第一维坐标的方向为竖直方向，如图5所示。
图16给出了该处理装置的示意图。
实施例14
本发明实施例提供了一种全景图像生成方法。
本实施例提供的全景图像生成方法包括：
待生成全景图像中至少包含一个图像区域，所述图像区域中位置(x,y)和球面上的位置
Figure BDA0001614406350000161
的映射关系指定为：
x和
Figure BDA0001614406350000162
成线性关系，y和
Figure BDA0001614406350000163
成线性关系，
其中，x表示所述的全景图像中所述区域的第一维坐标位置，y表示所述全景图像中所述区域的第二维坐标位置，
Figure BDA0001614406350000164
表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到所述球面上的线为赤道线,第二维坐标轴映射到所述球面上的线为零经度线；
本实施例中所述待生成全景图像为六面体格式，如图17所示，在六面体的六个面上分别建立坐标系，对于六面体格式第一行上的面即左、前以及右向的面，第一维方向为水平方向。当y＝-0.8且x＝0时，
Figure BDA0001614406350000165
当y＝1且x＝0时
Figure BDA0001614406350000166
则(x,y)和关系
Figure BDA0001614406350000167
的映射关系为：
Figure BDA0001614406350000168
Figure BDA0001614406350000169
在图17上，粗线所围成的区域表示六面体面中的有效区域，该区域的高为L’,一个六面体面的边长为L。在前向面中粗线以外的区域为非有效区域，该区域中的像素使用y＝-0.8所在行的像素进行填充，左向面以及右向面的非有效区域中的像素也是用其对应区域中的y＝-0.8所在行的像素进行填充。
对于六面体格式第二行上的面即上、下以及后向的面，第一维方向为水平方向。当y＝0.8且x＝0时，
Figure BDA00016144063500001610
当y＝-1且x＝0时
Figure BDA00016144063500001614
则(x,y)和关系
Figure BDA00016144063500001611
的映射关系为：
Figure BDA00016144063500001612
Figure BDA00016144063500001613
在后向面中粗线以外的区域为非有效区域，该区域中的像素使用y＝0.8所在行的像素进行填充，上面以及下面的非有效区域中的像素也是用其对应区域的y＝0.8所在行的像素进行填充。
实施例15
本发明实施例提供了一种全景图像生成方法。
本实施例提供的全景图像生成方法包括：
待生成全景图像中至少包含一个图像区域，所述图像区域中位置(x,y)和球面上的位置
Figure BDA0001614406350000171
的映射关系为：
x和
Figure BDA0001614406350000172
成线性关系，y和
Figure BDA0001614406350000173
成线性关系，
其中，x表示所述的全景图像中所述区域的第一维坐标位置，y表示所述全景图像中所述区域的第二维坐标位置，
Figure BDA0001614406350000174
表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到所述球面上的线为赤道线,第二维坐标轴映射到所述球面上的线为零经度线；
本实施例中所述待生成全景图像为六面体格式，如图18所示，在六面体的六个面上分别建立坐标系，对于六面体格式第一行上的面即左、前以及右向的面，第一维方向为水平方向。当y＝-0.8且x＝0时，
Figure BDA0001614406350000175
当y＝1且x＝0时
Figure BDA0001614406350000176
则(x,y)和关系
Figure BDA0001614406350000177
的映射关系为：
Figure BDA0001614406350000178
Figure BDA0001614406350000179
在图18上，粗线所围成的区域表示六面体面中的有效区域，该区域的高为L’,一个六面体面的边长为L。在前向面中粗线以外的区域为非有效区域，该区域中的像素按照和有效区域内相同的映射关系在球面上插值生成，此时y的取值小于-0.8。左向面以及右向面的非有效区域中的像素也是按照和其对应的有效区域内相同的映射关系在球面上插值生成。
对于六面体格式第二行上的面即上、下以及后向的面，第一维方向为竖直方向。当x＝-0.8时，
Figure BDA00016144063500001710
当x＝1时
Figure BDA00016144063500001711
则(x,y)和关系
Figure BDA00016144063500001712
的映射关系为：
Figure BDA00016144063500001713
Figure BDA00016144063500001714
在后向面中粗线以外的区域为非有效区域，该区域中的像素按照和有效区域内相同的映射关系在球面上插值生成，此时x的取值小于-0.8。上面以及下面的非有效区域中的像素也是按照和其对应的有效区域内相同的映射关系在球面上插值生成。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种全景图像处理方法，其特征在于，包括：
从码流中解码获得全景图像编码格式信息；由所述格式信息确定从码流中解码的全景图像中的至少一个区域中的位置(x,y)和球面上的位置
Figure FDA0001614406340000018
的映射关系，所述映射关系为：
x和
Figure FDA0001614406340000011
成线性关系，y和
Figure FDA0001614406340000012
成线性关系，
其中，x表示所述的解码全景图像中所述区域的第一维坐标位置，y表示所述解码全景图像中所述区域的第二维坐标位置，
Figure FDA0001614406340000013
表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到所述球面上的线为赤道线,第二维坐标轴映射到所述球面上的线为零经度线。
2.根据权利要求1中的全景图像处理方法，其特征还在于，所述格式信息为以下情况之一：
1)所述格式信息为格式编号，且该格式编号默认地指定了解码的全景图像中所述区域的第一维坐标的方向；
2)所述格式信息包含格式编号以及解码的全景图像中所述区域的第一维坐标的方向信息。
3.一种全景图像处理方法，其特征在于包括如下步骤：
全景图像中至少存在一个图像区域采用以下映射关系进行表达，所述图像区域的位置(x,y)和球面上的位置
Figure FDA0001614406340000014
的映射关系为：
x和
Figure FDA0001614406340000015
成线性关系，y和
Figure FDA0001614406340000016
成线性关系，
其中，x表示所述的全景图像中所述区域的第一维坐标位置，y表示所述全景图像中所述区域的第二维坐标位置，
Figure FDA0001614406340000017
表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到所述球面上的线为赤道线,第二维坐标轴映射到所述球面上的线为零经度线；
对采用所述映射关系表达的所述全景图像进行编码并写入码流；
将所述映射关系的格式信息也写入所述码流。
4.根据权利要求3中的全景图像处理方法，其特征还在于，所述格式信息为以下情况之一：
1)所述格式信息为格式编号，且该格式编号默认地指定了全景图像中所述区域的第一维坐标的方向；
2)所述格式信息包含格式编号以及全景图像中所述区域的第一维坐标的方向信息。
5.一种全景图像处理方法，其特征在于，包括：
从码流中解码获得全景图像编码格式信息；
解码的全景图像中至少存在一对相邻的区域——区域1和区域2，由所述格式信息确定所述的区域1中的位置(x1,y1)和区域2中的位置(x2,y2)与其各自对应到球面上的位置
Figure FDA0001614406340000021
Figure FDA0001614406340000022
的映射关系，所述映射关系为：
x1和
Figure FDA0001614406340000023
成线性关系，y1和
Figure FDA0001614406340000024
成线性关系，
x2和
Figure FDA0001614406340000025
成线性关系，y2和
Figure FDA0001614406340000026
成线性关系，
其中：x1表示所述的全景图像中所述区域1的第一维坐标位置，y1表示所述图像区域1的第二维坐标位置，
Figure FDA0001614406340000027
表示所述的全景图像中所述区域1中的位置(x1,y1)对应的球面经度位置，θ1表示所述的全景图像中所述区域1中的位置(x1,y1)对应的球面纬度位置；x2表示所述的全景图像中所述区域2的第一维坐标位置，y2表示所述的全景图像中所述区域2的第二维坐标位置，
Figure FDA0001614406340000028
表示所述图像区域2中的位置(x2,y2)对应的球面的经度位置，θ2表示所述的全景图像中所述区域2中的位置(x2,y2)对应的球面纬度位置；所述区域1的第一维坐标轴映射到球面上的线与所述区域2的第一维坐标轴映射到球面上的线为同一条线、且为所述球面的赤道线。
6.一种全景图像处理装置，其特征在于，包括以下模块：
格式信息提取模块：其输入为编码码流，输出为全景图像格式信息，该模块从所述编码码流中解码获得所述的全景图像格式信息；
位置映射模块：其输入为所述全景图像格式信息，输出为所述码流的解码全景图像中至少一个区域中的位置(x,y)与球面上的位置
Figure FDA0001614406340000029
的映射关系，所述映射关系为：
x和
Figure FDA00016144063400000210
成线性关系，y和
Figure FDA00016144063400000211
成线性关系，
其中，x表示所述的全景图像中所述区域的第一维坐标位置，y表示所述的全景图像中所述区域的第二维坐标位置，
Figure FDA00016144063400000212
表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到球面上的线为赤道线，第二维坐标轴映射到所述球面上的线为零经度线。
7.根据权利要求6中的全景图像处理装置，其特征还在于，所述格式信息为以下情况之一：
1)所述格式信息为格式编号，且该格式编号默认地指定了全景图像中所述区域的第一维坐标的方向；
2)所述格式信息包含格式编号以及全景图像中所述区域的第一维坐标的方向信息。
8.一种全景图像处理装置，其特征在于，包括以下模块：
位置映射模块：其输出为全景图像格式信息，在该模块内确定全景图像中至少一个区域中的位置(x,y)和球面上的位置
Figure FDA0001614406340000031
的映射关系为：
x和
Figure FDA0001614406340000032
成线性关系，y和
Figure FDA0001614406340000033
成线性关系，
其中，x表示所述全景图像中所述区域的第一维坐标位置，y表示所述全景图像中所述区域的第二维坐标位置，
Figure FDA0001614406340000034
表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到球面上的线为赤道线，第二维坐标轴映射到所述球面上的线为零经度线；
格式信息及图像编码模块：其输入为所述的全景图像格式信息以及采用所述格式信息确定的映射关系表达的全景图像，输出为包含所述全景图像及其格式信息的码流，该模块将所述全景图像和所述的格式信息编码并写入码流。
9.根据权利要求8中的全景图像处理装置，其特征还在于，所述格式信息为以下情况之一：
1)所述格式信息为格式编号，且该格式编号默认地指定了全景图像中所述区域的第一维坐标的方向；
2)所述格式信息包含格式编号以及全景图像中所述区域的第一维坐标的方向信息。
CN201810280029.8A 2018-04-01 2018-04-01 一种全景图像处理方法及装置 Active CN110349226B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810280029.8A CN110349226B (zh) 2018-04-01 2018-04-01 一种全景图像处理方法及装置
US17/044,265 US11308575B2 (en) 2018-04-01 2019-03-28 Omnidirectional image processing method and device
PCT/CN2019/080042 WO2019192377A1 (zh) 2018-04-01 2019-03-28 一种全景图像处理方法及装置
EP19780513.8A EP3779885A4 (en) 2018-04-01 2019-03-28 METHOD AND DEVICE FOR PROCESSING A PANORAMIC IMAGE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810280029.8A CN110349226B (zh) 2018-04-01 2018-04-01 一种全景图像处理方法及装置

Publications (2)

Publication Number Publication Date
CN110349226A CN110349226A (zh) 2019-10-18
CN110349226B true CN110349226B (zh) 2021-06-01

Family

ID=68100035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810280029.8A Active CN110349226B (zh) 2018-04-01 2018-04-01 一种全景图像处理方法及装置

Country Status (4)

Country Link
US (1) US11308575B2 (zh)
EP (1) EP3779885A4 (zh)
CN (1) CN110349226B (zh)
WO (1) WO2019192377A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3881225A1 (en) * 2018-11-15 2021-09-22 Qualcomm Incorporated Coordinate estimation on n-spheres with spherical regression
EP3895425A4 (en) * 2018-12-14 2021-12-15 ZTE Corporation PROCESSING AN IMMERSIVE VIDEO BITSTREAM

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102404571A (zh) * 2011-11-22 2012-04-04 浙江大学 视频图像编解码中的二进制化的方法和装置
CN106899840A (zh) * 2017-03-01 2017-06-27 北京大学深圳研究生院 全景图像映射方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102298771A (zh) * 2011-08-16 2011-12-28 淮安盈科伟力科技有限公司 全景泊车辅助系统的鱼眼图像快速校正方法
KR20140100656A (ko) * 2013-02-06 2014-08-18 한국전자통신연구원 전방향 영상 및 3차원 데이터를 이용한 시점 영상 제공 장치 및 방법
US9918082B2 (en) * 2014-10-20 2018-03-13 Google Llc Continuous prediction domain
CN104568983B (zh) * 2015-01-06 2017-03-15 浙江工业大学 基于主动式全景视觉的管道内部缺陷检测装置及方法
US10681326B2 (en) * 2016-05-19 2020-06-09 AVAGO TECHNOLOGlES INTERNATIONAL SALES PTE. LIMITED 360 degree video system with coordinate compression
US11019257B2 (en) * 2016-05-19 2021-05-25 Avago Technologies International Sales Pte. Limited 360 degree video capture and playback
KR20190035678A (ko) * 2016-07-08 2019-04-03 브이아이디 스케일, 인크. 지오메트리 투영을 이용한 360도 비디오 코딩
CN106384367B (zh) 2016-08-26 2019-06-14 深圳拍乐科技有限公司 一种全景相机的自动稳定视角的方法
WO2018045108A1 (en) * 2016-09-02 2018-03-08 Vid Scale, Inc. Method and system for signaling of 360-degree video information
US10805614B2 (en) * 2016-10-12 2020-10-13 Koninklijke Kpn N.V. Processing spherical video data on the basis of a region of interest
US10620441B2 (en) * 2016-12-14 2020-04-14 Qualcomm Incorporated Viewport-aware quality metric for 360-degree video
US10643301B2 (en) * 2017-03-20 2020-05-05 Qualcomm Incorporated Adaptive perturbed cube map projection
US10839480B2 (en) * 2017-03-22 2020-11-17 Qualcomm Incorporated Sphere equator projection for efficient compression of 360-degree video
US10957044B2 (en) * 2017-03-22 2021-03-23 Qualcomm Incorporated Sphere pole projections for efficient compression of 360-degree video
CN107018336B (zh) 2017-04-11 2018-11-09 腾讯科技（深圳）有限公司 图像处理的方法和装置及视频处理的方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102404571A (zh) * 2011-11-22 2012-04-04 浙江大学 视频图像编解码中的二进制化的方法和装置
CN106899840A (zh) * 2017-03-01 2017-06-27 北京大学深圳研究生院 全景图像映射方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Weighted-to-Spherically-Uniform Quality Evaluation for Omnidirectional Video;Yule Sun等;《IEEE SIGNAL PROCESSING LETTERS》;20170930;第24卷(第9期);第2节 *
基于前向运动视频的计算机视觉检测技术研究及应用;王胜春;《万方数据在线公开》;20170228;第1.4节 *

Also Published As

Publication number Publication date
WO2019192377A1 (zh) 2019-10-10
US20210073938A1 (en) 2021-03-11
CN110349226A (zh) 2019-10-18
EP3779885A1 (en) 2021-02-17
US11308575B2 (en) 2022-04-19
EP3779885A4 (en) 2021-05-19

Similar Documents

Publication Publication Date Title
CN109417634B (zh) 使用虚拟参考帧的用于虚拟现实视频的帧间编码方法及装置
CN112204993B (zh) 使用重叠的被分区的分段的自适应全景视频流式传输
US11004173B2 (en) Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout
US11057643B2 (en) Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout
US20140267583A1 (en) Augmented Video Calls on Mobile Devices
US10848771B2 (en) Encoding and decoding a video signal
US11069026B2 (en) Method for processing projection-based frame that includes projection faces packed in cube-based projection layout with padding
CN110349226B (zh) 一种全景图像处理方法及装置
Sauer et al. Improved motion compensation for 360° video projected to polytopes
WO2019062714A1 (en) PROJECTION-BASED FRAME PROCESSING METHOD COMPRISING AT LEAST ONE CONDITIONED PROJECTION FACE IN A 360 DEGREE VIRTUAL REALITY PROJECTION LAYOUT
Cai et al. An overview of panoramic video projection schemes in the IEEE 1857.9 standard for immersive visual content coding
GB2568232A (en) A method for volumetric video encoding and decoding
US20210120250A1 (en) Apparatus and Methods for Encoding and Decoding a Video Signal
Chengjia et al. Octagonal mapping scheme for panoramic video encoding
US20210092345A1 (en) Unified coding of 3d objects and scenes
JP2795119B2 (ja) 多次元画像圧縮伸張方式
CN111277839B (zh) 一种编码立方体投影格式的自适应qp调整方法
CN114945092A (zh) 一种基于立方体的投影方法
KR102658474B1 (ko) 가상 시점 합성을 위한 영상 부호화/복호화 방법 및 장치
CN114727084B (zh) 一种筛选图像的方法及装置
US11190801B2 (en) Video encoding method with syntax element signaling of mapping function employed by cube-based projection and associated video decoding method
WO2013156250A1 (en) View synthesis using low resolution depth maps
US11727536B2 (en) Method and apparatus for geometric smoothing
US20210203995A1 (en) Video decoding method for decoding bitstream to generate projection-based frame with guard band type specified by syntax element signaling
Kawai et al. Tubemap: A projection for omnidirectional view interpolation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant