CN111741289B - 处理立方体面图像的方法和装置 - Google Patents

处理立方体面图像的方法和装置 Download PDF

Info

Publication number
CN111741289B
CN111741289B CN202010442596.6A CN202010442596A CN111741289B CN 111741289 B CN111741289 B CN 111741289B CN 202010442596 A CN202010442596 A CN 202010442596A CN 111741289 B CN111741289 B CN 111741289B
Authority
CN
China
Prior art keywords
cube
processing
face
video
filtering process
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010442596.6A
Other languages
English (en)
Other versions
CN111741289A (zh
Inventor
林鸿志
林建良
李佳盈
黄昭智
张胜凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN111741289A publication Critical patent/CN111741289A/zh
Application granted granted Critical
Publication of CN111741289B publication Critical patent/CN111741289B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings

Abstract

本发明公开一种处理立方体面图像的方法和装置。所述方法包括：接收包含对应360度全景视频序列中的六个立方体面的视频比特；确定对应每组六个立方体面的每个立方体帧的一个或多个不连续边界；以及根据与所述一个或多个不连续边界相关的信息来处理所述立方体帧，其中所述处理所述立方体帧的步骤包括：在每个所述立方体帧内的所述一个或多个不连续边界处跳过滤波处理，其中所述滤波处理是否应用至所述立方体帧的所述一个或多个不连续边界是通过解析所述视频比特流中的开/关控制的语法来决定的。本发明所公开的处理立方体面图像的方法和装置，可以改善在边界处滤波导致的伪影问题，并提高编码效率。

Description

处理立方体面图像的方法和装置
分案说明
本发明是申请号为201710831784.6，发明名称为处理立方体面图像的方法和装置的发明专利申请的分案申请。
技术领域
本发明有关于图像和视频编码。特别地，本发明有关于从360度全景视频转换的立方体面帧(cubic-face frames)的选择性滤波(selective filtering)技术。
背景技术
360度视频(也称为沉浸式视频)是一种新兴技术，其可以提供“身临其境的感觉”。通过围绕用户覆盖全景(panoramic view)的环绕场景，特别是360度视野，使用户获得沉浸感。“身临其境的感觉”可以进一步通过立体渲染来提高。因此，全景视频被广泛应用于虚拟现实(Virtual Reality，VR)应用中。
沉浸式视频涉及使用多个相机来捕获一个场景，以覆盖全景，例如360度视野。沉浸式相机通常使用一组相机，用于捕获360度视野。通常，沉浸式相机使用两个或多个相机。必须同时拍摄所有视频，并记录场景的各个分离片段(也称为单独视角)。此外，该组相机通常被布局成水平地捕获视图，而相机的其它布局也是可能的。
图1为用于360度球面全景图像(360-degree spherical panoramic pictures)的示例性处理链的示意图。可以使用360度球面全景相机(例如3D捕获装置)来捕获360度球面全景图像。球面图像处理单元110接受来自3D捕获装置的原始图像数据(raw image data)，以形成360度球面全景图像。球面图像处理可以包括图像拼接和相机校准。球面图像处理在本领域中是已知的，并且在本发明中就省略详细的细节。如图1中的图像112为来自球面图像处理单元110的360度球面全景图像的示例。如果相机定向使顶部指向上方，360度球面全景图像的顶面对应于垂直顶部(或天空)，则底面指向地面。但是，如果相机配备了陀螺仪，则无论相机的定向如何，始终可以确定垂直顶面。在360度球面全景格式中，场景中的内容似乎被扭曲。通常，球面格式作为替代的360度格式投影到立方体的表面。可以通过投影转换单元120执行转换，以导出对应于立方体的六个面的六个面图像(face image)122。在立方体的面上，这六个图像在立方体的边缘处连接。
为了保持共享共同立方边缘的相邻立方体面的连续性，在具有一些共同的发明人和同一受让人的相关的2016年12月27日提交的申请号为15/390,954的美国非临时专利申请中，已经公开了各种立方体面组合技术。组合的立方体面帧可以有助于提高编码效率。因此，立方体面组合器130用于将六个立方体面收集成组合的立方体面帧。然后对组合的图像序列进行进一步处理。立方体面组合器130可以产生完全连接的立方体面帧或部分连接的立方体面帧。由于360度图像序列可能需要大的存储空间或者需要高带宽用于传输，所以由视频编码器140编码的视频可以被应用于由一系列组合的立方体面帧构成的视频序列。在接收器侧或显示侧，使用视频解码器150对压缩视频数据进行解码，以恢复用于在显示装置(例如3D显示器)上显示的组合的立方体面帧的序列。与组合的立方体面帧相关的信息可以被提供给视频编码器140，用于有效地和/或适当地编码并适当地渲染。
图2为将球面全景图像投影到立方体210上的六个立方体面的投影转换处理的示例。六个立方体面被分成两组。第一组220对应于从前侧可见的三个立方体面，分别标记为3、4和5。第二组230对应于从立方体的后侧可见的三个立方体面，分别标记为1、2和6。
在常规视频编码或处理中，编码或处理系统总是假设输入视频序列。因此，多个立方体面进一步组装成立方体面帧。图3A为具有空白区域的立方体面组合帧(cubic-faceassembled frame)(310和320)的两个示例，其中两组完全互连的立方体面对应于从立方体展开六个面的两种不同方式。展开的立方体面(也称为立方网(cubic net))被填入到具有空白区域的最小矩形帧中，空白区域中填充有虚拟数据。
图3B为立方体面组合的另一种类型的示例，其中六个面被组合成不具有空白区域的矩形帧。如图3B所示，帧330对应于1x6的组合立方体帧(1x6 assembled cubic frame)，帧340对应于2×3的组合立方体帧，帧350对应于3×2的组合立方体帧，并且帧360对应于6×1的组合立方体帧。如图3B所示，六个立方体面被紧密地填入到不具有任何空白区域的矩形中。
图4A为视频编码器系统的示例性框图，例如，包括自适应帧间/帧内预测的高效率视频编码(HEVC)。该系统包括两种预测模式：帧间预测420和帧内预测430。帧间预测420根据先前重构的图像，利用运动估计(ME)和运动补偿(MC)来生成当前帧410的时间预测。先前重构的图像也被称为参考图像，被存储在帧缓冲器480中。如本领域已知的那样，用于帧间预测的运动估计使用平移运动模型，其中运动可以由相关的运动向量来指定。帧内预测430通过使用相同切片或图像中在相邻块处的重构像素来生成当前块的预测器。开关445用于在帧间预测420和帧内预测430之间进行选择。使用加法器440从当前帧的相应信号中减去所选择的预测，以产生预测残差。使用离散余弦变换和量化(DCT/Q)450来处理预测残差，随后由熵编码器460进行处理，以产生视频比特流。由于在编码器侧也需要重构的图像来形成参考图像。因此，也使用逆量化和逆离散余弦变换(IQ/IDCT)452来产生重构的预测残差。然后使用另一个加法器444将重构的预测残差与通过开关445选择的预测相加，以形成重构的视频数据。在将重构的视频存储到帧缓冲器480中之前，通常使用环路滤波470来减少由压缩引起的编码伪影(artifact)。例如，在HEVC中已经使用的去块滤波器和样本自适应偏移(SAO)。自适应环路滤波器(ALF)是可用于减少编码图像中的伪影的另一种环路滤波器。
图4B为对应于图4A中的编码器的解码器系统的示例性框图。如图4A所示，编码器侧也包括解码器循环，以在编码器侧重构参考视频。除了熵解码器461之外，大多数解码器组件已被用在编码器侧。此外，由于可以从视频比特流导出运动向量，因此只需要用于帧间预测解码器421的运动补偿，并且也不需要搜索最佳运动向量。
如图4A和如图4B所示，编码系统通常对重构图像应用滤波，以便通过减少编码伪影来提高视觉质量。在其他视频处理系统中，滤波也可以应用于底层帧(underlyingframe)以降低噪声或提高图像质量。然而，从3D源视频转换的组合帧可能包含一些特殊的特征，其可能在常规滤波期间造成伪影或降低编码效率。因此，本发明欲解决与组合立方体帧有关的滤波问题。
发明内容
有鉴于此，本发明提供一种处理立方体面图像的方法和装置。
依据本发明一实施方式，提供一种处理立方体面图像的方法，包括：接收包含对应360度全景视频序列中的六个立方体面的视频比特；确定对应每组六个立方体面的每个立方体帧的一个或多个不连续边界；以及根据与所述一个或多个不连续边界相关的信息来处理所述立方体帧，其中所述处理所述立方体帧的步骤包括：在每个所述立方体帧内的所述一个或多个不连续边界处跳过滤波处理，其中所述滤波处理是否应用至所述立方体帧的所述一个或多个不连续边界是通过解析所述视频比特流中的开/关控制的语法来决定的。
依据本发明另一实施方式，提供一种处理立方体面图像的装置，所述装置包括一个或多个电子电路或处理器，用于执行以下步骤：接收包含对应360度全景视频序列中的六个立方体面的视频比特；确定对应每组六个立方体面的每个立方体帧的一个或多个不连续边界；以及根据与所述一个或多个不连续边界相关的信息来处理所述立方体帧，其中所述处理所述立方体帧的步骤包括：在每个所述立方体帧内的所述一个或多个不连续边界处跳过滤波处理，其中所述滤波处理是否应用至所述立方体帧的所述一个或多个不连续边界是通过解析所述视频比特流中的开/关控制的语法来决定的。
本发明所提供的处理立方体面图像的方法和装置，可以改善在边界处滤波导致的伪影问题，并提高编码效率。
附图说明
图1为用于360度球面全景图像的示例性处理链的示意图。
图2为将球面全景图像投影到立方体上的六个立方体面的投影目转换处理的示例。
图3A为具有空白区域的立方体面组合帧的两个示例，其中两组完全互连的立方体面对应于从立方体展开六个面的两种不同方式。
图3B为立方体面组合的另一种类型的示例，其中六个面被组合成不具有空白区域的矩形帧。
图4A为视频编码器系统的示例性框图，例如包括自适应帧间/帧内预测的高效率视频编码。
图4B为对应于图4A中的视频编码器的视频解码器系统的示例性框图。
图5为包含本发明的实施例的示例性编码系统，其中检测到不连续性(discontinuities)并将其用于选择性滤波控制。
图6A为具有空白区域的两个立方体布局中的立方体和空白区域之间的不连续性的示例。
图6B为不具有空白区域的立方体布局中的立方体面之间的不连续性的示例。
图7为另一种类型的立方体帧(称为半立方体帧)的不连续性的示例，其中包括具有空白区域的组合帧的不连续性和不具有空白区域的组合帧的不连续性。
图8为根据本发明的实施例的视频处理系统包括的示例性流程图，其中根据检测到的立方体帧中的不连续性选择性地应用滤波。
具体实施方式
以下描述为本发明的较佳实施例。以下实施例仅用来举例阐释本发明的技术特征，并非用以限定本发明。本发明的保护范围当视权利要求书所界定为准。
如前所述，表示360度全景图像的六个立方体面在两个连接面的边界处是连续的。为了使用常规视频编码或处理系统来有效地对立方体面进行编码或处理，立方体面被组合成立方体帧。然而，对于给定的组合立方体帧，在一些立方体面之间或在立方体面和空白区域之间总是存在不连续性。即使是精心设计的立方体帧组合系统，这种不连续性仍然存在。当将包含滤波处理的视频编码或处理应用于这种组合立方体帧时，由于滤波造成的伪影可能变得明显，或者滤波可能降低编码效率。为了克服这些问题，本发明公开了一种选择性滤波技术，其根据立方体帧内的不连续性或连续性，特别是立方体面边界，自适应地应用滤波到立方体帧。
图5为包含本发明的实施例的示例性编码系统。该系统使用球面图像处理单元110将来自3D捕获装置的源视频转换为球面图像。然后使用投影转换单元120将球面图像投影到立方体的面上。此外，使用立方体面组合器(cubic face assembler)130将立方体面组合为立方体帧。立方体面组合程序可包括立方体面排列和/或旋转。此外，还有各种可用的组合立方体帧(也称为立方体布局)格式。系统将选择一个目标立方体帧格式以进行进一步处理。在导出立方体帧之后，根据本发明的实施例，使用不连续性检测单元510来检测立方体帧中的不连续性。然后将不连续性信息提供给不连续性感知视频编码器(discontinuity-aware video encoder)520以对立方体帧进行编码。不连续性感知视频解码器530被用于解码压缩立方体帧，以使用3D显示设备进行显示。
当提供立方体面布局时，可以确定不连续的边缘。在不具有空白区域的立方体帧的相邻立方体面之间的边界处可存在不连续性，其中两个相邻立方体面不共享公共的立方体边缘。在具有空白区域的立方体帧的立方体面和空白区域之间的边界处可存在不连续性。在本公开中，立方体布局、立方体面布局、立方体帧和立方体面帧可互换使用。由于跨越面边界的滤波可能会导致伪影或降低编码效率，因此不应该滤波在面边界中的不连续性。因此，根据本发明的实施例将自适应地应用滤波到立方体帧。特别地，在不连续的面边界处不进行滤波。例如，在利用环路滤波器(例如去块、SAO、ALF或任何组合)的编码系统中，在不连续的面边界处跳过环路滤波处理。换句话说，滤波处理仅适用于立方体帧中的连续内容。
虽然用于视频编码的环路滤波是应用选择性滤波处理的示例，但是本发明也可以用于包括滤波处理的其他视频处理。例如，如本领域已知的，图像滤波通常用于降噪或图像增强。在这种情况下，依赖于不连续性或连续性的选择性滤波也是适用的。虽然不连续检测被视为是否应用滤波的标准，但是可以通过检查底层像素或区域是否是连续的，来等效地执行本发明。如果底层像素或区域是连续的，则可以应用滤波处理。否则，跳滤波波处理。
对于不连续性感知视频编码器，关于立方体帧中的不连续性的信息需要被解码器知道，使得解码器可以在解码器侧应用相应的选择性滤波器。例如，不连续边缘和/或连续立方体面可以在比特流语法中被通知。如前所述，面边界可以存在于立方体面之间或者存在于立方体面和空白(黑色)区域之间。本发明公开了用于发信不连续边缘和/或连续立方体面的两种可能的语法设计。
根据方案#1，发信不连续边缘和/或连续立方体面。可以在视频比特流中以序列、视频、立方体面、VPS(视频参数集)、SPS(序列参数集)或APS(应用参数集)级来发信滤波处理(例如去块、SAO、ALF或任何组合)的开/关控制的语法。
根据方案#2，发信立方体面布局格式的信息。可以根据已知的立方体面布局格式来确定不连续边缘和/或连续立方体面。根据立方体面布局格式，在不连续面的边界处和/或立方体面和空白(黑色)区域之间的边界处的滤波处理(例如去块、SAO、ALF或任何组合)将被禁用。另一方面，可以进一步发信在连续面的边界处的滤波处理(例如去块、SAO、ALF或任何组合)的开/关控制。
在一个实施例中，可以发送语法元素以指定连续面的所有边界的开/关状态。或者，对于连续面的每个边界，发送语法元素以指定用于滤波处理(例如去块、SAO、ALF或任何组合)的开/关控制。
当已知立方体帧格式时，可以确定立方体帧中的不连续性。例如，如果使用具有空白区域的立方体帧，则图3的两个立方体布局310和320中的不连续性可如图6A所示。不连续性对应于立方体面和空白区域之间的边界610和620。由于空白区域填充有诸如黑色水平(black level)的虚拟数据，因此跨越这些边界的滤波可能会导致伪影或降低编码效率。因此，根据本发明的实施例，滤波处理将不适用于这些边界。
在另一示例中，如果使用不具有空白区域的立方体帧，则图3B所示的四个立方体布局330、340、350和360中的不连续性则如图6B所示。不连续性对应于两个立方体面或两组立方体面之间的边界630至660。跨越这些边界的滤波可能会导致伪影或降低编码效率。因此，根据本发明的实施例，滤波处理将不适用于这些边界。
图3A和3B中的组合立方体帧旨在说明立方体帧的一些示例。它们不是所有可能的立方体帧格式的详尽列表。例如，另一种类型的立方体帧(称为半立方体帧)如图7所示，其中帧710对应于具有空白区域的组合帧，并且帧720对应于不具有空白区域的组合帧。帧710的不连续性由虚线712来表示，并且帧720的不连续性由虚线722来表示。再次，根据本发明，在不连续性处不应用滤波处理。
以上公开的发明可以以各种形式包含在各种视频编码或解码系统中。例如，可以使用基于硬件的方法来实现本发明，例如专用集成电路(IC)、现场可编程逻辑阵列(FPGA)、数字信号处理器(DSP)、中央处理单元(CPU)等。本发明也可以使用在计算机、膝上型计算机或移动设备(例如智能电话)上执行的软件代码或固件代码来实现。此外，软件代码或固件代码可以在例如具有专用处理器(例如，视频编码引擎或协同处理器)的CPU的混合型平台上执行。
图8为根据本发明的实施例的视频处理系统的示例性流程图，其中根据检测到的立方体帧中的不连续性选择性地应用滤波。根据该方法，在步骤810中，接收从360度全景视频序列中的球面图像转换的六个立方体面的集合，其中六个立方体面的每个集合对应于投影到立方体上用于渲染360度虚拟现实的一个球面图像。在步骤820中，根据选择的立方体面格式将立方体面的每个集合收集成一个组合立方体帧。组合帧的各种示例如图3A和3B所示。在步骤830中，确定每个组合立方体帧内的一个或多个不连续边界。在组合帧中检测到的不连续性的各种示例如图6A、图6B和图7所示。在步骤840中，根据与所述一个或多个不连续边界相关的信息来处理组合立方体帧，其中，所述处理组合立方体帧的步骤包括：当使能滤波处理时，在每个组合立方体帧内的所述一个或多个不连续边界处跳过滤波处理。如上所述，滤波处理可以包括去块、SAO、ALF或任何组合。
本发明所公开的上述流程图可以对应于将在计算机、移动设备、数字信号处理器或可编程设备上执行的软件程序代码。程序代码可以用诸如C++的各种编程语言来编写。该流程图还可以对应于基于硬件的实现，其中硬件可以是一个或多个电子电路(例如，ASIC(专用集成电路)和FPGA(现场可编程门阵列))或处理器(例如，DSP(数字信号处理器))。
以上的描述是使本领域的技术人员在本文提供的特定应用和需求下能够实践本发明。本领域的技术人员将容易地观察到，在不脱离本发明的精神和范围内，可以进行多种修改和变动。因此，本发明并非限定在所示和描述的特定的实施例上，而本发明公开是为了符合原则和新颖性的最广泛的范围。在上述详细的描述中，各种具体的细节，用以提供对本发明的透彻的了解。尽管如此，将被本领域的技术人员理解的是，本发明能够被实践。
如上述所述的本发明的实施例，可以使用硬件、软件或其组合来实现。例如，本发明的一实施例可以是集成到视频压缩芯片中的电路或集成到视频压缩软件中的程序代码，以执行所描述的处理。本发明的实施例也可以是将在数字信号处理器上执行的程序代码来执行所描述的处理。本发明还涉及一系列的由计算机处理器、数字信号处理器、微处理器和现场可编程门阵列(FPGA)执行的功能。根据本发明，这些处理器可以被配置为执行特定任务，通过执行定义特定方法的计算机可读软件代码或固件代码来实现。软件代码或固件代码可以用不同的编程语言和不同的格式或样式来开发。软件代码也可以为不同的目标平台所编译。然而，软件代码的不同的代码格式、风格和语言，以及配置代码的其他方式以执行任务，均不脱离本发明之精神和范围。
本发明可以以其它具体形式实施而不背离其精神或本质特征。所描述的实施例在所有方面都仅是说明性的而不是限制性。本发明的范围因此由所附权利要求为准而不是由前面的描述所界定。因此，各种修改、改编以及所描述的实施例的各种特征的组合可以在不脱离本发明的范围如权利要求书中阐述的情况下实施。

Claims (20)

1.一种处理立方体面图像的方法，其特征在于，所述方法包括：
接收包含对应360度全景视频序列中的六个立方体面的视频比特流；
确定对应每组六个立方体面的每个立方体帧的一个或多个不连续边界；以及
根据与所述一个或多个不连续边界相关的信息来处理所述立方体帧，其中所述处理所述立方体帧的步骤包括：
在每个所述立方体帧内的所述一个或多个不连续边界处跳过滤波处理，其中所述滤波处理是否应用至所述立方体帧的所述一个或多个不连续边界是通过解析所述视频比特流中的开/关控制的语法来决定的。
2.根据权利要求1所述的方法，其特征在于，每个不连续边界位于一个立方体面和一个空白区域之间。
3.根据权利要求1所述的方法，其特征在于，每个不连续边界位于不共享共同立方体边缘的两个相邻立方体面之间。
4.根据权利要求1所述的方法，其特征在于，所述滤波处理对应于视频编码或视频解码中的环路滤波。
5.根据权利要求1所述的方法，其特征在于，所述滤波处理包括去块、样本自适应偏移、自适应环路滤波或其组合。
6.根据权利要求1所述的方法，其特征在于，所述开/关控制的语法处于所述视频比特流中的序列、视频、立方体面、视频参数集、序列参数集或应用参数集级。
7.根据权利要求1所述的方法，其特征在于，对于具有空白区域的立方体帧中的在所述立方体面和所述空白区域之间的所有不连续边界、以及在不具有空白区域的立方体帧中的不共享共同立方体边缘的相邻立方体面之间的所有不连续边界，跳过所述滤波处理。
8.根据权利要求1所述的方法，其特征在于，在每个所述立方体帧中的一个或多个连续立方体面边界处是否应用所述滤波处理，进一步通过在编码器侧发信的视频比特流中的开/关控制的语法来指示，或者通过在解码器侧解析的所述视频比特流中的所述开/关控制的语法来确定。
9.根据权利要求8所述的方法，其特征在于，在所述编码器侧被发信或者在所述解码器侧被解析的所述开/关控制的语法，控制所有连续立方体面边界的所述滤波处理。
10.根据权利要求8所述的方法，其特征在于，所述开/关控制的语法在所述编码器侧针对每个立方体面边界发信，或者在解码器侧进行解析，以控制所述每个立方体面边界的所述滤波处理。
11.一种处理立方体面图像的装置，其特征在于，所述装置包括一个或多个电子电路或处理器，用于执行以下步骤：
接收包含对应360度全景视频序列中的六个立方体面的视频比特流；
确定对应每组六个立方体面的每个立方体帧的一个或多个不连续边界；以及
根据与所述一个或多个不连续边界相关的信息来处理所述立方体帧，其中所述处理所述立方体帧的步骤包括：
在每个所述立方体帧内的所述一个或多个不连续边界处跳过滤波处理，其中所述滤波处理是否应用至所述立方体帧的所述一个或多个不连续边界是通过解析所述视频比特流中的开/关控制的语法来决定的。
12.根据权利要求11所述的处理立方体面图像的装置，其特征在于，每个不连续边界位于一个立方体面和一个空白区域之间。
13.根据权利要求11所述的处理立方体面图像的装置，其特征在于，每个不连续边界位于不共享共同立方体边缘的两个相邻立方体面之间。
14.根据权利要求11所述的处理立方体面图像的装置，其特征在于，所述滤波处理对应于视频编码或视频解码中的环路滤波。
15.根据权利要求11所述的处理立方体面图像的装置，其特征在于，所述滤波处理包括去块、样本自适应偏移、自适应环路滤波或其组合。
16.根据权利要求11所述的处理立方体面图像的装置，其特征在于，所述开/关控制的语法处于所述视频比特流中的序列、视频、立方体面、视频参数集、序列参数集或应用参数集级。
17.根据权利要求11所述的处理立方体面图像的装置，其特征在于，对于具有空白区域的立方体帧中的在所述立方体面和所述空白区域之间的所有不连续边界、以及在不具有空白区域的立方体帧中的不共享共同立方体边缘的相邻立方体面之间的所有不连续边界，跳过所述滤波处理。
18.根据权利要求11所述的处理立方体面图像的装置，其特征在于，在每个所述立方体帧中的一个或多个连续立方体面边界处是否应用所述滤波处理，进一步通过在编码器侧发信的视频比特流中的开/关控制的语法来指示，或者通过在解码器侧解析的所述视频比特流中的所述开/关控制的语法来确定。
19.根据权利要求18所述的处理立方体面图像的装置，其特征在于，在所述编码器侧被发信或者在所述解码器侧被解析的所述开/关控制的语法，控制所有连续立方体面边界的所述滤波处理。
20.根据权利要求18所述的处理立方体面图像的装置，其特征在于，所述开/关控制的语法在所述编码器侧针对每个立方体面边界发信，或者在解码器侧进行解析，以控制所述每个立方体面边界的所述滤波处理。
CN202010442596.6A 2016-06-15 2017-09-15 处理立方体面图像的方法和装置 Active CN111741289B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662350214P 2016-06-15 2016-06-15
US15/618,216 2017-06-09
US15/618,216 US10368067B2 (en) 2016-06-15 2017-06-09 Method and apparatus for selective filtering of cubic-face frames
CN201710831784.6A CN109246422B (zh) 2016-06-15 2017-09-15 处理立方体面图像的方法和装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201710831784.6A Division CN109246422B (zh) 2016-06-15 2017-09-15 处理立方体面图像的方法和装置

Publications (2)

Publication Number Publication Date
CN111741289A CN111741289A (zh) 2020-10-02
CN111741289B true CN111741289B (zh) 2022-03-25

Family

ID=60659974

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201710831784.6A Active CN109246422B (zh) 2016-06-15 2017-09-15 处理立方体面图像的方法和装置
CN202010442596.6A Active CN111741289B (zh) 2016-06-15 2017-09-15 处理立方体面图像的方法和装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201710831784.6A Active CN109246422B (zh) 2016-06-15 2017-09-15 处理立方体面图像的方法和装置

Country Status (3)

Country Link
US (2) US10368067B2 (zh)
CN (2) CN109246422B (zh)
TW (1) TWI669939B (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10277886B2 (en) * 2016-07-19 2019-04-30 Gopro, Inc. Mapping of spherical image data into rectangular faces for transport and decoding across networks
US20180054613A1 (en) * 2016-08-22 2018-02-22 Mediatek Inc. Video encoding method and apparatus with in-loop filtering process not applied to reconstructed blocks located at image content discontinuity edge and associated video decoding method and apparatus
CN108205797B (zh) * 2016-12-16 2021-05-11 杭州海康威视数字技术股份有限公司 一种全景视频融合方法及装置
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US10979663B2 (en) * 2017-03-30 2021-04-13 Yerba Buena Vr, Inc. Methods and apparatuses for image processing to optimize image resolution and for optimizing video streaming bandwidth for VR videos
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US11049219B2 (en) 2017-06-06 2021-06-29 Gopro, Inc. Methods and apparatus for multi-encoder processing of high resolution content
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
KR20200064989A (ko) * 2017-09-20 2020-06-08 브이아이디 스케일, 인크. 360도 비디오 코딩에서의 면 불연속 처리
US11432010B2 (en) 2017-12-19 2022-08-30 Vid Scale, Inc. Face discontinuity filtering for 360-degree video coding
US11212438B2 (en) * 2018-02-14 2021-12-28 Qualcomm Incorporated Loop filter padding for 360-degree video coding
CN111801947A (zh) * 2018-03-02 2020-10-20 华为技术有限公司 选择性环路滤波下的图像编码的装置及方法
GB2586095B (en) * 2018-03-22 2023-03-01 Mediatek Inc Sample adaptive offset filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
CN108765269A (zh) * 2018-05-29 2018-11-06 广州梦映动漫网络科技有限公司 一种全景漫画的生成方法以及电子设备
US11284054B1 (en) * 2018-08-30 2022-03-22 Largo Technology Group, Llc Systems and method for capturing, processing and displaying a 360° video
TWI700000B (zh) 2019-01-29 2020-07-21 威盛電子股份有限公司 全景影片影像穩定方法及裝置與影像穩定演算法評估方法
US11228781B2 (en) * 2019-06-26 2022-01-18 Gopro, Inc. Methods and apparatus for maximizing codec bandwidth in video applications
US11109067B2 (en) 2019-06-26 2021-08-31 Gopro, Inc. Methods and apparatus for maximizing codec bandwidth in video applications
US11190801B2 (en) 2019-07-02 2021-11-30 Mediatek Inc. Video encoding method with syntax element signaling of mapping function employed by cube-based projection and associated video decoding method
US11659206B2 (en) 2019-07-02 2023-05-23 Mediatek Inc. Video encoding method with syntax element signaling of guard band configuration of projection-based frame and associated video decoding method and apparatus
US11190768B2 (en) 2019-07-02 2021-11-30 Mediatek Inc. Video encoding method with syntax element signaling of packing of projection faces derived from cube-based projection and associated video decoding method and apparatus
CN110416240A (zh) * 2019-08-09 2019-11-05 北京思比科微电子技术股份有限公司 一种图像传感器封装结构
CN114821700A (zh) * 2019-09-27 2022-07-29 深圳看到科技有限公司 画面帧更新方法、更新装置及存储介质
US11481863B2 (en) 2019-10-23 2022-10-25 Gopro, Inc. Methods and apparatus for hardware accelerated image processing for spherical projections
WO2021101201A1 (ko) * 2019-11-18 2021-05-27 엘지전자 주식회사 루프 필터링을 제어하는 영상 코딩 장치 및 방법
WO2021118293A1 (ko) 2019-12-12 2021-06-17 엘지전자 주식회사 필터링 기반 영상 코딩 장치 및 방법
WO2021138143A1 (en) 2019-12-30 2021-07-08 Alibaba Group Holding Limited Methods for signaling virtual boundaries and wrap-around motion compensation
US11477490B2 (en) * 2020-01-03 2022-10-18 Mediatek Inc. Video processing method with sample adaptive offset filtering disabled across virtual boundary in reconstructed frame and associated video processing apparatus

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104091169A (zh) * 2013-12-12 2014-10-08 华南理工大学 基于多特征融合的行为识别方法
CN104156929A (zh) * 2014-09-05 2014-11-19 西安电子科技大学 基于全局滤波的红外弱小目标背景抑制方法及其装置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5124915A (en) * 1990-05-29 1992-06-23 Arthur Krenzel Computer-aided data collection system for assisting in analyzing critical situations
US7391450B2 (en) * 2002-08-16 2008-06-24 Zoran Corporation Techniques for modifying image field data
US7408576B2 (en) * 2002-08-16 2008-08-05 Zoran Corporation Techniques for modifying image field data as a function of radius across the image field
US8068115B2 (en) * 2003-05-19 2011-11-29 Microvision, Inc. Image generation with interpolation and distortion correction
TWI297875B (en) * 2004-09-16 2008-06-11 Novatek Microelectronics Corp Image processing method and device using thereof
WO2007013296A1 (ja) * 2005-07-28 2007-02-01 Shima Seiki Manufacturing, Ltd. ループシミュレーション装置とその方法並びにそのプログラム
JP4104631B2 (ja) * 2006-03-27 2008-06-18 三洋電機株式会社 運転支援装置
US7581186B2 (en) * 2006-09-11 2009-08-25 Apple Inc. Media manager with integrated browsers
US8059887B2 (en) * 2006-09-25 2011-11-15 Sri International System and method for providing mobile range sensing
US8694195B2 (en) * 2007-12-04 2014-04-08 Volkswagen Ag Motor vehicle having a wheel-view camera and method for controlling a wheel-view camera system
US8230360B2 (en) * 2008-01-04 2012-07-24 Apple Inc. User interface for selection from media collection
GB2465786A (en) * 2008-11-28 2010-06-02 Sharp Kk An optical system for varying the perceived shape of a display surface
JP5049300B2 (ja) * 2009-01-20 2012-10-17 クラリオン株式会社 障害物検出表示装置
CN101540046B (zh) * 2009-04-10 2011-07-27 凌阳电通科技股份有限公司 基于图像特征的全景图拼接方法和装置
US20100306657A1 (en) * 2009-06-01 2010-12-02 3Dlabs Inc., Ltd. Audio-Enhanced User Interface for Browsing
JP5364627B2 (ja) * 2010-03-17 2013-12-11 富士フイルム株式会社 パノラマ画像生成方法、パノラマ画像生成プログラム、撮像装置
US8570442B2 (en) * 2011-07-12 2013-10-29 Xerox Corporation Hyperspectral image reconstruction via a compressed sensing framework
CN102685532B (zh) 2012-06-04 2014-04-16 山东大学 自由视点四维空间视频编码系统的编码方法
KR20140100656A (ko) 2013-02-06 2014-08-18 한국전자통신연구원 전방향 영상 및 3차원 데이터를 이용한 시점 영상 제공 장치 및 방법
US10212387B2 (en) * 2013-03-28 2019-02-19 Irdeto B.V. Processing digital content
US9299004B2 (en) * 2013-10-24 2016-03-29 Adobe Systems Incorporated Image foreground detection
US9986154B2 (en) * 2014-05-21 2018-05-29 Here Global B.V. Developing a panoramic image
US10313656B2 (en) * 2014-09-22 2019-06-04 Samsung Electronics Company Ltd. Image stitching for three-dimensional video
US9996680B2 (en) * 2015-01-18 2018-06-12 F. Scott Deaver Methods and related apparatus for managing access to digital assets
US9984494B2 (en) * 2015-01-26 2018-05-29 Uber Technologies, Inc. Map-like summary visualization of street-level distance data and panorama data
US9685088B2 (en) * 2015-04-10 2017-06-20 Architecture Technology, Inc. Communication travel plan generation system
US9704217B2 (en) * 2015-04-20 2017-07-11 Intel Corporation Apparatus and method for non-uniform frame buffer rasterization
CN105187708A (zh) * 2015-07-22 2015-12-23 北京元心科技有限公司 拍摄全景图的方法以及系统
US10063792B1 (en) * 2015-09-30 2018-08-28 Amazon Technologies, Inc. Formatting stitched panoramic frames for transmission
US9992502B2 (en) * 2016-01-29 2018-06-05 Gopro, Inc. Apparatus and methods for video compression using multi-resolution scalable coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104091169A (zh) * 2013-12-12 2014-10-08 华南理工大学 基于多特征融合的行为识别方法
CN104156929A (zh) * 2014-09-05 2014-11-19 西安电子科技大学 基于全局滤波的红外弱小目标背景抑制方法及其装置

Also Published As

Publication number Publication date
US20190246105A1 (en) 2019-08-08
TWI669939B (zh) 2019-08-21
US10972730B2 (en) 2021-04-06
CN111741289A (zh) 2020-10-02
CN109246422A (zh) 2019-01-18
TW201811024A (zh) 2018-03-16
US20170366808A1 (en) 2017-12-21
CN109246422B (zh) 2020-06-30
US10368067B2 (en) 2019-07-30

Similar Documents

Publication Publication Date Title
CN111741289B (zh) 处理立方体面图像的方法和装置
CN108012155B (zh) 预拼接图像的视频编码方法、视频解码方法和相关的装置
US11431902B2 (en) Method and apparatus for reconstructing 360-degree image according to projection format
US20180054613A1 (en) Video encoding method and apparatus with in-loop filtering process not applied to reconstructed blocks located at image content discontinuity edge and associated video decoding method and apparatus
US11212497B2 (en) Method and apparatus for producing 360 degree image content on rectangular projection by selectively applying in-loop filter
WO2017125030A1 (en) Apparatus of inter prediction for spherical images and cubic images
US20180192074A1 (en) Video processing method for processing projection-based frame with 360-degree content represented by projection faces packed in 360-degree virtual reality projection layout
US20170272758A1 (en) Video encoding method and apparatus using independent partition coding and associated video decoding method and apparatus
JP2020058055A (ja) 多視点信号コーデック
US20180098090A1 (en) Method and Apparatus for Rearranging VR Video Format and Constrained Encoding Parameters
US11343504B2 (en) Apparatus and method for picture coding with selective loop-filtering
US11882276B2 (en) Method and apparatus for signaling adaptive loop filter parameters in video coding
US20230362410A1 (en) Method and apparatus of encoding/decoding image data based on tree structure-based block division
WO2017220012A1 (en) Method and apparatus of face independent coding structure for vr video
WO2014166338A1 (en) Method and apparatus for prediction value derivation in intra coding
US20200267385A1 (en) Method for processing synchronised image, and apparatus therefor
US20230328273A1 (en) Method for encoding video using effective differential motion vector transmission method in omnidirectional camera, and method and device
WO2013105946A1 (en) Motion compensating transformation for video coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant