CN109716766A - 一种滤波360度视频边界的方法及装置 - Google Patents

一种滤波360度视频边界的方法及装置 Download PDF

Info

Publication number
CN109716766A
CN109716766A CN201780037830.3A CN201780037830A CN109716766A CN 109716766 A CN109716766 A CN 109716766A CN 201780037830 A CN201780037830 A CN 201780037830A CN 109716766 A CN109716766 A CN 109716766A
Authority
CN
China
Prior art keywords
face
edge
pixels
image
projected image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780037830.3A
Other languages
English (en)
Other versions
CN109716766B (zh
Inventor
许晓中
刘杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN109716766A publication Critical patent/CN109716766A/zh
Application granted granted Critical
Publication of CN109716766B publication Critical patent/CN109716766B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/053—Detail-in-context presentations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种用于编码或者解码360度虚拟现实视频的视频系统。该系统执行滤波操作以减少全向图像的投影图像中的编码伪影和非连续性。该视频系统确定该投影图像的第一边缘和第二边缘。该第一边缘和该第二边缘物理上相关联而作为该全向图像中的公共边缘，但在该投影图像中不是物理连接。该系统基于位于该第一边缘附近的第一像素集和位于第二边缘附近的第二像素集计算滤波像素集。

Description

一种滤波360度视频边界的方法及装置
交叉引用
本发明主张在2016年07月15日提出的申请号为62/362,613的美国临时专利申请的优先权，主张在2016年09月08日提出的申请号为62/384,768的美国临时专利申请的优先权，主张在2017年07月12日提出的申请号为15/647,630的美国临时专利申请的优先权，其内容以引用方式整体并入本文中。
技术领域
本发明涉及视频处理。更具体而言，本发明涉及一种滤波图像以用于360度虚拟现实(360-degree virtual reality，360VR)视频呈现的方法。
背景技术
除非此处另有说明外，本部分所描述的方法相对于权利要求而言不是现有技术，并且本部分包含的内容不被承认是现有技术。
360度虚拟现实是变化的、增强的或者替代的环境的视听模拟。视觉实境视频环绕着用户，使得用户在向任何方向或者在任何任意视野角度上朝周围看时，感觉他或者她处于现实生活中。360度虚拟现实视频产生独特的高质量且高分辨率的全景视频，以在用于各种应用的打印和全景虚拟旅游产业中的使用，例如，娱乐、导向训练(pilot training)、手术和在空间或者深水中的勘探。
发明内容
以下发明内容仅是说明性的，不打算以任何方式加以限制。也就是说，以下发明内容被提供以介绍此处所描述的新且非显而易见的技术的概念、重点、好处和优势。选择而不是所有的实施方式在下面的详细说明中进行进一步描述。因此，以下发明内容不用于确定所要求主题的本质特征，也不用于确定所要求主题的范围。
本发明的一些实施例提供了一种用于编码或者解码360度虚拟现实视频的视频系统。该系统执行滤波操作以减少全向图像的投影图像中的编码伪影和非连续性。该视频系统确定该投影图像的第一边缘和第二边缘。该第一边缘和该第二边缘物理上相关联而作为该全向图像中的公共边缘，但在该投影图像中不是物理连接。该系统然后基于位于该第一边缘附近的第一像素(pixels)集和位于第二边缘附近的第二像素集计算滤波像素集本发明的一些实施例提供了一种用于编码或者解码360度虚拟现实视频的视频系统。该系统执行滤波操作以减少全向图像的投影图像中的编码伪影和非连续性。该视频系统确定该投影图像的第一边缘和第二边缘。该第一边缘和该第二边缘物理上相关联而作为该全向图像中的公共边缘，但在该投影图像中不是物理连接。该系统然后基于位于该第一边缘附近的第一像素集和位于第二边缘附近的第二像素集计算滤波像素集。
在一些实施例中，该全向图像是具有多个面的多面体，并且，该投影图像包括该多面体的该多个面的布局。该第一边缘是该多面体的第一面的边缘，第二边缘是该多面体的第二面的边缘，该第一像素集位于该多面体的该第一面中，且该第二像素集位于该多面体的该第二面中。作为其滤波操作的一部分，该视频系统根据该第一面和该第二面之间的几何关系重新排列该多面体的第二面的多个像素。该几何关系由该投影图像中的该多面体的该多个面的布局定义。重新排列该第二面的多个像素可以包括基于该第一面和该第二面之间的该几何关系旋转或者跳过该第二面的多个像素。在一些实施例中，该第二面的该重新排列的多个像素被存储在该投影图像的与该第一边缘相邻的空白区域。在一些实施例中，该第二面的该重新排列的多个像素被存储在临时缓存器中，其中该临时缓存器不存储来自于该投影图像的空白区域的多个像素。该视频系统基于该第一面的多个像素和该第二面的该重新排列的多个像素计算用于该第一像素集和该第二像素集的滤波值集。
附图说明
提供下列图式以进一步理解本发明公开的内容，并且这些图式被纳入且构成本发明公开的一部分。这些图式说明了本发明的实施方式，并与说明书一起用以解释本发明的原理。为了清楚地说明本发明的概念，由于与实际实施方式中的尺寸相比，一些组件可以不按照比例被示出，这些图式无需按照比例绘制。
图1概念性示出了全向图像(omnidirectional image)的已投影图像内的非连续性滤波。
图2列出并示出了几种不同类型的多面体(platonic solid)及其对应的2D投影。
图3示出了在立方体格式中的全向图像到2D投影图像的投影。
图4示出了在4x3立方体平面图像中公共边缘的确定。
图5标出了执行用于全向图像的投影图像的滤波操作的360度虚拟现实视频系统。
图6a概念性示出了穿过4x3立方体平面图像内物理连接的面之间边缘处的滤波。
图6b概念性示出了穿过4x3立方体平面图像内非物理连接的面之间边缘处的滤波。
图7示出了在空白区域中将面旋转或重排列的版本进行存储以便于在穿过4x3立方体平面图像内面的边缘进行滤波。
图8示出了基于重新排列的面的投影图像的滤波。
图9概念性示出了执行滤波以减少位于全向图像的投影图像的边缘或者边界附近的伪影(artifact)和非连续性的过程。
图10概念性示出了执行滤波以减少多面体全向图像的投影图像中位于多面体面边缘附近的伪影和非连续性的过程。
图11示出了实现360度虚拟现实视频系统的视频编码器或者视频编码装置。
图12示出了实现360度虚拟现实视频系统的视频解码器或者视频解码装置。
图13示出了基于视窗(viewport)切换约束的最大视频窗口尺寸。
图14概念性示出了在本发明一些实施例中实现的电子系统。
具体实施方式
在下面详细的说明书中，为了透彻理解相关教示内容，通过举例的方式进行说明大量具体的细节。基于本文所描述的教示内容的任何改变、推导和/或拓展均在本发明的保护范围内。在一些例子中，为了避免不必要地混淆本发明的教示内容的方面，在相对较高的级别而无细节上描述已知的方法、程序、组件和/或关于此处所公开的一个或者多个示例性实施方式的电路。
360度虚拟现实体验通常是基于二维(two-dimensional，2D)图像的视频，二维图像是全向图像的投影。几何上，全向图像采取环绕着观察者的三维(three-dimensional，3D)物体的内表面的形式。投影图像是全向图像在平面的投影。
存在很多将全向图像投影到平面的方法。最常用的方法是等角投影(equirectangular projection)，其将球体的全向图像投影到平面。(这类似于以平面上的矩形格式描述地球表面的制图学。)这类型的投影是一个简单的转换过程，其会导致在球体的不同维度处不同数量的失真。具体地，投影在球体的赤道附近具有最小失真或者免失真，而在球体的两极附近存在最大拉伸的最大失真。
理论上，球体的全向图像没有边界或者边缘，因而没有非连续性。当将球形的全向图像投影到2D平面(例如，通过等角投影)时，全向的展开将图像进行分裂，并创建边缘(或者图像边界)，因而在图像的边缘处存在非连续性。(已投影图像的每个边缘也是图像的边缘。)
被投影到多面体的表面上的球体的全向图像在多面体的不同面之间沿着每个面的边缘处存在非连续性。当多面体全向图像被投影到2D平面时，图像的展开创建更大的非连续性，如多面体的至少一些面变得相互分离一样。
本发明的一些实施例提供一种视频系统，其执行沿着2D图像的边缘和/或边界滤波非连续性和/或编码伪影的方法，2D图像是360度虚拟现实视频的全向图像的投影。视频系统接收全向图像的投影图像。视频系统识别投影图像的第一边缘和第二边缘。第一边缘和第二边缘物理上相关联而作为全向图像内的公共边缘，但是在投影图像内不是物理连接的。随后，视频系统基于位于第一边缘附近的第一像素(pixels)集和位于第二边缘附近的第二像素集，计算滤波像素集。(位于边缘附近的像素包括位于最接近边缘处的N列或者N行像素)。
图1概念性示出了全向图像的已投影图像内的非连续性滤波。具体地，图标出了球面的全向图像105(半径为r)，通过等角投影，全向图像105被投影成2D平面图像106(宽度为2πr且高度为πr)。
已投影图像106是具有边界101到边界104的矩形图像。边界102是球面105的北极的投影，而边界104是球面105的南极的投影。边界101和边界103对应于球面105的沿着球面105的一个经度线(即公共边缘)的分离/展开。换句话说，边界101和边界103是已投影图像106的边缘，这两个边缘从球面105的北极延伸到南极。
已投影图像106沿着边界101的区域不与已投影图像沿着边界103的区域物理连接。但是，由于对应于原始的球面的全向图像105的物理连接的区域，已投影图像106沿着边界101的区域与已投影图像沿着边界103的区域物理上相关联。
在一些实施例中，视频系统执行滤波操作以改善视觉质量和预测性能。滤波操作使得在逐块编码并解码视频图像时块(例如，宏块(macroblock)、编码块或者编码单元)之间所形成的伪影变得平滑。如图所示，已投影图像106被分割成用于编码的像素块(例如，块111到块119，块191到块199)。通过基于两个相邻块的像素值计算已滤波像素集(例如，通过平均这个块的像素值)，去块滤波(Deblock filtering)减少任意两个相邻块(例如块111和块112)之间的非连续性伪影。
对于已投影图像106，视频系统不仅将滤波应用到相邻块之间，而且将滤波应用到穿过边界的像素块之间，这些边界在全向图像105中物理连接在公共边缘(或者公共线)处但在已投影图像106中不物理连接。
如图所示，块119位于已投影图像106的边界103(即右边界)处，而块111位于边界101(即左边界)处。块111和块119在原始的全向球面105中共享沿着被投影成边界101和边界103的经度线的公共边缘。因此，尽管在已投影图像106中不是物理连接的，但是块119和块111的像素物理上是相关联的。
视频系统确认边界101和边界103作为公共边缘，并将滤波应用到穿过公共边缘的、像是相邻块的像素块119和像素块111之间。视频系统也将滤波应用到沿着边界101和边界103的包含像素块119和像素块111的其他像素块上。如图所示，滤波也被应用到落入到范围150内的像素上，这些像素包括沿着边界101和边界103的一个或者多个像素列。包含在滤波范围150中的像素集由滤波器的具体内容来确定。
图1示出了沿着球面的全向图像的等角投影图像的边界的像素块的滤波。在一些实施例中，全向图像可以被投影到多面体(platonic solid)，例如立方体(6面)、四面体(4面)、八面体(8面)、十二面体(12面)或者二十面体(20面)。不同于球面，其表面是非平面，会导致失真的投影，多面体具有通过简单地展开而可以被投影到平面(2D投影)而没有更多失真的平面。图2列出并示出了几种不同类型的多面体(platonic solid)及其对应的2D投影。此图也包括了其相对于球面投影和等角投影的面积比。
在一些实施例中，使用多面体投影的视频系统将滤波应用到沿着多面体的每个面的边缘的像素以及沿着展开的边界的像素。视频系统确定多面体面的边缘或者边界，这些多面体面在全向图像中共享公共边缘，但在投影图像中物理上非连接。沿着所确定的边缘的像素一起被视频系统滤波。
在一些实施例中，全向图像是多面体，并且投影图像包括多面体的面的排列。视频系统确定投影图像的第一边缘和第二边缘。第一边缘和第二边缘在全向图像中与公共边缘物理上相关联，但在投影图像中不是物理连接。第一边缘是多面体的第一面的边缘，第二边缘是多面体的第二面的边缘，第一像素集位于多面体的第一面内，且第二像素集位于多面体的第二面内。随后，视频系统基于位于第一边缘附近的第一像素集和位于第二边缘附近的第二像素集计算滤波像素集。
为了简单说明，下面的图3-8使用具有六面的立方体作为多面体全向图像的示例。本领域技术人员能理解的是，本发明所公开的确定公共边缘以及滤波的方法和/或系统也可以应用到其他类型的多面体(即四面体、立方体、八面体、十二面体、二十面体等)。
图3标出了立方体全向图像305到2D投影图像的投影。立方体305具有面A、面B、面C、面D、面E以及面F这六个面。面F位于前面；面A位于左侧；面C位于顶部；面E位于后面；面D位于底部；面B位于右侧。
为了根据符合作为部分360度虚拟现实视频的视频编解码格式，编解码立方体全向图像，立方体被投影到平坦的2D投影图像，其中立方体的这六个面被排列在2D矩形平面内。当将立方体305投影到平坦的2D投影时，可以形成这六个面的不同排列。
这六个面可以以3x2立方体格式被排列在3x2矩形平面306中，其中立方体的这些面填充矩形平面，而不考虑其在立方体305上的相互之间的几何关系。如图所示，3x2的矩形平面的顶行(top row)包括面A、面B和面C，而3x2的矩形平面的第二行包括面D、面E和面F。可以存在这六个面在3x2的矩形平面中的其他顺序的排列。
通过将立方体305展开到4x3形狀的平面307，立方体305的全向图像也可以被投影到平坦的2D投影图像。由于面C、面F和面D位于立方体305上(即面C和面F共享一个公共边缘；面F和面D共享一个公共边缘)，则面C、面F和面D在垂直方向上物理连接。由于面F、面B、面E和面A位于立方体305上(即面F和面B共享一个公共边缘；面B和面E共享一个公共边缘；面E和面A共享一个公共边缘)，则面F、面B、面E和面A在水平方向上物理连接。用空数据的空白区域来填充4x3平面的剩余部分。可以用默认值来填充，例如，黑像素(black pixel)。在解码4x3立方体平面图像307之后，位于对应面内的像素用于重构位于原始的立方体中的资料；丢弃不位于对应面(例如，用黑像素值填充的面)内的像素，或者保留在图像中以用于后面参考的目的。
在4x3立方体平面图像307中的物理连接的两个面具有物理上高度相关联的像素，是因为其在立方体305中物理连接且共享公共边缘。然而，并不是所有在立方体305中物理连接的面被分配成在4x3立方体平面图像307中相互相邻并共享公共边缘。在一些实施例中，视频系统在已投影图像307中确定在全向图像305中共享公共边缘的立方体面。具体地，对于在4x3立方体平面图像307中的每个面的每个边缘而言，视频系统确定在立方体305中共享公共边缘的另一个面的对应边缘，而不管这两个面在4x3立方体平面图像307中是否是物理连接。
图4示出了在4x3立方体平面图像内公共边缘的确定。如图所示，在4x3立方体平面图像307内，每个面与至少一个其他面通过公共边缘物理连接。例如，面B与面F和面E通过公共边缘物理连接，面F与面C、面B和面D通过公共边缘物理连接。
每个面也与立方体平面图像内的另一面共享至少一个公共边缘，其在4x3立方体平面图像中是物理非连接。图用虚线箭头示出了这些公共边缘。如图所示，面B的顶边缘与面C的右边缘共享公共边缘，面E的顶边缘与面C的顶边缘共享公共边缘，面A的右边缘与面F的左边缘共享公共边缘等。
如所述，视频系统执行滤波(例如，去块)，以减少穿过每个确定的公共边缘处的非连续性和压缩伪影。视频系统对两个面内位于公共边缘附近的像素进行滤波，以使得在解码之后，当全向图像被重构成立方体时，在穿过边缘处不存在非连续性或者明显的压缩伪影。在一些实施例中，执行的滤波操作包括采样适应偏移(sample adaptive offset，SAO)。在一些实施例中，滤波操作包括适应环路滤波器(adaptive loop filter，ALF)。
考虑到立方体(或者其他多面体)上的数据将被投影(映像)成其他格式，并使用其他格式(例如，球面格式)最终被显示出来，在一些实施例中，视频系统基于最终显示的全向图像的格式(而不是立方体格式)执行滤波操作。立方体(或者其他多面体)上的边缘在投影之后可以不是直线，但仍然可以被认为其位置是固定的。由于投影会引入潜在的失真，在已投影格式上的滤波操作不再是垂直/水平定向的，并且是非对称的。
由于并不是所有立方体305的物理连接的面在4x3立方体平面图像307内被放置成相邻，在已投影图像307中穿过某些边缘的像素的去块滤波将无法进行，是因为没有来自于两个相邻面的正确的像素。例如，面B的顶边缘应与面C的右边缘连接，面B的底边缘应与面D的右边缘连接。但是，在4x3立方体平面图像307内，这两个边缘连接到空白区域(具有默认值集)。在穿过这些边缘处应用滤波器可能导致不需要的滤波效果。又例如，面A的右边缘应于面F的左边缘连接。但是，在4x3立方体平面图像307内，这两个边缘将变成图像分界。
在一些实施例中，当在投影图像中不物理连接的立方体的第一面和立方体的第二面之间的公共边缘处执行滤波时，视频系统根据第一面和第二面之间的几何关系重新排列立方体的第二面的像素。由投影图像(例如，4x3立方体平面图像307)中的立方体的面的布局来定义几何关系。
图5标出了执行用于全向图像的投影图像的滤波操作的360度虚拟现实视频系统500。视频系统500包括转换预测处理510、像素重新排列处理520、滤波处理530和已解码图像缓存器550。在一些实施例中，由相应软件指令的模块执行转换预测处理510、像素重新排列处理520和滤波处理530，软件指令由实现视频系统500的计算设备的一个或者多个处理单元(例如，处理器)来执行。在一些实施例中，由硬件电路的模块执行转换预测处理510、像素重新排列处理520和滤波处理530，硬件电路由实现视频系统500的电子装置的一个或者多个集成电路(integrated circuit，IC)来实现。例如，在一些实施例中，由转换预测电路来执行转换预测处理510，由像素重新排列电路来执行像素重新排列处理520，由滤波电路来执行滤波处理530。
转换预测处理510产生4x3立方体平面图像307作为用于360度虚拟现实视频的已解码视频信息框(根据视频编解码格式作为视频编码处理或者视频解码处理的部分)。立方体平面图像307的像素被存储在视频系统的已解码图像缓存器550中，进而通过检索或者访问存储在已解码图像缓存器550中的像素，滤波处理530可以在穿过不同面的边缘处执行滤波。根据如图4所示的4x3立方体平面图像中面之间的几何关系，像素重新排列处理520重新排列(旋转、跳过等)已检索到的像素。
在一些实施例中，将重新排列的像素存储在已解码图像缓存器550中，以用于由滤波处理530访问。在一些实施例中，将重新排列的像素存储在独立于已解码缓存器550的临时缓存器560，以用于由滤波处理530访问。在一些实施例中，通过将像素存储在其相应的重新排列的位置上，系统重新排列面的像素。在一些实施例中，系统不将像素存储在其重新排列的位置上，而是使用映像表来模拟重新排列。也就是说，当在穿过一面与另一面的公共边缘处执行滤波时，系统根据映像表检索面的像素。
图6a概念性示出了穿过4x3立方体平面图像307(和立方体305)内物理连接的面之间边缘处的滤波。在穿过物理连接的面之间的公共边缘处进行滤波，而无需进行任何像素排列。这些公共边缘包括：面C的底部和面F的顶部之间的公共边缘；面F的底部和面D的底部之间的公共编码；面F的右侧与面B的左侧之间的公共边缘；面B的右侧与面E的左侧之间的公共边缘；以及面E的右侧和面A的左侧之间的公共边缘。
图6b概念性示出了穿过4x3立方体平面图像307内非物理连接的面之间边缘处的滤波。这些是立方体305中物理连接的面之间的公共边缘。在4x3立方体平面图像307中，共享这些公共边缘的面物理上相关联，但不是物理连接在一起。
为了滤波位于边缘附近的给定面的像素，视频系统(例如，在滤波处理530中)确定在立方体305中共享边缘作为公共边缘而在4x3立方体平面图像307中不共享边缘的相应面。随后，视频系统检索来自于给定面和确定的相应面的像素，以在穿过公共边缘处进行滤波。例如，为了滤波位于面F的左边缘附近的像素，视频系统确定面A的右边缘作为公共边缘，并检索出面A的像素以用于滤波。
确定的相应面无需位于相对于给定面的正确位置。在这些示例中，视频系统将旋转、跳过、转置或者其他重新排列确定的相应面的像素，为了使得来自于这两个面的像素对齐以进行滤波。相应面的像素的重新排列(或者重新定位)是基于由4x3立方体平面图像307中面的布局而定义的这两个面之间的几何关系的。
例如，面B的顶部是与面C的右侧的公共边缘，这样视频系统将面C的像素旋转90度。然后，视频系统基于旋转的像素在穿过公共边缘处执行滤波。又例如，面E的底部是与面D的底部的公共边缘，这样视频系统将面D的像素旋转180度。然后，视频系统基于旋转的像素在穿过公共边缘(面D的底部与面E的底部之间)处执行滤波。
在一些实施例中，视频系统将旋转版本或者重新排列版本的面存储在投影图像的空白区域中。这允许待滤波的像素一起被存储在已解码图像缓存器550中4x3立方体平面图像的相邻区域中，进而滤波处理530可以一起访问像素以进行滤波。
图7示出了将旋转或者重新排列版本的面存储到4x3立方体平面图像307的空白区域中以在穿过边缘处进行滤波。图示出了在阶段701-703这三个阶段中的滤波操作。
在第一阶段701中，转换预测处理510生成穿过4x3立方体平面图像307作为用于360度虚拟视频的已解码视频信息框。已解码视频信息框的像素被存储在已解码图像缓存器550中。开始时，存储的4x3立方体平面图像307包括空白区域(其用默认值填充)。
在第二阶段702中，投影图像重新排列处理520检索4x3立方体平面图像307中一些面的像素，重新排列这些检索的像素(旋转、跳过等)，并将这些重新排列的像素存储回到已解码图像缓存器550中位于4x3立方体平面图像307的空白区域上。
如图所示，面C的像素被旋转90度并被存储在与面B的顶边缘相邻的空白区域，被旋转180度并被存储在与面E的顶边缘相邻的空白区域，以及被旋转270度并被存储在与面A的顶边缘相邻的空白区域。(旋转版本的面C被标记为C’)。面D的像素被旋转270度并被存储在与面B的底边缘相邻的空白区域，被旋转180度并被存储在与面D的底边缘相邻的空白区域，以及被旋转90度并被存储在与面A的底边缘相邻的空白区域。(旋转版本的面D被标记为D’)。
在一些实施例中，整个面C被旋转并存储在沿着面B、面E和面A的顶边缘的空白区域，并且整个面D被旋转并存储在沿着面B、面E和面A的底边缘的空白区域。在一些实施例中，仅面C和面D的像素子集(例如，仅需要用于滤波像素)被存储在空白区域。在一些实施例中，为了方便穿过面A与面F之间的公共边缘处的滤波，视频系统检索面A的像素，并将面A的像素存储在与面F的左边缘相邻的存储区域(memory region)。在一些实施例中，由于面A的像素已经位于与面F相关的正确位置，面A的像素直接用于滤波与面F的公共边缘处，面F被存储在另一个存储装置中。
在第三阶段703中，当相对于这些公共边缘而言空白区域的正确位置处被重新排列的像素填充时，通过简单地从已解码图像缓存器550中检索位于边缘的两侧的像素，滤波处理530处理执行穿过每个公共边缘处的滤波。滤波处理基于检索的像素计算或者生成滤波像素，并将滤波像素存储回已解码图像缓存器550中(和/或单独的显示缓存器540中)。在图中，具有滤波像素的4x3立方体平面图像307的区域可以包括至少一些用散列线(hashlines)所示的部分。
根据相对于4x3立方体平面图像307中目标面的几何关系而正在被检索和被重新排列的面被称为参考面。通过基于来自于目标面的像素集和来自于参考面的重新排列像素集而计算滤波像素值，视频系统执行滤波。在图6a、图6b和图5的示例中，面C、面D和面A用作参考面，以用于对与目标面B、目标面E、目标面A和目标面F的公共边缘处进行滤波。参考面C被检索、旋转，并且位于旋转位置处的像素被调整或者被滤波，以为了在穿过与面B、面E和面A的公共边缘处执行滤波。参考面D也被检索、旋转，并且位于旋转位置处的像素被调整或者被滤波，以为了在穿过与面B、面E和面A的公共边缘处执行滤波。参考面A被检索(没有旋转)，并且其像素被调整或者被滤波，以为了在穿过与面F的公共边缘处执行滤波。
在一些实施例中，在滤波之后，如果由于滤波参考面内的像素已经被调整，则这些已被调整的像素被处理回去以替换4x3立方体平面图像中的相应的原始像素。例如，当根据来自于面C’和面B以及来自于面B和面D’的输入滤波面B中像素时，面C’和面D’中的一些像素由于滤波也被调整了。随后，视频系统使用这些面C’和面D’中已调整的像素来替换4x3立方体平面图像307中面C和面D中的原始像素。
图8示出了基于重新排列的面的投影图像的滤波。图示出了面F、面B、面E和面A在其与面C’(即旋转版本的面C)的公共边缘处的滤波。图也示出了在4x3立方体平面图像中面C’的已调整的像素替换面C的原始像素。图概念性地示出了在阶段801到阶段805这五个阶段中的滤波处理530的操作和已解码图像缓存器550的内容。
在第一阶段801中，存储在已解码图像缓存器550中的面C和面F的像素是还未被滤波的原始像素。面C和面F的像素被滤波处理500检索和滤波，以使得位于面C和面F的公共边缘(面C的底部和面F的顶部)附近的像素被调整以用于平滑编码伪影。
在第二阶段802中，位于公共边缘的面C和面F的已调整像素(如散列区域(hashedregion)所示)被存储回到已解码图像缓存器550中。随后，面C的像素用已调整的像素被像素重新排列处理520检索，被旋转90度，以使得面C和面B共享的公共边缘(面C的右侧和面B的顶部)对齐。在旋转位置处的面C’的像素可用于滤波处理530(位于4x3立方体平面图像的空白区域中，临时缓存器560中，或者直接跳过重新排列处理520)，滤波处理530调整面C’和面B中位于其公共边缘(面C的右侧和面B的顶部)处的像素，以用于平滑编码伪影。
在第三阶段803中，面C’的已调整像素被旋转回到其原始位置，并被存储回到已解码图像缓存器550(如散列区域所示；面B的已调整像素未被示出)。然后，面C的像素(与已调整像素)被像素重新排列处理520检索，旋转180度，以使得面C和面E共享的公共边缘(面C的顶部和面E的顶部)对齐。在旋转位置处的面C’的像素可用于滤波处理530，滤波处理530调整面C’和面E中位于其公共边缘(面C的顶部和面E的顶部)处的像素，以用于平滑编码伪影。
在第四阶段804中，面C’的已调整像素被旋转回到其原始位置，并被存储回到已解码图像缓存器550(如散列区域所示；面E的已调整像素未被示出)。然后，面C的像素(与已调整像素)被像素重新排列处理520检索，旋转270度，以使得面C和面A共享的公共边缘(面C的左侧和面A的顶部)对齐。在旋转位置处的面C’的像素可用于滤波处理530，滤波处理530调整面C’和面A中位于其公共边缘(面C的左侧和面A的顶部)处的像素，以用于平滑编码伪影。
在第五阶段805中，面C’的已调整像素被存储回到已解码图像缓存器550(如散列区域所示；面A的已调整像素未被示出)。此时，滤波操作已经完全调整面C的像素，以用于平滑围绕器四个边缘处的编码伪影。
图9概念性示出了执行滤波以减少位于全向图像的投影图像的边缘或者边界附近的伪影和非连续性的过程900。在一些实施例中，当编码或者解码360度虚拟现实视频时，实现视频系统500的计算设备的一个或者多个处理单元(例如，处理器)执行过程900。全向图像可以是球体或者多面体的表面。投影图像可以是从全向图像被投影成的等角投影图像(例如已投影图像106)、3x2立方体平面图像(例如图像136)、4x3立方体平面图像(例如图像307)或者其他类型投影图像。
过程900始于视频系统接收图像缓存器中全向图像的投影图像(在步骤910中)。随后，视频系统确定投影图像的第一边缘(在步骤920中)。随后，视频系统确定投影图像的第二边缘(在步骤930中)。第一边缘和第二边缘物理上相关联，作为全向图像中的公共边缘。在图1所示的示例中，第一边缘和第二边缘对应于等角投影图像106的边界101和边界103。在图3所示的示例中，第一边缘和第二边缘对应于在投影图像中物理上相关联但无需物理连接的面的边缘，例如，面B的顶边缘和面C的右边缘。
随后，视频系统滤波位于第一边缘附近的第一像素集和位于第二边缘附近的第二像素集(在步骤940中)。具体地，操作基于这两个像素集计算滤波或者调整的像素集。随后，视频系统更新图像缓存器的内容，以替换位于第一边缘附近的原始的第一像素集和位于第二边缘附近的原始的第二像素集(在步骤950中)。随后，过程900结束。
图10概念性示出了执行滤波以减少多面体全向图像的投影图像中位于多面体面边缘附近的伪影和非连续性的过程1000。在一些实施例中，当编码或者解码360度虚拟现实视频时，实现视频系统500的计算设备的一个或者多个处理单元(例如，处理器)执行过程1000。投影图像可以是从全向图像被投影成的3x2立方体平面图像(例如图像306)、4x3立方体平面图像(例如图像307)或者其他类型投影图像。
过程始于视频系统确定全向图像中物理连接的第一面和第二面(例如，第一面和第二面共享公共边缘)(在步骤1010中)。视频系统确定第一面和第二面在投影图像中的几何关系，以为了对齐第一面的第一边缘与第二面的第二边缘(在步骤1020中)。例如，视频系统将确定面C的右边缘和面B的顶边缘是全向图像305中的一个公共边缘，以及面C和面B之间在投影图像307中的几何关系要求面C被旋转90度以为了使面C的右边缘与面B的顶边缘对齐。视频系统根据确定的几何关系重新排列或者转置第二面的像素(例如，旋转或者跳过)(在步骤1030中)。
视频系统对位于第一边缘附近的第一面的像素和位于第二边缘附近的重新排列的第二面的像素执行滤波(在步骤1040中)。换言之，通过基于第一面的像素和重新排列的第二面的像素计算滤波像素集，视频系统执行穿过公共边缘处的平滑滤波。视频系统重新排列或者转置第二面的滤波像素以使其回到其原始位置(在步骤1050中)。随后，视频系统用第一面和第二面的滤波像素更新图像缓存器(在步骤1060中)。随后，过程1000结束。
图11示出了实现360度虚拟现实视频系统的视频编码器1100或者视频编码装置。具体地，视频编码器在全向图像的投影图像的边缘或者边界处执行滤波(例如，去块)，以作为其环路滤波操作(in-loop filtering operation)的部分。
如图所示，视频编码器1100接收视频信号1105，并将信号编码成比特流1195。视频编码器1100具有几个组件或者模块，以用于编码输入视频信号1105，视频编码器1100包括转换量化模块1110、逆转换模块1115、帧内图像估计模块1120、帧内图像预测模块1125、运动补偿模块1130、运动估计模块1135、滤波控制分析模块1140、环路滤波器1145、已解码图像缓存器1150、运动向量(motion vector，MV)缓存器1165和运动向量预测模块1175，以及熵编码器1190。
在一些实施例中，模块1110到模块1190是由计算设备105的一个或者多个处理单元(例如处理器)正在执行的软件指令的模块。在一些实施例中，模块1110到模块1190是由电子装置的一个或者多个集成电路(integrated circuit，IC)实现的硬件电路的模块。尽管模組1110到模块1190被示为单独的模块，但是这些模块中的一些可以结合成一个独立的模块。
输入视频信号1105是原始的视频信号，其表示没有压缩的每个视频信息框的像素数据。在一些实施例中，原始的视频信号包括由360度虚拟现实摄像机提供的360度虚拟视频投影图像序列。转换量化模块1110将原始的视频的像素数据(减去来自于帧内预测模块1125或者运动补偿模块1130的预测像素数据1113)转换成量化的转置系数(transformcoefficient)1112(例如，来自于离散余弦变换(Discrete Cosine Transform，DCT))，转置系数1112由熵编码器1190编码成比特流1195。逆转换模块1115对转置系数1112执行逆转换，并产生已解码像素数据1117(在添加预测像素数据1113之后)。在一些实施例中，已解码像素数据1117被临时存储在线缓存器(line buffer)中(未示出)，以用于帧内图像预测和空间运动向量预测。
帧内图像估计模块1120基于已解码像素数据1117执行帧内预测，以产生帧内预测数据。帧内预测数据被提供给熵编码器1190，以将其编码成比特流1195。帧内预测数据也由帧内图像预测模块1125来使用，以产生预测像素数据1113。
运动估计模块1135通过产生存储在已解码图像缓存器1150中的之前已解码信息框的参考像素数据的运动向量，以执行画面间预测。这些运动向量被提供给运动补偿模块1130，以产生预测像素数据。这些运动向量对重构解码器侧的视频信息框也是必要的。不是编码比特流中整个实际运动向量，视频编码器1100使用时间运动向量预测来产生预测运动向量，以及用于运动补偿的运动向量与预测运动向量之间的差被编码为残差运动数据，并被存储在比特流1195中，以用于解码器。
视频编码器1100基于被生成用于编码之前视频信息框的参考运动向量，生成预测运动向量，即被用于执行运动补偿的运动补偿运动向量。视频编码器1100从运动向量缓存器1165中检索来自于之前视频信息框的参考运动向量。视频编码器1100将被生成用于当前视频信息框的这些运动向量存储到运动向量缓存器1165中，以作为用于生成预测运动向量的参考运动向量。
运动向量预测模块1175使用参考运动向量来创建预测运动向量。预测运动向量可以由空间运动向量预测或者时间运动向量预测来计算。预测运动向量和当前信息框的运动补偿运动向量(motion compensation MV，MC MV)之间的差(残差运动数据)被熵编码器1190编码成比特流1195。
通过使用熵编码技术，熵编码器1190将各种参数和数据编码成比特流1195，例如，内容适应二进制算术编码(context-adaptive binary arithmetic coding，CABAC)或者赫夫曼编码(Huffman encoding)。熵编码器1190将参数编码成比特流，例如，量化的转换数据和残差运动数据。
对于一些实施例而言，转换量化模块1110、逆转换模块1115、帧内图像估计模块1120、帧内图像预测模块1125、运动补偿模块1130和运动估计模块1135的操作对应于转换预测处理510。转换预测处理510产生存储在已解码图像缓存器1150中的已解码像素(已解码图像缓存器1150对应于已解码图像缓存器550)。
环路滤波器1145执行滤波或者平滑操作，以减少编码的伪影，特别是位于块的边界的伪影。在一些实施例中，所执行的滤波操作包括样本适应偏移(sample adaptiveoffset，SAO)。在一些实施例中，滤波操作包括适应环路滤波器(adaptive loop filter，ALF)。
环路滤波器1145通过访问并更新存储在已解码图像缓存器1150中的像素而执行滤波操作。在一些实施例中，环路滤波器1145也执行操作，以减少由360度虚拟现实投影图像的边缘处的非连续性所产生的伪影，例如，等角投影的边缘处，或者多面体投影的面之间的公共边缘处。在一些实施例中，环路滤波器1145执行滤波处理530和像素重新排列处理520的功能。在一些实施例中，环路滤波器1145也提供临时缓存器(即临时缓存器560)，以临时将重新排列像素作为滤波处理530的输入。
图12示出了实现360度虚拟现实视频系统500的视频解码器1200或者视频解码装置。具体地，视频解码器在全向图像的投影图像的边缘或者边界处执行滤波(例如，去块)，以作为其环路滤波操作(in-loop filtering operation)的部分。
如图所示，视频解码器1200接收比特流1295，并将比特流解码成视频信息框的像素数据，以用于显示。视频解码器1200具有几个组件或者模块，以用于解码比特流1295，视频解码器1200包括逆转换模块1215、帧内图像预测模块1225、运动补偿模块1235、环路滤波器1245、已解码图像缓存器1250、运动向量缓存器1265和运动向量预测模块1275，以及比特流解析器1290。
在一些实施例中，模块1210到模块1290是由计算设备的一个或者多个处理单元(例如处理器)正在执行的软件指令的模块。在一些实施例中，模块1210到模块1290是由电子装置的一个或者多个集成电路实现的硬件电路的模块。尽管模块1210到模块1290被示为单独的模块，但是这些模块中的一些可以结合成一个独立的模块。
逆转换模块1215对转置系数1212执行逆转换，并产生已解码像素数据1217(在添加来自于帧内预测模块1225或者运动补偿模块1235的预测像素数据1213之后)。已解码像素数据1217被存储在已解码图像缓存器1250中。帧内图像预测模块1225接收来自于比特流1295的帧内预测资料，并根据此产生预测像素数据1213，预测像素数据1213来自于存储在已解码图像缓存器1250中的已解码像素数据1217。在一些实施例中，已解码像素数据1217也被存储线缓存器(line buffer)中(未示出)，以用于帧内图像预测和空间运动向量预测。
在一些实施例中，已解码图像缓存器1250的内容用于显示。显示设备1255检索已解码图像缓存器1250的内容，以直接用于显示，或者检索已解码图像缓存器的内容到显示缓存器。显示设备可以是虚拟显示设备(例如，虚拟现实护目镜(VR goggle))，其以虚拟显示呈现的方式展现已解码图像缓存器的内容。在一些实施例中，显示设备1255基于用户输入指定视端口(viewport)，并基于视端口显示已解码360度虚拟现实视频。
运动补偿模块1235根据运动补偿运动向量产生来自于存储在已解码图像缓存器1250中的已解码像素数据的预测像素数据1213。通过添加由比特流1295所接收的残差运动数据以及由运动向量预测模块1275所接收的预测运动向量，这些运动补偿运动向量被重构。
视频解码器1200基于被生成用于解码之前视频信息框的参考运动向量生成预测运动向量，即运动补偿运动向量用于执行运动补偿。视频解码器1200从运动向量缓存器1265中检索之前视频信息框的参考运动向量。视频解码器1200也将被生成用于解码当前视频信息框的运动补偿运动向量存储到运动向量缓存器1265中，作为参考运动向量，以用于产生预测运动向量。
对于一些实施例而言，逆转换模块1215、帧内图像预测模块1225和运动补偿模块1235的操作对应于转换预测处理510。转换预测处理510产生存储在已解码图像缓存器1250中的已解码像素(已解码图像缓存器1250对应于已解码图像缓存器550)。
环路滤波器1245执行滤波或者平滑操作，以减少编码的伪影，特别是位于块的边界的伪影。在一些实施例中，所执行的滤波操作包括样本适应偏移(sample adaptiveoffset，SAO)。在一些实施例中，滤波操作包括适应环路滤波器(adaptive loop filter，ALF)。
环路滤波器1245通过访问并更新存储在已解码图像缓存器1250中的像素而执行滤波操作。在一些实施例中，环路滤波器1245也执行操作，以减少由360度虚拟现实投影图像的边缘处的非连续性所产生的伪影，例如，等角投影的边缘处，或者多面体投影的面之间的公共边缘处。在一些实施例中，环路滤波器1245执行滤波处理530和像素重新排列处理520的功能。在一些实施例中，环路滤波器1145也提供临时缓存器(即临时缓存器560)，以临时将重新排列像素作为滤波处理530的输入。
视窗切换约束
虚拟现实和360度视频对编解碼和几乎所有的情况提出了很多要求。虚拟现实和360度视频内容消费的最常用的使用情况是观察者(例如，显示设备1255)从小窗口(有时也称为视窗)观看展现从各方(all sides)捕获到的数据的图像内部。观察者可在智能手机应用(smart phone app)上正在观看360度虚拟现实视频。观察者也可在头盔式显示器(head-mounted display，HMD)上正在观看这些内容。视窗尺寸通常较小(例如，高清(highdefinition，HD))，但是对应于各方的视频分辨率可以明显更高(例如，8K)。
当360度虚拟现实视频被显示在某些终端上时，仅整个视频内容的部分将被显示在观看窗口(即视端口)。使用者可自由切换视窗，进而在需要的时候在视窗上可呈现之前位于视窗之外的其他内容。改变被约束在视窗中的视频内容，称为视窗切换(viewportswitching)。视端口可以以其位置(相对于360度视频的原始位置的左上位置)和尺寸(宽带和高度)的形式来被描述。
视窗切换可以是任意的。其位置可以从x和/或y方向上的一个位置移动到另一个位置(任何位置)。本发明的一些实施例提供了一种视频系统，视频系统提出了切换的约束。具体地，对delta_X和delta_Y的可能的值限制一些约束，其中delta_X涉及x方向上的改变，而delta_Y涉及y方向上的改变。
在一些实施例中，可以单独或者一起设置delta_X和delta_Y的值。设置在负方向和正方向上的最大值，例如，大于某个阈值，以使得从一个时刻到相邻时刻时视窗移动不会太急剧。在一些实施例中，delta_X被约束成(在负方向和正方向上)小于或者等于MAX_DELTA_WIDTH，delta_Y被约束成(在负方向和正方向上)小于或者等于MAX_DELTA_HEIGHT。
在一些实施例中，当视窗切换在两个方向上同时发生时，移动的总和|delta_X|+|delta_Y|被约束成小于或者等于MAX_DELTA_WIDTH(或者MAX_DELTA_HEIGHT)。MAX_DELTA_WIDTH或者MAX_DELTA_HEIGHT可以与视窗的宽度或者高度相关。在一个示例中，MAX_DELTA_WIDTH被设置为宽度的1/3；MAX_DELTA_HEIGHT被设置为高度的1/3。
在一些实施例中，当前一时刻和当前时刻在同一随机访问点处时，但不是在前一时刻和当前时刻在不同随机访问点处时，delta_X和delta_Y被约束。换句话说，当新的随机访问点被创建时(例如，在场景改变处，或者新序列的开端处)，则关于视窗切换的约束不被提出。
在一些实施例中，关于视窗切换的约束可以是基于每个随机访问点。视窗切换约束实际提供的是最大可能的窗口尺寸，以用于解碼一个特定随机访问点的视频内容。图13示出了基于视窗切换约束的最大视频窗口尺寸。
如图所示，从随机接入点处的第一图像开始，随机接入点处的任何其他图像与第一图像的视端口差被称为delta_X和delta_Y，其由MAX_DELTA_WIDTH和MAX_DELTA_HEIGHT来约束。需要用于解碼随机接入点的最大视频尺寸如点线的扩展的窗口尺寸所示。
电子系统示例
很多上述的特征和应用可以被实现为软件处理，其被指定为记录在计算机可读存储介质(computer readable storage medium)(也被称为计算机可读介质)上的指令集。当这些指令由一个或者多个计算单元或者处理单元(例如，一个或者多个处理器、处理器核或者其他处理单元)来执行时，则这些指令使得处理单元执行这些指令所表示的动作。计算机可读介质的示例包括但不限于CD-ROM、闪存驱动器(flash drive)、随机存取内存(randomaccess memory，RAM)芯片、硬盘、可擦写可程序设计只读存储器(erasable programmableread only memory，EPROM)，电可擦除可程序设计只读存储器(electrically erasableprogrammable read-only memory，EEPROM)等。计算机可读介质不包括通过无线或有线连接的载波和电信号。
在本说明书中，术语“软件”意味着包括只读存储器中的固件或者存储在磁存储设备中的应用程序，应用程序可以被读入到内存中以用于处理器进行处理。同时，在一些实施例中，多个软件发明可以作为更大程序的子部分来实现，而保留不同的软件发明。在一些实施例中，多个软件发明可以作为独立的程序来实现。最后，一起实现此处所描述的软件发明的独立的程序的任何结合是在本发明的范围内。在一些实施例中，当被安装以在一个或者多个电子系统上进行操作时，软件程序定义了一个或者多个特定的机器实现方式，机器实现方式执行和实施软件程序的操作。
图14概念性示出了在本发明一些实施例中实现的电子系统1400。电子系统1400可以是计算机(例如，台式计算机、个人计算机、平板计算机等)、电话、PDA或者其他种类的电子设备。这个电子系统包括各种类型的计算机可读媒质和用于各种其他类型的计算机可读媒介的界面。电子系统1400包括总线1405、处理单元1410、图像处理单元(graphics-processing unit，GPU)1415、系统内存1420、网络1425、只读存储器(read-only memory，ROM)1430、永久储存装置1435、输入设备1440和输出设备1445。
总线1405共同地表示与电子系统1400的大量的内部设备通信连接的所有系统总线、外设总线和芯片组总线。例如，总线1405通过图像处理单元1415、只读存储器1430、系统内存1420和永久存储设备1435，与处理单元1410通信连接。
对于这些各种内存单元，处理单元1410检索执行的指令和处理的数据，以为了执行本发明的处理。在不同实施例中，处理单元可以是单个处理器或者多核心(multi-core)处理器。某些指令被传输图像处理单元1415和并被其执行。图像处理单元1415可以卸除各种计算或补充由处理单元1410提供的图像处理。
只读存储器1430存储处理单元1410或者电子系统的其他模块所需要的静态数据和指令。另一方面，永久存储设备1435是一种读写内存设备(read-and-write memory)。这个设备是一种非易失性(non-volatile)内存单元，其即使在电子系统1400关闭时也存储指令和数据。本发明的一些实施例使用大容量存储设备(例如磁盘或光盘及其相应的磁盘驱动器)作为永久存储设备1435。
其他实施例使用可移动存储设备(如软盘、闪存设备等，以及其相应的磁盘驱动器)作为永久存储设备。与永久存储设备1435一样，系统内存1420是一种读写内存设备。但是，与存储设备1435不一样的是，系统内存1420是一种易失性(volatile)读写内存，例如随机读取内存。系统内存1420存储一些处理器在运行时需要的指令和数据。在一些实施例中，根据本发明的处理被存储在系统内存1420、永久存储设备1435和/或只读存储器1430中。例如，各种内存单元包括用于根据一些实施例的处理多媒体剪辑的指令。对于这些各种内存单元，处理单元1410检索执行的指令和处理的数据，以为了执行某些实施例的处理。
总线1405也连接到输入设备1440和输出设备1445。输入设备1440使得用户沟通信息并选择指令到电子系统上。输入设备1440包括字母数字键盘和指点设备(也被称为“光标控制设备”)，摄像机(如网络摄像机(webcam))，用于接收语音命令的麦克风或类似的设备等。输出设备1445显示由电子系统生成的图像或以其他方式输出的数据。输出设备1445包括打印机和显示设备，例如阴极射线管(cathode ray tube，CRT)或液晶显示器(liquidcrystal display，LCD)，以及扬声器或类似的音讯输出设备。一些实施例包括例如同时用作输入设备和输出设备的触摸屏等设备。
最后，如图14所示，总线1405也通过网络适配器(未示出)将电子系统1400耦接到网络1425。在这个方式中，计算机可以是计算机网络(例如，局域网(local area network，LAN)、广域网(wide area network，WAN)或者内部网络)或者网络的网络(例如互联网)的一部分。电子系统1400的任一或者所有组件可以与本发明结合使用。
一些实施例包括电子组件，例如，微处理器、存储设备和内存，其将计算机程序指令存储到机器可读介质或者计算机可读介质(可选地被称为计算机可读存储介质、机器可读介质或者机器可读存储介质)。计算机可读介质的一些实例包括RAM、ROM、只读光盘(read-only compact disc，CD-ROM)，可录制光盘(recordable compact disc，CD-R)、可擦写光盘(rewritable compact disc，CD-RW)、只读数字通用光盘(read-only digitalversatile disc)(例如，DVD-ROM，双层DVD-ROM)、各种可记录/可擦写DVD(例如DVD RAM、DVD-RW、DVD+RW等)、闪存(如SD卡、迷你SD卡，微SD卡等)、磁性和/或固态硬盘、只读和可刻录盘、超高密度光盘和其他任何光学介质或磁介质，以及软盘。计算机可读介质可以存储由至少一个处理单元执行的计算机程序，并且包括用于执行各种操作的指令集。计算机程序或计算机代码的示例包括机器代码，例如编译程序产生的机器代码，以及包含由计算机、电子组件或微处理器使用注释器(interpreter)而执行的高级代码的文档。
当以上讨论主要是指执行软件的微处理器或多核处理器时，很多上述的功能和应用程序由一个或多个集成电路执行，如特定应用的集成电路(application specificintegrated circuit，ASIC)或现场可程序设计门阵列(field programmable gate array，FPGA)。在一些实施例中，这种集成电路执行存储在电路本身上的指令。此外，一些实施例执行存储在可程序设计逻辑器件(programmable logic device，PLD)，ROM或RAM设备中的软件。
如本发明的说明书和任一权利要求中所使用，术语“计算机”、“服务器”、“处理器”和“内存”均指电子设备或其他技术设备。这些术语不包括人或群体。为了本说明书的目的，术语显示或显示设备指在电子设备上进行显示。如本发明的说明书和任一权利要求中所使用，术语“计算机可读介质”、“计算机可读媒质”和“机器可读介质”完全局限于有形的、物理的物体，其以计算机可读的形式存储信息。这些术语不包括任何无线信号、有线下载信号和其他任何短暂信号。
在结合许多具体细节的情况下描述了本发明时，本领域技术人员将认识到，本发明可以以其他具体形式而被实施，而不脱离本发明的精神。此外，大量的图(包括图9和图10)概念性示出了处理。这些处理的具体操作可以不以所示以及所描述的确切顺序来被执行。这些具体操作可用不在一个连续的操作系列中被执行，并且不同的具体操作可以在不同的实施例中被执行。另外，处理通过使用几个子处理而被实现，或者作为更大宏处理的部分。因此，本领域的技术人员将能理解的是，本发明不受前述说明性细节的限制，而是由权利要求书加以界定。
额外说明
本文所描述的主题有时表示不同的组件，其包含在或者连接到其他不同的组件。可以理解的是，所描述的结构仅是示例，实际上可以由许多其他结构来实施，以实现相同的功能。从概念上讲，任何实现相同功能的组件的排列实际上是“相关联的”，以便实现所需的功能。因此，不论结构或中间部件，为实现特定的功能而组合的任何两个组件被视为“相互关联”，以实现所需的功能。同样，任何两个相关联的组件被看作是相互“可操作连接”或“可操作耦接”，以实现特定功能。能相互关联的任何两个组件也被视为相互“可操作地耦合”以实现特定功能。可操作连接的具体例子包括但不限于物理可配对和/或物理上相互作用的组件，和/或无线可交互和/或无线上相互作用的组件，和/或逻辑上相互作用和/或逻辑上可交互的组件。
此外，关于基本上任何复数和/或单数术语的使用，本领域技术人员可以根据上下文和/或应用从复数转换为单数和/或从单数到复数。为清楚起见，本文明确规定了不同的单数/复数排列。
此外，本领域技术人员可以理解，通常，本发明所使用的术语特别是请求项中的，如请求项的主题，通常用作“开放”术语，例如，“包括”应解释为“包括但不限于，“有”应理解为“至少有”“包括”应解释为“包括但不限于”等。本领域技术人员可以进一步理解，若计划介绍特定数量的请求项的内容，将在请求项内明确表示，并且，在没有这类内容时将不显示。例如，为帮助理解，请求项可能包含短语“至少一个”和“一个或多个”，以介绍请求项的内容。然而，这些短语的使用不应理解为暗示使用不定冠词“a”或“an”介绍请求项的内容，而限制了任何特定的专利范围。甚至当相同的请求项包括介绍性短语“一个或多个”或“至少有一个”，不定冠词，例如“a”或“an”，则应被解释为表示至少一个或者更多，对于用于介绍权利要求的明确描述的使用而言，同样成立。此外，即使明确引用特定数量的介绍性内容，本领域技术人员可以认识到，这样的内容应被解释为表示所引用的数量，例如，没有其他修改的“两个引用”，意味着至少两个引用，或两个或两个以上的引用。此外，在使用类似于“A、B和C中的至少一个”的表述的情况下，通常如此表述是为了本领域技术人员可以理解表述，例如，“系统包括A、B和C中的至少一个”将包括但不限于单独具有A的系统，单独具有B的系统，单独具有C的系统，具有A和B的系统，具有A和C的系统，具有B和C的系统，和/或具有A、B和C的系统，等。本领域技术人员进一步可理解，无论在说明书中、请求项中或者图式中，由两个或两个以上的替代术语所表现的任何分隔的单词和/或短语应理解为，包括这些术语中的一个，其中一个，或者这两个术语的可能性。例如，“A或B”应理解为，“A”，或者“B”，或者“A和B”的可能性。
从上述可知，为了说明目的，此处已描述了各种实施方案，并且在不偏离本发明的范围和精神的情况下，可以进行各种变形。因此，此处所公开的各种实施方式不用于限制，权利要求表示的真实范围和精神。

Claims (20)

1.一种方法，其特征在于，包括：
接收全向图像的投影图像；
确定该投影图像的第一边缘；
确定该投影图像的第二边缘，其中该第一边缘和该第二边缘物理上相关联而作为该全向图像中的公共边缘，但在该投影图像中不是物理连接；以及
基于位于该第一边缘附近的第一像素集和位于第二边缘附近的第二像素集计算滤波像素集。
2.如权利要求1所述的方法，其中
该滤波为去块滤波，该去块滤波减少穿过该公共边缘处的非连续性和压缩伪影。
3.如权利要求1所述的方法，其特征在于，
该全向图像是具有多个面的多面体，并且，该投影图像包括该多面体的该多个面的布局；
该第一边缘是该多面体的第一面的边缘，第二边缘是该多面体的第二面的边缘，该第一像素集位于该多面体的该第一面中，且该第二像素集位于该多面体的该第二面中。
4.如权利要求3所述的方法，其特征在于，该滤波包括：
根据该第一面和该第二面之间的几何关系重新排列该多面体的第二面的多个像素，其中该几何关系由该投影图像中的该多面体的该多个面的布局定义。
5.如权利要求4所述的方法，其特征在于，重新排列该第二面的多个像素包括：
基于该第一面和该第二面之间的该几何关系旋转或者跳过该第二面的多个像素。
6.如权利要求4所述的方法，其特征在于，该滤波还包括：
将该第二面的该重新排列的多个像素存储在该投影图像的与该第一边缘相邻的空白区域。
7.如权利要求4所述的方法，其特征在于，该滤波还包括：
将该第二面的该重新排列的多个像素存储在临时缓存器中，其中该临时缓存器不存储来自于该投影图像的空白区域的多个像素。
8.如权利要求4所述的方法，其特征在于，该滤波还包括：
基于该第一面的多个像素和该第二面的该重新排列的多个像素计算用于该第一像素集和该第二像素集的滤波值集。
9.如权利要求1所述的方法，其特征在于，该全向图像是球面，且该投影图像包括该球面的等角投影。
10.如权利要求8所述的方法，其特征在于，该第一边缘和该第二边缘从该球体的北极延伸到南极。
11.一种电子装置，其特征在于，包括：
已解码图像存储设备，用于接收并存储全向图像的投影图像；以及
滤波电路，用于：
确定该投影图像的第一边缘；
确定该投影图像的第二边缘，其中该第一边缘和该第二边缘物理上相关联而作为该全向图像中的公共边缘，但在该投影图像中不是物理连接；以及
基于位于该第一边缘附近的第一像素集和位于第二边缘附近的第二像素集计算滤波像素集。
12.如权利要求11所述的电子装置，其特征在于，该滤波为去块滤波，该去块滤波减少穿过该公共边缘处的非连续性和压缩伪影。
13.如权利要求11所述的电子装置，其特征在于，其中，
该全向图像是具有多个面的多面体，并且，该投影图像包括该多面体的该多个面的布局；
该第一边缘是该多面体的第一面的边缘，第二边缘是该多面体的第二面的边缘，该第一像素集位于该多面体的该第一面中，且该第二像素集位于该多面体的该第二面中。
14.如权利要求13所述的电子装置，其特征在于，还包括：
重新排列电路，用于根据该第一面和该第二面之间的几何关系重新排列该多面体的第二面的多个像素，其中该几何关系由该投影图像中的该多面体的该多个面的布局定义。
15.如权利要求14所述的电子装置，其特征在于，重新排列该第二面的多个像素包括：
基于该第一面和该第二面之间的该几何关系旋转或者跳过该第二面的多个像素。
16.如权利要求14所述的电子装置，其特征在于，该第二面的该重新排列的多个像素被存储在该投影图像的与该第一边缘相邻的空白区域。
17.如权利要求14所述的电子装置，其特征在于，该第二面的该重新排列的多个像素被存储在临时缓存器中，其中该临时缓存器不存储来自于该投影图像的空白区域的多个像素。
18.如权利要求14所述的电子装置，其特征在于，该滤波电路基于该第一面的多个像素和该第二面的该重新排列的多个像素计算用于该第一像素集和该第二像素集的滤波值集。
19.如权利要求11所述的电子装置，其特征在于，该全向图像是球面，且该投影图像包括该球面的等角投影。
20.如权利要求18所述的电子装置，其特征在于，该第一边缘和该第二边缘从该球体的北极延伸到南极。
CN201780037830.3A 2016-07-15 2017-07-14 一种滤波360度视频边界的方法及装置 Expired - Fee Related CN109716766B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201662362613P 2016-07-15 2016-07-15
US62/362,613 2016-07-15
US201662384768P 2016-09-08 2016-09-08
US62/384,768 2016-09-08
US15/647,630 2017-07-12
US15/647,630 US10375371B2 (en) 2016-07-15 2017-07-12 Method and apparatus for filtering 360-degree video boundaries
PCT/CN2017/092910 WO2018010688A1 (en) 2016-07-15 2017-07-14 Method and apparatus for filtering 360-degree video boundaries

Publications (2)

Publication Number Publication Date
CN109716766A true CN109716766A (zh) 2019-05-03
CN109716766B CN109716766B (zh) 2021-02-23

Family

ID=60941541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780037830.3A Expired - Fee Related CN109716766B (zh) 2016-07-15 2017-07-14 一种滤波360度视频边界的方法及装置

Country Status (4)

Country Link
US (1) US10375371B2 (zh)
CN (1) CN109716766B (zh)
TW (1) TWI655857B (zh)
WO (1) WO2018010688A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102531386B1 (ko) 2016-10-04 2023-05-12 주식회사 비원영상기술연구소 영상 데이터 부호화/복호화 방법 및 장치
CN115022626A (zh) * 2016-10-04 2022-09-06 有限公司B1影像技术研究所 图像数据编码/解码方法和计算机可读记录介质
CN117176948A (zh) * 2016-10-04 2023-12-05 有限公司B1影像技术研究所 图像编码/解码方法、记录介质和传输比特流的方法
US10380715B2 (en) * 2016-12-07 2019-08-13 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by triangular projection faces packed in octahedron projection layout
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US10798417B2 (en) * 2017-07-05 2020-10-06 Qualcomm Incorporated Deblock filtering for 360-degree video coding
CN111713111B (zh) * 2017-12-19 2024-04-09 Vid拓展公司 用于360度视频译码的面不连续性滤波
KR102565977B1 (ko) * 2018-02-08 2023-08-11 삼성전자주식회사 시선에 기반한 관심 영역 검출 방법 및 이를 위한 전자 장치
US11212438B2 (en) * 2018-02-14 2021-12-28 Qualcomm Incorporated Loop filter padding for 360-degree video coding
EP3741126A1 (en) * 2018-03-02 2020-11-25 Huawei Technologies Co., Ltd. Apparatus and method for picture coding with selective loop-filtering
US20190281273A1 (en) * 2018-03-08 2019-09-12 Mediatek Inc. Adaptive loop filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
US10659780B2 (en) 2018-03-09 2020-05-19 Mediatek Inc. De-blocking method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
GB2586095B (en) * 2018-03-22 2023-03-01 Mediatek Inc Sample adaptive offset filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
EP3804332A1 (en) * 2018-06-29 2021-04-14 Huawei Technologies Co., Ltd. Apparatuses and methods for encoding and decoding a video signal
CN110675401B (zh) * 2018-07-02 2023-07-11 浙江大学 一种全景图像像素块滤波方法及装置
CN110942428A (zh) * 2018-09-24 2020-03-31 浙江大学 一种全景图像滤波方法及装置
JP7208356B2 (ja) * 2018-09-26 2023-01-18 コーヒレント・ロジックス・インコーポレーテッド 任意の世界ビューの生成
CN111292336B (zh) * 2020-01-21 2023-06-06 宁波大学 基于分段式球面投影格式的全向图像无参考质量评价方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040105597A1 (en) * 2002-12-03 2004-06-03 Docomo Communications Laboratories Usa, Inc. Representation and coding of panoramic and omnidirectional images
CN103703777A (zh) * 2011-07-22 2014-04-02 高通股份有限公司 对具有深度范围变化的运动深度图进行译码
CN104641652A (zh) * 2012-09-20 2015-05-20 高通股份有限公司 用于视频译码的帧封装立体三维(3d)视频数据的指示
CN104756492A (zh) * 2012-10-25 2015-07-01 Sk电信有限公司 根据关于立体视频中的第一图像的编码信息对第二图像解块滤波的方法和装置
US20150341552A1 (en) * 2014-05-21 2015-11-26 Here Global B.V. Developing a Panoramic Image
US9258566B1 (en) * 2014-07-17 2016-02-09 Yahoo! Inc. System and method of spherical image compression
WO2016064862A1 (en) * 2014-10-20 2016-04-28 Google Inc. Continuous prediction domain

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100813923B1 (ko) * 2006-12-29 2008-03-18 한양대학교 산학협력단 확장된 리샘플링 기법을 이용한 영상 보간 장치 및 방법
CN101790069B (zh) * 2010-03-09 2013-03-27 周艇 一种基于图像边缘方向的尺度变换方法
CN102263953B (zh) * 2011-07-06 2013-12-11 北京航空航天大学 一种基于对象的快速多目立体视频分形压缩与解压缩方法
CN102970529B (zh) 2012-10-22 2016-02-17 北京航空航天大学 一种基于对象的多视点视频分形编码压缩与解压缩方法
CN103077509B (zh) * 2013-01-23 2015-10-28 天津大学 利用离散立方体全景图实时合成连续平滑全景视频的方法
US9396585B2 (en) * 2013-12-31 2016-07-19 Nvidia Corporation Generating indirection maps for texture space effects

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040105597A1 (en) * 2002-12-03 2004-06-03 Docomo Communications Laboratories Usa, Inc. Representation and coding of panoramic and omnidirectional images
CN103703777A (zh) * 2011-07-22 2014-04-02 高通股份有限公司 对具有深度范围变化的运动深度图进行译码
CN104641652A (zh) * 2012-09-20 2015-05-20 高通股份有限公司 用于视频译码的帧封装立体三维(3d)视频数据的指示
CN104756492A (zh) * 2012-10-25 2015-07-01 Sk电信有限公司 根据关于立体视频中的第一图像的编码信息对第二图像解块滤波的方法和装置
US20150341552A1 (en) * 2014-05-21 2015-11-26 Here Global B.V. Developing a Panoramic Image
US9258566B1 (en) * 2014-07-17 2016-02-09 Yahoo! Inc. System and method of spherical image compression
WO2016064862A1 (en) * 2014-10-20 2016-04-28 Google Inc. Continuous prediction domain

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
唐华敏: "视频编码标准HEVC中的环路滤波技术分析", 《电视技术》 *

Also Published As

Publication number Publication date
US20180020202A1 (en) 2018-01-18
CN109716766B (zh) 2021-02-23
WO2018010688A1 (en) 2018-01-18
US10375371B2 (en) 2019-08-06
TWI655857B (zh) 2019-04-01
TW201813380A (zh) 2018-04-01

Similar Documents

Publication Publication Date Title
CN109716766A (zh) 一种滤波360度视频边界的方法及装置
US11876981B2 (en) Method and system for signaling of 360-degree video information
TWI666914B (zh) ３ｄ視訊壓縮中參考圖像產生及管理之編解碼方法及裝置
US10277914B2 (en) Measuring spherical image quality metrics based on user field of view
TWI751261B (zh) ３６０度環景視頻的解區塊濾波技術
CN107454468B (zh) 对沉浸式视频进行格式化的方法、装置和流
US8044994B2 (en) Method and system for decoding and displaying 3D light fields
US20190281273A1 (en) Adaptive loop filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
WO2018010695A1 (en) Method and apparatus for video coding
JP2020509647A (ja) 画像のマッピングと処理方法、装置、及び、機械可読媒体
CN108476322A (zh) 用于球面图像和立方体图像的帧间预测的装置
US10904508B2 (en) 360 degree video with combined projection format
US10659780B2 (en) De-blocking method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
US11069026B2 (en) Method for processing projection-based frame that includes projection faces packed in cube-based projection layout with padding
JP7177034B2 (ja) レガシー及び没入型レンダリングデバイスのために没入型ビデオをフォーマットする方法、装置、及びストリーム
KR20220109433A (ko) 다중 뷰포인트 3DoF+ 콘텐츠의 인코딩 및 디코딩을 위한 방법 및 장치
WO2019008222A1 (en) METHOD AND APPARATUS FOR ENCODING MULTIMEDIA CONTENT
JP7271672B2 (ja) 没入型ビデオビットストリーム処理
US20210203995A1 (en) Video decoding method for decoding bitstream to generate projection-based frame with guard band type specified by syntax element signaling
US20230215080A1 (en) A method and apparatus for encoding and decoding volumetric video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210223

CF01 Termination of patent right due to non-payment of annual fee