CN109996070A - 视频处理方法 - Google Patents

视频处理方法 Download PDF

Info

Publication number
CN109996070A
CN109996070A CN201811591501.6A CN201811591501A CN109996070A CN 109996070 A CN109996070 A CN 109996070A CN 201811591501 A CN201811591501 A CN 201811591501A CN 109996070 A CN109996070 A CN 109996070A
Authority
CN
China
Prior art keywords
projection
current block
picture material
frame
neighborhood
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811591501.6A
Other languages
English (en)
Inventor
施正轩
张胜凯
林建良
林鸿志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN109996070A publication Critical patent/CN109996070A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种视频处理方法包括接收基于投影的帧，以及通过视频编码器对基于投影的帧进行编码以生成比特流的一部分。基于投影的帧具有由360度虚拟现实投影布局封装的投影面所表示的360度内容，并且存在由投影面的封装产生的至少一个图像内容不连续边界。对基于投影的帧进行编码的步骤包括对基于投影的帧中的当前块执行预测操作，包括：检查当前块和空间邻域是否位于不同的投影面并且是否位于一个图像内容不连续边界的相对侧；当检查结果表明当前块和空间邻域位于不同的投影面并位于一个图像内容不连续边界的相对侧时，将空间邻域视为不可用。

Description

视频处理方法
技术领域
本发明有关于处理全方位图像/视频内容，特别是有关于用于处理具有360度内容(例如，360度图像内容或360度视频)的基于投影的帧的视频处理方法内容)，360度内容由包含在360度虚拟现实(360VR)投影布局中的投影面来表示。
背景技术
具有头戴式显示器(head-mounted displays，HMDs)的虚拟现实(VR)与各种应用相关联。向用户显示宽视野内容的能力可用于提供沉浸式视觉体验。必须在所有方向上捕获真实世界环境，从而产生对应于观看球面的全向图像/视频内容。随着摄像机装备和HMD的进步，由于表示这种360度图像/视频内容所需的高比特率，VR内容的传送可能很快成为瓶颈。当全向视频的分辨率为4K或更高时，数据压缩/编码对于降低比特率至关重要。
通常，对应于球体的全向视频内容被转换为图像的序列，每个图像是基于投影的帧，其具有由在360度虚拟现实(360VR)投影布局中排列的投影面表示的360度图像/视频内容。然后基于投影的帧的序列被编码成比特流以进行传输。然而，由于所采用的360VR投影布局的固有特性，基于投影的帧可能具有由于投影面的封装而引入的图像内容不连续边界。换句话说，对于大多数投影格式和封装而言，不连续的面边缘是不可避免的。因此，需要一种或多种改进的编码工具，其能够最小化由于投影面的封装导致的图像内容不连续边界(即，不连续的面边缘)所引起的负面影响。
发明内容
本发明的目的之一是提供一种视频处理方法，用于处理具有由360度虚拟现实(360VR)投影布局封装的投影面表示的360度内容(例如，360度图像内容或360度视频内容)的基于投影的帧。通过对编码工具的适当修改，可以提高编码效率和/或重构帧的图像质量。
根据本发明的第一方面，公开了一种示例性视频处理方法。该示例性视频处理方法包括：接收基于投影的帧，以及通过视频编码器对基于投影的帧进行编码以生成比特流的一部分。基于投影的帧具有由360度虚拟现实投影布局封装的投影面所表示的360度内容，并且存在由投影面的封装产生的至少一个图像内容不连续边界。对基于投影的帧进行编码以生成比特流的一部分的步骤包括：对当前块执行预测操作，包括：检查当前块和当前块的空间邻域是否位于基于投影的帧的不同投影面，并且是否位于基于投影的帧中的所述至少一个图像内容不连续边界之一的相对侧；当检查结果表明当前块和空间邻域位于基于投影的帧中的不同投影面并且位于基于投影的帧中的所述至少一个图像内容不连续边界之一的相对侧时，将空间邻域视为不可用于当前块的预测操作。
根据本发明的第二方面，公开了一种示例性视频处理方法。该示例性视频处理方法包括：接收基于投影的帧，以及通过视频编码器对基于投影的帧进行编码以生成比特流的一部分。基于投影的帧具有由360度虚拟现实投影布局封装的投影面所表示的360度内容，并且存在由投影面的封装产生的至少一个图像内容不连续边界。对基于投影的帧进行编码以生成比特流的一部分的步骤包括：对当前块执行预测操作，包括：检查当前块和当前块的空间邻域是否位于基于投影的帧的不同投影面，并且是否位于基于投影的帧中的所述至少一个图像内容不连续边界之一的相对侧；当检查结果表明当前块和空间邻域位于基于投影的帧中的不同投影面并且位于基于投影的帧中的所述至少一个图像内容不连续边界之一的相对侧时，找到当前块的真实邻域，并使用真实邻域代替空间邻域以用于当前块的预测操作，其中真实邻域对应于球体上的第一图像内容，当前块对应于球体上的第二图像内容，球体上的第一图像内容与球体上的第二图像内容相邻。
根据本发明的第三方面，公开了一种示例性视频处理方法。该示例性视频处理方法包括：接收基于投影的帧，以及通过视频编码器对基于投影的帧进行编码以生成比特流的一部分。基于投影的帧具有由360度虚拟现实投影布局封装的投影面所表示的360度内容，并且存在由投影面的封装产生的至少一个图像内容不连续边界。对基于投影的帧进行编码以生成比特流的一部分的步骤包括：生成重构帧；以及将环路滤波操作应用于重构帧，其中阻止将环路滤波操作应用于重构帧中的所述至少一个图像内容不连续边界中的每一个。
根据本发明的第四方面，公开了一种示例性视频处理方法。该示例性视频处理方法包括：接收比特流，其中比特流的一部分发送基于投影的帧的编码信息，基于投影的帧具有由360度虚拟现实投影布局封装的投影面所表示的360度内容，并且存在由投影面的封装产生的至少一个图像内容不连续边界；以及通过视频解码器对比特流的一部分进行解码以生成重构帧。对比特流的一部分进行解码以生成重构帧的步骤包括：对当前块执行预测操作，包括：检查当前块和当前块的空间邻域是否位于重构帧中的不同投影面处并且是否位于重构帧中的所述至少一个图像内容不连续边界之一的相对侧；当检查结果表明当前块和空间邻域位于重构帧中的不同投影面并且位于重构帧中所述至少一个图像内容不连续边界之一的相对侧时，将空间邻域视为不可用于当前块的预测操作。
根据本发明的第五方面，公开了一种示例性视频处理方法。该示例性视频处理方法包括：接收比特流，其中比特流的一部分发送基于投影的帧的编码信息，基于投影的帧具有由360度虚拟现实投影布局封装的投影面部表示的360度内容，并且存在由投影面的封装产生的至少一个图像内容不连续边界；以及通过视频解码器对比特流的一部分进行解码以生成重构帧。对比特流的一部分进行解码以生成重构帧的步骤包括：对当前块执行预测操作，包括：检查当前块和当前块的空间邻域是否位于重构帧中的不同投影面处并且是否位于重构帧中的所述至少一个图像内容不连续边界之一的相对侧；当检查结果表明当前块和空间邻域位于重构帧中的不同投影面上并且位于重构帧中所述至少一个图像内容不连续边界之一的相对侧时，找到该当前块的真实邻域，并使用真实邻域取代空间邻域以用于当前块的预测操作，其中真实邻域对应于球体上的第一图像内容，当前块对应于第二图像内容在球体上，球体上的第一图像内容与球体上的第二图像内容相邻。
根据本发明的第六方面，公开了一种示例性视频处理方法。该示例性视频处理方法包括：接收比特流，其中比特流的一部分发送基于投影的帧的编码信息，基于投影的帧具有由360度虚拟现实投影布局封装的投影面表示的360度内容，并且存在由投影面的封装产生的至少一个图像内容不连续边界；以及通过视频解码器对比特流的一部分进行解码。对比特流的一部分进行解码的步骤包括：生成重构帧；以及将环路滤波操作应用于重构帧，其中阻止将环路滤波操作应用于重构帧中的所述至少一个图像内容不连续边界中的每一个。
对于已经阅读后续由各附图及内容所显示的较佳实施方式的本领域的技术人员来说，本发明的各目的是明显的。
附图说明
图1是根据本发明的实施例的360度虚拟现实(360VR)系统的示意图。
图2是根据本发明的实施例的视频编码器的示意图。
图3是根据本发明的实施例的视频解码器的示意图。
图4是从球体的立方体投影获得的立方体贴图投影(cubemap projection，CMP)布局的六个正方形投影面的示意图。
图5是根据本发明的实施例的具有3×2填充格式的紧凑投影布局的示意图。
图6是根据本发明的实施例的将空间邻域(spatial neighbor)视为不可用的改进的编码工具的示意图。
图7是根据本发明的实施例的找到用于帧间预测的真实邻域的改进的编码工具的示意图。
图8是根据本发明的实施例的找到用于帧内预测的真实邻域的改进的编码工具的示意图。
图9是根据本发明的实施例的找到用于帧内预测的MPM列表构造的真实邻域的改进的编码工具的示意图。
图10是根据本发明实施例的防止环路滤波应用于具有第一投影布局的重构帧中的不连续面边缘的改进的编码工具的示意图。
图11是根据本发明实施例的对具有第二投影布局的重构帧中的连续面边缘应用环路滤波的改进的编码工具的示意图。
具体实施方式
在权利要求书及说明书中使用了某些词汇来指称特定的组件。所属领域中的技术人员应可理解，电子设备制造商可能会用不同的名词来称呼同样的组件。本文档并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。在权利要求书及说明书中所提及的「包括」为开放式的用语，故应解释成「包括但不限定于」。另外，「耦接」一词在此包括任何直接及间接的电气连接手段。因此，若文中描述第一装置耦接于第二装置，则代表所述第一装置可直接电连接于所述第二装置，或通过其他装置或连接手段间接地电连接至所述第二装置。
图1是根据本发明的实施例的360度虚拟现实(360VR)系统的示意图。360VR系统100包括两个视频处理装置(例如，源电子设备102和目的电子设备104)。源电子设备102包括视频捕获设备112、转换电路114和视频编码器116。例如，视频捕获设备112可以是用于提供对应于球体的全向图像/视频内容(例如，覆盖整个周围环境的多个图像)S_IN的一组相机。转换电路114耦接在视频捕获设备112和视频编码器116之间。转换电路114根据全向图像/视频内容S_IN生成具有360度虚拟现实投影布局L_VR的基于投影的帧IMG。例如，基于投影的帧IMG可以是包括在从转换电路114生成的基于投影的帧的序列中的一个帧。视频编码器116是用于编码/压缩基于投影的帧IMG以生成比特流BS的一部分的编码电路，并且经由传输装置103将比特流BS输出到目的电子设备104。例如，可以将基于投影的帧的序列编码到比特流BS中，使得比特流BS的一部分发送基于投影的帧IMG的编码信息。另外，传输装置103可以是有线/无线通信链路或存储介质。
目的电子设备104可以是头戴式显示器(HMD)设备。如图1所示，目标电子设备104包括视频解码器122、图形渲染电路124和显示屏126。视频解码器122是解码电路，用于从传输装置103(例如，有线/无线通信链路或存储介质)接收比特流BS，并对接收的比特流BS进行解码。例如，视频解码器122通过对接收的比特流BS进行解码来生成解码帧的序列，其中解码帧IMG'是包括在解码帧的序列中的一帧。也就是说，由于比特流BS的一部分发送基于投影的帧IMG的编码信息，因此视频解码器122对接收的比特流BS的一部分进行解码以生成解码帧IMG'，其是编码的基于投影的帧IMG的解码结果。在该实施例中，由视频编码器116编码的基于投影的帧IMG具有360VR投影格式和投影布局。因此，在视频解码器122对比特流BS进行解码之后，解码帧IMG'具有相同的360VR投影格式和相同的投影布局。图形渲染电路124耦接在视频解码器122和显示屏126之间。图形渲染电路124根据解码帧IMG'在显示屏126上渲染并显示输出图像数据。例如，与由解码帧IMG'承载的360度图像/视频内容的一部分相关联的视口区域可以经由图形渲染电路124显示在显示屏126上。
本发明提出了编码工具的技术，以克服由投影面的封装产生的图像内容不连续边界(即，不连续的面边缘)引入的负面影响。换句话说，视频编码器116可以采用改进的编码工具来编码基于投影的帧IMG，并且对应的视频解码器122还可以采用改进的编码工具来生成解码帧IMG'。
图2是根据本发明的实施例的视频编码器的示意图。图1中所示的视频编码器116可以使用图2中所示的视频编码器200来实现。视频编码器200包括控制电路202和编码电路204。应当注意，图2中所示的视频编码器架构仅用于说明目的，并不意味着是对本发明的限制。例如，编码电路204的架构可以根据编码标准而变化。编码电路204对基于投影的帧IMG(其具有由在360VR投影布局L_VR中排列的投影面所表示的360度图像/视频内容)进行编码，以生成比特流BS的一部分。如图2所示，编码电路204包括残差计算电路211、变换电路(用“T”表示)212、量化电路(用“Q”表示)213、熵编码电路(例如，可变长度编码器)214、逆量化电路(用“IQ”表示)215、逆变换电路(用“IT”表示)216、重构电路217、至少一个环路滤波器218、参考帧缓冲器219、帧间预测电路220(其包括运动估计电路(用“ME”表示)221和运动补偿电路(用“MC”表示)222)、帧内预测电路(用“IP”表示)223、以及帧内/帧间模式选择开关224。至少一个环路滤波器218可以包括去块滤波器、样本自适应偏移(sample adaptiveoffset，SAO)滤波器和/或自适应环路滤波器(adaptive loop filter，ALF)。由于在编码电路204中实现的这些电路组件的基本功能和操作对于相关领域的技术人员来说是公知的，因此为了简洁起见，在此省略进一步的描述。
应当注意，从重构电路217生成的重构帧IMG_R被存储到参考帧缓冲器219中，以在由环路滤波器218处理之后用作参考帧。可以认为重构帧IMG_R作为编码的基于投影的帧IMG的解码版本。因此，重构帧IMG_R还具有由在相同的360VR投影布局L_VR中排列的投影面表示的360度图像内容。
编码电路204与典型编码电路之间的主要区别在于，可以由控制电路202指示帧间预测电路220、帧内预测电路223和/或环路滤波器218，以启用修改后的编码工具。例如，控制电路202产生控制信号C1以在帧间预测电路220处启用改进的编码工具，产生控制信号C2以在帧内预测电路223处启用改进的编码工具，和/或产生控制信号C3以在环路滤波器218处启用改进的编码工具。此外，控制电路202还可用于设置与改进的编码工具的启用/禁用相关联的一个或多个语法元素(SE)。其中，语法元素经由从熵编码电路214生成的比特流BS发信给视频解码器。例如，可以经由比特流BS发信改进的编码工具的标记。
图3是根据本发明的实施例的视频解码器的示意图。可以使用图3中所示的视频解码器300来实现图1中所示的视频解码器122。视频解码器300可经由诸如有线/无线通信链路或存储媒体的传输装置与视频编码器(例如，图1中所示的视频编码器100或图2中所示的视频编码器200)通信。在该实施例中，视频解码器300接收比特流BS，并对接收的比特流BS的一部分进行解码以生成解码的帧IMG'。如图3所示，视频解码器300包括解码电路320和控制电路330。应当注意，图3中所示的视频解码器架构仅用于说明目的，并不意味着是对本发明的限制。例如，解码电路320的架构可以根据编码标准而变化。解码电路320包括熵解码电路(例如，可变长度解码器)302、逆量化电路(由“IQ”表示)304、逆变换电路(由“IT”表示)306、重构电路308、帧间预测电路312(包括运动矢量计算电路(用“MV计算”表示)310和运动补偿电路(用“MC”表示)313)、帧内预测电路(用“IP”表示)314、帧内/帧间模式选择开关316、至少一个环路滤波器(例如，去块滤波器，SAO滤波器和/或ALF)318、以及参考帧缓冲器319。在该实施例中，由视频编码器100编码的基于投影的帧IMG具有由在360VR投影布局L_VR中排列的投影面表示的360度图像/视频内容。因此，在由视频解码器300解码比特流BS之后，解码帧IMG'也具有由在相同的360VR投影布局L_VR中排列的投影面表示的360度图像内容。从重构电路308生成的重构帧IMG_R'在由环路滤波器318处理之后，被存储到参考帧缓冲器319中以用作参考帧，并且还用作解码帧IMG'。因此，重构帧IMG_R'也具有由在相同的360VR投影布局L_VR中排列的投影面表示的360度图像内容。由于在解码电路320中实现的这些电路组件的基本功能和操作对于相关领域的技术人员来说是公知的，因此为了简洁起见，在此省略进一步的描述。
解码电路320与典型解码电路之间的主要区别在于，可以由控制电路330指示帧间预测电路312、帧内预测电路314和/或环路滤波器318以启用修改后的编码工具。例如，控制电路330产生控制信号C1'以在帧间预测电路312处启用改进的编码工具，产生控制信号C2'以在帧内预测电路314处启用改进的编码工具，和/或产生控制信号C3'以在环路滤波器318处启用改进的编码工具。此外，熵解码电路302还用于处理比特流BS以获得与改进的编码工具的启用/禁用相关联的语法元素。因此，视频解码器300的控制电路330可参考解析的语法元素以确定是否启用改进的编码工具。
在本发明中，360VR投影布局L_VR可以是任何可用的投影布局。例如，360VR投影布局L_VR可以是基于立方体的投影布局或基于三角形的投影布局。为了更好地理解本发明的技术特征，以下假设360VR投影布局L_VR由基于立方体的投影布局设置。实际上，本发明提出的改进的编码工具可以用于编码/解码具有在其他投影布局中封装的投影面的360VR帧。这些替代设计也属于本发明的范围。
图4是从球体的立方体投影获得的立方体贴图投影(CMP)布局的六个正方形投影面的示意图。将球体402的全向图像/视频内容映射/投影到立方体404的六个正方形投影面(由“Left”，“Front”，“Right”，“Back”，“Top”和“Bottom”来标记)上。如图4所示，正方形投影面“Left”，“Front”，“Right”，“Back”，“Top”和“Bottom”排列在对应于展开立方体的CMP布局406中。待编码的基于投影的帧IMG需要是矩形的。如果CMP布局406直接用于创建基于投影的帧IMG，则基于投影的帧IMG可以填充有虚设区域(dummy area)(例如，黑色区域或白色区域)以形成用于编码的矩形帧。因此，可以使用紧凑的投影布局来消除或减少虚设区域(例如，黑色区域或白色区域)以提高编码效率。
图5是根据本发明的实施例的具有3×2填充格式的紧凑投影布局的示意图。通过重新排列CMP布局406的正方形投影面“Left”，“Front”，“Right”，“Back”，“Top”和“Bottom”来导出具有3×2填充格式的紧凑投影布局500。关于具有3×2填充格式的紧凑投影布局500，正方形投影面“Left”的边S41与正方形投影面“Front”的边S01连接，正方形投影面“Front”的边S03与正方形投影面“Right”的边S51连接，正方形投影面“Bottom”的边S31与正方形投影面“Back”的边S11连接，正方形投影面“Back”的边S13与正方形投影面“Top”的边S21连接，正方形投影面“Left”的边S42与正方形投影面“Bottom”的边S32连接，正方形投影面“Front”的边S02与正方形投影面“Back”的边S12连接，正方形投影面“Right”的边S52与正方形投影面“Top”的边S22连接。
关于具有3×2填充格式的紧凑投影布局500，在正方形投影面“Left”的边S41与正方形投影面“Front”的边S01之间存在图像内容连续边界(即，连续的面边缘)。在正方形投影面“Front”的边S03和正方形投影面“Right”的边S51之间存在图像内容连续边界(即，连续的面边缘)，在正方形投影面“Bottom”的边S31与正方形投影面“Back”的边S11之间存在图像内容连续边界(即，连续的面边缘)，并且在正方形投影面“Back”的边S13和正方形投影面“Top”的边S21之间存在图像内容连续边界(即，连续的面边缘)。另外，在正方形投影面“Left”的边S42与正方形投影面“Bottom”的边S32之间存在图像内容不连续边界(即，不连续的面边缘)，在正方形投影面“Front”的边S02与正方形投影面“Back”的边S12之间存在图像内容不连续边界(即，不连续的面边缘)，并且在正方形投影面“Right”的边S52和正方形投影面“Top”的边S22之间存在图像内容不连续边界(即，不连续的面边缘)。
当通过具有3×2填充格式的紧凑投影布局500来设置360VR投影布局L_VR时，基于投影的帧IMG具有由于正方形投影面“Left”、“Front”、“Right”、“Bottom”、“Back”和“Top”的封装而产生的图像内容不连续边界。为了提高编码效率和重构帧的图像质量，本发明提出了几种编码工具改进，以最小化由图像内容不连续边界(即，不连续的面边缘)引起的负面影响。以下假设基于投影的帧IMG采用上述紧凑投影布局500。所提出的编码工具改进的进一步细节描述如下。
请结合参考图5和图6。图6是根据本发明的实施例的将空间邻域视为不可用的改进的编码工具的示意图。在本发明的一些实施例中，可以在编码器侧帧间预测阶段启用将空间邻域视为不可用的改进的编码工具。例如，视频编码器200的帧间预测电路220可以使用改进的编码工具。因此，帧间预测电路220(具体地，运动估计电路221)对当前块BKC执行帧间预测操作。根据改进的编码工具，帧间预测电路220(具体地，运动估计电路221)检查当前块BKC和当前块BKC的空间邻域(例如，BKN)是否位于基于投影的帧IMG中的不同投影面处，并且是否位于基于投影的帧IMG中的一个图像内容不连续边界的相对侧。当检查结果指示当前块BKC和空间邻域BKN位于基于投影的帧IMG中的不同投影面并且位于基于投影的帧IMG中的一个图像内容不连续边界的相对侧时，帧间预测电路220(具体地，运动估计电路221)将空间邻域(例如，BKN)视为对当前块BKC的帧间预测操作不可用。
如图6所示，当前块BKC是正方形投影面“Front”的一部分，空间邻域BKN是正方形投影面“Back”的一部分，并且当前块BKC和空间邻域BKN位于正方形投影面“Front”的边S02与正方形投影面“Back”的边S12之间的图像内容不连续边界的相对侧。因此，空间邻域BKN被视为“空邻域(null neighbor)”，并且帧间预测电路220(具体地，运动估计电路221)避免使用错误邻域(wrong neighbor)进行帧间预测。例如，当前块BKC是预测单元(PU)，并且空间邻域BKN(其是已经由视频编码器200重构/编码的块)是包括在高级运动矢量预测(advanced motion vector prediction，AMVP)模式、合并模式或跳过模式的候选列表中的空间候选，其中候选列表在编码器侧构建。由于当前块BKC和空间邻域BKN位于基于投影的帧IMG中的不同投影面处并且位于基于投影的帧IMG中的一个图像内容不连续边界的相对侧，因此空间邻域BKN的运动信息没有被帧间预测电路220(特别是运动估计电路221)误用，从而提高了编码效率。
在本发明的一些实施例中，可以在编码器侧帧内预测阶段启用将空间邻域视为不可用的改进的编码工具。例如，视频编码器200的帧内预测电路223可以使用改进的编码工具。因此，帧内预测电路223对当前块BKC执行帧内预测操作。根据改进的编码工具，帧内预测电路223检查当前块BKC和当前块BKC的空间邻域(例如，BKN)是否位于基于投影的帧IMG中的不同投影面并且是否位于基于投影的帧IMG中的一个图像内容不连续边界的相对侧。当检查结果指示当前块BKC和空间邻域(例如，BKN)位于基于投影的帧IMG中的不同投影面处并且位于基于投影的帧IMG中的一个图像内容不连续边界的相对侧时，帧内预测电路223将空间邻域BKN视为对当前块BKC的帧内预测操作不可用。
如图6所示，当前块BKC是正方形投影面“Front”的一部分，空间邻域BKN是正方形投影面“Back”的一部分，并且当前块BKC和空间邻域BKN位于正方形投影面“Front”的边S02与正方形投影面“Back”的边S12之间的图像内容不连续边界的相对侧。因此，空间邻域BKN被视为“空邻域”，并且帧内预测电路223避免使用错误邻域进行帧内预测。例如，当前块BKC是预测单元(PU)，并且空间邻域BKN(其是已经由视频编码器200重构/编码的像素)是用于帧内预测模式(IPM)的参考样本。由于当前块BKC和空间邻域BKN位于基于投影的帧IMG中的不同投影面处并且位于基于投影的帧IMG中的一个图像内容不连续边界的相对侧，因此空间邻域BKN的像素值没有被帧内预测电路223误用，从而提高了编码效率。
此外，控制电路202可以设置语法元素(例如，标志)以指示当当前块和空间邻域位于不同投影面处并且是在所述至少一个图像内容不连续边界之一的相对侧上时空间邻域是否被视为不可用，其中语法元素(例如，标志)经由比特流BS发送到视频解码器。
此外，可以在解码器侧预测阶段启用将空间邻域视为不可用的改进的编码工具。例如，视频解码器300的帧间预测电路312可以采用改进的编码工具。因此，假设360VR投影布局L_VR由图5所示的上述紧凑布局500来设置，帧间预测电路312(具体地，MV计算电路310)对当前块BKC执行帧间预测操作。根据改进的编码工具，帧间预测电路312(具体地，MV计算电路310)检查当前块BKC和空间邻域(例如，BKN)是否位于重构帧IMG_R'中的不同投影面处并且是否位于重构帧IMG_R'中的一个图像内容不连续边界的相对侧。当检查结果指示当前块BKC和空间邻域(例如，BKN)位于重构帧IMG_R'中的不同投影面并且位于重构帧IMG_R'中的一个图像内容不连续边界的相对侧时，帧间预测电路312(具体地，MV计算电路310)将空间邻域BKN视为对当前块BKC的帧间预测操作不可用。例如，当前块BKC可以是预测单元(PU)，并且空间邻域BKN(其是已经由视频解码器300重构/解码的块)可以是包括在AMVP模式，合并模式或跳过模式的候选列表中的空间候选，其中候选列表在解码器侧构建。
另外，可以经由比特流BS发送语法元素(例如，标志)，以指示当当前块和空间邻域位于不同投影面并且位于所述至少一个图像内容不连续边界之一的相对侧时，空间邻域是否被视为不可用。因此，语法元素(例如，标志)由视频解码器300的熵解码电路302从比特流BS解析，然后输出到视频解码器300的控制电路330。
请结合参考图4-5和图7。图7是根据本发明的实施例的找到用于帧间预测的真实邻域的改进的编码工具的示意图。在本发明的一些实施例中，可以在编码器侧帧间预测阶段启用用于找到真实邻域的改进的编码工具。例如，视频编码器200的帧间预测电路220可以使用改进的编码工具。因此，帧间预测电路220(具体地，运动估计电路221)对当前块BKC执行帧间预测操作。根据改进的编码工具，帧间预测电路220(具体地，运动估计电路221)检查当前块BKC和当前块BKC的空间邻域(例如，BKN)是否位于基于投影的帧IMG中的不同投影面处并且位于基于投影的帧IMG中的一个图像内容不连续边界的相对侧。当检查结果指示当前块BKC和空间邻域(例如，BKN)位于基于投影的帧IMG中的不同投影面处并且位于基于投影的帧IMG中的一个图像内容不连续边界的相对侧时，帧间预测电路220(具体地，运动估计电路221)找到当前块BKC的真实邻域BKR，并使用真实邻域BKR代替空间邻域BKN以用于当前块BKC的帧间预测。
如图7所示，当前块BKC是正方形投影面“Front”的一部分，空间邻域BKN是正方形投影面“Back”的一部分，并且当前块BKC和空间邻域BKN位于正方形投影面“Front”的边S02与正方形投影面“Back”的边S12之间的图像内容不连续边界的相对侧。因此，由于图像内容不连续，空间邻域BKN是当前块BKC的错误邻域。从图4和图7中可以知道，真实邻域BKR对应于球体402上的第一图像内容，并且当前块BKC对应于球体402上的第二图像内容，其中球体上的第一图像内容与第二图像内容相邻。更具体地，真实邻域BKR与3D空间中的当前块BKC相邻。因此，图7中所示的真实邻域BKR的左上角处的图像内容和图7中所示的当前邻域BKC的左下角的图像内容具有图像内容的连续性。
由于空间邻域BKN是当前块BKC的错误邻域，因此帧间预测电路220(具体地，运动估计电路221)避免使用错误邻域进行帧间预测，并且使用真实邻域BKR(这是已经由视频编码器200)重构/编码的块，用于帧间预测。例如，当前块BKC是预测单元(PU)，并且空间邻域BKN(其是已经由视频编码器200重构的块)是包括在AMVP模式、合并模式或跳过模式的候选列表中的空间候选，其中候选列表在编码器侧构建。由帧间预测电路220(具体地，运动估计电路221)找到的真实邻域BKR取代空间邻域BKN，使得真实邻域BKR的运动信息由帧间预测电路220(具体地，运动估计电路221)使用，以提高编码效率。
在该示例中，真实邻域BKR的运动向量MV指向左侧。然而，正方形投影面“Bottom”被旋转，然后以2x3封装格式封装在紧凑投影格式500中。当真实邻域BKR的运动向量MV用作当前块BKC的预测器(predictor)时，帧间预测电路220(具体地，运动估计电路221)还对真实邻域BKR的运动向量MV进行适当的旋转。如图7所示，在真实邻域BKR的运动矢量MV适当旋转之后，分配给当前块BKC的预测器指向上方。换句话说，当真实邻域的运动矢量被用作当前块的预测器时，分配给当前块的预测器的方向不一定与真实邻域的运动矢量的方向相同。例如，可以根据真实邻域和当前邻域之间的实际3D位置关系来旋转真实邻域的运动矢量的方向。
请结合参考图4-5和图8。图8是根据本发明的实施例的找到用于帧内预测的真实邻域的改进的编码工具的示意图。在本发明的一些实施例中，可以在编码器侧帧内预测阶段启用找到真实邻域的改进的编码工具。例如，视频编码器200的帧内预测电路223可以使用改进的编码工具。因此，帧内预测电路223对当前块BKC执行帧内预测操作。根据改进的编码工具，帧内预测电路223检查当前块BKC(例如，一个预测单元(PU))和当前块BKC的空间邻域(例如，一个参考样本802)是否位于基于投影的帧IMG中的不同的投影面，以及是否位于基于投影的帧IMG中的一个图像内容不连续边界的相对侧。当检查结果指示当前块BKC和空间邻域(例如，一个参考样本802)位于基于投影的帧IMG中的不同投影面处并且位于基于投影的帧IMG中的一个图像内容不连续边界的相对侧时，帧内预测电路223在基于投影的帧IMG中找到当前块BKC的真实邻域806(其是已经由视频编码器200重构/编码的像素)，并且使用真实邻域806取代空间邻域(例如，一个参考样本802)，以用于当前块BKC的帧内预测。
当前块BKC上方的参考样本802和当前块BKC左侧的参考样本804可用于选择当前块BKC的帧内预测模式(intra prediction mode，IPM)。具体地，当前块BKC的帧内模式预测器(intra-mode predictor)包括参考样本802和804。在图8中，当前块BKC是正方形投影面“Back”的一部分，当前块BKC上方的空间邻域(例如，参考样本802)是正方形投影面“Front”的一部分，并且当前块BKC左边的空间邻域(例如，参考样本804)是正方形投影面“Bottom”的一部分。由于当前块BKC和当前块BKC上方的每个空间邻域(例如，参考样本802)位于正方形投影面“Front”的边S02与正方形投影面“Back”的边S12之间的图像内容不连续边界的相对侧上，由于图像内容不连续，当前块BKC上方的每个空间邻域都是当前块BKC的错误邻域。从图4和图8可以知道，每个真实邻域806对应于球体402上的第一图像内容，并且当前块BKC对应于球体402上的第二图像内容，其中球体上的第一图像内容与第二图像内容在球体上相邻。更具体地，每个真实邻域806与3D空间中的当前块BKC相邻。
由于当前块BKC之上的空间邻域(例如，参考样本802)是当前块BKC的错误邻域，所以帧内预测电路223避免使用任何错误邻域进行帧内预测，并使用真实邻域806用于帧内预测。换句话说，由帧内预测电路223找到的真实邻域806取代当前块BKC之上的空间邻域(例如，参考样本802)，使得帧内预测电路223使用真实邻域806的像素值以提高编码效率。
在图8所示的示例中，空间邻域(即，参考样本802和804)用作当前块BKC的帧内模式预测器。图8中所示的当前块BKC的帧内模式预测器是L形结构。然而，这仅用于说明目的，并不意味着是对本发明的限制。在本发明的其他实施例中，帧内模式预测器不一定是L形结构。对于某些投影格式，帧内模式预测器可以是非L形结构。
可以明确地发信当前块(例如，当前PU)的帧内预测模式(IPM)，或者从当前块的空间邻域(例如，邻域PU)的预测模式推断出帧内预测模式(IPM)。空间邻域的预测模式被称为最可能模式(most probable modes，MPM)。要创建MPM列表，应考虑当前块的多个空间邻域。在本发明的一些实施例中，可以在编码器侧帧间预测阶段启用用于找到真实邻域的改进的编码工具，以用于MPM列表构造。
请结合参考图4-5和图9。图9根据本发明的实施例的找到用于帧内预测的MPM列表构造的真实邻域的改进的编码工具的示意图。例如，视频编码器200的帧内预测电路223可以使用改进的编码工具。因此，帧内预测电路223对当前块BKC执行帧内预测操作。根据改进的编码工具，帧内预测电路223检查当前块BKC(例如，预测单元(PU))和当前块BKC的空间邻域(例如，已经由视频编码器200重构/编码的一个相邻PU)是否位于基于投影的帧IMG中的不同投影面处，并且是否位于基于投影的帧IMG中的一个图像内容不连续边界的相对侧。当检查结果指示当前块BKC和空间邻域位于基于投影的帧IMG中的不同投影面并且位于基于投影的帧IMG中的一个图像内容不连续边界的相对侧时，帧内预测电路223找到当前块BKC的真实邻域(其是已经由视频编码器200重构/编码的PU)，并使用真实邻域代替空间邻域以用于当前帧内预测。
如图9所示，当前块BKC是正方形投影面“Back”的一部分，空间邻域BKT和BKTR是正方形投影面“Front”的一部分，空间邻域BKL是正方形投影面“Bottom”的一部分。因为当前块BKC和空间邻域BKT/BKTR位于正方形投影面“Front”的边S02和正方形投影面“Back”的边S12之间的图像内容不连续边界的相对侧，由于图像内容不连续，所以空间邻域BKT和BKTR的每个是当前块BKC的错误邻域。从图4和图9中可以知道，真实邻域BKT’/BKTR’对应于球体402上的第一图像内容，并且当前块BKC对应于球体402上的第二图像内容，其中球体上的第一图像内容与球体上的第二图像内容相邻。更具体地，每个真实邻域BKT’和BKTR’与3D空间中的当前块BKC相邻。
由于空间邻域BKT和BKTR是当前块BKC的错误邻域，因此帧内预测电路223避免在帧内预测模式中使用任何错误邻域来进行MPM列表构造，并且使用真实邻域BKT和BKTR’以用于帧内预测模式中的MPM列表构造。具体地，由帧内预测电路223找到的真实邻域BKT’代替空间邻域BKT，并且由帧内预测电路223找到的真实邻域BKTR’代替空间邻域BKTR，使得MPM列表构造使用真实邻域BKT和BKTR’的模式来提高编码效率。
此外，可以在解码器侧预测阶段启用找到真实邻域的改进的编码工具。例如，视频解码器300的帧间预测电路312可以采用改进的编码工具。又例如，视频解码器300的帧内预测电路314可以使用改进的编码工具。因此，假设通过图5所示的紧凑布局500来设置360VR投影布局L_VR，预测电路(例如，帧间预测电路312或帧内预测电路314)对当前块BKC执行预测操作(例如，帧间预测操作或帧内预测操作)。根据改进的编码工具，预测电路检查当前块BKC和空间邻域(例如，图7中的BKN，或图8中的802，或图9中的BKT/BKTR)是否位于重构帧IMG_R'中的不同投影面，以及是否位于重构帧IMG_R'中的一个图像内容不连续边界的相对侧。当检查结果指示当前块BKC和空间邻域位于重构帧IMG_R'中的不同投影面并且位于重构帧IMG_R'中的一个图像内容不连续边界的相对侧时，预测电路找到真实邻域(例如，图7中的BKR，或图8中的806，或图9中的BKT’/BKTR’)，并使用真实邻域代替空间邻域以用于当前块BKC的预测操作。在预测操作是帧间预测操作的情况下，当前块BKC可以是预测单元(PU)，并且空间邻域BKN可以是包括在AMVP模式、合并模式或跳过模式的候选列表中的空间候选。应当注意，当当前块的帧间预测使用真实邻域的运动矢量时，应该适当地旋转真实邻域的运动矢量。在预测操作是帧内预测操作的另一种情况下，当前块BKC可以是预测单元(PU)，并且空间邻域BKN可以是参考样本(由发信的帧内预测模式使用)或相邻PU(在解码器侧构建MPM列表所需的)。
请结合参考图5和图10。图10是根据本发明实施例的防止环路滤波应用于具有第一投影布局的重构帧中的不连续面边缘的改进的编码工具的示意图。在本发明的一些实施例中，可以在编码器侧环路滤波阶段中启用防止环路滤波应用于不连续的面边缘的改进的编码工具。举例来说，视频编码器200的环路滤波器218可使用改进的编码工具。因此，重构电路217在基于投影的帧IMG的编码期间生成重构帧IMG_R，并且环路滤波器218将环路滤波操作应用于重构帧IMG_R，其中环路滤波操作被阻止应用于重构帧IMG_R中的每个图像内容不连续边界(即，每个不连续的面边缘)。如上所述，重构帧IMG_R还具有由在相同360VR投影布局L_VR中排列的投影面表示的360度图像内容。假设通过具有3×2填充格式的紧凑布局500来设置360VR投影布局L_VR，重构帧IMG_R具有与图5中所示的紧凑布局500相同的投影布局1000。因此，在重构投影面“Left”和“Bottom”之间存在图像内容不连续边界1001，在重构投影面“Front”和“Back”之间存在图像内容不连续边界1002，在重构投影面“Right”和“Top”之间存在图像内容不连续边界1003，在重构投影面“Left”和“Front”之间存在图像内容连续边界1004，在重构投影面“Bottom”和“Back”之间存在图像内容连续边界1005，在重构投影面“Front”和“Right”之间存在图像内容连续边界1006，并且在重构投影面“Back”和“Top”之间存在图像内容连续边界1007。允许环路滤波器(例如，去块滤波器、SAO滤波器或ALF)218将环路滤波应用于作为连续面边缘的图像内容连续边界1004、1005、1006和1007，但是阻止将环路滤波应用于作为不连续面边缘的图像内容不连续边界1001、1002和1003。以这种方式，通过对连续的面边缘应用环路滤波、通过对不连续的面边缘不应用环路滤波，不会降低重构帧IMG_R的图像质量。
应当注意，相同的自适应环路滤波方案可以应用于具有不同投影布局的重构帧。图11是根据本发明实施例的对具有第二投影布局的重构帧中的连续面边缘应用环路滤波的改进的编码工具的示意图。在该示例中，360VR投影布局L_VR由具有基于面的填充格式的紧凑布局来设置，使得重构帧IMG_R具有如图11所示的投影布局1100。根据具有基于面的填充格式的紧凑布局，图11中所示的重构投影面“Front”对应于图4中所示的投影面“Front”，图11中所示的重构投影面“T”对应于图4中所示的投影面“Top”的一部分，图11中所示的重构投影面“L”对应于图4中所示的投影面“Left”的一部分，图11中所示的重构投影面“B”对应于图4中所示的投影面“Bottom”的一部分，图11中所示的重构投影面“R”对应于图4中所示的投影面“Right”的一部分，四个重构的虚设区域P0、P1、P2和P3(例如，黑色区域或白色区域)位于四个角上。
在该示例中，在重构投影面“T”和重构的虚设区域P0之间存在图像内容边界1111，在重构投影面“T”和重构的虚设区域P1之间存在图像内容边界1112，在重构投影面“R”和重构的虚设区域P1之间存在图像内容边界1113，在重构投影面“R”和重构的虚设区域P3之间存在图像内容边界1114，在重构投影面“B”和重构的虚设区域P3之间存在图像内容边界1115，在重构投影面“B”和重构的虚设区域P2之间存在图像内容边界1116，在重构投影面“L”和重构的虚设区域P2之间存在图像内容边界1117，在重构投影面“L”和重构的虚设区域P0之间存在图像内容边界1118。取决于位于四个角落的虚设区域P0、P1、P2和P3的实际像素填充设计，图像内容边界1111-1118可以是图像内容连续边界(即，连续面边缘)或图像内容不连续边界(即，不连续的面边缘)。另外，在重构投影面“Front”和“T”之间存在图像内容连续边界1101，在重构投影面“Front”和“R”之间存在图像内容连续边界1102，在重构投影面“Front”和“B”之间存在图像内容连续边界1103，在重构投影面“Front”和“L”之间存在图像内容连续边界1104。
允许环路滤波器(例如，去块滤波器、SAO滤波器或ALF)218将环路滤波应用于作为连续面边缘的图像内容连续边界1101-1104，并且根据面边缘是否是不连续的面边缘，可以阻止或不阻止滤波器218将环路滤波应用于图像内容边界1111-1118。在图像内容边界1111-1118是图像内容连续边界(即，连续面边缘)的情况下，允许环路滤波器218对图像内容边界1111-1118应用环路滤波。在图像内容边界1111-1118是图像内容不连续边界(即，不连续的面边缘)的另一种情况下，环路滤波器218被阻止对图像内容边界1111-1118进行环路滤波。以这种方式，通过对连续的面边缘应用环路滤波、通过对不连续的面边缘不应用环路滤波，不会降低重构帧IMG_R的图像质量。
此外，可以在解码器侧环路滤波阶段中启用改进的编码工具，该编码工具用于防止环路滤波应用于不连续的面边缘并且允许将环路滤波应用于连续的面边缘。例如，视频解码器300的环路滤波器318可以采用改进的编码工具。因此，重构电路308生成重构帧IMG_R'，并且环路滤波器318将环路滤波操作应用于重构帧IMG_R'，其中阻止将环路滤波操作应用于在重构帧IMG_R'中的每个图像内容不连续边界(即，每个不连续的面边缘)，并且允许将环路滤波操作应用于重构帧IMG_R'中的每个图像内容连续边界(即，每个连续的面边缘)。
本领域的技术人员将容易地观察到，在不脱离本发明的精神和范围内，可以对装置和方法进行多种修改和变动。因此，本发明的范围应以权利要求的范围为准。

Claims (20)

1.一种视频处理方法，其特征在于，包括：
接收基于投影的帧，其中所述基于投影的帧具有由360度虚拟现实投影布局中封装的投影面所表示的360度内容，并且存在由所述投影面的封装产生的至少一个图像内容不连续边界；以及
通过视频编码器对所述基于投影的帧进行编码以生成比特流的一部分，包括：
对当前块执行预测操作，包括：
检查所述当前块和所述当前块的空间邻域是否位于所述基于投影的帧中的不同投影面，并且是否位于所述基于投影的帧中的所述至少一个图像内容不连续边界之一的相对侧；以及
当检查结果表明所述当前块和所述空间邻域位于所述基于投影的帧中的不同投影面并且位于所述基于投影的帧中的所述至少一个图像内容不连续边界之一的相对侧时，将所述空间邻域视为不可用于当所述前块的所述预测操作。
2.如权利要求1所述的视频处理方法，其特征在于，所述预测操作是帧间预测操作。
3.如权利要求1所述的视频处理方法，其特征在于，所述预测操作是帧内预测操作。
4.如权利要求1所述的视频处理方法，其特征在于，在所述比特流中发送标志，以指示当所述当前块和所述空间邻域位于所述基于投影的帧中的不同投影面处以及位于所述基于投影的帧中的所述至少一个图像内容不连续边界之一的相对侧时，所述空间邻域是否被视为不可用。
5.一种视频处理方法，其特征在于，包括：
接收基于投影的帧，其中所述基于投影的帧具有由360度虚拟现实投影布局封装的投影面所表示的360度内容，并且存在由所述投影面的封装产生的至少一个图像内容不连续边界；以及
通过视频编码器对所述基于投影的帧进行编码以生成比特流的一部分，包括：
对当前块执行预测操作，包括：
检查所述当前块和所述当前块的空间邻域是否位于所述基于投影的帧中的不同投影面，并且是否位于所述基于投影的帧中的所述至少一个图像内容不连续边界之一的相对侧；以及
当检查结果表明所述当前块和所述空间邻域位于所述基于投影的帧中的不同投影面并且位于所述基于投影的帧中的所述至少一个图像内容不连续边界之一的相对侧时，找到所述当前块的真实邻域，并使用所述真实邻域代替所述空间邻域以用于所述当前块的所述预测操作，其中所述真实邻域对应于球体上的第一图像内容，所述当前块对应于所述球体上的第二图像内容，所述球体上的所述第一图像内容与所述球体上的所述第二图像内容相邻。
6.如权利要求5所述的视频处理方法，其特征在于，使用所述真实邻域代替所述空间邻域以用于所述当前块的所述预测操作包括：
当所述当前块的所述预测操作使用所述真实邻域的运动矢量时，将旋转应用于所述真实邻域的所述运动矢量。
7.如权利要求6所述的视频处理方法，其特征在于，所述预测操作是帧间预测操作。
8.如权利要求6所述的视频处理方法，其特征在于，所述预测操作是帧内预测操作。
9.如权利要求8所述的视频处理方法，其特征在于，所述空间邻域是所述当前块的帧内模式预测器的一部分，并且所述帧内模式预测器不一定是L形结构。
10.一种视频处理方法，其特征在于，包括：
接收基于投影的帧，其中所述基于投影的帧具有由360度虚拟现实投影布局封装的投影面所表示的360度内容，并且存在由所述投影面的封装产生的至少一个图像内容不连续边界；以及
通过视频编码器对所述基于投影的帧进行编码以生成比特流的一部分，包括：
生成重构帧；以及
将环路滤波操作应用于所述重构帧，其中阻止将所述环路滤波操作应用于所述重构帧中的所述至少一个图像内容不连续边界中的每一个。
11.如权利要求10所述的视频处理方法，其特征在于，所述重构帧还包括作为连续面边缘的至少一个图像内容连续边界，并且允许将所述环路滤波操作应用于所述至少一个图像内容连续边界中的每一个。
12.一种视频处理方法，其特征在于，包括：
接收比特流，其中所述比特流的一部分发送基于投影的帧的编码信息，所述基于投影的帧具有由360度虚拟现实投影布局封装的投影面所表示的360度内容，并且存在由所述投影面的封装产生的至少一个图像内容不连续边界；以及
通过视频解码器对所述比特流的一部分进行解码以生成重构帧，包括：
对当前块执行预测操作，包括：
检查所述当前块和所述当前块的空间邻域是否位于所述重构帧中的不同投影面上，并且是否位于所述重构帧中的所述至少一个图像内容不连续边界之一的相对侧；以及
当检查结果指示所述当前块和所述空间邻域位于所述重构帧中的不同投影面并且位于所述重构帧中的所述至少一个图像内容不连续边界之一的相对侧时，将所述空间邻域视为不可用于所述当前块的所述预测操作。
13.如权利要求12所述的视频处理方法，其特征在于，所述预测操作是帧间预测操作。
14.如权利要求12所述的视频处理方法，其特征在于，从所述比特流解析标记，以指示当所述当前块和所述空间邻域位于所述重构帧中的不同投影面并且位于所述重构帧中的所述至少一个图像内容不连续边界之一的相对侧时，所述空间邻域是否被视为不可用。
15.一种视频处理方法，其特征在于，包括：
接收比特流，其中所述比特流的一部分发送基于投影的帧的编码信息，所述基于投影的帧具有由360度虚拟现实投影布局封装的投影面所表示的360度内容，并且存在由所述投影面的封装产生的至少一个图像内容不连续边界；以及
通过视频解码器对所述比特流的一部分进行解码以生成重构帧，包括：
对当前块执行预测操作，包括：
检查所述当前块和所述当前块的空间邻域是否位于所述重构帧中的不同投影面上，并且是否位于所述重构帧中所述至少一个图像内容不连续边界之一的相对侧；以及
当检查结果指示所述当前块和所述空间邻域位于所述重构帧中的不同投影面并且位于所述重构帧中的所述至少一个图像内容不连续边界之一的相对侧时，找到所述当前块的真实邻域，并使用所述真实邻域代替所述空间邻域以用于所述当前块的所述预测操作，其中所述真实邻域对应于球体上的第一图像内容，所述当前块对应于所述球体上的第二图像内容，所述球体上的所述第一图像内容与所述球体上的所述第二图像内容相邻。
16.如权利要求15所述的视频处理方法，其特征在于，使用所述真实邻域代替所述空间邻域以用于所述当前块的所述预测操作包括：
当所述当前块的所述预测操作使用所述真实邻域的运动矢量时，将旋转应用于所述真实邻域的所述运动矢量。
17.如权利要求15所述的视频处理方法，其特征在于，所述预测操作是帧间预测操作。
18.如权利要求15所述的视频处理方法，其特征在于，所述预测操作是帧内预测操作。
19.一种视频处理方法，其特征在于，包括：
接收比特流，其中所述比特流的一部分发送基于投影的帧的编码信息，所述基于投影的帧具有由360度虚拟现实投影布局封装的投影面所表示的360度内容，并且存在由所述投影面的封装产生的至少一个图像内容不连续边界；以及
通过视频解码器对所述比特流的一部分进行解码，包括：
生成重构帧；以及
将环路滤波操作应用于所述重构帧，其中阻止将所述环路滤波操作应用于所述重构帧中的所述至少一个图像内容不连续边界中的每一个。
20.如权利要求19所述的视频处理方法，其特征在于，所述重构帧还包括作为连续面边缘的至少一个图像内容连续边界，并且允许将所述环路滤波操作应用于所述至少一个图像内容连续边界中的每一个。
CN201811591501.6A 2017-01-03 2018-12-25 视频处理方法 Pending CN109996070A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762441609P 2017-01-03 2017-01-03
US15/860,683 2018-01-03
US15/860,683 US20180192074A1 (en) 2017-01-03 2018-01-03 Video processing method for processing projection-based frame with 360-degree content represented by projection faces packed in 360-degree virtual reality projection layout

Publications (1)

Publication Number Publication Date
CN109996070A true CN109996070A (zh) 2019-07-09

Family

ID=62711449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811591501.6A Pending CN109996070A (zh) 2017-01-03 2018-12-25 视频处理方法

Country Status (3)

Country Link
US (2) US20180192074A1 (zh)
CN (1) CN109996070A (zh)
TW (1) TWI687095B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114503594A (zh) * 2019-09-22 2022-05-13 北京字节跳动网络技术有限公司 自适应环路滤波中样点填充的选择性应用
US12003712B2 (en) 2019-06-14 2024-06-04 Beijing Bytedance Network Technology Co., Ltd Handling video unit boundaries and virtual boundaries
US12120297B2 (en) 2019-07-11 2024-10-15 Beijing Bytedance Network Technology Co., Ltd. Sample padding in adaptive loop filtering

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US10839480B2 (en) * 2017-03-22 2020-11-17 Qualcomm Incorporated Sphere equator projection for efficient compression of 360-degree video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US11049219B2 (en) * 2017-06-06 2021-06-29 Gopro, Inc. Methods and apparatus for multi-encoder processing of high resolution content
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
CN110870302B (zh) * 2017-07-03 2021-06-29 诺基亚技术有限公司 用于全向视频的装置、方法和计算机程序
JP7343487B2 (ja) 2017-09-20 2023-09-12 ヴィド スケール インコーポレイテッド ３６０度ビデオ符号化におけるフェイス不連続の処理
US11212438B2 (en) * 2018-02-14 2021-12-28 Qualcomm Incorporated Loop filter padding for 360-degree video coding
CN111801947A (zh) * 2018-03-02 2020-10-20 华为技术有限公司 选择性环路滤波下的图像编码的装置及方法
CN111656777B (zh) * 2018-03-09 2021-11-19 联发科技股份有限公司 一种用于重构的基于投影的帧的解块方法
KR20210094646A (ko) * 2018-12-14 2021-07-29 지티이 코포레이션 몰입형 비디오 비트 스트림 처리
WO2020163978A1 (en) * 2019-02-11 2020-08-20 Huawei Technologies Co., Ltd. Surround view video coding
WO2020231228A1 (ko) 2019-05-15 2020-11-19 현대자동차주식회사 영상 복호화 장치에서 이용하는 역양자화장치 및 방법
US12120334B2 (en) 2019-05-15 2024-10-15 Hyundai Motor Company Video encoding and decoding method and device
US11109067B2 (en) 2019-06-26 2021-08-31 Gopro, Inc. Methods and apparatus for maximizing codec bandwidth in video applications
US11228781B2 (en) 2019-06-26 2022-01-18 Gopro, Inc. Methods and apparatus for maximizing codec bandwidth in video applications
US11190768B2 (en) 2019-07-02 2021-11-30 Mediatek Inc. Video encoding method with syntax element signaling of packing of projection faces derived from cube-based projection and associated video decoding method and apparatus
US11190801B2 (en) 2019-07-02 2021-11-30 Mediatek Inc. Video encoding method with syntax element signaling of mapping function employed by cube-based projection and associated video decoding method
US11659206B2 (en) 2019-07-02 2023-05-23 Mediatek Inc. Video encoding method with syntax element signaling of guard band configuration of projection-based frame and associated video decoding method and apparatus
US11481863B2 (en) 2019-10-23 2022-10-25 Gopro, Inc. Methods and apparatus for hardware accelerated image processing for spherical projections

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101389016A (zh) * 2007-09-13 2009-03-18 华为技术有限公司 获得块边界强度和去除块效应的方法和装置
CN106537894A (zh) * 2014-07-14 2017-03-22 索尼互动娱乐股份有限公司 用于回放全景视频内容的系统和方法
CN106664403A (zh) * 2014-10-20 2017-05-10 谷歌公司 连续预测域
US20170336705A1 (en) * 2016-05-19 2017-11-23 Avago Technologies General Ip (Singapore) Pte. Ltd. 360 degree video capture and playback

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10602191B2 (en) * 2016-05-13 2020-03-24 Gopro, Inc. Apparatus and methods for video compression
US20170353737A1 (en) * 2016-06-07 2017-12-07 Mediatek Inc. Method and Apparatus of Boundary Padding for VR Video Processing
US11284089B2 (en) * 2016-09-02 2022-03-22 Vid Scale, Inc. Method and system for signaling of 360-degree video information
US10349055B1 (en) * 2016-09-26 2019-07-09 Amazon Technologies, Inc. Image frame encoding based on projection space

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101389016A (zh) * 2007-09-13 2009-03-18 华为技术有限公司 获得块边界强度和去除块效应的方法和装置
CN106537894A (zh) * 2014-07-14 2017-03-22 索尼互动娱乐股份有限公司 用于回放全景视频内容的系统和方法
CN106664403A (zh) * 2014-10-20 2017-05-10 谷歌公司 连续预测域
US20170336705A1 (en) * 2016-05-19 2017-11-23 Avago Technologies General Ip (Singapore) Pte. Ltd. 360 degree video capture and playback

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHAD FOGG: "Essential metadata to support virtual reality in AVC and HEVC elementary video streams", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11》 *
PHILIPPE HANHART 等: "AHG8: High level syntax extensions for signaling of 360-degree video information", 《JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12003712B2 (en) 2019-06-14 2024-06-04 Beijing Bytedance Network Technology Co., Ltd Handling video unit boundaries and virtual boundaries
US12120297B2 (en) 2019-07-11 2024-10-15 Beijing Bytedance Network Technology Co., Ltd. Sample padding in adaptive loop filtering
CN114503594A (zh) * 2019-09-22 2022-05-13 北京字节跳动网络技术有限公司 自适应环路滤波中样点填充的选择性应用
CN114503594B (zh) * 2019-09-22 2024-04-05 北京字节跳动网络技术有限公司 自适应环路滤波中样点填充的选择性应用

Also Published As

Publication number Publication date
US20180192074A1 (en) 2018-07-05
TWI687095B (zh) 2020-03-01
TW201939955A (zh) 2019-10-01
US20200252650A1 (en) 2020-08-06

Similar Documents

Publication Publication Date Title
CN109996070A (zh) 视频处理方法
US11240523B2 (en) Prediction image generation device, video decoding device, and video coding device
JP7106744B2 (ja) ルーマおよびクロマ成分についてｉｂｃ専用バッファおよびデフォルト値リフレッシュを使用するエンコーダ、デコーダおよび対応する方法
US20220159261A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
CN112005551B (zh) 一种视频图像预测方法及装置
CN113612995B (zh) 视频编码方法、解码方法、编码器、解码器和存储介质
US11838520B2 (en) Devices and methods for coding a picture by partitioning it into slices comprising tiles
US11539948B2 (en) Encoder, a decoder and corresponding methods for sub-block partitioning mode
JP7164710B2 (ja) ビデオ復号化方法及びビデオ・デコーダ
KR20210052536A (ko) 아핀 모션 모델을 기반으로 한 모션 벡터 예측 방법 및 디바이스
KR102593525B1 (ko) 비디오 픽처 디코딩 및 인코딩 방법 및 장치
CA3106487A1 (en) Method and apparatus for intra prediction
WO2020088482A1 (zh) 基于仿射预测模式的帧间预测的方法及相关装置
CN111698515A (zh) 帧间预测的方法及相关装置
WO2024030692A1 (en) Systems and methods of video decoding with improved buffer storage and bandwidth efficiency

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20220415