CN109219958A - 对位于图像内容不连续性边缘处的重构块不应用环路滤波处理的视频编码方法和设备和相关的视频解码方法和设备 - Google Patents

对位于图像内容不连续性边缘处的重构块不应用环路滤波处理的视频编码方法和设备和相关的视频解码方法和设备 Download PDF

Info

Publication number
CN109219958A
CN109219958A CN201780018744.8A CN201780018744A CN109219958A CN 109219958 A CN109219958 A CN 109219958A CN 201780018744 A CN201780018744 A CN 201780018744A CN 109219958 A CN109219958 A CN 109219958A
Authority
CN
China
Prior art keywords
frame
picture material
block
encoding
prediction block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780018744.8A
Other languages
English (en)
Inventor
林建良
林鸿志
张胜凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN109219958A publication Critical patent/CN109219958A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种视频编码方法，包括：分别生成用于对帧内的块进行编码的重构块，其中该帧具有以360度虚拟现实(360VR)投影布局排列的投影面所表示的360度图像内容，并且存在由于帧中投影面的压缩而产生的至少一个图像内容不连续性边缘；以及配置至少一个环路滤波器，使得该至少一个环路滤波器不对位于该至少一个图像内容不连续性边缘的重构块应用环路滤波。

Description

对位于图像内容不连续性边缘处的重构块不应用环路滤波处 理的视频编码方法和设备和相关的视频解码方法和设备
【交叉引用】
本申请要求于2016年8月22日提交的美国临时专利申请62/377,762和2017年8月14日提交的美国发明专利申请15/675,810的优先权，以上申请通过引用一并并入本案。
【技术领域】
本发明涉及视频编码和视频解码，更具体地说，涉及对位于图像内容不连续性边缘的重构块不应用环路滤波处理的视频编码方法和设备，以及相关的视频解码方法和设备。
【背景技术】
传统的视频编码标准通常采用基于块的编码技术来利用空间和时间冗余。例如，基本方法是将源帧分成多个块，对每个块执行帧内预测/帧间预测，对每个块的残差进行变换，并执行量化和熵编码。此外，生成重构帧以提供用于对接下来的块进行编码的参考像素数据。对于某些视频编码标准，可以使用一个或多个环路滤波器来增强重构帧的图像质量。视频解码器用于执行由视频编码器执行的视频编码操作的逆操作。例如，在视频解码器中生成重构的帧，以提供用于解码接下来的块的参考像素数据，并且由视频解码器使用环路滤波器来增强重构帧的图像质量。
具有头戴式显示器(HMD)的虚拟现实(Virtual reality，简写为VR)与各种应用相关联。向用户显示广泛视野内容的能力可用于提供身临其境的视觉体验。必须在所有方向捕捉真实世界的环境，从而产生对应于观看球的全向视频。随着摄像机和HMD的进步，因为表示360度图像内容所需的高比特率，VR内容的传送可能很快成为瓶颈。当全向视频的分辨率为4K或更高时，数据压缩/编码对于降低比特率至关重要。
在传统的视频编码中，通过使用环路滤波处理来实现更高的主观和客观质量，可以大大地消除由编码错误导致的块边界伪像。然而，具有360度图像内容的帧可能具有不是由编码错误引起的图像内容不连续边缘。常规的环路内滤波处理不检测这种不连续性。结果，这些不连续性边缘可能被环路滤波处理局部地模糊，导致了不希望的图像质量下降。
【发明内容】
要求保护的本发明的目的之一是提供一种视频编码方法和装置以及相关联的视频解码方法和装置，其中，环路滤波处理不应用于位于图像内容不连续性边缘处的重构块。
根据本发明的第一方面，公开了一种示例性的视频编码方法。该示例性视频编码方法包括：分别生成用于对帧内的块进行编码的重构块，其中该帧具有由布置在360度虚拟现实(360VR)投影布局中的投影面表示的360度图像内容，并且存在至少一个图像内容不连续边缘，该边缘是由帧中的投影面的压缩引起的；以及配置至少一个环路滤波器，使得所述至少一个环路滤波器不对位于所述至少一个图像内容不连续性边缘的重构块应用环路滤波。
根据本发明的第二方面，公开了一种示例性的视频解码方法。该示例性视频解码方法包括：分别生成用于对帧内的块进行编码的重构块，其中该帧具有由排列在360度虚拟现实(360VR)投影布局中的投影面表示的360度图像内容，并且至少存在一个图像内容不连续边缘，该边缘是由帧中投影面的压缩引起的；以及配置至少一个环路滤波器，使得所述至少一个环路滤波器不对位于所述至少一个图像内容不连续性边缘的重构块应用环路滤波。
根据本发明的第三方面，公开了一种示例性视频编码器。示例性视频编码器包括编码电路和控制电路。编码电路包括重构电路和至少一个环路滤波器。重构电路被设置为分别生成用于对帧内的块进行编码的重构块，其中，所述帧具有以360度虚拟现实(360VR)投影布局排列的投影面所表示的360度图像内容，并且至少存在一个图像内容不连续边缘，该边缘是由帧中投影面的压缩引起的。控制电路被配置为配置至少一个环路滤波器，使得至少一个环路滤波器不对位于至少一个图像内容不连续性边缘的重构块应用环路滤波。
根据本发明的第四方面，公开了一种示例性视频解码器。示例性视频解码器包括重构电路和至少一个环路滤波器。重构电路被布置为分别生成用于对帧内的块进行编码的重构块，其中该帧具有以排列在360度虚拟现实(360VR)投影布局中的投影面表示的360度图像内容，并且存在至少一个图像内容不连续边缘，其是由于帧中投影面的压缩而产生的。所述至少一个环路滤波器不对位于所述至少一个图像内容不连续性边缘处的重构块应用环路滤波。
本发明的这些和其它目的在阅读以下各个附图和附图中所示的优选实施例的详细描述后，对于本领域技术人员来说无疑将变得显而易见。
【附图说明】
图1是示出根据本发明实施例的视频编码器的图。
图2是示出根据本发明实施例的视频解码器的图。
图3是示出根据本发明实施例的立方体映射投影(CMP)的图。
图4是示出根据本发明实施例的1×6立方格式的图。
图5是示出根据本发明实施例的2×3立方格式的图。
图6是示出根据本发明实施例的3×2立方格式的图。
图7是示出根据本发明实施例的6×1立方格式的图。
图8是图示根据本发明的实施例的另一个2x3立方格式的图。
图9是示出根据本发明实施例的另一个3×2立方格式的图。
图10是示出根据本发明实施例的另一个6×1立方格式的图。
图11是示出根据本发明实施例的又一个6×1立方格式的图。
图12是图示根据本发明实施例的控制应用于帧之环路滤波处理的结果的图。
图13是示出根据本发明实施例的分段球投影(SSP)的图。
图14是示出根据本发明实施例的由SSP产生的投影面的360VR投影布局的一个分区设计的图。
图15是示出根据本发明实施例的由SSP产生的投影面的360RV投影布局的另一分区设计的图。
图16是示出根据本发明实施例的当前预测块和多个相邻预测块的图。
【具体实施方式】
本说明书及权利要求书通篇中所用的某些用语指代特定部件。如本领域技术人员可以理解的是，电子设备制造商可利用不同名称来指代同一个部件。本文并非以名称来区分部件，而是以功能来区分部件。在以下说明书及权利要求书中，用语“包括”是开放式之限定词语，因此其应被解释为意指“包括但不限于…”。另外，用语“耦合”旨在意指间接电连接或直接电连接。因此，当一个装置耦合到另一装置时，则这种连接可以是直接电连接或通过其他装置及连接部而实现之间接电连接。
图1是示出根据本发明实施例的视频编码器的图。应该注意，图1中所示的视频编码器体系结构仅用于说明的目的，并不意味着限制本发明。视频编码器100经配置以对帧IMG进行编码以产生作为输出比特流的比特流BS。例如，帧IMG可以从诸如全向相机的视频捕获设备中生成。如图1所示，视频编码器100包括控制电路102和编码电路104。控制电路102提供对编码电路104的处理块的编码器控制。例如，控制电路102可以决定编码电路104的编码参数(例如，控制语法元素)，其中编码参数(例如，控制语法元素)经由从视频编码器100产生的比特流BS用信号通知(signal)给视频解码器。关于编码电路104，其包括残差计算电路111、变换电路(由“T”表示)112、量化电路(由“Q”表示)113、熵编码电路(例如，可变长度编码器)114、逆量化电路(由“IQ”表示)115、逆变换电路(由“IT”表示)116、重构电路117、至少一个环路滤波器118、参考帧缓冲器119、帧间预测电路120(其包括运动估计电路(由“ME”表示)121和运动补偿电路(由“MC”表示)122)、帧内预测电路(由“IP”表示)123以及帧内/帧间模式选择开关124。剩余计算电路111用于从当前要编码的块中减去预测块以产生当前块的残差到下一个变换电路112。当帧内/帧间模式选择开关224由所选择的帧内预测模式控制时，预测块可以从帧内预测电路123生成，并且在帧内/帧间模式选择开关124由所选择的帧间预测模式控制时，预测块可以从帧间预测电路124生成。在由变换电路112和量化电路113顺序地处理之后，当前块的残差被转换为量化变换系数，其中量化变换系数在熵编码电路114处被熵编码以成为比特流BS的一部分。
编码电路104具有内部解码电路。因此，通过逆量化电路115和逆变换电路116顺序地处理量化变换系数，以生成当前块的解码残差到后面的重构电路117。重构电路117将当前块的解码残差和当前块的预测块，以生成存储在参考帧缓冲器119中的参考帧(其是重构的帧)的重构块。帧间预测电路120可使用参考帧缓冲器119中的一个或一个以上参考帧以在帧间预测模式下产生预测块。在重构块被存储到参考帧缓冲器119中之前，环路滤波器118可以对重构块执行指定的环路滤波。例如，环路滤波器118可以包括去块滤波器(DBF)、采样自适应偏移(SAO)滤波器和/或自适应环路滤波器(ALF)。
图2是示出根据本发明实施例的视频解码器的图。视频解码器200可经由诸如有线/无线通信链路或存储媒体的传输装置与视频编码器(例如，图1中所展示的视频编码器100)通信。在此实施例中，视频解码器200经布置以接收比特流BS作为输入比特流且解码所接收的比特流BS以产生经解码帧IMG'。例如，解码帧IMG'可以被显示在诸如头戴式显示器的显示设备上。应该注意的是，图2中所示的视频解码器体系结构仅用于说明的目的，并不意味着限制本发明。在图2中，视频解码器200是包括熵解码电路(例如，可变长度解码器)202、逆量化电路(由“IQ”表示)204、逆变换电路(由“IT”表示)206、重构电路208、运动矢量计算电路(由“MV计算”表示)210、运动补偿电路(由“MC”表示)213、帧内预测电路(由“IP”表示)214、帧内/帧间模式选择开关216、至少一个环路滤波器218和参考帧缓冲器220的解码电路。
当对块进行帧间编码时，运动矢量计算电路210参考由熵解码电路202从比特流BS解析的信息，以确定正被解码的帧的当前块与参考帧的预测块之间的运动矢量，其中该参考帧作为重构帧并存储在参考帧缓冲器220中。运动补偿电路213可以根据运动矢量执行内插滤波以生成预测块。预测块被提供给帧内/帧间模式选择开关216。由于块被帧间编码，帧内/帧间模式选择开关216将从运动补偿电路213产生的预测块输出到重构电路208。
当块被帧内编码时，帧内预测电路214产生到帧内/帧间模式选择开关216的预测块。由于块是帧内编码的，帧内/帧间模式选择开关216输出从帧内预测电路214生成的预测块到重构电路208。
另外，通过熵解码电路202、逆量化电路204和逆变换电路206获得块的解码残差。重构电路208将解码残差和预测块组合以生成重构块。重构的块可以被存储到参考帧缓冲器220中，作为可以用于解码接下来的块的参考帧(其是重构的帧)的一部分。类似地，在重构块被存储到参考帧缓冲器220中之前，环路滤波器218可以对重构块执行指定的环路滤波。例如，环路内滤波器218可以包括DBF、SAO滤波器和/或ALF。
为了清楚和简单起见，以下假设在视频编码器100中实施的环路滤波器118和在视频解码器200中实施的环路滤波器218是去块滤波器。换句话说，在本发明中术语“环路内滤波器”和“去块滤波器”可以互换。然而，这不意味着是对本发明的限制。实际上，本发明提出的同一个环路控制方案也可以应用于其他环路滤波器，如SAO滤波器和ALF。这些替代设计均落入本发明的范围内。
在将去块滤波器118/218写入到视频编码器100/视频解码器200中的参考帧缓冲器119/220中之前，将去块滤波器118/218应用于重构的采样。例如，去块滤波器118/218被应用于在除了边界也是帧边界的情况之外的每个变换块的边界处的所有重构的采样。例如，关于变换块，当左侧垂直边缘不是帧的左侧垂直边缘(即，左边界)时，去块滤波器118/218被应用于变换块的左侧垂直边缘(即，左边界)处的所有重构样本，并且当顶部水平边缘不是帧的顶部水平边缘(即，顶部边界)时，也被应用于变换块的顶部水平边缘(即，顶部边界)处的所有重构样本。为了对变换块的左侧垂直边缘(即，左边界)处的重构样本进行滤波，去块滤波器118/218需要在左侧垂直边缘的两侧上的重构样本。因此，通过去块滤波器118/218的垂直边缘滤波，需要属于变换块的重构样本和属于左相邻变换块的重构样本。类似地，为了对变换块的顶部水平边缘(即，顶部边界)处的重构样本进行滤波，去块滤波器118/218需要在顶部水平边缘的两侧上的重构样本。因此，通过去块滤波器118/218的水平边缘滤波，需要属于变换块的重构样本和属于上方相邻变换块的重构样本。根据所使用的变换尺寸，一个编码块可以被分成一个或多个变换块。因此，编码块的左侧垂直边缘(即，左边界)与编码块中包括的(一个或多个)变换块的(一个或多个)左侧垂直边缘对齐，而编码块的顶部水平边缘(即，顶部边界)与编码块中包括的(一个或多个)变换块的(一个或多个)顶部垂直边缘对齐。因此，关于编码块的去块滤波，在编码块和相邻编码块之间存在数据依赖性。然而，当两个编码块之间的边缘不是由编码错误引起之时，对边缘应用去块滤波将导致边缘模糊。本发明提出了一种环路滤波器控制方案，以防止环路滤波器118/218将环路滤波器处理应用于由投影面的压缩而不是由编码误差造成的边缘。
在这个实施例中，待由视频编码器100编码的帧IMG具有以排列在360度虚拟现实(360VR)投影布局中的投影面表示的360度图像内容。因此，在视频解码器200对比特流BS进行解码之后，经解码的帧(即，重构的帧)IMG'也具有由排列在相同360°VR投影布局中的投影面表示的360度图像内容。投影面被压缩(pack)形成帧IMG。为了获得更好的压缩效率，所采用的360°VR投影布局可以将投影面以适当的排列和/或旋转进行压缩，以最大程度地实现不同投影面之间的连续性。然而，由于360度图像内容和投影格式的固有特性，至少有一个图像内容不连续性边缘是由帧IMG中投影面的压缩造成的。
图3是示出根据本发明实施例的立方体映射投影(CMP)的图。在此示例中，360VR投影使用CMP产生六个立方体面(由“左”、“前”、“右”、“后”、“顶”和“底”表示)作为投影面。360度的图像内容(可以通过全向摄像头拍摄)由六个立方体面表示。根据选定的360VR投影布局，六个立方体面被适当地压缩以形成帧IMG。
图4是示出根据本发明实施例的1×6立方格式的图。通过由CMP产生的六个立方体面的适当排列和/或旋转，立方体面A1、A2、A3具有连续的图像内容，并且立方体面B1、B2、B3具有连续的图像内容。然而，由于六个立方体面积为1×6立方格式，所以在相邻立方体面A3和B1之间存在图像内容不连续边缘(水平边缘)BD。
图5是示出根据本发明实施例的2×3立方格式的图。通过由CMP产生的六个立方体面的适当排列和/或旋转，立方体面A1、A2、A3具有连续的图像内容，并且立方体面B1、B2、B3具有连续的图像内容。然而，由于以2x3立方体格式压缩六个立方体面，在相邻立方体面A1-A3和B1-B3之间存在图像内容不连续边缘(垂直边缘)BD。
图6是示出根据本发明实施例的3×2立方格式的图。通过由CMP产生的六个立方体面的适当排列和/或旋转，立方体面A1、A2、A3具有连续的图像内容，并且立方体面B1、B2、B3具有连续的图像内容。然而，由于以3×2立方体格式压缩六个立方体面，因此在相邻立方体面A1-A3和B1-B3之间存在图像内容不连续边缘(水平边缘)BD。
图7是示出根据本发明实施例的6×1立方格式的图。通过由CMP产生的六个立方体面的适当排列和/或旋转，立方体面A1、A2、A3具有连续的图像内容，并且立方体面B1、B2、B3具有连续的图像内容。然而，由于以6x1立方体格式压缩六个立方体面，在相邻立方体面A3和B1之间存在图像内容不连续边缘(垂直边缘)BD。
图8是根据本发明的实施例的另一个2x3立方格式的图。通过由CMP产生的六个立方体面的适当排列和/或旋转，立方体面A1、A2、A3具有连续的图像内容，并且立方体面B1、B2、B3具有连续的图像内容。然而，由于以2x3立方体格式压缩六个立方体面，所以在相邻的立方体面A1、A3和B1、B3之间存在图像内容不连续边缘BD。
图9是示出根据本发明实施例的另一个3×2立方格式的图。通过由CMP产生的六个立方体面的适当排列和/或旋转，立方体面A1、A2、A3、A4具有连续的图像内容。然而，由于以3x2立方体格式压缩六个立方体面，相邻的立方体面A1、A4和B之间存在一个图像内容不连续边缘BD1，而相邻的立方体面A3、A4和C之间存在另一个图像内容不连续边缘BD2。
如果通过环路滤波处理(例如，去块滤波处理，SAO滤波处理和/或ALF处理)处理由投影面的压缩产生的图像内容不连续性边缘处的重构块，则图像内容不连续性边缘(这不是由编码错误引起的)可能通过环路内滤波处理局部模糊。本发明提出了一种环路滤波器控制方案，其禁止由投影面的压缩引起的图像内容不连续边缘处的环路滤波处理。视频编码器100的控制电路102用于设置环路滤波器118的控制语法元素以配置环路滤波器118，从而使得环路滤波器(一个或多个))118不对位于图像内容不连续边缘处的重构块进行环路滤波，该重构块由于投影面的压缩而产生。由于控制语法元素被嵌入在比特流BS中，因此视频解码器200可以在熵解码电路202处导出用信号发送的控制语法元素。视频解码器200处的(一个或多个)环路滤波器218可由标示的(signaled)控制语法元素配置，使得(一个或多个)环内滤波器218也不对位于由投影面的压缩产生的图像内容不连续边缘处的重构块应用环路滤波。
视频编码标准(例如，H.264，H.265或VP9)中可用的现有工具可用于禁用跨越切片(slice)/瓦片(tile)/片段(segment)边界的环路内滤波处理。当切片/瓦片/片段边界也是由投影面的压缩产生的图像内容不连续性边缘时，可以通过使用现有工具在图像内容不连续性边缘处禁用环路滤波处理，而不需要对视频编码器100和视频解码器200做出任何额外的改变。在此实施例中，视频编码器100的控制电路102可进一步将帧IMG分成多个分区以进行独立分区编码。在视频编码器100是H.264编码器的情况下，每个分区是切片。在视频编码器100是H.265编码器的另一情况下，每个分区是切片或瓦片。在视频编码器100是VP9编码器的另一情况下，每个分区是瓦片或片段。
如图4所示，由以1×6立方格式排列的立方体面A1-A3和B1-B3形成的帧IMG被分成第一分区P1和第二分区P2，其中相邻分区P1和P2之间的分区边界是图像内容不连续边缘BD。例如，第一分区P1和第二分区P2中的每一个可以是切片或者瓦片。
如图5所示，由以2×3立方格式排列的立方体面A1-A3和B1-B3形成的帧IMG被分成第一分区P1和第二分区P2，其中相邻分区P1和P2之间的分区边界是图像内容不连续边缘BD。例如，第一分区P1和第二分区P2中的每一个可以是瓦片。
如图6所示，由排列成3×2立方格式的立方体面A1-A3和B1-B3形成的帧IMG被分成第一分区P1和第二分区P2，其中相邻分区P1和P2之间的分区边界是图像内容不连续边缘BD。例如，第一分区P1和第二分区P2中的每一个可以是切片或者瓦片。
如图所示，在图7中，由以6×1立方格式排列的立方体面A1-A3和B1-B3形成的帧IMG被分成第一分区P1和第二分区P2，其中相邻分区P1和P2之间的分区边界是图像内容不连续边缘BD。例如，第一分区P1和第二分区P2中的每一个可以是瓦片。
应该注意，本发明对视频编码器100的控制电路102采用的分区方法没有限制。可以使用诸如灵活宏块排序(FMO)之类的其他分区方法来定义帧IMG的分区，如图8-11所示。
如图8所示，由以2×3立方格式排列的立方体面A1-A3和B1-B3形成的帧IMG被分成第一分区P1和第二分区P2，其中相邻分区P1和P2之间的分区边界是图像内容不连续边缘BD。
如图9所示，由排列成3×2立方格式的立方体面A1-A4，B和C形成的帧IMG被分成第一分区P1、第二分区P2和第三分区P3，其中相邻分区P1和P2之间的分区边界是图像内容不连续性边缘BD1，并且相邻分区P1和P3之间的分区边界是图像内容不连续性边缘BD2。
如图10所示，由排列成6×1立方格式的立方体面A1-A4、B和C形成的帧IMG被分成第一分区P1、第二分区P2和第三分区P3，其中相邻分区P1和P2之间的分区边界是图像内容不连续性边缘BD1，并且相邻分区P2和P3之间的分区边界是图像内容不连续性边缘BD2。
如图11所示，由6x1立方格式排列的立方体面A-F形成的帧IMG被分成第一分区P1、第二分区P2、第三分区P3、第四分区P4、第五分区P5和第六分区P6，其中相邻分区P1和P2之间的分区边界是图像内容不连续性边缘BD1，相邻分区P2和P3之间的分区边界是图像内容不连续性边缘BD2，相邻分区P3和P4之间的分区边界是图像内容不连续边缘BD3，相邻分区P4和P5之间的分区边界是图像内容不连续边缘BD4，并且相邻分区P5和P6之间的分区边界是图像内容不连续边缘BD5。
由于在视频编码标准(例如，H.264，H.265或VP9)中可用的现有工具可用于跨切片/瓦片/分段边界禁用环路内滤波处理，所以控制电路102可以适当地设置控制语法元素以在分区边界(其可以是切片边界、瓦片边界或分段边界)处禁用环路滤波器118，使得对位于图像内容不连续边缘(也是分区边界)的重构块不应用环路滤波。另外，用于控制视频编码器100处的环路滤波器118的控制语法元素经由比特流BS被信令给视频解码器200，使得在视频编码器200处(一个或多个)环路滤波器218由信令的控制语法元素来控制，以实现在分区边界处禁用环路内滤波处理的相同目标。
图12是根据本发明实施例的控制应用于帧的环路滤波处理的结果的图。在此实例中，控制电路102可将帧IMG划分为水平排列的四个分区(例如，瓦片)P1、P2、P3、P4，以在视频编码器100处进行独立编码且在视频解码器200处进行独立解码。帧IMG是通过压缩投影面而形成的。在该例子中，相邻分区P1和P2之间的分区边界是由投影面的压缩产生的第一图像内容不连续边缘BD1，相邻分区P2和P3之间的分区边界是由投影面的压缩产生的第二图像内容不连续边缘BD2，并且相邻分区P3和P4之间的分区边界是由投影面的压缩产生的第三图像内容不连续边缘BD3。
控制电路102进一步将每个分区P1-P4划分成编码块。控制电路102通过从候选编码块尺寸(例如，64×64、64×32、32×64、32×32、32×16、16×32等等)中选择的最优编码块尺寸来确定位于两个相邻分区之间的分区边界处的每个第一编码块的编码块尺寸，并且通过从候选编码块尺寸(例如，64×64、64×32、32×64、32×32、32×16、16×32、16×16等等)中选择的最优编码块尺寸来确定不位于两个相邻分区之间的分区边界处的每个第二编码块的编码块大小。例如，在候选编码块尺寸中，最优编码块尺寸使得编码块具有由基于块的编码产生的最小失真。如图12所示，第一块(由阴影区域表示)的重构块不被环路滤波处理处理，并且第二块(由非阴影区域表示)的重构块由环路滤波处理处理。以这种方式，通过对投影面的压缩产生的图像内容不连续边缘BD1、BD2、BD3应用环路滤波，图像质量不会降低。
图4-11所示的帧IMG的输入格式仅用于说明的目的，并不意味着对本发明的限制。例如，可以通过以plane_poles_cubemap格式或plane_poles格式压缩投影面来生成帧IMG，并且帧IMG可根据由替代输入格式中的投影面的压缩产生的图像内容不连续边缘而被划分成分区。
如图3所示，360°VR投影使用CMP产生六个立方体面作为投影面。因此，360度的图像内容(可以由全向摄像机捕捉)由六个立方体面来表示，并且六个立方体面被适当地压缩以形成帧IMG。然而，这仅仅是为了说明的目的，并不意味着是对本发明的限制。实际上，所提出的环路滤波器控制方案可应用于通过压缩使用其他360°VR投影获得的投影面而形成的帧。
图13是示出根据本发明实施例的分段球投影(SSP)的图。在该示例中，360VR投影采用SSP来产生投影面1302、1304和1306。360度的图像内容(其可以由全向相机捕获)由投影面1302、1304和1306来表示，其中投影面1304包含北极区域的图像内容，投影面1306包含南极区域的图像内容，并且投影面1302是赤道区域的等矩形投影(ERP)结果或赤道区域的等面积投影(EAP)结果。根据图14所示的选定的360°VR投影布局，投影面被适当地压缩以形成帧IMG。由于SSP的固有特性，每个投影面1302、1304、1306具有连续的图像内容。然而，由于以图14所示的格式压缩投影面1302、1304、1306，在相邻投影面1302和1306之间存在图像内容不连续边缘(水平边缘)BD。
如上所述，视频编码标准(例如，H.264，H.265或VP9)中可用的现有工具可用于禁用跨切片/瓦片/分段边界环路滤波处理。当切片/瓦片/片段边界也是由投影面的压缩产生的图像内容不连续性边缘时，可以通过使用现有工具在图像内容不连续性边缘处禁用环路滤波处理，而不需要对视频编码器100和视频解码器200做出任何改变。如图14所示，控制电路102将帧IMG分成第一分区P1和第二分区P2，其中相邻分区P1和P2之间的分区边界是图像内容不连续性边缘BD。例如，第一分区P1和第二分区P2中的每一个可以是切片或者瓦片。
或者，由于以图15所示的格式压缩投影面1302、1304、1306，在相邻的投影面1304、1306之间存在一个图像内容不连续边缘(水平边缘)BD1，在相邻的投影面1302、1306之间存在其他的图像内容不连续边缘(水平边缘)BD2。如图15所示，控制电路102将帧IMG分区成第一分区P1，第二分区P2和第三分区P3，其中相邻分区P1和P2之间的分区边界是图像内容不连续性边缘BD1，在相邻分区P2和P3之间的分区边界是图像内容不连续性边缘BD2。例如，第一分区P1、第二分区P2和第三分区P3中的每一个可以是切片或瓦片。
控制电路102可以进一步将一个编码块划分为一个或多个预测块。在同一帧中的相邻预测块的运动矢量之间可能存在冗余。如果每个预测块的一个运动矢量被直接编码，则可能花费大量的比特。由于相邻预测块的运动矢量可以彼此相关，可以使用相邻块的运动矢量来预测当前块的运动矢量，该运动矢量被称为运动矢量预测值(motion vectorpredictor，简写为MVP)。由于视频解码器200可以从相邻块的运动矢量中导出当前块的MVP，所以视频编码器100不需要将当前块的MVP发送到视频解码器200，从而提高了编码效率。
视频编码器100的帧间预测电路120可经配置以从作为相邻预测块拥有的运动矢量的候选MVP中选择当前预测块的最终MVP。类似地，视频解码器200的运动矢量计算电路210可经配置以从作为相邻预测块拥有的运动矢量的候选MVP中选择当前预测块的最终MVP。相邻预测块和当前预测块可能不位于图像内容不连续边的同一侧。例如，同一帧中的第一分区和第二分区之间的分区边界(例如，相邻切片之间的切片边界，相邻瓦片之间的瓦片边界或者相邻分段之间的分段边界)也是由投影面的压缩产生的图像内容不连续性边缘，并且当前预测和相邻预测块分别位于第一分区和第二分区。为了避免执行跨越图像内容不连续性边缘运动矢量预测，本发明提出将作为相邻预测块所拥有的运动矢量的当前预测块的候选MVP视为不可用。因此，相邻预测块的运动矢量不被用作当前预测块的一个候选MVP。
图16是示出根据本发明实施例的当前预测块和多个相邻预测块的图。当前预测块PBcur和相邻预测块a0、a1、b0、b1、b2位于相同的帧中。在第一分区P1和第二分区P2之间的分区边界也是由投影面压缩产生的图像内容不连续性边缘的情况下，当确定当前预测块的最终MVP时，当前预测块PBcur的候选MVP(其是由相邻预测块b0、b1、b2拥有的运动矢量)将隐含地或显式地视为不可用。在第一分区P1'和第二分区P2'之间的分区边界也是由投影面压缩产生的图像内容不连续边缘的另一情况下，当确定当前预测块的最终MVP时，当前预测块PBcur的候选MVP(其是由相邻预测块a0、a1、b2拥有的运动矢量)被隐式或明确地视为不可用。
本领域技术人员易知，可在保持本发明之教示内容的同时对装置及方法作出诸多修改及变动。因此，以上公开内容应被视为仅受随附权利要求书之范围的限制。

Claims (20)

1.一种视频编码方法，包括：
生成用于帧内的多个块编码的多个重构块，其中，该帧具有以排列在360度虚拟现实(360VR)投影布局中的多个投影面表示的360度图像内容，并且存在由该帧中的该多个投影面的压缩产生的至少一个图像内容不连续性边缘；以及
配置至少一个环路滤波器，使得该至少一个环路滤波器不对位于该至少一个图像内容不连续性边缘的重构块应用环路滤波。
2.根据权利要求1所述的视频编码方法，其特征在于，还包括：
根据该至少一个图像内容不连续性边缘将该帧划分成多个分区，其中，该多个分区中的每一个包括多个编码块，该多个编码块中的每一个包括多个像素，并且该至少一个图像内容不连续性边缘包括该帧中的多个相邻分区之间的分区边界。
3.根据权利要求1所述的视频编码方法，其特征在于，每一该编码块包括一或多个预测块，且对该帧进行编码以产生该输出比特流的步骤还包括：
当确定该帧的编码块中的当前预测块的最终运动矢量预测值(MVP)时，将作为相邻预测块所拥有的运动矢量的该当前预测块的候选MVP视为不可用，其中该当前预测块和该当前预测块位于该至少一个图像内容不连续性边缘的相对侧上。
4.根据申请专利范围第1项所述之视频编码方法，其特征在于，该分区中的每一个是切片、或者瓦片或者分段。
5.根据申请专利范围第1项所述之视频编码方法，其特征在于，该至少一个环路滤波器包括去块滤波器、或样本自适应偏移(SAO)滤波器或自适应环路滤波器(ALF)。
6.一种视频解码方法，包括：
生成用于帧内的多个块编码的多个重构块，其中，该帧具有以排列在360度虚拟现实(360VR)投影布局中的多个投影面表示的360度图像内容，并且存在由该帧中的该多个投影面的压缩产生的至少一个图像内容不连续性边缘；以及
配置至少一个环路滤波器，使得该至少一个环路滤波器不对位于该至少一个图像内容不连续性边缘的重构块应用环路滤波。
7.根据权利要求6所述的视频解码方法，其特征在于，该帧被划分为多个分区，每个分区包括多个编码块，该多个编码块中的每一个包括多个像素，并且该至少一个图像内容不连续性边缘包括该帧中的多个相邻分区之间的分区边界。
8.根据申请专利范围第6项所述之视频解码方法，其特征在于，每个编码块包括一个或多个预测块，并且解码输入比特流以重构该帧还包括：
当确定第一分区的编码块中当前预测块的最终运动矢量预测值(MVP)时，将作为相邻预测块所拥有的运动矢量的该当前预测块的候选MVP视为不可用，其中该当前预测块和该当前预测块位于该至少一个图像内容不连续性边缘的相对侧上。
9.根据权利要求6所述的视频解码方法，其特征在于，每个该分区是切片、或者瓦片或者分段。
10.根据权利要求6所述的视频解码方法，其特征在于，该至少一个环路滤波器包括去块滤波器、或样本自适应偏移(SAO)滤波器或自适应环路滤波器(ALF)。
11.一种视频编码器，包括：
编码电路，包括：
重构电路，被配置为分别生成用于对帧内的多个块进行编码的多个重构块，其中，该帧具有以排列在360度虚拟现实(360VR)投影布局中的多个投影面表示的360度图像内容，并且存在由该帧中的该多个投影面的压缩产生的至少一个图像内容不连续性边缘；以及
至少一个环路滤波器；以及
控制电路，被配置为配置该至少一个环路滤波器，使得该至少一个环路滤波器不对位于该至少一个图像内容不连续性边缘的重构块应用环路滤波。
12.根据权利要求11所述的视频编码器，其特征在于，该控制电路进一步经配置以根据该至少一个图像内容不连续性边缘将该帧划分成多个分区，其中，该多个分区中的每一个包括多个编码块，该多个编码块中的每一个包括多个像素，并且该至少一个图像内容不连续性边缘包括该帧中的多个相邻分区之间的分区边界。
13.如申请专利范围第11项所述之视频编码器，其特征在于，每一该编码块包括一或多个预测块；并且当确定该帧的编码块中的当前预测块的最终运动矢量预测值(MVP)时，该编码电路将作为相邻预测块所拥有的运动矢量的该当前预测块的候选MVP视为不可用，其中该当前预测块和该当前预测块位于该至少一个图像内容不连续性边缘的相对侧上。
14.根据权利要求11所述的视频编码器，其特征在于，该分区中的每一个是切片、或瓦片或片段。
15.根据权利要求11所述的视频编码器，其特征在于，该至少一个环路滤波器包括去块滤波器、或样本自适应偏移(SAO)滤波器或自适应环路滤波器(ALF)。
16.一种视频解码器，包括：
重构电路，被配置为分别生成用于对帧内的多个块进行编码的重构块，其中，该帧具有以排列在360度虚拟现实(360VR)投影布局中的多个投影面表示的360度图像内容，并且存在由该帧中的该多个投影面的压缩产生的至少一个图像内容不连续性边缘；以及
至少一个环路滤波器，其中该至少一个环路滤波器不对位于该至少一个图像内容不连续性边缘的重构块应用环路滤波。
17.根据权利要求16所述的视频解码器，其特征在于，该帧被划分成多个分区，每个分区包括多个编码块，该多个编码块中的每一个包括多个像素，并且该至少一个图像内容不连续边缘包括该帧中多个相邻分区之间的分区边界。
18.根据权利要求16所述的视频解码器，其特征在于，每个编码块包括一个或多个预测块，并且当确定第一分区的编码块中当前预测块的最终运动矢量预测值(MVP)时，该视频解码器将作为相邻预测块所拥有的运动矢量的该当前预测块的候选MVP视为不可用，其中该当前预测块和该当前预测块位于该至少一个图像内容不连续性边缘的相对侧上。
19.根据权利要求16所述的视频解码器，其特征在于，该分区中的每一个是切片或瓦片或分段。
20.根据权利要求16所述的视频解码器，其特征在于，该至少一个环路滤波器包括去块滤波器或者样本自适应偏移(SAO)滤波器或自适应环路滤波器(ALF)。
CN201780018744.8A 2016-08-22 2017-08-21 对位于图像内容不连续性边缘处的重构块不应用环路滤波处理的视频编码方法和设备和相关的视频解码方法和设备 Pending CN109219958A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662377762P 2016-08-22 2016-08-22
US62/377,762 2016-08-22
US15/675,810 2017-08-14
US15/675,810 US20180054613A1 (en) 2016-08-22 2017-08-14 Video encoding method and apparatus with in-loop filtering process not applied to reconstructed blocks located at image content discontinuity edge and associated video decoding method and apparatus
PCT/CN2017/098260 WO2018036447A1 (en) 2016-08-22 2017-08-21 Video encoding method and apparatus with in-loop filtering process not applied to reconstructed blocks located at image content discontinuity edge and associated video decoding method and apparatus

Publications (1)

Publication Number Publication Date
CN109219958A true CN109219958A (zh) 2019-01-15

Family

ID=61192499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780018744.8A Pending CN109219958A (zh) 2016-08-22 2017-08-21 对位于图像内容不连续性边缘处的重构块不应用环路滤波处理的视频编码方法和设备和相关的视频解码方法和设备

Country Status (5)

Country Link
US (1) US20180054613A1 (zh)
EP (1) EP3417616A4 (zh)
CN (1) CN109219958A (zh)
TW (1) TWI656785B (zh)
WO (1) WO2018036447A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021160125A1 (en) * 2020-02-14 2021-08-19 Beijing Bytedance Network Technology Co., Ltd. Interplay between in-loop filtering and video tiles
CN113302943A (zh) * 2019-02-11 2021-08-24 华为技术有限公司 环绕视图视频编解码
WO2022002007A1 (en) * 2020-06-30 2022-01-06 Beijing Bytedance Network Technology Co., Ltd. Boundary location for adaptive loop filtering
US11539946B2 (en) 2019-12-11 2022-12-27 Beijing Bytedance Network Technology Co., Ltd. Sample padding for cross-component adaptive loop filtering

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018045108A1 (en) * 2016-09-02 2018-03-08 Vid Scale, Inc. Method and system for signaling of 360-degree video information
EP4447452A2 (en) 2016-10-04 2024-10-16 B1 Institute of Image Technology, Inc. Image data encoding/decoding method and apparatus
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US10839480B2 (en) * 2017-03-22 2020-11-17 Qualcomm Incorporated Sphere equator projection for efficient compression of 360-degree video
BR112019022007A2 (pt) * 2017-04-21 2020-05-12 Zenimax Media Inc. Sistemas e métodos para vetores de movimento gerados em jogos
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
KR20200064989A (ko) * 2017-09-20 2020-06-08 브이아이디 스케일, 인크. 360도 비디오 코딩에서의 면 불연속 처리
US10764605B2 (en) * 2018-02-14 2020-09-01 Qualcomm Incorporated Intra prediction for 360-degree video
WO2019170154A1 (en) * 2018-03-09 2019-09-12 Mediatek Inc. De-blocking method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
US10715832B2 (en) * 2018-03-16 2020-07-14 Mediatek Inc. Method and apparatus of block partition for VR360 video coding
GB2586095B (en) * 2018-03-22 2023-03-01 Mediatek Inc Sample adaptive offset filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
US10986371B2 (en) 2018-03-22 2021-04-20 Mediatek Inc. Sample adaptive offset filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
US12034977B2 (en) * 2018-06-28 2024-07-09 Electronics And Telecommunications Research Institute Video encoding/decoding method and device, and recording medium for storing bitstream
TWI729478B (zh) * 2018-08-31 2021-06-01 聯發科技股份有限公司 用於虛擬邊界的環內濾波的方法和設備
US11765349B2 (en) 2018-08-31 2023-09-19 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries
US11094088B2 (en) 2018-08-31 2021-08-17 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries in video coding
KR102154407B1 (ko) * 2018-11-15 2020-09-09 한국전자기술연구원 타일 기반 스트리밍을 위한 모션 제한 av1 영상 부호화 방법 및 장치
EP3895425A4 (en) * 2018-12-14 2021-12-15 ZTE Corporation PROCESSING AN IMMERSIVE VIDEO BITSTREAM
US11089335B2 (en) 2019-01-14 2021-08-10 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries
CN113170124B (zh) * 2019-01-14 2023-12-12 联发科技股份有限公司 虚拟边缘的环内滤波的方法和设备
CN113994671B (zh) 2019-06-14 2024-05-10 北京字节跳动网络技术有限公司 基于颜色格式处理视频单元边界和虚拟边界
KR20220020268A (ko) 2019-06-14 2022-02-18 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 유닛 경계들 및 가상 경계들의 처리
JP7291846B2 (ja) 2019-07-09 2023-06-15 北京字節跳動網絡技術有限公司 適応ループフィルタリングのためのサンプル決定
WO2021004542A1 (en) 2019-07-11 2021-01-14 Beijing Bytedance Network Technology Co., Ltd. Sample padding in adaptive loop filtering
EP3984219A4 (en) * 2019-07-15 2022-08-17 Beijing Bytedance Network Technology Co., Ltd. CLASSIFICATION IN AN ADAPTIVE LOOP FILTERING
MX2022000987A (es) * 2019-07-25 2022-10-28 Hfi Innovation Inc Metodo y aparato de filtrado de bucle adaptativo de componentes cruzados con limite virtual para codificacion de video.
CN114430902B (zh) 2019-09-22 2023-11-10 北京字节跳动网络技术有限公司 自适应环路滤波中的填充过程
WO2021061826A1 (en) * 2019-09-24 2021-04-01 Futurewei Technologies, Inc. Filter flags for subpicture deblocking
JP7326600B2 (ja) 2019-09-27 2023-08-15 北京字節跳動網絡技術有限公司 異なるビデオユニット間の適応ループフィルタリング
JP7454042B2 (ja) 2019-10-10 2024-03-21 北京字節跳動網絡技術有限公司 適応ループ・フィルタリングにおける利用可能でないサンプル位置でのパディング・プロセス
US11095912B2 (en) * 2019-10-28 2021-08-17 Mediatek Inc. Video decoding method for decoding part of bitstream to generate projection-based frame with constrained guard band size, constrained projection face size, and/or constrained picture size
CN118450117A (zh) * 2019-11-18 2024-08-06 Lg电子株式会社 图像编码/解码方法、比特流生成方法和数据发送方法
US11477490B2 (en) 2020-01-03 2022-10-18 Mediatek Inc. Video processing method with sample adaptive offset filtering disabled across virtual boundary in reconstructed frame and associated video processing apparatus

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1988674A (zh) * 2005-12-21 2007-06-27 国际商业机器公司 三维立体式投影的方法和装置
US20080285654A1 (en) * 2007-05-16 2008-11-20 Microsoft Corporation Multiview coding with geometry-based disparity prediction
WO2009033390A1 (en) * 2007-09-13 2009-03-19 Huawei Technologies Co., Ltd. Method and device for acquiring block boundary strength and reducing block distortion
CN102450015A (zh) * 2009-06-05 2012-05-09 高通股份有限公司 三维转换信息与二维视频序列的编码
US20130293565A1 (en) * 2012-05-01 2013-11-07 Qualcomm Incorporated Color buffer and depth buffer compression
CN103947213A (zh) * 2011-10-28 2014-07-23 高通股份有限公司 瓦片边界上的环路滤波控制
CN104350745A (zh) * 2012-07-04 2015-02-11 英特尔公司 基于全景的3d视频译码
WO2015072626A1 (ko) * 2013-11-15 2015-05-21 광운대학교 산학협력단 다중 계층 비디오 코딩을 위한 계층 간 참조 픽쳐 생성 방법 및 장치

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW413796B (en) * 1998-06-25 2000-12-01 Ind Tech Res Inst A method and system for establishing environment image
US6842484B2 (en) * 2001-07-10 2005-01-11 Motorola, Inc. Method and apparatus for random forced intra-refresh in digital image and video coding
CN101006469A (zh) * 2004-04-09 2007-07-25 美国西门子医疗解决公司 用于产生体积图像的全景视图的系统和方法
KR100677142B1 (ko) * 2004-08-13 2007-02-02 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상
US8213495B2 (en) * 2006-02-06 2012-07-03 Panasonic Corporation Picture decoding method and picture decoding apparatus
BR112013027865B1 (pt) * 2012-02-03 2023-03-21 Hfi Innovation Inc Método e aparelho de processamento de filtro em loop para pixels de fronteira através de uma fronteira de bloco
US9503720B2 (en) * 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
KR101661436B1 (ko) * 2012-09-29 2016-09-29 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 인코딩 및 디코딩 방법, 장치 및 시스템
US10204658B2 (en) * 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
CN104113765A (zh) * 2014-07-28 2014-10-22 北京大学深圳研究生院 一种视频编、解码方法和装置
FI20165114A (fi) 2016-02-17 2017-08-18 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodausta ja videokoodauksen purkua varten
US10602191B2 (en) * 2016-05-13 2020-03-24 Gopro, Inc. Apparatus and methods for video compression
US10368067B2 (en) * 2016-06-15 2019-07-30 Mediatek Inc. Method and apparatus for selective filtering of cubic-face frames
US10764582B2 (en) * 2017-06-29 2020-09-01 Qualcomm Incorporated Reducing seam artifacts in 360-degree video

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1988674A (zh) * 2005-12-21 2007-06-27 国际商业机器公司 三维立体式投影的方法和装置
US20080285654A1 (en) * 2007-05-16 2008-11-20 Microsoft Corporation Multiview coding with geometry-based disparity prediction
WO2009033390A1 (en) * 2007-09-13 2009-03-19 Huawei Technologies Co., Ltd. Method and device for acquiring block boundary strength and reducing block distortion
CN102450015A (zh) * 2009-06-05 2012-05-09 高通股份有限公司 三维转换信息与二维视频序列的编码
CN103947213A (zh) * 2011-10-28 2014-07-23 高通股份有限公司 瓦片边界上的环路滤波控制
US20130293565A1 (en) * 2012-05-01 2013-11-07 Qualcomm Incorporated Color buffer and depth buffer compression
CN104350745A (zh) * 2012-07-04 2015-02-11 英特尔公司 基于全景的3d视频译码
WO2015072626A1 (ko) * 2013-11-15 2015-05-21 광운대학교 산학협력단 다중 계층 비디오 코딩을 위한 계층 간 참조 픽쳐 생성 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FRAUNHOFER HHI: "《3GPP TSG-SA4 MEETING #89 Kista Sweden》", 1 July 2016 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113302943A (zh) * 2019-02-11 2021-08-24 华为技术有限公司 环绕视图视频编解码
CN113302943B (zh) * 2019-02-11 2023-01-06 华为技术有限公司 用于环绕视图视频编解码的方法、设备、装置及存储介质
US11539946B2 (en) 2019-12-11 2022-12-27 Beijing Bytedance Network Technology Co., Ltd. Sample padding for cross-component adaptive loop filtering
US11979567B2 (en) 2019-12-11 2024-05-07 Beijing Bytedance Network Technology Co., Ltd. Sample padding for cross-component adaptive loop filtering
WO2021160125A1 (en) * 2020-02-14 2021-08-19 Beijing Bytedance Network Technology Co., Ltd. Interplay between in-loop filtering and video tiles
WO2021160126A1 (en) * 2020-02-14 2021-08-19 Beijing Bytedance Network Technology Co., Ltd. Interplay between in-loop filtering and video slices
US11825123B2 (en) 2020-02-14 2023-11-21 Beijing Bytedance Network Technology Co., Ltd. Interplay between in-loop filtering and video tiles
US12114016B2 (en) 2020-02-14 2024-10-08 Beijing Bytedance Network Technology Co., Ltd. Interplay between in-loop filtering and video slices
WO2022002007A1 (en) * 2020-06-30 2022-01-06 Beijing Bytedance Network Technology Co., Ltd. Boundary location for adaptive loop filtering
US11979568B2 (en) 2020-06-30 2024-05-07 Beijing Bytedance Network Technology Co., Ltd. Boundary location for adaptive loop filtering

Also Published As

Publication number Publication date
TW201813383A (zh) 2018-04-01
TWI656785B (zh) 2019-04-11
US20180054613A1 (en) 2018-02-22
EP3417616A1 (en) 2018-12-26
EP3417616A4 (en) 2019-07-31
WO2018036447A1 (en) 2018-03-01

Similar Documents

Publication Publication Date Title
CN109219958A (zh) 对位于图像内容不连续性边缘处的重构块不应用环路滤波处理的视频编码方法和设备和相关的视频解码方法和设备
CN108632619A (zh) 视频编码方法和装置以及相关的视频解码方法和装置
CA2935301C (en) Method and apparatus for intra prediction coding with boundary filtering control
CN108353171B (zh) 视频编码样本自适应滤波的方法和装置
RU2571550C2 (ru) Способ пространственного прогнозирования, способ декодирования изображений и способ кодирования изображений
KR20240110762A (ko) 필터 정보 예측을 이용한 영상 부호화/복호화 방법 및 장치
TWI555342B (zh) 清除解塊人為雜訊的方法
KR101784031B1 (ko) 주변 블록의 통계로부터 추론되는 인트라 예측을 위한 필터링 모드
TWI678103B (zh) 用於解區塊之有效修整技術(三)
US20180332292A1 (en) Method and apparatus for intra prediction mode using intra prediction filter in video and image compression
US20150146779A1 (en) In-loop filtering method and apparatus using same
CN107534767A (zh) 用于处理视频信号的方法及其装置
CN108055536B (zh) 帧内编码将像素指定给各组的块的方法和装置
TW201309026A (zh) 用於視訊編碼之濾波區塊效應之人為誤差
CN104662902A (zh) 用于视频编码的受限帧内解块过滤
CN113348671A (zh) 使用帧内子分区编码模式的视频编码
GB2577318A (en) Video coding and decoding
WO2009157904A1 (en) Methods and apparatus for texture compression using patch-based sampling texture synthesis
US20190014347A1 (en) Deblock filtering for 360-degree video coding
CN113170104A (zh) 使用基于区域的帧间/帧内预测的编码/解码方法和设备
USRE49308E1 (en) Method and apparatus for video-encoding/decoding using filter information prediction
CN113243106A (zh) 一种用于视频图像的预测块的帧内预测的设备和方法
CN113132739B (zh) 边界强度确定、编解码方法、装置及其设备
WO2023192336A1 (en) Methods and devices for high precision intra prediction
GB2597616A (en) Video coding and decoding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190115