CN114731432A - 在重构帧中禁用跨虚拟边界的样本自适应偏移滤波的视频处理方法和相关视频处理装置 - Google Patents

在重构帧中禁用跨虚拟边界的样本自适应偏移滤波的视频处理方法和相关视频处理装置 Download PDF

Info

Publication number
CN114731432A
CN114731432A CN202080080035.4A CN202080080035A CN114731432A CN 114731432 A CN114731432 A CN 114731432A CN 202080080035 A CN202080080035 A CN 202080080035A CN 114731432 A CN114731432 A CN 114731432A
Authority
CN
China
Prior art keywords
current pixel
sao
virtual boundary
reconstructed frame
video processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080080035.4A
Other languages
English (en)
Inventor
林圣晏
林建良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN114731432A publication Critical patent/CN114731432A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种视频处理方法，包括接收重构帧，以及通过至少一个环路滤波器对重构帧应用环路滤波。环路滤波的步骤包括执行样本自适应偏移(SAO)滤波操作。执行SAO滤波操作的步骤包括通过阻止包括在重构帧中的当前像素的SAO滤波操作跨越重构帧中定义的虚拟边界来保持当前像素的值不变。

Description

在重构帧中禁用跨虚拟边界的样本自适应偏移滤波的视频处 理方法和相关视频处理装置
【交叉引用】
本申请要求2020.1.3提交的美国临时申请号为62/956,680的美国临时申请案的优先权。其全部内容也一并引用于此。
【技术领域】
本发明涉及处理在视频编码或视频解码期间生成的重构帧，更具体地，涉及一种在重构帧中跨虚拟边界禁用样本自适应偏移(SAO)滤波的视频处理方法和相关联的视频处理装置。
【背景技术】
具有头戴式显示器(HMD)的虚拟现实(VR)与多种应用相关联。向用户显示宽视场内容的能力可用于提供身临其境的视觉体验。必须在所有方向上捕获真实世界环境，从而产生对应于球体的全向图像内容。随着摄像头设备和HMD的进步，VR内容的交付可能很快就会成为瓶颈，因为呈现这种360度图像内容所需的高比特率。当全向视频的分辨率为4K或更高时，数据压缩/编码对于降低比特率至关重要。
全向视频的数据压缩/编码可以通过通常采用基于块的编解码技术来利用空间和时间冗余的常规视频编解码标准来实现。例如，基本的做法是将源帧划分为多个块(或编解码单元)，对每个块进行帧内预测/帧间预测，对每个块的残差进行变换，并进行量化和熵编码。此外，生成重构帧以提供用于编解码后续块的参考像素数据。对于某些视频编解码标准，环路滤波器可用于增强重构帧的图像质量。例如，视频编码器使用样本自适应偏移(SAO)滤波器来最小化区域的平均样本失真。视频解码器用于执行由视频编码器执行的视频编码操作的逆操作。因此，视频解码器还具有用于增强重构帧的图像质量的环路滤波器。例如，视频解码器也使用SAO滤波器来减少失真。
一般而言，将球体对应的全向视频内容转化为图像序列，每一个图像都是基于投影的帧，其中360度的图像内容由一个或多个以360度虚拟现实(360VR)投影布局排列的投影面表示，然后将基于投影的帧序列编码为比特流进行传输。然而，基于投影的帧可能在面部边缘(即面部边界)处具有图像内容不连续性。对这些不连续的面部边缘应用环路滤波(例如SAO滤波)可能会导致视觉质量差和编码效率降低。
【发明内容】
要求保护的发明的一个目的是提供一种视频处理方法和相关的视频处理装置，该方法和装置在重构帧中的虚拟边界上禁用样本自适应偏移(SAO)滤波。
根据本发明的第一方面，公开了一种示例性视频处理方法。示例性视频处理方法包括：接收重构帧，以及通过至少一个环路滤波器对重构帧应用环路滤波，包括执行样本自适应偏移(SAO)滤波操作。执行SAO滤波操作的步骤包括：通过阻止包括在重构帧中的当前像素的SAO滤波操作跨越重构帧中定义的虚拟边界来保持当前像素的值不变。
根据本发明的第二方面，公开了一种示例性视频处理装置。该示例性视频处理装置包括编码电路，该编码电路被布置为接收视频帧并且对该视频帧进行编码以生成比特流的一部分。在对视频帧进行编码时，编码电路用于生成重构帧，并对重构帧应用环路滤波。环路滤波包括在编码电路中包括的SAO滤波器处执行的样本自适应偏移(SAO)滤波操作。SAO滤波器被布置成通过阻止包括在重构帧中的当前像素的SAO滤波操作被应用于跨过重构帧中定义的虚拟边界来保持当前像素的值不变。
根据本发明的第三方面，公开了一种示例性视频处理装置。该示例性视频处理装置包括解码电路，该解码电路被布置为接收比特流并解码该比特流的一部分，其中该比特流的该部分包括视频帧的编码信息。在对部分比特流进行解码时，解码电路用于生成重构帧，并对重构帧应用环路滤波。环路滤波包括在解码电路中包括的SAO滤波器处执行的样本自适应偏移(SAO)滤波操作。SAO滤波器被布置成通过阻止包括在重构帧中的当前像素的SAO滤波操作跨重构帧中定义的虚拟边界应用来保持当前像素的值不变。
在阅读了在各种附图和附图中示出的优选实施例的以下详细描述之后，本发明的这些和其他目的对于本领域普通技术人员无疑将变得显而易见。
【附图说明】
图1是图示根据本发明实施例的360度虚拟现实(360VR)系统的图。
图2是图示根据本发明实施例的视频编码器的图。
图3是图示根据本发明实施例的视频解码器的图。
图4是说明根据本发明实施例的基于立方体的投影的图。
图5是说明EO模式下像素分类所使用的水平样式(SAO EO类(class)＝＝0)的图。
图6是说明EO模式下像素分类所使用的垂直样式(SAO EO类＝＝1)的图。
图7是说明EO模式下像素分类所使用的135度对角线样式(SAO EO类＝＝2)的图。
图8是说明EO模式下的像素分类所使用的45度对角线样式(SAO EO类＝＝3)的图。
图9是图示根据本发明实施例的视频处理方法的流程图。
【具体实施方式】
某些术语在以下描述和权利要求中使用，它们指代特定组件。如本领域技术人员将理解的，电子设备制造商可以用不同的名称来指代一个组件。本文档无意区分名称不同但功能相同的组件。在以下描述和权利要求中，术语“包括”和“包含”以开放式方式使用，因此应解释为意味着“包括但不限于……”。此外，术语“耦合”旨在表示间接或直接电连接。因此，如果一个设备耦合到另一个设备，则该连接可以是通过直接电连接，或通过经由其他设备和连接的间接电连接。
虚拟边界可以由不同的应用或需要来定义。以360度视频为例，特定投影格式的布局可能具有封装在基于投影的帧(projection-based frame)中的相邻投影面之间的一个或多个不连续边界，其中不连续边界可以定义为虚拟边界。对这些不连续的边界(例如虚拟边界)应用环路滤波(例如SAO滤波)可能会导致视觉质量差和编码效率降低。为了解决这个问题，本发明提出了一种创新的SAO滤波器设计，该设计允许在边缘偏移模式(edge offsetmode)下禁用跨不连续边界(例如，虚拟边界)SAO滤波。参考附图描述了所提出的SAO滤波器设计的进一步细节。
为了更好地理解所提出的SAO滤波器设计的技术特征，以下假设使用所提出的SAO滤波器设计的视频编码器被布置为将基于投影的帧编码为比特流，并且视频解码器使用所提出的SAO滤波器设计用于解码比特流以生成解码的基于投影的帧。然而，这仅用于说明目的，并不意味着对本发明的限制。在实践中，使用所提出的SAO滤波器设计来处理具有一个或多个虚拟边界的重构帧(其可以是具有一个或多个虚拟边界的基于投影的帧(projection-based frame)，或者可以是具有一个或多个虚拟边界的非基于投影的帧(non-projection-based frame))的SAO滤波的任何视频处理设备均落入本发明的范围内。
图1是图示根据本发明实施例的360度虚拟现实(360VR)系统的图。360VR系统100包括两个视频处理装置(例如，源电子设备102和目的电子设备104)。源电子设备102包括视频捕获设备112、转换电路114和视频编码器116。例如，视频捕获设备112可以是用于提供对应一个球体的全向内容(例如，覆盖整个环境的多个图像)S_IN的一组摄像机。转换电路114耦接于视频撷取装置112与视频编码器116之间。转换电路114根据全向内容S_IN产生具有360度虚拟现实(360VR)投影布局L_VR的基于投影的帧IMG。例如，基于投影的帧IMG可以是包括在从转换电路114生成的基于投影的帧序列中的一个帧。视频编码器116被设计为对基于投影的帧IMG进行编码/压缩以生成比特流BS的一部分，并通过传输装置103将比特流BS输出到目的电子设备104。例如，可以将基于投影的帧序列编码到比特流BS中，使得比特流BS的一部分传输基于投影的帧IMG的编码信息。此外，传输装置103可以是有线/无线通信链路或存储介质。
目的电子设备104可以是头戴式显示器(HMD)设备。如图1所示，目的电子装置104包括视频解码器122、图形渲染电路124和显示屏126。视频解码器122被设计为从传输装置103(例如，有线/无线通信链路或存储介质)接收比特流BS，并对接收到的比特流BS进行解码。例如，视频解码器122通过对接收的比特流BS进行解码来生成解码帧序列，其中解码帧IMG'是包括在解码帧序列中的一个帧。即，由于比特流BS的一部分发送基于投影的帧IMG的编码信息，所以视频解码器122对接收到的比特流BS的一部分进行解码以生成解码帧IMG'，该解码帧IMG'是解码基于投影的帧IMG的编码信息的结果。在本实施例中，待视频编码器116编码的基于投影的帧IMG具有支持投影布局的360VR投影格式。因此，在视频解码器122解码比特流BS之后，解码的帧IMG'具有相同的360VR投影格式和相同的投影布局。图形渲染电路124耦接于视频解码器122与显示屏126之间。图形渲染电路124根据解码帧IMG'渲染输出图像数据并显示在显示屏126上。例如，与解码帧IMG'承载的360度内容的一部分相关联的视口区域可以通过图形渲染电路124显示在显示屏126上。
本发明提出在编解码工具处的技术以克服由投影面的打包(packing)导致的图像内容不连续边界(即，不连续的面边缘)引入的负面影响。换言之，视频编码器116可以采用建议的编解码工具来编码基于投影的帧IMG，并且对应的视频解码器122也可以使用建议的编解码工具来生成解码的帧IMG'。例如，视频编码器116采用所提出的SAO滤波器来进行环路滤波，并且视频解码器122也采用所提出的SAO滤波器来进行环路滤波。
图2是图示根据本发明实施例的视频编码器的图。图1所示的视频编码器116可以使用图2所示的视频编码器200来实现。视频编码器200包括控制电路202和编码电路204。需要注意的是，图2所示的视频编码器架构仅用于说明目的，并不意味着对本发明的限制。例如，编码电路204的架构可以根据编解码标准而变化。编码电路204对视频帧(例如，基于投影的帧IMG，其具有由布置在360VR投影布局L_VR中的投影面表示的360度内容)进行编码以生成比特流BS的一部分。如图2所示，编码电路204包括残差计算电路211、变换电路(用“T”表示)212、量化电路(用“Q”表示)213、熵编码电路(例如，可变长度编码器)214、逆量化电路(用“IQ”表示)215、逆变换电路(用“IT”表示)216、重构电路217、至少一个环路滤波器218、参考帧缓冲器219、帧间预测电路220(其包括运动估计电路(用“ME”表示)221和运动补偿电路(用“MC”表示)222)、帧内预测(intra prediction)电路(用“IP”表示)223和帧内/帧间模式选择开关224。环路滤波器218可以包括去块滤波器、样本自适应偏移(SAO)滤波器和/或自适应环路滤波器(ALF)。
值得注意的是，重构电路217产生的重构帧IMG_R在经过环路滤波器218处理后被存储到参考帧缓冲器219中以作为参考帧。重构帧IMG_R可以看作是基于投影的帧IMG的解码版本。因此，重构帧IMG_R也具有由排列在相同360VR投影布局L_VR中的投影面表示的360度图像内容。在这个实施例中，重构的帧IMG_R由环路滤波器218接收，并且SAO滤波器226(由“SAO”表示)耦合在重构电路217和参考缓冲器219之间。也就是说，应用于重构帧IMG_R的环路滤波包括SAO滤波。
编码电路204与典型编码电路之间的主要区别在于，SAO滤波器226可以由控制电路202指示以启用所提议的功能，即阻止跨虚拟边界(例如，由投影面打包产生的不连续边界)应用SAO滤波。例如，控制电路202产生控制信号C1以在SAO滤波器226处启用。此外，控制电路202可进一步用于设置与在SAO滤波器226处启用/禁用所提议的功能相关的一个或多个语法元素(SE)，其中语法元素SE经由从熵编码电路214生成的比特流BS被发信(signaled)给视频解码器。
图3是图示根据本发明实施例的视频解码器的图。可以使用图3所示的视频解码器300来实现图1所示的视频解码器122。视频解码器300可以通过诸如有线/无线通信链路或存储介质的传输装置与视频编码器(例如，图1所示的视频编码器100或图2所示的视频编码器200)通信。在本实施例中，视频解码器300接收比特流BS，并对接收到的比特流BS的一部分进行解码以产生解码帧IMG'。参照图3，视频解码器300包括解码电路320和控制电路330。需要注意的是，图3所示的视频解码器架构仅用于说明目的，并不意味着对本发明的限制。例如，解码电路320的架构可以根据编解码标准而变化。解码电路320包括熵解码电路(例如，可变长度解码器)302、逆量化电路(用“IQ”表示)304、逆变换电路(用“IT”表示)306、重构电路308、帧间预测电路312(其包括运动矢量计算电路(用“MV计算”表示)310和运动补偿电路(用“MC”表示)313)、帧内预测电路(用“IP”表示)314、帧内/帧间模式选择开关316、至少一个环路滤波器(例如，去块滤波器、SAO滤波器和/或ALF)318和参考帧缓冲器319。在这个实施例中，将由视频编码器100编码的基于投影的帧IMG具有由布置在360VR投影布局L_VR中的投影面表示的360度内容。因此，在视频解码器300解码比特流BS之后，解码帧IMG'也具有由布置在相同360VR投影布局L_VR中的投影面表示的360度图像内容。由重构电路308产生的重构帧IMG_R'被存储到参考帧缓冲器319中以用作参考帧，并且在被(一个或多个)环路滤波器318处理之后也用作解码帧IMG'。因此，重构帧IMG_R'还具有由排列在相同360VR投影布局L_VR中的投影面表示的360度图像内容。在这个实施例中，重构的帧IMG_R'由环路滤波器318接收，并且SAO滤波器322(由“SAO”表示)耦合在重构电路308和参考缓冲器319之间。也就是说，应用于重构帧IMG_R'的环路滤波包括SAO滤波。
解码电路320和典型解码电路之间的主要区别在于，SAO滤波器322可以由控制电路330指示以启用阻止SAO滤波跨虚拟边界(例如，由投影面堆积产生的不连续边界)的所提出的功能。例如，控制电路330产生控制信号C1'以在SAO滤波器322处启用所提出的功能。此外，熵解码电路302进一步用于处理比特流BS以获得(一个或多个)语法元素SE，它们与在SAO滤波器322处启用/禁用所提出的功能有关。因此，视频解码器300的控制电路330可以参考解析的语法元素SE以确定是否在SAO滤波器322处启用所提出的功能。
在本发明中，360VR投影布局L_VR可以是任何可用的投影布局。例如，360VR投影布局L_VR可以是基于立方体的投影布局。在实践中，可以采用SAO滤波器226/322处的建议的编解码工具来处理具有打包在其他投影布局中的投影面的360VR帧。
图4是说明根据本发明实施例的基于立方体的投影的图。将球体400上的360度内容投影到三维(3D)空间中的立方体401的六个面上，包括顶面、底面、左面、正面、右面和背面。具体地，球体400的北极区域(north polar region)的图像内容被投影到立方体401的顶面上，球体400的南极区域的图像内容被投影到立方体401的底面上，并且球体400的赤道区域的图像内容被投影到立方体401的左面、正面、右面和背面。
将被封装在基于立方体的投影的投影布局中的正方形投影面分别来自立方体401的六个面。例如，二维(2D)平面上的正方形投影面(标记为“Top”)来源于3D空间中立方体401的顶面，2D平面上的正方形投影面(标记为“Back”)来源于3D空间中立方体401的背面，2D平面上的正方形投影面(标记为“Bottom”)来源于3D空间中立方体401的底面，正方形2D平面上的投影面(标记为“Right”)来源于立方体401在3D空间中的右面，2D平面上的正方形投影面(标记为“Front”)来源于3D空间中立方体401的正面，并且正方形2D平面上的投影面(标记为“Left”)来源于立方体401在3D空间中的左面。
当360VR投影布局L_VR由图4所示的立方体贴图投影(cubemap projection，简写为CMP)布局402设置时，正方形投影面“顶面”、“背面”、“底面”、“右面”、“正面”和“背面”被封装在对应于展开的立方体的CMP布局402中。然而，需要待编码的基于投影的帧IMG是矩形的。如果CMP布局402直接用于创建基于投影的帧IMG，则基于投影的帧IMG必须填充虚拟区域(dummy area)(例如，黑色区域、灰色区域或白色区域)以形成矩形帧用于编码。或者，基于投影的帧IMG可以具有以紧凑投影布局排列的投影图像数据以避免使用虚拟区域(例如，黑色区域、灰色区域或白色区域)。如图4所示，正方形投影面“顶面”、“背面”和“底面”被旋转，然后封装在紧凑CMP布局404中。因此，正方形投影面“顶面”、“背面”、“底面”、“右面”、“正面”和“背面”布置在紧凑的CMP布局404，即3x2布局中。这样可以提高编解码效率。
然而，根据紧凑CMP布局404，正方形投影面的封装可能导致相邻正方形投影面之间的图像内容不连续边缘。如图4所示，具有紧凑CMP布局404的基于投影的帧IMG具有顶部子帧(top sub-frame)(它是一个由正方形投影面“右面”、“正面”和“左面”组成的3x1面行(3x1 face row))和底部子帧(这是另一个3x1面行，由方形投影面“底面”、“背面”和“顶面”组成)。顶部子帧和底部子帧之间存在图像内容不连续边界。具体而言，正方形投影面“右面”的面边缘S1与正方形投影面“底面”的面边缘S6相连，正方形投影面“正面”的面边缘S2与正方形的投影面“背面”的面边缘S5相连，正方形投影面“左面”的面边缘S3与正方形投影面“顶面”的面边缘S4相连，面边缘S1和S6之间存在图像内容不连续性，面边缘S2和S5之间存在图像内容不连续性，面边缘S3和S4之间存在图像内容不连续性。因此，顶部子帧和底部子帧之间的不连续边界包括投影面“Right”和“Bottom”之间的不连续边缘、投影面“Front”和“Back”之间的不连续边缘以及投影面“Left”和“Top”之间的不连续边缘。基于投影的重构帧(例如，IMG_R或IMG_R')的顶部子帧和底部子帧之间的不连续边界周围的图像质量将被典型的SAO滤波器降级，由于顶部子帧和底部子帧之间的不连续边界的相对两侧的像素并非不是“真实的”相邻像素，该滤波器将典型的SAO滤波处理应用于位于顶部子帧的底部边界的像素和位于底部子帧的顶部边界的像素。在本发明的一个实施例中，图4所示的顶部子帧和底部子帧之间的不连续边界可以定义为虚拟边界。也就是说，对于重构帧IMG_R/IMG_R'的SAO滤波，由投影面打包产生的不连续边界与重构帧IMG_R/IMG_R'中定义的一个虚拟边界对齐。
可以发信语法元素(例如，表1中的sps_loop_filter_across_virtual_boundaries_disabled_present_flag)以指定环路内滤波处理在虚拟边界上被禁用。如果禁用跨虚拟边界的环路滤波器的标志为真(例如，sps_loop_filter_across_virtual_boundaries_disabled_present_flag＝＝1)，则还会发信垂直/水平虚拟边界的数量(例如，表1中的sps_num_ver_virtual_boundaries和sps_num_ver_virtual_boundaries)。垂直虚拟边界的x位置(例如，表1中的sps_virtual_boundaries_pos_x[i])在垂直虚拟边界的数量大于0时发信，水平虚拟边界的y位置(例如，表1中的sps_virtual_boundaries_pos_y[i])在水平虚拟边界的数量大于0时发信。可以以预定义的值为单位发信位置以减少比特数，例如以8为单位，以亮度位置(luma position)来发信位置。另外，句法元素也可以在图片报头中发信，使得垂直/水平虚拟边界的位置、垂直/水平虚拟边界的数量以及跨虚拟边界禁用的环路滤波器的标志可以在不同的图片中变化。
Figure BDA0003647578190000091
表1
SAO滤波器226和322中的每一个可以是基于编码树单元(CTU)操作的基于样本的SAO滤波器。CTU由三个颜色分量的编码树块(CTB)组成。即，CTU具有一个亮度CTB和两个色度CTB。亮度CTB由亮度(Y)样本组成。一个色度CTB由色度(Cb)样本组成，另一个色度CTB由色度(Cr)样本组成。换言之，SAO滤波处理可以使用块(例如，CTB)作为基本处理单元，其中块中的像素可以是亮度样本或色度样本。在一个示例性设计中，SAO滤波器226/322可以由用于对块中的像素执行SAO滤波处理的专用硬件来实现。在另一示例性设计中，SAO滤波器226/322可以由通用处理器实现，该处理器执行程序代码以对块中的像素执行SAO滤波处理。然而，这些仅用于说明目的，并不意味着限制本发明。
SAO滤波器226和322中的每一个都支持三种不同的滤波器模式，包括未应用模式(not applied mode)(SAO类型＝＝0)、带偏移(band offset，简写为BO)模式(SAO类型＝＝1)和边缘偏移(edge offset，简写为EO)模式(SAO类型＝＝2)。如果滤波器模式为未应用模式，则像素保持不变。对于BO模式，块中当前像素的SAO滤波处理取决于当前像素的强度。也就是说，一个块中的像素根据它们的像素强度被分类为多个段(band)，并将偏移值添加到一个或多个段。对于EO模式，块中当前像素的SAO滤波处理取决于当前像素与相邻像素之间的关系。此外，EO模式有四种方向模式。图5是说明EO模式下像素分类所使用的水平样式(SAO EO类(class)＝＝0)的图。如图6是说明EO模式下像素分类所使用的垂直样式(SAO EO类＝＝1)的图。如图7是说明EO模式下像素分类所使用的135度对角线样式(diagonalpattern)(SAO EO类＝＝2)的图。如图8是说明EO模式下的像素分类所使用的45度对角线样式(SAO EO类＝＝3)的图。在图5-8的每个图中，当前像素的像素值用“c”标记，相邻像素的像素值分别用“a”和“b”标记。对于每个方向样式(directional pattern)，根据当前像素与其相邻像素之间的关系，将同一块中的像素分类为不同的边缘类型(edge type)。例如，可以根据以下分类规则将当前像素分类为五种边缘类型中的一种，其中边缘类型可以是单调的(monotonic)、最小的、最大的、具有向下坡度的平坦段(flat segment)和具有向上坡度的平坦段。
Figure BDA0003647578190000101
表2
在该实施例中，在编码器侧SAO滤波器226处根据速率-失真优化(rate-distortion optimization，简写为RDO)适当地计算给定EO类的每个不同边缘类型(edgeIdx＝0、1、2、3和4)的偏移值并明确地(explicitly)发信给解码器侧SAO滤波器322以有效减少样本失真，而在编码器侧SAO滤波器226和解码器侧SAO滤波器322处执行对每个像素的分类以显著的节省边信息(side information)。例如，为块选择的EO类的信息和为EO类的边缘类型选择的偏移值的信息可以从视频编码器200发信到视频解码器300。具体地，在比特流BS中编码的SAO参数可以包含使用EO模式进行SAO滤波的块的SAO类型信息和偏移信息。SAO类型信息包括指示SAO类型是EO模式的一个句法元素和指示所选EO类的另一句法元素。偏移信息包括指示所选EO类的不同边缘类型(edgeIdx＝0、1、2、3和4)的偏移值的语法元素。因此，视频解码器300通过解码比特流BS获得块的SAO参数。对于重构帧IMG_R和IMG_R'中相同块的EO模式SAO处理，解码器侧SAO滤波器322的行为类似于编码器侧SAO滤波器226的行为。例如，在一个重构的基于投影的帧IMG_R'的当前块中的当前像素被分类为由从解码比特流BS得到的SAO类型信息指示的所选EO类别的边缘类型之一之后，SAO滤波器322可以将像素被分类到的边缘类型的偏移值添加到像素的值，其中边缘类型的偏移值由解码比特流BS得到的偏移信息指示。
然而，用于确定边缘类型的选定方向样式的至少一个相邻像素和当前像素可能位于重构帧中定义的虚拟边界(例如，使用如图4所示紧凑CMP布局404的重构的基于投影的帧IMG_R/IMG_R'的顶部子帧和底部子帧之间的不连续边界)的相对侧。本发明提出，对于每个SAO滤波器226和322，当EO模式应用于当前像素时，可以禁用滤波处理。
图9是图示根据本发明实施例的视频处理方法的流程图。视频编码器116、200和视频解码器122、300中的每一个都可以采用视频处理方法。在步骤902，执行生成重构帧的处理。例如，编码电路204接收视频帧(例如，基于投影的帧IMG，其具有由布置在360VR投影布局L_VR中的投影面表示的360度内容)，并且对视频帧进行编码以产生一部分比特流(例如，包括基于投影的帧IMG的编码信息的比特流BS的一部分)。当对视频帧进行编码时，编码电路204在重构电路217处产生重构帧IMG_R。又例如，解码电路320接收比特流(例如，从编码电路204产生的比特流BS)，并解码一部分所述比特流，其中所述比特流的一部分包括视频帧的编码信息(例如，基于投影的帧IMG的编码信息)。
在步骤904，对重构帧应用环路滤波，其中环路滤波包括执行SAO滤波操作。例如，包括步骤906、908、910和912的SAO滤波操作在编码电路204的SAO滤波器226处执行。再例如，包括步骤906、908、910和912的SAO滤波操作在解码电路320的SAO滤波器322处执行。
在步骤906，SAO滤波操作检查重构帧IMG_R/IMG_R'的当前块中的当前像素的多个条件。在本实施例中，条件可以包括当前像素是否应用了EO模式，禁用跨虚拟边界的环路滤波器的标志是否为真，以及是否跨重构帧IMG_R/IMG_R'中定义的一个虚拟边界应用滤波处理。例如，当前块的SAO类型为EO模式时，满足第一条件；当语法元素sps_loop_filter_across_virtual_boundaries_disabled_present_flag等于1时，满足第二条件；当EO模式下选定的SAO EO类(即选定的方向样式)的当前像素和至少一个相邻像素位于一个虚拟边界的不同侧时，满足第三条件。
如果不满足在步骤906中检查的条件中的至少一个(步骤908)，则流程进行到步骤912。在步骤912，SAO滤波器226/322以典型方式将SAO滤波应用于当前像素，无论在重构帧IMG_R/IMG_R'中定义的虚拟边界如何。即，取决于当前块的SAO滤波选择的SAO类型，根据EO模式、BO模式或未应用模式指定的参数对当前像素进行SAO滤波。
如果在步骤906中检查的所有条件都满足(步骤908)，则流程继续进行到步骤910。在步骤910，SAO滤波器226/322通过阻止当前像素的SAO滤波操作被应用在重构帧中定义的虚拟边界上来保持当前像素的值不变。由于在EO模式下跨虚拟边界禁用SAO滤波，因此可以提高虚拟边界周围的视觉质量和/或编解码效率。为了更好地理解所提出的SAO滤波器设计的技术特点，以下提供了在EO模式下禁用当前像素的SAO滤波的几种场景。
在第一种场景中，重构帧IMG_R/IMG_R’具有虚拟边界，其为垂直虚拟边界，当前像素和相邻像素在EO模式下的选择的方向样式不是图6所示的垂直样式，当前像素位于垂直虚拟边界的左侧且靠近/接近垂直虚拟边界，并且至少一个相邻像素位于垂直虚拟边界的右侧。当禁用跨虚拟边界的环路滤波器标志为真时，可以禁用当前像素的SAO滤波处理。例如，宽度为nCtbSw的当前CTB中当前像素的x位置xSi等于垂直虚拟边界之一的x位置VirtualBoundariesPosX[n]减一，可以禁用当前像素的滤波处理，其中i选自{0,...,nCtbSw-1}。变量VirtualBoundariesNumVer指定重构帧IMG_R/IMG_R'中垂直虚拟边界的数量。变量cIdx指定CTB的颜色分量索引，对于Y，颜色分量索引等于0，对于Cb，颜色分量索引等于1，对于Cr，颜色分量索引等于2。一对变量(rx,ry)指定CTB位置。语义设计的一个例子如下：
对于n＝0..VirtualBoundariesNumVer-1中的任一值，VirtualBoundariesDisabledFlag等于1，xSi等于((VirtualBoundariesPosX[n]/scaleWidth)-1)，且SaoEoClass[cIdx][rx][ry]不等于1。
在第二种情况下，重构帧IMG_R/IMG_R’具有虚拟边界，其为垂直虚拟边界，当前像素和相邻像素在EO模式下选择的方向样式不是图6所示的垂直样式，当前像素位于垂直虚拟边界的右侧并靠近/接近垂直虚拟边界，并且至少一个相邻像素位于垂直虚拟边界的左侧。当禁用跨虚拟边界的环路滤波器标志为真时，可以禁用当前像素的SAO滤波处理。例如，在宽度为nCtbSw的当前CTB中的当前像素的x位置xSi等于垂直虚拟边界之一的x位置VirtualBoundariesPosX[n]，可以禁用当前像素的滤波处理，其中i从{0,...,nCtbSw-1}中选择。语义设计的一个例子如下：
对于n＝0..VirtualBoundariesNumVer-1中的任一值，VirtualBoundariesDisabledFlag is等于1，xSi等于(VirtualBoundariesPosX[n]/scaleWidth)，且SaoEoClass[cIdx][rx][ry]不等于1。
在第三种情况下，重构帧IMG_R/IMG_R’具有虚拟边界，其为水平虚拟边界，当前像素和相邻像素在EO模式下选择的方向样式不是图5所示的水平样式，当前像素位于水平虚拟边界上方且靠近/接近水平虚拟边界，并且相邻像素中的至少一个位于水平虚拟边界下方。当禁用跨虚拟边界的环路滤波器标志为真时，可以禁用当前像素的SAO滤波处理。例如，高度为nCtbSh的当前CTB中的当前像素的y位置ySj等于水平虚拟边界之一的y位置VirtualBoundariesPosY[n]减一，可以禁用当前像素的滤波处理，其中j选自{0,...,nCtbSh-1}。变量VirtualBoundariesNumHor指定重构帧IMG_R/IMG_R'中水平虚拟边界的数量。语义设计的一个例子如下：
对于n＝0..VirtualBoundariesNumHor–1中的任一值，VirtualBoundariesDisabledFlag等于1，ySj等于((VirtualBoundariesPosY[n]/scaleHeight)-1)，SaoEoClass[cIdx][rx][ry]不等于0.
在第四种场景中，重构帧IMG_R/IMG_R’具有虚拟边界，其为水平虚拟边界，当前像素和相邻像素在EO模式下选择的方向样式不是图5所示的水平样式，当前像素位于水平虚拟边界下方且靠近/接近水平虚拟边界，且相邻像素中的至少一个位于水平虚拟边界上方。当禁用跨虚拟边界的环路滤波器标志为真时，可以禁用当前像素的SAO滤波处理。例如，高度为nCtbSh的当前CTB中当前像素的y位置ySj等于水平虚拟边界之一的y位置VirtualBoundariesPosY[n]，可以禁用当前像素的滤波处理，其中j选自{0,...,nCtbSh-1}。语义设计的一个例子如下：
对于n＝0..VirtualBoundariesNumHor–1中的任一值，VirtualBoundariesDisabledFlag等于1，ySj等于(VirtualBoundariesPosY[n]/scaleHeight)，SaoEoClass[cIdx][rx][ry]不等于0。
上述条件适用于亮度和色度分量。即，上述当前像素在SAO滤波器226/322处理CTU的亮度CTB的SAO滤波时可以是亮度样本，而在SAO滤波器226/322处理CTU的色度CTB的SAO滤波时可以是色度样本。如上所述，虚拟边界的位置以亮度位置表示。对于亮度分量的SAO滤波，不需要缩放/转换虚拟边界的位置以检查上述条件以指示滤波处理是否在亮度CTB中的虚拟边界上被禁用。因此，上述语义设计中可以省略scaleWidth和scaleHeight。或者，对于亮度分量的SAO滤波，可以用1来转换/缩放(converted/scaled by 1)位置(即，scaleWidth＝1和scaleHeight＝1)以检查上述条件，以指示滤波处理是否在亮度CTB中的虚拟边界上被禁用。
对于色度分量的SAO滤波，在亮度位置(luma position)用信号表示的虚拟边界的位置可以被缩放/转换为色度位置(chroma position)，其中scaleWidth≠1，scaleHeight≠1。通过缩放/转换的位置，可以检查上述条件以指示滤波处理是否在色度CTB中的虚拟边界上被禁用。
如上所述，当满足在步骤906中检查的所有条件时，SAO滤波器226/322阻止包括在重构帧中的当前像素的SAO滤波操作跨重构帧中定义的虚拟边界应用。在对当前像素禁用SAO滤波处理的第一示例性设计中，SAO滤波器226/322可以将零偏移添加到当前像素的值，从而使当前像素的值在EO模式下保持不变。
在对当前像素禁用SAO滤波处理的第二示例性设计中，SAO滤波器226/322可以有意地通过单调类型(edgeIdx＝0)设置当前像素的边缘类型。通常，单调类型的偏移量为零值。因此，当前像素的值在EO模式下保持不变。
在对当前像素禁用SAO滤波处理的第三示例性设计中，SAO滤波器226/322可以直接跳过当前像素的SAO滤波操作。由于没有进行算术运算来为当前像素的值添加偏移值，因此在EO模式下当前像素的值保持不变。
呈现以上描述是为了使本领域普通技术人员能够实践在特定应用及其要求的上下文中提供的本发明。对所描述的实施例的各种修改对于本领域技术人员来说将是显而易见的，并且本文定义的一般原理可以应用于其他实施例。因此，本发明不旨在限于所示和描述的特定实施例，而是要符合与本文公开的原理和新颖特征相一致的最宽范围。在以上详细描述中，为了提供对本发明的透彻理解，说明了各种具体细节。然而，本领域的技术人员将理解，可以实践本发明。
如上所述的本发明的实施例可以以各种硬件、软件代码或两者的组合来实现。例如，本发明的一个实施例可以是集成到视频压缩芯片中的电路或集成到视频压缩软件中以执行这里描述的处理的程序代码。本发明的实施例还可以是要在数字信号处理器(DSP)上执行以执行这里描述的处理的程序代码。本发明还可以涉及由计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(FPGA)执行的许多功能。这些处理器可以被配置为通过执行定义本发明所体现的特定方法的机器可读软件代码或固件代码来执行根据本发明的特定任务。软件代码或固件代码可以以不同的编程语言和不同的格式或样式开发。软件代码也可以针对不同的目标平台进行编译。然而，软件代码的不同代码格式、风格和语言以及配置代码以执行根据本发明的任务的其他方式将不脱离本发明的精神和范围。
在不背离其精神或基本特征的情况下，本发明可以以其他特定形式体现。所描述的示例在所有方面都仅被认为是说明性的而不是限制性的。因此，本发明的范围由所附权利要求而不是由前述描述指示。在权利要求的等效含义和范围内的所有变化都应包含在其范围内。
本领域技术人员将容易地观察到，可以在保留本发明的教导的同时对装置和方法进行许多修改和改变。因此，上述公开应被解释为仅受所附权利要求的界限和界限的限制。

Claims (20)

1.一种视频处理方法，包括：
接收重构帧；以及
通过至少一个环路滤波器对该重构帧应用环路滤波，包括：
执行样本自适应偏移(SAO)滤波操作，包括：
通过阻止包括在该重构帧中的该当前像素的该SAO滤波操作跨该重构帧中定义的虚拟边界应用来保持该当前像素的值不变。
2.如权利要求1所述的视频处理方法，其中，该重构帧是基于投影的帧，该基于投影的帧包括封装在360度虚拟现实(360VR)投影的投影布局中的多个投影面，球体的360度图像内容被映射到该多个投影面上，并且该虚拟边界与由该基于投影的帧中的该多个投影面的打包产生的图像内容不连续边界对齐。
3.如权利要求1所述的视频处理方法，其特征在于，该当前像素的该SAO滤波操作的滤波模式为边缘偏移(EO)模式；跨虚拟边界禁用环路滤波器的标志为真；该当前像素和用于滤波该当前像素的至少一个相邻像素位于该虚拟边界的不同侧。
4.如权利要求3所述的视频处理方法，其特征在于，该虚拟边界为垂直虚拟边界；该EO模式下该当前像素和多个相邻像素的选定方向样式不是垂直样式；该当前像素位于该垂直虚拟边界的左侧；该多个相邻像素之一位于该垂直虚拟边界的右侧。
5.如权利要求3所述的视频处理方法，其特征在于，该虚拟边界为垂直虚拟边界；该EO模式下该当前像素和多个相邻像素的选定方向样式不是垂直样式；该当前像素位于该垂直虚拟边界的右侧；该多个相邻像素之一位于该垂直虚拟边界的左侧。
6.如权利要求3所述的视频处理方法，其特征在于，该虚拟边界为水平虚拟边界；该EO模式下该当前像素和多个相邻像素的选定方向样式不是水平样式；该当前像素位于该水平虚拟边界之上；该多个相邻像素之一位于该水平虚拟边界下方。
7.如权利要求3所述的视频处理方法，其特征在于，该虚拟边界为水平虚拟边界；该EO模式下该当前像素和多个相邻像素的选定方向样式不是水平垂直样式；该当前像素位于该水平虚拟边界下方；该多个相邻像素之一位于该水平虚拟边界之上。
8.如权利要求1所述的视频处理方法，其中阻止包括在该重构帧中的该当前像素的该SAO滤波操作跨该重构帧中定义的该虚拟边界应用包括：
将零偏移量添加到该当前像素的该值。
9.如权利要求1所述的视频处理方法，其中阻止包括在该重构帧中的该当前像素的该SAO滤波操作跨该重构帧中定义的该虚拟边界应用包括：
将该当前像素的边缘类型设置为单调类型。
10.如权利要求1所述的视频处理方法，其中阻止包括在该重构帧中的该当前像素的该SAO滤波操作跨该重构帧中定义的该虚拟边界应用包括：
直接跳过该当前像素的该SAO滤波操作，从而不进行算术运算为该当前像素的该值加上偏移值。
11.一种视频处理装置，包括：
编码电路，用于接收视频帧并对该视频帧进行编码以生成一部分比特流；
其中，在对该视频帧进行编码时，该编码电路用于生成重构帧，并对该重构帧应用环路滤波；该环路滤波包括在该编码电路中包括的SAO滤波器处执行的样本自适应偏移(SAO)滤波操作；该SAO滤波器被布置成通过阻止包括在该重构帧中的该当前像素的该SAO滤波操作跨过该重构帧中定义的虚拟边界应用来保持该当前像素的值不变。
12.如权利要求11所述的视频处理装置，其中，该当前像素的该SAO滤波操作的滤波模式为边缘偏移(EO)模式；跨虚拟边界禁用环路滤波器的标志为真；该当前像素和用于滤波该当前像素的至少一个相邻像素位于该虚拟边界的不同侧。
13.如权利要求11所述的视频处理装置，其中，通过将零偏移添加到该当前像素的该值中，该SAO滤波器被布置为阻止将该重构帧中包括的该当前像素的该SAO滤波操作应用到跨过该重构帧中定义的该虚拟边界上。
14.如权利要求11所述的视频处理装置，其中，该SAO滤波器被布置为通过将该当前像素的边缘类型设置为单调类型来阻止将该重构帧中包括的该当前像素的该SAO滤波操作应用到跨过该重构帧中定义的该虚拟边界上。
15.如权利要求11所述的视频处理设备，其中该SAO滤波器被布置为通过直接跳过该当前像素的该SAO滤波操作，从而不进行算术运算为该当前像素的该值加上偏移值来阻止将该重构帧中包括的该当前像素的该SAO滤波操作应用到跨过该重构帧中定义的该虚拟边界上。
16.一种视频处理装置，包括：
解码电路，用于接收比特流并对该比特流的一部分进行解码，其中该部分比特流包括视频帧的编码信息；
其中，当解码该部分比特流时，该解码电路用于生成重构帧，并对该重构帧应用环路滤波；该环路滤波包括在该解码电路中包括的SAO滤波器处执行的样本自适应偏移(SAO)滤波操作；该SAO滤波器被布置成通过阻止将该重构帧中包括的该当前像素的该SAO滤波操作应用到跨过该重构帧中定义的该虚拟边界上来保持当前像素的值不变。
17.如权利要求16所述的视频处理装置，其中，该当前像素的SAO滤波操作的滤波模式为边缘偏移(EO)模式；跨虚拟边界禁用环路滤波器的标志为真；该当前像素和用于滤波该当前像素的至少一个相邻像素位于该虚拟边界的不同侧。
18.如权利要求16所述的视频处理设备，其中，该SAO滤波器被布置成通过将零偏移添加到该当前像素的该值中来阻止将该重构帧中包括的该当前像素的该SAO滤波操作应用到跨过该重构帧中定义的该虚拟边界上。
19.如权利要求16所述的视频处理设备，其中，该SAO滤波器被布置为通过将该当前像素的边缘类型设置为单调类型来阻止将该重构帧中包括的该当前像素的该SAO滤波操作应用到跨过该重构帧中定义的该虚拟边界上。
20.如权利要求16所述的视频处理设备，其中该SAO滤波器被布置为通过直接跳过该当前像素的该SAO滤波操作，从而不进行算术运算为该当前像素的该值加上偏移值来阻止将该重构帧中包括的该当前像素的该SAO滤波操作应用到跨过该重构帧中定义的该虚拟边界上。
CN202080080035.4A 2020-01-03 2020-12-31 在重构帧中禁用跨虚拟边界的样本自适应偏移滤波的视频处理方法和相关视频处理装置 Pending CN114731432A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202062956680P 2020-01-03 2020-01-03
US62/956,680 2020-01-03
US17/134,196 2020-12-25
US17/134,196 US11477490B2 (en) 2020-01-03 2020-12-25 Video processing method with sample adaptive offset filtering disabled across virtual boundary in reconstructed frame and associated video processing apparatus
PCT/CN2020/142007 WO2021136481A1 (en) 2020-01-03 2020-12-31 Video processing method with sample adaptive offset filtering disabled across virtual boundary in reconstructed frame and associated video processing apparatus

Publications (1)

Publication Number Publication Date
CN114731432A true CN114731432A (zh) 2022-07-08

Family

ID=76654720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080080035.4A Pending CN114731432A (zh) 2020-01-03 2020-12-31 在重构帧中禁用跨虚拟边界的样本自适应偏移滤波的视频处理方法和相关视频处理装置

Country Status (4)

Country Link
US (1) US11477490B2 (zh)
EP (1) EP4014501A4 (zh)
CN (1) CN114731432A (zh)
WO (1) WO2021136481A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200145752A (ko) * 2019-06-19 2020-12-30 한국전자통신연구원 비디오 영상 부/복호화를 위한 가상 경계 시그널링 방법 및 장치
TW202412521A (zh) * 2022-07-15 2024-03-16 聯發科技股份有限公司 具有虛擬邊界和多樣本源的適應性環濾波器

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101567467B1 (ko) 2011-05-10 2015-11-09 미디어텍 인크. 루프내 필터 버퍼의 감소를 위한 방법 및 장치
US10070152B2 (en) * 2011-08-24 2018-09-04 Texas Instruments Incorporated Sample adaptive offset (SAO) parameter signaling
US8913656B2 (en) * 2011-10-14 2014-12-16 Mediatek Inc. Method and apparatus for in-loop filtering
CN114615493A (zh) * 2016-03-24 2022-06-10 英迪股份有限公司 视频解码方法、视频编码方法和可读记录介质
US10368067B2 (en) * 2016-06-15 2019-07-30 Mediatek Inc. Method and apparatus for selective filtering of cubic-face frames
TWI775760B (zh) * 2016-07-08 2022-09-01 美商Ｖｉｄ衡器股份有限公司 使用幾何投影360度視訊編碼
US20180054613A1 (en) * 2016-08-22 2018-02-22 Mediatek Inc. Video encoding method and apparatus with in-loop filtering process not applied to reconstructed blocks located at image content discontinuity edge and associated video decoding method and apparatus
KR20230079466A (ko) * 2017-04-11 2023-06-07 브이아이디 스케일, 인크. 면 연속성을 사용하는 360 도 비디오 코딩
US10200687B2 (en) * 2017-06-02 2019-02-05 Apple Inc. Sample adaptive offset for high dynamic range (HDR) video compression
US11418816B2 (en) * 2017-09-20 2022-08-16 Vid Scale, Inc. Handling face discontinuities in 360-degree video coding
EP4036150A4 (en) 2019-09-26 2023-12-27 NOF Corporation ASYMMETRICALLY BRANCHED DEGRADABLE POLYETHYLENE GLYCOL DERIVATIVE

Also Published As

Publication number Publication date
EP4014501A1 (en) 2022-06-22
EP4014501A4 (en) 2023-10-04
WO2021136481A1 (en) 2021-07-08
US11477490B2 (en) 2022-10-18
US20210211736A1 (en) 2021-07-08

Similar Documents

Publication Publication Date Title
US20200252650A1 (en) Video processing method for blocking in-loop filtering from being applied to at least one boundary in reconstructed frame and associated video processing apparatus
CN112868237B (zh) 视频处理方法
US10972730B2 (en) Method and apparatus for selective filtering of cubic-face frames
US10986371B2 (en) Sample adaptive offset filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
US11528414B2 (en) Method and apparatus for reconstructing 360-degree image according to projection format
US11863732B1 (en) Image data encoding/decoding method and apparatus
TWI685244B (zh) 用於重構的基於投影的幀的適應性環路濾波方法
TW201813383A (zh) 視訊編碼方法和設備和相關的視訊解碼方法和設備
US11882276B2 (en) Method and apparatus for signaling adaptive loop filter parameters in video coding
TWI688258B (zh) 一種用於重構的基於投影的幀的解塊方法
WO2021136481A1 (en) Video processing method with sample adaptive offset filtering disabled across virtual boundary in reconstructed frame and associated video processing apparatus
TWI756526B (zh) 用於重構的基於投影的幀的樣本適應性偏移濾波方法
CN115988202B (zh) 一种用于帧内预测的设备和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination