CN109076237A - 在视频和图像压缩中使用帧内预测滤波器的帧内预测模式的方法和装置 - Google Patents

在视频和图像压缩中使用帧内预测滤波器的帧内预测模式的方法和装置 Download PDF

Info

Publication number
CN109076237A
CN109076237A CN201680065495.3A CN201680065495A CN109076237A CN 109076237 A CN109076237 A CN 109076237A CN 201680065495 A CN201680065495 A CN 201680065495A CN 109076237 A CN109076237 A CN 109076237A
Authority
CN
China
Prior art keywords
intra
frame prediction
current
block
current block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680065495.3A
Other languages
English (en)
Inventor
林建良
黄毓文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN109076237A publication Critical patent/CN109076237A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种在图像或视频编解码器中进行帧内预测滤波的方法和装置。该方法包括：接收与当前块相关的输入数据(1110)；确定属于该当前块的可用帧内预测模式集的当前帧内预测模式(1120)；根据该当前帧内预测模式，基于当前块的多个相邻重构样本，确定包括多个原始帧内预测像素值的原始帧内预测块(1130)；根据基于该当前帧内预测模式自多个扫描顺序选择的当前扫描顺序，将帧内预测滤波器应用到原始帧内预测块，以生成包括多个已滤波帧内预测像素值的已滤波器帧内预测块，其中到该帧内预测滤波器的多个输入包括当前像素和一个或多个相邻像素，多个扫描顺序包括自垂直扫描顺序、水平扫描顺序和对角线扫描顺序中选择的至少两个扫描顺序(1140)；使用该已滤波帧内预测块作为当前块的预测子，将帧内预测编码或者解码应用到所述当前块(1150)。

Description

在视频和图像压缩中使用帧内预测滤波器的帧内预测模式的 方法和装置
优先权声明
本发明要求在2015年11月18日提出的申请号为62/256,740号的美国临时专利申请的优先权。本发明也与2015年12月4日提出的PCT申请号为PCT/CN2015/096407的PCT专利申请相关，其要求在2014年12月11日提出的申请号为62/090,625美国临时专利申请的优先权。上述美国临时专利申请和PCT专利申请整体以引用方式并入本文中。
技术领域
本发明涉及视频编解码。具体地，本发明涉及使用帧内预测滤波器以提高帧内预测的编解码效率的高级帧内预测。
背景技术
数字视频编解码标准的进步已形成了十几年诸如智能手机、数字电视和数码相机的多媒体系统的成功。在H.261、MPEG-1、MPEG-2、H.263、MPEG-4以及H.264/AVC的标准活动之后，由于更大的图像分辨率、更高的帧率以及更好的视频质量的要求，提升视频压缩性能的需求仍然很强烈。因此，各种标准活动已被采用以研发可以提供比H.264/AVC更好的编解码效率的新的视频编解码技术。特别的，基于基于混合块的运动补偿变换编解码体系结构的高效视频编码(High-Efficiency Video Coding，HEVC)标准已被发展。
高效视频编码是由视频编码联合合作小组(Joint Collaborative Team onVideo Coding，JCT-VC)研发的新国际视频编解码标准。HEVC是基于基于混合块的运动补偿类离散余弦变换(discrete cosine transform，DCT)变换编解码架构。用于压缩的基本单元，称为编码单元(coding unit，CU)，是2N×2N的方形块。编码单元可以开始于最大编码单元(largest CU，LCU)，其也称为HEVC中的编码树单元(coded tree unit，CTU)，并且每个编码单元可以被递归地分割成更小的四个编码单元，直到达到于定义的最小尺寸。一旦完成编码单元的层次树分割，根据预测类型和预测单元(prediction unit，PU)分割，每个编码单元被进一步分割为一个或多个预测单元。每个编码单元或者每个编码单元的残差被分割为变换单元(transform unit，TU)的树，以应用例如离散余弦变换或离散正弦变换(discrete sine transform，DST)的2D变换。
通常，编码树单元包括一个亮度编码树块(coding tree block，C变换块)和两个对应的色度编码树块，一个编码单元包括一个亮度编码块(coding block，CB)和两个对应的色度编码块，一个预测单元包括一个亮度预测块(prediction block，PB)和两个对应的色度预测块，以及一个变换单元包括一个亮度变换块(transform block，TB)和两个对应的色度变换块。然而，特例可以发生，因为用于亮度和色度的最小变换块尺寸均是4x4(即，没有4:2:0的色彩格式支持的2x2色度变换块)，并且每个帧内色度编码块总是仅具有一个帧内色度预测块，而不管对应的帧内亮度编码块中帧内亮度预测块的数量如何。
对于帧内编码单元，亮度编码块可以由四个亮度预测块中的一个进行预测，并且两个色度编码块中的每个总是由一个色度预测块进行预测，其中每个亮度预测块具有一个帧内亮度预测模式，并且两个色度预测块共享一个帧内色度预测模式。此外，对于帧内编码单元，变换块尺寸不能大于预测块尺寸。在每个预测块中，帧内预测被应用以预测来自于变换块的相邻重构样本的预测块内的每个变换块的样本。对于每个预测块，除了33种方向帧内预测模式之外，DC模式和平面模式还被支持以分别预测平坦区域和渐变区域。
对于每个帧间预测单元，包括帧间、跳过和合并的三种预测模式中一种可以被选择。一般来讲，运动向量竞争(motion vector competition，MVC)机制被引入以自包括空间运动候选和时间运动候选的给定候选集选择一运动候选。对运动估计的多个参考允许在两个可能的重构参考图像列表(即列表0和列表1)中查找最佳参考。对于帧间模式(非正式地称为AMVP模式，其中AMVP表示高级运动矢量预测)，帧间预测标识符(列表0、列表1或者双向预测)、参考索引、运动候选索引、运动向量差(motion vector differences，MVD)和预测残差均被发送。至于跳过模式和合并模式，仅合并索引被发送，并且当前预测单元继承来自于由编解码合并索引参考的相邻预测单元的帧间预测标识符、参考索引和运动向量。在跳过编解码编码单元的情况下，残差信号也被忽略。量化、熵编解码和去块滤波器(deblockingfilter，DF)也在HEVC的编解码环路(loop)中。这三个模块的基础操作与在H.264/AVC中的那些操作概念上相似，但是具体细节不同。
样本自适应偏移(Sample adaptive offset，SAO)是在应用去块滤波器之后的新的环路滤波技术。样本自适应偏移的目标在于通过将去块样本分类成不同类别并将偏移添加到每个类别的去块样本中而降低样本失真。
图1示出了包括基于HEVC的环路处理的示例性自适应帧间/帧内视频编解码系统。对于帧间预测，运动估算(Motion Estimation，ME)/运动补偿(Motion Compensation，MC)112用于基于来自其他一个或多个图像的视频数据提供预测数据。开关114选择帧内预测110或帧间预测数据，并且所选择的预测数据被提供给加法器116以形成预测误差，也被称作残差。随后，预测误差由变换(Transform，T)118处理，接着由量化(Quantization，Q)120处理。然后已变换且已量化残差由熵编码器122编码以被包括在对应于已压缩视频数据的视频比特流中。随后，与变换系数相关的比特流与辅助信息(side information)一起打包，例如，运动、编解码模式以及与图像区域相关的其他信息。辅助信息还可以通过熵编解码进行压缩以降低所需的带宽。因此，如图1所示，与辅助信息相关的数据被提供给熵编码器122。当帧间预测模式被使用时，一个或多个参考图像也必须在编码器侧处被重构。因此，已变换且已量化残差由逆量化(Inverse Quantization，IQ)124和逆变换(InverseTransformation，IT)126处理以恢复残差。随后，残差在重构(Reconstruction，REC)128处被添加回到预测数据136以重构视频数据。已重构视频数据可以被存储在参考图像缓存器134并且用于其他帧的预测。
如图1所示，在编码系统中，输入视频数据经过一系列的处理。由于一系列的处理，来自重构128的已重构视频数据可能会遭受各种损伤。因此，包括去块滤波器130和样本自适应偏移132的环路滤波器已经在高效视频编码标准中使用。环路滤波器信息(例如，样本自适应偏移)必须被并入到比特流中，使得解码器可以适当地恢复所需的信息。因此，环路滤波器信息被提供给熵编码器122以用于并入到比特流中。在图1中，在已重构样本被存储到参考图像缓存器134之前，去块滤波器130和样本自适应偏移132被应用到已重构视频。
帧内预测模式
在HEVC中，相邻块的已解码边界样本用作帧间图像预测不被执行的区域中的空间预测的参考数据。预测单元内的所有变换单元使用相同的相关帧内预测模式以用于亮度分量和色度分量。编码器从35种选项中，即33种方向预测模式、DC模式和平面模式，选择每个预测单元的最佳亮度帧内预测模式。33种可能的帧内预测方向如图2所示。帧内预测方向和帧内预测模式数字之间的映射如图3所指定。
对于帧内预测单元的色度分量，编码器在包括平面、DC、水平、垂直和用于亮度分量的帧间预测模式的直接复制(copy)的五种模式中选择最佳色度预测模式。用于色度的帧内预测方向和帧内预测模式数字之间的映射如表1所示。
表1
当用于色度分量的帧内预测模式数字是4时，用于亮度分量的帧内预测方向用于色度分量的帧内预测样本生成。当用于色度分量的帧内预测模式数字不是4，且其与用于亮度分量的帧内预测模式的数字相同时，帧内预测方向34用于色度分量的帧内预测样本生成。
相邻重构样本的滤波
对于亮度分量，来自于用于帧内预测样本生成的相邻重构块的相邻重构样本在生成流程之前被滤波。滤波由给定帧内预测模式和变换块尺寸进行控制。如果帧内预测模式是DC，或者变换块尺寸等于4x4，则相邻重构样本不被滤波。如果给定帧内预测模式和垂直模式(或者水平模式)之间的距离大于预设阈值，则滤波处理被使能。此预设阈值如表2中指定，其中nT表示变换块尺寸。
表2
nT＝8 nT＝16 nT＝32
阈值 7 1 0
对于相邻重构样本滤波，[1,2,1]滤波器和双线性滤波器被使用。如果下列条件均为真，则双线性滤波器被有条件地使用。
–strong_Intra_smoothing_enable_flag等于1
–变换块尺寸等于32
–Abs(p[-1][-1]+p[nT*2-1][-1]–2*p[nT-1][-1])<(1<<(BitDepthY-5))
–Abs(p[-1][-1]+p[-1][nT*2-1]–2*p[-1][nT-1])<(1<<(BitDepthY-5))
用于DC模式、垂直预测模式和水平预测模式的边界滤波
对于HEVC中的DC模式，边界滤波器(或者平滑滤波器)被应用于DC模式上。如图4所示，DC模式的边界预测样本将用[1,3]滤波器或[1,2,1]滤波器进行平滑，以降低块伪影。在图4中，粗线410表示水平块边界，粗线420表示垂直块边界。块430中示出了用于滤波边缘像素和角像素的滤波器权重。
对于垂直帧内预测方向和水平帧内预测方向，根据当前HEVC标准，基于梯度的边界滤波器被使用。图5显示了用于垂直帧内预测方向的基于梯度的边界平滑滤波器的示例。根据i＝0,1,2,…,(N-1)，并且N是块的高度，用于当前块的第一列的预测像素被平滑。对于水平帧内预测，同样地，边界平滑可以被推导出以用于当前块中的第一行。
发明内容
本发明公开了一种帧内预测滤波的方法及装置，其在图像或视频编码器或解码器中。在一实施例中，包括原始帧内预测像素值的原始帧内预测块基于当前块的相邻重构样本被确定。帧内预测滤波器被应用到原始帧内预测块的每个像素，以生成包括已滤波帧内预测像素值的已滤波帧内预测块。到帧内预测滤波器的输入包括当前像素和包括位于当前像素的下方或者与当前像素右侧相邻的至少一个像素的一个或多个相邻像素。随后，使用已滤波帧内预测块作为当前块的预测子，帧内预测编码或者解码被应用到当前块。
帧内预测滤波器使用加权系数集，根据到帧内预测滤波器的多个输入的加权和，生成当前块中每个像素的一个已滤波帧内预测像素值。例如，位于当前像素的下方、位于当前像素的上方、与当前像素右侧相邻以及与当前像素的左侧相邻的四个相邻像素可以用作到帧内预测滤波器的输入，并且，当前像素和四个相邻像素的加权系数集分别对应于4、1、1、1和1。加权系数集可以被发信在与包括当前块的已压缩数据相关的视频比特流中。加权系数集可以被发信在对应于序列、视图、图像、切片、序列参数集、视频参数集、自适应参数集、编码树单元、编码树块、最大编码单元、编码单元、预测单元、变换单元或者其组合的语法层或者头中。加权系数集可以根据使用多个原始像素值和多个已滤波帧内预测像素值作为维纳滤波器推导流程的输入数据的维纳滤波器推导流程被推导出。同样，维纳滤波器推导流程可以使用原始像素值和相邻重构像素值作为输入数据。
帧内预测滤波器可以对应于有限脉冲响应滤波器，其中，当输入位于当前块的上方或者与当前块的左侧相邻的相邻重构块中时，位于输入处的一个参考值用于帧内预测滤波器，以及当输入位于当前块中时，位于输入处的一个原始帧内预测值用于帧内预测滤波器。帧内预测滤波器可以对应于无限脉冲响应滤波器，其中，当输入位于当前块的上方或者与当前块的左侧相邻的相邻重构块中时，位于输入处的一个参考值用于帧内预测滤波器，当输入对应于已由帧内预测滤波处理的当前块中的一个相邻像素时，位于输入处的一个已滤波帧内预测像素值用于帧内预测滤波器，以及当输入对应于未由帧内预测滤波处理的当前块中的一个相邻像素时，位于输入处的一个原始帧内预测像素值用于帧内预测滤波器。
本发明公开了另一种帧内预测滤波的方法及装置，其在图像或视频编码器或解码器中。在一实施例中，属于当前块的可用帧内预测模式集的当前帧内预测模式被确定。根据当前帧内预测模式，基于当前块的多个相邻重构样本，包括多个原始帧内预测像素值的原始帧内预测块被确定。根据基于当前帧内预测模式自多个扫描顺序选择的当前扫描顺序，帧内预测滤波器被应用到原始帧内预测块，以生成包括多个已滤波帧内预测像素值的已滤波器帧内预测块，其中到帧内预测滤波器的多个输入包括当前像素和一个或多个相邻像素，多个扫描顺序包括自垂直扫描顺序、水平扫描顺序和对角线扫描顺序中选择的至少两个扫描顺序。随后，使用已滤波帧内预测块作为当前块的预测子，帧内预测编码或者解码被应用到当前块。
在本实施例的一示例中，帧内预测滤波器的形状取决于当前扫描顺序。帧内预测滤波器可以根据一标志被使能或禁能。标志可以被显性地发信在于包括当前块的已压缩数据相关的比特流中，或者在解码器侧处被隐性地推导出。当标志在解码器侧处被隐性地推导出时，标志根据当前帧内预测模式或者先于当前块处理的一个或多个相邻块的一个或多个帧内预测模式被推导出。表示帧内预测滤波器是被使能还是被禁能的标志取决于当前帧内预测模式或者先于当前块处理的一个或多个相邻块的一个或多个帧内预测模式是否属于可用帧内预测模式集的预定子集。当标志被显性地发信在比特流中时，标志被发信在对应于序列、视图、图像、切片、序列参数集、视频参数集、自适应参数集、编码树单元、编码树块、最大编码单元、编码单元、预测单元、变换单元或者其组合的语法层或者头中。
当当前块对应于包括亮度分量和一个或多个色度分量的彩色图像或者视频数据时，帧内预测滤波器可以被使能以用于亮度分量和一个或多个色度分量中的至少一个。当当前块对应于包括绿色分量、红色分量和蓝色分量的彩色图像或者视频数据时，帧内预测滤波器可以被使能以用于绿色分量、红色分量和蓝色分量中的至少一个。
附图说明
图1示出了包括基于高效视频编码标准的环路处理的示例性自适应帧间/帧内视频编码系统。
图2示出了基于高效视频编码标准的33种可能的帧内预测方向。
图3示出了根据高效视频编码标准的帧内预测方向和帧内预测模式数字之间的映射。
图4示出了采用[1,3]滤波器或[1,2,1]滤波器进行平滑以减少块伪影的DC模式的边界预测样本。
图5示出了用于垂直帧内预测方向的基于梯度的边界平滑滤波器的示例。
图6示出了根据本发明一实施例的应用于原始帧内预测样本的帧内预测滤波器的示例。
图7A-图7B示出了根据本发明一实施例的帧内预测滤波器的示例，其中帧内预测滤波使用图7A中的水平扫描顺序和图7B中的垂直扫描顺序。
图8A-图8B示出了根据本发明一实施例的帧内预测滤波器的另一示例，其中帧内预测滤波使用图8A中的水平扫描顺序和图8B中的垂直扫描顺序。
图9A-图9B示出了根据本发明一实施例的帧内预测滤波器的又一示例，其中帧内预测滤波使用图9A中的水平扫描顺序和图9B中的垂直扫描顺序。
图10示出了根据本发明一实施例的包括帧内预测滤波的编解码系统的示例性流程示意图，其中到帧内预测滤波器的输入包括当前像素和包括位于当前像素的下方或者与当前像素的右侧相邻的至少一个像素。
图11示出了根据本发明另一实施例的包括帧内预测滤波的编解码系统的示例性流程示意图，其中根据基于当前帧内预测模式自多个扫描顺序选择的当前扫描顺序，帧内预测滤波器被应用到原始帧内预测块。
具体实施方式
以下描述为实施本发明的较佳方式。本描述的目的在于阐释本发明的一般原理，并非起限定意义。本发明的保护范围当视所附权利要求书所界定为准。
为了提高帧内预测的编解码效率，在本发明中公开了推导或细化帧内预测子以用于视频编解码的新方法。
在本发明的一实施例中，如图6所示，根据以下等式将滤波器应用到帧内预测样本上：
或者(1)
在以上等式中，Xn表示根据传统的帧内预测方法原始生成的帧内预测样本，以及表示已滤波样本。如本领域所已知，根据所选择的帧内预测模式，原始帧内预测块可以被生成。编码器自允许的帧内预测模式集(例如，如HEVC中定义的35种模式)选择帧内预测模式。模式选择流程在本领域是已知的，并且在此省略具体细节。根据本方法，如图6所示，到帧内预测滤波器的输入包括位于当前像素下方的至少一个像素或者位于当前像素的右侧的一个像素。在图6所示的示例中，N等于4。换句话说，四个相邻像素(即，上方、下方、与当前像素的右侧相邻和与当前像素的左侧相邻)和当前像素用于推导出新的预测子(称为已滤波帧内预测样本)，作为当前像素的已细化预测样本。对于那些非边界像素，其中当前像素的加权因子是4/8，相邻像素的加权因子是1/8。对于边界像素，不可用相邻像素的加权因子直接被添加到当前像素的加权因子。在图6中，当前块610、上方行620和左侧列630中的像素被认为是可用的。上方行620中的像素对应于位于当前块610上方的已重构块中的参考像素。左侧列630中的像素对应于与当前块610左侧相邻的已重构块中的参考像素。位于当前块610下方的像素和与当前块610的右侧相邻的像素被认为是不可用的。因此，像素位置642、像素位置644和像素位置646的至少一个相邻像素不可用。不可用像素的权重被分配为零，并此权重被添加到中心像素。因此中心像素的权重是5、6和5，以分别用于像素位置642、像素位置644和像素位置646。
根据本发明的一实施例，相邻像素可以由当前帧内预测块中的预测样本以及与当前帧内预测块相邻的相邻重构样本的任何子集组成。如图6所示，当相邻像素位于当前帧内预测块610内时，在滤波操作中，帧内预测样本(即原始帧内预测样本)被使用。如果相邻像素在相邻块(位于当前块610上方或者当前块610的左侧)中，则相邻重构样本被使用。
根据本实施例，滤波器可以是有限脉冲响应(finite impulse response，FIR)滤波器，其中滤波器输入是根据与所选择的帧内预测模式相关的帧内预测流程生成的原始帧内预测样本、当前预测样本和相邻重构样本的子集。当相邻像素位于与当前帧内预测块相邻的相邻重构块中时，相邻重构样本被使用。滤波器也可以是无限脉冲响应(infiniteimpulse response，IIR)滤波器。在这种情况下，当输入对应于已由帧内预测滤波器处理的当前块中的相邻像素时，已滤波帧内预测像素值用于帧内预测滤波器。当输入对应于当前像素或未由帧内预测滤波器处理的当前块中的相邻像素时，输入处的原始帧内预测值用于帧内预测滤波器。当相邻像素位于与当前帧内预测块相邻的重构块中时，相邻重构样本被使用。
帧内预测滤波器的滤波器系数(也称为加权系数)可以被显性发送在比特流中。这些系数可以被发送在位于对应于序列、视图(view)、图像、切片、序列参数集(SequenceParameter Set，SPS)、视频参数集(Video Parameter Set，VPS)，自适应参数集(Adaptation Parameter Set，APS)、编码树单元、编码树块、最大编码单元、编码单元、预测单元、变换单元或其任何组合的语法层或者头的比特流中，以更新滤波器系数。在编码器侧处，通过使用维纳(Wiener)滤波器推导方法,滤波器系数可被推导出，该方法在本领域中是已知的，其统计地估计与原始输入信号和已测量输出信号相关的线性模型的参数。维纳滤波器推导流程基于原始输入信号和已测量输出信号推导出这些参数。在一实施例中，原始像素值和帧内预测样本用于推导滤波器系数。在另一实施例中，相邻重构样本用于推导出滤波器系数、原始像素值和原始帧内预测样本。
在本发明的另一方面，用于帧内预测滤波的扫描顺序被自适应地确定，并且例如，可以是如图7A所示的水平扫描顺序、如图7B所示的垂直扫描顺序、或对角线扫描顺序。
在一实施例中，扫描顺序的选择是基于模式的。例如，如图3所示的小于18的帧内预测模式是水平扫描/垂直扫描，其余模式是垂直扫描/水平扫描。又例如，如图3所示的具有奇数模式数字的帧内预测模式是水平扫描/垂直扫描，其余模式是垂直扫描/水平扫描。
在另一个实施例中，滤波器取决于扫描顺序。具体而言，诸如滤波器形状和/或滤波器系数的滤波器足迹(footprint)取决于扫描顺序。在图8A和图8B所示的示例中，如果扫描顺序是水平扫描，则滤波器系数如图8A所示。否则，滤波器系数如图8B所示。如图9A所示，是用于水平扫描的取决于扫描顺序的滤波器设计的另一示例，如图9B所示，是用于垂直扫描的取决于扫描顺序的滤波器设计的另一示例。
图7A-图7B、图8A-图8B和图9A-图9B所示的示例中的滤波器形状根据扫描顺序而改变，使得到对应于当前已处理像素的相邻像素的帧内预测滤波器的输入总是先被处理。
上述帧内预测滤波器可以通过显性地发信标志或者在解码器侧处隐性地确定(即使用隐性标志)而被控制。对于隐性控制方案，开启/关闭决策可以根据当前处理块的帧内预测模式或者相邻处理块的帧内预测模式而被确定。在一实施例中，帧内预测滤波器仅被使能以用于属于可用帧内预测模式集的预定子集的帧内预测模式。例如，帧内预测滤波器被使能以用于奇数帧内预测模式数字，并被禁能以用于偶数帧内预测模式数字。又例如，帧内预测滤波器被禁能以用于奇数帧内预测模式数字，并被使能以用于偶数帧内预测模式数字。
在又一示例中，帧内预测滤波器被使能以用于除了DC模式之外的奇数帧内预测模式数字，并被禁能以用于偶数帧内预测模式数字和DC模式。在另一示例中，帧内预测滤波器被禁能以用于除了DC模式之外的奇数帧内预测模式数字，并被使能以用于偶数帧内预测模式数字和DC模式。
在再一示例中，帧内预测滤波器被使能以用于奇数帧内预测模式数字、平面模式、水平模式和垂直模式，并被禁能以用于剩余模式。可选地，帧内预测滤波器被禁能以用于奇数帧内预测模式数字、平面模式、水平模式和垂直模式，并被使能以用于剩余模式。
对于显性控制标志，一标志可以被发信在对应于序列、视图、图像、切片、序列参数集、视频参数集、自适应参数集、编码树单元、编码树块、最大编码单元、编码单元、预测单元、变换单元或者其组合的语法层或者头中。
对于彩色图像或者视频数据，所提出的帧内预测滤波器可以被应用到亮度分量和色度分量中的至少一个。当帧内预测滤波器被应用到亮度分量和色度分量时，一标志可以用于控制亮度分量和色度分量的使能或者禁能。在另一示例中，第一标志用于控制亮度分量的使能或者禁能，第二标志用于控制色度(例如，Cb和Cr)分量的使能或者禁能。在另一示例中，第一标志用于控制亮度(例如Y)分量的使能或者禁能，第二标志用于控制Cb分量的使能或者禁能，第三标志用于控制Cr分量的使能或者禁能。
帧内预测滤波器可以被应用到红色(red，R)分量、绿色(green，G)分量和蓝色(blue，B)分量中的至少一个。当帧内预测滤波器被应用到(红色分量，绿色分量，蓝色分量)中的多于1个时，一标志可以用于控制(红色分量，绿色分量，蓝色分量)中的多于1个的使能或者禁能。在另一示例中，第一标志用于控制第一分量的使能或者禁能，第二标志用于控制第二分量和第三分量的使能或者禁能。在另一示例中，第一标志用于控制第一分量的使能或者禁能，第二标志用于控制第二分量的使能或者禁能，第三标志用于控制第三分量的使能或者禁能。
图10示出了根据本发明一实施例的包含帧内预测滤波的编解码系统的示例性流程示意图，其中到帧内预测滤波器的输入包括当前像素和包括位于当前像素的下方或者与当前像素的右侧相邻的至少一个像素的一个或多个相邻像素。在步骤1010中，本系统接收与当前块相关的输入数据。在编码器侧处，输入数据对应于使用帧内预测编码的当前块的像素数据。在解码器侧处，输入数据对应于与当前块相关的比特流或者已压缩数据。在步骤1020中，基于当前块的相邻重构样本，确定包括原始帧内预测像素值的原始帧内预测块。自相邻重构样本确定原始帧内预测块的不同方法在本领域中是已知的。例如，根据HEVC标准中所定义的帧内预测模式之一，原始帧内预测块可以被确定。在步骤1030中，将帧内预测滤波器应用到原始帧内预测块，以生成包括已滤波器帧内预测像素值的已滤波帧内预测块。到帧内预测滤波器的输入包括当前像素和包括位于当前像素的下方或者与当前像素的右侧相邻的至少一个像素的一个或多个相邻像素。在步骤1040中，在生成已滤波帧内预测块之后，使用已滤波帧内预测块作为当前块的预测子，将帧内预测编码或者解码应用到当前块。如帧内预测编解码所知，原始块与帧内预测块之间的残差被编解码。
图11示出了根据本发明一实施例的包含帧内预测滤波的编解码系统的示例性流程示意图，其中根据基于当前帧内预测模式自多个扫描顺序选择的当前扫描顺序，帧内预测滤波器被应用到原始帧内预测块。在步骤1110中，本系统接收与当前块相关的输入数据。在步骤1120中，确定属于当前块的可用帧内预测模式集的当前帧内预测模式。在编码器侧处，编码器将选择一帧内预测模式。选择帧内预测模式的方法在本领域中也是已知的。通常，编码器使用特定性能标准，例如流行的率失真优化(rate-distortion optimization，RDO)流程，以选择最佳帧内预测模式。模式选择被发信在比特流中，使得解码器可以确定用于当前块的帧内预测模式。在步骤1130中，根据当前帧内预测模式，基于当前块的相邻重构样本，确定包括原始帧内预测像素值的原始帧内预测块。随后，在步骤1140中，根据基于当前帧内预测模式自多个扫描顺序选择的当前扫描顺序，将帧内预测滤波器应用到原始帧内预测块，以生成包括已滤波帧内预测像素值的已滤波器帧内预测块。到帧内预测滤波器的输入包括当前像素和一个或多个相邻像素，多个扫描顺序包括自垂直扫描顺序、水平扫描顺序和对角线扫描顺序中选择的至少两个扫描顺序。在步骤1150中，在生成已滤波帧内预测块之后，使用已滤波帧内预测块作为当前块的预测子，将帧内预测编码或者解码应用到当前块。
本发明所示的流程图用于示出根据本发明的视频编解码的示例。在不脱离本发明的精神的情况下，本领域的技术人员可以修改每个步骤、重组这些步骤、分割一个步骤或者组合步骤，以实施本发明。在本发明中，已使用特定的语法和语义示出示例，以实施本发明实施例。在不脱离本发明的精神的情况下，通过用等价的语法和语义来替换该语法和语义，本领域的技术人员可以实施本发明。
上述说明，使得本领域的普通技术人员能够在特定应用程序的内容及其需求中实施本发明。对本领域技术人员来说，所描述的实施例的各种变形将是显而易见的，并且本文定义的一般原则可以应用于其他实施例中。因此，本发明不限于所示和描述的特定实施例，而是将被赋予与本文所公开的原理和新颖特征相一致的最大范围。在上述详细说明中，说明了各种具体细节，以便透彻理解本发明。尽管如此，将被本领域的技术人员理解的是，本发明能够被实践。
如上所述的本发明的实施例可以在各种硬件、软件代码或两者的结合中实现。例如，本发明的实施例可以是集成在视频压缩芯片内的电路，或者是集成到视频压缩软件中的程序代码，以执行本文所述的处理。本发明的一个实施例也可以是在数字信号处理器(Digital Signal Processor，DSP)上执行的程序代码，以执行本文所描述的处理。本发明还可以包括由计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(fieldprogrammable gate array，FPGA)所执行的若干函数。根据本发明，通过执行定义了本发明所实施的特定方法的机器可读软件代码或者固件代码，这些处理器可以被配置为执行特定任务。软件代码或固件代码可以由不同的编程语言和不同的格式或样式开发。软件代码也可以编译为不同的目标平台。然而，执行本发明的任务的不同的代码格式、软件代码的样式和语言以及其他形式的配置代码，不会背离本发明的精神和范围。
本发明以不脱离其精神或本质特征的其他具体形式来实施。所描述的示例在所有方面仅是说明性的，而非限制性的。因此，本发明的范围由附加的权利要求来表示，而不是前述的描述来表示。权利要求的含义以及相同范围内的所有变化都应纳入其范围内。

Claims (22)

1.一种帧内预测滤波的方法，其特征在于，在图像或视频编码器或解码器中，所述方法包括：
接收与当前块相关的输入数据；
确定属于所述当前块的可用帧内预测模式集的当前帧内预测模式；
根据所述当前帧内预测模式，基于所述当前块的多个相邻重构样本，确定包括多个原始帧内预测像素值的原始帧内预测块；
根据基于所述当前帧内预测模式自多个扫描顺序选择的当前扫描顺序，将帧内预测滤波器应用到所述原始帧内预测块，以生成包括多个已滤波帧内预测像素值的已滤波器帧内预测块，其中到所述帧内预测滤波器的多个输入包括当前像素和一个或多个相邻像素，所述多个扫描顺序包括自垂直扫描顺序、水平扫描顺序和对角线扫描顺序中选择的至少两个扫描顺序；以及
使用所述已滤波帧内预测块作为所述当前块的预测子，将帧内预测编码或者解码应用到所述当前块。
2.如权利要求1中所述的帧内预测滤波的方法，其特征在于，所述帧内预测滤波器的形状取决于所述当前扫描顺序。
3.如权利要求1中所述的帧内预测滤波的方法，其特征在于，所述帧内预测滤波器根据一标志被使能或禁能。
4.如权利要求3中所述的帧内预测滤波的方法，其特征在于，所述标志被显性地发信在与包括所述当前块的已压缩数据相关的比特流中，或者在解码器侧处被隐性地推导出。
5.如权利要求4中所述的帧内预测滤波的方法，其特征在于，当所述标志在所述解码器侧处被隐性地推导出时，所述标志根据所述当前帧内预测模式或者先于所述当前块处理的一个或多个相邻块的一个或多个帧内预测模式被推导出。
6.如权利要求5中所述的帧内预测滤波的方法，其特征在于，表示帧内预测滤波器是被使能还是被禁能的所述标志取决于所述当前帧内预测模式或者先于所述当前块处理的一个或多个相邻块的一个或多个帧内预测模式是否属于所述可用帧内预测模式集的预定子集。
7.如权利要求4中所述的帧内预测滤波的方法，其特征在于，当所述标志被显性地发信在比特流中时，所述标志被发信在对应于序列、视图、图像、切片、序列参数集、视频参数集、自适应参数集、编码树单元、编码树块、最大编码单元、编码单元、预测单元、变换单元或者其组合的语法层或者头中。
8.如权利要求1中所述的帧内预测滤波的方法，其特征在于，所述当前块对应于包括亮度分量和一个或多个色度分量的彩色图像或者视频数据，其中所述帧内预测滤波器被使能以用于所述亮度分量和所述一个或多个色度分量中的至少一个。
9.如权利要求1中所述的帧内预测滤波的方法，其特征在于，所述当前块对应于包括绿色分量、红色分量和蓝色分量的彩色图像或者视频数据，其中所述帧内预测滤波器被使能以用于所述绿色分量、红色分量和蓝色分量中的至少一个。
10.如权利要求1中所述的帧内预测滤波的方法，其特征在于，所述帧内预测滤波器是基于模式的。
11.一种帧内预测滤波的装置，其特征在于，在图像或视频编码器或解码器中，所述装置包括一个或多个电子电路或处理器，用于：
接收与当前块相关的输入数据；
确定属于所述当前块的可用帧内预测模式集的当前帧内预测模式；
根据所述当前帧内预测模式，基于所述当前块的多个相邻重构样本，确定包括多个原始帧内预测像素值的原始帧内预测块；
根据基于所述当前帧内预测模式自多个扫描顺序选择的当前扫描顺序，将帧内预测滤波器应用到所述原始帧内预测块，以生成包括多个已滤波帧内预测像素值的已滤波器帧内预测块，其中到所述帧内预测滤波器的多个输入包括当前像素和一个或多个相邻像素，所述多个扫描顺序包括自垂直扫描顺序、水平扫描顺序和对角线扫描顺序中选择的至少两个扫描顺序；以及
使用所述已滤波帧内预测块作为所述当前块的预测子，将帧内预测编码或者解码应用到所述当前块。
12.一种帧内预测滤波的方法，其特征在于，在图像或视频编码器或解码器中，所述方法包括：
接收与当前块相关的输入数据；
基于所述当前块的多个相邻重构样本，确定包括多个原始帧内预测像素值的原始帧内预测块；
将帧内预测滤波器应用到所述原始帧内预测块，以生成包括多个已滤波器帧内预测像素值的已滤波帧内预测块，其中到所述帧内预测滤波器的多个输入包括当前像素和包括位于所述当前像素的下方或者与所述当前像素的右侧相邻的至少一个像素的一个或多个相邻像素；以及
使用所述已滤波帧内预测块作为所述当前块的预测子，将帧内预测编码或者解码应用到所述当前块。
13.如权利要求12中所述的帧内预测滤波的方法，其特征在于，使用加权系数集，根据到所述帧内预测滤波器的所述多个输入的加权和，所述帧内预测滤波器生成所述当前块中每个像素的一个已滤波帧内预测像素值。
14.如权利要求13中所述的帧内预测滤波的方法，其特征在于，所述一个或多个相邻像素包括位于所述当前像素的下方、位于所述当前像素的上方、与所述当前像素右侧相邻以及与所述当前像素的左侧相邻的四个相邻像素；以及
所述当前像素和所述四个相邻像素的所述加权系数集分别对应于4、1、1、1和1。
15.如权利要求14中所述的帧内预测滤波的方法，其特征在于，所述加权系数集被发信在与包括所述当前块的已压缩数据相关的视频比特流中。
16.如权利要求15中所述的帧内预测滤波的方法，其特征在于，所述加权系数集被发信在对应于序列、视图、图像、切片、序列参数集、视频参数集、自适应参数集、编码树单元、编码树块、最大编码单元、编码单元、预测单元、变换单元或者其组合的语法层或者头中。
17.如权利要求13中所述的帧内预测滤波的方法，其特征在于，根据所述维纳滤波器推导流程，使用多个原始像素值和所述多个已滤波帧内预测像素值作为维纳滤波器推导流程的输入数据，所述加权系数集被推导。
18.如权利要求13中所述的帧内预测滤波的方法，其特征在于，根据所述维纳滤波器推导流程，使用多个原始像素值和多个相邻重构像素值作为维纳滤波器推导流程的输入数据，所述加权系数集被推导。
19.如权利要求12中所述的帧内预测滤波的方法，其特征在于，若一个输入对应于位于所述当前像素的下方或者与所述当前像素的右侧相邻的一个像素并且所述输入位于所述当前块的外部，则原始用于所述输入的相应加权系数被添加到与所述当前像素相关的中心加权系数，并且用于所述输入的所述相应加权系数被设置为0。
20.如权利要求12中所述的帧内预测滤波的方法，其特征在于，
所述帧内预测滤波器对应于有限脉冲响应滤波器，其中：
当输入位于所述当前块的上方或者与所述当前块的左侧相邻的相邻重构块中时，位于所述输入处的一个参考值用于所述帧内预测滤波器，以及
当所述输入位于所述当前块中时，位于所述输入处的一个原始帧内预测值用于所述帧内预测滤波器。
21.如权利要求12中所述的帧内预测滤波的方法，其特征在于，
所述帧内预测滤波器对应于无限脉冲响应滤波器，其中：
当输入位于所述当前块的上方或者与所述当前块的左侧相邻的相邻重构块中时，位于所述输入处的一个参考值用于所述帧内预测滤波器，
当所述输入对应于已由所述帧内预测滤波器处理的所述当前块中的一个相邻像素时，位于所述输入处的一个已滤波帧内预测像素值用于所述帧内预测滤波器，以及
当所述输入对应于未由所述帧内预测滤波处理的所述当前块中的一个相邻像素时，位于所述输入处的一个原始帧内预测像素值用于所述帧内预测滤波器。
22.一种帧内预测滤波的装置，其特征在于，在图像或视频编码器或解码器中，所述装置包括一个或多个电子电路或处理器，用于：
接收与当前块相关的输入数据；
基于所述当前块的多个相邻重构样本，确定包括多个原始帧内预测像素值的原始帧内预测块；
将帧内预测滤波器应用到所述原始帧内预测块，以生成包括多个已滤波器帧内预测像素值的已滤波帧内预测块，其中到所述帧内预测滤波器的多个输入包括当前像素和包括位于所述当前像素的下方或者与所述当前像素的右侧相邻的至少一个像素的一个或多个相邻像素；以及
使用所述已滤波帧内预测块作为所述当前块的预测子，将帧内预测编码或者解码应用到所述当前块。
CN201680065495.3A 2015-11-18 2016-11-16 在视频和图像压缩中使用帧内预测滤波器的帧内预测模式的方法和装置 Pending CN109076237A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562256740P 2015-11-18 2015-11-18
US62/256,740 2015-11-18
PCT/CN2016/106059 WO2017084577A1 (en) 2015-11-18 2016-11-16 Method and apparatus for intra prediction mode using intra prediction filter in video and image compression

Publications (1)

Publication Number Publication Date
CN109076237A true CN109076237A (zh) 2018-12-21

Family

ID=58717346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680065495.3A Pending CN109076237A (zh) 2015-11-18 2016-11-16 在视频和图像压缩中使用帧内预测滤波器的帧内预测模式的方法和装置

Country Status (5)

Country Link
US (1) US20180332292A1 (zh)
EP (1) EP3360329A4 (zh)
CN (1) CN109076237A (zh)
BR (1) BR112018010207A2 (zh)
WO (1) WO2017084577A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112135129A (zh) * 2019-06-25 2020-12-25 华为技术有限公司 一种帧间预测方法及装置
CN112565773A (zh) * 2020-12-06 2021-03-26 浙江大华技术股份有限公司 帧内预测方法、帧内预测装置以及存储介质
CN113225562A (zh) * 2019-07-10 2021-08-06 Oppo广东移动通信有限公司 图像分量预测方法、编码器、解码器以及存储介质
CN113287311A (zh) * 2018-12-22 2021-08-20 北京字节跳动网络技术有限公司 两步交叉分量预测模式的指示
CN113728651A (zh) * 2019-04-02 2021-11-30 北京字节跳动网络技术有限公司 视频处理中的自适应环路滤波
CN113748676A (zh) * 2019-04-16 2021-12-03 北京字节跳动网络技术有限公司 帧内编解码模式下的矩阵推导
CN114009020A (zh) * 2019-06-21 2022-02-01 高通股份有限公司 视频译码中的矩阵帧内预测参数的信令
CN114009048A (zh) * 2019-06-18 2022-02-01 华为技术有限公司 视频译码中的滤波装置和方法
CN114051735A (zh) * 2019-05-31 2022-02-15 北京字节跳动网络技术有限公司 基于矩阵的帧内预测中的一步下采样过程
WO2022077490A1 (zh) * 2020-10-16 2022-04-21 Oppo广东移动通信有限公司 一种帧内预测方法、编码器、解码器及存储介质
US11570462B2 (en) 2019-04-19 2023-01-31 Beijing Bytedance Network Technology Co., Ltd. Delta motion vector in prediction refinement with optical flow process
US11805275B2 (en) 2019-06-05 2023-10-31 Beijing Bytedance Network Technology Co., Ltd Context determination for matrix-based intra prediction
US11831877B2 (en) 2019-04-12 2023-11-28 Beijing Bytedance Network Technology Co., Ltd Calculation in matrix-based intra prediction
US11924463B2 (en) 2019-04-19 2024-03-05 Beijing Bytedance Network Technology Co., Ltd Gradient calculation in different motion vector refinements

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100882949B1 (ko) 2006-08-17 2009-02-10 한국전자통신연구원 화소 유사성에 따라 적응적인 이산 코사인 변환 계수스캐닝을 이용한 부호화/복호화 장치 및 그 방법
CN105872539B (zh) * 2015-02-08 2020-01-14 同济大学 图像编码方法和装置及图像解码方法和装置
CN110063056B (zh) 2016-12-07 2023-09-12 株式会社Kt 用于处理视频信号的方法和设备
CN116389731A (zh) 2017-12-22 2023-07-04 数码士有限公司 视频信号处理方法和设备
US10939118B2 (en) * 2018-10-26 2021-03-02 Mediatek Inc. Luma-based chroma intra-prediction method that utilizes down-sampled luma samples derived from weighting and associated luma-based chroma intra-prediction apparatus
CN113196763B (zh) * 2018-12-21 2024-04-12 北京字节跳动网络技术有限公司 使用多项式模型的帧内预测
CN113965764B (zh) * 2020-07-21 2023-04-07 Oppo广东移动通信有限公司 图像编码方法、图像解码方法及相关装置
WO2023039859A1 (zh) * 2021-09-17 2023-03-23 Oppo广东移动通信有限公司 视频编解码方法、设备、系统、及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104247423A (zh) * 2012-03-21 2014-12-24 联发科技（新加坡）私人有限公司 在可伸缩视频编码中的帧内模式推导和编码的方法和装置
US20150117527A1 (en) * 2012-04-26 2015-04-30 Sony Corporation Filtering of prediction units according to intra prediction direction

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101000926B1 (ko) * 2004-03-11 2010-12-13 삼성전자주식회사 영상의 불연속성을 제거하기 위한 필터 및 필터링 방법
US9503751B2 (en) * 2013-10-17 2016-11-22 Hfi Innovation Inc. Method and apparatus for simplified depth coding with extended prediction modes

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104247423A (zh) * 2012-03-21 2014-12-24 联发科技（新加坡）私人有限公司 在可伸缩视频编码中的帧内模式推导和编码的方法和装置
US20150117527A1 (en) * 2012-04-26 2015-04-30 Sony Corporation Filtering of prediction units according to intra prediction direction

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GRAY J.SULLIVAN ET AL.: "Overview of the High Efficiency Video Coding(HEVC) Standard", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *
YUNFEI ZHENG ET AL.: "CE13: Mode Dependent Hybrid Intra Smoothing", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 4TH MEETING: DAEGU, KR, 20-28 JANUARY, 2011 DOCUMENT: JCTVC-D282》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113287311A (zh) * 2018-12-22 2021-08-20 北京字节跳动网络技术有限公司 两步交叉分量预测模式的指示
CN113287311B (zh) * 2018-12-22 2024-03-12 北京字节跳动网络技术有限公司 两步交叉分量预测模式的指示
US11516497B2 (en) 2019-04-02 2022-11-29 Beijing Bytedance Network Technology Co., Ltd. Bidirectional optical flow based video coding and decoding
CN113728651A (zh) * 2019-04-02 2021-11-30 北京字节跳动网络技术有限公司 视频处理中的自适应环路滤波
US11997303B2 (en) 2019-04-02 2024-05-28 Beijing Bytedance Network Technology Co., Ltd Bidirectional optical flow based video coding and decoding
CN113728651B (zh) * 2019-04-02 2022-10-25 北京字节跳动网络技术有限公司 视频处理中的自适应环路滤波
US11831877B2 (en) 2019-04-12 2023-11-28 Beijing Bytedance Network Technology Co., Ltd Calculation in matrix-based intra prediction
CN113748676A (zh) * 2019-04-16 2021-12-03 北京字节跳动网络技术有限公司 帧内编解码模式下的矩阵推导
CN113748676B (zh) * 2019-04-16 2024-05-10 北京字节跳动网络技术有限公司 帧内编解码模式下的矩阵推导
US11570462B2 (en) 2019-04-19 2023-01-31 Beijing Bytedance Network Technology Co., Ltd. Delta motion vector in prediction refinement with optical flow process
US11924463B2 (en) 2019-04-19 2024-03-05 Beijing Bytedance Network Technology Co., Ltd Gradient calculation in different motion vector refinements
CN114051735A (zh) * 2019-05-31 2022-02-15 北京字节跳动网络技术有限公司 基于矩阵的帧内预测中的一步下采样过程
US11943444B2 (en) 2019-05-31 2024-03-26 Beijing Bytedance Network Technology Co., Ltd. Restricted upsampling process in matrix-based intra prediction
US11805275B2 (en) 2019-06-05 2023-10-31 Beijing Bytedance Network Technology Co., Ltd Context determination for matrix-based intra prediction
CN114009048A (zh) * 2019-06-18 2022-02-01 华为技术有限公司 视频译码中的滤波装置和方法
CN114009020A (zh) * 2019-06-21 2022-02-01 高通股份有限公司 视频译码中的矩阵帧内预测参数的信令
CN112135129B (zh) * 2019-06-25 2024-06-04 华为技术有限公司 一种帧间预测方法及装置
CN112135129A (zh) * 2019-06-25 2020-12-25 华为技术有限公司 一种帧间预测方法及装置
US11509901B2 (en) 2019-07-10 2022-11-22 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for colour component prediction, encoder, decoder and storage medium
US11909979B2 (en) 2019-07-10 2024-02-20 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for colour component prediction, encoder, decoder and storage medium
CN113225562A (zh) * 2019-07-10 2021-08-06 Oppo广东移动通信有限公司 图像分量预测方法、编码器、解码器以及存储介质
US11930181B2 (en) 2019-07-10 2024-03-12 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for colour component prediction, encoder, decoder and storage medium
WO2022077490A1 (zh) * 2020-10-16 2022-04-21 Oppo广东移动通信有限公司 一种帧内预测方法、编码器、解码器及存储介质
CN112565773A (zh) * 2020-12-06 2021-03-26 浙江大华技术股份有限公司 帧内预测方法、帧内预测装置以及存储介质

Also Published As

Publication number Publication date
BR112018010207A2 (pt) 2018-11-21
WO2017084577A1 (en) 2017-05-26
EP3360329A4 (en) 2019-04-10
EP3360329A1 (en) 2018-08-15
US20180332292A1 (en) 2018-11-15

Similar Documents

Publication Publication Date Title
CN109076237A (zh) 在视频和图像压缩中使用帧内预测滤波器的帧内预测模式的方法和装置
JP7359878B2 (ja) 変換スキップモードにおける量子化パタメータの修正技術
TWI741589B (zh) 視頻編解碼之亮度mpm列表導出的方法及裝置
KR101566564B1 (ko) 기하학적으로 분할된 수퍼 블록들의 비디오 인코딩 및 디코딩 방법 및 장치
KR101728285B1 (ko) 화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치, 화상 복호 방법 및 기억 매체
CN108605143A (zh) 视频编码中的非局部自适应环内滤波器的方法和装置
CN109792516A (zh) 图像和视频编解码中用于帧内色度编解码的方法及装置
CN107925773A (zh) 使用自适应去块滤波编码和解码图像的方法及其装置
CN110393011A (zh) 用于视频编解码中具有帧内方向预测模式的内含帧内编解码工具设定的方法和装置
CN108055536B (zh) 帧内编码将像素指定给各组的块的方法和装置
EP3806472A1 (en) Merge mode-based inter-prediction method and apparatus
US11936890B2 (en) Video coding using intra sub-partition coding mode
KR20190116101A (ko) 어파인 모델 기반의 영상 부호화/복호화 방법 및 장치
KR20120089290A (ko) 비디오 엔코딩 및 디코딩을 위한 ｄｃ 인트라 예측 모드의 방법 및 장치
CN117880499A (zh) 去块效应滤波自适应的编码器、解码器及对应方法
CN114143548B (zh) 视频编解码中变换系数的编解码
TW202101981A (zh) 用以編碼和解碼視頻樣本之區塊樹的方法、設備及系統
TWI784452B (zh) 解碼、編碼、編解碼方法、裝置及其設備
JP2014204311A (ja) カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法
CN114424534A (zh) 视频编码的色度直接模式产生方法和装置
CN110720216B (zh) 用于视频编码的设备和方法
TW202335495A (zh) 視頻編解碼系統中多假設幀內模式的方法和裝置
TW202335496A (zh) 用於視頻編解碼系統幀間預測的方法和装置
TW202344057A (zh) 視訊編解碼方法及相關裝置
CN118042136A (zh) 编解码方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181221