CN114208167A - 具有帧内预测模式映射的视频数据的编码或解码方法和装置 - Google Patents

具有帧内预测模式映射的视频数据的编码或解码方法和装置 Download PDF

Info

Publication number
CN114208167A
CN114208167A CN202080055398.2A CN202080055398A CN114208167A CN 114208167 A CN114208167 A CN 114208167A CN 202080055398 A CN202080055398 A CN 202080055398A CN 114208167 A CN114208167 A CN 114208167A
Authority
CN
China
Prior art keywords
mode
intra
mapped
chroma block
current chroma
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080055398.2A
Other languages
English (en)
Inventor
江嫚书
蔡佳铭
徐志玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN114208167A publication Critical patent/CN114208167A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种在视频编码器或解码器中的视频处理方法，包括：接收以4：2：2颜色格式所编解码的当前图片中的当前色度块的输入数据；决定相对应于该当前色度块的亮度块的亮度模式；将该亮度模式映射至该当前色度块的映射后帧内模式；基于该当前色度块的宽度与高度比，选择性地将该映射后帧内模式以宽角度帧内预测映射加以取代；在该宽角度帧内预测映射之后，依据该映射后帧内模式来推导帧内预测子；以及依据该帧内预测子来编码或解码该当前色度块。当该亮度模式是模式61时，该映射后帧内模式是模式57，而且当该亮度模式是模式57时，该映射后帧内模式是模式55。

Description

具有帧内预测模式映射的视频数据的编码或解码方法和装置
【相关申请的交叉引用】
本发明要求2019.6.8提交的申请号为62/883,149，名称为“Intra predictionmode mapping for different block ratios”的美国临时专利申请的优先权。上述美国临时专利申请的内容通过引用一并并入本说明书中。
【技术领域】
本发明关于藉由帧内预测来编码或解码视频数据。尤其，本发明关于以帧内预测模式映射所推导的帧内预测子来编码与解码视频数据。
【背景技术】
高效率视频编解码(HEVC)是由视频编码联合协作小组(Joint CollaborativeTeam on Video Coding，JCT-VC)所发展的新一代国际性视频编解码标准。HEVC是基于混合块为基础的运动补偿离散余弦转换(Discrete Cosine Transform，DCT)类的转换编解码架构。在HEVC中压缩的基本单元(称为编解码单元，CU)是一2Nx2N的方型块，而每一CU可以递回式地被分割成四个较小的CU，一直达到预定的最小尺寸为止。每个CU包括一、二、或四的多个预测单元(Prediction Unit，PU)。在HEVC中，每个PU是藉由帧内预测或帧间预测加以编解码。对每个藉由帧间预测所编解码的PU，一或二个时间重构后参考图片(temporalreconstructed reference picture)被用来产生运动补偿后预测子。在HEVC中有三种不同的帧间预测模式，包括跳过(Skip)、合并(Merge)以及高级运动向量预测(AMVP)模式。帧内预测在产生一初始图片或周期性地插入I图片(I-picture)或I块(I-block)以用于随机存取或用于缓解误差传播方面是有用的。帧内预测被设计为利用图片中的空间特征，如图片内或图片区域内的平滑区域、垂直线或边缘、水平线或边缘，以及对角线或边缘。帧内预测对于具有高运动或场景变化的区域也是有用的。将藉由帧内预测所编解码的PU是依赖于已经被处理过的相邻块中的样本。例如，如果视频图片或图片区域中的块从上到下并且从左到右逐行(row by row)地依次处理，则当前块的上方的相邻块和当前块左方的相邻块可以用于形成用于预测当前块中样本的帧内预测子(predictor)。
HEVC标准支援35个帧内预测模式，包括33个角度模式、直流DC模式和平面模式。图2绘示出在HEVC标准所支援的33个角度帧内预测模式的预测方向，其中H代表水平模式而且V代表垂直模式。33个角度帧内预测模式藉由H、H+1～H+8、H-1～H-7、V、V+1～V+8、V-1～V-8来代表。藉由帧内预测所编解码或将被编解码的当前块的帧内预测子是藉由三个步骤所产生，包括：帧内平滑滤波器(intra smoothing filter)、帧内预测(intra prediction)与帧内梯度滤波器(intra gradient filter)。图2绘示出藉由帧内平滑滤波器所滤波的示例性参考样本，以推导用于当前块的帧内预测子。平滑滤波器操作被应用于当前块20的参考样本22，以作为在计算当前块20的帧内预测子之前的前处理步骤。平滑滤波器操作对应于应用有低通特性(low-pass characteristics)的有限脉冲响应(Finite Impulse Response，FIR)帧内平滑滤波器[1 2 1]>>2，在属于当前块20的左方相邻栏(column)与上方相邻行(row)的参考样本22中。平滑滤波器操作经由应用FIR滤波器降低有些帧内预测模式所引入的不连续(discontinuities)。此平滑滤波器操作取决于帧内预测模式与当前块的尺寸大小而加以自适性地应用。
帧内预测的第二步骤是依据从35个帧内预测模式中所选择的一个帧内预测模式，从相邻参考样本来推导出帧内预测子。帧内预测模式是藉由编码器所决定并且被发信于比特流中，因此相对应的解码器可以从比特流中剖析出帧内预测模式。当角度模式被选择时，在当前块中每一样本的数值会依据所选择角度模式的预测方向，藉由从参考样本所外推(extrapolating)的样本来加以预测。当平面模式(Planar mode)被选择时，在当前块中每一样本的数值是藉由假设具有由相邻块的边界样本所推导出的水平与垂直平滑梯度(smooth gradient)的振幅平面(amplitude surface)来加以计算。当直流模式(DC mode)被选择时，在当前块中每一样本的数值是参考样本的平均。
在第三步骤中，帧内梯度滤波器被应用在当前块的左方与上方边界的样本。应用帧内梯度滤波器的概念是使用沿着帧内预测方向的梯度信息以改善帧内预测的品质。图3A绘示出应用帧内梯度滤波于藉由垂直方向模式或水平方向模式所预测的预测子。在图3A中，预测后的像素Pij表示在第i行和第j栏的预测子，并且AL代表当前块在左上方角落的重构后样本，而Li代表当前块在左方相邻栏的一重构后样本。对每一预测后像素Pij的最后预测后像素P’ij是在应用帧内梯度滤波器之后藉由等式(1)来加以计算。
P′ij＝Pij+α·(Li-AL) 等式(1)
其中α是从0到1之间的分数，而且是依据水平位移j来加以选择，例如：当j＝0时，α＝1/2；以及当j＝1时，α＝1/4。至于藉由水平模式所预测的当前块，对每一预测后像素Pij的最后预测后像素P’ij是在藉由等式(2)来加以计算。
P′ij＝Pij+α·(Aj-AL) 等式(2)
其中Aj是在上方行(above row)的重构后样本。至于方向模式v+1～v+8以及h+1～h+8，首先沿着帧内预测的方向来取得重构后样本Li或Aj的相对应参考样本RLi或RAj，来取代重构后样本Li或Aj。当前块在上方行(above row)或左方栏(left column)的整数像素的内插被应用来产生相对应的参考样本RLi或RAj(当其不位于整数像素的位置时)。图3B绘示出对v+1～v+8方向模式应用帧内梯度滤波器的例子。最后预测后像素P’ij是从每一预测后像素Pij藉由等式(3)来加以计算。
P′ij＝Pij+α·(Li-RLi) 等式(3)
类似于垂直模式，α是从0到1之间的分数，而且是依据帧内预测的方向与水平位移j来加以选择。对h+1～h+8方向模式,最后的预测像素P’ij是依据等式(4)从每一预测的像素Pij来对加以计算，其中α是从0到1之间的分数，而且是依据帧内预测的方向与垂直位移i来加以选择。
P′ij＝Pij+α·(Aj-RAj) 等式(4)
虽然帧内梯度滤波器可以被应用于所有方向性模式v+1～v+8与h+1～h+8，帧内梯度滤波器只可以被应用于当帧内预测模式是HEVC标准中的DC、水平、或垂直模式。当所选择的帧内预测模式是DC模式时，当前块的第一行(row)与第一栏(column)的样本是藉由帧内梯度滤波器加以滤波。当所选择的帧内预测模式是水平模式时，第一行的样本是藉由帧内梯度滤波器加以滤波。如果所选择的帧内预测模式是垂直模式时，第一栏的样本是藉由帧内梯度滤波器加以滤波。
MPM列表产生在HEVC标准所支援的35个帧内预测模式之中，三个帧内预测模式被认为是最可能模式(Most Probable Modes，MPMs)以用来预测用于一当前块的一当前帧内预测模式。左方相邻块与上方相邻块的相邻帧内预测模式被纳入于此三个MPM中。如果二个相邻帧内预测模式是相同的方向性模式，或二个相邻帧内预测模式中只有一个是可用的而且是方向性模式，在此相邻方向性模式紧邻的二个方向也会被纳入于此三个MPM中。当左方或上方相邻帧内预测模式不是方向性的或是当相邻块不是可用的或不是以帧内预测所编解码的时候，DC模式与平面模式也会被认为是MPM。第一MPM旗标被发信来指示出当前帧内预测模式与三个MPM中之一是否为相同，如果相同，另一旗标被发信来指示出三个MPM中哪一个被选择；如果第一MPM旗标为假，当前帧内预测模式为非-MPM模式而且使用5-比特固定长度码字(codeword)来加以显性地发信。
图2所示的33个角度模式可以被扩展到具有较多或较少的角度模式的一通例，其中每一角度模式可以藉由模式H+k或模式V+k来代表，其中H代表水平模式的方向，V代表垂直模式的方向，而且k＝0、+-1、+-2、..+-K。用于帧内预测的65个角度模式的例子显示于图4，其中k的范围从-16到16。模式H-16与模式V-16为相同模式，其中此模式代表指向当前块的左上方角落的预测方向。图4绘示出65个角度帧内预测模式，具有在HEVC原本33个角度模式之间的额外32个角度模式。图4的65个角度模式包括在该块的左方边界从下到上的模式H+16到H-15，以及在该块的上方边界从左到右的模式V-16到V+16。这些较密的方向性帧内预测模式可以被应用在所有块尺寸大小以及用于亮度与色度分量二者。
宽角度帧内预测映射即将来临新兴的视频编解码标准多功能视频编解码(Versatile Video Coding，VVC)支援多种非-方型的块分割。宽角度帧内预测(Wide-AngleIntra Prediction，WAIP)模式映射因而被开发来改善用于非-方型块的帧内预测。多种传统的角度帧内预测模式可以在WAIP模式映射程序之后，自适性地用修正后的帧内预测模式来加以取代。传统的角度帧内预测方向是由顺时钟方向从45度到-135度加以定义。某些原本的帧内预测模式在用于帧内预测的WAIP模式映射之后会藉由修正后的帧内预测模式来加以取代，但是原本的帧内预测模式索引仍被视频编码器加以发信。相对应的视频解码器剖析原本的帧内预测模式索引，并且重新映射(remap)这些原本的帧内预测模式索引到修正后的帧内预测模式。帧内预测模式的总数目因此并未改变，并且帧内模式编解码方法也维持不变。为了支援WAIP模式映射，具有长度为2W+1的上方参考样本以及具有长度为2H+1的左方参考样本被定义于第5A以及第5B图中。在图5A中，当前块52可以藉由左方参考样本加以预测，其中该样本具有的角度大于模式2的角度。在第5B图中，当前块54可以藉由上方参考样本加以预测，其中该样本具有的角度大于模式66的角度。用来取代原本的帧内预测模式的修正后的帧内预测模式的数目取决于块的尺寸比(aspect ratio)。该尺寸比代表该块的宽度与高度比。要藉由修正后的帧内预测模式所取代的角度帧内预测模式之相对应每一尺寸比被绘示于表格1中。
表格1.由WAIP模式映射所取代的帧内预测模式
Figure BDA0003494962920000051
WAIP模式映射程序的输入包括：指明帧内预测模式的变量predModeIntra、指明宽度变量nW、指明高度变量nH、以及指明颜色分量变量cIdx。WAIP模式映射程序的输出为修正后的帧内预测模式predModeIntra。如果帧内次-分割(Intra Sub-Partition，ISP)模式被用于编解码当前块或是用于该当前块的变量cIdx不等于0时，变量nW与nH等于转换块宽度nTbW与转换块高度nTbH。否则，变量nW与nH等于编解码块宽度nCbW与编解码块高度nCbH。当该当前块是色度块时，该变量cIdx不等于0；而当该当前块是亮度块时，该变量cIdx等于0。然后变量whRatio依据该二变量nW与nH藉由abs(Log2(nW/nH))来加以推导出。WAIP模式映射程序包括检查是否所有下列三个情况都为真：nW大于nH、predModeIntra大于或等于2、以及predModeIntra小于(whRatio>1)？(8+2*whRatio):8。如果上面三个情况都为真，修正后的帧内预测模式predModeIntra被设定等于(predModeIntra+65)。否则，WAIP模式映射程序进一步检查是否三个接下来的情况为真：nH大于nW、predModeIntra小于或等于66、以及predModeIntra大于(whRatio>1)？(60–2*whRatio):60。如果上面三个情况都为真，修正后的帧内预测模式predModeIntra被设定等于(predModeIntra–67)。
【发明内容】
在视频编解码系统中实施一种视频编码或解码的方法或装置，来处理以帧内预测所编解码或将被编解码的视频数据。此视频编解码系统的实施例接收以4：2：2颜色格式所编解码的当前图片中的当前色度块相关的输入数据。此视频编解码系统决定该当前色度块是藉由直接模式(Direct Mode，DM)来加以编解码或将被编解码；决定相对应于该当前色度块的亮度块的亮度模式；并然后将该亮度模式映射至用于该当前色度块的映射后帧内模式。当该亮度模式是模式61时，该映射后帧内模式是模式57；而且当该亮度模式是模式57时，该映射后帧内模式是模式55。基于该当前色度块的宽度与高度比，选择性地将该映射后帧内模式以宽角度帧内预测模式映射加以取代。在该宽角度帧内预测模式映射之后，依据该映射后帧内模式来推导用于该当前色度块的帧内预测子；以及依据该帧内预测子来编码或解码该当前色度块。
在一实施例中，当该当前色度块的该宽度与高度比为1：4时，模式57的该映射后帧内模式相对应于指向左下方角落的预测方向；以及在该WAIP模式映射之后，模式57的该映射后帧内模式则被模式-10加以取代。在另一实施例中，当该当前色度块的该宽度与高度比为1：8时，模式55的该映射后帧内模式相对应于指向左下方角落的预测方向；以及在该WAIP模式映射之后，模式55的该映射后帧内模式被模式-12加以取代。
该当前色度块是藉由直接模式DM加以编码或解码，而且该亮度块是该当前色度块的并位块(collocated block)。在一实施例中，当该宽度与高度比为1：4时，用于该当前色度块在一左下方角落、正左方、左上方角落、正上方、与右上方角落的该映射后帧内模式为57、18、44、50、与56。在另一实施例中，当该宽度与高度比为1：8时，用于该当前色度块在左下方角落、正左方、左上方角落、正上方、与右上方角落的该映射后帧内模式为55、18、46、50、与54。在另一实施例中，当该宽度与高度比为1：16时，用于该当前色度块在左下方角落、正左方、左上方角落、正上方、与右上方角落的该映射后帧内模式为53、18、48、50、与52。
在一实施例中，当该宽度与高度比为2：1时，用于该当前色度块在左下方角落、正左方、左上方角落、正上方、与右上方角落的该映射后帧内模式为8、18、38、50、与7。在另一实施例中，当该宽度与高度比为4：1时，用于该当前色度块在左下方角落、正左方、左上方角落、正上方、与右上方角落的该映射后帧内模式为12、18、24、50、与11。在另一实施例中，当该宽度与高度比为8：1时，用于该当前色度块在左下方角落、正左方、左上方角落、正上方、与右上方角落的该映射后帧内模式为14、18、22、50、与13。在又另一实施例中，当该宽度与高度比为16：1时，用于该当前色度块在左下方角落、正左方、左上方角落、正上方、与右上方角落的该映射后帧内模式为16、18、20、50、与15。
当该当前色度块的该宽度与高度比为1：2时，由WAIP模式映射所取代的该映射后帧内模式为模式61至66；当该当前色度块的该宽度与高度比为1：4时，由WAIP模式映射所取代的该映射后帧内模式为模式57至66；当该当前色度块的该宽度与高度比为1：8时，由WAIP模式映射所取代的该映射后帧内模式为模式55至66；以及当该当前色度块的该宽度与高度比为1：16时，由WAIP模式映射所取代的该映射后帧内模式为模式53至66。
当该当前色度块的该宽度与高度比为2：1时，由WAIP模式映射所取代的该映射后帧内模式为模式2至7；当该当前色度块的该宽度与高度比为4：1时，由WAIP模式映射所取代的该映射后帧内模式为模式2至11；当该当前色度块的该宽度与高度比为8：1时，由WAIP模式映射所取代的该映射后帧内模式为模式2至13；以及当该当前色度块的该宽度与高度比为16：1时，由WAIP模式映射所取代的该映射后帧内模式为模式2至15。
在一些实施例中，将该亮度模式映射至用于该当前色度块的映射后帧内模式的步骤是藉由对照映射表来进行，而且该映射表是使用在以直接模式DM加以编解码或将被编解码的所有色度块，而不论其宽度与高度比为何。在一实施例中，藉由对照该映射表，模式61或模式62的该亮度模式被映射至模式57，而且模式57或模式58的该亮度模式被映射至模式55。依据一实施例中，模式2至7的该亮度模式被映射至模式61至66。
本揭示的有些方面进一步提供在视频编解码系统中的装置，用来：接收藉由4：2：2颜色格式所编解码的当前图片中藉由帧内预测所编解码或将被编解码的当前色度块相关的输入数据；决定相对应于该当前色度块的亮度块的亮度模式；将该亮度模式映射至用于该当前色度块的映射后帧内模式；基于该当前色度块的宽度与高度比，选择性地将该映射后帧内模式以WAIP模式映射加以取代；在该WAIP模式映射之后，依据该映射后帧内模式来推导帧内预测子；以及依据该帧内预测子来编码或解码该当前色度块。当该亮度模式是模式61时，该映射后帧内模式是模式57；而且当该亮度模式是模式57时，该映射后帧内模式是模式55。
本揭示的有些方面进一步提供一种用来储存程序指令的非暂时性电脑可读取媒介，该程序指令使得装置的处理电路藉由帧内预测对于视频数据进行编码或解码，该视频数据以4：2：2颜色格式所编解码的当前图片中的当前色度块的视频数据。并位亮度块的亮度模式被映射至映射后帧内模式，其中当该亮度模式是模式61时，该映射后帧内模式是模式57，而且当该亮度模式是模式57时，该映射后帧内模式是模式55。所提出的色度模式映射确保用于指向左下方角落的色度块的映射后帧内模式，是和用于该色度块的任何可能的映射后帧内模式都有区别的相异模式(distinct mode)。透过对以下具体实施例描述的检阅，本发明的其他方面和特征对于本领域一般技艺人士将变得明显易懂。
【附图说明】
在本揭示被提出当例子的各种实施例将会参照下列图式被更详细地解说，其中相似的数字用来参照相似的元件，而且其中：
图1绘示出在HEVC标准所支援的33个角度帧内预测模式。
图2绘示出藉由一帧内平滑滤波器(intra smoothing filter)所滤波的示例性参考样本，以推导用于当前块的帧内预测子。
图3A绘示出应用一帧内梯度滤波(intra gradient filtering)于藉由帧内预测的垂直模式(Vertical mode)所预测的预测子。
图3B绘示出应用帧内梯度滤波(intra gradient filtering)于藉由帧内预测的角度模式(angular mode)所预测的预测子。
图4绘示出65个角度帧内预测模式的例子。
图5A与5B绘示出以宽角度帧内预测应用在二个示例性长方型块的参考样本。
图6A与6B绘示出简化的方块图来展示用于亮度与色度分量的帧内模式推导。
图7A绘示出以4：2：2颜色格式所编解码的方型亮度块；图7B绘示出具有映射后帧内模式的相对应色度块，该模式是藉由传统色度模式映射方法所推导出；以及图7C绘示出具有映射后帧内模式的相对应色度块，该模式是藉由依据本发明实施例的色度模式映射所推导出。
图8A绘示出以一4：2：2颜色格式所编解码的具有宽度与高度比为1：2的一亮度块；图8B绘示出具有映射后帧内模式的相对应色度块，该模式是藉由传统色度模式映射方法所推导出；以及图8C绘示出具有映射后帧内模式的相对应色度块，该模式是藉由依据本发明一实施例的色度模式映射所推导出。
图9A绘示出以一4：2：2颜色格式所编解码的具有宽度与高度比为1：4的亮度块；图9B绘示出具有映射后帧内模式的相对应色度块，该模式是藉由传统色度模式映射方法所推导出；以及图9C绘示出具有映射后帧内模式的相对应色度块，该模式是藉由依据本发明一实施例的色度模式映射所推导出。
图10A绘示具有一宽度与高度比为1：16的一色度块，并具有依据本发明一实施例的色度模式映射所推导出的映射后帧内模式；图10B绘示具有一宽度与高度比为2：1的一色度块，并具有依据本发明一实施例的色度模式映射所推导出的映射后帧内模式；图10C绘示具有一宽度与高度比为4：1的一色度块，并具有依据本发明一实施例的色度模式映射所推导出的映射后帧内模式；图10D绘示具有一宽度与高度比为8：1的一色度块，并具有依据本发明一实施例的色度模式映射所推导出的映射后帧内模式；以及图10E绘示具有一宽度与高度比为16：1的一色度块，并具有依据本发明一实施例的色度模式映射所推导出的映射后帧内模式。
图11为依据本发明一实施例绘示一示例的视频处理方法的一流程图。
图12为根据本发明实施例绘示一示例性的系统方块图，以用于体现视频处理方法的一视频编码系统。
图13为根据本发明实施例绘示一示例性的系统方块图，以用于体现视频处理方法的一视频解码系统。
【具体实施方式】
容易理解的是，如本文附图中一般描述和说明的本发明的各种模组与组件可以以各种不同的配置来布置和设计。因此，如附图所示，本发明的系统和方法的实施例的以下更详细的描述并非旨在限制所要求保护的本发明的范围，而仅仅代表本发明的所选实施例。
本说明书中对“实施例”、“一些实施例”或类似语言的引用意味着结合实施例描述的具体特征、结构或特性可以包括在本发明的至少一实施例中。因此，贯穿本说明书在各个地方出现的短语“在实施例中”或“在一些实施例中”不一定都指代相同的实施例，这些实施例可单独地实现或者与一个或多个其他实施例结合实现。此外，所描述的特征，结构或特性可在一个或多个实施例中以任何合适的方式组合。然而，本领域技术人员将认识到，可在没有一个或多个具体细节的情况下或者利用其他方法，组件等来实践本发明。在其他情况下，未示出或详细描述公知的结构或操作，以避免模糊本发明的各方面。
图6A与6B为简化的方块图来展示在4：2：2颜色格式用于亮度与色度分量的帧内模式推导。如图6A所示，亮度块的亮度模式是藉由宽角度帧内预测(Wide Angle IntraPrediction，WAIP)模式映射模组62，来产生用于该亮度块的一最后帧内模式。该亮度块的亮度模式是藉由MPM发信或是固定长度发信(取决于该亮度模式是否属于MPM中之一)来加以发信于视频比特流中。基于该亮度块的宽度与高度比，在WAIP模式映射之后只有列出于表格1的模式才会被相对应的宽角度模式加以取代。如第6B图所示，如果直接模式(DirectMode，DM)被选择用于一色度块中，相对应的亮度模式被4：2：2色度帧内模式映射模组64加以转换，来产生用于该色度块的映射后帧内模式。相对应的亮度帧内模式被发信于或剖析自视频比特流中，以用于该色度块的并位亮度块。然后该映射后帧内模式藉由WAIP模式映射模组66加以处理，来产生用于该色度块的最后帧内模式。如果该色度块不是藉由直接模式DM加以编解码，该色度块的色度帧内模式被决定，且然后藉由WAIP模式映射模组66加以处理，来产生用于该色度块的最后帧内模式。在WAIP模式映射之后，该色度帧内模式(而非该最后帧内模式)被发信于视频比特流中。基于该色度块的宽度与高度比，在WAIP模式映射之后只有列出于表格1的帧内模式才会被相对应的宽角度模式加以取代。在WAIP模式映射之后，用于该亮度块或色度块的最后帧内模式被使用来产生帧内预测子。
用于比例等于1/2的色度块的帧内模式映射当4：2：2颜色格式被选择时，用于色度的帧内模式映射被用来推导出以直接模式(Direct Mode，DM)所编解码或将被编解码的色度块的色度帧内模式。详言之，帧内模式映射转换相对应亮度块的帧内预测模式至用于该色度块的色度帧内模式。该帧内预测模式是被发信的亮度帧内预测模式，以用于相对应该色度块的亮度块。表格2与表格3是帧内模式映射表格，分别被使用于HEVC范围扩展(HEVCrange extension)与VTM-5.0的帧内模式映射，其中VTM-5.0是VVC草案5的软件。有33个帧内角度模式与65个帧内角度模式分别被使用于HEVC范围扩展与VTM-5.0的帧内预测。在表格2与表格3中，modeIdx指示出在用于色度的帧内模式映射之前的用于相对应亮度块的帧内预测模式，而且IntraPredModeC指示出用于4：2：2颜色格式中的色度块的映射后帧内预测模式。为了处理4：2：2颜色格式中非-方型的色度块，WAIP模式映射也被使用在用于色度的帧内模式映射之后的帧内预测的改善，以进一步改变IntraPredModeC至修正的帧内预测模式。
表格2.用于HEVC范围扩展中色度的帧内模式映射
Figure BDA0003494962920000111
表格3.用于VTM-5.0中色度的帧内模式映射
Figure BDA0003494962920000112
图7A绘示出方型亮度块的例子，而且图7B绘示出以4：2：2颜色格式的相对应色度块，具有依据VTM5.0所定义的表格3中所推导出的数个映射后模式。由于该亮度块具有宽度与高度比等于1：1，该相对应色度块具有宽度与高度比等于1：2。用于该色度块的一些示例性的块尺寸大小是64x128、32x64、16x32、8x16、与4x8个样本。为了推导出该色度块的色度帧内预测模式，用于该色度块的映射后帧内预测模式IntraPredModeC会依据映射表从相对应的亮度帧内预测模式modeIdx首先被推导出。依据该宽度与高度比，然后WAIP模式映射程序选择性地被应用于IntraPredModeC，来进一步映射至修正的帧内预测模式。该修正的帧内预测模式被用来产生用于该色度块的预测样本。如图7A与7B所示，modeIdx等于66的被映射至60，modeIdx等于8的被映射至2，以及modeIdx等于34的被映射至40。对介于模式2和模式7之间的任何modeIdx，该映射后帧内预测模式IntraPredModeC总是2。
表格4.用于VTM-5.0中色度的帧内模式映射
Figure BDA0003494962920000121
图7C绘示出以4：2：2颜色格式的相对应色度块，具有依据VTM6.0所定义的表格4中所推导出的数个映射后模式。依据表格4与图7C所示出，当modeIdx等于2时，该映射后帧内预测模式IntraPredModeC等于61；而且当modeIdx等于7时，该映射后帧内预测模式IntraPredModeC等于66。基于该WAIP模式映射程序，当该映射后帧内预测模式IntraPredModeC等于介于61与66之间的任何模式时，该WAIP模式映射程序映射IntraPredModeC至介于-6与-1之间的模式。例如，当该色度块的IntraPredModeC等于61而且色度CB的宽度与色度CB的高度比为1：2时，该帧内预测模式被模式-6加以取代。如图7C所示，具有1/2比例的色度块在左下方角落、正左方、左上方角落、正上方、与右上方角落的映射后帧内模式分别为模式61、18、40、50、与60。这些映射后帧内模式中，在WAIP模式映射程序之后，只有在左下方角落的映射后帧内模式被模式-6加以取代，其余映射后模式在WAIP模式映射之后还是维持不改变。
用于具有比例等于1/4的色度块的帧内模式映射图8A绘示出具有宽度与高度比等于1：2的亮度块的例子；以及图8B与图8C绘示出用于4：2：2颜色格式具有宽度与高度比等于1：4的相对应色度块。例如，在图8B或图8C中的色度块的尺寸大小是16x64、8x32、或4x16个样本。图8B所示用于色度块的映射后帧内模式，是依据定义于VTM6.0的表格4从4：2：2色度帧内模式映射所推导出的。值得注意的是如图8B所示，用于色度块在左下方角落的映射后帧内模式以及在右上方角落的映射后帧内模式都等于56。对具有宽度与高度比等于1：4的色度块，当IntraPredModeC等于56(由于此模式对应于右上方角落)，该最后帧内模式在宽角度模式转换之后仍然是56。本发明的实施例修正用于色度的4：2：2帧内模式映射，来区别在左下方角落以及在右上方角落的映射后帧内模式，以用于宽度与高度比等于1：4的色度块。修正后用于色度的4：2：2帧内模式映射表格的实施例被展示在表格5。在表格5所示的映射表格是使用在以DM编解码或将被编解码的所有色度块，换言之，此映射表格适用于所有种类的宽度与高度比。与表格4相比，在表格5中大部分的映射后帧内模式IntraPredModeC是未改变(除了以粗体标示的数字)。图8C所示用于色度块的映射后帧内模式，是依据本发明的实施例从修正后4：2：2模式映射表格所推导出的。图8C所示用于色度块在左下方角落的映射后帧内模式是57，其与在右上方角落的映射后帧内模式是有区别的相异模式(distinct mode)。对具有宽度与高度比等于1：4且以DM编解码的色度块，当相对应亮度模式modeIdx等于61时，映射后帧内预测模式IntraPreModeC是57。对具有宽度与高度比等于1：4的色度块，WAIP模式映射将在模式57至66之间的任何映射后帧内模式转换为模式-10至-1。在编码器与解码器二者处，在宽角度模式转换之后，模式57的映射后帧内预测模式被模式-10加以取代，而且用于色度块的帧内预测子会依据在帧内预测的模式-10加以推导出。图8C所示的实施例，用于比例为1/4的色度块在左下方角落、正左方、左上方角落、正上方、与右上方角落的映射后帧内模式分别为模式57、18、44、50、与56。这些映射后帧内模式中，在用于帧内预测子产生的WAIP模式映射之后，只有在左下方角落的映射后帧内模式被宽角度模式加以取代，其余映射后模式在用于帧内预测子产生的WAIP模式映射之后还是维持不改变。
表格5.依据一实施例用于色度的帧内模式映射
Figure BDA0003494962920000141
用于具有比例等于1/8的色度块的帧内模式映射和具有宽度与高度比为1/4的色度块相似，当用于具有宽度与高度比为1/8的色度块的预测方向是指向左下方角落时，依据传统的色度模式映射方法，该映射后帧内预测模式54和用于指向右上方角落的预测方向的映射后帧内预测模式是相同的。在表格5中所示修正后4：2：2模式映射表格也解决了用于具有宽度与高度比为1/8的色度块的此一缺点。图9A绘示出以4：2：2颜色格式所编解码且具有宽度与高度比等于1/4的亮度块的例子；以及图9B与图9C绘示出具有宽度与高度比等于1/8的相对应色度块。例如，在图9B或图9C中的色度块的尺寸大小是8x64或4x32个样本。图9B所示用于色度块的映射后帧内模式，是依据定义于VTM6.0的表格4从4：2：2色度模式映射所推导出的。在图9B中，用于色度块在左下方角落以及在右上方角落的映射后帧内模式二者都是54。图9C所示用于色度块的映射后帧内模式，是依据本发明的一实施例从修正后4：2：2色度帧内模式映射所推导出的。在图9C中，当预测方向是指向左下方角落时，用于色度块的映射后帧内模式是55，其与用于此色度块的所有其他可能的映射后帧内模式相比都是有区别的相异模式(distinct mode)。当该预测方向是指向左下方角落时，在宽角度模式转换之后，推导用于该色度块的帧内预测子的最后帧内模式为-12。对具有宽度与高度比为1：8的色度块，将藉由WAIP模式映射所取代的映射后帧内模式为模式55至66。在用于帧内预测子产生的WAIP模式映射之后，该映射后帧内模式55至66被转换为模式-12至-1。图9C所示的实施例，用于比例为1/8的色度块在左下方角落、正左方、左上方角落、正上方、与右上方角落的映射后帧内模式分别为模式55、18、46、50、与54。这些映射后帧内模式中，在用于帧内预测子产生的WAIP模式映射之后，只有在左下方角落的映射后帧内模式被模式-2加以取代，其余映射后模式在WAIP模式映射之后还是维持不改变。
用于具有其他比例的色度块的帧内模式映射本发明的一些实施例也考虑用于色度块的其他宽度与高度比例的帧内模式映射。在一例子中，图10A绘示具有宽度与高度比为1：16的色度块。该色度块的示例性的尺寸大小是64x4个样本。如图10A所示，对具有宽度与高度比为1：16的色度块，在左下方角落、正左方、左上方角落、正上方、与右上方角落的该映射后帧内模式分别为模式53、18、48、50、与52。当该宽度与高度比为1：16时，由WAIP模式映射所取代的映射后帧内模式为模式53至66，而且这些映射后帧内模式被模式-14到-1分别加以取代。在用于帧内预测子产生的WAIP模式映射之后，在左下方角落的映射后帧内模式被模式-14加以取代。既然在正左方、左上方角落、正上方、与右上方角落的其余映射后帧内模式不是宽角度模式，这些模式不被WAIP模式映射改变。
图10B绘示具有宽度与高度比为2：1的色度块，例如，该色度块的块尺寸大小是128x64、64x32、32x16、16x8、或8x4个样本。在4：2：2颜色格式中相对应亮度块的宽度与高度比为4：1，例如，该色度块的块尺寸大小是128x32、64x16、32x8、或16x4个样本。在图10B所示的实施例中，用于该色度块在左下方角落、正左方、左上方角落、正上方、与右上方角落的映射后帧内模式分别为模式8、18、38、50、与7。当该宽度与高度比为2：1时，由WAIP模式映射所取代的映射后帧内模式为模式2至7，而且这些映射后帧内模式被模式67至72加以取代。在图10B所示的这些映射后帧内模式中，只有在右上方角落者属于宽角度模式，因此在用于帧内预测子产生的WAIP模式映射之后，在右上方角落的映射后帧内模式被模式72加以取代。
图10C绘示具有宽度与高度比为4：1的色度块，例如，该色度块的块尺寸大小是128x32、64x16、32x8、或16x4个样本。在4：2：2颜色格式中相对应亮度块的宽度与高度比为8：1。在图10C所示的实施例中，用于该色度块在左下方角落、正左方、左上方角落、正上方、与右上方角落的映射后帧内模式分别为模式12、18、24、50、与11。当该宽度与高度比为4：1时，由WAIP模式映射所转换的映射后帧内模式为模式2至11，而且这些映射后帧内模式被模式67至76加以取代。在用于帧内预测子产生的WAIP模式映射之后，在右上方角落的映射后帧内模式被模式76加以取代。
类似于图10B与10C，图10D与10E绘示具有宽度与高度比分别为8：1与16：1的色度块。例如，图10D中色度块的块尺寸大小是64x8或32x4个样本，而图10E中色度块的块尺寸大小是64x4个样本。在图10D所示的实施例中，用于该色度块在左下方角落、正左方、左上方角落、正上方、与右上方角落的映射后帧内模式为模式14、18、22、50、与13。当该宽度与高度比为8：1时，由WAIP模式映射所转换的该映射后帧内模式为模式2至13。在用于帧内预测子产生的WAIP模式映射之后，在右上方角落的映射后帧内模式被模式78加以取代。在图10E所示的实施例中，用于该色度块在左下方角落、正左方、左上方角落、正上方、与右上方角落的映射后帧内模式为模式16、18、20、50、与15。当该宽度与高度比为16：1时，由WAIP模式映射所转换的映射后帧内模式为模式2至15。在用于帧内预测子产生的WAIP模式映射之后，在右上方角落的映射后帧内模式被模式80加以取代。
代表性的示例流程图图11为依据本发明的实施例绘示视频处理方法的流程图，以用来处理藉由直接模式(DM)所编解码或将被编解码的当前色度块。在步骤S1102，视频编码器或解码器接收以4：2：2颜色格式所编解码的当前图片中的当前色度块的输入数据。在步骤S1104，并位亮度块的亮度模式被决定以用于该当前色度块中。在步骤S1106，视频编码器或解码器将该亮度模式映射至用于该当前色度块的映射后帧内模式。在本发明的各种实施例中，对任何宽度与高度比，在左下方角落的映射后帧内模式与在左上方角落的一映射后帧内模式总是有区别的相异模式(distinct mode)。在一特定的实施例中，当该亮度模式是模式61时，该映射后帧内模式是模式57。例如，对当前色度块具有1：4的宽度与高度比时，模式61的亮度模式相对应于指向左下方角落的预测方向，而且在左下方角落的映射后帧内模式为模式57，其与用在左上方角落的映射后帧内模式56是不相同的。在另一例子中，对当前色度块具有1：8的宽度与高度比时，模式57的亮度模式相对应于指向左下方角落的预测方向，而且在左下方角落的映射后帧内模式为模式55，其与用在左上方角落的映射后帧内模式54是不相同的。在步骤S1108，视频编码器或解码器基于该当前色度块的宽度与高度比，来检查是否将该映射后帧内模式以WAIP模式映射加以取代。在步骤S1110，如果在步骤S1108的答案为是，将该映射后帧内模式以WAIP模式映射加以取代。例如，当该当前色度块的宽度与高度比为1：4时，模式57的映射后帧内模式被模式-10加以取代；或是当该当前色度块的宽度与高度比为1：8时，模式55的映射后帧内模式被模式-12加以取代。在步骤S1112，在步骤S1110的WAIP模式映射之后，被取代的映射后帧内模式被用来推导用于该当前色度块的帧内预测子。如果在步骤S1108的答案为否，该映射后帧内模式被直接用来推导用于该当前色度块的帧内预测子。在步骤S1114，视频编码器或解码器依据步骤S1112所推导的帧内预测子，来编码或解码该当前色度块。
对用于亮度与色度的帧内模式的相对方向保持相似当直接模式DM被选择来编解码该等色度分量时，本发明的一些其他实施例对用于亮度与色度分量的帧内预测模式的相对方向保持相似。例如，对并位亮度编解码块(Coding Block，CB)，当帧内预测模式(当宽度与高度比等于2时为模式8)的方向是从左下方角落时，使用方向是从左下方角落的帧内预测模式来用于色度CB是更好的。在此例子中，当宽度与高度比等于1/2时，用于色度CB的帧内预测模式是模式-6。与传统的DM编解码比较，当DM被选择时，并位亮度CB的帧内预测模式被直接指定为用于色度CB的帧内预测模式。色度块的帧内预测模式藉由WAIP模式映射依据该色度CB的宽度与高度来加以改变。在WAIP模式映射之后，帧内预测模式被使用来进行帧内预测。本发明的实施例应用帧内模式映射来使得用于亮度与色度分量的帧内预测模式的相对方向为相似。
在一实施例中，帧内模式映射被应用在至少下列情况之一。在一情况，色度分开树(Chroma Separate Tree，CST)被使用而且色度DM被选择，如果亮度与色度块的宽度与高度比是不同的时候，用于亮度与色度分量的相对方向是不同的。当色度分开树被使用时，色度CB与亮度CB是在不同分割树。在另一情况，如果参考相邻块与当前块的宽度与高度比是不同的时候，用于产生MPM列表的参考块与当前块的相对方向是不同的。
在先前的实施例中，帧内模式映射被应用在WAIP模式映射之前；然而，在一些其他的实施例中，帧内模式映射被应用在WAIP模式映射之后。
在帧内模式映射的一些实施例中，当并位或参考块的宽度与高度比大于当前块的宽度与高度比时，用于当前块的帧内预测模式是接近于垂直方向。在一实施例中，变量DiffLogRatio被定义为abs(log2(ratioWH1))-abs(log2(ratioWH2))，其中ratioWH1是并位或参考块的宽度与高度比，而且ratioWH2是当前块的宽度与高度比。在此实施例中，表格3被直接递回式地查表，而且每次在使用表格3后，DiffLogRatio就减少一。当至少下列情况之一满足时，该递回式查表操作被停止。当在查表前的模式与在查表后的模式相同时，情况一满足。当DiffLogRatio等于零时，情况二满足。
在另一实施例中，具有宽度与高度比为1：2的色度块是以直接模式DM加以编解码，而且并位亮度块的亮度帧内模式是模式34。该亮度帧内模式的预测方向是指向左上方角落。依据此一实施例，模式40被用于色度块，而不直接使用模式34于此色度块。
在另一实施例中，当一并位或参考块的宽度与高度比小于当前块的宽度与高度比时，帧内模式映射被应用来使得当前块的帧内预测模式是接近于水平方向。变量DiffLogRatio被定义为abs(log2(ratioWH1))-abs(log2(ratioWH2))，其中ratioWH1是并位或参考块的宽度与高度比，而且ratioWH2是当前块的宽度与高度比。此实施例直接递回式地对表格3查表，而且每次对表格3查表后，DiffLogRatio就减少一。当至少下列情况之一满足时，该递回式查表操作被停止。当在查表前的模式与在查表后的模式相同时，第一情况满足。当此变量DiffLogRatio等于零时，第二情况满足。原本的帧内预测模式与在帧内模式映射之后的帧内预测模式之间的差值(diffPredMode)被取得。可以用原本的帧内预测模式与diffPredMode作为输入来改变该帧内预测模式。如果原本的帧内预测模式的模式数值小于垂直方向的模式数值，该帧内预测模式被设定为原本的帧内预测–diffPredMode；否则如果原本的帧内预测模式的模式数值大于垂直方向的模式数值，该帧内预测模式被设定为原本的帧内预测模式+diffPredMode。
在另一实施例中，在帧内模式映射之后，帧内预测模式被限制于一范围的方向性模式。例如，此范围的方向性模式在总共35个帧内预测模式时是[2,33]；在总共67个帧内预测模式时是[2,65]。在又另一实施例中，当前块的帧内预测模式被限制在用于该当前块的范围的宽角度模式。在另一实施例中，帧内模式映射只被用于角度模式，而且不被用于非-角度模式，例如平面(Planar)与直流(DC)模式。
在一些实施例中，一检查是必需的以确保在帧内模式映射之后的帧内预测模式与任何预设的色度模式都不相等。例如，该预设的色度模式包括线性模型(Linear Model，LM)家族模式(例如跨部件线性模型(Cross-Component Linear Model，CCLM)、CCLM_LEFT、与CCLM_TOP、水平模式、垂直模式、与对角线模式)之一或其中一组合。如果该帧内预测模式等于该预设的色度模式之一，相邻帧内预测模式(例如帧内预测模式+1或帧内预测模式–1)则会被使用。在先前实施例中CB的单元可以被TB的单元加以取代。
代表性的方块图图12绘示出了实施本发明的一或多种视频处理方法的视频编码器1200的示例性系统方块图。当前色度块将藉由相邻重构后样本依据直接模式(DM)来加以编码。该当前色度块是位于以4：2：2颜色格式所编解码的当前图片之中。帧内预测模组1210决定该当前色度块的并位亮度块的亮度模式。依据映射表(例如表格5所示的映射表)，该亮度模式会被映射至映射后帧内模式。依据本发明的实施例，当该亮度模式是模式61时，该映射后帧内模式是模式57，而且当该亮度模式是模式57时，该映射后帧内模式是模式55。基于该当前色度块的宽度与高度比，帧内预测模组1210选择性地将该映射后帧内模式以WAIP模式映射加以取代。在WAIP模式映射之后，帧内预测模组1210依据该映射后帧内模式从当前色度块的参考样本来产生帧内预测子。帧间预测模组1212会基于来自其他一或多个图片的视频数据，来对将藉由帧间预测所编解码的块进行运动估计(Motion Estimation，ME)和运动补偿(Motion Compensation，MC)以提供帧间预测子。帧内预测模组1210或帧间预测模组1212中之一将所选择的预测子提供给加法模组1216以形成预测误差，也称为预测残差。既然当前色度块是藉由帧内预测来加以编码，帧内预测模组1210将用于当前色度块的帧内预测子传送给加法模组1216以产生用于当前色度块的预测残差。
当前色度块的预测残差藉由转换模组(T)1218进一步处理，接着是藉由量化模组(Q)1220处理。然后该已转换与已量化的残差信号藉由熵编码器1234加以编码以形成已编码的视频比特流。然后该已编码的视频比特流与边信息(side information)一起打包。该当前色度块已转换与已量化的残差信号藉由逆量化模组(IQ)1222和逆转换模组(IT)1224加以处理，来还原出预测残差。如图12所示，预测残差是藉由在重构模组(REC)1226处加回到所选择的预测子中来还原，以产生已重构的样本。已重构的样本可以储存在参考图片缓冲器(Ref.Pict.Buffer)1232中，并用于预测其它图片。来自REC 1226的已重构的样本可能由于编码处理而受到各种损害，因此，在储存于参考图片缓冲器1232之前，内环路处理去块滤波器(in-loop processing Deblocking Filter，DF)1228和内环路滤波器(in-loopFilter)1230可被应用于已重构的样本，以进一步提高图片品质。与用于内环路处理去块滤波器DF 1228和内环路滤波器1230的信息相关联的语法则被提供给熵编码器1234，以合并到已编码的视频比特流中。
对于图12的视频编码器1200的相对应视频解码器1300如图13所示。已编码的视频比特流是视频解码器1300的输入，并藉由熵解码器1310解码以剖析和还原已变换后和已量化后的残差讯号和其他系统信息。除了解码器1300仅需要帧间预测模组1314中的运动补偿预测之外，解码器1300的解码流程类似于编码器1200处的重构环路。每一块是藉由帧内预测模组1312或帧间预测模组1314来加以解码。依据已解码的模式信息，开关模组1316自帧内预测模组1312选择帧内预测子或自帧间预测模组1314选择帧间预测子。帧内预测模组1312解码并位块的亮度模式来用于以直接模式DM所编解码的当前色度块。依据本发明的各种实施例，亮度模式被映射到映射后帧内模式，其中用于指向左下方角落的预测方向的映射后帧内模式，是和用于指向左上方角落的预测方向的映射后帧内模式为有区别的相异模式(distinct mode)。例如，当用于宽度与高度比为1：4的当前色度块的亮度模式是模式61时，该映射后帧内模式是模式57，而且当用于宽度与高度比为1：8的当前色度块的亮度模式是模式57时，该映射后帧内模式是模式55。基于该当前色度块的宽度与高度比，该映射后帧内模式被选择性地以WAIP模式映射加以取代。在该WAIP模式映射之后，帧内预测模组1312依据该映射后帧内模式从该当前色度块的参考样本来推导用于该当前色度块的帧内预测子。与每一块相关联的已变换后和已量化后的残差讯号是藉由逆量化(InverseQuantization,IQ)模组1320和逆转换(Inverse Transformation，IT)模组1322来加以还原。藉由在重构REC模组1318中加回预测子来重构已还原的已变换后和已量化后的残差信号，来产生已重构的样本。已重构的样本由去块滤波器DF 1324、内环路滤波器1326进一步处理以产生最终已解码的视频。如果当前已解码的图片是参考图片，则当前已解码图片的已重构样本也依据解码顺序储存在参考图片缓冲器1328中，以用于后续图片。
图12和图13中的视频编码器1200和视频解码器1300的各种组件可以由硬件组件，一个或复数个处理器被配置为执行存储在存储器中的程序指令，或硬件和处理器的组合来实现。例如，处理器执行程序指令以控制将亮度模式映射到映射后帧内模式来用于以直接模式DM所编解码或将被编解码的每一色度块。处理器配备有单个或复数个处理核心。在一些示例中，处理器执行程序指令以在编码器1200和解码器1300中的一些组件中执行功能，并且与处理器电耦合的存储器用于存储程序指令，对应于块的已重构影像的信息和/或编码或解码过程中的中间数据。在一些实施例中的存储器包括非暂时性计算机可读介质，诸如半导体或固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、硬盘、光盘或其他合适的存储介质。存储器还可以是上面列出的两个或更复数个非暂时性计算机可读介质的组合。如图12和图13所示，编码器1200和解码器1300可以在相同的电子设备中实现，因此如果在相同的电子设备中实现，则编码器1200和解码器1300的各种功能组件可以被共用或重用。例如，图12中的重构模组1226、逆转换模组1224、逆量化模组1222、去块滤波器1228、内环路滤波器1230、和参考图片缓冲器1232中的一个或复数个，也分别可以用作图13中的重构模组1318、逆转换模组1322、逆量化模组1320、去块滤波器1324、内环路滤波器1326、和参考图片缓冲器1328。
于一视频编解码系统进行处理方法的实施例，可以在集成于视频压缩芯片的电路来实施，或集成于视频压缩软件中执行以上描述的处理的程序代码来实施。例如，对每一帧内编解码块在多个参考样本滤波器之中选择一个滤波器，可以实现于一计算机处理器上执行的程序代码、数字讯号处理器(DSP)、微处理器或现场可编程门阵列(fieldprogrammable gate array，FPGA)上。可以透过执行定义本发明所体现的特定方法的机器可读软件代码或固件代码，来将这些处理器配置成执行依据本发明的特定任务。
在不脱离本发明的精神或基本特征的情况下，本发明可以以其他具体形式实施。所描述的例子仅在所有方面被认为是说明性的而不是限制性的。因此，本发明的范围由所附权利要求书而不是前面的描述来指示。属于权利要求的等同物的含义和范围内的所有变化将被包括在其范围内。

Claims (19)

1.一种在视频编解码系统中的视频处理方法，包括：
接收与以4：2：2颜色格式所编解码的当前图片中的当前色度块相关的输入视频数据；
决定相对应于该当前色度块的亮度块的亮度模式；
将该亮度模式映射至用于该当前色度块的映射后帧内模式，其中当该亮度模式是模式61时，该映射后帧内模式是模式57，而且当该亮度模式是模式57时，该映射后帧内模式是模式55；
基于该当前色度块的宽度与高度比，选择性地将该映射后帧内模式以宽角度帧内预测模式映射加以取代；
在该宽角度帧内预测模式映射之后，依据该映射后帧内模式来推导用于该当前色度块的帧内预测子；以及
依据该帧内预测子来编码或解码该当前色度块。
2.根据权利要求1所述的在视频编解码系统中的视频处理方法，其中当该当前色度块的该宽度与高度比为1：4时，模式57的该映射后帧内模式相对应于指向左下方角落的预测方向。
3.根据权利要求2所述的在视频编解码系统中的视频处理方法，其中在该宽角度帧内预测模式映射之后，模式57的该映射后帧内模式被模式-10加以取代。
4.根据权利要求1所述的在视频编解码系统中的视频处理方法，其中当该当前色度块的该宽度与高度比为1：8时，模式55的该映射后帧内模式相对应于指向左下方角落的预测方向。
5.根据权利要求4所述的在视频编解码系统中的视频处理方法，其中在该宽角度帧内预测模式映射之后，模式55的该映射后帧内模式被模式-12加以取代。
6.根据权利要求1所述的在视频编解码系统中的视频处理方法，其中该当前色度块是以直接模式加以编解码或将被编解码，而且该亮度块是该当前色度块的并位块。
7.根据权利要求1所述的在视频编解码系统中的视频处理方法，其中当该宽度与高度比为1：4时，用于该当前色度块在左下方角落、正左方、左上方角落、正上方、与右上方角落的该映射后帧内模式为57、18、44、50、与56。
8.根据权利要求1所述的在视频编解码系统中的视频处理方法，其中当该宽度与高度比为1：8时，用于该当前色度块在左下方角落、正左方、左上方角落、正上方、与右上方角落的该映射后帧内模式为55、18、46、50、与54。
9.根据权利要求1所述的在视频编解码系统中的视频处理方法，其中当该宽度与高度比为1：16时，用于该当前色度块在左下方角落、正左方、左上方角落、正上方、与右上方角落的该映射后帧内模式为53、18、48、50、与52。
10.根据权利要求1所述的在视频编解码系统中的视频处理方法，其中当该宽度与高度比为2：1时，用于该当前色度块在左下方角落、正左方、左上方角落、正上方、与右上方角落的该映射后帧内模式为8、18、38、50、与7。
11.根据权利要求1所述的在视频编解码系统中的视频处理方法，其中当该宽度与高度比为4：1时，用于该当前色度块在左下方角落、正左方、左上方角落、正上方、与右上方角落的该映射后帧内模式为12、18、24、50、与11。
12.根据权利要求1所述的在视频编解码系统中的视频处理方法，其中当该宽度与高度比为8：1时，用于该当前色度块在左下方角落、正左方、左上方角落、正上方、与右上方角落的该映射后帧内模式为14、18、22、50、与13。
13.根据权利要求1所述的在视频编解码系统中的视频处理方法，其中当该宽度与高度比为16：1时，用于该当前色度块在左下方角落、正左方、左上方角落、正上方、与右上方角落的该映射后帧内模式为16、18、20、50、与15。
14.根据权利要求1所述的在视频编解码系统中的视频处理方法，其中当该当前色度块的该宽度与高度比为1：2时，由宽角度帧内预测模式映射所取代的该映射后帧内模式为模式61至66；当该当前色度块的该宽度与高度比为1：4时，由宽角度帧内预测模式映射所取代的该映射后帧内模式为模式57至66；当该当前色度块的该宽度与高度比为1：8时，由宽角度帧内预测模式映射所取代的该映射后帧内模式为模式55至66；以及当该当前色度块的该宽度与高度比为1：16时，由宽角度帧内预测模式映射所取代的该映射后帧内模式为模式53至66。
15.根据权利要求1所述的在视频编解码系统中的视频处理方法，其中当该当前色度块的该宽度与高度比为2：1时，由宽角度帧内预测模式映射所取代的该映射后帧内模式为模式2至7；当该当前色度块的该宽度与高度比为4：1时，由宽角度帧内预测模式映射所取代的该映射后帧内模式为模式2至11；当该当前色度块的该宽度与高度比为8：1时，由宽角度帧内预测模式映射所取代的该映射后帧内模式为模式2至13；以及当该当前色度块的该宽度与高度比为16：1时，由宽角度帧内预测模式映射所取代的该映射后帧内模式为模式2至15。
16.根据权利要求1所述的在视频编解码系统中的视频处理方法，其中将该亮度模式映射至用于该当前色度块的映射后帧内模式的步骤是藉由对照映射表来进行，其中该映射表是使用在以直接模式加以编解码或将被编解码具有不同宽度与高度比的所有色度块。
17.根据权利要求16所述的在视频编解码系统中的视频处理方法，其中藉由对照该映射表，模式61或模式62的该亮度模式被映射至模式57，模式57或模式58的该亮度模式被映射至模式55，而且模式2至7的该亮度模式被映射至模式61至66。
18.一个在视频编解码系统中处理视频数据的装置，该装置包括一或多个电子电路配置用来：
接收以4：2：2颜色格式所编解码的当前图片中的当前色度块相关的输入视频数据；
决定相对应于该当前色度块的亮度块的亮度模式；
将该亮度模式映射至用于该当前色度块的映射后帧内模式，其中当该亮度模式是模式61时，该映射后帧内模式是模式57，而且当该亮度模式是模式57时，该映射后帧内模式是模式55；
基于该当前色度块的宽度与高度比，选择性地将该映射后帧内模式以宽角度帧内预测模式映射加以取代；
在该宽角度帧内预测模式映射之后，依据该映射后帧内模式来推导用于该当前色度块的帧内预测子；以及
依据该帧内预测子来编码或解码该当前色度块。
19.一种用来储存程序指令的非暂时性电脑可读取媒介，该程序指令使得装置的处理电路进行视频处理的方法，而该方法包括：
接收以4：2：2颜色格式所编解码的当前图片中的当前色度块相关的输入视频数据；
决定相对应于该当前色度块的亮度块的亮度模式；
将该亮度模式映射至用于该当前色度块的映射后帧内模式，其中当该亮度模式是模式61时，该映射后帧内模式是模式57，而且当该亮度模式是模式57时，该映射后帧内模式是模式55；
基于该当前色度块的宽度与高度比，选择性地将该映射后帧内模式以宽角度帧内预测模式映射加以取代；
在该宽角度帧内预测模式映射之后，依据该映射后帧内模式来推导用于该当前色度块的帧内预测子；以及
依据该帧内预测子来编码或解码该当前色度块。
CN202080055398.2A 2019-08-06 2020-08-03 具有帧内预测模式映射的视频数据的编码或解码方法和装置 Pending CN114208167A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962883149P 2019-08-06 2019-08-06
US62/883,149 2019-08-06
PCT/CN2020/106616 WO2021023158A1 (en) 2019-08-06 2020-08-03 Method and apparatus of encoding or decoding video data with intra prediction mode mapping

Publications (1)

Publication Number Publication Date
CN114208167A true CN114208167A (zh) 2022-03-18

Family

ID=74503830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080055398.2A Pending CN114208167A (zh) 2019-08-06 2020-08-03 具有帧内预测模式映射的视频数据的编码或解码方法和装置

Country Status (6)

Country Link
US (1) US11477444B2 (zh)
EP (1) EP4000261A4 (zh)
KR (1) KR20220032634A (zh)
CN (1) CN114208167A (zh)
TW (1) TWI737429B (zh)
WO (1) WO2021023158A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115733973A (zh) * 2016-12-23 2023-03-03 华为技术有限公司 一种用于矩形视频编码块的编码方法、装置及计算机可读存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012092761A1 (en) * 2011-01-07 2012-07-12 Mediatek Singapore Pte. Ltd. Method and apparatus for improved intra prediction mode coding
US9544612B2 (en) 2012-10-04 2017-01-10 Intel Corporation Prediction parameter inheritance for 3D video coding
US20140286412A1 (en) 2013-03-25 2014-09-25 Qualcomm Incorporated Intra dc prediction for lossless coding in video coding
WO2018024489A1 (en) * 2016-08-02 2018-02-08 Philips Lighting Holding B.V. Reliable reporting in wireless mesh network
EP3516869B1 (en) 2016-10-04 2022-06-08 HFI Innovation Inc. Method and apparatus for intra chroma coding in image and video coding
FI20175006A1 (en) * 2017-01-03 2019-02-15 Nokia Technologies Oy Video and image coding using wide-angle intra-prediction
CN110278435B (zh) 2018-03-16 2021-11-19 华为技术有限公司 一种图像块的帧内预测方法及装置
US10284860B1 (en) 2018-07-02 2019-05-07 Tencent America LLC Method and apparatus for video coding
CN110933440B (zh) * 2018-09-19 2023-08-29 北京字节跳动网络技术有限公司 用于视频处理的方法、装置和非暂时性计算机可读介质
CN117793381A (zh) * 2019-02-01 2024-03-29 Lg电子株式会社 解码设备、编码设备和发送设备
CN113574877A (zh) * 2019-03-12 2021-10-29 现代自动车株式会社 用于有效地对残差块编码的方法和装置
JP7030246B2 (ja) * 2019-06-25 2022-03-04 日本放送協会 イントラ予測装置、画像復号装置、及びプログラム
EP3987806A4 (en) * 2019-07-20 2022-08-31 Beijing Bytedance Network Technology Co., Ltd. CONDITIONAL CODING OF PALETTE MODE USE INDICATION
CN117896519A (zh) * 2019-08-01 2024-04-16 华为技术有限公司 编码器、解码器及色度帧内模式推导的对应方法

Also Published As

Publication number Publication date
WO2021023158A1 (en) 2021-02-11
TWI737429B (zh) 2021-08-21
EP4000261A1 (en) 2022-05-25
US11477444B2 (en) 2022-10-18
US20220279173A1 (en) 2022-09-01
KR20220032634A (ko) 2022-03-15
EP4000261A4 (en) 2023-05-24
TW202123698A (zh) 2021-06-16

Similar Documents

Publication Publication Date Title
US11729388B2 (en) Method of removing deblocking artifacts
US11729376B2 (en) Method for encoding/decoding video signal and apparatus therefor
US9432689B2 (en) Method of decoding moving picture
US9503758B2 (en) Method of applying edge offset
EP3471412B1 (en) Intra-prediction method for video decoding and video encoding
KR20230165189A (ko) 영상 신호 부호화/복호화 방법 및 이를 위한 장치
KR20170020539A (ko) 휘도 샘플을 이용한 색차 블록의 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
CN111201791B (zh) 用于视频编码的帧间预测装置和方法的插值滤波器
KR102517389B1 (ko) 인트라 서브-파티션 코드 모드를 이용한 비디오 코딩
CN113796086B (zh) 编码或解码视频数据的方法和装置
US20230164315A1 (en) Image signal encoding/decoding method and apparatus therefor
CN112585964A (zh) 图像和视频处理中产生mpm以进行帧内预测的方法和装置
WO2021023158A1 (en) Method and apparatus of encoding or decoding video data with intra prediction mode mapping
CN110730349A (zh) 用于微块的约束
WO2020259630A1 (en) Method and apparatus of matrix based intra prediction in image and video processing
CN115315944A (zh) 视频编解码中的隐式多变换集信令通知
CN112806006A (zh) 使用由预定义准则确定的参考样本以编解码的方法和设备
KR20200081328A (ko) 영상 부/복호화 방법 및 장치
US20240187623A1 (en) Video Coding Using Intra Sub-Partition Coding Mode
CN111758258B (zh) 用于视频编码的帧间预测装置和方法
KR102410326B1 (ko) 영상 부호화/복호화 방법 및 장치
KR20210111602A (ko) 비디오 신호 처리 방법 및 장치
KR20210120243A (ko) 비디오 신호 처리 방법 및 장치
KR20210121528A (ko) 비디오 신호 처리 방법 및 장치
KR20210113914A (ko) 비디오 신호 처리 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination