CN109479128B - 视频编解码的方法与装置 - Google Patents

视频编解码的方法与装置 Download PDF

Info

Publication number
CN109479128B
CN109479128B CN201780042718.9A CN201780042718A CN109479128B CN 109479128 B CN109479128 B CN 109479128B CN 201780042718 A CN201780042718 A CN 201780042718A CN 109479128 B CN109479128 B CN 109479128B
Authority
CN
China
Prior art keywords
block
intra
unit cells
prediction mode
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780042718.9A
Other languages
English (en)
Other versions
CN109479128A (zh
Inventor
夜静
刘杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN109479128A publication Critical patent/CN109479128A/zh
Application granted granted Critical
Publication of CN109479128B publication Critical patent/CN109479128B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开一种视频编解码的方法。所述方法包括接收与图像帧的第一块与第二块相关的输入数据，第一块与第二块对应于不同的色彩空间分量。所述方法进一步包括识别第一块中的参考区域，识别参考区域中的多个单位单元中的至少两个参考单位单元，分别识别用于处理所识别的参考单位单元的帧内预测模式，基于所识别的帧内预测模式决定用于处理第二块中的子块的帧内预测模式，并且基于所确定的帧内预测模式来生成子块的帧内预测子。参考区域和子块对应于图像帧中的相同区域。所述方法还包括基于子块的帧内预测对子块进行编码或解码。

Description

视频编解码的方法与装置
相关引用
本发明要求于2016年8月5日提交，号码为62/371,251的名为“Methods for QTBTintra chroma coding and intra inter-mode in image and video compression”的美国临时专利申请案以及于2017年6月25日提交的，号码为15/658,854的名为“Method andApparatus of Video Coding”美国专利申请案的优先权，其整体通过参考纳入其中。
技术领域
本发明涉及视频编解码中的帧内预测进程，更具体地，本发明涉及不同色彩分量的帧内预测进程。
背景技术
这里提供的背景描述是为了从总体上呈现本公开的背景。目前提及的发明人的工作，在本背景部分中描述的工作范围以及在提交时可能不作为现有技术的描述的方面，既不明确也不暗示地承认其为本公开的现有技术。
许多视频编码标准将输入视频的一个图像帧划分成一个或多个编码树单元(coding tree unit，CTU)，并且每个CTU包括对应于预定色彩空间的不同色彩空间分量的编码树结构。在一些应用中，预定色彩空间可以包括具有红色分量(R)，绿色分量(G)和蓝色分量(B)的RGB色彩空间；具有亮度分量(Y)，蓝色色差色度分量(Cb)和红色色差色度分量(Cr)的YCbCr色彩空间；具有亮度分量(Y)，橙色色度分量(Co)和绿色色度分量(Cg)的YCoCg色彩空间，或其他类似分量。
此外，每一个CTU会被分割成一个或者多个编码块，每一个编码块都是由预测部分和残差分量组成。在一些应用中，预测部分包括一个或多个预测块，并且可以通过基于从多个预定的预测模式中选择的预测模式推断邻近于预测块的相邻像素生成预测块的预测子。这样的预测方法可以减少编码的视频数据中的空间冗余以及称为帧内预测。
发明内容
本发明的目的是提供一种视频编解码方法。所述方法包括接收与图像帧的第一块和第二块相关的输入数据，第一块对应于第一色彩空间分量，第二块对应于第二色彩空间分量。所述方法还进一步包括了识别第一块中的参考区域，识别参考区域中的多个单位单元中的至少两个参考单位单元，分别识别用于处理所识别的参考单位单元的帧内预测模式，基于所识别的帧内预测模式确定用于处理第二块中的子块的帧内预测模式，并且基于所确定的帧内预测模式来生成第二块中的子块的帧内预测子。第二块中的参考区域和子块对应于图像帧中的相同区域，且参考区域被划分为多个参考单位单元。所述方法还进一步包括基于第二块中的子块的帧内预测子对第二块中的子块进行编码或解码以用于输出。
在一个实施例中，第一色彩空间是亮度分量，第二色彩空间分量是色度分量。
在一个实施例中，决定帧内预测模式可以包括：将所识别的帧内预测模式当中的使用最频繁的帧内预测模式设置为用于处理第二块中的子块的帧内预测模式。
在一个实施例中，决定帧内预测模式可以包括识别所识别的帧内预测模式中的多个使用最频繁的帧内预测模式，并且基于预定顺序选择多个使用最频繁的帧内预测模式中的一个作为用于处理第二块中的子块的帧内预测模式。
至少两个参考单位单元可以在参考区域的中心处或与所述参考区域的中心相邻。至少两个参考单位单元可以包括在参考区域的中心聚集的预定数量的参考单位单元。所述至少两个参考单元可以分别与参考区域的不同角落相邻。所述至少两个参考单位单元可以包括多组分别关于聚集在参考区域的不同角落的参考单位单元。
在一个实施例中，所述至少两个参考单位单元可以在多个单位单元的至少一个预定行中或者在多个单位单元的至少一个预定列中。
此外，在一个实施例中，每个单位单元具有与预定最小编码单位的尺寸相等的尺寸。
本发明可进一步提供一种处理电路，所述处理电路被配置用于接收与图像帧的第一块及第二块相关的输入数据，第一块对应于第一色彩空间分量，第二块对应于第二色彩空间分量。处理电路可以被进一步被配置，为了识别第一块中的参考区域，识别参考区域中的多个单位单元中的至少两个参考单位单元，分别识别用于处理识别的参考单位单元的各个帧内预测模式，基于所识别的帧内预测模式确定一个帧内预测模式来处理第二块中的子块，并且基于所确定的帧内预测模式生成第二块中的子块的帧内预测子。第二块中的参考区域和子块对应于图像帧中的相同区域，并且参考区域被划分成多个单位单元。所述处理电路可以进一步被配置，为了基于第二块中的子块的帧内预测子对第二块中的子块进行编码或解码以用于输出。
本发明进一步提供一种存储用于使装置的处理电路执行视频编解码方法的程序指令的非暂态计算机可读介质。所述方法包括接收与图像帧的第一块和第二块相关的输入数据，第一块对应于第一色彩空间分量，第二块对应于第二色彩空间分量。所述方法还包括：识别第一块中的参考区域，识别参考区域中的多个单位单元中的至少两个参考单位单元，识别用于处理识别的各个参考单位单元的帧内预测模式，基于所识别的帧内预测模式决定一个帧内预测模式来处理第二块中的子块，并且基于所决定的帧内预测模式生成第二块中的子块的内部预测。第二块中的参考区域和子块对应于图像帧中的相同区域，并且参考区域被划分成多个单位单元。所述方法还包括基于第二块中的子块的帧内预测子对第二块中的子块进行编码或解码以用于输出。
本发明进一步提供了一种视频编解码方法。所述方法包括接收与图像帧的第一块和第二块相关的输入数据，第一块对应于第一色彩空间分量，第二块对应于第二色彩空间分量。所述方法进一步包括：识别第一块中的参考区域；将参考区域中在预定方向上最靠近参考区域的中心的单位单元标识为参考单位单元；识别用于处理所识别的内部参考单位单元的帧内预测模式，基于所识别的帧内预测模式来决定用于处理所述第二块中的子块的帧内预测模式；以及基于所决定的帧内预测模式生成第二块中的子块的帧内预测子。第二块中的参考区域和子块对应于图像帧中的相同区域，并且参考区域被划分为一个或多个单位单元。所述方法可以进一步包括基于第二块中的子块的帧内预测子对第二块中的子块进行编码或解码以用于输出。
附图说明
将参考后续图式详细描述以示例提出的本公开的各种实施例，其中相同的参考索引指相同的元件，以及其中：
图1示出了根据本发明示例性实施例的编码树单元(CTU)以及对应编码树结构。
图2A-2C示出了根据本发明示例性实施例的基于识别第一块中参考区域中的一个或多个参考单位单元确定推导的帧内预测模式用于处理第二块的子块。
图3示出了根据本发明实施例的视频编解码系统中的示例性功能框图。
图4示出了根据本发明实施例的图3中的视频编解码系统中示例性解码电路的功框图。
图5示出了根据本发明实施例的图3中的视频编解码系统中示例性编码电路的功能框图。
图6A示出了根据本发明实施例的示例性视频解码进程的流程图，包括参考图2A示出的确定推导的帧内预测模式。
图6B示出了根据本发明实施例的另一个示例性视频解码进程的流程图，包括参考图2B示出的确定推导的帧内预测模式。
图7A示出了根据本发明实施例的示例性视频编码进程的流程图，包括参考图2A示出的确定推导的帧内预测模式。
图7B示出了根据本发明实施例的另一个示例性视频编码进程的流程图，包括参考图2B示出的确定推导的帧内预测模式。
实施方式
图1示出了根据本发明实施例的编码树单元(CTU)110以及对应编码树结构120、130和140。CTU 110可以对应于可以由预定色彩空间的多个色彩空间分量表示的图像帧的图像块。预定的色彩空间可以是RBG、YUV、YCbCr或YCoCg等诸如此类的色彩空间。例如，CTU110可以对应于由YCbCr色彩空间表示的图像块，其可以包括亮度分量(Y)，蓝色色差色度分量(Cb)和红色色差色度分量(Cr)。因此，CTU110可以被分成三个编码树结构120，130和140，其中每个编码树结构分别对应于图像块的一个色彩空间分量。例如，编码树结构120可对应于亮度分量，编码树结构130可对应于蓝色色差色度分量，且编码树结构140可对应于红色色差色度分量。
每个编码树结构120，130和140可以被进一步划分成编码块。每个编码块可以包括可以被进一步划分成一个或多个预测块的预测部分，以及包括可以被进一步划分为一个或多个残差块的残差部分。例如，编码树结构120可以包括预测块121-127；编码树结构130可以包括预测块131-133；编码树结构140可以包括预测块141-143。而且，根据用于将图像块分成不同色彩空间分量的色彩格式，编码树结构120中的像素的数量和/或其空间分辨率可以不同于编码树结构130或140的像素的数量和/或其空间分辨率。编码树结构120，编码树结构130和编码树结构140的块分区可以使用四叉树分割结构或四叉树加二叉树(QTBT)分割结构来实现。在使用QTBT分割结构的一些示例中，每个编码块可以对应于单个预测部分和/或单个残差部分，而不需要任何进一步的划分。这样，在使用QTBT分割结构的一些示例中，预测块与编码块相同，因此术语可以互换使用。
当一个编码树结构内的预测块的预测子要使用帧内预测进行编码或者解码时，可以使用推导的帧内预测模式或者从至少包括推导的帧内预测模式的多个候选模式中选择帧内预测模式来获得要用于对预测子进行编码或解码的帧内预测模式。在一些示例中，用于如编码树结构130之类的编码树结构中的预测子的推导的帧内预测模式可以从在属于相同的CTU 110的另一编码树结构(如编码树结构120)中使用的一个或多个帧内预测模式得到。
在一些示例中，用于处理与CTU相关的当前编码树结构(例如，编码树结构130)中的当前预测块的推导的帧内预测模式可以根据与相同的CTU 110相关的用于处理预定的参考编码树结构(例如，编码树结构120)中参考像素的帧内预测模式得到，其中参考像素可对应于当前预测块的左上像素。因为编码树结构120、编码树结构130和/或编码树结构140的块分割结构可能不同，所以当前编码树结构中的当前预测块可能在对应于图像帧中的相同区域的参考编码树结构中没有对应的对应部分。换句话说，当前预测块可以对应于图像帧中的一区域，所述区域与参考编码树结构中的多个预测块对应的多个区域(即，重迭的预测块)重迭。因此，在参考编码树结构中的重迭预测块的预测模式中，用于处理与当前预测块的左上像素相对应的参考像素的预测模式可能并不总是用于处理当前预测块的预测模式的最佳代表。
图2A示出了根据本发明实施例的基于第一块210中的参考区域220中的至少两个参考单位单元确定推导的帧内预测模式用于处理第二块250中的子块260的原理图。第一块210和第二块250可以对应于属于图像帧中相同的CTU的如图1所示的编码树结构120，130和140中不同的一个。另外，子块260可以对应于第二块250的预测块。
在一些示例中，第一块210对应于预定色彩空间的第一色彩空间分量，并且第二块250对应于预定色彩空间的第二色彩空间分量。例如，当预定色彩空间是YCbCr色彩空间时，第一色彩空间分量可以是亮度分量(Y)，第二色彩空间分量可以是蓝色色差度分量(Cb)或红色色差色度分量(Cr)。
为了使用帧内预测对第二块250中的子块260进行编码或解码，基于用于处理子块260的帧内预测模式来生成子块260的帧内预测子(intra predictor)。用于处理子块260的帧内预测模式可以在相应的编码视频数据中指定。为了提高编码效率，可以使用推导的帧内预测模式或者从至少包括推导的帧内预测模式的多个候选模式中选择来获得用于处理子块260的帧内预测模式。用于处理子块260的推导的帧内预测模式可以从第一块210中使用的帧内预测模式推导。
例如，可以根据子块260所对应的原始图像帧中的区域来识别第一块210内的参考区域220，使得参考区域220和子块260对应于图像帧中的相同区域。因为第一区块210和第二区块250可具有不同的区块分割结构，所以参考区域220可能与第一块210的多个预测块212、214及216重迭。此外，参考区域220可分割成多个单位单元(例如，图2A所示的参考区域220中的8×8矩形区域)。每个单位单元可以根据预定的视频编码标准具有等于预定最小编码单元尺寸的尺寸。在一些示例中，根据预定视频编码标准，每个单位单元可以具有等于预定最小编码单位尺寸的尺寸，最小的预定编码单元尺寸可以是4×4像素、8×8像素、16×16像素等的正方形形状。而且，最小预定编码单元尺寸可以是具有不同高度和宽度的矩形形状。
在又一示例中，根据预定视频编码标准，每个单位单元可具有基于编码单位确定的预定最小高度和预定最小宽度。例如，参考区域220可被划分为N×K个单位单元，其中，
N＝参考区域的宽度/最小编码单元宽度，以及
K＝参考区域的高度/最小编码单元高度。
在一些示例中，可以在参考区域220的多个单位单元之中识别至少两个参考单位单元。可以进一步分别识别出用于处理所识别的参考单位单元的各个帧内预测模式，并且为子块260而推导的帧内预测模式可以基于所识别的参考单位单元的所识别的帧内预测模式来确定。
在一些示例中，可以将所识别的帧内预测模式当中的使用最频繁的帧内预测模式设置为用于子块260的推导的帧内预测模式。在一些示例中，当在所识别的帧内预测模式中存在两个或多个使用最频繁的帧内预测模式，可以基于预定顺序选择使用最频繁的帧内预测模式之一作为推导的帧内预测模式。例如，预定顺序可以基于对应的参考单位单元的位置、接近整个图像帧或当前编码树结构的使用最频繁的帧内预测模式、所有可用的帧内预测模式的预定序列等。在一些示例中，可以在相应的已编码视频数据中发送预定的顺序，推导是基于包括在已编码视频数据中的信息，或者以预定的视频编码标准定义的。当然，在至少一个示例中，使用最频繁的帧内预测模式之一可能是被随机选择且没有任何特定的顺序的。
如图2A所示，参考区域220包括中心230和四个角落242、244、246和248。所识别的参考单位单元可以包括至少两个参考单元，其位于或邻近参考区域220的中心230。例如，邻近参考区域220的中心230的相邻的四个中间单位单元M1、M2、M3和M4可以被识别为参考单位单元。用于处理中间单位单元M1、M2、M3和M4的帧内预测模式可以用于确定用于处理子块260的推导的帧内预测模式。在一些示例中，所识别的参考单位单元可以包括预定数量的聚集在参考区域220的中心230的参考单位单元。例如，聚集在参考区域220的中心230的四个中间单位单元M1-M4或者十六个中间单位单元M1-M16，可以被确定为参考单位单元。在其他示例中，可以使用不同数目(例如，4，8，16，32等)的单位单元，或者用不同模式定位的单位单元的可以被用来确定聚集在中心230的参考单位单元。
此外，所识别的单位单元可以包括分别聚集在参考区域220的不同角落242、244、246和/或248的多组参考单位单元。例如，分别聚集在角242、244、246和248附近的四个角落单元C1、C2、C3和C4，可被识别为参考单元。用于处理角落单位单元C1、C2、C3和C4的帧内预测模式可以用于确定用于处理子块260的推导的帧内预测模式。而且，所识别的参考单位单元可以包括预定数目的聚集在不同角落242、244、246和/或248的参考单位单元。例如，来自每个角的四个单位单元，包括分别围绕角落242、244、246和248聚集的单位单元C1-C16，可以被识别为参考单位单元。在其他示例中，要使用的角可以变化，并且可以使用不同数目(例如，1，4，8，16，32等)的单位单元或用不同模式定位单位单元，来识别围绕角落242、244、246和/或248聚集的参考单位单元。
此外，所识别的参考单位单元可以包括位于参考区域中的预定位置的多个单位单元。在一些示例中，所识别的单位单元可以位于多个单位单元的至少一个预定行中。所述至少一个预定行可以包括最上面一行，中间行或最下面一行。在至少一个示例中，所识别的单位单元可以包括奇数行中的一些或全部单位单元。在至少另一个示例中，所识别的单位单元可以包括偶数行中的一些或全部单位单元。
在一些示例中，所识别的单位单元可以位于所述多个单位单元的至少一个预定列中。至少一个预定列可以包括最左边的列，中间的列或最右边的列。在至少一个示例中，所标识的单位单元可以包括奇数列中的一些或全部单位单元。在至少另一个示例中，所标识的单位单元可以包括偶数列中的一些或全部单位单元。
在一些示例中，所识别的单位单元既可以在多个单位单元的至少一个预定行中，也可以在多个单位单元的至少一个预定列中，其中至少一个预定行和至少一个预定列可以基于任何上述组合来确定。
在至少一个示例中，参考区域220中的所有单位单元都被识别为是用于确定处理第二块250的子块260的推导的帧内预测模式的参考单位单元。
当然，可以通过上述方法的任何组合和/或任何合适的、预定的选择方法来识别参考单位单元。另外，用于识别参考单位单元的信息可以在相应的编码视频数据中发信，基于包含在编码视频数据中的信息推导出，或者在预定视频编码标准中定义。
图2B示出了根据本发明示例性实施例的基于第一块210中的参考区域220中的一个单独的参考单位单元确定推导的帧内预测模式用于第二块250中的子块260。可以基于参考区域210的中心230来识别所述单个参考单位单元。图2B中与图2A中的组件相同或相似的组件被赋予相同的附图标记，其详细描述因此省略。
与参考图2A的示例比较，图2B所示的示例中仅识别一个参考单位单元单元。在一些示例中，在参考区域220中预定方向236上最靠近参考区域220的中心230的单位单元可被识别为参考单位单元。在如图2B所示的示例中，单位单元M2是在预定方向236上最靠近参考区域220中心230的，因此可以被识别为参考单位单元。在如图2B所示的示例中，预定方向236对应于相对于中心230的右上方向。在一些示例中，预定方向236可以对应于左上方向，右下方向，左下方向等。用于处理单位单元M2的帧内预测模式可以被用作用于处理子块260的推导的帧内预测模式。在其他示例中，可以选择单位单元M1，M3或M4作为与对应的指定方向一致的参考单位单元。
而且，用于识别参考单元的信息，例如预定方向236，可以在相应的编码视频数据中发信，基于包含在编码视频数据中的信息推导出，或者在预定的视频编码标准中定义。
图2C示出了根据本发明示例性实施例的基于与第二块250中的子块260相应的参考区域220A、220B或220C的中心230A、230B或230C来识别一个单独的参考单位单元的另外三个示例。图2C中的与图2B中的组件相同或相似组件被赋予相同的附图标记，并且因此省略其详细描述。此外，参考区域220A、220B和220C对应于图2B中的参考区域220；以及中心230A、230B和230C对应于图2B中的中心230。
除了参照图2B所示的示例之外，在至少一个示例中，第一块210中的参考区域220A可以包括单个单位单元列。参考单位单元可以基于参考区域220A的中心230A和预定方向236A来识别。在所述示例中，中心230A上方的单位单元M1是在预定方向236A上与中心230A最近的单位单元，因此可以选择为参考单位单元。在所述示例中，预定方向236A对应于相对于中心230A的向上。在一些示例中，预定方向236A可以对应于向下的方向等。
在另一个示例中，第一块210中的参考区域220B可以包括单独一行单位单元。参考单位单元可以基于参考区域220B的中心230B和预定方向236B来识别。在所述示例中，中心230B右侧的单位单元M2是在预定方向236B上与中心230B最近的单位单元，因此可以选择为参考单位单元。在所述示例中，预定方向236B对应于相对于中心230B的向右的方向。在一些示例中，预定方向236B可以对应于向左的方向等。
在又一示例中，第一块210中的参考区域220C可以仅包括一个单位单元，所述单位单元将被识别为用于处理第二块250中的子块260的参考单位单元。在这种情况下，参考单位单元仍然可以在任何给定的方向上经过分析被识别为最靠近参考区域220C的中心230C的单位单元。
结合参考图2A-2C的示例，可以结合预定的视频编码标准来应用，例如国际电信联盟电信标准化部门(ITU-T)H.264标准(也被称为H.264，MPEG-4第10部分，高级视频编码，MPEG-4AVC或H.264/MPEG-4AVC标准)，ITU-T H.265标准(也称为H.265，高效视频编码，HEVC或H.265/HEVC标准)，或任何其它合适的视频编码标准。
图3示出了根据本发明实施例的视频编解码系统300的功能框图。视频编解码系统300包括视频解码处理电路(即，解码电路)310和视频编码处理电路(即，编码电路)320。编码电路320接收作为输入数据的输入帧306，并且通过对输入帧306进行编码来生成已编码视频数据302。解码电路310接收已编码视频数据302作为输入数据，并且通过对已编码视频数据302进行解码来生成输出帧304。视频编解码系统300可以通过一个或多个视频编码装置实施，例如可以包括解码电路310、编码电路320或者同时包括解码电路310和编码电路320二者。
解码电路310至少包括帧内预测模块312和解码控制器316，解码控制器316还可以进一步包括推导模式选择器318。帧内预测模块312可以生成当前预测块的帧内预测子，其整体或部分构成使用帧内预测的编码树结构内的当前编码块的预测部分。在使用QTBT分割结构的一些示例中，预测块与编码块相同，因此术语可以互换使用。
帧内预测子可以是基于与当前预测块相邻的相邻像素的采样和通过已编码视频数据302指示的帧内预测模式来生成。在一些示例中，帧内预测模式可以基于推导的帧内预测模式来确定，所述推导的帧内预测模式是基于另一编码树结构(即，参考编码树结构)的帧内预测模式确定的，其中当前编码树结构和参考编码树结构属于一个图像帧的相同的CTU。
推导模式选择器318可以参考使用图2A-2C所示的方法来确定用于处理当前预测块的推导的帧内预测模式。解码控制器316可监督已编码视频数据302的解码，包括确定是否使用帧内预测模块312解码当前预测块，确定是否确定推导的帧内预测模式，控制推导模式选择器318的操作，和/或控制帧内预测模块312的操作。在一些示例中，解码控制器316接收与当前预测块相关的已编码视频数据302，并从中提取关于是否使用帧内预测模块312、对应的帧内预测模式、和/或是否基于推导的帧内预测模式来确定帧内预测模式的信息。在一些示例中，可以在已编码视频数据302中明确指定上述信息，或者基于已编码视频数据302和预定的视频编码标准推导出上述信息。
虽然推导模式选择器318在图3中被描绘为解码控制器316的一部分，但推导模式选择器318可以作为独立电路或者作为帧内预测模块312的一部分实施。
编码电路320可以至少包括帧内预测模块322，帧内估计模块324和编码控制器326，其中编码控制器326还可以进一步包括推导模式选择器328。帧内估计模块324可以分析输入帧306并确定用于使用帧内预测来编码当前预测块的预测参数，其中当前预测块全部或部分地构成当前编码树结构内的当前编码块的预测部分。在使用QTBT分割结构的一些示例中，预测块与编码块相同，因此术语可以互换使用。
预测参数可以包括用于生成当前预测块的帧内预测子的帧内预测模式。由帧内估计模块324选择或识别的预测参数可以被转发到编码控制器326，并且编码控制器326可以确定是否使用帧内预测来编码当前预测块，并且如果使用帧内预测来编码当前预测块则将预测参数编码为已编码视频数据302的一部分。由帧内估计模块324选择或识别的预测参数也可被转发到帧内预测模块322以产生当前预测块的帧内预测。
在一些示例中，帧内估计模块324可与推导模式选择器328一起工作，使得可基于推导的帧内预测模式来确定帧内预测模式。推导的帧内预测模式可以基于另一种编码树结构(即，参考编码树结构)的帧内预测模式确定，其中当前编码树结构和参考编码树结构属于图像帧中同一个CTU。推导模式选择器328可以使用如图2A-2C所示的方法来确定用于处理当前预测块的推导的帧内预测模式。
帧内预测模块322可以以与帧内预测模块312类似的操作方式来生成当前预测块的帧内预测子，以用于进一步的编码处理。此外，编码控制器326可以监督当前预测块的编码，包括确定是否使用帧内估计模块324，是否确定推导的帧内预测模式，控制推导模式选择器328的操作，和/或控制帧内估计模块324和帧内预测模块322的操作来对当前块进行编码。
虽然推导模式选择器328在图3中被描绘为编码控制器326的一部分，但推导模式选择器328可以作为独立电路实施，或作为帧内估计模块324的一部分实施，或作为帧内预测模块322的一部分实施。此外，在使用QTBT分割结构的一些示例中，预测块与编码块相同，因此术语可以互换使用。
图4示出了根据本发明实施例的视频编解码系统中的示例性解码电路410的功能框图，如图3中的视频编解码系统300中的解码电路310。图4是解码电路410的简化表示，因此可以不示出解码电路410的所有细节和变化。
解码电路410包括帧内预测模块412、解码控制器416和作为解码控制器416的一部分的推导模式选择器418，他们可以分别对应于图3中的帧内预测模块312、解码控制器316和推导模式选择器318。如果解码控制器416确定使用帧内预测来解码当前预测块，帧内预测模块412可以基于指定的帧内预测模式产生当前编码树结构内的编码块的当前预测块的帧内预测子。在一些示例中，可以参照图2A-2C所示的方法，基于至少一个推导的帧内预测模式来确定帧内预测模式，所述推导的帧内预测模式可以基于另一个编码树结构(即，参考编码树结构)的一个或多个帧内预测模式。
解码电路410还包括帧间预测模块432、加法器442、残差解码器444、输出滤波器448、存储器450和处理器460。当当前预测块采用帧间预测进行解码时，帧间预测模块432可以基于指定的运动信息产生当前预测块的帧间预测子。残差解码器444可以根据来自解码控制器416的残差信息生成相应编码块的残差部分。加法器442可以通过至少将来自残差解码器444的相应编码块的残差部分和编码块的预测部分相加生成解码图像。编码块的预测部分可以包括来自帧内预测模块412的帧内预测子和/或来自帧间预测模块432的帧间预测子。输出滤波器448将来自加法器442的已解码的编码块组合成解码图像帧，根据预定的滤波处理来处理所述解码图像帧，并且输出滤波的图像帧作为输出帧404。存储器450可以存储来自输出滤波器448的滤波图像帧和/或来自预测模块412或432的当前图像帧的先前已解码的编码块，其可以被预测模块412或432进一步用于取回参考样本。
解码控制器416接收并分析已编码视频数据402并提取编码块的残差信息和预测参数。解码控制器416可将残差信息提供给残差解码器444，并将预测参数提供给帧内预测模块412和/或帧间预测模块432，以便重构编码块的图像。在一些示例中，当要使用帧内预测对编码块的预测块进行解码并且将基于至少一个推导的帧内预测模式来确定帧内预测模式时，帧内预测模块412可以与推导模式选择器418合作以便识别参考编码树结构的一个或多个适合的参考单位单元单元，以便参照图2A-2C所示的方法确定用于处理当前预测块的推导出帧内预测模式。当然，在使用QTBT分割结构的一些示例中，预测块与编码块相同，因此术语可以互换使用。
尽管推导模式选择器418在图4中被描绘为解码控制器416的一部分，但是推导模式选择器418可以作为独立电路或者作为帧内预测模块412的一部分实施。
在操作中，解码控制器416接收与当前编码树结构相关的已编码视频数据402和与图像帧中的相同CTU相关的参考编码树结构作为输入数据。当当前编码树结构的编码块将被解码时，解码控制器416使用帧间预测或帧内预测来提取关于编码块的一个或多个预测块是否要被解码的信息。当解码控制器416使用帧内预测确定编码块的当前预测块将被解码时，解码控制器416可以进一步确定用于处理当前预测块的帧内预测模式。在一些示例中，解码控制器416可控制推导模式选择器418以基于在参考编码树结构中使用的(一个或多个)帧内预测模式来确定推导的帧内预测模式。解码控制器416可以将当前预测块的预测参数转发到帧内预测模块412。预测参数可以包括帧内预测模式或确定的推导的帧内预测模式，用于生成当前预测块的帧内预测子。由解码控制器416选择或识别的预测参数可以在已编码视频数据402中被明确指定，或者基于在已编码视频数据402中提供的信息以及预定视频编码标准被推导出。
帧内预测模块412可以根据由解码控制器416提供的相邻像素的采样和帧内预测模式和/或推导的帧内预测模式来生成当前预测块的帧内预测子。帧内预测模块412可以进一步生成对应编码块的其他帧内预测子。在一些实例中，如果可以，帧间预测模块432可产生对应解码块的一个或多个帧间预测子。另一方面，解码控制器416还将残差信息转发到残差解码器444，在残差解码器444中生成对应的编码块的残差部分。编码块现在可以通过在加法器442处将残差部分与预测部分相加，其中预测部分包含来自编码块的预测模块412和432的一个或多个预测子。
推导模式选择器418可以基于由参考编码树结构使用的帧内预测模式来确定当前预测块的帧内预测模式的推导出模式。在一些示例中，参考编码树结构可以对应于第一色彩空间分量，诸如YCbCr色彩空间中的亮度分量(Y)，并且当前编码树结构可以对应于YCbCr色彩空间中的第二色彩空间分量，诸如蓝色色差色度分量(Cb)或红色色差色度分量(Cr)。推导模式选择器418可以识别参考编码树结构中的参考区域，其中参考区域和当前预测块对应于图像帧中的相同区域。推导模式选择器418可以进一步将参考区域划分为一个或多个单位单元，然后可以参考图2A-2C所示的方式识别一个或多个参考单位单元。
例如，所识别的参考单位单元可以包括聚集在参考区域的一个或多个中心或角落的两个或更多个单位单元。在一些示例中，所识别的参考单位单元可以包括位于参考区域中的预定位置处的单位单元。而且，所识别的参考单位单元可以包括在参考区域的中心处或与参考区域的中心相邻的单个单位单元。推导的帧内预测模式可以基于用于处理所识别的参考单元的(一个或多个)帧内预测模式来确定。在至少一个示例中，可以将所识别的帧内预测模式当中的使用最频繁的帧内预测模式设置为当前预测块的推导出帧内预测模式。当然，在使用QTBT分割结构的一些示例中，预测块与编码块相同，因此术语可以互换使用。
此外，如图4所示，处理器460与存储器450电性耦合，并且可以被配置为执行存储在存储器450中的程序指令以实现各种功能。处理器460可以包括单个或多个处理核心。诸如解码控制器416、推导模式选择器418、帧内预测模块412、帧间预测模块432、加法器442、残差解码器444和/或输出滤波器448的解码电路410的各种组件可以由硬件实现，处理器460执行程序指令或其组合。当然，处理器460还可以执行程序指令以控制已编码视频数据402的接收以及输出帧404的输出或显示。在一些示例中，处理器460可以执行程序指令以执行可能不直接涉及解码已编码视频数据402。
存储器450可以用于存储程序指令、对应于预测参数、先前解码块、输出帧和/或用于实现解码电路410的各种功能的中间数据的信息。在一些示例中，存储器450包括诸如半导体或固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、硬盘、光盘或其他合适的存储介质的非暂态计算机可读介质。在一些实施例中，存储器450包括上面列出的两个或更多个非暂态计算机可读介质的组合。
图5示出了视频编解码系统中的示例性编码电路520的功能框图，如图3中的视频编解码系统300中的编码电路320。图5是编码电路520的简化表示，因此可以不示出编码电路520的所有细节和变型。
编码电路520包括帧内预测模块522、帧内估计模块524、编码控制器526和作为编码控制器526的一部分的推导模式选择器(derived mode selector)528，这些模块可分别对应于图3中的帧内预测模块322、帧内估计模块324、编码控制器326和推导模式选择器328。编码电路520还包括帧间预测模块532、帧间估计模块534、加法器542、残差编码器544、重构模块548、存储器550和处理器560。
编码控制器526监督帧内预测模块522、帧内估计模块524、帧间预测模块532、帧间估计模块534和推导模式选择器528的操作。编码控制器526可将每个输入帧划分成编码块。在一些示例中，编码控制器526还可以指示帧内估计模块524、帧间估计模块534和/或推导模式选择器528将编码块划分为一个或多个预测块，并确定预测方案、预测模式和/或每个块的对应的预测参数。在使用QTBT分割结构的一些示例中，预测块与编码块相同，因此术语可以互换使用。编码控制器526可以相应地选择预测块分区和对应的预测方案。
编码控制器526还可以指示帧内预测模块522和/或帧间预测模块532将构成相应编码块的预测部分的对应预测结果输出到加法器542。加法器542接收编码块的原始图像和编码块的预测子，并且通过从编码块的原始图像中减去预测子来输出编码块的残差部分。残差编码器544接收并对编码块的残差部分进行编码。编码控制器526可以基于来自帧内估计模块524、帧间估计模块534、推导模式选择器528的预测参数和/或来自残差编码器544的输出来生成已编码视频数据502。
帧内预测模块522和帧间预测模块532可以分别从帧内估计模块524和帧间估计模块534接收预测参数，并且可以以与图4中的帧内预测模块412和帧间预测模块432类似的操作的方式为编码块生成合适的预测子。此外，推导模式选择器528可以以与图4中的推导模式选择器418的操作类似的方式来确定当前预测块的推导出帧内预测模式。因此省略其详细描述。
在一些示例中，编码控制器526可基于不同预测方案和参数的编码块控制帧内估计模块524、帧间估计模块534、帧内预测模块522、帧间预测模块532、推导模式选择器528和/或残差编码器544来编码，然后可以选择用于编码当前块的编码方案和参数的最佳组合。
重构模块548可以从帧内预测模块522和/或帧内预测模块532接收预测子以及来自残差编码器544的编码块的重构残余部分。基于这样的信息，重构模块548可以以与图4中的加法器442和输出滤波器448类似的的操作方式生成编码块和/或重构帧的重构图像。重构的块和/或帧可以存储在存储器550内，并且可由帧内预测模块522、帧间预测模块532、帧内估计模块524和/或帧间估计模块534访问，作为估计下一个预测块的预测参数使用。
在操作中，编码电路520接收包括待编码的图像帧的输入帧506，输入帧506进一步至少被划分为对应于相同CTU的当前编码树结构和参考编码树结构。当当前编码树结构的编码块要被编码时，帧内估计模块524和帧间估计模块534可以从输入帧506接收编码块的原始图像。帧内估计模块524和帧间估计模块534可分析编码块的原始图像并输出用于生成编码块的预测部分的候选预测参数。在一些示例中，帧内估计模块524可以与推导模式选择器528一起工作，参考图2A-2C所示的方式，基于在参考编码树结构中使用的帧内预测模式来考虑推导的帧内预测模式。在使用QTBT分割结构的一些示例中，预测块与编码块相同，因此术语可以互换使用。
帧内估计模块524和/或帧间估计模块534然后将预测参数发送到编码控制器526和对应的预测模块522和532。编码控制器526可以确定最佳预测方案并且指示适当的预测模块522和532相应地生成预测子。在一些示例中，帧内预测模块522可基于由帧内估计模块524提供的预测参数产生当前预测块的帧内预测。帧内预测模块522可以根据相邻像素的采样和帧内预测模式来生成当前预测块的帧内预测。编码控制器可通过在编码视频数据502中提供指示符来明确地发信帧内预测模式或作为推导的帧内预测模式，且不在已编码视频数据502中提供这样的指示符。
在生成用于编码块的预测子之后，帧内预测模块522和/或帧间预测模块524将预测子输出到加法器542和重构模块548。加法器542可以基于编码块的原始图像和产生的预测子输出编码块的残差部分，并且根据预定的视频编码标准对残差部分进行编码。编码控制器526可以收集来自帧内估计模块524和/或帧间估计模块534的预测参数以及来自残差编码器544的编码的残差信息，并且确定所选择的编码块的编码方案是否可接受。重构模块548可以基于来自帧内预测模块522和/或帧内预测模块532的预测子以及来自残差编码器544的重构残余部分来输出编码块的重构图像。
此外，如图5所示，处理器560与存储器550电性耦合，并且可以被配置为执行存储在存储器550中的程序指令以实现各种功能。处理器560可以包括单个或多个处理核心。编码电路520内的诸如编码控制器526，帧内预测模块522、帧内估计模块524、帧间预测模块532、帧间估计模块534、推导模式选择器528、加法器542、残差编码器544和/或重构模块548的各种组件可以由硬件实现，处理器560执行程序指令或其组合来实现。当然，处理器560还可以执行程序指令以控制接收输入帧506和已编码视频数据502的输出。在一些示例中，处理器560可以执行可能不直接涉及对已编码视频数据502进行编码的程序指令。
存储器550可以用于存储程序指令，对应于预测参数重建块、输入帧和/或用于实现编码电路520的各种功能的中间数据的消息。在一些示例中，存储器550包括诸如半导体或固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、硬盘、光盘或其他合适的存储介质的非暂态计算机可读介质。在一些实施例中，存储器550包括上面列出的两个或更多个非暂态计算机可读介质的组合。
此外，图4中的解码电路410和图5中的编码电路520可以在相同的电子设备上实现，并且解码电路410和编码电路520的各种组件可以被共享或复用。举例来说，解码电路410中的存储器450、处理器460、帧内预测模块412、帧间预测模块432、推导模式选择器418及输出滤波器448中的一个或多个可以分别与存储器550、处理器560、帧内预测模块522、帧间预测模块532、推导模式选择器528以及编码电路520中的重建模块548有相同的功能。
图6A示出了根据本发明实施例的示例性视频解码进程600A的流程图，包括如图2A所示的确定推导的帧内预测模式。在一些示例中，可使用用于视频解码的处理电路(例如图4中的处理电路)来执行进程600A。应理解的是，可以在图6A中描绘的进程600A之前，期间和/或之后执行额外的操作。进程600A从S601开始，并继续进行到S610。
在步骤S610中，接收与图像帧的第一块和第二块相关的已编码视频数据来作为输入数据。第一块对应于预定色彩空间的第一色彩空间分量，且第二块对应于预定色彩空间的第二色彩空间分量。在一些示例中，第一块和第二块是对应于图像帧的相同CTU的不同编码树结构。在一些示例中，当预定色彩空间是YCbCr色彩空间时，第一色彩空间分量可以是亮度分量(Y)，并且第二色彩空间分量可以是蓝色色差色度分量(Cb)或红色色差色度分量(Cr)。例如，解码控制器416可以接收已编码视频数据402，其包括与第一块和第二块相关联的输入数据。
在步骤S620中，当使用帧内预测对第二块的子块进行编码并且帧内预测模式是推导的帧内预测模式或者从包括推导的帧内预测模式的候选帧内预测模式中选择时，可以识别第一块的参考区域。在一些示例中，第二块中的参考区域和子块对应于图像帧中的相同区域。而且，参考区域可以被划分成多个单位单元。在一些示例中，可以根据预定视频编码标准，基于最小编码块的尺寸或最小编码块的宽度和高度来确定每个单位单元的尺寸。例如，推导模式选择器418或解码控制器416可以参照图2A所示的参考编码树结构来识别参考区域。
在步骤S630A中，识别参考区域中的多个单位单元中的至少两个参考单位单元。在一些示例中，所识别的参考单位单元可以包括聚集在参考区域的一个或多个中心或角落的两个或多个单位单元，如图2A所示。在一些示例中，所识别的参考单位单元可以包括位于参考区域中的预定位置处的单位单元。举例来说，推导模式选择器418或解码控制器416可以参考图2A所说明的方式来识别参考区域中的参考单位单元。
在步骤S640A中，进一步识别用于处理所识别的参考单位单元的各个帧内预测模式。在步骤S650A中，基于所识别的帧内预测模式来确定推导的帧内预测模式，并且可以基于推导的帧内预测模式来确定用于处理第二块中的子块的帧内预测模式。在一些示例中，可以将所识别的帧内预测模式当中的使用最频繁的帧内预测模式设置为推导的帧内预测模式。举例来说，推导模式选择器418可识别用于处理所识别的参考单位单元的帧内预测模式，且以图2A所示的方式确定推导的帧内预测模式。此外，解码控制器416还可以进一步基于推导的帧内预测模式来确定用于处理第二块中的子块的帧内预测模式。
在步骤S660中，使用确定的帧内预测模式来生成第二块中的子块的帧内预测子。举例来说，帧内预测模块412可使用由解码控制器416提供的帧内预测模式来产生第二块的子块的帧内预测子。
在步骤S670中，基于帧内预测子对第二块中的子块进行解码以用于输出。举例来说，加法器442可基于结合第二块的残部分与预测部分来产生第二块的解码块，其中预测部分至少包括来自帧内预测模块412的子块的帧内预测子。
在步骤S670之后，进程进行到步骤S699并终止。
图6B示出了根据本发明实施例的示例性视频解码进程600B的流程图，其包括如图2B所示的推导出帧内预测模式。在一些示例中，可使用用于视频解码的处理电路(例如图4中的处理电路)来执行进程600B。应所述理解的是，可在图6B中所示的进程600B之前，期间和/或之后执行额外操作。
图6B中所示的与图6A中的组件相同或相似的组件被赋予相同的附图标记，并且因此省略其详细描述。与进程600A相比，进程600B分别用S630B，S640B和S650B代替S630A，S640A和S650A。
在步骤S630B中，基于参考区域的中心和预定方向来识别参考区域中的一个或多个单位单元中的参考单位单元。在一些示例中，如图2B所示，所识别的参考单位单元是在预定方向上与参考区域的中心最接近的单位单元。例如，推导模式选择器418或解码控制器416可以以参考图2B所示的方式识别参考区域中的参考单位单元。
在步骤S640B中，识别用于处理识别的参考单位单元的帧内预测模式。在步骤S650B中，将所识别的帧内预测模式设置为推导的帧内预测模式，并且可以基于推导的帧内预测模式来确定用于处理第二块中的子块的帧内预测模式。例如，推导模式选择器418可识别用于处理所识别参考单位单元的帧内预测模式，且以图2B所示的方式将此识别帧内预测模式设定为所推导出帧内预测模式。此外，解码控制器416还可以进一步基于推导的帧内预测模式来确定用于处理第二块中的子块的帧内预测模式。
图7A示出了是根据本发明实施例的示例性视频编码进程700A的流程图，其包括如图2A所示的确定帧内预测模式。在一些示例中，可使用用于视频编码的处理电路(例如图5中的处理电路)来执行进程700A。应所述理解的是，可在图7A中所示的进程700A之前，期间和/或之后执行额外操作。进程700A从步骤S701开始并继续进行到步骤S710。
在步骤S710中，接收待编码的输入图像帧作为输入数据。图像帧包括第一块和第二块，其中第一块对应于预定色彩空间的第一色彩空间分量，且第二块对应于预定色彩空间的第二色彩空间分量。在一些示例中，第一块和第二块是图像帧的相同CTU的不同编码树结构。在一些示例中，当预定色彩空间是YCbCr色彩空间时，第一色彩空间分量可以是亮度分量(Y)，且第二色彩空间分量可以是蓝色色差色度分量(Cb)或红色色差色度分量(Cr)。例如，处理电路520可以接收包括具有第一块和第二块的图像帧的输入帧506。
在步骤S720-S750A中，基于推导的帧内预测模式来确定用于对第二块的子块进行编码的合适的帧内预测模式。例如，帧内估计模块524连同推导模式选择器528使用帧内预测来估计用于编码子块的预测参数，包括以参照图2A所示的基于在第一块中使用的帧内预测模式确定推导的帧内预测模式的方法。
在步骤S720中，当使用帧内预测来编码当前编码树结构的子块并且帧内预测模式是推导出帧内预测模式或者从包括推导出帧内预测模式的候选帧内预测模式中选择的时，如图6A中的步骤S620A所示，可以识别第一块中的参考区域。例如，推导模式选择器528或编码控制器526可以参照图2A所示的参考编码树结构来识别参考区域。
在步骤S730A中，如图6A中的步骤S630A所示，识别出参考区域中的多个单位单元中的至少两个参考单位单元。例如，推导模式选择器528或编码控制器526可以以图2A所示的方式来识别参考区域中的参考单位单元。
在步骤S740A中，如图6A中的步骤S640A所示，进一步识别用于处理所识别的参考单位单元的各个帧内预测模式。在步骤S750A中，如图6A中的步骤S650A所示，基于所识别的帧内预测模式来确定推导出帧内预测模式。因此可以基于推导出帧内预测模式来确定用于处理第二块中的子块的帧内预测模式。例如推导模式选择器528可以识别用于处理识别的参考单元的帧内预测模式并且以图2A所示的方式确定推导出帧内预测模式。此外，编码控制器526和/或帧内估计模块524可以基于推导出帧内预测模式进一步确定用于处理第二块中的子块的帧内预测模式。
在步骤S760中，可以基于在步骤S720-S750A中确定的预测参数来生成当前子块的帧内预测子。例如，帧内预测模块522可以基于帧内估计模块524提供的预测参数来生成第二块中的当前子块的帧内预测子。
在步骤S770中，如果预测参数被确定为可接受的，则基于帧内预测子和估计的预测参数对当前子块进行编码，以输出已编码视频数据。在步骤S770之后，流程进行到步骤S799并终止。
图7B示出了根据本发明实施例的另一示例性视频编码进程700B的流程图，其包含图2B所示的推导出帧内预测模式。在一些示例中，可使用用于视频编码的处理电路(例如图5中的处理电路)来执行进程700B。应当理解的是，可在图7B中所示的进程700B之前，期间和/或之后执行额外操作。
图7B中所示的与图7A中的组件相同或相似的组件被赋予相同的附图标记，并且因此省略其详细描述。与进程700A相比，进程700B分别用步骤S730B，步骤S740B和步骤S750B代替步骤S730A，步骤S740A和步骤S750A。
在步骤S730B中，基于参考区域的中心和预定方向来识别参考区域中的一个或多个单位单元中的参考单位单元。在一些示例中，如图2B所示，所识别的参考单位单元是在预定方向上与参考区域的中心最接近的单位单元。例如，推导模式选择器528或编码控制器526可以以图2B所示的方式识别参考区域中的参考单位单元。
在步骤S740B中，识别用于处理所识别的参考单位单元的帧内预测模式。在步骤S750B，将所识别的帧内预测模式设置为推导出帧内预测模式，并且可以基于推导出帧内预测模式来确定用于处理第二块中的子块的帧内预测模式。例如，推导模式选择器528可识别用于处理识别的参考单位单元的帧内预测模式，且以图2B所示的方式将此识别的帧内预测模式设定为推导的帧内预测模式。此外，编码控制器526和/或帧内估计模块524可以基于推导的帧内预测模式进一步确定用于处理第二块中的子块的帧内预测模式。
虽然已经结合作为示例提出的具体实施例的示例描述了本公开的各方面，但是可以对这些示例进行替换、修改和变化。因此，这里阐述的实施例是说明性的而非限制性的。在不脱离下面阐述的权利要求的范围的情况下可以进行改变。

Claims (22)

1.一种视频编解码方法，其特征在于，所述方法包括：
接收与图像帧的第一块以及第二块相关联的输入数据，所述第一块对应于第一色彩空间分量，以及所述第二块对应于第二色彩空间分量；
识别所述第一块中的参考区域，所述参考区域以及所述第二块中的子块对应于所述图像帧中的相同区域，且所述参考区域被划分为多个单位单元；
识别所述参考区域中的所述多个单位单元中的至少两个参考单位单元；
识别用于处理所述识别的参考单位单元各自的帧内预测模式；
基于所述识别的帧内预测模式来决定用于处理所述第二块中的所述子块的帧内预测模式；
基于所述决定的帧内预测模式来产生所述第二块中的所述子块的帧内预测子；以及
基于所述第二块中的所述子块的所述帧内预测子对所述第二块中的所述子块进行编码或解码以用于输出。
2.如权利要求1所述的视频编解码方法，其特征在于，其中：
所述第一色彩空间分量是亮度分量；以及
所述第二色彩空间分量是色度分量。
3.如权利要求1所述的视频编解码方法，其特征在于，其中决定所述帧内预测模式的步骤包括：将所述识别的帧内预测模式当中使用最频繁的帧内预测模式设置为用于处理所述第二块中的所述子块的所述帧内预测模式。
4.如权利要求1所述的视频编解码方法，其特征在于，决定所述帧内预测模式的步骤包括：
识别所述识别的帧内预测模式中的多个使用最频繁的帧内预测模式；以及
基于预定顺序选择所述多个使用最频繁的帧内预测模式中的一个作为用于处理所述第二块中的所述子块的所述帧内预测模式。
5.如权利要求1所述的视频编解码方法，其特征在于，其中，
所述至少两个参考单位单元位于或邻近于所述参考区域的中心。
6.如权利要求1所述的视频编解码方法，其特征在于，其中，
所述至少两个参考单位单元包括聚集在所述参考区域的中心的预定数量的参考单位单元。
7.如权利要求1所述的视频编解码方法，其特征在于，其中，
所述至少两个参考单位单元分别与所述参考区域的不同角落相邻。
8.如权利要求1所述的视频编解码方法，其特征在于，其中，
所述至少两个参考单位单元包括分别聚集在所述参考区域的不同角落的多组参考单位单元。
9.如权利要求1所述的视频编解码方法，其特征在于，其中，
所述至少两个参考单位单元在所述多个单位单元的至少一个预定行中；或者
所述至少两个参考单位单元在所述多个单位单元的至少一个预定列中。
10.如权利要求1所述的视频编解码方法，其特征在于，其中，
每个单位单元的尺寸等于预定的最小编码单元的尺寸。
11.一种视频编解码装置，其特征在于，所述装置包括：
处理电路，所述处理电路用于：
接收与图像帧的第一块与第二块相关的输入数据，所述第一块对应于第一色彩空间分量，所述第二块对应于第二色彩空间分量；
识别所述第一块中参考区域，所述参考区域与所述第二块中的子块对应于所述图像帧中的相同区域，且所述参考区域被划分成多个单位单元；
识别所述参考区域中的所述多个单位单元中的至少两个参考单位单元；
识别用于处理所述识别的参考单位单元各自的帧内预测模式；
基于所述识别的帧内预测模式来决定用于处理所述第二块中的所述子块的帧内预测模式；
基于所述决定的帧内预测模式产生所述第二块中的所述子块的帧内预测子；以及
基于所述第二块中的所述子块的所述帧内预测子对所述第二块中的所述子块进行编码或解码以用于输出。
12.如权利要求11所述的视频编解码装置，其特征在于，其中，
当决定所述帧内预测模式时，所述处理电路被配置为将所述识别的帧内预测模式当中使用最频繁的帧内预测模式设置为用于处理所述第二块中的所述子块的所述帧内预测模式。
13.如权利要求11所述的视频编解码装置，其特征在于，其中，
当决定所述帧内预测模式时，所述处理电路被配置为：
识别所述识别的帧内预测模式中的多个使用最频繁的帧内预测模式；以及
基于预定顺序选择所述多个使用最频繁的帧内预测模式中的一个作为用于处理所述第二块中的所述子块的所述帧内预测模式。
14.如权利要求11所述的视频编解码装置，其特征在于，其中，
当识别所述至少两个参考单位单元时，所述处理电路经配置以识别聚集在所述参考区域的中心的预定数目的参考单位单元。
15.如权利要求11所述的视频编解码装置，其特征在于，其中，
当识别所述至少两个参考单位单元时，所述处理电路经配置以分别识别聚集在所述参考区域的不同角落的多组参考单位单元。
16.如权利要求11所述的视频编解码装置，其特征在于，其中，
当识别所述至少两个参考单位单元时，所述处理电路被配置为：
从所述多个单位单元的至少一个预定行中识别所述至少两个参考单位单元；或者
从所述多个单位单元的至少一个预定列中识别所述至少两个参考单位单元。
17.一种非暂态计算机可读介质，存储使装置的处理电路执行视频编解码方法的程序指令，其特征在于，所述方法包括：
接收与图像帧的第一块以及第二块相关联的输入数据，所述第一块对应于第一色彩空间分量，以及所述第二块对应于第二色彩空间分量；
识别所述第一块中的参考区域，所述参考区域以及所述第二块中的子块对应于所述图像帧中的相同区域，且所述参考区域被划分为多个单位单元；
识别所述参考区域中的所述多个单位单元中的至少两个参考单位单元；
识别用于处理所述识别的参考单位单元各自的帧内预测模式；
基于所述识别的帧内预测模式来决定用于处理所述第二块中的所述子块的帧内预测模式；
基于所述决定的帧内预测模式来产生所述第二块中的所述子块的帧内预测子；以及
基于所述第二块中的所述子块的所述帧内预测子对所述第二块中的所述子块进行编码或解码以用于输出。
18.如权利要求17所述的非暂态计算机可读介质，其特征在于，其中，
决定所述帧内预测模式包括将所述识别的帧内预测模式当中的使用最频繁的帧内预测模式设置为用于处理所述第二块中的所述子块的所述帧内预测模式。
19.如权利要求17所述的非暂态计算机可读介质，其特征在于，其中，
所述至少两个参考单位单元包括聚集在所述参考区域的中心的预定数量的参考单位单元。
20.如权利要求17所述的非暂态计算机可读介质，其特征在于，其中，
所述至少两个参考单位单元包括分别聚集在所述参考区域的不同角落的多组参考单位单元。
21.一种视频编解码方法，其特征在于，所述方法包括：
接收与图像帧的第一块与第二块相关的输入数据，所述第一块对应于第一色彩空间分量，且所述第二块对应于第二色彩空间分量；
识别所述第一块中的参考区域，所述参考区域与所述第二块中的子块对应于所述图像帧中的相同区域，且所述参考区域被划分为一个或多个单位单元；
将所述参考区域中在预定方向上最靠近所述参考区域的中心的单位单元识别为参考单位单元；
识别用于处理所述识别的参考单位单元的帧内预测模式；
基于所述识别的帧内预测模式来决定用于处理所述第二块中的所述子块的帧内预测模式；
基于所述决定的帧内预测模式来产生所述第二块中的所述子块的帧内预测子；以及
基于所述第二块中的所述子块的所述帧内预测子对所述第二块中的所述子块进行编码或解码以用于输出。
22.如权利要求21所述的视频编解码方法，其特征在于，其中，
所述第一色彩空间分量是亮度分量；以及
所述第二色彩空间分量是色度分量。
CN201780042718.9A 2016-08-05 2017-07-31 视频编解码的方法与装置 Active CN109479128B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662371251P 2016-08-05 2016-08-05
US62/371,251 2016-08-05
US15/658,854 2017-07-25
US15/658,854 US10440391B2 (en) 2016-08-05 2017-07-25 Method and apparatus of video coding
PCT/CN2017/095090 WO2018024171A1 (en) 2016-08-05 2017-07-31 Method and apparatus of video coding

Publications (2)

Publication Number Publication Date
CN109479128A CN109479128A (zh) 2019-03-15
CN109479128B true CN109479128B (zh) 2021-07-30

Family

ID=61069920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780042718.9A Active CN109479128B (zh) 2016-08-05 2017-07-31 视频编解码的方法与装置

Country Status (7)

Country Link
US (1) US10440391B2 (zh)
EP (1) EP3491823A4 (zh)
CN (1) CN109479128B (zh)
BR (1) BR112019002328A8 (zh)
TW (1) TWI662828B (zh)
WO (1) WO2018024171A1 (zh)
ZA (1) ZA201901264B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200033760A (ko) * 2018-09-20 2020-03-30 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2020191575A1 (zh) * 2019-03-25 2020-10-01 富士通株式会社 图像编解码方法、装置以及电子设备
CN117581533A (zh) * 2021-05-27 2024-02-20 抖音视界有限公司 用于视频处理的方法、设备和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104054344A (zh) * 2012-01-19 2014-09-17 高通股份有限公司 对色度数据进行解块以用于视频译码
CN104737537A (zh) * 2012-09-07 2015-06-24 高通股份有限公司 用于可缩放视频译码的加权预测模式
WO2016074567A1 (en) * 2014-11-11 2016-05-19 Mediatek Singapore Pte. Ltd Method of video coding using separate coding tree for luma and chroma

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101291196B1 (ko) * 2008-01-25 2013-07-31 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
CN101494792A (zh) * 2009-01-15 2009-07-29 北京航空航天大学 一种基于边缘特征的h.264/avc帧内预测方法
JP5636507B2 (ja) * 2011-01-07 2014-12-03 メディア テック シンガポール ピーティーイー．リミテッド 改良されたイントラ予測モード符号化の方法及び装置
US9288500B2 (en) * 2011-05-12 2016-03-15 Texas Instruments Incorporated Luma-based chroma intra-prediction for video coding
CN103338371B (zh) 2013-06-07 2016-11-09 东华理工大学 一种快速高效率视频编码帧内模式判决方法
US20160373770A1 (en) * 2015-06-18 2016-12-22 Qualcomm Incorporated Intra prediction and intra mode coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104054344A (zh) * 2012-01-19 2014-09-17 高通股份有限公司 对色度数据进行解块以用于视频译码
CN104737537A (zh) * 2012-09-07 2015-06-24 高通股份有限公司 用于可缩放视频译码的加权预测模式
WO2016074567A1 (en) * 2014-11-11 2016-05-19 Mediatek Singapore Pte. Ltd Method of video coding using separate coding tree for luma and chroma

Also Published As

Publication number Publication date
EP3491823A4 (en) 2020-02-26
ZA201901264B (en) 2020-09-30
US10440391B2 (en) 2019-10-08
TWI662828B (zh) 2019-06-11
BR112019002328A2 (pt) 2019-06-18
TW201817228A (zh) 2018-05-01
BR112019002328A8 (pt) 2023-02-07
US20180041773A1 (en) 2018-02-08
WO2018024171A1 (en) 2018-02-08
EP3491823A1 (en) 2019-06-05
CN109479128A (zh) 2019-03-15

Similar Documents

Publication Publication Date Title
US20230421757A1 (en) Method and apparatus for encoding/decoding image and recording medium storing bit stream
KR102709345B1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US20230370582A1 (en) Method and device for encoding/decoding image, and recording medium storing bit stream
US10542271B2 (en) Method and apparatus for major color index map coding
KR20240132433A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN117499627A (zh) 编码/解码视频的方法和设备以及存储比特流的记录介质
US11272182B2 (en) Methods and apparatus of alternative transform skip mode for image and video coding
JP2019537337A (ja) 距離重み付けされた双方向性イントラ予測
CN104754362B (zh) 使用精细划分块匹配的图像压缩方法
CN109479128B (zh) 视频编解码的方法与装置
CN106303535B (zh) 参考像素取自不同程度重构像素的图像压缩方法和装置
KR102481051B1 (ko) 비디오 코딩에서의 제한된 선형 모델 파라미터 도출을 위한 방법 및 장치
CN105828080B (zh) 图像编解码方法及装置
WO2016124154A1 (zh) 图像编码方法和装置及图像解码方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220506

Address after: Hsinchu County, Taiwan, China

Patentee after: MEDIATEK Inc.

Address before: Hsinchu Science Park Road, Taiwan city of Hsinchu China Dusing 1

Patentee before: MEDIATEK Inc.

TR01 Transfer of patent right