CN111937395A - 用于编码/解码图像的方法和装置 - Google Patents

用于编码/解码图像的方法和装置 Download PDF

Info

Publication number
CN111937395A
CN111937395A CN201980023756.9A CN201980023756A CN111937395A CN 111937395 A CN111937395 A CN 111937395A CN 201980023756 A CN201980023756 A CN 201980023756A CN 111937395 A CN111937395 A CN 111937395A
Authority
CN
China
Prior art keywords
block
prediction
mode
encoding
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980023756.9A
Other languages
English (en)
Inventor
金起佰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
B1 Imaging Technology Research Institute
Original Assignee
金起佰
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 金起佰 filed Critical 金起佰
Priority to CN202311458822.XA priority Critical patent/CN117692639A/zh
Priority to CN202311448655.0A priority patent/CN117692637A/zh
Priority to CN202311451276.7A priority patent/CN117692638A/zh
Publication of CN111937395A publication Critical patent/CN111937395A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

本发明的目的是提供用于帧内预测的方法和装置。另外，本发明的目的是提供用于基于子块单元的帧内预测的方法和装置。此外，本发明的目的是提供用于确定子块单元的分割顺序和编码顺序的方法和装置。

Description

用于编码/解码图像的方法和装置
技术领域
本公开内容涉及对图像进行编码和解码的技术，并且更具体地，涉及用于在帧内预测中执行编码/解码的方法和装置。
背景技术
随着因特网和便携式终端的广泛使用以及信息和通信技术的发展，多媒体数据被越来越多地使用。因此，为了通过各种系统中的图像预测提供各种服务或执行各种任务，迫切需要提高图像处理系统的性能和效率。但是，研究和开发成果尚未跟得上这种趋势。
因此，用于对图像进行编码/解码的现有方法和装置需要在图像处理、特别是在图像编码或图像解码中的性能改进。
发明内容
技术问题
本公开内容的目的是提供一种用于执行帧内预测的方法和装置。本公开内容的另一目的是提供一种用于执行以子块为单位(subblock-wise)的帧内预测的方法和装置。本公开内容的另一目的是提供一种用于执行划分为子块并确定子块的编码顺序的方法和装置。
技术解决方案
在根据本公开内容的用于图像编码/解码的方法和装置中，配置对于当前块的划分类型的候选组，并且基于候选组和候选索引来确定当前块到子块的划分类型，以当前块为单位导出帧内预测模式，并且基于当前块的帧内预测模式和划分类型来对当前块进行帧内预测。
有益效果
根据本公开内容，可以通过以子块为单位的帧内预测来提高编码/解码性能。此外，根据本公开内容，可以通过有效地配置以子块为单位的划分类型的候选组来提高预测准确性。此外，根据本公开内容，可以通过调整以子块为单位的编码顺序来提高帧内预测编码/解码效率。
附图说明
图1是示出根据本公开内容的实施方式的图像编码和解码系统的概念图。
图2是示出根据本公开内容的实施方式的图像编码装置的框图。
图3是示出根据本公开内容的实施方式的图像解码装置的框图。
图4是示出可以在本公开内容的块分割器中获得的各种划分类型的示例图。
图5是示出根据本公开内容的实施方式的帧内预测模式的示例图。
图6是示出根据本公开内容的实施方式的用于帧内预测的参考像素的配置的示例图。
图7是示出根据本公开内容的实施方式的用于帧内预测的目标块和与该目标块相邻的块的概念图。
图8是示出可以从编码块获得的各种子块划分类型的图。
图9是示出根据本公开内容的实施方式的用于帧内预测模式的参考像素区域的示例图。
图10是示出根据本公开内容的实施方式的在右上对角线预测模式中可用的编码顺序的示例图。
图11是示出根据本公开内容的实施方式的在水平模式下可用的编码顺序的示例图。
图12是示出根据本公开内容的实施方式的在右下对角线预测模式中可用的编码顺序的示例图。
图13是示出根据本公开内容的实施方式的在垂直模式下可用的编码顺序的示例图。
图14是示出根据本公开内容的实施方式的在左下对角线预测模式中可用的编码顺序的示例图。
图15是示出根据本公开内容的实施方式的基于帧内预测模式和划分类型的编码顺序的示例图。
具体实施方式
在根据本公开内容的用于图像编码/解码的方法和装置中，可以配置对于当前块可用的划分类型的候选组，可以基于候选组和候选索引来确定当前块到子块的划分类型，可以以当前块为单位导出帧内预测模式，并且可以基于当前块的帧内预测模式和子块划分类型来对当前块进行帧内预测。
本发明的模式
本公开内容可以进行各种修改并且具有各种实施方式。将参照附图描述本公开内容的特定实施方式。但是，该实施方式并不旨在限制本公开内容的技术范围，并且应当理解，本公开内容涵盖了在本公开内容的范围和构思内的各种修改、等同形式和替选形式。
在本公开内容中使用的术语第一、第二、A和B可以用于描述各种部件，而不是限制部件。这些表述仅用于将一个部件与另一部件区分开。例如，在不脱离本公开内容的范围的情况下，第一部件可以被称为第二部件，并且，第二部件可以被称为第一部件。该术语和/或涵盖多个相关项的组合或多个相关项中的任何一个。
当提到一个部件“连接至”另一部件或“与另一部件耦接/耦接至”另一部件时，应当理解为一个部件直接或通过任何其他部件连接至另一部件。另一方面，当提到一个部件“直接连接至”或“直接耦接至”另一部件时，应当理解为在部件之间不存在其他部件。
提供在本公开内容中使用的术语仅用于描述特定实施方式，而不旨在限制本公开内容。除非上下文另有明确规定，否则单数形式包括复数指代。在本公开内容中，术语“包括”或“具有”表示特征、数字、步骤、操作、部件、零件或其组合的存在，但不排除存在或添加一个或更多个其他特征、数字、步骤、操作、部件、零件或其组合。
除非另有定义，否则本公开内容中使用的包括技术或科学术语的术语可以具有与本领域技术人员通常理解的含义相同的含义。字典中通常定义的术语可以被解释为与相关技术的上下文含义具有相同或类似的含义。除非另有定义，否则这些术语不应被解释为理想或过度形式的含义。
通常，图像可以根据其颜色格式包括一个或更多个颜色空间。该图像可以包括具有相同尺寸的一个或更多个图片或者具有不同尺寸的一个或更多个图片。例如，YCbCr颜色配置可以支持例如4:4:4、4:2:2、4:2:0和单色(仅由Y组成)的颜色格式。例如，YCbCr 4:2:0可以由一个亮度分量(在该示例中的Y)和两个色度分量(在该示例中的Cb和Cr)组成。在这种情况下，色度分量和亮度分量的配置比可以具有1:2的宽度-高度。例如，在4:4:4的情况下，其在宽度和高度方面可以具有相同的配置比率。如以上示例中那样，当图片包括一个或更多个颜色空间时，可以将图片分割成颜色空间。
可以根据图像的图像类型(例如，图片、切片、图块等)将图像分类为I、P和B。I图片可以是在没有参考图片的情况下被编码/解码的图像。P图片可以是使用参考图片进行编码/解码但仅允许前向预测的图像。B图片可以是使用参考图片进行编码/解码且允许双向预测的的图像。但是，根据编码/解码配置，可以组合一些类型(P和B)或者可以支持具有不同组成的图像类型。
在本公开内容中生成的各种编码/解码信息可以被显式地或隐式地处理。显式处理可以被理解为以下处理：通过编码器生成指示与序列、切片、图块、块或子块中的编码信息相关的多个候选的候选组中的一个候选的选择信息，并且将该选择信息包括在比特流中，并且通过解码器在与编码器中相同的单元级别解析相关信息来将相关信息重构为解码信息。隐式处理可以被理解为在编码器和解码器两者处以相同的过程、规则等处理编码/解码信息。
图1是示出根据本公开内容的实施方式的图像编码和解码系统的概念图。
参照图1，图像编码装置105和图像解码装置100中的每一个可以是用户终端，例如，个人计算机(PC)、膝上型计算机、个人数字助理(PDA)、便携式多媒体播放器(PMP)、便携式游戏机(PSP)、无线通信终端、智能手机或电视(TV)、或服务器终端(例如应用程序服务器或服务服务器)。图像编码装置105和图像解码装置100中的每一个可以是各种装置中的任何一种，每个装置包括：与各种装置或有线/无线通信网络通信的诸如通信调制解调器的通信装置；存储用于帧间预测或帧内预测的各种程序和数据以对图像进行编码或解码的存储器120或125；或通过执行程序来执行计算和控制操作的处理器110或115。
此外，图像编码装置105可以通过诸如因特网、短距离无线通信网、无线局域网(WLAN)，无线宽带(Wi-Bro)网或移动通信网等有线/无线通信网或者经由诸如电缆或通用串行总线(USB)的各种通信接口实时地或非实时地将编码为比特流的图像发送至图像解码装置100，并且图像解码装置100可以通过解码比特流将接收到的比特流重建为图像，并且再现该图像。此外，图像编码装置105可以通过计算机可读记录介质将编码为比特流的图像发送至图像解码装置100。
虽然上述图像编码装置和图像解码装置可以是单独的装置，但是根据实现方式，它们可以被并入单个图像编码/解码装置中。在这种情况下，图像编码装置的一些部件可以与图像解码装置的它们的对应部件基本相同。因此，这些部件可以被配置成包括相同的结构或执行至少相同的功能。
因此，在以下对技术部件及其操作原理的详细描述中，将取消对相应技术部件的多余描述。此外，由于图像解码装置是将在图像编码装置中执行的图像编码方法应用于解码的计算装置，因此以下描述将集中于图像编码装置。
计算装置可以包括：存储器，其存储执行图像编码方法和/或图像解码方法的程序或软件模块；以及处理器，其连接至存储器并执行程序。图像编码装置可以被称为编码器，并且图像解码装置可被称为解码器。
图2是示出根据本公开内容的实施方式的图像编码装置的框图。
参照图2，图像编码装置20可以包括预测单元200、减法单元205、变换单元210、量化单元215、逆量化单元220、逆变换单元225、加法单元230、滤波器单元235、编码图片缓冲器240和熵编码单元245。
预测单元200可以使用作为软件模块的预测模块来实现，并且通过针对要被编码的块使用帧内预测或帧间预测来生成预测块。预测单元200可以通过预测在图像中要被编码的当前块来生成预测块。换言之，预测单元200可以通过根据帧间预测或帧内预测来预测当前块中像素的像素值来生成具有每个像素的预测像素值的预测块。此外，预测单元200可以将生成预测块所需的信息(例如关于如帧内预测模式或帧间预测模式的预测模式的信息)提供给编码单元，使得编码单元可以对关于预测模式的信息进行编码。可以根据编码/解码配置来配置经受预测的处理单元、预测方法和关于处理单元的具体细节。例如，可以基于预测单元来确定预测方法和预测模式，并且可以基于变换单元执行预测。
帧间预测单元可以根据运动预测方法将平移运动模型和非平移运动模型彼此进行区分。对于平移运动模型，仅考虑平行平移来执行预测，而对于非平移运动模型，除了平行平移之外，还可以考虑诸如旋转、透视和放大/缩小的运动来执行预测。在单向预测的假设下，平移运动模型可能需要一个运动矢量，而非平移运动模型可能需要一个或更多个运动矢量。在非平移运动模型的情况下，每个运动矢量可以是应用于当前块中的预设位置(例如当前块的左上顶点和右上顶点)的信息，并且可以基于相应的运动矢量在像素级或子块级获得当前块中的待预测区域的位置。帧间预测单元可以根据运动模型共同地应用一部分后续处理，并且单独地应用另一部分后续处理。
帧间预测单元可以包括参考图片构造单元、运动估计单元、运动补偿器、运动信息决定单元和运动信息编码器。参考图片构造单元可以包括参考图片列表L0或L1中的在当前图片之前或之后的经编码的图片。可以从包括在参考图片列表中的参考图片获得预测块，并且根据编码配置，当前图像还可以被配置为参考图片并且被包括在至少一个参考图片列表中。
帧间预测单元的参考图片构造单元可以包括参考图片内插器。参考图片内插器可以根据内插精度对分数像素执行内插。例如，可以将8抽头的基于离散余弦变换(DCT)的内插滤波器应用于亮度分量，并且可以将4抽头的基于DCT的内插滤波器应用于色度分量。
帧间预测单元的运动估计单元可以使用参考图片来检测与当前块具有高相关性的块。为此，可以使用各种方法，例如基于全搜索的块匹配算法(FBMA)、三步搜索(TSS)等。运动补偿器可以在运动估计过程中获得预测块。
帧间预测单元的运动信息确定单元可以执行为当前块选择最佳运动信息的处理。可以以诸如跳过模式、合并模式和竞争模式的运动信息编码模式对运动信息进行编码。可以通过根据运动模型组合所支持的模式来配置运动信息编码模式。这样的示例可以包括(平移)跳过模式、(非平移)跳过模式、(平移)合并模式、(非平移)合并模式、(平移)竞争模式和(非平移)竞争模式。根据编码配置，模式的一部分可以被包括在候选组中。
在运动信息编码模式中，可以从至少一个候选块获得关于当前块的运动信息的预测值(运动矢量、参考图片、预测方向等)。当支持两个或更多个候选块时，可以生成最佳候选选择信息。在跳过模式(无残差信号)和合并模式(存在残差信号)中，可以在没有任何处理的情况下将预测值用作关于当前块的运动信息，而在竞争模式中，可以生成关于当前块的运动信息与预测值之间的差信息。
可以根据运动信息编码模式以各种方式自适应地配置关于当前块的运动信息的预测值的候选组。关于与当前块在空间上相邻的块(例如，左块、上块、左上块、右上块和左下块等)的运动信息可以被包括在候选组中，关于与当前块在时间上相邻的块的运动信息可以被包括在候选组中，并且关于空间候选和时间候选的混合运动信息可以被包括在候选组中。
在时间上相邻的块可以包括其他图片中的与当前块对应(匹配)的块，并且可以参考该块的左块、右块、上块、下块、左上块、右上块、左下块和右下块。混合运动信息可以指作为关于在空间上相邻的块的运动信息和关于在时间上相邻的块的运动信息的平均值、中值等获得的信息。
可以对运动信息进行优先级排序以配置运动信息预测值候选组。可以根据优先级来设置要包括在预测值候选组中的运动信息的顺序。当根据优先级在候选组中填充与候选组中的候选(根据运动信息编码模式确定)的数量一样多的运动信息时，可以完全配置候选组。可以以关于在空间上相邻的块的运动信息、关于在时间上相邻的块的运动信息、以及关于在空间上相邻的块和在时间上相邻的块的混合运动信息的顺序，对运动信息进行优先级排序。然而，也可以修改优先级。
例如，关于在空间上相邻的的运动信息可以以左块、上块、右上块、左下块和左上块的顺序被包括在候选组中，并且关于在时间上相邻的块的运动信息可以以右下块、中块、右块和下块的顺序被包括在候选组中。
减法单元205可以通过从当前块减去预测块来生成残差块。换言之，减法单元205可以计算要编码的当前块中的每个像素的像素值与由预测单元生成的预测块中的对应像素的预测像素值之间的差，以生成块的形式的残差信号即残差块。此外，减法单元205可以以除了通过后面描述的块分割器获得的块之外的单元生成残差块。
变换单元210可以将空间信号变换为频率信号。通过变换处理获得的信号被称为变换系数。例如，具有从减法单元接收的残差信号的残差块可以被变换为具有变换系数的变换块，并且根据编码配置来确定输入信号，该输入信号不限于残差信号。
变换单元可以通过(但不限于)诸如哈达玛变换、基于离散正弦变换(DST)的变换或基于DCT的变换的变换方案来变换残差块。这些变换方案可以以各种方式改变和修改。
可以支持所述变换方案中的至少一个，并且可以支持每个变换方案的至少一个子变换方案。可以通过修改变换方案中的基本矢量的一部分来获得子变换方案。
例如，在DCT的情况下，可以支持子变换方案DCT-1至DCT-8中的一个或更多个，并且在DST的情况下，可以支持子变换方案DST-1至DST-8中的一个或更多个。变换方案候选组可以被配置有子变换方案的一部分。例如，DCT-2、DCT-8和DST-7可以被分组为用于变换的候选组。
可以在水平方向/垂直方向上执行变换。例如，通过DCT-2可以在水平方向上执行一维变换，通过DST-7可以在垂直方向上执行一维变换。利用二维变换，可以将像素值从空间域变换到频域。
可以采用一个固定变换方案，或者可以根据编码/解码配置自适应地选择变换方案。在后一种情况下，可以显式地或隐式地选择变换方案。当显式地选择变换方案时，可以例如在块级别生成关于在水平方向和垂直方向中的每一个上应用的变换方案或变换方案集的信息。当隐式地选择变换方案时，可以根据图像类型(I/P/B)、颜色分量、块尺寸、块形状、帧内预测模式等来限定编码配置，并且可以根据编码配置来选择预定的变换方案。
此外，可以根据编码配置跳过一些变换。也就是说，可以显式地或隐式地省略水平单元和垂直单元中的一个或更多个。
此外，变换单元可以将生成变换块所需的信息发送至编码单元，使得编码单元对信息进行编码，将经编码信息包括在比特流中，并且将比特流发送至解码器。因此，解码器的解码单元可以对来自比特流的信息进行解析，以用于逆变换。
量化单元215可以对输入信号进行量化。从量化获得的信号被称为量化系数。例如，量化单元215可以通过对具有从变换单元接收的残差变换系数的残差块进行量化来获得具有量化系数的量化块，并且可以根据编码配置确定输入信号，该编码配置不限于残差变换系数。
量化单元可以通过但不限于诸如死区均匀边界值量化、量化加权矩阵等的量化方案对变换的残差块进行量化。可以以各种方式改变和修改以上量化方案。
可以根据编码配置跳过量化。例如，可以根据编码配置(例如，量化参数为0，即无损压缩环境)来跳过量化(和逆量化)。在另一示例中，当考虑到图像的特性而没有执行基于量化的压缩性能时，可以省略量化过程。在量化块(M×N)的整个或部分区域(M/2×N/2、M×N/2或M/2×N)中可以跳过量化，并且可以显式或隐式地设置量化跳过选择信息。
量化单元可以将生成量化块所需的信息发送至编码单元，使得编码单元对该信息进行编码，将经编码信息包括在比特流上，并且将比特流发送至解码器。因此，解码器的解码单元可以对来自比特流的信息进行解析，以用于逆量化。
尽管在假设通过变换单元和量化单元对残差块进行变换和量化的情况下描述了以上示例，但是可以通过对残差信号进行变换来生成具有变换系数的残差块，并且可以不对其进行量化。残差块可以仅经受量化而不经受变换。此外，残差块可以既经受变换又经受量化。这些操作可以根据编码配置来确定。
逆量化单元220对由量化单元215量化的残差块进行逆量化。也就是说，逆量化单元220通过对量化频率系数序列进行逆量化来产生具有频率系数的残差块。
逆变换单元225对由逆量化单元220逆量化的残差块进行逆变换。也就是说，逆变换单元225对逆量化的残差块的频率系数进行逆变换，以生成具有像素值的残差块，即重构的残差块。逆变换单元225可以通过相反地执行由变换单元210使用的变换方案来执行逆变换。
加法单元230通过将由预测单元200预测的预测块与由逆变换单元225恢复的残差块相加来重构当前块。重构的当前块作为参考图片(或参考块)被存储在编码图片缓冲器240中，以在随后对当前块的下一块、另一个块或另一图片进行编码时用作参考图片。
滤波器单元235可以包括一个或更多个后处理滤波器，例如解块滤波器、样本自适应偏移(SAO)和自适应环路滤波器(ALF)。解块滤波器可以去除在重构图片中的块之间的边界处发生的块失真。ALF可以基于通过对在通过解块滤波器对块进行滤波之后的重构图像与原始图像进行比较而获得的值来执行滤波。SAO可以对在原始图像与应用解块滤波器的残差块之间的像素级别的偏移差进行重构。这些后处理滤波器可以应用于重构的图片或块。
编码图片缓冲器240可以存储由滤波器单元235重构的块或图片。存储在编码图片缓冲器240中的重构块或图片可以被提供给执行帧内预测或帧间预测的预测单元200。
熵编码单元245以各种扫描方法扫描所生成的量化频率系数序列，以生成量化系数序列，通过熵编码对量化系数序列进行编码，并且输出熵编码的系数序列。扫描图案可以被配置为各种图案(例如，Z字形、对角线和光栅)中的一种。此外，可以生成包括从每个分量接收的编码信息的编码数据，并且在比特流中输出该编码数据。
图3是示出根据本公开内容的实施方式的图像解码装置的框图。
参照图3，图像解码装置30可以被配置成包括熵解码器305、预测单元310、逆量化单元315、逆变换单元320、加法单元/减法单元325、滤波器330和解码图片缓冲器335。
此外，预测单元310可以被配置成包括帧内预测模块和帧间预测模块。
当从图像编码装置20接收到图像比特流时，可以将图像比特流发送至熵解码器305。
熵解码器305可以将比特流解码为包括量化系数的解码数据和要被发送至每个部件的解码信息。
预测单元310可以基于从熵解码器305接收的数据生成预测块。基于存储在解码图片缓冲器335中的参考图像，可以使用默认配置方案来产生参考图片列表。
帧间预测单元可以包括参考图片构造单元、运动补偿器和运动信息解码器。部件中的一些可以执行与编码器中相同的过程，并且其他部件可以相反地执行编码器的过程。
逆量化单元315可以对在比特流中提供并由熵解码器305解码的经量化的变换系数进行逆量化。
逆变换单元320可以通过对变换系数应用逆DCT、逆整数变换或类似的逆变换技术来生成残差块。
逆量化单元315和逆变换单元320可以反向地执行上述图像编码装置20的变换单元210和量化单元215的处理，并且可以以各种方式实现。例如，逆量化单元315和逆变换单元320可以使用与变换单元210和量化单元215共享的相同处理和逆变换，并且可以使用从图像编码装置20接收的关于变换和量化处理的信息(例如，变换尺寸、变换形状、量化类型等)来反向地执行变换和量化。
可以将已经被逆量化和逆变换的残差块添加到由预测单元310得出的预测块，从而产生重构的图像块。加法可以由加法单元/减法单元325执行。
关于滤波器330，当需要时，可以应用解块滤波器以从重构的图像块中去除块现象。为了改善解码处理之前和之后的视频质量，可以另外使用其他环路滤波器。
经重构和滤波的图像块可以被存储在解码图片缓冲器335中。
尽管在附图中未示出，但是图像编码/解码装置还可以包括图片分割器和块分割器。
图片分割器可以将图片分割(或划分)成至少一个处理单元，例如，颜色空间(例如，YCbCr、RGB或XYZ)、图块、切片或基本编码单元(最大编码单元或编码树单元(CTU))，并且块分割器可以将基本编码单元分割成至少一个处理单元(例如，编码单元、预测单元、变换单元、量化单元、熵编码单元和环路内滤波单元)。
可以通过在水平方向和垂直方向上以规则的间隔对图片进行分割来获得基本编码单元。以这种方式，图片可以被分割成但不限于图块、切片等。尽管诸如图块或切片的划分单元可以包括基本编码块的整数倍，但是位于图像边缘的划分单元可能是例外的。在这种情况下，可以调整基本编码块的尺寸。
例如，可以将图片划分成基本编码单元，并且然后分割成以上单元，或者可以将图片划分成以上单元，然后分割成基本编码单元。在本公开内容中假设划分和分割成单元的顺序为前者，这不应被解释为限制本公开内容。根据编码/解码配置，后一种情况也是可能的。在后一种情况下，可以根据划分单元(例如，图块)来自适应地改变基本编码单元的尺寸。也就是说，这意味着在每个划分单元中可以支持具有不同尺寸的基本编码块。
在本公开内容中，将通过将图片划分成基本编码单元配置为默认设置的理解来给出以下描述。默认设置可能意味着图片没有被划分成图块或切片，或者图片是一个图块或一个切片。然而，如上所述，即使当图片首先被划分成划分单元(图块、切片等)并且然后基于划分单元被分割成基本编码单元时(即，当每个划分单元的数量不是基本编码单元的整数倍时)，应当理解，以下描述的各种实施方式可以以相同的方式或进行一些修改来应用。
在划分单元中，切片可以是根据扫描图案的至少一个连续块的组，并且图块可以是在空间上相邻的块的矩形组。其他划分单元可以根据其限定来支持和构造。切片和图块可以是出于并行化目的而受支持的划分单元。为此，可以限制划分单元之间的参考(即，不允许进行参考)。
切片可以使用关于连续块起始位置的信息为每个单元生成划分信息，并且在图块的情况下，图块可以生成关于水平和垂直划分线的信息或生成图块的位置信息(例如，左上位置、右上位置、左下位置和右下位置)。
可以根据编码/解码配置将切片和图块中的每一个分割成多个单元。
例如，单元A可以包括影响编码/解码过程的配置信息(即，图块头部或切片头部)，并且单元B可以不包括配置信息。替选地，单元A可以是在编码/解码期间不允许参考另一单元的单元，并且单元B可以是允许参考另一单元的单元。此外，单元A可以包括与单元B处于层级关系的另一个单元B，或者可以与单元B具有对等关系。
单元A和单元B可以分别是切片和图块(或图块和切片)。替选地，单元A和单元B中的每一个可以是切片或图块。例如，单元A可以是切片/图块类型1，并且单元B可以是切片/图块类型2。
类型1和类型2中的每一个都可以是一个切片或图块。替选地，类型1可以是多个切片或图块(切片组或图块组)(包括类型2)，并且类型2可以是一个切片或图块。
如以上所述，在假设图片由一个切片或图块组成的情况下描述本公开内容。然而，如果生成两个或更多个划分单元，则以上描述可以应用于以下描述的实施方式中并在以下描述的实施方式中被理解。此外，单元A和单元B是具有划分单元可以具有的特征的示例，并且组合各个示例中的单元A和单元B的示例也是可能的。
块分割器可以从图片分割器获得关于基本编码单元的信息，并且基本编码单元可以参考用于图像编码/解码处理中的预测、变换、量化等的基本(或起始)单元。在这种情况下，基本编码单元可以根据颜色格式(在该示例中为YCbCr)由一个亮度基本编码块(最大编码块或CTB)和两个基本色度编码块组成，并且可以根据颜色格式来确定每个块的尺寸。根据划分过程可以获得编码块(CB)。CB可以被理解为由于某些限制而不再进一步细分的单元，并且可以被设置为用于划分为子单元的起始单元。在本公开内容中，块概念性地包含诸如三角形、圆形等的各种形状，而不限于正方形。为了便于描述，假设块是矩形的。
虽然在一个颜色分量的上下文中给出以下描述，但是其也以与根据颜色格式的比率成比例地可适用于具有一些修改的其他颜色分量(例如，在YCbCr 4:2:0的情况下，亮度分量与色度分量的宽-高长度比为2:1)。此外，尽管取决于其他颜色分量(例如，取决于Cb/Cr中的Y的块划分结果)的块划分是可能的，但是应当理解，每个颜色分量的块独立划分也是可能的。此外，尽管可以使用一种公共块划分配置(考虑到与长度比成比例)，但是还需要考虑和理解根据颜色分量使用单独的块划分配置。
在块分割器中，块可以被表示为M×N，并且每个块的最大值和最小值可以在该范围内获得。例如，如果块的最大值和最小值分别是256×256和4×4，则可以获得尺寸为2m×2n(在该示例中，m和n是2至8的整数)的块、尺寸为2m×2n(在该示例中，m和n是2至128的整数)的块或者尺寸为m×m(在该示例中，m和n是4至256的整数)的块。在本文中，m和n可以相等或不同，并且可以生成支持块的一个或更多个范围诸如最大值和最小值。
例如，可以生成关于块的最大尺寸和最小尺寸的信息，并且在一些划分配置中可以生成关于块的最大尺寸和最小尺寸的信息。在前一种情况下，信息可以是关于可以在图像中产生的最大尺寸和最小尺寸的范围信息，而在后一种情况下，信息可以是关于可以根据一些划分配置产生的最大尺寸和最小尺寸的信息。划分配置可以由图像类型(I/P/B)、颜色分量(YCbCr等)、块类型(编码/预测/变换/量化)、划分类型(索引或类型)和划分方案(作为树方法的四叉树(QT)、二叉树(BT)和三叉树(TT)，以及作为类型方法的SI2、SI3和SI4)来限定。
此外，可以存在对可用于块的宽高比(块形状)的约束，并且在这点上，可以设置边界值。仅小于或等于/小于边界值k的块可以被支持，其中k可以根据宽高比A/B(A是宽度与高度之间的较长或相等的值，而B是另一个值)来限定。k可以是等于或大于1的实数，例如，1.5、2、3、4等。如在以上示例中，可以支持对图像中的一个块的形状的约束，或者可以根据划分配置支持一个或更多个约束。
总之，可以基于上述范围和约束以及稍后描述的划分配置来确定块划分是否被支持。例如，当从块(父块)分割的候选(子块)满足支持块条件时，可以支持划分，否则，可以不支持划分。
块分割器可以关于图像编码装置和图像解码装置的每个部件来配置，并且在该处理中可以确定块的尺寸和形状。可以根据部件来配置不同的块。所述块可以包括用于预测单元的预测块、用于变换单元的变换块和用于量化单元的量化块。然而，本公开内容不限于此，并且可以针对其他部件另外定义块单元。虽然在本公开内容中在每个部件中输入和输出中的每个的形状被描述为正方形，但是一些部件的输入和输出可以具有任何其他形状(例如，三角形)。
可以从较高的单元确定块分割器中的初始(或起始)块的尺寸和形状。初始块可以被分割成更小的块。一旦根据块划分确定了最佳尺寸和形状，则可以将该块确定为较低单元的初始块。较高单元可以是编码块，并且较低单元可以是预测块或变换块，本公开内容不限于此。相反，各种修改例是可能的。一旦如以上示例中那样确定了较低单元的初始块，就可以执行划分过程以检测像较高单元那样的最佳尺寸和形状的块。
总之，块分割器可以将基本编码块(或最大编码块)分割成至少一个编码块，并且编码块可以被分割成至少一个预测块/变换块/量化块。此外，预测块可以被分割成至少一个变换块/量化块，并且变换块可以被分割成至少一个量化块。一些块可以与其他块具有依赖关系(即，由较高单元和较低单元限定)，或者可以与其他块具有独立关系。例如，预测块可以是变换块上方的较高单元，或者可以是独立于变换块的单元。可以根据块的类型建立各种关系。
根据编码/解码配置，可以确定是否将较高单元和较低单元进行组合。单元之间的组合意味着较高单元的块经受较低单元(例如，在预测单元、变换单元、逆变换单元等中)的编码/解码处理，而不被分割成较低单元。也就是说，这可能意味着在多个单元之间共享划分过程，并且在单元中的一个(例如，较高单元)中生成划分信息。
例如，(当编码块与预测块或变换块结合时)，编码块可以经受预测、变换和逆变换。
例如，(当编码块与预测块组合时)，编码块可以经受预测，并且在尺寸上等于或小于编码块的变换块可以经受变换和逆变换。
例如，(当编码块与变换块结合时)，在尺寸上等于或小于编码块的预测块可以经受预测，并且编码块可以经受变换和逆变换。
例如，(当预测块与变换块结合时)，在尺寸上等于或小于编码块的预测块可以经受预测、变换和逆变换。
例如，(当不存在块组合时)，在尺寸上等于或小于编码块的预测块可以经受预测，并且在尺寸上等于或小于编码块的变换块可以经受变换和逆变换。
尽管在以上示例中已经描述了编码块、预测块和变换块的各种情况，但是本公开内容不限于此。
对于单元之间的组合，在图像中可以支持固定配置，或者考虑各种编码/解码因素可以支持自适应配置。编码/解码因素包括图像类型、颜色分量、编码模式(帧内/帧间)、划分配置、块尺寸/形状/位置、宽高比、预测相关信息(例如，帧内预测模式、帧间预测模式等)、变换相关信息(例如，变换方案选择信息等)、量化相关信息(例如，量化区域选择信息和量化变换系数编码信息)等。
当如上所述已经检测到最佳尺寸和形状的块时，可以生成该块的模式信息(例如，划分信息)。模式信息可以连同从块所属的部件生成的信息(例如，预测相关信息和变换相关信息)一起被包括在比特流中并且被发送至解码器，并且可以由解码器以相同单元级别解析以用于视频解码过程中。
现在，将描述划分方案。尽管为了便于描述，假设初始块被成形为正方形，但是本公开内容不限于此，并且该描述可以以相同或类似的方式应用于其中初始块为矩形的情况。
块分割器可以支持各种类型的划分。例如，可以支持基于树的划分或基于索引的划分，并且还可以支持其他方法。在基于树的划分中，可以基于各种类型的信息(例如，指示是否执行划分的信息、树的类型、划分方向等)来确定划分类型，而在基于索引的划分中，可以使用特定索引信息来确定划分类型。
图4是示出可以在本公开内容的块分割器中获得的各种划分类型的示例图。在该示例中，假设图4中所示出的划分类型是通过一个划分操作(或过程)获得的，其不应被理解为限制本公开内容。划分类型也可以在多个划分操作中获得。此外，图4中未示出的其他划分类型也是可用的。
(基于树的划分)
在本公开内容的基于树的划分中，可以支持QT、BT和TT。如果支持一种树方法，则这可以被称为单树划分，而如果支持两种或更多种树方法，则这可以被称为多树划分。
在QT中，块在水平方向和垂直方向中的每一个上被分割成两个分区(n)，而在BT中，块在水平方向或垂直方向上被分割成两个分区(b至g)。在TT中，块在水平方向或垂直方向上被分割成三个分区(h至m)。
在QT中，可以通过将划分方向限制到水平方向和垂直方向中的一个而将块分割成四个分区(o和p)。此外，在BT中，可以支持仅将块分割成相等尺寸的分区(b和c)、仅将块分割成不同尺寸的分区(d至g)、或者这两种划分类型。此外，在TT中，可以支持将块分割成仅集中在特定方向(左-＞右或上-＞下方向上的1:1:2或2:1:1)上的分区(h、j、k和m)、将块分割成集中在中心(1:2:1)的分区(i和l)、或者这两种划分类型。此外，可以支持在水平方向和垂直方向中的每一个上将块分割成四个分区(即，总共16个分区)(q)。
在树方法中，可以支持将块仅在水平方向上分割成z个分区(b、d、e、h、i、j、o)、将块仅在垂直方向上分割成z个分区(c、f、g、k、l、m、p)、或者支持两种划分类型。在本文中，z可以是等于或大于2的整数，例如，2、3或4。
在本公开内容中，假设划分类型n被支持为QT，划分类型b和c被支持为BT，并且划分类型i和l被支持为TT。
根据编码/解码配置，可以支持树划分方案中的一个或更多个。例如，可以支持QT、QT/BT或QT/BT/TT。
在以上示例中，基本树划分方案是QT，并且根据是否支持其他树，BT和TT被包括作为附加划分方案。然而，可以进行各种修改。指示是否支持其他树的信息(bt_enabled_flag、tt_enabled_flag和bt_tt_enabled_flag，其中0指示不支持且1指示支持)可以根据编码/解码设置而隐式地确定或以例如序列、图片、切片或图块等单位显式地确定。
划分信息可以包括指示是否执行划分的信息(tree_part_flag或qt_part_flag、bt_part_flag、tt_part_flag和bt_tt_part_flag，其可以具有值0或1，其中0指示不划分，并且1指示划分)。此外，根据划分方案(BT和TT)，可以添加关于划分方向的信息(dir_part_flag，或bt_dir_part_flag、tt_dir_part_flag和bt_tt_dir_part_flag，其具有值0或1，其中0指示<宽度/水平的>并且1指示<高度/垂直的>)。这可以是在执行划分时生成的信息。
当支持多树划分时，可以配置各种划分信息。为了便于描述，以下描述给出如何在一个深度级别配置划分信息的示例(也就是说，但是可以通过设置一个或更多个支持的划分深度进行递归划分)。
在示例1中，检查指示是否执行划分的信息。如果没有执行划分，则划分结束。
如果执行划分，则检查关于划分类型的选择信息(例如，tree_idx。对于QT为0，对于BT为1，以及对于TT为2)。根据所选择的划分类型来附加地检查划分方向信息，并且过程进行到下一步骤(如果由于诸如当划分深度还没有达到最大值时产生的原因而进行附加的划分是可能的，则过程从起始再次开始，并且如果附加的划分是不可能的，则划分过程结束)。
在示例2中，检查指示是否以特定树方案(QT)执行划分的信息，并且过程进行到下一步骤。如果不是以树方案(QT)执行划分，则检查指示是否以另一树方案(BT)执行划分的信息。在这种情况下，如果不是以该树方案执行划分，则检查指示是否以第三树方案(TT)执行划分的信息。如果不是以第三树方案(TT)执行划分，则划分过程结束。
如果以树方案(QT)执行划分，则过程进行到下一步骤。此外，以第二树方案(BT)执行划分，检查划分方向信息，并且过程进行到下一步骤。如果以第三树方案(TT)执行划分，则检查划分方向信息，并且过程进行到下一步骤。
在示例3中，检查指示是否以树方案(QT)执行划分的信息。如果不以树方案(QT)执行划分，则检查指示是否以其他树方案(BT和TT)执行划分的信息。如果不执行划分，则划分过程结束。
如果以树方案(QT)执行划分，则过程进行到下一步骤。此外，以其他树方案(BT和TT)执行划分，检查划分方向信息，并且过程进行到下一步骤。
虽然在以上示例中，对树划分方案进行优先级(示例2和示例3)或者不对树划分方案进行优先级(示例1)，但是各种修改例也是可用的。此外，在以上示例中，当前步骤中的划分与前一步骤的划分结果无关。但是，还可以将当前步骤中的划分配置成依赖于前一步骤的划分结果。
在示例1至示例3中，如果在先前步骤中执行了一些树划分方案(QT)，因此该过程前进至当前步骤，则在当前步骤中也可以支持相同的树划分方案(QT)。
另一方面，如果在先前步骤中未执行某个树划分方案(QT)并且因此执行了另一树划分方案(BT或TT)，并且然后该过程进行到当前步骤，则可以将其配置成在当前步骤和后续步骤中支持除某个树划分方案(QT)之外的其他树划分方案(BT和TT)。
在以上情况下，支持块划分的树配置可以是自适应的，并且因此上述划分信息也可以被不同地配置。(假设后面将描述的示例为示例3)。也就是说，如果在先前步骤中没有以某个树方案(QT)执行划分，则在当前步骤中可以不考虑树方案(QT)来执行划分过程。另外，可以去除与某个树方案相关的划分信息(例如，指示是否执行划分的信息、关于划分方向的信息等。在该示例<QT>中，指示是否执行划分的信息)。
以上示例涉及针对允许块划分的情况的自适应划分信息配置(例如，块尺寸在最大值与最小值之间的范围内，每个树方案的划分深度未达到最大深度(允许深度)等)。即使当块划分受到限制时(例如，块尺寸不存在于最大值与最小值之间的范围中，每个树方案的划分深度已经达到最大深度等)，也可以自适应地配置划分信息。
如已经提到的，在本公开内容中，可以以递归方式执行基于树的划分。例如，如果具有划分深度k的编码块的划分标志被设置为0，则在具有划分深度k的编码块中执行编码块编码。如果具有划分深度k的编码块的划分标志被设置为1，则根据划分方案在具有划分深度k+1的N个子编码块中执行编码块编码(其中N是等于或大于2的整数，例如2、3和4)。
在以上过程中，子编码块可以被设置为编码块(k+1)并且被划分为子编码块(k+2)。该分层划分方案可以根据诸如划分范围和允许的划分深度的划分配置来确定。
在这种情况下，可以从一个或更多个扫描方法中选择表示划分信息的比特流结构。例如，可以基于划分深度的顺序或者基于是否执行划分来配置划分信息的比特流。
例如，在基于划分深度顺序的情况下，基于初始块在当前深度级获得划分信息，并且然后在下一深度级获得划分信息。在基于是否执行划分的情况下，首先在从初始块分割的块中获得附加划分信息，并且可以考虑其他附加扫描方法。
(基于索引的划分)
在本公开内容的基于索引的划分中，可以支持恒定分割索引(CSI)方案和可变分割索引(VSI)方案。
在CSI方案中，可以通过在预定方向上的划分来获得k个子块，并且k可以是等于或大于2的整数，例如2、3或4。具体地，可以基于k来确定子块的尺寸和形状，而与块的尺寸和形状无关。预定方向可以是水平方向、垂直方向和对角线方向(左上->右下方向或左下->右上方向)中的一个或者两个或更多个的组合。
在本公开内容的基于索引的CSI划分方案中，可以通过在水平方向或垂直方向上进行划分来获得z个候选。在这种情况下，z可以是等于或大于2的整数，例如2、3或4，并且子块在宽度和高度中的一者上可以是相等的，并且在宽度和高度中的另一者上可以是相等的或不同的。子块的宽度或高度长度比为A1:A2:...:AZ，并且A1至AZ中的每一个可以是等于或大于1的整数，例如1、2或3。
此外，可以通过分别沿着水平方向和垂直方向划分为x个分区和y个分区来获得候选。x和y中的每一个可以是等于或大于1的整数，例如1、2、3或4。然而，其中x和y两者都是1的候选可能是受限的(因为a已经存在)。尽管图4示出了其中子块具有相同的宽度比或高度比的情况，但是也可以包括具有不同的宽度比或高度比的候选。
此外，候选可以在对角线方向——左上->右下和左下->右上——中的一者上被分割成w个分区。在本文中，w可以是等于或大于2的整数，例如2或3。
参照图4，根据每个子块的长度比，可以将划分类型分类为对称划分类型(b)和非对称划分类型(d和e)。此外，划分类型可以被分类为集中在特定方向上的划分类型(k和m)和中心划分类型(k)。划分类型可以由包括子块形状以及子块长度比率的各种编码/解码因素来定义，并且所支持的划分类型可以根据编码/解码配置隐式地或显式地确定。因此，可以基于在基于索引的划分方案中支持的划分类型来确定候选组。
在VSI方案中，在每个子块的宽度w或高度h固定的情况下，可以通过在预定方向上的划分来获得一个或更多个子块。在本文中，w和h中的每一个可以是等于或大于1的整数，例如，1、2、4或8，具体地，可以基于块的尺寸和形状以及w或h值来确定子块的数量。
在本公开内容的基于索引的VSI划分方案中，可以将候选划分成子块，每一子块在宽度和长度中的一者上是固定的。替选地，候选可以被划分成子块，每个子块在宽度和长度两者上都是固定的。由于子块的宽度或高度是固定的，所以可以允许在水平方向或垂直方向上的等分。然而，本公开内容不限于此。
在其中划分前块的尺寸为M×N的情况下，如果每个子块的宽度w固定、每个子块的高度h固定、或者每个子块的宽度w和高度h两者都固定，则获得的子块的数量可以是(M*N)/w、(M*N)/h、或(M*N)/w/h。
根据编码/解码配置，可以仅支持CSI方案和VSI方案中的一者或两者，并且可以隐式地或显式地确定关于所支持的方案的信息。
将在所支持的CSI方案的上下文中描述本公开内容。
候选组可以被配置成根据编码/解码设置包括基于索引的划分方案中的两个或更多个候选。
例如，可以形成诸如{a，b，c}、{a，b，c，n}或{a至g和n}的候选组。候选组可以是包括基于一般统计特征预测为出现多次的块类型的示例，例如在水平方向或垂直方向上或者在水平方向和垂直方向中的每一个上被分割成两个分区的块。
替选地，可以配置诸如{a，b}、{a，o}或{a，b，o}的候选组，或者诸如{a，c}、{a，p}或{a，c，p}的候选组。候选组可以是包括如下候选的示例：每个候选分别在水平方向和垂直方向上被划分为两个分区和四个分区。这可以是以下示例：将预测为主要在特定方向上划分的块类型配置为候选组。
替选地，可以配置诸如{a，o，p}或{a，n，q}的候选组。这可以是以下示例：将候选组配置成包括被预测为要被划分成比划分之前的块小的许多分区的块类型。
替选地，可以配置诸如{a，r，s}的候选组，并且其可以是以下示例：确定可以通过其他方法(树方法)从分割之前的块获得的矩形形状的最佳划分结果，并且将非矩形形状配置为候选组。
如从以上示例中注意到的，各种候选组配置可以是可用的，并且考虑到各种编码/解码因素，可以支持一个或更多个候选组配置。
一旦候选组被完全配置，各种划分信息配置就可以是可用的。
例如，关于包括未被划分的候选a和被划分的候选b至s的候选组，可以生成索引选择信息。
替选地，可以生成指示是否执行划分的信息(指示划分类型是否为a的信息)。如果执行划分(如果划分类型不是a)，则可以生成关于包括被划分的候选b至s的候选组的索引选择信息。
可以以不同于上述的许多其他方式来配置划分信息。除了指示是否执行划分的信息之外，可以以诸如固定长度二值化、可变长度二值化等各种方式将二进制位分配给候选组中的每个候选的索引。如果候选的数量是2，则可以将1比特分配给索引选择信息，并且如果候选的数量是3，则可以将一个或更多个比特分配给索引选择信息。
与基于树的划分方案相比，被预测要出现多次的划分类型可以被包括在基于索引的划分方案中的候选组中。
由于用于表示索引信息的比特的数量可以根据所支持的候选组的数量而增加，因此该方案可以适合于单层划分(例如，划分深度被限制为0)，而不是基于树的分层划分(递归划分)。也就是说，可以支持单个划分操作，并且可以不进一步分割通过基于索引的划分获得的子块。
这可能意味着进一步划分成相同类型的较小块是不可能的(例如，通过基于索引的划分获得的编码块不能进一步分割成编码块)，并且还意味着可能进一步划分成不同类型的块也是不可能的(例如，不可能将编码块划分成预测块以及编码块)。显然，本公开内容不限于以上示例，并且其他修改例也是可用的。
现在，将给出主要基于编码/解码因素中的块类型来确定块划分配置的描述。
首先，可以在划分过程中获得编码块。可以采用基于树的划分方案用于划分过程，并且可以根据树型产生诸如图4的a(无分割)、n(QT)、b、c(BT)、i或l(TT)的划分类型。根据编码/解码配置，树类型的各种组合(例如，QT/QT+BT/QT+BT+TT)可能是可用的。
以下示例是将在以上过程中获得的编码块最终分割成预测块和变换块的处理。假设基于每个分区的尺寸执行预测、变换和逆变换。
在示例1中，可以通过将预测块的尺寸设置为等于编码块的尺寸来执行预测，并且可以通过将变换块的尺寸设置为等于编码块(或预测块)的尺寸来执行变换和逆变换。
在示例2中，可以通过将预测块的尺寸设置为等于编码块的尺寸来执行预测。变换块可以通过划分编码块(或预测块)来获得，并且可以基于所获得的变换块的尺寸来执行变换和逆变换。
在此，可以采用基于树的划分方案用于划分过程，并且可以根据树的类型得到诸如图4的a(无分割)、n(QT)、b、c(BT)、i或l(TT)的划分类型。根据编码/解码配置，树类型的各种组合(例如，QT/QT+BT/QT+BT+TT)可能是可用的。
在此，划分过程可以是基于索引的划分方案。可以根据索引类型获得划分类型，例如，图4的a(无分割)、b、c或d。根据编码/解码配置，可以配置诸如{a，b，c}和{a，b，c，d}的各种候选组。
在示例3中，可以通过划分编码块来获得预测块，并且该预测块基于所获得的预测块的尺寸经受预测。对于变换块，其尺寸被设置为编码块的尺寸，并且可以对变换块执行变换和逆变换。在该示例中，预测块与变换块可以呈独立关系。
基于索引的划分方案可以用于划分过程，并且可以根据索引类型获得划分类型(例如，图4的a(无分割)、b至g、n、r或s)。可以根据编码/解码配置来配置各种候选组，例如，{a，b，c，n}、{a至g，n}和{a，r，s}。
在示例4中，可以通过对编码块进行划分来获得预测块，并且该预测块基于所获得的预测块的尺寸经受预测。对于变换块，将其尺寸被设置成预测块的尺寸，并且可以对变换块执行变换和逆变换。在该示例中，变换块可以具有等于所获得的预测块的尺寸的尺寸，或者所获得的预测块可以具有等于变换块的尺寸的尺寸(将变换块的尺寸设置为预测块的尺寸)。
基于树的划分方案可以用于划分过程，并且可以根据树类型来生成划分类型(例如，图4的a(无分割)、b、c(BT)、i、l(TT)或n(QT))。根据编码/解码配置，树类型的各种组合(例如，QT/BT/QT+BT)可能是可用的。
在此，基于索引的划分方案可以用于划分过程，并且可以根据索引类型得到划分类型(例如图4的a(无分割)、b、c、n、o或p)。可以根据编码/解密配置来配置各种候选组，例如{a，b}、{a，c}、{a，n}、{a，o}、{a，p}、{a，b，c}、{a，o，p}、{a，b，c，n}和{a，b，c，n，p}。此外，可以在单独的VSI方案或者组合CSI方案和VSI方案作为基于索引的划分方案中配置候选组。
在示例5中，可以通过对编码块进行划分来获得预测块，并且该预测块基于所获得的预测块的尺寸经受预测。也可以通过对编码块进行划分来获得变换块并且该变换块基于所获得的变换块的尺寸经受变换和逆变换。在该示例中，预测块和变换块中的每一个可以由对编码块进行划分而得到。
在此，可以将基于树的划分方案和基于索引的划分方案用于划分过程，并且可以以与示例4相同的方式或类似的方式来配置候选组。
在这种情况下，以上示例是根据是否共享对每个块类型进行划分的过程而可能发生的情况，这不应被理解为限制本公开内容。各种修改例也可以是可用的。此外，可以考虑各种编码/解码因素以及块类型来确定块划分配置。
编码/解码因素可以包括图像类型(I/P/B)、颜色分量(YCbCr)、块尺寸/形状/位置、块宽高比、块类型(编码块、预测块、变换块或量化块)、划分状态、编码模式(帧内/帧间)、与预测有关的信息(帧内预测模式或帧间预测模式)、与变换有关的信息(变换方案选择信息)、与量化有关的信息(量化区域选择信息和量化变换系数编码信息)。
在根据本公开内容的实施方式的图像编码方法中，帧内预测可以被如下配置。预测单元的帧内预测可以包括参考像素配置步骤、预测块生成步骤、预测模式确定步骤和预测模式编码步骤。此外，图像编码装置可以被配置成包括参考像素配置单元、预测块生成器和预测模式编码器，以执行参考像素配置步骤、预测块生成步骤、预测模式确定步骤和预测模式编码步骤。可以省略上述步骤的一部分，或者可以添加其他步骤。可以以与以上描述的顺序不同的顺序执行这些步骤。
图5是示出根据本公开内容的实施方式的帧内预测模式的示例图。
参照图5，将67种预测模式分组为用于帧内预测的预测模式候选组。尽管在67种预测模式中，65种预测模式是定向模式并且2种预测模式是非定向模式(DC和平面模式)的情况下给出以下描述，但是本公开内容不限于此，并且各种配置是可用的。定向模式可以通过斜率信息(例如，dy/dx)或角度信息(度)来彼此区分。预测模式的全部或部分可以被包括在亮度分量或色度分量的预测模式候选组中，并且其他附加模式可以被包括在预测模式候选组中。
在本公开内容中，可以以直线来引导定向模式，并且可以另外配置弯曲的定向模式作为预测模式。此外，非定向模式可以包括DC模式和平面模式，在DC模式中，通过对与当前块相邻的块(例如，上块、左块、左上块、右上块和右下块)的像素进行平均(或加权平均)来获得预测块，在平面模式中，通过对相邻块的像素进行线性插值来获得预测块。
在DC模式中，可以从诸如左、上、左+上、左+左下、上+右上、左+上+左下+左上+右上等的块的各种组合中的任何获得用于生成预测块的参考像素。可以根据由图像类型、颜色分量、块尺寸/类型/位置等限定的编码/解码配置来确定从其获得参考像素的块的位置。
在平面模式中，可以从具有参考像素的区域(例如，左区域、上区域、左上区域、右上区域和左下区域)和不具有参考像素的区域(例如，右区域、下区域和右下区域)获得用于生成预测块的像素。可以通过使用具有参考像素的区域的一个或更多个像素(例如，通过复制或加权平均)来隐式地获得不具有参考像素的区域(即，未编码)，或者可以显式地生成关于不是由参考像素构成的区域中的至少一个像素的信息。因此，如上所述，可以使用具有参考像素的区域和不具有参考像素的区域来生成预测块。
可以另外包括除上述之外的其他非定向模式。在本公开内容中，主要描述了线性定向模式和非定向模式，DC和平面。然而，可以对模式进行修改。
图5所示的预测模式可以被固定地支持，而不管块尺寸如何。此外，根据块尺寸支持的预测模式可以与图5的预测模式不同。
例如，预测模式候选组的数量可以是自适应的(例如，尽管每两个相邻预测模式之间的角度相等，但是可以不同地设置该角度，例如，9、17、33、65或129个定向模式)。替选地，预测模式候选组的数量可以是固定的，但具有不同配置(例如，定向模式角度和非定向模式类型)。
此外，可以固定地支持图5的预测模式，而不管块类型如何。此外，根据块类型支持的预测模式可以与图5的预测模式不同。
例如，预测模式候选的数量可以是自适应的(例如，可以根据块的宽-高比在水平方向或垂直方向上导出更多或更少预测模式)。替选地，预测模式候选的数量可以是固定的，但具有不同配置(例如，可以根据块的宽-度比沿着水平方向或垂直方向更精细地导出预测模式)。
替选地，可以针对块的较长边支持较大数量的预测模式，而可以针对块的较短边支持较少数量的预测模式。关于块的较长边上的预测模式间隔，可以支持位于模式66右侧的模式(例如，与模式50成+45度或更大角度的模式，例如，模式67至模式80)或位于模式2左侧的模式(例如，与模式18成-45度或更小角度的模式，例如，模式-1至模式-14)。这可以根据块的宽-高比来确定，并且相反的情况也是可能的。
尽管在本公开内容中主要描述了诸如图5的那些模式的固定支持的预测模式(无论任何编码/解码因素如何)，但是还可以配置根据编码配置自适应支持的预测模式。
可以基于水平模式和垂直模式(模式18和模式50)和一些对角线模式(对角线右上模式2、对角线右下模式34、对角线左下模式66等)对预测模式进行分类。该分类可以基于一些方向性(或诸如45度、90度等的角度)。
位于定向模式两端的模式(模式2和模式66)可以用作用于预测模式的分类的参考模式，当如图5所示配置帧内预测模式时，这是可能的。也就是说，当自适应地配置预测模式时，可以改变参考模式。例如，模式2可以用具有小于或大于2(例如，-2、-1、3、4等)的指数的模式代替，或者模式66可以用具有小于或大于66(例如，64、66、67、68等)的指数的模式代替。
此外，与颜色分量相关的附加预测模式(颜色复制模式和颜色模式)可以被包括在预测模式候选组中。颜色复制模式可以指与从位于另一颜色空间中的区域获得用于生成预测块的数据的方法有关的预测模式，并且颜色模式可以指与从位于另一颜色空间中的区域获得预测模式的方法有关的预测模式。
图6是示出根据本公开内容的实施方式的用于帧内预测的参考像素配置的示例图。预测块的尺寸和形状M×N可以通过块分割器获得。
尽管通常可以基于预测块执行帧内预测，但是根据块分割器的配置，也可以基于编码块或变换块执行帧内预测。在检查块信息之后，参考像素配置单元可以配置用于预测当前块的参考像素。可以在临时存储器(例如，阵列、主要阵列、次要阵列等)中管理参考像素。可以在块的每个帧内预测处理中生成并去除参考像素，并且可以根据参考像素配置来确定临时存储器的尺寸。
在该示例中，假设对于当前块的预测使用当前块的左块、上块、左上块、右上块和左下块。然而，本公开内容不限于此，并且对于当前块的预测可以使用不同配置的块候选组。例如，可以基于光栅或Z扫描来确定对于参考像素的相邻块的候选组，并且可以根据扫描顺序从候选组去除一些候选，或可以进一步包括另一块候选组(例如，右块、下块及右下块)。
此外，如果支持诸如颜色复制模式的预测模式，则对于当前块的预测可以使用不同颜色空间的一些区域。因此，该区域也可以考虑用于参考像素。
图7是示出根据本公开内容的实施方式的与用于帧内预测的目标块相邻的块的概念图。具体地，图7的左图示出了在当前颜色空间中与当前块相邻的块，以及图7的右图示出了在另一颜色空间中的相应块。为了便于描述，将在假设与当前颜色空间中的当前块相邻的块是基本参考像素配置的情况下给出以下描述。
如图6所示，在左块、上块、左上块、右上块和左下块(图6中的Ref_L、Ref_T、Ref_TL、Ref_TR和Ref_BL)中的相邻像素可以被配置为用于当前块的预测的参考像素。虽然参考像素通常是相邻块中最靠近当前块的像素，如图6中的参考符号a(称为参考像素线)所指示，但其他像素(图6中的像素b和其他外部线中的像素)也可以用作参考像素。
与当前块相邻的像素可以被分类到至少一个参考像素线中。最接近当前块的像素可以由ref_0(例如，与当前块的边界像素间隔距离1的像素，p(-1，-1)至p(2m-1，-1)和p(-1，0)至p(-1，2n-1))表示，第二最接近像素可以由ref_1(例如，与当前块的边界像素间隔距离2的像素，p(-2，-2)至p(2m，-2)和p(-2，-1)至p(-2，2n))表示，并且第三最接近像素由ref_2(例如，与当前块的边界像素间隔距离3的像素，p(-3，-3)至p(2m+1，-3)和p(-3，-2)至P(-3，2n+1))表示。也就是说，可以根据当前块的边界像素与相邻像素之间的距离来定义参考像素线。
可以支持N个或更多个参考像素线，并且N可以是等于或大于1的整数，例如1至5。通常，参考像素线以距离的升序顺序包括在参考像素线候选组中。然而，本公开内容不限于此。例如，当N为3时，候选组可以顺序地包括参考像素线，例如，<ref_0、ref_1、ref_2>。还可以非顺序地配置候选组，例如，<ref_0、ref_1、ref_3>或<ref_0、ref_2、ref_3>，或者配置没有最接近的参考像素线的候选组。
可以使用候选组中的参考像素线的全部或部分(一个或更多个)来执行预测。
例如，可以根据编码/解码配置来选择多个参考像素线中的一个，并且可以使用参考像素线来执行帧内预测。替选地，可以选择多个参考像素线中的两个或更多个，并且可以使用所选择的参考像素线来执行帧内预测(例如，通过对参考像素线的数据进行加权平均)。
可以隐式地或显式地选择参考像素线。例如，隐式选择意味着根据由一个或更多个因素(例如，图像类型、颜色分量和块尺寸/形状/位置)组合限定的编码/解码配置来选择参考像素线。显式选择意味着可以在块级别生成参考像素线选择信息。
尽管在使用最接近的参考像素线执行帧内预测的上下文中描述了本公开内容，但是应当理解，当使用多个参考像素线时，可以以相同的方式或以类似的方式实现稍后描述的各种实施方式。
例如，可以支持其中考虑单独使用最接近的参考像素线来隐式地确定信息的配置用于如稍后描述的以子块为单位的帧内预测。也就是说，可以使用预设参考像素线基于子块执行帧内预测，并且可以隐式地选择参考像素线。参考像素线可以是，但不限于，最接近的参考像素线。
替选地，可以自适应地选择参考像素线用于以子块为单位的帧内预测，并且可以选择包括最接近的参考像素线的各种参考像素线以执行以子块为单位的帧内预测。也就是说，可以使用考虑各种编码/解码因素而确定的参考像素线，基于子块执行帧内预测，并且可以隐式地或显式地选择参考像素线。
根据本公开内容，用于帧内预测的参考像素配置单元可以包括参考像素生成器、参考像素内插器和参考像素滤波器单元。参考像素配置单元可以包括以上部件的全部或部分。
参考像素配置单元可以通过检查其参考像素可用性来区分可用像素和不可用像素。当参考像素满足以下条件中的至少一个时，确定参考像素为不可用。
例如，如果满足以下条件中的至少一个，则可以确定参考像素为不可用：参考像素位于图片边界之外；参考像素不属于与当前块相同的划分单元(例如，不允许相互参考的单元，例如，切片或图块。然而，尽管是切片或图块，允许相互参考的单元是例外)；以及参考像素还没有被完全编码/解码。也就是说，如果以上条件都不满足，则可以确定参考像素为可用。
参考像素的使用可能受到编码/解码配置的限制。例如，即使根据以上条件确定参考像素为可用，参考像素的使用也可能根据是否执行约束帧内预测(例如，由constrained_intra_pred_flag指示)而受到限制。当出于由于诸如通信环境的外部因素导致的鲁棒编码/解码发生错误的目的而禁止使用通过参考另一图像重建的块时，可以执行受约束的帧内预测。
当受约束的帧内预测被禁用时(例如，对于I图片类型或者P或B图片类型，constrained_intra_pred_flag＝0)，所有参考像素候选块都可以是可用的。
相反，当受约束的帧内预测被激活时(例如，对于P或B图片类型，constrained_intra_pred_flag＝1)，可以确定根据编码模式(帧内或帧间)是否使用参考像素候选块。然而，可以根据各种其他编码/解码因素来设置该条件。
由于参考像素在一个或更多个块中，因此参考像素可以根据其参考像素可用性被分类为三种类型：完全可用、部分可用和全部不可用。在除了完全可用之外的其他情况下，可以填充或生成在不可用候选块的位置处的参考像素。
当参考像素候选块可用时，在相应位置的像素可以被包括在对于当前块的参考像素存储器中。像素的像素数据可以按原样复制，或者可以在诸如参考像素滤波和参考像素内插的处理之后包括在参考像素存储器中。相反，当参考像素候选块不可用时，通过参考像素生成处理获得的像素可以被包括在当前块的参考像素存储器中。
下面将描述在各种方法中在不可用块的位置处生成参考像素的示例。
例如，可以使用任意像素值来生成参考像素。任意像素值可以是像素值范围(例如，基于位深度的像素值范围或基于相应图像的像素分布的像素值范围)内的像素值中的一个(例如，像素值范围的最小值、最大值或中值)。具体地，当整个参考像素候选块为不可用时，该示例可以是适用的。
替选地，可以从已经完成图像编码/解码的区域中生成参考像素。具体地，可以从与不可用块相邻的至少一个可用块生成参考像素。可以使用外推、内插或复制中的至少一个来生成参考像素。
在参考像素内插器完成配置参考像素之后，参考像素内插器可以通过参考像素之间的线性内插来生成分数参考像素。替选地，可以在稍后描述的参考像素滤波处理之后执行参考像素内插处理。
在水平模式、垂直模式和一些对角线模式(例如，与垂直/水平线成45度的模式，例如与图5中的模式2、34和66相对应的右上对角线、右下对角线和左下对角线模式)、非定向模式、颜色复制模式等中不执行内插。在其他模式(其他对角线模式)中，可以执行内插处理。
根据预测模式(例如，预测模式的方向性、dy/dx等)以及参考像素和预测像素的位置，可以确定要被内插的像素的位置(即，要被内插的分数单位，范围从1/2至1/64)。在这种情况下，可以应用一个滤波器(例如，在用于确定滤波器系数或滤波器抽头的长度的等式中假设相同的滤波器，但是假设仅根据分数精度例如1/32、7/32或19/32来调整系数的滤波器)，或者可以根据分数单位来选择并应用多个滤波器(例如，假设使用不同等式来确定滤波器系数或滤波器抽头的长度的滤波器)中的一个。
在前一种情况下，整数像素可以用作分数像素内插的输入，而在后一种情况下，输入像素在每个步骤中是不同的(例如，整数像素用于1/2单位，整数像素和1/2单位像素用于1/4单位)。然而，本公开内容不限于此，并且将在前一种情况的上下文中进行描述。
可以对参考像素内插执行固定滤波或自适应滤波。固定滤波或自适应滤波可以根据编码/解码配置(例如，图像类型、颜色分量、块位置/尺寸/形状、块的宽-高比和预测模式中的一个或更多个)来确定。
在固定滤波中，可以使用一个滤波器执行参考像素内插，而在自适应滤波中，可以使用多个滤波器中的一个来使用参考像素内插。
在自适应滤波中，可以根据编码/解码配置隐式地或显式地确定多个滤波器中的一个。滤波器可以包括4抽头DCT-IF滤波器、4抽头三次滤波器、4抽头高斯滤波器、6抽头维纳滤波器和8抽头卡尔曼滤波器。可以根据颜色分量不同地定义所支持的滤波器候选组(例如，滤波器的类型部分相同或不同，并且滤波器抽头的长度为短或长)。
由于参考像素滤波器单元减少了编码/解码处理中的剩余劣化，因此出于提高预测精度的目的可以对参考像素执行滤波。所使用的滤波器可以是但不限于低通滤波器。可以确定是否根据编码/解码配置(可从前面的描述中导出)来应用滤波。此外，当应用滤波时，可以使用固定滤波或自适应滤波。
固定滤波意味着不进行参考像素滤波或者使用一个滤波器来应用参考像素滤波。自适应滤波意味着根据编码/解码配置来确定是否应用滤波，并且当支持两种或更多种滤波器类型时，可以选择滤波器类型中的一个。
对于滤波器类型，可以支持通过滤波器系数、滤波器抽头长度等彼此区分的多个滤波器，例如，[1，2，1]/4的3抽头滤波器和[2，3，6，3，2]/16的5抽头滤波器。
关于参考像素配置步骤描述的参考像素内插器和参考像素滤波器单元可以是提高预测精度所需的部件。这两个处理可以独立地或组合地(即，在一个滤波中)执行。
预测块生成器可以以至少一种预测模式生成预测块，并且可以基于预测模式来使用参考像素。可以在诸如外插的方法(定向模式)或诸如内插、平均(DC)或复制的方法(非定向模式)中使用参考像素。
预测模式决定单元执行从多个预测模式候补组中选择最佳模式的处理。通常，可以使用其中考虑了块失真(例如，当前块和重建块的失真、绝对差的和(SAD)以及平方差的和(SSD))和根据该模式生成的比特的数量的率失真方案，根据编码成本来确定最佳模式。基于在以上处理中确定的预测模式而生成的预测块可以被发送至减法单元和加法单元。
可以搜索预测模式候选组的所有预测模式以便确定最佳预测模式，或者可以在不同决策过程中选择最佳预测模式以减少计算量/复杂度。例如，在第一步骤中，从所有帧内预测模式候选中选择在图像质量劣化方面具有良好性能的一些模式，并且在第二步骤中，可以考虑所生成的比特的数量以及在第一步骤中选择的模式的图像质量劣化来选择最佳预测模式。除了这种方法之外，可以应用以降低的计算量/复杂度确定最佳预测模式的各种其他方法。
此外，尽管预测模式决定单元通常可以仅包括在编码器中，但是例如当包括模板匹配作为预测方法或者从与当前块相邻的区域导出帧内预测模式时，根据编码/解码配置，预测模式决定单元也可以包括在解码器中。在后一种情况下，可以理解，使用了在解码器中隐式地获得预测模式的方法。
预测模式编码器可以对由预测模式决定单元选择的预测模式进行编码。可以对关于预测模式候选组中的预测模式的索引的信息进行编码，或者可以对预测模式进行预测并且可以对关于预测模式的信息进行编码。前一种方法可以应用于亮度分量但不限于亮度分量，而后一种方法可以应用于色度分量但不限于色度分量。
当对预测模式进行预测且然后编码时，预测模式的预测值(或预测信息)可以被称作最可能模式(MPM)。MPM可以包括一个或更多个预测模式。MPM的数量k可以根据预测模式候选组的数量来确定(k为等于或大于1的整数，例如，1、2、3或6)。当存在多个预测模式作为MPM时，可以将其称为MPM候选组。
可以在固定配置下支持MPM候选组，或者在根据各种编码/解码因素的自适应配置下支持MPM候选组。在自适应配置的示例中，可以根据在多个参考像素层之中使用哪个参考像素层以及是在块级还是在子块级执行帧内预测来确定候选组配置。为了便于描述，假设在一个配置下配置MPM候选组，并且应当理解，不仅MPM候选组而且其他帧内预测候选组都可以被自适应地配置。
MPM是被支持以有效地对预测模式进行编码的概念，并且候选组可以被配置有实际上被用作当前块的预测模式的概率高的预测模式。
例如，MPM候选组可以包括预设预测模式(或统计上频繁的预测模式、DC模式、平面模式、垂直模式、水平模式或一些对角线模式)和相邻块(左块、上块、左上块、右上块、左下块等)的预测模式。相邻块的预测模式可以从图7中的L0至L3(左块)、T0至T3(上块)、TL(左上块)、R0至R3(右上块)以及B0至B3(左下块)获得。
如果MPM候选组可以由相邻块(例如，左块)中的两个或更多个子块位置(例如，L0和L2)形成，那么可以根据预定义优先级(例如，L0—L1—L2)在候选组中配置对应块的预测模式。替选地，当无法从两个或更多个子块位置配置MPM候选组时，可以在候选组中配置预定义位置(例如，L0)处的子块的预测模式。具体地，在相邻块中位置L3、T3、TL、R0和B0处的预测模式可以被选择作为相邻块的预测模式，并且被包括在MPM候选组中。以上描述是针对其中在候选组中配置了相邻块的预测模式的情况，其不应被理解为限制本公开内容。在以下的示例中，假设在候选组中配置了预定位置处的预测模式。
当一个或更多个预测模式被包括在MPM候选组中时，从先前包括的一个或更多个预测模式导出的模式可以被另外配置在MPM候选组中。具体地，当第k模式(定向模式)包括在MPM候选组中时，从该模式导出的模式(与第k模式间隔+a或-b的距离的模式，其中a和b中的每一个是等于或大于1的整数，例如，1、2或3)可以被另外包括在MPM候选组中。
可以对模式进行优先级以用于配置MPM候选组。MPM候选组可以被配置成包括以相邻块的预测模式、预设预测模式和导出预测模式的顺序的预测模式。配置MPM候选组的处理可以通过根据优先级填充最大数量的MPM候选来完成。在以上处理中，如果预测模式与先前包括的预测模式相同，则预测模式可以不包括在MPM候选组中，并且可以取下一优先级候选并经受冗余检查。
在MPM候选组包括6个预测模式的假设下给出下面的描述。
例如，MPM候选组可以以L-T-TL-TR-BL-平面-DC-垂直-水平-对角线的顺序形成。相邻块的预测模式可以以优先级包括在MPM候选组中，然后在这种情况下可以另外配置预设预测模式。
替选地，MPM候选组可以以L-T-平面-DC-<L+1>-<L-1>-<T+1>-<T-1>-垂直-水平-对角线的顺序形成。在这种情况下，可以以优先级包括一些相邻块的预测模式和一些预设预测模式，并且可以另外包括基于将生成与相邻块的预测模式类似的方向上的预测模式的假设而导出的模式和一些预设预测模式。
以上示例仅仅是MPM候选组配置的一部分。本公开内容不限于此，并且各种修改例可以是可用的。
MPM候选组可以基于候选组内的索引通过诸如一元二值化或截断莱斯二值化的二值化来表示。也就是说，可以将短位分配给具有小索引的候选，并且可以将长位分配给具有大索引的候选，以表示模式位。
未包括在MPM候选组中的模式可以被分类为非MPM候选组。可以根据编码/解码配置来定义两个或更多个非MPM候选组。
以下描述是在以下假设下给出的：预测模式候选组中包括67种模式包括定向模式和非定向模式，支持6个MPM候选，并且因此非MPM候选组包括61个预测模式。
如果配置了一个非MPM候选组，则这意味着存在未包括在MPM候选组中的其余预测模式，并且因此不需要附加的候选组配置处理。因此，可以基于非MPM候选组内的索引来使用诸如固定长度二值化和截断一元二值化的二值化。
假设配置了两个或更多个非MPM候选组，则非MPM候选组被分类为非MPM_A(候选组A)和非MPM_B(候选组B)。假设候选组A(p个候选，其中p等于或大于MPM候选的数量)包括具有比候选组B(q个候选，其中q等于或大于候选组A中的候选的数量)更高的成为当前块的预测模式的概率的预测模式。在本文中，可以添加配置候选组A的处理。
例如，在定向模式中的一些等距预测模式(例如，模式2、4和6)可以被包括在候选组A中，或者预设预测模式(例如，从包括在MPM候选组中的预测模式导出的模式)可以被包括在候选组A中。MPM候选组配置和候选组A配置之后的其余预测模式可以形成候选组B，并且不需要附加的候选组配置处理。可以基于候选组A和候选组B中的索引来使用诸如固定长度二值化和截断一元二值化的二值化。
以上示例是其中形成两个或更多个非MPM候选组的情况的一部分。本公开内容不限于此，并且各种修改例可以是可用的。
下面将描述对预测模式进行预测和编码的处理。
可以检查指示当前块的预测模式是否与MPM(或MPM候选组中的模式)一致的信息(mpm_flag)。
在当前块的预测模式与MPM匹配时，可以根据MPM配置(一个或更多个配置)来附加地检查MPM索引信息(mpm_idx)。然后，完成当前块的编码处理。
在当前块的预测模式与任何MPM都不匹配时，如果存在一个配置的非MPM候选组，则可以检查非MPM索引信息(remaining_idx)。然后，完成当前块的编码处理。
如果配置了多个非MPM候选组(在该示例中为两个)，则可以检查指示当前块的预测模式是否与候选组A中的任意预测模式一致的信息(non_mpm_flag)。
如果当前块的预测模式与候选组A中的任意候选匹配，则可以检查关于候选组A的索引信息(non_mpm_A_idx)，而如果当前块的预测模式与候选组A中的任何候选都不匹配，则可以检查候选B索引信息(remaining_idx)。然后，完成当前块的编码处理。
当预测模式候选组配置固定时，由当前块支持的预测模式、由相邻块支持的预测模式和预设预测模式可以使用相同的预测编号索引。
当预测模式候选组配置是自适应的时，由当前块支持的预测模式、由相邻块支持的预测模式和预设预测模式可以使用相同的预测编号索引或不同的预测编号索引。参照图5，给出了以下描述。
在预测模式编码处理中，可以执行对预测模式候选组进行统一(或调整)以配置MPM候选组等的处理。例如，当前块的预测模式可以是具有模式-5至模式61的预测模式候选组中的一个预测模式，并且相邻块的预测模式可以是具有模式2至模式66的候选组中的一个预测模式。在这种情况下，由于可能不支持将相邻块的预测模式的一部分(模式66)用作当前块的预测模式，因此可以执行在预测模式编码处理中对预测模式进行统一的处理。也就是说，当支持固定帧内预测模式候选组配置时，可能不需要该处理，并且当支持自适应帧内预测模式候选组配置时，可能需要该处理，本文将不对其进行详细描述。
与基于MPM的方法不同，可以通过将索引分配给预测模式候选组的预测模式来执行编码。
例如，根据预测模式的预定义优先级对预测模式进行索引。当选择预测模式作为当前块的预测模式时，对所选择的预测模式的索引进行编码。这意指配置固定预测模式候选组并且将固定索引分配给预测模式的情况。
替选地，当适应性地配置预测模式候选组时，固定索引分配方法可能是不适合的。因此，可以根据自适应优先级对预测模式进行索引。当选择预测模式作为当前块的预测模式时，可以对所选择的预测模式进行编码。该方法因为由于预测模式候选组的自适应配置而改变分配给预测模式的索引从而使得能够实现预测模式的有效编码。也就是说，自适应优先级可以旨在将具有被选择为当前块的预测模式的高概率的候选分配给其中生成短模式位的索引。
以下描述基于以下假设：在预测模式候选组中(色度成分的情况)，支持包括预设预测模式(定向模式和非定向模式)、颜色复制模式和颜色模式的8个预测模式。
例如，假设支持平面模式、DC模式、水平模式、垂直模式和对角线模式(在该示例中为左下对角线)中的预设四种模式、一种颜色模式C和三种颜色复制模式CP1、CP2和CP3。预测模式可以基本上以预设预测模式、颜色复制模式和颜色模式的顺序被索引。
在这种情况下，作为定向模式和非定向模式的预设预测模式以及颜色复制模式是通过预测方法区分的预测模式，并且因此可以容易地识别。然而，颜色模式可以是定向模式或非定向模式，其可能与预设预测模式交叠。例如，当颜色模式是垂直模式时，颜色模式可以与作为预设预测模式中之一的垂直模式交叠。
在根据编码/解码配置自适应地调整预测模式候选的数量的情况下，当存在冗余的情况时，可以调整候选的数量(8-＞7)。替选地，在预测模式候选的数量保持固定的情况下，当存在冗余预测模式时，可以通过添加和考虑另一候选来分配索引。此外，即使当包括诸如颜色模式的可变模式时，也可以支持自适应预测模式候选组。因此，自适应索引分配情况可以被视为配置自适应预测模式候选组的示例。
现在，将给出根据颜色模式的自适应索引分配的描述。假设基本上以平面(0)-垂直(1)-水平(2)-DC(3)-CP1(4)-CP2(5)-CP3(6)-C(7)的顺序分配索引。此外，如果颜色模式与任何预设预测模式都不匹配，则假设按上述顺序执行索引分配。
例如，如果颜色模式与预设预测模式(平面模式、垂直模式、水平模式和DC模式)中之一匹配，则填充与颜色模式的索引7匹配的预测模式。在匹配预测模式的索引(0至3中的一个)处填充预设预测模式(左下对角线)。具体地，当颜色模式是水平模式时，可以以平面(0)-垂直(1)-左下对角线(2)-DC(3)-CP1(4)-CP2(5)-CP3(6)-水平(7)的顺序来分配索引。
替选地，当颜色模式与预设预测模式中之一匹配时，在索引0处填充匹配预测模式，并且在颜色模式的索引7处填充预设预测模式(左下对角线)。在这种情况下，如果填充的预测模式不是现有索引0(即，其不是平面模式)，则可以调整现有索引配置。具体地，当颜色模式是DC模式时，可以以DC(0)-平面(1)-垂直(2)-水平(3)-CP1(4)-CP2(5)-CP3(6)-左下对角线(7)的顺序分配索引。
以上示例仅仅是自适应索引分配的一部分。本公开内容不限于此，并且各种修改例可以是可用的。此外，可以基于候选组中的索引使用诸如固定长度二值化、一元二值化、截断一元二值化和截断莱斯二值化的二值化。
将描述通过将索引分配给属于预测模式候选组的预测模式来执行编码的另一示例。
例如，将预测模式和预测方法分类为多个预测模式候选组，并且将索引分配给属于相应候选组的预测模式，并且然后进行编码。在这种情况下，候选组选择信息的编码可以在索引编码之前。例如，作为在相同颜色空间中执行预测的预测模式的定向模式、非定向模式和颜色模式可以属于一个候选组(称为候选组S)，并且作为在不同颜色空间中执行预测的预测模式的颜色复制模式可以属于另一候选组(称为候选组D)。
以下描述基于以下假设：在预测模式候选组中(色度分量的情况)，支持包括预设预测模式、颜色复制模式、颜色模式的9个预测模式。
例如，假设在平面模式、DC模式、水平模式、垂直模式和对角线模式中支持四个预设预测模式，支持一个颜色模式C以及四个颜色复制模式CP1、CP2、CP3和CP4。候选组S可以包括作为预设预测模式和颜色模式的5个候选，并且候选组D可以包括作为颜色复制模式的4个候选。
候选组S为自适应配置预测模式候选组的示例。已经在上面描述了自适应索引分配的示例，因此在本文中将不详细描述。由于候选组D是固定预测模式候选组的示例，因此可以使用固定索引分配方法。例如，索引可以以CP1(0)-CP2(1)-CP3(2)-CP4(3)的顺序分配。
可以基于候选组内的索引使用诸如固定长度二值化、一元二值化、截断一元二值化和截断莱斯二值化的二值化。本公开内容不限于上述示例，并且各种修改例也可以是可用的。
可以在块级配置用于预测模式编码的候选组，例如MPM候选组。替选地，可以省略配置候选组的处理，并且可以使用预定候选组或以各种方法获得的候选组。这可以是出于降低复杂度的目的而支持的配置。
在示例1中，可以使用一个预定义候选组，或者可以根据编码/解码配置使用多个预定义候选组中的一个。例如，在MPM候选组的情况下，可以使用例如平面-DC-垂直-水平-左下对角线(图5中的66)-右下对角线(图5中的34}的预定的候选组。替选地，可以应用MPM候选组配置中的当相邻块都不可用时配置的候选组。
在示例2中，可以使用对于已经被完全编码的块的候选组。可以基于编码顺序(预定扫描方案，例如，z扫描、垂直扫描、水平扫描等)，或者从与当前块相邻的块(例如，左块、上块、左上块、右上块和左下块)选择编码块。然而，相邻块可以限于在可以与当前块相互参考的划分单元(例如，即使这些块属于不同的切片或图块例如属于同一个图块组的不同图块，也具有可以对其进行参考的属性的划分单元)的位置处的块。如果相邻块属于不允许参考的划分单元(例如，当每个块属于不同的切片或图块并且具有可能无法相互参考的属性时，例如，当每个块属于不同的块组时)，则该位置处的块可能会被排除在候选之外。
在这种情况下，可以根据当前块的状态来确定相邻块。例如，在当前块为正方形时，可以从根据预定第一优先级定位的块中借用(或共享)可用块的候选组。替选地，在当前块为矩形时，可以从根据预定第二优先级定位的块中借用可用块的候选组。可以根据块的宽高比支持第二优先级或第三优先级。为了选择要借用的候选块，可以以各种配置来设置优先级，例如左-上-右上-左下-左上，或者上-左-左上-右上-左下。在这种情况下，第一优先级至第三优先级中的所有优先级可以具有相同的配置或不同的配置，或者优先级中的一部分可以具有相同的配置。
仅在当前块的候选组处于或大于/大于预定边界值，或者仅在处于或小于/小于预定边界值时，可以从相邻块借用当前块的候选组。边界值可以被定义为允许候选组的借用的最小块尺寸或最大块尺寸。边界值可以被表示为块的宽度(W)、块的高度(H)、W×H、W*H等，其中W和H中的每一个可以是等于或大于4、8、16或32的整数。
在示例3中，公共候选组可以由作为预定块组的较高块形成。公共候选组可以用于属于较高块的较低块。较低块的数量可以是等于或大于1的整数，例如，1、2、3或4。
在这种情况下，较高块可以是较低块的先辈块(包括父块)，或者可以是任意块组。先辈块可以指在用于获得较低块的划分期间的先前步骤中的预分割块(划分深度差为1或更大)。例如，图4的候选b中的4N×2N的子块0和1的父块可以是图4中的候选a的4N×4N。
仅在较高块的候选组处于或大于/大于预定第一边界值，或者仅在处于或小于/小于预定第二边界值时，可以从较低块借用(或共享)较高块的候选组。
边界值可以被定义为允许候选组借用的块的最小尺寸或最大尺寸。可以支持边界值中的仅一个或两个，并且边界值可以被表示为块的宽度W、高度H、W×H、W*H等，其中W和H中的每一个是8、16、32、64或更高的整数。
另一方面，仅在较低块的候选组处于或大于/大于预定第三边界值，可以从较高块借用较低块的候选组。替选地，仅在较低块的候选组处于或小于/小于预定第四边界值，可以从较高块借用较低块的候选组。
在这种情况下，边界值可以被定义为允许候选组借用的块的最小尺寸或最大尺寸。可以支持边界值中的仅一个或两个，并且边界值可以被表示为块的宽度W、高度H、W×H、W*H等，其中W和H中的每一个是4、8、16、32或更高的整数。
在这种情况下，第一边界值(或第二边界值)可以等于或大于第三边界值(或第四边界值)。
可以基于上述实施方式中的任何一个来选择性地使用候选借用(或共享)，并且可以基于第一实施方式至第三实施方式中的至少两个的组合来选择性地使用候选组借用。此外，可以基于实施方式的任何详细配置来选择性地使用候选组借用，并且可以根据一个或更多个详细配置的组合来选择性地使用候选组借用。
此外，可以显式地处理指示是否借用候选组的信息、关于在候选组借用时涉及的块属性(尺寸/类型/位置/宽高比)的信息、以及关于划分状态(划分方案、划分类型、划分深度等)的信息。另外，诸如图像类型和颜色分量的编码因素可以在候选组借用配置中充当输入变量。可以基于该信息和编码/解码配置来执行候选组借用。
由预测模式编码器生成的预测相关信息可以被发送至编码单元并被包括在比特流中。
在根据本公开内容的实施方式的视频解码方法中，帧内预测可以被配置为如下。预测单元的帧内预测可以包括预测模式解码步骤、参考像素配置步骤和预测块生成步骤。另外，图像解码装置可以被配置成包括执行预测模式解码步骤、参考像素配置步骤和预测块生成步骤的预测模式解码器、参考像素配置单元和预测块生成器。可以省略上述步骤的一部分，或者可以添加其他步骤。可以以与上述顺序不同的顺序执行这些步骤。
由于图像解码装置的参考像素配置单元和预测块生成器起到与图像编码装置的它们的对应物相同的作用，因此在本文中不提供参考像素配置单元和预测块生成器的详细描述。预测模式解码器可以反向地执行在预测模式编码器中使用的方法。
(以子块为单位的帧内预测)
图8示出了可以从编码块获得的各种子块划分类型。编码块可以被称为父块，并且子块可以是孩子块。子块可以是预测单元或变换单元。在该示例中，假设在子块之间共享一片预测信息。换言之，可以在每一个子块中生成并使用一个预测模式。
参照图8，可以根据图8的子块a至子块p的各种组合来确定子块的编码顺序。例如，可以使用z扫描(左->右，上->下)、垂直扫描(上->下)、水平扫描(左->右)、逆向垂直扫描(下->上)和逆向水平扫描(右->左)中之一。
编码顺序可以在图像编码器与图像解码器之间预先约定。替选地，可以考虑父块的划分方向来确定子块的编码顺序。例如，当在水平方向上分割父块时，可以将子块的编码顺序确定为垂直扫描。当在垂直方向上分割父块时，子块的编码顺序可以被确定为水平扫描。
当基于子块执行编码时，可以在更近的位置处获得用于预测的参考数据。由于生成仅一种预测模式并且在子块之间共享该预测模式，所以以子块为单位进行编码可以是高效的。
例如，参照图8(b)，当在父块级别执行编码时，可以使用与父块相邻的像素来预测右下子块。另一方面，当在子块级别执行编码时，可以使用比父块更近的像素来预测右下子块，因为存在以预定编码顺序(在该示例中为Z扫描)重构的左上子块、右上子块和左下子块。
对于通过基于图像特征的最佳划分的帧内预测，可以基于具有高出现概率的一个或更多个划分类型来配置候选组。
在该示例中，假设使用基于索引的划分方案来生成划分信息。可以如下用各种划分类型形成候选组。
具体地，候选组可以被配置成包括N个划分类型。N可以是等于或大于2的整数，候选组可以包括图8中所示的7个划分类型中的至少两个的组合。
可以通过选择性地使用候选组中的多个划分类型中的任何一个将父块分割成预定子块。可以基于由图像编码装置发信号通知的索引来进行选择。索引可以指指定父块的划分类型的信息。替选地，可以考虑图像解码装置中的父块的属性来进行选择。属性可以包括位置、尺寸、形状、宽度、宽高比、宽度和高度中的一者、划分深度、图像类型(I/P/B)、颜色分量(例如，亮度或色度)、帧内预测模式值、帧内预测模式是否为非定向模式、帧内预测模式的角度、参考像素的位置等。块可以是编码块或者与编码块对应的预测块和/或变换块。块的位置可以意指块是否位于父块的预定图像(或片段图像)的边界处。图像(或片段图像)可以是父块所属的图片、切片组、图块组、切片、图块、CTU行或CTU中的至少一个。
在示例1中，可以配置诸如图8的{a至d}或{a至g}的候选组。可以考虑各种划分类型来获得候选组。在候选组{a至d}的情况下，可以为每个索引分配各种二进制位(假定索引按字母顺序分配。以下示例也采用相同的假设)。
[表1]
索引 二进制类型1 二进制类型2
0 00 0
1 01 10
2 10 110
3 11 111
在以上表1中，二进制类型1可以是考虑所有可能的划分类型的二值化的示例，并且二进制类型2是首先分配指示是否执行划分的位(第一位)并且当执行划分时(第一位被设置为1)，从可用的划分类型中仅排除未分割的候选的二值化的示例。
在示例2中，可以形成诸如图8的{a，c，d}或{a，f，g}的候选组，其可以考虑在特定方向(水平方向或垂直方向)上的划分而获得。在候选组{a，f，g}的情况下，可以将各种二进制位分配给每个索引。
[表2]
索引 二进制类型1 二进制类型2 二进制类型3
0 0 10 10
1 10 0 11
2 11 11 0
上表2是基于块的属性分配的二值化的示例，具体地，是考虑块形状执行的二值化的示例。在二进制类型1中，当父块是正方形时，当父块未被分割时分配1位，并且当父块在水平方向或垂直方向上被分割时分配2位。
在二进制类型2中，当父块被成形为水平拉长的矩形时，当父块在水平方向上被分割时，分配1位，并且将2位分配给其余情况。二进制类型3可以是当父块被成形为垂直拉长的矩形时分配1位的示例。在二进制类型3中，当父块在垂直方向上被分割时，可以分配1位，并且在其余情况下，可以分配2位。这可以是当确定划分可能在父块的形状中进一步发生时分配较短位的示例。然而，本公开内容不限于此，并且包括相反情况的修改例也可以是可用的。
在示例3中，可以配置诸如图8的{a，c，d，f，g}的候选组，其可以是其中考虑在特定方向上的划分的候选组配置的另一示例。
[表3]
索引 二进制类型1 二进制类型2
0 0 0
1 100 100
2 101 110
3 110 101
4 111 111
在表3中，首先分配指示是否执行划分的标志(第一位)，并且然后，在二进制类型1中，接下来分配标识划分的数量的标志，如果标识划分的数量的标志(第二位)被设置为0，则划分的数量可以是2，并且如果标识划分的数量的标志(第二位)被设置为1，则划分的数量可以是4。此外，后续标志可以指示划分方向。如果后续标志为0，则这可以指示水平划分，并且如果后续标志为1，则这可以指示垂直划分。以上描述仅仅是示例，并且本公开内容不限于此。因此，包括相反配置的各种修改例可以是可用的。
在一般情况下，可以支持划分信息，但是可以根据编码/解码环境将划分信息修改为不同的配置。也就是说，可以支持对划分信息的例外配置，或者可以用另一划分类型来替换由划分信息表示的划分类型。
例如，根据块的属性，可能存在不支持的划分类型。由于在先前的示例中已经提到了块的特性，因此在本文中不提供它们的详细描述。该块可以是父块或子块中的至少一个。
例如，假设所支持的划分类型是图8中的{a，f，g}，并且父块的尺寸是4M×4N。如果由于图像中的块的最小值条件以及在预定图像(或片段图像)的边界处存在父块而不支持一些划分类型，则可以执行各种处理。对于以下的示例，假设图像中的块的宽度的最小值为2M，并且块的面积的最小值为4*M*N。
首先，可以通过排除不可获得的划分类型来重新配置候选组。在现有候选组中可用的候选可以是4M×4N、4M×N和M×4N，并且在没有不可获得候选(4M×N)的情况下重新配置的候选组可以包括划分类型4M×4N和4M×N。在这种情况下，可以再次对重新配置的候选者组的候选者执行二值化。在该示例中，可以通过一个标志(1位)来选择4M×4N或4M×N。
在另一示例中，可以通过用另一划分类型替换不可获得的划分类型来重新配置候选组。不可获得的划分类型可以是垂直方向划分类型(4个分区)。然而，可以通过替换保持垂直方向划分类型的另一划分形状(例如，2M×4N)来重新配置候选组。这可以基于现有划分信息来维持标志配置。
如在以上示例中，可以通过调整候选的数量或替换现有候选来重新配置候选组。该示例包括一些情况的描述，并且各种修改例可以是可用的。
(子块编码顺序)
可以如图8所示为各种子块设置编码顺序。可以根据编码/解码配置隐式地确定编码顺序。划分类型、图像类型、颜色分量、父块的尺寸/形状/位置、块的宽高比、与预测模式有关的信息(例如，帧内预测模式、使用的参考像素的位置等)、划分状态等可以被包括在编码/解码因素中。
替选地，可以显式地处理子块的编码顺序。具体地，候选组可以被配置成包括根据划分类型而具有高出现概率的候选，并且可以生成针对候选中的一个的选择信息。因此，可以自适应地配置根据划分类型支持的编码顺序候选。
如在以上示例中，可以以一个固定编码顺序来编码子块。然而，也可以应用自适应编码顺序。
参照图8，通过以各种方式对a至p进行排序，可以获得许多编码顺序。由于所获得的子块的位置和数量可以根据划分类型而变化，因此设置专用于每个划分类型的编码顺序可能是重要的。此外，对于图8(a)中所示的其中不执行子块的划分的划分类型，不需要编码顺序。因此，当显式地处理关于编码顺序的信息时，可以首先检查划分信息，然后基于所选择的划分类型信息生成关于子块的编码顺序的信息。
参照图8(c)，可以支持分别将0和1应用于a和b的垂直扫描和将1和0应用于a和b的逆扫描作为候选，并且可以生成用于选择扫描中的一个的1位标志。
替选地，参照图8(b)，可以支持将0至3应用于a至d的z扫描、向左旋转90度的、将1、3、0和2应用于a至d的z扫描、将3、2、1和0应用于a至d的逆z扫描、向右旋转90度的、将2、0、3和1应用于a至d的z扫描，并且可以生成一位或更多位的标志以选择所述扫描中的一个。
下面将描述隐式地确定子块的编码顺序的情况。为了便于描述，描述了获得图8的划分类型(c){或(f)}和(d){或(g)}的情况下的编码顺序(参照图5的预测模式)。
例如，当帧内预测模式被给定为垂直模式、水平模式、右下对角线模式(模式19至49)、左下对角线模式(模式51或更高)和右上对角线模式(模式17或更低)时，可以设置垂直扫描和水平扫描。
替选地，当帧内预测模式是左下对角线模式(模式51或更大)时，可以设置垂直扫描和逆水平扫描。
替选地，当帧内预测模式是右上对角线模式(模式17或更低)时，可以设置逆垂直扫描和水平扫描。
在以上示例中，编码顺序可以基于预定扫描顺序。在这种情况下，预定扫描顺序可以是Z扫描、垂直扫描和水平扫描中之一。替选地，可以根据帧内预测期间参考的像素的位置和距离来确定扫描顺序。为此，可以另外考虑逆扫描。
图9是示出根据本公开内容的实施方式的用于帧内预测模式的参考像素区域的示例图。参照图9，可以注意到，根据预测模式的方向，对参考区域加阴影。
图9(a)示出了将与父块相邻的区域划分成左区域、上区域、左上区域、右上区域和左下区域的示例。图9(b)示出了在右上对角线模式中参考的左区域和左下区域，图9(c)示出了在水平模式中参考的左区域，以及图9(d)示出了在右下对角线模式中参考的左区域、上区域和左上区域。图9(e)示出了在垂直模式中参考的上区域，以及图9(f)示出了在左下对角线模式中参考的上区域和右上区域。
当使用相邻参考像素(或子块的重构像素)执行预测时，预定义子块的编码顺序可以有利地避免对单独地用信号发送相关信息的需要。各种划分类型是可用的，并且因此可以根据基于划分类型的参考区域(或预测模式)来提供以下示例。
图10示出了根据本公开内容的实施方式的在右上对角线模式中可用的编码顺序的示例。可以在图10(a)至图10(g)中提供其中将较高优先级分配给左下相邻子块的示例。
图11示出了根据本公开内容的实施方式的在水平模式中可用的编码顺序的示例。在图11(a)至图11(g)中可以提供其中将较高优先级分配给左相邻子块的示例。
图12示出了根据本公开内容的实施方式的在右下对角线模式中可用的编码顺序的示例。可以在图12(a)至图12(g)中提供其中将较高优先级分配给左上相邻子块的示例。
图13示出了根据本公开内容的实施方式的在垂直模式中可用的编码顺序的示例。在图13(a)至图13(g)中可以提供其中将较高优先级分配给上相邻子块的示例。
图14示出了根据本公开内容的实施方式的在左下对角线模式中可用的编码顺序的示例。在图14(a)至图14(g)中可以提供其中将较高优先级分配给右上相邻子块的示例。
在以上示例中，根据完全编码/解码的相邻区域定义编码顺序，并且其他修改例也是可用的。另外，根据其他编码/解码因素定义编码顺序的各种配置是可能是可以的。
图15是示出根据本公开内容的实施方式的考虑帧内预测模式和划分类型的编码顺序的示例图。具体地，可以根据帧内预测模式针对每个划分类型隐式地确定子块的编码顺序。另外，描述了在存在不可获得划分类型的情况下，通过用另一划分类型替换不可获得划分类型来重新配置候选组的示例。为了便于描述，假设父块的尺寸为4M×4N。
参照图15(a)，对于以子块为单位的帧内预测，可以将父块分割成4M×N形式。在该示例中，可以使用逆向垂直扫描顺序。如果4M×N个划分类型为不可用，则父块可以根据预定优先级被分割成2M×2N个分区。由于图15(a)中示出了这种情况下的编码顺序，因此在本文中不提供其详细描述。如果2M×2N划分类型为不可用，则父块可以被分割成下一优先级的4M×2N个分区。这样，可以支持基于预定优先级的划分类型，并且可以相应地将父块划分成子块。如果所有预定义的划分类型都不可用，则可以注意到不可能将父块分割成子块，并且因此父块被编码。
参照图15(b)，对于以子块为单位的帧内预测，可以将父块分割成M×4N形式。如在图15(a)中，假设基于每个划分类型预定编码顺序。该示例可以被理解为以2M×2N和2M×4N的顺序替换的情况。
参照图15(c)，对于以子块为单位的帧内预测，可以将父块分割成2M×2N个分区。该示例可以被理解为以4M×2N和2M×4N的顺序替换的情况。
参照图15(d)，对于以子块为单位的帧内预测，可以将父块分割成4M×N个分区。该示例可以理解为以2M×2N和4M×2N的顺序替换的情况。
参照图15(e)，对于以子块为单位的帧内预测，可以将父块分割成M×4N个分区。该示例可以被理解为以2M×2N和2M×4N的顺序替换的情况。
在以上示例中，当存在可用的划分类型时，支持以预定顺序划分成另一划分类型。各种修改例是可用的。
例如，在支持{4M×4N，M×4N，4M×N}的划分类型的情况下，当M×4N或4M×N划分类型为不可用时，可以用2M×4N或4M×2N替换该划分类型。
如在以上示例中，可以根据各种编码/解码因素来确定子块划分配置。由于可以从子块划分的前述描述中得出编码/解码因素，因此在本文中不提供其详细描述。
此外，当确定子块划分时，可以按原样执行预测和变换。如上所述，可以在父块级别确定帧内预测模式，并且可以相应地执行预测。
此外，可以基于父块配置变换和逆变换，并且可以根据基于父块的配置在子块级别执行变换和逆变换。替选地，可以基于子块来确定相关配置，并且可以根据该配置在子块级别执行变换和逆变换。可以基于以上配置中的一个来执行变换和逆变换。
本公开内容的方法可以被实现为可以由各种计算机装置执行并且被存储在计算机可读介质中的程序指令。该计算机可读介质可以单独地或组合地包括程序指令、数据文件和数据结构。记录在计算机可读介质上的程序指令可以针对本公开内容而专门设计，或者对于计算机软件领域的技术人员是已知的，并且因此是可用的。
该计算机可读介质可以包括特别适于存储和执行程序指令的硬件设备，例如只读存储器(ROM)、随机存取存储器(RAM)、闪存等。程序指令可以包括由编译器产生的机器语言代码或可以在计算机中由解释器执行的高级语言代码。上述硬件设备可以被配置成作为一个或更多个软件模块进行操作，以便执行根据本公开内容的操作，并且反之亦然。
此外，可以以其配置或功能的全部或部分组合或分离来实现上述方法或装置。
尽管以上已经参考本公开内容的优选实施方式描述了本公开内容，但是本领域技术人员将理解，可以在不脱离本公开内容的范围和精神的情况下对本公开内容进行各种修改和变型。
[工业应用]
本公开内容可以用于图像编码/解码。

Claims (1)

1.一种帧内预测方法，包括：
得出当前块的帧内预测模式；
通过检查所述当前块是否被划分来确定是否基于子块来执行帧内预测；
基于所述帧内预测模式来确定子块的编码顺序；以及
基于所述子块的编码顺序和所述帧内预测模式生成预测块。
CN201980023756.9A 2018-04-01 2019-04-01 用于编码/解码图像的方法和装置 Pending CN111937395A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202311458822.XA CN117692639A (zh) 2018-04-01 2019-04-01 图像编码/解码方法、介质和传送比特流的方法
CN202311448655.0A CN117692637A (zh) 2018-04-01 2019-04-01 图像编码/解码方法、介质和传送比特流的方法
CN202311451276.7A CN117692638A (zh) 2018-04-01 2019-04-01 图像编码/解码方法、介质和传送比特流的方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20180037812 2018-04-01
KR10-2018-0037812 2018-04-01
PCT/KR2019/003777 WO2019194485A1 (ko) 2018-04-01 2019-04-01 영상 부호화/복호화 방법 및 장치

Related Child Applications (3)

Application Number Title Priority Date Filing Date
CN202311451276.7A Division CN117692638A (zh) 2018-04-01 2019-04-01 图像编码/解码方法、介质和传送比特流的方法
CN202311448655.0A Division CN117692637A (zh) 2018-04-01 2019-04-01 图像编码/解码方法、介质和传送比特流的方法
CN202311458822.XA Division CN117692639A (zh) 2018-04-01 2019-04-01 图像编码/解码方法、介质和传送比特流的方法

Publications (1)

Publication Number Publication Date
CN111937395A true CN111937395A (zh) 2020-11-13

Family

ID=68100865

Family Applications (4)

Application Number Title Priority Date Filing Date
CN202311448655.0A Pending CN117692637A (zh) 2018-04-01 2019-04-01 图像编码/解码方法、介质和传送比特流的方法
CN202311458822.XA Pending CN117692639A (zh) 2018-04-01 2019-04-01 图像编码/解码方法、介质和传送比特流的方法
CN201980023756.9A Pending CN111937395A (zh) 2018-04-01 2019-04-01 用于编码/解码图像的方法和装置
CN202311451276.7A Pending CN117692638A (zh) 2018-04-01 2019-04-01 图像编码/解码方法、介质和传送比特流的方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202311448655.0A Pending CN117692637A (zh) 2018-04-01 2019-04-01 图像编码/解码方法、介质和传送比特流的方法
CN202311458822.XA Pending CN117692639A (zh) 2018-04-01 2019-04-01 图像编码/解码方法、介质和传送比特流的方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202311451276.7A Pending CN117692638A (zh) 2018-04-01 2019-04-01 图像编码/解码方法、介质和传送比特流的方法

Country Status (18)

Country Link
US (2) US11297309B2 (zh)
EP (1) EP3780620A4 (zh)
JP (2) JP7152503B2 (zh)
KR (2) KR102378882B1 (zh)
CN (4) CN117692637A (zh)
AU (2) AU2019247240B2 (zh)
BR (1) BR112020020213A2 (zh)
CA (2) CA3095769C (zh)
CL (1) CL2020002508A1 (zh)
CO (1) CO2020011703A2 (zh)
MX (1) MX2020010314A (zh)
NZ (1) NZ769114A (zh)
PE (1) PE20211404A1 (zh)
PH (1) PH12020551469A1 (zh)
RU (2) RU2021120287A (zh)
SG (1) SG11202009302RA (zh)
WO (1) WO2019194485A1 (zh)
ZA (1) ZA202210140B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3804313A1 (en) 2018-06-29 2021-04-14 Huawei Technologies Co., Ltd. Device and method for intra-prediction
US10284844B1 (en) * 2018-07-02 2019-05-07 Tencent America LLC Method and apparatus for video coding
JP7030246B2 (ja) * 2019-06-25 2022-03-04 日本放送協会 イントラ予測装置、画像復号装置、及びプログラム
CN114363635A (zh) * 2019-06-25 2022-04-15 Oppo广东移动通信有限公司 信息处理方法及装置、设备、存储介质
WO2022108419A1 (ko) * 2020-11-23 2022-05-27 현대자동차주식회사 선택적 서브블록 분할정보 전송을 이용하는 영상 부호화 및 복호화 방법과 장치
WO2022177317A1 (ko) * 2021-02-18 2022-08-25 현대자동차주식회사 서브블록 분할 기반 인트라 예측을 이용하는 비디오 코딩방법 및 장치
WO2022197135A1 (ko) * 2021-03-19 2022-09-22 현대자동차주식회사 분할된 서브블록의 적응적 순서를 이용하는 비디오 코딩방법 및 장치
CN117356091A (zh) * 2021-04-22 2024-01-05 Lg电子株式会社 使用辅mpm列表的帧内预测方法和装置
US11818395B2 (en) * 2021-04-22 2023-11-14 Electronics And Telecommunications Research Institute Immersive video decoding method and immersive video encoding method
WO2023022389A1 (ko) * 2021-08-19 2023-02-23 현대자동차주식회사 직사각형이 아닌 블록 분할 구조를 이용하는 비디오 코딩방법 및 장치
WO2023038315A1 (ko) * 2021-09-08 2023-03-16 현대자동차주식회사 서브블록 코딩 순서 변경 및 그에 따른 인트라 예측을 이용하는 비디오 코딩방법 및 장치
WO2023049486A1 (en) * 2021-09-27 2023-03-30 Beijing Dajia Internet Information Technology Co., Ltd. Adaptive coding order for intra prediction in video coding
US20230104476A1 (en) * 2021-10-05 2023-04-06 Tencent America LLC Grouping based adaptive reordering of merge candidate
WO2023128615A1 (ko) * 2021-12-29 2023-07-06 엘지전자 주식회사 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체
WO2023153891A1 (ko) * 2022-02-13 2023-08-17 엘지전자 주식회사 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체
WO2023224289A1 (ko) * 2022-05-16 2023-11-23 현대자동차주식회사 가상의 참조라인을 사용하는 비디오 코딩을 위한 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102172021A (zh) * 2008-10-03 2011-08-31 高通股份有限公司 用大宏块进行视频译码
WO2012140889A1 (en) * 2011-04-15 2012-10-18 Canon Kabushiki Kaisha Image encoding apparatus, image encoding method, image encoding program, image decoding apparatus, image decoding method, and image decoding program
CN103299623A (zh) * 2010-11-04 2013-09-11 弗兰霍菲尔运输应用研究公司 支持区块合并和跳过模式的图像编码
US20170353721A1 (en) * 2016-06-01 2017-12-07 Samsung Electronics Co., Ltd. Methods and apparatuses for encoding and decoding video according to coding order

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000014092A (ko) * 1998-08-17 2000-03-06 윤종용 인터폴레이션 필터 및 데시메이션 필터
WO2011145819A2 (ko) * 2010-05-19 2011-11-24 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
WO2012096539A2 (ko) * 2011-01-13 2012-07-19 삼성전자 주식회사 선택적 스캔 모드를 이용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
CN107071428B (zh) * 2011-06-23 2019-12-27 Jvc 建伍株式会社 图像编码装置和图像编码方法
US8693551B2 (en) * 2011-11-16 2014-04-08 Vanguard Software Solutions, Inc. Optimal angular intra prediction for block-based video coding
FR2993084A1 (fr) * 2012-07-09 2014-01-10 France Telecom Procede de codage video par prediction du partitionnement d'un bloc courant, procede de decodage, dispositifs de codage et de decodage et programmes d'ordinateur correspondants
JPWO2014049982A1 (ja) * 2012-09-28 2016-08-22 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
EP3090541A4 (en) * 2013-12-30 2017-08-23 Qualcomm Incorporated Simplification of segment-wise dc coding of large prediction blocks in 3d video coding
CN112954352A (zh) 2015-11-24 2021-06-11 三星电子株式会社 视频解码方法和视频编码方法
CN108605129A (zh) 2016-01-28 2018-09-28 日本放送协会 编码装置、解码装置以及程序
JP6890428B2 (ja) * 2016-01-28 2021-06-18 日本放送協会 符号化装置、復号装置及びプログラム
KR20170108367A (ko) * 2016-03-17 2017-09-27 세종대학교산학협력단 인트라 예측 기반의 비디오 신호 처리 방법 및 장치
WO2017188652A1 (ko) * 2016-04-26 2017-11-02 인텔렉추얼디스커버리 주식회사 영상 부호화/복호화 방법 및 장치
KR20170122351A (ko) * 2016-04-26 2017-11-06 인텔렉추얼디스커버리 주식회사 화면 내 예측 방향성에 따른 적응적 부호화 순서를 사용하는 비디오 코딩 방법 및 장치
CA3025340A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc General block partitioning method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102172021A (zh) * 2008-10-03 2011-08-31 高通股份有限公司 用大宏块进行视频译码
CN103299623A (zh) * 2010-11-04 2013-09-11 弗兰霍菲尔运输应用研究公司 支持区块合并和跳过模式的图像编码
WO2012140889A1 (en) * 2011-04-15 2012-10-18 Canon Kabushiki Kaisha Image encoding apparatus, image encoding method, image encoding program, image decoding apparatus, image decoding method, and image decoding program
US20170353721A1 (en) * 2016-06-01 2017-12-07 Samsung Electronics Co., Ltd. Methods and apparatuses for encoding and decoding video according to coding order

Also Published As

Publication number Publication date
SG11202009302RA (en) 2020-10-29
CA3095769A1 (en) 2019-10-10
AU2019247240B2 (en) 2022-03-31
MX2020010314A (es) 2020-10-22
BR112020020213A2 (pt) 2021-01-12
CO2020011703A2 (es) 2020-10-20
EP3780620A4 (en) 2022-01-26
US20210006778A1 (en) 2021-01-07
CL2020002508A1 (es) 2021-02-05
PE20211404A1 (es) 2021-08-02
US11297309B2 (en) 2022-04-05
CN117692639A (zh) 2024-03-12
AU2019247240A1 (en) 2020-11-12
EP3780620A1 (en) 2021-02-17
KR20210031783A (ko) 2021-03-22
US20220182602A1 (en) 2022-06-09
NZ769114A (en) 2022-04-29
JP7152503B2 (ja) 2022-10-12
CA3207701A1 (en) 2019-10-10
WO2019194485A1 (ko) 2019-10-10
CA3095769C (en) 2023-12-12
RU2752011C1 (ru) 2021-07-21
CN117692638A (zh) 2024-03-12
KR102378882B1 (ko) 2022-03-25
RU2021120287A (ru) 2021-12-17
CN117692637A (zh) 2024-03-12
JP2022177266A (ja) 2022-11-30
PH12020551469A1 (en) 2021-09-27
AU2022204573A1 (en) 2022-07-21
JP2021518076A (ja) 2021-07-29
KR20200013766A (ko) 2020-02-07
ZA202210140B (en) 2023-10-25

Similar Documents

Publication Publication Date Title
US11297309B2 (en) Method and apparatus for encoding/decoding image
CN113347423B (zh) 帧内预测方法和装置
CN116320496A (zh) 用于滤波的方法和装置
US11647179B2 (en) Method and apparatus for encoding/decoding images
CN112106356B (zh) 图像编码/解码方法和装置
KR102296536B1 (ko) 색차 성분에 관한 화면내 예측 부호화/복호화 방법 및 장치
CN112740699A (zh) 图像编码/解码方法和装置
KR20190087329A (ko) 복수의 예측 모드 후보군을 사용하여 화면내 예측을 수행하는 영상 부호화/복호화 방법 및 장치
CN111602400B (zh) 用于色度分量的帧内预测编码/解码方法和装置
KR20190112249A (ko) 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210415

Address after: Seoul, Korea

Applicant after: B1 Imaging Technology Research Institute

Address before: Han Guodatian

Applicant before: Jin Qibai

TA01 Transfer of patent application right
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40041177

Country of ref document: HK