CN114363628A - 图像编码方法、图像解码方法以及装置 - Google Patents

图像编码方法、图像解码方法以及装置 Download PDF

Info

Publication number
CN114363628A
CN114363628A CN202210143083.4A CN202210143083A CN114363628A CN 114363628 A CN114363628 A CN 114363628A CN 202210143083 A CN202210143083 A CN 202210143083A CN 114363628 A CN114363628 A CN 114363628A
Authority
CN
China
Prior art keywords
current block
intra prediction
reference sample
block
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210143083.4A
Other languages
English (en)
Other versions
CN114363628B (zh
Inventor
李培根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KT Corp
Original Assignee
KT Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KT Corp filed Critical KT Corp
Priority to CN202210143083.4A priority Critical patent/CN114363628B/zh
Publication of CN114363628A publication Critical patent/CN114363628A/zh
Application granted granted Critical
Publication of CN114363628B publication Critical patent/CN114363628B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开涉及图像编码方法、图像解码方法以及装置。一种用于解码图像的方法，包括：从比特流中解码图像中的当前块的索引信息，索引信息指定多个参考样本线中之一；基于索引信息在多个参考样本线中选择当前块的参考样本线；以及基于所选择的参考样本线和当前块的帧内预测模式，针对当前块执行帧内预测，其中，如果所选择的参考样本线与当前块的距离大于预定值，则非方向性帧内预测模式不能用作当前块的帧内预测模式，并且其中，非方向性帧内预测模式包括DC模式或平面模式中至少之一。

Description

图像编码方法、图像解码方法以及装置
本申请是申请日为2017年6月22日、申请号为“201780039262.0”、发明名称为“视频信号处理方法和装置”的发明专利申请的分案申请。
技术领域
本发明涉及用于处理视频信号的方法和装置。
背景技术
近来，在各种应用领域中对高分辨率和高质量图像例如高清晰度(HD)图像和超高清晰度(UHD)图像的需求已经增加。然而，与常规图像数据相比，更高分辨率和质量的图像数据的数据量增加。因此，当通过使用介质例如常规的有线和无线宽带网络发送图像数据时，或者当通过使用常规的存储介质存储图像数据时，发送和存储的成本增加。为了解决随着图像数据的分辨率和质量的提高而出现的这些问题，可以利用高效的图像编码/解码技术。
图像压缩技术包括各种技术，各种技术包括：根据当前图片的先前图片或后续图片来对包括在当前图片中的像素值进行预测的帧间预测技术；通过使用当前图片中的像素信息对包括在当前图片中的像素值进行预测的帧内预测技术；将短代码分配给出现频率高的值并且将长代码分配给出现频率低的值的熵编码技术等。可以通过使用这样的图像压缩技术来有效地压缩图像数据，并且图像数据可以被发送或存储。
同时，随着对高分辨率图像的需求，也增加了对作为新图像服务的立体图像内容的需求。对用于有效地提供具有高分辨率和超高分辨率的立体图像内容的视频压缩技术进行讨论。
发明内容
技术问题
本发明的目的是旨在提供用于在编码/解码视频信号时针对编码/解码目标块高效地执行帧内预测的方法和装置。
本发明的目的是旨在提供用于基于多个参考线针对编码/解码目标块执行帧内预测的方法和装置。
本发明的目的是旨在提供将帧内滤波器应用于多个参考线中的至少之一的方法和装置。
本发明的目的是旨在提供根据用于当前块的帧内预测的参考线自适应地确定帧内预测模式或帧内预测模式的数目的方法和装置。
本发明要实现的技术目的不限于上述技术问题。并且，本领域技术人员将从以下描述中清楚地理解未提及的其他技术问题。
技术解决方案
本发明提供给了一种用于解码图像的方法，该方法包括：从比特流中解码图像中的当前块的索引信息，索引信息指定多个参考样本线中之一；基于索引信息在多个参考样本线中选择当前块的参考样本线；以及基于所选择的参考样本线和当前块的帧内预测模式，针对当前块执行帧内预测，其中，如果所选择的参考样本线与当前块的距离大于预定值，则非方向性帧内预测模式不能用作当前块的帧内预测模式，并且其中，非方向性帧内预测模式包括DC模式或平面模式中至少之一。
本发明还提供了一种用于编码图像的方法，该方法包括：在多个参考样本线中选择当前块的参考样本线；基于所选择的参考样本线和当前块的帧内预测模式来针对当前块执行帧内预测；以及编码索引信息，索引信息指示多个参考样本线中的所选择的参考样本线，其中，如果所选择的参考样本线与当前块的距离大于预定值，则非方向性帧内预测模式不能用作当前块的帧内预测模式，并且其中，非方向性帧内预测模式包括DC模式或平面模式中至少之一。
本发明另提供了一种装置，包括通过对图像进行编码而生成的比特流，其中，比特流包括索引信息，索引信息指定多个参考样本线中之一，其中，基于当前块的帧内预测模式和通过索引信息选择的参考样本线来生成图像中的当前块的预测样本，其中，如果所选择的参考样本线与当前块的距离大于预定值，则非方向性帧内预测模式不能用作当前块的帧内预测模式，并且其中，非方向性帧内预测模式包括DC模式或平面模式中至少之一。
根据本发明的用于解码视频信号的方法和装置可以：针对当前块得到多个参考样本线；选择多个参考样本线中的至少之一；确定是否将帧内滤波器应用于所选择的参考样本线中包括的参考样本；根据所述确定来选择性地将帧内滤波器应用于参考样本；以及使用参考样本针对当前块执行帧内预测。
根据本发明的用于对视频信号进行编码的方法和装置可以：针对当前块得到多个参考样本线；选择多个参考样本线中的至少之一；确定是否将帧内滤波器应用于所选择的参考样本线中包括的参考样本；根据所述确定来选择性地将帧内滤波器应用于参考样本；以及使用参考样本针对当前块执行帧内预测。
在根据本发明的用于编码/解码视频信号的方法和装置中，基于当前块的大小、当前块的帧内预测模式、或所选择的参考样本的位置来确定是否应用帧内滤波器。
在根据本发明的用于编码/解码视频信号的方法和装置中，基于当前块的大小、当前块的帧内预测模式、或所选择的参考样本的位置来确定帧内滤波器的类型。
在根据本发明的用于编码/解码视频信号的方法和装置中，其中，将多个参考样本线分类为多个组，并且根据包括所选择的参考样本线的组来确定帧内滤波器的类型。
在根据本发明的用于编码/解码视频信号的方法和装置中，基于所选择的参考样本线的位置自适应地确定可用于当前块的帧内预测模式的数目。
在根据本发明的用于编码/解码视频信号的方法和装置中，基于所选择的参考样本线的位置来确定当前块是否能够使用非方向性帧内预测模式。
在根据本发明的用于编码/解码视频信号的方法和装置中，基于当前块的帧内预测模式或可用于当前块的帧内预测模式的数目来执行选择多个参考样本线中的至少之一。
以上对本发明简要概述的特征仅是下面对本发明的详细描述的说明性方面，但不限制本发明的范围。
有益效果
根据本发明，可以针对编码/解码目标块执行高效的帧内预测。
根据本发明，可以基于多个参考线来执行针对编码/解码目标块的帧内预测。
根据本发明，可以将帧内滤波器应用于多个参考线中的至少之一。
根据本发明，可以根据用于当前块的帧内预测的参考线自适应地确定帧内预测模式或帧内预测模式的数目。
本发明可获得的效果不限于上述效果，并且本领域技术人员可以从以下描述中清楚地理解未提及的其他效果。
附图说明
图1是示出根据本发明的实施方式的用于对视频进行编码的装置的框图。
图2是示出根据本发明的实施方式的用于解码视频的装置的框图。
图3是示出根据本发明的实施方式的基于树结构对编码块进行分层划分的示例的图。
图4是示出根据本发明的实施方式的允许基于二叉树的划分的划分类型的图。
图5是示出根据本发明的实施方式的仅允许预定类型的基于二叉树的划分的示例的图。
图6是用于说明根据应用本发明的实施方式的与二叉树划分的允许数目有关的信息被编码/解码的示例的图。
图7是示出根据本发明的实施方式的可应用于编码块的划分模式的图。
图8是示出根据本发明的实施方式的用于编码/解码视频的装置的预定义的帧内预测模式的类型的图。
图9是示出根据本发明的实施方式的一种扩展帧内预测模式的图。
图10是简要示出根据本发明的实施方式的帧内预测方法的流程图。
图11是示出根据本发明的实施方式的基于相邻样本的差异信息来对当前块的预测样本进行校正的方法的图。
图12和图13是示出根据本发明的实施方式的基于预定的校正滤波器对预测样本进行校正的方法的图。
图14示出了根据应用本发明的实施方式的用于帧内预测的参考样本的范围。
图15至图17示出了根据本发明的实施方式的对参考样本进行滤波的示例。
图18是示出根据本发明的实施方式的多个参考样本线的图。
图19是示出根据本发明的实施方式的根据当前块的形状确定扩展参考线的使用的示例的图。
图20是示出根据本发明的使用扩展参考线执行帧内预测的方法的流程图。
图21是示出根据本发明的用于非正方形块的多个参考线的图。
图22是用于说明用位于距不可用参考样本的最短距离处的可用参考样本替换不可用参考样本的示例的图。
图23和图24是用于说明根据不可用参考样本和与不可用参考样本包括在同一参考线中的可用参考样本之间的距离自适应地确定可用参考样本的位置的实施方式的图。
图25和图26是示出根据应用本发明的实施方式的用于得到参考线的平均值的参考样本的图。
图27是示出根据应用本发明的实施方式的获得残差样本的处理的流程图。
具体实施方式
可以对本发明进行各种修改并且存在本发明的各种实施方式，现在将参照附图来提供并详细描述其示例。然而，本发明不限于此，并且示例性实施方式可以被解释为包括本发明的技术构思和技术范围内的全部修改、等同物或替代方案。类似的附图标记表示附图中描述的类似元件。
说明书中使用的术语“第一”、“第二”等可以用于描述各种部件，但是部件不受这些术语的限制。术语仅用于区分一个部件与其他部件。例如，在不偏离本发明的范围的情况下，“第一”部件可以被称为“第二”部件，并且“第二”部件也可以被类似地称为“第一”部件。术语“和/或”包括多个项目的组合或者多个项目中的任何一个。
应当理解，当本说明书中元件被简称为‘连接至’或‘耦接至’另一元件而不是‘直接连接至’或‘直接耦接至’另一元件时，它可以是‘直接连接至’或‘直接耦接至’另一个元件或在有其他元件插入其间的情况下被连接至或耦接至另一元件。相反地，应该理解的是，当元件被称为“直接耦接”或“直接连接”至另一元件时，不存在中间元件。
本说明书中使用的术语仅用于描述特定实施方式，而并不旨在限制本发明。以单数形式使用的表述包含复数形式的表述，除非该表述在上下文中有明显不同的含义。在本说明书中，应当理解的是，诸如“包括”、“具有”等术语旨在指示本说明书中公开的特征、数字、步骤、动作、元件、部分或其组合的存在，并且不旨在排除可以存在或可以添加一个或更多个其他特征、数字、步骤、动作、元件、部分或其组合的可能性。
在下文中，将参照附图详细描述本发明的优选实施方式。在下文中，附图中的相同组成元件用相同的附图标记表示，并且将省略对相同元件的重复描述。
图1是示出根据本发明的实施方式的用于对视频进行编码的装置的框图。
参照图1，用于对视频进行编码的装置(100)可以包括：图片划分模块(110)、预测模块(120)和(125)、变换模块(130)、量化模块(135)、重排模块(160)、熵编码模块(165)、逆量化模块(140)、逆变换模块(145)、滤波器模块(150)以及存储器(155)。
独立地示出了图1所示的组成部分以便表示用于对视频进行编码的装置中彼此不同的特征功能。因此，这并不意味着每个组成部分是由分离的硬件或软件的组成单元组成的。换言之，为了方便起见每个组成部分包括每个列举的组成部分。因此，每个组成部分的至少两个组成部分可以被组合以形成一个组成部分或者一个组成部分可以被分成多个组成部分以执行每个功能。在不偏离本发明的实质的情况下，组合每个组成部分的实施方式和分割一个组成部分的实施方式也被包括在本发明的范围内。
此外，组成部分中的一些组成部分可能不是执行本发明的基本功能的不可缺少的组成部分，而是仅改进本发明的性能的可选组成部分。可以通过排除用于改进性能的组成部分而仅包括用于实现本发明的实质的不可缺少的组成部分来实现本发明。排除仅用于改进性能的可选组成部分而仅包括不可缺少的组成部分的结构也被包括在本发明的范围内。
图片划分模块(110)可以将输入图片划分成一个或更多个处理单元。此处，处理单元可以是预测单元(PU)、变换单元(TU)或编码单元(CU)。图片划分模块(110)可以将一个图片划分成多个编码单元、预测单元和变换单元的组合，并且可以通过使用预定准则(例如，成本函数)选择编码单元、预测单元和变换单元的一个组合来对图片进行编码。
例如，可以将一个图片划分成多个编码单元。可以使用递归树结构例如四叉树结构来将图片划分成编码单元。在一个图片或最大编码单元作为根的情况下被划分成其他编码单元的编码单元可以以子节点对应于所划分的编码单元的数目的方式进行划分。按照预定限制不能再划分的编码单元用作叶节点。即，当假设对于一个编码单元仅正方形划分可行时，一个编码单元可以最多被划分成四个其他编码单元。
在下文中，在本发明的实施方式中，编码单元可以意指执行编码的单元或者执行解码的单元。
预测单元可以是被划分成在单个编码单元中具有相同大小的正方形形状或矩形形状的划分中之一，或者预测单元可以是被划分成使得在单个编码单元中具有不同的形状/大小的划分中之一。
当基于编码单元生成要进行帧内预测的预测单元并且编码单元不是最小编码单元时，可以在不将编码单元划分成多个预测单元N×N的情况下执行帧内预测。
预测模块(120，125)可以包括执行帧间预测的帧间预测模块(120)和执行帧内预测的帧内预测模块(125)。可以确定对于预测单元是执行帧间预测还是帧内预测，并且可以确定根据每个预测方法的详细信息(例如，帧内预测模式、运动矢量、参考图片等)。此处，要进行预测的处理单元可以不同于对其确定了预测方法和详细内容的处理单元。例如，可以由预测单元确定预测方法、预测模式等，并且可以由变换单元执行预测。所生成的预测块与原始块之间的残差值(残差块)可以被输入至变换模块(130)。此外，用于预测的预测模式信息、运动矢量信息等可由熵编码模块(165)利用残差值进行编码，并且可以被传送至用于解码视频的装置。当使用特定编码模式时，可以通过对原始块进行编码而不通过预测模块(120，125)生成预测块来向用于解码视频的装置进行传送。
帧间预测模块(120)可以基于当前图片的先前图片或后续图片中的至少一个的信息来预测预测单元，或者在一些情况下，可以基于当前图片中的一些编码区域的信息来预测预测单元。帧间预测模块(120)可以包括参考图片插值模块、运动预测模块以及运动补偿模块。
参考图片插值模块可以从存储器(155)接收参考图片信息，并且可以根据参考图片来生成整像素或小于整像素的像素信息。在亮度像素的情况下，可以使用具有不同滤波器系数的基于DCT的8抽头插值滤波器，来以1/4像素为单位生成整像素或小于整像素的像素信息。在色度信号的情况下，可以使用具有不同滤波器系数的基于DCT的4抽头插值滤波器，来以1/8像素为单位生成整像素或小于整像素的像素信息。
运动预测模块可以基于由参考图片插值模块进行插值的参考图片来执行运动预测。作为用于计算运动矢量的方法，可以使用各种方法，例如，基于全搜索的块匹配算法(FBMA)、三步搜索(TSS)和新三步搜索算法(NTS)等。基于插值像素，运动矢量可以具有以1/2像素或1/4像素为单位的运动矢量值。运动预测模块可以通过改变运动预测方法来预测当前预测单元。作为运动预测方法，可以使用各种方法，例如跳过方法、合并方法、AMVP(高级运动矢量预测)方法、帧内块复制方法等。
帧内预测模块(125)可以基于与作为当前图片中的像素信息的当前块相邻的参考像素信息来生成预测单元。在当前预测单元的相邻块是要进行帧间预测的块并且因此参考像素是要进行帧间预测的像素时，可以使用要进行帧内预测的相邻块的参考像素信息来代替包括在要进行帧间预测的块中的参考像素。即，当参考像素不可用时，可以使用可用参考像素中的至少一个参考像素来代替不可用的参考像素信息。
帧内预测的预测模式可以包括根据预测方向使用参考像素信息的方向预测模式和在执行预测时不使用方向信息的无方向预测模式。用于预测亮度信息的模式可以与用于预测色度信息的模式不同，并且为了预测色度信息，可以利用用于预测亮度信息的帧内预测模式信息或者预测的亮度信号信息。
在执行帧内预测时，当预测单元的大小与变换单元的大小相同时，可以基于位于该预测单元的左侧、左上侧和上侧的像素对预测单元执行帧内预测。然而，在执行帧内预测时，当预测单元的大小与变换单元的大小不同时，可以使用基于变换单元的参考像素来执行帧内预测。此外，使用N×N划分的帧内预测可以仅用于最小编码单元。
在帧内预测方法中，可以在根据预测模式将自适应帧内平滑(Adaptive IntraSmoothing，AIS)滤波器应用于参考像素之后生成预测块。应用于参考像素的AIS滤波器的类型可以变化。为了执行帧内预测方法，可以根据与当前预测单元相邻的预测单元的帧内预测模式来预测当前预测单元的帧内预测模式。在通过使用根据相邻预测单元预测到的模式信息来预测当前预测单元的预测模式中，在当前预测单元的帧内预测模式与相邻预测单元的帧内预测模式相同时，可以使用预定的标记信息来传送指示当前预测单元的预测模式与相邻预测单元的预测模式彼此相同的信息。在当前预测单元的预测模式与相邻预测单元的预测模式不同时，可以执行熵编码，以对当前块的预测模式信息进行编码。
此外，可以基于由预测模块(120，125)生成的预测单元来生成包括关于残差值的信息的残差块，残差值是要进行预测的预测单元与预测单元的原始块之间的差。可以将所生成的残差块输入到变换模块(130)。
变换模块(130)可以通过使用变换方法(例如，离散余弦变换(DCT)、离散正弦变换(DST)和KLT)来对包括关于原始块与由预测模块(120，125)生成的预测单元之间的残差值的信息的残差块进行变换。可以基于用于生成残差块的预测单元的帧内预测模式信息来确定是应用DCT、DST或KLT以便对残差块进行变换。
量化模块(135)可以对由变换模块(130)变换到频域的值进行量化。量化系数可以取决于图片的块或重要性而变化。可以将由量化模块(135)计算的值提供至逆量化模块(140)和重排模块(160)。
重排模块(160)可以对经量化的残差值的系数进行重排。
重排模块(160)可以通过系数扫描方法将二维块形式的系数变为一维矢量形式的系数。例如，重排模块(160)可以使用锯齿形扫描方法从DC系数扫描至高频域的系数，以便将系数变为一维矢量形式。取决于变换单元的大小和帧内预测模式，可以使用沿列方向扫描二维块形式的系数的垂直方向扫描或沿行方向扫描二维块形式的系数的水平方向扫描来代替锯齿形扫描。即，可以根据变换单元的大小和帧内预测模式来确定使用锯齿形扫描、垂直方向扫描和水平方向扫描中的哪种扫描方法。
熵编码模块(165)可以基于由重排模块(160)计算的值来执行熵编码。熵编码可以使用各种编码方法，例如，指数哥伦布(Golomb)编码、上下文自适应变长编码(CAVLC)和上下文自适应二进制算术编码(CABAC)。
熵编码模块(165)可以对来自重排模块(160)以及预测模块(120，125)的各种信息进行编码，例如，编码单元的残差值系数信息和块类型信息、预测模式信息、划分单元信息、预测单元信息、变换单元信息、运动矢量信息、参考帧信息、块插值信息、滤波信息等。
熵编码模块(165)可以对从重排模块(160)输入的编码单元的系数进行熵编码。
逆量化模块(140)可以对由量化模块(135)量化的值进行逆量化，并且逆变换模块(145)可以对由变换模块(130)变换的值进行逆变换。可以将由逆量化模块(140)和逆变换模块(145)生成的残差值与由预测模块(120，125)的运动估计模块、运动补偿模块和帧内预测模块预测的预测单元进行组合，使得可以生成重构块。
滤波器模块(150)可以包括去块滤波器、偏移校正单元以及自适应环路滤波器(ALF)中至少之一。
去块滤波器可以去除由于重构图片中的块之间的边界而出现的块失真。为了确定是否执行去块，包括在块的若干行或若干列中的像素可以是确定是否对当前块应用去块滤波器的基础。当对块应用去块滤波器时，可以根据所需的去块滤波强度来应用强滤波器或弱滤波器。此外，在应用去块滤波器时，可以并行地处理水平方向滤波和垂直方向滤波。
偏移校正模块可以在要进行去块的图片中以像素为单位校正与原始图片的偏移。为了对特定图片执行偏移校正，可以使用考虑每个像素的边缘信息来施加偏移的方法，或者可以使用下述方法：将图片的像素划分为预定数目的区域、确定要执行偏移的区域，并且对所确定的区域施加偏移。
可以基于通过将经滤波的重构图片与原始图片进行比较而获得的值来执行自适应环路滤波(ALF)。可以将包括在图片中的像素分成预定组，可以确定要应用于每个组的滤波器，并且可以针对每个组来单独地执行滤波。可以通过编码单元(CU)传送关于是否应用ALF和亮度信号的信息。用于ALF的滤波器的形状和滤波器系数可以根据每个块而变化。此外，无论应用目标块的特征如何，都可以应用用于ALF的相同形状(固定形状)的滤波器。
存储器(155)可以存储通过滤波器模块(150)计算的重构块或重构图片。可以在执行帧间预测时将所存储的重构块或重构图片提供至预测模块(120，125)。
图2是示出根据本发明的实施方式的用于解码视频的装置的框图。
参照图2，用于解码视频的装置(200)可以包括：熵解码模块(210)、重排模块(215)、逆量化模块(220)、逆变换模块(225)、预测模块(230，235)、滤波器模块(240)以及存储器(245)。
当从用于对视频进行编码的装置输入视频比特流时，可以根据用于对视频进行编码的装置的逆过程来对输入比特流进行解码。
熵解码模块(210)可以根据由用于对视频进行编码的装置的熵编码模块进行的熵编码的逆过程来执行熵解码。例如，对应于由用于对视频进行编码的装置执行的方法，可以应用各种方法，例如，指数哥伦布编码、上下文自适应变长编码(CAVLC)和上下文自适应二进制算术编码(CABAC)。
熵解码模块(210)可以解码关于由用于对视频进行编码的装置执行的帧内预测和帧间预测的信息。
重排模块(215)可以基于在用于对视频进行编码的装置中使用的重排方法对由熵解码模块(210)进行熵解码的比特流执行重排。重排模块可以将一维矢量形式的系数重构和重排为二维块形式的系数。重排模块(215)可以接收与在用于对视频进行编码的装置中执行的系数扫描相关的信息，并且可以经由基于在用于对视频进行编码的装置中执行的扫描顺序对系数进行逆扫描的方法来执行重排。
逆量化模块(220)可以基于从用于对视频进行编码的装置接收的量化参数和经重排的块的系数来执行逆量化。
逆变换模块(225)可以对通过用于对视频进行编码的装置的量化结果执行逆变换即逆DCT、逆DST和逆KLT，逆变换是由变换模块执行的变换即DCT、DST和KLT的逆过程。可以基于由用于对视频进行编码的装置确定的传输单元来执行逆变换。用于解码视频的装置的逆变换模块(225)可以根据多条信息(例如，预测方法、当前块的大小、预测方向等)来选择性地执行变换方案(例如，DCT、DST、KLT)。
预测模块(230，235)可以基于关于从熵解码模块(210)接收到的关于预测块生成的信息和从存储器(245)接收到的图片信息或先前解码的块来生成预测块。
如上所述，类似于用于对视频进行编码的装置的操作，在执行帧内预测时，当预测单元的大小与变换单元的大小相同时，可以基于位于预测单元的左侧、左上侧和上侧的像素对预测单元执行帧内预测。在执行帧内预测时，当预测单元的大小与变换单元的大小不同时，可以使用基于变换单元的参考像素来执行帧内预测。此外，使用N×N划分的帧内预测可以仅用于最小编码单元。
预测模块(230，235)可以包括预测单元确定模块、帧间预测模块以及帧内预测模块。预测单元确定模块可以从熵解码模块(210)接收各种信息，例如，预测单元信息、帧内预测方法的预测模式信息、关于帧间预测方法的运动预测的信息等，可以将当前编码单元分成预测单元，并且可以确定对预测单元执行帧间预测还是帧内预测。通过使用从用于对视频进行编码的装置接收的当前预测单元的帧间预测中所需的信息，帧间预测模块(230)可以基于包括当前预测单元的当前图片的先前图片或后续图片中的至少一个的信息来对当前预测单元执行帧间预测。替选地，可以基于包括当前预测单元的当前图片中的一些预先重构区域的信息来执行帧间预测。
为了执行帧间预测，可以针对编码单元来确定将跳过模式、合并模式、AMVP模式和帧间块复制模式中的哪一个用作为包括在编码单元中的预测单元的运动预测方法。
帧内预测模块(235)可以基于当前图片中的像素信息来生成预测块。当预测单元是进行帧内预测的预测单元时，可以基于从用于对视频进行编码的装置接收到的预测单元的帧内预测模式信息来执行帧内预测。帧内预测模块(235)可以包括自适应帧内平滑(AIS)滤波器、参考像素插值模块以及DC滤波器。AIS滤波器对当前块的参考像素执行滤波，并且是否应用滤波器可以根据当前预测单元的预测模式来确定。可以通过使用从用于对视频进行编码的装置接收到的AIS滤波器信息和预测单元的预测模式来对当前块的参考像素执行AIS滤波。在当前块的预测模式是不执行AIS滤波的模式时，可以不应用AIS滤波器。
当预测单元的预测模式是基于通过对参考像素进行插值而获得的像素值来执行帧内预测的预测模式时，参考像素插值模块可以对参考像素进行插值，以生成整像素或小于整像素的参考像素。在当前预测单元的预测模式是在没有对参考像素进行插值的情况下生成预测块的预测模式时，可以不对参考像素进行插值。在当前块的预测模式是DC模式时，DC滤波器可以通过滤波来生成预测块。
可以将重构块或重构图片提供至滤波器模块(240)。滤波器模块(240)可以包括去块滤波器、偏移校正模块以及ALF。
可以从用于对视频进行编码的装置接收关于是否将去块滤波器应用于相应的块或图片的信息以及关于在应用去块滤波器时应用强滤波器和弱滤波器中的哪个滤波器的信息。用于解码视频的装置的去块滤波器可以从用于对视频进行编码的装置接收关于去块滤波器的信息，并且可以对相应的块执行去块滤波。
偏移校正模块可以基于在执行编码时应用于图片的偏移校正的类型和偏移值信息来对重构图片执行偏移校正。
可以基于从用于对视频进行编码的装置接收到的关于是否应用ALF的信息和ALF系数信息等来向编码单元应用ALF。ALF信息可以被提供为被包括在特定参数集中。
存储器(245)可以存储重构图片或重构块以用作参考图片或参考块，并且可以将重构图片提供至输出模块。
如上所述，在本发明的实施方式中，为了便于说明，编码单元用作表示用于编码的单元的术语，然而，编码单元可以用作执行解码以及编码的单元。
此外，当前块可以表示要被编码/解码的目标块。并且，根据编码/解码步骤，当前块可以表示编码树块(或编码树单元)、编码块(或编码单元)、变换块(或变换单元)、预测块(或预测单元)等。
可以通过将图片划分成具有正方形形状或非正方形形状的基本块来对图片进行编码/解码。此时，基本块可以称为编码树单元。编码树单元可以被定义为序列或切片(slice)内允许的最大大小的编码单元。可以通过序列参数集、图片参数集或片头(sliceheader)来用信号发送与编码树单元是具有正方形形状还是具有非正方形形状有关的信息或与编码树单元的大小有关的信息。编码树单元可以被划分成更小大小的划分。此时，如果假设通过划分编码树单元而生成的划分深度是1，则通过划分具有深度1的划分而生成的划分的深度可以被定义为2。即，通过在编码树单元中划分具有深度k的划分而生成的划分可以被定义为具有深度k+1。
通过划分编码树单元而生成的任意大小的划分可以被定义为编码单元。编码单元可以被递归地划分或划分成用于执行预测、量化、变换或环路滤波等的基本单元。例如，通过划分编码单元而生成的任意大小的划分可以被定义为编码单元，或者可以被定义为变换单元或预测单元，其是用于执行预测、量化、变换或环路滤波等的基本单元。
可以基于垂直线和水平线中至少之一来执行编码树单元或编码单元的划分。此外，划分编码树单元或编码单元的垂直线或水平线的数目可以是至少一个或更多个。例如，可以使用一个垂直线或一个水平线将编码树单元或编码单元划分成两个划分，或者可以使用两个垂直线或两个水平线将编码树单元或编码单元划分成三个划分。替选地，可以通过使用一个垂直线和一个水平线将编码树单元或编码单元划分成具有1/2高度和宽度的四个划分。
当使用至少一个垂直线或至少一个水平线将编码树单元或编码单元划分成多个划分时，划分可以具有统一的大小或不同的大小。替选地，任何一个划分可以具有与其余划分不同的大小。
在下面描述的实施方式中，假设编码树单元或编码单元被划分成四叉树(quadtree)结构或二叉树结构。然而，也可以使用更多数量的垂直线或更多数量的水平线来划分编码树单元或编码单元。
图3是示出根据本发明的实施方式的基于树结构对编码块进行分层划分的示例的图。
以预定的块单元对输入视频信号进行解码。用于对输入视频信号进行解码的这样的默认单元是编码块。编码块可以是执行帧内/帧间预测、变换以及量化的块。此外，以编码块为单位确定预测模式(例如，帧内预测模式或帧间预测模式)，并且编码块中包括的预测块可以共享所确定的预测模式。编码块可以是具有在8×8至64×64范围内的任意大小的正方形块或非正方形块，或者可以是具有128×128、256×256或更大的大小的正方形块或非正方形块。
具体地，可以基于四叉树和二叉树中至少之一来对编码块进行分层划分。此处，基于四叉树的划分可以意指将2N×2N的编码块划分成四个N×N的编码块，并且基于二叉树的划分可以意指将一个编码块划分成两个编码块。即使执行基于二叉树的划分，也可能在较低深度中存在正方形形状编码块。
可以对称地执行或者非对称地执行基于二叉树的划分。基于二叉树划分的编码块可以是正方形块或非正方形块，例如，长方形形状。例如，允许基于二叉树的划分的划分类型可以包括以下中至少之一：对称类型的2N×N(水平方向非正方形编码单元)或N×2N(垂直方向非正方形编码单元)；非对称类型nL×2N、nR×2N、2N×nU或2N×nD。
可以将基于二叉树的划分限制地允许为对称类型划分或非对称类型划分中之一。在这种情况下，以正方形块构造编码树单元可以对应于四叉树CU划分，并且以对称非正方形块构造编码树单元可以对应于二叉树划分。以正方形块和对称非正方形块构造编码树单元可以对应于四叉树CU划分和二叉树CU划分。
可以对不再被执行基于四叉树的划分的编码块执行基于二叉树的划分。可以不再对基于二叉树被划分的编码块执行基于四叉树的划分。
此外，可以根据较高深度的划分类型来确定较低深度的划分。例如，如果在两个或更多个深度允许基于二叉树的划分，则可以在较低深度仅允许与较高深度的二叉树划分相同的类型。例如，如果使用2N×N类型执行在较高深度的基于二叉树的划分，则也使用2N×N类型执行在较低深度的基于二叉树的划分。替选地，如果使用N×2N类型执行在较高深度的基于二叉树的划分，则也使用N×2N类型执行在较低深度的基于二叉树的划分。
相比之下，也可以在较低深度仅允许与较高深度的二叉树划分类型不同的类型。
可以将仅特定类型的基于二叉树的划分限制为用于序列、切片、编码树单元或编码单元。作为示例，对于编码树单元，可以仅允许2N×N类型或N×2N类型的基于二叉树的划分。可以在编码器或解码器中预定义可用划分类型。或者，可以编码关于可用划分类型的信息或关于不可用划分类型的信息，然后通过比特流用信号发送该信息。
图5是示出仅允许特定类型的基于二叉树的划分的示例的图。图5上部示出了仅允许N×2N类型的基于二叉树的划分的示例，并且图5下部示出了仅允许2N×N类型的基于二叉树的划分的示例。为了实现基于四叉树或二叉树的自适应划分，可以使用下述信息：指示基于四叉树划分的信息、关于允许基于四叉树的划分的编码块的大小/深度的信息、指示基于二叉树的划分的信息、关于允许基于二叉树的划分的编码块的大小/深度的信息、关于不允许基于二叉树的划分的编码块的大小/深度的信息、关于是沿垂直方向还是沿水平方向执行基于二叉树的划分的信息等。
此外，可以针对编码树单元或特定编码单元获得与允许二叉树划分的次数、允许二叉树划分的深度或允许二叉树划分的深度的数目有关的信息。信息可以以编码树单元或编码单元为单位被进行编码，并且可以通过比特流发送至解码器。
例如，可以通过比特流来编码/解码指示允许二叉树划分的最大深度的语法‘max_binary_depth_idx_minus1’。在这种情况下，max_binary_depth_idx_minus1+1可以指示允许二叉树划分的最大深度。
参照图6中所示的示例，在图6中，已经针对深度为2的编码单元和深度为3的编码单元执行二叉树划分。因此，可以通过比特流来编码/解码指示已经执行编码树单元中的二叉树划分的次数(即，2次)的信息、指示在编码树单元中已经允许二叉树划分的最大深度(即，深度3)或在编码树单元中已经执行二叉树划分的深度的数目(即，2个(深度2和深度3))的信息中的至少之一
作为另一示例，可以针对每个序列或每个切片获得与允许二叉树划分的次数有关的信息、允许二叉树划分的深度有关的信息或允许二叉树划分的深度的数目有关的信息中的至少之一。例如，信息可以以序列、图片或切片单元为单位被进行编码，并且通过比特流进行发送。因此，第一切片中的二叉树划分的数目、第一切片中允许二叉树划分的最大深度或第一片中执行二叉树划分的深度的数目中的至少之一可以与第二切片不同。例如，在第一切片中，可能仅针对一个深度允许二叉树划分，而在第二片中，可能针对两个深度允许二叉树划分。
作为另一示例，可以根据切片或图片的时间级别标识符(TemporalID)不同地设置允许二叉树划分的次数、允许二叉树划分的深度或允许二叉树划分的深度的数目。此处，时间级别标识符(TemporalID)用于标识具有视图、空间、时间或质量中的至少之一的可扩展性的多个视频层中的每一个。
如图3所示，可以基于四叉树将划分深度(拆分深度)为k的第一编码块300划分成多个第二编码块。例如，第二编码块310至340可以是具有第一编码块的半宽度和半高度的正方形块，并且第二编码块的划分深度可以增加至k+1。
划分深度为k+1的第二编码块310可以被划分为划分深度为k+2的多个第三编码块。可以通过根据划分方法选择性地使用四叉树和二叉树中之一来执行第二编码块310的划分。此处，可以基于指示基于四叉树划分的信息和指示基于二叉树划分的信息中的至少之一来确定划分方法。
当基于四叉树对第二编码块310进行划分时，第二编码块310可以被划分成具有第二编码块的半宽度和半高度的四个第三编码块310a，并且第三编码块310a的划分深度可以增加至k+2。相比之下，当基于二叉树对第二编码块310进行划分时，第二编码块310可以被划分成两个第三编码块。此处，两个第三编码块中的每一个可以是具有第二编码块的半宽度和半高度中之一的非正方形块，并且划分深度可以增加至k+2。可以根据划分方向将第二编码块确定为水平方向或垂直方向的非正方形块，并且可以基于关于是沿垂直方向还是沿水平方向执行基于二叉树的划分的信息来确定划分方向。
同时，第二编码块310可以被确定为不再被基于四叉树或二叉树划分的叶编码块。在该情况下，叶编码块可以用作为预测块或变换块。
类似于第二编码块310的划分，第三编码块310a可以被确定为叶编码块，或者可以基于四叉树或二叉树被进一步划分。
同时，基于二叉树被划分的第三编码块310b可以基于二叉树被进一步划分成垂直方向的编码块(310b-2)或水平方向的编码块(310b-3)，并且相关编码块的划分深度可以增加至k+3。替选地，第三编码块310b可以被确定为不再基于二叉树被划分的叶编码块(310b-1)。在该情况下，编码块(310b-1)可以用作为预测块或变换块。然而，可以基于以下信息中的至少之一来限制性地执行上述划分处理：关于允许基于四叉树的划分的编码块的大小/深度的信息、关于允许基于二叉树的划分的编码块的大小/深度的信息以及关于不允许基于二叉树的划分的编码块的大小/深度的信息。
表示编码块的大小的候选的数目可以被限制为预定数目，或者预定单元中的编码块的大小可以具有固定值。作为示例，序列或图片中的编码块的大小可以被限制为具有256×256、128×128或32×32。可以通过序列头或图片头来用信号发送指示序列中或图片中的编码块的大小的信息。
作为基于四叉树和二叉树的划分的结果，编码单元可以被表示为任意大小的正方形或矩形形状。
使用跳过模式、帧内预测、帧间预测或跳过方法中的至少之一来对编码块进行编码。一旦确定了编码块，就可以通过编码块的预测划分来确定预测块。可以通过指示编码块的划分类型的划分模式(Part_mode)来执行编码块的预测划分。可以根据编码块的划分模式来确定预测块的大小或形状。例如，根据划分模式确定的预测块的大小可以等于或小于编码块的大小。
图7是示出当通过帧间预测对编码块进行编码时可以应用于编码块的划分模式的图。
当通过帧间预测对编码块进行编码时，可以将8个划分模式中之一应用于编码块，如图4所示的示例。
当通过帧内预测对编码块进行编码时，可以将划分模式PART_2N×2N或划分模式PART_N×N应用于编码块。
当编码块具有最小大小时，可以应用PART_N×N。此处，可以在编码器和解码器中预定义编码块的最小大小。或者，可以经由比特流用信号发送与编码块的最小大小有关的信息。例如，可以通过片头来用信号发送编码块的最小大小，使得可以每切片来定义编码块的最小大小。
通常，预测块可以具有从64×64到4×4的大小。然而，当通过帧间预测来编码编码块时，可以进行限制使得预测块不具有4×4大小以在执行运动补偿时减小存储器带宽。
图8是示出根据本发明的实施方式的用于编码/解码视频的装置的预定义的帧内预测模式的类型的图。
用于编码/解码视频的装置可以使用预定义的帧内预测模式中之一来执行帧内预测。用于帧内预测的预定义帧内预测模式可以包括非方向性预测模式(例如，平面模式、DC模式)和33个方向性预测模式。
替选地，为了提高帧内预测的准确性，可以使用多于33个方向性预测模式的更大数目的方向性预测模式。即，可以通过对方向性预测模式的角度进行细分来限定M个扩展方向性预测模式(M>33)，并且可以使用33个预定义方向性预测模式中的至少之一来得到具有预定角度的方向性预测模式。
可以使用比图8中所示的35个帧内预测模式更多数量的帧内预测模式。例如，通过对方向性预测模式的角度进行细分或通过使用预定数量的方向性预测模式中的至少之一得到具有预定角度的方向性预测模式，可以使用比35个帧内预测模式更多数量的帧内预测模式。此时，使用比35个帧内预测模式更多数量的帧内预测模式可以被称为扩展帧内预测模式。
图9示出了扩展帧内预测模式的示例，并且扩展帧内预测模式可以包括两个非方向性预测模式和65个扩展方向性预测模式。可以将相同数目的扩展帧内预测模式用于亮度分量和色度分量，或者可以针对每个分量使用不同数目的帧内预测模式。例如，可以将67个扩展帧内预测模式用于亮度分量，并且可以将35个帧内预测模式用于色度分量。
替选地，取决于色度格式，可以在执行帧内预测时使用不同数目的帧内预测模式。例如，在4:2:0格式的情况下，可以将67个帧内预测模式用于亮度分量以执行帧内预测并且可以将35个帧内预测模式用于色度分量。在4:4:4格式的情况下，可以将67个帧内预测模式用于亮度分量和色度分量二者，以执行帧内预测。
替选地，取决于块的大小和/或形状，可以使用不同数目的帧内预测模式来执行帧内预测。即，取决于PU或CU的大小和/或形状，可以使用35个帧内预测模式或67个帧内预测模式来执行帧内预测。例如，当CU或PU具有小于64×64的大小或者被非对称地划分时，可以使用35个帧内预测模式来执行帧内预测。当CU或PU的大小等于或大于64×64时，可以使用67个帧内预测模式来执行帧内预测。对于Intra_2N×2N，可以允许65个方向性帧内预测模式，而对于Intra_N×N，仅可以允许35个方向性帧内预测模式。
可以针对每个序列、图片或切片不同地设置应用扩展帧内预测模式的块的大小。例如，设置成将扩展帧内预测模式应用于第一切片中具有大于64×64的大小的块(例如，CU或PU)。另一方面，设置成将扩展帧内预测模式应用于第二切片中具有大于32×32的大小的块。可以以序列、图片或切片为单位用信号发送表示应用扩展帧内预测模式的块的大小的信息。例如，可以将指示应用扩展帧内预测模式的块的大小的信息定义为通过取块大小的对数并且然后减去整数4而获得的‘log2_extended_intra_mode_size_minus4’。例如，如果log2_extended_intra_mode_size_minus4的值为0，则其可以指示扩展帧内预测模式可以应用于大小等于或大于16×16的块。以及，如果log2_extended_intra_mode_size_minus4的值是1，则其可以指示扩展帧内预测模式可以应用于大小等于或大于32×32的块。
如上所述，可以考虑颜色分量、色度格式以及块的大小或形状中的至少之一来确定帧内预测模式的数目。此外，也可以根据颜色分量、颜色格式以及块的大小或形状中的至少之一来确定用于确定要被编码/解码的当前块的帧内预测模式的帧内预测模式候选的数目(例如，MPM的数目)。将结合附图描述确定要被编码/解码的当前块的帧内预测模式的方法和使用所确定的帧内预测模式执行帧内预测的方法。
图10是简要示出根据本发明的实施方式的帧内预测方法的流程图。
参照图10，可以在步骤(S1000)处确定当前块的帧内预测模式。
具体地，可以基于候选列表和索引来得到当前块的帧内预测模式。此处，候选列表包括多个候选，并且可以基于与当前块邻近的相邻块的帧内预测模式来确定多个候选。相邻块可以包括位于当前块的顶部、底部、左侧、右侧以及角处的块中的至少之一。索引可以指定候选列表的多个候选中的一个候选。由索引指定的候选可以被设置为当前块的帧内预测模式。
可以将用于相邻块中的帧内预测的帧内预测模式设置为候选。此外，可以将具有与相邻块的帧内预测模式的方向性相似的方向性的帧内预测模式设置为候选。此处，可以通过给相邻块的帧内预测模式加上预定的恒定值或者从相邻块的帧内预测模式减去预定的恒定值来确定具有相似的方向性的帧内预测模式。预定的恒定值可以是整数，例如，一、二或更大。
候选列表还可以包括默认模式。默认模式可以包括平面模式、DC模式、垂直模式和水平模式中的至少之一。在考虑可以包括在当前块的候选列表中的候选的最大数目的情况下，可以自适应地添加默认模式。
可以被包括在候选列表中的候选的最大数目可以是三、四、五、六或更大。可以被包括在候选列表中的候选的最大数目可以是在用于编码/解码视频的装置中预设的固定值，或者可以基于当前块的特性而被可变地确定。特性可以意指块的位置/大小/形状、块可以使用的帧内预测模式的数目/类型、颜色类型、颜色格式等。替选地，可以单独地用信号发送指示可以被包括在候选列表中的候选的最大数目的信息，并且可以使用信息来可变地确定可以被包括在候选列表中的候选的最大数目。可以以序列级别(level)、图片级别、切片级别和块级别中的至少之一来用信号发送指示候选的最大数目的信息。
当选择性地使用扩展帧内预测模式和35个预定义的帧内预测模式时，可以将相邻块的帧内预测模式变换成与扩展帧内预测模式对应的索引，或者变换成与35个帧内预测模式对应的索引，由此可以得到候选。为了变换成索引，可以使用预定义的表，或者可以使用基于预定值的缩放操作。此处，预定义的表可以定义不同的帧内预测模式组(例如，扩展帧内预测模式和35个帧内预测模式)之间的映射关系。
例如，当左侧相邻块使用35个帧内预测模式并且左侧相邻块的帧内预测模式是10(水平模式)时，该帧内预测模式可以被变换成与扩展帧内预测模式中的水平模式对应的索引16。
替选地，当顶部相邻块使用扩展帧内预测模式并且顶部相邻块的帧内预测模式具有索引50(垂直模式)时，该帧内预测模式可以被变换成与35个帧内预测模式中的垂直模式相对应的索引26。
基于上述确定帧内预测模式的方法，可以针对亮度分量和色度分量中的每一个来独立地得到帧内预测模式，或者可以根据亮度分量的帧内预测模式来得到色度分量的帧内预测模式。
具体地，如下表1所示，可以基于亮度分量的帧内预测模式来确定色度分量的帧内预测模式。
[表1]
Figure BDA0003507282570000211
在表1中，intra_chroma_pred_mode意指被用信号发送以指定色度分量的帧内预测模式的信息，以及IntraPredModeY指示亮度分量的帧内预测模式。
参照图10，在步骤(S1010)处，可以得到用于当前块的帧内预测的参考样本。
具体地，可以基于当前块的相邻样本来得到用于帧内预测的参考样本。相邻样本可以是相邻块的重构样本，并且重构样本可以是在应用环路滤波器之前的重构样本，或者在应用环路滤波器之后的重构样本。
在当前块之前重构的相邻样本可以用作参考样本，并且基于预定的帧内滤波器滤波的相邻样本可以用作参考样本。使用帧内滤波器对相邻样本进行的滤波也可以称为参考样本平滑。帧内滤波器可以包括应用于位于同一水平线上的多个相邻样本的第一帧内滤波器和应用于位于同一垂直线上的多个相邻样本的第二帧内滤波器中的至少之一。根据相邻样本的位置，可以选择性地应用第一帧内滤波器和第二帧内滤波器中之一，或者可以应用两个帧内滤波器。此时，第一帧内滤波器或第二帧内滤波器的至少一个滤波器系数可以是(1，2，1)，但不限于此。
可以基于当前块的帧内预测模式和用于当前块的变换块的大小中至少之一来自适应地执行滤波。例如，在当前块的帧内预测模式是DC模式、垂直模式或水平模式时，可以不执行滤波。当变换块的大小是N×M时，可以不执行滤波。此处，N和M可以是相同的值或不同的值，或者可以是4、8、16或更大的值。例如，如果变换块的大小是4×4，则可以不执行滤波。替选地，可以基于将预定义的阈值和当前块的帧内预测模式与垂直模式(或水平模式)之间的差进行比较的结果来选择性地执行滤波。例如，在当前块的帧内预测模式与垂直模式之间的差大于阈值时，可以执行滤波。如表2所示，可以针对变换块的每个大小来限定阈值。
[表2]
8×8变换 16×16变换 32×32变换
阈值 7 1 0
帧内滤波器可以被确定为在用于编码/解码视频的装置中预定义的多个帧内滤波器候选中之一。为此，可以用信号发送在多个帧内滤波器候选中指定当前块的帧内滤波器的索引。替选地，可以基于以下中的至少之一来确定帧内滤波器：当前块的大小/形状、变换块的大小/形状、与滤波器强度有关的信息以及相邻样本的变化。
参照图10，在步骤(S1020)处，可以使用当前块的帧内预测模式和参考样本来执行帧内预测。
即，可以使用在步骤S500处确定的帧内预测模式和在步骤S510处得到的参考样本来获得当前块的预测样本。然而，在帧内预测的情况下，可能使用相邻块的边界样本，并且因此可能降低预测图片的质量。因此，可以对通过上述预测处理生成的预测样本执行校正处理，并且将参照图11至图13来详细描述校正处理。然而，校正处理不限于仅应用于帧内预测样本，并且校正处理可以应用于帧间预测样本或重构样本。
图11是示出根据本发明的实施方式的基于相邻样本的差异信息来对当前块的预测样本进行校正的方法的图。
可以基于针对当前块的多个相邻样本的差异信息来校正当前块的预测样本。可以对当前块中的所有预测样本执行校正，或者可以对预定部分区域中的预测样本执行校正。部分区域可以是一行/列或多行/列，并且这些可以是用于在用于编码/解码视频的装置中的用于校正的预设区域。例如，可以对位于当前块的边界处的一行/列执行校正，或可以对从当前块的边界起的多个行/列执行校正。替选地，可以基于当前块的大小/形状和帧内预测模式中的至少之一来可变地确定部分区域。
相邻样本可以属于位于当前块的顶部、左侧、左上角的相邻块。用于校正的相邻样本的数目可以是二、三、四或更大。可以根据当前块中的作为校正目标的预测样本的位置来可变地确定相邻样本的位置。替选地，无论作为校正目标的预测样本的位置如何，相邻样本中的一些样本可以具有固定的位置，并且其余相邻样本可以具有取决于作为校正目标的预测样本的位置的可变位置。
相邻样本的差异信息可以意指相邻样本之间的差异样本，或者可以意指通过将差异样本缩放预定的恒定值(例如，一、二、三等)而获得的值。此处，可以在考虑作为校正目标的预测样本的位置、包括作为校正目标的预测样本的行或列的位置、预测样本在行或列内的位置等的情况下来确定预定的恒定值。
例如，在当前块的帧内预测模式是垂直模式时，如式1所示，可以使用左上侧相邻样本p(-1，-1)和与当前块的左边界邻近的相邻样本p(-1，y)之间的差异样本来获得最终预测样本。
[式1]
P′(0，y)＝P(0，y)+((p(-1，y)-p(-1，-1))＞＞1对于y＝0...N-1
例如，在当前块的帧内预测模式是水平模式时，如式2所示，可以使用左上侧相邻样本p(-1，-1)和与当前块的顶部边界邻近的相邻样本p(x，-1)之间的差异样本来获得最终预测样本。
[式2]
P′(x，0)＝p(x，0)+((p(x，-1)-p(-1，-1))＞＞1对于x＝0...N-1
例如，在当前块的帧内预测模式是垂直模式时，可以使用左上侧相邻样本p(-1，-1)和与当前块的左边界邻近的相邻样本p(-1，y)之间的差异样本来获得最终预测样本。此处，可以将差异样本添加至预测样本，或者可以将差异样本缩放预定的恒定值，并且然后添加至预测样本。可以根据行和/或列来不同地确定在缩放时使用的预定的恒定值。例如，可以如式3和式4所示校正预测样本。
[式3]
P′(0，y)＝P(0，y)+((p(-1，y)-p(-1，-1))＞＞1对于y＝0...N-1
[式4]
P′(1，y)＝P(1，y)+((p(-1，y)-p(-1，-1))＞＞2对于y＝0...N-1
例如，在当前块的帧内预测模式是水平模式时，可以使用左上侧相邻样本p(-1，-1)和与当前块的顶部边界邻近的相邻样本p(x，-1)之间的差异样本来获得最终预测样本，如在垂直模式的情况下所描述的。例如，可以如式5和式6所示校正预测样本。
[式5]
P′(x，0)＝p(x，0)+((p(x，-1)-p(-1，-1))＞＞1对于x＝0...N-1
[式6]
P′(x，1)＝p(x，1)+((p(x，-1)-p(-1，-1))＞＞2对于x＝0...N-1
图12和图13是示出根据本发明的实施方式的基于预定校正滤波器对预测样本进行校正的方法的图。
可以基于作为校正目标的预测样本的相邻样本和预定校正滤波器来对预测样本进行校正。此处，相邻样本可以通过当前块的方向性预测模式的角度线来指定，或者相邻样本可以是位于与作为校正目标的预测样本同一角度线上的至少一个样本。此外，相邻样本可以是当前块中的预测样本，或者可以是在当前块之前重构的相邻块中的重构样本。
可以基于以下中的至少之一来确定校正滤波器的抽头数目、强度和滤波器系数中的至少之一：作为校正目标的预测样本的位置、作为校正目标的预测样本是否位于当前块的边界上、当前块的帧内预测模式、方向性预测模式的角度、相邻块的预测模式(帧间模式或帧内模式)以及当前块的大小/形状。
参照图12，当方向性预测模式具有索引2或34时，可以使用位于作为校正目标的预测样本的左下侧的至少一个预测/重构样本和预定的校正滤波器来获得最终预测样本。此处，左下侧处的预测/重构样本可以属于包括作为校正目标的预测样本的行的前一行。左下侧处的预测/重构样本可以与当前样本属于同一个块，或者属于与当前块邻近的相邻块。
可以仅对位于块边界处的线执行对于预测样本的滤波，或者可以对多个线执行对于预测样本的滤波。可以使用以下校正滤波器：针对每个线，滤波器抽头数目和滤波器系数中的至少之一是不同的。例如，(1/2，1/2)滤波器可以用于最接近块边界的左侧第一线，(12/16，4/16)滤波器可以用于第二线，(14/16，2/16)滤波器可以用于第三线，并且(15/16，1/16)滤波器可以用于第四线。
替选地，当方向性预测模式具有索引3至6或索引30至33时，可以如图13所示对块边界执行滤波，并且可以使用3抽头校正滤波器来校正预测样本。可以使用作为校正目标的预测样本的左下侧样本、左下侧样本的底部样本以及将作为校正目标的预测样本作为输入的3抽头校正滤波器来执行滤波。可以基于方向性预测模式来不同地确定由校正滤波器使用的相邻样本的位置。可以根据方向性预测模式来不同地确定校正滤波器的滤波器系数。
可以根据是以帧间模式还是帧内模式对相邻块进行编码来应用不同的校正滤波器。与当相邻块以帧间模式被编码时相比，当相邻块以帧内模式被编码时，可以使用向预测样本给予更多权重的滤波方法。例如，在帧内预测模式是34的情况下，当相邻块以帧间模式被编码时，可以使用(1/2，1/2)滤波器，以及当相邻块以帧内模式被编码时，可以使用(4/16，12/16)滤波器。
当前块中要被滤波的线的数目可以根据当前块(例如，编码块或预测块)的大小/形状而变化。例如，在当前块的大小等于或小于32×32时，可以仅对块边界处的一个线执行滤波；否则，可以对包括块边界处的一个线的多个线执行滤波。
图12和图13基于使用图7中的35个帧内预测模式的情况，但是可以等同地/类似地应用于使用扩展帧内预测模式的情况。
图14示出了根据应用本发明的实施方式的用于帧内预测的参考样本的范围。
参照图14，可以通过使用位于当前块的边界处的参考样本P(-1，-1)，P(-1，y)(0＜＝y＜＝2N-1)和P(x，-1)(0＜＝x＜＝2N-1)来执行帧内预测。此时，基于当前块的帧内预测模式(例如，帧内预测模式的索引、方向性、角度等)或与当前块相关的变换块的大小中的至少之一来选择性地执行对参考样本的滤波。
可以使用在编码器和解码器中预定义的帧内滤波器来执行对参考样本的滤波。例如，可以使用滤波器系数为(1，2，1)的帧内滤波器或滤波器系数为(2，3，6，3，2)的帧内滤波器以得到用于帧内预测的最终参考样本。
替选地，可以选择多个帧内滤波器候选中的至少之一以对参考样本执行滤波。此处，多个帧内滤波器候选可以在滤波器强度、滤波器系数或抽头数目(例如，滤波器系数的数目、滤波器长度)中的至少一个方面彼此不同。可以在序列级别、图片级别、切片级别和块级别中的至少之一上限定多个帧内滤波器候选。即，包括当前块的序列、图片、切片或块可以使用相同的多个帧内滤波器候选。
在下文中，为了便于说明，假设多个帧内滤波器候选包括第一帧内滤波器和第二帧内滤波器。还假设第一帧内滤波器是(1，2，1)3抽头滤波器，第二帧内滤波器是(2，3，6，3，2)5抽头滤波器。
当通过应用第一帧内滤波器对参考样本进行滤波时，可以如式7所示得到经滤波的参考样本。
[式7]
P(-1，-1)＝(P(-1，0)+2P(-1，-1)+P(0，-1)+2)＞＞2
P(-1，y)＝(P(-1，y，+1)+2P(-1，y)+P(-1，y-1)+2)＞＞2
P(x，-1)＝(P(x+1，-1)+2P(x，-1)+P(x-1，-1)+2)＞＞2
当通过应用第二帧内滤波器对参考样本进行滤波时，可以如以下式8所示得到经滤波的参考样本。
[式8]
P(-1，-1)＝(2P(-2，0)+3P(-1，0)+6P(-1，-1)+3P(0，-1)+2P(0，-2)+8)＞＞4
P(-1，y)＝(2P(-1，y+2)+3P(-1，y+1)+6P(-1，y)+3P(-1，y-1)+2P(-1，y-2)+8)＞＞4
P(x，-1)＝(2P(x+2，-1)+3P(x+1，-1)+6P(x，-1)+3P(x-1，-1)+2P(x-2，-1)+8)＞＞4
在以上式7和式8中，x可以是0到2N-2之间的整数，并且y可以是0到2N-2之间的整数。
替选地，基于参考样本的位置，可以确定多个帧内滤波器候选中之一，并且可以通过使用所确定的一个帧内滤波器候选来执行对参考样本的滤波。例如，可以将第一帧内滤波器应用于第一范围中包括的参考样本，并且可以将第二帧内滤波器应用于第二范围中包括的参考样本。此处，可以基于以下来区分第一范围和第二范围：它们是否与当前块的边界相邻，它们是否位于当前块的顶侧或左侧，或者它们是否与当前块的拐角相邻。例如，如图15所示，通过如式7所示应用第一帧内滤波器来执行对与当前块的边界相邻的参考样本(P(-1，-1)、P(-1，0)、P(-1，1)、...、P(-1，N-1)和P(0，-1)、P(1，-1)、...)的滤波，并且通过如式8所示应用第二参考滤波器来执行对不与当前块的边界相邻的其他参考样本的滤波。可以基于用于当前块的变换类型来选择多个帧内滤波器候选中的一个帧内滤波器候选，并且使用所选择的一个帧内滤波器候选对参考样本执行滤波。此处，变换类型可以意指(1)变换方案例如DCT、DST或KLT、(2)变换模式指示符例如2D变换、1D变换或非变换或者(3)变换的数目例如第一变换和第二变换。在下文中，为了便于描述，假设变换类型意指变换方案例如DCT、DST和KLT。
例如，如果使用DCT对当前块进行编码，则可以使用第一帧内滤波器来执行滤波，以及如果使用DST对当前块进行编码，则可以使用第二帧内滤波器来执行滤波。或者，如果使用DCT或DST对当前块进行编码，则可以使用第一帧内滤波器来执行滤波，以及如果使用KLT对当前块进行编码，则可以使用第二帧内滤波器来执行滤波。
可以使用基于当前块的变换类型和参考样本的位置选择的滤波器来执行滤波。例如，如果使用DCT对当前块进行编码，则可以通过使用第一帧内滤波器来对参考样本P(-1，-1)、P(-1，0)、P(-1，1)、...、P(-1，N-1)和P(0，-1)、P(1，-1)、...、P(N-1，-1)执行滤波，以及可以通过使用第二帧内滤波器来对其他参考样本执行滤波。如果使用DST对当前块进行编码，则可以通过使用第二帧内滤波器来对参考样本P(-1，-1)，P(-1，0)、P(-1，1)、...，P(-1，N-1)和P(0，-1)、P(1，-1)、...、P(N-1，-1)执行滤波，以及可以通过使用第一帧内滤波器来对其他参考样本执行滤波。
可以基于包括参考样本的相邻块的变换类型是否与当前块的变换类型相同来选择多个帧内滤波器候选中的一个帧内滤波器候选，并且可以使用所选择的帧内滤波器候选来执行滤波。例如，在当前块与相邻块使用相同的变换类型时，使用第一帧内滤波器执行滤波，以及在当前块与相邻块的变换类型彼此不同时，可以使用第二帧内滤波器来执行滤波。
可以基于相邻块的变换类型来选择多个帧内滤波器候选中的任何一个帧内滤波器候选，并且使用所选择的一个帧内滤波器候选对参考样本执行滤波。即，可以考虑包括参考样本的块的变换类型来选择特定滤波器。例如，如图16所示，如果与当前块的左侧/左下侧相邻的块是使用DCT进行编码的块，并且与当前块的上侧/右上侧相邻的块是使用DST进行编码的块，则通过应用第一帧内滤波器来对与当前块的左侧/左下侧相邻的参考样本执行滤波，并且通过应用第二帧内滤波器来对与当前块的上侧/右上侧相邻的参考样本执行滤波。
可以以预定区域为单元限定在相应区域中可使用的滤波器。在本文中，预定区域的单位可以是序列、图片、切片、块组(例如，编码树单元行)或块(例如，编码树单元)中任一者。或者，可以限定共享一个或更多个滤波器的另外的区域。可以通过使用映射到包括当前块的区域的滤波器来对参考样本进行滤波。
例如，如图17所示，可以以CTU为单位使用不同滤波器对参考样本执行滤波。在该情况下，可以经由序列参数集(SPS)或图片参数集(PPS)用信号发送指示在序列或图片中是否使用相同滤波器、用于每个CTU的滤波器的类型、在可用的帧内滤波器候选中指定在相应CTU中使用的滤波器的索引的信息。
可以以编码单元为单位应用上述帧内滤波器。例如，可以通过将第一帧内滤波器或第二帧内滤波器应用于编码单元周围的参考样本来执行滤波。
当确定当前块的帧内预测模式时，可以使用与当前块相邻的参考样本来执行帧内预测。例如，可以通过对参考样本求平均来生成当前块的预测样本，或者可以通过考虑帧内预测模式的方向性在特定方向上复制参考样本来生成当前块的预测样本。如上参照图14的示例中所述，位于当前块的边界处的P(-1，-1)、P(-1，y)(0<＝y<＝2N-1)、P(x，-1)(0<＝x<＝2N-1)可以用作参考样本。
当确定与当前块邻近的相邻块中包括的样本不可用作参考样本时，可以用可用参考样本替换不可用样本。例如，在相邻块中包括的样本的位置在图片外部、在相邻块中包括的样本存在于与当前块不同的切片中或在相邻块中包括的样本包括在通过帧间预测编码的块中的情况下，可以将相邻样本确定为不可用。此处，可以基于指示是否当执行当前块的帧内预测时使用通过帧间预测编码的块中包括的样本作为参考样本的信息来确定通过帧间预测编码的块中包括的样本是否不可用。此处，信息可以是1比特标志(例如，‘constrained_intra_prediction_flag’)，但不限于此。例如，当‘constrained_intra_prediction_flag’的值是1时，通过帧间预测编码的块中包括的样本可以被确定为不可用作参考样本。在下文中，不能用作参考样本的样本将被称为不可用参考样本。
在图14所示的示例中，当确定位于最左下方的样本(例如，P(-1，2N-1))不可用时，可以用通过以预定顺序扫描可用样本首先搜索到的第一可用参考样本来替换位于最左下方的样本。此处，可以从与最左下方样本相邻的样本起顺序地执行扫描顺序。例如，在图14所示的示例中，当样本P(-1，2N-1)不可用时，可以按P(-1，2N-2)至P(-1，1)、P(-1，0)至P(2N-1，-1)的顺序执行扫描。可以用作为扫描结果而找到的第一可用参考样本替换P(-1，2N-1)。
当除了位于最左下方的参考样本之外左侧参考样本不可用时，可以用与左侧参考样本的底部相邻的参考样本替换左侧参考样本。例如，P(-1，2N-1)与P(-1，-1)之间的不可用参考样本P(-1，y)可以用参考样本P(-1，y+1)替换。
当顶部参考样本不可用时，可以用与顶部参考样本左侧相邻的参考样本替换顶部参考样本。例如，P(0，-1)与P(2N-1，-1)之间的不可用参考样本P(x，-1)可以用参考样本P(x-1，-1)替换。
当前块的参考样本集可以被称为“参考线”(或“帧内参考线”或“参考样本线”)。此处，参考线可以包括由一行和一列组成的参考样本的集合。例如，在图14所示的示例中，‘参考线’是包括P(-1，2N-1)到P(-1，1)、P(0，-1)到P(2N-2，-1)的参考样本集。可以基于包括在参考线中的参考样本来执行当前块的帧内预测。可以基于当前块的帧内预测模式使用参考线中包括的参考样本来执行当前块的帧内预测。例如，在当前块的帧内预测模式是DC模式时，可以使用包括在参考线中的参考样本的平均和加权预测来生成预测信号。例如，在当前块的帧内预测模式是DC模式时，可以根据式9获得当前块的预测样本。
[式9]
P(0，0)＝(P(-1，0)+P(0，-1)+2*dcVal)＞＞2
P(x，0)＝(P(x，-1)+3*dcVal)＞＞2
P(0，y)＝(P(-1，y)+3*dcVal)＞＞2
在式9中，可以基于包括在参考线中的参考样本中的除了P(-1，-1)之外的样本的平均值来生成dcVal。
平面模式在没有强边缘的平滑区域中提供有效的预测效率，并且有效地改善块边界的不连续性或块边界的图像质量劣化。在当前块的帧内预测模式是平面模式时，可以使用与当前块的右上角相邻的参考样本和具有与水平方向临时预测样本相同的y坐标的参考样本来获得当前块的水平方向临时预测样本，以及可以使用与当前块的左下角相邻的参考样本和具有与垂直方向临时预测样本相同的x坐标的参考样本来获得当前块的垂直方向临时预测样本。例如，可以通过根据式10获得当前块的水平方向临时预测样本和垂直方向临时预测样本。
[式10]
Ph(x，y)＝(N-1-x)*P(-1，y)+(x+1)*P(N，-1)
Pv(x，y)＝(N-1-y)*P(x，-1)+(y+1)*P(-1，N)
可以通过对水平方向临时预测样本和垂直方向临时预测样本求和，然后将求和结果移位根据当前块的大小确定的值来生成当前块的预测样本。例如，可以根据式11获得当前块的预测样本。
[式11]
P(x，y)＝(Ph(x，y)+Pv(x，y)+N)＞＞(log2(N)+1)
可以使用多个参考线来执行当前块的帧内预测。多个参考线的长度可以全部或部分相同，或者可以设置为彼此不同。
例如，假设当前块具有W×H大小，第k参考线可以包括p(-k，-k)、位于与p(-k，-k)相同的行中的参考样本(例如，从p(k+1，-k)到p(W+H+2(k-1)，-k)的参考样本或从p(-k+1，-k)到p(2W+2(k-1)，-k)的参考样本)以及位于与p(-k，-k)相同的列中的参考样本(例如，从p(-k，-k+1)到p(-k，W+H+2(k-1))的参考样本或从p(-k，-k+1)到p(-k，2H+2(k-1))的参考样本)。
图18例示了多个参考样本线。如在图18中所示的示例中，当与当前块的边界相邻的第一参考线被称为“参考线0”时，第k参考线可以被设置为与第(k-1)参考线相邻。
替选地，与图18中所示的示例不同，也可以将所有参考线配置成具有相同数量的参考样本。
可以通过多个参考线中的至少一个参考线来执行当前块的帧内预测。如上所述使用多个参考线执行帧内预测的方法可以被称为“使用扩展参考样本的帧内预测方法”或“扩展帧内预测方法”。此外，多个参考线可以被称为“扩展参考线”。
可以基于通过比特流用信号发送的信息来确定是否使用扩展参考线来执行帧内预测。此处，信息可以是1比特标志，但不限于此。与是否使用扩展参考线执行帧内预测有关的信息可以以编码树单元、编码单元或预测单元为单位用信号发送，或者可以以序列、图片或切片为单位用信号发送。即，是否使用扩展参考线执行帧内预测可以以序列、图片、切片、CTU、CU或PU为单位来确定。
替选地，可以基于当前块的大小、形状、深度或帧内预测模式中的至少之一来确定是否使用扩展参考线来执行帧内预测。
例如，可以根据当前块是具有正方形形状还是具有非正方形形状确定是否使用扩展参考线来执行帧内预测。例如，如果当前块具有正方形形状，则可以使用扩展参考线来执行当前块的帧内预测，如图19(a)中所示的示例中那样。即，在当前块具有正方形形状时，可以使用当前块周围的多个参考线中的至少之一来执行帧内预测。另一方面，在当前块具有非正方形形状时，可以在不使用扩展参考线的情况下执行当前块的帧内预测，如图19(b)中所示的示例中那样。即，在当前块具有非正方形形状时，可以使用与当前块相邻的一个参考线来执行帧内预测。
与图19中所示的示例相反，在当前块具有非正方形形状时，可以使用扩展参考线来执行帧内预测，以及在当前块具有正方形形状时，可以在不使用扩展参考线的情况下执行帧内预测。
当确定使用扩展参考线执行帧内预测时，可以确定参考线的数目。此处，参考线的数目可以具有固定值，以及可以根据当前块的大小、形状或帧内预测模式自适应地来确定。例如，在当前块的帧内预测模式是非方向性模式时，使用一个参考线执行当前块的帧内预测。在当前块的帧内预测模式是方向性模式时，可以使用多个参考线来执行当前块的帧内预测。
对于另外的示例，可以通过以序列、图片、切片或要解码的单元为单位用信号发送的信息来确定参考线的数目。此处，要解码的单元可以表示编码树单元、编码单元、变换单元、预测单元等。例如，可以通过序列头或片头用信号发送指示序列或切片中可用的可用参考线的数目的语法元素‘max_intra_line_idx’。在这种情况下，可用参考线的数目可以设置为max_intra_line_idx_minus2+2。
在下文中，将详细描述使用扩展参考线执行帧内预测的方法。
图20是示出根据本发明的使用扩展参考线执行帧内预测的方法的流程图。
首先，解码器可以生成多个参考线(S2010)。可以基于包括在比当前块更早被解码的块中的重构样本来生成每个参考线中包括的参考样本。
在当前块的帧内预测模式是方向性模式时，解码器可以考虑帧内预测模式的方向性来生成参考线。在考虑帧内预测模式的方向性的情况下，可以在第k参考线中包括比第(k-1)参考线中包括的参考样本更多数量的参考样本。即，与当前块附近的参考线相比，远离当前块的参考线可以包括更多数目的参考样本。
此处，可以根据当前块的大小、形状或帧内预测模式可变地确定与包括在第(k-1)参考线中的参考样本相比进一步包括在第k参考线中的参考样本的数目。
例如，在当前块具有4×4大小时，与第(k-1)参考线相比，第k参考线可以进一步包括四个(具体地，水平方向上2个，垂直方向上2个)参考样本。此外，在当前块具有8×8大小时，与第(k-1)参考线相比，第k参考线可以进一步包括八个(具体地，水平方向上4个，垂直方向上4个)参考样本。
参照图18，由于当前块大小的大小是4×4，例示了第一参考样本包括总共9个参考样本，第二参考样本包括总共13(＝9+2×2)个参考样本。
在当前块是非正方形时，可以根据当前块的水平和垂直长度来确定包括在参考线中的参考样本的数目。
例如，图21是例示用于非正方形块的多个参考线的图。通过比较图18和图21进行描述，随着当前块的宽度减小到1/2，参考线0中包括的除了左上侧参考样本之外的顶部参考样本的数目从8减少到4。
即，根据图15和图17，当假设当前块具有W×H大小时，第k参考线可以包括总共2{(W+H)+2(k-1)}+1个参考样本，这些参考样本包括W+H+2(k-1)个顶部参考样本(或2W+2(k-1)个顶部参考样本)(即水平方向参考样本)、W+H+2(k-1)个左侧参考样本(或2H+2(k-1)个左侧参考样本)(即垂直方向参考样本)和左上侧参考样本。
如果在参考线中包括不可用的参考样本，则可以用相邻的可用参考样本替换不可用参考样本。此时，替换不可用参考样本的相邻样本可以与不可用参考样本包括在相同的参考线中，或者可以与不可用参考样本包括在不同的参考线中。
例如，如果当使用扩展参考线执行帧内预测时参考样本的位置在图片外部或与当前块在不同的切片中，或者如果当使用扩展参考线执行帧内预测时参考样本包括在通过帧间预测编码的块中，则可以将参考样本确定为不可用。当设置为不使用通过帧间预测编码的块中包括的参考样本时(例如，仅当constrained_intra_prediction_flag的值为0时)，可以将通过帧间预测编码的块中包括的参考样本确定为不可用。或者，如果设置为通过帧内预测编码的块应该比通过帧间预测编码的块更早地被解码，则当通过帧内预测编码的块被解码时，可能尚未重构通过帧间预测编码的块。因此，可以将通过帧间预测编码的块中包括的参考样本确定为不可用。
可以考虑不可用参考样本的位置、不可用参考样本与可用参考样本之间的距离等来确定用于替换不可用参考样本的参考样本。例如，不可用样本可以用与不可用参考样本具有最短距离的可用样本来替换。即，可以用以下可用参考样本代替不可用参考样本：该可用参考样本具有最短距离，并且是通过将与不可用参考样本包括在同一参考线中的可用参考样本与不可用样本之间的距离(第一偏移)和与不可用参考样本包括在不同参考线中的可用参考样本与不可用样本之间的距离(第二偏移)进行比较来选择的。替选地，位于不可用参考样本的预定方向上的可用参考样本可以替换不可用参考样本。此处，预定方向可以是编码器/解码器中的预定义方向(例如，左、右、上或下)。可以根据不可用参考样本的位置来不同地设置预定义方向。
在图22所示的示例中，描绘了参考线0中包括的不可用参考样本与参考线0中包括的可用参考样本之间的距离是4，并且参考线0中包括的不可用参考样本与参考线2中包括的可用参考样本之间的距离是2。因此，可以通过使用参考线2中包括的可用参考样本来代替参考线0中包括的不可用样本。
如果第一偏移和第二偏移相同，则可以使用与不可用参考样本包括在同一参考线中的可用参考样本来替换不可用参考样本。
可以仅当与不可用参考样本包括在同一参考线中的可用样本与不可用参考样本之间的距离(即，第一偏移)等于或大于N时，使用与不可用参考样本包括在不同的参考线中的可用参考样本来替换不可用参考样本。替选地，即使在第一偏移等于或大于N的情况下，可以仅在第二偏移小于第一偏移时，才使用与不可用参考样本包括在不同的参考线中的可用参考样本替换不可用参考样本。此处，N可以表示整数1或更大的整数。
如果第一偏移不等于或大于N，则可以使用与不可用参考样本包括在同一参考线中的可用参考样本来替换不可用参考样本。
图23和图24示出了在N为2时用可用参考样本替换不可用参考样本的示例。如果参考线0中包括的不可用参考样本与参考线0中包括的可用参考样本之间的距离是2，如在图23中所示的示例中那样，则可以使用参考线1中包括的可用参考样本来替换参考线0中包括的不可用参考样本。
另一方面，如果参考线0中包括的不可用参考样本与参考线0中包括的可用参考样本之间的距离是1，如在图24中所示的示例中那样，则可以使用参考线0中包括的可用参考样本来替换参考线0中包括的不可用参考样本。
可以使用与不可用参考样本包括在同一参考线中的可用参考样本或与包括不可用参考样本的参考线相邻的参考线中包括的可用参考样本来替换不可用参考样本。此处，与包括不可用参考样本的参考线相邻的参考线可以指与包括不可用参考样本的参考线具有为1的索引差的参考线。替选地，可以用与包括不可用参考样本的参考线具有为2或更大的索引差的参考线中包括的可用参考样本替换不可用参考样本。
替选地，可以使用与包括不可用的参考样本的参考线相比具有更大索引值或具有更小索引值的参考线中包括的可用参考样本来替换不可用参考样本。例如，如果使用与包括不可用参考样本的参考线相比具有更大的索引值的参考线，则可以使用位于不可用参考样本的左侧或顶部的参考样本来替换不可用参考样本。
可以在预定方向上执行对用于替换不可用参考样本的可用参考样本的搜索。例如，可以仅使用在与不可用参考样本包括在同一参考线中的参考样本中的位于不可用样本的顶部、底部、左侧或右侧方向上的参考样本来替换不可用参考样本。替选地，可以仅使用在与不可用参考样本包括在不同的参考线中的参考样本中的位于不可用样本的顶部、底部、左侧或右侧方向上的参考样本来替换不可用样本。
解码器可以基于比特流解码指定多个参考线中的至少之一的索引信息(S2020)。例如，当如图18所示的示例中有4个参考线可用时，索引信息可以指定4个参考线中的至少之一。
可以基于当前块的大小、当前块的类型、当前块的帧内预测模式、相邻块中的索引信息或者当前块的帧内预测模式与预定帧内预测模式之间的差异等来自适应地确定用于对当前块执行帧内预测的参考线。
此外，用于当前块的帧内预测的参考线的数目可以具有固定值，或者可以根据当前块的大小、形状或帧内预测模式自适应地确定该数目。
当确定多个参考线中的至少一个参考线时，解码器可以使用所确定的参考线对当前块执行帧内预测(S2030)。在这种情况下，可以根据当前块的帧内预测模式的类型或帧内预测模式的方向性中的至少之一来得到在当前块的帧内预测中使用的参考样本在所选择的参考线中的位置。
例如，在当前块的帧内预测模式是DC模式时，可以基于所确定的参考线中包括的参考样本的全部或一部分的平均值(dcVal)来生成当前块的预测样本。参照图25和图26，将详细描述参考线中包括的参考样本的平均值的计算。
替选地，在当前块的帧内预测模式是方向性模式时，可以基于所确定的参考线中包括的参考样本中由方向性模式指定的参考样本来生成当前块的预测样本。此时，如果从预测样本朝向由方向性模式指示的方向延伸的线段指向参考样本之间，则可以基于位于由线段指示的点的两侧的第一参考样本和第二参考样本的加权和(加权预测)生成当前块的预测样本，其中，线段朝向由方向性模式指示的方向延伸。
在当前块的帧内预测模式是DC模式时，需要计算参考线中包括的参考样本的平均值(dcVal)，以对当前块执行预测。此时，第k参考线中的参考样本的平均值可以仅使用第k参考线中包括的一部分参考样本来计算。此时，用于得到平均值的参考样本的数目对于每个参考线可以是相同的，或者对于每个参考线可以是不同的。
替选地，第k参考线中的参考样本的平均值可以使用第k参考线中包括的所有参考样本来得到。替选地，可以基于当前块的大小、当前块的形状或参考线的位置来确定是使用第k参考线中的参考样本的一部分来得到平均值还是使用第k参考线中的所有参考样本来得到平均值。
图25是示出用于得到参考线的平均值的参考样本的图。
图25示出了使用参考线中包括的参考样本的一部分来得到第k参考线的参考样本平均值的示例。例如，如图25中所示的示例，可以使用除与当前块的左上角相邻的参考样本以外的顶部参考样本和左侧参考样本来计算与当前块相邻的第一参考线(即，图25中所示的参考线0)的参考样本平均值。即，在当前块的大小是N×N时，可以使用总共4N个参考样本——例如2N个顶部参考样本和2N个左侧参考样本——来计算第一参考线的平均值。
用于计算第k参考线的参考样本平均值的参考样本的数目可以与用于计算第一参考线的参考样本平均值的参考样本的数目相同。此时，用于计算第k参考线的平均值的参考样本的位置可以与用于计算第一参考线的参考样本平均值的参考样本的位置对应。
与第一参考线的参考样本对应的第k参考线中的参考样本可以与第一参考线的参考样本具有相同的x坐标或相同的y坐标。例如，与第一参考线中包括的顶部参考样本P(i，j)对应的在第k参考线中包括的顶部参考样本的坐标可以是P(i，j-k+1)，该P(i，j-k+1)与P(i，j)具有相同的x坐标。例如，与第一参考线中包括的左侧参考样本P(i，j)对应的在第k参考线中的左侧参考样本的坐标可以是P(i-k+1，j)，该P(i-k+1，j)与P(i，j)具有相同的y坐标。
在图25中，示出了与第一参考线中的上部参考样本和左侧参考样本对应的第二参考线至第四参考线的参考样本。可以使用图25中所示的参考样本来计算每个参考线的参考样本平均值。
在图25中，假设当前块具有正方形形状，但是即使在当前块具有非正方形形状，也可以照原样应用上述实施方式。例如，在当前块是具有W×H大小的非正方形块时，可以使用总共2(W+H)个参考样本(例如2W个顶部参考样本和2H个左侧参考样本)来计算每个参考线的参考样本平均值。因此，如在图26中所示的示例中，用于计算第k参考线的平均值的参考样本的数目可以与用于计算第一参考线的平均值的参考样本的数目具有相同的值。此外，用于计算第k参考线的平均值的参考样本的位置可以与用于计算第一参考线的参考样本平均值的参考样本的位置对应。
在图25和图26中，使用达到当前块的宽度的两倍的顶部参考样本和与达到当前块的高度的两倍的左侧参考样本来计算参考线的参考样本平均值。可以使用比图25和图26中所示的参考样本更少数量或更多数量的参考样本来计算参考线的参考样本平均值。例如，可以使用与当前块的宽度相同数量的顶部参考样本以及与当前块的高度相同数量的左侧参考样本来计算参考线的参考样本平均值。
可以通过根据当前块的形状和参考样本的位置向参考样本分配不同的权重来计算参考线的参考样本平均值。例如，如果当前块具有正方形形状，则可以通过向顶部参考样本和左侧参考样本分配相同的权重来计算参考样本平均值。另一方面，在当前块具有非正方形形状时，可以通过向顶部参考样本和左侧参考样本中之一分配较大权重来计算参考样本平均值。例如，如果当前块的高度大于宽度，则可以通过向顶部参考样本分配比向左侧参考样本分配的权重更大的权重来计算平均值。另一方面，在当前块的宽度大于高度时，可以通过向左侧参考样本分配比向顶部参考样本分配的权重更大的权重来计算平均值。
例如，在当前块的大小是N/2×N时，第k参考线的平均值dcVal可以通过下面式12来计算。
[式12]
Figure BDA0003507282570000381
例如，在当前块的大小是N×N/2时，第k参考线的平均值dcVal可以通过下面式13来计算。
[式13]
Figure BDA0003507282570000382
在式12和式13中，k可以被设置为1与max_intra_line_idx_minus2+2之间的值。
如在以上示例中，可以使用第k帧内参考线的参考样本中的与第一帧内参考线中包括的参考样本对应的参考样本来计算平均值。此时，可以基于预定权重来计算平均值。此处，可以基于第一帧内参考线和第k帧内参考线与当前块的距离来得到权重。
在通过图20描述的示例中，例示了在生成多个参考线之后解码指定多个参考线中之一的索引信息。也可以在解码指定多个参考线中之一的索引信息之后仅获得多个参考线中的由索引信息指定的参考线。
在通过图20描述的实施方式中，描述了使用多个参考线中的由索引信息指定的至少一个参考线来执行当前块的帧内预测。即，可以使用一个参考线或者两个或更多个参考线来执行对当前块的帧内预测。可以基于从比特流用信号发送的信息、当前块的大小、当前块的类型、当前块的帧内预测模式、当前块的帧内预测模式是否是非方向性的、或者当前块的帧内预测模式与预定帧内预测模式之间的差异等来确定是否在对当前块执行帧内预测时使用两个或更多个参考线。
可以通过从比特流用信号发送的多个索引信息来指定两个或更多个参考线。例如，当设置为使用两个参考线时，可以通过第一索引信息指定两个参考线中的任何一个，而另一个参考线可以通过第二索引信息指定。
替选地，两个或更多个参考线可以在空间上连续。在这种情况下，可以通过比特流用信号发送用于指定两个或更多个参考线中的任何一个的索引信息。如果通过索引信息选择两个或更多个参考线中的任何一个，则可以基于与所选择的参考线的空间邻接来自动选择剩余参考线。例如，当设置为使用两个参考线并且索引信息指示‘参考线0’时，可以基于参考线0和与参考线0相邻的参考线1来执行当前块的帧内预测。
当设置为使用多个参考线时，可以基于多个参考线中包括的参考样本的平均值、最大值、最小值或加权和来执行当前块的帧内预测。
例如，假设当前块的帧内预测模式是方向性模式(即，角度模式)，可以基于第一参考样本和第二参考样本生成当前块的预测样本，其中，第一参考样本和第二参考样本中的每一个都包括在不同参考线中。此处，包括第一参考样本的第一参考线和包括第二参考样本的第二参考线可以被定位成彼此相邻，但不限于此。此外，可以通过当前块的帧内预测模式确定第一参考样本和第二参考样本。第一参考样本和第二参考样本可以被定位成彼此相邻，但是不限于此。可以考虑第一参考样本和第二参考样本的加权和来生成当前块的预测样本，或者可以基于第一参考样本和第二个参考样本的平均值、最小值或最大值来生成当前块的预测样本。
可以通过基于多个参考线中的一部分执行第一帧内预测并基于剩余参考线执行第二帧内预测来执行当前块的帧内预测。此处，在第一帧内预测中使用的帧内预测模式和在第二帧内预测中使用的帧内预测模式可以相同或不同。可以基于通过执行第一帧内预测生成的第一预测样本和通过执行第二帧内预测生成的第二预测样本来生成当前块的预测样本。
可以对参考线中包括的参考样本执行参考样本平滑。即，多个滤波器中的至少之一可以用于对参考线中包括的参考样本进行滤波。可以基于未滤波的参考样本或滤波的参考样本来执行对当前块的帧内预测。
可以对多个参考线中的所有参考线或多个参考线的一部分参考线执行参考样本平滑。例如，可以对多个参考线中的用于当前块的帧内预测的参考线——例如，由索引信息指定的参考线——执行参考样本平滑。
可以基于当前块的大小、帧内预测模式的类型、帧内预测模式的方向性、参考线的位置、参考线的数目或参考线之间的变化中的至少之一来自适应地确定是否执行参考样本平滑。参考线之间的变化可以表示不同参考线中包括的参考样本之间的差值。例如，如果当前块的预测块的大小是4×4，或者如果当前块的帧内预测模式是DC模式，则可以省略参考样本平滑。
此外，可以根据当前块的大小、帧内预测模式的类型、帧内预测模式的方向性、参考线的位置、参考线的数目或参考线之间的变化中的至少之一来自适应地确定应用滤波器的次数或滤波器的类型。例如，当与当前块有关的预测块的大小等于或小于32×32并且当前块的帧内预测模式不具有水平方向、与水平方向类似的方向、垂直方向或与垂直方向类似的方向时，可以使用第一帧内滤波器来执行参考滤波器平滑。另一方面，当与当前块有关的预测块的大小等于或大于32×32并且参考样本之间的变化等于或小于预定值(即，参考样本的值的改变不大)时，则可以使用第二帧内滤波器来执行参考样本平滑。
当使用第一帧内滤波器对参考线中包括的参考样本进行滤波时，可以如式14所示得到经滤波的参考样本。
[式14]
P(-1，-1)＝(P(-1，0)+2*P(-1，-1)+P(0，-1)+2)＞＞2
P(-1，y)＝(P(-1，y+1)+2*P(-1，y)+P(-1，y-1)+2)＞＞2
P(x，-1)＝(P(x+1，-1)+2*P(x，-1)+P(x-1，-1)+2)＞＞2
当使用第二帧内滤波器对参考线中包括的参考样本进行滤波时，可以如式15所示得到经滤波的参考样本。
[式15]
P(-1，y)＝((2N-y)*P(-1，-1)+(y+1)*P(-1，2N+2K-1)+N/2)＞＞N
P(x，-1)＝((2N-x)*P(-1，-1)+(x+1)*P(2N+2K—1，-1)+N/2)＞＞N
在上面的式14和式15中，x可以具有0到2N-2(k-1)之间的值，并且y可以具有0到2N-2(k-1)之间的值。此处，k表示参考线的索引，并且N表示当前块的大小。
替选地，可以根据参考线可变地确定帧内滤波器的类型或应用帧内滤波器的次数。例如，可以根据参考线的索引或位置应用不同的帧内滤波器。或者，可以根据参考线所属的组应用不同的帧内滤波器。此处，不同的滤波器可以在滤波器的长度、滤波器系数或滤波器强度中的至少一个方面彼此不同。
作为示例，可以将多个参考线分类成至少一个组。此时，每个组可以包括至少一个参考线。可以基于参考线的索引、参考线的数目或参考线之间的邻接中的至少之一来执行分组。例如，可以基于诸如参考线的索引是否是偶数或者参考线的索引是否等于或大于预定值等因素将多个参考线分类成至少一个组。
例如，在当前块使用第一参考线或第二参考线中的至少之一时，可以使用第一帧内滤波器来执行帧内参考平滑。另一方面，在当前块使用第三参考线或第四参考线中的至少之一时，可以使用第二帧内滤波器来执行帧内参考平滑。此处，第一帧内滤波器和第二帧内滤波器可以在滤波器系数、滤波器抽头或滤波器强度中的至少一个方面彼此不同。例如，第一帧内滤波器的滤波器系数可以是(1，2，1)，第二帧内滤波器的滤波器系数可以是(2，12，2)。
可以基于当前块的大小、帧内预测模式的类型、帧内预测模式的方向性、参考线的位置、参考线的数目中的至少之一来确定要应用于参考线的滤波器类型。并且可以基于所列举的元素将所确定的滤波器类型中包括的滤波器中之一应用于参考线。此处，可以根据滤波器长度(抽头的数目)、滤波器系数或滤波器强度中的至少之一来对滤波器类型进行分类。例如，第一类型滤波器可以具有彼此相同的滤波器长度，但是可以与第二类型滤波器具有不同的滤波器长度。
例如，当与当前块有关的预测块的大小等于或小于32×32并且当前块的帧内预测模式不具有水平方向、与水平方向类似的方向、垂直方向或与垂直方向类似的方向时，可以确定使用第一滤波器类型。以及，在当前块使用第一参考线或第二参考线中的至少之一时，可以使用第一帧内滤波器类型中包括的第一帧内滤波器来执行参考样本平滑。另一方面，在当前块使用第三参考线或第四参考线中的至少之一时，可以使用第一帧内滤波器类型中包括的第二帧内滤波器来执行参考样本平滑。此时，第一帧内滤波器和第二帧内滤波器的滤波器长度相同，而滤波器系数不同。例如，第一帧内滤波器的滤波器系数可以是(1，2，1)，第二帧内滤波器的滤波器系数可以是(2，12，2)。
可以根据是否使用扩展参考线来可变地确定可用帧内预测模式的数目。即，根据是否使用扩展参考线，可以以序列、切片、编码树单元、编码单元或预测单元为单位使用不同数量的方向性帧内预测模式。
由于当使用扩展参考线时帧内预测的效率增大，所以即使当与不使用扩展参考线时相比使用较少数量的帧内预测模式时，在执行高效帧内预测方面也不存在问题。因此，根据是否使用扩展参考线，可以确定是使用N个方向性预测模式还是少于N个方向性预测模式。例如，可以设置为，当使用扩展参考线时使用基本帧内预测模式(即，33个方向性帧内预测模式)，以及当不使用扩展参考线时使用扩展帧内预测模式(即，65个方向性帧内预测模式)。
可以根据用于帧内预测的参考线的位置来限制可用于当前块的帧内预测模式的类型或数目。
例如，随着当前块与参考线之间的距离增大，当前块与参考线之间的不连续性增加。因此，随着当前块与参考线之间的距离增大，使用诸如DC模式或平面模式的非方向性预测模式的帧内预测的效率降低。因此，可以设置为，当使用距当前块的距离等于或大于预定阈值的参考线时，不使用包括DC模式或平面模式中的至少之一的非方向性预测模式。例如，当用于当前块的帧内预测的参考线的索引等于或大于L时，可以不使用包括DC模式和平面模式中的至少之一的非方向性预测模式。此处，L是包括0的整数，并且可以是0、1、2、3等。
替选地，可以根据用于当前块的帧内预测的帧内参考线的位置来调整可用帧内预测模式的数目。例如，当用于当前块的帧内预测的参考线的索引等于或大于L时，可以使用基本帧内预测模式，以及当参考线的索引小于L时，可以使用扩展帧内预测模式。例如，如果L是2，则可以将扩展帧内预测模式(即，67个帧内预测模式)用于第一参考线或第二参考线，并且可以将基本帧内预测模式(即，35个帧内预测模式)用于第三参考线或第四参考线。
根据当前块的帧内预测模式或可用于当前块的帧内预测模式的数目，可以限制可被选择用于当前块的参考线。例如，在当前块的帧内预测模式是诸如DC模式或平面模式的非方向性预测模式时，可以设置为，将具有等于或大于L的索引的参考线用于当前块的帧内预测。
已经主要关于解码处理描述了上述实施方式，可以以与所描述的相同的顺序或以相反的顺序执行编码处理。
图27是示出根据应用本发明的实施方式的获得残差样本的处理的流程图。
首先，可以获得当前块的残差系数(S2710)。解码器可以通过系数扫描方法获得残差系数。例如，解码器可以使用锯齿形扫描、垂直扫描或水平扫描来执行系数扫描，并且可以获得二维块形式的残差系数。
可以对当前块的残差系数执行逆量化(S2720)。
可以确定是否跳过对当前块的反量化残差系数的逆变换(S2730)。具体地，解码器可以确定是否跳过当前块的水平方向或垂直方向中的至少一个方向上的逆变换。当确定在当前块的水平方向或垂直方向中的至少一个方向上应用逆变换时，可以通过对当前块的反量化残差系数进行逆变换来获得当前块的残差样本。此处，可以使用DCT、DST和KLT中的至少之一来执行逆变换。
当在当前块的水平方向和垂直方向上都跳过逆变换时，不在当前块的水平方向和垂直方向上执行逆变换。在这种情况下，可以通过用预定值缩放反量化的残差系数来获得当前块的残差样本。
水平方向上跳过逆变换意味着不在水平方向上执行逆变换，但是在垂直方向上执行逆变换。此时，可以在水平方向上执行缩放。
垂直方向上跳过逆变换意味着不在垂直方向上执行逆变换，但是在水平方向上执行逆变换。此时，可以在垂直方向上执行缩放。
可以根据当前块的划分类型确定是否可以针对当前块使用逆变换跳过技术。例如，如果通过基于二叉树的划分生成当前块，则可以针对当前块限制逆变换跳过方案。因此，当通过基于二叉树的划分生成当前块时，可以通过对当前块进行逆变换来获得当前块的残差样本。此外，当通过基于二叉树的划分生成当前块时，可以省略对指示是否跳过逆变换的信息(例如，transform_skip_flag)的编码/解码。
替选地，当通过基于二叉树的划分生成当前块时，可以将逆变换跳过方案限于水平方向或垂直方向中的至少之一。此处，可以基于从比特流解码的信息来确定对逆变换跳过方案进行限制的方向，或者可以基于当前块的大小、当前块的形状或当前块的帧内预测模式中的至少之一来自适应地确定对逆变换跳过方案进行限制的方向。
例如，在当前块是宽度大于高度的非正方形块时，可以仅在垂直方向上允许逆变换跳过方案并且在水平方向上限制逆变换跳过方案。即，在当前块是2N×N时，在当前块的水平方向上执行逆变换，并且可以在垂直方向上选择性地执行逆变换。
另一方面，在当前块是高度大于宽度的非正方形块时，可以仅在水平方向上允许逆变换跳过方案并且在垂直方向上限制逆变换跳过方案。即，在当前块是N×2N时，在当前块的垂直方向上执行逆变换，并且可以在水平方向上选择性地执行逆变换。
与以上示例相反，在当前块是宽度大于高度的非正方形块时，可以仅在水平方向上允许逆变换跳过方案，以及在当前块是高度大于宽度的非正方形块时，可以仅在垂直方向上允许逆变换跳过方案。
可以通过比特流用信号发送指示是否关于水平方向跳过逆变换的信息或指示是否关于垂直方向跳过逆变换的信息。例如，指示是否在水平方向上跳过逆变换的信息是1比特标志‘hor_transform_skip_flag’，以及指示是否在垂直方向上跳过逆变换的信息是1比特标志‘ver_transform_skip_flag’。编码器可以根据当前块的形状编码‘hor_transform_skip_flag’或‘ver_transform_skip_flag’中的至少之一。此外，解码器可以通过使用‘hor_transform_skip_flag’或‘ver_transform_skip_flag’中的至少之一来确定是否跳过在水平方向或垂直方向上的逆变换。
可以设置为，根据当前块的划分类型跳过针对当前块的任一方向的逆变换。例如，如果通过基于二叉树的划分生成当前块，则可以跳过水平方向或垂直方向上的逆变换。即，如果通过基于二叉树的划分生成当前块，则可以在不对指示是否跳过当前块的逆变换的信息(例如，transform_skip_flag、hor_transform_skip_flag、ver_transform_skip_flag)进行编码/解码的情况下确定在水平方向或垂直方向中的至少一个方向上跳过针对当前块的逆变换。
尽管已经基于一系列步骤或流程图描述了上述实施方式，但是所述步骤或流程图不限制本发明的时序顺序，并且可以根据需要同时或以不同顺序执行。此外，构成上述实施方式中的框图的部件(例如，单元、模块等)中的每一个可以通过硬件装置或软件以及多个部件来实现。或者，可以将多个部件进行组合并通过单个硬件装置或软件来实现。上述实施方式可以以程序指令的形式实现，所述程序指令可以通过各种计算机部件执行并记录在计算机可读记录介质中。计算机可读记录介质可以包括程序命令、数据文件、数据结构等中之一或其组合。计算机可读介质的示例包括磁介质(例如硬盘、软盘和磁带)、光学记录介质(例如CD-ROM和DVD)、磁光介质(例如软式光盘)、介质以及专门被配置成存储和执行程序指令的硬件装置(例如ROM、RAM、闪存)等。硬件装置可以被配置成作为一个或更多个软件模块操作，以用于执行根据本发明的过程，反之亦然。
工业应用性
本发明可以应用于能够编码/解码视频的电子装置。

Claims (8)

1.一种用于解码图像的方法，所述方法包括：
从比特流中解码所述图像中的当前块的索引信息，所述索引信息指定多个参考样本线中之一；
基于所述索引信息在所述多个参考样本线中选择所述当前块的参考样本线；以及
基于所选择的参考样本线和所述当前块的帧内预测模式，针对所述当前块执行帧内预测，
其中，如果所选择的参考样本线与所述当前块的距离大于预定值，则非方向性帧内预测模式不能用作所述当前块的帧内预测模式，并且
其中，所述非方向性帧内预测模式包括DC模式或平面模式中至少之一。
2.根据权利要求1所述的方法，还包括：对所选择的参考样本线中的参考样本进行滤波。
3.根据权利要求2所述的方法，其中，基于所选择的参考样本线的位置自适应地执行对所述参考样本的滤波。
4.根据权利要求2所述的方法，其中，对所述参考样本进行滤波包括：
基于所选择的参考样本线的位置确定多个滤波器中的一个滤波器；以及
将所述多个滤波器中的所述一个滤波器应用于所述参考样本，
其中，所述多个滤波器具有相同的滤波器长度。
5.根据权利要求1所述的方法，其中，在所述当前块的帧内预测模式具有右上对角线或左下对角线的方向时，通过使用与所述当前块邻近的相邻块中包括的参考样本来修改由所述帧内预测而产生的预测样本。
6.根据权利要求5所述的方法，其中，所述参考样本包括朝向所述帧内预测模式的相反方向的样本中的至少之一。
7.一种用于编码图像的方法，所述方法包括：
在多个参考样本线中选择当前块的参考样本线；
基于所选择的参考样本线和所述当前块的帧内预测模式来针对所述当前块执行帧内预测；以及
编码索引信息，所述索引信息指示所述多个参考样本线中的所选择的参考样本线，
其中，如果所选择的参考样本线与所述当前块的距离大于预定值，则非方向性帧内预测模式不能用作所述当前块的帧内预测模式，并且
其中，所述非方向性帧内预测模式包括DC模式或平面模式中至少之一。
8.一种装置，包括通过对图像进行编码而生成的比特流，
其中，所述比特流包括索引信息，所述索引信息指定多个参考样本线中之一，
其中，基于所述当前块的帧内预测模式和通过所述索引信息选择的参考样本线来生成所述图像中的当前块的预测样本，
其中，如果所选择的参考样本线与所述当前块的距离大于预定值，则非方向性帧内预测模式不能用作所述当前块的帧内预测模式，并且
其中，所述非方向性帧内预测模式包括DC模式或平面模式中至少之一。
CN202210143083.4A 2016-06-24 2017-06-22 图像编码方法、图像解码方法以及装置 Active CN114363628B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210143083.4A CN114363628B (zh) 2016-06-24 2017-06-22 图像编码方法、图像解码方法以及装置

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
KR10-2016-0079644 2016-06-24
KR20160079642 2016-06-24
KR10-2016-0079641 2016-06-24
KR20160079644 2016-06-24
KR10-2016-0079642 2016-06-24
KR20160079641 2016-06-24
PCT/KR2017/006609 WO2017222326A1 (ko) 2016-06-24 2017-06-22 비디오 신호 처리 방법 및 장치
CN202210143083.4A CN114363628B (zh) 2016-06-24 2017-06-22 图像编码方法、图像解码方法以及装置
CN201780039262.0A CN109417628B (zh) 2016-06-24 2017-06-22 视频信号处理方法和装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780039262.0A Division CN109417628B (zh) 2016-06-24 2017-06-22 视频信号处理方法和装置

Publications (2)

Publication Number Publication Date
CN114363628A true CN114363628A (zh) 2022-04-15
CN114363628B CN114363628B (zh) 2024-06-14

Family

ID=60783922

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201780039262.0A Active CN109417628B (zh) 2016-06-24 2017-06-22 视频信号处理方法和装置
CN202210143083.4A Active CN114363628B (zh) 2016-06-24 2017-06-22 图像编码方法、图像解码方法以及装置
CN202210143470.8A Active CN114363629B (zh) 2016-06-24 2017-06-22 图像编码方法、图像解码方法以及装置
CN202210143487.3A Active CN114363630B (zh) 2016-06-24 2017-06-22 视频编码方法、视频解码方法以及装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201780039262.0A Active CN109417628B (zh) 2016-06-24 2017-06-22 视频信号处理方法和装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202210143470.8A Active CN114363629B (zh) 2016-06-24 2017-06-22 图像编码方法、图像解码方法以及装置
CN202210143487.3A Active CN114363630B (zh) 2016-06-24 2017-06-22 视频编码方法、视频解码方法以及装置

Country Status (7)

Country Link
US (5) US10735720B2 (zh)
EP (3) EP4319162A3 (zh)
KR (1) KR102410032B1 (zh)
CN (4) CN109417628B (zh)
ES (3) ES2724570R1 (zh)
PL (2) PL3477951T3 (zh)
WO (1) WO2017222326A1 (zh)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10939125B2 (en) 2016-04-29 2021-03-02 Industry Academy Cooperation Foundation Of Sejong University Method and apparatus for encoding/decoding image signal
CN117119183A (zh) * 2016-04-29 2023-11-24 世宗大学校产学协力团 用于对图像信号进行编码/解码的方法和设备
US11405620B2 (en) * 2016-08-01 2022-08-02 Electronics And Telecommunications Research Institute Image encoding/decoding method and apparatus with sub-block intra prediction
HUE061549T2 (hu) * 2016-08-08 2023-07-28 Lg Electronics Inc Intra-predikciós üzemmódon alapuló video kódolási eljárás és video feldolgozó berendezés ehhez
HUE062025T2 (hu) * 2016-12-23 2023-09-28 Huawei Tech Co Ltd Kódoló berendezés egy kiterjesztési irányú intra-predikciós mód jelzésére irányított intra-predikciós módok csoportján belül
CN117336474A (zh) 2017-01-02 2024-01-02 Lx 半导体科技有限公司 图像编码/解码设备以及发送图像数据的设备
CN110583017B (zh) * 2017-04-28 2023-10-31 英迪股份有限公司 图像编码/解码方法和装置、以及存储比特流的记录介质
US10951908B2 (en) * 2017-05-24 2021-03-16 Lg Electronics Inc. Method and device for decoding image according to intra prediction in image coding system
CN117336511A (zh) * 2017-07-06 2024-01-02 Lx 半导体科技有限公司 图像编码方法、图像解码方法、发送方法和数字存储介质
CN111034196B (zh) * 2017-08-21 2023-11-17 韩国电子通信研究院 用于对视频进行编码/解码的方法和设备以及存储比特流的记录介质
WO2019059107A1 (ja) * 2017-09-20 2019-03-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
CN118338018A (zh) * 2017-11-22 2024-07-12 英迪股份有限公司 图像解码方法、图像编码方法和非暂态计算机可读记录介质
US10432929B2 (en) 2018-02-12 2019-10-01 Tencent America LLC Method and apparatus for multiple line intra prediction in video compression
US11323705B2 (en) 2018-03-09 2022-05-03 Electronics And Telecommunications Research Institute Image encoding/decoding method and apparatus using sample filtering
CN116647681A (zh) * 2018-04-01 2023-08-25 Oppo广东移动通信有限公司 使用帧内预测的图像编码/解码方法和装置
US10419754B1 (en) * 2018-04-02 2019-09-17 Tencent America LLC Method and apparatus for video decoding using multiple line intra prediction
WO2019198984A1 (ko) * 2018-04-11 2019-10-17 엘지전자 주식회사 선형 보간 인트라 예측에 기반한 영상 코딩 방법 및 그 장치
KR20210158432A (ko) * 2018-05-12 2021-12-30 주식회사 윌러스표준기술연구소 참조 샘플을 이용하는 비디오 신호 처리 방법 및 장치
CN112166609B (zh) 2018-06-08 2024-10-18 株式会社Kt 用于处理视频信号的方法和设备
CN112335249B (zh) * 2018-06-25 2024-10-01 有限公司B1影像技术研究所 用于编码/解码图像的方法和装置
US11159806B2 (en) * 2018-06-28 2021-10-26 Qualcomm Incorporated Position dependent intra prediction combination with multiple reference lines for intra prediction
US10567752B2 (en) 2018-07-02 2020-02-18 Tencent America LLC Method and apparatus for intra prediction for non-square blocks in video compression
US10819977B2 (en) 2018-07-05 2020-10-27 Tencent America LLC Methods and apparatus for multiple line intra prediction in video compression
CN116567249B (zh) 2018-07-05 2024-07-16 腾讯美国有限责任公司 视频编码方法、装置及计算机可读介质
US10491893B1 (en) 2018-08-29 2019-11-26 Tencent America LLC Method and apparatus for multi-line intra prediction
CN118612425A (zh) 2018-09-07 2024-09-06 有限公司B1影像技术研究所 对图像进行编码/解码的方法和传输比特流的方法
KR20200028856A (ko) * 2018-09-07 2020-03-17 김기백 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치
US10834393B2 (en) * 2018-09-10 2020-11-10 Tencent America LLC Intra interpolation filter for multi-line intra prediction
US10958932B2 (en) * 2018-09-12 2021-03-23 Qualcomm Incorporated Inter-prediction coding of video data using generated motion vector predictor list including non-adjacent blocks
US11445185B2 (en) 2018-09-19 2022-09-13 Electronics And Telecommunications Research Institute Image encoding/decoding method and device, and recording medium in which bitstream is stored
US11095885B2 (en) * 2018-10-05 2021-08-17 Tencent America LLC Mode list generation for multi-line intra prediction
KR102618079B1 (ko) * 2018-10-07 2023-12-27 삼성전자주식회사 복수개의 참조 라인을 위한 mpm 구성 방법을 이용한 비디오 신호 처리 방법 및 장치
US20220014751A1 (en) * 2018-11-14 2022-01-13 Lg Electronics Inc. Method and device for processing video data
CN113170116B (zh) * 2018-11-22 2024-08-16 北京字节跳动网络技术有限公司 为帧内模式视频处理使用参考行
WO2020130628A1 (ko) * 2018-12-18 2020-06-25 엘지전자 주식회사 다중 참조 라인 인트라 예측에 기반한 영상 코딩 방법 및 그 장치
WO2020130629A1 (ko) * 2018-12-18 2020-06-25 엘지전자 주식회사 다중 참조 라인 인트라 예측에 기반한 영상 코딩 방법 및 그 장치
CN109803145B (zh) * 2018-12-29 2022-10-28 浙江大华技术股份有限公司 帧内预测方法、装置、编码器及存储装置
CN117201774A (zh) * 2019-01-13 2023-12-08 Lg 电子株式会社 用于执行基于mrl的帧内预测的图像编译方法和装置
EP3903485A4 (en) * 2019-04-27 2022-03-02 Huawei Technologies Co., Ltd. ENCODER, DECODER AND CORRESPONDING INTRA PREDICTION METHODS
WO2020256506A1 (ko) * 2019-06-20 2020-12-24 엘지전자 주식회사 다중 참조 라인 인트라 예측을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
CN113347427A (zh) 2019-06-21 2021-09-03 杭州海康威视数字技术股份有限公司 一种编解码方法、装置、设备及存储介质
WO2021134015A1 (en) 2019-12-26 2021-07-01 Bytedance Inc. Profile, tier and layer indication in video coding
EP4062634A4 (en) 2019-12-26 2022-12-28 ByteDance Inc. LIMITATIONS ON SIGNALING HYPOTHETICAL REFERENCE DECODER PARAMETERS IN VIDEO BITSTREAMS
CN114902567A (zh) 2019-12-27 2022-08-12 字节跳动有限公司 视频编解码中的子图像信令
EP4074052A4 (en) 2020-01-09 2023-05-31 ByteDance Inc. PROCESSING OF FILLER DATA UNITS IN VIDEO STREAMS
US11558605B2 (en) * 2020-01-23 2023-01-17 Tencent America LLC Video coding method and system based on multiple reference line intra prediction
US20210289213A1 (en) * 2020-03-12 2021-09-16 Alibaba Group Holding Limited Method and apparatus for tile and slicing mapping
CN111654696B (zh) * 2020-04-24 2022-08-05 北京大学 一种帧内的多参考行预测方法、装置、存储介质及终端
US11563977B2 (en) 2020-09-24 2023-01-24 Tencent America LLC Method and apparatus for video coding
US11765376B2 (en) 2020-10-08 2023-09-19 Tencent America LLC Pruning methods and apparatuses for neural network based video coding
US12069305B2 (en) * 2021-04-16 2024-08-20 Tencent America LLC Low memory design for multiple reference line selection scheme
WO2024016982A1 (en) * 2022-07-20 2024-01-25 Mediatek Inc. Adaptive loop filter with adaptive filter strength

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101682774A (zh) * 2007-02-23 2010-03-24 日本电信电话株式会社 视频编码方法和解码方法、其装置、其程序、以及记录程序的记录介质
WO2012078001A2 (ko) * 2010-12-08 2012-06-14 엘지전자 주식회사 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치
US20130230105A1 (en) * 2010-09-07 2013-09-05 Sk Telecom Co., Ltd. Intra-prediction encoding/decoding apparatus and method for omitting the transmission of prediction mode information using characteristics of reference pixels
KR20140057519A (ko) * 2014-04-25 2014-05-13 주식회사 아이벡스피티홀딩스 영상 부호화 방법
US20140153646A1 (en) * 2011-07-01 2014-06-05 Samsung Electronics Co., Ltd. Video encoding method with intra prediction using checking process for unified reference possibility, video decoding method and device thereof
WO2014107073A1 (ko) * 2013-01-04 2014-07-10 삼성전자 주식회사 비디오의 부호화 방법 및 장치, 그 복호화 방법 및 장치
CN104702950A (zh) * 2011-04-01 2015-06-10 苗太平洋控股有限公司 以帧内预测模式解码图像的方法
CN104883570A (zh) * 2011-10-24 2015-09-02 英孚布瑞智有限私人贸易公司 图像解码设备
CN105681810A (zh) * 2010-05-26 2016-06-15 Lg电子株式会社 用于处理视频信号的方法和设备

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008056931A1 (en) * 2006-11-07 2008-05-15 Samsung Electronics Co, . Ltd. Method and apparatus for encoding and decoding based on intra prediction
KR101483750B1 (ko) * 2009-07-24 2015-01-19 삼성전자주식회사 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR101663762B1 (ko) * 2010-07-20 2016-10-07 에스케이 텔레콤주식회사 다중 예측 필터를 이용하는 경쟁기반 인트라 예측 부호화/복호화 장치 및 방법
KR20120012385A (ko) 2010-07-31 2012-02-09 오수미 인트라 예측 부호화 장치
US9258573B2 (en) 2010-12-07 2016-02-09 Panasonic Intellectual Property Corporation Of America Pixel adaptive intra smoothing
PT3471412T (pt) 2011-04-25 2021-01-27 Lg Electronics Inc Processo de intra-predição para descodificação de vídeo e codificação de vídeo
US20140133559A1 (en) 2011-07-05 2014-05-15 Electronics And Telecommunications Research Institute Method for encoding image information and method for decoding same
CN103650496B (zh) * 2011-07-12 2018-09-21 华为技术有限公司 用于在hevc中编码的基于像素的帧内预测
KR101718954B1 (ko) * 2011-10-17 2017-03-22 주식회사 케이티 영상 부호화/복호화 방법 및 그 장치
GB2561487B (en) * 2011-10-18 2019-01-02 Kt Corp Method for encoding image, method for decoding image, image encoder, and image decoder
KR101542586B1 (ko) * 2011-10-19 2015-08-06 주식회사 케이티 영상 부호화/복호화 방법 및 그 장치
MX355319B (es) * 2011-11-08 2018-04-16 Kt Corp Método y aparato para exploración de coeficientes con base en el modo de división de la unidad de predicción.
WO2013181821A1 (en) * 2012-06-07 2013-12-12 Mediatek Singapore Pte. Ltd. Improved intra transform skip mode
US9247255B2 (en) * 2013-02-28 2016-01-26 Research & Business Foundation Sungkyunkwan University Method and apparatus for image encoding/decoding
WO2014178563A1 (ko) 2013-04-29 2014-11-06 인텔렉추얼 디스커버리 주식회사 인트라 예측 방법 및 장치
JP2015008359A (ja) * 2013-06-24 2015-01-15 ソニー株式会社 画像符号化装置および方法、並びに、画像復号装置および方法
KR101709775B1 (ko) * 2013-07-23 2017-02-23 인텔렉추얼디스커버리 주식회사 영상 부호화/복호화 방법 및 장치
US9906790B2 (en) 2014-03-14 2018-02-27 Qualcomm Incorporated Deblock filtering using pixel distance
US10148953B2 (en) 2014-11-10 2018-12-04 Samsung Electronics Co., Ltd. System and method for intra prediction in video coding
US10306229B2 (en) 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
CN116962721A (zh) * 2016-05-04 2023-10-27 微软技术许可有限责任公司 利用样本值的非相邻参考线进行帧内图片预测的方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101682774A (zh) * 2007-02-23 2010-03-24 日本电信电话株式会社 视频编码方法和解码方法、其装置、其程序、以及记录程序的记录介质
CN105681810A (zh) * 2010-05-26 2016-06-15 Lg电子株式会社 用于处理视频信号的方法和设备
US20130230105A1 (en) * 2010-09-07 2013-09-05 Sk Telecom Co., Ltd. Intra-prediction encoding/decoding apparatus and method for omitting the transmission of prediction mode information using characteristics of reference pixels
WO2012078001A2 (ko) * 2010-12-08 2012-06-14 엘지전자 주식회사 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치
CN104702950A (zh) * 2011-04-01 2015-06-10 苗太平洋控股有限公司 以帧内预测模式解码图像的方法
US20140153646A1 (en) * 2011-07-01 2014-06-05 Samsung Electronics Co., Ltd. Video encoding method with intra prediction using checking process for unified reference possibility, video decoding method and device thereof
CN104883570A (zh) * 2011-10-24 2015-09-02 英孚布瑞智有限私人贸易公司 图像解码设备
CN104935932A (zh) * 2011-10-24 2015-09-23 英孚布瑞智有限私人贸易公司 图像解码设备
WO2014107073A1 (ko) * 2013-01-04 2014-07-10 삼성전자 주식회사 비디오의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR20140057519A (ko) * 2014-04-25 2014-05-13 주식회사 아이벡스피티홀딩스 영상 부호화 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JUNAID TARIQ等: "Efficient Intra and Most Probable Mode (MPM) Selection Based on Statistical Texture Features", 《2015 IEEE INTERNATIONAL CONFERENCE ON SYSTEMS, MAN, AND CYBERNETICS》 *
尹宝才等: "基于空间距离的帧内预测方法", 《北京工业大学学报》, no. 7 *
陶新宇: "高性能视频帧内编码技术研究", 《中国优秀硕士学位论文全文数控》, no. 7 *

Also Published As

Publication number Publication date
ES2699691R1 (es) 2019-04-05
US20210105460A1 (en) 2021-04-08
CN109417628B (zh) 2022-03-08
EP3477951A1 (en) 2019-05-01
US20210105459A1 (en) 2021-04-08
US11350084B2 (en) 2022-05-31
CN114363629B (zh) 2024-07-30
ES2699691A2 (es) 2019-02-12
ES2724570R1 (es) 2020-04-08
ES2724570A2 (es) 2019-09-12
PL3972256T3 (pl) 2024-04-08
KR102410032B1 (ko) 2022-06-16
CN114363628B (zh) 2024-06-14
CN114363629A (zh) 2022-04-15
PL3477951T3 (pl) 2022-05-02
CN114363630B (zh) 2024-06-14
EP3477951A4 (en) 2020-02-19
US20190238835A1 (en) 2019-08-01
US11445177B2 (en) 2022-09-13
EP3972256A1 (en) 2022-03-23
EP4319162A3 (en) 2024-04-10
EP3972256B1 (en) 2024-01-03
ES2908214T3 (es) 2022-04-28
EP3972256C0 (en) 2024-01-03
CN109417628A (zh) 2019-03-01
EP4319162A2 (en) 2024-02-07
KR20180001479A (ko) 2018-01-04
WO2017222326A1 (ko) 2017-12-28
EP3477951B1 (en) 2021-12-08
US20210105461A1 (en) 2021-04-08
US11445178B2 (en) 2022-09-13
US11445179B2 (en) 2022-09-13
US10735720B2 (en) 2020-08-04
CN114363630A (zh) 2022-04-15
US20200329234A1 (en) 2020-10-15

Similar Documents

Publication Publication Date Title
CN109417628B (zh) 视频信号处理方法和装置
CN109565591B (zh) 用于对视频进行编码和解码的方法和装置
CN109716773B (zh) 用于处理视频信号的方法和设备
CN108886617B (zh) 用于处理视频信号的方法和设备
CN110651478B (zh) 用于视频信号处理的方法和装置
CN110063056B (zh) 用于处理视频信号的方法和设备
CN110651479B (zh) 用于视频信号处理的方法和装置
CN109691112B (zh) 用于处理视频信号的方法和设备
CN116437079A (zh) 对视频进行解码和编码的方法以及传输方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant