CN109716762A - 用于处理视频信号的方法和设备 - Google Patents

用于处理视频信号的方法和设备 Download PDF

Info

Publication number
CN109716762A
CN109716762A CN201780057631.9A CN201780057631A CN109716762A CN 109716762 A CN109716762 A CN 109716762A CN 201780057631 A CN201780057631 A CN 201780057631A CN 109716762 A CN109716762 A CN 109716762A
Authority
CN
China
Prior art keywords
sample
reference sample
block
current block
intra prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780057631.9A
Other languages
English (en)
Other versions
CN109716762B (zh
Inventor
李培根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KT Corp
Original Assignee
KT Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KT Corp filed Critical KT Corp
Priority to CN202310581312.5A priority Critical patent/CN116405671A/zh
Priority to CN202310581985.0A priority patent/CN116437079A/zh
Priority to CN202310577531.6A priority patent/CN116366838A/zh
Priority to CN202310577503.4A priority patent/CN116389728A/zh
Priority to CN202310581915.5A priority patent/CN116437078A/zh
Priority to CN202310576313.0A priority patent/CN116389727A/zh
Publication of CN109716762A publication Critical patent/CN109716762A/zh
Application granted granted Critical
Publication of CN109716762B publication Critical patent/CN109716762B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

根据本发明的用于对图像进行解码的方法包括：确定当前块的帧内预测模式的步骤；基于帧内预测模式来确定当前块中包括的预测目标样本的第一参考样本；通过使用第一参考样本来生成该预测目标样本的第一预测样本；以及通过使用第一预测样本和不同于第一参考样本的位置中的第二参考样本来生成该预测目标样本的第二预测样本。

Description

用于处理视频信号的方法和设备
技术领域
本发明涉及用于处理视频信号的方法和设备。
背景技术
近来，在各种应用领域中对高分辨率和高质量图像例如高清晰度(HD)图像和超高清晰度(UHD)图像的需求已经增加了。然而，与常规图像数据相比，更高分辨率和质量的图像数据的数据量增加。因此，在通过使用介质例如常规的有线和无线宽带网络传输图像数据时，或者在通过使用常规的存储介质存储图像数据时，传输和存储的成本增加了。为了解决随着图像数据的分辨率和质量的提高而出现的这些问题，可以利用高效的图像编码/解码技术。
图像压缩技术包括各种技术，包括：根据当前图片的先前图片或后续图片来对包括在当前图片中的像素值进行预测的帧间预测技术；通过使用当前图片中的像素信息对包括在当前图片中的像素值进行预测的帧内预测技术；将短代码分配给出现频率高的值并且将长代码分配给出现频率低的值的熵编码技术等。可以通过使用这样的图像压缩技术来有效地压缩图像数据，并且可以传输或存储图像数据。
同时，随着对高分辨率图像的需求的增加，对作为新的图像服务的立体图像内容的需求也在增加。正在讨论用于有效地提供具有高分辨率和超高分辨率的立体图像内容的视频压缩技术。
发明内容
技术问题
本发明的目的是提供一种用于在编码/解码视频信号时对编码/解码目标块有效地执行帧内预测的方法和设备。
本发明的目的是提供一种用于在编码/解码视频信号时使用多个参考样本通过加权预测来执行帧内预测的方法和设备。
本发明要实现的技术目的不限于上述技术问题。并且，本领域技术人员根据以下描述将明显地理解未提及的其他技术问题。
技术方案
根据本发明的用于对视频信号进行解码的方法和设备可以：确定当前块的帧内预测模式，基于帧内预测模式来确定包括在当前块中的预测目标样本的第一参考样本，使用第一参考样本来生成预测目标样本的第一预测样本，以及使用第一预测样本和位于与第一参考样本不同的位置处的第二参考样本来生成预测目标样本的第二预测样本。
根据本发明的用于对视频信号进行编码的方法和设备可以：确定当前块的帧内预测模式，基于帧内预测模式来确定包括在当前块中的预测目标样本的第一参考样本，使用第一参考样本来生成预测目标样本的第一预测样本，以及使用第一预测样本和位于与第一参考样本不同的位置处的第二参考样本来生成预测目标样本的第二预测样本。
在根据本发明的用于编码/解码视频信号的方法和设备中，第二参考样本可以包括以下参考样本中的至少一个：与预测目标样本位于相同水平线上的参考样本，或者与预测目标样本位于相同垂直线上的参考样本。
在根据本发明的用于编码/解码视频信号的方法和设备中，第一参考样本和第二参考样本中的每一个可以与当前块的不同边界相邻。
在根据本发明的用于编码/解码视频信号的方法和设备中，可以基于帧内预测模式的方向性来确定第二参考样本的位置。
在根据本发明的用于编码/解码视频信号的方法和设备中，可以基于第一预测样本和第二参考样本的加权和来生成第二预测样本。
在根据本发明的用于编码/解码视频信号的方法和设备中，可以基于第一参考样本的位置和第二参考样本的位置来确定应用于第一预测样本和第二参考样本中的每一个的权重。
在根据本发明的用于编码/解码视频信号的方法和设备中，可以根据帧内预测模式的方向性来确定是否生成第二预测样本。
以上对本发明简要概述的特征仅是随后对本发明的详细描述的说明性方面，而不限制本发明的范围。
有益效果
根据本发明，可以针对编码/解码目标块有效地执行帧内预测。
根据本发明，可以使用多个参考样本基于加权预测来执行帧内预测。
能够通过本发明获得的效果不限于上述效果，并且本领域技术人员可以根据以下描述清楚地理解未提及的其他效果。
附图说明
图1是示出根据本发明的实施方式的用于对视频进行编码的设备的框图。
图2是示出根据本发明的实施方式的用于对视频进行解码的设备的框图。
图3是示出根据本发明的实施方式的基于树结构对编码块进行分层划分的示例的图。
图4是示出根据本发明的实施方式的允许基于二叉树的划分的划分类型的图。
图5是示出根据本发明的实施方式的仅允许预定类型的基于二叉树的划分的示例的图。
图6是用于说明根据应用本发明的实施方式的对与可允许的二叉树划分次数有关的信息进行编码/解码的示例的图。
图7是示出根据本发明的实施方式的可应用于编码块的划分模式的图。
图8是示出根据本发明的实施方式的用于对视频进行编码/解码的设备的预定义帧内预测模式的类型的图。
图9是示出根据本发明的实施方式的一类扩展帧内预测模式的图。
图10是简要示出根据本发明的实施方式的帧内预测方法的流程图。
图11是示出根据本发明的实施方式的基于相邻样本的差分信息来校正当前块的预测样本的方法的图。
图12和图13是示出根据本发明的实施方式的基于预定校正滤波器来校正预测样本的方法的图。
图14示出了根据应用了本发明的实施方式的用于帧内预测的参考样本的范围。
图15至图17示出了根据本发明的实施方式的对参考样本进行滤波的示例。
图18是示出使用多个参考样本来得到右侧参考样本或下侧参考样本的示例的图。
图19和图20是用于说明根据本发明的实施方式的对用于非正方形块的右侧参考样本和下侧参考样本的确定的图。
图21和图22是示出其中参考样本被重新排列成一条线的一维参考样本组的图。
图23是用于说明第一参考样本与预测目标样本之间的距离的图。
图24和图25是示出第一参考样本的位置和第二参考样本的位置的图。
图26是示出第一参考样本的位置和第二参考样本的位置的图。
图27是示出根据应用了本发明的实施方式的获得残差样本的过程的流程图。
具体实施方式
可以对本发明进行各种修改，并且存在本发明的各种实施方式，现在将参照附图提供各种实施方式的示例，并且详细描述各种实施方式的示例。然而，本发明不限于此，并且示例性实施方式可以被解释为包括本发明的技术构思和技术范围内的所有修改、等同物或替代方案。在所描述的附图中，相似的附图标记指代相似的元件。
说明书中使用的术语“第一”、“第二”等可以用于描述各种部件，但是这些部件不被解释为限制于这些术语。这些术语仅用于区分一个部件与其他部件。例如，在不偏离本发明的范围的情况下，“第一”部件可以被称作“第二”部件，并且“第二”部件也可以类似地被称作“第一”部件。术语“和/或”包括多个项的组合或者多个术语中的任何一个术语。
应该理解的是，在本说明书中，在元件被简单地称作“连接至”或“耦接至”另一元件而不是“直接连接至”或“直接耦接至”另一元件时，该元件可以“直接连接至”或“直接耦接至”另一元件，或者该元件可以连接至或耦接至另一元件并且有其他元件介于在它们之间。相反地，应该理解的是，在元件被称作“直接耦接”或“直接连接”至另一元件时，不存在中间元件。
本说明书中使用的术语仅用于描述特定实施方式，而并不意在限制本发明。以单数形式使用的表述包含复数形式的表述，除非其在上下文中具有明显不同的含义。在本说明书中，应当理解的是，诸如“包括”、“具有”等的术语意在指示本说明书中公开的特征、数字、步骤、动作、元件、部分或其组合的存在，并且不意在排除可以存在或可以添加一个或更多个其他特征、数字、步骤、动作、元件、部分或其组合的可能性。
在下文中，将参照附图详细描述本发明的优选实施方式。在下文中，附图中的相同构成元件由相同的附图标记表示，并且将省略对相同元件的重复描述。
图1是示出根据本发明的实施方式的用于对视频进行编码的设备的框图。
参照图1，用于对视频进行编码的设备100可以包括：图片划分模块110、预测模块120和125、变换模块130、量化模块135、重排模块160、熵编码模块165、逆量化模块140、逆变换模块145、滤波器模块150以及存储器155。
图1中所示的构成部分被独立地示出，以表示在用于对视频进行编码的设备中的彼此不同的特征功能。因此，这并不意味着每个构成部分都是由单独的硬件或软件的构成单元构成。换言之，为了方便起见，每个构成部分包括所列举的构成部分中的每一个。因此，可以将每个构成部分的至少两个构成部分进行组合以形成一个构成部分，或者可以将一个构成部分划分成多个构成部分以执行每个功能。在不偏离本发明的实质的情况下，组合每个构成部分的实施方式和划分一个构成部分的实施方式也被包括在本发明的范围内。
此外，构成部分中的一些可能不是执行本发明的基本功能的必不可少的构成部分，而是仅用于改善本发明的性能的可选构成部分。可以通过排除用于改善性能的构成部分而仅包括用于实现本发明的实质的必不可少的构成部分来实现本发明。排除仅用于改善性能的可选构成部分而仅包括必不可少的构成部分的结构也被包括在本发明的范围内。
图片划分模块110可以将输入图片划分成一个或更多个处理单元。此处，处理单元可以是预测单元(PU)、变换单元(TU)或编码单元(CU)。图片划分模块110可以将一个图片划分成多个编码单元、预测单元和变换单元的组合，并且可以通过使用预定准则(例如，成本函数)选择编码单元、预测单元和变换单元的一个组合来对图片进行编码。
例如，一个图片可以被划分成多个编码单元。可以使用递归树结构例如四叉树结构来将图片划分成编码单元。在一个图片或最大编码单元作为根的情况下被划分成其他编码单元的编码单元可以以子节点对应于所划分的编码单元的数目的方式进行划分。通过预定限制不能再划分的编码单元用作叶节点。即，当假设对于一个编码单元仅正方形划分可行时，一个编码单元可以最多被划分成四个其他编码单元。
在下文中，在本发明的实施方式中，编码单元可以意指执行编码的单元或者执行解码的单元。
预测单元可以是被划分成在单个编码单元中具有相同大小的正方形形状或矩形形状的划分中的之一，或者预测单元可以是被划分成使得在单个编码单元中具有不同的形状/大小的划分中的之一。
当基于编码单元生成要进行帧内预测的预测单元并且编码单元不是最小编码单元时，可以在不将编码单元划分成多个预测单元N×N的情况下执行帧内预测。
预测模块120和125可以包括执行帧间预测的帧间预测模块120和执行帧内预测的帧内预测模块125。可以确定对于预测单元是执行帧间预测还是帧内预测，并且可以确定根据每个预测方法的详细信息(例如，帧内预测模式、运动矢量、参考图片等)。此处，要进行预测的处理单元可以不同于针对其确定预测方法和详细内容的处理单元。例如，可以由预测单元确定预测方法、预测模式等，并且可以由变换单元执行预测。所生成的预测块与原始块之间的残差值(残差块)可以被输入至变换模块130。此外，用于预测的预测模式信息、运动矢量信息等可以与残差值一起由熵编码模块165进行编码，并且可以被传输至用于对视频进行解码的设备。在使用特定编码模式时，可以通过对原始块按其原样进行编码而不通过预测模块120和125生成预测块来向用于对视频进行解码的设备进行传输。
帧间预测模块120可以基于当前图片的先前图片或后续图片中的至少一个的信息来预测预测单元，或者在一些情况下，可以基于当前图片中的一些编码区域的信息来预测预测单元。帧间预测模块120可以包括参考图片插值模块、运动预测模块以及运动补偿模块。
参考图片插值模块可以从存储器155接收参考图片信息，并且可以根据参考图片来生成整像素或小于整像素的像素信息。在亮度像素的情况下，可以使用具有不同滤波器系数的基于DCT的8抽头插值滤波器来以1/4像素为单位生成整像素或小于整像素的像素信息。在色度信号的情况下，可以使用具有不同滤波器系数的基于DCT的4抽头插值滤波器来以1/8像素为单位生成整像素或小于整像素的像素信息。
运动预测模块可以基于由参考图片插值模块进行插值的参考图片来执行运动预测。作为用于计算运动矢量的方法，可以使用各种方法，例如，基于全搜索的块匹配算法(FBMA)、三步搜索(TSS)和新三步搜索算法(NTS)等。基于插值像素，运动矢量可以具有以1/2像素或1/4像素为单位的运动矢量值。运动预测模块可以通过改变运动预测方法来预测当前预测单元。作为运动预测方法，可以使用各种方法，例如，跳过方法、合并方法、AMVP(高级运动矢量预测)方法、帧内块复制方法等。
帧内预测模块125可以基于与作为当前图片中的像素信息的当前块相邻的参考像素信息来生成预测单元。在当前预测单元的相邻块是要进行帧间预测的块并且因此参考像素是要进行帧间预测的像素时，可以使用要进行帧内预测的相邻块的参考像素信息来替换包括在要进行帧间预测的块中的参考像素。即，在参考像素不可用时，可以使用可用参考像素中的至少一个参考像素来替换不可用的参考像素信息。
帧内预测中的预测模式可以包括依赖于预测方向使用参考像素信息的方向性预测模式和在执行预测时不使用方向信息的非方向性预测模式。用于预测亮度信息的模式可以与用于预测色度信息的模式不同，并且为了预测色度信息，可以利用用于预测亮度信息的帧内预测模式信息或者预测的亮度信号信息。
在执行帧内预测时，在预测单元的大小与变换单元的大小相同时，可以基于位于该预测单元的左侧、左上侧和上侧的像素对预测单元执行帧内预测。然而，在执行帧内预测时，在预测单元的大小与变换单元的大小不同时，可以使用基于变换单元的参考像素来执行帧内预测。此外，使用N×N划分的帧内预测可以仅用于最小编码单元。
在帧内预测方法中，可以在依赖于预测模式将AIS(自适应帧内平滑)滤波器应用于参考像素之后生成预测块。应用于参考像素的AIS滤波器的类型可以变化。为了执行帧内预测方法，可以根据与当前预测单元相邻的预测单元的帧内预测模式来预测当前预测单元的帧内预测模式。在通过使用根据相邻预测单元预测到的模式信息来预测当前预测单元的预测模式中，在当前预测单元的帧内预测模式与相邻预测单元的帧内预测模式相同时，可以使用预定标志信息来传输指示当前预测单元的预测模式与相邻预测单元的预测模式彼此相同的信息。在当前预测单元的预测模式与相邻预测单元的预测模式不同时，可以执行熵编码以对当前块的预测模式信息进行编码。
此外，可以基于由预测模块120和125生成的预测单元来生成包括关于残差值的信息的残差块，残差值是要进行预测的预测单元与预测单元的原始块之间的差。可以将所生成的残差块输入至变换模块130。
变换模块130可以通过使用诸如离散余弦变换(DCT)、离散正弦变换(DST)和KLT的变换方法来对残差块进行变换，该残差块包括关于原始块与由预测模块120和125生成的预测单元之间的残差值的信息。可以基于用于生成残差块的预测单元的帧内预测模式信息来确定是应用DCT、DST还是KLT以对残差块进行变换。
量化模块135可以对由变换模块130变换至频域的值进行量化。量化系数可以依赖于图片的块或重要性而变化。可以将由量化模块135计算的值提供至逆量化模块140和重排模块160。
重排模块160可以对量化后的残差值的系数进行重排。
重排模块160可以通过系数扫描方法将二维块形式的系数改变成一维矢量形式的系数。例如，重排模块160可以使用锯齿形扫描方法从DC系数扫描至高频域的系数，以将系数改变成一维矢量形式。依赖于变换单元的大小和帧内预测模式，可以使用沿列方向扫描二维块形式的系数的垂直方向扫描或沿行方向扫描二维块形式的系数的水平方向扫描来代替锯齿形扫描。即，可以依赖于变换单元的大小和帧内预测模式来确定使用锯齿形扫描、垂直方向扫描和水平方向扫描中的哪种扫描方法。
熵编码模块165可以基于由重排模块160计算的值来执行熵编码。熵编码可以使用各种编码方法，例如指数哥伦布(Golomb)编码、上下文自适应变长编码(CAVLC)和上下文自适应二进制算术编码(CABAC)。
熵编码模块165可以对来自重排模块160以及预测模块120和125的各种信息进行编码，各种信息例如编码单元的残差值系数信息和块类型信息、预测模式信息、划分单元信息、预测单元信息、变换单元信息、运动矢量信息、参考帧信息、块插值信息、滤波信息等。
熵编码模块165可以对从重排模块160输入的编码单元的系数进行熵编码。
逆量化模块140可以对由量化模块135量化的值进行逆量化，并且逆变换模块145可以对由变换模块130变换的值进行逆变换。可以将由逆量化模块140和逆变换模块145生成的残差值与由预测模块120和125的运动估计模块、运动补偿模块和帧内预测模块预测的预测单元进行组合，使得可以生成重构块。
滤波器模块150可以包括去块滤波器、偏移校正单元以及自适应环路滤波器(ALF)中的至少一个。
去块滤波器可以移除由于重构图片中的块之间的边界而出现的块失真。为了确定是否执行去块，包括在块的若干行或若干列中的像素可以是确定是否对当前块应用去块滤波器的基础。当去块滤波器被应用于块时，可以依赖于所需的去块滤波强度来应用强滤波器或弱滤波器。此外，在应用去块滤波器时，可以并行地处理水平方向滤波和垂直方向滤波。
偏移校正模块可以在要进行去块的图片中以像素为单位来校正与原始图片的偏移。为了对特定图片执行偏移校正，可以使用考虑每个像素的边缘信息来施加偏移的方法，或者可以使用下述方法：将图片的像素划分成预定数量的区域，确定要执行偏移的区域，并且对所确定的区域施加偏移。
可以基于通过将滤波后的重构图片与原始图片进行比较而获得的值来执行自适应环路滤波(ALF)。可以将包括在图片中的像素分成预定组，可以确定要应用于每个组的滤波器，并且可以针对每个组单独执行滤波。可以通过编码单元(CU)传输关于是否应用ALF和亮度信号的信息。用于ALF的滤波器的形状和滤波器系数可以依赖于每个块而变化。此外，无论应用目标块的特征如何，都可以应用用于ALF的相同形状(固定形状)的滤波器。
存储器155可以存储通过滤波器模块150计算的重构块或重构图片。可以在执行帧间预测时将所存储的重构块或重构图片提供至预测模块120和125。
图2是示出根据本发明的实施方式的用于对视频进行解码的设备的框图。
参照图2，用于对视频进行解码的设备200可以包括：熵解码模块210、重排模块215、逆量化模块220、逆变换模块225、预测模块230和235、滤波器模块240以及存储器245。
当从用于对视频进行编码的设备输入视频比特流时，可以根据用于对视频进行编码的设备的逆处理来对输入比特流进行解码。
熵解码模块210可以根据由用于对视频进行编码的设备的熵编码模块进行的熵编码的逆处理来执行熵解码。例如，对应于由用于对视频进行编码的设备执行的方法，可以应用各种方法，例如指数哥伦布编码、上下文自适应变长编码(CAVLC)和上下文自适应二进制算术编码(CABAC)。
熵解码模块210可以对关于由用于对视频进行编码的设备执行的帧内预测和帧间预测的信息进行解码。
重排模块215可以基于在用于对视频进行编码的设备中使用的重排方法对由熵解码模块210进行熵解码的比特流执行重排。重排模块可以将一维矢量形式的系数重构和重排成二维块形式的系数。重排模块215可以接收与在用于对视频进行编码的设备中执行的系数扫描有关的信息，并且可以经由基于在用于对视频进行编码的设备中执行的扫描顺序对系数进行逆扫描的方法来执行重排。
逆量化模块220可以基于从用于对视频进行编码的设备接收的量化参数和重排后的块的系数来执行逆量化。
逆变换模块225可以执行逆变换，即，逆DCT、逆DST和逆KLT，这是由变换模块对用于对视频进行编码的设备的量化结果执行的变换即DCT、DST和KLT的逆过程。可以基于用于对视频进行编码的设备所确定的变换单元来执行逆变换。用于对视频进行解码的设备的逆变换模块225可以依赖于多条信息例如预测方法、当前块的大小、预测方向等来选择性地执行变换方案例如DCT、DST、KLT。
预测模块230和235可以基于从熵解码模块210接收到的关于预测块生成的信息和从存储器245接收到的先前解码的块或图片信息来生成预测块。
如上所述，类似于用于对视频进行编码的设备的操作，在执行帧内预测时，在预测单元的大小与变换单元的大小相同时，可以基于位于预测单元的左侧、左上侧和上侧的像素对预测单元执行帧内预测。在执行帧内预测时，在预测单元的大小与变换单元的大小不同时，可以使用基于变换单元的参考像素来执行帧内预测。此外，使用N×N划分的帧内预测可以仅用于最小编码单元。
预测模块230和235可以包括预测单元确定模块、帧间预测模块以及帧内预测模块。预测单元确定模块可以从熵解码模块210接收各种信息，例如预测单元信息、帧内预测方法的预测模式信息、关于帧间预测方法的运动预测的信息等，可以将当前编码单元分成预测单元，并且可以确定对预测单元执行帧间预测还是帧内预测。通过使用从用于对视频进行编码的设备接收的当前预测单元的帧间预测所需的信息，帧间预测模块230可以基于包括当前预测单元的当前图片的先前图片或后续图片中的至少一个的信息来对当前预测单元执行帧间预测。替选地，可以基于包括当前预测单元的当前图片中的一些预先重构区域的信息来执行帧间预测。
为了执行帧间预测，可以针对编码单元来确定跳过模式、合并模式、AMVP模式和帧间块复制模式中的哪一个模式用作包括在编码单元中的预测单元的运动预测方法。
帧内预测模块235可以基于当前图片中的像素信息来生成预测块。当预测单元是要进行帧内预测的预测单元时，可以基于从用于对视频进行编码的设备接收到的预测单元的帧内预测模式信息来执行帧内预测。帧内预测模块235可以包括自适应帧内平滑(AIS)滤波器、参考像素插值模块以及DC滤波器。AIS滤波器对当前块的参考像素执行滤波，并且可以依赖于当前预测单元的预测模式来确定是否应用滤波器。可以通过使用从用于对视频进行编码的设备接收到的预测单元的预测模式和AIS滤波器信息来对当前块的参考像素执行AIS滤波。在当前块的预测模式是不执行AIS滤波的模式时，可以不应用AIS滤波器。
在预测单元的预测模式是基于通过对参考像素进行插值而获得的像素值来执行帧内预测的预测模式时，参考像素插值模块可以对参考像素进行插值以生成整数像素或小于整数像素的参考像素。在当前预测单元的预测模式是在不对参考像素进行插值的情况下生成预测块的预测模式时，可以不对参考像素进行插值。在当前块的预测模式是DC模式时，DC滤波器可以通过滤波来生成预测块。
可以将重构块或重构图片提供至滤波器模块240。滤波器模块240可以包括去块滤波器、偏移校正模块以及ALF。
可以从用于对视频进行编码的设备接收关于是否将去块滤波器应用于相应的块或图片的信息以及关于在应用去块滤波器时应用强滤波器和弱滤波器中的哪个滤波器的信息。用于对视频进行解码的设备的去块滤波器可以从用于对视频进行编码的设备接收关于去块滤波器的信息，并且可以对相应的块执行去块滤波。
偏移校正模块可以基于在执行编码时应用于图片的偏移校正的类型和偏移值信息来对重构图片执行偏移校正。
可以基于从用于对视频进行编码的设备接收到的关于是否应用ALF的信息和ALF系数信息等来将AFL应用于编码单元。ALF信息可以被提供为被包括在特定参数集中。
存储器245可以存储重构图片或重构块以用作参考图片或参考块，并且可以将重构图片提供至输出模块。
如上面描述的，在本发明的实施方式中，为了便于说明，编码单元被用作表示用于编码的单元的术语，然而，编码单元可以用作执行解码以及编码的单元。
另外，当前块可以表示要进行编码/解码的目标块。并且，依赖于编码/解码步骤，当前块可以表示编码树块(或编码树单元)、编码块(或编码单元)、变换块(或变换单元)、预测块(或预测单元)等。
可以通过将图片划分成具有正方形或非正方形形状的基本块来对图片进行编码/解码。此时，基本块可以称作编码树单元。编码树单元可以被定义为序列或片内允许的最大大小的编码单元。可以通过序列参数集、图片参数集或片头(slice header)来用信号发送关于编码树单元是具有正方形形状还是具有非正方形形状的信息或者关于编码树单元的大小的信息。编码树单元可以被划分成更小大小的划分。此时，如果假设通过划分编码树单元而生成的划分深度是1，则通过划分具有深度1的划分而生成的划分深度可以被定义为2。即，通过划分编码树单元中的深度为k的划分而生成的划分可以被定义为具有深度k+1。
通过划分编码树单元而生成的任意大小的划分可以被定义为编码单元。编码单元可以被递归地划分或划分成用于执行预测、量化、变换或环路滤波等的基本单元。例如，通过划分编码单元而生成的任意大小的划分可以被定义为编码单元，或者可以被定义为变换单元或预测单元，该编码单元、变换单元或预测单元是用于执行预测、量化、变换或环路滤波等的基本单元。
可以基于垂直线和水平线中的至少之一来执行编码树单元或编码单元的划分。另外，划分编码树单元或编码单元的垂直线或水平线的数量可以是至少一个或更多个。例如，可以使用一个垂直线或一个水平线将编码树单元或编码单元划分成两个划分，或者可以使用两个垂直线或两个水平线将编码树单元或编码单元划分成三个划分。替选地，可以通过使用一个垂直线和一个水平线将编码树单元或编码单元划分成具有1/2的长度和宽度的四个划分。
在使用至少一个垂直线或至少一个水平线将编码树单元或编码单元划分为多个划分时，划分可具有统一的大小或不同的大小。替选地，任何一个划分可以具有与其余划分不同的大小。
在下面描述的实施方式中，假设编码树单元或编码单元被划分成四叉树结构或二叉树结构。然而，还可以使用更多数量的垂直线或更多数量的水平线来划分编码树单元或编码单元。
图3是示出根据本发明的实施方式的基于树结构对编码块进行分层划分的示例的图。
以预定的块单元对输入视频信号进行解码。用于对输入视频信号进行解码的这样的默认单元是编码块。编码块可以是执行帧内/帧间预测、变换以及量化的块。另外，以编码块为单位确定预测模式(例如，帧内预测模式或帧间预测模式)，并且包括在编码块中的预测块可以共享所确定的预测模式。编码块可以是具有在8×8至64×64范围内的任意大小的正方形块或非正方形块，或者可以是具有128×128、256×256或更大的大小的正方形块或非正方形块。
具体地，可以基于四叉树和二叉树中的至少一个来对编码块进行分层划分。此处，基于四叉树的划分可以意指将2N×2N的编码块划分成四个N×N的编码块，并且基于二叉树的划分可以意指将一个编码块划分成两个编码块。即使执行基于二叉树的划分，也可以在较低深度中存在正方形形状的编码块。
可以对称地或者非对称地执行基于二叉树的划分。基于二叉树划分的编码块可以是正方形块或非正方形块，例如长方形形状。例如，允许基于二叉树的划分的划分类型可以包括2N×N(水平方向非正方形编码单元)或N×2N(垂直方向非正方形编码单元)的对称类型、nL×2N、nR×2N、2N×nU或2N×nD的非对称类型中的至少之一。
可以将基于二叉树的划分限制地允许为对称类型划分或非对称类型划分中的之一。在这种情况下，使用正方形块构造编码树单元可以与四叉树CU划分对应，并且使用对称非正方形块构造编码树单元可以与二叉树划分对应。使用正方形块和对称非正方形块构造编码树单元可以与四叉树CU划分和二叉树CU划分对应。
可以对不再执行基于四叉树的划分的编码块执行基于二叉树的划分。可以不再对基于二叉树划分的编码块执行基于四叉树的划分。
此外，可以依赖于较高深度的划分类型来确定较低深度的划分。例如，如果在两个或更多个深度中允许基于二叉树的划分，则可以在较低深度中仅允许与较高深度的二叉树划分相同的类型。例如，如果使用2N×N类型执行较高深度中的基于二叉树的划分，则也使用2N×N类型执行较低深度中的基于二叉树的划分。替选地，如果使用N×2N类型执行较高深度中的基于二叉树的划分，则也使用N×2N类型执行较低深度中的基于二叉树的划分。
相比之下，也可以在较低深度中仅允许与较高深度的二叉树划分类型不同的类型。
可以限制仅特定类型的基于二叉树的划分被用于序列、片、编码树单元或编码单元。作为示例，对于编码树单元，可以仅允许2N×N类型或N×2N类型的基于二叉树的划分。可以在编码器或解码器中预定义可用划分类型。或者可以对关于可用划分类型的信息或关于不可用划分类型的信息进行编码，并且然后通过比特流用信号发送该信息。
图5是示出仅允许特定类型的基于二叉树的划分的示例的图。图5A示出了仅允许N×2N类型的基于二叉树的划分的示例，并且图5B示出了仅允许2N×N类型的基于二叉树的划分的示例。为了实现基于四叉树或二叉树的自适应划分，可以使用下述信息：指示基于四叉树划分的信息、关于允许基于四叉树的划分的编码块的大小/深度的信息、指示基于二叉树的划分的信息、关于允许基于二叉树的划分的编码块的大小/深度的信息、关于不允许基于二叉树的划分的编码块的大小/深度的信息、关于是沿垂直方向还是沿水平方向执行基于二叉树的划分的信息等。
另外，可以针对编码树单元或特定编码单元获得以下信息：所述信息关于允许二叉树划分的次数、允许二叉树划分的深度或允许二叉树划分的深度的数量。可以以编码树单元或编码单元为单位对信息进行编码，并且可以通过比特流将该信息传输至解码器。
例如，可以通过比特流对指示允许二叉树划分的最大深度的语法“max_binary_depth_idx_minus1”进行编码/解码。在这种情况下，max_binary_depth_idx_minus1+1可以指示允许二叉树划分的最大深度。
参照图6中所示的示例，在图6中，已经针对深度为2的编码单元和深度为3的编码单元执行了二叉树划分。因此，可以通过比特流对指示编码树单元中的二叉树划分已经被执行的次数(即，2次)的信息、指示在编码树单元中已经允许二叉树划分的最大深度(即，深度3)或在编码树单元中已经执行二叉树划分的深度的数量(即，2个(深度2和深度3))的信息中的至少之一进行编码/解码。
作为另一示例，可以针对每个序列或每个片获得关于允许二叉树划分的次数、允许二叉树划分的深度或允许二叉树划分的深度的数量的信息中的至少之一。例如，该信息可以以序列、图片或片单元为单位进行编码，并且通过比特流进行传输。因此，第一片中的二叉树划分的次数、第一片中允许二叉树划分的最大深度或第一片中执行二叉树划分的深度的数量中的至少之一可以与第二片不同。例如，在第一片中，可以仅针对一个深度允许二叉树划分，而在第二片中，可以针对两个深度允许二叉树划分。
作为另一示例，可以根据片或图片的时间水平标识符(TemporalID)不同地设置允许二叉树划分的次数、允许二叉树划分的深度或允许二叉树划分的深度的数量。此处，时间水平标识符(TemporalID)用于识别具有视图、空间、时间或质量中的至少之一的可扩展性的多个视频层中的每一个。
如图3中所示，可以基于四叉树将划分深度(拆分深度)为k的第一编码块300划分成多个第二编码块。例如，第二编码块310至340可以是具有第一编码块的一半宽度和一半高度的正方形块，并且第二编码块的划分深度可以增加至k+1。
划分深度为k+1的第二编码块310可以被划分成划分深度为k+2的多个第三编码块。可以通过依赖于划分方法选择性地使用四叉树和二叉树中的之一来执行第二编码块310的划分。此处，可以基于指示基于四叉树划分的信息和指示基于二叉树划分的信息中的至少之一来确定划分方法。
在基于四叉树对第二编码块310进行划分时，可以将第二编码块310划分成具有第二编码块的一半宽度和一半高度的四个第三编码块310a，并且第三编码块310a的划分深度可以增加至k+2。相比之下，在基于二叉树对第二编码块310进行划分时，可以将第二编码块310划分成两个第三编码块。此处，两个第三编码块中的每一个可以是具有第二编码块的一半宽度和一半高度中的一者的非正方形块，并且划分深度可以增加至k+2。可以依赖于划分方向将第二编码块确定为水平方向或垂直方向的非正方形块，并且可以基于关于是沿垂直方向还是沿水平方向执行基于二叉树的划分的信息来确定划分方向。
同时，第二编码块310可以被确定为不再基于四叉树或二叉树进行划分的叶编码块。在这种情况下，叶编码块可以被用作预测块或变换块。
类似于第二编码块310的划分，第三编码块310a可以被确定为叶编码块，或者可以基于四叉树或二叉树被进一步划分。
同时，可以基于二叉树将基于二叉树划分的第三编码块310b进一步划分成垂直方向的编码块310b-2或水平方向的编码块310b-3，相关编码块的划分深度可以增加至k+3。替选地，第三编码块310b可以被确定为不再基于二叉树进行划分的叶编码块310b-1。在这种情况下，编码块310b-1可以被用作预测块或变换块。然而，可以基于以下信息中的至少之一来限制性地执行上述划分处理：关于允许基于四叉树的划分的编码块的大小/深度的信息、关于允许基于二叉树的划分的编码块的大小/深度的信息以及关于不允许基于二叉树的划分的编码块的大小/深度的信息。
表示编码块的大小的候选的数量可以被限制为预定数量，或者预定单元中的编码块的大小可以具有固定值。作为示例，序列或图片中的编码块的大小可以被限制为具有256×256、128×128或32×32。可以通过序列头或图片头来用信号发送指示序列中或图片中的编码块的大小的信息。
作为基于四叉树和二叉树的划分的结果，编码单元可以被表示为任意大小的正方形或矩形形状。
使用跳过模式、帧内预测、帧间预测或跳过方法中的至少之一来对编码块进行编码。一旦确定了编码块，就可以通过对编码块的预测划分来确定预测块。可以通过指示编码块的划分类型的划分模式(Part_mode)来执行对编码块的预测划分。可以根据编码块的划分模式来确定预测块的大小或形状。例如，根据划分模式确定的预测块的大小可以等于或小于编码块的大小。
图7是示出在通过帧间预测对编码块进行编码时可以应用于编码块的划分模式的图。
在通过帧间预测对编码块进行编码时，可以将8个划分模式中的之一应用于编码块，如图7中所示的示例。
在通过帧内预测对编码块进行编码时，可以将划分模式PART_2N×2N或划分模式PART_N×N应用于编码块。
在编码块具有最小大小时，可以应用PART_N×N。此处，可以在编码器和解码器中预定义编码块的最小大小。或者，可以经由比特流用信号发送关于编码块的最小大小的信息。例如，可以通过片头来用信号发送编码块的最小大小，使得可以针对每个片定义编码块的最小大小。
通常，预测块可以具有从64×64至4×4的大小。然而，在通过帧间预测对编码块进行编码时，可以限制预测块不具有4×4大小以在执行运动补偿时减小存储器带宽。
图8示出根据本发明的实施方式的用于对视频进行编码/解码的设备的预定义帧内预测模式的类型的图。
用于编码/解码视频的设备可以使用预定义帧内预测模式之一来执行帧内预测。用于帧内预测的预定义帧内预测模式可以包括非方向性预测模式(例如，平面模式、DC模式)和33种方向性预测模式。
可替选地，为了提高帧内预测的准确性，可以使用多于33种方向性预测模式的更多数量的方向性预测模式。也就是说，可以通过细分方向性预测模式的角度来定义M个扩展方向性预测模式(M>33)，并且可以使用33种预定义方向性预测模式中至少之一来得到具有预定角度的方向性预测模式。
可以使用多于图8中示出的35种帧内预测模式的更多数量的帧内预测模式。例如，可以通过以下方式来使用比35种帧内预测模式数量更多的帧内预测模式：细分方向性预测模式的角度，或者使用预定义数量的方向性预测模式中至少之一来得到具有预定角度的方向性预测模式。此时，比35种帧内预测模式数量更多的帧内预测模式的使用可以被称作扩展帧内预测模式。
图9示出了扩展帧内预测模式的示例，并且扩展帧内预测模式可以包括两种非方向性预测模式和65种扩展方向性预测模式。相同数量的扩展帧内预测模式可以用于亮度分量和色度分量，或者不同数量的帧内预测模式可以用于每个分量。例如，67种扩展帧内预测模式可以用于亮度分量，并且35种帧内预测模式可以用于色度分量。
可替选地，取决于色度格式，在执行帧内预测时可以使用不同数量的帧内预测模式。例如，在4:2:0格式的情况下，67种帧内预测模式可以用于亮度分量以执行帧内预测，并且35种帧内预测模式可以用于色度分量。在4:4:4格式的情况下，67种帧内预测模式可以用于亮度分量和色度分量以执行帧内预测。
可替选地，取决于块的大小和/或形状，可以使用不同数量的帧内预测模式来执行帧内预测。也就是说，取决于PU或CU的大小和/或形状，可以使用35种帧内预测模式或67种帧内预测模式来执行帧内预测。例如，在CU或PU具有小于64×64的大小或者被非对称地划分的情况下，可以使用35种帧内预测模式来执行帧内预测。在CU或PU的大小等于或大于64×64的情况下，可以使用67种帧内预测模式来执行帧内预测。对于Intra_2Nx2N可以允许65种方向性帧内预测模式，并且对于Intra_NxN可以允许仅35种方向性帧内预测模式。
可以针对每个序列、图片或片，不同地设置应用扩展帧内预测模式的块的大小。例如，设置了将扩展帧内预测模式应用于第一片中的具有大于64×64的大小的块(例如，CU或PU)。另一方面，设置了将扩展帧内预测模式应用于第二片中的具有大于32×32的大小的块。可以以序列、图片或片为单位用信号发送表示应用扩展帧内预测模式的块的大小的信息。例如，指示扩展帧内预测模式所应用的块的大小的信息可以被定义为通过对块大小取对数然后减去整数4而获得的'log2_extended_intra_mode_size_minus4'。例如，如果log2_extended_intra_mode_size_minus4的值是0，则这可以指示扩展帧内预测模式可以应用于具有等于或大于16×16的大小的块。如果log2_extended_intra_mode_size_minus4的值是1，则这可以指示扩展帧内预测模式可以应用于具有等于或大于32×32的大小的块。
如上所述，可以考虑颜色分量、色度格式以及块的大小或形状中的至少一个来确定帧内预测模式的数量。另外，还可以根据颜色分量、颜色格式以及块的大小或形状中的至少一个来确定用于确定要被编码/解码的当前块的帧内预测模式的帧内预测模式候选的数量(例如，MPM的数量)。将利用附图来描述确定要被编码/解码的当前块的帧内预测模式的方法和使用所确定的帧内预测模式来执行帧内预测的方法。
图10是简要示出根据本发明的实施方式的帧内预测方法的流程图。
参照图10，在步骤S1000处可以确定当前块的帧内预测模式。
具体地，可以基于候选列表和索引来得到当前块的帧内预测模式。这里，候选列表包含多个候选，并且可以基于与当前块相邻的相邻块的帧内预测模式来确定多个候选。相邻块可以包括位于当前块的上侧、下侧、左侧、右侧和角处的块中的至少一个块。索引可以指定候选列表中的多个候选之一。由索引指定的候选可以被设置为当前块的帧内预测模式。
可以将用于相邻块中的帧内预测的帧内预测模式设置为候选。另外，可以将具有与相邻块的帧内预测模式的方向性相似的方向性的帧内预测模式设置为候选。这里，可以通过向相邻块的帧内预测模式添加预定常数值或从相邻块的帧内预测模式减去预定常数值来确定具有相似方向性的帧内预测模式。预定常数值可以是整数，例如一、二或者更多。
候选列表还可以包括默认模式。默认模式可以包括平面模式、DC模式、垂直模式和水平模式中的至少一个。考虑到可以包括在当前块的候选列表中的候选的最大数量，可以自适应地添加默认模式。
可以包括在候选列表中的候选的最大数量可以是三、四、五、六或者更多。可以包括在候选列表中的候选的最大数量可以是在用于编码/解码视频的设备中预设的固定值，或者可以基于当前块的特征来可变地确定。特征可以意指块的位置/大小/形状、块可以使用的帧内预测模式的数量/类型、颜色类型、颜色格式等。可替选地，可以单独用信号发送指示可以包括在候选列表中的候选的最大数量的信息，并且可以使用该信息可变地确定可以包括在候选列表中的候选的最大数量。可以以序列级别、图片级别、片级别和块级别中的至少一个用信号发送指示候选的最大数量的信息。
当选择性地使用扩展帧内预测模式和35种预定义帧内预测模式时，可以将相邻块的帧内预测模式变换为与扩展帧内预测模式相对应的索引，或者变换为与35种帧内预测模式相对应的索引，由此可以得到候选。为了变换至索引，可以使用预定义表，或者可以使用基于预定值的缩放操作。这里，预定义表可以定义不同帧内预测模式组之间的映射关系(例如，扩展帧内预测模式和35种帧内预测模式)。
例如，在左侧相邻块使用35种帧内预测模式并且左侧相邻块的帧内预测模式为10(水平模式)的情况下，可以将其变换为与扩展帧内预测模式中的水平模式相对应的索引16。
可替选地，在上侧相邻块使用扩展帧内预测模式并且上侧相邻块的帧内预测模式具有索引50(垂直模式)的情况下，可以将其变换为与35种帧内预测模式中的垂直模式相对应的索引26。
基于确定帧内预测模式的上述方法，可以针对亮度分量和色度分量中的每一个来独立地得到帧内预测模式，或者可以根据亮度分量的帧内预测模式来得到色度分量的帧内预测模式。
具体地，如下表1所示出的，可以基于亮度分量的帧内预测模式来确定色度分量的帧内预测模式。
[表1]
在表1中，intra_chroma_pred_mode意指用信号发送以指定色度分量的帧内预测模式的信息，并且IntraPredModeY指示亮度分量的帧内预测模式。
参照图10，在步骤S1010处可以得到用于当前块的帧内预测的参考样本。
具体地，可以基于当前块的相邻样本得到用于帧内预测的参考样本。相邻样本可以是相邻块的重构样本，并且重构样本可以是在应用环路滤波器之前的重构样本或者是在应用环路滤波器之后的重构样本。
在当前块之前重构的相邻样本可以用作参考样本，并且基于预定帧内滤波器滤波的相邻样本可以用作参考样本。使用帧内滤波器对相邻样本的滤波也可以称作参考样本平滑。帧内滤波器可以包括以下滤波器中的至少一个：应用于位于同一水平线上的多个相邻样本的第一帧内滤波器，以及应用于位于同一垂直线上的多个相邻样本的第二帧内滤波器。取决于相邻样本的位置，可以选择性地应用第一帧内滤波器和第二帧内滤波器中的一个，或者可以应用两种帧内滤波器。此时，第一帧内滤波器或第二帧内滤波器的至少一个滤波器系数可以是(1,2,1)，但不限于此。
可以基于当前块的帧内预测模式和用于当前块的变换块的大小中的至少一个来自适应地执行滤波。例如，在当前块的帧内预测模式是DC模式、垂直模式或水平模式的情况下，可以不执行滤波。在变换块的大小是N×M的情况下，可以不执行滤波。这里，N和M可以是相同的值或不同的值，或者可以是4、8、16或更多的值。例如，如果变换块的大小是4×4，则可以不执行滤波。可替选地，可以基于当前块的帧内预测模式与垂直模式(或水平模式)之间的差与预定义阈值的比较的结果来选择性地执行滤波。例如，在当前块的帧内预测模式与垂直模式之间的差大于阈值的情况下，可以执行滤波。如表2所示可以针对变换块的每个大小来定义阈值。
[表2]
8×8变换 16×16变换 32×32变换
阈值 7 1 0
可以将帧内滤波器确定为在用于编码/解码视频的设备中预定义的多个帧内滤波器候选之一。为此，可以用信号发送指定多个帧内滤波器候选中的当前块的帧内滤波器的索引。可替选地，可以基于当前块的大小/形状、变换块的大小/形状、关于滤波器强度的信息以及相邻样本的变化中的至少一个来确定帧内滤波器。
参照图10，在步骤S1020处可以使用当前块的帧内预测模式和参考样本来执行帧内预测。
也就是说，可以使用在步骤S1000处确定的帧内预测模式和在步骤S1010处得到的参考样本来获得当前块的预测样本。然而，在帧内预测的情况下，可能使用相邻块的边界样本，并且因此预测图片的质量可能降低。因此，可以对通过上述预测处理生成的预测样本执行校正处理，并且将参照图11至图13来详细描述该校正处理。然而，校正处理不限于仅应用于帧内预测样本，并且还可以应用于帧间预测样本或者重构样本。
图11是示出根据本发明的实施方式的基于相邻样本的差分信息来校正当前块的预测样本的方法的图。
可以基于当前块的多个相邻样本的差分信息来校正当前块的预测样本。可以对当前块中的所有预测样本执行校正，或者可以对预定部分区域中的预测样本执行校正。部分区域可以是一行/列或多行/列，并且这些区域可以是用于在用于编码/解码视频的设备中进行校正的预设区域。例如，可以对位于当前块的边界处的一行/列执行校正，或者可以对来自当前块的边界的多个行/列执行校正。可替选地，可以基于当前块的大小/形状和帧内预测模式中的至少一个来可变地确定部分区域。
相邻样本可以属于位于当前块的上侧、左侧和左上角处的相邻块。用于校正的相邻样本的数量可以是两个、三个、四个或更多。可以根据作为当前块中的校正目标的预测样本的位置来可变地确定相邻样本的位置。可替选地，一些相邻样本可以具有固定位置而不管作为校正目标的预测样本的位置如何，并且其余相邻样本可以具有取决于作为校正目标的预测样本的位置的可变位置。
相邻样本的差分信息可以意指相邻样本之间的差分样本，或者可以意指通过将差分样本缩放预定常数值(例如一、二、三等)而获得的值。这里，可以考虑作为校正目标的预测样本的位置、包括作为校正目标的预测样本的列或行的位置、预测样本在列或行内的位置等来确定预定常数值。
例如，在当前块的帧内预测模式是垂直模式的情况下，与当前块的左边界相邻的相邻样本p(-1,y)与左上相邻样本p(-1,-1)之间的差分样本可用于获得最终预测样本，如式1所示。
[式1]
P'(0，y)＝P(0，y)+((p(-1，y)-p(-1，-1))＞＞1其中y＝0...N-1
例如，在当前块的帧内预测模式是水平模式的情况下，与当前块的上边界相邻的相邻样本p(x,-1)与左上相邻样本p(-1,-1)之间的差分样本可用于获得最终预测样本，如式2所示。
[式2]
P′(x，0)＝p(x，0)+((p(x，-1)-p(-1，-1))＞＞1其中x＝0...N-1
例如，在当前块的帧内预测模式是垂直模式的情况下，与当前块的左边界相邻的相邻样本p(-1，y)与左上相邻样本p(-1，-1)之间的差分样本可用于获得最终预测样本。这里，可以将差分样本添加至预测样本，或者可以将差分样本缩放预定常数值，然后添加至预测样本。可以根据列和/或行不同地确定在缩放中使用的预定常数值。例如，可以如式3和式4所示地校正预测样本。
[式3]
P′(0，y)＝P(0，y)+((p(-1，y)-p(-1，-1))＞＞1其中y＝0...N-1
[式4]
P′(1，y)＝P(1，y)+((p(-1，y)-p(-1，-1))＞＞2其中y＝0...N-1
例如，在当前块的帧内预测模式是水平模式的情况下，与当前块的上边界相邻的相邻样本p(x，-1)与左上相邻样本p(-1，-1)之间的差分样本可用于获得最终预测样本，如在垂直模式的情况中所描述的。例如，可以如式5和式6示出地校正预测样本。
[式5]
P′(x，0)＝p(x，0)+((p(x，-1)-p(-1，-1))＞＞1其中x＝0...N-1
[式6]
P′(x，1)＝p(x，1)+((p(x，-1)-p(-1，-1))＞＞2其中x＝0...N-1
图12和图13是示出根据本发明的实施方式的基于预定校正滤波器来校正预测样本的方法的图。
可以基于作为校正目标的预测样本的相邻样本和预定校正滤波器来校正预测样本。这里，相邻样本可以由当前块的方向性预测模式的角度线指定，或者相邻样本可以是与作为校正目标的预测样本位于相同角度线上的至少一个样本。此外，相邻样本可以是当前块中的预测样本，或者可以是在当前块之前重构的相邻块中的重构样本。
可以基于以下中的至少一个来确定校正滤波器的抽头数、强度和滤波器系数中的至少一个：作为校正目标的预测样本的位置、作为校正目标的预测样本是否位于当前块的边界、当前块的帧内预测模式、方向性预测模式的角度、相邻块的预测模式(帧间模式或帧内模式)以及当前块的大小/形状。
参照图12，当方向性预测模式具有索引2或索引34时，可以使用位于作为校正目标的预测样本的左下方的至少一个预测/重构样本以及预定校正滤波器来获得最终预测样本。这里，左下方处的预测/重构样本可以属于包括作为校正目标的预测样本的线的之前的线。左下方处的预测/重构样本可以与当前样本属于相同的块，或者属于与当前块相邻的相邻块。
可以仅在位于块边界处的线上执行，或者可以在多条线上执行对预测样本的滤波。可以使用校正滤波器，其中对于每条线，滤波器抽头的数量和滤波器系数中的至少一个是不同的。例如，(1/2,1/2)滤波器可用于最靠近块边界的左侧第一条线，(12/16,4/16)滤波器可用于第二条线，(14/16,2/16)滤波器可以用于第三条线，并且(15/16,1/16)滤波器可以用于第四条线。
可替选地，当方向性预测模式具有索引3至6或者索引30至33时，可以如图13所示地对块边界执行滤波，可以使用3抽头校正滤波器来校正预测样本。可以使用作为校正目标的预测样本的左下样本、左下样本的下侧样本、以及将作为校正目标的预测样本作为输入的3抽头校正滤波器来执行滤波。可以基于方向性预测模式来不同地确定由校正滤波器使用的相邻样本的位置。可以根据方向性预测模式来不同地确定校正滤波器的滤波器系数。
可以根据相邻块是以帧间模式编码还是帧内模式编码来应用不同的校正滤波器。当以帧内模式对相邻块进行编码时，与以帧间模式对相邻块进行编码的情况相比，可以使用向预测样本赋予更多权重的滤波方法。例如，在帧内预测模式为34的情况下，当相邻块以帧间模式编码时，可以使用(1/2,1/2)滤波器，并且当相邻块以帧内模式编码时，可以使用(4/16,12/16)滤波器。
当前块中要被滤波的线的数量可以取决于当前块(例如，编码块或预测块)的大小/形状而变化。例如，在当前块的大小等于或小于32×32的情况下，可以仅对块边界处的一条线执行滤波；否则，可以对包括块边界处的一条线的多条线执行滤波。
图12和图13基于使用了图7中的35种帧内预测模式的情况，但是可以同样/类似地应用于使用扩展帧内预测模式的情况。
图14示出了根据应用了本发明的实施方式的用于帧内预测的参考样本的范围。
可以使用基于包括在相邻块中的重构样本得到的参考样本来执行对当前块的帧内预测。这里，重构样本意指在编码/解码当前块之前完成编码/解码。例如，可以基于参考样本P(-1，-1)、P(-1，y)(0＜＝y＜＝2N-1)和P(x，-1)(0＜＝x＜＝2N-1)中的至少一个参考样本来执行对当前块的帧内预测。此时，基于当前块的帧内预测模式(例如，帧内预测模式的索引、方向性、角度等)或与当前块有关的变换块的大小中的至少一个来选择性地执行对参考样本的滤波。
可以使用在编码器和解码器中预定义的帧内滤波器来执行对参考样本的滤波。例如，可以使用滤波器系数为(1，2，1)的帧内滤波器或滤波器系数为(2，3，6，3，2)的帧内滤波器得到用于帧内预测的最终参考样本。
可替选地，可以选择多个帧内滤波器候选中的至少一者以对参考样本执行滤波。这里，多个帧内滤波器候选可以在以下至少一个方面彼此不同：滤波器强度、滤波器系数或抽头数(例如，滤波器系数的数量、滤波器长度)。可以在序列级别、图片级别、片级别或块级别中的至少一个上定义多个帧内滤波器候选。也就是说，包括当前块的序列、图片、片或块可以使用相同的多个帧内滤波器候选。
在下文中，为了便于说明，假设多个帧内滤波器候选包括第一帧内滤波器和第二帧内滤波器。还假设第一帧内滤波器是(1，2，1)3抽头滤波器，并且第二帧内滤波器是(2，3，6，3，2)5抽头滤波器。
当通过应用第一帧内滤波器对参考样本进行滤波时，可以如式7所示地得到经滤波的参考样本。
[式7]
P(-1，-1)＝(P(-1，0)+2P(-1，-1)+P(0，-1)+2)＞＞2
P(-1，y)＝(P(-1，y+1)+2P(-1，y)+P(-1，y-1)+2)＞＞2
P(x，-1)＝(P(x+1，-1)+2P(x，-1)+P(x-1，-1)+2)＞＞2
当通过应用第二帧内滤波器对参考样本进行滤波时，可以如下式8所示地得到经滤波的参考样本。
[式8]
P(-1，-1)＝(2P(-2，0)+3P(-1，0)+6P(-1，-1)+3P(0，-1)+2P(0，-2)+8)＞＞4
P(-1，y)＝(2P(-1，y+2)+3P(-1，y+1)+6P(-1，y)+3P(-1，y-1)+2P(-1，y-2)+8)＞＞4
P(x，-1)＝(2P(x+2，-1)+3P(x+1，-1)+6P(x，-1)+3P(x-1，-1)+2P(x-2，-1)+8)＞＞4
在上式7和式8中，x可以是0至2N-2之间的整数，并且y可以是0至2N-2之间的整数。
可替选地，基于参考样本的位置，可以确定多个帧内滤波器候选中的一个，并且可以通过使用所确定的帧内滤波器候选来执行对参考样本的滤波。例如，第一帧内滤波器可以应用于包括在第一范围中的参考样本，并且第二帧内滤波器可以应用于包括在第二范围中的参考样本。这里，第一范围和第二范围可以基于它们是否与当前块的边界相邻、它们是否位于当前块的上侧或左侧、或者它们是否与当前块的角相邻来进行区分。例如，如图15所示，通过应用如式7所示的第一帧内滤波器来执行对与当前块的边界相邻的参考样本(P(-1，-1)、P(-1，0)、P(-1，1)、……、P(-1，N-1)和P(0，-1)、P(1，-1)、……)的滤波，并且通过应用如式8所示的第二参考滤波器来执行对没有与当前块的边界相邻的其他参考样本的滤波。可以基于用于当前块的变换类型来选择多个帧内滤波器候选中的一个，并且使用所选的帧内滤波器候选来执行对参考样本的滤波。这里，变换类型可以意指(1)诸如DCT、DST或KLT的变换方案，(2)变换模式指示符例如2D变换、1D变换或非变换或者(3)诸如第一变换和第二变换的变换的数量。在下文中，为了便于描述，假设变换类型意指诸如DCT、DST和KLT的变换方案。
例如，如果使用DCT对当前块进行编码，则可以使用第一帧内滤波器来执行滤波，并且如果使用DST对当前块进行编码，则可以使用第二帧内滤波器来执行滤波。或者，如果使用DCT或DST对当前块进行编码，则可以使用第一帧内滤波器来执行滤波，并且如果使用KLT对当前块进行编码，则可以使用第二帧内滤波器来执行滤波。
可以使用基于当前块的变换类型和参考样本的位置选择的滤波器来执行滤波。例如，如果使用DCT对当前块进行编码，则可以通过使用第一帧内滤波器来执行对参考样本P(-1，-1)、P(-1，0)、P(-1，1)、……、P(-1，N-1)和P(0,-1)、P(1,-1)、……、P(N-1,-1)的滤波，并且可以通过使用第二帧内滤波器来执行对其他参考样本的滤波。如果使用DST对当前块进行编码，则可以通过使用第二帧内滤波器来执行对参考样本P(-1,-1)、P(-1,0)、P(-1,1)、……、P(-1,N-1)和P(0,-1)、P(1,-1)、……、P(N-1,-1)的滤波，并且可以通过使用第一帧内滤波器来执行对其他参考样本的滤波。
可以基于包括参考样本的相邻块的变换类型是否与当前块的变换类型相同来选择多个帧内滤波器候选中的一个，并且可以使用所选择的帧内滤波器候选来执行滤波。例如，在当前块和相邻块使用相同的变换类型的情况下，使用第一帧内滤波器执行滤波，并且在当前块的变换类型与相邻块的变换类型彼此不同的情况下，可以使用第二帧内滤波器执行滤波。
可以基于相邻块的变换类型来选择多个帧内滤波器候选中的任何一个，并且使用所选择的帧内滤波器候选对参考样本执行滤波。也就是说，可以考虑包括参考样本的块的变换类型来选择具体滤波器。例如，如图16所示，如果与当前块的左侧/左下方相邻的块是使用DCT编码的块，并且与当前块的上侧/右上方相邻的块是使用DST编码的块，则通过应用第一帧内滤波器来执行对与当前块的左侧/左下方相邻的参考样本的滤波，并且通过应用第二帧内滤波器来执行对与当前块的上侧/右上方相邻的参考样本的滤波。
以预定区域为单位，可以定义能够在相应区域中使用的滤波器。本文中，预定区域的单位可以是序列、图片、片、块组(例如，编码树单元的行)或块(例如，编码树单元)中的任何一个。或者，可以定义共享一个或更多个滤波器的另一区域。可以通过使用映射至包括当前块的区域的滤波器来对参考样本进行滤波。
例如，如图17所示，可以以CTU为单位使用不同滤波器对参考样本执行滤波。在这种情况下，可以经由序列参数集(SPS)或图片参数集(PPS)用信号发送这样的信息，该信息指示在序列或图片中是否使用相同滤波器、用于每个CTU的滤波器的类型、指定可用帧内滤波器候选中的用于相应CTU的滤波器的索引。
可以以编码单元为单位来应用上述帧内滤波器。例如，可以通过将第一帧内滤波器或第二帧内滤波器应用于编码单元周围的参考样本来执行滤波。
当使用方向性预测模式或DC模式时，可能在块边界处发生图像质量的劣化。另一方面，在平面模式中，与上述预测模式相比，存在在块边界处的图像质量的劣化相对较小的优点。
可以通过以下方式来执行平面预测：使用参考样本在水平方向上生成第一预测图像(即，第一预测样本)并且在垂直方向上生成第二预测图像(即，第二预测样本)，然后执行对第一预测图像和第二预测图像的加权预测。
这里，可以基于与当前块相邻并且位于预测样本的水平方向上的参考样本来生成第一预测图像。例如，可以基于位于预测样本的水平方向上的参考样本的加权和来生成第一预测图像，并且可以基于距预测目标样本的距离或当前块的大小来确定应用于每个参考样本的权重。位于水平方向上的样本可以包括位于预测目标样本的左侧的左侧参考样本以及位于预测目标样本的右侧的右侧参考样本。此时，可以根据当前块的上侧参考样本来得到右侧参考样本。例如，右侧参考样本可以通过复制上侧参考样本之一的值来得到，或者可以通过上侧参考样本的加权和或平均值来得到。这里，上侧参考样本可以是与右侧参考样本位于相同垂直线上的参考样本，并且可以是与当前块的右上角相邻的参考样本。可替选地，可以根据预测目标样本的位置来不同地确定上侧参考样本的位置。
可以基于与当前块相邻并且位于预测样本的垂直方向上的参考样本来生成第二预测图像。例如，可以基于位于预测样本的垂直方向上的参考样本的加权和来生成第二预测图像，并且可以基于距预测目标样本的距离或当前块的大小来确定应用于每个参考样本的权重。位于垂直方向上的样本可以包括位于预测目标样本的上侧的上侧参考样本以及位于预测目标样本的下侧的下侧参考样本。此时，可以根据当前块的左侧参考样本来得到下侧参考样本。例如，下侧参考样本可以通过复制左侧参考样本之一的值来得到，或者可以通过左侧参考样本的加权和或平均值来得到。这里，左侧参考样本可以是与下侧参考样本位于相同水平线上的参考样本，并且可以是与当前块的左下角相邻的参考样本。可替选地，可以根据预测目标样本的位置来不同地确定上侧参考样本的位置。
作为另一示例，还可以使用多个参考样本来得到右侧参考样本和下侧参考样本。
例如，可以使用当前块的上侧参考样本和左侧参考样本二者来得到右侧参考样本或下侧参考样本。例如，右侧参考样本或下侧参考样本中的至少一个可以被确定为当前块的上侧参考样本和左侧参考样本的加权和或平均值。
可替选地，可以计算当前块的上侧参考样本和左侧参考样本的加权和或平均值，然后可以根据所计算的值与上侧参考样本的加权和或平均值来得到右侧参考样本。如果通过计算所计算的值与上侧参考样本的加权和来得到右侧参考样本，则可以考虑当前块的大小、当前块的形状、右侧参考样本的位置或者右侧参考样本与上侧参考样本之间的距离来确定权重。
另外，在计算当前块的上侧参考样本和左侧参考样本的加权和或平均值之后，可以根据所计算的值与左侧参考样本的加权和或平均值来得到下侧参考样本。如果通过所计算的值与左侧参考样本的加权和得到右侧参考样本，则可以考虑当前块的大小、当前块的形状、下侧参考样本的位置或者下侧参考样本与左侧参考样本之间的距离来确定权重。
用于得到右侧参考样本或左侧参考样本的多个参考样本的位置可以是固定的，或者可以根据预测目标样本的位置而变化。例如，上侧参考样本可以具有固定位置，例如与当前块的右上角相邻并且与右侧参考样本位于相同垂直线上的参考样本，并且左侧参考样本可以具有固定位置，例如与当前块的左下角相邻并且与下侧参考样本位于相同水平线上的参考样本。可替选地，在得到右侧参考样本时，使用具有固定位置的上侧参考样本，例如与当前块的右上角相邻的参考样本，同时使用左侧参考样本，例如与预测目标样本位于相同水平线上的参考样本。在得到下侧参考样本时，使用具有固定位置的左侧参考样本，例如与当前块的左下角相邻的参考样本，同时使用上侧参考样本，例如与预测目标样本位于相同垂直线上的参考样本。
图18是示出使用多个参考样本得到右侧参考样本或下侧参考样本的示例的图。假设当前块是具有W×H大小的块。
参照图18的(a)，首先，可以基于当前块的上侧参考样本P(W,-1)和左侧参考样本P(-1,H)的加权和或平均值来生成右下参考样本P(W,H)。并且，可以基于右下参考样本P(W,H)和上侧参考样本P(W,-1)来生成预测目标样本(x,y)的右侧参考样本P(W,y)。例如，可以将右侧预测样本P(W,y)计算为右下参考样本P(W,H)和上侧参考样本P(W,-1)的加权和或平均值。另外，可以基于右下参考样本P(W,H)和左侧参考样本P(-1,H)来生成预测目标样本(x,y)的下侧参考样本P(x,H)。例如，可以将下侧参考样本P(x,H)计算为右下参考样本P(W,H)和左侧参考样本P(-1,H)的加权和或平均值。
如图18的(b)所示，如果生成了右侧参考样本和下侧参考样本，则可以基于所生成的参考样本来生成用于预测目标块的第一预测样本Ph(x,y)和第二预测样本Pv(x,y)。此时，可以基于左侧参考样本P(-1,y)和右侧参考样本P(W,y)的加权和来生成第一预测样本Ph(x,y)并且可以基于上侧参考样本P(x,-1)和下侧参考样本P(x,H)的加权和来生成第二预测样本。
用于生成第一预测图像和第二预测图像的参考样本的位置可以取决于当前块的大小或形状而变化。也就是说，用于得到右侧参考样本或下侧参考样本的上侧参考样本或左侧参考样本的位置可以取决于当前块的大小或形状而变化。
例如，如果当前块是具有N×N大小的正方形块，则可以根据P(N,-1)得到右侧参考样本，并且可以根据P(-1,N)得到下侧参考样本。可替选地，可以基于P(N,-1)和P(-1,N)的加权和、平均值、最小值或最大值中的至少一个来得到右侧参考样本和下侧参考样本。另一方面，如果当前块是非正方形块，则可以根据当前块的形状来不同地确定用于得到右侧参考样本和下侧参考样本的参考样本的位置。
图19和图20是用于说明根据本发明的实施方式的对用于非正方形块的右侧参考样本和下侧参考样本的确定的图。
如图19示出的示例中，当当前块是(N/2)×N大小的非正方形块时，基于上侧参考样本P(N/2,-1)得到右侧参考样本，并且基于左侧参考样本P(-1,N)得到下侧参考样本。
可替选地，可以基于上侧参考样本P(N/2,-1)和左侧参考样本P(-1,N)的加权和、平均值、最小值或最大值中的至少一个来得到右侧参考样本或下侧参考样本。例如，右侧参考样本可以被得到为P(N/2,-1)和P(-1,N)的加权和或平均值，或者可以被得到为上述计算值和上侧参考样本的加权和或平均值。可替选地，下侧参考样本可以被得到为P(N/2,-1)和P(-1,N)的加权和或平均值，或者可以被得出为上述计算值和左侧参考样本的加权和或平均值。
另一方面，如在图20中示出的示例，如果当前块是N×(N/2)大小的非正方形块，则可以基于上侧参考样本P(N,-1)得到右侧参考样本，并且可以基于左侧参考样本P(-1,N/2)得到下侧参考样本。
可替选地，还可以基于上侧参考样本P(N,-1)和左侧参考样本P(-1,N/2)的加权和、平均值、最小值或最大值中的至少一个来得到右侧参考样本或下侧参考样本。例如，右侧参考样本可以被得到为P(N,-1)和P(-1,N/2)的加权和或平均值，或者可以被得到为上述计算值和上侧参考样本的加权和或平均值。可替选地，下侧参考样本可以被得到为P(N,-1)和P(-1,N/2)的加权和或平均值，或者可以被得到为上述计算值和左侧参考样本的加权和或平均值。
也就是说，可以基于当前块的与下侧参考样本位于相同水平线上的左下参考样本或者当前块的与右侧参考样本位于相同垂直线上的右上参考样本中的至少一个来得到下侧参考样本，并且可以基于当前块的与右侧参考样本位于相同垂直线上的右上参考样本或者当前块的与下侧参考样本位于相同水平线上的左下参考样本中的至少一个来得到右侧参考样本。
可以基于与预测目标样本位于相同水平线上的参考样本的加权预测来计算第一预测图像。另外，可以基于与预测目标样本位于相同垂直线上的参考样本的加权预测来计算第二预测图像。
可替选地，还可以基于参考样本的平均值、最小值或最大值来生成第一预测图像或第二预测图像。
可以根据预测目标样本是否包括在当前块中的预定区域中、当前块的大小或者形状来不同地设置得到参考样本的方法或者得到第一预测图像或第二预测图像的方法。具体地，根据预测目标样本的位置，可以不同地确定用于得到右侧参考样本或下侧参考样本的参考样本的数量或位置，或者根据预测目标样本的位置，可以不同地设置用于得到第一预测图像或第二预测图像的参考样本的权重或数量。
例如，可以仅使用上侧参考样本来得到用于得到预定区域中包括的预测目标样本的第一预测图像的右侧参考样本，并且可以基于上侧参考样本和左侧参考样本的加权和或平均值来得到用于得到预定区域之外的预测目标样本的第一预测图像的右侧参考样本。
例如，如在图19中示出的示例中，在当前块是高度比宽度长的非正方形块的情况下，可以根据P(N/2,-1)得到位于(x,y)处且包括在当前块的预定区域中的预测目标样本的右侧参考样本。另一方面，可以基于P(N/2,-1)和P(-1,N)的加权和或平均值来得到位于(x',y')处且在当前块中的预定区域之外的预测目标样本的右侧参考样本。
可替选地，如在图20中示出的示例中，在当前块是宽度比高度大的非正方形块的情况下，可以基于P(-1,N/2)得到位于(x,y)处且包括在当前块的预定区域中的预测目标样本的下侧参考样本。另一方面，可以基于P(N,-1)和P(-1,N/2)的加权和或平均值来得到位于(x',y')处且在当前块中的预定区域之外的预测目标样本的下侧参考样本。
例如，可以基于参考样本的加权和来生成包括在预定区域中的预测目标样本的第一预测图像或第二预测图像。另一方面，可以通过参考样本的平均值、最小值或最大值来生成预定区域之外的预测目标样本的第一预测图像或第二预测图像，或者可以通过仅使用位于预定位置处的参考样本之一来生成预定区域之外的预测目标样本的第一预测图像或第二预测图像。例如，如图19中的示例所示，如果当前块是高度比宽度长的非正方形块，则可以通过仅使用根据P(N/2,-1)得到的右侧参考样本P(N/2,y)或位于P(-1,y)处的左侧参考样本之一来生成位于(x,y)处且包括在预定区域中的预测目标样本的第一预测图像。另一方面，可以基于根据P(N/2,-1)得到的右侧参考样本P(N/2,y')和位于P(-1,y')处的参考样本的加权和或平均值来生成位于(x',y')处且在预定区域之外的预测目标样本的第一预测图像。
可替选地，如在图20中示出的示例中，如果当前块是宽度比高度大的非正方形块，则可以通过仅使用根据P(-1,N/2)得到的下侧参考样本P(x,N/2)或位于P(x,-1)处的上侧参考样本之一来生成位于(x,y)处且包括在当前块的预定区域中的预测目标样本的第二预测图像。另一方面，可以基于根据P(-1,N/2)得到的下侧参考样本P(x',N/2)和位于P(-1,y')处的参考样本的加权和或平均值来生成位于(x',y')处且未包括在预定区域的预测目标样本的第二预测图像。
在上文描述的实施方式中，预定区域或预定区域的外部区域可以包括除了位于当前块的边界处的样本之外的剩余区域。当前块的边界可以包括左边界、右边界、上边界或下边界中的至少一个。另外，可以根据当前块的形状来不同地设置在预定区域或预定区域的外部区域中包括的边界的数量或位置。
在平面模式下，可以基于第一预测图像和第二预测图像的加权和、平均值、最小值或最大值来得到最终预测图像。
例如，下式9示出了基于第一预测图像Ph和第二预测图像Pv的加权和生成最终预测图像P的示例。
[式9]
P(x，y)＝(w*Ph(x，y)+(1-w)*Pv(x，y)+N)》(log2(N)+1)
在式9中，预测权重w可以根据当前块的形状或大小或者预测目标样本的位置而不同。
例如，可以考虑当前块的宽度、当前块的高度或者宽度与高度之间的比率来得到预测权重w。如果当前块是宽度比高度大的非正方形块，则可以将w设置成使得向第一预测图像赋予更多权重。另一方面，如果当前块是高度比宽度大的非正方形块，则可以将w设置成使得向第二预测图像赋予更多权重。
例如，在当前块具有正方形形状的情况下，预测权重w可以具有值1/2。另一方面，如果当前块是高度比宽度大的非正方形块(例如，(N/2)×N)，则预测权重w可以被设置为1/4，并且如果当前块是宽度比高度大的非方形块(例如，N×(N/2))，则预测权重w可以被设置为3/4。
在当前块的帧内预测模式是方向性预测模式的情况下，可以基于方向性预测模式的方向性来执行对当前块的帧内预测。例如，表3示出了作为图8示出的方向性帧内预测模式的模式2至模式34的帧内方向参数(intraPredAng)。
[表3]
在表3中，尽管例示了33种方向性帧内预测模式，但是也可以定义更多或更少的方向性帧内预测模式。
基于定义方向性帧内预测模式与帧内方向参数之间的映射关系的查找表，可以确定用于当前块的帧内方向参数。可替选地，可以基于通过比特流发信号发送的信息来确定用于当前块的帧内方向参数。
可以根据方向性帧内预测模式的方向性，使用左侧参考样本或上侧参考样本中的至少一个来执行对当前块的帧内预测。这里，上侧参考样本意指y轴坐标小于当前块中的最顶行中包括的预测样本(x,0)的参考样本(例如，(-1,-1)至(2W-1,-1))，并且左侧参考样本意指x轴坐标小于当前块中的最左列中包括的预测样本(0,y)的参考样本(例如，(-1,-1)至(-1,2H-1))。
可以根据帧内预测模式的方向性在一个维度上布置当前块的参考样本。具体地，当上侧参考样本和左侧参考样本二者都要用于当前块的帧内预测时，可以选择每个预测目标样本的参考样本，假设它们在垂直方向上或水平方向上排成一条线。
例如，当帧内方向参数为负时(例如，在对应于表3中的模式11至模式25的帧内预测模式的情况下)，可以通过在水平方向或垂直方向上重新排列上侧参考样本和左侧参考样本来构造一维参考样本组(P_ref_1D)。
图21和图22是示出其中参考样本被重新排列成一条线的一维参考样本组的图。
可以根据帧内预测模式的方向性来确定参考样本是在垂直方向还是在水平方向上重新排列。例如，如在图21中示出的示例中，如果帧内预测模式索引在11至18中，则逆时针旋转当前块的上侧参考样本，以便生成其中左侧参考样本和上侧参考样本在垂直方向排列的一维参考样本组。
另一方面，如在图22中示出的示例中，当帧内预测模式索引在19至25中时，顺时针旋转当前块的左侧参考样本，以便生成其中左侧参考样本和上侧参考样本在水平方向排列的一维参考样本组。
如果当前块的帧内方向参数不为负，则可以仅使用左侧参考样本或上侧参考样本来执行对当前块的帧内预测。因此，可以通过仅使用左侧参考样本或上侧参考样本来生成用于帧内方向参数不为负的帧内预测模式的一维参考样本组。
基于帧内方向参数，可以得到参考样本确定索引iIdx，以指定用于预测预测目标样本的至少一个参考样本。另外，可以基于帧内方向参数得到用于确定应用于每个参考样本的权重的权重相关参数ifact。例如，下式10和式11示出了得到参考样本确定索引和权重相关参数的示例。
[式10]
iIdx＝(y+1)*(Pang/32)
ifact＝[(y+1)*Pang]31
基于参考样本确定索引，可以针对每个预测目标样本来指定至少一个参考样本。例如，基于参考样本确定索引，可以指定一维参考样本组中的用于预测当前块中的预测目标样本的参考样本的位置。基于指定位置处的参考样本，可以生成用于预测目标样本的预测图像(即，预测样本)。
可以使用多种帧内预测模式来对当前块执行帧内预测。例如，可以将不同帧内预测模式或不同方向性帧内预测模式应用于当前块中的每个预测目标样本。可替选地，可以将不同帧内预测模式或不同方向性帧内预测模式应用于当前块中的每个预定样本组。这里，预定样本组可以表示具有预定大小/形状的子块、包括预定数量的预测目标样本的块或预定区域。可以根据当前块的大小/形状、当前块中包括的预测目标样本的数量、当前块的帧内预测模式等来可变地确定样本组的数量，或者样本组的数量可以具有在编码器和解码器中预定义的固定的数量。可替选地，还可以通过比特流用信号发送当前块中包括的样本组的数量。
用于当前块的多种帧内预测模式可以由多种帧内预测模式的组合来表示。例如，多种帧内预测模式可以由多种非方向性帧内预测模式的组合、方向性预测模式与非方向性帧内预测模式的组合、或多种方向性帧内预测模式的组合来表示。可替选地，可以针对应用了不同帧内预测模式的每个单元对帧内预测模式进行编码/解码。
在考虑当前块的帧内预测模式时，如果确定不能仅通过一个参考样本预测预测目标样本，则可以使用多个参考样本来执行对预测目标样本的预测。具体地，根据当前块的帧内预测模式，可以通过在预定位置处对参考样本进行插值和在预定位置处对与参考样本相邻的相邻参考样本进行插值来对预测目标样本执行预测。
例如，在跟随帧内预测模式的斜率或者帧内预测模式的角度的假想角度线未通过一维参考样本组中的整数像素(即，整数位置处的参考样本)的情况下，可以通过对位于角度线上的参考样本和与参考样本的左侧/右侧或上侧/下侧相邻的参考样本进行插值来生成用于预测目标样本的预测图像。例如，下式11示出了对两个或更多个参考样本进行插值以生成预测目标样本的预测样本P(x，y)的示例。
[式11]
P(x，y)＝(32-ifact)/32*P_ref_1D(x+iIdx+1)+ifact/32*P_ref_1D(x+iIdx+2)
可以基于权重相关参数ifact来确定插值滤波器的系数。例如，可以基于位于角度线上的分数像素与整数像素(即，每个参考样本的整数位置)之间的距离来确定插值滤波器的系数。
在考虑当前块的帧内预测模式的情况下，如果可以仅通过一个参考样本来预测预测目标样本，则可以基于由当前块的帧内预测模式指定的参考样本来生成用于预测目标样本的预测图像。
例如，跟随帧内预测模式的斜率或帧内预测模式的角度的假想角度线通过一维参考样本组中的整数像素(即，整数位置处的参考样本)，可以通过复制整数像素处的参考样本或者通过考虑整数像素处的参考样本与预测目标样本之间的距离来生成用于预测目标样本的预测图像。例如，下式12是通过复制一维样本组中的由当前块的帧内预测模式指定的参考样本P_ref_1D(x+iIdx+1)生成用于预测目标样本的预测图像P(x，y)的示例。
[式12]
P(x，y)＝P_ref_1D(x+iIdx+1)
为了便于说明，在稍后描述的实施方式中，由当前块的帧内预测模式指定的参考样本或由当前块的帧内预测模式指定的一维参考样本将被称作第一参考样本。例如，在平面模式中，用于获得预测目标样本的水平预测图像或垂直预测图像的参考样本可以被称作第一参考样本，并且在方向性帧内预测模式中，由帧内预测模式的方向性指定的预测目标样本的参考样本可以被称作第一预测参考样本。另外，通过基于第一参考样本预测预测目标样本而生成的预测样本将被称作第一预测图像(或第一预测样本)，并且使用第一参考样本的帧内预测将被称作第一帧内预测。
根据本发明，为了提高帧内预测的效率，可以通过使用预定位置处的第二参考样本来获得用于预测目标样本的第二预测图像(或第二预测样本)。具体地，可以通过作为第一帧内预测的结果而生成的第一预测图像和在预定位置处的第二参考样本的加权预测来生成用于预测目标样本的第二预测样本。
可以基于当前块的大小、当前块的形状、当前块的帧内预测模式(例如，其是否是方向性帧内预测模式)、帧内预测模式的方向、预测目标样本与第一参考样本之间的距离等来确定是否生成第二预测样本。这里，可以基于第一参考样本与预测目标样本之间的x轴的距离以及第一参考样本与预测目标样本之间的y轴的距离来计算第一参考样本与预测目标样本之间的距离。
图23是用于说明第一参考样本与预测目标样本之间的距离的图。在图23中，例示了通过对第一参考样本与预测目标样本之间的x坐标的差的绝对值和第一参考样本与预测目标样本之间的y坐标的差的绝对值进行求和来计算第一参考样本与预测目标样本之间的距离。
作为示例，可以将预测目标样本与第一参考样本之间的距离与阈值进行比较，然后根据比较结果来确定是否生成第二预测图像。可以根据预测块的宽度、高度、帧内预测模式(例如，其是否是方向性帧内预测模式)或帧内预测模式的斜率来确定阈值。
可以将在第一帧内预测中使用的第一参考样本设置为第二参考样本。例如，如果在第一帧内预测中使用多个参考样本，则可以将多个参考样本中的任何一个设置为第二参考样本。
可替选地，位于与第一参考样本不同的位置处的参考样本可以被设置为第二参考样本。此时，第一参考样本和第二参考样本可以与当前块的同一边界相邻，或者可以与当前块的不同边界相邻。例如，第一参考样本和第二参考样本二者都可以是当前块的上侧参考样本或当前块的左侧参考样本，或者第一参考样本或第二参考样本是上侧参考样本，而另一参考样本是左侧参考样本。
图24和图25是示出第一参考样本的位置和第二参考样本的位置的图。
图24示出了第一参考样本和第二参考样本与当前块的同一边界相邻的示例，图25示出了第一参考样本和第二参考样本中的每一个与当前块的不同边界相邻的示例。
具体地，在图24中描绘了第一参考样本和第二参考样本二者都是当前块的上侧参考样本，在图25中描绘了当前块的第一参考样本是上侧参考样本，而第二参考样本是当前块的左侧参考样本。
第二参考样本可以包括最接近预测目标样本的参考样本。这里，最接近预测目标样本的参考样本可以包括以下参考样本中的至少一个：与预测目标样本位于相同水平线上的参考样本，或与预测目标样本位于相同垂直线上的参考样本。
可替选地，可以将与第一参考样本相邻的参考样本确定为第二参考样本。
作为另一示例，可以基于当前块的帧内预测模式的方向性来确定第二参考样本。例如，第二参考样本可以由跟随当前块的帧内预测模式的斜率的虚拟角度线指定。例如，当角度线扩展至两侧时，位于角度线的一侧的参考样本可以被设置为第一参考样本，并且位于角度线的另一侧的参考样本可以被设置为第二参考样本。
图26是示出第一参考样本的位置和第二参考样本的位置的图。如果假设当前块的帧内预测模式是左下对角线方向(例如，图8中示出的模式2)或右上对角线方向(例如，图8中示出的模式34)，当由帧内预测模式定义的角度线从预测目标样本扩展至两侧时，可以将位于通过角度线的位置处的参考样本设置为第一参考样本和第二参考样本。例如，在当前块的帧内预测模式是右上对角线方向的情况下，位于位置r(x+y+2,-1)处的参考样本被确定为第一参考样本并且位于位置r(-1,x+y+2)处的参考样本被确定为用于位于(2,2)处的预测目标样本的第二参考样本。另一方面，在当前块的帧内预测模式是左下对角线方向的情况下，位于位置r(-1,x+y+2)处的参考样本被确定为第一参考样本并且位于位置r(x+y+2,-1)处的参考样本被确定为用于位于(2,2)处的预测目标样本的第二参考样本。
可替选地，可以将预定义位置处的参考样本设置为第二参考样本。例如，可以将与当前块的左上角相邻的参考样本、与当前块的右上角相邻的参考样本或与当前块的左下角相邻的参考样本设置为第二参考样本。
可以选择多个参考样本作为第二参考样本。例如，可以选择满足上述条件的多个参考样本作为用于第二帧内预测的第二参考样本。
可以通过第一预测图像和第二参考样本的加权和来生成第二预测图像。例如，下式13表示通过第二参考样本P_ref_2nd和第一预测图像P(x,y)的加权和来生成用于预测目标样本(x,y)的第二预测图像P'(x,y)的示例。
[式13]
P'(x，y)＝(1-w)*P_ref_2nd+w*P(x，y)
由于通过复制第一参考样本或者对多个第一参考样本进行插值来生成第一预测图像，因此可以理解，通过第一参考样本P_ref_1st和第二参考样本P_ref_2nd的加权和来生成第二预测图像。
可以基于当前块的大小、当前块的形状、当前块的帧内预测模式、预测目标样本的位置、第一参考样本的位置或第二参考样本的位置中的至少一个来确定分配给第一预测图像和第二参考样本中的每一个的权重。例如，可以基于预测目标样本与第一参考样本之间的距离或预测目标样本与第二参考样本之间的距离来确定分配给第一预测图像和第二参考图像中的每一个的权重。
例如，当预测目标样本与第一参考样本之间的距离是f1并且预测目标样本与参考样本之间的距离是f2时，加权预测参数w可以被设置为f2/f1、f1/f2、f2/(f1+f2)或f2/(f1+f2)。
可以将预测目标样本的最终预测图像确定为第一预测图像或第二预测图像。此时，可以根据当前块的大小、当前块的形状、当前块的帧内预测模式、预测目标样本的位置等来确定是将第一预测图像确定为最终预测图像还是将第二预测图像确定为最终预测图像。例如，将包括在当前块中的第一区域中的预测目标样本的最终预测图像确定为第一预测图像，而将包括在不同于第一区域的第二区域中的预测目标样本的最终预测图像确定为第二预测图像。
图27是示出根据应用本发明的实施方式的获得残差样本的处理的流程图。
首先，可以获得当前块的残差系数S2710。解码器可以通过系数扫描方法获得残差系数。例如，解码器可以使用对角线扫描、Z字形(jig-zag)扫描、右上扫描、垂直扫描或水平扫描来执行系数扫描，并且可以获得二维块形式的残差系数。
可以对当前块的残差系数执行逆量化S2720。
可以确定是否跳过对当前块的解量化的残差系数的逆变换S2730。具体地，解码器可以确定是否跳过在当前块的水平方向或垂直方向中的至少一个方向上的逆变换。在确定在当前块的水平方向或垂直方向中的至少一个方向上应用逆变换时，可以通过对当前块的解量化的残差系数进行逆变换来获得当前块的残差样本S2740。此处，可以使用DCT、DST和KLT中的至少之一来执行逆变换。
在当前块的水平方向和垂直方向二者上均跳过逆变换时，不在当前块的水平方向和垂直方向上执行逆变换。在这种情况下，可以通过使用预定值对解量化的残差系数进行缩放来获得当前块的残差样本S2750。
跳过在水平方向上的逆变换意味着不在水平方向上执行逆变换，而是在垂直方向上执行逆变换。此时，可以在水平方向上执行缩放。
跳过垂直方向上的逆变换意味着不在垂直方向上执行逆变换，而是在水平方向上执行逆变换。此时，可以在垂直方向上执行缩放。
可以依赖于当前块的划分类型来确定是否可以针对当前块使用逆变换跳过技术。例如，如果通过基于二叉树的划分生成当前块，则可以针对当前块限制逆变换跳过方案。因此，在通过基于二叉树的划分生成当前块时，可以通过对当前块进行逆变换来获得当前块的残差样本。另外，在通过基于二叉树的划分生成当前块时，可以省略对指示是否跳过逆变换的信息(例如，transform_skip_flag)进行的编码/解码。
替选地，在通过基于二叉树的划分生成当前块时，可以将逆变换跳过方案限制到水平方向或垂直方向中的至少一个方向。此处，可以基于从比特流解码的信息来确定逆变换跳过方案被限制的方向，或者可以基于当前块的大小、当前块的形状或当前块的帧内预测模式中的至少之一来自适应地确定逆变换跳过方案被限制的方向。
例如，在当前块是宽度大于高度的非正方形块时，可以仅在垂直方向上允许逆变换跳过方案并且在水平方向上限制逆变换跳过方案。即，在当前块是2N×N时，在当前块的水平方向上执行逆变换，并且可以在垂直方向上选择性地执行逆变换。
另一方面，在当前块是高度大于宽度的非正方形块时，可以仅在水平方向上允许逆变换跳过方案并且在垂直方向上限制逆变换跳过方案。即，在当前块是N×2N时，在当前块的垂直方向上执行逆变换，并且可以在水平方向上选择性地执行逆变换。
与上述示例相比，在当前块是宽度大于高度的非正方形块时，可以仅在水平方向上允许逆变换跳过方案，并且在当前块是高度大于宽度的非正方形块时，可以仅在垂直方向上允许逆变换跳过方案。
可以通过比特流用信号发送指示是否针对水平方向跳过逆变换的信息或者指示是否针对垂直方向跳过逆变换的信息。例如，指示是否跳过水平方向上的逆变换的信息是1比特标志“hor_transform_skip_flag”，并且指示是否跳过垂直方向上的逆变换的信息是1比特标志“ver_transform_skip_flag”。编码器可以根据当前块的形状对“hor_transform_skip_flag”或“ver_transform_skip_flag”中的至少之一进行编码。此外，解码器可以通过使用“hor_transform_skip_flag”或“ver_transform_skip_flag”中的至少之一来确定是否跳过水平方向或垂直方向上的逆变换。
可以设置成：依赖于当前块的划分类型跳过对当前块的任何一个方向的逆变换。例如，如果通过基于二叉树的划分生成当前块，则可以跳过水平方向或垂直方向上的逆变换。即，如果通过基于二叉树的划分生成当前块，则可以在不对指示是否跳过当前块的逆变换的信息(例如，transform_skip_flag、hor_transform_skip_flag、ver_transform_skip_flag)进行编码/解码的情况下，确定在水平方向或垂直方向中的至少一个方向上跳过当前块的逆变换。
尽管已经基于一系列步骤或流程图描述了上述实施方式，但是它们不限制本发明的时序顺序，并且可以根据需要同时或以不同顺序执行。此外，构成上述实施方式中的框图的部件(例如，单元、模块等)中的每一个可以由硬件设备或软件以及多个部件来实现。或者，可以通过单个硬件设备或软件来组合并实现多个部件。上述实施方式可以以程序指令的形式实现，所述程序指令可以通过各种计算机部件执行并被记录在计算机可读记录介质中。计算机可读记录介质可以包括程序命令、数据文件、数据结构等之一或其组合。计算机可读介质的示例包括诸如硬盘、软盘和磁带的磁介质、诸如CD-ROM和DVD的光学记录介质、诸如光磁软盘的磁光介质、介质和专门被配置成存储和执行程序指令的硬件设备例如ROM、RAM、闪存等。硬件设备可以被配置成作为一个或更多个软件模块来进行操作以用于执行根据本发明的处理，反之亦然。
工业应用性
本发明可以应用于能够对视频进行编码/解码的电子设备。

Claims (15)

1.一种用于对视频进行解码的方法，所述方法包括：
确定当前块的帧内预测模式；
基于所述帧内预测模式来确定所述当前块中包括的预测目标样本的第一参考样本；
使用所述第一参考样本来生成所述预测目标样本的第一预测样本；以及
使用所述第一预测样本和位于与所述第一参考样本不同的位置处的第二参考样本来生成所述预测目标样本的第二预测样本。
2.根据权利要求1所述的方法，其中，所述第二参考样本包括以下参考样本中的至少一个：与所述预测目标样本位于相同水平线上的参考样本，或者与所述预测目标样本位于相同垂直线上的参考样本。
3.根据权利要求1所述的方法，其中，所述第一参考样本和所述第二参考样本中的每一个与所述当前块的不同边界相邻。
4.根据权利要求3所述的方法，其中，基于所述帧内预测模式的方向性来确定所述第二参考样本的位置。
5.根据权利要求1所述的方法，其中，基于所述第一预测样本和所述第二参考样本的加权和来生成所述第二预测样本。
6.根据权利要求5所述的方法，其中，基于所述第一参考样本的位置和所述第二参考样本的位置来确定应用于所述第一预测样本和所述第二参考样本中的每一个的权重。
7.根据权利要求1所述的方法，其中，根据所述帧内预测模式的方向性来确定是否生成所述第二预测样本。
8.一种用于对视频进行编码的方法，所述方法包括：
确定当前块的帧内预测模式；
基于所述帧内预测模式来确定所述当前块中包括的预测目标样本的第一参考样本；
使用所述第一参考样本来生成所述预测目标样本的第一预测样本；以及
使用所述第一预测样本和位于与所述第一参考样本不同的位置处的第二参考样本来生成所述预测目标样本的第二预测样本。
9.根据权利要求8所述的方法，其中，所述第二参考样本包括以下参考样本中的至少一个：与所述预测目标样本位于相同水平线上的参考样本，或者与所述预测目标样本位于相同垂直线上的参考样本。
10.根据权利要求8所述的方法，其中，所述第一参考样本和所述第二参考样本中的每一个与所述当前块的不同边界相邻。
11.根据权利要求10所述的方法，其中，基于所述帧内预测模式的方向性来确定所述第二参考样本的位置。
12.根据权利要求8所述的方法，基于所述第一预测样本和所述第二参考样本的加权和来生成所述第二预测样本。
13.根据权利要求12所述的方法，其中，基于所述第一参考样本的位置和所述第二参考样本的位置来确定应用于所述第一预测样本和所述第二参考样本中的每一个的权重。
14.根据权利要求8所述的方法，其中，根据所述帧内预测模式的方向性来确定是否生成所述第二预测样本。
15.一种用于对视频进行解码的设备，所述设备包括：
帧内预测单元，用于：确定当前块的帧内预测模式；基于所述帧内预测模式来确定所述当前块中包括的预测目标样本的第一参考样本；使用所述第一参考样本来生成所述预测目标样本的第一预测样本；以及使用所述第一预测样本和位于与所述第一参考样本不同的位置处的第二参考样本来生成所述预测目标样本的第二预测样本。
CN201780057631.9A 2016-09-20 2017-09-20 用于处理视频信号的方法 Active CN109716762B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202310581312.5A CN116405671A (zh) 2016-09-20 2017-09-20 用于对视频进行解码和编码的方法以及传输方法
CN202310581985.0A CN116437079A (zh) 2016-09-20 2017-09-20 对视频进行解码和编码的方法以及传输方法
CN202310577531.6A CN116366838A (zh) 2016-09-20 2017-09-20 对图像进行解码和编码的方法以及传输方法
CN202310577503.4A CN116389728A (zh) 2016-09-20 2017-09-20 对视频进行解码和编码的方法以及传输方法
CN202310581915.5A CN116437078A (zh) 2016-09-20 2017-09-20 对视频进行解码和编码的方法以及传输方法
CN202310576313.0A CN116389727A (zh) 2016-09-20 2017-09-20 用于对视频进行解码和编码的方法以及传输方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20160120079 2016-09-20
KR10-2016-0120079 2016-09-20
PCT/KR2017/010353 WO2018056701A1 (ko) 2016-09-20 2017-09-20 비디오 신호 처리 방법 및 장치

Related Child Applications (6)

Application Number Title Priority Date Filing Date
CN202310581985.0A Division CN116437079A (zh) 2016-09-20 2017-09-20 对视频进行解码和编码的方法以及传输方法
CN202310576313.0A Division CN116389727A (zh) 2016-09-20 2017-09-20 用于对视频进行解码和编码的方法以及传输方法
CN202310581915.5A Division CN116437078A (zh) 2016-09-20 2017-09-20 对视频进行解码和编码的方法以及传输方法
CN202310581312.5A Division CN116405671A (zh) 2016-09-20 2017-09-20 用于对视频进行解码和编码的方法以及传输方法
CN202310577503.4A Division CN116389728A (zh) 2016-09-20 2017-09-20 对视频进行解码和编码的方法以及传输方法
CN202310577531.6A Division CN116366838A (zh) 2016-09-20 2017-09-20 对图像进行解码和编码的方法以及传输方法

Publications (2)

Publication Number Publication Date
CN109716762A true CN109716762A (zh) 2019-05-03
CN109716762B CN109716762B (zh) 2023-06-09

Family

ID=61690524

Family Applications (7)

Application Number Title Priority Date Filing Date
CN202310581985.0A Pending CN116437079A (zh) 2016-09-20 2017-09-20 对视频进行解码和编码的方法以及传输方法
CN202310577531.6A Pending CN116366838A (zh) 2016-09-20 2017-09-20 对图像进行解码和编码的方法以及传输方法
CN202310577503.4A Pending CN116389728A (zh) 2016-09-20 2017-09-20 对视频进行解码和编码的方法以及传输方法
CN202310576313.0A Pending CN116389727A (zh) 2016-09-20 2017-09-20 用于对视频进行解码和编码的方法以及传输方法
CN201780057631.9A Active CN109716762B (zh) 2016-09-20 2017-09-20 用于处理视频信号的方法
CN202310581915.5A Pending CN116437078A (zh) 2016-09-20 2017-09-20 对视频进行解码和编码的方法以及传输方法
CN202310581312.5A Pending CN116405671A (zh) 2016-09-20 2017-09-20 用于对视频进行解码和编码的方法以及传输方法

Family Applications Before (4)

Application Number Title Priority Date Filing Date
CN202310581985.0A Pending CN116437079A (zh) 2016-09-20 2017-09-20 对视频进行解码和编码的方法以及传输方法
CN202310577531.6A Pending CN116366838A (zh) 2016-09-20 2017-09-20 对图像进行解码和编码的方法以及传输方法
CN202310577503.4A Pending CN116389728A (zh) 2016-09-20 2017-09-20 对视频进行解码和编码的方法以及传输方法
CN202310576313.0A Pending CN116389727A (zh) 2016-09-20 2017-09-20 用于对视频进行解码和编码的方法以及传输方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202310581915.5A Pending CN116437078A (zh) 2016-09-20 2017-09-20 对视频进行解码和编码的方法以及传输方法
CN202310581312.5A Pending CN116405671A (zh) 2016-09-20 2017-09-20 用于对视频进行解码和编码的方法以及传输方法

Country Status (6)

Country Link
US (4) US10834386B2 (zh)
EP (1) EP3518535A4 (zh)
KR (1) KR102435000B1 (zh)
CN (7) CN116437079A (zh)
ES (1) ES2711473R1 (zh)
WO (1) WO2018056701A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112012001609B9 (de) * 2011-04-25 2021-11-18 Lg Electronics Inc. Intra-Prädiktionsverfahren, Kodierer und Dekodierer zur Benutzung desselben
EP3552393B1 (en) * 2016-12-23 2023-03-08 Huawei Technologies Co., Ltd. An encoding apparatus for signaling an extension directional intra-prediction mode within a set of directional intra-prediction modes
US10951908B2 (en) * 2017-05-24 2021-03-16 Lg Electronics Inc. Method and device for decoding image according to intra prediction in image coding system
CN111295881B (zh) * 2017-11-13 2023-09-01 联发科技（新加坡）私人有限公司 用于图像和视频编解码的画面内预测融合的方法和装置
US10728542B2 (en) * 2018-04-09 2020-07-28 Tencent America LLC Methods and apparatuses for sub-block motion vector prediction
JP2019213096A (ja) * 2018-06-06 2019-12-12 Kddi株式会社 画像復号装置、画像符号化装置、画像処理システム、画像復号方法及びプログラム
CA3103651A1 (en) * 2018-07-14 2020-01-23 Lg Electronics Inc. Image decoding method using intra prediction related information in image coding system and apparatus therefor
CN117597927A (zh) * 2021-07-26 2024-02-23 北京达佳互联信息技术有限公司 使用多方向帧内预测的视频编解码
WO2024025316A1 (ko) * 2022-07-25 2024-02-01 주식회사 케이티 영상 부호화/복호화 방법 및 비트스트림을 저장하는 기록 매체

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012121575A2 (ko) * 2011-03-10 2012-09-13 한국전자통신연구원 인트라 예측 방법 및 그 장치
CN102934441A (zh) * 2010-05-25 2013-02-13 Lg电子株式会社 新的平面预测模式
US20130101036A1 (en) * 2011-10-25 2013-04-25 Texas Instruments Incorporated Sample-Based Angular Intra-Prediction in Video Coding
US20130251036A1 (en) * 2010-12-13 2013-09-26 Electronics And Telecommunications Research Institute Intra prediction method and apparatus
EP2651137A2 (en) * 2010-12-08 2013-10-16 LG Electronics Inc. Intra prediction method and encoding apparatus and decoding apparatus using same
CN103621079A (zh) * 2011-04-25 2014-03-05 Lg电子株式会社 帧内预测方法以及使用该方法的编码器和解码器
KR20150093633A (ko) * 2010-11-08 2015-08-18 성균관대학교산학협력단 다단계 예측을 이용한 영상 부/복호화 방법 및 이러한 방법을 사용하는 부/복호화 장치
KR101600063B1 (ko) * 2011-06-28 2016-03-14 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101510108B1 (ko) * 2009-08-17 2015-04-10 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
WO2011145862A2 (en) 2010-05-17 2011-11-24 Lg Electronics Inc. New intra prediction modes
US8902978B2 (en) * 2010-05-30 2014-12-02 Lg Electronics Inc. Enhanced intra prediction mode signaling
PL2658263T3 (pl) 2010-12-22 2023-03-13 Lg Electronics Inc. Sposób predykcji wewnątrzramkowej i urządzenie wykorzystujące ten sposób
WO2012115420A2 (ko) 2011-02-23 2012-08-30 엘지전자 주식회사 필터링을 이용한 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
KR20120140181A (ko) * 2011-06-20 2012-12-28 한국전자통신연구원 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치
GB2501535A (en) 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US9667965B2 (en) 2012-06-25 2017-05-30 Industry-University Cooperation Foundation Hanyang University Video encoding and decoding method
US9461876B2 (en) 2012-08-29 2016-10-04 Loci System and method for fuzzy concept mapping, voting ontology crowd sourcing, and technology prediction
US20150016516A1 (en) 2013-07-15 2015-01-15 Samsung Electronics Co., Ltd. Method for intra prediction improvements for oblique modes in video coding
WO2015057947A1 (en) 2013-10-17 2015-04-23 Huawei Technologies Co., Ltd. Improved reference pixel selection and filtering for intra coding of depth map
KR20180026718A (ko) 2015-07-28 2018-03-13 엘지전자 주식회사 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
JPWO2017068856A1 (ja) * 2015-10-21 2018-08-09 シャープ株式会社 予測画像生成装置、画像復号装置および画像符号化装置
KR102028016B1 (ko) * 2016-01-18 2019-10-02 한양대학교 산학협력단 인트라 예측을 이용한 비디오 부호화/복호화 방법 및 장치
CN109076241B (zh) 2016-05-04 2023-06-23 微软技术许可有限责任公司 利用样本值的非相邻参考线进行帧内图片预测
WO2018047995A1 (ko) * 2016-09-08 2018-03-15 엘지전자(주) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102934441A (zh) * 2010-05-25 2013-02-13 Lg电子株式会社 新的平面预测模式
KR20150093633A (ko) * 2010-11-08 2015-08-18 성균관대학교산학협력단 다단계 예측을 이용한 영상 부/복호화 방법 및 이러한 방법을 사용하는 부/복호화 장치
EP2651137A2 (en) * 2010-12-08 2013-10-16 LG Electronics Inc. Intra prediction method and encoding apparatus and decoding apparatus using same
US20130251036A1 (en) * 2010-12-13 2013-09-26 Electronics And Telecommunications Research Institute Intra prediction method and apparatus
WO2012121575A2 (ko) * 2011-03-10 2012-09-13 한국전자통신연구원 인트라 예측 방법 및 그 장치
CN103621079A (zh) * 2011-04-25 2014-03-05 Lg电子株式会社 帧内预测方法以及使用该方法的编码器和解码器
KR101645787B1 (ko) * 2011-04-25 2016-08-04 엘지전자 주식회사 인트라 예측 방법과 이를 이용한 부호화기 및 복호화기
KR101600063B1 (ko) * 2011-06-28 2016-03-14 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
US20130101036A1 (en) * 2011-10-25 2013-04-25 Texas Instruments Incorporated Sample-Based Angular Intra-Prediction in Video Coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHEN J ET AL: "《Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11》", 8 March 2016 *

Also Published As

Publication number Publication date
CN116389728A (zh) 2023-07-04
US10834386B2 (en) 2020-11-10
WO2018056701A1 (ko) 2018-03-29
CN116437079A (zh) 2023-07-14
US20210014485A1 (en) 2021-01-14
KR20180031614A (ko) 2018-03-28
US11350086B2 (en) 2022-05-31
US20190394460A1 (en) 2019-12-26
ES2711473R1 (es) 2021-04-07
EP3518535A4 (en) 2020-04-22
EP3518535A1 (en) 2019-07-31
US11190759B2 (en) 2021-11-30
ES2711473A2 (es) 2019-05-03
CN116366838A (zh) 2023-06-30
CN116405671A (zh) 2023-07-07
CN116389727A (zh) 2023-07-04
CN116437078A (zh) 2023-07-14
KR102435000B1 (ko) 2022-08-23
CN109716762B (zh) 2023-06-09
US20210105462A1 (en) 2021-04-08
US20210195174A1 (en) 2021-06-24
US11240494B2 (en) 2022-02-01

Similar Documents

Publication Publication Date Title
CN110063056A (zh) 用于处理视频信号的方法和设备
CN109565591A (zh) 视频信号处理方法和装置
CN109417628A (zh) 视频信号处理方法和装置
CN109716762A (zh) 用于处理视频信号的方法和设备
CN109417641A (zh) 用于处理视频信号的方法和装置
CN108886617A (zh) 用于处理视频信号的方法和设备
CN109845253A (zh) 用于处理视频信号的方法和装置
CN109644281A (zh) 用于处理视频信号的方法和设备
CN109716773A (zh) 用于处理视频信号的方法和设备
CN108886613A (zh) 用于处理视频信号的方法和装置
CN109417640A (zh) 用于处理视频信号的方法和设备
CN110651479B (zh) 用于视频信号处理的方法和装置
CN109923866A (zh) 视频信号处理方法和设备
CN109691112B (zh) 用于处理视频信号的方法和设备
CN110100440A (zh) 视频信号处理方法和装置
CN110024410A (zh) 视频信号处理方法和设备
CN116866563A (zh) 图像编码/解码方法、存储介质以及图像数据的传输方法
CN109479149A (zh) 视频信号处理方法和设备
CN109804624A (zh) 用于处理视频信号的方法和设备
CN108353185A (zh) 用于处理视频信号的方法和设备
CN109661819A (zh) 用于处理视频信号的方法和设备
US20210112273A1 (en) Video signal processing method and device for intra prediction of coding or prediction blocks based on sample position based parameters
CN109644267A (zh) 视频信号处理方法和装置
CN109716775A (zh) 用于处理视频信号的方法和装置
CN109983776A (zh) 视频信号处理方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant