CN110366850B - 基于帧内预测模式处理图像的方法和用于该方法的设备 - Google Patents

基于帧内预测模式处理图像的方法和用于该方法的设备 Download PDF

Info

Publication number
CN110366850B
CN110366850B CN201680092121.0A CN201680092121A CN110366850B CN 110366850 B CN110366850 B CN 110366850B CN 201680092121 A CN201680092121 A CN 201680092121A CN 110366850 B CN110366850 B CN 110366850B
Authority
CN
China
Prior art keywords
intra prediction
prediction mode
prediction
intra
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680092121.0A
Other languages
English (en)
Other versions
CN110366850A (zh
Inventor
姜制远
柳守颖
林宰显
柳先美
李在镐
姜珉珠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Industry Collaboration Foundation of Ewha University
Original Assignee
LG Electronics Inc
Industry Collaboration Foundation of Ewha University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc, Industry Collaboration Foundation of Ewha University filed Critical LG Electronics Inc
Publication of CN110366850A publication Critical patent/CN110366850A/zh
Application granted granted Critical
Publication of CN110366850B publication Critical patent/CN110366850B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了图像编码/解码方法和用于该方法的设备。具体地，一种用于处理图像的基于帧内预测模式的方法包括以下步骤：确定不同分辨率的多个帧内预测模式集合当中的在当前预测处理单元的帧内预测中利用的帧内预测模式集合，所述分辨率指示所述帧内预测模式集合中的帧内预测模式的分布程度；通过利用从所述编码器接收的索引数据，推导所确定的所述帧内预测模式集合中的应用于所述当前预测处理单元的帧内预测模式；以及基于推导出的所述帧内预测模式生成所述当前预测处理单元的预测样本，其中，所述帧内预测模式集合可以各自包括一种或更多种帧内预测模式。

Description

基于帧内预测模式处理图像的方法和用于该方法的设备
技术领域
本发明涉及处理静止图像或移动图像的方法，并且更具体地，涉及基于帧内预测模式编码/解码静止图像或移动图像的方法和支持该方法的设备。
背景技术
压缩编码意指用于通过通信线路传输数字化信息的一系列信号处理技术或用于以适于存储介质的形式存储信息的技术。包括图片、图像、音频等的介质可以是压缩编码的目标，并且具体地，用于对图片执行压缩编码的技术被称为视频图像压缩。
下一代视频内容应该具有高空间分辨率、高帧频和高维度场景表现的特点。为了处理这些内容，将导致存储器存储、存储器访问速率和处理能力急剧增加。
因此，需要设计用于高效处理下一代视频内容的编码工具。
发明内容
技术问题
近来，已讨论了与现有的图片内预测方法(或帧内预测方法)相比，使用更多种图片内预测模式执行图片内预测的方法。帧内预测模式的数目增加，并且预测方向被细分，因此，变得可以更精确地预测，但是随着帧内预测模式的数目增加，用于表示帧内预测模式的比特增加，因此，存在编码速率下降的问题。
为了解决该问题，本发明的目的是提出使用分辨率不同的帧内预测模式集合对帧内预测模式进行编码/解码的方法。
另外，本发明的目的是提出用于通过对于单个块中的每个像素自适应地确定分辨率不同的帧内预测模式集合来执行帧内预测的方法，。
本发明的目的不限于上述技术目的，并且本领域的技术人员可以通过下面的描述来理解本文中未提及的其它技术目的。
技术方案
在本发明的一方面，一种基于帧内预测模式处理图像的方法可以包括：确定分辨率彼此不同的多个帧内预测模式集合当中的用于当前预测处理单元中的帧内预测的帧内预测模式集合，其中，所述分辨率表示所述帧内预测模式集合中的帧内预测模式的分布程度；使用从编码器接收的索引信息，推导所确定的所述帧内预测模式集合中的应用于所述当前预测处理单元的帧内预测模式；以及基于推导出的所述帧内预测模式生成所述当前预测处理单元的预测样本，并且所述帧内预测模式集合中的每一个包括一种或更多种帧内预测模式。
在本发明的另一方面，一种基于帧内预测模式处理图像的设备可以包括：预测模式集合确定单元，该预测模式集合确定单元用于确定分辨率彼此不同的多个帧内预测模式集合当中的用于当前预测处理单元中的帧内预测的帧内预测模式集合，其中，所述分辨率表示所述帧内预测模式集合中的帧内预测模式的分布程度；预测模式推导单元，该预测模式推导单元用于使用从编码器接收的索引信息，推导所确定的所述帧内预测模式集合中的应用于当前预测处理单元的帧内预测模式；以及预测样本生成单元，该预测样本生成单元用于基于推导出的所述帧内预测模式生成所述当前预测处理单元的预测样本，并且所述帧内预测模式集合中的每一个包括一种或更多种帧内预测模式。
优选地，确定所述帧内预测模式集合的步骤可以包括使用当前块的邻近样本、所述当前块的残差信号和所述残差信号被变换到频域时的变换系数中的任一个确定所述帧内预测模式集合。
优选地，确定所述帧内预测模式集合的步骤可以包括通过计算N×N大小的当前块的邻近样本当中的基于当前块的左上样本的[-1,-1]至[-1,2N–1]的坐标位置处的(2N+1)个样本以及[0,-1]至[2N-1,-1]的坐标位置处的2N个样本的方差值并且将所述方差值与特定阈值进行比较来确定所述帧内预测模式集合。
优选地，确定所述帧内预测模式集合的步骤可以包括通过将N×N大小的当前块的邻近样本当中的基于当前块的左上样本的[-1,-1]至[-1,2N–1]的坐标位置处的(2N+1)个样本以及[0,-1]至[2N-1,-1]的坐标位置处的2N个样本当中的两个相邻样本之间的样本值的差的绝对值与特定阈值进行比较来确定所述帧内预测模式集合。
优选地，确定所述帧内预测模式集合的步骤可以包括通过计算N×N大小的当前块的邻近样本当中的基于当前块的左上样本的[-1,-1]至[-1,2N–1]的坐标位置处的(2N+1)个样本以及[0,-1]至[2N-1,-1]的坐标位置处的2N个样本当中的两个相邻样本的样本值的差的绝对值超过第一阈值的情况的数目并且将计算出的所述数目与第二阈值进行比较来确定所述帧内预测模式集合。
优选地，确定所述帧内预测模式集合的步骤可以包括通过将当前块的残差信号或所述残差信号的变换系数的绝对值之和与特定阈值进行比较来确定所述帧内预测模式集合。
优选地，可以以序列、切片、CTU、CU和PU中的任一个为单位发送所述帧内预测模式集合。
优选地，当向当前块应用最可能模式(MPM)编码时，可以根据构成用于所述当前块的帧内预测的所述帧内预测模式集合的帧内预测模式的数目来确定MPM候选的数目。
优选地，确定所述帧内预测模式集合的步骤可以包括：确定所述多个帧内预测模式集合当中的用于当前块的帧内预测的第一帧内预测模式集合和第二帧内预测模式集合，推导所述帧内预测模式的步骤可以包括：使用所述索引信息推导所述第一帧内预测模式集合中的应用于所述当前块的第一帧内预测模式，生成所述预测样本的步骤还可以包括基于所述第一帧内预测模式确定用于预测当前像素的两个参考样本，当两个参考样本之间的样本值的差超过特定阈值时，基于所述第二帧内预测模式集合中的与所述第一帧内预测模式的预测方向相邻的帧内预测模式来生成所述当前像素的预测样本。
优选地，生成所述当前像素的预测样本的步骤还可以包括：通过基于所述当前像素而将基于所述第一帧内预测模式生成的预测值与基于所述第一帧内预测模式集合中的与所述第一帧内预测模式的预测方向的左侧或右侧相邻的帧内预测模式而生成的预测值的差进行比较，基于所述当前像素推导所述第二帧内预测模式集合中的与所述第一帧内预测模式的预测方向的左侧或右侧相邻的帧内预测模式当中的应用于所述当前像素的第二帧内预测模式，并且可以基于所述第二帧内预测模式生成所述当前像素的预测样本。
有益效果
按照本发明的实施方式，使用分辨率不同的多种帧内预测模式集合将帧内预测模式发信号通知给解码器，并且节省用于发送帧内预测模式的比特并且能改善编码性能。
另外，按照本发明的实施方式，以像素为单位确定是否存在对象的边界或复杂纹理，并且自适应地确定预测模式集合的分辨率，因此，能提高预测的精度。
本发明的技术效果不限于上述技术效果，并且本领域的技术人员可以通过下面的描述来理解本文未提及的其它技术效果。
附图说明
为了帮助理解本发明而被包括在本文中作为说明书的一部分的附图提供了本发明的实施方式，并且通过以下描述来说明本发明的技术特征。
图1例示了作为应用本发明的实施方式的其中对静止图像或视频信号执行编码的编码器的示意性框图。
图2例示了作为应用本发明的实施方式的其中对静止图像或视频信号执行解码的解码器的示意性框图。
图3是用于描述可以应用于本发明的编码单元的分割结构的示图。
图4是用于描述可以应用于本发明的预测单元的示图。
图5是应用本发明的实施方式并且是例示帧内预测方法的示图。
图6例示了根据帧内预测模式的预测方向。
图7是例示了根据本发明的实施方式的帧内预测模式编码方法的示图。
图8例示了根据可以应用本发明的实施方式的帧内预测模式解码方法。
图9是用于描述作为应用本发明的实施方式的用于确定MPM模式的方法的示图。
图10是例示了作为可以应用本发明的实施方式的根据帧内预测模式的预测方向的示图。
图11是例示了作为可以应用本发明的实施方式的用于确定MPM模式的方法的示图。
图12是例示了根据本公开的实施方式的帧内预测方法的示图。
图13是用于描述根据本发明的实施方式的用于确定帧内预测模式集合的方法的示图。
图14是用于描述根据本发明的实施方式的使用多种预测模式集合的帧内预测方法的示图。
图15是用于描述作为可以应用本发明的实施方式的用于自适应地确定预测模式集合的方法的示图。
图16是更详细例示了根据本发明的实施方式的帧内预测模式的示图。
具体实施方式
下文中，将参照附图来描述本发明的优选实施方式。下面利用附图描述的说明书将描述本发明的示例性实施方式，并且不旨在描述能实现本发明的唯一实施方式。下面的描述包括特定细节，以便提供对本发明的完全理解。然而，要理解，本领域的技术人员可以在没有特定细节的情况下实施本发明。
在一些情况下，为了防止本发明的技术构思不清楚，可以省略公知的结构或器件，或者可以将这些结构或器件描绘为侧重于结构或器件的核心功能的框图。
另外，尽管当前广泛使用的通用术语被尽可能地选择作为本发明中的术语，但是在特定情况下使用由申请人任意选择的术语。由于在这种情况下将在说明书的对应部分中清楚地描述该术语的含义，因此要理解，本发明不会仅通过仅在本发明的说明书中使用的术语来解释，而是应该弄清术语的含义。
可以提供在下面描述中使用的特定术语，以有助于理解本发明。此外，可以在本发明的技术构思的范围内，将特定术语修改为其它形式。例如，可以在每个编码处理中适当地替代和解释信号、数据、样本、图片、帧、块等。
下文中，本说明书中的“块”或“单元”意指在其中执行诸如预测、转换和/或量化这样的编码/解码处理的单元，并且可以由样本(像素)的多维阵列构成。
“块”或“单元”可以意指用于亮度分量的样本的多维阵列，或者用于色度分量的样本的多维阵列。另外，它可以被统称为包括用于亮度分量的样本的多维阵列或用于色度分量的样本的多维阵列中的全部。
例如，“块”或“单元”可以被解释为包括意指将经受编码/解码的样本的阵列的编码块(CB)、由多个编码块构成的编码树块(CTB)、意指被应用相同预测的样本的阵列的预测块(PB)(或预测单元(PU))以及意指被应用相同变换的样本的阵列的变换块(TB)(或变换单元(TU))中的全部。
除非在本说明书中另外描述，否则“块”或“单元”可以被解释为包括在对用于亮度分量和/或色度分量的样本的阵列进行编码/解码时使用的语法结构。这里，语法结构意指以特定顺序存在于比特流中的零个或更多个语法元素，并且语法元素意指在比特流中表示的数据的元素。
例如，“块”或“单元”可以被解释为包括以下各项中的全部：包括编码块(CB)和用于对相应编码块(CB)进行编码的语法结构的编码单元(CU)、由多个编码单元构成的编码树单元(CU)、包括预测块PB和用于预测相应预测块PB的语法结构的预测单元(PU)以及包括变换块(TB)和用于变换相应变换块(TB)的语法结构的变换单元(TU)。
另外，本说明书中的“块”或“单元”不一定限于正方形或矩形形式的样本(或像素)的阵列，并且可以意指具有三个或更多个顶点的多边形样本(或像素)的阵列。在这种情况下，它可以被称为多边形块或多边形单元。
图1例示了作为应用本发明的实施方式的其中对静止图像或视频图像执行编码的编码器的示意性框图。
参照图1，编码器100可以包括视频分割单元110、减法器115、变换单元120、量化单元130、去量化单元140、逆变换单元150、滤波单元160、解码图片缓冲器(DPB)170、预测单元180和熵编码单元190。此外，预测单元180可以包括帧间预测单元181和帧内预测单元182。
视频分割单元110将输入到编码器100的输入视频信号(或图片或帧)分割成一个或更多个处理单元。
减法器115通过从输入视频信号中减去预测单元180(即，帧间预测单元181或帧内预测单元182)所输出的预测信号(或预测块)来生成残差信号(或残差块)。所生成的残差信号(或残差块)被发送到变换单元120。
变换单元120通过将变换方案(例如，离散余弦变换(DCT)、离散正弦变换(DST)、基于图形的变换(GBT)或Karhunen-Loeve变换(KLT))应用于残差信号(或残差块)来生成变换系数。在这种情况下，变换单元120可以通过使用应用于残差块的预测模式和基于残差块的尺寸确定的变换方案执行变换来生成变换系数。
量化单元130量化变换系数并将其发送到熵编码单元190，并且熵编码单元190对量化信号进行熵编码操作并将其作为比特流输出。
此外，量化单元130所输出的量化信号可以被用于生成预测信号。例如，可以通过利用去量化单元140和逆变换单元150对量化信号应用去量化和逆变换来重构残差信号。可以通过将重构的残差信号与帧间预测单元181或帧内预测单元182所输出的预测信号相加来生成重构信号。
此外，在此压缩处理期间，按不同的量化参数来量化邻近块。因此，可能出现其中示出块边界的伪像。这种现象被称为块效应(blocking artifact)，这是评估图像质量的重要因素之一。为了减少这种伪像，可以执行滤波处理。通过此滤波处理，消除了块效应，同时减少了当前图片的误差，由此提高了图像质量。
滤波单元160对重构信号应用滤波，并且将其通过回放装置输出或者将其发送到解码图片缓冲器170。发送到解码图片缓冲器170的滤波后的信号可以被用作帧间预测单元181中的参考图片。如上所述，使用滤波后的图片作为图片间预测模式中的参考图片，能提高编码速率以及图像质量。
解码图片缓冲器170可以存储滤波后的图片，以便将其用作帧间预测单元181中的参考图片。
帧间预测单元181参考重构图片执行时间预测和/或空间预测，以便去除时间冗余和/或空间冗余。在这种情况下，可能发生块效应或振铃效应，因为用于执行预测的参考图片是在先前编码/解码时以块为单位经历量化或去量化的变换信号。
因此，为了解决归因于这种信号或量化不连续性的性能劣化，可以通过将低通滤波器应用于帧间预测单元181来以子像素为单位对像素间的信号进行插值。在这种情况下，子像素意指通过应用插值滤波器生成的虚拟像素，并且整数像素意指存在于重构图片中的实际像素。可以应用线性插值、双线性插值、维纳滤波器等作为插值方法。
插值滤波器可以被应用于重构图片，并且能提高预测的精度。例如，帧间预测单元181可以通过向整数像素应用插值滤波器产生插值像素并且使用包括插值像素的插值块作为预测块来执行预测。
帧内预测单元182参考与此时待编码的块邻近的样本来预测当前块。帧内预测单元182可以执行以下过程，以便执行帧内预测。首先，帧内预测单元182可以准备生成预测信号所必需的参考样本。此外，帧内预测单元182可以使用所准备的参考样本来生成预测信号。接下来，帧内预测单元182可以对预测模式进行编码。在这种情况下，可以通过参考样本补零和/或参考样本滤波来准备参考样品。因为参考样本经历预测和重构处理，所以可能存在量化误差。因此，为了减少这种误差，可以对用于帧内预测的每种预测模式执行参考样本滤波处理。
通过帧间预测单元181或帧内预测单元182生成的预测信号(或预测块)可以被用于生成重构信号(或重构块)或者可以被用于生成残差信号(或残差块)。
图2例示了作为应用本发明的实施方式的其中对静止图像或视频信号执行解码的解码器的示意性框图。
参照图2，解码器200可以包括熵解码单元210、去量化单元220、逆变换单元230、加法器235、滤波单元240、解码图片缓冲器(DPB)250和预测单元260。此外，预测单元260可以包括帧间预测单元261和帧内预测单元262。
此外，可以通过回放装置回放通过解码器200输出的重构视频信号。
解码器200接收图1中示出的编码器100所输出的信号(即，比特流)。熵解码单元210对接收到的信号执行熵解码操作。
去量化单元220使用量化步长信息从熵解码后的信号获得变换系数。
逆变换单元230通过应用逆变换方案对变换系数进行逆变换来获得残差信号(或残差块)。
加法器235将所获得的残差信号(或残差块)与预测单元260(即，帧间预测单元261或帧内预测单元262)所输出的预测信号(或预测块)相加，由此生成重构信号(或重构块)。
滤波单元240对重构信号(或重构块)应用滤波，并且将滤波后的信号输出到回放装置或者将滤波后的信号发送到解码图片缓冲器250。发送到解码图片缓冲器250的滤波后的信号可以被用作帧间预测单元261中的参考图片。
在本说明书中，在编码器100的滤波单元160、帧间预测单元181和帧内预测单元182中描述的实施方式分别可以同样地应用于解码器的滤波单元240、帧间预测单元261和帧内预测单元262。
通常，基于块的图像压缩方法被用在静止图像或视频的压缩技术(例如，HEVC)中。基于块的图像压缩方法是通过将图像分割成特定块单元来处理图像的方法，并且能减少存储器使用和计算负荷。
图3是用于描述可以应用于本发明的编码单元的分割结构的示图。
编码器将单个图像(或图片)分割成四边形形式的编码树单元(CTU)，并且根据光栅扫描顺序依次对CTU进行逐一编码。
在HEVC中，CTU的尺寸可以被确定为64×64、32×32和16×16中的一个。编码器可以基于输入视频信号的分辨率或输入视频信号的特性来选择和使用CTU的尺寸。CTU包括用于亮度分量的编码树块(CTB)和用于与亮度分量对应的两个色度分量的CTB。
可以按四叉树结构分割一个CTU。也就是说，一个CTU可以被分割成四个单元，每个单元都具有正方形形式并且具有半水平尺寸和半垂直尺寸，由此能够生成编码单元(CU)。能递归地执行四叉树结构的这种分割。也就是说，以四叉树结构从一个CTU分层地分割出CU。
CU意指用于输入视频信号的处理过程(例如，执行帧内/帧间预测的编码)的基本单元。CU包括用于亮度分量的编码块(CB)和用于与亮度分量对应的两个色度分量的CB。在HEVC中，CU尺寸可以被确定为64×64、32×32和8×8中的一个。
参照图3，四叉树的根节点与CTU相关。四叉树被分割，直到到达叶节点。叶节点对应于CU。
这将被更详细地描述。CTU对应于根节点并且具有最小深度(即，深度＝0)值。根据输入视频信号的特性，可能不分割CTU。在这种情况下，CTU对应于CU。
可以按四叉树形式分割CTU。结果，生成较低节点，即，深度1(深度＝1)。此外，属于深度为1的较低节点并不再被分割的节点(即，叶节点)对应于CU。例如，在图3的(b)中，已从CTU一次分割出对应于节点a、b和j的CU(a)、CU(b)和CU(j)，并且CU(a)、CU(b)和CU(j)的深度为1。
深度为1的节点中的至少一个可以以四叉树形式分割。结果，生成具有深度2(即，深度＝2)的较低节点。此外，属于深度为2的较低节点并不再被分割的节点(即，叶节点)对应于CU。例如，在图3的(b)中，已从CTU二次分割出对应于节点c、h和i的CU(c)、CU(h)和CU(i)，并且CU(c)、CU(h)和CU(i)的深度为2。
此外，深度为2的节点中的至少一个可以再次以四叉树形式分割。结果，生成具有深度3(即，深度＝3)的较低节点。此外，属于深度为3的较低节点并不再被分割的节点(即，叶节点)对应于CU。例如，在图3的(b)中，已从CTU三次分割出对应于节点d、e、f和g的CU(d)、CU(e)、CU(f)和CU(g)，并且CU(d)、CU(e)、CU(f)和CU(g)的深度为3。
在编码器中，可以基于视频图像的特性(例如，分辨率)或者通过考虑编码速率来确定CU的最大尺寸或最小尺寸。此外，关于最大或最小尺寸的信息或能够推导出该信息的信息可以被包括在比特流中。具有最大尺寸的CU被称为最大编码单元(LCU)，并且具有最小尺寸的CU被称为最小编码单元(SCU)。
另外，可以用预定的最大深度信息(或最大级别信息)分层地分割出具有树结构的CU。此外，分割出的每个CU都可以具有深度信息。由于深度信息表示CU的分割计数和/或程度，因此它可以包括关于CU的尺寸的信息。
由于LCU以四叉树形状分割，因此可以通过使用LCU的尺寸和最大深度信息来获得SCU的尺寸。或者，逆向地，可以通过使用树的最大深度信息和SCU的尺寸来获得LCU的尺寸。
对于单个CU，可以将表示相应CU是否被分割的信息(例如，分割CU标志(split_cu_flag))转发到解码器。该分割信息被包括在除SCU之外的所有CU中。例如，当表示是否要分割的标志的值为“1”时，对应的CU进一步被分割成四个CU，并且当表示是否要分割的标志的值为“0”时，对应的CU不再被分割，并且可以执行用于相应CU的处理过程。
如上所述，CU是执行帧内预测或帧间预测的编码的基本单元。HEVC以预测单元(PU)分割CU，以更有效地对输入视频信号进行编码。
PU是用于生成预测块的基本单元，并且即使在单个CU中，也可以以PU为单位以不同方式生成预测块。然而，帧内预测和帧间预测没有被一起用于属于单个CU的PU，并且通过相同的预测方法(即，帧内预测或帧间预测)对属于单个CU的PU进行编码。
PU不按四叉树结构分割，而是在单个CU中按预定形状分割一次。以下，将参照附图对此进行描述。
图4是用于描述可以应用于本发明的预测单元的示图。
根据是使用帧内预测模式还是使用帧间预测模式作为PU所属的CU的编码模式来不同地分割PU。
图4的(a)例示了当使用帧内预测模式时的PU，并且图4的(b)例示了当使用帧间预测模式时的PU。
参照图4的(a)，假定单个CU的尺寸为2N×2N(N＝4、8、16和32)，单个CU可以被分割成两种类型(即，2N×2N或N×N)。
在这种情况下，如果单个CU被分割成2N×2N形状的PU，则这意味着在单个CU中只存在一个PU。
此外，如果单个CU被分割成N×N形状的PU，则单个CU被分割成四个PU，并且为每个PU单元生成不同的预测块。然而，只有当用于CU的亮度分量的CB的尺寸为最小尺寸时(即，CU是SCU的情况)，才可以执行这种PU分割。
参照图4的(b)，假定单个CU的尺寸为2N×2N(N＝4、8、16和32)，单个CU可以被分割成八种PU类型(即，2N×2N、N×N、2N×N、N×2N、nL×2N、nR×2N、2N×nU和2N×nD)。
如帧内预测中一样，只有当用于CU的亮度分量的CB的尺寸为最小尺寸时(即，CU是SCU的情况)，才可以执行N×N形状的PU分割。
帧间预测支持按水平方向上分割出2N×N形状以及垂直方向上分割出N×2N形状进行PU分割。
另外，帧间预测支持按nL×2N、nR×2N、2N×nU和2N×nD的形状进行PU分割，这种PU分割是不对称运动分割(AMP)。在这种情况下，“n”意指2N的1/4值。然而，如果PU所属的CU是最小尺寸的CU，则可以不使用AMP。
为了高效地在单个CTU中对输入视频信号进行编码，可以通过如下的处理过程基于最小速率-失真值来确定编码单元(CU)、预测单元(PU)和变换单元(TU)的最佳分割结构。例如，对于64×64CTU中的最佳CU分割处理，可以通过从64×64尺寸的CU分割成8×8尺寸的CU的处理来计算速率-失真成本。详细的过程如下。
1)通过对64×64尺寸的CU执行帧间/帧内预测、变换/量化、去量化/逆变换和熵编码来确定生成最小速率失真值的PU和TU的最佳分割结构。
2)确定PU和TU的最佳分割结构，以将64×64CU分割成四个32×32尺寸的CU并且针对每个32×32CU生成最小速率失真值。
3)确定PU和TU的最佳分割结构，以将32×32CU进一步分割成四个16×16尺寸的CU并且针对每个16×16CU生成最小速率失真值。
4)确定PU和TU的最佳分割结构，以将16×16CU进一步分割成四个8×8尺寸的CU并且针对每个8×8CU生成最小速率失真值。
5)通过将在过程3)中获得的16×16CU的速率-失真值与在过程4)中获得的四个8×8CU的速率-失真值之和进行比较来确定16×16块中的CU的最佳分割结构。还以相同的方式针对剩余的三个16×16CU执行该过程。
6)通过将在过程2)中获得的32×32CU的速率-失真值与在过程5)中获得的四个16×16CU的速率-失真值之和进行比较来确定32×32块中的CU的最佳分割结构。还以相同的方式针对剩余的三个32×32CU执行该过程。
7)最后，通过将在过程1)中获得的64×64CU的速率-失真值与在过程6)中获得的四个32×32CU的速率-失真值之和进行比较来确定64×64块中的CU的最佳分割结构。
在帧内预测模式中，选择预测模式作为PU单元，并且以实际TU为单位对所选择的预测模式执行预测和重构。
TU意指执行实际预测和重构的基本单元。TU包括用于亮度分量的变换块(TB)和用于与亮度分量对应的两个色度分量的TB。
在图3的示例中，如在其中一个CTU按四叉树结构被分割以生成CU的示例中那样，以四叉树结构从待编码的一个CU分层地分割出TU。
从CU分割出的TU可以被分割成更小和更低的TU，这是因为TU是按四叉树结构分割的。在HEVC中，TU的尺寸可以被确定为32×32、16×16、8×8和4×4中的一个。
返回参照图3，假定四叉树的根节点与CU相关。四叉树被分割直到到达叶节点，并且叶节点对应于TU。
这被更详细地描述。CU对应于根节点并且具有最小深度(即，深度＝0)值。根据输入图像的特性，可以不分割CU。在这种情况下，CU对应于TU。
可以按四叉树形式分割CU。结果，生成具有深度1(深度＝1)的较低节点。此外，属于深度为1的较低节点并不再被分割的节点(即，叶节点)对应于TU。例如，在图3的(b)中，从CU一次分割出对应于节点a、b和j的TU(a)、TU(b)和TU(j)，并且TU(a)、TU(b)和TU(j)的深度为1。
深度为1的节点中的至少一个可以再次以四叉树形式分割。结果，生成具有深度2(即，深度＝2)的较低节点。此外，属于深度为2的较低节点并不再被分割的节点(即，叶节点)对应于TU。例如，在图3的(b)中，从CU二次分割出对应于节点c、h和i的TU(c)、TU(h)和TU(i)，并且TU(c)、TU(h)和TU(i)的深度为2。
此外，深度为2的节点中的至少一个可以再次以四叉树形式分割。结果，生成具有深度3(即，深度＝3)的较低节点。此外，属于深度为3的较低节点并不再被分割的节点(即，叶节点)对应于TU。例如，在图3的(b)中，已从CU三次分割出对应于节点d、e、f和g的TU(d)、TU(e)、TU(f)和TU(g)，并且TU(d)、TU(e)、TU(f)和TU(g)的深度为3。
可以用预定的最大深度信息(或最大级别信息)分层地分割出具有树结构的TU。此外，分割出的每个TU都可以具有深度信息。深度信息可以包括关于TU尺寸的信息，因为它指示TU的分割数目和/或程度。
指示相应TU是否已相对于一个TU分割的信息(例如，分割TU标志“split_transform_flag”)可以被传送到解码器。该分割信息被包括在除最小尺寸的TU之外的所有TU中。例如，如果指示TU是否已被分割的标志的值为“1”，则对应TU被分割四个TU。如果指示TU是否已被分割的标志的值为“0”，则对应TU不再被分割。
预测
为了重构被执行解码的当前处理单元，可以使用包括当前处理单元的当前图片或其它图片的被解码部分。
仅使用当前图片进行重构(也就是说，仅执行帧内预测)的图片(切片)可以被称为帧内图片或I图片(切片)。为了预测每个单元而使用最多一个运动向量和参考索引的图片(切片)可以被称为预测图片或P图片(切片)，并且使用最多两个运动向量和参考索引的图片(切片)可以被称为双向预测图片或B图片(切片)。
帧内预测意指从同一解码图片(或切片)的数据元素(例如，样本值等)推导当前处理块的预测方法。也就是说，帧内预测意指参照当前图片内的重构区域预测当前处理块的像素值的方法。
帧间预测意指基于除当前图片之外的图片的数据元素(例如，样本值或运动向量)推导当前处理块的预测方法。也就是说，帧间预测意指参照除当前图片之外的另一重构图片内的重构区域预测当前处理块的像素值的方法。
下文中，更详细地描述帧内预测。
帧内预测
图5是应用本发明的实施方式并且是例示帧内预测方法的示图。
参照图5，解码器推导当前处理块的帧内预测模式(S501)。
帧内预测模式可以具有针对根据预测模式用于预测的参考样本的位置的预测方向。具有预测方向的帧内预测模式被称为帧内角度预测模式(Intra_Angular预测模式)。相反，没有预测方向的帧内预测模式包括帧内平面(INTRA_PLANAR)预测模式和帧内DC(INTRA_DC)预测模式。
表1例示了帧内预测模式和相关名称，并且图6例示了根据帧内预测模式的预测方向。
[表1]
Figure GDA0004054025450000141
在帧内预测中，基于推导出的预测模式对当前处理块执行预测。用于预测的参考样本和详细的预测方法根据预测模式而不同。如果当前块是帧内预测模式，则解码器推导当前块的预测模式以便执行预测。
解码器检查当前处理块的邻近样本是否可以被用于预测，并且构造将用于预测的参考样本(S502)。
在帧内预测中，当前处理块的邻近样本意指与nS×nS大小的当前处理块的左边界邻近的样本、与当前处理块的左下方邻近的总共2×nS个样本、与当前处理块的上边界邻近的样本、与当前处理块的右上方邻近的总共2×nS个样本以及与当前处理块的左上方邻近的一个样本。
然而，当前处理块的邻近样本中的一些尚未被编码或可能不可用。在这种情况下，解码器可以通过用可用样本替换不可用样本来构造将用于预测的参考样本。
解码器可以基于帧内预测模式对参考样本执行滤波(S503)。
可以基于当前处理块的大小确定是否要对参考样本执行滤波。此外，可以基于编码器所传送的滤波标志确定参考样本的滤波方法。
解码器基于帧内预测模式和参考样本生成用于当前处理块的预测块(S504)。也就是说，解码器基于在推导帧内预测模式的步骤S501中推导出的帧内预测模式以及通过参考样本构造步骤S502和参考样本滤波步骤S503而获得的参考样本来生成用于当前处理块的预测块(即，生成预测样本)。
如果当前处理块已以INTRA_DC模式被编码，则为了使处理块之间的边界不连续性最小化，可以在步骤S504中对预测块左边界处的样本(即，与左边界邻近的预测块内的样本)和预测块上边界处的样本(即，与上边界邻近的预测块内的样本)进行滤波。
此外，在步骤S504，对于帧内角度预测模式的垂直模式和水平模式，如在INTRA_DC模式中一样，可以对左边界样本或上边界样本应用滤波。
这被更详细地描述。如果当前处理块已以垂直模式或水平模式被编码，则可以基于位于预测方向上的参考样本来推导预测样本的值。在这种情况下，属于预测块的左边界样本和上边界样本并且不位于预测方向上的边界样本可以与不用于预测的参考样本邻近。也就是说，距不用于预测的参考样本的距离可以比与距用于预测的参考样本的距离近得多。
因此，根据帧内预测方向是垂直还是水平，解码器可以自适应地对左边界样本或上边界样本应用滤波。也就是说，如果帧内预测方向是垂直的，则解码器可以对左边界样本应用滤波。如果帧内预测方向是水平的，则解码器可以对上边界样本应用滤波。
最可能模式
在HEVC中，为了用较少的比特表示(发信号通知)这种35种类型的预测模式，使用帧内预测模式的统计特性。
通常，由于编码块具有与邻近块相似的图像特性，因此编码块很有可能具有与邻近块的帧内预测模式相同或相似的帧内预测模式。考虑到这种特性，基于当前PU的左PU和上PU的帧内预测模式，编码当前PU的预测模式。在这种情况下，编码器/解码器通常将邻近块的预测模式和最频繁生成的预测模式确定为最可能模式(MPM模式)。
如果当前PU的预测模式被确定为MPM模式，则可以节省用于表示预测模式的比特(在2比特内表示)。如果当前PU的预测模式被确定为非MPM模式的另一预测模式，则由于用32种模式中的除了3种MPM模式之外的模式编码预测模式，因此可以使用5比特而非6比特表示帧内预测模式。
图7是例示了根据本发明的实施方式的帧内预测模式编码方法的示图。
1.如果首先对邻近块进行帧内编码，则编码器可以获得邻近块的帧内预测模式信息。
2.编码器使用邻近块的帧内预测模式信息列出最可能模式(MPM)候选(或MPM列表)。
在图片内编码中，通过考虑邻近块与当前编码块之间的相似度来防止重叠信息的丢失，由此提高编码效率。这种方法还可以用于被称为最可能模式(MPM)的编码模式信息传输。
由于邻近块紧邻当前块，因此帧内预测模式很可能彼此相似。因此，可以使用邻近块的模式来表示当前编码模式。
此时，邻近块可以利用与最可能用于解码(很可能已经被解码的)当前块的左边相邻的块、与左上方相邻的块、与左下方相邻的块、与上方相邻的块、与右上方相邻的块等。
如果使用现有35种帧内预测模式中的三个MPM并不满足MPM，则使用5比特(35-3＝32)对图片内预测模式进行编码。
此时，如果与左边相邻的块的帧内预测模式和与上方相邻的块的帧内预测模式不相同，则第一MPM候选可以被确定为与左边相邻的块的帧内预测模式，第二MPM候选可以被确定为与上方相邻的块的帧内预测模式，第三MPM候选可以被确定为平面模式、DC模式或帧内垂直模式中的一种。
如果与左边相邻的块的帧内预测模式和与上方相邻的块的帧内预测模式相同，并且如果相应重叠模式小于2(即，平面模式或DC模式，参见表1)，则第一MPM候选可以被确定为平面模式，第二MPM候选可以被确定为DC模式，并且第三MPM候选可以被确定为垂直模式(例如，图6中的模式26)。
如果与左边相邻的块的帧内预测模式和与上方相邻的块的帧内预测模式相同，并且如果相应重叠模式不小于2，则第一MPM候选可以被确定为重叠帧内预测模式，第二MPM候选和第三MPP候选可以被确定为与重叠帧内预测模式相邻的两种模式。
3.编码器确定要应用于当前块的最佳帧内预测模式是否属于如上所述构造的MPM候选。
4.如果当前块的帧内预测模式属于MPM候选，则编码器编码MPM标志和MPM索引。
这里，MPM标志可以指示当前块的帧内预测模式是否是从邻近帧内预测块推导出的(即，当前块的帧内预测模式属于MPM)。
另外，MPM索引可以指示在以上步骤2中构造的MPM候选当中哪种MPM模式被应用为当前块的帧内预测模式。
5.另一方面，如果当前块的帧内预测模式不属于MPM候选，则编码器对当前块的帧内预测模式进行编码。
图8例示了根据可以应用本发明的实施方式的帧内预测模式解码方法。
1.解码器解析MPM标志。
2.解码器解析MPM标志，以确认MPM编码是否应用于当前块。
也就是说，解码器确认当前块的帧内预测模式是否属于由邻近块的帧内预测块的模式构成的MPM候选。
3.如果MPM编码应用于当前块，则解码器解析MPM索引。
4.然后，解码器可以将MPM索引所指示的MPM模式恢复为当前块的帧内预测模式。
5.另一方面，如果MPM编码未应用于当前块，则解码器解析当前块的帧内预测模式。
参照以下附图描述用于确定MPM模式的详细方法。
图9是用于描述作为应用本发明的实施方式的用于确定MPM模式的方法的示图。
1.解码器确定与当前块的左侧相邻的预测模式(下文中，被称为“L模式”)和与当前块的上侧相邻的预测模式(下文中，被称为“A模式”)是否相同。
2.在L模式和A模式不同的情况下，解码器分别将第一MPM模式(MPM[0])和第二MPM模式(MPM[1])确定为L模式和A模式，并且将最末MPM模式(MPM[2])设置为平面模式、DC和垂直模式当中的并非L模式和A模式的模式。
3.在L模式和A模式相同的情况下，解码器确定L模式的预测模式是否小于2(参照以上的图6)。
4.在L模式不小于2的情况下，解码器分别将MPM[0]、MPM[1]和MPM[2]设置为L模式、L模式-1和L模式+1。
5.在L模式小于2的情况下，解码器分别将MPM[0]、MPM[1]和MPM[2]设置为平面、DC和垂直模式。
如上所述，在HEVC中，使用包括用于帧内预测的2种类型的不定向预测方法和33种类型的定向预测方法的总共35种类型的预测方法来生成当前块的预测块。
在33种类型的定向预测方法的情况下，当用参考样本计算预测样本时，在考虑每个方向性的情况下，将参考样本值复制到对应的预测样本。
换句话说，在33种类型的定向预测方法中，为了预测当前块，使用邻近参考样本(上参考样本和左参考样本)生成预测样本，然后，根据预测方向性复制所生成的预测样本。
最近，已讨论了通过将HEVC的33种定向预测模式扩展成65种定向预测模式并添加现有的不定向预测模式来使用总共67种帧内预测模式执行帧内预测的方法。
图10是例示了作为可以应用本发明的实施方式的根据帧内预测模式的预测方向的示图。
参照图10，其标识了根据67种帧内预测模式的预测方向。如上所述，67种帧内预测模式可以包括65种定向模式和2种不定向模式。在这种情况下，由虚线表示的预测模式是添加到现有HEVC预测模式的预测方向。
在现有HEVC的每种角度预测模式中，可以根据当前帧内预测模式的每个角度，通过以1/32像素为单位的两个整数像素的线性插值来生成预测样本。
根据最近讨论的使用总共67种帧内预测模式执行帧内预测的方法，可以通过使用1/32像素单位的两个预测像素进行附加插值，以1/64个像素为单位生成预测样本。由此，与现有的帧内预测方法相比，预测方向的分辨率增加。
如此，帧内预测方向的分辨率的增加使得能够更准确地预测并且减少失真，但是缺点在于它需要开销比特以用于发信号通知增加的预测模式。
另外，伴随着将帧内预测模式的数目扩展到67种的方法，最近已经讨论了在MPM模式中使用6MPM候选列表而非现有的3MPM候选列表的方法。
在这种情况下，参照以下附图描述用于确定6个MPM模式的详细方法。
图11是例示了作为可以应用本发明的实施方式的用于确定MPM模式的方法的示图。
1.解码器确定与当前块的左侧相邻的预测模式(下文中，被称为“L模式”)和与当前块的上侧相邻的预测模式(下文中，被称为“A模式”)是否相同。
2.在L模式与A模式不同的情况下，解码器确定L模式和A模式是否是平面模式。
3.在L模式和A模式是平面模式的情况下，解码器确定L模式和A模式之和是否小于2。
4.在L模式和A模式之和小于2的情况下，解码器将MPM[0]、MPM[1]、MPM[2]、MPM[3]、MPM[4]和MPM[5]分别设置为L模式、A模式、垂直方向或DC模式、水平方向模式、第二模式和对角线模式。
5.在L模式和A模式之和不小于2的情况下，解码器将MPM[0]、MPM[1]、MPM[2]、MPM[3]、MPM[4]和MPM[5]分别设置为L模式、A模式、垂直方向或DC模式、L模式和A模式之中的较大模式-1、L模式和A模式之中的较大模式+1以及L模式和A模式之中的较大模式+2。
6.在L模式和A模式是平面模式的情况下，解码器确定是L模式是DC模式还是A模式是DC模式。
7.在L模式或A模式是DC模式情况下，解码器将MPM[0]、MPM[1]、MPM[2]、MPM[3]、MPM[4]和MPM[5]分别设置为L模式、A模式、平面模式、L模式和A模式之中的较大模式-1、L模式和A模式之中的较大模式+1以及L模式和A模式之中的较大模式+2。
8.在L模式或A模式不是DC模式情况下，解码器将MPM[0]、MPM[1]、MPM[2]、MPM[3]、MPM[4]和MPM[5]分别设置为L模式、A模式、平面模式、DC模式、L模式和A模式之中的较大模式+1以及L模式和A模式之中的较大模式-1。
9.在L模式或A模式相同的情况下，解码器确定L模式是否小于2。
10.在L模式小于2的情况下，解码器将MPM[0]、MPM[1]、MPM[2]、MPM[3]、MPM[4]和MPM[5]分别设置为平面模式、DC模式、垂直方向模式、水平方向模式、第二模式和对角线模式。
11.在L模式不小于2的情况下，解码器将MPM[0]、MPM[1]、MPM[2]、MPM[3]、MPM[4]和MPM[5]设置为L模式、平面模式、L模式+1、L模式-1、L模式+2和DC模式。
基于帧内预测模式的图像处理方法
图片内预测模式(或帧内预测模式)的数目增加，并且预测方向被细分，因此，变得可以更精确地预测，但是随着帧内预测模式的数目增加，用于表示帧内预测模式的比特增加，因此，存在编码速率下降的问题。
在本发明中，为了解决该问题，提出了使用分辨率不同的帧内预测模式集合对帧内预测模式进行解码的方法。
这里，帧内预测模式接合(下文中，被称为“预测模式集合”)意指包括多种帧内预测模式的帧内预测模式的集合。另外，分辨率意指预测模式集合中表示预测方向的帧内预测模式的分布的程度(或密度)。此时，分布程度可以表示分割在帧内预测中使用的整个方向性的预测方向之间的间隔。也就是说，分辨率相对高的预测模式集合具有高分布程度并且预测方向之间的间隔可以小，并且分辨率相对低的预测模式集合具有低分布程度并且预测方向之间的间隔可以相对大。
具体地，在本发明中，提出了以显式方法或以隐式方法确定多个帧内预测模式集合当中的单个预测模式集合，推导所确定的预测模式集合中的帧内预测模式并且执行帧内预测的方法。
另外，在本发明中，提出了通过自适应地确定块中分辨率彼此不同的不同预测模式集合来执行帧内预测的方法。
下文中，在对本发明的实施方式的详细描述中，为了便于描述，通过例示现有HEVC的35种类型的帧内预测模式和以上频繁描述的67种类型的帧内预测模式，描述了可以应用本发明的帧内预测模式的数目，但是本发明不限于所例示的帧内预测模式的数目。
第一实施方式
在该实施方式和中，提出了以显式方法或以隐式方法确定预测模式集合，推导所确定的预测模式集合中的帧内预测模式并且执行帧内预测的方法。
使用分辨率不同的多种帧内预测模式集合将帧内预测模式发信号通知给解码器，节省用于发送帧内预测模式的比特并且能改善编码性能。
具体地，编码器/解码器可以确定多个预测模式集合当中的在当前块的帧内预测中使用的预测模式集合，并且通过推导所确定的预测模式集合中的应用于当前块的帧内预测模式来执行预测。将参照下图对此进行详细的描述。
图12是例示了根据本公开的实施方式的帧内预测方法的示图。
编码器/解码器确定在分辨率不同的多个帧内预测模式集合当中的在当前预测处理单元的帧内预测中使用的帧内预测模式集合(步骤S1201)。
这里，帧内预测模式集合可以分别具有一种或更多种帧内预测模式。另外，预测处理单元可以以块为单位或以像素为单位。
此时，用于帧内预测的预测模式集合可以包括如下。
编码器/解码器可以配置帧内预测模式的集合(即，预测模式集合)P_0，并且配置与P_0相比分辨率增加的预测模式集合P_1。以相同的方式，编码器/解码器可以配置其分辨率增加的帧内预测模式的集合P_r(r>＝1)。
此时，P_m可以对应于P_(m+n)的子集(这里，m和n是大于或等于0的整数)。例如，P_0可以包括33种类型的定向预测模式、DC模式和平面模式，并且P_1可以包括65种类型的定向预测模式、DC模式和平面模式。
另外，例如，P_0可以包括33种类型的定向预测模式，并且P_1可以包括不包括P_0或包括P_0的65种类型的定向预测模式。
此外，例如，P_0可以包括统计上频繁选择的垂直、水平或定向预测模式，P_1可以包括不包括P_0或包括P_0的33种类型的定向预测模式，并且P_2可以包括不包括P_0和/或P_1或包括P_0和/或P_1的65种类型的定向预测模式。
可以由解码器使用显式方法或隐式方法来确定预测模式集合。下面，将详细描述确定预测模式集合的方法。
编码器/解码器推导在步骤S1201中确定的预测模式集合中的应用于当前块的帧内预测模式(步骤S1202)。
编码器可以发送用于指示在步骤S1201中确定的预测模式集合中的应用于当前块的帧内预测模式的索引信息。另外，解码器可以基于在步骤S1202中推导的帧内预测模式推导应用于当前块的帧内预测模式。
编码器/解码器基于在步骤S1202中推导的帧内预测模式生成当前块的预测样本(步骤S1203)。
在应用定向预测方法的情况下，编码器/解码器可以用根据当前块的帧内预测模式的预测方向确定的一个或两个参考样本生成预测样本。
在应用不定向预测方法的情况下，编码器/解码器可以通过执行邻近参考样本或邻近参考样本的平均值的加权求和来生成预测样本。
如上所述，可以使用显式方法或隐式方法来确定预测模式集合。首先，描述显式地确定预测模式集合的方法。
显式确定的方法包括用于由编码器确定当前块的帧内预测中使用的预测模式集合(或预测模式集合的分辨率)并且将所确定的预测模式集合(或预测模式集合的分辨率)发信号通知给解码器的方法。
也就是说，解码器可以用指示多个预测模式集合当中的用于当前块的帧内预测的预测模式集合(或预测模式集合的分辨率)的语法来确定预测模式集合(或预测模式集合的分辨率)。
例如，编码器可以以序列(或序列参数集(SPS))、切片、CTU、CU或PU)为单位发信号通知预测模式集合的分辨率。
换句话说，指示预测模式集合的分辨率的语法可以处于序列参数集(SPS)、切片、CTU、CU或PU中。
另外，例如，编码器可以以序列、切片、CTU、CU或PU为单位根据大小、预测模式和统计性质有条件地发信号通知预测模式集合的分辨率。
换句话说，可以有条件地以序列、切片、CTU、CU或PU为单位根据大小、预测模式和统计性质有条件地定位指示预测模式集合的分辨率的语法。
另外，在不存在该语法或者没有从编码器发信号通知该语法的情况下，特定预测模式集合可以被确定为默认预测模式集合。例如，35个预测模式集合或67个预测模式集合可以被确定为默认预测模式集合。
下文中，描述隐式地确定预测模式集合的方法。可以在以下方法中确定预测模式集合。
-编码器/解码器可以通过使用先前解码的信息来确定用于当前块的预测模式集合。
-编码器/解码器可以通过使用当前块的残差信号或者残差信号变换到频域时的变换系数来确定用于当前块的预测模式集合。
编码器和解码器可以使用相同的方法来确定预测模式集合。编码器可以确定在所确定的预测模式集合中的应用于当前块的帧内预测模式，并且将所确定的预测模式发送到解码器。此时，编码器可以使用索引信息指示预测模式集合中的应用于当前块的帧内预测模式。
编码器/解码器可以使用先前解码的信息来确定用于预测当前块的预测模式集合。例如，编码器/解码器可以使用与当前块邻近的样本来确定预测模式集合。参照下图对此进行描述。
图13是用于描述根据本发明的实施方式的用于确定帧内预测模式集合的方法的示图。
参照图13，与N×N大小的当前块1301邻近的样本(或邻近参考样本)可以包括来自R_(0,2N)1302至R_(2N，0)1303位置的总共(4N+1)个参考样本。编码器/解码器可以使用与当前块1301邻近的参考样本来确定用于当前块1301的帧内预测的预测模式集合。
具体地，编码器/解码器可以使用与当前块1301邻近的参考样本来估计当前块1301的复杂程度，并且用估计结果来确定用于当前块1301的帧内预测的预测模式集合。
换句话说，编码器/解码器可以用邻近参考样本对当前块1301是简单还是复杂进行归类，并且根据归类结果，确定彼此分辨率不同的预测模式集合并且使用它进行帧内预测。
图像的“简单”可能指该图像具有很少的细节或纹理，是均质的、平滑的并且在频域中具有大量低频分量。另外，图像的“复杂”可能指该图像具有很多的细节或纹理，是异质的并且在频域中具有大量高频分量。
也就是说，在当前块1301简单的情况(即，复杂度低的情况)下，使用分辨率低的预测模式集合来节省用于表示帧内预测模式的比特，并且在当前块1301复杂的情况(即，复杂度高的情况)下，通过使用分辨率高的预测模式集合来提高预测精度，因此，能提高编码性能。
编码器/解码器可以使用各种方法对当前块1301是简单还是复杂进行估计(或归类)，并且确定预测模式集合(或预测模式集合的分辨率)。
作为第一种方法，编码器/解码器可以通过计算邻近参考样本的方差值来估计当前块1301的复杂程度，并且确定用于预测当前块1301的预测模式集合的分辨率。
例如，编码器/解码器可以计算与当前块1301邻近的全部参考样本的方差值或者与当前块1301邻近的参考样本当中的一些参考样本的方差值，并且通过将它与阈值进行比较来确定预测模式集合的分辨率。
也就是说，在方差值大于阈值的情况下，编码器/解码器可以使用具有高分辨率的预测模式集合来预测当前块。另一方面，在方差值小于阈值的情况下，编码器/解码器可以使用具有低分辨率的预测模式集合来预测当前块。
作为第二种方法，编码器/解码器可以确定邻近参考样本的样本值的不连续程度，并且通过使用它，确定预测模式集合的分辨率。
例如，编码器/解码器可以计算与当前块1301邻近的参考样本当中的两个相邻参考样本之间的样本值的差。在存在比阈值大的差的绝对值的情况下，分辨率高的预测模式集合可以被用于预测，并且在差的所有绝对值都小于阈值的情况下，分辨率低的预测模式集合可以被用于预测。
另外，例如，编码器/解码器可以计算与当前块1301邻近的参考样本当中的两个相邻样本之间的样本值的差，然后，对差的绝对值大于第一阈值的情况进行计数。在计数大于第二阈值的情况下，分辨率高的预测模式集合可以被用于预测，并且在计数小于第二阈值的情况下，分辨率低的预测模式集合可以被用于预测。
另外，编码器/解码器可以使用残差信号或变换系数来确定预测模式集合的分辨率。
也就是说，编码器/解码器可以使用当前块的残差信号或残差信号变换到频域时的变换系数来估计当前块的复杂程度，并且确定用于预测当前块的预测模式集合(或预测模式集合的分辨率)。
例如，在变换当前块的残差信号r_(1,1)、r_(2,1)、...、r_(N，N)之后，变换系数(或变换之后量化的系数)被指定为C_(1,1)、C_(2,1)、…、C_(N,N)，然后，可以通过将变换系数的绝对值之和与阈值T进行比较来确定预测模式集合的分辨率。也就是说，在和大于阈值T的情况下，该情况被归类为当前块具有复杂特性并且被用于预测分辨率高的预测模式集合。在该和小于阈值T的情况下，该情况被归类为当前块具有简单特性并且被用于预测分辨率低的预测模式集合。
[式1]
Figure GDA0004054025450000241
[式2]
Figure GDA0004054025450000242
第二实施方式
在该实施方式中，提出了根据预测模式集合使用MPM进行预测的方法。
在向当前块应用最可能模式(MPM)编码的情况下，编码器/解码器可以根据预测模式集合中所包括的帧内预测模式的数目(根据预测模式集合的分辨率)而使用不同的MPM。
例如，假定预测模式集合P_0包括35种类型的帧内预测模式并且P_1包括67种类型的帧内预测模式的情况，编码器/解码器可以针对P_0使用三个MPM候选(或MPM候选列表)并且针对P_1使用六个MPM候选。
另外，例如，假定预测模式集合P_0包括9种类型的帧内预测模式并且P_1包括67种类型的帧内预测模式的情况，编码器/解码器可以针对P_0使用一个MPM候选并且针对P_1使用六个MPM候选。
此外，编码器/解码器可以将用于分辨率最高的预测模式集合的MPM列表用于分辨率比其低的预测模式集合。
例如，假定预测模式集合P_0包括35种类型的帧内预测模式并且P_1包括67种类型的帧内预测模式的情况，可以使用六MPM候选列表来用于P_1，并且可以在用于P_1的六MPM候选列表当中按升序选择三个候选来作为用于P_0的MPM候选列表。
在这种情况下，在三个候选被包括在分辨率低的预测模式中的情况下，可以在没有任何改变的情况下使用MPM候选列表，并且在预测模式集合中未包括预测模式的情况下，从预测模式集合中所包括的预测模式当中选择其编号最接近的模式并且将该模式用于MPM候选。
第三实施方式
在上述的第一实施方式中，从分辨率不同的预测模式集合当中确定用于当前块的帧内预测的单个预测模式集合，并且在所确定的预测模式集合中，推导应用于当前块的帧内预测模式。
另外，基于推导出的帧内预测模式，生成当前块的预测块(或预测样本)。也就是说，根据第一实施方式中描述的方法，在多种预测模式集合当中确定单个预测模式集合并且将其用于当前块的帧内预测。
另一方面，在该实施方式中，提出了通过在块中使用分辨率不同的预测模式集合并且以像素为单位自适应地确定预测模式集合来执行帧内预测的方法。
在该实施方式中，在块(即，当前编码/解码块)中包括各种纹理(即，块是复杂的)的情况下，可以在块中自适应地使用不同的预测模式集合。
在下文中，在描述本发明时，为了便于描述，主要描述了使用两个预测模式集合执行预测的方法，但是本发明不限于此，并且可以使用三个或更多个预测模式集合执行预测。
首先，编码器/解码器可以使用分辨率低的预测模式集合生成当前块的预测值，并且用与当前块邻近的参考样本估计(或确定)当前块的复杂程度，并且在复杂程度高的情况下，编码器/解码器可以使用分辨率高的预测模式集合调节所生成的预测值。
图14是用于描述根据本发明的实施方式的使用多种预测模式集合的帧内预测方法的示图。
参照图14，阴影区域示出了根据当前块中的帧内预测模式的预测方向的按第一参考样本1401和第二参考样本1402区分的区域。
在阴影区域中存在物体的边界或复杂纹理的情况下，在相应区域中使用分辨率较高的预测模式集合，并且能提高预测的精度。
为了在块中使用两个或更多个预测模式集合，描述了以分层方式同时使用两个不同预测模式集合的方法。也就是说，在使用低分辨率的预测模式集合P_L(或第一预测模式集合)进行帧内预测之后，通过自适应地使用高分辨率的预测模式集合P_H(或第二预测模式集合)来调节预测值，因此，能更准确地执行预测。这里，可以满足条件
Figure GDA0004054025450000261
配置预测模式集合的方法可以如下地例示。
1.P_H可以包括上面在图10中描述的67种类型的预测模式集合，并且P_L可以包括在现有HEVC中使用的35种类型的预测模式集合。
2.P_H可以包括67种类型的预测模式集合，并且P_L可以包括使用67种类型的预测模式当中的整数像素位置的参考样本的预测模式集合。
3.P_L可以包括使用整数像素位置的参考样本的预测模式集合，并且P_H可以包括整数像素位置的参考样本，并且包括使用通过内插整数像素位置的参考样本而生成的分数像素的参考样本的预测模式集合。
4.P_L可以包括使用通过内插整数像素位置的参考样本而生成的分数像素的参考样本的预测模式集合，并且P_H可以包括使用通过比P_L更细分的内插而生成的分数像素的参考样本(即，比P_L小的单位的分数像素的参考样本)的预测模式集合。
例如，P_L可以包括使用1/32像素单位的参考样本的预测模式集合，并且P_H可以包括使用1/64像素单位的参考样本的预测模式集合。
编码器/解码器可以通过执行帧内预测，在生成当前块中的每个像素的预测样本的过程中自适应地增加预测模式的分辨率。
具体地，编码器/解码器可以推导分辨率相对低的第一预测模式集合中的应用于当前块的第一帧内预测模式。另外，编码器/解码器可以基于第一帧内预测模式确定用于预测当前像素的两个参考样本。
另外，计算两个参考样本之间的样本值的差，并且在差的绝对值超过阈值的情况下，编码器/解码器可以基于与分辨率相对高的第二预测模式集合中的与第一帧内预测模式的预测方向相邻的帧内预测模式来生成预测样本。
另一方面，在差的绝对值不大于阈值的情况下，编码器/解码器可以将第一预测模式集合(即，第一帧内预测模式)用于预测。
图15是用于描述作为可以应用本发明的实施方式的用于自适应地确定预测模式集合的方法的示图。
参照图15，上述低分辨率的预测模式集合P_L被表示为P_0，而高分辨率的预测模式集合P_H被表示为P_1。
编码器/解码器使用Pm0生成预测值Im，Pm0是P_0中的应用于当前像素的预测模式(下文中，被称为第一帧内预测模式)。
根据Pm0的预测方向，可以通过内插两个参考样本Ri,j和Ri+1,j的值来生成当前像素的预测值Im。
具体地，在确定下面的式3至式5的条件之后，编码器/解码器可以基于P_1中的预测模式生成当前像素的预测值(或者调节当前像素的预测值)。
[式3]
|Ri+1，j－Ri，j|>T1
[式4]
|Im-1－Im|>|Im+1－Im|+T2
[式5]
|Im-1－Im|+T2<|Im+1－Im|
这里，I(m-1)和I(m+1)分别表示通过使用P_0中的预测模式P(m-1)0和P(m+1)0生成的预测值。
当满足式3时，
1)并且当满足式4时，编码器/解码器可以使用P_1中的预测模式P(2m-1)1来调节当前像素的预测值。
1)并且当满足式5时，编码器/解码器可以使用P_1中的预测模式P(2m+1)1来调节当前像素的预测值。
P(2m+1)1表示P_1中的与基于当前像素的Pm0的预测方向的右侧相邻的预测模式。并且，P(2m-1)1表示P_1中的与基于当前像素的Pm0的预测方向的左侧相邻的预测模式。
在使用预测模式P(2m+1)1的情况下，当前像素的预测值可以被调节为I(2m+1)，并且在使用预测模式P(2m-1)1的情况下，当前像素的预测值可以被调节为I(2m-1)。
在不满足这两个条件的情况下，可以不调节预测值。在这种情况下，可以使用Im，而不改变当前像素的预测值。
也就是说，编码器/解码器可以确定多个帧内预测模式集合中的在当前块的帧内预测中使用的分辨率相对低的第一帧内预测模式集合和其分辨率相对高的第二帧内预测模式集合。
另外，编码器/解码器可以推导第一帧内预测模式集合中的应用于当前块的第一帧内预测模式，并且基于第一帧内预测模式确定用于预测当前像素的两个参考样本。
编码器/解码器确定两个参考样本之间的样本值的差是否超过特定阈值。
在两个参考样本之间的样本值的差不超过特定阈值的情况下，编码器/解码器可以不基于第一帧内预测模式生成当前像素的预测值。
另一方面，在两个参考样本之间的样本值的差超过特定阈值的情况下，编码器/解码器可以基于第二帧内预测模式集合中的与基于当前像素的第一帧内预测模式的预测方向的左侧或右侧相邻的帧内预测模式生成当前像素的预测样本。
可以根据上述条件，确定第二帧内预测模式集合中的用于预测当前像素的帧内预测模式。
也就是说，通过基于当前像素而将基于第一帧内预测模式生成的预测值与基于第一帧内预测模式集合中的与第一帧内预测模式的预测方向的左侧或右侧相邻的帧内预测模式而生成的预测值的差进行比较，编码器/解码器可以基于当前像素推导第二帧内预测模式集合中的与第一帧内预测模式的预测方向的左侧或右侧相邻的帧内预测模式当中的应用于当前像素的第二帧内预测模式。
此外，编码器/解码器可以基于第二帧内预测模式生成当前像素的预测样本。
上述的第一实施方式至第三实施方式中的每个可以被独立地用于预测，并且第一实施方式至第三实施方式的部分或全部可以被组合地用于预测。
图16是更详细例示了根据本发明的实施方式的帧内预测模式的示图。
为了便于描述，在图16中，帧内预测单元182(参照图1)或262(参照图2)被示出为单个块，但是帧内预测单元182或262可以被实现为被包括在编码器和/或解码器中的元件。
参照图16，帧内预测单元182或262实现以上图5至图15中提出的功能、处理和/或方法。具体地，帧内预测单元182或262可以包括预测模式集合确定单元1601、预测模式推导单元1602和预测样本生成单元1603。
预测模式集合确定单元1601确定在分辨率彼此不同的多个帧内预测模式集合当中的用于当前预测处理单元中的帧内预测的帧内预测模式集合。
如上所述，分辨率表示帧内预测模式集合中的帧内预测模式的分布程度。另外，帧内预测模式集合中的每一个可以包括一种或更多种帧内预测模式。
另外，如上所述，预测模式集合确定单元1601可以使用显式方法和隐式方法确定帧内预测模式集合。
如上所述，预测模式集合确定单元1601可以用指示多个预测模式集合当中的用于当前块的帧内预测的预测模式集合(或预测模式集合的分辨率)的语法来确定预测模式集合(或预测模式集合的分辨率)。
例如，编码器可以以序列(或序列参数集(SPS))、切片、CTU、CU或PU为单位向解码器发信号通知预测模式集合的分辨率。
另外，如上所述，预测模式集合确定单元1601可以使用与当前块邻近的样本确定预测模式集合。也就是说，预测模式集合确定单元1601可以使用与当前块邻近的参考样本来估计当前块的复杂程度，并且用估计结果来确定用于当前块的帧内预测的预测模式集合。
例如，预测模式集合确定单元1601可以通过计算与当前块邻近的参考样本(例如，基于N×N大小的当前块的邻近样本当中的基于当前块的左上样本的[-1,-1]至[-1,2N–1]的坐标位置处的2N+1个样本以及[0,-1]至[2N-1,-1]的坐标位置处的2N个样本)的方差值并且将方差值与特定阈值进行比较来确定用于预测当前块的预测模式集合。
另外，例如，预测模式集合确定单元1601可以通过计算与当前块相邻的参考样本当中的两个相邻样本之间的样本值的差的绝对值并且比较差的绝对值来确定用于预测当前块的预测模式集合。
另外，例如，预测模式集合确定单元1601可以通过计算两个相邻样本之间的样本值的差的绝对值超过第一阈值的情况的数目并且将计算出的数目与第二阈值进行比较来确定用于预测当前块的帧内预测模式集合。
另外，如上所述，预测模式集合确定单元1601可以通过使用残差信号或变换系数来确定用于预测当前块的帧内预测模式集合。
例如，预测模式集合确定单元1601可以通过将当前块的残差信号或残差信号的变换系数的绝对值之和与特定阈值进行比较来确定用于预测当前块的帧内预测模式集合。此时，可以使用上述的式1或式2。
另外，如上所述，在向当前块应用最可能模式(MPM)编码的情况下，可以根据构成用于当前块的帧内预测的帧内预测模式集合的帧内预测模式的数目来确定MPM候选的数目。
预测模式推导单元1602推导在所确定的预测模式集合中的应用于当前块的帧内预测模式。
编码器可以发送用于指示所确定的预测模式集合中的应用于当前块的帧内预测模式的索引信息。另外，预测模式推导单元1602可以使用从编码器接收的索引信息来推导应用于当前块的帧内预测模式。
预测样本生成单元1603基于推导出的帧内预测模式生成当前块的预测样本。
在应用定向预测方法的情况下，预测样本生成单元1603可以用根据当前块的帧内预测模式的预测方向确定的一个或两个参考样本生成预测样本。
在应用不定向预测方法的情况下，预测样本生成单元1603可以通过执行邻近参考样本或邻近参考样本的平均值的加权求和来生成预测样本。
在以上提到的实施方式中，本发明的元件和特征已经按照特定方式进行了组合。这些元件或特征中的每一个可以被认为是可选的，除非另外明确描述。这些元件或特征中的每一个可以按不与其它元件或特征组合这样的方式来实现。此外，这些元件和/或特征中的一些可以被组合，以形成本发明的实施方式。可以改变结合本发明的实施方式描述的操作的顺序。实施方式的一些元件或特征可以被包含在另一个实施方式中，或者可以被另一个实施方式的对应元件或特征替换。显而易见，实施方式可以通过将在权利要求书中没有明确引用关系的权利要求来构造或者可以在提交申请之后通过修改被包括作为新权利要求。
本发明的实施方式可以通过各种方式(例如，硬件、固件、软件及其组合)来实现。在由硬件实现的情况下，本发明的实施方式可以使用一个或更多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器和/或微处理器来实现。
在由固件或软件实现的情况下，本发明的实施方式可以按照执行以上提到的功能或操作的模块、过程或功能的形式来实现。软件代码可以被存储在存储器中，并且由处理器驱动。存储器可以位于处理器的内部或外部并且可以利用各种已知手段与处理器交换数据。
本领域的技术人员显而易见的是，可以在不脱离本发明的必要特性的情况下按照其它特定形式来实现本发明。因此，具体实施方式不应该被理解为所有方面都是限制性的，而是应该被理解为是例示性的。本发明的范围应该通过对所附权利要求的合理分析来确定，并且在本发明的等同范围内的所有修改被包括在本发明的范围内。
工业实用性
为了例示性目的已经公开了本发明的以上提到的优选实施方式，并且本领域的技术人员在不脱离所附权利要求书中公开的本发明的技术精神和范围的情况下，能改进、改变、替代或添加各种其它实施方式。

Claims (7)

1.一种基于帧内预测模式处理图像的方法，该方法包括以下步骤：
确定分辨率彼此不同的多个帧内预测模式集合当中的用于当前预测处理单元中的帧内预测的帧内预测模式集合，其中，所述分辨率表示所述帧内预测模式集合中的帧内预测模式的分布程度；
使用从编码器接收的索引信息，推导所确定的所述帧内预测模式集合中的应用于所述当前预测处理单元的帧内预测模式；以及
基于推导出的所述帧内预测模式生成所述当前预测处理单元的预测样本，
其中，所述帧内预测模式集合中的每一个包括一种或更多种帧内预测模式，并且
其中，确定所述帧内预测模式集合的步骤包括通过将当前块的残差信号或所述残差信号的变换系数的绝对值之和与特定阈值相比较来确定所述帧内预测模式集合。
2.根据权利要求1所述的方法，其中，确定所述帧内预测模式集合的步骤包括使用当前块的邻近样本、所述当前块的残差信号和所述残差信号被变换到频域时的变换系数中的任一个确定所述帧内预测模式集合。
3.根据权利要求1所述的方法，其中，以序列、切片、CTU、CU和PU中的任一个为单位发送所述帧内预测模式集合。
4.根据权利要求1所述的方法，其中，当向当前块应用最可能模式MPM编码时，根据构成用于所述当前块的帧内预测的所述帧内预测模式集合的帧内预测模式的数目来确定MPM候选的数目。
5.根据权利要求1所述的方法，其中，确定所述帧内预测模式集合的步骤包括：
确定所述多个帧内预测模式集合当中的用于当前块的帧内预测的第一帧内预测模式集合和第二帧内预测模式集合，
其中，推导所述帧内预测模式的步骤包括：
使用所述索引信息推导所述第一帧内预测模式集合中的应用于所述当前块的第一帧内预测模式，
其中，生成所述预测样本的步骤还包括：
基于所述第一帧内预测模式确定用于预测当前像素的两个参考样本，
当两个参考样本之间的样本值的差超过特定阈值时，基于所述第二帧内预测模式集合中的与所述第一帧内预测模式的预测方向相邻的帧内预测模式来生成所述当前像素的所述预测样本。
6.根据权利要求5所述的方法，其中，生成所述当前像素的预测样本的步骤还包括：
通过基于所述当前像素而将基于所述第一帧内预测模式生成的预测值与基于所述第一帧内预测模式集合中的与所述第一帧内预测模式的预测方向的左侧或右侧相邻的帧内预测模式而生成的预测值的差进行比较，
基于所述当前像素推导所述第二帧内预测模式集合中的与所述第一帧内预测模式的预测方向的左侧或右侧相邻的帧内预测模式当中的应用于所述当前像素的第二帧内预测模式，
其中，基于所述第二帧内预测模式生成所述当前像素的预测样本。
7.一种基于帧内预测模式处理图像的设备，该设备包括：
预测模式集合确定单元，该预测模式集合确定单元用于确定分辨率彼此不同的多个帧内预测模式集合当中的用于当前预测处理单元中的帧内预测的帧内预测模式集合，其中，所述分辨率表示所述帧内预测模式集合中的帧内预测模式的分布程度；
预测模式推导单元，该预测模式推导单元用于使用从编码器接收的索引信息，推导所确定的所述帧内预测模式集合中的应用于所述当前预测处理单元的帧内预测模式；以及
预测样本生成单元，该预测样本生成单元用于基于推导出的所述帧内预测模式生成所述当前预测处理单元的预测样本，
其中，所述帧内预测模式集合中的每一个包括一种或更多种帧内预测模式，并且
其中，所述预测模式集合确定单元通过将当前块的残差信号或所述残差信号的变换系数的绝对值之和与特定阈值相比较来确定所述帧内预测模式集合。
CN201680092121.0A 2016-12-28 2016-12-28 基于帧内预测模式处理图像的方法和用于该方法的设备 Active CN110366850B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2016/015432 WO2018124333A1 (ko) 2016-12-28 2016-12-28 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치

Publications (2)

Publication Number Publication Date
CN110366850A CN110366850A (zh) 2019-10-22
CN110366850B true CN110366850B (zh) 2023-06-20

Family

ID=62709569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680092121.0A Active CN110366850B (zh) 2016-12-28 2016-12-28 基于帧内预测模式处理图像的方法和用于该方法的设备

Country Status (5)

Country Link
US (1) US10904567B2 (zh)
EP (1) EP3565248A4 (zh)
KR (2) KR102398612B1 (zh)
CN (1) CN110366850B (zh)
WO (1) WO2018124333A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113810709A (zh) * 2016-04-29 2021-12-17 世宗大学校产学协力团 用于对图像信号进行编码和解码的方法和装置
US10951908B2 (en) * 2017-05-24 2021-03-16 Lg Electronics Inc. Method and device for decoding image according to intra prediction in image coding system
CN110710216B (zh) 2017-09-08 2023-07-21 株式会社Kt 视频信号处理方法及装置
CN116405673A (zh) * 2017-12-22 2023-07-07 数码士有限公司 视频信号处理方法和设备
CN117729327A (zh) * 2018-09-03 2024-03-19 华为技术有限公司 用于帧内预测的方法和装置
CN113330742A (zh) * 2018-12-28 2021-08-31 韩国电子通信研究院 视频编码/解码方法、设备以及存储有比特流的记录介质
WO2020171647A1 (ko) * 2019-02-21 2020-08-27 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측을 사용하는 영상 디코딩 방법 및 그 장치
CA3229435A1 (en) 2019-03-22 2020-10-01 Lg Electronics Inc. Image decoding method and device and image encoding method and device in image coding system
EP3989547A4 (en) * 2019-06-21 2023-04-19 Samsung Electronics Co., Ltd. VIDEO ENCODING METHOD AND DEVICE, AND VIDEO DECODER METHOD AND DEVICE
WO2021110568A1 (en) * 2019-12-05 2021-06-10 Interdigital Vc Holdings France, Sas Intra sub partitions for video encoding and decoding combined with multiple transform selection, matrix weighted intra prediction or multi-reference-line intra prediction
CN114915782A (zh) * 2021-02-10 2022-08-16 华为技术有限公司 一种编码方法、解码方法及设备
WO2024083090A1 (en) * 2022-10-17 2024-04-25 Douyin Vision Co., Ltd. Method, apparatus, and medium for video processing

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2081386A1 (en) 2008-01-18 2009-07-22 Panasonic Corporation High precision edge prediction for intracoding
KR101353301B1 (ko) * 2008-04-11 2014-01-21 에스케이 텔레콤주식회사 인트라 예측 모드 결정 방법 및 그 장치와 이를 이용한영상 부호화/복호화 방법 및 그 장치
KR101677480B1 (ko) * 2010-09-07 2016-11-21 에스케이 텔레콤주식회사 효과적인 화면내 예측모드 집합 선택을 이용한 영상 부호화/복호화 방법 및 장치
WO2012092763A1 (en) * 2011-01-07 2012-07-12 Mediatek Singapore Pte. Ltd. Method and apparatus of improved intra luma prediction mode coding
US9699456B2 (en) 2011-07-20 2017-07-04 Qualcomm Incorporated Buffering prediction data in video coding
WO2013106986A1 (en) * 2012-01-16 2013-07-25 Mediatek Singapore Pte. Ltd. Methods and apparatuses of intra mode coding
US9426473B2 (en) * 2013-02-01 2016-08-23 Qualcomm Incorporated Mode decision simplification for intra prediction
US9148667B2 (en) * 2013-02-06 2015-09-29 Qualcomm Incorporated Intra prediction mode decision with reduced storage
WO2016066093A1 (en) * 2014-10-31 2016-05-06 Mediatek Inc. Method of improved directional intra prediction for video coding
KR101607613B1 (ko) * 2015-07-23 2016-03-30 삼성전자주식회사 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치

Also Published As

Publication number Publication date
US20200007891A1 (en) 2020-01-02
US10904567B2 (en) 2021-01-26
KR20220065101A (ko) 2022-05-19
KR20190096432A (ko) 2019-08-19
CN110366850A (zh) 2019-10-22
KR102398612B1 (ko) 2022-05-17
EP3565248A1 (en) 2019-11-06
KR102539354B1 (ko) 2023-06-02
EP3565248A4 (en) 2020-12-02
WO2018124333A1 (ko) 2018-07-05

Similar Documents

Publication Publication Date Title
CN110366850B (zh) 基于帧内预测模式处理图像的方法和用于该方法的设备
US11889067B2 (en) Intra-prediction mode-based image processing method and device therefor
US12003708B2 (en) Method and device for performing image decoding on basis of intra prediction in image coding system
US10848759B2 (en) Intra prediction mode-based image processing method and apparatus therefor
KR102383104B1 (ko) 비디오 신호 처리 방법 및 장치
CN110024405B (zh) 图像处理方法及其装置
US10531084B2 (en) Intra prediction mode based image processing method, and apparatus therefor
EP3162055B1 (en) Method and device for providing depth based block partitioning in high efficiency video coding
US10893267B2 (en) Method for processing image on basis of intra-prediction mode and apparatus therefor
US20190200011A1 (en) Intra-prediction mode-based image processing method and apparatus therefor
KR20180025285A (ko) 비디오 신호 처리 방법 및 장치
US20200154103A1 (en) Image processing method on basis of intra prediction mode and apparatus therefor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant