CN111819845A - 视频解码方法和装置以及视频编码方法和装置 - Google Patents

视频解码方法和装置以及视频编码方法和装置 Download PDF

Info

Publication number
CN111819845A
CN111819845A CN201980017820.2A CN201980017820A CN111819845A CN 111819845 A CN111819845 A CN 111819845A CN 201980017820 A CN201980017820 A CN 201980017820A CN 111819845 A CN111819845 A CN 111819845A
Authority
CN
China
Prior art keywords
mode
block
index
intra prediction
coding unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980017820.2A
Other languages
English (en)
Inventor
崔娜莱
陈宝罗
朴银姬
朴慜祐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111819845A publication Critical patent/CN111819845A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Abstract

提供了一种用于对视频进行解码的方法和装置，其中，在视频编码和解码处理期间，获得指示是否将使用当前块的最可能模式(MPM)的MPM模式信息，获得指示是否将使用基于所述MPM模式配置的扩展帧内模式集的扩展帧内模式集信息，并且基于所述MPM模式信息和所述扩展帧内模式集信息来确定当前块的帧内预测模式，其中，当前块的所述MPM模式是基于与当前块的左侧相邻的左邻近块的预测模式、与当前块的上侧相邻的上邻近块的预测模式以及与当前块的右侧相邻的右邻近块的预测模式中的两个或更多个确定的。

Description

视频解码方法和装置以及视频编码方法和装置
技术领域
本公开涉及一种视频解码方法和视频解码装置，并且更具体地，涉及一种图像编码方法和装置以及图像解码方法和装置，其中，通过使用基于当前块的右侧的邻近块及当前块的左侧和上侧的邻近块的最可能模式(MPM)以及基于MPM配置的扩展帧内模式集来执行帧内预测。
背景技术
图像数据由编解码器基于特定数据压缩标准(例如，运动图像专家组(MPEG)标准)被编码，然后被存储在记录介质中或者以比特流的形式通过通信信道被发送。
根据能够再现和存储高分辨率或高质量图像内容的硬件的开发和发布，对用于有效地对高分辨率或高质量图像内容进行编码或解码的编解码器的需求日益增加。可通过解码来再现经过编码的图像内容。近来，已经实现了用于有效地压缩高分辨率或高质量图像内容的方法。例如，已经提出可通过对将根据任意方法编码的图像进行划分的处理或者操纵数据的处理来有效地实现图像压缩技术。
作为用于操纵数据的技术之一，常见的是，基于当前块的左侧和上侧的邻近块确定的两个或更多个最可能模式(MPM)被用于帧内预测，并且其他模式在相同条件下被编码并被用信号发送。
发明内容
技术问题
提供了一种方法和装置，其中，在视频编码和视频解码处理期间获得指示是否使用当前块的最可能模式(MPM)的MPM信息，获得指示是否使用基于MPM配置的扩展帧内模式集的扩展帧内模式集信息，并且通过使用基于MPM信息和扩展帧内模式集信息确定的当前块的帧内预测模式来执行帧内预测，其中，当前块的MPM是基于与当前块的左侧相邻的左邻近块的预测模式、与当前块的上侧相邻的上邻近块的预测模式以及与当前块的右侧相邻的右邻近块的预测模式确定的。
问题的解决方案
为了解决所述技术问题，一种根据本公开的视频解码方法包括：获得指示是否使用当前块的最可能模式(MPM)的MPM信息；获得指示是否使用基于所述MPM配置的扩展帧内模式集的扩展帧内模式集信息；并且基于所述MPM信息和所述扩展帧内模式集信息来确定当前块的帧内预测模式，其中，当前块的所述MPM是基于与当前块的左侧相邻的左邻近块的预测模式、与当前块的上侧相邻的上邻近块的预测模式以及与当前块的右侧相邻的右邻近块的预测模式中的至少两个确定的。
为了解决所述技术问题，根据本公开的视频解码装置包括：存储器；以及至少一个处理器，连接到存储器并被配置为：获得指示是否使用当前块的MPM的MPM信息；获得指示是否使用基于所述MPMS配置的扩展帧内模式集的扩展帧内模式集信息；并且基于所述MPM信息和所述扩展帧内模式集信息来确定当前块的帧内预测模式，其中，当前块的所述MPM是基于与当前块的左侧相邻的左邻近块的预测模式、与当前块的上侧相邻的上邻近块的预测模式以及与当前块的右侧相邻的右邻近块的预测模式中的至少两个确定的。
为了解决所述技术问题，根据本公开的视频编码方法包括：对当前块执行帧内预测，以生成指示是否使用当前块的MPM的MPM信息；生成指示是否使用基于所述MPMS配置的扩展帧内模式集的扩展帧内模式集信息；并且对所述MPM信息和所述扩展帧内模式集信息进行编码，其中，当前块的所述MPM是基于与当前块的左侧相邻的左邻近块的预测模式、与当前块的上侧相邻的上邻近块的预测模式以及与当前块的右侧相邻的右邻近块的预测模式中的至少两个确定的。
为了解决所述技术问题，根据本公开的视频编码装置包括连接到存储器的至少一个处理器，并且所述至少一个处理器被配置为：对当前块执行帧内预测，以生成指示是否使用当前块的MPM的MPM信息；生成指示是否使用基于所述MPMS配置的扩展帧内模式集的扩展帧内模式集信息；并且对所述MPM信息和所述扩展帧内模式集信息进行编码，其中，当前块的所述MPM是基于与当前块的左侧相邻的左邻近块的预测模式、与当前块的上侧相邻的上邻近块的预测模式以及与当前块的右侧相邻的右邻近块的预测模式中的至少两个确定的。
公开的有益效果
在视频编码和视频解码处理期间，获得了指示是否使用当前块的最可能模式(MPM)的MPM信息，获得了指示是否使用基于所述MPM配置的扩展帧内模式集的扩展帧内模式集信息，并且通过使用基于所述MPM信息和所述扩展帧内模式集信息确定的当前块的帧内预测模式来对当前块进行预测，其中，当前块的所述MPM是基于与当前块的左侧相邻的左邻近块的预测模式、与当前块的上侧相邻的上邻近块的预测模式以及与当前块的右侧相邻的右邻近块的预测模式中的至少两个确定的。因此，当配置MPM时，也考虑右邻近块，使得MPM的效率被提高。当执行帧内预测时，可通过对选择MPM而不是正确模式的情况进行补偿来提高预测的精度。可通过向各种帧内模式分配比传统MPM更少的比特并将帧内模式作为候选来提高模式编码的效率。
附图说明
图1是根据实施例的图像解码装置的示意性框图。
图2是根据实施例的图像解码方法的流程图。
图3示出根据实施例的由图像解码装置执行的通过划分当前编码单元来确定至少一个编码单元的处理。
图4示出根据实施例的由图像解码装置执行的通过划分非正方形编码单元来确定至少一个编码单元的处理。
图5示出根据实施例的由图像解码装置执行的基于块形状信息和划分形状模式信息中的至少一个对编码单元进行划分的处理。
图6示出根据实施例的由图像解码装置执行的从奇数个编码单元中确定特定编码单元的方法。
图7示出根据实施例的当图像解码装置通过划分当前编码单元来确定多个编码单元时对所述多个编码单元进行处理的顺序。
图8示出根据实施例的由图像解码装置执行的当编码单元不能按照特定顺序被处理时确定当前编码单元将被划分为奇数个编码单元的处理。
图9示出根据实施例的由图像解码装置执行的通过划分第一编码单元来确定至少一个编码单元的处理。
图10示出根据实施例的当在图像解码装置划分第一编码单元时确定的具有非正方形形状的第二编码单元满足特定条件时，第二编码单元可被划分为的形状受到限制。
图11示出根据实施例的由图像解码装置执行的当划分形状模式信息不能指示正方形编码单元被划分为四个正方形编码单元时对正方形编码单元进行划分的处理。
图12示出根据实施例的多个编码单元之间的处理顺序可根据划分编码单元的处理而改变。
图13示出根据实施例的当编码单元被递归划分使得多个编码单元被确定时随着编码单元的形状和尺寸改变来确定编码单元的深度的处理。
图14示出根据实施例的基于编码单元的形状和尺寸可确定的深度以及用于区分编码单元的部分索引(PID)。
图15示出根据实施例的基于画面中包括的多个特定数据单元来确定多个编码单元。
图16示出根据实施例的用作用于确定画面中包括的参考编码单元的确定顺序的标准的处理块。
图17是根据实施例的视频编码装置的框图。
图18是根据实施例的视频编码方法的流程图。
图19是根据实施例的视频解码装置的框图。
图20是根据实施例的视频解码方法的流程图。
图21是用于描述最大编码单元和包括在该最大编码单元中的编码单元的编码顺序的示图。
图22a示出根据邻近块是否被重建的帧内预测方法，以及图22b示出针对与当前块的右侧相邻的右邻近块可用的情况的改进的算法。
图23示出帧内预测模式方向的实施例。
图24a示出使用左邻近块和上邻近块的双线性预测模式，图24b示出使用上邻近块和右邻近块的双线性预测模式，以及图24c示出使用左邻近块和右邻近块的双线性预测模式。
图25示出用于帧内预测的多个4抽头滤波器的示例。
图26示出用于帧内预测的多个4抽头滤波器的另一示例。
图27a示出用于帧内预测的4抽头滤波器的示例，以及图27b示出用于帧内预测的4抽头滤波器的另一示例。
图28示出预测块的边界滤波的示例。
图29a示出包括在编码单元中的块索引，图29b示出编码单元的扫描顺序的示例，图29c示出编码单元的块图中的扫描顺序的另一示例，以及图29d示出指示包括在编码单元中的块的编码块的块图。
图30a示出应用从右到左改变编码顺序的划分单元编码顺序(SUCO)的块，图30b示出应用SUCO的编码单元的扫描顺序，图30c示出编码块图的示例，图30d示出包括当前块的编码单元的示例，以及图30e示出包括应用SUCO的当前块的编码单元的块图。
图31a示出当当前块的左邻近块和上邻近块可用时的可能帧内模式集(PIMS)，图31b示出当当前块的右邻近块和上邻近块可用时的PIMS，以及图31c示出当当前块的左邻近块、上邻近块和右邻近块全部可用时的PIMS。
图32a示出指示是否使用最可能模式(MPM)和PIMS的标志的语法，以及图32b示出PIMS的语法。
图33示出多参数帧内预测的示例。
图34a示出用于帧内预测的多参数预测的语法的示例，以及图34b示出根据可用性检查的多参数预测的语法的示例。
图35a示出用于多组合帧内预测的经过滤波的参考样点的示例，以及图35b示出应用多组合帧内预测的示例。
图36a示出用于帧内预测的多组合帧内预测的语法的示例，以及图36b示出根据可用性检查的多组合帧内预测的语法的示例。
最佳模式
根据本公开的实施例的视频解码方法可包括：获得指示是否使用当前块的最可能模式(MPM)的MPM信息；获得指示是否使用基于所述MPM配置的扩展帧内模式集的扩展帧内模式集信息；并且基于所述MPM信息和所述扩展帧内模式集信息来确定当前块的帧内预测模式，其中，当前块的所述MPM是基于与当前块的左侧相邻的左邻近块的预测模式、与当前块的上侧相邻的上邻近块的预测模式以及与当前块的右侧相邻的右邻近块的预测模式中的至少两个确定的。
根据实施例，当所述MPM信息指示使用所述MPM时，所述MPM中的一个模式可被确定为当前块的帧内预测模式，当所述MPM信息指示不使用所述MPM并且所述扩展帧内模式集信息指示使用所述扩展帧内模式集时，所述扩展帧内模式集中的一个模式可被确定为当前块的帧内预测模式，并且当所述MPM信息指示不使用所述MPM并且所述扩展帧内模式集信息指示不使用所述扩展帧内模式集时，所述MPM和所述扩展帧内模式集中未包括的帧内预测模式中的一个模式可被确定为当前块的帧内预测模式。
根据实施例，当当前块的所述MPM包括左邻近块、上邻近块和右邻近块的帧内预测模式时，可通过使用所述当前块的MPM来配置所述扩展帧内模式集。
根据实施例，当当前块的所述MPM包括左邻近块和上邻近块的帧内预测模式时，可通过使用当前块的所述MPM和右邻近块的预测模式来配置所述扩展帧内模式集。
根据实施例，当当前块的所述MPM的预设数量是两个并且左邻近块、上邻近块和右邻近块全部可用时，可通过使用左邻近块、上邻近块和右邻近块中的两个块的预测模式来确定当前块的所述MPM。
根据实施例，当当前块的所述MPM的预设数量是两个，右邻近块可用，并且左邻近块和上邻近块中仅有一个可用时，可通过使用右邻近块的预测模式以及在上邻近块和右邻近块中可用的一个块的预测模式来确定当前块的所述MPM。
根据实施例，当左邻近块、上邻近块和右邻近块全部可用并且左邻近块、上邻近块和右邻近块的预测模式是不同的方向模式时，所述扩展帧内模式集可包括索引从左邻近块的帧内预测模式的索引增加N的帧内预测模式、索引从左邻近块的帧内预测模式的索引减少N的帧内预测模式、索引从上邻近块的帧内预测模式的索引增加M的帧内预测模式、索引从上邻近块的帧内预测模式的索引减少M的帧内预测模式、索引从右邻近块的帧内预测模式的索引增加L的帧内预测模式以及索引从右邻近块的帧内预测模式的索引减少L的帧内预测模式，并且N、M和L可以是除了零之外的整数。
根据实施例，可根据所述MPM的类型来配置所述扩展帧内模式集。
根据实施例，当当前块的所述MPM的预设数量是两个并且所述MPM是DC模式和双线性模式时，所述扩展帧内模式集可包括平面模式、水平模式、垂直模式和对角线模式。
根据实施例，当当前块的所述MPM的预设数量是两个并且所述MPM是DC模式和方向模式时，所述扩展帧内模式集可包括双线性模式、平面模式、以及索引从方向模式的索引增加1的帧内预测模式、索引从方向模式的索引增加2的帧内预测模式、索引从方向模式的索引减少1的帧内预测模式、索引从方向模式的索引减少2的帧内预测模式、第一默认模式和第二默认模式，并且第一默认模式和第二默认模式可以是预设的帧内预测模式。
根据实施例，第一默认模式和第二默认模式可以是从顺序地列出具有统计上高概率被选择的帧内预测模式的列表确定的。
根据实施例，当当前块的所述MPM的预设数量是两个并且所述MPM是第一方向模式和第二方向模式时，所述扩展帧内模式集可包括索引从第一方向模式的索引增加1的帧内预测模式、索引从第一方向模式的索引减少1的帧内预测模式、索引从第二方向模式的索引增加1的帧内预测模式、索引从第二方向模式的索引减小1的帧内预测模式、水平模式、垂直模式、DC模式和双线性模式。
根据实施例，当当前块的所述MPM包括左邻近块和上邻近块的帧内预测模式，所述MPM是DC模式和第一方向模式，并且右邻近块的预测模式是第二方向模式时，所述扩展帧内模式集可包括双线性模式、平面模式、第二方向模式、索引从第一方向模式的索引增加1的帧内预测模式、索引从第一方向模式的索引减少1的帧内预测模式、索引从第二方向模式的索引增加1的帧内预测模式、索引从第二方向模式的索引减少1的帧内预测模式以及默认模式，并且所述默认模式可以是预设的帧内预测模式。
根据实施例，当当前块的所述MPM包括左邻近块和上邻近块的帧内预测模式，所述MPM是第一方向模式和第二方向模式，并且右邻近块的预测模式是第三方向模式时，所述扩展帧内模式集可包括第三方向模式、索引从第一方向模式的索引增加1的帧内预测模式、索引从第一方向模式的索引减少1的帧内预测模式、索引从第二方向模式的索引增加1的帧内预测模式、索引从第二方向模式的索引减少1的帧内预测模式、索引从第三方向模式的索引增加1的帧内预测模式以及索引从第三方向模式的索引减少1的帧内预测模式。
根据本公开的实施例的视频编码方法包括：对当前块执行帧内预测，以生成指示是否使用当前块的最可能模式(MPM)的MPM信息；生成指示是否使用基于所述MPM配置的扩展帧内模式集的扩展帧内模式集信息；并且对所述MPM信息和所述扩展帧内模式集信息进行编码，其中，当前块的所述MPM是基于与当前块的左侧相邻的左邻近块的预测模式、与当前块的上侧相邻的上邻近块的预测模式以及与当前块的右侧相邻的右邻近块的预测模式中的至少两个确定的。
根据本公开的实施例的视频解码装置包括：存储器；以及至少一个处理器，连接到存储器并被配置为：获得指示是否使用当前块的最可能模式(MPM)的MPM信息；获得指示是否使用基于所述MPM配置的扩展帧内模式集的扩展帧内模式集信息；并且基于所述MPM信息和所述扩展帧内模式集信息来确定当前块的帧内预测模式，其中，当前块的所述MPM是基于与当前块的左侧相邻的左邻近块的预测模式、与当前块的上侧相邻的上邻近块的预测模式以及与当前块的右侧相邻的右邻近块的预测模式中的至少两个确定的。
具体实施方式
可通过参照实施例和附图更容易地理解实施例的优点和特征以及实现所述实施例的方法。就此而言，本公开的实施例可具有不同的形式，并且不应被解释为限于这里阐述的描述。相反，提供这些实施例使得本公开将是彻底和完整的，并且将向本领域普通技术人员充分地传达本公开的实施例的构思。
将简要地定义在说明书中使用的术语，并且将详细地描述实施例。
考虑本公开中描述的功能，这里使用的术语是当前在本领域中广泛使用的通用术语。然而，根据本领域普通技术人员的意图、先例或新技术的出现，这些术语可具有不同的含义。此外，一些术语可由申请人任意选择，并且在这种情况下，将在本公开的详细描述中详细地描述所选的术语的含义。因此，如这里所使用的术语必须不仅通过它们的简单名称而且还基于该术语的含义连同整个说明书中的描述一起来被定义。
在以下说明书中，单数形式包括复数形式，除非上下文另有明确指示。
当部件“包括”或“包含”元件时，除非存在与其相反的特定描述，否则该部件还可包括其他元件，而不排除其他元件。
在以下描述中，诸如“单元”的术语指示软件或硬件组件，并且该“单元”执行特定功能。然而，“单元”不限于软件或硬件。“单元”可形成在可寻址存储介质中，或者可形成为操作一个或更多个处理器。因此，例如，术语“单元”可指组件(诸如软件组件、面向对象的软件组件、类组件和任务组件)，并且可包括进程、函数、属性、过程、子例程、程序代码的片段、驱动器、固件、微代码、电路、数据、数据库、数据结构、表、数组或变量。由组件和“单元”提供的功能可与更少数量的组件和“单元”相关联，或者可被划分为另外的组件和“单元”。
根据本公开的实施例，“单元”可包括处理器和存储器。术语“处理器”应被广义地解释为包括通用处理器、中央处理器(CPU)、微处理器、数字信号处理器(DSP)、控制器、微控制器、状态机等。在一些情况下，“处理器”可指专用半导体(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)等。术语“处理器”可指处理装置的组合，诸如例如DSP与微处理器的组合、多个微处理器的组合、一个或更多个微处理器结合DSP核的组合或者任意其它这样的配置的组合。
术语“存储器”应被广义地解释为包括能够存储电子信息的任意电子组件。术语“存储器”可指各种类型的处理器可读介质，诸如随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除PROM(EEPROM)、闪存、磁或光数据存储装置、寄存器等。当处理器能够从存储器读取信息和/或向存储器写入信息时，存储器被称为与处理器处于电子通信状态。集成在处理器中的存储器与处理器处于电子通信状态。
在下文中，“图像”可以是诸如视频的静止图像的静态图像，或者可以是诸如运动图像的动态图像，即，视频本身。
在下文中，“样点”表示分配给图像的采样位置的数据，即，将被处理的数据。例如，空间域中的图像的像素值和变换域上的变换系数可以是样点。包括至少一个这样的样点的单元可被定义为块。
在说明书中，“当前块”可指将被编码或被解码的当前图像的最大编码单元、编码单元、预测单元或变换单元的块。
在下文中，将参照附图详细地描述实施例，使得本领域普通技术人员可容易地实现实施例。在附图中，省略了与描述无关的部分，以清楚地描述本公开。
在下文中，将参照图1至图16描述根据实施例的图像编码装置和图像解码装置以及图像编码方法和图像解码方法。将参照图3至图16描述根据实施例的确定图像的数据单元的方法。将参照图17至图20、图23、图24以及图31a和图32b描述根据实施例的使用基于当前块的左邻近块、上邻近块和右邻近块的帧内预测模式确定的最可能模式(MPM)以及基于MPM配置的扩展帧内模式集来确定当前块的帧内预测模式的视频解码方法。将参照图21和图22描述根据编码顺序以及邻近块是否被重建的帧内预测方法。将参照图25至图28描述用于帧内预测的滤波方法。将参照图29和图30描述用于帧内预测的块图。将参照图33至图36b描述帧内预测的其它方法。
在下文中，将参照图1和图2描述根据本公开的实施例的用于基于编码单元的各种形状自适应地选择上下文模型的方法和装置。
图1是根据实施例的图像解码装置的示意性框图。
图像解码装置100可包括接收器110和解码器120。接收器110和解码器120可包括至少一个处理器。此外，接收器110和解码器120可包括存储将被至少一个处理器执行的指令的存储器。
接收器110可接收比特流。比特流包括由稍后描述的图像编码装置1700编码的图像的信息。此外，可从图像编码装置1700发送比特流。图像编码装置1700和图像解码装置100可经由有线或无线方式连接，并且接收器110可经由有线或无线方式接收比特流。接收器110可从存储介质(诸如光学介质或硬盘)接收比特流。解码器120可基于从接收到的比特流获得的信息来重建图像。解码器120可从比特流获得用于重建图像的语法元素。解码器120可基于语法元素重建图像。
将参照图2详细地描述图像解码装置100的操作。
图2是根据实施例的图像解码方法的流程图。
根据本公开的实施例，接收器110接收比特流。
图像解码装置100从比特流获得与编码单元的划分形状模式对应的二进制位串(操作210)。图像解码装置100确定编码单元的划分规则(操作220)。此外，图像解码装置100基于与划分形状模式对应的二进制位串以及划分规则中的至少一个将编码单元划分为多个编码单元(操作230)。图像解码装置100可根据编码单元的宽高比来确定编码单元的尺寸的可允许的第一范围，以便确定划分规则。图像解码装置100可根据编码单元的划分形状模式来确定编码单元的尺寸的可允许的第二范围，以便确定划分规则。
在下文中，将根据本公开的实施例详细地描述编码单元的划分。
首先，一个画面可被划分为一个或更多个条带或者一个或更多个并行块。一个条带或一个并行块可以是一系列一个或更多个最大编码单元(编码树单元(CTU))。与最大编码单元(CTU)相比，在概念上存在最大编码块(编码树块(CTB))。
最大编码单元(CTB)表示包括N×N个样点(N是整数)的N×N的块。每个颜色分量可被划分为一个或更多个最大编码块。
当画面具有三个样点阵列(针对Y、Cr和Cb分量的样点阵列)时，最大编码单元(CTU)包括亮度样点的一个最大编码块、色度样点的两个对应最大编码块以及用于对亮度样点和色度样点进行编码的语法结构。当画面是单色画面时，最大编码单元包括单色样点的最大编码块和用于对单色样点进行编码的语法结构。当画面是在根据颜色分量分离的颜色平面中编码的画面时，最大编码单元包括用于对画面和画面的样点进行编码的语法结构。
一个最大编码块(CTB)可划分为包括M×N个样点的M×N的编码块(M和N是整数)。
当画面具有针对Y、Cr和Cb分量的样点阵列时，编码单元(CU)包括亮度样点的一个编码块、色度样点的两个对应编码块以及用于对亮度样点和色度样点进行编码的语法结构。当画面是单色画面时，编码单元包括单色样点的编码块以及用于对单色样点进行编码的语法结构。当画面是在根据颜色分量分离的颜色平面中编码的画面时，编码单元包括用于对画面和画面的样点进行编码的语法结构。
如上所述，最大编码块和最大编码单元在概念上彼此区分，并且编码块和编码单元在概念上彼此区分。也就是说，(最大)编码单元是指包括包含对应样点的(最大)编码块以及与(最大)编码块对应的语法结构的数据结构。然而，因为本领域普通技术人员理解，(最大)编码单元或(最大)编码块是指包括特定数量的样点的特定尺寸的块，所以在不进行区分的情况下在以下说明书中提及最大编码块和最大编码单元或者编码块和编码单元，除非另外描述。
图像可被划分为最大编码单元(CTU)。可基于从比特流获得的信息确定每个最大编码单元的尺寸。每个最大编码单元的形状可以是相同尺寸的正方形形状。然而，实施例不限于此。
例如，可从比特流获得关于亮度编码块的最大尺寸的信息。例如，由关于亮度编码块的最大尺寸的信息指示的亮度编码块的最大尺寸可以是4×4、8×8、16×16、32×32、64×64、128×128和256×256中的一个。
例如，可从比特流获得关于亮度块尺寸差和可被划分为两个的亮度编码块的最大尺寸的信息。关于亮度块尺寸差的信息可指亮度最大编码单元与可被划分为两个的最大亮度编码块之间的尺寸差。因此，当从比特流获得的关于可被划分为两个的亮度编码块的最大尺寸的信息和关于亮度块尺寸差的信息被彼此组合时，可确定亮度最大编码单元的尺寸。可通过使用亮度最大编码单元的尺寸来确定色度最大编码单元的尺寸。例如，当根据颜色格式Y:Cb:Cr比率为4:2:0时，色度块的尺寸可以是亮度块的尺寸的一半，并且色度最大编码单元的尺寸可以是亮度最大编码单元的尺寸的一半。
根据实施例，因为从比特流获得关于可被二划分的亮度编码块的最大尺寸的信息，所以可以可变地确定可被二划分的亮度编码块的最大尺寸。相反，可被三划分的亮度编码块的最大尺寸可被固定。例如，I画面中的可被三划分的亮度编码块的最大尺寸可以是32×32，并且P画面或B画面中的可被三划分的亮度编码块的最大尺寸可以是64×64。
此外，可基于从比特流获得的划分形状模式信息将最大编码单元分层地划分为编码单元。可从比特流获得指示是否执行四划分的信息、指示是否执行多划分的信息、划分方向信息和划分类型信息中的至少一个作为划分形状模式信息。
例如，指示是否执行四划分的信息可指示当前编码单元是否被四划分(QUAD_SPLIT)。
当当前编码单元不被四划分时，指示是否执行多划分的信息可指示当前编码单元是不再被划分(NO_SPLIT)还是被二/三划分。
当当前编码单元被二划分或三划分时，划分方向信息指示当前编码单元在水平方向和垂直方向中的一个上被划分。
当当前编码单元在水平方向或垂直方向上被划分时，划分类型信息指示当前编码单元被二划分或三划分。
可根据划分方向信息和划分类型信息来确定当前编码单元的划分模式。当在水平方向上对当前编码单元进行二划分时的划分模式可被确定为二水平划分模式(SPLIT_BT_HOR)，当在水平方向上对当前编码单元进行三划分时的划分模式可被确定为三水平划分模式(SPLIT_TT_HOR)，当在垂直方向上对当前编码单元进行二划分时的划分模式可被确定为二垂直划分模式(SPLIT_BT_VER)，并且当在垂直方向上对当前编码单元进行三划分时的划分模式可被确定为三垂直划分模式SPLIT_TT_VER。
图像解码装置100可从比特流获得来自一个二进制位串的划分形状模式信息。由图像解码装置100接收到的比特流的形式可包括固定长度二进制码、一元码、截断一元码、预定二进制码等。二进制位串是按二进制数的信息。二进制位串可包括至少一个比特。图像解码装置100可基于划分规则获得与二进制位串对应的划分形状模式信息。图像解码装置100可基于一个二进制位串确定是否对编码单元进行四划分、是否不对编码单元进行划分、划分方向以及划分类型。
编码单元可小于或等于最大编码单元。例如，因为最大编码单元是具有最大尺寸的编码单元，所以最大编码单元是编码单元中的一个。当关于最大编码单元的划分形状模式信息指示不执行划分时，在最大编码单元中确定的编码单元具有与最大编码单元的尺寸相同的尺寸。当关于最大编码单元的划分形状模式信息指示执行划分时，最大编码单元可被划分为编码单元。此外，当关于编码单元的划分形状模式信息指示执行划分时，编码单元可被划分为更小的编码单元。然而，对图像的划分不限于此，并且可不将最大编码单元和编码单元区分开。将参照图3至图16详细地描述对编码单元的划分。
此外，可从编码单元确定用于预测的一个或更多个预测块。预测块可与编码单元相同或小于编码单元。此外，可从编码单元确定用于变换的一个或更多个变换块。变换块可与编码单元相同或小于编码单元。
变换块和预测块的形状和尺寸可不彼此相关。
在另一实施例中，可通过将编码单元用作预测单元来执行预测。此外，可通过将编码单元用作变换块来执行变换。
将参照图3至图16详细地描述对编码单元的划分。本公开的当前块和邻近块可指示最大编码单元、编码单元、预测块和变换块中的一个。此外，当前编码单元的当前块是当前正被解码或编码的块或者当前正被划分的块。邻近块可以是在当前块之前重建的块。邻近块可在空间上或时间上与当前块相邻。邻近块可位于当前块的左下方、左侧、左上方、上方、右上方、右侧、右下方中的一个处。
图3示出根据实施例的由图像解码装置执行的通过划分当前编码单元来确定至少一个编码单元的处理。
块形状可包括4N×4N、4N×2N、2N×4N、4N×N、N×4N、32N×N、N×32N、16N×N、N×16N、8N×N或N×8N。这里，N可以是正整数。块形状信息是指示编码单元的形状、方向、宽高比或尺寸中的至少一个的信息。
编码单元的形状可包括正方形和非正方形。当编码单元的宽度和高度的长度相同时(即，当编码单元的块形状是4N×4N时)，图像解码装置100可将编码单元的块形状信息确定为正方形。图像解码装置100可将编码单元的形状确定为非正方形。
当编码单元的宽度和高度彼此不同时(即，当编码单元的块形状是4N×2N、2N×4N、4N×N、N×4N、32N×N、N×32N、16N×N、N×16N、8N×N或N×8N时)，图像解码装置100可将编码单元的块形状信息确定为非正方形形状。当编码单元的形状是非正方形时，图像解码装置100可将编码单元的块形状信息中的宽高比确定为1:2、2:1、1:4、4:1、1:8、8:1、1:16、16:1、1:32和32:1中的至少一个。此外，图像解码装置100可基于编码单元的宽度长度和高度长度来确定编码单元是沿水平方向还是沿垂直方向。此外，图像解码装置100可基于编码单元的宽度长度、高度长度或面积中的至少一个来确定编码单元的尺寸。
根据实施例，图像解码装置100可通过使用块形状信息来确定编码单元的形状，并且可通过使用划分形状模式信息来确定编码单元的划分方法。也就是说，可基于由图像解码装置100所使用的块形状信息指示的块形状来确定由划分形状模式信息指示的编码单元划分方法。
图像解码装置100可从比特流获得划分形状模式信息。然而，实施例不限于此，并且图像解码装置100和图像编码装置1700可基于块形状信息确定预先约定的划分形状模式信息。图像解码装置100可确定针对最大编码单元或最小编码单元的预先约定的划分形状模式信息。例如，图像解码装置100可将针对最大编码单元的划分形状模式信息确定为四划分。此外，图像解码装置100可将关于最小编码单元的划分形状模式信息确定为“不执行划分”。特别地，图像解码装置100可将最大编码单元的尺寸确定为256×256。图像解码装置100可将预先约定的划分形状模式信息确定为四划分。四划分是编码单元的宽度和高度都被二等分的划分形状模式。图像解码装置100可基于划分形状模式信息从256×256尺寸的最大编码单元获得128×128尺寸的编码单元。此外，图像解码装置100可将最小编码单元的尺寸确定为4×4。图像解码装置100可获得指示针对最小编码单元“不执行划分”的划分形状模式信息。
根据实施例，图像解码装置100可使用指示当前编码单元具有正方形形状的块形状信息。例如，图像解码装置100可基于划分形状模式信息确定是否不划分正方形编码单元，是否垂直划分正方形编码单元，是否水平划分正方形编码单元，或者是否将正方形编码单元划分为四个编码单元。参照图3，在当前编码单元300的块形状信息指示正方形形状时，解码器120可基于指示不执行划分的划分形状模式信息确定不对与当前编码单元300具有相同尺寸的编码单元310a进行划分，或者可确定基于指示特定划分方法的划分形状模式信息而划分出的编码单元310b、310c、310d、310e或310f。
参照图3，根据实施例，图像解码装置100可基于指示沿垂直方向执行划分的划分形状模式信息确定通过沿垂直方向划分当前编码单元300而获得的两个编码单元310b。图像解码装置100可基于指示沿水平方向执行划分的划分形状模式信息确定通过沿水平方向划分当前编码单元300而获得的两个编码单元310c。图像解码装置100可基于指示沿垂直方向和水平方向执行划分的划分形状模式信息确定通过沿垂直方向和水平方向划分当前编码单元300而获得的四个编码单元310d。根据实施例，图像解码装置100可确定通过基于指示沿垂直方向执行三划分的划分形状模式信息沿垂直方向划分当前编码单元300而获得的三个编码单元310e。图像解码装置100可确定通过基于指示沿水平方向执行三划分的划分形状模式信息沿水平方向划分当前编码单元300而获得的三个编码单元310f。然而，正方形编码单元的划分方法不限于上述方法，并且划分形状模式信息可指示各种方法。下面将关于各种实施例详细地描述对正方形编码单元进行划分的特定划分方法。
图4示出根据实施例的由图像解码装置100执行的通过划分非正方形编码单元来确定至少一个编码单元的处理。
根据实施例，图像解码装置100可使用指示当前编码单元具有非正方形形状的块形状信息。图像解码装置100可基于划分形状模式信息确定是否不划分非正方形的当前编码单元或者是否通过使用特定划分方法来划分非正方形的当前编码单元。参照图4，在当前编码单元400或450的块形状信息指示非正方形形状时，图像解码装置100可基于指示不执行划分的划分形状模式信息确定与当前编码单元400或450具有相同尺寸的编码单元410或460不被划分，或者确定基于指示特定划分方法的划分形状模式信息而划分出的编码单元420a和420b、440a至440c、470a和470b、或者480a至480c。下面将关于各种实施例详细描述划分非正方形编码单元的特定划分方法。
根据实施例，图像解码装置100可通过使用划分形状模式信息确定编码单元的划分方法，并且在这种情况下，划分形状模式信息可指示通过划分编码单元生成的一个或更多个编码单元的数量。参照图4，当划分形状模式信息指示将当前编码单元400或450划分为两个编码单元时，图像解码装置100可通过基于划分形状模式信息对当前编码单元400或450进行划分来确定包括在当前编码单元400或450中的两个编码单元420a和420b或者470a和470b。
根据实施例，当图像解码装置100基于划分形状模式信息划分非正方形当前编码单元400或450时，图像解码装置100可考虑非正方形当前编码单元400或450的长边的位置以划分当前编码单元。例如，图像解码装置100可考虑到当前编码单元400或450的形状，通过划分当前编码单元400或450的长边来确定多个编码单元。
根据实施例，当图像解码装置100基于划分形状模式信息对非正方形的当前编码单元400或450进行划分时，图像解码装置100可考虑非正方形的当前编码单元400或450的长边的位置来划分当前编码单元。例如，图像解码装置100可考虑当前编码单元400或450的形状，通过划分当前编码单元400或450的长边来确定多个编码单元。
根据实施例，当划分形状模式信息指示将编码单元划分(三划分)为奇数个块时，图像解码装置100可确定包括在当前编码单元400或450中的奇数个编码单元。例如，当划分形状模式信息指示将当前编码单元400或450划分为三个编码单元时，图像解码装置100可将当前编码单元400或450划分为三个编码单元430a、430b和430c或者480a、480b和480c。
根据实施例，当前编码单元400或450的宽高比可以是4:1或1:4。当宽高比是4:1时，因为宽度的长度比高度的长度长，所以块形状信息可以是水平方向。当宽高比是1:4时，因为宽度的长度比高度的长度短，所以块形状信息可以是垂直方向。图像解码装置100可基于划分形状模式信息确定将当前编码单元划分为奇数个块。此外，图像解码装置100可基于当前编码单元400或450的块形状信息确定当前编码单元400或450的划分方向。例如，当当前编码单元400沿垂直方向时，图像解码装置100可通过沿水平方向划分当前编码单元400来确定编码单元430a至430c。此外，当当前编码单元450沿水平方向时，图像解码装置100可通过沿垂直方向划分当前编码单元450来确定编码单元480a至480c。
根据实施例，图像解码装置100可确定包括在当前编码单元400或450中的奇数个编码单元，并且并非所有确定的编码单元可具有相同的尺寸。例如，确定的奇数个编码单元430a、430b和430c或者480a、480b和480c中的特定编码单元430b或480b的尺寸可与其他编码单元430a和430c或者480a和480c的尺寸不同。也就是说，可通过划分当前编码单元400或450而确定的编码单元可具有多种尺寸，并且在某些情况下，所有奇数个编码单元430a、430b和430c或者480a、480b和480c可具有不同的尺寸。
根据实施例，当划分形状模式信息指示将编码单元划分为奇数个块时，图像解码装置100可确定包括在当前编码单元400或450中的奇数个编码单元，并且此外，可对通过划分当前编码单元400或450生成的奇数个编码单元中的至少一个编码单元施加特定限制。参照图4，图像解码装置100可将关于编码单元430b或480b的解码处理设置为与其他编码单元430a和430c或者480a和480c的解码处理不同，其中，编码单元430b或480b位于当前编码单元400或450被划分时生成的三个编码单元430a、430b和430c或者480a、480b和480c中的中心处。例如，与其他编码单元430a和430c或者480a和480c不同，图像解码装置100可将中心位置处的编码单元430b或480b限制为不再被划分或仅被划分特定次数。
图5示出根据实施例的由图像解码装置100执行的基于块形状信息和划分形状模式信息中的至少一个划分编码单元的处理。
根据实施例，图像解码装置100可基于块形状信息和划分形状模式信息中的至少一个，确定将正方形的第一编码单元500划分为编码单元或不对正方形的第一编码单元500进行划分。根据实施例，当划分形状模式信息指示在水平方向上划分第一编码单元500时，图像解码装置100可通过在水平方向上划分第一编码单元500来确定第二编码单元510。根据实施例使用的第一编码单元、第二编码单元和第三编码单元是用于理解在划分编码单元之前和在划分编码单元之后的关系的术语。例如，可通过划分第一编码单元来确定第二编码单元，并且可通过划分第二编码单元来确定第三编码单元。将理解，第一编码单元、第二编码单元和第三编码单元的结构遵循以上描述。
根据实施例，图像解码装置100可基于划分形状模式信息确定将确定的第二编码单元510划分为编码单元或不对确定的第二编码单元510进行划分。参照图5，图像解码装置100可基于划分形状模式信息将通过划分第一编码单元500而确定的非正方形的第二编码单元510划分为一个或更多个第三编码单元520a、或者520b、520c和520d，或者不划分第二编码单元510。图像解码装置100可获得划分形状模式信息，并可通过基于获得的划分形状模式信息划分第一编码单元500来获得多个各种形状的第二编码单元(例如，510)，并且可通过基于划分形状模式信息使用第一编码单元500的划分方法来划分第二编码单元510。根据实施例，当基于第一编码单元500的划分形状模式信息将第一编码单元500划分为第二编码单元510时，也可基于第二编码单元510的划分形状模式信息将第二编码单元510划分为第三编码单元520a、或者520b、520c和520d。也就是说，可基于每个编码单元的划分形状模式信息来递归地划分编码单元。因此，可通过划分非正方形编码单元来确定正方形编码单元，并且可通过递归地划分正方形编码单元来确定非正方形编码单元。
参照图5，通过划分非正方形的第二编码单元510而确定的奇数个第三编码单元520b、520c和520d中的特定编码单元(例如，中心位置处的编码单元或正方形编码单元)可被递归地划分。根据实施例，可沿水平方向将奇数个第三编码单元520b、520c和520d中的正方形的第三编码单元520c划分为多个第四编码单元。多个第四编码单元530a、530b、530c和530d中的非正方形的第四编码单元530b或530d可再次被划分为多个编码单元。例如，非正方形的第四编码单元530b或530d可再次被划分为奇数个编码单元。下面将关于各种实施例描述可被用于递归地划分编码单元的方法。
根据实施例，图像解码装置100可基于划分形状模式信息将第三编码单元520a、或者520b、520c和520d中的每一个划分为编码单元。此外，图像解码装置100可基于划分形状模式信息确定不对第二编码单元510进行划分。根据实施例，图像解码装置100可将非正方形的第二编码单元510划分为奇数个第三编码单元520b、520c和520d。图像解码装置100可对奇数个第三编码单元520b、520c和520d中的特定第三编码单元施加特定限制。例如，图像解码装置100可将奇数个第三编码单元520b、520c和520d中的中心位置处的第三编码单元520c限制为不再被划分或被划分可设定的次数。
参照图5，图像解码装置100可将非正方形的第二编码单元510中所包括的奇数个第三编码单元520b、520c和520d中的中心位置处的第三编码单元520c限制为不再被划分、限制为通过使用特定划分方法被划分(例如，仅被划分为四个编码单元或通过使用第二编码单元510的划分方法被划分)或者限制为仅被划分特定次数(例如，仅被划分n次(其中，n>0))。然而，对中心位置处的第三编码单元520c的限制不限于上述示例，并且可包括用于与其他第三编码单元520b和520d不同地对中心位置处的第三编码单元520c进行解码的各种限制。
根据实施例，图像解码装置100可从当前编码单元中的特定位置获得被用于对当前编码单元进行划分的划分形状模式信息。
图6示出根据实施例的由图像解码装置执行的从奇数个编码单元中确定特定编码单元的方法。
参照图6，可从当前编码单元600或650中包括的多个样点中的特定位置的样点(例如，中心位置的样点640或690)获得当前编码单元600或650的划分形状模式信息。然而，当前编码单元600中的可获得至少一条划分形状模式信息的特定位置不限于图6中的中心位置，并且可包括当前编码单元600中包括的各种位置(例如，上方、下方、左侧、右侧、左上方、左下方、右上方和右下方位置)。图像解码装置100可从特定位置获得划分形状模式信息，并且可确定将当前编码单元划分为各种形状和各种尺寸的编码单元或者不对当前编码单元进行划分。
根据实施例，在当前编码单元被划分为特定数量的编码单元时，图像解码装置100可选择编码单元中的一个编码单元。如下面将关于各种实施例描述的，各种方法可被用于选择多个编码单元中的一个。
根据实施例，图像解码装置100可将当前编码单元划分为多个编码单元，并且可确定特定位置处的编码单元。
根据实施例，图像解码装置100可使用指示奇数个编码单元的位置的信息，以确定奇数个编码单元中的中心位置处的编码单元。参照图6，图像解码装置100可通过划分当前编码单元600或当前编码单元650来确定奇数个编码单元620a、620b和620c或者奇数个编码单元660a、660b和660c。图像解码装置100可通过使用关于奇数个编码单元620a、620b和620c或者奇数个编码单元660a、660b和660c的位置的信息来确定中间编码单元620b或中间编码单元660b。例如，图像解码装置100可通过基于指示包括在编码单元620a、620b和620c中的特定样点的位置的信息确定编码单元620a、620b和620c的位置，来确定中心位置的编码单元620b。详细地，图像解码装置100可通过基于指示编码单元620a、620b和620c的左上样点630a、630b和630c的位置的信息确定编码单元620a、620b和620c的位置，来确定中心位置处的编码单元620b。
根据实施例，指示分别包括在编码单元620a、620b和620c中的左上样点630a、630b和630c的位置的信息可包括关于编码单元620a、620b和620c在画面中的位置或坐标的信息。根据实施例，指示分别包括在编码单元620a、620b和620c中的左上样点630a、630b和630c的位置的信息可包括指示当前编码单元600中包括的编码单元620a、620b和620c的宽度或高度的信息，并且所述宽度或高度可与指示编码单元620a、620b和620c在画面中的坐标之间的差的信息对应。也就是说，图像解码装置100可通过直接使用关于编码单元620a、620b和620c在画面中的位置或坐标的信息或者通过使用关于编码单元的与坐标之间的差值对应的宽度或高度的信息来确定中心位置处的编码单元620b。
根据实施例，指示上方编码单元620a的左上样点630a的位置的信息可包括坐标(xa,ya)，指示中间编码单元620b的左上样点630b的位置的信息可包括坐标(xb,yb)，指示下方编码单元620c的左上样点630c的位置的信息可包括坐标(xc,yc)。图像解码装置100可通过使用分别包括在编码单元620a、620b和620c中的左上样点630a、630b和630c的坐标来确定中间编码单元620b。例如，当左上样点630a、630b和630c的坐标按照升序或降序被排序时，可将包括中心位置处的样点630b的坐标(xb,yb)的编码单元620b确定为通过划分当前编码单元600确定的编码单元620a、620b和620c中的中心位置处的编码单元。然而，指示左上样点630a、630b和630c的位置的坐标可包括指示画面中的绝对位置的坐标，或者可使用指示中间编码单元620b的左上样点630b相对于上方编码单元620a的左上样点630a的位置的相对位置的坐标(dxb,dyb)和指示下方编码单元620c的左上样点630c相对于上方编码单元620a的左上样点630a的位置的相对位置的坐标(dxc,dyc)。通过将包括在编码单元中的样点的坐标用作指示样点的位置的信息来确定特定位置处的编码单元的方法不限于上述方法，并且可包括能够使用样点的坐标的各种算术方法。
根据实施例，图像解码装置100可将当前编码单元600划分为多个编码单元620a、620b和620c，并且可基于特定标准选择编码单元620a、620b和620c中的一个编码单元。例如，图像解码装置100可从编码单元620a、620b和620c中选择尺寸与其他编码单元的尺寸不同的编码单元620b。
根据实施例，图像解码装置100可通过使用作为指示上方编码单元620a的左上样点630a的位置的信息的坐标(xa,ya)、作为指示中间编码单元620b的左上样点630b的位置的信息的坐标(xb,yb)和作为指示下方编码单元620c的左上样点630c的位置的信息的坐标(xc,yc)来确定编码单元620a、620b和620c中的每一个的宽度或高度。图像解码装置100可通过使用指示编码单元620a、620b和620c的位置的坐标(xa,ya)、(xb,yb)和(xc,yc)来确定编码单元620a、620b和620c各自的尺寸。根据实施例，图像解码装置100可将上方编码单元620a的宽度确定为当前编码单元600的宽度。图像解码装置100可将上方编码单元620a的高度确定为yb-ya。根据实施例，图像解码装置100可将中间编码单元620b的宽度确定为当前编码单元600的宽度。图像解码装置100可将中间编码单元620b的高度确定为yc-yb。根据实施例，图像解码装置100可通过使用当前编码单元600的宽度或高度或者上方编码单元620a和中间编码单元620b的宽度或高度来确定下方编码单元620c的宽度或高度。图像解码装置100可基于确定的编码单元620a至620c的宽度和高度来确定具有与其他编码单元的尺寸不同的尺寸的编码单元。参照图6，图像解码装置100可将具有与上方编码单元620a和下方编码单元620c的尺寸不同的尺寸的中间编码单元620b确定为特定位置的编码单元。然而，上述由图像解码装置100执行的确定具有与其他编码单元的尺寸不同的尺寸的编码单元的方法仅与通过使用基于样点的坐标确定的编码单元的尺寸来确定特定位置处的编码单元的示例对应，并且因此，可使用通过对基于特定样点的坐标确定的编码单元的尺寸进行比较来确定特定位置处的编码单元的各种方法。
图像解码装置100可通过使用作为指示左侧编码单元660a的左上样点670a的位置的信息的坐标(xd,yd)、作为指示中间编码单元660b的左上样点670b的位置的信息的坐标(xe,ye)以及作为指示右侧编码单元660c的左上样点670c的位置的信息的坐标(xf,yf)来确定编码单元660a、660b和660c中的每一个的宽度或高度。图像解码装置100可通过使用指示编码单元660a、660b和660c的位置的坐标(xd,yd)、(xe,ye)和(xf,yf)来确定编码单元660a、660b和660c的各自的尺寸。
根据实施例，图像解码装置100可将左侧编码单元660a的宽度确定为xe-xd。图像解码装置100可将左侧编码单元660a的高度确定为当前编码单元650的高度。根据实施例，图像解码装置100可将中间编码单元660b的宽度确定为xf-xe。图像解码装置100可将中间编码单元660b的高度确定为当前编码单元650的高度。根据实施例，图像解码装置100可通过使用当前编码单元650的宽度或高度或者左侧编码单元660a和中间编码单元660b的宽度或高度来确定右侧编码单元660c的宽度或高度。图像解码装置100可基于确定的编码单元660a至660c的宽度和高度来确定具有与其他编码单元的尺寸不同的尺寸的编码单元。参照图6，图像解码装置100可将具有与左侧编码单元660a和右侧编码单元660c的尺寸不同的尺寸的中间编码单元660b确定为特定位置的编码单元。然而，由图像解码装置100执行的确定具有与其他编码单元的尺寸不同的尺寸的编码单元的上述方法仅与通过使用基于样点的坐标确定的编码单元的尺寸来确定特定位置处的编码单元的示例对应，并且因此可使用通过对基于特定样点的坐标确定的编码单元的尺寸进行比较来确定特定位置处的编码单元的各种方法。
然而，确定编码单元的位置所考虑的样点的位置不限于上述的左上位置，并且可使用关于包括在编码单元中的样点的任意位置的信息。
根据实施例，图像解码装置100可考虑当前编码单元的形状，从通过划分当前编码单元确定的奇数个编码单元中选择特定位置处的编码单元。例如，在当前编码单元具有宽度大于高度的非正方形形状时，图像解码装置100可确定沿水平方向的特定位置处的编码单元。也就是说，图像解码装置100可确定沿水平方向的不同位置处的编码单元中的一个编码单元并对该编码单元施加限制。在当前编码单元具有高度大于宽度的非正方形形状时，图像解码装置100可确定沿垂直方向的特定位置处的编码单元。也就是说，图像解码装置100可确定沿垂直方向的不同位置处的编码单元中的一个编码单元，并且可对该编码单元施加限制。
根据实施例，图像解码装置100可使用指示偶数个编码单元的各个位置的信息，以确定偶数个编码单元中的特定位置处的编码单元。图像解码装置100可通过划分(二划分)当前编码单元来确定偶数个编码单元，并且可通过使用关于偶数个编码单元的位置的信息来确定特定位置处的编码单元。与其相关的操作可与已经在上面关于图6详细描述的确定奇数个编码单元中的特定位置(例如，中心位置)处的编码单元的操作对应，并且因此这里不提供其详细描述。
根据实施例，当将非正方形的当前编码单元划分为多个编码单元时，可在划分操作中使用关于特定位置处的编码单元的特定信息来确定多个编码单元中的特定位置处的编码单元。例如，图像解码装置100可在划分操作中使用中间编码单元中包括的样点中所存储的块形状信息和划分形状模式信息中的至少一个来确定通过划分当前编码单元所确定的多个编码单元中的中心位置处的编码单元。
参照图6，图像解码装置100可基于划分形状模式信息将当前编码单元600划分为多个编码单元620a、620b和620c，并且可确定多个编码单元620a、620b和620c中的中心位置处的编码单元620b。此外，图像解码装置100可考虑获得划分形状模式信息的位置来确定中心位置处的编码单元620b。也就是说，可从当前编码单元600的中心位置处的样点640获得当前编码单元600的划分形状模式信息，并且当基于划分形状模式信息将当前编码单元600划分为多个编码单元620a、620b和620c时，可将包括样点640的编码单元620b确定为中心位置处的编码单元。然而，用于确定中心位置处的编码单元的信息不限于划分形状模式信息，并且可使用各种类型的信息确定中心位置处的编码单元。
根据实施例，可从包括在将被确定的编码单元中的特定样点获得用于标识特定位置处的编码单元的特定信息。参照图6，图像解码装置100可使用从当前编码单元600中的特定位置处的样点(例如，当前编码单元600的中心位置处的样点)获得的划分形状模式信息来确定通过划分当前编码单元600确定的多个编码单元620a、620b和620c中的特定位置处的编码单元(例如，划分出的多个编码单元中的中心位置处的编码单元)。也就是说，图像解码装置100可通过考虑当前编码单元600的块形状来确定特定位置处的样点，从通过划分当前编码单元600确定的多个编码单元620a、620b和620c中确定包括可获得特定信息(例如，划分形状模式信息)的样点的编码单元620b，并且可对编码单元620b施加特定限制。参照图6，根据实施例，在解码操作中，图像解码装置100可将当前编码单元600的中心位置处的样点640确定为可获得特定信息的样点，并且可对包括样点640的编码单元620b施加特定限制。然而，可获得特定信息的样点的位置不限于上述位置，并且可包括编码单元620b中所包括的将被确定为用于限制的样点的任意位置。
根据实施例，可基于当前编码单元600的形状确定可获得特定信息的样点的位置。根据实施例，块形状信息可指示当前编码单元是具有正方形形状还是具有非正方形形状，并且可基于该形状确定可获得特定信息的样点的位置。例如，图像解码装置100可通过使用关于当前编码单元的宽度的信息和关于当前编码单元的高度的信息中的至少一个将位于用于将当前编码单元的宽度和高度中的至少一个对半划分的边界上的样点确定为可获得特定信息的样点。作为另一示例，在当前编码单元的块形状信息指示非正方形形状时，图像解码装置100可将与用于将当前编码单元的长边对半划分的边界相邻的样点中的一个样点确定为可获得特定信息的样点。
根据实施例，在当前编码单元被划分为多个编码单元时，图像解码装置100可使用划分形状模式信息来确定多个编码单元中的特定位置处的编码单元。根据实施例，图像解码装置100可从编码单元中的特定位置处的样点获得划分形状模式信息，并且通过使用从多个编码单元中的每个编码单元中的特定位置的样点获得的划分形状模式信息对通过划分当前编码单元生成的多个编码单元进行划分。也就是说，可基于从每个编码单元中的特定位置处的样点获得的划分形状模式信息递归地划分编码单元。上面已经关于图5描述了递归地划分编码单元的操作，并且因此这里将不提供其详细描述。
根据实施例，图像解码装置100可通过划分当前编码单元确定一个或更多个编码单元，并且可基于特定块(例如，当前编码单元)确定对所述一个或更多个编码单元进行解码的顺序。
图7示出根据实施例的当图像解码装置通过划分当前编码单元确定多个编码单元时对所述多个编码单元进行处理的顺序。
根据实施例，图像解码装置100可基于划分形状模式信息，通过在垂直方向上划分第一编码单元700来确定第二编码单元710a和710b，通过在水平方向上划分第一编码单元700来确定第二编码单元730a和730b，或者通过在垂直方向和水平方向上划分第一编码单元700来确定第二编码单元750a至750d。
参照图7，图像解码装置100可确定按照水平方向顺序710c对通过在垂直方向上划分第一编码单元700所确定的第二编码单元710a和710b进行处理。图像解码装置100可确定按照垂直方向顺序730c对通过在水平方向上划分第一编码单元700所确定的第二编码单元730a和730b进行处理。图像解码装置100可确定按照特定顺序(例如，按照光栅扫描顺序或Z字形扫描顺序750e)对通过在垂直方向和水平方向上划分第一编码单元700而确定的第二编码单元750a至750d进行处理，其中，按照所述特定顺序(例如，按照光栅扫描顺序或Z字形扫描顺序750e)对一行中的编码单元进行处理然后对下一行中的编码单元进行处理。
根据实施例，图像解码装置100可递归地划分编码单元。参照图7，图像解码装置100可通过划分第一编码单元700来确定多个编码单元710a和710b、730a和730b或者750a至750d，并且递归地划分确定的多个编码单元710a和710b、730a和730b或者750a至750d中的每一个。多个编码单元710a和710b、730a和730b或者750a至750d的划分方法可对应于第一编码单元700的划分方法。如此，多个编码单元710a和710b、730a和730b或者750a至750d中的每一个可被独立地划分为多个编码单元。参照图7，图像解码装置100可通过在垂直方向上划分第一编码单元700来确定第二编码单元710a和710b，并且可确定独立地划分或者不划分第二编码单元710a和710b中的每一个。
根据实施例，图像解码装置100可通过在水平方向上对左侧第二编码单元710a进行划分来确定第三编码单元720a和720b，并且可不对右侧第二编码单元710b进行划分。
根据实施例，可基于划分编码单元的操作来确定编码单元的处理顺序。换句话说，可基于紧接在被划分之前的编码单元的处理顺序来确定划分后的编码单元的处理顺序。图像解码装置100可独立于右侧第二编码单元710b来确定通过划分左侧第二编码单元710a所确定的第三编码单元720a和720b的处理顺序。因为通过在水平方向上划分左侧第二编码单元710a来确定第三编码单元720a和720b，所以可按照垂直方向顺序720c对第三编码单元720a和720b进行处理。因为左侧第二编码单元710a和右侧第二编码单元710b按照水平方向顺序710c被处理，所以可在按照垂直方向顺序720c对左侧第二编码单元710a中包括的第三编码单元720a和720b进行处理之后对右侧第二编码单元710b进行处理。基于划分之前的编码单元来确定编码单元的处理顺序的操作不限于上述示例，并且可使用各种方法按照特定顺序独立地处理被划分并被确定为各种形状的编码单元。
图8示出根据实施例的由图像解码装置执行的当不能按照特定顺序对编码单元进行处理时确定当前编码单元将被划分为奇数个编码单元的处理。
根据实施例，图像解码装置100可基于获得的划分形状模式信息确定当前编码单元是否将被划分为奇数个编码单元。参照图8，正方形的第一编码单元800可被划分为非正方形的第二编码单元810a和810b，并且第二编码单元810a和810b可被独立地划分为第三编码单元820a和820b以及820c至820e。根据实施例，图像解码装置100可通过在水平方向上划分左侧第二编码单元810a来确定多个第三编码单元820a和820b，并且可将右侧第二编码单元810b划分为奇数个第三编码单元820c至820e。
根据实施例，图像解码装置100可通过确定第三编码单元820a和820b以及820c至820e是否可按照特定顺序处理，来确定任意编码单元是否被划分为奇数个编码单元。参照图8，图像解码装置100可通过递归地划分第一编码单元800来确定第三编码单元820a和820b以及820c至820e。图像解码装置100可基于块形状信息和划分形状模式信息中的至少一个确定以下编码单元中的任意一个是否被划分为奇数个编码单元：第一编码单元800、第二编码单元810a和810b以及第三编码单元820a和820b及820c至820e。例如，第二编码单元810a和810b中的右侧第二编码单元810b可被划分为奇数个第三编码单元820c、820d和820e。第一编码单元800中包括的多个编码单元的处理顺序可以是特定顺序(例如，Z字形扫描顺序830)，图像解码装置100可确定通过将右侧第二编码单元810b划分为奇数个编码单元所确定的第三编码单元820c、820d和820e是否满足用于按照特定顺序进行处理的条件。
根据实施例，图像解码装置100可确定第一编码单元800中包括的第三编码单元820a和820b以及820c至820e是否满足用于按照特定顺序进行处理的条件，并且该条件与第二编码单元810a和810b的宽度和高度中的至少一个是否沿着第三编码单元820a和820b以及820c至820e的边界被对半划分有关。例如，当将非正方形形状的左侧第二编码单元810a的高度对半划分时确定的第三编码单元820a和820b可满足所述条件。因为当将右侧第二编码单元810b划分为三个编码单元时确定的第三编码单元820c至820e的边界未能将右侧第二编码单元810b的宽度或高度对半划分，所以可确定第三编码单元820c至820e不满足所述条件。当如上所述不满足所述条件时，图像解码装置100可确定扫描顺序不连续，并且可基于确定结果来确定将右侧第二编码单元810b划分为奇数个编码单元。根据实施例，当编码单元被划分为奇数个编码单元时，图像解码装置100可对划分出的编码单元中的特定位置处的编码单元施加特定限制。上面已经关于各种实施例描述了所述限制或所述特定位置，因此这里将不提供其详细描述。
图9示出根据实施例的由图像解码装置执行的通过划分第一编码单元确定至少一个编码单元的处理。
根据实施例，图像解码装置100可基于通过接收器110获得的划分形状模式信息对第一编码单元900进行划分。正方形的第一编码单元900可被划分为四个正方形编码单元，或者可被划分为多个非正方形编码单元。例如，参照图9，当划分形状模式信息指示将第一编码单元900划分为非正方形编码单元时，图像解码装置100可将第一编码单元900划分为多个非正方形编码单元。详细地，当划分形状模式信息指示通过在水平方向或垂直方向上划分第一编码单元900来确定奇数个编码单元时，图像解码装置100可将正方形的第一编码单元900划分为奇数个编码单元(例如，通过在垂直方向上划分正方形的第一编码单元900而确定的第二编码单元910a、910b和910c，或者通过在水平方向上划分正方形的第一编码单元900而确定的第二编码单元920a、920b和920c)。
根据实施例，图像解码装置100可确定包括在第一编码单元900中的第二编码单元910a、910b、910c、920a、920b和920c是否满足用于按照特定顺序进行处理的条件，并且该条件与第一编码单元900的宽度和高度中的至少一个是否沿着第二编码单元910a、910b、910c、920a、920b和920c的边界被对半划分相关。参照图9，因为通过在垂直方向上划分正方形的第一编码单元900而确定的第二编码单元910a、910b和910c的边界未将第一编码单元900的宽度对半划分，所以可确定第一编码单元900不满足用于按照特定顺序进行处理的条件。此外，因为通过在水平方向上划分正方形的第一编码单元900而确定的第二编码单元920a、920b和920c的边界未将第一编码单元900的高度对半划分，所以可确定第一编码单元900不满足用于按照特定顺序进行处理的条件。当如上所述不满足所述条件时，图像解码装置100可确定扫描顺序不连续，并且可基于确定结果确定将第一编码单元900划分为奇数个编码单元。根据实施例，当编码单元被划分为奇数个编码单元时，图像解码装置100可对划分出的编码单元中的特定位置处的编码单元施加特定限制。上面已经关于各种实施例描述了所述限制或所述特定位置，因此这里将不提供其详细描述。
根据实施例，图像解码装置100可通过划分第一编码单元来确定各种形状的编码单元。
参照图9，图像解码装置100可将正方形的第一编码单元900或非正方形的第一编码单元930或950划分为各种形状的编码单元。
图10示出根据实施例的当在图像解码装置划分第一编码单元时确定的具有非正方形形状的第二编码单元满足特定条件时第二编码单元可被划分为的形状受到限制。
根据实施例，图像解码装置100可基于由接收器110获得的划分形状模式信息来确定将正方形的第一编码单元1000划分为非正方形的第二编码单元1010a和1010b或者1020a和1020b。第二编码单元1010a和1010b或者1020a和1020b可被独立地划分。如此，基于第二编码单元1010a和1010b或者1020a和1020b中的每一个的划分形状模式信息，图像解码装置100可确定将第二编码单元1010a和1010b或者1020a和1020b中的每一个划分为多个编码单元或不对第二编码单元1010a和1010b或者1020a和1020b中的每一个进行划分。根据实施例，图像解码装置100可通过在水平方向上对通过在垂直方向上划分第一编码单元1000而确定的非正方形的左侧第二编码单元1010a进行划分，来确定第三编码单元1012a和1012b。然而，当左侧第二编码单元1010a在水平方向上被划分时，图像解码装置100可限制右侧第二编码单元1010b不在左侧第二编码单元1010a被划分的水平方向上被划分。当通过在相同方向上划分右侧第二编码单元1010b来确定第三编码单元1014a和1014b时，因为左侧第二编码单元1010a和右侧第二编码单元1010b在水平方向上被独立地划分，所以可确定第三编码单元1012a和1012b或者1014a和1014b。然而，这种情况与图像解码装置100基于划分形状模式信息将第一编码单元1000划分为四个正方形的第二编码单元1030a、1030b、1030c和1030d的情况作用相同，并且在图像解码方面可能是低效的。
根据实施例，图像解码装置100可通过在垂直方向上对通过在水平方向上划分第一编码单元1000而确定的非正方形的第二编码单元1020a或1020b进行划分，来确定第三编码单元1022a和1022b或者1024a和1024b。然而，当第二编码单元(例如，上方第二编码单元1020a)在垂直方向上被划分时，出于上述原因，图像解码装置100可限制另一第二编码单元(例如，下方第二编码单元1020b)不在上方第二编码单元1020a被划分的垂直方向上被划分。
图11示出根据实施例的由图像解码装置执行的当划分形状模式信息不能指示正方形编码单元被划分为四个正方形编码单元时对正方形编码单元进行划分的处理。
根据实施例，图像解码装置100可通过基于划分形状模式信息对第一编码单元1100进行划分来确定第二编码单元1110a和1110b或者1120a和1120b等。划分形状模式信息可包括关于划分编码单元的各种方法的信息，但是关于各种划分方法的信息可不包括用于将编码单元划分为四个正方形编码单元的信息。根据这样的划分形状模式信息，图像解码装置100可不将正方形的第一编码单元1100划分为四个正方形的第二编码单元1130a、1130b、1130c和1130d。图像解码装置100可基于划分形状模式信息确定非正方形的第二编码单元1110a和1110b或者1120a和1120b等。
根据实施例，图像解码装置100可独立地划分非正方形的第二编码单元1110a和1110b或者1120a和1120b等。第二编码单元1110a、1110b、1120a、1120b等中的每一个可按照特定顺序被递归地划分，并且该划分方法可与基于划分形状模式信息来划分第一编码单元1100的方法对应。
例如，图像解码装置100可通过在水平方向上划分左侧第二编码单元1110a来确定正方形的第三编码单元1112a和1112b，并且可通过在水平方向上划分右侧第二编码单元1110b来确定正方形的第三编码单元1114a和1114b。此外，图像解码装置100可通过在水平方向上划分左侧第二编码单元1110a和右侧第二编码单元1110b两者来确定正方形的第三编码单元1116a、1116b、1116c和1116d。在这种情况下，与从第一编码单元1100划分出的四个正方形的第二编码单元1130a、1130b、1130c和1130d具有相同形状的编码单元可被确定。
作为另一示例，图像解码装置100可通过在垂直方向上划分上方第二编码单元1120a来确定正方形的第三编码单元1122a和1122b，并且可通过在垂直方向上划分下方第二编码单元1120b来确定正方形的第三编码单元1124a和1124b。此外，图像解码装置100可通过在垂直方向上划分上方第二编码单元1120a和下方第二编码单元1120b两者来确定正方形的第三编码单元1126a、1126b、1126c和1126d。在这种情况下，与从第一编码单元1100划分出的四个正方形的第二编码单元1130a、1130b、1130c和1130d具有相同形状的编码单元可被确定。
图12示出根据实施例的多个编码单元之间的处理顺序可根据划分编码单元的处理而改变。
根据实施例，图像解码装置100可基于划分形状模式信息对第一编码单元1200进行划分。当块形状指示正方形形状并且划分形状模式信息指示在水平方向和垂直方向中的至少一个上划分第一编码单元1200时，图像解码装置100可通过划分第一编码单元1200来确定第二编码单元1210a和1210b或者1220a和1220b等。参照图12，通过仅在水平方向或垂直方向上划分第一编码单元1200而确定的非正方形的第二编码单元1210a和1210b或者1220a和1220b可基于每个编码单元的划分形状模式信息被独立地划分。例如，图像解码装置100可通过在水平方向上对通过在垂直方向上划分第一编码单元1200而生成的第二编码单元1210a和1210b进行划分来确定第三编码单元1216a、1216b、1216c和1216d，并且可通过在垂直方向上对通过在水平方向上划分第一编码单元1200而生成的第二编码单元1220a和1220b进行划分来确定第三编码单元1226a和1226b或者1226c和1226d。上面已经关于图11描述了划分第二编码单元1210a、1210b、1220a和1220b的操作，因此这里将不提供其详细描述。
根据实施例，图像解码装置100可按照特定顺序处理编码单元。上面已经关于图7描述了按照特定顺序处理编码单元的操作，因此这里将不提供其详细描述。参照图12，图像解码装置100可通过划分正方形的第一编码单元1200，确定四个正方形的第三编码单元1216a、1216b、1216c和1216d以及1226a、1226b、1226c和1226d。根据实施例，图像解码装置100可基于第一编码单元1200的划分方法确定第三编码单元1216a、1216b、1216c和1216d以及1226a、1226b、1226c和1226d的处理顺序。
根据实施例，图像解码装置100可通过在水平方向上对通过在垂直方向上划分第一编码单元1200而生成的第二编码单元1210a和1210b进行划分来确定第三编码单元1216a、1216b、1216c和1216d，并且可按照如下处理顺序1217处理第三编码单元1216a、1216b、1216c和1216d：首先在垂直方向上处理左侧第二编码单元1210a中包括的第三编码单元1216a和1216c，然后在垂直方向上处理右侧第二编码单元1210b中包括的第三编码单元1216b和1216d。
根据实施例，图像解码装置100可通过在垂直方向上对通过在水平方向上划分第一编码单元1200而生成的第二编码单元1220a和1220b进行划分来确定第三编码单元1226a、1226b、1226c和1226d，并且可按照如下处理顺序1227处理第三编码单元1226a、1226b、1226c和1226d：首先在水平方向上处理上方第二编码单元1220a中包括的第三编码单元1226a和1226b，然后在水平方向上处理下方第二编码单元1220b中包括的第三编码单元1226c和1226d。
参照图12，可通过分别划分第二编码单元1210a和1210b以及1220a和1220b来确定正方形的第三编码单元1216a、1216b、1216c和1216d以及1226a、1226b、1226c和1226d。尽管通过在垂直方向上划分第一编码单元1200确定的第二编码单元1210a和1210b与通过在水平方向上划分第一编码单元1200确定的第二编码单元1220a和1220b不同，但是从第二编码单元1210a和1210b以及第二编码单元1220a和1220b划分出的第三编码单元1216a、1216b、1216c和1216d以及1226a、1226b、1226c和1226d最终示出从第一编码单元1200划分出的相同形状的编码单元。如此，通过基于划分形状模式信息以不同的方式递归地划分编码单元，即使最终将编码单元确定为相同的形状，图像解码装置100也可按照不同顺序对多个编码单元进行处理。
图13示出根据实施例的当递归地划分编码单元使得多个编码单元被确定时随着编码单元的形状和尺寸改变，确定编码单元的深度的处理。
根据实施例，图像解码装置100可基于特定标准确定编码单元的深度。例如，特定标准可以是编码单元的长边的长度。当被划分之前的编码单元的长边的长度是划分后的当前编码单元的长边的长度的2n(n>0)倍时，图像解码装置100可确定当前编码单元的深度比划分之前的编码单元的深度增大n。在下面的描述中，具有增大的深度的编码单元被表示为更深深度的编码单元。
参照图13，根据实施例，图像解码装置100可通过基于指示正方形形状的块形状信息(例如，块形状信息可被表示为“0：SQUARE”)划分正方形的第一编码单元1300，确定更深深度的第二编码单元1302和第三编码单元1304。假设正方形的第一编码单元1300的尺寸是2N×2N，通过按1/2对第一编码单元1300的宽度和高度进行划分所确定的第二编码单元1302可具有N×N的尺寸。此外，通过按1/2对第二编码单元1302的宽度和高度进行划分所确定的第三编码单元1304可具有N/2×N/2的尺寸。在这种情况下，第三编码单元1304的宽度和高度是第一编码单元1300的宽度和高度的1/4。当第一编码单元1300的深度为D时，宽度和高度是第一编码单元1300的宽度和高度的1/2的第二编码单元1302的深度可以是D+1，并且宽度和高度是第一编码单元1300的宽度和高度的1/4的第三编码单元1304的深度可以是D+2。
根据实施例，图像解码装置100可通过基于指示非正方形形状的块形状信息(例如，块形状信息可被表示为指示高度长于宽度的非正方形形状的“1：NS_VER”，或者可被表示为指示宽度长于高度的非正方形形状的“2：NS_HOR”)划分非正方形的第一编码单元1310或1320来确定更深深度的第二编码单元1312或1322以及第三编码单元1314或1324。
图像解码装置100可通过划分尺寸为N×2N的第一编码单元1310的宽度和高度中的至少一个来确定第二编码单元1302、1312或1322。也就是说，图像解码装置100可通过在水平方向上划分第一编码单元1310来确定尺寸为N×N的第二编码单元1302或尺寸为N×N/2的第二编码单元1322，或者可通过在水平方向和垂直方向上划分第一编码单元1310来确定尺寸为N/2×N的第二编码单元1312。
根据实施例，图像解码装置100可通过划分尺寸为2N×N的第一编码单元1320的宽度和高度中的至少一个来确定第二编码单元1302、1312或1322。也就是说，图像解码装置100可通过在垂直方向上划分第一编码单元1320来确定尺寸为N×N的第二编码单元1302或尺寸为N/2×N的第二编码单元1312，或者可通过在水平方向和垂直方向上划分第一编码单元1320来确定尺寸为N×N/2的第二编码单元1322。
根据实施例，图像解码装置100可通过划分尺寸为N×N的第二编码单元1302的宽度和高度中的至少一个来确定第三编码单元1304、1314或1324。也就是说，图像解码装置100可通过在垂直方向和水平方向上划分第二编码单元1302来确定尺寸为N/2×N/2的第三编码单元1304、尺寸为N/4×N/2的第三编码单元1314或尺寸为N/2×N/4的第三编码单元1324。
根据实施例，图像解码装置100可通过划分尺寸为N/2×N的第二编码单元1312的宽度和高度中的至少一个来确定第三编码单元1304、1314或1324。也就是说，图像解码装置100可通过在水平方向上划分第二编码单元1312来确定尺寸为N/2×N/2的第三编码单元1304或尺寸为N/2×N/4的第三编码单元1324，或者可通过在垂直方向和水平方向上划分第二编码单元1312来确定尺寸为N/4×N/2的第三编码单元1314。
根据实施例，图像解码装置100可通过划分尺寸为N×N/2的第二编码单元1322的宽度和高度中的至少一个来确定第三编码单元1304、1314或1324。也就是说，图像解码装置100可通过在垂直方向上划分第二编码单元1322来确定尺寸为N/2×N/2的第三编码单元1304或尺寸为N/4×N/2的第三编码单元1314，或者可通过在垂直方向和水平方向上划分第二编码单元1322来确定尺寸为N/2×N/4的第三编码单元1324。
根据实施例，图像解码装置100可在水平方向或垂直方向上划分正方形编码单元1300、1302或1304。例如，图像解码装置100可通过在垂直方向上划分尺寸为2N×2N的第一编码单元1300来确定尺寸为N×2N的第一编码单元1310，或者可通过在水平方向上划分第一编码单元1300来确定尺寸为2N×N的第一编码单元1320。根据实施例，当基于编码单元的最长边的长度确定深度时，通过在水平方向或垂直方向上划分尺寸为2N×2N的第一编码单元1300而确定的编码单元的深度可与第一编码单元1300的深度相同。
根据实施例，第三编码单元1314或1324的宽度和高度可以是第一编码单元1310或1320的宽度和高度的1/4。当第一编码单元1310或1320的深度为D时，宽度和高度是第一编码单元1310或1320的宽度和高度的1/2的第二编码单元1312或1322的深度可以是D+1，宽度和高度是第一编码单元1310或1320的宽度和高度的1/4的第三编码单元1314或1324的深度可以是D+2。
图14示出根据实施例的基于编码单元的形状和尺寸可确定的深度以及用于在编码单元之间进行区分的部分索引(PID)。
根据实施例，图像解码装置100可通过划分正方形的第一编码单元1400来确定各种形状的第二编码单元。参照图14，图像解码装置100可通过基于划分形状模式信息在垂直方向和水平方向中的至少一个方向上划分第一编码单元1400来确定第二编码单元1402a和1402b、1404a和1404b、以及1406a、1406b、1406c和1406d。也就是说，图像解码装置100可基于第一编码单元1400的划分形状模式信息来确定第二编码单元1402a和1402b、1404a和1404b、以及1406a、1406b、1406c和1406d。
根据实施例，基于正方形的第一编码单元1400的划分形状模式信息所确定的第二编码单元1402a和1402b、第二编码单元1404a和1404b以及第二编码单元1406a、1406b、1406c和1406d的深度可基于它们的长边的长度来确定。例如，因为正方形的第一编码单元1400的边的长度等于非正方形的第二编码单元1402a和1402b以及1404a和1404b的长边的长度，所以第一编码单元1400和非正方形的第二编码单元1402a和1402b以及1404a和1404b可具有相同的深度，例如D。然而，当图像解码装置100基于划分形状模式信息将第一编码单元1400划分为四个正方形的第二编码单元1406a、1406b、1406c和1406d时，因为正方形的第二编码单元1406a、1406b、1406c和1406d的边的长度是第一编码单元1400的边的长度的1/2，所以第二编码单元1406a、1406b、1406c和1406d的深度可以是比第一编码单元1400的深度D深1的D+1。
根据实施例，图像解码装置100可通过基于划分形状模式信息在水平方向上划分高度长于宽度的第一编码单元1410来确定多个第二编码单元1412a和1412b以及1414a、1414b和1414c。根据实施例，图像解码装置100可通过基于划分形状模式信息在垂直方向上划分宽度长于高度的第一编码单元1420来确定多个第二编码单元1422a和1422b以及1424a、1424b和1424c。
根据实施例，基于非正方形的第一编码单元1410或1420的划分形状模式信息所确定的第二编码单元1412a和1412b以及1414a、1414b和1414c或者1422a和1422b以及1424a、1424b和1424c的深度可基于它们的长边的长度来确定。例如，因为正方形的第二编码单元1412a和1412b的边的长度是具有高度长于宽度的非正方形形状的第一编码单元1410的长边的长度的1/2，所以正方形的第二编码单元1412a和1412b的深度是比非正方形的第一编码单元1410的深度D深1的D+1。
此外，图像解码装置100可基于划分形状模式信息将非正方形的第一编码单元1410划分为奇数个第二编码单元1414a、1414b和1414c。奇数个第二编码单元1414a、1414b和1414c可包括非正方形的第二编码单元1414a和1414c以及正方形的第二编码单元1414b。在这种情况下，因为非正方形的第二编码单元1414a和1414c的长边的长度以及正方形的第二编码单元1414b的边的长度是第一编码单元1410的长边的长度的1/2，所以第二编码单元1414a、1414b和1414c的深度可以是比非正方形的第一编码单元1410的深度D深1的D+1。图像解码装置100可通过使用上述确定从第一编码单元1410划分出的编码单元的深度的方法，确定从具有宽度长于高度的非正方形形状的第一编码单元1420划分出的编码单元的深度。
根据实施例，当奇数个划分出的编码单元不具有相等的尺寸时，图像解码装置100可基于编码单元之间的尺寸比例来确定用于识别划分出的编码单元的PID。参照图14，奇数个划分出的编码单元1414a、1414b和1414c中的中心位置的编码单元1414b的宽度可等于其他编码单元1414a和1414c的宽度并且其高度可以是其他编码单元1414a和1414c的高度的两倍。也就是说，在这种情况下，中心位置处的编码单元1414b可包括两个其它编码单元1414a或1414c。因此，当中心位置处的编码单元1414b的PID基于扫描顺序而为1时，位置与编码单元1414b相邻的编码单元1414c的PID可增加2并且因此可以是3。也就是说，可能存在PID值不连续。根据实施例，图像解码装置100可基于用于识别划分出的编码单元的PID中是否存在不连续，确定奇数个划分出的编码单元是否不具有相等的尺寸。
根据实施例，图像解码装置100可基于用于识别通过划分当前编码单元而确定的多个编码单元的PID值来确定是否使用特定划分方法。参照图14，图像解码装置100可通过划分具有高度长于宽度的矩形形状的第一编码单元1410来确定偶数个编码单元1412a和1412b或奇数个编码单元1414a、1414b和1414c。图像解码装置100可使用指示各个编码单元的PID，以便识别各个编码单元。根据实施例，可从每个编码单元的特定位置的样点(例如，左上样点)获得PID。
根据实施例，图像解码装置100可通过使用用于区分编码单元的PID来确定划分出的编码单元中的特定位置处的编码单元。根据实施例，当具有高度长于宽度的矩形形状的第一编码单元1410的划分形状模式信息指示将编码单元划分为三个编码单元时，图像解码装置100可将第一编码单元1410划分为三个编码单元1414a、1414b和1414c。图像解码装置100可将PID分配给三个编码单元1414a、1414b和1414c中的每一个。图像解码装置100可对奇数个划分出的编码单元的PID进行比较，以确定奇数个划分出的编码单元中的中心位置处的编码单元。图像解码装置100可将具有与编码单元的PID中的中间值对应的PID的编码单元1414b确定为通过划分第一编码单元1410所确定的编码单元中的中心位置处的编码单元。根据实施例，当划分出的编码单元不具有相等的尺寸时，图像解码装置100可基于编码单元之间的尺寸比例确定用于区分划分出的编码单元的PID。参照图14，通过划分第一编码单元1410生成的编码单元1414b的宽度可等于其他编码单元1414a和1414c的宽度，并且其高度可以是其他编码单元1414a和1414c的高度的两倍。在这种情况下，当中心位置处的编码单元1414b的PID是1时，位于与编码单元1414b相邻的编码单元1414c的PID可增加2并且因此可以是3。当如上所述PID未均匀地增大时，图像解码装置100可确定编码单元被划分为多个编码单元，其中，所述多个编码单元包括尺寸与其他编码单元的尺寸不同的编码单元。根据实施例，当划分形状模式信息指示将编码单元划分为奇数个编码单元时，图像解码装置100可按照奇数个编码单元中的特定位置的编码单元(例如，中心位置的编码单元)具有与其他编码单元的尺寸不同的尺寸这样的方式来划分当前编码单元。在这种情况下，图像解码装置100可通过使用编码单元的PID来确定具有不同尺寸的中心位置的编码单元。然而，特定位置的编码单元的PID以及尺寸或位置不限于上述示例，并且可使用编码单元的各种PID以及各种位置和尺寸。
根据实施例，图像解码装置100可使用特定数据单元，其中，在该特定数据单元中，编码单元开始被递归地划分。
图15示出根据实施例的基于画面中包括的多个特定数据单元确定多个编码单元。
根据实施例，特定数据单元可被定义为通过使用划分形状模式信息开始在其中递归地划分编码单元的数据单元。也就是说，特定数据单元可与用于确定从当前画面划分出的多个编码单元的最高深度的编码单元对应。在以下描述中，为了便于描述，特定数据单元被称为参考数据单元。
根据实施例，参考数据单元可具有特定尺寸和特定尺寸形状。根据实施例，参考编码单元可包括M×N个样点。这里，M和N可彼此相等，并且可以是被表示为2的幂的整数。也就是说，参考数据单元可具有正方形形状或非正方形形状，并且可被划分为整数个编码单元。
根据实施例，图像解码装置100可将当前画面划分为多个参考数据单元。根据实施例，图像解码装置100可通过使用针对每个参考数据单元的划分形状模式信息来划分从当前画面划分出的多个参考数据单元。划分参考数据单元的操作可与使用四叉树结构的划分操作对应。
根据实施例，图像解码装置100可预先确定当前画面中包括的参考数据单元所允许的最小尺寸。因此，图像解码装置100可确定尺寸等于或大于最小尺寸的各种参考数据单元，并且可参考确定的参考数据单元，通过使用划分形状模式信息来确定一个或更多个编码单元。
参照图15，图像解码装置100可使用正方形的参考编码单元1500或非正方形的参考编码单元1502。根据实施例，可基于能够包括一个或更多个参考编码单元的各种数据单元(例如，序列、画面、条带、条带片段、并行块、并行块组、最大编码单元等)来确定参考编码单元的形状和尺寸。
根据实施例，图像解码装置100的接收器110可从比特流获得针对各种数据单元中的每个数据单元的参考编码单元形状信息和参考编码单元尺寸信息中的至少一个。上面已经关于图3的划分当前编码单元300的操作描述了将正方形的参考编码单元1500划分为一个或更多个编码单元的操作，并且上面已经关于图4的划分当前编码单元400或450的操作描述了将非正方形的参考编码单元1502划分为一个或更多个编码单元的操作。因此，这里将不提供其详细描述。
根据实施例，图像解码装置100可根据先前基于特定条件确定的一些数据单元，使用用于识别参考编码单元的尺寸和形状的PID来确定参考编码单元的尺寸和形状。也就是说，接收器110可从比特流仅获得用于识别针对每个条带、条带片段、并行块、并行块组或最大编码单元的参考编码单元的尺寸和形状的PID，其中，所述每个条带、条带片段、并行块、并行块组或最大编码单元是各种数据单元(例如，序列、画面、条带、条带片段、并行块、并行块组、最大编码单元等)中的满足特定条件的数据单元(例如，尺寸等于或小于条带的数据单元)。图像解码装置100可通过使用PID确定针对满足特定条件的每个数据单元的参考数据单元的尺寸和形状。当根据具有相对小尺寸的每个数据单元从比特流获得并使用参考编码单元形状信息和参考编码单元尺寸信息时，使用比特流的效率可能不高，因此，仅PID可被获得并被使用，而不是直接获得参考编码单元形状信息和参考编码单元尺寸信息。在这种情况下，可预先确定与用于识别参考编码单元的尺寸和形状的PID对应的参考编码单元的尺寸和形状中的至少一个。也就是说，图像解码装置100可通过基于PID选择参考编码单元的尺寸和形状中的被预先确定的至少一个，确定包括在用作用于获得PID的单元的数据单元中的参考编码单元的尺寸和形状中的至少一个。
根据实施例，图像解码装置100可使用最大编码单元中包括的一个或更多个参考编码单元。也就是说，从画面划分出的最大编码单元可包括一个或更多个参考编码单元，并且可通过递归地划分每个参考编码单元来确定编码单元。根据实施例，最大编码单元的宽度和高度中的至少一个可以是参考编码单元的宽度和高度中的至少一个的整数倍。根据实施例，可通过基于四叉树结构将最大编码单元划分n次来获得参考编码单元的尺寸。也就是说，根据各种实施例，图像解码装置100可通过基于四叉树结构将最大编码单元划分n次来确定参考编码单元，并且可基于块形状信息和划分形状模式信息中的至少一个来划分参考编码单元。
图16示出根据实施例的用作用于确定画面1600中包括的参考编码单元的确定顺序的标准的处理块。
根据实施例，图像解码装置100可确定从画面划分出的一个或更多个处理块。处理块是从画面划分出的包括一个或更多个参考编码单元的数据单元，并且可根据特定顺序确定处理块中包括的所述一个或更多个参考编码单元。也就是说，在每个处理块中确定的一个或更多个参考编码单元的确定顺序可与各种类型的用于确定参考编码单元的顺序中的一个顺序对应，并且可根据处理块变化。针对每个处理块确定的参考编码单元的确定顺序可以是各种顺序(例如，光栅扫描顺序、Z字形扫描、N字形扫描、右上对角扫描、水平扫描和垂直扫描)中的一个，但不限于上述扫描顺序。
根据实施例，图像解码装置100可获得处理块尺寸信息，并且可确定画面中包括的一个或更多个处理块的尺寸。图像解码装置100可从比特流获得处理块尺寸信息，并且可确定画面中包括的一个或更多个处理块的尺寸。处理块的尺寸可以是由处理块尺寸信息指示的数据单元的特定尺寸。
根据实施例，图像解码装置100的接收器110可根据每个特定数据单元从比特流获得处理块尺寸信息。例如，可按照诸如图像、序列、画面、条带或条带片段、并行块或并行块组的数据单元从比特流获得处理块尺寸信息。也就是说，接收器110可根据各种数据单元中的每个数据单元从比特流获得处理块尺寸信息，并且图像解码装置100可通过使用获得的处理块尺寸信息确定从画面划分出的一个或更多个处理块的尺寸。处理块的尺寸可以是参考编码单元的尺寸的整数倍。
根据实施例，图像解码装置100可确定画面1600中包括的处理块1602和1612的尺寸。例如，图像解码装置100可基于从比特流获得的处理块尺寸信息来确定处理块的尺寸。参照图16，根据实施例，图像解码装置100可将处理块1602和1612的宽度确定为参考编码单元的宽度的四倍，并且可将处理块1602和1612的高度确定为参考编码单元的高度的四倍。图像解码装置100可确定一个或更多个处理块中的一个或更多个参考编码单元的确定顺序。
根据实施例，图像解码装置100可基于处理块的尺寸确定画面1600中包括的处理块1602和1612，并且可确定处理块1602和1612中的一个或更多个参考编码单元的确定顺序。根据实施例，确定参考编码单元可包括确定参考编码单元的尺寸。
根据实施例，图像解码装置100可从比特流获得一个或更多个处理块中包括的一个或更多个参考编码单元的确定顺序信息，并且可基于获得的确定顺序信息来确定针对一个或更多个参考编码单元的确定顺序。确定顺序信息可被定义为用于确定处理块中的参考编码单元的顺序或方向。也就是说，可针对每个处理块独立地确定参考编码单元的确定顺序。
根据实施例，图像解码装置100可根据每个特定数据单元从比特流获得参考编码单元的确定顺序信息。例如，接收器110可根据每个数据单元(诸如图像、序列、画面、条带、条带片段、并行块、并行块组或处理块)从比特流获得参考编码单元的确定顺序信息。因为参考编码单元的确定顺序信息指示用于确定处理块中的参考编码单元的顺序，所以可针对包括整数个处理块的每个特定数据单元获得确定顺序信息。
根据实施例，图像解码装置100可基于确定的确定顺序来确定一个或更多个参考编码单元。
根据实施例，接收器110可从比特流获得参考编码单元的确定顺序信息作为与处理块1602和1612相关的信息，并且图像解码装置100可确定处理块1602和1612中包括的一个或更多个参考编码单元的确定顺序，并基于该确定顺序确定画面1600中包括的一个或更多个参考编码单元。参照图16，图像解码装置100可分别确定处理块1602和1612中的一个或更多个参考编码单元的确定顺序1604和1614。例如，当针对每个处理块获得了参考编码单元的确定顺序信息时，可针对处理块1602和1612获得参考编码单元的不同类型的确定顺序信息。当处理块1602中的参考编码单元的确定顺序1604是光栅扫描顺序时，可根据光栅扫描顺序确定处理块1602中包括的参考编码单元。相反，当另一处理块1612中的参考编码单元的确定顺序1614是反向光栅扫描顺序时，可根据反向光栅扫描顺序确定处理块1612中包括的参考编码单元。
根据实施例，图像解码装置100可对确定的一个或更多个参考编码单元进行解码。图像解码装置100可基于如上所述确定的参考编码单元对图像进行解码。对参考编码单元进行解码的方法可包括各种图像解码方法。
根据实施例，图像解码装置100可从比特流获得指示当前编码单元的形状的块形状信息或指示当前编码单元的划分方法的划分形状模式信息，并且可使用获得的信息。划分形状模式信息可被包括在与各种数据单元相关的比特流中。例如，图像解码装置100可使用包括在序列参数集、画面参数集、视频参数集、条带头、条带片段头、并行块头或并行块组头中的划分形状模式信息。此外，图像解码装置100可根据每个最大编码单元、每个参考编码单元或每个处理块从比特流获得与块形状信息或划分形状模式信息对应的语法元素，并且可使用获得的语法元素。
在下文中，将详细地描述根据本公开的实施例的确定划分规则的方法。
图像解码装置100可确定图像的划分规则。可在图像解码装置100与图像编码装置1700之间预先确定划分规则。图像解码装置100可基于从比特流获得的信息来确定图像的划分规则。图像解码装置100可基于从序列参数集、画面参数集、视频参数集、条带头、条带片段头、并行块头和并行块组头中的至少一个获得的信息来确定划分规则。图像解码装置100可根据帧、条带、并行块、时间层、最大编码单元或编码单元来不同地确定划分规则。
图像解码装置100可基于编码单元的块形状来确定划分规则。块形状可包括编码单元的尺寸、形状、宽高比和方向。图像编码装置1700和图像解码装置100可基于编码单元的块形状来预先确定要确定划分规则。然而，实施例不限于此。图像解码装置100可基于根据从自图像编码装置1700接收到的比特流获得的信息来确定划分规则。
编码单元的形状可包括正方形和非正方形。当编码单元的宽度和高度的长度相同时，图像解码装置100可将编码单元的形状确定为正方形。此外，当编码单元的宽度和高度的长度不相同时，图像解码装置100可将编码单元的形状确定为非正方形。
编码单元的尺寸可包括各种尺寸，诸如4×4、8×4、4×8、8×8、16×4、16×8以及至256×256。可基于编码单元的长边的长度、短边的长度或面积来对编码单元的尺寸进行分类。图像解码装置100可将相同的划分规则应用于被分类为同一组的编码单元。例如，图像解码装置100可将具有相同的长边的长度的编码单元分类为具有相同的尺寸。此外，图像解码装置100可将相同的划分规则应用于具有相同的长边的长度的编码单元。
编码单元的宽高比可包括1:2、2:1、1:4、4:1、1:8、8:1、1:16、16:1、32:1、1:32等。此外，编码单元的方向可包括水平方向和垂直方向。水平方向可指示编码单元的宽度的长度比其高度的长度长的情况。垂直方向可指示编码单元的宽度的长度比其高度的长度短的情况。
图像解码装置100可基于编码单元的尺寸自适应地确定划分规则。图像解码装置100可基于编码单元的尺寸不同地确定可允许的划分形状模式。例如，图像解码装置100可基于编码单元的尺寸来确定划分是否被允许。图像解码装置100可根据编码单元的尺寸来确定划分方向。图像解码装置100可根据编码单元的尺寸来确定可允许的划分类型。
基于编码单元的尺寸确定的划分规则可以是在图像编码装置1700与图像解码装置100之间预先确定的划分规则。此外，图像解码装置100可基于从比特流获得的信息来确定划分规则。
图像解码装置100可基于编码单元的位置自适应地确定划分规则。图像解码装置100可基于编码单元在图像中的位置自适应地确定划分规则。
此外，图像解码装置100可确定划分规则，使得经由不同划分路径生成的编码单元不具有相同的块形状。然而，实施例不限于此，并且经由不同划分路径生成的编码单元具有相同的块形状。经由不同划分路径生成的编码单元可具有不同的解码处理顺序。因为上面已经参照图12描述了解码处理顺序，所以不再提供其细节。
将参照图17至图20描述根据实施例的用于通过使用当前块的MPM以及基于MPM配置的扩展帧内模式集来确定当前块的帧内预测模式的视频编码或解码方法以及装置，其中，所述当前块的MPM是基于与当前块的左侧相邻的左邻近块的预测模式、与当前块的上方相邻的上邻近块的预测模式以及与当前块的右侧相邻的右邻近块的预测模式确定的。
图17是根据实施例的视频编码装置的框图。
帧内预测是仅使用空间参考的预测方法，并且是指通过参考将被编码的块周围的样点来对当前块进行预测的方法。用于帧内预测的邻近参考样点是指通过预测和重建而被重建的明度值。帧内预测对具有连续性的平坦区域以及具有恒定方向性的区域特别有效。
根据实施例的视频编码装置1700可包括存储器1710和连接到存储器1710的至少一个处理器1720。可以以单独的处理器执行根据实施例的视频编码装置1700的操作，或者可在中央处理器的控制下执行根据实施例的视频编码装置1700的操作。此外，视频编码装置1700的存储器1710可存储外部数据、由处理器生成的数据(例如，MPM信息和扩展帧内模式集信息(或可能帧内模式集合(PIMS)信息)等)。
视频编码装置1700的处理器1720可对当前块执行帧内预测，以生成指示是否使用当前块的MPM的MPM信息，生成指示是否使用基于MPM配置的扩展帧内模式集的扩展帧内模式集信息，并对MPM信息和扩展帧内模式集信息进行编码，其中，所述当前块的MPM是基于与当前块的左侧相邻的左邻近块的预测模式、与当前块的上侧相邻的上邻近块的预测模式以及与当前块的右侧相邻的右邻近块的预测模式中的至少两个确定的。
在下文中，将参照图18描述由根据实施例的视频编码装置1700执行的MPM信息和扩展帧内模式集信息的视频编码方法的详细操作，其中，所述MPM信息指示是否使用基于与当前块的左侧相邻的左邻近块的预测模式、与当前块的上侧相邻的上邻近块的预测模式以及与当前块的右侧相邻的右邻近块的预测模式确定的当前块的MPM，所述扩展帧内模式集信息指示是否使用基于MPM配置的扩展帧内模式集。
图18是根据实施例的视频编码方法的流程图。
参照图18，在操作S1810，视频编码装置1700可对当前块执行帧内预测，以生成指示是否使用当前块的MPM的MPM信息，其中，所述当前块的MPM是基于与当前块的左侧相邻的左邻近块的预测模式、与当前块的上侧相邻的上邻近块的预测模式以及与当前块的右侧相邻的右邻近块的预测模式中的至少两个确定的。
根据实施例，当与当前块的右侧相邻的右邻近块预先被编码并因此可用时，可通过使用当前块的右邻近块和上邻近块代替当前块的左邻近块和上邻近块来确定MPM。
此外，当当前块的左邻近块、上邻近块和右邻近块全部可用并且MPM的数量被固定为2时，仅可使用三个块中的两个块的帧内预测模式，或者可选择性地使用三个块中的两个块的帧内预测模式。具体地，当右邻近块的帧内预测模式可用，左邻近块或上邻近块的帧内预测模式不可用或者左邻近块和上邻近块的帧内预测模式彼此相同时，右邻近块的帧内预测模式可被用作MPM。
根据实施例，当左邻近块、上邻近块和右邻近块的帧内预测模式全部彼此不同时，在邻近块中统计上更频繁选择的帧内预测模式可被选为MPM。可选地，在不用信号发送的情况下，三个邻近块的帧内预测模式中的更相似的两个帧内预测模式可被选为MPM，或者具有更小残差值的两个帧内预测模式可通过变换差和(SATD)或率失真优化(RDO)计算被选为MPM。
当通过下面参照图22a描述的参考样点的可用性检查，左邻近块、上邻近块和右邻近块的帧内预测模式可用时，MPM的数量可被改变为三个，并且所述三个MPM可被使用。
在操作S1830，视频编码装置1700可生成指示是否使用基于MPM配置的扩展帧内模式集的扩展帧内模式集信息。
随着帧内预测模式的数量增加而增加MPM的数量的方法在提高性能方面具有局限性。因此，为了提高模式信令的效率，可单独配置未被选为MPM的帧内预测模式中的可能被选为当前块的帧内预测模式的PIMS。下面将参照图31a至31c描述配置PIMS的详细方法。
在本说明书中，术语“扩展帧内模式集”或“PIMS”具有相同的含义并且可被可互换地使用。
在操作S1850，可对MPM信息和扩展帧内模式集信息进行编码。
根据实施例，可通过SATD或RDO计算来确定MPM的确定和PIM的配置。
根据实施例，可通过SATD或RDO计算来确定指示是否使用MPM的MPM信息以及指示是否使用PIMS的PIMS信息。
根据实施例，在检查了指示是否使用MPM的MPM信息之后，检查指示是否使用PIMS的PIMS信息。当指示PIMS信息的PIMS标志是1时，通过向PIMS分配log2(N)个比特(N表示PIMS的候选的数量)来执行编码。
根据实施例，PIMS可根据PIMS的数量和概率使用一元编码或截断一元编码，使得比特量减少。
根据实施例，相同的比特被分配给PIM，并且可通过针对每个比特使用上下文建模来有效地执行编码。
根据实施例，当除了MPM或PIMS之外的帧内预测模式被选择时，可通过仅向除了MPM和PIMS之外的其余模式分配比特来有效地执行编码。
根据实施例，块单元标志可像MPM一样被使用，或者可根据图像或所使用的模式的总数来确定是否仅使用MPM或是否使用MPM和PIM两者。
根据实施例，可以以帧为单位发送指示是否使用PIMS的标志。
根据实施例，可根据块的尺寸来不同地应用是否使用PIMS以及PIMS的数量。
根据实施例，可根据下面参照图22a描述的可用性检查结果来不同地应用是否使用PIMS以及PIMS的数量。
图19和图20是根据实施例的视频解码装置的框图以及根据实施例的视频解码方法的流程图，两者分别与上述视频编码装置和视频编码方法对应。
图19是根据实施例的视频解码装置的框图。
根据实施例的视频解码装置1900可包括存储器1910和连接到存储器1910的至少一个处理器1920。可以以单独的处理器执行根据实施例的视频解码装置1900的操作，或者可在中央处理器的控制下执行根据实施例的视频解码装置1900的操作。此外，视频解码装置1900的存储器1910可存储外部数据、由处理器生成的数据(例如，MPM信息和扩展帧内模式集信息(或PIMS信息)等)。
视频解码装置1900的处理器1920可获得指示是否使用当前块的MPM的MPM信息，获得指示是否使用基于MPM配置的扩展帧内模式集的扩展帧内模式集信息，并且基于MPM信息和扩展帧内模式集信息来确定当前块的帧内预测模式，其中，所述当前块的MPM是基于与当前块的左侧相邻的左邻近块的预测模式、与当前块的上侧相邻的上邻近块的预测模式和与当前块的右侧相邻的右邻近块的预测模式中的至少两个确定的。
在下文中，当视频解码装置1900确定帧内预测模式时，将参照图20详细地描述使用MPM信息和扩展帧内模式集信息的视频解码方法的详细操作，其中，所述MPM信息指示是否使用基于与当前块的左侧、上侧和右侧相邻的邻近块的MPM，所述扩展帧内模式集信息指示是否使用基于MPM配置的扩展帧内模式集。
图20是根据实施例的视频解码方法的流程图。
参照图20，在操作S2010，视频解码装置1900可获得指示是否使用当前块的MPM的MPM信息，其中，所述当前块的MPM是基于与当前块的左侧相邻的左邻近块的预测模式、与当前块的上侧相邻的上邻近块的预测模式以及与当前块的右侧相邻的右邻近块的预测模式中的至少两个确定的。
根据实施例，当左邻近块和上邻近块可用时，当前块的MPM可被确定为左邻近块和上邻近块的帧内预测模式。
根据实施例，当右邻近块和上邻近块可用时，当前块的MPM可被确定为右邻近块和上邻近块的帧内预测模式。
根据实施例，当左邻近块、上邻近块和右邻近块全部可用并且三个邻近块的帧内预测模式彼此不同时，当前块的MPM可被确定为三个邻近块的帧内预测模式。
根据实施例，当左邻近块、上邻近块和右邻近块全部可用并且存在具有相同的帧内预测模式的邻近块时，当前块的MPM可被确定为具有相同的帧内预测模式的邻近块的帧内预测模式以及其它邻近块的帧内预测模式。例如，当左邻近块和上邻近块的帧内预测模式彼此相同时，当前块的MPM可被确定为左邻近块的帧内预测模式和右邻近块的帧内预测模式。
根据实施例，当当前块的MPM的预设数量是两个并且左邻近块、上邻近块和右邻近块全部可用时，可通过使用从左邻近块、上邻近块和右邻近块中选择的两个块的帧内预测模式来确定当前块的MPM。所选的两个块的帧内预测模式可以是在统计上更频繁地从邻近块中选择的帧内预测模式。
根据实施例，当当前块的MPM的预设数量是两个，右邻近块可用，并且左邻近块和上邻近块中的仅一个可用时，可通过使用右邻近块的帧内预测模式以及上邻近块和右邻近块中的可用的一个块的帧内预测模式来确定当前块的MPM。
在操作S2030，可获得指示是否使用基于MPM配置的扩展帧内模式集的扩展帧内模式集信息。
根据实施例，当当前块的MPM包括左邻近块、上邻近块和右邻近块的帧内预测模式时，可通过使用当前块的MPM来配置扩展帧内模式集。具体地，扩展帧内模式集可包括具有与MPM的索引接近的索引的帧内预测模式。
根据实施例，当当前块的MPM包括左邻近块和上邻近块的帧内预测模式时，可通过使用当前块的MPM和右邻近块的预测模式来配置扩展帧内模式集。例如，虽然MPM被确定为左邻近块和上邻近块的帧内预测模式，但是与当前块的模式具有高关联性的右邻近块是可用的。因此，可通过使用右邻近块的帧内预测模式来配置扩展帧内模式集。
根据实施例，可根据当前块的MPM的类型来配置扩展帧内模式集。具体地，可根据所有MPM是非方向模式的情况、所有MPM是方向模式的情况以及存在非方向模式和方向模式两者的情况来不同地确定构成扩展帧内模式集的模式的数量。当所有MPM是非方向模式时，扩展帧内模式集可包括较少的模式，并且可包括未被包括在MPM中的非方向模式、对角线模式、水平模式或垂直模式。
根据实施例，当左邻近块、上邻近块和右邻近块全部可用并且左邻近块、上邻近块和右邻近块的预测模式是不同的方向模式时，扩展帧内模式集可包括索引从左邻近块的帧内预测模式的索引增加N的帧内预测模式、索引从左邻近块的帧内预测模式的索引减少N的帧内预测模式、索引从上邻近块的帧内预测模式的索引增加M的帧内预测模式、索引从上邻近块的帧内预测模式的索引减少M的帧内预测模式、索引从右邻近块的帧内预测模式的索引增加L的帧内预测模式以及索引从右邻近块的帧内预测模式的索引减少L的帧内预测模式，其中，N、M和L可以是除了零之外的整数。
根据实施例，当块的MPM的预设数量是两个并且MPM是DC模式和双线性模式时，扩展帧内模式集可包括平面模式、水平模式、垂直模式和对角线模式。下面将参照图24a至图24c描述双线性模式。
根据实施例，当当前块的MPM的预设数量是两个并且MPM是DC模式和方向模式时，扩展帧内模式集可包括双线性模式、平面模式、索引从方向模式的索引增加1的帧内预测模式、索引从方向模式的索引增加2的帧内预测模式、索引从方向模式的索引减少1的帧内预测模式、索引从方向模式的索引减少2的帧内预测模式、第一默认模式和第二默认模式，并且第一默认模式和第二默认模式可以是预设的帧内预测模式。可从顺序地列出具有统计上高概率被选择的帧内预测模式的列表确定所述“默认模式”。例如，当MPM是DC模式以及具有索引57的帧内预测模式时，扩展帧内模式集可包括双线性模式、平面模式、分别具有索引55、56、58和59的模式、默认模式[0]以及默认模式[1]。
根据实施例，当当前块的MPM的预设数量是两个并且MPM是第一方向模式和第二方向模式时，扩展帧内模式集可包括索引从第一方向模式的索引增加1的帧内预测模式、索引从第一方向模式的索引减少1的帧内预测模式、索引从第二方向模式的索引增加1的帧内预测模式、索引从第二方向模式的索引减少1的帧内预测模式、水平模式、垂直模式、DC模式以及双线性模式。例如，当MPM是具有索引30和40的帧内预测模式时，扩展帧内模式集可包括具有索引29、31、39和41的模式、垂直模式、水平模式、DC模式以及双线性模式。
根据实施例，当MPM是作为左邻近块和上邻近块的帧内预测模式的DC模式和第一方向模式，并且未被确定为MPM的右邻近块的预测模式是第二方向模式时，扩展帧内模式集可包括双线性模式、平面模式、第二方向模式、索引从第一方向模式的索引增加1的帧内预测模式、索引从第一方向模式的索引减少1的帧内预测模式、索引从第二方向模式的索引增加1的帧内预测模式、索引从第二方向模式的索引减少1的帧内预测模式以及默认模式。所述默认模式可以是预设的帧内预测模式。例如，当MPM是DC模式以及具有索引57的模式，并且右邻近块的帧内预测模式是40时，扩展帧内模式集可包括双线性模式、平面模式、具有索引40、56、58、39和41的模式以及默认模式[0]。
根据实施例，当MPM是作为左邻近块和上邻近块的帧内预测模式的第一方向模式和第二方向模式，并且不被用作MPM的右邻近块的预测模式是第三方向模式时，扩展帧内模式集可包括第三方向模式、索引从第一方向模式的索引增加1的帧内预测模式、索引从第一方向模式的索引减少1的帧内预测模式、索引从第二方向模式的索引增加1的帧内预测模式、索引从第二方向模式的索引减少1的帧内预测模式、索引从第三方向模式的索引增加1的帧内预测模式以及索引从第三方向模式的索引减少1的帧内预测模式。例如，当MPM的索引是40和57，并且右邻近块的帧内预测模式的索引是55时，扩展帧内模式集可包括具有索引55、39、41、53、54、56、58和59的帧内预测模式。
在操作S2050，可基于MPM信息和扩展帧内模式集信息来确定当前块的帧内预测模式。
具体地，当关于是否使用MPM的MPM信息指示使用MPM时，MPM的帧内预测模式中的一个可被确定为当前块的帧内预测模式。当MPM信息指示不使用MPM并且扩展帧内模式集信息指示使用扩展帧内模式集时，包括在扩展帧内模式集中的帧内预测模式中的一个可被确定为当前块的帧内预测模式。当扩展帧内模式集信息指示不使用扩展帧内模式集时，除了MPM和包括在扩展帧内模式集中的模式之外的其余帧内预测模式中的一个可被确定为当前块的帧内预测模式。下面将参照图32a描述针对操作S2050的语法。
除了MPM之外，还另外配置扩展帧内模式集。因此，在帧内预测中，可补充按照模式编码效率选择除了准确模式之外的MPM的情况，使得预测精度被提高。因为另外添加了右邻近块的信息，所以可通过向各种帧内预测模式分配少量比特来提供候选。因此，可提高模式编码效率。
下面将参照图21和图22a描述确定左邻近块、上邻近块和右邻近块是否可用的方法。
图21是用于描述最大编码单元和包括在最大编码单元中的编码单元的编码顺序的示图。
最大编码单元2150被划分为多个编码单元2156、2158、2160、2162、2168、2170、2172、2174、2180、2182、2184和2186。最大编码单元2150与树结构的最高节点2100对应。编码单元2156、2158、2160、2162、2168、2170、2172、2174、2180、2182、2184和2186分别与多个节点2106、2108、2110、2112、2118、2121、2122、2124、2130、2132、2134和2136对应。指示树结构中的编码顺序的上方编码顺序标志2102、2114和2126分别与箭头2152、2164和2176对应，并且上方编码顺序标志2104、2116和2128分别与箭头2154、2166和2178对应。
上方编码顺序标志指示从一个编码单元划分出的四个编码单元中的位于上端的两个编码单元的编码顺序。当上方编码顺序标志是0时，沿正向执行编码。相反，当上方编码顺序标志是1时，沿反向执行编码。
类似地，下方编码顺序标志指示从一个编码单元划分出的四个编码单元中的位于下端的两个编码单元的编码顺序。当下方编码顺序标志是0时，沿正向执行编码。相反，当下方编码顺序标志是1时，沿反向执行编码。
例如，因为上方编码顺序标志2114是0，所以编码单元2168和2170的编码顺序被确定为沿从左到右的方向，即，正向。因为下方编码顺序标志2116是1，所以编码单元2172和2174的编码顺序被确定为沿从右到左的方向，即，反向。
根据实施例，上方编码顺序标志和下方编码顺序标志可被设置为具有相同的值。例如，当上方编码顺序标志2102被确定为1时，与上方编码顺序标志2102对应的下方编码顺序标志2104也可被确定为1。因为上方编码顺序标志和下方编码顺序标志的值被确定为1比特，所以编码顺序信息的信息量减少。
根据实施例，可通过参考被应用于比当前编码单元大的编码单元的上方编码顺序标志和下方编码顺序标志中的至少一个来确定当前编码单元的上方编码顺序标志和下方编码顺序标志。例如，可基于被应用于编码单元2172和2174的下方编码顺序标志2116来确定被应用于编码单元2180、2182、2184和2186的上方编码顺序标志2126和下方编码顺序标志2128。因此，可将上方编码顺序标志2126和下方编码顺序标志2128确定为与编码顺序标志2116相同的值。因为从当前编码单元的更高编码单元确定上方编码顺序标志和下方编码顺序标志的值，所以不从比特流获得编码顺序信息。因此，编码顺序信息的信息量减少。
根据实施例，可根据块的尺寸或深度来确定是否获得针对块的编码顺序标志。例如，可仅针对预设尺寸的块获得编码顺序标志，并且可不针对其他尺寸的块获得编码顺序标志。当当前块大于预设尺寸的块时，可在不获得编码顺序标志的情况下将编码顺序确定为沿正向。当当前块小于预设尺寸的块时，可在不获得编码顺序标志的情况下根据当前块的更高块来确定编码顺序。可任意地确定获得编码顺序标志的块的尺寸。例如，可将获得编码顺序标志的块的尺寸确定为16×16和32×32。
图22a示出根据邻近块是否被重建的帧内预测方法。
可根据上面参照图21描述的编码顺序改变在当前块中可用的参考块的位置。可通过可用性检查对当前可用的参考块的位置进行分类。具体地，当前可用的参考块的位置可被分类为LR_10 2200、LR_01 2210、LR_11 2220和LR_00 2230，其中，L指示左，R指示右，并且0或1指示是否可以参考。
LR_01 2210和LR_11 2220的情况是在相关技术中不使用的实施例。特别地，LR_112220的情况可使用比以前更多的信息。因此，有必要针对左侧、上侧和右侧全部可用的情况改进算法。下面将参照图22b描述改进的算法。
第一实施例2200是当上方块和左侧块根据解码顺序比当前块2201更早被重建时的帧内预测方法。在第一实施例2200中，上参考样点2202、右上参考样点2203、左参考样点2204和左下参考样点2205可被用于帧内预测。第一实施例2200发生在不切换解码顺序的传统视频解码方法中，并且根据传统帧内预测方法对当前块2201进行预测。
第二实施例2210是当上方块和右侧块根据解码顺序比当前块2201更早被重建时的帧内预测方法。在第二实施例2210中，上参考样点2212、左上参考样点2213、右参考样点2214和右下参考样点2215可被用于帧内预测。因为第二实施例2210与第一实施例2200双边对称，所以根据第二实施例2210的帧内预测方法与根据第一实施例2200的帧内预测方法双边对称。例如，当水平模式被应用于当前块时，在第一实施例2200中参考左参考样点2204，而在第二实施例2210中参考右参考样点2214。类似地，第二实施例2210的根据其它方向帧内模式和平面模式的帧内预测方法也可与第一实施例2200的根据其它方向帧内模式和平面模式的帧内预测方法双边对称。
第三实施例2220是当上方块、左侧块和右侧块根据解码顺序比当前块更早被重建时的帧内预测方法。在第三实施例2220中，上参考样点2222、左参考样点2223、右参考样点2224、左下参考样点2225和右下参考样点2226可被用于帧内预测。在第三实施例2220中，左参考样点2223和右参考样点2224可被用于当前块2221的预测。例如，当水平模式被应用于当前块2221时，视频解码装置1900可通过使用从左参考样点2223获得的第一参考值和从右参考样点2224获得的第二参考值的平均值或加权平均值来对当前块2221进行预测。
根据另一实施例，视频解码装置1900可通过使用根据第一实施例2200的帧内预测方法的第一中间预测值和根据第二实施例2210的帧内预测方法的第二中间预测值的平均值来对第三实施例2220的当前块2221进行预测。例如，当水平模式被应用于当前块2221时，视频解码装置1900可基于根据第一实施例2200的帧内预测方法从左参考样点2204获得的第一中间预测值以及根据第二实施例2210的帧内预测方法从右参考样点2214获得的第二中间预测值来获得根据第三实施例2220的当前块2221的最终预测值。
根据另一实施例，视频解码装置1900可通过使用根据第一实施例2200的帧内预测方法的第一预测值和根据第二实施例2210的帧内预测方法的第二预测值中的一个来对第三实施例2220的当前块2221进行预测。例如，当水平模式被应用于当前块2221时，视频解码装置1900可通过使用从根据第一实施例2200的帧内预测方法从左参考样点2204获得的第一预测值以及根据第二实施例2210的帧内预测方法从右参考样点2214获得的第二预测值之中选择的一个来获得根据第三实施例2220的当前块2221的最终预测值。
第四实施例2230是当仅上方块、左上方块和右上方块比当前块2231更早被重建时的帧内预测方法。在第四实施例2230中，上参考样点2232、左上参考样点2233和右上参考样点2234可被用于帧内预测。因此，在第四实施例2230中可不使用实质上使用左参考样点2235、左下参考样点2236、右参考样点2237和右下参考样点2238的帧内预测方法。例如，因为水平模式使用左参考样点或右参考样点，所以在第四实施例2230中可不使用水平模式。
在第四实施例2230中，根据解码顺序，与当前块2231相邻的参考样点仅是上参考样点2232。此外，因为左上参考样点2233和右上参考样点2234在空间上与当前块分离，所以与其它实施例2200、2210和2220相比，预测精度可能较低。因此，在第四实施例2230中使用的帧内预测方法最好是使用与当前块2231相邻的上方块的参考样点2232的垂直模式或者沿与垂直模式相邻的方向的方向预测模式。
然而，当基于上参考样点2232、左上参考样点2233和右上参考样点2234填充左参考样点2235、左下参考样点2236、右参考样点和右下参考样点2238时，视频解码装置1900可根据第三实施例2220的帧内预测方法对第四实施例2230的当前块2231进行预测。
图22b示出针对与当前块的右侧相邻的右邻近块可用的情况的改进的算法。
参照图22b，当通过可用性检查获得指示左侧、上侧和右侧全部可用的LR_11时，应用使用所有左侧参考块、上方参考块和右侧参考块的扩展算法。当获得指示上侧和右侧可用的LR_01时，应用使用上方参考块和右侧参考块的扩展算法。在其它情况下(LR_00和LR_10)，应用使用上方参考块或者上方参考块和左侧参考块的现有算法。
与现有算法不同，因为不是左侧参考块而是右侧参考块可用，所以可使用通过以双边对称方式扩展现有算法而获得的扩展算法。例如，可使用通过左右翻转滤波器或权重系数表而获得的表。
根据实施例，在LR_11的情况下，左侧参考块和右侧参考块全部可用。因此，左侧参考块和右侧参考块可被用于更准确的预测。具体地，可按照相同的比率将左侧参考块和右侧参考块用于预测，或者可根据距离(距离差)计算权重以执行线性组合或非线性组合并将其用于预测。
可通过参考块的可用性检查来检查参考块的可用性，并且可根据当前块的帧内模式在可用参考块中选择性地使用参考块。当参考块被选择性地使用时，可通过使用邻近信息来选择将在不用信号发送的情况下使用的参考块。可选地，可通过扩展帧内模式并执行RDO来确定将被使用的参考块。
根据图22b，因为根据参考块的可用性检查结果来确定预测方法，所以可利用扩展算法来替代现有算法，而无需在使用右侧参考块的LR_01和LR_11中单独用信号发送。
参照图21至图22b，可通过不同地使用包括右参考样点的邻近信息来提高预测精度，并且因为可通过可用性检查来确定将被使用的信息并且无需用信号发送，所以可提高编码效率。
图23示出帧内预测模式方向的实施例。
具体地，图23的帧内预测模式的帧内预测方向中的作为Y轴的正方向的垂直方向2340和作为X轴的负方向的水平方向2320分别示出帧内预测模式的垂直模式和水平模式。此外，图23示出作为帧内预测方向中的最后方向的第一象限上的对角线方向模式2350、作为方向模式的开始方向的第三象限上的对角线方向模式2310以及与45度方向模式2350的方向垂直的对角线模式2330。图23的帧内预测模式中的方向模式2350的方向可以是除了45度方向之外的角度方向。
根据实施例，可提供67个帧内预测模式。具体地，帧内预测模式可包括DC模式、平面模式和65个方向模式。可通过将帧内预测模式的索引指示为0至66(0是平面模式，1是DC模式，并且2至66是方向模式)来对帧内预测模式进行分类。
参照图23，帧内预测模式的索引是2的模式可以是与45度方向模式2350相反的方向的方向模式2310。帧内预测模式的索引是34的模式可以是与45度方向模式2350垂直的对角线模式2330。帧内预测模式的索引是66的模式可以是45度方向2350的帧内预测模式。作为x轴的负方向的水平模式2320的索引可以是18。作为y轴的正方向的垂直模式2340的索引可以是50。
图24a示出使用左侧邻近块和上方邻近块的双线性预测模式，图24b示出使用上方邻近块和右侧邻近块的双线性预测模式，以及图24c示出使用左侧邻近块和右侧邻近块的双线性预测模式。
“双线性预测模式”是从参考块生成当前块的边界值并通过边界值的线性组合获得当前块的当前像素的预测值的帧内预测模式，并且是在帧内预测中经常与DC模式一起被选择的模式。
参照图24a，当与当前块的左侧相邻的参考样点以及与当前块的上侧相邻的参考样点可用时，通过使用位于当前块的右上侧的参考样点2401来生成虚拟第一像素，并且通过使用位于当前块的左下侧的参考样点2402来生成虚拟第二像素。因此，当前块的右边界的像素(包括第一像素的垂直线的像素2403)具有第一像素的值，并且当前块的下边界的像素(包括第二像素的水平线的像素2404)具有第二像素的值。此后，通过在水平方向和垂直方向上使用线性插值来生成当前像素的预测值。
参照图24b，当与当前块的右侧相邻的参考样点以及与当前块的上侧相邻的参考样点可用时，与图24a对称地，通过使用位于当前块的左上侧的参考样点2411来生成虚拟第一像素，并且通过使用位于当前块的右下侧的参考样点2412来生成虚拟第二像素。因此，当前块的左边界的像素(包括第一像素的垂直线的像素2413)具有第一像素的值，并且当前块的下边界的像素(包括第二像素的水平线的像素2414)具有第二像素的值。此后，通过在水平方向和垂直方向上使用线性插值来生成当前像素的预测值。
参照图24c，当与当前块的左侧相邻的参考样点以及与当前块的右侧相邻的参考样点全部可用时，可在不单独生成左边界值或右边界值的情况下使用可用参考样点。此外，通过使用左下侧2421和右下侧2422的参考像素来生成包括第二像素的下水平线中所包括的像素2423的预测值。
图25示出用于帧内预测的多个4抽头滤波器的示例。
在说明书中，4抽头滤波器是N抽头滤波器的示例，并且N抽头滤波器不限于4抽头滤波器且包括诸如7抽头滤波器、8抽头滤波器、10抽头滤波器、12抽头滤波器的各种滤波器。在下文中，4抽头滤波器将被描述为示例。
当执行帧内预测时，使用根据距离(位置差)具有不同强度的4抽头滤波器而非具有一个强度的4抽头滤波器。因此，可在不增加复杂度的情况下有效地生成预测块并提高预测精度。
作为改变滤波器的类型的标准的距离可被确定为与块的尺寸成正比的相对比率，或者在特定滤波器的情况下，滤波器的类型可被确定为绝对距离。当滤波器的类型由绝对距离确定时，可改变用于一个块的滤波器的数量。少量滤波器可被用于小块，并且所有滤波器可被用于大块。
此外，可根据块的尺寸不同地应用一个滤波器。例如，当块的尺寸较小时，可根据块的帧内预测模式来选择将被使用的平滑滤波器。
在确定滤波器的类型之后，当右参考样点可用时，可通过以双边对称方式翻转预设滤波器确定方向来应用滤波器。当右参考样点可用时，可通过根据距参考样点的距离不同地应用滤波器的强度来执行有效的预测。
参照图25，通过根据帧内预测模式的帧内预测方向使用上方邻近块的参考样点a-1、a0、a1和a2来对当前预测块的预测样点px,y进行预测。在这种情况下，根据距参考样点的距离不同地确定滤波器系数fk,i。具有强强度的滤波器被应用于预测块中的距参考区域最远的区域2510的样点，具有弱强度或最弱强度的插值滤波器被应用于预测块中的靠近参考区域的区域2530的样点，并且具有中等强度的滤波器被应用于预测块中相对于参考区域位于中间的区域2520的样点。
根据距参考样点的距离应用不同强度的滤波的语法可如方程式1被实现：
[方程式1]
MULTI_4T_FILTER_OFFSET＝＝(i＜2||j＜2)？0：((i＜4||j＜4)？1：(i＜8||j＜8)？2：((i＜16||j＜16)？3：4)))；
其中，i和j分别表示距水平参考样点和垂直参考样点的距离，并且0至4表示4抽头滤波器的类型。
图26示出用于帧内预测的多个4抽头滤波器的另一示例。
当在各个方向上存在与当前块相邻的邻近参考块的参考样点时，可使用所有参考样点，或者可选择性地仅使用一个或两个方向的参考样点。
图26示出图25的示例以双边对称方式被翻转的示例。当左参考样点和右参考样点全部可用时，可根据当前预测块的帧内预测模式选择性地使用参考样点，并且可根据距所选的参考样点的距离来改变4抽头滤波器的强度。
参照图25和图26，可通过使用多个N抽头滤波器在靠近参考样点的区域中提高预测精度，并且可在远离参考样点的区域中生成具有自然图案的预测块。
图27a示出用于帧内预测的4抽头滤波器的示例，以及图27b示出用于帧内预测的4抽头滤波器的另一示例。
参照图27a，当左参考样点和右参考样点全部可用并且当前块的帧内预测模式是对角线方向模式时，可选择并使用通过使用左参考样点生成的预测块和通过使用右参考样点生成的预测块中的一个，或者可将两个预测块的平均值用作预测块。
参照图27b，如在上面参照图24a、图24b和图24c描述的双线性模式中，当左参考样点和右参考样点都可用时，可通过使用该两个参考样点根据当前块的帧内预测模式来生成预测块。
参照图27a和图27b，可通过针对当前块使用各个方向的参考样点来提高预测精度。
图28示出预测块的边界滤波的示例。
在根据帧内预测生成预测块的情况下，当帧内预测模式是方向模式时，根据该模式可能存在未使用的参考样点。在这种情况下，在所生成的预测块与参考样点之间可能发生不连续。为了解决这个问题，可通过使用参考样点对预测块的边界进行滤波。
参照图28，当帧内预测模式中的方向模式的方向被选为从左上端到右下端的方向时，在与右参考样点相邻的区域中可能出现预测块与右参考样点之间的不连续。在这种情况下，可通过对与右参考样点相邻的预测块的像素线进行平滑来减少不连续图案。具体地，当在通过使用左参考样点和上参考样点在从左上侧到右下侧的方向上生成预测块的预测像素时在右参考样点与位于预测块的右下端的预测像素之间发生不连续时，可通过使用右下端处的参考样点a-1、a0和a1应用具有滤波器系数fk,i的滤波器来对预测像素进行滤波。相反，当在通过使用右参考样点和上参考样点在从右上侧到左下侧的方向上生成预测块的预测像素时在左参考样点与位于预测块的左下端的预测像素之间发生不连续时，可通过以与图28双边对称的方式应用滤波来解决不连续问题。
应用滤波的区域可被确定为预测块的与参考样点相邻的一条或两条像素线，并且可根据块的尺寸和帧内模式被不同地确定。因为帧内预测模式可能不是方向模式而是DC模式，所以可能发生不连续。因此，可应用边界滤波。
参照图28，可通过使用更多的邻近参考样点来减少与邻近块的不连续，并且可通过生成自然图案的预测块来补偿突然预测偏差的发生，使得转换的效率被提高。
图29a示出包括在编码单元中的块索引，图29b示出编码单元的扫描顺序的示例，图29c示出编码单元的块图中的扫描顺序的另一示例，以及图29d示出指示包括在编码单元中的块的编码块的块图。
参照图29a，块索引可被分配给包括在编码单元中的块的样点。
参照图29b，在扫描按照图29b中的箭头的顺序发生的情况下，当针对当前块的块索引32的参考块的块索引是26时，存在可用的经过预处理的值，并且因此，它可被用于预测。
然而，参照图29c，当扫描按照图29c中的箭头的顺序发生，针对当前块的块索引32的参考块的块索引26未被编码或重建时，可不将它确定为可用区域。因此，有必要生成编码块图，因为不可能将小于32的所有块索引确定为可用区域。
参照图29d，当前编码单元中的编码块由灰色指示。通过生成指示编码单元中的编码块的块图，即使在图29c的情况下，也可针对小于32的块索引确定区域是否可用。
图30a示出应用从右到左改变编码顺序的划分单元编码顺序(SUCO)的块，图30b示出应用SUCO的编码单元的扫描顺序，图30c示出编码块图的示例，图30d示出包括当前块的编码单元的示例，以及图30e示出包括应用SUCO的当前块的编码单元的块图。
参照图30a和图30b，当现有块图被用于包括应用图30a的SUCO的当前块的编码单元时，仅读取关于左侧的信息。因此，虽然关于右侧的信息可用，但是可不执行可用性检查。然而，如在图30b的扫描顺序中，因为当块索引被读取时重建值可用，所以可通过将块索引48用作参考样点来执行预测。因此，如图30c中所示，可生成应用SUCO的编码块图。具体地，当如图30e中所示显示包括图30d的当前块的编码单元的块图时，可通过可用性检查使用位于右侧的重建样点值。
参照图29a至图30e，因为块图可被生成并被用于检查参考样点的可用性，并且可通过检查可用性来使用各种编码顺序，所以可提高预测的效率。
图31a示出当当前块的左邻近块和上邻近块可用时的PIMS，图31b示出当当前块的右邻近块和上邻近块可用时的PIMS，以及图31c示出当当前块的左邻近块、上邻近块和右邻近块全部可用时的PIMS。
参照图31a，当与当前块3110的上侧相邻的上邻近块3120的帧内预测模式以及与当前块3110的左侧相邻的左邻近块3130的帧内预测模式分别是垂直模式和水平模式时，当前块的MPM可被确定为垂直模式和水平模式，并且PIMS 3140可包括在垂直模式与水平模式之间存在的模式中的与MPM具有高关联性且接近MPM的模式。例如，PIMS 3140可包括索引从垂直模式的帧内预测模式索引增加1的帧内预测模式、索引从垂直模式的帧内预测模式索引增加2的帧内预测模式、索引从水平模式的帧内预测模式索引减少2的帧内预测模式、索引从水平模式的帧内预测模式索引减少1的帧内预测模式以及通过对垂直模式和水平模式的帧内预测模式索引求平均而索引被向上舍入的帧内预测模式。
参照图31b，当与当前块3150的上侧相邻的上邻近块3160的帧内预测模式以及与当前块3150的右侧相邻的右邻近块3170的帧内预测模式分别是垂直模式和水平模式并且左邻近块不可用时，可通过使用右邻近块而非左邻近块的帧内预测模式来将当前块的MPM确定为垂直模式和水平模式，并且PIMS 3140可包括在垂直模式与水平模式之间存在的模式中的与MPM具有高关联性且接近MPM的模式。
参照图31c，与当前块3101的左侧相邻的左邻近块3102的帧内预测模式、与当前块3101的上侧相邻的上邻近块3103的帧内预测模式以及与当前块3101的右侧相邻的右邻近块3104的帧内预测模式彼此不同，三个邻近块的所有帧内预测模式可被用于配置PIMS3105。例如，PIMS 3105可包括索引从左邻近块3102的帧内预测模式的索引增加或减少N的帧内预测模式、索引从上邻近块3103的帧内预测模式的索引增加或减少M的帧内预测模式、以及索引从右邻近块3104的帧内预测模式的索引增加或减少L的帧内预测模式。N、M和L是除了零之外的整数。
作为另一示例，当三个邻近块的一些帧内预测模式相同时，可通过使用两个不同的帧内预测模式来配置PIMS 3105。此外，可配置PIMS 3105，使得方向与相同帧内预测模式相似的帧内预测模式被进一步包括在PIMS 3105中。具体地，当左邻近块3102和右邻近块3103的帧内预测模式的索引是37并且上邻近块3104的帧内预测模式的索引是24时，PIMS3105可包括索引为34、35、36、38、39、40、23和25的帧内预测模式或索引为35、36、38、39、23和25的模式、DC模式或者双线性模式。
图32a示出指示是否使用MPM和PIMS的标志的语法，以及图32b示出PIMS的语法。
参照图32a，当MPM标志是1时，可通过使用MPM来执行帧内预测。当MPM标志是0时，可检查PIMS标志。当PIMS标志是1时，可通过使用PIMS的N个预设模式来执行帧内预测。当PIMS标志是0时，可在其余帧内预测模式中的一个帧内预测模式下执行帧内预测。当附加模式集合中的模式的数量为N时，PIMS标志可通过分配log2(N)个比特而被编码并随后被用信号发送。
图32b示出当右邻近块可用时通过使用右邻近块的帧内预测模式(右块模式)来配置PIMS的PIMS编码的语法。例如，除了作为传统MPM的左邻近块和上邻近块的帧内预测模式mpm[0]和mpm[1]之外，还考虑右邻近块的帧内预测模式(右块模式)来配置PIMS。
图33示出多参数帧内预测的示例。
参照图33，多参数帧内预测是通过使用位于当前像素的左侧和上侧的参考像素或预测像素来生成新的预测像素值的预测方法。通过使用这样的方法，预测块的图案被平滑以提高预测的效率。具体地，可通过将在任意方向上执行帧内预测(任意方向帧内(ADI))之后预测的预测像素(PHEVC[i,j])、位于该预测像素的左侧的参考像素或预测像素(PMPI[i-1,j])以及位于该预测像素的上侧的参考像素或预测像素(PMPI[i,j-1])应用于下面的方程式2(多参数帧内(MPI))(i和j表示像素的位置)来生成新的预测像素(PMPI[i,j])。
[方程式2]
PMPI[i，j]＝(αPHEVC[i，j]+βPMPI[i-1，j]+γPMPI[i，j-1]+4)＞＞3
当右参考样点可用时，可对称地使用多参数帧内预测。
此外，当左侧和右侧都可用时，相对于中心靠近左侧的像素可使用关于左侧的信息，并且靠近右侧的像素可使用关于右侧的信息。在这种情况下，当出现不连续时，可通过对中间区域进行滤波或通过使用关于两侧的信息来解决不连续。
作为另一示例，可通过使用左参考样点和右参考样点来生成预测块并求平均，或者可选择并使用具有更好性能的预测块。
图34a示出用于帧内预测的多参数预测的语法的示例，以及图34b示出根据可用性检查的多参数预测的语法的示例。
参照图34a，在通过检查是使用MPM还是PIMS来应用帧内预测之后，当需要多参数预测时(当mpi_coded是1时)，可应用多参数预测(mpi_index())。
参照图34b，作为可用性检查的结果，当右参考样点可用(avail_lr＝＝LR_01||avail_lr＝＝LR_11)时，可对称地应用多参数预测。
图35a示出用于多组合帧内预测的经过滤波的参考样点的示例，以及图35b示出应用多组合帧内预测的示例。
当通过针对当前像素的多参数帧内预测生成新的预测像素时，由于递归地使用通过针对先前像素的多参数帧内预测生成的先前像素的新的预测像素的无限脉冲响应(IIR)方法，可不并行地应用滤波。因此，浪费了大量的时间。为了解决这个问题，可使用参考样点首先被滤波的多组合帧内预测。
参照图35a，在多组合帧内预测中，对参考样点进行滤波以获得经过滤波的参考样点。当上参考样点中的滤波的方向是从左到右时，可通过将当前参考样点与位于当前参考样点的左侧的左样点组合来生成经过滤波的参考样点。类似地，当左参考样点中的滤波的方向是从下到上时，可通过使用加权平均将当前参考样点与位于当前参考样点的下侧的下样点组合来生成经过滤波的参考样点。此外，可预先确定用于生成经过滤波的参考样点的滤波的方向。具体地，在LR_00或LR_10的情况下，可从左到右执行滤波并且可从上到下执行滤波。在LR_01的情况下，可从右到左执行滤波并且可从上到下执行滤波。在LR_11的情况下，可通过使用左像素和右像素两者来对上参考样点进行滤波，并且可从上到下对左参考样点和右参考样点进行滤波。
可根据滤波方向执行对参考样点的滤波，如下面的方程式3所示：
[方程式3]
Figure BDA0002670947270000611
其中，水平方向上的j表示从左到右按升序的自然数，垂直方向上的j表示从上到下按升序的自然数。
当滤波方向是从左到右时，可通过使用当前参考样点aj和位于当前参考样点的左侧的样点aj-1应用权重来对参考样点进行滤波。当滤波方向是从上到下时，可通过使用当前参考样点aj和位于当前参考样点的上侧的样点aj-1应用权重来对参考样点进行滤波。
相反，当滤波方向是从右到左时，可通过使用当前参考样点aj和位于当前参考样点的右侧的样点aj+1应用权重来对参考样点进行滤波。当滤波方向是从下到上时，可通过使用当前参考样点aj和位于当前参考样点的下侧的样点aj+1应用权重来对参考样点进行滤波。
参照图35b，可通过一起使用现有参考样点和经过滤波的参考样点来生成预测块。
在多组合帧内预测方法中，当右参考样点可用时，可通过双边对称地翻转来使用图35a和图35b的方法。当左侧和右侧都可用时，可根据当前像素的位置仅选择并使用两侧中的一侧。当当前像素的位置靠近左侧时，可通过使用左参考样点来执行多组合帧内预测。当当前像素的位置靠近右侧时，可通过使用右参考样点来执行多组合帧内预测。可通过使用左参考样点和右参考样点两者来对位于中间区域中的像素执行多组合帧内预测。当左参考样点和右参考样点两者被使用而不管当前像素的位置如何时，可不同地确定权重，并且可执行多组合帧内预测。
此外，可根据块的尺寸来确定是使用左参考样点和右参考样点两者还是使用左参考样点和右参考样点中的一个。当块的尺寸较大时，可使用左参考样点和右参考样点中的一个，并且当块的尺寸较小时，可使用左参考样点和右参考样点两者。这是因为随着块的尺寸越小，左参考样点和右参考样点的相似性越高。例如，当块的尺寸大于16时，可仅使用左侧信息或右侧信息，并且当块的尺寸小于16时，可使用左侧信息和右侧信息两者。例如，当在生成块的左上像素时块的尺寸大于16时，权重可被表示为[左上右]＝(1/16)*[8 8 0]，并且当块尺寸小于16时，权重可被表示为[左上右]＝(1/16)*[6 8 2]。
可基于下面的方程式4根据滤波方向将多组合帧内预测(MIP)应用于预测像素。
方程式4是用于通过使用在方程式3中获得的经过滤波的参考样点来生成应用MIP的预测样点的方程式。
[方程式4]
Figure BDA0002670947270000631
其中，
Figure BDA0002670947270000632
并且当i或j大于3时，将i或j确定为3并选择系数。
i和j分别表示行号和列号。ai'表示通过使用方程式3根据滤波方向进行滤波而生成的左参考样点，并且aj'表示通过使用方程式3根据滤波方向进行滤波而生成的上参考样点。左Ca[i,j]指示当多组合帧内预测被应用于位于第i行第j列的像素时使用与对应矩阵的第i行第j列对应的系数。Cp[i,j]指示当多组合帧内预测被应用于位于第i行第j列的像素时使用与对应矩阵的第i行第j列对应的系数，并且Cp[j,i]指示当多组合帧内预测被应用于位于第i行第j列的像素时使用与对应矩阵的第j行第i列对应的系数。例如，当以上方程式被应用于位于第二行第三列的像素时，Ca[i,j]是1，Cp[i,j]是12，并且Cp[j,i]是3。
使用方程式4的多组合帧内预测通过使用当前像素的预测像素pij以及由方程式3生成的经过滤波的左参考像素ai'和经过滤波的上参考像素aj'的权重来生成新的预测像素。
当滤波方向是从左到右和从上到下时，这表示通过使用针对以下五个点的权重来生成新的预测像素：当前像素的预测像素pij、与当前像素的行对应的左参考像素ai、位于左参考像素的上侧的参考像素ai-1、与当前像素的列对应的上参考像素aj、位于上参考像素的左侧的参考像素aj-1。
此外，当滤波方向是从右到左和从下到上时，多重组合帧内预测通过使用当前像素的预测像素pij、与当前像素的行对应的左参考像素ai、位于左参考像素的下侧的参考像素ai+1、与当前像素的列对应的上参考像素aj以及位于上参考像素的右侧的参考像素aj+1来生成新的预测像素。
图36a示出用于帧内预测的多组合帧内预测的语法的示例，以及图36b示出根据可用性检查的多组合帧内预测的语法的示例。
参照图36a，在通过检查是使用MPM还是PIMS来应用帧内预测之后，当需要多组合帧内预测时(当mip_coded是1时)，可应用多组合帧内预测(mip_index())。
参照图36b，作为可用性检查的结果，当右参考样点可用(avail_lr＝＝LR_01)时，可应用多组合帧内预测。
上面已经描述了各种实施例。应理解，本公开所属领域的普通技术人员可在不脱离本公开的范围的情况下进行各种修改和改变。因此，所公开的实施例应被认为是说明性的而非限制性的。本公开的范围应由所附权利要求解释，并且等同的范围内的所有技术思想应被解释为落入本公开的范围内。
上述实施例可被实施为计算机程序，并且可由通过使用计算机可读记录介质执行计算机程序的通用数字计算机来实现。计算机可读记录介质包括存储介质，诸如磁性存储介质(例如，只读存储器(ROM)、软盘、硬盘等)和光学读取介质(例如，光盘只读存储器(CD-ROM)、数字通用盘(DVD)等)。

Claims (15)

1.一种视频解码方法，包括：
获得指示是否使用当前块的最可能模式MPM的MPM信息；
获得指示是否使用基于所述MPM配置的扩展帧内模式集的扩展帧内模式集信息；并且
基于所述MPM信息和所述扩展帧内模式集信息来确定当前块的帧内预测模式，
其中，当前块的所述MPM是基于与当前块的左侧相邻的左邻近块的预测模式、与当前块的上侧相邻的上邻近块的预测模式以及与当前块的右侧相邻的右邻近块的预测模式中的至少两个确定的。
2.如权利要求1所述的视频解码方法，其中，当所述MPM信息指示使用所述MPM时，所述MPM中的一个模式被确定为当前块的帧内预测模式，
当所述MPM信息指示不使用所述MPM并且所述扩展帧内模式集信息指示使用所述扩展帧内模式集时，所述扩展帧内模式集中的一个模式被确定为当前块的帧内预测模式，并且
当所述MPM信息指示不使用所述MPM并且所述扩展帧内模式集信息指示不使用所述扩展帧内模式集时，所述MPM和所述扩展帧内模式集中未包括的帧内预测模式中的一个模式被确定为当前块的帧内预测模式。
3.如权利要求1所述的视频解码方法，其中，当当前块的所述MPM包括所述左邻近块、所述上邻近块和所述右邻近块的帧内预测模式时，所述扩展帧内模式集是通过使用当前块的所述MPM而配置的。
4.如权利要求1所述的视频解码方法，其中，当当前块的所述MPM包括所述左邻近块和所述上邻近块的帧内预测模式时，所述扩展帧内模式集是通过使用当前块的所述MPM和所述右邻近块的预测模式而配置的。
5.如权利要求1所述的视频解码方法，其中，当当前块的所述MPM的预设数量是两个并且所述左邻近块、所述上邻近块和所述右邻近块全部可用时，当前块的所述MPM是通过使用所述左邻近块、所述上邻近块和所述右邻近块中的两个块的预测模式而确定的。
6.如权利要求1所述的视频解码方法，其中，当当前块的所述MPM的预设数量是两个，所述右邻近块可用，并且所述左邻近块和所述上邻近块中仅有一个可用时，当前块的所述MPM是通过使用所述右邻近块的预测模式以及所述上邻近块和所述右邻近块中可用的一个块的预测模式而确定的。
7.如权利要求1所述的视频解码方法，其中，当所述左邻近块、所述上邻近块和所述右邻近块全部可用并且所述左邻近块、所述上邻近块和所述右邻近块的预测模式是不同的方向模式时，所述扩展帧内模式集包括索引从所述左邻近块的帧内预测模式的索引增加N的帧内预测模式、索引从所述左邻近块的帧内预测模式的索引减少N的帧内预测模式、索引从所述上邻近块的帧内预测模式的索引增加M的帧内预测模式、索引从所述上邻近块的帧内预测模式的索引减少M的帧内预测模式、索引从所述右邻近块的帧内预测模式的索引增加L的帧内预测模式以及索引从所述右邻近块的帧内预测模式的索引减少L的帧内预测模式，并且
N、M和L是除了零之外的整数。
8.如权利要求1所述的视频解码方法，其中，当当前块的所述MPM的预设数量是两个并且所述MPM是DC模式和双线性模式时，所述扩展帧内模式集包括平面模式、水平模式、垂直模式和对角线模式。
9.如权利要求1所述的视频解码方法，其中，当当前块的所述MPM的预设数量是两个并且所述MPM是DC模式和方向模式时，所述扩展帧内模式集包括双线性模式、平面模式、以及索引从方向模式的索引增加1的帧内预测模式、索引从方向模式的索引增加2的帧内预测模式、索引从方向模式的索引减少1的帧内预测模式、索引从方向模式的索引减少2的帧内预测模式、第一默认模式和第二默认模式，并且
第一默认模式和第二默认模式是预设的帧内预测模式。
10.如权利要求9所述的视频解码方法，其中，第一默认模式和第二默认模式是从顺序地列出具有统计上高概率被选择的帧内预测模式的列表确定的。
11.如权利要求1所述的视频解码方法，其中，当当前块的所述MPM的预设数量是两个并且所述MPM是第一方向模式和第二方向模式时，所述扩展帧内模式集包括索引从第一方向模式的索引增加1的帧内预测模式、索引从第一方向模式的索引减少1的帧内预测模式、索引从第二方向模式的索引增加1的帧内预测模式、索引从第二方向模式的索引减小1的帧内预测模式、水平模式、垂直模式、DC模式和双线性模式。
12.如权利要求1所述的视频解码方法，其中，当当前块的所述MPM包括所述左邻近块和所述上邻近块的帧内预测模式，所述MPM是DC模式和第一方向模式，并且所述右邻近块的预测模式是第二方向模式时，所述扩展帧内模式集包括双线性模式、平面模式、第二方向模式、索引从第一方向模式的索引增加1的帧内预测模式、索引从第一方向模式的索引减少1的帧内预测模式、索引从第二方向模式的索引增加1的帧内预测模式、索引从第二方向模式的索引减少1的帧内预测模式以及默认模式，并且
所述默认模式是预设的帧内预测模式。
13.如权利要求1所述的视频解码方法，其中，当当前块的所述MPM包括所述左邻近块和所述上邻近块的帧内预测模式，所述MPM是第一方向模式和第二方向模式，并且所述右邻近块的预测模式是第三方向模式时，所述扩展帧内模式集包括第三方向模式、索引从第一方向模式的索引增加1的帧内预测模式、索引从第一方向模式的索引减少1的帧内预测模式、索引从第二方向模式的索引增加1的帧内预测模式、索引从第二方向模式的索引减少1的帧内预测模式、索引从第三方向模式的索引增加1的帧内预测模式以及索引从第三方向模式的索引减少1的帧内预测模式。
14.一种视频解码装置，包括：
存储器；以及
至少一个处理器，连接到存储器并被配置为：
获得指示是否使用当前块的最可能模式MPM的MPM信息；
获得指示是否使用基于所述MPM配置的扩展帧内模式集的扩展帧内模式集信息；并且
基于所述MPM信息和所述扩展帧内模式集信息来确定当前块的帧内预测模式，
其中，当前块的所述MPM是基于与当前块的左侧相邻的左邻近块的预测模式、与当前块的上侧相邻的上邻近块的预测模式以及与当前块的右侧相邻的右邻近块的预测模式中的至少两个确定的。
15.一种视频编码方法，包括：
对当前块执行帧内预测，以生成指示是否使用当前块的最可能模式MPM的MPM信息；
生成指示是否使用基于所述MPM配置的扩展帧内模式集的扩展帧内模式集信息；并且
对所述MPM信息和所述扩展帧内模式集信息进行编码，
其中，当前块的所述MPM是基于与当前块的左侧相邻的左邻近块的预测模式、与当前块的上侧相邻的上邻近块的预测模式以及与当前块的右侧相邻的右邻近块的预测模式中的至少两个确定的。
CN201980017820.2A 2018-03-08 2019-03-07 视频解码方法和装置以及视频编码方法和装置 Pending CN111819845A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201862640164P 2018-03-08 2018-03-08
US201862640289P 2018-03-08 2018-03-08
US201862640108P 2018-03-08 2018-03-08
US62/640,289 2018-03-08
US62/640,108 2018-03-08
US62/640,164 2018-03-08
PCT/KR2019/002652 WO2019172676A1 (ko) 2018-03-08 2019-03-07 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치

Publications (1)

Publication Number Publication Date
CN111819845A true CN111819845A (zh) 2020-10-23

Family

ID=67846775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980017820.2A Pending CN111819845A (zh) 2018-03-08 2019-03-07 视频解码方法和装置以及视频编码方法和装置

Country Status (4)

Country Link
US (2) US11381814B2 (zh)
KR (3) KR102618498B1 (zh)
CN (1) CN111819845A (zh)
WO (1) WO2019172676A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112020027043A2 (pt) * 2018-09-03 2021-03-30 Huawei Technologies Co., Ltd. Método e decodificador para interpredição
US11134257B2 (en) 2019-04-04 2021-09-28 Tencent America LLC Simplified signaling method for affine linear weighted intra prediction mode
SG11202110936PA (en) 2019-04-12 2021-11-29 Beijing Bytedance Network Technology Co Ltd Chroma coding mode determination based on matrix-based intra prediction
US11363279B2 (en) * 2019-04-15 2022-06-14 Tencent America LLC Method and apparatus in video coding with flexible coding order
JP7403555B2 (ja) 2019-04-16 2023-12-22 北京字節跳動網絡技術有限公司 イントラコーディングモードにおけるマトリクスの導出
CN117097912A (zh) 2019-05-01 2023-11-21 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的上下文编码
CN113812150B (zh) 2019-05-01 2023-11-28 北京字节跳动网络技术有限公司 使用滤波的基于矩阵的帧内预测
BR112021022868A2 (pt) 2019-05-22 2022-01-04 Beijing Bytedance Network Tech Co Ltd Método de processamento de vídeos, aparelho para processar dados de vídeo e meios de armazenamento e gravação não transitórios legíveis por computador
CN113924775B (zh) 2019-05-31 2023-11-14 北京字节跳动网络技术有限公司 基于矩阵的帧内预测中的限制的上采样
WO2020244610A1 (en) 2019-06-05 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Context determination for matrix-based intra prediction
CN112616057A (zh) 2019-10-04 2021-04-06 Oppo广东移动通信有限公司 图像预测方法、编码器、解码器以及存储介质
EP4042689A4 (en) 2019-10-28 2023-06-07 Beijing Bytedance Network Technology Co., Ltd. SIGNALING AND SYNTAX ANALYSIS BASED ON A COLOR COMPONENT
WO2021139572A1 (zh) * 2020-01-08 2021-07-15 Oppo广东移动通信有限公司 编码方法、解码方法、编码器、解码器以及存储介质
US11388419B2 (en) * 2020-02-05 2022-07-12 Apple Inc. Smoothed directional and DC intra prediction

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105338348A (zh) * 2011-10-24 2016-02-17 英孚布瑞智有限私人贸易公司 用于图像解码的方法和装置
CN106031176A (zh) * 2013-12-19 2016-10-12 三星电子株式会社 涉及帧内预测的视频编码方法和装置以及视频解码方法和装置
US20160373741A1 (en) * 2015-06-18 2016-12-22 Qualcomm Incorporated Intra prediction and intra mode coding

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120070479A (ko) 2010-12-21 2012-06-29 한국전자통신연구원 화면 내 예측 방향 정보 부호화/복호화 방법 및 그 장치
US10123008B2 (en) 2011-06-17 2018-11-06 Hfi Innovation Inc. Method and apparatus for coding of intra prediction mode
KR101427229B1 (ko) * 2011-09-20 2014-08-18 한양대학교 산학협력단 적응적인 부호화 순서를 이용한 영상 부호화/복호화 장치 및 방법
KR101611409B1 (ko) 2011-09-28 2016-04-14 한국전자통신연구원 인트라 예측 모드 부호화/복호화 방법 및 장치
KR20130049525A (ko) 2011-11-04 2013-05-14 오수미 잔차 블록 복원을 위한 역변환 방법
US9154796B2 (en) 2011-11-04 2015-10-06 Qualcomm Incorporated Intra-mode video coding
KR20180008797A (ko) * 2015-06-15 2018-01-24 엘지전자 주식회사 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US20160373742A1 (en) * 2015-06-18 2016-12-22 Qualcomm Incorporated Intra prediction and intra mode coding
WO2017204427A1 (ko) * 2016-05-23 2017-11-30 가온미디어 주식회사 영상 처리 방법, 그를 이용한 영상 복호화 및 부호화 방법
US10880548B2 (en) 2016-06-01 2020-12-29 Samsung Electronics Co., Ltd. Methods and apparatuses for encoding and decoding video according to coding order
KR102445668B1 (ko) * 2016-06-01 2022-09-21 삼성전자주식회사 부호화 순서 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
US11503315B2 (en) * 2016-08-19 2022-11-15 Lg Electronics Inc. Method and apparatus for encoding and decoding video signal using intra prediction filtering
EP3301914A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for encoding and decoding a large field of view video
CN117097911A (zh) * 2016-11-18 2023-11-21 株式会社Kt 视频解码方法、视频编码方法和压缩视频数据发送设备
CN117336475A (zh) * 2017-01-02 2024-01-02 Lx 半导体科技有限公司 图像编码/解码方法、图像数据的发送方法以及存储介质
CN117395403A (zh) * 2017-04-28 2024-01-12 英迪股份有限公司 图像解码方法、图像编码方法和用于发送比特流的方法
KR20230045102A (ko) 2017-09-28 2023-04-04 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
US11178405B2 (en) 2017-10-18 2021-11-16 Samsung Electronics Co., Ltd. Method and apparatus for video decoding, and method and apparatus for video encoding
KR102539068B1 (ko) 2017-10-31 2023-06-01 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105338348A (zh) * 2011-10-24 2016-02-17 英孚布瑞智有限私人贸易公司 用于图像解码的方法和装置
CN106031176A (zh) * 2013-12-19 2016-10-12 三星电子株式会社 涉及帧内预测的视频编码方法和装置以及视频解码方法和装置
US20160373741A1 (en) * 2015-06-18 2016-12-22 Qualcomm Incorporated Intra prediction and intra mode coding

Also Published As

Publication number Publication date
US20220345696A1 (en) 2022-10-27
US20210105464A1 (en) 2021-04-08
US11917140B2 (en) 2024-02-27
US11381814B2 (en) 2022-07-05
KR20220103832A (ko) 2022-07-22
KR20240005173A (ko) 2024-01-11
KR102618498B1 (ko) 2023-12-27
KR102422798B1 (ko) 2022-07-19
KR20200109378A (ko) 2020-09-22
WO2019172676A1 (ko) 2019-09-12

Similar Documents

Publication Publication Date Title
CN111819845A (zh) 视频解码方法和装置以及视频编码方法和装置
KR20220031002A (ko) 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
KR102330704B1 (ko) 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
CN111183642B (zh) 编码方法和装置以及解码方法和装置
JP7304343B2 (ja) ビデオ符号化方法及びその装置、ビデオ復号方法及びその装置
KR102471075B1 (ko) 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
CN112042190B (zh) 视频编码方法和装置以及视频解码方法和装置
CN112690001B (zh) 用于视频解码的方法和设备以及用于视频编码的方法和设备
KR20200100656A (ko) 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
CN111164979A (zh) 图像编码方法和设备以及图像解码方法和设备
KR102444293B1 (ko) 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
CN113170189A (zh) 视频解码方法和装置以及视频编码方法和装置
CN114208192A (zh) 视频解码方法和装置以及视频编码方法和装置
CN112335239B (zh) 视频解码方法和装置以及视频编码方法和装置
KR102333181B1 (ko) 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
CN113228640A (zh) 用于对视频进行解码的方法和设备以及用于对视频进行编码的方法和设备
CN118018723A (zh) 视频编码方法和设备以及视频解码方法和设备
CN118018722A (zh) 视频编码方法和设备以及视频解码方法和设备
CN118018725A (zh) 视频编码方法和设备以及视频解码方法和设备
CN118018724A (zh) 视频编码方法和设备以及视频解码方法和设备
CN118018721A (zh) 视频编码方法和设备以及视频解码方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination