CN111602392B - 用于基于运动矢量分辨率对图像进行编码的设备和方法以及解码设备和方法 - Google Patents

用于基于运动矢量分辨率对图像进行编码的设备和方法以及解码设备和方法 Download PDF

Info

Publication number
CN111602392B
CN111602392B CN201880084683.XA CN201880084683A CN111602392B CN 111602392 B CN111602392 B CN 111602392B CN 201880084683 A CN201880084683 A CN 201880084683A CN 111602392 B CN111602392 B CN 111602392B
Authority
CN
China
Prior art keywords
coding unit
unit
processing mode
encoding
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880084683.XA
Other languages
English (en)
Other versions
CN111602392A (zh
Inventor
李振荣
朴慜祐
阿尼什·塔姆塞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to CN202310348180.1A priority Critical patent/CN116389721A/zh
Priority to CN202310347162.1A priority patent/CN116389720A/zh
Publication of CN111602392A publication Critical patent/CN111602392A/zh
Application granted granted Critical
Publication of CN111602392B publication Critical patent/CN111602392B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Abstract

公开了一种图像解码方法,根据一个实施例,包括以下步骤:基于当前块的运动矢量分辨率,确定用于对当前块进行解码的预测处理、变换处理和滤波处理中的至少一个中包括的多个处理模式中的至少一个第一处理模式;并且基于所述至少一个第一处理模式对当前块进行解码。

Description

用于基于运动矢量分辨率对图像进行编码的设备和方法以及解码设备和方法
技术领域
本公开涉及图像编码和解码。更具体地,本公开涉及一种用于基于运动矢量分辨率对图像进行编码的方法和设备以及用于对图像进行解码的方法和设备。
背景技术
在对视频进行编码和解码的方法中,为了对图像进行编码,可将一个画面划分为宏块,并且可通过使用帧间预测或帧内预测来对宏块中的每一个进行预测编码。
帧间预测是指一种通过去除画面之间的时间冗余来压缩图像的方法,并且帧间预测的代表性示例是运动估计编码。在运动估计编码中,通过使用至少一个参考画面来对当前画面的块进行预测。可通过使用预设评估函数在预设搜索范围内找到与当前块最相似的参考块。
基于参考块对当前块进行预测,并且对残差块进行编码,其中,所述残差块是通过从当前块减去预测块而生成的,所述预测块作为预测结果而被生成。在这种情况下,为了进一步准确地执行预测,可通过对参考画面的搜索范围执行插值来生成以比整数pel单位小的子pel单位的像素,并且可对所生成的子pel单位执行帧间预测。
帧内预测是指一种通过去除画面内的空间冗余来压缩图像的方案。帧内预测通过使用至少一种预测块生成方法,基于当前块的邻近像素来生成预测块。然后,对残差块进行编码,所述残差块是通过从当前块减去预测块而生成的。
诸如H.264高级视频编码(AVC)和高效视频编码(HEVC)的编解码器通过使用包括帧内预测和帧间预测的预测技术、变换技术以及滤波技术来对图像进行编码和解码。
发明内容
问题的解决方案
根据实施例,一种图像解码方法包括:基于当前块的运动矢量分辨率(MVR)确定用于当前块的解码的至少一个第一处理模式,其中,所述至少一个第一处理模式来自预测处理、变换处理和滤波处理中的至少一个中所包括的多个处理模式;并且根据所述至少一个第一处理模式对当前块进行解码。
公开的有益效果
根据实施例,图像编码设备和编码方法以及图像解码设备和解码方法基于当前块的运动矢量分辨率预先确定可应用于当前块的处理模式,使得不需要将不必要的信息添加到比特流,因此可减少比特量。
附图说明
为了进一步理解附图,提供对每个附图的简要描述。
图1示出根据实施例的能够基于块形状信息和划分形状信息中的至少一个对图像进行解码的图像解码设备的框图。
图2是根据实施例的用于基于块形状信息和划分形状信息中的至少一个对图像进行编码的图像编码设备的框图。
图3示出根据实施例的当前编码单元被划分以确定至少一个编码单元的处理。
图4示出根据实施例的通过划分非正方形编码单元来确定至少一个编码单元的处理。
图5示出根据实施例的基于块形状信息和划分形状信息中的至少一个对编码单元进行划分的处理。
图6示出根据实施例的从奇数个编码单元确定预设编码单元的方法。
图7示出根据实施例的当通过对当前编码单元进行划分来确定多个编码单元时处理所述多个编码单元的顺序。
图8示出根据实施例的当不能按照预设顺序对编码单元进行处理时确定当前编码单元将被划分为奇数个编码单元的处理。
图9示出根据实施例的通过划分第一编码单元来确定至少一个编码单元的处理。
图10示出根据实施例的当通过划分第一编码单元确定的具有非正方形形状的第二编码单元满足预设条件时第二编码单元可被划分为的形状受到限制。
图11示出根据实施例的当划分形状信息指示正方形编码单元将不被划分为四个正方形编码单元时划分正方形编码单元的处理。
图12示出根据实施例的可依据划分编码单元的处理来改变多个编码单元之间的处理顺序。
图13示出根据实施例的当编码单元被递归地划分使得多个编码单元被确定时随着编码单元的形状和尺寸改变来确定编码单元的深度的处理。
图14示出根据实施例的基于编码单元的形状和尺寸可确定的深度以及用于在编码单元之间进行区分的部分索引(PID)。
图15示出根据实施例的基于包括在画面中的多个预设数据单元来确定多个编码单元。
图16示出根据实施例的用作用于确定包括在画面中的参考编码单元的确定顺序的单元的处理块。
图17示出根据实施例的当编码单元可被划分为的形状的组合针对每个画面不同时针对每个画面可确定的编码单元。
图18示出根据实施例的基于可被表示为二进制码的划分形状信息可确定的编码单元的各种形状。
图19示出根据实施例的基于可被表示为二进制码的划分形状信息可确定的编码单元的其他形状。
图20是用于执行环路滤波的图像编码和解码系统的框图。
图21示出根据实施例的包括在最大编码单元中的滤波单元和滤波单元的滤波执行信息的示例。
图22示出根据实施例的在根据预设编码方法确定的编码单元之间执行合并或划分的处理。
图23示出根据实施例的根据编码单元的Z字形扫描顺序的索引。
图24是根据实施例的用于编码单元的帧内预测的参考样点的示图。
图25是示出根据实施例的图像解码设备的配置的框图。
图26是用于描述根据实施例的图像解码方法的流程图。
图27是示出根据实施例的图像编码设备的配置的框图。
图28是用于描述根据实施例的图像编码方法的流程图。
图29示出预测处理、变换处理和滤波处理中的每一个中包括的处理模式。
图30示出当最小运动矢量分辨率(MVR)是1/4像素单位的MVR时,可由根据1/4像素单位的MVR、1/2像素单位的MVR、1像素单位的MVR和2像素单位的MVR的运动矢量指示的像素的位置。
图31示出用于从比特流获得关于MVR的信息的语法。
图32至图34示出针对MVR预先确定的可应用的处理模式和/或不可应用的处理模式的示例。
图35至图37示出用于描述基于当前块的MVR将特定处理模式应用于当前块的处理的语法的示例。
最佳模式
根据实施例,一种图像解码方法包括:基于当前块的运动矢量分辨率(MVR)确定用于当前块的解码的至少一个第一处理模式,其中,所述至少一个第一处理模式来自预测处理、变换处理和滤波处理中的至少一个中所包括的多个处理模式;并且根据所述至少一个第一处理模式对当前块进行解码。
图像解码方法还可包括:从比特流获得关于所述至少一个第一处理模式的信息,并且所述解码的步骤可包括:当基于所获得的信息确认应用所述至少一个第一处理模式时,根据所述至少一个第一处理模式对当前块进行解码。
所述解码的步骤可包括:当确认不应用所述至少一个第一处理模式时,根据与所述至少一个第一处理模式不同的第二处理模式对当前块进行解码。
当当前块的MVR不与预设MVR对应时,可跳过从比特流获得关于所述至少一个第一处理模式的信息的操作。
图像解码方法还可包括:当当前块的MVR不与预设MVR对应时,确定与当前块的MVR对应且来自所述多个处理模式的至少一个第二处理模式,并且所述解码的步骤可包括:根据所述至少一个第二处理模式对当前块进行解码。
当存在在所述至少一个第一处理模式之前确定了是否应用的预定第二处理模式时,可跳过从比特流获得关于所述第二处理模式的信息的操作。
图像解码方法还可包括:确定与当前块的MVR对应且来自所述多个处理模式的至少一个第二处理模式,并且可跳过从比特流获得关于所述至少一个第二处理模式的信息的操作。
当前块的MVR可以是针对包括当前块的条带或画面而确定的,并且确定所述至少一个第一处理模式的步骤可包括:当包括当前块的条带是预测(P)条带或双预测(B)条带,或者包括当前块的画面是P画面或B画面时,确定帧间预测处理模式将被应用于包括在所述条带或所述画面中的所有块。
确定所述至少一个第一处理模式的步骤可包括:基于当前块的MVR确定针对根据帧内预测处理模式被编码且被包括在与当前块相同的条带或相同的画面中的块的预测块生成模式。
图像解码方法还可包括:基于当前块的MVR确定与所述至少一个第一处理模式相关的特定设置,并且对当前块进行解码的步骤可包括:根据所述至少一个第一处理模式的所述特定设置对当前块进行解码。
预测处理可包括跳过处理模式、直接处理模式、自适应运动矢量预测(AMVP)处理模式、仿射处理模式、双向光流(BIO)处理模式、解码器侧运动矢量推导(DMVD)处理模式、照度补偿(IC)处理模式、预测块生成模式、帧间预测修正(IPR)处理模式和重叠块运动补偿(OBMC)处理模式中的至少一个,变换处理可包括多重变换(MT)处理模式、不可分离二次变换(NSST)处理模式、旋转变换(ROT)处理模式、离散正弦变换(DST)处理模式和离散余弦变换(DCT)处理模式中的至少一个,并且滤波处理可包括去块处理模式、样点自适应偏移(SAO)处理模式、双边滤波器(BF)处理模式和自适应环路滤波器(ALF)处理模式中的至少一个。
根据实施例,一种图像解码方法包括:基于当前块的运动矢量分辨率(MVR)确定关于至少一个第一处理模式的信息是否被包括在比特流中,其中,所述至少一个第一处理模式来自用于当前块的解码的预测处理、变换处理和滤波处理中的至少一个中所包括的多个处理模式;并且当关于所述至少一个第一处理模式的信息被包括在比特流中时,根据所述至少一个第一处理模式对当前块进行解码。
根据实施例,一种图像解码设备包括:解码器,被配置为基于当前块的运动矢量分辨率(MVR)确定用于当前块的解码的至少一个第一处理模式,其中,所述至少一个第一处理模式来自预测处理、变换处理和滤波处理中的至少一个中所包括的多个处理模式;以及比特流获得器,被配置为从比特流获得关于所述至少一个第一处理模式的信息,其中,所述解码器还被配置为基于所获得的信息,根据所述至少一个第一处理模式对当前块进行解码。
根据实施例,一种图像编码方法包括:基于当前块的运动矢量分辨率(MVR)确定用于当前块的编码的至少一个第一处理模式,其中,所述至少一个第一处理模式来自预测处理、变换处理和滤波处理中的至少一个中所包括的多个处理模式;并且根据所述至少一个第一处理模式对当前块进行编码。
根据实施例,一种图像编码设备包括:编码器,被配置为基于当前块的运动矢量分辨率(MVR)确定用于当前块的编码的至少一个第一处理模式,并根据所述至少一个第一处理模式对当前块进行编码,其中,所述至少一个第一处理模式来自预测处理、变换处理和滤波处理中的至少一个中所包括的多个处理模式;以及比特流生成器,被配置为生成包括关于所述至少一个第一处理模式的信息的比特流。
具体实施方式
公开的模式
由于本公开允许各种改变和多种实施例,因此特定实施例将在附图中被示出并且在书面描述中被详细描述。然而,这并不旨在将本公开限制为实践的特定模式,并且将理解,不脱离各种实施例的精神和技术范围的所有改变、等同和替代被包含在本公开中。
在实施例的描述中,当认为相关领域的详细解释可能不必要地使本公开的本质模糊时,省略相关领域的详细解释。此外,在实施例的描述中使用的数字(例如,第一和第二)仅旨在将一个组件与另一组件区分开。
在整个说明书中,还将理解的是,当元件被称为“连接到”另一元件或与另一元件“耦接”时,所述元件可直接连接到所述另一元件或直接与所述另一元件耦接,或者所述元件可通过具有插入所述元件与所述另一元件之间的中间元件而电连接到所述另一元件或与所述另一元件耦接,除非存在与此相反的特定描述。
在整个说明书中,对于具有诸如“单元”或“模块”的后缀的元件,可根据特定功能将两个或更多个元件组合为一个元件或者将一个元件划分为两个或更多个元件。此外,下面将描述的元件中的每一个可除了执行每个元件负责的主要功能之外还另外执行其他元件负责的功能中的一些或全部功能,并且所述元件负责的主要功能中的一些功能可由其他元件专门执行。
在整个说明书中,“图像”或“画面”可指视频的静止图像或作为视频本身的运动画面。
在整个说明书中,“样点”是指分配给图像的采样位置并作为处理目标的数据。例如,空间域的图像中的像素值或变换域上的变换系数可以是样点。可将包括一个或更多个样点的单元定义为块。
在整个说明书中,“当前块”可指将被编码或解码的当前图像的最大编码单元、编码单元、预测单元或变换单元的块。
在整个说明书中,“运动矢量分辨率(MVR)”可指包括在参考图像(或经过插值的参考图像)中的像素中的且可由通过帧间预测确定的运动矢量指示的像素的位置的精度。当MVR具有N像素单位(其中,N是有理数)时,这表示运动矢量可具有N像素单位的精度。例如,1/4像素单位的MVR可表示运动矢量可指示经过插值的参考图像中的1/4像素单位(即,子像素单位)的像素位置,并且1像素单位的MVR可表示运动矢量可指示经过插值的参考图像中的与1像素单位(即,整数像素单位)对应的像素位置。
在整个说明书中,“候选MVR”是指可被选择为块的MVR的一个或更多个MVR。
在整个说明书中,“像素单位”可与“像素精度”、“像素准确度”等互换使用。
在整个说明书中,“处理模式”可指可适用于块以便对图像中的块进行编码和解码的技术。
在下文中,参照图1至图24,将描述根据实施例的基于具有树结构的变换单元和编码单元的图像编码方法及其设备以及图像解码方法及其设备。将参照图1至图24描述的图像编码设备200和图像解码设备100可分别包括将参照图25至图37描述的图像编码设备2700和图像解码设备2500。
图1示出根据实施例的能够基于块形状信息和划分形状信息中的至少一个对图像进行解码的图像解码设备100的框图。
参照图1,根据实施例,图像解码设备100可包括比特流获得器110和解码器120,其中,比特流获得器110用于从比特流获得诸如划分形状信息、块形状信息等的预设信息,解码器120用于通过使用获得的信息来对图像进行解码。根据实施例,当图像解码设备100的比特流获得器110获得块形状信息和划分形状信息中的至少一个信息时,图像解码设备100的解码器120可基于块形状信息和划分形状信息中的所述至少一个信息确定用于划分图像的至少一个编码单元。
根据实施例,图像解码设备100的解码器120可基于块形状信息确定编码单元的形状。例如,块形状信息可包括指示编码单元具有正方形形状还是具有非正方形形状的信息。解码器120可通过使用块形状信息确定编码单元的形状。
根据实施例,解码器120可基于划分形状信息确定编码单元将被划分为的形状。例如,划分形状信息可指示关于包括在编码单元中的至少一个编码单元的形状的信息。
根据实施例,解码器120可根据划分形状信息来确定编码单元将被划分还是将不被划分。划分形状信息可包括关于包括在编码单元中的至少一个编码单元的信息,并且当划分形状信息指示仅一个编码单元被包括在编码单元中或将不被划分时,解码器120可确定包括划分形状信息的编码单元将不被划分。当划分形状信息指示编码单元将被划分为多个编码单元时,解码器120可基于划分形状信息将编码单元划分为包括在该编码单元中的多个编码单元。
根据实施例,划分形状信息可指示编码单元将被划分为的编码单元的数量或编码单元将被划分的方向。例如,划分形状信息可指示编码单元将在垂直方向和水平方向中的至少一个方向上被划分或者将不被划分。
图3示出根据实施例的图像解码设备100通过划分当前编码单元来确定至少一个编码单元的处理。
块形状可包括4N×4N、4N×2N、2N×4N、4N×N或N×4N。就这一点而言,N可以是正整数。块形状信息是指示编码单元的形状、方向、宽高比或尺寸中的至少一个的信息。
编码单元的形状可包括正方形形状和非正方形形状。当编码单元的宽度和高度的长度相同(4N×4N)时,图像解码设备100可将编码单元的块形状信息确定为正方形形状。图像解码设备100可将编码单元的形状确定为非正方形形状。
当编码单元的宽度和高度的长度彼此不同(4N×2N、2N×4N、4N×N或N×4N)时,图像解码设备100可将编码单元的块形状信息确定为非正方形形状。当编码单元的形状是非正方形形状时,图像解码设备100可将编码单元的块形状信息中的宽高比确定为1:2、2:1、1:4、4:1、1:8或8:1中的至少一个。此外,图像解码设备100可基于编码单元的宽度长度和高度长度来确定编码单元是沿水平方向还是垂直方向。此外,图像解码设备100可基于编码单元的宽度长度、高度长度和面积中的至少一个来确定编码单元的尺寸。
根据实施例,图像解码设备100可通过使用块形状信息来确定编码单元的形状,并且可通过使用关于划分形状模式的信息来确定编码单元将被划分为哪种形状。也就是说,可根据由图像解码设备100所使用的块形状信息指示哪种块形状来确定由关于划分形状模式的信息指示的编码单元划分方法。
图像解码设备100可从比特流获得关于划分形状模式的信息。然而,本公开不限于此,并且图像解码设备100和图像编码设备200可获得关于基于块形状信息预先确定的划分形状模式的信息。图像解码设备100可获得关于针对最大编码单元或最小编码单元预先确定的划分形状模式的信息。例如,图像解码设备100可将最大编码单元的尺寸确定为256×256。图像解码设备100可将关于预先确定的划分形状模式的信息确定为四划分。四划分是将编码单元的宽度和高度二等分的划分形状模式。图像解码设备100可基于关于划分形状模式的信息从尺寸为256×256的最大编码单元获得尺寸为128×128的编码单元。此外,图像解码设备100可将最小编码单元的尺寸确定为4×4。图像解码设备100可获得指示针对最小编码单元“不执行划分”的关于划分形状模式的信息。
根据实施例,图像解码设备100可使用指示当前编码单元具有正方形形状的块形状信息。例如,图像解码设备100可基于关于划分形状模式的信息确定是不划分正方形编码单元,是垂直划分正方形编码单元,是水平划分正方形编码单元,还是将正方形编码单元划分为四个编码单元。参照图3,在当前编码单元300的块形状信息指示正方形形状时,解码器120可基于指示不执行划分的关于划分形状模式的信息确定与当前编码单元300具有相同尺寸的编码单元310a将不被划分,或者可确定基于指示预设划分方法的关于划分形状模式的信息而划分出的编码单元310b、310c或310d。
参照图3,根据实施例,图像解码设备100可基于指示垂直地执行划分的关于划分形状模式的信息,确定通过垂直划分当前编码单元300而获得的两个编码单元310b。图像解码设备100可基于指示水平地执行划分的关于划分形状模式的信息,确定通过水平划分当前编码单元300而获得的两个编码单元310c。图像解码设备100可基于指示垂直地和水平地执行划分的关于划分形状模式的信息,确定通过垂直和水平划分当前编码单元300而获得的四个编码单元310d。然而,正方形编码单元的划分形状不限于上述形状,并且关于划分形状模式的信息可指示各种形状。现在将在下面的各种实施例中描述将对正方形编码单元进行划分的预设划分形状。
图4示出根据实施例的由图像解码设备100执行的通过划分非正方形编码单元来确定至少一个编码单元的处理。
根据实施例,图像解码设备100可使用指示当前编码单元具有非正方形形状的块形状信息。图像解码设备100可基于关于划分形状模式的信息通过使用预设划分方法来确定是不划分非正方形的当前编码单元还是划分非正方形的当前编码单元。参照图4,当当前编码单元400或450的块形状信息指示非正方形形状时,图像解码设备100可基于指示不执行划分的关于划分形状模式的信息确定与当前编码单元400或450具有相同尺寸的编码单元410或460将不被划分,或者可确定基于指示预设划分方法的关于划分形状模式的信息而划分出的编码单元420a和420b、430a至430c、470a和470b、或者480a至480c。现在将在下面的各种实施例中描述划分非正方形编码单元的预设划分方法。
根据实施例,图像解码设备100可通过使用关于划分形状模式的信息确定将对编码单元进行划分的划分形状,并且在这种情况下,关于划分形状模式的信息可指示通过划分编码单元生成的一个或更多个编码单元的数量。参照图4,当关于划分形状模式的信息指示将当前编码单元400或450划分为两个编码单元时,图像解码设备100可通过基于关于划分形状模式的信息对当前编码单元400或450进行划分来确定包括在当前编码单元400或450中的两个编码单元420a和420b或者470a和470b。
根据实施例,当图像解码设备100基于关于划分形状模式的信息划分非正方形的当前编码单元400或450时,图像解码设备100可考虑非正方形的当前编码单元400或450的长边的位置来对当前编码单元进行划分。例如,图像解码设备100可考虑当前编码单元400或450的形状,通过以划分当前编码单元400或450的长边的方式对当前编码单元400进行划分来确定多个编码单元。
根据实施例,当关于划分形状模式的信息指示将编码单元划分为奇数个(三划分)块时,图像解码设备100可确定包括在当前编码单元400或450中的奇数个编码单元。例如,当关于划分形状模式的信息指示将当前编码单元400或450划分为三个编码单元时,图像解码设备100可将当前编码单元400或450划分为三个编码单元430a、430b和430c或者480a、480b和480c。
根据实施例,当前编码单元400或450的宽高比可以是4:1或1:4。当宽高比为4:1时,宽度长度大于高度长度,并且因此块形状信息可指示水平方向。当宽高比为1:4时,宽度长度小于高度长度,并且因此块形状信息可指示垂直方向。图像解码设备100可基于关于划分形状模式的信息来确定将当前编码单元划分为奇数个块。此外,图像解码设备100可基于当前编码单元400或450的块形状信息确定当前编码单元400或450的划分方向。例如,当当前编码单元400沿垂直方向时,图像解码设备100可水平划分当前编码单元400,并且因此可确定编码单元430a、430b和430c。此外,当当前编码单元450沿水平方向时,图像解码设备100可垂直划分当前编码单元450,并且因此可确定编码单元480a、480b和480c。
根据实施例,图像解码设备100可确定包括在当前编码单元400或450中的奇数个编码单元,并且所有确定的编码单元的尺寸可不相等。例如,确定的奇数个编码单元430a、430b和430c或者480a、480b和480c中的预先设置的编码单元430b或480b可具有与其他编码单元430a和430c或者480a和480c的尺寸不同的尺寸。也就是说,可通过划分当前编码单元400或450确定的编码单元可具有多种尺寸,并且在某些情况下,奇数个编码单元430a、430b和430c或者480a、480b和480c中的全部可具有不同的尺寸。
根据实施例,当关于划分形状模式的信息指示将编码单元划分为奇数个块时,图像解码设备100可确定包括在当前编码单元400或450中的奇数个编码单元,并且可对通过划分当前编码单元400或450而获得的奇数个编码单元中的至少一个编码单元施加预设限制。参照图4,图像解码设备100可允许针对编码单元430b或480b的解码方法与其他编码单元430a和430c或者480a和480c的解码方法不同,其中,编码单元430b或480b在通过划分当前编码单元400或450而获得的三个编码单元430a、430b和430c或者480a、480b和480c中的中心位置处。例如,与其他编码单元430a和430c或者480a和480c不同,图像解码设备100可限制中心位置处的编码单元430b或480b不再被划分或仅被划分预设次数。
图5示出根据实施例的由图像解码设备100执行的基于块形状信息和关于划分形状模式的信息中的至少一个划分编码单元的处理。
根据实施例,图像解码设备100可基于块形状信息和关于划分形状模式的信息中的至少一个,确定将正方形的第一编码单元500划分为编码单元或不对正方形的第一编码单元500进行划分。根据实施例,当关于划分形状模式的信息指示在水平方向上划分第一编码单元500时,图像解码设备100可通过在水平方向上划分第一编码单元500来确定第二编码单元510。根据实施例使用的第一编码单元、第二编码单元和第三编码单元是用于理解在划分编码单元之前和在划分编码单元之后的关系的术语。例如,可通过划分第一编码单元来确定第二编码单元,并且可通过划分第二编码单元来确定第三编码单元。在下文中,将理解,第一编码单元、第二编码单元和第三编码单元之间的关系遵循以上描述。
根据实施例,图像解码设备100可基于块形状信息和关于划分形状模式的信息中的至少一个确定不对确定的第二编码单元510进行划分或将确定的第二编码单元510划分为编码单元。参照图5,图像解码设备100可基于块形状信息和关于划分形状模式的信息中的至少一个不对通过划分第一编码单元500而确定的非正方形的第二编码单元510进行划分或将通过划分第一编码单元500而确定的非正方形的第二编码单元510划分为一个或更多个第三编码单元520a或者520b、520c和520d。图像解码设备100可获得块形状信息和关于划分形状模式的信息中的至少一个,并可通过基于获得的块形状信息和获得的关于划分形状模式的信息中的所述至少一个划分第一编码单元500来划分出多个各种形状的第二编码单元(例如,510),并且可基于块形状信息和关于划分形状模式的信息中的所述至少一个,通过使用第一编码单元500的划分方法来划分第二编码单元510。根据实施例,当基于第一编码单元500的块形状信息和关于划分形状模式的信息中的至少一个将第一编码单元500划分为第二编码单元510时,也可基于第二编码单元510的块形状信息和关于划分形状模式的信息中的至少一个将第二编码单元510划分为第三编码单元520a或者520b、520c和520d。也就是说,可基于每个编码单元的块形状信息和关于划分形状模式的信息中的至少一个递归地划分编码单元。因此,可通过划分非正方形编码单元来确定正方形编码单元,并且可通过递归地划分正方形编码单元来确定非正方形编码单元。
参照图5,通过划分非正方形的第二编码单元510而确定的奇数个第三编码单元520b、520c和520d中的预设编码单元(例如,中心位置处的编码单元或正方形编码单元)可被递归地划分。根据实施例,可在水平方向上将奇数个第三编码单元520b、520c和520d中的正方形的第三编码单元520b划分为多个第四编码单元。可将多个第四编码单元530a、530b、530c和530d中的非正方形的第四编码单元530b或530d划分为多个编码单元。例如,可将非正方形的第四编码单元530b或530d再次划分为奇数个编码单元。下面将在各种实施例中描述可被用于递归地划分编码单元的方法。
根据实施例,图像解码设备100可基于块形状信息和关于划分形状模式的信息中的至少一个将第三编码单元520a或者520b、520c和520d中的每一个划分为编码单元。此外,图像解码设备100可基于块形状信息和关于划分形状模式的信息中的至少一个确定不划分第二编码单元510。根据实施例,图像解码设备100可将非正方形的第二编码单元510划分为奇数个第三编码单元520b、520c和520d。图像解码设备100可对奇数个第三编码单元520b、520c和520d中的预设第三编码单元施加预设限制。例如,图像解码设备100可将奇数个第三编码单元520b、520c和520d中的中心位置处的第三编码单元520c限制为不再被划分或者被划分可设置的次数。
参照图5,图像解码设备100可将包括在非正方形的第二编码单元510中的奇数个第三编码单元520b、520c和520d中的中心位置处的第三编码单元520c限制为不再被划分,限制为通过使用预设划分方法被划分(例如,仅被划分为四个编码单元或通过使用第二编码单元510的划分方法被划分),或者限制为仅被划分预设次数(例如,仅被划分n次(其中,n>0))。然而,对中心位置处的第三编码单元520c的限制不限于上述示例,并且可包括用于与其他第三编码单元520b和520d不同地对在中心位置处的第三编码单元520c进行解码的各种限制。
根据实施例,图像解码设备100可从当前编码单元中的预设位置获得用于对当前编码单元进行划分的块形状信息和关于划分形状模式的信息中的至少一个。
图6示出根据实施例的由图像解码设备100执行的从奇数个编码单元中确定预设编码单元的方法。
参照图6,可从当前编码单元600或650中包括的多个样点中的预设位置的样点(例如,中心位置的样点640或690)获得当前编码单元600或650的块形状信息和关于划分形状模式的信息中的至少一个。然而,当前编码单元600中的可获得块形状信息和关于划分形状模式的信息中的至少一个的预设位置不限于图6中的中心位置,并且可包括当前编码单元600中所包括的各种位置(例如,上方、下方、左侧、右侧、左上方、左下方、右上方和右下方位置)。图像解码设备100可从所述预设位置获得块形状信息和关于划分形状模式的信息中的至少一个,并且可确定不对当前编码单元进行划分或将当前编码单元划分为各种形状和各种尺寸的编码单元。
根据实施例,在当前编码单元被划分为预设数量的编码单元时,图像解码设备100可选择编码单元中的一个编码单元。可使用各种方法来选择多个编码单元中的一个编码单元,并且将在下面的各种实施例中提供关于各种方法的描述。
根据实施例,图像解码设备100可将当前编码单元划分为多个编码单元,并且可确定预设位置处的编码单元。
根据实施例,图像解码设备100可使用指示奇数个编码单元的各自的位置的信息以便确定奇数个编码单元中的中心位置处的编码单元。参照图6,图像解码设备100可通过划分当前编码单元600或当前编码单元650来确定奇数个编码单元620a、620b和620c或者奇数个编码单元660a、660b和660c。图像解码设备100可通过使用关于奇数个编码单元620a、620b和620c或者奇数个编码单元660a、660b和660c的位置的信息来确定中心位置处的编码单元620b或中心位置处的编码单元660b。例如,图像解码设备100可通过基于指示包括在编码单元620a、620b和620c中的预设样点的位置的信息确定编码单元620a、620b和620c的位置,来确定中心位置的编码单元620b。详细地,图像解码设备100可通过基于指示编码单元620a、620b和620c的左上样点630a、630b和630c的位置的信息确定编码单元620a、620b和620c的位置,来确定中心位置处的编码单元620b。
根据实施例,指示分别包括在编码单元620a、620b和620c中的左上样点630a、630b和630c的位置的信息可包括关于编码单元620a、620b和620c在画面中的位置或坐标的信息。根据实施例,指示分别包括在编码单元620a、620b和620c中的左上样点630a、630b和630c的位置的信息可包括指示当前编码单元600中包括的编码单元620a、620b和620c的宽度或高度的信息,并且宽度或高度可与指示编码单元620a、620b和620c在画面中的坐标之间的差的信息对应。也就是说,图像解码设备100可通过直接使用关于编码单元620a、620b和620c在画面中的位置或坐标的信息或者通过使用关于与坐标之间的差值对应的编码单元的宽度或高度的信息来确定中心位置处的编码单元620b。
根据实施例,指示上方编码单元620a的左上样点630a的位置的信息可包括坐标(xa,ya),指示中间编码单元620b的左上样点630b的位置的信息可包括坐标(xb,yb),指示下方编码单元620c的左上样点630c的位置的信息可包括坐标(xc,yc)。图像解码设备100可通过使用分别包括在编码单元620a、620b和620c中的左上样点630a、630b和630c的坐标来确定中间编码单元620b。例如,当左上样点630a、630b和630c的坐标按照升序或降序排序时,可将中心位置处的包括坐标(xb,yb)的样点630b的编码单元620b确定为通过划分当前编码单元600确定的编码单元620a、620b和620c中的中心位置处的编码单元。然而,指示左上样点630a、630b和630c的位置的坐标可包括指示画面中的绝对位置的坐标,或者可使用指示中间编码单元620b的左上样点630b相对于上方编码单元620a的左上样点630a的位置的相对位置的坐标(dxb,dyb)和指示下方编码单元620c的左上样点630c相对于上方编码单元620a的左上样点630a的位置的相对位置的坐标(dxc,dyc)。此外,通过将包括在编码单元中的样点的坐标用作指示样点的位置的信息来确定预设位置处的编码单元的方法不限于上述方法,并且可包括能够使用样点的坐标的各种算术方法。
根据实施例,图像解码设备100可将当前编码单元600划分为多个编码单元620a、620b和620c,并且可基于预设标准选择编码单元620a、620b和620c中的一个编码单元。例如,图像解码设备100可从编码单元620a、620b和620c中选择尺寸与其他编码单元的尺寸不同的编码单元620b。
根据实施例,图像解码设备100可通过使用指示上方编码单元620a的左上样点630a的位置的坐标(xa,ya)、指示中间编码单元620b的左上样点630b的位置的坐标(xb,yb)和指示下方编码单元620c的左上样点630c的位置的坐标(xc,yc)来确定编码单元620a、620b和620c的宽度或高度。图像解码设备100可通过使用指示编码单元620a、620b和620c的位置的坐标(xa,ya)、(xb,yb)和(xc,yc)来确定编码单元620a、620b和620c的各自的尺寸。根据实施例,图像解码设备100可将上方编码单元620a的宽度确定为当前编码单元600的宽度。图像解码设备100可将上方编码单元620a的高度确定为yb-ya。根据实施例,图像解码设备100可将中间编码单元620b的宽度确定为当前编码单元600的宽度。图像解码设备100可将中间编码单元620b的高度确定为yc-yb。根据实施例,图像解码设备100可通过使用当前编码单元600的宽度或高度或者上方编码单元620a和中间编码单元620b的宽度或高度来确定下方编码单元620c的宽度或高度。图像解码设备100可基于确定的编码单元620a至620c的宽度和高度来确定具有与其他编码单元的尺寸不同的尺寸的编码单元。参照图6,图像解码设备100可将具有与上方编码单元620a和下方编码单元620c的尺寸不同的尺寸的中间编码单元620b确定为预设位置的编码单元。然而,上述由图像解码设备100执行的确定具有与其他编码单元的尺寸不同的尺寸的编码单元的方法仅与通过使用基于样点的坐标确定的编码单元的尺寸来确定预设位置处的编码单元的示例对应,并且因此,通过将基于预设样点的坐标确定的编码单元的尺寸进行比较来确定预设位置处的编码单元的各种方法可被使用。
图像解码设备100可通过使用作为指示左侧编码单元660a的左上样点670a的位置的信息的坐标(xd,yd)、作为指示中间编码单元660b的左上样点670b的位置的信息的坐标(xe,ye)和作为指示右侧编码单元660c的左上样点670c的位置的信息的坐标(xf,yf)来确定编码单元660a、660b和660c中的每一个的宽度或高度。图像解码设备100可通过使用指示编码单元660a、660b和660c的位置的坐标(xd,yd)、(xe,ye)和(xf,yf)来确定编码单元660a、660b和660c的尺寸。
根据实施例,图像解码设备100可将左侧编码单元660a的宽度确定为xe-xd。图像解码设备100可将左侧编码单元660a的高度确定为当前编码单元650的高度。根据实施例,图像解码设备100可将中间编码单元660b的宽度确定为xf-xe。图像解码设备100可将中间编码单元660b的高度确定为当前编码单元600的高度。根据实施例,图像解码设备100可通过使用当前编码单元650的宽度或高度以及左侧编码单元660a和中间编码单元660b的宽度和高度来确定右侧编码单元660c的宽度或高度。图像解码设备100可基于所确定的编码单元660a、660b和660c的宽度和高度来确定具有与其他编码单元的尺寸不同的尺寸的编码单元。参照图6,图像解码设备100可将具有与左侧编码单元660a和右侧编码单元660c的尺寸不同的尺寸的中间编码单元660b确定为预设位置的编码单元。然而,上述由图像解码设备100执行的确定尺寸与其他编码单元的尺寸不同的编码单元的方法仅与通过使用基于样点的坐标确定的编码单元的尺寸来确定预设位置处的编码单元的示例对应,并且因此,通过将基于预设样点的坐标确定的编码单元的尺寸进行比较来确定预设位置处的编码单元的各种方法可被使用。
然而,确定编码单元的位置所考虑的样点的位置不限于上述的左上位置,并且可使用关于包括在编码单元中的样点的任意位置的信息。
根据实施例,图像解码设备100可考虑当前编码单元的形状,从通过划分当前编码单元确定的奇数个编码单元中选择预设位置处的编码单元。例如,当当前编码单元具有宽度大于高度的非正方形形状时,图像解码设备100可确定沿水平方向的预设位置处的编码单元。也就是说,图像解码设备100可确定沿水平方向的不同位置处的编码单元中的一个编码单元并且可对该编码单元施加限制。当当前编码单元具有高度大于宽度的非正方形形状时,图像解码设备100可确定沿垂直方向的预设位置处的编码单元。也就是说,图像解码设备100可确定沿垂直方向的不同位置处的编码单元中的一个编码单元,并且可对该编码单元施加限制。
根据实施例,图像解码设备100可使用指示偶数个编码单元的各个位置的信息,以确定偶数个编码单元中的预设位置处的编码单元。图像解码设备100可通过划分当前编码单元来确定偶数个编码单元,并且可通过使用关于偶数个编码单元的位置的信息来确定预设位置处的编码单元。与其相关的操作可与已经在上面关于图6详细描述的确定奇数个编码单元中的预设位置(例如,中心位置)处的编码单元的操作对应,并且因此这里不提供其详细描述。
根据实施例,当将非正方形的当前编码单元划分为多个编码单元时,可在划分操作中使用关于预设位置处的编码单元的预设信息来确定多个编码单元中的预设位置处的编码单元。例如,图像解码设备100可在划分操作中使用中心位置处的编码单元中包括的样点中存储的块形状信息和关于划分形状模式的信息中的至少一个来从通过划分当前编码单元确定的多个编码单元中确定中心位置处的编码单元。
参照图6,图像解码设备100可基于块形状信息和关于划分形状模式的信息中的至少一个,将当前编码单元600划分为多个编码单元620a、620b和620c,并且可确定多个编码单元620a、620b和620c中的中心位置处的编码单元620b。此外,图像解码设备100可考虑获得块形状信息和关于划分形状模式的信息中的至少一个的位置来确定中心位置处的编码单元620b。也就是说,可从当前编码单元600的中心位置处的样点640获得当前编码单元600的块形状信息和关于划分形状模式的信息中的至少一个,并且当基于块形状信息和关于划分形状模式的信息中的至少一个将当前编码单元600划分为多个编码单元620a、620b和620c时,可将包括样点640的编码单元620b确定为中心位置处的编码单元。然而,用于确定中心位置处的编码单元的信息不应被解释为限于块形状信息和关于划分形状模式的信息中的至少一个信息,并且可使用各种类型的信息来确定中心位置处的编码单元。
根据实施例,可从包括在将被确定的编码单元中的预设样点获得用于识别预设位置处的编码单元的预设信息。参照图6,图像解码设备100可使用从当前编码单元600中的预设位置处的样点(例如,当前编码单元600的中心位置处的样点)获得的块形状信息和关于划分形状模式的信息中的至少一个,来确定通过划分当前编码单元600确定的多个编码单元620a、620b和620c中的预定位置处的编码单元(例如,划分出的多个编码单元中的中心位置处的编码单元)。也就是说,图像解码设备100可通过考虑当前编码单元600的块形状来确定预设位置处的样点,从通过划分当前编码单元600确定的多个编码单元620a、620b和620c中确定包括可从其获得预设信息(例如,块形状信息和关于划分形状模式的信息中的至少一个)的样点的编码单元620b,并且可对编码单元620b施加预设限制。参照图6,根据实施例,在解码操作中,图像解码设备100可将当前编码单元600的中心位置处的样点640确定为可从其获得预设信息的样点,并且可对包括样点640的编码单元620b施加预设限制。然而,可从其获得预设信息的样点的位置不限于上述位置,并且可包括编码单元620b中所包括的将被确定用于限制的样点的任意位置。
根据实施例,可基于当前编码单元600的形状确定可从其获得预设信息的样点的位置。根据实施例,块形状信息可指示当前编码单元是具有正方形形状还是具有非正方形形状,并且可基于该形状确定可从其获得预设信息的样点的位置。例如,图像解码设备100可通过使用关于当前编码单元的宽度的信息和关于当前编码单元的高度的信息中的至少一个将位于用于将当前编码单元的宽度和高度中的至少一个对半划分的边界上的样点确定为可从其获得预设信息的样点。作为另一示例,在当前编码单元的块形状信息指示非正方形形状时,图像解码设备100可将与用于将当前编码单元的长边对半划分的边界相邻的样点中的一个样点确定为可从其获得预设信息的样点。
根据实施例,在当前编码单元被划分为多个编码单元时,图像解码设备100可使用块形状信息和关于划分形状模式的信息中的至少一个来确定多个编码单元中的预设位置处的编码单元。根据实施例,图像解码设备100可从编码单元中的预设位置处的样点获得块形状信息和关于划分形状模式的信息中的至少一个,并且可通过使用从多个编码单元中的每个编码单元中的预设位置处的样点获得的块形状信息和关于划分形状模式的信息中的至少一个对通过划分当前编码单元生成的多个编码单元进行划分。也就是说,可基于从每个编码单元中的预设位置处的样点获得的块形状信息和关于划分形状模式的信息中的至少一个递归地划分编码单元。上面已经关于图5描述了递归地划分编码单元的操作,并且因此这里不提供其详细描述。
根据实施例,图像解码设备100可通过划分当前编码单元确定一个或更多个编码单元,并且可基于预设块(例如,当前编码单元)确定对所述一个或更多个编码单元进行解码的顺序。
图7示出根据实施例的当图像解码设备100通过划分当前编码单元来确定多个编码单元时对所述多个编码单元进行处理的顺序。
根据实施例,基于块形状信息和关于划分形状模式的信息,图像解码设备100可通过在垂直方向上划分第一编码单元700来确定第二编码单元710a和710b,可通过在水平方向上划分第一编码单元700来确定第二编码单元730a和730b,或者可通过在垂直方向和水平方向上划分第一编码单元700来确定第二编码单元750a至750d。
参照图7,图像解码设备100可确定按照水平方向顺序710c对通过在垂直方向上划分第一编码单元700确定的第二编码单元710a和710b进行处理。图像解码设备100可确定按照垂直方向顺序730c对通过在水平方向上划分第一编码单元700确定的第二编码单元730a和730b进行处理。图像解码设备100可确定根据预设顺序(例如,光栅扫描顺序或Z字形扫描顺序750e)对通过在垂直方向和水平方向上划分第一编码单元700确定的第二编码单元750a至750d进行处理,其中,通过所述预设顺序对一行中的编码单元进行处理然后对下一行中的编码单元进行处理。
根据实施例,图像解码设备100可递归地划分编码单元。参照图7,图像解码设备100可通过划分第一编码单元700来确定多个编码单元710a、710b、730a、730b、750a、750b、750c和750d,并且可递归地划分确定的多个编码单元710a、710b、730a、730b、750a、750b、750c和750d中的每一个。多个编码单元710a、710b、730a、730b、750a、750b、750c和750d的划分方法可对应于第一编码单元700的划分方法。如此,多个编码单元710a、710b、730a、730b、750a、750b、750c和750d中的每一个可被独立地划分为多个编码单元。参照图7,图像解码设备100可通过在垂直方向上划分第一编码单元700来确定第二编码单元710a和710b,并且可确定独立地划分第二编码单元710a和710b中的每一个或者不对第二编码单元710a和710b中的每一个进行划分。
根据实施例,图像解码设备100可通过在水平方向上对左侧第二编码单元710a进行划分来确定第三编码单元720a和720b,并且可不对右侧第二编码单元710b进行划分。
根据实施例,可基于划分编码单元的操作确定编码单元的处理顺序。换句话说,可基于紧接在被划分之前的编码单元的处理顺序来确定划分出的编码单元的处理顺序。图像解码设备100可独立于右侧第二编码单元710b来确定通过划分左侧第二编码单元710a确定的第三编码单元720a和720b的处理顺序。因为通过在水平方向上划分左侧第二编码单元710a来确定第三编码单元720a和720b,所以可按照垂直方向顺序720c对第三编码单元720a和720b进行处理。因为左侧第二编码单元710a和右侧第二编码单元710b按照水平方向顺序710c被处理,所以可在按照垂直方向顺序720c对左侧第二编码单元710a中包括的第三编码单元720a和720b进行处理之后对右侧第二编码单元710b进行处理。基于划分之前的编码单元来确定编码单元的处理顺序的操作不限于上述示例,并且可使用各种方法按照预设顺序独立地处理被划分并被确定为各种形状的编码单元。
图8示出根据实施例的由图像解码设备100执行的当不能按照预设顺序对编码单元进行处理时确定当前编码单元将被划分为奇数个编码单元的处理。
根据实施例,图像解码设备100可基于获得的块形状信息和关于划分形状模式的信息确定当前编码单元是否被划分为奇数个编码单元。参照图8,正方形的第一编码单元800可被划分为非正方形的第二编码单元810a和810b,第二编码单元810a和810b可被独立地划分为第三编码单元820a和820b以及820c、820d和820e。根据实施例,图像解码设备100可通过在水平方向上划分左侧第二编码单元810a来确定多个第三编码单元820a和820b,并且可将右侧第二编码单元810b划分为奇数个第三编码单元820c至820e。
根据实施例,图像解码设备100可通过确定第三编码单元820a和820b以及820c至820e是否可按照预设顺序处理,来确定是否将任意编码单元划分为奇数个编码单元。参照图8,图像解码设备100可通过递归地划分第一编码单元800来确定第三编码单元820a和820b以及820c至820e。图像解码设备100可基于块形状信息和关于划分形状模式的信息中的至少一个确定以下编码单元中的任意一个是否被划分为奇数个编码单元:第一编码单元800、第二编码单元810a和810b、以及第三编码单元820a和820b及820c、820d和820e。例如,第二编码单元810a和810b中的位于右侧的第二编码单元810b可被划分为奇数个第三编码单元820c、820d和820e。第一编码单元800中包括的多个编码单元的处理顺序可以是预设顺序(例如,Z字形扫描顺序830),图像解码设备100可确定通过将右侧第二编码单元810b划分为奇数个编码单元而确定的第三编码单元820c、820d和820e是否满足用于按照预设顺序进行处理的条件。
根据实施例,图像解码设备100可确定第一编码单元800中包括的第三编码单元820a和820b以及820c、820d和820e是否满足用于按照预设顺序进行处理的条件,并且该条件涉及第二编码单元810a和810b的宽度和高度中的至少一个是否将沿着第三编码单元820a和820b以及820c、820d和820e的边界被对半划分。例如,通过将非正方形的左侧第二编码单元810a的高度对半划分而确定的第三编码单元820a和820b满足所述条件。然而,因为通过将右侧第二编码单元810b划分为三个编码单元而确定的第三编码单元820c、820d和820e的边界未将右侧第二编码单元810b的宽度或高度对半划分,所以可确定第三编码单元820c、820d和820e不满足所述条件。当如上所述不满足所述条件时,图像解码设备100可确定扫描顺序不连续,并且基于确定结果确定右侧第二编码单元810b将被划分为奇数个编码单元。根据实施例,当编码单元被划分为奇数个编码单元时,图像解码设备100可对划分出的编码单元中的预设位置处的编码单元施加预设限制,上面已经在各种实施例中描述了所述限制或所述预设位置,因此这里不提供其详细描述。
图9示出根据实施例的由图像解码设备100执行的通过划分第一编码单元900确定至少一个编码单元的处理。
根据实施例,图像解码设备100可基于由比特流获得器110获得的块形状信息和关于划分形状模式的信息中的至少一个对第一编码单元900进行划分。正方形的第一编码单元900可被划分为四个正方形编码单元,或者可被划分为多个非正方形编码单元。例如,参照图9,当块形状信息指示第一编码单元900具有正方形形状并且关于划分形状模式的信息指示将第一编码单元900划分为非正方形编码单元时,图像解码设备100可将第一编码单元900划分为多个非正方形编码单元。详细地,当关于划分形状模式的信息指示通过在水平方向或垂直方向上划分第一编码单元900来确定奇数个编码单元时,图像解码设备100可将正方形的第一编码单元900划分为奇数个编码单元(例如,通过在垂直方向上划分正方形的第一编码单元900而确定的第二编码单元910a、910b和910c,或者通过在水平方向上划分正方形的第一编码单元900而确定的第二编码单元920a、920b和920c)。
根据实施例,图像解码设备100可确定包括在第一编码单元900中的第二编码单元910a、910b、910c、920a、920b和920c是否满足用于按照预设顺序进行处理的条件,并且该条件与第一编码单元900的宽度和高度中的至少一个是否将沿着第二编码单元910a、910b、910c、920a、920b和920c的边界被对半划分相关。参照图9,因为通过在垂直方向上划分正方形的第一编码单元900而确定的第二编码单元910a、910b和910c的边界未将第一编码单元900的宽度对半划分,所以可确定第一编码单元900不满足用于按照预设顺序进行处理的条件。此外,因为通过在水平方向上划分正方形的第一编码单元900而确定的第二编码单元920a、920b和920c的边界未将第一编码单元900的高度对半划分,所以可确定第一编码单元900不满足用于按照预设顺序进行处理的条件。当如上所述不满足所述条件时,图像解码设备100可确定扫描顺序不连续,并且可基于确定结果确定第一编码单元900将被划分为奇数个编码单元。根据实施例,当编码单元被划分为奇数个编码单元时,图像解码设备100可对划分出的编码单元中的预设位置处的编码单元施加预设限制,上面已经关于各种实施例描述了所述限制或所述预定位置,因此这里不提供其详细描述。
根据实施例,图像解码设备100可通过划分第一编码单元来确定各种形状的编码单元。
参照图9,图像解码设备100可将正方形的第一编码单元900或非正方形的第一编码单元930或950划分为各种形状的编码单元。
图10示出根据实施例的当通过划分第一编码单元1000确定的具有非正方形形状的第二编码单元满足预设条件时图像解码设备100可将第二编码单元划分为的形状受到限制。
根据实施例,图像解码设备100可基于由比特流获得器110获得的块形状信息和关于划分形状模式的信息中的至少一个确定将正方形的第一编码单元1000划分为非正方形的第二编码单元1010a、1010b、1020a和1020b。第二编码单元1010a、1010b、1020a和1020b可被独立地划分。如此,基于第二编码单元1010a、1010b、1020a和1020b中的每一个的块形状信息和关于划分形状模式的信息中的至少一个,图像解码设备100可确定将第一编码单元1000划分为多个编码单元或不对第一编码单元1000进行划分。根据实施例,图像解码设备100可通过在水平方向上对通过在垂直方向上划分第一编码单元1000而确定的非正方形的左侧第二编码单元1010a进行划分,来确定第三编码单元1012a和1012b。然而,当左侧第二编码单元1010a在水平方向上被划分时,图像解码设备100可限制右侧第二编码单元1010b不在左侧第二编码单元1010a被划分的水平方向上被划分。当通过在相同方向上划分右侧第二编码单元1010b来确定第三编码单元1014a和1014b时,因为左侧第二编码单元1010a和右侧第二编码单元1010b在水平方向上被独立地划分,所以可确定第三编码单元1012a、1012b、1014a和1014b。然而,这种情况与图像解码设备100基于块形状信息和关于划分形状模式的信息中的至少一个将第一编码单元1000划分为四个正方形的第二编码单元1030a、1030b、1030c和1030d的情况作用相同,并且在图像解码方面可能是低效的。
根据实施例,图像解码设备100可通过在垂直方向上对通过在水平方向上划分第一编码单元1000而确定的非正方形的第二编码单元1020a或1020b进行划分,来确定第三编码单元1022a、1022b、1024a和1024b。然而,当第二编码单元(例如,上方第二编码单元1020a)在垂直方向上被划分时,出于上述原因,图像解码设备100可限制另一第二编码单元(例如,下方第二编码单元1020b)不在上方第二编码单元1020a被划分的垂直方向上被划分。
图11示出根据实施例的当关于划分形状模式的信息指示正方形编码单元将不被划分为四个正方形编码单元时由图像解码设备100执行的划分正方形编码单元的处理。
根据实施例,图像解码设备100可通过基于块形状信息和关于划分形状模式的信息中的至少一个划分第一编码单元1100来确定第二编码单元1110a、1110b、1120a、1120b等。关于划分形状模式的信息可包括关于划分编码单元的各种方法的信息,但是关于各种划分方法的信息可不包括用于将编码单元划分为四个正方形编码单元的信息。根据这样的关于划分形状模式的信息,图像解码设备100可不将第一编码单元1100划分为四个正方形的第二编码单元1130a、1130b、1130c和1130d。图像解码设备100可基于关于划分形状模式的信息确定非正方形的第二编码单元1110a、1110b、1120a、1120b等。
根据实施例,图像解码设备100可独立地划分非正方形的第二编码单元1110a、1110b、1120a、1120b等。第二编码单元1110a、1110b、1120a、1120b等中的每一个可按照预设顺序被递归地划分,并且该划分方法可与基于块形状信息和关于划分形状模式的信息中的至少一个来划分第一编码单元1100的方法对应。
例如,图像解码设备100可通过在水平方向上划分左侧第二编码单元1110a来确定正方形的第三编码单元1112a和1112b,并且可通过在水平方向上划分右侧第二编码单元1110b来确定正方形的第三编码单元1114a和1114b。此外,图像解码设备100可通过在水平方向上划分左侧第二编码单元1110a和右侧第二编码单元1110b两者来确定正方形的第三编码单元1116a、1116b、1116c和1116d。在这种情况下,与从第一编码单元1100划分出的四个正方形的第二编码单元1130a、1130b、1130c和1130d具有相同形状的编码单元可被确定。
作为另一示例,图像解码设备100可通过在垂直方向上划分上方第二编码单元1120a来确定正方形的第三编码单元1122a和1122b,并且可通过在垂直方向上划分下方第二编码单元1120b来确定正方形的第三编码单元1124a和1124b。此外,图像解码设备100可通过在垂直方向上划分上方第二编码单元1120a和下方第二编码单元1120b两者来确定正方形的第三编码单元1126a、1126b、1126c和1126d。在这种情况下,与从第一编码单元1100划分出的四个正方形的第二编码单元1130a、1130b、1130c和1130d具有相同形状的编码单元可被确定。
图12示出根据实施例的可根据划分编码单元的处理改变多个编码单元之间的处理顺序。
根据实施例,图像解码设备100可基于块形状信息和关于划分形状模式的信息划分第一编码单元1200。当块形状信息指示正方形形状并且关于划分形状模式的信息指示在水平方向和垂直方向中的至少一个上划分第一编码单元1200时,图像解码设备100可通过划分第一编码单元1200来确定第二编码单元1210a、1210b、1220a和1220b。参照图12,通过仅在水平方向或垂直方向上划分第一编码单元1200而确定的非正方形的第二编码单元1210a、1210b、1220a和1220b可基于每个编码单元的块形状信息和关于划分形状模式的信息被独立地划分。例如,图像解码设备100可通过在水平方向上对通过在垂直方向上划分第一编码单元1200而生成的第二编码单元1210a和1210b进行划分来确定第三编码单元1216a、1216b、1216c和1216d,并且可通过在垂直方向上对通过在水平方向上划分第一编码单元1200而生成的第二编码单元1220a和1220b进行划分来确定第三编码单元1226a、1226b、1226c和1226d。上面已经关于图11描述了划分第二编码单元1210a、1210b、1220a和1220b的操作,因此这里不提供其详细描述。
根据实施例,图像解码设备100可按照预设顺序处理编码单元。上面已经参照图7描述了按照预设顺序处理编码单元的操作,因此这里不提供其详细描述。参照图12,图像解码设备100可通过划分正方形的第一编码单元1200,确定四个正方形的第三编码单元1216a、1216b、1216c和1216d以及1226a、1226b、1226c和1226d。根据实施例,图像解码设备100可基于第一编码单元1200的划分方法确定第三编码单元1216a、1216b、1216c和1216d以及1226a、1226b、1226c和1226d的处理顺序。
根据实施例,图像解码设备100可通过在水平方向上对通过在垂直方向上划分第一编码单元1200而生成的第二编码单元1210a和1210b进行划分来确定第三编码单元1216a、1216b、1216c和1216d,并且可按照如下处理顺序1217处理第三编码单元1216a、1216b、1216c和1216d:首先在垂直方向上处理左侧第二编码单元1210a中包括的第三编码单元1216a和1216c,然后在垂直方向上处理右侧第二编码单元1210b中包括的第三编码单元1216b和1216d。
根据实施例,图像解码设备100可通过在垂直方向上对通过在水平方向上划分第一编码单元1200而生成的第二编码单元1220a和1220b进行划分来确定第三编码单元1226a、1226b、1226c和1226d,并且可按照如下处理顺序1227处理第三编码单元1226a、1226b、1226c和1226d:首先在水平方向上处理上方第二编码单元1220a中包括的第三编码单元1226a和1226b,然后在水平方向上处理下方第二编码单元1220b中包括的第三编码单元1226c和1226d。
参照图12,可通过分别划分第二编码单元1210a、1210b、1220a和1220b来确定正方形的第三编码单元1216a、1216b、1216c和1216d以及1226a、1226b、1226c和1226d。尽管通过在垂直方向上划分第一编码单元1200确定的第二编码单元1210a和1210b与通过在水平方向上划分第一编码单元1200确定的第二编码单元1220a和1220b不同,但是从第二编码单元1210a和1210b以及第二编码单元1220a和1220b划分出的第三编码单元1216a、1216b、1216c和1216d以及1226a、1226b、1226c和1226d最终示出从第一编码单元1200划分出的相同形状的编码单元。如此,通过基于块形状信息和关于划分形状模式的信息中的至少一个以不同的方式递归地划分编码单元,即使最终将编码单元确定为相同的形状,图像解码设备100也可按照不同顺序对多个编码单元进行处理。
图13示出根据实施例的当递归地划分编码单元而使得确定了多个编码单元时随着编码单元的形状和尺寸改变确定编码单元的深度的处理。
根据实施例,图像解码设备100可基于预设标准确定编码单元的深度。例如,预设标准可以是编码单元的长边的长度。当被划分之前的编码单元的长边的长度是划分后的当前编码单元的长边的长度的2n(n>0)倍时,图像解码设备100可确定当前编码单元的深度比划分之前的编码单元的深度增大n。在下面的描述中,具有增大的深度的编码单元被表示为更深深度的编码单元。
参照图13,根据实施例,图像解码设备100可通过基于指示正方形形状的块形状信息(例如,块形状信息可被表示为“0:SQUARE”)划分正方形的第一编码单元1300,确定更深深度的第二编码单元1302和第三编码单元1304。假设正方形的第一编码单元1300的尺寸是2N×2N,通过将第一编码单元1300的宽度和高度划分至1/2所确定的第二编码单元1302可具有N×N的尺寸。此外,通过将第二编码单元1302的宽度和高度划分至1/2所确定的第三编码单元1304可具有N/2×N/2的尺寸。在这种情况下,第三编码单元1304的宽度和高度是第一编码单元1300的宽度和高度的1/4。当第一编码单元1300的深度为D时,宽度和高度是第一编码单元1300的宽度和高度的1/2的第二编码单元1302的深度可以是D+1,并且宽度和高度是第一编码单元1300的宽度和高度的1/4的第三编码单元1304的深度可以是D+2。
根据实施例,图像解码设备100可通过基于指示非正方形形状的块形状信息(例如,块形状信息可被表示为指示高度长于宽度的非正方形形状的“1:NS_VER”,或者可被表示为指示宽度长于高度的非正方形形状的“2:NS_HOR”)划分非正方形的第一编码单元1310或1320来确定更深深度的第二编码单元1312或1322以及第三编码单元1314或1324。
图像解码设备100可通过划分尺寸为N×2N的第一编码单元1310的宽度和高度中的至少一个来确定第二编码单元1302、1312或1322。也就是说,图像解码设备100可通过在水平方向上划分第一编码单元1310来确定尺寸为N×N的第二编码单元1302或尺寸为N×N/2的第二编码单元1322,或者可通过在水平方向和垂直方向上划分第一编码单元1310来确定尺寸为N/2×N的第二编码单元1312。
根据实施例,图像解码设备100可通过划分尺寸为2N×N的第一编码单元1320的宽度和高度中的至少一个来确定第二编码单元1302、1312或1322。也就是说,图像解码设备100可通过在垂直方向上划分第一编码单元1320来确定尺寸为N×N的第二编码单元1302或尺寸为N/2×N的第二编码单元1312,或者可通过在水平方向和垂直方向上划分第一编码单元1320来确定尺寸为N×N/2的第二编码单元1322。
根据实施例,图像解码设备100可通过划分尺寸为N×N的第二编码单元1302的宽度和高度中的至少一个来确定第三编码单元1304、1314或1324。也就是说,图像解码设备100可通过在垂直方向和水平方向上划分第二编码单元1302来确定尺寸为N/2×N/2的第三编码单元1304、尺寸为N/4×N/2的第三编码单元1314或尺寸为N/2×N/4的第三编码单元1324。
根据实施例,图像解码设备100可通过划分尺寸为N/2×N的第二编码单元1312的宽度和高度中的至少一个来确定第三编码单元1304、1314或1324。也就是说,图像解码设备100可通过在水平方向上划分第二编码单元1312来确定尺寸为N/2×N/2的第三编码单元1304或尺寸为N/2×N/4的第三编码单元1324,或者可通过在垂直方向和水平方向上划分第二编码单元1312来确定尺寸为N/4×N/2的第三编码单元1314。
根据实施例,图像解码设备100可通过划分尺寸为N×N/2的第二编码单元1322的宽度和高度中的至少一个来确定第三编码单元1304、1314或1324。也就是说,图像解码设备100可通过在垂直方向上划分第二编码单元1322来确定尺寸为N/2×N/2的第三编码单元1304或尺寸为N/4×N/2的第三编码单元1314,或者可通过在垂直方向和水平方向上划分第二编码单元1322来确定尺寸为N/2×N/4的第三编码单元1324。
根据实施例,图像解码设备100可在水平方向或垂直方向上划分正方形编码单元1300、1302或1304。例如,图像解码设备100可通过在垂直方向上划分尺寸为2N×2N的第一编码单元1300来确定尺寸为N×2N的第一编码单元1310,或者可通过在水平方向上划分第一编码单元1300来确定尺寸为2N×N的第一编码单元1320。根据实施例,当基于编码单元的最长边的长度确定深度时,通过在水平方向或垂直方向上划分尺寸为2N×2N的第一编码单元1300而确定的编码单元的深度可与第一编码单元1300的深度相同。
根据实施例,第三编码单元1314或1324的宽度和高度可以是第一编码单元1310或1320的宽度和高度的1/4。当第一编码单元1310或1320的深度为D时,宽度和高度是第一编码单元1310或1320的宽度和高度的1/2的第二编码单元1312或1322的深度可以是D+1,宽度和高度是第一编码单元1310或1320的宽度和高度的1/4的第三编码单元1314或1324的深度可以是D+2。
图14示出根据实施例的基于编码单元的形状和尺寸可确定的深度以及用于在编码单元之间进行区分的部分索引(PID)。
根据实施例,图像解码设备100可通过划分正方形的第一编码单元1400来确定各种形状的第二编码单元。参照图14,图像解码设备100可通过基于关于划分形状模式的信息在垂直方向和水平方向中的至少一个方向上划分第一编码单元1400来确定第二编码单元1402a和1402b、1404a和1404b、以及1406a、1406b、1406c和1406d。也就是说,图像解码设备100可基于第一编码单元1400的关于划分形状模式的信息来确定第二编码单元1402a和1402b、1404a和1404b、以及1406a、1406b、1406c和1406d。
根据实施例,基于正方形的第一编码单元1400的关于划分形状模式的信息所确定的第二编码单元1402a和1402b、第二编码单元1404a和1404b以及第二编码单元1406a、1406b、1406c和1406d的深度可基于它们的长边的长度来确定。例如,因为正方形的第一编码单元1400的边的长度等于非正方形的第二编码单元1402a和1402b以及1404a和1404b的长边的长度,所以第一编码单元1400和非正方形的第二编码单元1402a和1402b以及1404a和1404b可具有相同的深度,例如D。然而,当图像解码设备100基于关于划分形状模式的信息将第一编码单元1400划分为四个正方形的第二编码单元1406a、1406b、1406c和1406d时,因为正方形的第二编码单元1406a、1406b、1406c和1406d的边的长度是第一编码单元1400的边的长度的1/2,所以第二编码单元1406a、1406b、1406c和1406d的深度可以是比第一编码单元1400的深度D深1的D+1。
根据实施例,图像解码设备100可通过基于关于划分形状模式的信息在水平方向上划分高度长于宽度的第一编码单元1410来确定多个第二编码单元1412a和1412b以及1414a、1414b和1414c。根据实施例,图像解码设备100可通过基于关于划分形状模式的信息在垂直方向上划分宽度长于高度的第一编码单元1420来确定多个第二编码单元1422a和1422b以及1424a、1424b和1424c。
根据实施例,基于非正方形的第一编码单元1410或1420的关于划分形状模式的信息所确定的第二编码单元1412a和1412b、第二编码单元1414a、1414b和1414c、第二编码单元1422a和1422b、以及第二编码单元1424a、1424b和1424c的深度可基于它们的长边的长度来确定。例如,因为正方形的第二编码单元1412a和1412b的边的长度是具有高度长于宽度的非正方形形状的第一编码单元1410的长边的长度的1/2,所以正方形的第二编码单元1412a和1412b的深度是比非正方形的第一编码单元1410的深度D深1的D+1。
此外,图像解码设备100可基于关于划分形状模式的信息将非正方形的第一编码单元1410划分为奇数个第二编码单元1414a、1414b和1414c。奇数个第二编码单元1414a、1414b和1414c可包括非正方形的第二编码单元1414a和1414c以及正方形的第二编码单元1414b。在这种情况下,因为非正方形的第二编码单元1414a和1414c的长边的长度以及正方形的第二编码单元1414b的边的长度是第一编码单元1410的长边的长度的1/2,所以第二编码单元1414a、1414b和1414c的深度可以是比非正方形的第一编码单元1410的深度D深1的D+1。图像解码设备100可通过使用上述确定从第一编码单元1410划分出的编码单元的深度的方法,确定从具有宽度长于高度的非正方形形状的第一编码单元1420划分出的编码单元的深度。
根据实施例,当奇数个划分出的编码单元不具有相等的尺寸时,图像解码设备100可基于编码单元之间的尺寸比例来确定用于识别划分出的编码单元的PID。参照图14,奇数个划分出的编码单元1414a、1414b和1414c中的中心位置的编码单元1414b的宽度可等于其他编码单元1414a和1414c的宽度并且其高度可以是其他编码单元1414a和1414c的高度的两倍。也就是说,在这种情况下,中心位置处的编码单元1414b可包括两个其它编码单元1414a或1414c。因此,当中心位置处的编码单元1414b的PID基于扫描顺序而为1时,位置与编码单元1414b相邻的编码单元1414c的PID可增加2并且因此可以是3。也就是说,可能存在PID值不连续。根据实施例,图像解码设备100可基于用于识别划分出的编码单元的PID中是否存在不连续,确定奇数个划分出的编码单元是否不具有相等的尺寸。
根据实施例,图像解码设备100可基于用于识别通过划分当前编码单元而确定的多个编码单元的PID值来确定是否使用特定划分方法。参照图14,图像解码设备100可通过划分具有高度长于宽度的矩形形状的第一编码单元1410来确定偶数个编码单元1412a和1412b或奇数个编码单元1414a、1414b和1414c。图像解码设备100可使用指示各个编码单元的PID来识别多个编码单元。根据实施例,可从每个编码单元的预设位置的样点(例如,左上样点)获得PID。
根据实施例,图像解码设备100可通过使用用于在编码单元之间进行区分的PID来确定划分出的编码单元中的预设位置处的编码单元。根据实施例,当具有高度长于宽度的矩形形状的第一编码单元1410的关于划分形状模式的信息指示将编码单元划分为三个编码单元时,图像解码设备100可将第一编码单元1410划分为三个编码单元1414a、1414b和1414c。图像解码设备100可将PID分配给三个编码单元1414a、1414b和1414c中的每一个。图像解码设备100可将奇数个划分出的编码单元的PID进行比较,以确定奇数个划分出的编码单元中的中心位置处的编码单元。图像解码设备100可将具有与编码单元的PID中的中间值对应的PID的编码单元1414b确定为通过划分第一编码单元1410所确定的编码单元中的中心位置处的编码单元。根据实施例,当划分出的编码单元不具有相等的尺寸时,图像解码设备100可基于编码单元之间的尺寸比例确定用于在划分出的编码单元之间进行区分的PID。参照图14,通过划分第一编码单元1410生成的编码单元1414b的宽度可等于其他编码单元1414a和1414c的宽度,并且其高度可以是其他编码单元1414a和1414c的高度的两倍。在这种情况下,当中心位置处的编码单元1414b的PID是1时,位于与编码单元1414b相邻的编码单元1414c的PID可增加2并且因此可以是3。当如上所述PID未均匀地增大时,图像解码设备100可确定编码单元被划分为多个编码单元,其中,所述多个编码单元包括尺寸与其他编码单元的尺寸不同的编码单元。根据实施例,当关于划分形状模式的信息指示将编码单元划分为奇数个编码单元时,图像解码设备100可按照奇数个编码单元中的预设位置的编码单元(例如,中心位置的编码单元)具有与其他编码单元的尺寸不同的尺寸这样的方式来划分当前编码单元。在这种情况下,图像解码设备100可通过使用编码单元的PID来确定具有不同尺寸的中心位置的编码单元。然而,预设位置的编码单元的PID以及尺寸或位置不限于上述示例,并且可使用编码单元的各种PID以及各种位置和尺寸。
根据实施例,图像解码设备100可使用预设数据单元,其中,在该预设数据单元中,编码单元开始被递归地划分。
图15示出根据实施例的基于画面中包括的多个预设数据单元确定多个编码单元。
根据实施例,预设数据单元可被定义为通过使用块形状信息和关于划分形状模式的信息中的至少一个开始在其中递归地划分编码单元的数据单元。也就是说,预设数据单元可与用于确定从当前画面划分出的多个编码单元的最高深度的编码单元对应。在下文中,为了便于描述,预设数据单元被称为参考数据单元。
根据实施例,参考数据单元可具有预设尺寸和预设尺寸形状。根据实施例,参考数据单元可包括M×N个样点。这里,M和N可彼此相等,并且可以是被表示为2的幂的整数。也就是说,参考数据单元可具有正方形形状或非正方形形状,并且可被划分为整数个编码单元。
根据实施例,图像解码设备100可将当前画面划分为多个参考数据单元。根据实施例,图像解码设备100可通过使用针对每个参考数据单元的关于划分形状模式的信息来划分从当前画面划分出的多个参考数据单元。划分参考数据单元的操作可与使用四叉树结构的划分操作对应。
根据实施例,图像解码设备100可预先确定当前画面中包括的参考数据单元所允许的最小尺寸。因此,图像解码设备100可确定尺寸等于或大于最小尺寸的各种参考数据单元,并且可参考确定的参考数据单元,通过使用块形状信息和关于划分形状模式的信息来确定一个或更多个编码单元。
参照图15,图像解码设备100可使用正方形的参考编码单元1500或非正方形的参考编码单元1502。根据实施例,可基于能够包括一个或更多个参考编码单元的各种数据单元(例如,序列、画面、条带、条带片段、最大编码单元等)来确定参考编码单元的形状和尺寸。
根据实施例,图像解码设备100的比特流接收器110可从比特流获得针对各种数据单元中的每个数据单元的参考编码单元形状信息和参考编码单元尺寸信息中的至少一个。上面已经关于图3的划分当前编码单元300的操作描述了将正方形的参考编码单元1500划分为一个或更多个编码单元的操作,并且上面已经关于图4的划分当前编码单元400或450的操作描述了将非正方形的参考编码单元1502划分为一个或更多个编码单元的操作,并且因此,这里不提供其详细描述。
根据实施例,图像解码设备100可根据先前基于预设条件确定的一些数据单元,使用用于识别参考编码单元的尺寸和形状的PID来确定参考编码单元的尺寸和形状。也就是说,比特流获得器110可从比特流仅获得用于识别针对每个条带、条带片段或最大编码单元的参考编码单元的尺寸和形状的PID,其中,所述每个条带、条带片段或最大编码单元是各种数据单元(例如,序列、画面、条带、条带片段、最大编码单元等)中的满足预设条件的数据单元(例如,尺寸等于或小于条带的数据单元)。图像解码设备100可通过使用PID确定针对满足预设条件的每个数据单元的参考数据单元的尺寸和形状。当根据具有相对小尺寸的每个数据单元从比特流获得并使用参考编码单元形状信息和参考编码单元尺寸信息时,使用比特流的效率可能不高,因此,仅PID可被获得并被使用,而不是直接获得参考编码单元形状信息和参考编码单元尺寸信息。在这种情况下,可预先确定与用于识别参考编码单元的尺寸和形状的PID对应的参考编码单元的尺寸和形状中的至少一个。也就是说,图像解码设备100可通过基于PID选择参考编码单元的尺寸和形状中的被预先确定的至少一个,确定包括在用作用于获得PID的单元的数据单元中的参考编码单元的尺寸和形状中的至少一个。
根据实施例,图像解码设备100可使用最大编码单元中包括的一个或更多个参考编码单元。也就是说,从画面划分出的最大编码单元可包括一个或更多个参考编码单元,并且可通过递归地划分每个参考编码单元来确定编码单元。根据实施例,最大编码单元的宽度和高度中的至少一个可以是参考编码单元的宽度和高度中的至少一个的整数倍。根据实施例,可通过基于四叉树结构将最大编码单元划分n次来获得参考编码单元的尺寸。也就是说,根据各种实施例,图像解码设备100可通过基于四叉树结构将最大编码单元划分n次来确定参考编码单元,并且可基于块形状信息和关于划分形状模式的信息中的至少一个来划分参考编码单元。
图16示出根据实施例的用作用于确定画面1600中包括的参考编码单元的确定顺序的单元的处理块。
根据实施例,图像解码设备100可确定从画面划分出的一个或更多个处理块。处理块是从画面划分出的包括一个或更多个参考编码单元的数据单元,并且可根据特定顺序确定处理块中包括的所述一个或更多个参考编码单元。也就是说,在每个处理块中确定的一个或更多个参考编码单元的确定顺序可与各种类型的用于确定参考编码单元的顺序中的一个顺序对应,并且可根据处理块变化。针对每个处理块确定的参考编码单元的确定顺序可以是各种顺序(例如,光栅扫描顺序、Z字形扫描、N字形扫描、右上对角扫描、水平扫描和垂直扫描)中的一个,但不限于所述扫描顺序。
根据实施例,图像解码设备100可获得处理块尺寸信息,并且可确定画面中包括的一个或更多个处理块的尺寸。图像解码设备100可从比特流获得处理块尺寸信息,并且可确定画面中包括的一个或更多个处理块的尺寸。处理块的尺寸可以是由处理块尺寸信息指示的数据单元的预设尺寸。
根据实施例,图像解码设备100的比特流获得器110可根据每个特定数据单元从比特流获得处理块尺寸信息。例如,可按照诸如图像、序列、画面、条带或条带片段的数据单元从比特流获得处理块尺寸信息。也就是说,比特流获得器110可根据各种数据单元中的每个数据单元从比特流获得处理块尺寸信息,图像解码设备100可通过使用获得的处理块尺寸信息确定从画面划分出的一个或更多个处理块的尺寸,并且处理块的尺寸可以是参考编码单元的尺寸的整数倍。
根据实施例,图像解码设备100可确定画面1600中包括的处理块1602和1612的尺寸。例如,图像解码设备100可基于从比特流获得的处理块尺寸信息来确定处理块的尺寸。参照图16,根据实施例,图像解码设备100可将处理块1602和1612的宽度确定为参考编码单元的宽度的四倍,并且可将处理块1602和1612的高度确定为参考编码单元的高度的四倍。图像解码设备100可确定一个或更多个处理块中的一个或更多个参考编码单元的确定顺序。
根据实施例,图像解码设备100可基于处理块的尺寸确定画面1600中包括的处理块1602和1612,并且可确定处理块1602和1612中包括的一个或更多个参考编码单元的确定顺序。根据实施例,确定参考编码单元可包括确定参考编码单元的尺寸。
根据实施例,图像解码设备100可从比特流获得一个或更多个处理块中包括的一个或更多个参考编码单元的确定顺序信息,并且可基于获得的确定顺序信息来确定针对一个或更多个参考编码单元的确定顺序。确定顺序信息可被定义为用于确定处理块中的参考编码单元的顺序或方向。也就是说,可针对每个处理块独立地确定参考编码单元的确定顺序。
根据实施例,图像解码设备100可根据每个特定数据单元从比特流获得参考编码单元的确定顺序信息。例如,比特流获得器160可根据每个数据单元(诸如图像、序列、画面、条带、条带片段或处理块)从比特流获得参考编码单元的确定顺序信息。因为参考编码单元的确定顺序信息指示用于确定处理块中的参考编码单元的顺序,所以可针对包括整数个处理块的每个特定数据单元获得确定顺序信息。
根据实施例,图像解码设备100可基于确定的确定顺序来确定一个或更多个参考编码单元。
根据实施例,比特流获得器110可从比特流获得参考编码单元的确定顺序信息作为与处理块1602和1612相关的信息,并且图像解码设备100可确定处理块1602和1612中包括的一个或更多个参考编码单元的确定顺序,并基于该确定顺序确定画面1600中包括的一个或更多个参考编码单元。参照图16,图像解码设备100可分别确定处理块1602和1612中的一个或更多个参考编码单元的确定顺序1604和1614。例如,当针对每个处理块获得了参考编码单元的确定顺序信息时,可针对处理块1602和1612获得参考编码单元的不同类型的确定顺序信息。当处理块1602中的参考编码单元的确定顺序1604是光栅扫描顺序时,可根据光栅扫描顺序确定处理块1602中包括的参考编码单元。相反,当另一处理块1612中的参考编码单元的确定顺序1614是反向光栅扫描顺序时,可根据反向光栅扫描顺序确定处理块1612中包括的参考编码单元。
根据实施例,图像解码设备100可对确定的一个或更多个参考编码单元进行解码。图像解码设备100可基于如上所述确定的参考编码单元对图像进行解码。对参考编码单元进行解码的方法可包括各种图像解码方法。
根据实施例,图像解码设备100可从比特流获得指示当前编码单元的形状的块形状信息或指示当前编码单元的划分方法的关于划分形状模式的信息,并且可使用获得的信息。块形状信息或关于划分形状模式的信息可被包括在与各种数据单元相关的比特流中。例如,图像解码设备100可使用包括在序列参数集、画面参数集、视频参数集、条带头或条带片段头中的块形状信息或关于划分形状模式的信息。此外,图像解码设备100可根据每个最大编码单元、每个参考编码单元或每个处理块从比特流获得与块形状信息或关于划分形状模式的信息对应的语法元素,并且可使用获得的语法元素。
图17示出根据实施例的当编码单元可被划分为的形状的组合针对每个画面不同时针对每个画面可确定的编码单元。
参照图17,图像解码设备100可针对每个画面不同地确定编码单元可被划分为的形状的组合。例如,图像解码设备100可通过使用图像中包括的至少一个画面中的可被划分为4个编码单元的画面1700、可被划分为2个或4个编码单元的画面1710和可被划分为2个、3个或4个编码单元的画面1720来对图像进行解码。为了将画面1700划分为多个编码单元,图像解码设备100可仅使用指示将画面1700划分为4个正方形编码单元的划分形状信息。为了划分画面1710,图像解码设备100可仅使用指示将画面1710划分为2个或4个编码单元的划分形状信息。为了划分画面1720,图像解码设备100可仅使用指示将画面1720划分为2个、3个或4个编码单元的划分形状信息。因为这样的划分形状的组合仅是用于描述图像解码设备100的操作的实施例,所以划分形状的组合不应被解释为限于该实施例,而是可根据预设数据单元使用划分形状的各种组合。
根据实施例,图像解码设备100的比特流获得器110可根据预设数据单位单元(例如,序列、画面或条带)获得包括索引的比特流,其中,所述索引指示划分形状信息的组合。例如,比特流获得器110可从序列参数集、画面参数集或条带头获得指示划分形状信息的组合的索引。图像解码设备100可通过使用获得的索引来根据预定数据单元确定编码单元可被划分为的划分形状的组合,并且因此可根据预设数据单元使用划分形状的不同组合。
图18示出根据实施例的基于可被表示为二进制码的划分形状信息可确定的编码单元的各种形状。
根据实施例,图像解码设备100可通过使用由比特流获得器110获得的块形状信息和划分形状信息来将编码单元划分为各种形状。编码单元可被划分为的形状可与包括通过以上实施例描述的形状的各种形状对应。
参照图18,基于划分形状信息,图像解码设备100可在水平方向和垂直方向中的至少一个方向上划分具有正方形形状的编码单元并且可在水平方向或垂直方向上划分具有非正方形形状的编码单元。
根据实施例,当图像解码设备100能够在水平方向和垂直方向上划分具有正方形形状的编码单元以获得四个正方形编码单元时,可由与具有正方形形状的编码单元有关的划分形状信息指示的划分形状的数量可以是4。根据实施例,划分形状信息可被表示为两位二进制码,并且可将二进制码分配给每个划分形状。例如,当不划分编码单元时,划分形状信息可被表示为(00)b;当在水平方向和垂直方向上划分编码单元时,划分形状信息可被表示为(01)b;当在水平方向上划分编码单元时,划分形状信息可被表示为(10)b;并且当在垂直方向上划分编码单元时,划分形状信息可被表示为(11)b。
根据实施例,当图像解码设备100在水平方向或垂直方向上划分具有非正方形形状的编码单元时,可根据编码单元被划分为的编码单元的数量来确定可由划分形状信息指示的划分形状的类型。参照图18,根据实施例,图像解码设备100可将具有非正方形形状的编码单元划分为3个编码单元。图像解码设备100可将编码单元划分为两个编码单元,并且在这种情况下,划分形状信息可被表示为(10)b。图像解码设备100可将编码单元划分为三个编码单元,并且在这种情况下,划分形状信息可被表示为(11)b。图像解码设备100可确定不划分编码单元,并且在这种情况下,划分形状信息可被表示为(0)b。也就是说,为了使用指示划分形状信息的二进制码,图像解码设备100可使用可变长度编码(VLC),而不是固定长度编码(FLC)。
根据实施例,参照图18,指示编码单元不被划分的划分形状信息的二进制码可被表示为(0)b。当将指示编码单元不被划分的划分形状信息的二进制码设置为(00)b时,尽管不存在被设置为(01)b的划分形状信息,但是也必须使用划分形状信息的全部2比特二进制码。然而,如图18中所示,当将3个划分形状用于具有非正方形形状的编码单元时,即使通过将1比特二进制码(0)b用作划分形状信息,图像解码设备100也可确定不划分编码单元,因此可有效地使用比特流。然而,具有非正方形形状的编码单元的由划分形状信息指示的划分形状不应被解释为限于图18中所示的3个形状并且应被解释为包括以上实施例的各种形状。
图19示出根据实施例的基于可被表示为二进制码的划分形状信息可确定的编码单元的其他形状。
参照图19,基于划分形状信息,图像解码设备100可在水平方向或垂直方向上划分具有正方形形状的编码单元并且可在水平方向或垂直方向上划分具有非正方形形状的编码单元。也就是说,划分形状信息可指示具有正方形形状的编码单元将在一个方向上被划分。在这种情况下,指示具有正方形形状的编码单元将不被划分的划分形状信息的二进制码可被表示为(0)b。当指示编码单位将不被划分的划分形状信息的二进制码被设置为(00)b时,尽管不存在被设置为(01)b的划分形状信息,但是也必须使用划分形状信息的全部2比特二进制码。然而,如图19中所示,当将3个划分形状用于具有正方形形状的编码单元时,即使通过将1比特二进制码(0)b用作划分形状信息,图像解码设备100也可确定不划分编码单元,因此可有效地使用比特流。然而,具有正方形形状的编码单元的由划分形状信息指示的划分形状不应被解释为限于图19中所示的3个形状,并且应被解释为包括以上实施例的各种形状。
根据实施例,可通过使用二进制码来表示块形状信息或划分形状信息,并且可立即将这样的信息生成为比特流。可选地,可不在比特流中立即生成可被表示为二进制码的块形状信息或划分形状信息,并且可表示为二进制码的块形状信息或划分形状信息可被用作在上下文自适应二进制算术编码(CABAC)期间输入的二进制码。
根据实施例,现在将描述由图像解码设备100执行的通过CABAC获得关于块形状信息或划分形状信息的语法的处理。可由比特流获得器110获得包括用于所述语法的二进制码的比特流。图像解码设备100可通过对包括在获得的比特流中的二进制位串进行反二值化来检测指示块形状信息或划分形状信息的语法元素。根据实施例,图像解码设备100可获得与将被解码的所述语法元素对应的二进制位串的集合,并可通过使用概率信息来对每个二进制位进行解码,并且图像解码设备100可重复地执行这个处理直到包括这样的经过解码的二进制位的二进制位串与预先获得的二进制位串中的一个相同为止。图像解码设备100可通过对二进制位串进行反二值化来确定所述语法元素。
根据实施例,图像解码设备100可通过执行自适应二进制算术编码的解码处理来确定关于二进制位串的语法,并且可更新针对由比特流获得器110获得的二进制位的概率模型。参照图18,根据实施例,图像解码设备100的比特流获得器110可获得指示二进制码的比特流,其中,所述二进制码指示划分形状信息。图像解码设备100可通过使用获得的大小为1比特或2比特的二进制码来确定关于划分形状信息的语法。为了确定关于划分形状信息的语法,图像解码设备100可更新二进制码的2个比特中的每个比特的概率。也就是说,图像解码设备100可根据二进制码的2个比特中的第一个二进制位的值是0还是1来更新在对下一个二进制位进行解码时可能具有值0或1的概率。
根据实施例,在确定语法时,图像解码设备100可更新在对用于语法的二进制位串的二进制位进行解码的处理中使用的二进制位的概率,并且图像解码设备100可确定二进制位串中的特定比特具有相同的概率,而不更新该概率。
参照图18,在通过使用指示与具有非正方形形状的编码单元有关的划分形状信息的二进制位串来确定语法时,当具有非正方形形状的编码单元不被划分时,图像解码设备100可通过使用具有值0的一个二进制位来确定关于划分形状信息的语法。也就是说,在块形状信息指示当前编码单元具有非正方形形状时,当具有非正方形形状的编码单元不被划分时划分形状信息的二进制位串的第一个二进制位可以是0,并且当具有非正方形形状的编码单元被划分为两个或三个编码单元时划分形状信息的二进制位串的第一个二进制位可以是1。因此,与具有非正方形形状的编码单元有关的划分形状信息的二进制位串的第一个二进制位是0的概率可以是1/3,并且与具有非正方形形状的编码单元有关的划分形状信息的二进制位串的第一个二进制位是1的概率可以是2/3。如上所述,因为指示具有非正方形形状的编码单元不被划分的划分形状信息可仅表示具有值0的1比特的二进制位串,所以图像解码设备100可通过仅当划分形状信息的第一个二进制位是1时才确定第二个二进制位是0还是1来确定关于划分形状信息的语法。根据实施例,当划分形状信息的第一个二进制位是1时,图像解码设备100可通过确定第二个二进制位是0的概率与第二个二进制位是1的概率相同来对二进制位进行解码。
根据实施例,图像解码设备100可在确定划分形状信息的二进制位串的二进制位时针对每个二进制位使用各种概率。根据实施例,图像解码设备100可根据非正方形块的方向不同地确定划分形状信息的二进制位的概率。根据实施例,图像解码设备100可根据当前编码单元的面积或长边的长度来不同地确定划分形状信息的二进制位的概率。根据实施例,图像解码设备100可根据当前编码单元的形状和长边的长度中的至少一个来不同地确定划分形状信息的二进制位的概率。
根据实施例,图像解码设备100可针对具有预定尺寸或更大尺寸的编码单元确定划分形状信息的二进制位的概率相同。例如,图像解码设备100可基于每个编码单元的长边的长度,针对尺寸等于或大于64个样点的编码单元确定划分形状信息的二进制位的概率相同。
根据实施例,图像解码设备100可基于条带类型(例如,I条带、P条带、B条带等)确定构成划分形状信息的二进制位串的二进制位的初始概率。
图20是用于执行环路滤波的图像编码和解码系统的框图。
图像编码和解码系统2000的编码端2010发送图像的经过编码的比特流,并且解码端2050接收该比特流并对该比特流进行解码并且输出重建图像。编码端2010可具有与将在下面描述的图像编码设备200的配置相似的配置,并且解码端2050可具有与图像解码设备100的配置相似的配置。
在编码端2010,预测编码器2015通过帧间预测和帧内预测输出参考图像,并且变换器和量化器2020将参考图像与当前输入图像之间的残差数据变换并量化为量化的变换系数并输出该量化的变换系数。熵编码器2025将该量化的变换系数编码为比特流并且输出该比特流。量化的变换系数通过反量化器和逆变换器2030被重建为空间域中的数据,并且空间域中的重建数据通过去块滤波器2035和环路滤波器2040被输出为重建图像。重建图像可通过预测编码器2015被用作下一输入图像的参考图像。
由解码端2050接收到的比特流中的经过编码的图像数据通过熵解码器2055以及反量化器和逆变换器2060被重建为空间域中的残差数据。随着残差数据和从预测解码器2075输出的参考图像被组合,空间域中的图像数据被形成,并且去块滤波器2065和环路滤波器2070可对空间域中的图像数据进行滤波并可输出针对当前原始图像的重建图像。重建图像可通过预测解码器2075被用作针对下一原始图像的参考图像。
编码端2010的环路滤波器2040通过使用根据用户输入或系统设置输入的滤波器信息来执行环路滤波。环路滤波器2040使用的滤波器信息被输出到熵编码器2025,并且与经过编码的图像数据一起被发送到解码端2050。解码端2050的环路滤波器2070可基于从解码端2050输入的滤波器信息来执行环路滤波。
图21示出根据实施例的包括在最大编码单元中的滤波单元和滤波单元的滤波执行信息的示例。
当编码端2010的环路滤波器2040的滤波单元和解码端2050的环路滤波器2070的滤波单元包括与根据参照图3至图5描述的实施例的编码单元相似的数据单元时,滤波器信息可包括数据单元的用于指示滤波单元的块形状信息和划分形状信息以及指示是否对滤波单元执行环路滤波的环路滤波执行信息。
根据实施例的包括在最大编码单元2100中的滤波单元可与包括在最大编码单元2100中的编码单元具有相同的块形状和划分形状。此外,根据实施例,可基于包括在最大编码单元2100中的编码单元的尺寸来划分包括在最大编码单元2100中的滤波单元。参照图21,例如,滤波单元可包括具有正方形形状且深度为D的滤波单元2140、具有非正方形形状且深度为D的滤波单元2132和2134、具有正方形形状且深度为D+1的滤波单元2112、2114、2116、2152、2154和2164、具有非正方形形状且深度为D+1的滤波单元2162和2166、以及具有正方形形状且深度为D+2的滤波单元2122、2124、2126和2128。
如表1中所示,可对包括在最大编码单元2100中的滤波单元的块形状信息、划分形状信息(深度)和环路滤波执行信息进行编码。
[表1]
Figure GDA0002559034960000421
根据实施例的通过根据块形状信息和块划分信息递归地划分编码单元来确定多个编码单元的处理与参照图13描述的处理相同。根据实施例的滤波单元的环路滤波执行信息在标志值为1时指示对滤波单元执行环路滤波,并且在标志值为0时指示不对滤波单元执行环路滤波。参照表1,用于确定将由环路滤波器2040和2070滤波的滤波单元的数据单元的信息可全部作为滤波器信息被编码并被发送。
因为根据实施例配置的编码单元是被配置为最小化与原始图像的误差的编码单元,所以期望在编码单元中具有高空间相关性。因此,因为基于根据实施例的编码单元确定滤波单元,所以可省略与确定编码单元的操作分开的确定滤波单元的操作。此外,因此,因为基于根据实施例的编码单元确定滤波单元并且因此可省略用于确定滤波单元的划分形状的信息,所以可节省滤波器信息的传输比特率。
尽管在以上实施例中描述了基于根据实施例的编码单元确定滤波单元,但是可基于编码单元对滤波单元进行划分直到任意深度为止,并且因此可确定滤波单元的形状仅直到该任意深度为止。
在以上实施例中描述的确定滤波单元的操作不仅可被应用于环路滤波,而且可被应用于诸如去块滤波和自适应环路滤波的各种实施例。
根据实施例,图像解码设备100可通过使用块形状信息和划分形状信息中的至少一个来划分当前编码单元,并且块形状信息可被预定为指示仅使用正方形形状并且划分形状信息可被预定为指示当前编码单元不被划分或被划分为4个正方形编码单元。也就是说,当前编码单元的编码单元可根据块形状信息总是具有正方形形状,并且当前编码单元可基于划分形状信息不被划分或被划分为4个正方形编码单元。图像解码设备100可通过使用比特流获得器110获得通过使用预定编码方法生成的比特流,其中,所述预定编码方法被预定为仅使用这样的块形状和划分形状,并且图像解码设备100可仅使用预定块形状和划分形状。在这种情况下,因为图像解码设备100可通过使用与预定编码方法相似的预定解码方法来解决与预定编码方法的兼容性问题。根据实施例,当图像解码设备100仅利用可由块形状信息和划分形状信息指示的各种形状中的预定块形状和划分形状来使用预定解码方法时,块形状信息仅指示正方形形状,并且因此图像解码设备100可不执行从比特流获得块形状信息的处理。可使用指示是否使用预定解码方法的语法,并且可根据具有各种形状的数据单元从比特流获得这样的语法,其中,所述数据单元可包括多种编码单元,诸如序列、画面、条带单元和最大编码单元。也就是说,比特流获得器110可基于指示是否使用预定解码方法的语法来确定是否将从比特流获得指示块形状信息的语法。
图23示出根据实施例的编码单元的根据Z字形扫描顺序的索引。
根据实施例的图像解码设备100可根据Z字形扫描顺序来扫描包括在上层数据单元中的下层数据单元。此外,根据实施例的图像解码设备100可根据处理块或最大编码单元中包括的编码单元中的Z字形扫描索引来顺序地访问数据。
如参照图3至图4所述,根据实施例的图像解码设备100可将参考编码单元划分为至少一个编码单元。在这种情况下,具有正方形形状的编码单元和具有非正方形形状的编码单元可在参考编码单元中共存。根据实施例,图像解码设备100可根据参考编码单元中的每个编码单元中包括的Z字形扫描索引来访问数据。在这种情况下,应用Z字形扫描索引的方法可根据在参考编码单元中是否存在具有非正方形形状的编码单元而改变。
根据实施例,当在参考编码单元中不存在具有非正方形形状的编码单元时,参考编码单元中的更低深度的编码单元可具有连续的Z字形扫描索引。例如,根据实施例,更高深度的编码单元可包括更低深度的四个编码单元。更低深度的四个编码单元的边界可以是连续的,并且可根据指示Z字形扫描顺序的索引按照Z字形扫描顺序扫描更低深度的编码单元。根据实施例的指示Z字形扫描顺序的索引可被设置为根据针对编码单元的Z字形扫描顺序而增加的数字。在这种情况下,可根据Z字形扫描顺序来扫描相同深度的更深编码单元。
根据实施例,当在参考编码单元中存在具有非正方形形状的至少一个编码单元时,图像解码设备100可将参考编码单元中的编码单元中的每一个划分为子块,并且可根据Z字形扫描顺序来扫描划分出的子块。例如,当在参考编码单元中存在沿垂直方向或水平方向的具有非正方形形状的编码单元时,可通过使用划分出的子块来执行Z字形扫描。此外,例如,当参考编码单元被划分为奇数个编码单元时,可通过使用子块来执行Z字形扫描。子块是不再被划分的编码单元或是通过划分任意编码单元而获得的编码单元,并且可具有正方形形状。例如,可从具有正方形形状的编码单元划分出具有正方形形状的四个子块。此外,例如,可从具有非正方形形状的编码单元划分出具有正方形形状的两个子块。
参照图23,例如,根据实施例的图像解码设备100可根据Z字形扫描顺序在编码单元2300中扫描更低深度的编码单元2302、2304、2306、2308和2310。编码单元2300以及编码单元2302、2304、2306、2308和2310分别是上层编码单元和下层编码单元。编码单元2300包括沿水平方向的具有非正方形形状的编码单元2306和2310。具有非正方形形状的编码单元2306和2310与彼此相邻且具有正方形形状的编码单元2302和2304具有不连续的边界。此外,编码单元2308具有正方形形状并且是当具有非正方形形状的编码单元被划分为奇数个编码单元时在中心处的编码单元。类似于具有非正方形形状的编码单元2306和2310,编码单元2308与彼此相邻且具有正方形形状的编码单元2302和2304具有不连续的边界。当编码单元2300包括在具有非正方形形状的编码单元被划分为奇数个编码单元时而具有非正方形形状的编码单元2306和2310或者位于中心的编码单元2308时,因为编码单元之间的相邻边界不连续,所以可能无法设置连续的Z字形扫描索引。因此,图像解码设备100可通过将编码单元划分为子块来连续地设置Z字形扫描索引。此外,图像解码设备100可对具有非正方形形状的编码单元2306和2310或者位于奇数个编码单元的中心的编码单元2308执行连续的Z字形扫描。
图23的编码单元2320是通过将编码单元2300中的编码单元2302、2304、2306、2308和2310划分为子块获得的。因为可针对每个子块设置Z字形扫描索引并且子块之间的相邻边界连续,所以可根据Z字形扫描顺序来扫描子块。例如,在根据实施例的解码设备中,编码单元2308可被划分为子块2322、2324、2326和2328。在这种情况下,可在对子块2330执行数据处理之后扫描子块2322和2324,并且可在对子块2332执行数据处理之后扫描子块2326和2328。此外,可根据Z字形扫描顺序来扫描子块。
在以上实施例中,根据Z字形扫描顺序来扫描数据单元以用于数据存储、数据加载和数据访问。
此外,在以上实施例中,尽管可根据Z字形扫描顺序来扫描数据单元,但是数据单元的扫描顺序可以是各种顺序(诸如光栅扫描顺序、N字形扫描顺序、右上对角线扫描顺序、水平扫描顺序和垂直扫描顺序)中的一个,并且不应限于Z字形扫描顺序。
此外,在以上实施例中,尽管参考编码单元中的编码单元被扫描,但是本公开不限于此,并且将被扫描的目标可以是处理块或最大编码单元中的任意块。
此外,在以上实施例中,尽管仅当存在至少一个具有非正方形形状的块时才将块划分为子块并根据Z字形扫描顺序执行扫描,但是即使当对于简化的实施例不存在具有非正方形形状的块时也可将块划分为子块并可根据Z字形扫描顺序执行扫描。
根据实施例的图像解码设备100可通过对编码单元执行帧间预测或帧内预测来生成预测数据,可通过对包括在当前编码单元中的变换单元执行逆变换来生成残差数据,并且可通过使用生成的预测数据和残差数据来重建当前编码单元。
根据实施例的编码单元的预测模式可以是帧内模式、帧间模式和跳过模式中的至少一个。根据实施例,可根据编码单元独立地选择预测模式。
根据实施例,当具有2N×2N形状的编码单元被划分为具有2N×N形状或N×2N形状的两个编码单元时,可对每个编码单元分别执行帧间模式预测和帧内模式预测。此外,根据实施例,可将跳过模式应用于具有2N×N或N×2N形状的编码单元。
根据实施例的图像解码设备100可允许在具有8×4或4×8形状的编码单元的跳过模式下执行双预测。因为在跳过模式下仅关于编码单元的跳过模式信息被接收,所以省略了针对编码单元的残差数据的使用。因此,在这种情况下,可减少反量化和逆变换的开销。作为替代,根据实施例的图像解码设备100可允许对应用了跳过模式的编码单元执行双预测,因此提高解码效率。此外,根据实施例,图像解码设备100在允许对具有8×4或4×8形状的编码单元执行双预测的同时,可在运动补偿期间将插值抽头数设置为相对较小的值,因此可有效地使用存储带宽。例如,可使用抽头数小于8的插值滤波器(例如,2抽头插值滤波器),而不使用8抽头插值滤波器。
此外,根据实施例的图像解码设备100可通过将区域划分为预设形状(例如,基于对角线的划分)来用信号发送关于包括在当前编码单元中的每个区域的帧内预测信息或帧间预测信息。
根据实施例的图像解码设备100可通过使用当前编码单元的邻近样点来使用帧内模式获得当前编码单元的预测样点。在这种情况下,通过使用预先重建的邻近样点来执行帧内预测,并且该样点被称为参考样点。
图24是根据实施例的用于编码单元的帧内预测的参考样点的示图。参照图24,对于块形状是非正方形形状、沿水平方向的长度是w且沿垂直方向的长度是h的编码单元2400,需要w+h个上方参考样点2402、w+h个左侧参考样点2404和一个左上方参考样点2406,也就是说,需要总数为2(w+h)+1个参考样点。为了准备参考样点,可对不存在参考样点的部分执行填充,并且可针对每个预测模式执行参考样点滤波处理,以减少包括在重建的参考样点中的量化误差。
尽管已经在上述实施例中描述了当当前编码单元的块形状是非正方形形状时的参考样点的数量,但是即使当当前编码单元是矩形形状时也等同地应用参考样点的数量。
上述各种实施例描述了与由图像解码设备100执行的图像解码方法相关的操作。将通过各种实施例描述用于执行与图像解码方法的逆序处理对应的图像编码方法的图像编码设备200的操作。
图2是根据实施例的用于基于块形状信息和划分形状信息中的至少一个对图像进行编码的图像编码设备200的框图。
图像编码设备200可包括编码器220和比特流生成器210。编码器220可接收输入图像并且可对输入图像进行编码。编码器220可对输入图像进行编码并且因此可获得至少一个语法元素。语法元素可包括跳过标志、预测模式、运动矢量差、运动矢量预测方法(或索引)、变换量化系数、编码块模式、编码块标志、帧内预测模式、方向标志、合并标志、差量QP(delta QP)、参考索引、预测方向和变换索引中的至少一个。编码器220可基于包括编码单元的形状、方向、宽高比或尺寸中的至少一个的块形状信息来确定上下文模型。
比特流生成器210可基于经过编码的输入图像来生成比特流。例如,比特流生成器210可通过基于上下文模型对语法元素进行熵编码来生成比特流。此外,图像编码设备200可将比特流发送到图像解码设备100。
根据实施例,图像编码设备200的编码器220可确定编码单元的形状。例如,编码单元可具有正方形形状或非正方形形状,并且指示形状的信息可被包括在块形状信息中。
根据实施例,编码器220可确定编码单元将被划分为哪种形状。编码器220可确定包括在编码单元中的至少一个编码单元的形状,并且比特流生成器210可生成包括划分形状信息的比特流,其中,所述划分形状信息包括关于编码单元的形状的信息。
根据实施例,编码器220可确定编码单元是被划分还是不被划分。当编码器220确定仅一个编码单元被包括在编码单元中或该编码单元不被划分时,比特流生成器210可生成包括指示编码单元不被划分的划分形状信息的比特流。此外,编码器220可将编码单元划分为多个编码单元,并且比特流生成器210可生成包括指示编码单元被划分为多个编码单元的划分形状信息的比特流。
根据实施例,指示编码单元将被划分为的编码单元的数量或编码单元将被划分的方向的信息可被包括在划分形状信息中。例如,划分形状信息可指示编码单元在垂直方向和水平方向中的至少一个方向上被划分或编码单元不被划分。
图像编码设备200基于编码单元的划分形状模式来确定关于划分形状模式的信息。图像编码设备200基于编码单元的形状、方向、宽高比或尺寸中的至少一个来确定上下文模型。图像编码设备200基于上下文模型生成关于用于划分编码单元的划分形状模式的信息作为比特流。
为了确定上下文模型,图像编码设备200可获得用于将编码单元的形状、方向、宽高比或尺寸中的至少一个对应到用于上下文模型的索引的布置。图像编码设备200可基于所述布置中的编码单元的形状、方向、宽高比或尺寸中的至少一个获得用于上下文模型的索引。图像编码设备200可基于用于上下文模型的索引来确定上下文模型。
为了确定上下文模型,图像编码设备200可进一步基于块形状信息来确定上下文模型,其中,所述块形状信息包括与编码单元相邻的邻近编码单元的形状、方向、宽高比或尺寸中的至少一个。此外,邻近编码单元可包括位于编码单元的左下方、左侧、左上方、上方、右上方、右侧或右下方的编码单元中的至少一个。
此外,为了确定上下文模型,图像编码设备200可将上方邻近编码单元的宽度长度与编码单元的宽度长度进行比较。此外,图像编码设备200可将左侧邻近编码单元和右侧邻近编码单元的高度长度与编码单元的高度长度进行比较。此外,图像编码设备200可基于比较结果来确定上下文模型。
图像编码设备200的操作与参照图3至图24描述的图像解码设备100的操作相似,因此这里不提供其详细解释。
在下文中,参照图25至图37,现在将描述根据实施例的图像解码设备2500及其方法以及图像编码设备2700及其方法。
图25是示出根据实施例的图像解码设备2500的配置的框图。
图像解码设备2500获得比特流,并且然后执行解码,从而输出重建图像。
由图像解码设备2500通过熵解码、反量化和逆变换获得的比特流中的经过编码的图像数据被重建为空间域中的残差数据。
图像解码设备2500基于先前解码的参考图像或先前解码的邻近样点来生成预测样点,并且通过将残差数据与预测样点进行组合来重建空间域中的图像数据。然后,图像解码设备2500可对空间域中的图像数据执行滤波处理并因此可输出重建图像。重建图像可被用作针对下一个原始图像的参考图像。
由图像解码设备2500执行以便对图像进行解码的处理可包括预测处理、变换处理和滤波处理。预测处理是指生成针对当前块的预测块的处理,并且变换处理是指将频域中的当前块的残差数据变换或逆变换为空间域中的残差数据的处理。滤波处理是指改变通过将预测块与残差数据进行组合而生成的图像数据的像素值的处理。
根据实施例,预测处理、变换处理和滤波处理中的每一个可包括至少一个处理模式。
图像解码设备2500可基于当前块的运动矢量分辨率(以下称为MVR)来确定可应用于当前块的处理模式,并且可基于所确定的处理模式来对当前块进行解码。
图29示出预测处理、变换处理和滤波处理中的每一个中包括的处理模式。
在实施例中,预测处理可包括帧间预测处理模式、帧内预测处理模式、跳过处理模式、直接处理模式、自适应运动矢量预测(AMVP)处理模式、仿射处理模式、双向光流(BIO)处理模式、解码器侧运动矢量推导(DMVD)处理模式、照度补偿(IC)处理模式、重叠块运动补偿(OBMC)处理模式、帧间预测修正(IPR)处理模式和预测块生成模式中的至少一个。
在实施例中,变换处理可包括多重变换(MT)处理模式、不可分离二次变换(NSST)处理模式、旋转变换(ROT)处理模式、离散正弦变换(DST)处理模式和离散余弦变换(DCT)处理模式中的至少一个。
在实施例中,滤波处理可包括去块处理模式、样点自适应偏移(SAO)处理模式、双边滤波器(BF)处理模式和自适应环路滤波器(ALF)处理模式中的至少一个。
首先,现在将简要描述包括在预测处理、变换处理和滤波处理中的处理模式。为了清楚地描述本公开的实施例,省略对以下处理模式的算法的解释。
帧间预测处理模式是指使用当前图像与另一图像之间的相似性的处理方法。从在当前图像之前解码的参考图像检测与当前图像的当前块相似的参考块,并且从当前块确定预测块。此外,当前块与预测块之间的在坐标上的距离可被表示为运动矢量,并且当前块与预测块之间的差可被表示为残差数据。因此,通过对当前块执行帧间预测,不是直接输出当前块的图像信息,而是输出指示参考图像的索引、运动矢量和残差数据,使得可提高编码和解码效率。
帧内预测处理模式是指使用一个图像内的空间相似性的处理方法。可从当前块的邻近像素值生成与当前块相似的预测块,并且当前块与预测块的像素值之间的差可被表示为残差数据。不是直接输出当前块的图像信息,而是输出关于预测块生成模式的信息和残差数据,使得可提高编码和解码效率。
跳过处理模式通过将邻近块的运动信息用作当前块的运动信息来搜索参考图像中的参考块。从参考块确定的预测块被确定为当前块。
作为帧间预测处理模式的示例的直接处理模式通过将邻近块的运动信息用作当前块的运动信息来搜索参考图像中的参考块,并且从参考块确定预测块。然后,当前块被重建为残差数据与预测块的组合。直接处理模式可被称为合并处理模式。
作为帧间预测处理模式的示例的AMVP处理模式通过将差分运动矢量组合到邻近块的运动矢量来确定当前块的运动矢量,并且搜索基于参考画面列表和参考画面索引指定的参考图像中的与运动矢量对应的参考块。然后,当前块被重建为预测块与残差数据的组合。
仿射处理模式是指将块的指示平移运动的运动矢量变换或逆变换为指示旋转运动、放大或缩小的运动矢量的处理。
BIO处理模式是指用于对用于双向预测的基于块的运动补偿执行的基于样点的运动矢量增强的处理。
DMVD处理模式是指由解码器侧执行的诱导运动矢量的方案,并且通过模板匹配或双边匹配来诱导当前块的运动矢量。
IC处理模式是指当通过帧间预测处理模式对当前块进行解码时用于通过对当前块和/或参考图像中的参考块的照度进行补偿来提高预测效率的方案。
OBMC处理模式是指用于通过对当前块的重建像素与因邻近块的运动而在当前位置处的重建像素进行加权求和来执行运动补偿的方案。
IPR处理模式是指用于通过使用重建块与预测块之间的线性模型来改变从当前块的参考图像确定的预测块的像素值的方案。
预测块生成模式是指用于在帧内预测处理模式下生成当前块的预测块的方案。例如,预测块生成模式可包括多个不同的预测块生成模式。在HEVC中,作为预测块生成模式,提供包括Intra_Planar模式、Intra_DC模式、intra_Angular模式等的35种模式。
MT处理模式是指用于通过顺序地使用多个变换核来将空间域中的残差数据变换为频域中的残差数据或者将频域中的残差数据逆变换为空间域中的残差数据的方案。
NSST处理模式是指在核变换与量化之间或者在反量化与逆核变换之间执行的变换方案,并且可仅被应用于当前块的一些部分。
ROT处理模式是指用于在频率系数矩阵的行之间或列之间部分地交换至少一个值的方案。行之间的部分交换或列之间的部分交换不表示特定行或列的值以1:1无条件地交换,而是可表示两行之间的值或两列之间的值通过使用诸如三角函数的特定函数来部分地交换。
DST处理模式是指用于通过使用DST变换核来将空间域中的残差数据变换为频域中的残差数据或者将频域中的残差数据逆变换为空间域中的残差数据的方案。
DCT处理模式是指用于通过使用DCT变换核来将空间域中的残差数据变换为频域中的残差数据或者将频域中的残差数据逆变换为空间域中的残差数据的方案。
去块处理模式是指用于减少在块之间的边界处出现的块效应的方案。
SAO处理模式是指用于通过将偏移与重建样点相加来最小化重建图像与原始图像之间的误差的方案。
BF处理模式是指用于利用当前块的像素值与邻近块的像素值之间的加权平均值来替换重建块的像素值的方案。
ALF处理模式是指用于通过使用从多个滤波器中选择的滤波器来改变像素值的方案,所述改变是对重建的当前块中包括的多个像素组中的每一个执行的。
在实施例中,确定是否应用图29中所示的处理模式的顺序可被预先确定。此外,当根据预定语法确定应用处理模式中的一个时,可基于确定的结果不执行确定是否应用其他处理模式。在实施例中,在预测处理中是否应用跳过处理模式被确定之后,可顺序地确定是否应用帧间预测处理模式、直接处理模式和AMVP处理模式。当是否应用跳过处理模式被确定时,可确定是否应用帧间预测处理模式,并且当确定应用跳过处理模式时,可不确定是否应用帧间预测处理模式、直接处理模式和AMVP处理模式。也就是说,可跳过获得关于帧间预测处理模式、直接处理模式和AMVP处理模式的信息。
在实施例中,当可应用于当前块的处理模式基于当前块的MVR被指定时,图像解码设备2500可通过使用指定的处理模式对当前块进行解码。
参照图25,图像解码设备2500可包括比特流获得器2510和解码器2530。
图像解码设备2500可被包括在图像解码设备100中。例如,比特流获得器2510可被包括在图1中所示的图像解码设备100的比特流获得器110中,并且解码器2530可被包括在图像解码设备100的解码器120中。
比特流获得器2510获得针对经过编码的图像的比特流。比特流可包括关于经过编码的图像数据和编码模式的信息。
解码器2530基于从比特流获得的信息对图像进行解码。在实施例中,解码器2530可通过对作为将被解码的目标的块执行预测处理、变换处理和滤波处理来输出重建图像。
块的类型可以是正方形形状或矩形形状,或者可以是任意几何形状。根据实施例的块不限于预设尺寸的数据单元,并且可包括根据树结构的块单元中的最大编码单元、编码单元、预测单元和变换单元。
在实施例中,解码器2530可基于与当前块对应的MVR来确定针对当前块的可应用的处理模式。可应用的处理模式是指可应用于当前块的处理模式。可应用的处理模式可被实际应用于当前块,或者可根据包括在比特流中的信息而不被应用。下面将描述的不可应用的处理模式是指不可能应用于当前块的处理模式。
当前块的MVR可指参考图像(或经过插值的参考图像)中包括的像素中的由当前块的运动矢量指示的像素位置的精度。可从至少一个候选MVR中选择当前块的MVR。所述至少一个候选MVR可包括例如1/8像素单位的MVR、1/4像素单位的MVR、1/2像素单位的MVR、1像素单位的MVR、2像素单位的MVR、4像素单位的MVR和8像素单位的MVR中的至少一个,但不限于此。在另一实施例中,候选MVR可仅包括一个MVR。
图30示出当针对当前块可选择的最小MVR是1/4像素单位的MVR时可由根据1/4像素单位的MVR、1/2像素单位的MVR、1像素单位的MVR和2像素单位的MVR的运动矢量指示的像素的位置。
图30的(a)、(b)、(c)和(d)分别示出可由基于坐标(0,0)的1/4像素单位的MVR、1/2像素单位的MVR、1像素单位的MVR和2像素单位的MVR的运动矢量指示的像素的坐标(由黑色正方形标记)。
当最小MVR是1/4像素单位的MVR时,可由1/4像素单位的MVR的运动矢量指示的像素的坐标变为(a/4,b/4)(a和b是整数),可由1/2像素单位的MVR的运动矢量指示的像素的坐标变为(2c/4,2d/4)(c和d是整数),可由1像素单位的MVR的运动矢量指示的像素的坐标变为(4e/4,4f/4)(e和f是整数),并且可由2像素单位的MVR的运动矢量指示的像素的坐标变为(8g/4,8h/4)(g和h是整数)。也就是说,当最小MVR具有2m(m是整数)像素单位时,可由2n(n是整数)像素单位的MVR指示的像素的坐标变为(i*2n-m/2-m,j*2n-m/2-m)(i和j是整数)。虽然运动矢量根据特定MVR来被确定,但是运动矢量由根据与最小MVR对应的1/4像素单位插值的图像中的坐标来表示。
在实施例中,因为图像编码设备2700确定了根据最小MVR插值的图像中的运动矢量,所以为了通过使用整数来表示运动矢量(和预测运动矢量),最小MVR的像素单位值的倒数(例如,当最小MVR具有2m(m是整数)像素单位时的2-m)可乘以运动矢量(和预测运动矢量)。可在图像编码设备2700和图像解码设备2500中使用经过乘以2-m的整数单位的运动矢量。
当从坐标(0,0)开始的1/2像素单位的MVR的运动矢量指示坐标(2/4,6/4)并且最小MVR具有1/4像素单位时,运动矢量编码设备2700和图像解码设备2500可将通过将(2/4,6/4)乘以整数4而获得的(2,6)确定为运动矢量。
在实施例中,比特流获得器2510可以以块为单位、条带为单位或画面为为单位从比特流获得关于当前块的MVR的信息。解码器2530可从包括在比特流中的关于MVR的信息确定当前块的MVR。可选地,解码器2530可在不获得关于MVR的信息的情况下根据预设标准直接确定当前块的MVR。
在实施例中,比特流获得器2510可获得关于每个经过帧间预测的编码单元中的MVR的信息。图31示出用于从比特流获得关于MVR的信息的语法。
参照图31,当在短语a中的包括当前编码单元的条带不是条带I时,在短语b中提取cu_skip_flag。cu_skip_flag指示跳过模式是否将被应用于当前编码单元。当在短语c中检查出跳过模式将被应用时,在跳过模式下对当前编码单元进行处理。当在短语d中检查出跳过模式将不被应用时,在短语e中提取pred_mode_flag。pred_mode_flag指示当前编码单元是被帧内预测还是被帧间预测。当当前编码单元未被帧内预测,也就是说,在短语f中,当前编码单元被帧间预测时,在短语g中提取pred_mvr_idx。pred_mvr_idx是指示当前编码单元的MVR的索引,并且与每个索引对应的MVR如表2中所示。
[表2]
Figure GDA0002559034960000541
在实施例中,当当前块的MVR被确定时,解码器2530确定与当前块的MVR对应的处理模式,所述处理模式来自预测处理、变换处理和滤波处理中的至少一个中包括的多个处理模式。与当前块的MVR对应的处理模式的数量可以是一个或更多个。
在实施例中,解码器2530可基于当前块的MVR确定至少一个可应用的处理模式。例如,基于当前块的MVR,可将预测处理的仿射处理模式确定为可应用的处理模式,或者可将预测处理的仿射处理模式以及变换处理的MT处理模式确定为可应用的处理模式。
在实施例中,解码器2530可基于当前块的MVR确定至少一个不可应用的处理模式。
在实施例中,解码器2530可基于当前块的MVR确定至少一个可应用的处理模式和至少一个不可应用的处理模式。
在实施例中,当当前块的MVR与预设MVR对应时,解码器2530可确定至少一个可应用的处理模式和/或至少一个不可应用的处理模式。
例如,当预设运动矢量是1/4像素单位并且当前块的运动矢量是1/4像素单位时,解码器2530可将仿射处理模式确定为针对当前块的可应用的处理模式。可选地,当当前块的运动矢量是1/4像素单位时,可将跳过处理模式和直接处理模式确定为针对当前块的不可应用的处理模式。可选地,当当前块的运动矢量是1/4像素单位时,可将BIO处理模式确定为针对当前块的可应用的处理模式,并且可将IC处理模式确定为针对当前块的不可应用的处理模式。
图32至图34示出针对MVR预先确定的可应用的处理模式和/或不可应用的处理模式的示例。
参照图32,当当前块的MVR是1/4像素单位时,将仿射处理模式确定为可应用于当前块,并且当当前块的MVR是1/2像素单位、1像素单位或2像素单位时,将DMVD处理模式确定为可应用于当前块。
参照图33,当当前块的MVR是1/4像素单位时,将DST处理模式确定为不可应用于当前块,并且当当前块的MVR是1/2像素单位、1像素单位或2像素单位时,将ROT处理模式确定为不可应用于当前块。
此外,参照图34,当当前块的MVR是1/4像素单位时,将仿射处理模式和IC处理模式确定为可应用于当前块,并且将BF处理模式确定为不可应用。当当前块的MVR是1/2像素单位、1像素单位或2像素单位时,将ROT处理模式确定为可应用于当前块,并且将OBMC处理模式和SAO处理模式确定为不可应用。
在实施例中,解码器2530可基于当前块的运动矢量确定针对当前块的至少一个可应用的处理模式,并且可从比特流获得关于可应用的处理模式的信息。关于可应用的处理模式的信息可包括关于是否应用可应用的处理模式的信息以及关于与处理模式相关的特定设置中的至少一个特定设置的信息。
解码器2530可从比特流获得关于可应用的处理模式的信息,并且可根据可应用的处理模式对当前块进行解码。在实施例中,解码器2530可基于从比特流获得的信息来确定是否将可应用的处理模式应用于当前块,并且可基于确定的结果,通过可应用的处理模式对当前块进行解码。
在实施例中,根据可应用的处理模式对当前块进行解码不表示仅将可应用的处理模式应用于当前块。在实施例中,解码器2530可根据按照预定顺序(即,预定语法)在可应用的处理模式之前应该确定了是否应用的处理模式来对当前块进行处理,并且然后可将可应用的处理模式应用于当前块。可选地,在根据可应用的处理模式对当前块进行处理之后,可基于根据预定语法确定是否应用的另一处理模式来对当前块进行解码。
例如,当与MVR对应的可应用的处理模式是仿射处理模式时,解码器2530可基于仿射处理模式对当前块执行预测处理,并且然后可通过将包括在变换处理中的处理模式和包括在滤波处理中的处理模式应用于经过预测处理的当前块来对当前块进行解码。
例如,当与MVR对应的可应用的处理模式是SAO处理模式时,解码器2530可通过在将预测处理的处理模式和变换处理的处理模式应用于当前块之后将SAO处理模式应用于当前块来对当前块进行解码。
图35至图37示出根据实施例的语法的一部分。参照图35,在短语A中当前块被帧间预测,并且当当前条带是P条带时,在短语B中确定MVR的索引是否与0(即,1/4像素单位)对应。当MVR的索引是0时,将直接处理模式确定为针对当前块的可应用的处理模式。在短语C中提取指示是否应用直接处理模式的cu_direct,并且可基于所提取的信息将直接处理模式应用于当前块。
当在图35的短语A中当前块被帧间预测时,在图36的短语D中确定当前条带是否是B条带。当当前条带是B条带时,在短语E中确定MVR的索引是否与0(即,1/4像素单位)对应。当MVR的索引是0时,将直接处理模式确定为针对当前块的可应用的处理模式。在短语F中提取指示是否应用直接处理模式的cu_direct,并且可基于所提取的信息将直接处理模式应用于当前块。
参照图35和图36,当当前块的MVR与1/4像素单位对应时,将直接处理模式确定为可应用的处理模式,并且基于指示是否应用的信息将直接处理模式应用于当前块,所述信息是从比特流获得的。
参照图37,在短语G中确定当前块的MVR索引与0(即,1/4像素单位)对应还是与3(即,2像素单位)对应,并且因此在短语H中提取ipr_flag。ipr_flag指示是否将IPR处理模式应用于当前块。也就是说,当当前块的MVR索引与1/4像素单位或2像素单位对应时,将IPR处理模式确定为可应用的处理模式,并且基于指示是否应用的信息将IPR处理模式应用于当前块,所述信息是从比特流获得的。
虽然未示出,但是当当前块的MVR索引与0(即,1/4像素单位)对应时,可提取mtr_idx。mtr_idx指示是否将MT处理模式应用于当前块。也就是说,当当前块的MVR索引与1/4像素单位对应时,将MT处理模式确定为可应用的处理模式,并且基于指示是否应用的信息将MT处理模式应用于当前块,所述信息是从比特流获得的。
例如,当当前块的MVR索引与0(即,1/4像素单位)对应时,可提取指示是否将BIO处理模式应用于当前块的信息。也就是说,当当前块的MVR索引与1/4像素单位对应时,将BIO处理模式确定为可应用的处理模式,并且基于指示是否应用的信息将BIO处理模式应用于当前块,所述信息是从比特流获得的。
在实施例中,解码器2530可基于当前块的MVR来确定针对当前块的不可应用的处理模式,并且可跳过从比特流获得信息,所述信息与所确定的不可应用的处理模式相关。就这一点而言,跳过获得信息表示不从比特流获得与特定处理模式相关的信息。当获得与不可应用的处理模式相关的信息的被跳过时,可基于语法来获得关于另一处理模式的信息。
在实施例中,当处理模式中的一个处理模式以预设MVR被确定为可应用的处理模式,并且当前块的MVR与预设MVR不同时,解码器2530可将所述一个处理模式确定为针对当前块的不可应用的处理模式。
在实施例中,当处理模式中的一个处理模式以预设MVR被确定为不可应用的处理模式,并且当前块的MVR等于预设MVR时,解码器2530可将所述一个处理模式确定为针对当前块的不可应用的处理模式。
例如,当与1/4像素单位的MVR对应的可应用的处理模式是仿射处理模式,并且当前块的MVR不是1/4像素单位时,解码器2530可将仿射处理模式确定为不可应用的处理模式,并且可跳过从比特流获得与仿射处理模式相关的信息。
例如,当与1/4像素单位的MVR对应的不可应用的处理模式是仿射处理模式,并且当前块的MVR是1/4像素单位时,解码器2530可跳过从比特流获得与仿射处理模式相关的信息。
在实施例中,解码器2530可基于当前块的MVR来确定针对当前块的可应用的处理模式和不可应用的处理模式。然后,解码器2530可从比特流获得关于可应用的处理模式的信息,并且可跳过获得与不可应用的处理模式相关的信息。解码器2530从比特流获得关于可应用的处理模式的信息,并且跳过获得与不可应用的处理模式相关的信息,换句话说,解码器2530可基于当前块的MVR确定是否从比特流获得与多个处理模式中的至少一个处理模式相关的信息。
也就是说,当预先确定特定处理模式可应用于1/4像素单位时,解码器2530可基于当前块的MVR与1/4像素单位的MVR之间的比较结果来确定是否从比特流获得与特定处理模式相关的信息。当当前块的MVR是1/4像素单位时,解码器2530可确定从比特流获得与特定处理模式相关的信息,并且当当前块的MVR不是1/4像素单位时,解码器2530可确定不从比特流获得与特定处理模式相关的信息。
在实施例中,当基于当前块的MVR确定了可应用的处理模式,并且确认应用所述可应用的处理模式时,解码器2530可检查不能与所述可应用的处理模式冗余地应用的处理模式,并且可跳过获得与所检查的处理模式相关的信息。当基于预定语法从多个处理模式中仅可应用一个处理模式时,所述多个处理模式可被称为冗余处理模式。
例如,在MT处理模式、NSST处理模式、ROT处理模式、DST处理模式和DCT处理模式与冗余处理模式对应的情况下,当当前块的可应用的处理模式是MT处理模式,并且确定针对当前块应用MT处理模式时,可跳过获得与不能冗余地应用的NSST处理模式、ROT处理模式、DST处理模式和DCT处理模式相关的信息。
此外,在实施例中,在解码器2530将基于当前块的MVR确定的可应用的处理模式应用于当前块之前,解码器2530可跳过从比特流获得与首先应该根据预定语法确定是否应用的处理模式相关的信息。在这种情况下,可应用的处理模式和应该根据预定语法首先确定是否应用的处理模式可被包括在预测处理、变换处理和滤波处理中的相同处理中。
详细地,在为了将‘p’处理模式应用于当前块而必须根据语法优先确定是否应用‘q’处理模式的情况下,当‘p’处理模式被确定为可应用的处理模式时,解码器2530可跳过获得与‘q’处理模式相关的信息,并且因此可不确定是否应用‘q’处理模式。
例如,当针对当前块的可应用的处理模式是AMVP处理模式时,在解码器2530根据语法将AMVP处理模式应用于当前块之前,解码器2530可跳过获得与首先应该确定是否应用的跳过处理模式和直接处理模式相关的信息。
在实施例中,当解码器2530基于当前块的MVR确定可应用的处理模式并且基于从比特流获得的信息确认不应用所述可应用的处理模式时,解码器2530可将另一处理模式应用于当前块,所述另一处理模式被包括在所述可应用的处理模式所属的相同处理(即,预测处理、变换处理或滤波处理)中。
此外,在实施例中,当基于当前块的MVR确定不可应用的处理模式时,解码器2530可将另一处理模式应用于当前块,所述另一处理模式被包括在所述不可应用的处理模式所属的相同处理中。
在实施例中,解码器2530可基于当前块的MVR确定针对当前块的可应用的处理模式,并且可确定与可应用的处理模式相关的特定设置。特定设置可指当根据处理模式对当前块进行处理时将考虑到的选项。一个处理模式可具有多个选项,并且解码器2530可基于当前块的MVR以及与可应用的处理模式相关的选项来检查可应用的处理模式块。
例如,AMVP处理模式的特定设置可包括关于是否执行单向预测和是否执行双向预测的信息。此外,仿射处理模式的特定设置可包括仿射类型,例如,关于它是旋转类型还是缩放类型的信息。可选地,DCT处理模式的特定设置可包括核类型,例如,关于它是DCT-II核还是DCT-VIII核的信息。
如上所述,可针对包括当前块的条带或画面确定当前块的MVR。针对条带或画面确定的MVR可以是条带或画面中包括的块中的每个块的MVR。
在实施例中,在当前条带是预测(P)条带或双预测(B)条带,并且当前画面是预测(P)画面或双预测(B)画面的情况下,当当前块的MVR与预设MVR对应时,解码器2530可将帧间预测处理模式应用于包括在当前条带或当前画面中的所有块。也就是说,解码器2530可通过使用作为考虑时间冗余的预测方案的帧间预测方案来对包括在当前条带或当前画面中的所有块进行处理。通常,P条带、B条带、P画面和B画面可包括经过帧间预测的块和经过帧内预测的块中的全部,但是当针对画面或条带确定的MVR与预设MVR对应时,解码器2530可确定包括在条带或画面中的所有块已经被帧间预测。
在实施例中,当针对包括当前块的条带或画面确定当前块的MVR时,解码器2530可通过使用与当前块的MVR对应的预测块生成模式来对在条带或画面中的使用帧内预测处理模式编码的块进行处理。
如上所述,预测块生成模式指示用于在帧内预测处理模式下生成预测块的方案。在实施例中,解码器2530可从用于根据帧内预测生成预测块的多个预测块生成模式中确定与当前块的MVR对应的预测块生成模式。然后,解码器2530可通过使用与当前块的MVR对应的一个预测块生成模式,生成针对当前条带或当前画面中包括的块中的使用帧内预测处理模式编码的块的预测块。
如上所述,可基于当前块的MVR确定针对当前块的可应用的处理模式和/或不可应用的处理模式。在实施例中,解码器2530可基于应用于当前块的处理模式的类型来确定当前块的MVR。当应用于当前块的处理模式是映射到预设MVR的可应用的处理模式时,解码器2530可将预设MVR确定为当前块的MVR。换句话说,当仿射处理模式被应用于当前块并被映射到1/4像素单位分辨率作为可应用的处理模式时,解码器2530可将当前块的MVR确定为1/4像素单位。
在参照图32的描述中,当仿射处理模式被应用于当前块时,解码器2530可将当前块的MVR确定为1/4像素单位,并且当DMVD处理模式被应用于当前块时,解码器2530可将当前块的MVR确定为1/2像素单位、1像素单位和2像素单位中的一个。
图26是用于描述根据实施例的图像解码方法的流程图。
在S2610,图像解码设备2500基于当前块的MVR确定针对当前块的可应用的处理模式。
如上所述,图像解码设备2500可从比特流获得指示当前块的MVR的信息,并且可基于所获得的信息确定当前块的MVR。在实施例中,图像解码设备2500可直接确定当前块的MVR。
此外,在实施例中,图像解码设备2500可基于当前块的MVR确定针对当前块的不可应用的处理模式。
在S2620,图像解码设备2500可从比特流获得关于可应用的处理模式的信息,并且可基于所述信息,根据可应用的处理模式对当前块进行解码。
图像解码设备2500可跳过从比特流获得信息,所述信息是关于针对当前块的不可应用的处理模式的信息。
图像解码设备2500可基于从比特流获得的信息确定是否将可应用的处理模式应用于当前块,并且当确认应用可应用的处理模式时,图像解码设备2500可根据所述可应用的处理模式对当前块进行解码。
在实施例中,当确认不应用可应用的处理模式时,图像解码设备2500可根据另一处理模式对当前块进行解码。
在实施例中,图像解码设备2500可在不应用不可应用的处理模式的情况下根据另一处理模式对当前块进行解码。
图27是示出根据实施例的图像编码设备2700的配置的框图。
参照图27,根据实施例的图像编码设备2700可包括编码器2710和比特流生成器2730。图像编码设备2700可被包括在上述图像编码设备200中。例如,图像编码设备2700的编码器2710可被包括在图像编码设备200的编码器220中,并且图像编码设备2700的比特流生成器2730可被包括在图像编码设备200的比特流生成器210中。
图像编码设备2700可通过对原始图像执行预测处理、变换处理和滤波处理来对原始图像进行编码,并且可生成包括与图像相关的数据的比特流。
编码器2710可确定与当前块对应的MVR。可从至少一个候选MVR中选择当前块的MVR。所述至少一个候选MVR可包括例如1/8像素单位的MVR、1/4像素单位的MVR、1/2像素单位的MVR、1像素单位的MVR、2像素单位的MVR、4像素单位的MVR和8像素单位的MVR中的至少一个,但不限于此。
在实施例中,编码器2710可从至少一个候选MVR中选择一个候选MVR作为当前块的MVR,并且可根据选择的MVR确定当前块的运动矢量。
为了确定当前块的运动矢量,编码器2710可根据至少一个候选MVR中的最小MVR来对参考图像进行插值。
在实施例中,当至少一个候选MVR中的最小像素单位的候选MVR(即,最小MVR)具有1/n像素单位(其中,n是自然数)时,编码器2710可从参考图像的整数像素生成1/n像素单位的子pel像素以估计运动,并且可确定当前块的指示最大1/n像素单位的子pel像素的运动矢量。
根据当前图像的特性,与根据大像素单位的MVR确定运动矢量相比,根据小像素单位的MVR确定运动矢量可能是低效的。当根据小像素单位的MVR确定运动矢量时,与根据大像素单位的MVR确定运动矢量相比,可能需要更大数量的比特来表示运动矢量(或差分运动矢量)的大小,并且就比特率而言这可能是低效的。因此,例如,可根据图像的分辨率自适应地确定MVR,使得比特率可被降低并且同时重建图像质量的劣化可被最小化。
在实施例中,编码器2710可自适应地确定当前块的MVR,并且可确定以所确定的MVR的像素单位的运动矢量。例如,当当前块的MVR的像素单位是1/2时,编码器2710可确定指示根据最小MVR插值的参考图像中的1/2像素单位的像素的运动矢量。
例如,当至少一个候选MVR包括1/4像素单位的MVR、1/2像素单位的MVR和1像素单位的MVR时,编码器2710可在根据作为最小MVR的1/4像素单位的MVR插值的参考图像中以1/4像素单位确定当前块的运动矢量,可在根据1/4像素单位的MVR插值的参考图像中以1/2像素单位确定当前块的运动矢量,并且可在根据1/4像素单位的MVR插值的参考图像中以1像素单位确定当前块的运动矢量。然后,编码器2710可将基于代价选择的候选MVR确定为当前块的MVR。在代价的计算中,可使用率失真代价。
在实施例中,编码器2710可基于预设标准,根据每个画面、每个条带或每个块确定MVR。
在实施例中,当当前块的MVR被确定时,编码器2710可确定与当前块的MVR对应的至少一个处理模式,所述处理模式来自预测处理、变换处理和滤波处理中的至少一个中包括的多个处理模式。与当前块的MVR对应的处理模式的数量可以是一个或更多个。
在实施例中,编码器2710可基于当前块的MVR确定至少一个可应用的处理模式。
在实施例中,编码器2710可基于当前块的MVR确定至少一个不可应用的处理模式。
在实施例中,编码器2710可基于当前块的MVR确定至少一个可应用的处理模式和至少一个不可应用的处理模式。
在实施例中,当当前块的MVR与预设MVR对应时,编码器2710可确定至少一个可应用的处理模式和/或至少一个不可应用的处理模式。
在实施例中,当仿射处理模式被映射到针对1/4像素单位的MVR的可应用的处理模式,并且当前块的MVR是1/4像素单位时,编码器2710可将仿射处理模式确定为可应用的处理模式。
此外,在实施例中,当仿射处理模式被映射到针对1/4像素单位的MVR的可应用的处理模式,并且当前块的MVR与1/4像素单位不同时,编码器2710可将仿射处理模式确定为不可应用的处理模式。
此外,在实施例中,当仿射处理模式被映射到针对1/2像素单位的MVR的不可应用的处理模式,并且当前块的MVR是1/2像素单位时,编码器2710可将仿射处理模式确定为不可应用的处理模式。
在实施例中,编码器2710可根据针对当前块的可应用的处理模式来对当前块进行编码。在实施例中,编码器2710可不将针对当前块的不可应用的处理模式应用于当前块。
在实施例中,编码器2710可确定是否将可应用的处理模式应用于当前块,并且基于确定的结果,编码器2710可根据可应用的处理模式对当前块进行编码。例如,当可应用的处理模式是仿射处理模式时,可确定是否将仿射处理模式应用于当前块。当确定应用仿射处理模式时,可将仿射处理模式应用于当前块。
在实施例中,根据可应用的处理模式对当前块进行编码不表示仅将可应用的处理模式应用于当前块。在实施例中,编码器2710可根据按照预定顺序(即,预定语法)在应用可应用的处理模式之前应该确定了是否应用的处理模式来对当前块进行处理,并且然后可将可应用的处理模式应用于当前块。可选地,在基于可应用的处理模式对当前块进行处理之后,可基于根据预定语法确定是否应用的另一处理模式对当前块进行编码。
在实施例中,当针对当前块的不可应用的处理模式被确定时,编码器2710可根据除了不可应用的处理模式之外的处理模式对当前块进行编码。
此外,在实施例中,当确定不应用基于当前块的MVR确定的可应用的处理模式时,编码器2710可根据除了可应用的处理模式之外的处理模式对当前块进行编码。
在实施例中,比特流生成器2730可生成包括与应用于当前块的处理模式相关的信息的比特流。在实施例中,比特流生成器2730可将关于当前块的MVR的信息添加到比特流。
在实施例中,当基于当前块的MVR确定的可应用的处理模式被应用于当前块时,比特流生成器2730可生成包括关于可应用的处理模式的信息的比特流。
在实施例中,关于基于当前块的MVR确定的不可应用的处理模式的信息可不被包括在比特流中。
在实施例中,当基于当前块的MVR确定了可应用的处理模式,并且确认应用所述可应用的处理模式时,编码器2710可检查不能与所述可应用的处理模式冗余地应用的处理模式。由比特流生成器2730生成的比特流可不包括关于不能与可应用的处理模式冗余地应用的处理模式的信息。当基于预定语法从多个处理模式中仅可应用一个处理模式时,所述多个处理模式可被称为冗余处理模式。
此外,在实施例中,在编码器2710将基于当前块的MVR确定的可应用的处理模式应用于当前块之前,编码器2710可将首先应该根据预定语法确定是否应用的处理模式确定为不可应用的处理模式。在这种情况下,可应用的处理模式和首先应该根据预定语法确定是否应用的处理模式可被包括在预测处理、变换处理和滤波处理中的相同处理中。
详细地,在为了将另一处理模式应用于当前块而必须优先根据语法确定是否应用一个处理模式的情况下,当所述另一处理模式被确定为可应用的处理模式时,编码器2710可将所述一个处理模式确定为不可应用的处理模式。关于被确定为不可应用的处理模式的处理模式的信息可不被包括在比特流中。
在实施例中,当基于当前块的MVR确定的可应用的处理模式不被应用于当前块时,关于可应用的处理模式的信息可不被包括在比特流中。
在实施例中,编码器2710可基于当前块的MVR确定针对当前块的可应用的处理模式,并且可确定与所述可应用的处理模式相关的特定设置。特定设置可指当根据处理模式对当前块进行处理时将考虑到的选项。
如上所述,可针对包括当前块的条带或画面确定当前块的MVR。针对条带或画面确定的MVR可以是条带或画面中包括的块中的每个块的MVR。
在实施例中,在当前条带是预测(P)条带或双预测(B)条带,并且当前画面是预测(P)画面或双预测(B)画面的情况下,当当前块的MVR与预设MVR对应时,编码器2710可将帧间预测处理模式应用于包括在当前条带或当前画面中的所有块。
此外,在实施例中,当针对包括当前块的当前条带或当前画面确定当前块的MVR时,编码器2710可根据与当前块的MVR对应的预测块生成模式来生成包括在当前条带或当前画面中的将应用帧内预测处理模式的块的预测块。
如上所述,可基于当前块的MVR确定针对当前块的可应用的处理模式和/或不可应用的处理模式。在实施例中,编码器2710可基于将应用于当前块的处理模式的类型来确定当前块的MVR。当应用于当前块的处理模式与映射到预设MVR的可应用的处理模式对应时,编码器2710可将预设MVR确定为当前块的MVR。换句话说,当仿射处理模式被应用于当前块并被映射到1/4像素单位分辨率作为可应用的处理模式时,编码器2710可将当前块的MVR确定为1/4像素单位。
在参照图32的描述中,当仿射处理模式被确定为应用于当前块时,编码器2710可将当前块的MVR确定为1/4像素单位,并且当DMVD处理模式被确定为应用于当前块时,编码器2710可将当前块的MVR确定为1/2像素单位、1像素单位和2像素单位中的一个。
图28是用于描述根据实施例的图像编码方法的流程图。
在S2810,图像编码设备2700基于当前块的MVR确定可应用的处理模式。
图像编码设备2700可将至少一个候选MVR中的一个候选MVR确定为当前块的MVR。在实施例中,图像编码设备2700可根据每个画面、每个条带或每个块确定MVR。针对画面、条带或最大编码单元确定的MVR可以是包括在画面、条带或最大编码单元中的块的MVR。
此外,在实施例中,图像编码设备2700可基于当前块的MVR确定针对当前块的不可应用的处理模式。
在S2820,图像编码设备2700可根据可应用的处理模式对当前块进行编码。
图像编码设备2700可不将针对当前块确定的不可应用的处理模式应用于当前块。在实施例中,图像编码设备2700可根据另一处理模式而不是不可应用的处理模式对当前块进行编码。
图像编码设备2700可确定是否应用针对当前块的可应用的处理模式,并且当确定应用时,图像编码设备2700可根据可应用的处理模式对当前块进行编码。
在实施例中,当确定不应用可应用的处理模式时,图像编码设备2700可根据另一处理模式对当前块进行编码。
在实施例中,图像编码设备2700可生成包括指示当前块的MVR的信息和与应用于当前块的处理模式相关的信息的比特流。
因为可应用的处理模式被应用于当前块,所以生成的比特流可不包括关于不可应用的处理模式的信息和关于被确定为不可应用的处理模式的处理模式的信息。
实施例可被实现为计算机可执行程序,并且该程序可被存储在介质中。
介质可持续存储计算机可执行程序,或者可临时存储计算机可执行程序,以执行或下载计算机可执行程序。此外,介质可以是包括单个硬件或多个硬件的组合的各种记录手段或存储手段中的任意一个,并且可分布在网络中,而不限于直接连接到计算机系统的介质。介质可被配置为存储程序指令,并且介质的示例可包括磁性介质(诸如硬盘、软盘或磁带)、光学记录介质(诸如紧凑盘只读存储器(CD-ROM)或数字通用盘(DVD))、磁光介质(诸如软光盘、ROM、随机存取存储器(RAM)和闪存)。此外,介质的其他示例可包括由分发应用的应用商店或者供应或分发各种其他软件的网站或服务器管理的记录介质和存储介质。
尽管已经参照本公开的实施例具体地示出和描述了本公开,但是本领域的普通技术人员将理解,在不脱离如由所附权利要求限定的本公开的精神和范围的情况下,可在本公开中在形式和细节上进行各种改变。

Claims (2)

1.一种图像解码方法,包括:
从比特流获得从多个运动矢量分辨率中指示当前块的运动矢量分辨率的信息;
当指示当前块的运动矢量分辨率的信息指示预定运动矢量分辨率时,从比特流获得指示合并模式是否被应用于当前块的信息;并且
当指示合并模式是否被应用于当前块的信息指示应用合并模式时,基于合并模式对当前块进行解码,
其中,当指示当前块的运动矢量分辨率的信息不指示所述预定运动矢量分辨率时,不从比特流获得指示合并模式是否被应用于当前块的信息。
2.一种图像编码方法,包括:
从多个运动矢量分辨率中确定当前块的运动矢量分辨率;
当当前块的运动矢量分辨率被确定为预定运动矢量分辨率时,确定是否将合并模式应用于当前块;
当确定将合并模式应用于当前块时,基于合并模式对当前块进行编码;并且
产生包括指示当前块的运动矢量分辨率的信息和指示合并模式是否被应用于当前块的信息的比特流,
其中,当当前块的运动矢量分辨率被确定为不是所述预定运动矢量分辨率时,指示合并模式是否被应用于当前块的信息不被包括在比特流中。
CN201880084683.XA 2017-11-09 2018-03-30 用于基于运动矢量分辨率对图像进行编码的设备和方法以及解码设备和方法 Active CN111602392B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310348180.1A CN116389721A (zh) 2017-11-09 2018-03-30 图像编码方法以及图像解码方法和设备
CN202310347162.1A CN116389720A (zh) 2017-11-09 2018-03-30 图像编码方法以及图像解码方法和设备

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762583748P 2017-11-09 2017-11-09
US62/583,748 2017-11-09
PCT/KR2018/003814 WO2019093597A1 (ko) 2017-11-09 2018-03-30 움직임 벡터 해상도에 기초하여 영상을 부호화하는 장치 및 방법, 및 복호화 장치 및 방법

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN202310347162.1A Division CN116389720A (zh) 2017-11-09 2018-03-30 图像编码方法以及图像解码方法和设备
CN202310348180.1A Division CN116389721A (zh) 2017-11-09 2018-03-30 图像编码方法以及图像解码方法和设备

Publications (2)

Publication Number Publication Date
CN111602392A CN111602392A (zh) 2020-08-28
CN111602392B true CN111602392B (zh) 2023-04-14

Family

ID=66438479

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202310348180.1A Pending CN116389721A (zh) 2017-11-09 2018-03-30 图像编码方法以及图像解码方法和设备
CN201880084683.XA Active CN111602392B (zh) 2017-11-09 2018-03-30 用于基于运动矢量分辨率对图像进行编码的设备和方法以及解码设备和方法
CN202310347162.1A Pending CN116389720A (zh) 2017-11-09 2018-03-30 图像编码方法以及图像解码方法和设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310348180.1A Pending CN116389721A (zh) 2017-11-09 2018-03-30 图像编码方法以及图像解码方法和设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310347162.1A Pending CN116389720A (zh) 2017-11-09 2018-03-30 图像编码方法以及图像解码方法和设备

Country Status (5)

Country Link
US (3) US11184620B2 (zh)
EP (1) EP3709640A4 (zh)
KR (3) KR102285739B1 (zh)
CN (3) CN116389721A (zh)
WO (1) WO2019093597A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019217383A1 (en) * 2018-05-09 2019-11-14 Interdigital Vc Holdings, Inc. Motion compensation for video encoding and decoding
KR102602614B1 (ko) * 2018-07-06 2023-11-14 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
CN111131822B (zh) * 2018-10-31 2023-08-01 北京字节跳动网络技术有限公司 具有从邻域导出的运动信息的重叠块运动补偿
WO2020130581A1 (ko) * 2018-12-19 2020-06-25 엘지전자 주식회사 이차 변환에 기반한 영상 코딩 방법 및 그 장치
KR20220155033A (ko) 2021-05-14 2022-11-22 한국전자통신연구원 비디오 부호화 복잡도 감소를 위한 어파인 고속 부호화 방법 및 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011021915A2 (ko) * 2009-08-21 2011-02-24 에스케이텔레콤 주식회사 적응적 움직임 벡터 해상도를 이용한 영상 부호화/복호화 방법 및 장치
KR101418104B1 (ko) * 2010-03-08 2014-07-16 에스케이 텔레콤주식회사 움직임 벡터 해상도 조합을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
CA3033984C (en) 2010-09-30 2022-03-08 Mitsubishi Electric Corporation Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method
KR20140092423A (ko) * 2012-12-20 2014-07-24 주식회사 팬택 계층적 영상 부/복호화 모드 결정 방법 및 이러한 방법을 사용하는 장치
KR102126855B1 (ko) * 2013-02-15 2020-06-26 한국전자통신연구원 부호화 모드 결정 방법 및 장치
GB2524476B (en) * 2014-03-14 2016-04-27 Canon Kk Method, device and computer program for optimizing transmission of motion vector related information when transmitting a video stream
US10531113B2 (en) * 2014-10-31 2020-01-07 Samsung Electronics Co., Ltd. Method and device for encoding/decoding motion vector
WO2017039117A1 (ko) * 2015-08-30 2017-03-09 엘지전자(주) 영상의 부호화/복호화 방법 및 이를 위한 장치
US10681379B2 (en) * 2015-09-29 2020-06-09 Qualcomm Incorporated Non-separable secondary transform for video coding with reorganizing

Also Published As

Publication number Publication date
CN116389721A (zh) 2023-07-04
KR102218647B1 (ko) 2021-02-22
KR20210019138A (ko) 2021-02-19
KR102285739B1 (ko) 2021-08-04
CN116389720A (zh) 2023-07-04
WO2019093597A1 (ko) 2019-05-16
US11700379B2 (en) 2023-07-11
CN111602392A (zh) 2020-08-28
KR20210095971A (ko) 2021-08-03
US11700380B2 (en) 2023-07-11
KR20200042949A (ko) 2020-04-24
US20220086452A1 (en) 2022-03-17
EP3709640A1 (en) 2020-09-16
US11184620B2 (en) 2021-11-23
US20200288139A1 (en) 2020-09-10
EP3709640A4 (en) 2021-08-25
US20220070467A1 (en) 2022-03-03

Similar Documents

Publication Publication Date Title
CN110870306B (zh) 用于对运动矢量进行编码和解码的设备和方法
CN111602392B (zh) 用于基于运动矢量分辨率对图像进行编码的设备和方法以及解码设备和方法
CN111095926A (zh) 用于对运动信息进行编码和解码的方法以及用于对运动信息进行编码和解码的装置
KR102604775B1 (ko) 움직임 정보의 부호화 장치 및 방법, 및 복호화 장치 및 방법
EP3355579A1 (en) Method for encoding/decoding image and device therefor
CN113545059A (zh) 一种用于预测色度分量的视频编码和解码的方法及其装置
CN111108750A (zh) 用于对运动信息进行编码和解码的方法以及用于对运动信息进行编码和解码的设备
CN113228648A (zh) 使用三角形预测模式的图像编码装置和图像解码装置及其执行的图像编码方法和图像解码方法
CN113454991A (zh) 用于对运动矢量差进行编码的方法和设备以及用于对运动矢量差进行解码的方法和设备
CN111183644A (zh) 编码方法及其设备、解码方法及其设备
CN109076220B (zh) 用于对图像进行编码/解码的方法及其装置
CN114641999A (zh) 使用工具集的图像解码装置及其图像解码方法、和图像编码装置及其图像编码方法
CN113056919A (zh) 使用双向预测的图像编码和解码方法以及图像编码和解码设备
CN111095925B (zh) 通过使用基本运动矢量对运动矢量进行编码的设备和方法以及解码设备和方法
CN113994667A (zh) 通过使用邻近运动信息对运动信息进行编码和解码的设备和方法
CN112703731A (zh) 基于子块对图像进行编码的方法和装置以及对图像进行解码的方法和装置
CN114097226A (zh) 基于视频尺寸编码视频的方法和设备,以及基于视频尺寸解码视频的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant