CN114697680A - 用于对运动信息进行编码的设备和方法以及解码设备和方法 - Google Patents

用于对运动信息进行编码的设备和方法以及解码设备和方法 Download PDF

Info

Publication number
CN114697680A
CN114697680A CN202210386787.4A CN202210386787A CN114697680A CN 114697680 A CN114697680 A CN 114697680A CN 202210386787 A CN202210386787 A CN 202210386787A CN 114697680 A CN114697680 A CN 114697680A
Authority
CN
China
Prior art keywords
information
coding unit
encoding
units
motion information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210386787.4A
Other languages
English (en)
Inventor
李振荣
崔雄一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN114697680A publication Critical patent/CN114697680A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了一种用于对运动信息进行编码的设备和方法以及解码设备和方法。根据一个实施例,公开了一种用于对运动信息进行解码的方法,所述方法包括以下步骤:识别在对帧间预测的当前块进行解码时使用的多条运动信息中的未被包括在比特流中的省略的运动信息的类型;基于预定方法获得所述省略的运动信息;并且基于包括所获得的所述省略的运动信息的所述多条运动信息对当前块进行解码。

Description

用于对运动信息进行编码的设备和方法以及解码设备和方法
本申请是申请日为2018年03月30日,申请号为“201880071146.1”,标题为“用于对运动信息进行编码的设备和方法以及解码设备和方法”的发明专利申请的分案申请。
技术领域
本公开涉及视频编码和解码领域。更具体地,本公开涉及一种用于对视频的运动信息进行编码的方法和设备以及一种用于对视频的运动信息进行解码的方法和设备。
背景技术
在对视频进行编码和解码的方法中,为了对图像进行编码,可将一个画面划分为宏块,并且可通过使用帧间预测或帧内预测来对宏块中的每一个进行预测编码。
帧间预测是指通过去除画面之间的时间冗余来压缩图像的方法,并且其代表性示例是运动估计编码。在运动估计编码中,通过使用至少一个参考画面来预测当前画面的块。可通过使用预定评估函数在预定搜索范围内寻找与当前块最相似的参考块。
基于参考块预测当前块,并且对通过从当前块减去作为预测结果产生的预测块而产生的残差块进行编码。在这种情况下,为了更准确地执行预测,对参考画面的搜索范围执行插值,可产生小于整数像素单位像素的子像素单位像素,并且可对产生的子像素单位像素执行帧间预测。
在诸如H.264高级视频编码(AVC)和高效视频编码(HEVC)的编解码器中,为了预测当前块的运动矢量,与当前块相邻的先前被编码的块或被包括在先前编码的画面中的块的运动矢量被用作当前块的预测运动矢量。
发明内容
问题解决方案
根据实施例的对运动信息进行解码的方法包括:识别用于对被帧间预测的当前块进行解码的多条运动信息中的未被包括在比特流中的省略的运动信息的类型;通过使用预定方法获得所述省略的运动信息;并且基于包括所获得的所述省略的运动信息的所述多条运动信息对当前块进行解码。
本公开的有益效果
根据实施例的用于对运动信息进行编码的设备和方法以及用于对运动信息进行解码的设备和方法可通过省略对帧间预测块进行解码所需的各种运动信息中的一些运动信息来减少比特数。
附图说明
为了更全面地理解附图,提供了对每个附图的简要解释。
图1是根据实施例的能够基于块形状信息和划分形状信息中的至少一个对图像进行解码的图像解码设备的框图。
图2是根据实施例的能够基于块形状信息和划分形状信息中的至少一个对图像进行编码的图像编码设备的框图。
图3示出根据实施例的通过划分当前编码单元来确定至少一个编码单元的处理。
图4示出根据实施例的通过划分非正方形的编码单元来确定至少一个编码单元的处理。
图5示出根据实施例的基于块形状信息和划分形状信息中的至少一个来划分编码单元的处理。
图6示出根据实施例的从奇数个编码单元中确定预定编码单元的方法。
图7示出根据实施例的当通过划分当前编码单元来确定多个编码单元时处理多个编码单元的顺序。
图8示出根据实施例的当不能按照预定顺序处理编码单元时确定当前编码单元将被划分为奇数个编码单元的处理。
图9示出根据实施例的通过划分第一编码单元来确定至少一个编码单元的处理。
图10示出根据实施例的当通过划分第一编码单元确定的第二非正方形第二编码单元满足预定条件时第二编码单元可划分为的形状被限制。
图11示出根据实施例的当划分形状信息指示正方形的编码单元将不被划分为四个正方形的编码单元时划分正方形的编码单元的处理。
图12示出根据实施例的可依据划分编码单元的处理改变多个编码单元之间的处理顺序。
图13示出根据实施例的当递归地划分编码单元使得多个编码单元被确定时随着编码单元的形状和尺寸改变而确定编码单元的深度的处理。
图14示出根据实施例的基于编码单元的形状和尺寸可确定的深度以及用于区分编码单元的部分索引。
图15示出根据实施例的基于被包括在画面中的多个预定数据单元来确定多个编码单元。
图16示出根据实施例的用作用于确定被包括在画面中的参考编码单元的确定顺序的单元的处理块。
图17示出根据实施例的当编码单元可划分为的形状的组合对于每个画面不同时每个画面可确定的编码单元。
图18示出根据实施例的基于可表示为二进制码的划分形状信息可确定的编码单元的各种形状。
图19示出根据实施例的基于可表示为二进制码的划分形状信息可确定的编码单元的其他形状。
图20是用于执行环路滤波的图像编码和解码系统的框图。
图21是示出根据实施例的被包括在最大编码单元中的滤波单元和滤波单元的滤波性能信息的示例的示图。
图22示出根据实施例的在根据预定编码方法确定的编码单元之间执行合并或划分的处理。
图23示出根据实施例的根据编码单元的Z字形扫描顺序的索引。
图24是示出根据实施例的用于编码单元的帧内预测的参考样点的示图。
图25是示出根据实施例的运动信息解码设备的配置的框图。
图26是用于描述根据实施例的运动信息解码方法的流程图。
图27是示出根据实施例的运动信息编码设备的配置的框图。
图28是用于描述根据实施例的运动信息编码方法的流程图。
图29和图30是用于描述用于对帧间预测块进行解码的多条运动信息的示图。
图31和图32是示出与运动信息省略模式对应的省略的运动信息的示图。
图33是示出根据实施例的用于获得省略信息的候选块的示图。
图34示出用于针对双向预测块根据运动信息省略模式来获得省略信息的语法。
图35示出用于获得指示当前块的运动矢量分辨率(MVR)的信息的语法。
图36是示出当针对当前块可选择的最小MVR是1/4像素单位MVR时可由根据1/4像素单位MVR、1/2像素单位MVR、1像素单位MVR和2像素单位MVR的运动矢量指示的像素的位置的示图。
图37和图38是用于描述调整预测运动矢量或运动矢量差的方法的示图。
最佳模式
根据实施例的对运动信息进行解码的方法包括:识别用于对被帧间预测的当前块进行解码的多条运动信息中的未被包括在比特流中的省略的运动信息的类型;通过使用预定方法获得所述省略的运动信息;以及基于包括所获得的所述省略的运动信息的所述多条运动信息对当前块进行解码。
可基于在根据优先级顺序确定是否存在与当前块在空间上或时间上相关的多个候选块的运动信息的同时首先被确定存在运动信息的候选块的运动信息来获得所述省略的运动信息。
可通过对与当前块在空间上或时间上相关的多个候选块中的具有运动信息的多个候选块的多条运动信息进行组合来获得所述省略的运动信息。
可基于预设的基础运动信息来获得所述省略的运动信息。
可基于通过解码器侧运动矢量推导(DMVD)推导出的运动信息来获得所述省略的运动信息。
当存在多条省略的运动信息时,获得所述省略的运动信息的步骤可包括通过使用不同的方法来获得所述多条省略的运动信息中的每条省略的运动信息。
可基于当前块的运动矢量分辨率、当前块的预测方向、关于当前块的信息、关于先前被解码的邻近块的信息和指示运动信息的省略模式的信息中的至少一个来识别所述省略的运动信息的类型。
所述方法还可包括:获得指示是否应用运动信息省略处理的信息,其中,当确定应用所述运动信息省略处理时,识别省略的运动信息的类型。
指示是否应用所述运动信息省略处理的信息可包括:当前块的运动矢量分辨率、当前块的预测方向、关于当前块的信息、关于先前被解码的邻近块的信息和指示是否应用运动信息省略处理的标志中的至少一个。
当当前块被双向预测时,所述方法还可包括:获得指示运动信息的省略模式的信息,其中,运动信息的省略模式包括第一模式和第二模式中的至少一个,其中,在所述第一模式中,与第一参考图像列表对应的运动矢量差被识别为所述省略的运动信息,在所述第二模式中,与第二参考图像列表对应的运动矢量差被识别为所述省略的运动信息。
所述多条运动信息可包括关于当前块的运动矢量分辨率的信息和指示预测运动矢量的信息,其中,所述方法还包括:根据当前块的运动矢量分辨率来调整预测运动矢量。
所述方法还可包括:从比特流获得多条运动信息中的除所述省略的运动信息之外的运动信息。
根据实施例的一种对运动信息进行解码的方法包括:获得指示被双向预测的当前块的双向预测类型的信息;并且基于指示双向预测类型的信息,通过使用与当前块相关的多条运动信息中的除了与第一参考图像列表对应的第一运动矢量差和与第二参考图像列表对应的第二运动矢量差中的至少一个之外的运动信息来对当前块进行解码。
根据实施例的一种用于对运动信息进行解码的设备包括:识别器,被配置为识别用于对被帧间预测的当前块进行解码的多条运动信息中的未被包括在比特流中的省略的运动信息的类型;以及解码器,被配置为通过使用预定方法获得所述省略的运动信息,并且基于包括所获得的所述省略的运动信息的所述多条运动信息对当前块进行解码。
根据实施例的一种对运动信息进行编码的方法包括:从用于对被帧间预测的当前块进行解码的多条运动信息中确定将从比特流中省略的省略的运动信息的类型;通过使用预定方法获得所述省略的运动信息;以及产生包括所述多条运动信息中的除了所述省略的运动信息之外的运动信息的比特流。
具体实施方式
公开方式
由于本公开允许各种改变和许多实施例,因此示例性实施例将在附图中被示出并且在书面描述中被详细描述。然而,这并不旨在将本公开限制于特定的实践模式,并且应当理解,不脱离本公开的精神和技术范围的所有改变、等同和替换均被包含在本公开中。
在本公开的描述中,当认为相关技术的特定详细解释可能不必要地模糊本公开的本质时,省略相关技术的特定详细解释。此外,在本公开的实施例的描述中使用的数字(例如,第一和第二)旨在仅将一个组件与另一组件区分开。
当组件被称为“连接”或“接入”到任何其他组件或由任何其他组件“连接”或“接入”时,应当理解,该组件可被直接连接到或接入到所述其他组件或由所述其他组件“连接”或“接入”,但是除非另有具体指示,否则另一新的组件也可被插入在它们之间。
关于具有诸如“单元”或“模块”的后缀的元件,两个或更多个元件可根据功能被组合成一个元件,或者一个元件可根据功能被划分为两个或更多个元件。另外,下面要描述的各个组件中的每一个除了执行每个组件负责的主要功能之外还可附加地执行其他组件负责的功能中的一些或全部功能,并且各个组件负责的主要功能中的一些功能可由其他组件排他地执行。
此外,本文中使用的术语“图像”或“画面”可指视频的静止图像或运动图像(即,视频本身)。
此外,本文中使用的术语“样点”是指被分配给图像的采样位置并且将被处理的数据。例如,空间域的图像中的像素或变换域中的变换系数可以是样点。包括一个或更多个样点的单元可被定义为块。
此外,本文中使用的术语“当前块”可指将被编码或解码的当前图像的最大编码单元、编码单元、预测单元或变换单元的块。
此外,本文中使用的术语“运动矢量分辨率(MVR)”可指在被包括在参考图像(或内插参考图像)中的像素当中可由通过帧间预测确定的运动矢量指示的像素的位置的精度。当MVR具有N像素单位(N是有理数)时,这表示运动矢量可具有N像素单位的精度。例如,1/4像素单位的MVR可表示运动矢量可指示内插参考图像中的1/4像素单位(即,子像素单位)的像素位置,并且1像素单位的MVR可表示运动矢量可指示内插参考图像中的与1像素单位(即,整数像素单位)对应的像素位置。
此外,本文中使用的术语“候选MVR”是指可被选择为块的MVR的一个或更多个MVR,并且术语“候选块”是指被映射到候选MVR的一个或更多个块并且可被用作用于将被帧间预测的块的预测运动矢量的块。
此外,本文中使用的术语“像素单位”可与术语“像素精度”和“像素准确度”互换使用。
将参照图1至图24描述根据实施例的基于具有树结构的变换单元和编码单元的图像编码方法和设备以及图像解码方法和设备。将参照图1至图24描述的图像编码设备200和图像解码设备100可分别包括将参照图25至图38描述的运动信息编码设备2700和运动信息解码设备2500。
图1是根据实施例的能够基于块形状信息和划分形状信息中的至少一个对图像进行解码的图像解码设备100的框图。
参照图1,根据实施例,图像解码设备100可包括比特流获得器110和解码器120,其中,比特流获得器110用于从比特流获得诸如划分形状信息和块形状信息的预定信息,解码器120用于通过使用获得的信息对图像进行解码。当根据实施例的图像解码设备100的比特流获得器110获得块形状信息和划分形状信息中的至少一个时,图像解码设备100的解码器120可基于块形状信息和划分形状信息中的至少一个来确定对图像进行划分的至少一个编码单元。
根据实施例,图像解码设备100的解码器120可基于块形状信息来确定编码单元的形状。例如,块形状信息可包括指示编码单元是具有正方形形状还是具有非正方形形状的信息。解码器120可通过使用块形状信息来确定编码单元的形状。
根据实施例,解码器120可基于划分形状信息来确定编码单元将被划分为哪种形状。例如,划分形状信息可指示关于被包括在编码单元中的至少一个编码单元的形状的信息。
根据实施例,解码器120可根据划分形状信息来确定编码单元是否被划分。划分形状信息可包括关于被包括在编码单元中的至少一个编码单元的信息,并且当划分形状信息指示仅一个编码单元被包括在编码单元中或者编码单元未被划分时,解码器120可确定包括划分形状信息的编码单元未被划分。当划分形状信息指示编码单元被划分为多个编码单元时,解码器120可基于划分形状信息将编码单元划分为被包括在编码单元中的多个编码单元。
根据实施例,划分形状信息可指示编码单元将被划分为的编码单元的数量或编码单元将被划分的方向。例如,划分形状信息可指示编码单元在垂直方向和水平方向中的至少一个方向上被划分或者不被划分。
图3示出根据实施例的由图像解码设备100执行的通过划分当前编码单元来确定至少一个编码单元的处理。
块形状可包括4N×4N、4N×2N、2N×4N、4N×N或N×4N。N可以是正整数。块形状信息是指示编码单元的形状、方向、宽高比以及尺寸中的至少一个的信息。
编码单元的形状可包括正方形形状和非正方形形状。当编码单元的宽度和高度相同时(即,当编码单元的块形状是4N×4N时),图像解码设备100可将编码单元的块形状信息确定为正方形形状。图像解码设备100可将编码单元的形状确定为非正方形形状。
当编码单元的宽度和高度彼此不同时(即,当编码单元的块形状是4N×2N、2N×4N、4N×N或N×4N时),图像解码设备100可将编码单元的块形状信息确定为非正方形形状。当编码单元的形状是非正方形形状时,图像解码设备100可将编码单元的块形状信息中的宽高比确定为1:2、2:1、1:4、4:1、1:8和8:1中的至少一个。此外,图像解码设备100可基于编码单元的宽度的长度和高度的长度来确定编码单元是水平方向还是垂直方向。此外,图像解码设备100可基于编码单元的宽度的长度、高度的长度和面积中的至少一个来确定编码单元的尺寸。
根据实施例,图像解码设备100可通过使用块形状信息来确定编码单元的形状,并且可通过使用划分形状模式信息来确定编码单元被划分为哪种形状。即,可根据由图像解码设备100使用的块形状信息指示哪种块形状来确定由划分形状模式信息指示的编码单元划分方法。
图像解码设备100可从比特流获得划分形状模式信息。然而,本公开不限于此,并且图像解码设备100和图像编码设备200可基于块形状信息来确定预先约定的划分形状模式信息。图像解码设备100可确定针对最大编码单元或最小编码单元预先约定的划分形状模式信息。例如,图像解码设备100可将最大编码单元的尺寸确定为256×256。图像解码设备100可确定预先约定的划分形状模式信息指示四划分。四划分是编码单元的宽度和高度二等分的划分形状模式。图像解码设备100可基于划分形状模式信息从尺寸为256×256的最大编码单元获得尺寸为128×128的编码单元。此外,图像解码设备100可将最小编码单元的尺寸确定为4×4。图像解码设备100可获得指示针对最小编码单元的“不执行划分”的划分形状模式信息。
根据实施例,图像解码设备100可使用指示当前编码单元具有正方形形状的块形状信息。例如,图像解码设备100可基于划分形状模式信息来确定是否不划分正方形的编码单元、是否垂直划分正方形的编码单元、是否水平划分正方形的编码单元、或者是否将正方形的编码单元划分为四个编码单元。参照图3,当当前编码单元300的块形状信息指示正方形形状时,解码器120可基于指示不执行划分的划分形状模式信息来确定与当前编码单元300具有相同尺寸的编码单元310a不被划分,或者可确定基于指示预定划分方法的划分形状模式信息所划分出的编码单元310b、310c和310d。
参照图3,根据实施例,图像解码设备100可基于指示垂直地执行划分的划分形状模式信息来确定通过垂直地划分当前编码单元300而获得的两个编码单元310b。图像解码设备100可基于指示水平地执行划分的划分形状模式信息来确定通过水平地划分当前编码单元300而获得的两个编码单元310c。图像解码设备100可基于指示垂直地和水平地执行划分的划分形状模式信息来确定通过垂直地和水平地划分当前编码单元300而获得的四个编码单元310d。然而,正方形的编码单元的划分方法不限于上述方法,并且划分形状模式信息可包括各种方法。下面将通过各种实施例详细描述划分正方形的编码单元的预定划分方法。
图4示出根据实施例的由图像解码设备100执行的通过划分非正方形的编码单元来确定至少一个编码单元的处理。
根据实施例,图像解码设备100可使用指示当前编码单元具有非正方形形状的块形状信息。图像解码设备100可根据划分形状模式信息确定是不划分非正方形的当前编码单元还是通过使用预定方法划分非正方形的当前编码单元。参照图4,当当前编码单元400或450的块形状信息指示非正方形形状时,图像解码设备100可基于指示不执行划分的划分形状模式信息来确定与当前编码单元400或450具有相同尺寸的编码单元410或460,或者确定基于指示预定划分方法的划分形状模式信息而划分出的编码单元420a和420b、编码单元430a至430c、编码单元470a和470b或编码单元480a至480c。下面将通过各个实施例详细描述划分非正方形的编码单元的预定划分方法。
根据实施例,图像解码设备100可通过使用划分形状模式信息来确定编码单元的划分方法,并且在这种情况下,划分形状模式信息可指示通过划分编码单元而产生的一个或更多个编码单元的数量。参照图4,当划分形状模式信息指示将当前编码单元400或450划分为两个编码单元时,图像解码设备100可通过基于划分形状模式信息划分当前编码单元400或450来确定被包括在当前编码单元400或450中的两个编码单元420a和420b或编码单元470a和470b。
根据实施例,当图像解码设备100基于划分形状模式信息划分非正方形的当前编码单元400或450时,可考虑非正方形的当前编码单元400或450的长边的位置。例如,图像解码设备100可考虑当前编码单元400或450的形状,通过划分当前编码单元400或450的长边来确定多个编码单元。
根据实施例,当划分形状模式信息指示将编码单元划分(三划分)为奇数个块时,图像解码设备100可确定被包括在当前编码单元400或450中的奇数个编码单元。例如,当划分形状模式信息指示将当前编码单元400或450划分为三个编码单元时,图像解码设备100可将当前编码单元400或450划分为三个编码单元430a、430b和430c或编码单元480a、480b和480c。
根据实施例,当前编码单元400或450的宽高比可以是4:1或1:4。当宽高比是4:1时,宽度的长度大于高度的长度,因此块形状信息可以是水平的。当宽高比是1:4时,宽度的长度小于高度的长度,因此块形状信息可以是垂直的。图像解码设备100可基于划分形状模式信息确定将当前编码单元划分为奇数个块。此外,图像解码设备100可基于当前编码单元400或450的块形状信息来确定当前编码单元400或450的划分方向。例如,当当前编码单元400在垂直方向上时,图像解码设备100可水平地划分当前编码单元400,并且可确定编码单元430a、430b和430c。此外,当当前编码单元450在水平方向上时,图像解码设备100可垂直地划分当前编码单元450,并且可确定编码单元480a、480b和480c。
根据实施例,图像解码设备100可确定被包括在当前编码单元400或450中的奇数个编码单元,并且所有确定的编码单元的尺寸可不相同。例如,所确定的奇数个编码单元430a、430b和430c或编码单元480a、480b和480c中的预定编码单元430b或预定编码单元480b可具有与其他编码单元430a和430c或其他编码单元480a和480c的尺寸不同的尺寸。即,可通过划分当前编码单元400或450来确定的编码单元可具有多种尺寸,并且在某些情况下,所有奇数个编码单元430a、430b和430c或编码单元480a、480b和480c可具有不同的尺寸。
根据实施例,当划分形状模式信息指示将编码单元划分为奇数个块时,图像解码设备100可确定被包括在当前编码单元400或450中的奇数个编码单元,并可对通过划分当前编码单元400或450而产生的奇数个编码单元中的至少一个编码单元施加预定限制。参照图4,图像解码设备100可允许编码单元430b或编码单元480b的解码方法不同于其他编码单元430a和430c或其他编码单元480a和480c的解码方法,其中,编码单元430b或编码单元480b位于通过划分当前编码单元400或450而产生的三个编码单元430a、430b和430c或编码单元480a、480b和480c中的中心位置。例如,与其他编码单元430a和430c或其他编码单元480a和480c不同,图像解码设备100可将中心位置处的编码单元430b或编码单元480b限制为不再被划分或仅被划分预定次数。
图5示出根据实施例的由图像解码设备100执行的基于块形状信息和划分形状模式信息中的至少一个划分编码单元的处理。
根据实施例,图像解码设备100可基于块形状信息和划分形状模式信息中的至少一个来确定将正方形的第一编码单元500划分为编码单元或不对正方形的第一编码单元500进行划分。根据实施例,当划分形状模式信息指示在水平方向上划分第一编码单元500时,图像解码设备100可通过在水平方向上划分第一编码单元500来确定第二编码单元510。根据实施例使用的第一编码单元、第二编码单元和第三编码单元是用于理解在划分编码单元之前和之后的关系的术语。例如,可通过划分第一编码单元来确定第二编码单元,并且可通过划分第二编码单元来确定第三编码单元。将理解,第一编码单元、第二编码单元和第三编码单元之间的关系适用于以下描述。
根据实施例,图像解码设备100可基于块形状信息和划分形状模式信息中的至少一个来确定将所确定的第二编码单元510划分为编码单元或不对所确定的第二编码单元510进行划分。参照图5,图像解码设备100可基于块形状信息和划分形状模式信息中的至少一个将通过划分第一编码单元500所确定的非正方形的第二编码单元510划分为一个或更多个第三编码单元520a或第三编码单元520b、520c和520d,也可不划分非正方形第二编码单元510。图像解码设备100可获得块形状信息和划分形状模式信息中的至少一个,并且可基于所获得的块形状信息和划分形状模式信息中的至少一个,通过划分第一编码单元500来划分多个各种形状的第二编码单元(例如,510),并且可基于块形状信息和划分形状模式信息中的至少一个,通过使用第一编码单元500的划分方法来划分第二编码单元510。根据实施例,当基于第一编码单元500的块形状信息和划分形状模式信息中的至少一个将第一编码单元500划分为第二编码单元510时,还可基于第二编码单元510的块形状信息和划分形状模式信息中的至少一个将第二编码单元510划分为第三编码单元520a或第三编码单元520b、520c和520d。即,可基于每个编码单元的块形状信息和划分形状模式信息中的至少一个来递归地划分编码单元。因此,可通过划分非正方形的编码单元来确定正方形的编码单元,并且可通过递归地划分正方形的编码单元来确定非正方形的编码单元。
参照图5,通过划分非正方形的第二编码单元510而确定的奇数个第三编码单元520b、520c和520d中的预定编码单元(例如,中心位置处的编码单元或正方形的编码单元)可被递归地划分。根据实施例,奇数个第三编码单元520b、520c和520d中的非正方形的第三编码单元520b可在水平方向上被划分为多个第四编码单元530a、530b、530c和530d。多个第四编码单元530a、530b、530c和530d中的非正方形的第四编码单元530b或530d可被再次划分为多个编码单元。例如,非正方形的第四编码单元530b或530d可被再次划分为奇数个编码单元,下面将通过各种实施例描述可用于递归地划分编码单元的方法。
根据实施例,图像解码设备100可基于块形状信息和划分形状模式信息中的至少一个,将第三编码单元520a或第三编码单元520b、520c和520d中的每一个划分为编码单元。此外,图像解码设备100可基于块形状信息和划分形状模式信息中的至少一个来确定不划分第二编码单元510。根据实施例,图像解码设备100可将非正方形的第二编码单元510划分为奇数个第三编码单元520b、520c和520d。图像解码设备100可对奇数个第三编码单元520b、520c和520d中的预定第三编码单元施加预定限制。例如,图像解码设备100可将奇数个第三编码单元520b、520c和520d中的位于中心位置的第三编码单元520c限制为不再被划分或者被划分可设置的次数。
参照图5,图像解码设备100可将被包括在非正方形的第二编码单元510中的奇数个第三编码单元520b、520c和520d中的位于中心位置的第三编码单元520c限制为不再被划分、限制为通过使用预定划分方法被划分(例如,仅被划分为四个编码单元或通过使用第二编码单元510的划分方法被划分)、或限制为仅被划分预定次数(例如,仅被划分n次(其中n>0))。然而,对中心位置处的第三编码单元520c的限制不限于上述示例,并且可包括对于与其他第三编码单元520b和520d不同地对中心位置处的第三编码单元520c进行解码的各种限制。
根据实施例,图像解码设备100可从当前编码单元中的预定位置获得用于划分当前编码单元的块形状信息和划分形状模式信息中的至少一个。
图6示出根据实施例的由图像解码设备100执行的从奇数个编码单元中确定预定编码单元的方法。
参照图6,可从被包括在当前编码单元600或650中的多个样点中的预定位置的样点(例如,中心位置的样点640或690)获得当前编码单元600或650的块形状信息和划分形状模式信息中的至少一个。然而,可从当前编码单元600中获得块形状信息和划分形状模式信息中的至少一个的预定位置不限于图6中的中心位置,并且可包括当前编码单元600中所包括的各种位置(例如,上方、下方、左侧、右侧、左上方、左下方、右上方和右下方位置)。图像解码设备100可从所述预定位置获得块形状信息和划分形状模式信息中的至少一个,并且可确定将当前编码单元划分为各种形状和各种尺寸的编码单元或不对当前编码单元进行划分。
根据实施例,当当前编码单元被划分为预定数量的编码单元时,图像解码设备100可选择编码单元中的一个编码单元。下面将通过各种实施例描述可用于选择多个编码单元中的一个编码单元的各种方法。
根据实施例,图像解码设备100可将当前编码单元划分为多个编码单元,并可确定预定位置处的编码单元。
根据实施例,图像解码设备100可使用指示奇数个编码单元的位置的信息来确定奇数个编码单元中的中心位置处的编码单元。参照图6,图像解码设备100可通过划分当前编码单元600或当前编码单元650来确定奇数个编码单元620a、620b和620c或奇数个编码单元660a、660b和660c。图像解码设备100可通过使用关于奇数个编码单元620a、620b和620c或奇数个编码单元660a、660b和660c的位置的信息来确定中心位置处的编码单元620b或中心位置处的编码单元660b。例如,图像解码设备100可通过基于指示被包括在编码单元620a、620b和620c中的预定样点的位置的信息确定编码单元620a、620b和620c的位置来确定中心位置的编码单元620b。详细地,图像解码设备100可通过基于指示编码单元620a、620b和620c的左上样点630a、630b和630c的位置的信息确定编码单元620a、620b和620c的位置来确定中心位置处的编码单元620b。
根据实施例,指示分别被包括在编码单元620a、620b和620c中的左上样点630a、630b和630c的位置的信息可包括关于编码单元620a、620b和620c在画面中的位置或坐标的信息。根据实施例,指示分别被包括在编码单元620a、620b和620c中的左上样点630a、630b和630c的位置的信息可包括指示被包括在当前编码单元600中的编码单元620a、620b和620c的宽度或高度的信息,并且所述宽度或高度可对应于指示编码单元620a、620b和620c在画面中的的坐标之间的差的信息。即,图像解码设备100可通过直接使用关于编码单元620a,620b和620c在画面中的位置或坐标的信息,或者通过使用关于编码单元的与坐标之间的差值对应的宽度或高度的信息,来确定中心位置处的编码单元620b。
根据实施例,指示上方编码单元620a的左上样点630a的位置的信息可包括坐标(xa,ya),指示中间编码单元620b的左上样点630b的位置的信息可包括坐标(xb,yb),指示下方编码单元620c的左上样点630c的位置的信息可包括坐标(xc,yc)。图像解码设备100可通过使用分别被包括在编码单元620a、620b和620c中的左上样点630a、630b和630c的坐标来确定中间编码单元620b。例如,当左上样点630a、630b和630c的坐标以升序或降序排序时,可将包括中心位置处的样点630b的坐标(xb,yb)的编码单元620b确定为通过划分当前编码单元600所确定的编码单元620a、620b和620之中的中心位置处的编码单元。然而,指示左上样点630a、630b和630c的位置的坐标可包括指示画面中的绝对位置的坐标,或者可使用指示中间编码单元620b的左上样点630b相对于上方编码单元620a的左上样点630a的位置的相对位置的坐标(dxb,dyb)和指示下方编码单元620c的左上样点630c相对于上方编码单元620a的左上样点630a的位置的相对位置的坐标(dxc,dyc)。此外,通过使用编码单元中包括的样点的坐标作为指示样点的位置的信息来确定预定位置处的编码单元的方法不限于上述方法,并且可包括能够使用样点的坐标的各种算术方法。
根据实施例,图像解码设备100可将当前编码单元600划分为多个编码单元620a、620b和620c,并且可基于预定标准选择编码单元620a、620b和620c中的一个编码单元。例如,图像解码设备100可从编码单元620a、620b和620c中选择具有与其他编码单元的尺寸不同的尺寸的编码单元620b。
根据实施例,图像解码设备100可通过使用指示上方编码单元620a的左上样点630a的位置的坐标(xa,ya)、指示中间编码单元620b的左上样点630b的位置的坐标(xb,yb)以及指示下方编码单元620c的左上样点630c的位置的坐标(xc,yc)来确定编码单元620a、620b和620c的宽度或高度。图像解码设备100可通过使用指示编码单元620a、620b和620c的位置的坐标(xa,ya)、(xb,yb)和(xc,yc)来确定编码单元620a、620b和620c的尺寸。根据实施例,图像解码设备100可将上方编码单元620a的宽度确定为当前编码单元600的宽度。图像解码设备100可将上方编码单元620a的高度确定为yb-ya。根据实施例,图像解码设备100可将中间编码单元620b的宽度确定为当前编码单元600的宽度。图像解码设备100可将中间编码单元620b的高度确定为yc-yb。根据实施例,图像解码设备100可通过使用当前编码单元600的宽度或高度以及上方编码单元620a和中间编码单元620b的宽度或高度来确定下方编码单元620c的宽度或高度。图像解码设备100可基于所确定的编码单元620a至620c的宽度和高度来确定具有与其他编码单元的尺寸不同的尺寸的编码单元。参照图6,图像解码设备100可将具有与上方编码单元620a和下方编码单元620c的尺寸不同的尺寸的中间编码单元620b确定为预定位置的编码单元。然而,由图像解码设备100执行的确定具有与其他编码单元的尺寸不同的尺寸的编码单元的上述方法仅与通过使用基于样点的坐标确定的编码单元的尺寸来确定预定位置处的编码单元的示例对应,因此通过比较基于预定样点的坐标确定的编码单元的尺寸来确定预定位置处的编码单元的各种方法可被使用。
图像解码设备100可通过使用作为指示左侧编码单元660a的左上样点670a的位置的信息的坐标(xd,yd)、作为指示中间编码单元660b的左上样点670b的位置的信息的坐标(xe,ye)以及作为指示右侧编码单元660c的左上样点670c的位置的信息的坐标(xf,yf)来确定编码单元660a、660b和660c中的每一个的宽度或高度。图像解码设备100可通过使用指示编码单元660a、660b和660c的位置的坐标(xd,yd)、(xe,ye)和(xf,yf)来确定编码单元660a、660b和660c的尺寸。
根据实施例,图像解码设备100可将左侧编码单元660a的宽度确定为xe-xd。图像解码设备100可将左侧编码单元660a的高度确定为当前编码单元650的高度。根据实施例,图像解码设备100可将中间编码单元660b的宽度确定为xf-xe。图像解码设备100可将中间编码单元660b的高度确定为当前编码单元600的高度。根据实施例,图像解码设备100可通过使用当前编码单元650的宽度或高度以及左侧编码单元660a和中间编码单元660b的宽度和高度来确定右侧编码单元660c的宽度或高度。图像解码设备100可基于所确定的编码单元660a、660b和660c的宽度和高度来确定尺寸与其他编码单元的尺寸不同的编码单元。参照图6,图像解码设备100可将具有与左侧编码单元660a和右侧编码单元660c的尺寸不同的尺寸的中间编码单元660b确定为预定位置的编码单元。然而,由图像解码设备100执行的确定具有与其他编码单元的尺寸不同的尺寸的编码单元的上述方法仅与通过使用基于样点的坐标确定的编码单元的尺寸来确定预定位置处的编码单元的示例对应,因此通过比较基于预定样点的坐标确定的编码单元的尺寸来确定预定位置处的编码单元的各种方法可被使用。
然而,为确定编码单元的位置而考虑的样点的位置不限于上述左上方位置,并且关于被包括在编码单元中的样点的任意位置的信息可被使用。
根据实施例,图像解码设备100可考虑当前编码单元的形状,从通过划分当前编码单元确定的奇数个编码单元中选择预定位置处的编码单元。例如,当当前编码单元具有宽度大于高度的非正方形形状时,图像解码设备100可确定水平方向上的预定位置处的编码单元。即,图像解码设备100可确定水平方向上的不同位置处的编码单元中的一个编码单元并对该编码单元施加限制。当当前编码单元具有高度大于宽度的非正方形形状时,图像解码设备100可确定垂直方向上的预定位置处的编码单元。即,图像解码设备100可确定垂直方向上的不同位置处的编码单元中的一个编码单元并且可对该编码单元施加限制。
根据实施例,图像解码设备100可使用指示偶数个编码单元的各个位置的信息以确定偶数个编码单元中的预定位置处的编码单元。图像解码设备100可通过对当前编码单元进行划分(二划分)来确定偶数个编码单元,并可通过使用关于所述偶数个编码单元的位置的信息来确定预定位置处的编码单元。与其相关的操作可与上面参照图6已经详细描述的确定奇数个编码单元中的预定位置(例如,中心位置)处的编码单元的操作对应,因此这里不提供其详细描述。
根据实施例,当非正方形的当前编码单元被划分为多个编码单元时,可在划分操作中使用关于预定位置处的编码单元的预定信息以确定所述多个编码单元中的预定位置处的编码单元。例如,图像解码设备100可在划分操作中使用中心位置处的编码单元中所包括的样点中存储的块形状信息和划分形状模式信息中的至少一个以确定通过划分当前编码单元而确定的多个编码单元中的中心位置处的编码单元。
参照图6,图像解码设备100可基于块形状信息和划分形状模式信息中的至少一个将当前编码单元600划分为多个编码单元620a、620b和620c,并且可确定多个编码单元620a、620b和620c中的中心位置处的编码单元620b。此外,图像解码设备100可考虑获得块形状信息和划分形状模式信息中的至少一个的位置来确定中心位置处的编码单元620b。即,可从当前编码单元600的中心位置处的样点640获得当前编码单元600的块形状信息和划分形状模式信息中的至少一个,并且当基于块形状信息和划分形状模式信息中的至少一个将当前编码单元600划分为多个编码单元620a、620b和620c时,可将包括样点640的编码单元620b确定为中心位置处的编码单元。然而,用于确定中心位置处的编码单元的信息不限于块形状信息和划分形状模式信息中的至少一个,并且各种类型的信息可被用于确定中心位置处的编码单元。
根据实施例,可从被包括在将被确定的编码单元中的预定样点获得用于识别预定位置处的编码单元的预定信息。参照图6,图像解码设备100可使用从当前编码单元600中的预定位置处的样点(例如,当前编码单元600的中心位置处的样点)获得的块形状信息和划分形状模式信息中的至少一个来确定通过划分当前编码单元600所确定的多个编码单元620a、620b和620c中的预定位置处的编码单元(例如,多个划分出的编码单元中的中心位置处的编码单元)。即,图像解码设备100可通过考虑当前编码单元600的块形状来确定预定位置处的样点,可从通过划分当前编码单元600所确定的多个编码单元620a、620b和620c中确定包括可获得预定信息(例如,块形状信息和划分形状模式信息中的至少一个)的样点的编码单元620b,并且可对编码单元620b施加预定限制。参照图6,根据实施例,图像解码设备100可将当前编码单元600的中心位置处的样点640确定为可获得预定信息的样点,并且可在解码操作中对包括样点640的编码单元620b施加预定限制。然而,可获得预定信息的样点的位置不限于上述位置,并且可包括编码单元620b中所包括的将被确定用于限制的样点的任意位置。
根据实施例,可基于当前编码单元600的形状来确定可获得预定信息的样点的位置。根据实施例,块形状信息可指示当前编码单元具有正方形形状还是非正方形形状,并且可基于所述形状来确定可获得预定信息的样点的位置。例如,图像解码设备100可通过使用关于当前编码单元的宽度的信息和关于当前编码单元的高度的信息中的至少一个,将位于用于将当前编码单元的宽度和高度中的至少一个对半划分的边界上的样点确定为可获得预定信息的样点。作为另一示例,当当前编码单元的块形状信息指示非正方形形状时,图像解码设备100可将与用于将当前编码单元的长边对半划分的边界相邻的样点中的一个样点确定为可获得预定信息的样点。
根据实施例,当当前编码单元被划分为多个编码单元时,图像解码设备100可使用块形状信息和划分形状模式信息中的至少一个来确定多个编码单元中的预定位置处的编码单元。根据实施例,图像解码设备100可从编码单元中的预定位置处的样点获得块形状信息和划分形状模式信息中的至少一个,并且可通过使用从通过划分当前编码单元而产生的多个编码单元中的每个编码单元中的预定位置的样点获得的块形状信息和划分形状模式信息中的至少一个来对通过划分当前编码单元而产生的多个编码单元进行划分。即,可基于从每个编码单元中的预定位置处的样点获得的块形状信息和划分形状模式信息中的至少一个来递归地划分编码单元。上面已经参照图5描述了递归地划分编码单元的操作,因此这里将不提供其详细描述。
根据实施例,图像解码设备100可通过划分当前编码单元来确定一个或更多个编码单元,并且可基于预定块(例如,当前编码单元)来确定对所述一个或更多个编码单元进行解码的顺序。
图7示出根据实施例的当图像解码设备100通过划分当前编码单元来确定多个编码单元时处理多个编码单元的顺序。
根据实施例,图像解码设备100可基于块形状信息和划分形状模式信息,通过在垂直方向上划分第一编码单元700来确定第二编码单元710a和710b,通过在水平方向上划分第一编码单元700来确定第二编码单元730a和730b,或者通过在垂直方向和水平方向上划分第一编码单元700来确定第二编码单元750a至750d。
参照图7,图像解码设备100可确定按照水平方向顺序710c对通过在垂直方向上划分第一编码单元700而确定的第二编码单元710a和710b进行处理。图像解码设备100可确定按照垂直方向顺序730c对通过在水平方向上划分第一编码单元700而确定的第二编码单元730a和730b进行处理。图像解码设备100可确定按照预定顺序(例如,按照光栅扫描顺序或Z字形扫描顺序750e)对通过在垂直方向和水平方向上划分第一编码单元700而确定的第二编码单元750a至750d进行处理,其中,所述预定顺序用于对一行中的编码单元进行处理然后对下一行中的编码单元进行处理。
根据实施例,图像解码设备100可递归地划分编码单元。参照图7,图像解码设备100可通过划分第一编码单元700来确定多个第二编码单元710a、710b、730a、730b、750a、750b、750c和750d,并且可递归地划分确定的多个第二编码单元710a、710b、730a、730b、750a、750b、750c和750d中的每个编码单元。多个第二编码单元710a、710b、730a、730b、750a、750b、750c和750d的划分方法可对应于第一编码单元700的划分方法。这样,多个第二编码单元710a、710b、730a、730b、750a、750b、750c和750d中的每个编码单元可被独立地划分为多个编码单元。参照图7,图像解码设备100可通过在垂直方向上划分第一编码单元700来确定第二编码单元710a和710b,并可确定独立地划分或不划分第二编码单元710a和710b中的每个。
根据实施例,图像解码设备100可通过在水平方向上对左侧第二编码单元710a进行划分来确定第三编码单元720a和720b,并且可不对右侧第二编码单元710b进行划分。
根据实施例,可基于划分编码单元的操作来确定编码单元的处理顺序。换句话说,可基于紧接在被划分之前的编码单元的处理顺序来确定划分出的编码单元的处理顺序。图像解码设备100可独立于右侧第二编码单元710b来确定通过划分左侧第二编码单元710a确定的第三编码单元720a和720b的处理顺序。因为通过在水平方向上划分左侧第二编码单元710a来确定第三编码单元720a和720b,所以第三编码单元720a和720b可按照垂直方向顺序720c被处理。因为左侧第二编码单元710a和右侧第二编码单元710b按照水平方向顺序710c被处理,所以可在按照垂直方向顺序720c对左侧第二编码单元710a中包括的第三编码单元720a和720b进行处理之后,对右侧第二编码单元710b进行处理。基于被划分之前的编码单元来确定编码单元的处理顺序的操作不限于上述示例,并且可使用各种方法按照预定顺序独立地处理被划分并被确定为各种形状的编码单元。
图8示出根据实施例的由图像解码设备100执行的当不能按照预定顺序处理编码单元时确定当前编码单元将被划分为奇数个编码单元的处理。
根据实施例,图像解码设备100可基于获得的块形状信息和划分形状模式信息来确定当前编码单元是否被划分为奇数个编码单元。参照图8,正方形的第一编码单元800可被划分为非正方形的第二编码单元810a和810b,并且第二编码单元810a和810b可被独立地划分为第三编码单元820a和820b以及第三编码单元820c至820e。根据实施例,图像解码设备100可通过在水平方向上划分左侧第二编码单元810a来确定多个第三编码单元820a和820b,并且可将右侧第二编码单元810b划分为奇数个第三编码单元820c至820e。
根据实施例,图像解码设备100可通过确定第三编码单元820a和820b以及第三编码单元820c至820e是否可按照预定顺序进行处理来确定是否将任意编码单元划分为奇数个编码单元。参照图8,图像解码设备100可通过递归地划分第一编码单元800来确定第三编码单元820a和820b以及第三编码单元820c至820e。图像解码设备100可基于块形状信息和划分形状模式信息中的至少一个来确定第一编码单元800、第二编码单元810a和810b以及第三编码单元820a和820b及第三编码单元820c、820d和820e中的任意一个是否被划分为奇数个编码单元。例如,右侧第二编码单元810b可被划分为奇数个第三编码单元820c、820d和820e。被包括在第一编码单元800中的多个编码单元的处理顺序可以是预定顺序(例如,Z字形扫描顺序830),并且图像解码设备100可决定通过将右侧第二编码单元810b划分为奇数个编码单元而确定的第三编码单元820c、820d和820e是否满足按照预定顺序进行处理的条件。
根据实施例,图像解码设备100可确定被包括在第一编码单元800中的第三编码单元820a和820b以及第三编码单元820c、820d和820e是否满足按照预定顺序进行处理的条件,并且该条件与第二编码单元810a和810b的宽度和高度中的至少一个是否沿着第三编码单元820a和820b以及第三编码单元820c、820d和820e的边界被对半划分有关。例如,通过将非正方形的左侧第二编码单元810a的高度对半划分所确定的第三编码单元820a和820b满足条件。然而,因为通过将右侧第二编码单元810b划分为三个编码单元而确定的第三编码单元820c、820d和820e的边界没有将右侧第二编码单元810b的宽度或高度对半划分,所以可确定第三编码单元820c、820d和820e不满足条件。当如上所述不满足条件时,图像解码设备100可确定扫描顺序不连续,并基于确定的结果来确定右侧第二编码单元810b被划分为奇数个编码单元。根据实施例,当编码单元被划分为奇数个编码单元时,图像解码设备100可对划分出的编码单元中的预定位置处的编码单元施加预定限制,并且上面已经通过各种实施例描述了所述限制或预定位置,因此这里将不提供其详细描述。
图9示出根据实施例的由图像解码设备100执行的通过划分第一编码单元900来确定至少一个编码单元的处理。
根据实施例,图像解码设备100可基于由比特流获得器110获得的块形状信息和划分形状模式信息中的至少一个来划分第一编码单元900。正方形的第一编码单元900可被划分为四个正方形的编码单元,或者可被划分为多个非正方形的编码单元。例如,参照图9,当块形状信息指示第一编码单元900具有正方形形状并且划分形状模式信息指示将第一编码单元900划分为非正方形的编码单元时,图像解码设备100可将第一编码单元900划分为多个非正方形的编码单元。详细地,当划分形状模式信息指示通过在水平方向或垂直方向上划分第一编码单元900来确定奇数个编码单元时,图像解码设备100可将正方形的第一编码单元900划分为奇数个编码单元,例如,通过在垂直方向上划分正方形的第一编码单元900所确定的第二编码单元910a、910b和910c或通过在水平方向上划分正方形的第一编码单元900所确定的第二编码单元920a、920b和920c。
根据实施例,图像解码设备100可确定被包括在第一编码单元900中的第二编码单元910a、910b、910c、920a、920b和920c是否满足按照预定顺序进行处理的条件,并且所述条件与第一编码单元900的宽度和高度中的至少一个是否沿着第二编码单元910a、910b、910c、920a、920b和920c的边界被对半划分有关。参照图9,因为通过在垂直方向上划分正方形的第一编码单元900而确定的第二编码单元910a、910b和910c的边界没有将第一编码单元900的宽度对半划分,所以可确定第一编码单元900不满足按照预定顺序处理的条件。另外,因为通过在水平方向上划分正方形的第一编码单元900而确定的第二编码单元920a、920b和920c的边界没有将第一编码单元900的高度对半划分,所以可确定第一编码单元900不满足按照预定顺序处理的条件。当如上所述不满足条件时,图像解码设备100可决定扫描顺序不连续,并可基于决定的结果确定第一编码单元900被划分为奇数个编码单元。根据实施例,当编码单元被划分为奇数个编码单元时,图像解码设备100可对划分出的编码单元中的预定位置处的编码单元施加预定限制,并且上面已经通过各种实施例描述了所述限制或预定位置,因此这里将不提供其详细描述。
根据实施例,图像解码设备100可通过划分第一编码单元来确定各种形状的编码单元。
参照图9,图像解码设备100可将正方形的第一编码单元900或非正方形的第一编码单元930或950划分为各种形状的编码单元。
图10示出根据实施例的当通过划分第一编码单元1000所确定的具有非正方形形状的第二编码单元满足预定条件时,第二编码单元可被图像解码设备100划分为的形状受到限制。
根据实施例,图像解码设备100可基于由比特流获得器110获得的块形状信息和划分形状模式信息中的至少一个来确定将正方形的第一编码单元1000划分为非正方形的第二编码单元1010a、1010b、1020a和1020b。第二编码单元1010a、1010b、1020a和1020b可被独立地划分。因此,图像解码设备100可基于第二编码单元1010a、1010b、1020a和1020b中的每一个的块形状信息和划分形状模式信息中的至少一个来确定将第一编码单元1000划分为多个编码单元或不划分第一编码单元1000。根据实施例,图像解码设备100可通过在水平方向上对通过在垂直方向上划分第一编码单元1000而确定的非正方形的左侧第二编码单元1010a进行划分来确定第三编码单元1012a和1012b。然而,当左侧第二编码单元1010a在水平方向上被划分时,图像解码设备100可将右侧第二编码单元1010b限制为不在左侧第二编码单元1010a被划分的水平方向上被划分。当通过在相同方向上划分右侧第二编码单元1010b来确定第三编码单元1014a和1014b时,因为在水平方向上独立地划分左侧第二编码单元1010a和右侧第二编码单元1010b,所以可确定第三编码单元1012a、1012b、1014a和1014b。然而,这种情况与图像解码设备100基于块形状信息和划分形状模式信息中的至少一个将第一编码单元1000划分为四个正方形的第二编码单元1030a、1030b、1030c和1030d的情况等同,并且在图像解码方面可能是低效的。
根据实施例,图像解码设备100可通过在垂直方向上对通过在水平方向上划分第一编码单元1000而确定的非正方形的第二编码单元1020a或1020b进行划分来确定第三编码单元1022a、1022b、1024a和1024b。然而,当第二编码单元(例如,上方第二编码单元1020a)在垂直方向上被划分时,由于上述原因,图像解码设备100可将另一第二编码单元(例如,下方第二编码单元1020b)限制为不在上方第二编码单元1020a被划分的垂直方向上被划分。
图11示出根据实施例的由图像解码设备100执行的当划分形状模式信息指示正方形的编码单元将不被划分为四个正方形的编码单元时对正方形的编码单元进行划分的处理。
根据实施例,图像解码设备100可通过基于块形状信息和划分形状模式信息中的至少一个划分第一编码单元1100来确定第二编码单元1110a、1110b、1120a、1120b等。划分形状模式信息可包括关于划分编码单元的各种方法的信息,但是关于各种划分方法的信息可不包括用于将编码单元划分为四个正方形的编码单元的信息。根据这样的划分形状模式信息,图像解码设备100可不将正方形的第一编码单元1100划分为四个正方形的第二编码单元1130a、1130b、1130c和1130d。图像解码设备100可基于划分形状模式信息来确定非正方形的第二编码单元1110a、1110b、1120a、1120b等。
根据实施例,图像解码设备100可独立地对非正方形的第二编码单元1110a、1110b、1120a、1120b等进行划分。第二编码单元1110a、1110b、1120a、1120b等中的每个可按照预定顺序被递归地划分,并且这种划分方法可对应于基于块形状信息和划分形状模式信息中的至少一个来划分第一编码单元1100的方法。
例如,图像解码设备100可通过在水平方向上划分左侧第二编码单元1110a来确定正方形的第三编码单元1112a和1112b,并且可通过在水平方向上划分右侧第二编码单元1110b来确定正方形的第三编码单元1114a和1114b。此外,图像解码设备100可通过在水平方向上划分左侧第二编码单元1110a和右侧第二编码单元1110b两者来确定正方形的第三编码单元1116a、1116b、1116c和1116d。在这种情况下,可确定具有与从第一编码单元1100划分出的四个正方形的第二编码单元1130a、1130b、1130c和1130d相同形状的编码单元。
作为另一示例,图像解码设备100可通过在垂直方向上划分上方第二编码单元1120a来确定正方形的第三编码单元1122a和1122b,并且可通过在垂直方向上划分下方第二编码单元1120b来确定正方形的第三编码单元1124a和1124b。此外,图像解码设备100可通过在垂直方向上划分上方第二编码单元1120a和下方第二编码单元1120b两者来确定正方形的第三编码单元1126a、1126b、1126c和1126d。在这种情况下,可确定具有与从第一编码单元1100划分的四个正方形的第二编码单元1130a、1130b、1130c和1130d相同形状的编码单元。
图12示出根据实施例的可依据划分编码单元的处理改变多个编码单元之间的处理顺序。
根据实施例,图像解码设备100可基于块形状信息和划分形状模式信息划分第一编码单元1200。当块形状信息指示正方形形状并且划分形状模式信息指示在水平方向和垂直方向中的至少一个方向上划分第一编码单元1200时,图像解码设备100可通过划分第一编码单元1200来确定第二编码单元1210a、1210b、1220a、1220b等。参照图12,通过仅在水平方向或垂直方向上划分第一编码单元1200所确定的非正方形的第二编码单元1210a、1210b、1220a和1220b可基于每个编码单元的块形状信息和划分形状模式信息被独立地划分。例如,图像解码设备100可通过在水平方向上对通过在垂直方向上划分第一编码单元1200而产生的第二编码单元1210a和1210b进行划分来确定第三编码单元1216a、1216b、1216c和1216d,并且可通过在垂直方向上对通过在水平方向上划分第一编码单元1200而产生的第二编码单元1220a和1220b进行划分来确定第三编码单元1226a、1226b、1226c和1226d。上面已经参照图11描述了划分第二编码单元1210a、1210b、1220a和1220b的操作,因此这里将不提供其详细描述。
根据实施例,图像解码设备100可按照预定顺序处理编码单元。上面已经参照图7描述了按照预定顺序处理编码单元的操作,因此这里将不提供其详细描述。参照图12,图像解码设备100可通过划分正方形的第一编码单元1200来确定四个正方形的第三编码单元1216a、1216b、1216c和1216d以及第三编码单元1226a、1226b、1226c和1226d。根据实施例,图像解码设备100可基于第一编码单元1200的划分方法来确定第三编码单元1216a、1216b、1216c和1216d以及第三编码单元1226a、1226b、1226c和1226d的处理顺序。
根据实施例,图像解码设备100可通过在水平方向上对通过在垂直方向上划分第一编码单元1200所产生的第二编码单元1210a和1210b进行划分来确定第三编码单元1216a、1216b、1216c和1216d,并且可按照处理顺序1217来处理第三编码单元1216a、1216b、1216c和1216d,其中,所述处理顺序1217为:首先在垂直方向上对左侧第二编码单元1210a中包括的第三编码单元1216a和1216c进行处理,然后在垂直方向上对右侧第二编码单元1210b中包括的第三编码单元1216b和1216d进行处理。
根据实施例,图像解码设备100可通过在垂直方向上对通过在水平方向上划分第一编码单元1200所产生的第二编码单元1220a和1220b进行划分来确定第三编码单元1226a、1226b、1226c和1226d,并且可按照处理顺序1227来处理第三编码单元1226a、1226b、1226c和1226d,其中,所述处理顺序1227为:首先在水平方向上对上方第二编码单元1220a中包括的第三编码单元1226a和1226b进行处理,然后在水平方向上对下方第二编码单元1220b中包括的第三编码单元1226c和1226d进行处理。
参照图12,可通过分别划分第二编码单元1210a、1210b、1220a和1220b来确定正方形的第三编码单元1216a、1216b、1216c和1216d以及第三编码单元1226a、1226b、1226c和1226d。尽管通过在垂直方向上划分第一编码单元1200所确定的第二编码单元1210a和1210b与通过在水平方向上划分第一编码单元1200所确定的第二编码单元1220a和1220b不同,但是从第二编码单元1210a和1210b以及第二编码单元1220a和1220b划分出的第三编码单元1216a、1216b、1216c和1216d以及第三编码单元1226a、1226b、1226c和1226d最终示出从第一编码单元1200划分出的相同形状的编码单元。这样,通过基于块形状信息和划分形状模式信息中的至少一个以不同的方式递归地划分编码单元,即使编码单元最终被确定为相同形状,图像解码设备100也可按照不同的顺序处理多个编码单元。
图13示出根据实施例的当递归地划分编码单元使得多个编码单元被确定时,随着编码单元的形状和尺寸改变而确定编码单元的深度的处理。
根据实施例,图像解码设备100可基于预定标准来确定编码单元的深度。例如,所述预定标准可以是编码单元的长边的长度。当被划分之前的编码单元的长边的长度是划分出的当前编码单元的长边的长度的2n倍(n>0)时,图像解码设备100可确定当前编码单元的深度从被划分之前的编码单元的深度增加n。在以下描述中,具有增加的深度的编码单元被表示为深度更深的编码单元。
参照图13,根据实施例,图像解码设备100可通过基于指示正方形形状的块形状信息(例如,块形状信息可被表示为“0:SQUARE”)划分正方形的第一编码单元1300来确定深度更深的第二编码单元1302、第三编码单元1304等。假设正方形的第一编码单元1300的尺寸是2N×2N,通过将第一编码单元1300的宽度和高度划分至1/2而确定的第二编码单元1302可具有N×N的尺寸。此外,通过将第二编码单元1302的宽度和高度划分至1/2而确定的第三编码单元1304可具有N/2×N/2的尺寸。在这种情况下,第三编码单元1304的宽度和高度是第一编码单元1300的宽度和高度的1/4倍。当第一编码单元1300的深度为D时,宽度和高度是第一编码单元1300的宽度和高度的1/2倍的第二编码单元1302的深度可以是D+1,并且宽度和高度是第一编码单元1300的宽度和高度的1/4倍的第三编码单元1304的深度可以是D+2。
根据实施例,图像解码设备100可通过基于指示非正方形形状的块形状信息(例如,块形状信息可被表示为指示高度大于宽度的非正方形形状的“1:NS_VER”,或表示为指示宽度大于高度的非正方形形状的“2:NS_HOR”)划分非正方形的第一编码单元1310或1320来确定深度更深的第二编码单元1312或1322、第三编码单元1314或1324等。
图像解码设备100可通过划分尺寸为N×2N的第一编码单元1310的宽度和高度中的至少一个来确定第二编码单元1302、1312或1322。即,图像解码设备100可通过在水平方向上划分第一编码单元1310来确定尺寸为N×N的第二编码单元1302或尺寸为N×N/2的第二编码单元1322,或者可通过在水平方向和垂直方向上划分第一编码单元1310来确定尺寸为N/2×N的第二编码单元1312。
根据实施例,图像解码设备100可通过划分尺寸为2N×N的第一编码单元1320的宽度和高度中的至少一个来确定第二编码单元1302、1312或1322。即,图像解码设备100可通过在垂直方向上划分第一编码单元1320来确定尺寸为N×N的第二编码单元1302或尺寸为N/2×N的第二编码单元1312,或者可通过在水平方向和垂直方向上划分第一编码单元1320来确定尺寸为N×N/2的第二编码单元1322。
根据实施例,图像解码设备100可通过划分尺寸为N×N的第二编码单元1302的宽度和高度中的至少一个来确定第三编码单元1304、1314或1324。即,图像解码设备100可通过在垂直方向和水平方向上划分第二编码单元1302来确定尺寸为N/2×N/2的第三编码单元1304、尺寸为N/4×N/2的第三编码单元1314或尺寸为N/2×N/4的第三编码单元1324。
根据实施例,图像解码设备100可通过划分尺寸为N/2×N的第二编码单元1312的宽度和高度中的至少一个来确定第三编码单元1304、1314或1324。即,图像解码设备100可通过在水平方向上划分第二编码单元1312来确定尺寸为N/2×N/2的第三编码单元1304或尺寸为N/2×N/4的第三编码单元1324,或者可通过在垂直方向和水平方向上划分第二编码单元1312来确定尺寸为N/4×N/2的第三编码单元1314。
根据实施例,图像解码设备100可通过划分尺寸为N×N/2的第二编码单元1322的宽度和高度中的至少一个来确定第三编码单元1304、1314或1324。即,图像解码设备100可通过在垂直方向上划分第二编码单元1322来确定尺寸为N/2×N/2的第三编码单元1304或尺寸为N/4×N/2的第三编码单元1314,或者可通过在垂直方向和水平方向上划分第二编码单元1322来确定尺寸为N/2×N/4的第三编码单元1324。
根据实施例,图像解码设备100可在水平方向或垂直方向上划分正方形的编码单元1300、1302或1304。例如,图像解码设备100可通过在垂直方向上划分尺寸为2N×2N的第一编码单元1300来确定尺寸为N×2N的第一编码单元1310,或者可通过在水平方向上划分第一编码单元1300来确定尺寸为2N×N的第一编码单元1320。根据实施例,当基于编码单元的最长边的长度来确定深度时,通过在水平方向或垂直方向上划分尺寸为2N×2N的第一编码单元1300而确定的编码单元的深度可与第一编码单元1300的深度相同。
根据实施例,第三编码单元1314或1324的宽度和高度可以是第一编码单元1310或1320的宽度和高度的1/4倍。当第一编码单元1310或1320的深度为D时,宽度和高度是第一编码单元1310或1320的宽度和高度的1/2倍的第二编码单元1312或1322的深度可以是D+1,宽度和高度是第一编码单元1310或1320的宽度和高度的1/4倍的第三编码单元1314或1324的深度可以是D+2。
图14示出根据实施例的基于编码单元的形状和尺寸可确定的深度以及用于区分编码单元的部分索引。
根据实施例,图像解码设备100可通过划分正方形的第一编码单元1400来确定各种形状的第二编码单元。参照图14,图像解码设备100可通过基于划分形状模式信息在垂直方向和水平方向中的至少一个方向上划分第一编码单元1400来确定第二编码单元1402a和1402b、第二编码单元1404a和1404b以及第二编码单元1406a、1406b、1406c和1406d。即,图像解码设备100可基于第一编码单元1400的划分形状模式信息来确定第二编码单元1402a和1402b、第二编码单元1404a和1404b以及第二编码单元1406a、1406b、1406c和1406d。
根据实施例,基于正方形的第一编码单元1400的划分形状模式信息确定的第二编码单元1402a和1402b、第二编码单元1404a和1404b以及第二编码单元1406a、1406b、1406c和1406d的深度可基于其长边的长度被确定。例如,因为正方形的第一编码单元1400的边长等于非正方形的第二编码单元1402a和1402b以及第二编码单元1404a和1404b的长边的长度,所以第一编码单元1400和非正方形的第二编码单元1402a和1402b以及第二编码单元1404a和1404b可具有相同深度,例如,D。然而,当图像解码设备100基于划分形状模式信息将第一编码单元1400划分为四个正方形的第二编码单元1406a、1406b、1406c和1406d时,因为正方形的第二编码单元1406a、1406b、1406c和1406d的边长是第一编码单元1400的边长的1/2倍,所以第二编码单元1406a、1406b、1406c和1406d的深度可以是比第一编码单元1400的深度D深1的D+1。
根据实施例,图像解码设备100可通过基于划分形状模式信息在水平方向上划分高度大于宽度的第一编码单元1410来确定多个第二编码单元1412a和1412b以及第二编码单元1414a、1414b和1414c。根据实施例,图像解码设备100可通过基于划分形状模式信息在垂直方向上划分宽度大于高度的第一编码单元1420来确定多个第二编码单元1422a和1422b以及第二编码单元1424a、1424b和1424c。
根据实施例,基于非正方形的第一编码单元1410或1420的划分形状模式信息确定的第二编码单元1412a和1412b、1414a、1414b和1414c、1422a和1422b以及1424a、1424b和1424c的深度可基于其长边的长度来确定。例如,因为正方形的第二编码单元1412a和1412b的边的长度是具有高度大于宽度的非正方形形状的第一编码单元1410的长边的长度的1/2倍,所以正方形的第二编码单元1412a和1412b的深度是比非正方形的第一编码单元1410的深度D深1的D+1。
此外,图像解码设备100可基于划分形状模式信息将非正方形的第一编码单元1410划分为奇数个第二编码单元1414a、1414b和1414c。奇数个第二编码单元1414a、1414b和1414c可包括非正方形的第二编码单元1414a和1414c以及正方形的第二编码单元1414b。在这种情况下,因为非正方形的第二编码单元1414a和1414c的长边的长度以及正方形的第二编码单元1414b的边的长度是第一编码单元1410的长边的长度的1/2倍,所以第二编码单元1414a、1414b和1414c的深度可以是比非正方形的第一编码单元1410的深度D深1的D+1。图像解码设备100可通过使用上述确定从第一编码单元1410划分出的编码单元的深度的方法,确定从具有宽度大于高度的非正方形形状的第一编码单元1420划分出的编码单元的深度。
根据实施例,当划分出的奇数个编码单元不具有相等尺寸时,图像解码设备100可基于编码单元之间的尺寸比例来确定用于识别划分出的编码单元的PID。参照图14,划分出的奇数个编码单元1414a、1414b和1414c中的中心位置的编码单元1414b可具有与其他编码单元1414a和1414c的宽度相等的宽度并具有其他编码单元1414a和1414c的高度的两倍的高度。即,在这种情况下,中心位置处的编码单元1414b可包括两个其他编码单元1414a或1414c。因此,当基于扫描顺序在中心位置处的编码单元1414b的PID为1时,位于编码单元1414b的下一个的编码单元1414c的PID可增加2并且因此可以是3。即,PID值可能存在不连续性。根据实施例,图像解码设备100可基于用于识别划分出的编码单元的PID是否存在不连续性来确定划分出的奇数个编码单元是否不具有相等的尺寸。
根据实施例,图像解码设备100可基于用于识别通过划分当前编码单元而确定的多个编码单元的PID值来确定是否使用特定划分方法。参照图14,图像解码设备100可通过对具有高度大于宽度的长方形形状的第一编码单元1410进行划分来确定偶数个编码单元1412a和1412b或奇数个编码单元1414a、1414b和1414c。图像解码设备100可使用PID来识别各个编码单元。根据实施例,可从每个编码单元的预定位置的样点(例如,左上方样点)获得PID。
根据实施例,图像解码设备100可通过使用用于区分编码单元的PID来确定划分出的编码单元中的预定位置处的编码单元。根据实施例,当具有高度大于宽度的长方形形状的第一编码单元1410的划分形状模式信息指示将编码单元划分为三个编码单元时,图像解码设备100可将第一编码单元1410划分为三个编码单元1414a、1414b和1414c。图像解码设备100可将PID分配给三个编码单元1414a、1414b和1414c中的每个编码单元。图像解码设备100可比较奇数个划分出的编码单元的PID,以确定这些编码单元中的中心位置处的编码单元。图像解码设备100可将具有这些编码单元的PID中的与中间的值对应的PID的编码单元1414b确定为通过划分第一编码单元1410所确定的编码单元之中的中心位置处的编码单元。根据实施例,当划分出的编码单元不具有相等尺寸时,图像解码设备100可基于编码单元之间的尺寸比例确定用于区分划分出的编码单元的PID。参照图14,通过划分第一编码单元1410产生的编码单元1414b的宽度可与其他编码单元1414a和1414c的宽度相等,并且高度可以是其他编码单元1414a和1414c的高度的两倍。在这种情况下,当中心位置处的编码单元1414b的PID是1时,位于编码单元1414b的下一个的编码单元1414c的PID可增加2并且因此可以是3。当如上所述PID没有均匀地增加时,图像解码设备100可确定将编码单元划分为多个编码单元,其中,所述多个编码单元包括具有与其他编码单元的尺寸不同的尺寸的编码单元。根据实施例,当划分形状模式信息指示将编码单元划分为奇数个编码单元时,图像解码设备100可按照奇数个编码单元中的预定位置的编码单元(例如,中心位置的编码单元)具有与其他编码单元的尺寸不同的尺寸的方式来划分当前编码单元。在这种情况下,图像解码设备100可通过使用编码单元的PID来确定具有不同尺寸的中心位置的编码单元。然而,将被确定的预定位置的编码单元的PID和尺寸或位置不限于上述示例,并且可使用编码单元的各种PID以及各种位置和尺寸。
根据实施例,图像解码设备100可使用预定数据单元,其中,在该预定数据单元中,编码单元开始被递归地划分。
图15示出根据实施例的基于被包括在画面中的多个预定数据单元来确定多个编码单元。
根据实施例,预定数据单元可被定义为通过使用块形状信息和划分形状模式信息中的至少一个来开始递归地划分编码单元的数据单元。即,预定数据单元可对应于用于确定从当前画面划分出的多个编码单元的最高深度的编码单元。在下面的描述中,为了便于解释,预定数据单元被称为参考数据单元。
根据实施例,参考数据单元可具有预定尺寸和预定形状。根据实施例,参考数据单元可包括M×N个样点。在本文中,M和N可彼此相等,并且可以是表示为2的幂的整数。也就是说,参考数据单元可具有正方形形状或非正方形形状,并且可被划分为整数个编码单元。
根据实施例,图像解码设备100可将当前画面划分为多个参考数据单元。根据实施例,图像解码设备100可通过使用每个参考数据单元的划分形状模式信息来划分从当前画面划分出的多个参考数据单元。划分参考数据单元的操作可与使用四叉树结构的划分操作对应。
根据实施例,图像解码设备100可预先确定针对被包括在当前画面中的参考数据单元所允许的最小尺寸。因此,图像解码设备100可确定具有等于或大于最小尺寸的尺寸的各种参考数据单元,并可参考确定的参考数据单元,通过使用划分形状模式信息和块形状信息来确定一个或更多个编码单元。
参照图15,图像解码设备100可使用正方形的参考编码单元1500或非正方形的参考编码单元1502。根据实施例,可基于能够包括一个或更多个参考编码单元的各种数据单元(例如,序列、画面、条带、条带片段、最大编码单元等)来确定参考编码单元的形状和尺寸。
根据实施例,图像解码设备100的比特流获得器110可从比特流获得关于各种数据单元中的每一个数据单元的参考编码单元形状信息和参考编码单元尺寸信息中的至少一个。上面已经关于图3的对当前编码单元300进行划分的操作描述了确定被包括在正方形的参考编码单元1500中的一个或更多个编码单元的操作,并且上面已经关于图4的对当前编码单元400或450进行划分的操作描述了确定被包括在非正方形的参考编码单元1502中的一个或更多个编码单元的操作,因此,这里将不提供其详细描述。
根据实施例,图像解码设备100可使用用于识别参考编码单元的尺寸和形状的PID,以根据先前基于预定条件确定的一些数据单元来确定参考编码单元的尺寸和形状。即,比特流获得器110可从比特流仅获得用于识别针对每个条带、条带片段或最大编码单元的参考编码单元的尺寸和形状的PID,其中,所述每个条带、条带片段或最大编码单元是各种数据单元(例如,序列、画面、条带、条带片段、最大编码单元等)中满足预定条件的数据单元(例如,具有等于或小于条带的尺寸的数据单元)。图像解码设备100可通过使用PID来确定针对满足预定条件的每个数据单元的参考数据单元的尺寸和形状。当根据具有相对较小尺寸的每个数据单元从比特流获得并使用参考编码单元形状信息和参考编码单元尺寸信息时,使用比特流的效率可能不高,因此,仅PID可被获得并使用,而不是直接获得参考编码单元形状信息和参考编码单元尺寸信息。在这种情况下,可预先确定与用于识别参考编码单元的尺寸和形状的PID对应的参考编码单元的尺寸和形状中的至少一个。即,图像解码设备100可通过基于PID选择预先确定的参考编码单元的尺寸和形状中的至少一个,确定被包括在用作用于获得PID的单元的数据单元中的参考编码单元的尺寸和形状中的至少一个。
根据实施例,图像解码设备100可使用被包括在最大编码单元中的一个或更多个参考编码单元。即,从图像划分出的最大编码单元可包括一个或更多个参考编码单元,并且可通过递归地划分每个参考编码单元来确定编码单元。根据实施例,最大编码单元的宽度和高度中的至少一个可以是参考编码单元的宽度和高度中的至少一个的整数倍。根据实施例,可通过基于四叉树结构将最大编码单元划分n次来获得参考编码单元的尺寸。即,根据各种实施例,图像解码设备100可基于四叉树结构通过将最大编码单元划分n次来确定参考编码单元,并且可基于块形状信息和划分形状模式信息中的至少一个来划分参考编码单元。
图16示出根据实施例的用作用于确定被包括在画面1600中的参考编码单元的确定顺序的单元的处理块。
根据实施例,图像解码设备100可确定从画面划分出的一个或更多个处理块。处理块是包括从图像划分出的一个或更多个参考编码单元的数据单元,并且可根据特定顺序来确定被包括在处理块中的一个或更多个参考编码单元。即,在每个处理块中确定的一个或更多个参考编码单元的确定顺序可与用于确定参考编码单元的各种类型的顺序中的一个顺序对应,并且可根据处理块变化。针对每个处理块确定的参考编码单元的确定顺序可以是各种顺序(例如,光栅扫描、Z字形扫描、N字形扫描、右上对角线扫描、水平扫描和垂直扫描)中的一个顺序,但不限于上述扫描顺序。
根据实施例,图像解码设备100可获得处理块尺寸信息,并且可确定图像中包括的一个或更多个处理块的尺寸。图像解码设备100可从比特流获得处理块尺寸信息,并且可确定图像中包括的一个或更多个处理块的尺寸。处理块的尺寸可以是由处理块尺寸信息指示的数据单元的预定尺寸。
根据实施例,图像解码设备100的比特流获得器110可根据每个特定数据单元从比特流获得处理块尺寸信息。例如,可按照数据单元(诸如图像、序列、画面、条带或条带片段)从比特流获得处理块尺寸信息。即,比特流获得器110可根据各种数据单元中的每个数据单元从比特流获得处理块尺寸信息,图像解码设备100可通过使用所获得的处理块尺寸信息来确定从画面划分出的一个或更多个处理块的尺寸,并且处理块的尺寸可以是参考编码单元的尺寸的整数倍。
根据实施例,图像解码设备100可确定被包括在画面1600中的处理块1602和1612的尺寸。例如,图像解码设备100可基于从比特流获得的处理块尺寸信息来确定处理块的尺寸。参照图16,根据实施例,图像解码设备100可将处理块1602和1612的宽度确定为参考编码单元的宽度的四倍,并可将处理块1602和1612的高度确定为参考编码单元的高度的四倍。图像解码设备100可确定一个或更多个处理块中的一个或更多个参考编码单元的确定顺序。
根据实施例,图像解码设备100可基于处理块的尺寸来确定被包括在画面1600中的处理块1602和1612,并可确定被包括在处理块1602和1612中的一个或更多个参考编码单元的确定顺序。根据实施例,确定参考编码单元的操作可包括确定参考编码单元的尺寸。
根据实施例,图像解码设备100可从比特流获得被包括在一个或更多个处理块中的一个或更多个参考编码单元的确定顺序信息,并可基于所获得的确定顺序信息来确定针对一个或更多个参考编码单元的确定顺序。确定顺序信息可被定义为用于确定处理块中的参考编码单元的顺序或方向。即,可针对每个处理块独立地确定参考编码单元的确定顺序。
根据实施例,图像解码设备100可根据每个特定数据单元从比特流获得参考编码单元的确定顺序信息。例如,比特流获得器110可根据每个数据单元(诸如图像、序列、画面、条带、条带片段或处理块)从比特流获得参考编码单元的确定顺序信息。因为参考编码单元的确定顺序信息指示用于确定处理块中的参考编码单元的顺序,所以可针对包括整数个处理块的每个特定数据单元来获得确定顺序信息。
根据实施例,图像解码设备100可基于所确定的确定顺序来确定一个或更多个参考编码单元。
根据实施例,比特流获得器110可从比特流获得参考编码单元的确定顺序信息作为与处理块1602和1612有关的信息,并且图像解码设备100可确定被包括在处理块1602和1612中的一个或更多个参考编码单元的确定顺序,并基于该确定顺序确定被包括在画面1600中的一个或更多个参考编码单元。参照图16,图像解码设备100可分别确定处理块1602和1612中的一个或更多个参考编码单元的确定顺序1604和1614。例如,当针对每个处理块获得参考编码单元的确定顺序信息时,可针对处理块1602和1612获得不同种类的参考编码单元的确定顺序信息。当处理块1602中的参考编码单元的确定顺序1604是光栅扫描顺序时,可根据光栅扫描顺序来确定处理块1602中包括的参考编码单元。相反,当另一处理块1612中的参考编码单元的确定顺序1614是后向光栅扫描顺序时,可根据后向光栅扫描顺序来确定被包括在处理块1612中的参考编码单元。
根据实施例,图像解码设备100可对确定的一个或更多个参考编码单元进行解码。图像解码设备100可基于如上所述确定的参考编码单元对图像进行解码。对参考编码单元进行解码的方法可包括各种图像解码方法。
根据实施例,图像解码设备100可从比特流获得指示当前编码单元的形状的块形状信息或指示当前编码单元的划分方法的划分形状模式信息,并且可使用所获得的信息。块形状信息或划分形状模式信息可被包括在与各种数据单元有关的比特流中。例如,图像解码设备100可使用被包括在序列参数集、画面参数集、视频参数集、条带头或条带片段头中的块形状信息或划分形状模式信息。此外,图像解码设备100可根据每个最大编码单元、每个参考编码单元或每个处理块从比特流获得与块形状信息或划分形状模式信息对应的语法元素,并且可使用所获得的语法元素。
图17示出根据实施例的当编码单元可划分为的形状的组合针对每个画面不同时每个画面可确定的编码单元。
参照图17,图像解码设备100可按照每个画面不同地确定编码单元可划分为的形状的组合。例如,图像解码设备100可通过使用被包括在图像中的一个或更多个画面中的可划分为4个编码单元的画面1700、可划分为2个或4个编码单元的画面1710以及可划分为2个、3个或4个编码单元的画面1720来对图像进行解码。为了将画面1700划分为多个编码单元,图像解码设备100可仅使用指示画面1700被划分为4个正方形的编码单元的划分形状信息。为了划分画面1710,图像解码设备100可仅使用指示画面1710被划分为2个或4个编码单元的划分形状信息。为了划分画面1720,图像解码设备100可仅使用指示画面1720被划分为2个、3个或4个编码单元的划分形状信息。因为这样的划分形状的组合仅仅是用于描述图像解码设备100的操作的实施例,所以划分形状的组合不应被解释为限于该实施例,并且可根据预定数据单元使用划分形状的各种组合。
根据实施例,图像解码设备100的比特流获得器110可获得包括指示根据预定数据单元(例如,序列、画面或条带)的划分形状信息的组合的索引的比特流。例如,比特流获得器110可从序列参数集、画面参数集或条带头获得指示划分形状信息的组合的索引。图像解码设备100可通过使用获得的索引来确定编码单元可根据预定数据单元划分为的划分形状的组合,因此可根据预定数据单元使用不同的划分形状的组合。
图18示出根据实施例的基于可表示为二进制码的划分形状信息可确定的编码单元的各种形状。
根据实施例,图像解码设备100可通过使用由比特流获得器110获得的块形状信息和划分形状信息来将编码单元划分为各种形状。编码单元可划分为的形状可与包括参照以上实施例描述的形状的各种形状对应。
参照图18,图像解码设备100可基于划分形状信息在水平方向和垂直方向中的至少一个方向上划分正方形的编码单元,并且可在水平方向或垂直方向上划分非正方形的编码单元。
根据实施例,当图像解码设备100能够在水平方向和垂直方向上划分正方形的编码单元以获得4个正方形的编码单元时,可由关于正方形的编码单元的划分形状信息指示的划分形状的数量可以是4。根据实施例,划分形状信息可被表示为2位二进制码,并且二进制码可被分配给每个划分的形状。例如,当编码单元不被划分时,划分形状信息可被表示为(00)b;当在水平方向和垂直方向上划分编码单元时,划分形状信息可被表示为(01)b;当在水平方向上划分编码单元时,划分形状信息可被表示为(10)b;并且当在垂直方向上划分编码单元时,划分形状信息可被表示为(11)b。
根据实施例,当图像解码设备100在水平方向或垂直方向上划分非正方形的编码单元时,可根据编码单元被划分为的编码单元的数量来确定可由划分形状信息指示的划分形状的类型。参照图18,根据实施例的图像解码设备100可将非正方形的编码单元划分为多达三个编码单元。图像解码设备100可将编码单元划分为两个编码单元,并且在这种情况下,划分形状信息可被表示为(10)b。图像解码设备100可将编码单元划分为三个编码单元,并且在这种情况下,划分形状信息可被表示为(11)b。图像解码设备100可确定不划分编码单元,并且在这种情况下,划分形状信息可被表示为(0)b。即,为了使用指示划分形状信息的二进制码,图像解码设备100可使用可变长度编码(VLC)而不是固定长度编码(FLC)。
根据实施例,参照图18,指示编码单元不被划分的划分形状信息的二进制码可被表示为(0)b。当指示编码单元不被划分的划分形状信息的二进制码被设置为(00)b时,尽管不存在被设置为(01)b的划分形状信息,但是必须使用划分形状信息的所有2比特二进制码。然而,如图18所示,当3个划分形状被用于非正方形的编码单元时,图像解码设备100可确定即使通过使用1比特二进制码(0)b作为划分形状信息也不划分编码单元,从而有效地使用比特流。然而,由划分形状信息指示的非正方形的编码单元的划分形状不应被解释为限于图18中所示的3个形状,而应被解释为包括上述实施例的各种形状。
图19示出根据实施例的基于可表示为二进制码的划分形状信息可确定的编码单元的其他形状。
参照图19,基于划分形状信息,图像解码设备100可在水平方向或垂直方向上划分正方形的编码单元,并且可在水平方向或垂直方向上划分非正方形的编码单元。即,划分形状信息可指示正方形的编码单元在一个方向上被划分。在这种情况下,指示正方形的编码单元不被划分的划分形状信息的二进制码可被表示为(0)b。当指示编码单元不被划分的划分形状信息的二进制码被设置为(00)b时,尽管不存在被设置为(01)b的划分形状信息,但是也必须使用划分形状模式信息的所有2比特二进制码。然而,如图19所示,当3个划分形状被用于正方形的编码单元时,即使通过使用1比特二进制码(0)b作为划分形状信息,图像解码设备100也可确定不划分编码单元,从而有效地使用比特流。然而,由划分形状信息指示的正方形的编码单元的划分形状不应被解释为限于图19中所示的3个形状,而应被解释为包括上述实施例的各种形状。
根据实施例,块形状信息或划分形状信息可通过使用二进制码来表示,并且这样的信息可被立即产生为比特流。可选地,可表示为二进制码的块形状信息或划分形状信息可不被立即产生为比特流,并且可被用作在上下文自适应二进制算术编码(CABAC)期间输入的二进制码。
根据实施例,将描述由图像解码设备100执行的通过CABAC获得关于块形状信息或划分形状信息的语法的处理。包括用于所述语法的二进制码的比特流可由比特流获得器110获得。图像解码设备100可通过对被包括在所获得的比特流中的二进制位串进行反二值化来检测指示块形状信息或划分形状信息的语法元素。根据实施例,图像解码设备100可获得与将被解码的语法元素对应的二进制位串的集合,并且可通过使用概率信息对每个二进制位进行解码,并且图像解码设备100可重复地执行该处理,直到包括这样的被解码的二进制位的二进制位串与预先获得的二进制位串中的一个相同为止。图像解码设备100可通过对二进制位串进行反二值化来确定语法元素。
根据实施例,图像解码设备100可通过执行自适应二进制算术编码的解码处理来确定关于二进制位串的语法,并且可更新针对由比特流获得器110获得的二进制位的概率模型。参照图18,根据实施例,图像解码设备100的比特流获得器110可获得指示表示划分形状信息的二进制码的比特流。图像解码设备100可通过使用所获得的具有1比特或2比特大小的二进制码来确定关于划分形状信息的语法。为了确定关于划分形状信息的语法,图像解码设备100可更新二进制码的2个比特中的每个比特的概率。即,图像解码设备100可根据二进制码的2个比特中的第一个二进制位的值是0还是1来更新下一个二进制位在解码期间具有值0或1的概率。
根据实施例,在确定语法的同时,图像解码设备100可更新在对语法的二进制位串的二进制位进行解码的处理中使用的二进制位的概率,并且图像解码设备100可确定二进制位串中的特定比特具有相同的概率,而不对概率进行更新。
参照图18,在通过使用指示与非正方形的编码单元有关的划分形状信息的二进制位串来确定语法的同时,当非正方形的编码单元不被划分时,图像解码设备100可通过使用具有值0的一个二进制位来确定关于划分形状信息的语法。即,当块形状信息指示当前编码单元具有非正方形形状时,当非正方形的编码单元不被划分时,用于划分形状信息的二进制位串的第一个二进制位可以是0,并且当非正方形的编码单元被划分为两个编码单元或三个编码单元时,用于划分形状信息的二进制位串的第一个二进制位可以是1。因此,与非正方形的编码单元有关的划分形状信息的二进制位串的第一个二进制位为0的概率可以是1/3,与非正方形的编码单元有关的划分形状信息的二进制位串的第一个二进制位为1的概率可以是2/3。如上所述,因为指示非正方形的编码单元不被划分的划分形状信息可仅表示具有值0的1比特二进制位串,所以图像解码设备100可通过仅当划分形状信息的第一个二进制位是1时才确定第二个二进制位是0还是1来确定关于划分形状信息的语法。根据实施例,当用于划分形状信息的第一个二进制位是1时,图像解码设备100可通过确定第二个二进制位是0和1的概率相同来对二进制位进行解码。
根据实施例,图像解码设备100可在确定用于划分形状信息的二进制位串的二进制位的同时针对每个二进制位使用各种概率。根据实施例,图像解码设备100可根据非正方形块的方向不同地确定用于划分形状信息的二进制位的概率。根据实施例,图像解码设备100可根据当前编码单元的面积或长边的长度来不同地确定用于划分形状信息的二进制位的概率。根据实施例,图像解码设备100可根据当前编码单元的形状和长边的长度中的至少一个不同地确定用于划分形状信息的二进制位的概率。
根据实施例,图像解码设备100可针对具有预定尺寸或更大尺寸的编码单元确定用于划分形状信息的二进制位的概率相同。例如,图像解码设备100可基于每个编码单元的长边的长度针对具有等于或大于64个样点的尺寸的编码单元来确定用于划分形状信息的二进制位的概率相同。
根据实施例,图像解码设备100可基于条带类型(例如,I条带、P条带、B条带等)来确定构成划分形状信息的二进制位串的二进制位的初始概率。
图20是用于执行环路滤波的图像编码和解码系统2000的框图。
图像编码和解码系统2000的编码端2010发送图像的编码的比特流,解码端2050接收比特流并对比特流进行解码并输出重建图像。编码端2010可具有与下面将描述的图像编码设备200的配置类似的配置,并且解码端2050可具有与图像解码设备100的配置类似的配置。
在编码端2010,预测编码器2015通过帧间预测和帧内预测输出参考图像,变换器和量化器2020将参考图像与当前输入图像之间的残差数据变换并量化为量化的变换系数,并输出量化的变换系数。熵编码器2025将量化的变换系数编码为比特流,并输出比特流。量化的变换系数通过反量化器和逆变换器2030被重建为空间域中的数据,并且空间域中的重建数据通过去块滤波器2035和环路滤波器2040被输出为重建图像。重建图像可被预测编码器2015用作下一输入图像的参考图像。
解码端2050接收的比特流中的编码图像数据通过熵解码器2055和去量化器和逆转换器2060被重建为空间域中的残差数据。随着残差数据和从预测解码器2075输出的参考图像被组合,空间域中的图像数据被形成,并且去块滤波器2065和环路滤波器2070可对空间域中的图像数据进行滤波,并且可输出针对当前原始图像的重建图像。重建图像可被预测解码器2075用作下一原始图像的参考图像。
编码端2010的环路滤波器2040通过使用根据用户输入或系统设置输入的滤波器信息来执行环路滤波。环路滤波器2040使用的滤波器信息被输出到熵编码器2025,并且与编码图像数据一起被发送到解码端2050。解码端2050的环路滤波器2070可基于从解码端2050输入的滤波器信息执行环路滤波。
图21是示出根据实施例的被包括在最大编码单元中的滤波单元和滤波单元的滤波性能信息的示例的示图。
当编码端2010的环路滤波器2040和解码端2050的环路滤波器2070的滤波单元包括与根据参照图3至图5描述的实施例的编码单元类似的数据单元时,滤波信息可包括数据单元的用于指示滤波单元的块形状信息和划分形状信息以及指示是否对滤波单元执行环路滤波的环路滤波执行信息。
被包括在根据实施例的最大编码单元2100中的滤波单元可具有与被包括在最大编码单元2100中的编码单元相同的块形状和划分形状。此外,根据实施例的被包括在最大编码单元2100中的滤波单元可基于被包括在最大编码单元2100中的编码单元的尺寸被划分。参照图21,例如,滤波单元可包括具有正方形形状并且深度为D的滤波单元2140、具有非正方形形状并且深度为D的滤波单元2132和2134、具有正方形形状并且深度为D+1的滤波单元2112、2114、2116、2152、2154和2164、具有非正方形形状并且深度为D+1的滤波单元2162和2166、以及具有正方形形状并且深度为D+2的滤波单元2122、2124、2126和2128。
可如表1所示对被包括在最大编码单元2100中的滤波单元的块形状信息、划分形状信息(深度)和环路滤波执行信息进行编码。
[表1]
Figure BDA0003594010360000401
根据实施例的通过根据块形状信息和块划分信息递归地划分编码单元来确定多个编码单元的处理与参照图13描述的处理相同。根据实施例的滤波单元的环路滤波执行信息在标志值为1时指示对滤波单元执行环路滤波,并且在标志值为0时指示不对滤波单元执行环路滤波。参照表1,用于确定将由环路滤波器2040和2070滤波的滤波单元的数据单元的信息可全部作为滤波器信息被编码并被发送。
因为根据实施例配置的编码单元是被配置为最小化与原始图像的误差的编码单元,所以期望在编码单元中具有高空间相关性。因此,因为基于根据实施例的编码单元来确定滤波单元,所以可省略与确定编码单元的操作分开的确定滤波单元的操作。此外,因此,因为基于根据实施例的编码单元来确定滤波单元并且因此可省略用于确定滤波单元的划分形状的信息,所以可节省滤波器信息的传送比特率。
虽然在上面的实施例中描述了基于根据实施例的编码单元来确定滤波单元,但是滤波单元可基于编码单元被划分直到任意深度为止,因此可确定滤波单元的形状仅到该任意深度为止。
上述实施例中描述的确定滤波单元不仅可被应用于环路滤波,而且可被应用于诸如去块滤波和自适应环路滤波的各种实施例。
根据实施例,图像解码设备100可通过使用块形状信息和划分形状信息中的至少一个来划分当前编码单元,并且块形状信息可被预定为指示仅使用正方形形状,划分形状信息可被预定为指示当前编码单元不被划分或被划分为4个正方形的编码单元。即,当前编码单元的编码单元可根据块形状信息始终具有正方形形状,并且当前编码单元可基于划分形状信息不被划分或者可被划分为4个正方形的编码单元。图像解码设备100可通过使用比特流获得器110获得通过使用预定编码方法产生的比特流,该预定编码方法被预定为仅使用这样的块形状和划分形状,并且图像解码设备100可仅使用预定的块形状和划分形状。在这种情况下,因为图像解码设备100可通过使用与预定编码方法类似的预定解码方法来解决与预定编码方法的兼容性问题。根据实施例,当图像解码设备100使用仅使用可由块形状信息和划分形状信息指示的各种形状中的预定块形状和划分形状的预定解码方法时,块形状信息仅指示正方形形状,因此图像解码设备100可省略从比特流获得块形状信息的处理。可使用指示是否使用预定解码方法的语法,并且可根据可包括多个编码单元(诸如序列、画面、条带单元和最大编码单元)的具有各种形状的数据单元从比特流获得这样的语法。即,比特流获得器110可基于指示是否使用预定解码方法的语法来确定是否将从比特流获得指示块形状信息的语法。
图23示出根据实施例的根据编码单元的Z字形扫描顺序的索引。
根据实施例的图像解码设备100可根据Z字形扫描顺序对被包括在上层数据单元中的下层数据单元进行扫描。此外,根据实施例的图像解码设备100可根据被包括在处理块或最大编码单元中的编码单元中的Z字形扫描索引顺序地访问数据。
根据实施例的图像解码设备100可将参考编码单元划分为如参照图3和图4描述的至少一个编码单元。在这种情况下,具有正方形形状的编码单元和具有非正方形形状的编码单元可共存于参考编码单元中。根据实施例的图像解码设备100可根据被包括在参考编码单元中的每个编码单元中的Z字形扫描索引来访问数据。在这种情况下,应用Z字形扫描索引的方法可根据参考编码单元中是否存在具有非正方形形状的编码单元而变化。
根据实施例,当在参考编码单元中不存在具有非正方形形状的编码单元时,参考编码单元中的更低深度的编码单元可具有连续Z字形扫描索引。例如,根据实施例,更高深度的编码单元可包括更低深度的四个编码单元。更低深度的四个编码单元的边界可以是连续的,并且可根据指示Z字形扫描顺序的索引以Z字形扫描顺序扫描更低深度的编码单元。根据实施例的指示Z字形扫描顺序的索引可被设置为根据用于编码单元的Z字形扫描顺序增加的数字。在这种情况下,可根据Z字形扫描顺序扫描相同深度的更深编码单元。
根据实施例,当在参考编码单元中存在具有非正方形形状的至少一个编码单元时,图像解码设备100可将参考编码单元中的编码单元中的每一个划分为子块,并且可根据Z字形扫描顺序扫描划分出的子块。例如,当在参考编码单元中存在沿垂直方向或水平方向的具有非正方形形状的编码单元时,可通过使用划分出的子块来执行Z字形扫描。此外,例如,当参考编码单元被划分为奇数个编码单元时,可通过使用子块来执行Z字形扫描。子块是不再被划分的编码单元或通过划分任意编码单元而获得的编码单元,并且可具有正方形形状。例如,可从具有正方形形状的编码单元划分出具有正方形形状的四个子块。此外,例如,可从具有非正方形形状的编码单元划分出具有正方形形状的两个子块。
参照图23,例如,根据实施例的图像解码设备100可根据Z字形扫描顺序扫描编码单元2300中的更低深度的编码单元2302、2304、2306、2308和2310。编码单元2300以及编码单元2302、2304、2306、2308和2310分别是上层编码单元和下层编码单元。编码单元2300包括沿水平方向的具有非正方形形状的编码单元2306和2310。具有非正方形形状的编码单元2306和2310与彼此相邻且具有正方形形状的编码单元2302和2304具有不连续的边界。此外,编码单元2308具有正方形形状并且是在具有非正方形形状的编码单元被划分为奇数个编码单元时位于中心的编码单元。与具有非正方形形状的编码单元2306和2310一样,编码单元2308与彼此相邻并且具有正方形形状的编码单元2302和2304具有不连续的边界。当编码单元2300包括具有非正方形形状的编码单元2306和2310或者在具有非正方形形状的编码单元被划分为奇数个编码单元时位于中心的编码单元2308时,因为编码单元之间的相邻边界是不连续的,所以可能无法设置连续的Z字形扫描索引。因此,图像解码设备100可通过将编码单元划分为子块来连续地设置Z字形扫描索引。此外,图像解码设备100可对具有非正方形形状的编码单元2306和2310或者位于奇数个编码单元的中心处的编码单元2308执行连续Z字形扫描。
通过将编码单元2300中的编码单元2302、2304、2306、2308和2310划分为子块来获得图23的编码单元2320。因为可针对子块中的每一个设定Z字形扫描索引并且子块之间的相邻边界是连续的,所以可根据Z字形扫描顺序扫描子块。例如,在根据实施例的解码设备中,编码单元2308可被划分为子块2322、2324、2326和2328。在这种情况下,可在对子块2330执行数据处理之后扫描子块2322和2324,并且可在对子块2332执行数据处理之后扫描子块2326和2328。此外,可根据Z字形扫描顺序扫描子块。
在上面的实施例中,根据Z字形扫描顺序扫描数据单元以用于数据存储、数据加载和数据访问。
此外,在上面的实施例中,尽管可根据Z字形扫描顺序扫描数据单元,但是数据单元的扫描顺序可以是各种顺序(诸如光栅扫描顺序、N字形扫描顺序、右上对角线扫描顺序、水平扫描顺序和垂直扫描顺序)中的一种,并且不应限于Z字形扫描顺序。
此外,在上面的实施例中,尽管参考编码单元中的编码单元被扫描,但是本公开不限于此,并且将被扫描的目标可以是处理块或最大编码单元中的任意块。
此外,在上面的实施例中,尽管仅当存在至少一个具有非正方形形状的块时将块划分为子块并且根据Z字形扫描顺序执行扫描,但是对于简化的实施例,即使当不存在具有非正方形形状的块时,也可将块划分为子块并且根据Z字形扫描顺序执行扫描。
根据实施例的图像解码设备100可通过对编码单元执行帧间预测或帧内预测来产生预测数据,可通过对被包括在当前编码单元中的变换单元执行逆变换来产生残差数据,并可通过使用产生的预测数据和残差数据来重建当前编码单元。
根据实施例的编码单元的预测模式可以是帧内模式、帧间模式和跳过模式中的至少一个。根据实施例,可根据编码单元独立地选择预测模式。
根据实施例,当具有2N×2N形状的编码单元被划分为具有2N×N形状或N×2N形状的两个编码单元时,可对每个编码单元单独地执行帧间模式预测和帧内模式预测。此外,根据实施例,跳过模式可被应用于具有2N×N或N×2N形状的编码单元。
根据实施例的图像解码设备100可允许在具有8×4或4×8形状的编码单元的跳过模式下执行双向预测。因为在跳过模式中仅接收关于编码单元的跳过模式信息,所以省略对编码单元的残差数据的使用。因此,在这种情况下,可减少反量化和逆变换的开销。换言之,根据实施例的图像解码设备100可允许对应用了跳过模式的编码单元执行双向预测,从而提高解码效率。此外,根据实施例的图像解码设备100可在允许对具有8×4或4×8形状的编码单元执行双向预测的同时,在运动补偿期间将插值抽头数设置为相对小的值,从而有效地使用存储带宽。例如,可使用抽头数小于8的插值滤波器(例如,2抽头插值滤波器),而不是8抽头插值滤波器。
此外,根据实施例的图像解码设备100可通过将被包括在当前编码单元中的每个区域划分为预先设置的形状(例如,基于对角线的划分)来用信号发送关于该区域的帧内预测信息或帧间预测信息。
根据实施例的图像解码设备100可通过使用当前编码单元的相邻样点来使用帧内模式获得当前编码单元的预测样点。在这种情况下,通过使用预先重建的相邻样点来执行帧内预测,并且该样点被称为参考样点。
图24是根据实施例的用于编码单元的帧内预测的参考样点的示图。参照图24,对于块形状是非正方形形状、水平方向上的长度是w、垂直方向上的长度是h的编码单元2400,需要w+h个上参考样点2402、w+h个左参考样点2404和一个左上参考样点2406,即,需要总数为2(w+h)+1个参考样点。为了准备参考样点,可对不存在参考样点的部分执行填充,并且可针对每个预测模式执行参考样点滤波处理以减小重建参考样点中包括的量化误差。
虽然在上面的实施例中已经描述了当当前编码单元的块形状是非正方形形状时的参考样点的数量,但是即使当当前编码单元是矩形块形状时,参考样点的数量也被等同地应用。
上面各种实施例描述了与由图像解码设备100执行的图像解码方法相关的操作。将通过各种实施例描述用于执行与图像解码方法的逆序处理相对应的图像编码方法的图像编码设备200的操作。
图2是根据实施例的能够基于块形状信息和划分形状信息中的至少一个对图像进行编码的图像编码设备200的框图。
图像编码设备200可包括编码器220和比特流产生器210。编码器220可接收输入图像并且可对输入图像进行编码。编码器220可对输入图像进行编码并且可获得至少一个语法元素。语法元素可包括以下元素中的至少一个:跳过标志、预测模式、运动矢量差、运动矢量预测方法(或索引)、变换量化系数、编码块图案、编码块标志、帧内预测模式、直接标志、合并标志、差量QP(delta QP)、参考索引、预测方向和变换索引。编码器220可基于包括编码单元的形状、方向、宽高比以及尺寸中的至少一个的块形状信息来确定上下文模型。
比特流产生器210可基于编码的输入图像产生比特流。例如,比特流产生器210可通过基于上下文模型对语法元素进行熵编码来产生比特流。此外,图像编码设备200也可将比特流发送到图像解码设备100。
根据实施例,图像编码设备200的编码器220可确定编码单元的形状。例如,编码单元可具有正方形形状或非正方形形状,并且指示形状的信息可被包括在块形状信息中。
根据实施例,编码器220可确定编码单元将被划分为哪个形状。编码器220可确定被包括在编码单元中的至少一个编码单元的形状,并且比特流产生器210可产生包括划分形状信息的比特流,所述划分形状信息包括关于编码单元的形状的信息。
根据实施例,编码器220可确定编码单元是否被划分。当编码器220确定在编码单元中仅包括一个编码单元或者编码单元不被划分时,比特流产生器210可产生包括指示编码单元不被划分的划分形状信息的比特流。此外,编码器220可将编码单元划分为多个编码单元,并且比特流产生器210可产生包括指示编码单元被划分为多个编码单元的划分形状信息的比特流。
根据实施例,指示编码单元将被划分为的编码单元的数量或编码单元将被划分为的方向的信息可被包括在划分形状信息中。例如,划分形状信息可指示编码单元在垂直方向和水平方向中的至少一个方向上被划分或者不被划分。
图像编码设备200基于编码单元的划分形状模式来确定划分形状模式信息。图像编码设备200基于编码单元的形状、方向、宽高比以及尺寸中的至少一个来确定上下文模型。图像编码设备200基于上下文模型来产生用于划分编码单元的划分形状模式信息作为比特流。
为了确定上下文模型,图像编码设备200可获得用于将编码单元的形状、方向、宽高比以及尺寸中的至少一个与用于上下文模型的索引对应的布置。图像编码设备200可基于布置中的编码单元的形状、方向、宽高比以及尺寸中的至少一个来获得用于上下文模型的索引。图像编码设备200可基于用于上下文模型的索引来确定上下文模型。
为了确定上下文模型,图像编码设备200还可基于包括与编码单元相邻的邻近编码单元的形状、方向、宽高比以及尺寸中的至少一个的块形状信息来确定上下文模型。此外,邻近编码单元可包括位于编码单元的左下侧、左侧、左上侧、上侧、右上侧、右侧或右下侧的编码单元中的至少一个。
此外,为了确定上下文模型,图像编码设备200可将上方邻近编码单元的宽度的长度与编码单元的宽度的长度进行比较。此外,图像编码设备200可将左侧邻近编码单元和右侧邻近编码单元的高度的长度与编码单元的高度的长度进行比较。此外,图像编码设备200可基于比较结果来确定上下文模型。
图像编码设备200的操作类似于参照图3至图24描述的图像解码设备100的操作,因此这里不提供其详细描述。
参照图25至图38描述根据实施例的运动信息解码设备2500和方法以及运动信息编码设备2700和方法。
参照图25,根据实施例的运动信息解码设备2500可包括比特流获得器2510、识别器2530和解码器2550。
运动信息解码设备2500可被包括在图像解码设备100中。例如,比特流获得器2510可被包括在图1的图像解码设备100的比特流获得器110中,并且识别器2530和解码器2550可被包括在图像解码设备100的解码器120中。
运动信息解码设备2500可获得用于对通过帧间预测被编码的块进行解码的多条运动信息。块的类型可以是正方形或矩形或任意几何形状。根据实施例的块不限于具有预定尺寸的数据单元,并且可包括根据树结构的编码单元中的最大编码单元、编码单元、预测单元和变换单元。
图像编码和图像解码中的帧间预测是指使用当前图像与另一图像之间的相似性的预测方法。从比当前图像更早被解码的参考图像检测与当前图像的当前块类似的参考块,并且通过使用运动矢量来表示当前块与根据参考块确定的预测块之间的距离。此外,当前块与预测块之间的像素值的差可被表示为残差数据。可不直接输出当前块的图像信息,而是可输出指示参考图像的索引、运动矢量和残差数据,从而提高编码效率和解码效率。
图29是用于描述用于对被单向预测的块进行解码的多条运动信息的示图。参照图29,根据指示参考图像的信息Ref_idx,指定由当前块参考的参考图像。此外,根据指示预测运动矢量的信息MVP_idx,从预测候选中确定用作当前块的预测运动矢量的预测候选。预测候选可以是与当前块在空间上或时间上相关的块或者与当前块在空间上或时间上相关的块的运动矢量。可根据指示预测运动矢量的信息来确定当前块的预测运动矢量,并且可通过将预测运动矢量与运动矢量差(MVD)进行组合来确定当前块的运动矢量(MV)。
当参考图像中的参考块由当前块的运动矢量指定时,可通过将指定的参考块(或根据参考块确定的预测块)与残差数据进行组合来对当前块进行解码。
参照图29,为了对被单向帧间预测的块进行解码,指示参考图像的信息Ref_idx、指示预测运动矢量的信息MVP_idx和运动矢量差MVD可被用作运动信息。
图30是描述用于对被双向预测的块进行解码的多条运动信息的示图。参照图30,对于包括至少一个参考图像的列表0,指示参考图像的信息Ref_idx0、指示预测运动矢量的信息MVP_idx0和运动矢量差MVD0可用于确定被包括在列表0中的参考图像中的参考块。
此外,对于包括至少一个参考图像的列表1,指示参考图像的信息Ref_idx1、指示预测运动矢量的信息MVP_idx1和运动矢量差MVD1可用于确定被包括在列表1中的参考图像中的参考块。
可通过将对应于列表0的参考块与对应于列表1的参考块进行组合来产生预测块,并且可通过将预测块与残余数据进行组合来对当前块进行解码。
参照图30,为了对被双向帧间预测的块进行解码,指示参考图像的信息Ref_idx0、指示预测运动矢量的信息MVP_idx0和与列表0相关的运动矢量差MVD0以及指示参考图像的信息Ref_idx1、指示预测运动矢量的信息MVP_idx1和与列表1相关的运动矢量差MVD1可被用作运动信息。
在诸如HEVC的编解码器中,编码器将用于对帧间预测块进行解码的所有的多条运动信息发送到解码器,并且解码器基于接收到的多条运动信息对帧间预测块进行解码。然而,因为将被发送到解码器的运动信息的量随着图像的分辨率增加而大大增加,所以其在比特速率方面可能是低效的。
在本公开中,因为编码器可省略用于对块进行解码的运动信息中的一些或全部而不是将所有运动信息发送到解码器,并且解码器可直接获得所省略的运动信息,所以可降低比特速率。
参照图25,比特流获得器2510获得包括用于对图像进行解码的信息的比特流。
在实施例中,用于对当前块进行解码的多条运动信息之中的一些运动信息可被包括在比特流中,并且剩余的运动信息可不被包括在比特流中。
此外,在实施例中,用于对当前块进行解码的所有多条运动信息可不被包括在比特流中。
在本公开中,用于对当前块进行解码的多条运动信息中的没有被包括在比特流中的运动信息被称为省略的运动信息。
用于对当前块进行解码的多条运动信息可包括指示参考图像的信息(在下文中,称为参考图像信息)、指示预测运动矢量的信息(在下文中,称为预测运动矢量信息)和运动矢量差。在实施例中,当根据从多个MVR中选择的MVR来确定当前块的运动矢量时,关于当前块的MVR的信息(在下文中,称为MVR信息)还可被包括在用于对当前块进行解码的运动信息中。
当当前块被单向预测时,当前块的MVR信息的条数可以是1。例如,当前块的MVR信息可包括指示多个MVR中的一个的索引MVR_idx。此外,当当前块被双向预测时,MVR信息的条数可以是1或2。例如,当前块的MVR信息可包括指示多个MVR中的一个的索引MVR_idx或指示多个MVR当中的两个的索引MVR_idx0和MVR_idx1。可根据由索引MVR_idx0指示的MVR推导对应于列表0的运动矢量MV0,并且可根据由索引MVR_idx1指示的MVR推导对应于列表1的运动矢量MV1。
识别器2530从用于对当前块进行解码的多条运动信息中识别未被包括在比特流中的省略的运动信息的类型。
在实施例中,识别器2530可从比特流获得多条运动信息中的一些运动信息,并且可将多条运动信息中的未从比特流获得的运动信息识别为省略的运动信息。
在实施例中,当没有从比特流获得信息时,识别器2530可将多条运动信息中的所有运动信息识别为省略的运动信息。
在实施例中,识别器2530可确定运动信息省略处理是否被应用于当前块,并且当运动信息省略处理被应用于当前块时,识别器2530可确定存在省略的运动信息。在实施例中,当确定应用运动信息省略处理时,识别器2530可确定预设种类的运动信息中的至少一些运动信息未被包括在比特流中。换句话说,当确定应用运动信息省略处理时,识别器2530可确定必须根据预定方法获得预设类型的运动信息中的至少一些。
在实施例中,可基于当前块的MVR、当前块的预测方向、关于当前块的信息、关于先前被解码的邻近块的信息和指示是否应用运动信息省略处理的标志中的至少一个来确定运动信息省略处理是否被应用于当前块。
当使用当前块的MVR、当前块的预测方向、关于当前块的信息和关于先前被解码的邻近块的信息中的至少一个时,解码器2550可基于与运动信息编码设备2700相同的标准来确定运动信息省略处理是否被应用于当前块。
例如,当当前块的MVR对应于预定MVR(例如,1/4像素单位分辨率)时,识别器2530可确定运动信息省略处理被应用于当前块。
例如,当当前块被双向预测时,识别器2530可确定运动信息省略处理被应用于当前块。
此外,例如,识别器2530可基于关于当前块的信息来确定运动信息省略处理是否被应用。识别器2530可通过将当前块的尺寸与预设尺寸进行比较来确定运动信息省略处理是否被应用。详细地,当当前块的水平尺寸或垂直尺寸等于或大于预设尺寸时,识别器2530可确定运动信息省略处理被应用于当前块。
例如,识别器2530可基于关于先前被解码的邻近块的尺寸、MVR、预测模式或预测方向的信息来确定运动信息省略处理是否被应用。
此外,例如,识别器2530可根据从比特流获得的指示运动信息省略处理是否被应用的标志来确定运动信息省略处理是否被应用于当前块。例如,当标志对应于1时,识别器2530可确定运动信息省略处理被应用于当前块。
在实施例中,识别器2530可确定运动信息的省略模式,并且可基于所确定的省略模式来识别哪个运动信息是省略的运动信息。
可基于当前块的MVR、当前块的预测方向、关于当前块的信息、关于先前被解码的邻近块的信息和指示省略模式的索引(或标志)中的至少一个来确定运动信息的省略模式。
在实施例中,当使用当前块的MVR、当前块的预测方向、关于当前块的信息和关于先前被解码的邻近块的信息中的至少一个时,解码器2550可基于与运动信息编码设备2700相同的标准来确定运动信息的省略模式。
可针对运动信息的每个省略模式确定省略的运动信息的数量和类型中的至少一个。例如,可独立地确定第一省略模式下的省略的运动信息的数量和类型中的至少一个以及第二省略模式下的省略的运动信息的数量和类型中的至少一个。在实施例中,省略的运动信息的数量和类型中的至少一个可根据运动信息的每个省略模式变化。
图31和图32是示出与运动信息省略模式对应的省略的运动信息的种类的示图。
参照图31,在模式1中,省略的运动信息可以是参考图像信息Ref_idx和预测运动矢量信息MVP_idx,在模式2中,省略的运动信息可以是参考图像信息Ref_idx。此外,在模式3中,省略的运动信息可以是参考图像信息Ref_idx、预测运动矢量信息MVP_idx和运动矢量差MVD。
参照图32,在模式1中可不存在省略的运动信息,在模式2中,省略的运动信息可以是与列表0相对应的运动矢量差MVD0,在模式3中,省略的运动信息可以是与列表1相对应的运动矢量差MVD1。
当当前块被单向预测时并且当当前块被双向预测时,可单独地确定与运动信息省略模式对应的省略的运动信息的类型和数量中的至少一个。例如,当当前块被单向预测时,与模式1对应的省略的运动信息可以是参考图像信息,并且当当前块被双向预测时,与模式1对应的省略的运动信息可以是与列表0对应的参考图像信息和与列表0对应的运动矢量差。换句话说,识别器2530可确定当前块的预测方向和运动信息省略模式,并可基于确定的预测方向和运动信息省略模式来识别省略的运动信息的类型。
图31和图32中的模式的数量以及与每个模式对应的省略的运动信息的数量和类型仅是示例,并且在不脱离本公开的范围的情况下,可以以各种方式修改模式的数量以及与每个模式对应的省略的运动信息的数量和类型。
如上所述,识别器2530可确定运动信息的省略模式,并可基于所确定的省略模式来识别省略的运动信息的类型。
例如,识别器2530可基于当前块的MVR来确定运动信息的省略模式。例如,当当前块的MVR是1/4像素单位分辨率时,识别器2530可将第一模式确定为省略模式,并且当当前块的MVR是1/2像素单位分辨率时,识别器2530可将第二模式确定为省略模式。
此外,例如,识别器2530可根据是参考列表0中的参考图像预测当前块(即,单向预测)、参考列表1中的参考图像预测当前块(即,单向预测)、还是参考列表0中的参考图像和列表1中的参考图像预测当前块(即,双向预测)来确定省略模式。例如,当当前块参考列表0中的参考图像时,识别器2530可将第一模式确定为省略模式;当当前块参考列表1中的参考图像时,识别器2530可将第二模式确定为省略模式;并且当当前块参考列表0中的参考图像和列表1中的参考图像时,识别器2530可将第三模式确定为省略模式。
此外,例如,识别器2530可基于关于当前块的信息来确定运动信息的省略模式。例如,识别器2530可通过将当前块的尺寸与预设尺寸进行比较来确定运动信息的省略模式。详细地,当当前块的水平尺寸或垂直尺寸等于或大于预设尺寸时,识别器2530可将第一模式确定为省略模式,并且当当前块的水平尺寸或垂直尺寸小于预设尺寸时,识别器2530可将第二模式确定为省略模式。
此外,例如,识别器2530可基于关于先前被解码的邻近块的信息来确定运动信息的省略模式。例如,识别器2530可基于关于先前被解码的邻近块的尺寸、MVR、预测模式或预测方向的信息来确定运动信息的省略模式。
此外,例如,识别器2530可从比特流中获得指示省略模式的索引(或标志),并且可根据所获得的索引(或标志)来确定省略模式。例如,当所获得的索引对应于0时,识别器2530可将模式1确定为省略模式;当索引对应于1时,识别器2530可将模式2确定为省略模式;并且当索引对应于2时,识别器2530可将模式3确定为省略模式。
当通过识别器2530识别出省略的运动信息的类型时,解码器2550通过使用预定方法获得省略的运动信息。解码器2550可通过使用包括省略的运动信息和可从比特流获得的运动信息的多条运动信息来对当前块进行解码。
如上所述,多条运动信息可包括参考图像信息、预测运动矢量信息和运动矢量差。解码器2550通过将预测运动矢量添加到运动矢量差来获得当前块的运动矢量,并且基于运动矢量在参考图像中搜索参考块。解码器2550通过将被反量化和逆变换的残差数据与参考块(或预测块)相加在空间域中重建当前块。包括重建的当前块的图像可被滤波,并且滤波后的图像可被用作下一图像的参考图像。
现在将详细描述由解码器2550执行的获得省略的运动信息的方法。
在实施例中,解码器2550可通过使用在空间上或时间上与当前块相关的至少一个候选块的运动信息来获得省略的运动信息。
图33示出了在空间上或时间上与当前块相关的候选块。候选块是比当前块更早被解码的块,并且空间块可包括空间上与当前块相邻的至少一个块。此外,时间块可包括在具有不同于当前画面的画面顺序计数(POC)的POC的参考图像中位于与当前块相同的位置的块以及在空间上与所述位于与当前块相同的位置的块相邻的至少一个块。
参照图33,与当前块3300在空间上相关的空间块可包括左下方外部块A、左下方块B、右上方外部块C、右上方块D和左上方外部块E。此外,与当前块3300在时间上相关的时间块可包括在具有与当前块3300的POC不同的POC的参考图像中位于与当前块3300相同的位置的块F和与所述位于与当前块3300相同的位置的块F相邻的块G。图33的候选块可仅是示例,并且在实施例中,用于获得省略的运动信息的一个或更多个候选块可仅包括与当前块在空间上相关的空间块或者仅包括与当前块在时间上相关的时间块。
在实施例中,解码器2550可根据预设优先级顺序确定是否存在与当前块在空间上或时间上相关的多个候选块的运动信息,并可基于运动信息被首先确定为存在的候选块的运动信息来获得省略的运动信息。例如,当优先级顺序被设置为从块A到块G时,解码器2550从块A到块G顺序地搜索具有运动信息的候选块。解码器2550可通过使用运动信息被首先确定为存在的候选块的运动信息来获得省略的运动信息。例如,当省略的运动信息的类型是参考图像信息和预测运动矢量信息时,解码器2550可确定运动信息被首先确定为存在的候选块的运动信息(具体地,参考图像信息和预测运动矢量信息),并且可将所确定的信息确定为省略的运动信息。
此外,在实施例中,解码器2550可通过对与当前块在空间上或时间上相关的多个候选块中的具有运动信息的多个候选块的多条运动信息进行组合来获得省略的运动信息。例如,解码器2550可根据预定等式对具有运动信息的多个候选块的多条运动信息进行组合,并可获得组合结果作为省略的运动信息。预定等式可包括用于推导平均值、中值等的等式。例如,假设省略的运动信息的类型是参考图像信息Ref_idx,当块A的参考图像信息Ref_idx是1并且块B的参考图像信息Ref_idx是3时,解码器2550可获得作为平均值的2作为当前块的参考图像信息。可通过使用整数值来表示运动信息中的参考图像信息和预测运动矢量信息,并且当通过预定等式推导出的值不是整数值时,该值可被向上舍入、向下舍入或四舍五入,并且可获得省略的运动信息。例如,当块A的参考图像信息Ref_idx是1并且块B的参考图像信息Ref_idx是2时,解码器2550可将通过对作为它们间的平均值的1.5进行四舍五入而获得的2确定为当前块的参考图像信息Ref_idx。
在实施例中,解码器2550可基于预设的基础运动信息来确定省略的运动信息。在实施例中,解码器2550可以以画面单元、条带单元或块单元设置基础运动信息。可选地,解码器2550可以以画面单元、条带单元或块单元从比特流获得基础运动信息。
解码器2550可使用基础运动信息来获得省略的运动信息。例如,作为基础运动信息,参考图像信息Ref_idx可被设置为0,预测运动矢量信息MVP_idx可被设置为0,并且运动矢量差MVD可被设置为0。当省略的运动信息的类型是参考图像信息Ref_idx和预测运动矢量信息MVP_idx时,解码器2550可确定当前块的参考图像信息Ref_idx和预测运动矢量信息MVP_idx的值为0。在不脱离本公开的范围的情况下,可以以各种方式修改被设置为基础运动信息的值。
此外,在实施例中,解码器2550可基于通过解码器侧运动矢量推导(DMVD)而推导出的运动信息来获得省略的运动信息。DMVD是在解码器侧直接推导运动信息而不是使运动信息明确地被包括在比特流中并且解码器获得该运动信息的技术,并且是通过模板匹配或双向模板匹配来推导当前块的运动信息的技术。模板匹配是使用与预测目标块相邻的块中的像素和已经被解码的参考图像中的像素之间的相关性的方法。
在实施例中,当存在用于获得省略的运动信息的多种方法时,解码器2550可通过使用至少一种方法来获得省略的运动信息。在实施例中,解码器2550可基于将被获得的省略的运动信息的类型来选择方法,并且可根据所选择的方法来获得省略的运动信息。例如,当将被获得的省略的运动信息是参考图像信息时,可通过使用第一方法来获得省略的运动信息;当省略的运动信息是预测运动矢量信息时,可通过使用第二方法来获得省略的运动信息;并且当省略的运动信息是运动矢量差时,可通过使用第三方法来获得省略的运动信息。
此外,在实施例中,当存在将被获得的多条省略的运动信息时,解码器2550可通过使用不同的方法来获得多条省略的运动信息中的每一条。
在实施例中,当基于候选块的运动信息获得省略的运动信息的方法是第一方法、基于基础运动信息获得省略的运动信息的方法是第二方法、并且基于通过DMVD确定的运动信息获得省略的运动信息的方法是第三方法时,可通过使用第一方法、第二方法和第三方法中的不同方法来获得多条省略的运动信息中的每一条。例如,可通过使用第一方法来确定参考图像信息,可通过使用第二方法来确定预测运动矢量信息,并且可通过使用第三方法来确定运动矢量差。
图34示出用于根据用于双向预测块的运动信息省略模式来获得省略的运动信息的语法。
当确定当前块被双向预测时,图34的语法指示以下过程:确定运动信息省略处理被应用于当前块,根据指示双向预测类型的信息bi_type_idx识别省略的运动信息的类型,并且根据预定方法获得省略的运动信息。
参照图34,在短语“a”中,当当前块被双向预测时,提取bi_type_idx。当当前块被双向预测时,可确定运动信息省略处理被应用于当前块。
bi_type_idx是指示省略模式的索引,并且当索引bi_type_idx对应于0时,确定省略模式是模式1。参考短语“b”,在模式1中,与列表0对应的运动矢量差和参考图像索引以及与列表1对应的运动矢量差和参考图像索引被解析,即,从比特流被获得。与列表0对应的预测运动矢量和与列表1对应的预测运动矢量被识别为省略的运动信息。可根据预定方法来确定与列表0对应的预测运动矢量和与列表1对应的预测运动矢量。
当bi_type_idx对应于1时,确定省略方法是模式2。参考短语“c”,在模式2中,仅解析与列表1对应的运动矢量差。将与列表0对应的运动矢量差、参考图像索引和预测运动矢量以及与列表1对应的参考图像索引和预测运动矢量确定为省略的运动信息。可根据预定方法来确定与列表0对应的预测运动矢量和参考图像索引以及与列表1对应的预测运动矢量和参考图像索引。在模式2中,与列表0对应的运动矢量差可被确定为作为预设值的0(或零矢量)。因此,与列表0对应的预测运动矢量可以是当前块的运动矢量MV0。根据实施例,在模式2中,,可从比特流解析与列表0对应的参考图像索引和与列表1对应的参考图像索引中的至少一个参考图像索引,而不将所述至少一个参考图像索引确定为省略的运动信息。
根据实施例,在模式2中,与列表0对应的运动矢量差可不被包括在用于对当前块进行解码的多条运动信息中。因此,即使当与列表0对应的运动矢量差不可从比特流获得时,解码器2550也可不将与列表0对应的运动矢量差识别为省略的运动信息,并且可通过仅使用参考图像索引和与列表0对应的预测运动矢量来搜索参考块。
当bi_type_idx对应于2时,确定省略模式是模式3。参考短语“d”,在模式3中,仅解析与列表0对应的运动矢量差。将与列表0对应的参考图像索引和预测运动矢量以及与列表1对应的参考图像索引、预测运动矢量和运动矢量差确定为省略的运动信息。可根据预定方法来确定与列表0对应的预测运动矢量和参考图像索引以及与列表1对应的预测运动矢量和参考图像索引。在模式3中,与列表1对应的运动矢量差可被确定为作为预设值的0(或零矢量)。因此,与列表1对应的预测运动矢量可以是当前块的运动矢量MV1。根据实施例,在模式3中,可从比特流解析与列表0对应的参考图像索引和与列表1对应的参考图像索引中的至少一个参考图像索引,而不将所述至少一个参考图像索引确定为省略的运动信息。
根据实施例,在模式3中,与列表1对应的运动矢量差可不被包括在用于对当前块进行解码的多条运动信息中。因此,即使当与列表1对应的运动矢量差不可从比特流获得时,解码器2550也可不将与列表1对应的运动矢量差识别为省略的运动信息,并且可通过仅使用与列表1对应的参考图像索引和预测运动矢量来搜索参考块。
在实施例中,当当前块的MVR被包括在用于对当前块进行解码的运动信息中时,比特流获得器2510可从比特流获得指示当前块的MVR的信息。
图35是示出用于从比特流获得关于MVR的信息的语法的示图。
参照图35,当短语“a”中的包括当前编码单元的条带不是I条带时,从短语“b”提取cu_skip_flag。cu_skip_flag指示跳过模式是否将被应用于当前编码单元。当确定在短语“c”中应用跳过模式时,在跳过模式中对当前编码单元进行处理。当确定在短语“d”中不应用跳过模式时,在短语“e”中提取pred-mode-flag。pred_mode_flag指示当前编码单元是被帧内预测还是被帧间预测。当在短语“f”中当前编码单元没有被帧内预测,即被帧间预测时,在短语“g”中提取pred_mvr_idx。pred_mvr_idx可以是指示当前编码单元的MVR的索引,并且与每个索引对应的MVR可如表2中所示。
[表2]
Figure BDA0003594010360000561
当前块的MVR可指在参考图像(或内插参考图像)中包括的像素中的可由当前块的运动矢量指示的像素的位置的精度。可从一个或更多个候选MVR中选择当前块的MVR。一个或更多个候选MVR可包括但不限于1/8像素单位的MVR、1/4像素单位的MVR、1/2像素单位的MVR、1像素单位的MVR、2像素单位的MVR、4像素单位的MVR和8像素单位的MVR中的至少一个。
在实施例中,比特流获得器2510可以以块单元、条带单元或画面单元从比特流获得关于当前块的MVR的信息。在实施例中,当当前块的MVR信息被识别为省略的运动信息时,解码器2550可根据预定方法确定当前块的MVR。
在实施例中,当根据预定MVR确定当前块的运动矢量时,解码器2550可调整预测运动矢量和/或运动矢量差。当调整当前块的预测运动矢量和/或运动矢量差时,可表示根据当前块的MVR改变由当前块的预测运动矢量和/或运动矢量差指示的像素的位置。下面将参照图36至图38描述调整当前块的预测运动矢量和/或运动矢量差的方法。
图26是用于描述根据实施例的运动信息解码方法的流程图。
在操作S2610,运动信息解码设备2500从用于对被帧间预测的当前块进行解码的多条运动信息中识别未被包括在比特流中的省略的运动信息的类型。
在实施例中,当确定运动信息省略处理被应用于当前块时,运动信息解码设备2500可识别出存在省略的运动信息。运动信息解码设备2500可确定运动信息省略模式,并且可基于所确定的运动信息省略模式来识别省略的运动信息的类型。
在操作S2620,运动信息解码设备2500可基于预定方法获得省略的运动信息。
例如,运动信息解码设备2500可基于至少一个候选块的运动信息来获得省略的运动信息。
例如,运动信息解码设备2500可基于预设的基础运动信息来获得省略的运动信息。
此外,例如,运动信息解码设备2500可基于通过DMVD获得的运动信息来获得省略的运动信息。
上面已经详细描述了获得省略的运动信息的方法,这里将不提供其详细描述。
运动信息解码设备250可从比特流获得多条运动信息中的除了省略的运动信息之外的运动信息。
在操作S2630,运动信息解码设备250基于包括获得的省略的运动信息的多条运动信息对当前块进行解码。
图27是示出根据实施例的运动信息编码设备2700的配置的框图。
参照图27,根据实施例的运动信息编码设备2700可包括确定器2710、编码器2730和比特流产生器2750。运动信息编码设备2700可被包括在图像编码设备200中。例如,运动信息编码设备2700的确定器2710和编码器2730可被包括在图像编码设备200的编码器220中,运动信息编码设备2700的比特流产生器2750可被包括在图像编码设备200的比特流产生器210中。
确定器2710从用于对将被帧间预测的当前块进行解码的多条运动信息中确定将从比特流省略的省略的运动信息的类型。
如上所述,用于对当前块进行解码的多条运动信息可包括参考图像信息、预测运动矢量信息和运动矢量差,并且还可包括根据实施例的当前块的MVR信息。
在确定多条运动信息中的一些或全部被省略之前,确定器2710可确定运动信息省略处理是否将被应用于当前块。
在实施例中,确定器2710可根据预定标准确定运动信息省略处理是否被应用。
在实施例中,确定器2710可基于当前块的MVR、当前块的预测方向、关于当前块的信息和关于先前被编码的邻近块的信息中的至少一个来确定运动信息省略处理是否被应用。
在实施例中,考虑到指示是否应用运动信息省略处理的信息不被发送到运动信息解码设备2500的情况,确定器2710可基于与运动信息解码设备2500相同的标准来确定运动信息省略处理是否被应用。
例如,当当前块的MVR对应于预定MVR(例如,1/4像素单位分辨率)时,确定器2710可确定运动信息省略处理被应用于当前块。
例如,当当前块被双向预测时,确定器2710可确定运动信息省略处理被应用于当前块。
此外,例如,确定器2710可基于关于当前块的信息来确定运动信息省略处理是否被应用。确定器2710可通过将当前块的尺寸与预设尺寸进行比较来确定运动信息省略处理是否被应用。
例如,确定器2710可基于关于先前被解码的邻近块的尺寸、MVR、预测模式或预测信息的信息来确定运动信息省略处理是否被应用。
在实施例中,确定器2710可确定当前块的运动信息省略模式,并且可基于确定的运动信息省略模式来确定未被包括在比特流中的省略的运动信息的类型。
在实施例中,确定器2710可根据预定标准来确定运动信息省略模式。
在实施例中,确定器2710可基于当前块的MVR、当前块的预测方向、关于当前块的信息和关于先前被编码的邻近块的信息中的至少一个来确定运动信息省略模式。
在实施例中,考虑到指示运动信息省略模式的信息不被发送到运动信息解码设备2500的情况,确定器2710可基于与运动信息解码设备2500相同的标准来确定运动信息省略模式。
可针对运动信息的每个省略模式确定省略的运动信息的数量和类型中的至少一个。例如,可单独地确定第一省略模式下的省略的运动信息的数量和类型中的至少一个、以及第二省略模式下的省略的运动信息的数量和类型中的至少一个。所述省略的运动信息的数量和类型中的至少一个可根据每个省略模式变化。
当当前块被单向预测时和当当前块被双向预测时,可单独地确定与运动省略信息模式对应的省略的运动信息的类型。
在实施例中,确定器2710可基于当前块的MVR来确定运动信息的省略模式。例如,当当前块的MVR是1/4像素单位分辨率时,确定器2710可将第一模式确定为省略模式,并且当当前块的MVR是1/2像素单位分辨率时,确定器2710可将第二模式确定为省略模式。
此外,在实施例中,确定器2710可根据当前块是否参考列表0中的参考图像(即,单向预测)、当前块是否参考列表1中的参考图像(即,单向预测)、或者当前块是否参考列表0中的参考图像和列表1中的参考图像(即,双向预测)来确定省略模式。
此外,在实施例中,确定器2710可基于关于当前块的信息来确定运动信息的省略模式。例如,确定器2710可通过将当前块的尺寸与预设尺寸进行比较来确定运动信息的省略模式。详细地,当当前块的水平尺寸或垂直尺寸等于或大于预设尺寸时,确定器2710可将第一模式确定为省略模式,并且当当前块的水平尺寸或垂直尺寸小于预设尺寸时,确定器2710可将第二模式确定为省略模式。
此外,在实施例中,确定器2710可基于关于先前被解码的邻近块的信息来确定运动信息的省略模式。例如,确定器2710可基于关于先前被解码的邻近块的尺寸、MVR、预测模式或预测方向的信息来确定运动信息的省略模式。
当由确定器2710确定省略的运动信息的类型时,编码器2730基于预定方法获得省略的运动信息。
在实施例中,编码器2730可通过使用在空间上或时间上与当前块相关的至少一个候选块的运动信息来获得省略的运动信息。
在实施例中,编码器2730可根据预设优先级顺序确定是否存在与当前块在空间上或时间上相关的多个候选块的运动信息,并且可基于运动信息被首先确定为存在的候选块的运动信息来获得省略的运动信息。
此外,在实施例中,编码器2730可通过对与当前块在空间上或时间上相关的多个候选块中的具有运动信息的多个候选块的多条运动信息进行组合来获得省略的运动信息。例如,编码器2730可根据预定等式对具有运动信息的多个候选块的多条运动信息进行组合,并且可获得组合结果作为省略的运动信息。预定等式可包括用于推导平均值、中值等的等式。
在实施例中,编码器2730可基于基础运动信息来确定省略的运动信息。可在编码器2730中预先设置基础运动信息。在实施例中,编码器2730可以以画面单元、条带单元或块单元设置基础运动信息。在实施例中,比特流产生器2750可使得以画面单元、条带单元或块单元确定的基础运动信息被包括在比特流中。
此外,在实施例中,编码器2730可基于通过DMVD推导出的运动信息来获得省略的运动信息。
在实施例中,当存在用于获得省略的运动信息的多种方法时,编码器2730可通过使用至少一种方法来获得省略的运动信息。在实施例中,编码器2730可基于将被获得的省略的运动信息的类型来选择方法,并且可根据所选择的方法来获得省略的运动信息。例如,当将被获得的省略的运动信息是参考图像信息时,可通过使用第一方法获得省略的运动信息;当省略的运动信息是预测运动矢量信息时,可通过使用第二方法来获得省略的运动信息;并且当省略的运动信息是运动矢量差时,可通过使用第三方法来获得省略的运动信息。
此外,在实施例中,当存在将被获得的多条省略的运动信息时,编码器2730可通过使用不同的方法来获得多条省略的运动信息中的每一条。
此外,编码器2730可基于所获得的省略的运动信息来确定剩余运动信息。例如,编码器2730可基于开销确定剩余运动信息。在开销计算期间可使用率失真开销。
例如,当省略的运动信息包括参考图像信息时,可根据基于预定方法确定的参考图像信息来指定由当前块参考的参考图像,并且可基于开销从一个或更多个预测候选中选择将被用作预测运动矢量的预测候选。编码器2730可将当前块与在参考图像中搜索到的参考块之间的距离确定为运动矢量,并且可将当前块的运动矢量与预测运动矢量之间的差确定为运动矢量差。
此外,例如,当省略的运动信息包括预测运动矢量信息时,编码器2730基于预定方法获得预测运动矢量,并且基于开销从先前被编码的图像中确定用于当前块的一个或更多个参考图像。编码器27360可基于确定的参考图像来确定运动矢量,并且可将根据预定方法获得的预测运动矢量与当前块的运动矢量之间的差确定为运动矢量差。
此外,例如,当省略的运动信息包括运动矢量差时,编码器2730基于预定方法确定运动矢量差。例如,编码器2730可将运动矢量差确定为零矢量。编码器2730可基于开销确定当前块的参考图像,并且通过将每个预测候选与根据预定方法确定的运动矢量差进行组合来推导出与每个预测候选对应的运动矢量。编码器2730可基于开销从运动矢量中确定一个运动矢量,并且可将与所确定的运动矢量对应的预测候选确定为预测运动矢量。
此外,例如,当省略的运动信息包括MVR信息时,编码器2730可基于预定方法获得当前块的MVR,并且可基于开销确定参考图像、预测运动矢量和运动矢量差。
在实施例中,当当前块被双向预测时,编码器2730可确定运动信息省略处理被应用于当前块,并且可确定模式1、模式2或模式3的运动信息省略模式。
例如,当运动信息省略模式是模式1时,编码器2730可将与列表0对应的运动矢量差和参考图像索引以及与列表1对应的运动矢量差和参考图像索引确定为将被包括在比特流中的运动信息,并可将与列表0对应的预测运动矢量和与列表1对应的预测运动矢量确定为省略的运动信息。可根据预定方法来确定与列表0对应的预测运动矢量和与列表1对应的预测运动矢量。
例如,当运动信息省略模式是模式2时,编码器2730可将与列表1对应的运动矢量差确定为将被包括在比特流中的运动信息。编码器2730可将与列表0对应的运动矢量差、参考图像索引和预测运动矢量以及与列表1对应的参考图像索引和预测运动矢量确定为省略的运动信息。可根据预定方法来确定与列表0对应的预测运动矢量和参考图像索引以及与列表1对应的预测运动矢量和参考图像索引。在模式2中,与列表0对应的运动矢量差可被确定为作为预设值的0(或零矢量)。根据实施例,在模式2中,与列表0对应的运动矢量差可不被包括在用于对当前块进行解码的多条运动信息中。因此,即使当与列表0对应的运动矢量差不被包括在比特流中时,编码器2730也可不单独地获得运动矢量差。
例如,当运动信息省略模式是模式3时,编码器2730可将与列表0对应的运动矢量差确定为将被包括在比特流中的运动信息。编码器2730可将与列表0对应的参考图像索引和预测运动矢量以及与列表1对应的参考图像索引、预测运动矢量和运动矢量差确定为省略运动信息。可根据预定方法获得与列表0对应的预测运动矢量和参考图像索引以及与列表1对应的预测运动矢量和参考图像索引。在模式3中,与列表1对应的运动矢量差可被确定为作为预设值的0(或零矢量)。根据实施例,在模式3中,与列表1对应的运动矢量差可不被包括在用于对当前块进行解码的多条运动信息中。因此,即使当与列表1对应的运动矢量差不被包括在比特流中时,编码器2730也可不单独地获得运动矢量差。
比特流产生器2750产生包括与根据帧间预测被编码的当前块相关的信息的比特流。
在实施例中,比特流可包括以下信息中的至少一个:指示是否应用运动信息省略处理的信息、指示运动信息省略模式的信息以及多条运动信息中的除省略的运动信息之外的运动信息。
此外,比特流还可包括作为运动信息之一的指示当前块的MVR的信息。包括指示MVR的信息的比特流可具有如图35的语法的结构。
在实施例中,当根据预定MVR确定当前块的运动矢量时,编码器2730可调整预测运动矢量和/或运动矢量差。当调整当前块的预测运动矢量和/或运动矢量差时,这可表示根据当前块的MVR改变由当前块的预测运动矢量和/或运动矢量差指示的像素的位置。下面将参照图36至图38描述调整当前块的预测运动矢量和/或运动矢量差的方法。
图28是用于描述根据实施例的运动信息编码方法的流程图。
在操作S2810,运动信息编码设备2700从用于对当前块进行解码的多条运动信息中确定将不被包括在比特流中的省略的运动信息的类型。
在实施例中,运动信息编码设备2700可首先确定运动信息省略处理是否将被应用于当前块。
在实施例中,运动信息编码设备2700可确定运动信息省略模式,并且可根据所确定的运动信息省略模式来确定将不被包括在比特流中的省略的运动信息的类型。
在实施例中,运动信息编码设备2700可首先确定将不被包括在比特流中的省略的运动信息的类型,并且可确定与所确定的省略的运动信息对应的运动信息省略模式。
在操作S2820,运动信息编码设备2700通过使用预定方法获得省略的运动信息。
例如,运动信息编码设备2700可基于至少一个候选块的运动信息来获得省略的运动信息。
例如,运动信息编码设备2700可基于预设的基础运动信息来获得省略的运动信息。
此外,例如,运动信息编码设备2700可基于通过DMVD获得的运动信息来获得省略的运动信息。
上面已经详细描述了获得省略的运动信息的方法,这里将不提供其详细描述。
运动信息编码设备2700可基于开销从多条运动信息中获得除省略的运动信息之外的运动信息。
在操作S2830,运动信息编码设备2700产生包括除了省略的运动信息之外的运动信息的比特流。
在实施例中,比特流还可包括指示是否应用运动信息省略处理的信息和指示运动信息省略模式的信息中的至少一个。
当针对当前块确定MVR并且根据MVR确定运动矢量时,将描述调整预测运动矢量和/或运动矢量差的方法。
运动信息编码设备2700和运动信息解码设备2500可从针对当前块可选择的一个或更多个候选MVR中确定一个候选MVR作为当前块的MVR。运动信息解码设备2500可基于从比特流获得的MVR信息来确定当前块的MVR。当确定当前块的MVR时,可根据当前块的MVR来调整预测运动矢量和/或运动矢量差。
图36示出当可选择的最小MVR是1/4像素单位MVR时可由根据1/4像素单位MVR、1/2像素单位MVR、1像素单位MVR和2像素单位MVR的运动矢量指示的像素的位置。
图36的(a)、(b)、(c)和(d)分别示出可由基于坐标(0,0)的1/4像素单位MVR、1/2像素单位MVR、1像素单位MVR和2像素单位MVR的运动矢量指示的像素的坐标(由黑色正方形标记)。
当最小MVR是1/4像素单位MVR时,可由1/4像素单位MVR的运动矢量指示的像素的坐标是(a/4,b/4)(a和b是整数),可由1/2像素单位MVR的运动矢量指示的像素的坐标是(2c/4,2d/4)(c和d是整数),可由1像素单位MVR的运动矢量指示的像素的坐标是(4e/4,4f/4)(e和f是整数),并且可由2像素单位MVR的运动矢量指示的像素的坐标是(8g/4,8h/4)(g和h是整数)。即,当最小MVR具有2m(m是整数)像素单位时,可由2n(n是整数)像素单位MVR指示的像素的坐标是(2n-m*i/2-m,2n-m*j/2-m)(i和j是整数)。虽然根据特定MVR来确定运动矢量,但是由根据作为最小MVR的1/4像素单位被插值的图像中的坐标来表示运动矢量。
在实施例中,因为运动信息编码设备2700确定根据最小MVR被插值的图像中的运动矢量,所以为了通过使用整数来表示运动矢量,可通过将运动矢量乘以最小MVR的像素单位值的倒数(例如,当最小MVR具有2m(m是整数)像素单位时,乘以2-m)来表示整数单位的运动矢量。可在运动信息编码设备2700和运动信息解码设备2500中使用整数单位的运动矢量乘以2-m
当从坐标(0,0)开始的1/2像素单位MVR的运动矢量指示坐标(2/4,6/4)并且最小MVR具有1/4像素单位时,运动信息编码设备2700可将通过将运动矢量乘以整数4而获得的(2,6)确定为运动矢量。
当当前块的MVR大于可选择的候选MVR中的最小MVR时,运动信息编码设备2700和运动信息解码设备2500可调整当前块的预测运动矢量。当当前块的MVR大于最小MVR时,这可表示当前块的MVR的像素单位大于最小MVR的像素单位。例如,1像素单位的MVR大于1/2像素单位的MVR,并且1/2像素单位的MVR大于1/4像素单位的MVR。
为了通过使用当前块的MVR来调整由根据最小MVR被插值的图像中的坐标表示的预测运动矢量,运动信息编码设备2700和运动信息解码设备2500可将预测运动矢量调整为指示邻近像素而不是由预测运动矢量指示的像素。
例如,为了将指示基于图37中的坐标(0,0)的坐标(19,27)的像素3710的预测运动矢量A调整为作为当前块的MVR的1像素单位MVR,由预测运动矢量A指示的像素3710的坐标(19,27)可被除以整数4(即,可被缩小),并且作为除法结果而获得的坐标(19/4,27/4)可不指示整数像素单位。
运动信息编码设备2700和运动信息解码设备2500可调整缩小的预测运动矢量以指示整数像素单位。例如,坐标(19/4,27/4)周围的邻近整数像素的坐标是(16/4,28/4)、(16/4,24/4)、(20/4,28/4)和(20/4,24/4)。在这种情况下,运动信息编码设备2700和运动信息解码设备2500可调整缩小的预测运动矢量A以指示位于右上方的坐标(20/4,28/4)而不是坐标(19/4,27/4),并且可乘以整数4(即,放大)使得最终调整的预测运动矢量D指示与坐标(20,28)对应的像素3740。
在实施例中,运动信息编码设备2700和运动信息解码设备2500可调整缩小的预测运动矢量以指示位于左下方的坐标、位于右上方的坐标或右下方的坐标。
在实施例中,当由缩小的预测运动矢量指示的x坐标值和y坐标值中的任何一个对应于整数时,运动信息编码设备2700和运动信息解码设备2500可仅将不对应于整数的坐标值增大或减小以对应于整数。即,当仅由缩小的预测运动矢量指示的x坐标值对应于整数时,运动信息编码设备2700和运动信息解码设备2500可使调整的预测运动矢量指示位于由调整之前的预测运动矢量指示的像素的上方或下方的整数像素。可选地,当仅由缩小的预测运动矢量指示的y坐标值对应于整数时,运动信息编码设备2700和运动信息解码设备2500可使调整的预测运动矢量指示位于由调整之前的预测运动矢量指示的像素的左侧或右侧的整数像素。
当预测运动矢量被调整时,运动信息编码设备2700和运动信息解码设备2500可根据当前块的MVR不同地选择由调整后的预测运动矢量指示的点。
例如,如图38所示,当当前块的MVR是1/2像素单位MVR时,运动信息编码设备2700和运动信息解码设备2500可使调整后的预测运动矢量指示在由调整前的预测运动矢量指示的像素的左上方的像素3830;当当前块的MVR是1像素单位MVR时,运动信息编码设备2700和运动信息解码设备2500可使调整后的预测运动矢量指示在由调整前的预测运动矢量指示的像素的右上方的像素3820;并且当当前块的MVR是2像素单位MVR时,运动信息编码设备2700和运动信息解码设备2500可使调整后的预测运动矢量指示在由调整前的预测运动矢量指示的像素的右下方的像素3840。
参照图37和图38描述的调整预测运动矢量的处理也可被应用于调整运动矢量差的处理。当运动矢量差被确定为省略的运动信息并且由运动信息编码设备2700和运动信息解码设备2500根据预定方法推导时,因为推导出的运动矢量差指示根据像预测运动矢量一样的最小MVR被插值的图像中的坐标,所以运动矢量差的精度对应于当前块的运动矢量的精度。
当考虑到当前块的MVR和最小MVR来调整预测运动矢量时,运动信息编码设备2700和运动信息解码设备2500可根据等式1来调整预测运动矢量。
[等式1]
MVP'=((MVP>>k)+offset)<<k
在等式1中,MVP'表示调整后的预测运动矢量,并且当当前块的MVR是2m像素单位(m是整数)、最小MVR是2n像素单位(n是整数)并且m>n时,作为根据当前块的MVR与最小MVR之间的差确定的值的k可以是m-n。在实施例中,k可以是MVR的索引,并且当候选MVR包括1/4像素单位MVR、1/2像素单位MVR、1像素单位MVR、2像素单位MVR和4像素单位MVR时,与索引对应的MVR如表2所示。当从比特流接收到MVR索引时,运动信息解码设备2500可通过将MVR索引用作k根据等式1调整预测运动矢量。
此外,在式1中,作为比特移位运算的>>或<<是指减小或增大预测运动矢量的大小的运算。此外,偏移(offset)表示当根据k值缩小的预测运动矢量不指示整数像素时被增加或减去以指示整数像素的值。可根据预测运动矢量的x坐标值和y坐标值中的每一个不同地确定offset。
当运动矢量差被调整时,等式1可被修改为等式1-1。
[等式1-1]
MVD'=((MVD>>k)+offset)<<k
在等式1-1中,MVD'表示调整后的运动矢量差,并且MVD表示根据预定方法获得的调整前的运动矢量差。
在实施例中,当缩小的预测运动矢量(或运动矢量差)被改变为指示整数像素时,运动信息编码设备2700和运动信息解码设备2500可根据相同的标准改变缩小的预测运动矢量。
在实施例中,当缩小的预测运动矢量(或运动矢量差)的x坐标值和y坐标值不指示整数像素时,运动信息编码设备2700和运动信息解码设备2500可总是增大或减小缩小的预测运动矢量(或运动矢量差)的x坐标值和y坐标值以指示整数像素。可选地,运动信息编码设备2700和运动信息解码设备2500可对缩小的预测运动矢量(或运动矢量差)的x坐标值和y坐标值进行四舍五入以指示整数像素。
在实施例中,当调整预测运动矢量(或运动矢量差)时,运动信息编码设备2700和运动信息解码设备2500可省略预测运动矢量(或运动矢量差)的缩小和放大,并且可在根据最小MVR被插值的参考图像中的坐标平面中调整预测运动矢量(或运动矢量差)以指示与当前块的MVR对应的像素单位。
此外,在实施例中,当考虑到当前块的MVR和最小MVR来调整预测运动矢量和运动矢量差时,运动信息编码设备2700和运动信息解码设备2500可根据等式2和等式2-1(而不是等式1和等式1-1)来调整预测运动矢量和运动矢量差。
[等式2]
MVP'=((MVP+offset)>>k)<<k
[等式2-1]
MVD'=((MVD+offset)>>k)<<k
虽然等式2和等式2-1类似于等式1和等式1-1,但是与offset被应用于缩小的预测运动矢量和缩小的运动矢量差的等式1和等式1-1不同,offset被应用于原始预测运动矢量和原始运动矢量差,然后被应用了offset的原始预测运动矢量和原始运动矢量差根据k被缩小。
当运动矢量差被包括在比特流中时,运动信息编码设备2700可如等式3缩小运动矢量差,并且可使得指示缩小的运动矢量差的信息被包括在比特流中。
[等式3]
MVD'=(MVD>>k)
在等式3中,MVD'表示缩小后的运动矢量差,并且作为根据最小MVR与当前块的MVR之间的差而确定的值的k与等式1中的k相同。
在实施例中,运动信息编码设备2700可根据k值缩小当前块的运动矢量和经过调整的预测运动矢量,然后可将缩小后的运动矢量与缩小后的经过调整的预测运动矢量之间的差编码为运动矢量差。
在实施例中,运动信息编码设备2700可根据等式4(而不是等式3)来计算缩小后的运动矢量差。
[等式4]
MVD'=(MV-PMV')/(R*S)
在等式4中,MVD'表示缩小后的运动矢量差,MV表示当前块的运动矢量,并且PMV'表示调整后的预测运动矢量。此外,R表示当前块的MVR的像素单位值(例如,当当前块的MVR是1/4像素单位MVR时,R为1/4)。此外,S表示最小MVR的像素单位值的倒数(例如,当最小MVR是1/4像素单位MVR时,S为4)。
当当前块的MVR大于最小MVR时,运动信息解码设备2500可如等式5对从比特流获得的残差运动数据进行放大。
[等式5]
MVD”=(MVD'<<k)
在等式5中,MVD'表示由编码设备缩小的运动矢量差,MVD”表示放大后的运动矢量差。作为根据最小MVR与当前块的MVR之间的差而确定的值的k与等式1中的k相同。
在实施例中,运动信息解码设备2500可根据等式6(而不是等式5)来确定放大后的运动矢量差。
[等式6]
MVD”=MVD'*(R*S)
在等式6中,MVD'表示缩小后的运动矢量差,并且R表示当前块的MVR的像素单位值(例如,当当前块的MVR是1/4像素单位MVR时,R为1/4)。此外,S表示最小MVR的像素单位值的倒数(例如,当最小MVR是1/4像素单位MVR时,S为4)。
实施例可被实现为计算机可执行程序,并且程序可被存储在介质中。
介质可连续地存储计算机可执行程序,或者可暂时地存储计算机可执行程序以执行或下载计算机可执行程序。此外,介质可以是包括单个硬件或多个硬件的组合的各种记录装置或存储装置中的任何一种,并且可被分布在网络中而不限于直接连接到计算机系统的介质。介质可被配置为存储程序指令,并且介质的示例可包括磁性介质(诸如硬盘、软盘或磁带)、光记录介质(诸如压缩盘只读存储器(CD-ROM)或数字多功能盘(DVD))、磁光介质(诸如软盘)、ROM、随机存取存储器(RAM)和闪存。此外,介质的其他示例可包括由发布应用的应用商店或供应或发布各种其他软件的站点或服务器管理的记录介质和存储介质。
虽然已经参照本公开的实施例具体地示出和描述了本公开,但是本领域普通技术人员将理解,在不脱离由所附权利要求限定的本公开的精神和范围的情况下,可在其中进行形式和细节上的各种改变。

Claims (1)

1.一种对运动信息进行解码的方法,所述方法包括:
在当前块被双向预测时,从比特流获得指示运动信息是否被省略的信息;
如果所述信息指示运动信息不被省略,则从比特流获得针对列表0的运动矢量差和针对列表1的运动矢量差;
如果所述信息指示运动信息被省略:则从比特流获得针对列表0的运动矢量差;并且使用预定方法确定不被包括在比特流中的针对列表1的运动矢量差。
CN202210386787.4A 2017-11-09 2018-03-30 用于对运动信息进行编码的设备和方法以及解码设备和方法 Pending CN114697680A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762583739P 2017-11-09 2017-11-09
US62/583,739 2017-11-09
PCT/KR2018/003827 WO2019093598A1 (ko) 2017-11-09 2018-03-30 움직임 정보의 부호화 장치 및 방법, 및 복호화 장치 및 방법
CN201880071146.1A CN111386705A (zh) 2017-11-09 2018-03-30 用于对运动信息进行编码的设备和方法以及解码设备和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201880071146.1A Division CN111386705A (zh) 2017-11-09 2018-03-30 用于对运动信息进行编码的设备和方法以及解码设备和方法

Publications (1)

Publication Number Publication Date
CN114697680A true CN114697680A (zh) 2022-07-01

Family

ID=66438541

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880071146.1A Pending CN111386705A (zh) 2017-11-09 2018-03-30 用于对运动信息进行编码的设备和方法以及解码设备和方法
CN202210386787.4A Pending CN114697680A (zh) 2017-11-09 2018-03-30 用于对运动信息进行编码的设备和方法以及解码设备和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201880071146.1A Pending CN111386705A (zh) 2017-11-09 2018-03-30 用于对运动信息进行编码的设备和方法以及解码设备和方法

Country Status (6)

Country Link
US (3) US11265569B2 (zh)
EP (1) EP3709650A4 (zh)
KR (5) KR102180482B1 (zh)
CN (2) CN111386705A (zh)
BR (1) BR122022003520A8 (zh)
WO (1) WO2019093598A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109756739B (zh) * 2017-11-07 2022-09-02 华为技术有限公司 图像预测方法和装置
KR102180482B1 (ko) * 2017-11-09 2020-11-18 삼성전자주식회사 움직임 정보의 부호화 장치 및 방법, 및 복호화 장치 및 방법
CN110620929B (zh) 2018-06-19 2023-04-18 北京字节跳动网络技术有限公司 没有运动矢量预测截断的选择的运动矢量差精度
CN113412623A (zh) * 2019-01-31 2021-09-17 北京字节跳动网络技术有限公司 记录仿射模式自适应运动矢量分辨率的上下文
EP3993422A4 (en) * 2019-06-27 2023-07-19 Samsung Electronics Co., Ltd. VIDEO DECODING METHOD AND APPARATUS AND VIDEO CODING METHOD AND APPARATUS
US11936899B2 (en) * 2021-03-12 2024-03-19 Lemon Inc. Methods and systems for motion candidate derivation
US11671616B2 (en) 2021-03-12 2023-06-06 Lemon Inc. Motion candidate derivation
WO2023132692A1 (ko) * 2022-01-09 2023-07-13 엘지전자 주식회사 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013132046A (ja) * 2011-11-21 2013-07-04 Jvc Kenwood Corp 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法、及び受信プログラム
US20130170553A1 (en) * 2012-01-04 2013-07-04 Qualcomm Incorporated Coding motion vector difference
US20150264390A1 (en) * 2014-03-14 2015-09-17 Canon Kabushiki Kaisha Method, device, and computer program for optimizing transmission of motion vector related information when transmitting a video stream from an encoder to a decoder
US20160286230A1 (en) * 2015-03-27 2016-09-29 Qualcomm Incorporated Motion information derivation mode determination in video coding
CN107113424A (zh) * 2014-11-18 2017-08-29 联发科技股份有限公司 基于来自单向预测的运动矢量和合并候选的双向预测视频编码方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008088175A1 (en) * 2007-01-17 2008-07-24 Lg Electronics Inc. Method and apparatus for processing a video signal
CN101415122B (zh) 2007-10-15 2011-11-16 华为技术有限公司 一种帧间预测编解码方法及装置
KR101279573B1 (ko) 2008-10-31 2013-06-27 에스케이텔레콤 주식회사 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
US8885711B2 (en) * 2009-12-17 2014-11-11 Sk Telecom Co., Ltd. Image encoding/decoding method and device
KR101768207B1 (ko) * 2010-01-19 2017-08-16 삼성전자주식회사 축소된 예측 움직임 벡터의 후보들에 기초해 움직임 벡터를 부호화, 복호화하는 방법 및 장치
KR102439252B1 (ko) * 2010-05-26 2022-08-31 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
KR101762819B1 (ko) * 2010-09-02 2017-07-28 엘지전자 주식회사 영상 부호화 및 복호화 방법과 이를 이용한 장치
US8787459B2 (en) * 2010-11-09 2014-07-22 Sony Computer Entertainment Inc. Video coding methods and apparatus
FI3923579T3 (fi) * 2010-11-25 2023-03-22 Lg Electronics Inc Menetelmä kuvainformaation signaloimiseksi ja tätä käyttävä menetelmä kuvainformaation dekoodaamiseksi
US9319716B2 (en) * 2011-01-27 2016-04-19 Qualcomm Incorporated Performing motion vector prediction for video coding
KR20130002242A (ko) * 2011-06-28 2013-01-07 주식회사 케이티 영상 정보의 부호화 방법 및 복호화 방법
MX341415B (es) * 2011-08-03 2016-08-19 Panasonic Ip Corp America Metodo de codificacion de video, aparato de codificacion de video, metodo de decodificacion de video, aparato de decodificacion de video y aparato de codificacion/decodificacion de video.
KR101830352B1 (ko) * 2011-11-09 2018-02-21 에스케이 텔레콤주식회사 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
KR101615507B1 (ko) * 2013-05-15 2016-04-26 주식회사 칩스앤미디어 움직임 정보를 이용한 해상도 변환 방법 및 그 장치
CN112188207B (zh) 2014-10-31 2023-10-20 三星电子株式会社 使用高精度跳过编码的视频编码设备和视频解码设备及其方法
US20200045305A1 (en) * 2016-09-30 2020-02-06 Lg Electronics Inc. Picture processing method and apparatus for same
CN117221575A (zh) * 2016-10-04 2023-12-12 英迪股份有限公司 图像解码方法、图像编码方法以及发送比特流的方法
CN116962676A (zh) * 2017-01-16 2023-10-27 世宗大学校产学协力团 影像解码/编码方法以及传送比特流的方法
US10602180B2 (en) * 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction
KR102180482B1 (ko) * 2017-11-09 2020-11-18 삼성전자주식회사 움직임 정보의 부호화 장치 및 방법, 및 복호화 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013132046A (ja) * 2011-11-21 2013-07-04 Jvc Kenwood Corp 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法、及び受信プログラム
US20130170553A1 (en) * 2012-01-04 2013-07-04 Qualcomm Incorporated Coding motion vector difference
US20150264390A1 (en) * 2014-03-14 2015-09-17 Canon Kabushiki Kaisha Method, device, and computer program for optimizing transmission of motion vector related information when transmitting a video stream from an encoder to a decoder
CN107113424A (zh) * 2014-11-18 2017-08-29 联发科技股份有限公司 基于来自单向预测的运动矢量和合并候选的双向预测视频编码方法
US20160286230A1 (en) * 2015-03-27 2016-09-29 Qualcomm Incorporated Motion information derivation mode determination in video coding

Also Published As

Publication number Publication date
BR122022003521A2 (zh) 2020-09-24
KR20220025270A (ko) 2022-03-03
KR102180482B1 (ko) 2020-11-18
US11973972B2 (en) 2024-04-30
BR122022003520A8 (pt) 2023-03-28
BR122022003518A8 (pt) 2023-03-28
WO2019093598A1 (ko) 2019-05-16
BR122022003518A2 (zh) 2020-09-24
KR20200032225A (ko) 2020-03-25
KR20200130877A (ko) 2020-11-20
US20220150531A1 (en) 2022-05-12
BR122022003522A2 (zh) 2020-09-24
KR102366261B1 (ko) 2022-02-23
CN111386705A (zh) 2020-07-07
EP3709650A4 (en) 2021-07-14
BR122022003522A8 (pt) 2023-03-28
KR20230006052A (ko) 2023-01-10
US20240179339A1 (en) 2024-05-30
KR102483331B1 (ko) 2022-12-30
BR112020007550A2 (pt) 2020-09-24
BR112020007550A8 (pt) 2023-03-28
US20200351513A1 (en) 2020-11-05
EP3709650A1 (en) 2020-09-16
KR102604775B1 (ko) 2023-11-21
BR122022003521A8 (pt) 2023-03-28
BR122022003520A2 (zh) 2020-09-24
KR20230161531A (ko) 2023-11-27
US11265569B2 (en) 2022-03-01

Similar Documents

Publication Publication Date Title
CN110870306B (zh) 用于对运动矢量进行编码和解码的设备和方法
CN114697680A (zh) 用于对运动信息进行编码的设备和方法以及解码设备和方法
CN111602392B (zh) 用于基于运动矢量分辨率对图像进行编码的设备和方法以及解码设备和方法
CN111095926A (zh) 用于对运动信息进行编码和解码的方法以及用于对运动信息进行编码和解码的装置
KR20210055781A (ko) 움직임 벡터 차분의 부호화 방법 및 부호화 장치, 및 움직임 벡터 차분의 복호화 방법 및 복호화 장치
CN111095925B (zh) 通过使用基本运动矢量对运动矢量进行编码的设备和方法以及解码设备和方法
CN112703731A (zh) 基于子块对图像进行编码的方法和装置以及对图像进行解码的方法和装置
CN115398908A (zh) 用于对运动矢量进行编码的装置和方法以及用于对运动矢量进行解码的装置和方法
CN114128292A (zh) 用邻近运动信息对运动信息进行编码和解码的装置和方法
CN111108750B (zh) 用于对运动信息进行编码和解码的方法以及用于对运动信息进行编码和解码的设备
CN111108750A (zh) 用于对运动信息进行编码和解码的方法以及用于对运动信息进行编码和解码的设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination