CN111095925B - 通过使用基本运动矢量对运动矢量进行编码的设备和方法以及解码设备和方法 - Google Patents

通过使用基本运动矢量对运动矢量进行编码的设备和方法以及解码设备和方法 Download PDF

Info

Publication number
CN111095925B
CN111095925B CN201880056184.XA CN201880056184A CN111095925B CN 111095925 B CN111095925 B CN 111095925B CN 201880056184 A CN201880056184 A CN 201880056184A CN 111095925 B CN111095925 B CN 111095925B
Authority
CN
China
Prior art keywords
block
default
motion vector
coding unit
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880056184.XA
Other languages
English (en)
Other versions
CN111095925A (zh
Inventor
李振荣
朴银姬
崔雄一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to CN202310356867.XA priority Critical patent/CN116389747A/zh
Priority to CN202310357043.4A priority patent/CN116389748A/zh
Publication of CN111095925A publication Critical patent/CN111095925A/zh
Application granted granted Critical
Publication of CN111095925B publication Critical patent/CN111095925B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了一种根据一个实施例的用于对运动矢量进行解码的方法,所述方法包括:确定用于确定当前块的预测运动矢量的至少一个PMV候选块的步骤;确定所述至少一个PMV候选块的运动矢量的可用性的步骤;如果存在被确定为不可用的PMV候选块,则通过使用基本运动矢量(MV)确定当前块的预测运动矢量的步骤;以及基于确定的预测运动矢量获得当前块的运动矢量的步骤。

Description

通过使用基本运动矢量对运动矢量进行编码的设备和方法以及解码设备和方法
技术领域
本公开涉及视频编码和解码领域。更具体地,本公开涉及用于对视频的运动矢量进行编码的方法和设备以及用于对视频的运动矢量进行解码的方法和设备。
背景技术
在视频编码和解码方法中,为了对图像进行编码,可将一个画面划分为宏块,并且可通过使用帧间预测或帧内预测来对宏块中的每一个进行编码。
帧间预测是指一种通过去除画面之间的时间冗余来压缩图像的方法,该方法的代表性示例是运动估计编码。在运动估计编码中,通过使用至少一个参考画面来预测当前画面的每个块。通过使用预定评估函数在预定搜索范围内找到与当前块最相似的参考块。
基于参考块对当前块进行预测,并且对通过从当前块减去作为预测结果生成的预测块而获得的残差块进行编码。在这种情况下,为了更精确地执行预测,对参考画面的搜索范围执行插值,可生成比整数像素单位(integer-pel-unit)的像素更小的子像素单位(sub-pel-unit)的像素,并且可对生成的子像素单位的像素执行帧间预测。
在诸如H.264高级视频编码(AVC)和高效视频编码(HEVC)的编解码器中,为了预测当前块的运动矢量,与当前块相邻的先前编码的块或包括在先前编码的画面中的块的运动矢量被用作当前块的预测运动矢量。
发明内容
问题的解决方案
根据实施例,一种对运动矢量进行解码的方法可包括:确定用于确定当前块的预测运动矢量(PMV)的至少一个PMV候选块;确定所述至少一个PMV候选块的运动矢量的可用性;当存在被确定为不可用的PMV候选块时,通过使用默认运动矢量(MV)来确定当前块的PMV;基于确定的PMV,获得当前块的运动矢量。
本公开的有益效果
根据实施例的对运动矢量进行编码的设备和方法以及对运动矢量进行解码的设备和方法可通过使用默认运动矢量来确定针对当前块的准确预测运动矢量,从而降低用于表示残差运动矢量的比特率并提高重建图像的质量。
附图说明
提供每幅图的简要说明以更充分地理解附图。
图1是根据实施例的用于基于块形状信息和划分形状信息中的至少一个对图像进行解码的图像解码设备的框图。
图2是根据实施例的用于基于块形状信息和划分形状信息中的至少一个对图像进行编码的图像编码设备的框图。
图3示出根据实施例的当前编码单元被划分以确定至少一个编码单元的处理。
图4示出根据实施例的通过划分非正方形编码单元来确定至少一个编码单元的处理。
图5示出根据实施例的基于块形状信息和划分形状信息中的至少一个对编码单元进行划分的处理。
图6示出根据实施例的从奇数个编码单元确定预定编码单元的方法。
图7示出根据实施例的当通过对当前编码单元进行划分来确定多个编码单元时处理所述多个编码单元的顺序。
图8示出根据实施例的当不能按照预定顺序对编码单元进行处理时确定当前编码单元将被划分为奇数个编码单元的处理。
图9示出根据实施例的通过划分第一编码单元来确定至少一个编码单元的处理。
图10示出根据实施例的当通过划分第一编码单元确定的具有非正方形形状的第二编码单元满足预定条件时第二编码单元可被划分为的形状受到限制。
图11示出根据实施例的当划分形状信息指示正方形编码单元将不被划分为四个正方形编码单元时划分正方形编码单元的处理。
图12示出根据实施例的可依据划分编码单元的处理来改变多个编码单元之间的处理顺序。
图13示出根据实施例的当编码单元被递归地划分使得多个编码单元被确定时随着编码单元的形状和尺寸改变来确定编码单元的深度的处理。
图14示出根据实施例的基于编码单元的形状和尺寸可确定的深度以及用于区分编码单元的部分索引(PID)。
图15示出根据实施例的基于包括在画面中的多个预定数据单元来确定多个编码单元。
图16示出根据实施例的用作用于确定包括在画面中的参考编码单元的确定顺序的标准的处理块。
图17示出根据实施例的当编码单元可被划分为的形状的组合针对每个画面不同时针对每个画面可确定的编码单元。
图18示出根据实施例的基于可表示为二进制码的划分形状信息可确定的编码单元的各种形状。
图19示出根据实施例的基于可表示为二进制码的划分形状信息可确定的编码单元的其他形状。
图20是用于执行环路滤波的图像编码和解码系统的框图。
图21示出根据实施例的包括在最大编码单元中的滤波单元和滤波单元的滤波执行信息的示例。
图22示出根据实施例的在根据预定编码方法确定的编码单元之间执行合并或划分的处理。
图23示出根据实施例的根据编码单元的Z字形扫描顺序的索引。
图24是根据实施例的用于编码单元的帧内预测的参考样点的示图。
图25是示出根据实施例的运动矢量解码设备的配置的框图。
图26是用于描述根据实施例的对运动矢量进行解码的方法的流程图。
图27是示出根据实施例的运动矢量编码设备的配置的框图。
图28是用于描述根据实施例的对运动矢量进行编码的方法的流程图。
图29是示出与当前块相关联的空间块和时间块的示图。
图30是示出用于确定默认运动矢量(MV)的默认MV候选块的示图。
图31和图32是示出用于确定预测运动矢量(PMV)的PMV候选块的示图。
图33是示出当针对当前块可选择的最小运动矢量分辨率(MVR)是1/4像素单位的MVR时可由根据1/4像素单位的MVR、1/2像素单位的MVR、1像素单位的MVR和2像素单位的MVR的运动矢量指示的像素的位置的示图。
图34和图35是用于描述调整默认MV的方法的图。
图36是示出用于描述获得当前块的MVR索引的处理的示例语法的示图。
具体实施方式
最佳模式
根据实施例,一种对运动矢量进行解码的方法可包括:确定用于确定当前块的预测运动矢量(PMV)的至少一个PMV候选块;确定所述至少一个PMV候选块的运动矢量的可用性;当存在被确定为不可用的PMV候选块时,通过使用默认运动矢量(MV)来确定当前块的PMV;并且基于确定的PMV获得当前块的运动矢量。
所述方法还可包括:基于与当前块相关联的多个默认MV候选块的运动矢量来确定所述默认MV。
确定所述默认MV的步骤可包括:基于优先级顺序,针对所述多个默认MV候选块顺序地确定是否存在运动矢量;并且根据识别出运动矢量的顺序,基于所述多个默认MV候选块的运动矢量来确定所述默认MV。
所述方法还可包括:将通过解码器侧运动矢量推导(DMVD)而推导出的运动矢量确定为所述默认MV。
确定所述默认MV的步骤可包括:基于具有与当前块的参考图像索引相同的参考图像索引的默认MV候选块的运动矢量,确定所述默认MV。
确定所述默认MV的步骤可包括:通过考虑当前块的参考图像索引和多个默认MV候选块的参考图像索引来改变优先级顺序。
确定所述默认MV的步骤可包括:基于所述多个默认MV候选块的运动矢量的大小,选择至少一个默认MV候选块;并且基于选择的至少一个默认MV候选块的运动矢量来确定所述默认MV。
选择至少一个默认MV候选块的步骤可包括:从所述多个默认MV候选块中选择具有最大运动矢量或最小运动矢量的默认MV候选块。
确定所述默认MV的步骤可包括:基于所述多个默认MV候选块的运动矢量的平均值或中值,确定所述默认MV。
确定所述默认MV的步骤可包括:通过使用从所述多个默认MV候选块中选择的默认MV候选块的运动矢量来确定所述默认MV,其中,该默认MV候选块是基于该默认MV候选块在先前解码的画面、先前解码的条带或先前解码的最大编码单元中被确定为PMV的次数来选择的。
确定所述默认MV的步骤可包括:从基于当前块各自位于彼此不同的方向的多个默认MV候选块确定各自与一个方向对应的多个默认MV。
所述多个默认MV可包括第一默认MV和第二默认MV,并且确定所述默认MV的步骤可包括:通过使用基于当前块位于第一方向的默认MV候选块的运动矢量来确定第一默认MV,并且通过使用基于当前块位于第二方向的默认MV候选块的运动矢量来确定第二默认MV。
确定当前块的PMV的步骤可包括:当所述至少一个PMV候选块包括基于当前块位于第一方向的PMV候选块和基于当前块位于第二方向的PMV候选块时,当在所述位于第一方向的PMV候选块中不存在运动矢量时,将第一默认MV分配为所述位于第一方向的PMV候选块的运动矢量;并且当在所述位于第二方向的PMV候选块中不存在运动矢量时,将第二默认MV分配为所述位于第二方向的PMV候选块的运动矢量,以确定当前块的PMV。
所述方法还可包括:针对当前块确定运动矢量分辨率,并且确定当前块的PMV的步骤可包括:当基于确定运动矢量的可用性的结果,在根据运动矢量分辨率被确定为用于所述PMV的所述至少一个PMV候选块中不存在运动矢量时,将所述默认MV分配给不存在运动矢量的PMV候选块。
确定当前块的PMV的步骤可包括:基于当前块的运动矢量分辨率调整所述默认MV;并且基于调整后的默认MV确定当前块的PMV。
确定当前块的PMV的步骤可包括:基于确定运动矢量的可用性的结果,从所述至少一个PMV候选块的运动矢量构建预测候选列表;当包括在预测候选列表中的预测候选的数量小于预定数量时,在预测候选列表中添加所述默认MV,使得预测候选的数量变为所述预定数量;并且基于包括在预测候选列表中的预测候选,确定当前块的PMV。
确定当前块的PMV的步骤可包括:将所述默认MV分配给预定位置中的至少一个PMV候选块中的不存在运动矢量的PMV候选块。
根据实施例,一种用于对运动矢量进行解码的设备包括:默认运动矢量确定器,被配置为确定当前块的默认运动矢量(MV);以及预测解码器,被配置为确定用于确定当前块的预测运动矢量(PMV)的至少一个PMV候选块的可用性,并且当存在被确定为不可用的PMV候选块时,被配置为通过使用确定的默认MV来确定当前块的PMV,并且基于确定的PMV获得当前块的运动矢量。
根据实施例,一种对运动矢量进行编码的方法包括:确定用于确定当前块的预测运动矢量(PMV)的至少一个PMV候选块的运动矢量的可用性;并且当存在被确定为不可用的PMV候选块时,通过使用默认运动矢量(MV)来确定当前块的PMV。
公开的模式
由于本公开允许各种改变和多种实施例,因此示例性实施例将在附图中被示出并且在书面描述中被详细描述。然而,这并不旨在将本公开限制为实践的特定模式,并且将理解,不脱离本公开的精神和技术范围的所有改变、等同和替换被包含在本公开中。
在本公开的描述中,当认为相关领域的特定详细解释可能不必要地使本公开的本质模糊时,省略相关领域的特定详细解释。此外,在本公开的实施例的描述中使用的数字(例如,第一和第二)仅旨在将一个组件与另一组件区分开。
当组件被称为“连接”或“接入”到任意其他组件或由任意其他组件“连接”或“接入”时,应理解,该组件可被直接连接或接入到所述其他组件或可由所述其他组件连接或接入,但是除非另外特别指出,否则另一新组件也可被插入到它们之间。
关于具有诸如“单元”或“模块”的后缀的元件,可将两个或更多个元件组合为一个元件,或者可根据功能将一个元件划分为两个或更多个元件。此外,下面将描述的各个组件中的每一个可除了执行每个组件负责的主要功能之外还另外执行其他组件负责的功能中的一些或全部功能,并且各个组件负责的主要功能中的一些功能可由其他组件专门执行。
此外,这里使用的术语“图像”或“画面”可指图像的静止图像或运动图像,即,图像本身。
此外,这里使用的术语“样点”是指分配给图像的采样位置且将被处理的数据。例如,空间域的图像中的像素或变换域中的变换系数可以是样点。可将包括一个或更多个样点的单元定义为块。
此外,这里使用的术语“当前块”可指将被编码或解码的当前图像的最大编码单元、编码单元、预测单元或变换单元的块。
此外,这里使用的术语“运动矢量分辨率(MVR)”可指包括在参考图像(或经过插值的参考图像)中的像素中的可由通过帧间预测确定的运动矢量指示的像素的位置的精度。当MVR具有N像素单位(N是有理数)时,这表示运动矢量可具有N像素单位的精度。例如,1/4像素单位的MVR可表示运动矢量可指示经过插值的参考图像中的1/4像素单位(即,子像素单位)的像素位置,并且1像素单位的MVR可表示运动矢量可指示经过插值的参考图像中的与1像素单位(即,整数像素单位)对应的像素位置。
此外,这里使用的术语“候选MVR”是指可被选为块的MVR的一个或更多个MVR,并且术语“候选块”是指被映射到候选MVR的一个或更多个块并且可被用作用于将被帧间预测的块的预测运动矢量的块。
此外,这里使用的术语“像素单位”可与术语“像素精度”和“像素精确度”互换使用。
在下文中,将参照图1至图24描述根据实施例的基于根据树结构的编码单元和变换单元的图像编码方法和设备以及图像解码方法和设备。将参照图1至图24描述的图像编码设备200和图像解码设备100可分别包括将参照图25至图36描述的运动矢量编码设备2700和运动矢量解码设备2500。
图1是根据实施例的用于基于块形状信息和划分形状信息中的至少一个对图像进行解码的图像解码设备100的框图。
参照图1,根据实施例,图像解码设备100可包括比特流获得器110和解码器120,其中,比特流获得器110用于从比特流获得诸如划分形状信息或块形状信息的预定信息,解码器120用于通过使用获得的信息来对图像进行解码。根据实施例,当图像解码设备100的比特流获得器110获得块形状信息和划分形状信息中的至少一个信息时,图像解码设备100的解码器120可基于块形状信息和划分形状信息中的所述至少一个信息确定用于划分图像的至少一个编码单元。
根据实施例,图像解码设备100的解码器120可基于块形状信息确定编码单元的形状。例如,块形状信息可包括指示编码单元是具有正方形形状还是具有非正方形形状的信息。解码器120可通过使用块形状信息确定编码单元的形状。
根据实施例,解码器120可基于划分形状信息确定编码单元将被划分为的形状。例如,划分形状信息可指示关于包括在编码单元中的至少一个编码单元的形状的信息。
根据实施例,解码器120可根据划分形状信息来确定编码单元是被划分还是不被划分。划分形状信息可包括关于包括在编码单元中的至少一个编码单元的信息,并且当划分形状信息指示仅一个编码单元被包括在编码单元中或不被划分时,解码器120可确定包括划分形状信息的编码单元不被划分。当划分形状信息指示编码单元被划分为多个编码单元时,解码器120可基于划分形状信息将编码单元划分为包括在该编码单元中的多个编码单元。
根据实施例,划分形状信息可指示编码单元将被划分为的编码单元的数量或编码单元将被划分的方向。例如,划分形状信息可指示编码单元在垂直方向和水平方向中的至少一个方向上被划分或不被划分。
图3示出根据实施例的图像解码设备100通过划分当前编码单元来确定至少一个编码单元的处理。
块形状可包括4N×4N、4N×2N、2N×4N、4N×N或N×4N。N可以是正整数。块形状信息是指示编码单元的形状的比例或尺寸、方向、宽度和高度中的至少一个的信息。
编码单元的形状可包括正方形形状和非正方形形状。当编码单元的宽度和高度相同(4N×4N)时,图像解码设备100可将编码单元的块形状信息确定为正方形形状。图像解码设备100可将编码单元的形状确定为非正方形形状。
当编码单元的宽度和高度彼此不同(4N×2N、2N×4N、4N×N或N×4N)时,图像解码设备100可将编码单元的块形状信息确定为非正方形形状。当编码单元的形状是非正方形形状时,图像解码设备100可将编码单元的块形状信息中的宽度与高度的比例确定为1:2、2:1、1:4、4:1、1:8和8:1中的至少一个。此外,图像解码设备100可基于编码单元的宽度长度和高度长度来确定编码单元是水平方向还是垂直方向。此外,图像解码设备100可基于编码单元的宽度长度、高度长度和面积中的至少一个来确定编码单元的尺寸。
根据实施例,图像解码设备100可通过使用块形状信息来确定编码单元的形状,并且可通过使用关于划分形状模式的信息来确定编码单元被划分为哪种形状。也就是说,可根据由图像解码设备100所使用的块形状信息指示哪种块形状来确定由关于划分形状模式的信息指示的编码单元划分方法。
图像解码设备100可从比特流获得关于划分形状模式的信息。然而,本公开不限于此,并且图像解码设备100和图像编码设备200可获得关于基于块形状信息预先约定的划分形状模式的信息。图像解码设备100可获得关于针对最大编码单元或最小编码单元预先约定的划分形状模式的信息。例如,图像解码设备100可将最大编码单元的尺寸确定为256×256。图像解码设备100可通过使用四划分来确定关于预先约定的划分形状模式的信息。四划分是将编码单元的宽度和高度二等分的划分形状模式。图像解码设备100可基于关于划分形状模式的信息从尺寸为256×256的最大编码单元获得尺寸为128×128的编码单元。此外,图像解码设备100可将最小编码单元的尺寸确定为4×4。图像解码设备100可获得指示针对最小编码单元“不执行划分”的关于划分形状模式的信息。
根据实施例,图像解码设备100可使用指示当前编码单元具有正方形形状的块形状信息。例如,图像解码设备100可基于关于划分形状模式的信息确定是不划分正方形编码单元,是垂直划分正方形编码单元,是水平划分正方形编码单元,还是将正方形编码单元划分为四个编码单元。参照图3,在当前编码单元300的块形状信息指示正方形形状时,解码器120可基于指示不执行划分的关于划分形状模式的信息确定不对与当前编码单元300具有相同尺寸的编码单元310a进行划分,或者可确定基于指示预定划分方法的关于划分形状模式的信息而划分出的编码单元310b、310c或310d。
参照图3,根据实施例,图像解码设备100可基于指示垂直地执行划分的关于划分形状模式的信息,确定通过垂直划分当前编码单元300而获得的两个编码单元310b。图像解码设备100可基于指示水平地执行划分的关于划分形状模式的信息,确定通过水平划分当前编码单元300而获得的两个编码单元310c。图像解码设备100可基于指示垂直地和水平地执行划分的关于划分形状模式的信息,确定通过垂直和水平划分当前编码单元300而获得的四个编码单元310d。然而,正方形编码单元的划分方法不限于上述方法,并且关于划分形状模式的信息可指示各种方法。下面将关于各种实施例详细描述划分正方形编码单元的预定划分方法。
图4示出根据实施例的由图像解码设备100执行的通过划分非正方形编码单元来确定至少一个编码单元的处理。
根据实施例,图像解码设备100可使用指示当前编码单元具有非正方形形状的块形状信息。图像解码设备100可基于关于划分形状模式的信息通过使用预定划分方法来确定是不划分非正方形的当前编码单元还是划分非正方形的当前编码单元。参照图4,当当前编码单元400或450的块形状信息指示非正方形形状时,图像解码设备100可基于指示不执行划分的关于划分形状模式的信息确定与当前编码单元400或450具有相同尺寸的编码单元410或460不被划分,或确定基于指示预定划分方法的关于划分形状模式的信息而划分出的编码单元420a和420b、430a至430c、470a和470b、或者480a至480c。下面将关于各种实施例详细描述划分非正方形编码单元的预定划分方法。
根据实施例,图像解码设备100可通过使用关于划分形状模式的信息确定编码单元的划分方法,并且在这种情况下,划分形状信息可指示通过划分编码单元生成的一个或更多个编码单元的数量。参照图4,当关于划分形状模式的信息指示将当前编码单元400或450划分为两个编码单元时,图像解码设备100可通过基于关于划分形状模式的信息对当前编码单元400或450进行划分来确定包括在当前编码单元400或450中的两个编码单元420a和420b或者470a和470b。
根据实施例,当图像解码设备100基于关于划分形状模式的信息划分非正方形的当前编码单元400或450时,可考虑非正方形的当前编码单元400或450的长边的位置。例如,图像解码设备100可考虑当前编码单元400或450的形状,通过划分当前编码单元400或450的长边来确定多个编码单元。
根据实施例,当关于划分形状模式的信息指示将编码单元划分为奇数个块时,图像解码设备100可确定包括在当前编码单元400或450中的奇数个编码单元。例如,当关于划分形状模式的信息指示将当前编码单元400或450划分为三个编码单元时,图像解码设备100可将当前编码单元400或450划分为三个编码单元430a、430b和430c或者480a、480b和480c。
根据实施例,当前编码单元400或450的宽度与高度之间的比例可以是4:1或1:4。当宽度与高度之间的比例为4:1时,宽度长度大于高度长度,并且因此块形状信息可以是水平。当宽度与高度之间的比例为1:4时,宽度长度小于高度长度,并且因此块形状信息可以是垂直。图像解码设备100可基于关于划分形状模式的信息来确定将当前编码单元划分为奇数个块。此外,图像解码设备100可基于当前编码单元400或450的块形状信息确定当前编码单元400或450的划分方向。例如,当当前编码单元400沿垂直方向时,图像解码设备100可水平划分当前编码单元400,并且可确定编码单元430a、430b和430c。此外,当当前编码单元450沿水平方向时,图像解码设备100可垂直划分当前编码单元450,并且可确定编码单元480a、480b和480c。
根据实施例,图像解码设备100可确定包括在当前编码单元400或450中的奇数个编码单元,并且所有确定的编码单元的尺寸可不相同。例如,确定的奇数个编码单元430a、430b和430c或者480a、480b和480c中的预先确定的编码单元430b或480b可具有与其他编码单元430a和430c或者480a和480c的尺寸不同的尺寸。也就是说,可通过划分当前编码单元400或450确定的编码单元可具有多种尺寸,并且在某些情况下,奇数个编码单元430a、430b和430c或者480a、480b和480c中的全部可具有不同的尺寸。
根据实施例,当关于划分形状模式的信息指示将编码单元划分为奇数个块时,图像解码设备100可确定包括在当前编码单元400或450中的奇数个编码单元,并且可对通过划分当前编码单元400或450而生成的奇数个编码单元中的至少一个编码单元施加预定限制。参照图4,图像解码设备100可允许编码单元430b或480b的解码方法与其他编码单元430a和430c或者480a和480c的解码方法不同,其中,编码单元430b或480b在通过划分当前编码单元400或450而生成的三个编码单元430a、430b和430c或者480a、480b和480c中的中心位置处。例如,与其他编码单元430a和430c或者480a和480c不同,图像解码设备100可限制中心位置处的编码单元430b或480b不再被划分或仅被划分预定次数。
图5示出根据实施例的由图像解码设备100执行的基于块形状信息和关于划分形状模式的信息中的至少一个划分编码单元的处理。
根据实施例,图像解码设备100可基于块形状信息和关于划分形状模式的信息中的至少一个,确定将正方形的第一编码单元500划分为编码单元或不对正方形的第一编码单元500进行划分。根据实施例,当关于划分形状模式的信息指示在水平方向上划分第一编码单元500时,图像解码设备100可通过在水平方向上划分第一编码单元500来确定第二编码单元510。根据实施例使用的第一编码单元、第二编码单元和第三编码单元是用于理解在划分编码单元之前和在划分编码单元之后的关系的术语。例如,可通过划分第一编码单元来确定第二编码单元,并且可通过划分第二编码单元来确定第三编码单元。将理解,第一编码单元、第二编码单元和第三编码单元之间的关系遵循以上描述。
根据实施例,图像解码设备100可基于块形状信息和关于划分形状模式的信息中的至少一个确定将确定的第二编码单元510划分为编码单元或不对确定的第二编码单元510进行划分。参照图5,图像解码设备100可基于块形状信息和关于划分形状模式的信息中的至少一个将或不将通过划分第一编码单元500而确定的非正方形的第二编码单元510划分为一个或更多个第三编码单元520a或者520b、520c和520d。图像解码设备100可获得块形状信息和关于划分形状模式的信息中的至少一个,并通过基于获得的块形状信息和关于划分形状模式的信息中的所述至少一个划分第一编码单元500来划分出多个各种形状的第二编码单元(例如,510),并且可基于块形状信息和关于划分形状模式的信息中的至少一个,通过使用第一编码单元500的划分方法来划分第二编码单元510。根据实施例,当基于第一编码单元500的块形状信息和关于划分形状模式的信息中的至少一个将第一编码单元500划分为第二编码单元510时,也可基于第二编码单元510的块形状信息和关于划分形状模式的信息中的至少一个将第二编码单元510划分为第三编码单元520a或者520b、520c和520d。也就是说,可基于每个编码单元的块形状信息和关于划分形状模式的信息中的至少一个递归地划分编码单元。因此,可通过划分非正方形编码单元来确定正方形编码单元,并且可通过递归地划分正方形编码单元来确定非正方形编码单元。
参照图5,通过划分非正方形的第二编码单元510而确定的奇数个第三编码单元520b、520c和520d中的预定编码单元(例如,中心位置处的编码单元或正方形编码单元)可被递归地划分。根据实施例,可在水平方向上将奇数个第三编码单元520b、520c和520d中的正方形的第三编码单元520b划分为多个第四编码单元。可将多个第四编码单元530a、530b、530c和530d中的非正方形的第四编码单元530b或530d划分为多个编码单元。例如,可将非正方形的第四编码单元530b或530d再次划分为奇数个编码单元。下面将关于各种实施例描述可被用于递归地划分编码单元的方法。
根据实施例,图像解码设备100可基于块形状信息和关于划分形状模式的信息中的至少一个将第三编码单元520a或者520b、520c和520d中的每一个划分为编码单元。此外,图像解码设备100可基于块形状信息和关于划分形状模式的信息中的至少一个确定不划分第二编码单元510。根据实施例,图像解码设备100可将非正方形的第二编码单元510划分为奇数个第三编码单元520b、520c和520d。图像解码设备100可对奇数个第三编码单元520b、520c和520d中的预定第三编码单元施加预定限制。例如,图像解码设备100可将奇数个第三编码单元520b、520c和520d中的中心位置处的第三编码单元520c限制为不再被划分或者被划分可设置的次数。
参照图5,图像解码设备100可将包括在非正方形的第二编码单元510中的奇数个第三编码单元520b、520c和520d中的中心位置处的第三编码单元520c限制为不再被划分,限制为通过使用预定划分方法被划分(例如,仅被划分为四个编码单元或通过使用第二编码单元510的划分方法被划分),或者限制为仅被划分预定次数(例如,仅被划分n次(其中,n>0))。然而,对中心位置处的第三编码单元520c的限制不限于上述示例,并且可包括用于与其他第三编码单元520b和520d不同地对在中心位置处的第三编码单元520c进行解码的各种限制。
根据实施例,图像解码设备100可从当前编码单元中的预定位置获得用于对当前编码单元进行划分的块形状信息和关于划分形状模式的信息中的至少一个。
图6示出根据实施例的由图像解码设备100执行的从奇数个编码单元中确定预定编码单元的方法。
参照图6,可从当前编码单元600或650中包括的多个样点中的预定位置的样点(例如,中心位置的样点640或690)获得当前编码单元600或650的块形状信息和关于划分形状模式的信息中的至少一个。然而,当前编码单元600中的可获得块形状信息和关于划分形状模式的信息中的至少一个的预定位置不限于图6中的中心位置,并且可包括当前编码单元600中所包括的各种位置(例如,上方、下方、左侧、右侧、左上方、左下方、右上方和右下方位置)。图像解码设备100可从所述预定位置获得块形状信息和关于划分形状模式的信息中的至少一个,并且确定将当前编码单元划分为各种形状和各种尺寸的编码单元或不对当前编码单元进行划分。
根据实施例,在当前编码单元被划分为预定数量的编码单元时,图像解码设备100可选择编码单元中的一个编码单元。如下面将关于各种实施例描述的,可使用各种方法以选择多个编码单元中的一个。
根据实施例,图像解码设备100可将当前编码单元划分为多个编码单元,并且可确定预定位置处的编码单元。
根据实施例,图像解码设备100可使用指示奇数个编码单元的位置的信息来确定奇数个编码单元中的中心位置处的编码单元。参照图6,图像解码设备100可通过划分当前编码单元600或当前编码单元650来确定奇数个编码单元620a、620b和620c或者奇数个编码单元660a、660b和660c。图像解码设备100可通过使用关于奇数个编码单元620a、620b和620c或者奇数个编码单元660a、660b和660c的位置的信息来确定中心位置处的编码单元620b或中心位置处的编码单元660b。例如,图像解码设备100可通过基于指示包括在编码单元620a、620b和620c中的预定样点的位置的信息确定编码单元620a、620b和620c的位置,来确定中心位置的编码单元620b。详细地,图像解码设备100可通过基于指示编码单元620a、620b和620c的左上样点630a、630b和630c的位置的信息确定编码单元620a、620b和620c的位置,来确定中心位置处的编码单元620b。
根据实施例,指示分别包括在编码单元620a、620b和620c中的左上样点630a、630b和630c的位置的信息可包括关于编码单元620a、620b和620c在画面中的位置或坐标的信息。根据实施例,指示分别包括在编码单元620a、620b和620c中的左上样点630a、630b和630c的位置的信息可包括指示当前编码单元600中包括的编码单元620a、620b和620c的宽度或高度的信息,并且宽度或高度可与指示编码单元620a、620b和620c在画面中的坐标之间的差的信息对应。也就是说,图像解码设备100可通过直接使用关于编码单元620a、620b和620c在画面中的位置或坐标的信息或者通过使用关于与坐标之间的差值对应的编码单元的宽度或高度的信息来确定中心位置处的编码单元620b。
根据实施例,指示上方编码单元620a的左上样点630a的位置的信息可包括坐标(xa,ya),指示中间编码单元620b的左上样点630b的位置的信息可包括坐标(xb,yb),指示下方编码单元620c的左上样点630c的位置的信息可包括坐标(xc,yc)。图像解码设备100可通过使用分别包括在编码单元620a、620b和620c中的左上样点630a、630b和630c的坐标来确定中间编码单元620b。例如,当左上样点630a、630b和630c的坐标按照升序或降序排序时,可将中心位置处的包括样点630b的坐标(xb,yb)的编码单元620b确定为通过划分当前编码单元600确定的编码单元620a、620b和620c中的中心位置处的编码单元。然而,指示左上样点630a、630b和630c的位置的坐标可包括指示画面中的绝对位置的坐标,或者可使用指示中间编码单元620b的左上样点630b相对于上方编码单元620a的左上样点630a的位置的相对位置的坐标(dxb,dyb)和指示下方编码单元620c的左上样点630c相对于上方编码单元620a的左上样点630a的位置的相对位置的坐标(dxc,dyc)。此外,通过将包括在编码单元中的样点的坐标用作指示样点的位置的信息来确定预定位置处的编码单元的方法不限于上述方法,并且可包括能够使用样点的坐标的各种算术方法。
根据实施例,图像解码设备100可将当前编码单元600划分为多个编码单元620a、620b和620c,并且可基于预定标准选择编码单元620a、620b和620c中的一个编码单元。例如,图像解码设备100可从编码单元620a、620b和620c中选择尺寸与其他编码单元的尺寸不同的编码单元620b。
根据实施例,图像解码设备100可通过使用指示上方编码单元620a的左上样点630a的位置的坐标(xa,ya)、指示中间编码单元620b的左上样点630b的位置的坐标(xb,yb)和指示下方编码单元620c的左上样点630c的位置的坐标(xc,yc)来确定编码单元620a、620b和620c的宽度或高度。图像解码设备100可通过使用指示编码单元620a、620b和620c的位置的坐标(xa,ya)、(xb,yb)和(xc,yc)来确定编码单元620a、620b和620c的各自的尺寸。根据实施例,图像解码设备100可将上方编码单元620a的宽度确定为当前编码单元600的宽度。图像解码设备100可将上方编码单元620a的高度确定为yb-ya。根据实施例,图像解码设备100可将中间编码单元620b的宽度确定为当前编码单元600的宽度。图像解码设备100可将中间编码单元620b的高度确定为yc-yb。根据实施例,图像解码设备100可通过使用当前编码单元600的宽度或高度或者上方编码单元620a和中间编码单元620b的宽度或高度来确定下方编码单元620c的宽度或高度。图像解码设备100可基于确定的编码单元620a至620c的宽度和高度来确定具有与其他编码单元的尺寸不同的尺寸的编码单元。参照图6,图像解码设备100可将具有与上方编码单元620a和下方编码单元620c的尺寸不同的尺寸的中间编码单元620b确定为预定位置的编码单元。然而,上述由图像解码设备100执行的确定具有与其他编码单元的尺寸不同的尺寸的编码单元的方法仅与通过使用基于样点的坐标确定的编码单元的尺寸来确定预定位置处的编码单元的示例对应,并且因此,通过将基于预定样点的坐标确定的编码单元的尺寸进行比较来确定预定位置处的编码单元的各种方法可被使用。
图像解码设备100可通过使用作为指示左侧编码单元660a的左上样点670a的位置的信息的坐标(xd,yd)、作为指示中间编码单元660b的左上样点670b的位置的信息的坐标(xe,ye)和作为指示右侧编码单元660c的左上样点670c的位置的信息的坐标(xf,yf)来确定编码单元660a、660b和660c中的每一个的宽度或高度。图像解码设备100可通过使用指示编码单元660a、660b和660c的位置的坐标(xd,yd)、(xe,ye)和(xf,yf)来确定编码单元660a、660b和660c的尺寸。
根据实施例,图像解码设备100可将左侧编码单元660a的宽度确定为xe-xd。图像解码设备100可将左侧编码单元660a的高度确定为当前编码单元650的高度。根据实施例,图像解码设备100可将中间编码单元660b的宽度确定为xf-xe。图像解码设备100可将中间编码单元660b的高度确定为当前编码单元600的高度。根据实施例,图像解码设备100可通过使用当前编码单元650的宽度或高度以及左侧编码单元660a和中间编码单元660b的宽度和高度来确定右侧编码单元660c的宽度或高度。图像解码设备100可基于所确定的编码单元660a、660b和660c的宽度和高度来确定具有与其他编码单元的尺寸不同的尺寸的编码单元。参照图6,图像解码设备100可将具有与左侧编码单元660a和右侧编码单元660c的尺寸不同的尺寸的中间编码单元660b确定为预定位置的编码单元。然而,上述由图像解码设备100执行的确定尺寸与其他编码单元的尺寸不同的编码单元的方法仅与通过使用基于样点的坐标确定的编码单元的尺寸来确定预定位置处的编码单元的示例对应,并且因此,通过将基于预定样点的坐标确定的编码单元的尺寸进行比较来确定预定位置处的编码单元的各种方法可被使用。
然而,确定编码单元的位置所考虑的样点的位置不限于上述的左上位置,并且可使用关于包括在编码单元中的样点的任意位置的信息。
根据实施例,图像解码设备100可考虑当前编码单元的形状,从通过划分当前编码单元确定的奇数个编码单元中选择预定位置处的编码单元。例如,当当前编码单元具有宽度大于高度的非正方形形状时,图像解码设备100可确定沿水平方向的预定位置处的编码单元。也就是说,图像解码设备100可确定沿水平方向的不同位置处的编码单元中的一个编码单元并且可对该编码单元施加限制。当当前编码单元具有高度大于宽度的非正方形形状时,图像解码设备100可确定沿垂直方向的预定位置处的编码单元。也就是说,图像解码设备100可确定沿垂直方向的不同位置处的编码单元中的一个编码单元,并且可对该编码单元施加限制。
根据实施例,图像解码设备100可使用指示偶数个编码单元的各个位置的信息,以确定偶数个编码单元中的预定位置处的编码单元。图像解码设备100可通过划分当前编码单元来确定偶数个编码单元,并且可通过使用关于偶数个编码单元的位置的信息来确定预定位置处的编码单元。与其相关的操作可与已经在上面关于图6详细描述的确定奇数个编码单元中的预定位置(例如,中心位置)处的编码单元的操作对应,并且因此这里不提供其详细描述。
根据实施例,当将非正方形的当前编码单元划分为多个编码单元时,可在划分操作中使用关于预定位置处的编码单元的预定信息来确定多个编码单元中的预定位置处的编码单元。例如,图像解码设备100可在划分操作中使用存储在中心位置处的编码单元中包括的样点中的块形状信息和关于划分形状模式的信息中的至少一个来从通过划分当前编码单元确定的多个编码单元中确定中心位置处的编码单元。
参照图6,图像解码设备100可基于块形状信息和关于划分形状模式的信息中的至少一个,将当前编码单元600划分为多个编码单元620a、620b和620c,并且可确定多个编码单元620a、620b和620c中的中心位置处的编码单元620b。此外,图像解码设备100可考虑获得块形状信息和关于划分形状模式的信息中的至少一个的位置来确定中心位置处的编码单元620b。也就是说,可从当前编码单元600的中心位置处的样点640获得当前编码单元600的块形状信息和关于划分形状模式的信息中的至少一个,并且当基于块形状信息和关于划分形状模式的信息中的至少一个将当前编码单元600划分为多个编码单元620a、620b和620c时,可将包括样点640的编码单元620b确定为中心位置处的编码单元。然而,用于确定中心位置处的编码单元的信息不限于块形状信息和关于划分形状模式的信息中的至少一个信息,并且可使用各种类型的信息来确定中心位置处的编码单元。
根据实施例,可从包括在将被确定的编码单元中的预定样点获得用于识别预定位置处的编码单元的预定信息。参照图6,图像解码设备100可使用从当前编码单元600中的预定位置处的样点(例如,当前编码单元600的中心位置处的样点)获得的块形状信息和关于划分形状模式的信息中的至少一个,来确定通过划分当前编码单元600确定的多个编码单元620a、620b和620c中的预定位置处的编码单元(例如,划分出的多个编码单元中的中心位置处的编码单元)。也就是说,图像解码设备100可通过考虑当前编码单元600的块形状来确定预定位置处的样点,从通过划分当前编码单元600确定的多个编码单元620a、620b和620c中确定包括可从其获得预定信息(例如,块形状信息和关于划分形状模式的信息中的至少一个)的样点的编码单元620b,并且可对编码单元620b施加预定限制。参照图6,根据实施例,在解码操作中,图像解码设备100可将当前编码单元600的中心位置处的样点640确定为可从其获得预定信息的样点,并且可对包括样点640的编码单元620b施加预定限制。然而,可从其获得预定信息的样点的位置不限于上述位置,并且可包括编码单元620b中所包括的将被确定用于限制的样点的任意位置。
根据实施例,可基于当前编码单元600的形状确定可从其获得预定信息的样点的位置。根据实施例,块形状信息可指示当前编码单元是具有正方形形状还是具有非正方形形状,并且可基于该形状确定可从其获得预定信息的样点的位置。例如,图像解码设备100可通过使用关于当前编码单元的宽度的信息和关于当前编码单元的高度的信息中的至少一个将位于用于将当前编码单元的宽度和高度中的至少一个对半划分的边界上的样点确定为可从其获得预定信息的样点。作为另一示例,在当前编码单元的块形状信息指示非正方形形状时,图像解码设备100可将与用于将当前编码单元的长边对半划分的边界相邻的样点中的一个样点确定为可从其获得预定信息的样点。
根据实施例,在当前编码单元被划分为多个编码单元时,图像解码设备100可使用块形状信息和关于划分形状模式的信息中的至少一个来确定多个编码单元中的预定位置处的编码单元。根据实施例,图像解码设备100可从编码单元中的预定位置处的样点获得块形状信息和关于划分形状模式的信息中的至少一个,并且可通过使用从多个编码单元中的每个编码单元中的预定位置处的样点获得的块形状信息和关于划分形状模式的信息中的至少一个对通过划分当前编码单元生成的多个编码单元进行划分。也就是说,可基于从每个编码单元中的预定位置处的样点获得的块形状信息和关于划分形状模式的信息中的至少一个递归地划分编码单元。上面已经关于图5描述了递归地划分编码单元的操作,并且因此这里将不提供其详细描述。
根据实施例,图像解码设备100可通过划分当前编码单元确定一个或更多个编码单元,并且可基于预定块(例如,当前编码单元)确定对所述一个或更多个编码单元进行解码的顺序。
图7示出根据实施例的当图像解码设备100通过划分当前编码单元来确定多个编码单元时对所述多个编码单元进行处理的顺序。
根据实施例,基于块形状信息和关于划分形状模式的信息,图像解码设备100可通过在垂直方向上划分第一编码单元700来确定第二编码单元710a和710b,通过在水平方向上划分第一编码单元700来确定第二编码单元730a和730b,或者通过在垂直方向和水平方向上划分第一编码单元700来确定第二编码单元750a至750d。
参照图7,图像解码设备100可确定按照水平方向顺序710c对通过在垂直方向上划分第一编码单元700确定的第二编码单元710a和710b进行处理。图像解码设备100可确定按照垂直方向顺序730c对通过在水平方向上划分第一编码单元700确定的第二编码单元730a和730b进行处理。图像解码设备100可确定按照预定顺序(例如,按照光栅扫描顺序或Z字形扫描顺序750e)对通过在垂直方向和水平方向上划分第一编码单元700确定的第二编码单元750a至750d进行处理,其中,所述预定顺序用于对一行中的编码单元进行处理然后对下一行中的编码单元进行处理。
根据实施例,图像解码设备100可递归地划分编码单元。参照图7,图像解码设备100可通过划分第一编码单元700来确定多个编码单元710a、710b、730a、730b、750a、750b、750c和750d,并且可递归地划分确定的多个编码单元710a、710b、730a、730b、750a、750b、750c和750d中的每一个。多个编码单元710a、710b、730a、730b、750a、750b、750c和750d的划分方法可对应于第一编码单元700的划分方法。如此,多个编码单元710a、710b、730a、730b、750a、750b、750c和750d中的每一个可被独立地划分为多个编码单元。参照图7,图像解码设备100可通过在垂直方向上划分第一编码单元700来确定第二编码单元710a和710b,并且可确定独立地划分第二编码单元710a和710b中的每一个或者不对第二编码单元710a和710b中的每一个进行划分。
根据实施例,图像解码设备100可通过在水平方向上对左侧第二编码单元710a进行划分来确定第三编码单元720a和720b,并且可不对右侧第二编码单元710b进行划分。
根据实施例,可基于划分编码单元的操作确定编码单元的处理顺序。换句话说,可基于紧接在被划分之前的编码单元的处理顺序来确定划分出的编码单元的处理顺序。图像解码设备100可独立于右侧第二编码单元710b来确定通过划分左侧第二编码单元710a确定的第三编码单元720a和720b的处理顺序。因为通过在水平方向上划分左侧第二编码单元710a来确定第三编码单元720a和720b,所以可按照垂直方向顺序720c对第三编码单元720a和720b进行处理。因为左侧第二编码单元710a和右侧第二编码单元710b按照水平方向顺序710c被处理,所以可在按照垂直方向顺序720c对左侧第二编码单元710a中包括的第三编码单元720a和720b进行处理之后对右侧第二编码单元710b进行处理。基于划分之前的编码单元来确定编码单元的处理顺序的操作不限于上述示例,并且可使用各种方法按照预定顺序独立地处理被划分并被确定为各种形状的编码单元。
图8示出根据实施例的由图像解码设备100执行的当不能按照预定顺序对编码单元进行处理时确定当前编码单元将被划分为奇数个编码单元的处理。
根据实施例,图像解码设备100可基于获得的块形状信息和关于划分形状模式的信息确定当前编码单元是否被划分为奇数个编码单元。参照图8,正方形的第一编码单元800可被划分为非正方形的第二编码单元810a和810b,第二编码单元810a和810b可被独立地划分为第三编码单元820a和820b以及820c至820e。根据实施例,图像解码设备100可通过在水平方向上划分左侧第二编码单元810a来确定多个第三编码单元820a和820b,并且可将右侧第二编码单元810b划分为奇数个第三编码单元820c至820e。
根据实施例,图像解码设备100可通过确定第三编码单元820a和820b以及820c至820e是否可按照预定顺序处理,来确定是否将任意编码单元划分为奇数个编码单元。参照图8,图像解码设备100可通过递归地划分第一编码单元800来确定第三编码单元820a和820b以及820c至820e。图像解码设备100可基于块形状信息和关于划分形状模式的信息中的至少一个确定以下编码单元中的任意一个是否被划分为奇数个编码单元:第一编码单元800、第二编码单元810a和810b、以及第三编码单元820a和820b及820c、820d和820e。例如,右侧第二编码单元810b可被划分为奇数个第三编码单元820c、820d和820e。第一编码单元800中包括的多个编码单元的处理顺序可以是预定顺序(例如,Z字形扫描顺序830),图像解码设备100可确定通过将右侧第二编码单元810b划分为奇数个编码单元而确定的第三编码单元820c、820d和820e是否满足用于按照预定顺序进行处理的条件。
根据实施例,图像解码设备100可确定第一编码单元800中包括的第三编码单元820a和820b以及820c、820d和820e是否满足用于按照预定顺序进行处理的条件,并且该条件涉及第二编码单元810a和810b的宽度和高度中的至少一个是否沿着第三编码单元820a和820b以及820c、820d和820e的边界被对半划分。例如,通过将非正方形的左侧第二编码单元810a的高度对半划分而确定的第三编码单元820a和820b满足所述条件。然而,因为通过将右侧第二编码单元810b划分为三个编码单元而确定的第三编码单元820c、820d和820e的边界未将右侧第二编码单元810b的宽度或高度对半划分,所以可确定第三编码单元820c、820d和820e不满足所述条件。当如上所述不满足所述条件时,图像解码设备100可确定扫描顺序不连续,并且基于确定结果确定右侧第二编码单元810b被划分为奇数个编码单元。根据实施例,当编码单元被划分为奇数个编码单元时,图像解码设备100可对划分出的编码单元中的预定位置处的编码单元施加预定限制,上面已经关于各种实施例描述了所述限制或所述预定位置,因此这里将不提供其详细描述。
图9示出根据实施例的由图像解码设备100执行的通过划分第一编码单元900确定至少一个编码单元的处理。
根据实施例,图像解码设备100可基于由比特流获得器110获得的块形状信息和关于划分形状模式的信息中的至少一个对第一编码单元900进行划分。正方形的第一编码单元900可被划分为四个正方形编码单元,或者可被划分为多个非正方形编码单元。例如,参照图9,当块形状信息指示第一编码单元900具有正方形形状并且关于划分形状模式的信息指示将第一编码单元900划分为非正方形编码单元时,图像解码设备100可将第一编码单元900划分为多个非正方形编码单元。详细地,当关于划分形状模式的信息指示通过在水平方向或垂直方向上划分第一编码单元900来确定奇数个编码单元时,图像解码设备100可将正方形的第一编码单元900划分为奇数个编码单元(例如,通过在垂直方向上划分正方形的第一编码单元900而确定的第二编码单元910a、910b和910c,或者通过在水平方向上划分正方形的第一编码单元900而确定的第二编码单元920a、920b和920c)。
根据实施例,图像解码设备100可确定包括在第一编码单元900中的第二编码单元910a、910b、910c、920a、920b和920c是否满足用于按照预定顺序进行处理的条件,并且该条件与第一编码单元900的宽度和高度中的至少一个是否沿着第二编码单元910a、910b、910c、920a、920b和920c的边界被对半划分相关。参照图9,因为通过在垂直方向上划分正方形的第一编码单元900而确定的第二编码单元910a、910b和910c的边界未将第一编码单元900的宽度对半划分,所以可确定第一编码单元900不满足用于按照预定顺序进行处理的条件。此外,因为通过在水平方向上划分正方形的第一编码单元900而确定的第二编码单元920a、920b和920c的边界未将第一编码单元900的高度对半划分,所以可确定第一编码单元900不满足用于按照预定顺序进行处理的条件。当如上所述不满足所述条件时,图像解码设备100可确定扫描顺序不连续,并且可基于确定结果确定第一编码单元900被划分为奇数个编码单元。根据实施例,当编码单元被划分为奇数个编码单元时,图像解码设备100可对划分出的编码单元中的预定位置处的编码单元施加预定限制。上面已经关于各种实施例描述了所述限制或所述预定位置,因此这里将不提供其详细描述。
根据实施例,图像解码设备100可通过划分第一编码单元来确定各种形状的编码单元。
参照图9,图像解码设备100可将正方形的第一编码单元900或非正方形的第一编码单元930或950划分为各种形状的编码单元。
图10示出根据实施例的当通过划分第一编码单元1000确定的具有非正方形形状的第二编码单元满足预定条件时图像解码设备100可将第二编码单元划分为的形状受到限制。
根据实施例,图像解码设备100可基于由比特流获得器110获得的块形状信息和关于划分形状模式的信息中的至少一个确定将正方形的第一编码单元1000划分为非正方形的第二编码单元1010a、1010b、1020a和1020b。第二编码单元1010a、1010b、1020a和1020b可被独立地划分。如此,基于第二编码单元1010a、1010b、1020a和1020b中的每一个的块形状信息和关于划分形状模式的信息中的至少一个,图像解码设备100可确定将第一编码单元1000划分为多个编码单元或不对第一编码单元1000进行划分。根据实施例,图像解码设备100可通过在水平方向上对通过在垂直方向上划分第一编码单元1000而确定的非正方形的左侧第二编码单元1010a进行划分,来确定第三编码单元1012a和1012b。然而,当左侧第二编码单元1010a在水平方向上被划分时,图像解码设备100可限制右侧第二编码单元1010b不在左侧第二编码单元1010a被划分的水平方向上被划分。当通过在相同方向上划分右侧第二编码单元1010b来确定第三编码单元1014a和1014b时,因为左侧第二编码单元1010a和右侧第二编码单元1010b在水平方向上被独立地划分,所以可确定第三编码单元1012a、1012b、1014a和1014b。然而,这种情况与图像解码设备100基于块形状信息和关于划分形状模式的信息中的至少一个将第一编码单元1000划分为四个正方形的第二编码单元1030a、1030b、1030c和1030d的情况作用相同,并且在图像解码方面可能是低效的。
根据实施例,图像解码设备100可通过在垂直方向上对通过在水平方向上划分第一编码单元1000而确定的非正方形的第二编码单元1020a或1020b进行划分,来确定第三编码单元1022a、1022b、1024a和1024b。然而,当第二编码单元(例如,上方第二编码单元1020a)在垂直方向上被划分时,出于上述原因,图像解码设备100可限制另一第二编码单元(例如,下方第二编码单元1020b)不在上方第二编码单元1020a被划分的垂直方向上被划分。
图11示出根据实施例的由图像解码设备100执行的当关于划分形状模式的信息指示正方形编码单元将不被划分为四个正方形编码单元时划分正方形编码单元的处理。
根据实施例,图像解码设备100可通过基于块形状信息和关于划分形状模式的信息中的至少一个划分第一编码单元1100来确定第二编码单元1110a、1110b、1120a、1120b等。关于划分形状模式的信息可包括关于划分编码单元的各种方法的信息,但是关于各种划分方法的信息可不包括用于将编码单元划分为四个正方形编码单元的信息。根据这样的关于划分形状模式的信息,图像解码设备100可不将正方形的第一编码单元1100划分为四个正方形的第二编码单元1130a、1130b、1130c和1130d。图像解码设备100可基于关于划分形状模式的信息确定非正方形的第二编码单元1110a、1110b、1120a、1120b等。
根据实施例,图像解码设备100可独立地划分非正方形的第二编码单元1110a、1110b、1120a、1120b等。第二编码单元1110a、1110b、1120a、1120b等中的每一个可按照预定顺序被递归地划分,并且该划分方法可与基于块形状信息和关于划分形状模式的信息中的至少一个来划分第一编码单元1100的方法对应。
例如,图像解码设备100可通过在水平方向上划分左侧第二编码单元1110a来确定正方形的第三编码单元1112a和1112b,并且可通过在水平方向上划分右侧第二编码单元1110b来确定正方形的第三编码单元1114a和1114b。此外,图像解码设备100可通过在水平方向上划分左侧第二编码单元1110a和右侧第二编码单元1110b两者来确定正方形的第三编码单元1116a、1116b、1116c和1116d。在这种情况下,与从第一编码单元1100划分出的四个正方形的第二编码单元1130a、1130b、1130c和1130d具有相同形状的编码单元可被确定。
作为另一示例,图像解码设备100可通过在垂直方向上划分上方第二编码单元1120a来确定正方形的第三编码单元1122a和1122b,并且可通过在垂直方向上划分下方第二编码单元1120b来确定正方形的第三编码单元1124a和1124b。此外,图像解码设备100可通过在垂直方向上划分上方第二编码单元1120a和下方第二编码单元1120b两者来确定正方形的第三编码单元1126a、1126b、1126c和1126d。在这种情况下,与从第一编码单元1100划分出的四个正方形的第二编码单元1130a、1130b、1130c和1130d具有相同形状的编码单元可被确定。
图12示出根据实施例的可根据划分编码单元的处理改变多个编码单元之间的处理顺序。
根据实施例,图像解码设备100可基于块形状信息和关于划分形状模式的信息划分第一编码单元1200。当块形状信息指示正方形形状并且关于划分形状模式的信息指示在水平方向和垂直方向中的至少一个上划分第一编码单元1200时,图像解码设备100可通过划分第一编码单元1200来确定第二编码单元1210a、1210b、1220a和1220b。参照图12,通过仅在水平方向或垂直方向上划分第一编码单元1200而确定的非正方形的第二编码单元1210a、1210b、1220a和1220b可基于每个编码单元的块形状信息和关于划分形状模式的信息被独立地划分。例如,图像解码设备100可通过在水平方向上对通过在垂直方向上划分第一编码单元1200而生成的第二编码单元1210a和1210b进行划分来确定第三编码单元1216a、1216b、1216c和1216d,并且可通过在垂直方向上对通过在水平方向上划分第一编码单元1200而生成的第二编码单元1220a和1220b进行划分来确定第三编码单元1226a、1226b、1226c和1226d。上面已经关于图11描述了划分第二编码单元1210a、1210b、1220a和1220b的操作,因此这里将不提供其详细描述。
根据实施例,图像解码设备100可按照预定顺序处理编码单元。上面已经关于图7描述了按照预定顺序处理编码单元的操作,因此这里将不提供其详细描述。参照图12,图像解码设备100可通过划分正方形的第一编码单元1200,确定四个正方形的第三编码单元1216a、1216b、1216c和1216d以及1226a、1226b、1226c和1226d。根据实施例,图像解码设备100可基于第一编码单元1200的划分方法确定第三编码单元1216a、1216b、1216c和1216d以及1226a、1226b、1226c和1226d的处理顺序。
根据实施例,图像解码设备100可通过在水平方向上对通过在垂直方向上划分第一编码单元1200而生成的第二编码单元1210a和1210b进行划分来确定第三编码单元1216a、1216b、1216c和1216d,并且可按照如下处理顺序1217处理第三编码单元1216a、1216b、1216c和1216d:首先在垂直方向上处理左侧第二编码单元1210a中包括的第三编码单元1216a和1216c,然后在垂直方向上处理右侧第二编码单元1210b中包括的第三编码单元1216b和1216d。
根据实施例,图像解码设备100可通过在垂直方向上对通过在水平方向上划分第一编码单元1200而生成的第二编码单元1220a和1220b进行划分来确定第三编码单元1226a、1226b、1226c和1226d,并且可按照如下处理顺序1227处理第三编码单元1226a、1226b、1226c和1226d:首先在水平方向上处理上方第二编码单元1220a中包括的第三编码单元1226a和1226b,然后在水平方向上处理下方第二编码单元1220b中包括的第三编码单元1226c和1226d。
参照图12,可通过分别划分第二编码单元1210a、1210b、1220a和1220b来确定正方形的第三编码单元1216a、1216b、1216c和1216d以及1226a、1226b、1226c和1226d。尽管通过在垂直方向上划分第一编码单元1200确定的第二编码单元1210a和1210b与通过在水平方向上划分第一编码单元1200确定的第二编码单元1220a和1220b不同,但是从第二编码单元1210a和1210b以及第二编码单元1220a和1220b划分出的第三编码单元1216a、1216b、1216c和1216d以及1226a、1226b、1226c和1226d最终示出从第一编码单元1200划分出的相同形状的编码单元。如此,通过基于块形状信息和关于划分形状模式的信息中的至少一个以不同的方式递归地划分编码单元,即使最终将编码单元确定为相同的形状,图像解码设备100也可按照不同顺序对多个编码单元进行处理。
图13示出根据实施例的当递归地划分编码单元而使得确定了多个编码单元时随着编码单元的形状和尺寸改变确定编码单元的深度的处理。
根据实施例,图像解码设备100可基于预定标准确定编码单元的深度。例如,预定标准可以是编码单元的长边的长度。当被划分之前的编码单元的长边的长度是划分后的当前编码单元的长边的长度的2n(n>0)倍时,图像解码设备100可确定当前编码单元的深度比划分之前的编码单元的深度增大n。在下面的描述中,具有增大的深度的编码单元被表示为更深深度的编码单元。
参照图13,根据实施例,图像解码设备100可通过基于指示正方形形状的块形状信息(例如,块形状信息可被表示为“0:SQUARE”)划分正方形的第一编码单元1300,确定更深深度的第二编码单元1302和第三编码单元1304。假设正方形的第一编码单元1300的尺寸是2N×2N,通过将第一编码单元1300的宽度和高度划分至1/2所确定的第二编码单元1302可具有N×N的尺寸。此外,通过将第二编码单元1302的宽度和高度划分至1/2所确定的第三编码单元1304可具有N/2×N/2的尺寸。在这种情况下,第三编码单元1304的宽度和高度是第一编码单元1300的宽度和高度的1/4。当第一编码单元1300的深度为D时,宽度和高度是第一编码单元1300的宽度和高度的1/2的第二编码单元1302的深度可以是D+1,并且宽度和高度是第一编码单元1300的宽度和高度的1/4的第三编码单元1304的深度可以是D+2。
根据实施例,图像解码设备100可通过基于指示非正方形形状的块形状信息(例如,块形状信息可被表示为指示高度长于宽度的非正方形形状的“1:NS_VER”,或者可被表示为指示宽度长于高度的非正方形形状的“2:NS_HOR”)划分非正方形的第一编码单元1310或1320来确定更深深度的第二编码单元1312或1322以及第三编码单元1314或1324。
图像解码设备100可通过划分尺寸为N×2N的第一编码单元1310的宽度和高度中的至少一个来确定第二编码单元1302、1312或1322。也就是说,图像解码设备100可通过在水平方向上划分第一编码单元1310来确定尺寸为N×N的第二编码单元1302或尺寸为N×N/2的第二编码单元1322,或者可通过在水平方向和垂直方向上划分第一编码单元1310来确定尺寸为N/2×N的第二编码单元1312。
根据实施例,图像解码设备100可通过划分尺寸为2N×N的第一编码单元1320的宽度和高度中的至少一个来确定第二编码单元1302、1312或1322。也就是说,图像解码设备100可通过在垂直方向上划分第一编码单元1320来确定尺寸为N×N的第二编码单元1302或尺寸为N/2×N的第二编码单元1312,或者可通过在水平方向和垂直方向上划分第一编码单元1320来确定尺寸为N×N/2的第二编码单元1322。
根据实施例,图像解码设备100可通过划分尺寸为N×N的第二编码单元1302的宽度和高度中的至少一个来确定第三编码单元1304、1314或1324。也就是说,图像解码设备100可通过在垂直方向和水平方向上划分第二编码单元1302来确定尺寸为N/2×N/2的第三编码单元1304、尺寸为N/4×N/2的第三编码单元1314或尺寸为N/2×N/4的第三编码单元1324。
根据实施例,图像解码设备100可通过划分尺寸为N/2×N的第二编码单元1312的宽度和高度中的至少一个来确定第三编码单元1304、1314或1324。也就是说,图像解码设备100可通过在水平方向上划分第二编码单元1312来确定尺寸为N/2×N/2的第三编码单元1304或尺寸为N/2×N/4的第三编码单元1324,或者可通过在垂直方向和水平方向上划分第二编码单元1312来确定尺寸为N/4×N/2的第三编码单元1314。
根据实施例,图像解码设备100可通过划分尺寸为N×N/2的第二编码单元1322的宽度和高度中的至少一个来确定第三编码单元1304、1314或1324。也就是说,图像解码设备100可通过在垂直方向上划分第二编码单元1322来确定尺寸为N/2×N/2的第三编码单元1304或尺寸为N/4×N/2的第三编码单元1314,或者可通过在垂直方向和水平方向上划分第二编码单元1322来确定尺寸为N/2×N/4的第三编码单元1324。
根据实施例,图像解码设备100可在水平方向或垂直方向上划分正方形编码单元1300、1302或1304。例如,图像解码设备100可通过在垂直方向上划分尺寸为2N×2N的第一编码单元1300来确定尺寸为N×2N的第一编码单元1310,或者可通过在水平方向上划分第一编码单元1300来确定尺寸为2N×N的第一编码单元1320。根据实施例,当基于编码单元的最长边的长度确定深度时,通过在水平方向或垂直方向上划分尺寸为2N×2N的第一编码单元1300而确定的编码单元的深度可与第一编码单元1300的深度相同。
根据实施例,第三编码单元1314或1324的宽度和高度可以是第一编码单元1310或1320的宽度和高度的1/4。当第一编码单元1310或1320的深度为D时,宽度和高度是第一编码单元1310或1320的宽度和高度的1/2的第二编码单元1312或1322的深度可以是D+1,宽度和高度是第一编码单元1310或1320的宽度和高度的1/4的第三编码单元1314或1324的深度可以是D+2。
图14示出根据实施例的基于编码单元的形状和尺寸可确定的深度以及用于区分编码单元的部分索引(PID)。
根据实施例,图像解码设备100可通过划分正方形的第一编码单元1400来确定各种形状的第二编码单元。参照图14,图像解码设备100可通过基于关于划分形状模式的信息在垂直方向和水平方向中的至少一个方向上划分第一编码单元1400来确定第二编码单元1402a和1402b、1404a和1404b、以及1406a、1406b、1406c和1406d。也就是说,图像解码设备100可基于第一编码单元1400的关于划分形状模式的信息来确定第二编码单元1402a和1402b、1404a和1404b、以及1406a、1406b、1406c和1406d。
根据实施例,基于正方形的第一编码单元1400的关于划分形状模式的信息所确定的第二编码单元1402a和1402b、第二编码单元1404a和1404b以及第二编码单元1406a、1406b、1406c和1406d的深度可基于它们的长边的长度来确定。例如,因为正方形的第一编码单元1400的边的长度等于非正方形的第二编码单元1402a和1402b以及1404a和1404b的长边的长度,所以第一编码单元1400和非正方形的第二编码单元1402a和1402b以及1404a和1404b可具有相同的深度,例如D。然而,当图像解码设备100基于关于划分形状模式的信息将第一编码单元1400划分为四个正方形的第二编码单元1406a、1406b、1406c和1406d时,因为正方形的第二编码单元1406a、1406b、1406c和1406d的边的长度是第一编码单元1400的边的长度的1/2,所以第二编码单元1406a、1406b、1406c和1406d的深度可以是比第一编码单元1400的深度D深1的D+1。
根据实施例,图像解码设备100可通过基于关于划分形状模式的信息在水平方向上划分高度长于宽度的第一编码单元1410来确定多个第二编码单元1412a和1412b以及1414a、1414b和1414c。根据实施例,图像解码设备100可通过基于关于划分形状模式的信息在垂直方向上划分宽度长于高度的第一编码单元1420来确定多个第二编码单元1422a和1422b以及1424a、1424b和1424c。
根据实施例,基于非正方形的第一编码单元1410或1420的关于划分形状模式的信息所确定的第二编码单元1412a和1412b、第二编码单元1414a、1414b和1414c、第二编码单元1422a和1422b、以及第二编码单元1424a、1424b和1424c的深度可基于它们的长边的长度来确定。例如,因为正方形的第二编码单元1412a和1412b的边的长度是具有高度长于宽度的非正方形形状的第一编码单元1410的长边的长度的1/2,所以正方形的第二编码单元1412a和1412b的深度是比非正方形的第一编码单元1410的深度D深1的D+1。
此外,图像解码设备100可基于关于划分形状模式的信息将非正方形的第一编码单元1410划分为奇数个第二编码单元1414a、1414b和1414c。奇数个第二编码单元1414a、1414b和1414c可包括非正方形的第二编码单元1414a和1414c以及正方形的第二编码单元1414b。在这种情况下,因为非正方形的第二编码单元1414a和1414c的长边的长度以及正方形的第二编码单元1414b的边的长度是第一编码单元1410的长边的长度的1/2,所以第二编码单元1414a、1414b和1414c的深度可以是比非正方形的第一编码单元1410的深度D深1的D+1。图像解码设备100可通过使用上述确定从第一编码单元1410划分出的编码单元的深度的方法,确定从具有宽度长于高度的非正方形形状的第一编码单元1420划分出的编码单元的深度。
根据实施例,当奇数个划分出的编码单元不具有相等的尺寸时,图像解码设备100可基于编码单元之间的尺寸比例来确定用于识别划分出的编码单元的PID。参照图14,奇数个划分出的编码单元1414a、1414b和1414c中的中心位置的编码单元1414b的宽度可等于其他编码单元1414a和1414c的宽度并且其高度可以是其他编码单元1414a和1414c的高度的两倍。也就是说,在这种情况下,中心位置处的编码单元1414b可包括两个其它编码单元1414a或1414c。因此,当中心位置处的编码单元1414b的PID基于扫描顺序而为1时,位置与编码单元1414b相邻的编码单元1414c的PID可增加2并且因此可以是3。也就是说,可能存在PID值不连续。根据实施例,图像解码设备100可基于用于识别划分出的编码单元的PID中是否存在不连续,确定奇数个划分出的编码单元是否不具有相等的尺寸。
根据实施例,图像解码设备100可基于用于识别通过划分当前编码单元而确定的多个编码单元的PID值来确定是否使用特定划分方法。参照图14,图像解码设备100可通过划分具有高度长于宽度的矩形形状的第一编码单元1410来确定偶数个编码单元1412a和1412b或奇数个编码单元1414a、1414b和1414c。图像解码设备100可使用PID来识别各个编码单元。根据实施例,可从每个编码单元的预定位置的样点(例如,左上样点)获得PID。
根据实施例,图像解码设备100可通过使用用于区分编码单元的PID来确定划分出的编码单元中的预定位置处的编码单元。根据实施例,当具有高度长于宽度的矩形形状的第一编码单元1410的关于划分形状模式的信息指示将编码单元划分为三个编码单元时,图像解码设备100可将第一编码单元1410划分为三个编码单元1414a、1414b和1414c。图像解码设备100可将PID分配给三个编码单元1414a、1414b和1414c中的每一个。图像解码设备100可将奇数个划分出的编码单元的PID进行比较,以确定奇数个划分出的编码单元中的中心位置处的编码单元。图像解码设备100可将具有与编码单元的PID中的中间值对应的PID的编码单元1414b确定为通过划分第一编码单元1410所确定的编码单元中的中心位置处的编码单元。根据实施例,当划分出的编码单元不具有相等的尺寸时,图像解码设备100可基于编码单元之间的尺寸比例确定用于区分划分出的编码单元的PID。参照图14,通过划分第一编码单元1410生成的编码单元1414b的宽度可等于其他编码单元1414a和1414c的宽度,并且其高度可以是其他编码单元1414a和1414c的高度的两倍。在这种情况下,当中心位置处的编码单元1414b的PID是1时,位置与编码单元1414b相邻的编码单元1414c的PID可增加2并且因此可以是3。当如上所述PID未均匀地增大时,图像解码设备100可确定编码单元被划分为多个编码单元,其中,所述多个编码单元包括尺寸与其他编码单元的尺寸不同的编码单元。根据实施例,当关于划分形状模式的信息指示将编码单元划分为奇数个编码单元时,图像解码设备100可按照奇数个编码单元中的预定位置的编码单元(例如,中心位置的编码单元)具有与其他编码单元的尺寸不同的尺寸这样的方式来划分当前编码单元。在这种情况下,图像解码设备100可通过使用编码单元的PID来确定具有不同尺寸的中心位置的编码单元。然而,预定位置的编码单元的PID以及尺寸或位置不限于上述示例,并且可使用编码单元的各种PID以及各种位置和尺寸。
根据实施例,图像解码设备100可使用预定数据单元,其中,在该预定数据单元中,编码单元开始被递归地划分。
图15示出根据实施例的基于画面中包括的多个预定数据单元确定多个编码单元。
根据实施例,预定数据单元可被定义为通过使用块形状信息和关于划分形状模式的信息中的至少一个开始在其中递归地划分编码单元的数据单元。也就是说,预定数据单元可与用于确定从当前画面划分出的多个编码单元的最高深度的编码单元对应。在下面的描述中,为了便于解释,预定数据单元被称为参考数据单元。
根据实施例,参考数据单元可具有预定尺寸和预定尺寸形状。根据实施例,参考数据单元可包括M×N个样点。这里,M和N可彼此相等,并且可以是被表示为2的幂的整数。也就是说,参考数据单元可具有正方形形状或非正方形形状,并且可被划分为整数个编码单元。
根据实施例,图像解码设备100可将当前画面划分为多个参考数据单元。根据实施例,图像解码设备100可通过使用针对每个参考数据单元的关于划分形状模式的信息来划分从当前画面划分出的多个参考数据单元。划分参考数据单元的操作可与使用四叉树结构的划分操作对应。
根据实施例,图像解码设备100可预先确定当前画面中包括的参考数据单元所允许的最小尺寸。因此,图像解码设备100可确定尺寸等于或大于最小尺寸的各种参考数据单元,并且可参考确定的参考数据单元,通过使用块形状信息和关于划分形状模式的信息来确定一个或更多个编码单元。
参照图15,图像解码设备100可使用正方形的参考编码单元1500或非正方形的参考编码单元1502。根据实施例,可基于能够包括一个或更多个参考编码单元的各种数据单元(例如,序列、画面、条带、条带片段、最大编码单元等)来确定参考编码单元的形状和尺寸。
根据实施例,图像解码设备100的比特流接收器110可从比特流获得针对各种数据单元中的每个数据单元的参考编码单元形状信息和参考编码单元尺寸信息中的至少一个。上面已经关于图3的划分当前编码单元300的操作描述了将正方形的参考编码单元1500划分为一个或更多个编码单元的操作,并且上面已经关于图4的划分当前编码单元400或450的操作描述了将非正方形的参考编码单元1502划分为一个或更多个编码单元的操作,并且因此,这里将不提供其详细描述。
根据实施例,图像解码设备100可根据先前基于预定条件确定的一些数据单元,使用用于识别参考编码单元的尺寸和形状的PID来确定参考编码单元的尺寸和形状。也就是说,比特流获得器110可从比特流仅获得用于识别针对每个条带、条带片段或最大编码单元的参考编码单元的尺寸和形状的PID,其中,所述每个条带、条带片段或最大编码单元是各种数据单元(例如,序列、画面、条带、条带片段、最大编码单元等)中的满足预定条件的数据单元(例如,尺寸等于或小于条带的数据单元)。图像解码设备100可通过使用PID确定针对满足预定条件的每个数据单元的参考数据单元的尺寸和形状。当根据具有相对小尺寸的每个数据单元从比特流获得并使用参考编码单元形状信息和参考编码单元尺寸信息时,使用比特流的效率可能不高,因此,仅PID可被获得并被使用,而不是直接获得参考编码单元形状信息和参考编码单元尺寸信息。在这种情况下,可预先确定与用于识别参考编码单元的尺寸和形状的PID对应的参考编码单元的尺寸和形状中的至少一个。也就是说,图像解码设备100可通过基于PID选择参考编码单元的尺寸和形状中的被预先确定的至少一个,确定包括在用作用于获得PID的单元的数据单元中的参考编码单元的尺寸和形状中的至少一个。
根据实施例,图像解码设备100可使用最大编码单元中包括的一个或更多个参考编码单元。也就是说,从画面划分出的最大编码单元可包括一个或更多个参考编码单元,并且可通过递归地划分每个参考编码单元来确定编码单元。根据实施例,最大编码单元的宽度和高度中的至少一个可以是参考编码单元的宽度和高度中的至少一个的整数倍。根据实施例,可通过基于四叉树结构将最大编码单元划分n次来获得参考编码单元的尺寸。也就是说,根据各种实施例,图像解码设备100可通过基于四叉树结构将最大编码单元划分n次来确定参考编码单元,并且可基于块形状信息和关于划分形状模式的信息中的至少一个来划分参考编码单元。
图16示出根据实施例的用作用于确定画面1600中包括的参考编码单元的确定顺序的单元的处理块。
根据实施例,图像解码设备100可确定从画面划分出的一个或更多个处理块。处理块是从画面划分出的包括一个或更多个参考编码单元的数据单元,并且可根据特定顺序确定处理块中包括的所述一个或更多个参考编码单元。也就是说,在每个处理块中确定的一个或更多个参考编码单元的确定顺序可与各种类型的用于确定参考编码单元的顺序中的一个顺序对应,并且可根据处理块变化。针对每个处理块确定的参考编码单元的确定顺序可以是各种顺序(例如,光栅扫描顺序、Z字形扫描、N字形扫描、右上对角扫描、水平扫描和垂直扫描)中的一个,但不限于以上提及的扫描顺序。
根据实施例,图像解码设备100可获得处理块尺寸信息,并且可确定画面中包括的一个或更多个处理块的尺寸。图像解码设备100可从比特流获得处理块尺寸信息,并且可确定画面中包括的一个或更多个处理块的尺寸。处理块的尺寸可以是由处理块尺寸信息指示的数据单元的预定尺寸。
根据实施例,图像解码设备100的比特流获得器110可根据每个特定数据单元从比特流获得处理块尺寸信息。例如,可按照诸如图像、序列、画面、条带或条带片段的数据单元从比特流获得处理块尺寸信息。也就是说,比特流获得器110可根据各种数据单元中的每个数据单元从比特流获得处理块尺寸信息,图像解码设备100可通过使用获得的处理块尺寸信息确定从画面划分出的一个或更多个处理块的尺寸,并且处理块的尺寸可以是参考编码单元的尺寸的整数倍。
根据实施例,图像解码设备100可确定画面1600中包括的处理块1602和1612的尺寸。例如,图像解码设备100可基于从比特流获得的处理块尺寸信息来确定处理块的尺寸。参照图16,根据实施例,图像解码设备100可将处理块1602和1612的宽度确定为参考编码单元的宽度的四倍,并且可将处理块1602和1612的高度确定为参考编码单元的高度的四倍。图像解码设备100可确定一个或更多个处理块中的一个或更多个参考编码单元的确定顺序。
根据实施例,图像解码设备100可基于处理块的尺寸确定画面1600中包括的处理块1602和1612,并且可确定处理块1602和1612中包括的一个或更多个参考编码单元的确定顺序。根据实施例,确定参考编码单元可包括确定参考编码单元的尺寸。
根据实施例,图像解码设备100可从比特流获得一个或更多个处理块中包括的一个或更多个参考编码单元的确定顺序信息,并且可基于获得的确定顺序信息来确定针对一个或更多个参考编码单元的确定顺序。确定顺序信息可被定义为用于确定处理块中的参考编码单元的顺序或方向。也就是说,可针对每个处理块独立地确定参考编码单元的确定顺序。
根据实施例,图像解码设备100可根据每个特定数据单元从比特流获得参考编码单元的确定顺序信息。例如,比特流获得器160可根据每个数据单元(诸如图像、序列、画面、条带、条带片段或处理块)从比特流获得参考编码单元的确定顺序信息。因为参考编码单元的确定顺序信息指示用于确定处理块中的参考编码单元的顺序,所以可针对包括整数个处理块的每个特定数据单元获得确定顺序信息。
根据实施例,图像解码设备100可基于确定的确定顺序来确定一个或更多个参考编码单元。
根据实施例,比特流获得器110可从比特流获得参考编码单元的确定顺序信息作为与处理块1602和1612相关的信息,并且图像解码设备100可确定处理块1602和1612中包括的一个或更多个参考编码单元的确定顺序,并基于该确定顺序确定画面1600中包括的一个或更多个参考编码单元。参照图16,图像解码设备100可分别确定处理块1602和1612中的一个或更多个参考编码单元的确定顺序1604和1614。例如,当针对每个处理块获得了参考编码单元的确定顺序信息时,可针对处理块1602和1612获得参考编码单元的不同类型的确定顺序信息。当处理块1602中的参考编码单元的确定顺序1604是光栅扫描顺序时,可根据光栅扫描顺序确定处理块1602中包括的参考编码单元。相反,当另一处理块1612中的参考编码单元的确定顺序1614是反向光栅扫描顺序时,可根据反向光栅扫描顺序确定处理块1612中包括的参考编码单元。
根据实施例,图像解码设备100可对确定的一个或更多个参考编码单元进行解码。图像解码设备100可基于如上所述确定的参考编码单元对图像进行解码。对参考编码单元进行解码的方法可包括各种图像解码方法。
根据实施例,图像解码设备100可从比特流获得指示当前编码单元的形状的块形状信息或指示当前编码单元的划分方法的关于划分形状模式的信息,并且可使用获得的信息。块形状信息或关于划分形状模式的信息可被包括在与各种数据单元相关的比特流中。例如,图像解码设备100可使用包括在序列参数集、画面参数集、视频参数集、条带头或条带片段头中的块形状信息或关于划分形状模式的信息。此外,图像解码设备100可根据每个最大编码单元、每个参考编码单元或每个处理块从比特流获得与块形状信息或关于划分形状模式的信息对应的语法元素,并且可使用获得的语法元素。
图17示出根据实施例的当编码单元可被划分为的形状的组合针对每个画面不同时针对每个画面可确定的编码单元。
参照图17,图像解码设备100可针对每个画面不同地确定编码单元可被划分为的形状的组合。例如,图像解码设备100可通过使用图像中包括的至少一个画面中的可被划分为4个编码单元的画面1700、可被划分为2个或4个编码单元的画面1710和可被划分为2个、3个或4个编码单元的画面1720来对图像进行解码。为了将画面1700划分为多个编码单元,图像解码设备100可仅使用指示将画面1700划分为4个正方形编码单元的划分形状信息。为了划分画面1710,图像解码设备100可仅使用指示将画面1710划分为2个或4个编码单元的划分形状信息。为了划分画面1720,图像解码设备100可仅使用指示将画面1720划分为2个、3个或4个编码单元的划分形状信息。因为这样的划分形状的组合仅是用于描述图像解码设备100的操作的实施例,所以划分形状的组合不应被解释为限于该实施例,而是可根据预定数据单元使用划分形状的各种组合。
根据实施例,图像解码设备100的比特流获得器110可根据预定数据单元(例如,序列、画面或条带)获得包括索引的比特流,其中,所述索引指示划分形状信息的组合。例如,比特流获得器110可从序列参数集、画面参数集或条带头获得指示划分形状信息的组合的索引。图像解码设备100可通过使用获得的索引来根据预定数据单元确定编码单元可被划分为的划分形状的组合,并且因此可根据预定数据单元使用划分形状的不同组合。
图18示出根据实施例的基于可表示为二进制码的划分形状信息可确定的编码单元的各种形状。
根据实施例,图像解码设备100可通过使用由比特流获得器110获得的块形状信息和划分形状信息来将编码单元划分为各种形状。编码单元可被划分为的形状可与包括通过以上实施例描述的形状的各种形状对应。
参照图18,基于划分形状信息,图像解码设备100可在水平方向和垂直方向中的至少一个方向上划分具有正方形形状的编码单元并且可在水平方向或垂直方向上划分具有非正方形形状的编码单元。
根据实施例,当图像解码设备100能够在水平方向和垂直方向上划分具有正方形形状的编码单元以获得四个正方形编码单元时,可由与具有正方形形状的编码单元有关的划分形状信息指示的划分形状的数量可以是4。根据实施例,划分形状信息可被表示为2位二进制码,并且可将二进制码分配给每个划分形状。例如,当不划分编码单元时,划分形状信息可被表示为(00)b;当在水平方向和垂直方向上划分编码单元时,划分形状信息可被表示为(01)b;当在水平方向上划分编码单元时,划分形状信息可被表示为(10)b;并且当在垂直方向上划分编码单元时,划分形状信息可被表示为(11)b。
根据实施例,当图像解码设备100在水平方向或垂直方向上划分具有非正方形形状的编码单元时,可根据编码单元被划分为的编码单元的数量来确定可由划分形状信息指示的划分形状的类型。参照图18,根据实施例,图像解码设备100可将具有非正方形形状的编码单元划分为3个编码单元。图像解码设备100可将编码单元划分为两个编码单元,并且在这种情况下,划分形状信息可被表示为(10)b。图像解码设备100可将编码单元划分为三个编码单元,并且在这种情况下,划分形状信息可被表示为(11)b。图像解码设备100可确定不划分编码单元,并且在这种情况下,划分形状信息可被表示为(0)b。也就是说,为了使用指示划分形状信息的二进制码,图像解码设备100可使用可变长度编码(VLC),而不是固定长度编码(FLC)。
根据实施例,参照图18,指示编码单元不被划分的划分形状信息的二进制码可被表示为(0)b。当将指示编码单元不被划分的划分形状信息的二进制码设置为(00)b时,尽管不存在被设置为(01)b的划分形状信息,但是也必须使用划分形状信息的全部2比特二进制码。然而,如图18中所示,当将3个划分形状用于具有非正方形形状的编码单元时,即使通过将1比特二进制码(0)b用作划分形状信息,图像解码设备100也可确定不划分编码单元,从而有效地使用比特流。然而,具有非正方形形状的编码单元的由划分形状信息指示的划分形状不应被解释为限于图18中所示的3个形状并且应被解释为包括以上实施例的各种形状。
图19示出根据实施例的基于可表示为二进制码的划分形状信息可确定的编码单元的其他形状。
参照图19,基于划分形状信息,图像解码设备100可在水平方向或垂直方向上划分具有正方形形状的编码单元并且可在水平方向或垂直方向上划分具有非正方形形状的编码单元。也就是说,划分形状信息可指示具有正方形形状的编码单元在一个方向上被划分。在这种情况下,指示具有正方形形状的编码单元不被划分的划分形状信息的二进制码可被表示为(0)b。当指示编码单位不被划分的划分形状信息的二进制码被设置为(00)b时,尽管不存在被设置为(01)b的划分形状信息,但是也必须使用划分形状信息的全部2比特二进制码。然而,如图19中所示,当将3个划分形状用于具有正方形形状的编码单元时,即使通过将1比特二进制码(0)b用作划分形状信息,图像解码设备100也可确定不划分编码单元,从而有效地使用比特流。然而,具有正方形形状的编码单元的由划分形状信息指示的划分形状不应被解释为限于图19中所示的3个形状,并且应被解释为包括以上实施例的各种形状。
根据实施例,可通过使用二进制码来表示块形状信息或划分形状信息,并且可立即将这样的信息生成为比特流。可选地,可不在比特流中立即生成可表示为二进制码的块形状信息或划分形状信息,并且可表示为二进制码的块形状信息或划分形状信息可被用作在上下文自适应二进制算术编码(CABAC)期间输入的二进制码。
根据实施例,将描述由图像解码设备100执行的通过CABAC获得关于块形状信息或划分形状信息的语法的处理。可由比特流获得器110获得包括用于所述语法的二进制码的比特流。图像解码设备100可通过对包括在获得的比特流中的二进制位串进行反二值化来检测指示块形状信息或划分形状信息的语法元素。根据实施例,图像解码设备100可获得与将被解码的所述语法元素对应的二进制位串的集合,并可通过使用概率信息来对每个二进制位进行解码,并且图像解码设备100可重复地执行这个处理直到包括这样的经过解码的二进制位的二进制位串与预先获得的二进制位串中的一个相同为止。图像解码设备100可通过对二进制位串进行反二值化来确定所述语法元素。
根据实施例,图像解码设备100可通过执行自适应二进制算术编码的解码处理来确定关于二进制位串的语法,并且可更新针对由比特流获得器110获得的二进制位的概率模型。参照图18,根据实施例,图像解码设备100的比特流获得器110可获得指示二进制码的比特流,其中,所述二进制码指示划分形状信息。图像解码设备100可通过使用获得的大小为1比特或2比特的二进制码来确定关于划分形状信息的语法。为了确定关于划分形状信息的语法,图像解码设备100可更新二进制码的2个比特中的每个比特的概率。也就是说,图像解码设备100可根据二进制码的2个比特中的第一个二进制位的值是0还是1来更新在对下一个二进制位进行解码时可能具有值0或1的概率。
根据实施例,在确定语法时,图像解码设备100可更新在对用于语法的二进制位串的二进制位进行解码的处理中使用的二进制位的概率,并且图像解码设备100可确定二进制位串中的特定比特具有相同的概率,而不更新该概率。
参照图18,在通过使用指示与具有非正方形形状的编码单元有关的划分形状信息的二进制位串来确定语法时,当具有非正方形形状的编码单元不被划分时,图像解码设备100可通过使用具有值0的一个二进制位来确定关于划分形状信息的语法。也就是说,在块形状信息指示当前编码单元具有非正方形形状时,当具有非正方形形状的编码单元不被划分时针对划分形状信息的二进制位串的第一个二进制位可以是0,并且当具有非正方形形状的编码单元被划分为两个或三个编码单元时针对划分形状信息的二进制位串的第一个二进制位可以是1。因此,与具有非正方形形状的编码单元有关的划分形状信息的二进制位串的第一个二进制位是0的概率可以是1/3,并且与具有非正方形形状的编码单元有关的划分形状信息的二进制位串的第一个二进制位是1的概率可以是2/3。如上所述,因为指示具有非正方形形状的编码单元不被划分的划分形状信息可仅表示具有值0的1比特的二进制位串,所以图像解码设备100可通过仅当划分形状信息的第一个二进制位是1时才确定第二个二进制位是0还是1来确定关于划分形状信息的语法。根据实施例,当针对划分形状信息的第一个二进制位是1时,图像解码设备100可通过确定第二个二进制位是0的概率与第二个二进制位是1的概率相同来对二进制位进行解码。
根据实施例,图像解码设备100可在确定针对划分形状信息的二进制位串的二进制位时针对每个二进制位使用各种概率。根据实施例,图像解码设备100可根据非正方形块的方向不同地确定针对划分形状信息的二进制位的概率。根据实施例,图像解码设备100可根据当前编码单元的面积或长边的长度来不同地确定针对划分形状信息的二进制位的概率。根据实施例,图像解码设备100可根据当前编码单元的形状和长边的长度中的至少一个来不同地确定针对划分形状信息的二进制位的概率。
根据实施例,图像解码设备100可针对具有预定尺寸或更大尺寸的编码单元确定针对划分形状信息的二进制位的概率相同。例如,图像解码设备100可基于每个编码单元的长边的长度,针对尺寸等于或大于64个样点的编码单元确定针对划分形状信息的二进制位的概率相同。
根据实施例,图像解码设备100可基于条带类型(例如,I条带、P条带、B条带等)确定构成划分形状信息的二进制位串的二进制位的初始概率。
图20是用于执行环路滤波的图像编码和解码系统2000的框图。
图像编码和解码系统2000的编码端2010发送图像的经过编码的比特流,并且解码端2050接收该比特流并对该比特流进行解码并且输出重建图像。编码端2010可具有与将在下面描述的图像编码设备200的配置相似的配置,并且解码端2050可具有与图像解码设备100的配置相似的配置。
在编码端2010,预测编码器2015通过帧间预测和帧内预测输出参考图像,并且变换器和量化器2020将参考图像与当前输入图像之间的残差数据变换并量化为量化的变换系数并输出量化的变换系数。熵编码器2025将量化的变换系数编码为比特流并且输出该比特流。量化的变换系数通过反量化器和逆变换器2030被重建为空间域中的数据,并且空间域中的重建数据通过去块滤波器2035和环路滤波器2040被输出为重建图像。重建图像可通过预测编码器2015被用作下一输入图像的参考图像。
由解码端2050接收到的比特流中的经过编码的图像数据通过熵解码器2055以及反量化器和逆变换器2060被重建为空间域中的残差数据。随着残差数据和从预测解码器2075输出的参考图像被组合,空间域中的图像数据被形成,并且去块滤波器2065和环路滤波器2070可对空间域中的图像数据进行滤波并可输出针对当前原始图像的重建图像。重建图像可通过预测解码器2075被用作针对下一原始图像的参考图像。
编码端2010的环路滤波器2040通过使用根据用户输入或系统设置输入的滤波器信息来执行环路滤波。环路滤波器2040使用的滤波器信息被输出到熵编码器2025,并且与经过编码的图像数据一起被发送到解码端2050。解码端2050的环路滤波器2070可基于从解码端2050输入的滤波器信息来执行环路滤波。
图21示出根据实施例的包括在最大编码单元中的滤波单元和滤波单元的滤波执行信息的示例。
当编码端2010的环路滤波器2040的滤波单元和解码端2050的环路滤波器2070的滤波单元包括与根据参照图3至图5描述的实施例的编码单元相似的数据单元时,滤波器信息可包括数据单元的用于指示滤波单元的块形状信息和划分形状信息以及指示是否对滤波单元执行环路滤波的环路滤波执行信息。
根据实施例的包括在最大编码单元2100中的滤波单元可与包括在最大编码单元2100中的编码单元具有相同的块形状和划分形状。此外,可基于包括在最大编码单元2100中的编码单元的尺寸来划分根据实施例的包括在最大编码单元2100中的滤波单元。参照图21,例如,滤波单元可包括具有正方形形状且深度为D的滤波单元2140、具有非正方形形状且深度为D的滤波单元2132和2134、具有正方形形状且深度为D+1的滤波单元2112、2114、2116、2152、2154和2164、具有非正方形形状且深度为D+1的滤波单元2162和2166、以及具有正方形形状且深度为D+2的滤波单元2122、2124、2126和2128。
如表1中所示,可对包括在最大编码单元2100中的滤波单元的块形状信息、划分形状信息(深度)和环路滤波执行信息进行编码。
[表1]
Figure GDA0002394691330000401
根据实施例的通过根据块形状信息和块划分信息递归地划分编码单元来确定多个编码单元的处理与参照图13描述的处理相同。根据实施例的滤波单元的环路滤波执行信息在标志值为1时指示对滤波单元执行环路滤波,并且在标志值为0时指示不对滤波单元执行环路滤波。参照表1,用于确定将由环路滤波器2040和2070滤波的滤波单元的数据单元的信息可全部作为滤波器信息被编码并被发送。
因为根据实施例配置的编码单元是被配置为最小化与原始图像的误差的编码单元,所以期望在编码单元中具有高空间相关性。因此,因为基于根据实施例的编码单元确定滤波单元,所以可省略与确定编码单元的操作分开的确定滤波单元的操作。此外,因此,因为基于根据实施例的编码单元确定滤波单元并且因此可省略用于确定滤波单元的划分形状的信息,所以可节省滤波器信息的传输比特率。
尽管在以上实施例中描述了基于根据实施例的编码单元确定滤波单元,但是可基于编码单元对滤波单元进行划分直到任意深度为止,并且因此可确定滤波单元的形状仅直到该任意深度为止。
在以上实施例中描述的确定滤波单元的操作不仅可被应用于环路滤波,而且可被应用于诸如去块滤波和自适应环路滤波的各种实施例。
根据实施例,图像解码设备100可通过使用块形状信息和划分形状信息中的至少一个来划分当前编码单元,并且块形状信息可被预定为指示仅使用正方形形状并且划分形状信息可被预定为指示当前编码单元不被划分或被划分为4个正方形编码单元。也就是说,当前编码单元的编码单元可根据块形状信息总是具有正方形形状,并且当前编码单元可基于划分形状信息不被划分或被划分为4个正方形编码单元。图像解码设备100可通过使用比特流获得器110获得通过使用预定编码方法生成的比特流,其中,所述预定编码方法被预定为仅使用这样的块形状和划分形状,并且图像解码设备100可仅使用预定块形状和划分形状。在这种情况下,因为图像解码设备100可通过使用与预定编码方法相似的预定解码方法来解决与预定编码方法的兼容性问题。根据实施例,当图像解码设备100仅利用可由块形状信息和划分形状信息指示的各种形状中的预定块形状和划分形状来使用预定解码方法时,块形状信息仅指示正方形形状,并且因此图像解码设备100可不执行从比特流获得块形状信息的处理。可使用指示是否使用预定解码方法的语法,并且可根据具有各种形状的数据单元从比特流获得这样的语法,其中,所述数据单元可包括多种编码单元,诸如序列、画面、条带单元和最大编码单元。也就是说,比特流获得器110可基于指示是否使用预定解码方法的语法来确定是否将从比特流获得指示块形状信息的语法。
图23示出根据实施例的编码单元的根据Z字形扫描顺序的索引。
根据实施例的图像解码设备100可根据Z字形扫描顺序来扫描包括在上层数据单元中的下层数据单元。此外,根据实施例的图像解码设备100可根据处理块或最大编码单元中包括的编码单元中的Z字形扫描索引来顺序地访问数据。
如参照图13至图14所述,根据实施例的图像解码设备100可将参考编码单元划分为至少一个编码单元。在这种情况下,具有正方形形状的编码单元和具有非正方形形状的编码单元可在参考编码单元中共存。根据实施例的图像解码设备100可根据参考编码单元中的每个编码单元中包括的Z字形扫描索引来访问数据。在这种情况下,应用Z字形扫描索引的方法可根据在参考编码单元中是否存在具有非正方形形状的编码单元而改变。
根据实施例,当在参考编码单元中不存在具有非正方形形状的编码单元时,参考编码单元中的更低深度的编码单元可具有连续的Z字形扫描索引。例如,根据实施例,更高深度的编码单元可包括更低深度的四个编码单元。更低深度的四个编码单元的边界可以是连续的,并且可根据指示Z字形扫描顺序的索引按照Z字形扫描顺序扫描更低深度的编码单元。根据实施例的指示Z字形扫描顺序的索引可被设置为根据针对编码单元的Z字形扫描顺序增加的数字。在这种情况下,可根据Z字形扫描顺序来扫描相同深度的更深编码单元。
根据实施例,当在参考编码单元中存在具有非正方形形状的至少一个编码单元时,图像解码设备100可将参考编码单元中的编码单元中的每一个划分为子块,并且可根据Z字形扫描顺序来扫描划分出的子块。例如,当在参考编码单元中存在沿垂直方向或水平方向的具有非正方形形状的编码单元时,可通过使用划分出的子块来执行Z字形扫描。此外,例如,当参考编码单元被划分为奇数个编码单元时,可通过使用子块来执行Z字形扫描。子块是不再被划分的编码单元或是通过划分任意编码单元而获得的编码单元,并且可具有正方形形状。例如,可从具有正方形形状的编码单元划分出具有正方形形状的四个子块。此外,例如,可从具有非正方形形状的编码单元划分出具有正方形形状的两个子块。
参照图23,例如,根据实施例的图像解码设备100可根据Z字形扫描顺序在编码单元2300中扫描更低深度的编码单元2302、2304、2306、2308和2310。编码单元2300以及编码单元2302、2304、2306、2308和2310分别是上层编码单元和下层编码单元。编码单元2300包括沿水平方向的具有非正方形形状的编码单元2306和2310。具有非正方形形状的编码单元2306和2310与彼此相邻且具有正方形形状的编码单元2302和2304具有不连续的边界。此外,编码单元2308具有正方形形状并且是当具有非正方形形状的编码单元被划分为奇数个编码单元时在中心处的编码单元。类似于具有非正方形形状的编码单元2306和2310,编码单元2308与彼此相邻且具有正方形形状的编码单元2302和2304具有不连续的边界。当编码单元2300包括在具有非正方形形状的编码单元被划分为奇数个编码单元时而具有非正方形形状的编码单元2306和2310或者位于中心的编码单元2308时,因为编码单元之间的相邻边界不连续,所以可能无法设置连续的Z字形扫描索引。因此,图像解码设备100可通过将编码单元划分为子块来连续地设置Z字形扫描索引。此外,图像解码设备100可对具有非正方形形状的编码单元2306和2310或者位于奇数个编码单元的中心的编码单元2308执行连续的Z字形扫描。
图23的编码单元2320是通过将编码单元2300中的编码单元2302、2304、2306、2308和2310划分为子块获得的。因为可针对每个子块设置Z字形扫描索引并且子块之间的相邻边界连续,所以可根据Z字形扫描顺序来扫描子块。例如,在根据实施例的解码设备中,编码单元2308可被划分为子块2322、2324、2326和2328。在这种情况下,可在对子块2330执行数据处理之后扫描子块2322和2324,并且可在对子块2332执行数据处理之后扫描子块2326和2328。此外,可根据Z字形扫描顺序来扫描子块。
在以上实施例中,根据Z字形扫描顺序来扫描数据单元以用于数据存储、数据加载和数据访问。
此外,在以上实施例中,尽管可根据Z字形扫描顺序来扫描数据单元,但是数据单元的扫描顺序可以是各种顺序(诸如光栅扫描顺序、N字形扫描顺序、右上对角线扫描顺序、水平扫描顺序和垂直扫描顺序)中的一个,并且不应限于Z字形扫描顺序。
此外,在以上实施例中,尽管参考编码单元中的编码单元被扫描,但是本公开不限于此,并且将被扫描的目标可以是处理块或最大编码单元中的任意块。
此外,在以上实施例中,尽管仅当存在至少一个具有非正方形形状的块时才将块划分为子块并根据Z字形扫描顺序执行扫描,但是即使当对于简化的实施例不存在具有非正方形形状的块时也可将块划分为子块并可根据Z字形扫描顺序执行扫描。
根据实施例的图像解码设备100可通过对编码单元执行帧间预测或帧内预测来生成预测数据,可通过对包括在当前编码单元中的变换单元执行逆变换来生成残差数据,并且可通过使用生成的预测数据和残差数据来重建当前编码单元。
根据实施例的编码单元的预测模式可以是帧内模式、帧间模式和跳过模式中的至少一个。根据实施例,可根据编码单元独立地选择预测模式。
根据实施例,当具有2N×2N形状的编码单元被划分为具有2N×N形状或N×2N形状的两个编码单元时,可对每个编码单元分别执行帧间模式预测和帧内模式预测。此外,根据实施例,可将跳过模式应用于具有2N×N或N×2N形状的编码单元。
根据实施例的图像解码设备100可允许在具有8×4或4×8形状的编码单元的跳过模式下执行双预测。因为在跳过模式下仅关于编码单元的跳过模式信息被接收,所以省略了针对编码单元的残差数据的使用。因此,在这种情况下,可减少反量化和逆变换的开销。作为替代,根据实施例的图像解码设备100可允许对应用了跳过模式的编码单元执行双预测,从而提高解码效率。此外,根据实施例的图像解码设备100在允许对具有8×4或4×8形状的编码单元执行双预测的同时,可在运动补偿期间将插值抽头数设置为相对较小的值,从而有效地使用存储带宽。例如,可使用抽头数小于8的插值滤波器(例如,2抽头插值滤波器),而不使用8抽头插值滤波器。
此外,根据实施例的图像解码设备100可通过将区域划分为预设形状(例如,基于对角线的划分)来用信号发送关于包括在当前编码单元中的每个区域的帧内预测信息或帧间预测信息。
根据实施例的图像解码设备100可通过使用当前编码单元的邻近样点来使用帧内模式获得当前编码单元的预测样点。在这种情况下,通过使用预先重建的邻近样点来执行帧内预测,并且该样点被称为参考样点。
图24是根据实施例的用于编码单元的帧内预测的参考样点的示图。参照图24,对于块形状是非正方形形状、沿水平方向的长度是w且沿垂直方向的长度是h的编码单元2400,需要w+h个上方参考样点2402、w+h个左侧参考样点2404和一个左上方参考样点2406,也就是说,需要总数为2(w+h)+1个参考样点。为了准备参考样点,可对不存在参考样点的部分执行填充,并且可针对每个预测模式执行参考样点滤波处理,以减少包括在重建的参考样点中的量化误差。
尽管已经在上述实施例中描述了当当前编码单元的块形状是非正方形形状时的参考样点的数量,但是即使当当前编码单元是矩形形状时也等同地应用参考样点的数量。
上述各种实施例描述了与由图像解码设备100执行的图像解码方法相关的操作。将通过各种实施例描述用于执行与图像解码方法的逆序处理对应的图像编码方法的图像编码设备200的操作。
图2是根据实施例的用于基于块形状信息和划分形状信息中的至少一个对图像进行编码的图像编码设备200的框图。
图像编码设备200可包括编码器220和比特流生成器210。编码器220可接收输入图像并且可对输入图像进行编码。编码器220可对输入图像进行编码并且可获得至少一个语法元素。语法元素可包括跳过标志、预测模式、运动矢量差、运动矢量预测方法(或索引)、变换量化系数、编码块模式、编码块标志、帧内预测模式、方向标志、合并标志、差量QP(deltaQP)、参考索引、预测方向和变换索引中的至少一个。编码器220可基于包括编码单元的形状的尺寸或比例、方向、宽度和高度中的至少一个的块形状信息确定上下文模型。
比特流生成器210可基于经过编码的输入图像来生成比特流。例如,比特流生成器210可通过基于上下文模型对语法元素进行熵编码来生成比特流。此外,图像编码设备200可将比特流发送到图像解码设备100。
根据实施例,图像编码设备200的编码器220可确定编码单元的形状。例如,编码单元可具有正方形形状或非正方形形状,并且指示形状的信息可被包括在块形状信息中。
根据实施例,编码器220可确定编码单元将被划分为哪种形状。编码器220可确定包括在编码单元中的至少一个编码单元的形状,并且比特流生成器210可生成包括划分形状信息的比特流,其中,所述划分形状信息包括关于编码单元的形状的信息。
根据实施例,编码器220可确定编码单元是被划分还是不被划分。当编码器确定仅一个编码单元被包括在编码单元中或该编码单元不被划分时,比特流生成器210可生成包括指示编码单元不被划分的划分形状信息的比特流。此外,编码器220可将编码单元划分为多个编码单元,并且比特流生成器210可生成包括指示编码单元被划分为多个编码单元的划分形状信息的比特流。
根据实施例,指示编码单元将被划分为的编码单元的数量或编码单元将被划分的方向的信息可被包括在划分形状信息中。例如,划分形状信息可指示编码单元在垂直方向和水平方向中的至少一个方向上被划分或编码单元不被划分。
图像编码设备200基于编码单元的划分形状模式来确定关于划分形状模式的信息。图像编码设备200基于编码单元的形状的比例或尺寸、方向、宽度和高度中的至少一个来确定上下文模型。图像编码设备200基于上下文模型生成关于用于划分编码单元的划分形状模式的信息作为比特流。
为了确定上下文模型,图像编码设备200可获得用于将编码单元的形状的比例或尺寸、方向、宽度和高度中的至少一个对应到用于上下文模型的索引的布置。图像编码设备200可基于所述布置中的编码单元的形状的比例或尺寸、方向、宽度和高度中的至少一个获得用于上下文模型的索引。图像编码设备200可基于用于上下文模型的索引来确定上下文模型。
为了确定上下文模型,图像编码设备200可进一步基于块形状信息来确定上下文模型,其中,所述块形状信息包括与编码单元相邻的邻近编码单元的形状的比例或尺寸、方向、宽度和高度中的至少一个。此外,邻近编码单元可包括位于编码单元的左下侧、左侧、左上侧、上侧、右上侧、右侧或右下侧的编码单元中的至少一个。
此外,为了确定上下文模型,图像编码设备200可将上方邻近编码单元的宽度长度与编码单元的宽度长度进行比较。此外,图像编码设备200可将左侧邻近编码单元和右侧邻近编码单元的高度长度与编码单元的高度长度进行比较。此外,图像编码设备200可基于比较结果来确定上下文模型。
图像编码设备200的操作与参照图13至图34描述的图像解码设备100的操作相似,并且因此这里不提供其详细解释。
在下文中,参照图25至图36描述根据实施例的对运动矢量进行解码的设备和方法以及对运动矢量进行编码的设备和方法。
图25是示出根据实施例的运动矢量解码设备2500的配置的框图。
参照图25,根据实施例的运动矢量解码设备2500可包括比特流获得器2510、默认运动矢量确定器2530和预测解码器2550。
运动矢量解码设备2500可被包括在上述图像解码设备100中。例如,比特流获得器2510可被包括在图1中所示的图像解码设备100的比特流获得器110中,并且默认运动矢量确定器2530和预测解码器2550可被包括在图像解码设备100的解码器120中。
在图像编码和解码中,帧间预测是指一种使用当前图像与另一图像之间的相似性的预测方法。从比当前图像更早解码的参考图像检测与当前图像的当前块相似的参考块,并且通过使用运动矢量来表示当前块的坐标与参考块的坐标之间的距离。此外,当前块与参考块之间的像素值的差可被表示为残差数据。因此,经由当前块的帧间预测输出的信息不是当前块的图像信息,而可以是指示参考块的索引、运动矢量和残差数据,从而提高编码和解码效率。
运动矢量解码设备2500可确定用于重建通过使用帧间预测而被编码的当前块的运动矢量。
块的类型可以是正方形形状或矩形形状,或者可以是任意几何形状。根据实施例的块不限于特定尺寸的数据单元,并且可包括根据树结构的编码单元中的最大编码单元、编码单元、预测单元和变换单元。
比特流获得器2510可获得包括用于对图像进行解码的信息的比特流。根据当前块的预测模式,比特流可包括关于如下项中的至少一个的信息:残差运动矢量、预测运动矢量、默认运动矢量(MV)是否被确定、预测方向(单向预测或双向预测)、参考图像索引和运动矢量分辨率。
默认运动矢量确定器2530可确定当前块的默认运动矢量(在下文中,默认MV)。
默认MV可被用于确定当前块的预测运动矢量。例如,在通过使用至少一个预测运动矢量(PMV)候选块的MV来确定当前块的PMV的方法中,当在所述至少一个PMV候选块中存在不具有MV的可用性的PMV候选块时,可通过使用默认MV来确定当前块的PMV。
换句话说,默认MV可以是用于确定当前块的PMV的PMV候选块的MV的备用MV。
默认运动矢量确定器2530可基于与当前块相关联的多个默认MV候选块的MV来确定一个默认MV或多个默认MV。
可在默认运动矢量确定器2530中预先确定多个默认MV候选块的位置或数量。所述多个默认MV候选块可包括与当前块相关联的先前解码的空间块和/或先前解码的时间块。所述空间块可包括在空间上与当前块相邻的至少一个块。所述时间块可包括参考图像中的与当前块位于相同位置的块以及在空间上与位于所述相同位置的所述块相邻的至少一个块,其中,所述参考图像具有与当前块的画面顺序计数(POC)不同的POC。
图29示出与当前块2900相关联的空间块和时间块。参照图29,在空间上与当前块2900相关联的空间块可包括左侧上方块a、右侧上方块b、上方左侧块c、上方右侧块d、左侧上方外部块e,右侧上方外部块f、左侧下方外部块g、右侧下方外部块h、左侧下方块i、右侧下方块j、下方左侧块k、下方右侧块l、左侧块m、右侧块n、上方块o和下方块p。此外,在时间上与当前块2900相关联的时间块可包括参考帧中所包括的相同位置的块q以及与相同位置的块q相邻的邻近块r,其中,所述参考帧具有与当前块2900的POC不同的POC。图29中所示的与当前块2900相关联的空间块和时间块是示例,并且多个默认MV候选块可包括图29中所示块中的至少一些块。
默认运动矢量确定器2530可通过使用多个默认MV候选块的MV中的至少一些MV来确定当前块的默认MV。
图30示出用于确定默认MV的默认MV候选块。
参照图30,默认MV候选块可包括相对于当前块2900的左侧块C0、左侧上方块C1、上方左侧块C2、上方右侧块C3、左侧上方外部块C4和左侧下方外部块C5。然而,示出的默认MV候选块的数量或位置是示例,并且可在对本领域普通技术人员显而易见的范围内被各种不同地修改。
根据实施例,默认运动矢量确定器2530可针对默认MV候选块设置优先级顺序,并且可根据优先级顺序针对每个默认MV候选块确定是否存在MV。默认运动矢量确定器2530可根据识别出存在MV的顺序将默认MV候选块的MV确定为默认MV。可在默认运动矢量确定器2530中预先确定优先级顺序,或者默认运动矢量确定器2530可以以特定方式确定优先级顺序。
默认运动矢量确定器2530可根据优先级顺序确定每个默认MV候选块是否具有MV,并且可将首先识别出MV的可用性的默认MV候选块的MV确定为默认MV。
此外,默认运动矢量确定器2530可根据优先级顺序针对每个默认MV候选块确定是否存在MV,并且可根据针对默认MV候选块识别出存在MV的顺序将多个默认MV候选块的MV确定为多个默认MV。
例如,可假设按照块C0至块C5的顺序设置优先级顺序,并且在块C1、C2和C4中存在MV。当默认运动矢量确定器2530将确定一个默认MV时,默认运动矢量确定器2530可将具有MV和最高优先级顺序的块C1的MV确定为默认MV。此外,当默认运动矢量确定器2530将确定两个默认MV时,默认运动矢量确定器2530可将具有MV和最高优先级顺序的块C1的MV以及具有第二高优先级顺序的块C2的MV确定为所述两个默认MV。
默认运动矢量确定器2530可通过将当前块的参考图像索引与多个默认MV候选块的参考图像索引进行比较来改变针对多个默认MV候选块设置的优先级顺序。例如,默认运动矢量确定器2530可提高具有与当前块的参考图像索引相同的参考图像索引的默认MV候选块的优先级顺序。当存在具有与当前块相同的参考图像索引的多个默认MV候选块时,该多个默认MV候选块之间的顺序可遵从预定优先级顺序。
例如,当按照块C0至块C5的顺序设置优先级顺序并且仅块C5的参考图像索引与当前块的参考图像索引相同时,块C5的优先级顺序可被改变为第一。因此,优先级顺序可被改变为具有块C5、C0、C1、C2、C3和C4的顺序。此外,例如,当按照块C0至块C5的顺序设置优先级顺序并且块C4的参考图像索引和块C5的参考图像索引与当前块的参考图像索引相同时,可提高块C4和C5的优先级顺序。此外,可按照块C4、C5、C0、C1、C2和C3的顺序改变优先级顺序,使得块C4的优先级顺序根据原始优先级顺序高于块C5的优先级顺序。
根据实施例,默认运动矢量确定器2530可根据优先级顺序确定每个默认MV候选块的参考图像索引是否与当前块的参考图像索引相同,并且可根据确定参考图像索引与当前块的参考图像索引相同的顺序,将至少一个默认MV候选块的MV确定为至少一个默认MV。当不存在与当前块具有相同的参考图像索引的默认MV候选块时,默认运动矢量确定器2530可根据优先级顺序确定每个默认MV候选块是否具有MV,并且可根据识别出存在MV的顺序将至少一个默认MV候选块的MV确定为至少一个默认MV。
根据实施例,默认运动矢量确定器2530可将与当前块具有相同的参考图像索引的一个或更多个默认MV候选块的MV确定为一个或更多个默认MV,而不管是否设置了优先级顺序。
此外,根据实施例,默认运动矢量确定器2530可基于默认MV候选块的MV的大小来选择预定数量的默认MV候选块,并且可将选择的默认MV候选块的MV中的每个MV确定为默认MV。例如,默认运动矢量确定器2530可基于默认MV候选块具有更大的MV的顺序来选择预定数量的默认MV候选块,并且可将选择的默认MV候选块的MV中的每个MV确定为默认MV。此外,例如,默认运动矢量确定器2530可基于默认MV候选块具有更小的MV的顺序来选择预定数量的默认MV候选块,并且可将选择的默认MV候选块的MV中的每个MV确定为默认MV。
根据实施例,默认运动矢量确定器2530可将通过对多个默认MV候选块的MV进行组合而获得的值(例如,MV的平均值或中值)确定为默认MV。参照图30,当所有的块C0至C5中都存在MV时,可将MV的平均值或中值确定为默认MV。当仅在块C0、C1和C2中存在MV时,可将块C0、C1和C2中的MV的平均值或中值确定为默认MV。
此外,根据实施例,默认运动矢量确定器2530可从基于当前块位于特定方向的默认MV候选块确定与所述特定方向对应的默认MV。例如,当默认运动矢量确定器2530将确定与左侧方向对应的默认MV时,默认运动矢量确定器2530可根据基于当前块位于左侧方向的默认MV候选块的MV来确定默认MV。此外,例如,当默认运动矢量确定器2530将确定与上方方向对应的默认MV时,默认运动矢量确定器2530可根据基于当前块位于上方方向的默认MV候选块的MV来确定默认MV。
参照图30,与左侧方向对应的默认MV候选块可包括块C0、C1、C4和C5,并且默认运动矢量确定器2530可通过使用块C0、C1、C4和C5中的至少一个的MV来确定与左侧方向对应的默认MV。默认运动矢量确定器2530可根据优先级顺序确定在块C0、C1、C4和C5中是否存在MV,并且可将首先识别出存在MV的块的MV确定为与左侧方向对应的默认MV。
此外,与上方方向对应的默认MV候选块可包括块C2、C3和C4,并且默认运动矢量确定器2530可通过使用块C2、C3和C4中的至少一个的MV来确定与上方方向对应的默认MV。默认运动矢量确定器2530可根据优先级顺序确定在块C2、C3和C4中是否存在MV,并且可将首先识别出存在MV的块的MV确定为与上方方向对应的默认MV。
如下所述,可将与特定方向对应的默认MV分配给不具有可用性的PMV块。这里,分配的默认MV的类型可根据PMV候选块基于当前块所位于的方向而不同。
根据实施例,默认运动矢量确定器2530可将至少一个默认MV候选块中的一默认MV候选块的MV确定为当前块的默认MV,其中,所述一默认MV候选块处于先前解码的画面、先前解码的条带或先前解码的最大编码单元中的针对PMV被最频繁选择的位置。例如,当在先前解码的画面中从图30中所示的左侧块C0、左侧上方块C1、上方左侧块C2、上方右侧块C3、左侧上方外部块C4和左侧下方外部块C5中针对PMV被最频繁选择的块是左侧块C0时,默认运动矢量确定器2530可通过使用块C0的MV来确定默认MV。当多个默认MV将被确定时,默认运动矢量确定器2530可根据默认MV候选块在先前解码的画面、条带或最大编码单元中针对PMV被选择的顺序来选择多个默认MV候选块,并且可通过使用选择的默认MV候选块的MV来确定多个默认MV。
根据实施例,默认运动矢量确定器2530可在针对通过使用帧间预测编码的当前块确定PMV之前确定默认MV。可选地,基于下面描述的PMV候选块的可用性的确定,可在必要时确定默认MV。可选地,当由比特流获得器2510获得的比特流包括针对当前块的默认MV被确定的信息时,默认运动矢量确定器2530可确定针对当前块的默认MV。
根据实施例,当默认运动矢量确定器2530通过使用基于特定标准从多个默认MV候选块中选择的至少一个默认MV候选块的MV来确定默认MV时,默认运动矢量确定器2530可原封不动地将所述至少一个默认MV候选块的MV确定为默认MV,或者可改变所述至少一个默认MV候选块的MV并将改变后的MV确定为默认MV。
根据实施例,当默认运动矢量确定器2530通过使用基于特定标准从多个默认MV候选块中选择的至少一个默认MV候选块的MV来确定默认MV时,默认运动矢量确定器2530可通过考虑当前块的参考图像索引来对所述至少一个默认MV候选块的MV进行缩放,并且将缩放后的MV确定为默认MV。
根据实施例,默认运动矢量确定器2530可通过使用经由解码器侧MV推导(DMVD)而推导出的MV来确定当前块的默认MV。DMVD可包括例如模板匹配方法或双边匹配方法。
预测解码器2550可通过使用至少一个PMV候选块的MV来确定当前块的PMV。
根据实施例,当前块的PMV可包括与当前块相关联的先前解码的空间块和/或先前解码的时间块。可从图29中所示的在空间上与当前块相关联的块和在时间上与当前块相关联的块中选择至少一个PMV候选块。
用于确定当前块的PMV的至少一个PMV候选块的位置和数量可与上述用于确定默认MV的默认MV候选块的位置和数量相同。根据实施例,所述至少一个PMV候选块和所述至少一个默认MV候选块在其位置和数量中的至少一个方面可彼此不同。
PMV候选块的数量和位置可在预测解码器2550中被预先确定,或者可基于预定标准由预测解码器2550针对画面单元、条带单元或块单元确定。根据实施例,可基于包括在比特流中的信息(例如,下面描述的关于当前块的MV分辨率的信息)来确定PMV候选块的数量和位置。
预测解码器2550可确定至少一个PMV候选块的MV的可用性,并且当存在被确定为不可用的PMV候选块时,预测解码器2550可通过使用默认MV来确定当前块的PMV。
根据实施例,可基于如下情况中的至少一个来确定PMV候选块的MV的可用性:在PMV候选块中是否存在MV以及所述MV是否与先前被确定为可用的另一PMV候选块的MV相同。
当任意块被帧内预测时,可确定在该块中不存在MV。此外,在确定可用性时,任意一个MV与另一MV相同的情况可包括MV和参考图像索引两者相同的情况。
例如,当在任意一个PMV候选块中不存在MV时,可确定PMV候选块不可用。此外,例如,当任意一个PMV候选块的MV与先前被确定为可用的另一PMV候选块的MV相同时,可将该PMV候选块确定为不可用。根据MV是否彼此相同来确定可用性可表示应用修剪(pruning)的类型。
根据实施例,预测解码器2550可基于可用性的确定,从至少一个PMV候选块中的每一个的MV构建包括预定数量的预测候选的预测候选列表。此外,预测解码器2550可通过使用包括在预测候选列表中的预测候选中的一个或更多个预测候选来确定当前块的PMV。预测解码器2550可通过使用包括在预测候选列表中的预测候选中的从包括在比特流中的信息识别出的一个或更多个预测候选来确定当前块的PMV。
例如,预测解码器2550可将任意一个预测候选原封不动地确定为当前块的PMV,或者可改变预测候选并将改变后的预测候选确定为当前块的PMV。此外,预测解码器2550可将通过对多个预测候选进行组合而获得的值(例如,多个预测候选的平均值或中值)确定为当前块的PMV。
预测解码器2550可通过确定每个PMV候选块的MV的可用性来构建预测候选列表。
例如,预测解码器2550可根据优先级顺序确定每个PMV候选块的可用性。参照图31,当按照块A0、A1、B0、B1,B2、C3和H的顺序设置优先级顺序时,并且当具有最高优先级顺序的块A0包括MV时,块A0的MV可作为预测候选被包括在预测候选列表中。接下来,当在具有第二高优先级顺序的块A1中不存在MV时,或者即使当在具有第二高优先级顺序的块A1中存在MV时,但是当该MV与已经包括在预测候选列表中的块A0的MV相同时,块A1可被确定为不可用,并且可确定具有下一优先级顺序的块B0的可用性。预测解码器2550可根据优先级顺序确定块A0至块H中的每个块的可用性,直到预测候选列表被构建为止。在预测解码器2550通过确定块A0至块H中的每个块的可用性来构建预测候选列表之后,当包括在预测候选列表中的预测候选的数量小于预定数量时,预测解码器2550可将默认MV添加到预测候选列表。
例如,当将被包括在预测候选列表中的预测候选的数量是3时,并且当单个预测候选被包括在基于可用性的确定而构建的预测候选列表中时,预测解码器2550可在预测候选列表中添加两个默认MV。此外,当两个预测候选被包括在基于可用性的确定而构建的预测候选列表中时,预测解码器2550可在预测候选列表中添加一个默认MV。
可预先确定将被包括在预测候选列表中的预测候选的数量。根据实施例,默认运动矢量确定器2530可确定数量与将被包括在预测候选列表中的预测候选的预定数量对应的默认MV。
根据实施例,预测解码器2550可确定每个PMV候选块的可用性,并且将默认MV分配给被确定为不可用的PMV候选块。然后,预测解码器2550可根据PMV候选块的优先级顺序构建预测候选列表。例如,预测解码器2550可确定图31的块A0至块H的可用性,并且当块A1被确定为不可用时,预测解码器2550可将默认MV分配给块A1。然后,预测解码器2550可根据优先级顺序将块A0至块H中的每个块的MV包括在预测候选列表中。
预测解码器2550可通过使用包括默认MV的预测候选列表或不包括默认MV的预测候选列表的至少一个预测候选来确定当前块的PMV。
在确定当前块的PMV的实施例中,预测解码器2550可基于预定位置中的至少一个PMV候选块的MV来确定当前块的PMV。预测解码器2550可确定所述预定位置中的所述至少一个PMV候选块的可用性,并且可将默认MV分配给被确定为不可用的PMV候选块。这里,将默认MV分配给PMV候选块可表示将默认MV用作PMV候选块的MV。
如图32中所示,当当前块的PMV被确定为通过将块D1的MV、块D2的MV和块D3的MV进行组合而获得的值时,并且当在块D2中不存在MV时,默认MV可被分配为块D2的MV。根据实施例,默认运动矢量确定器2530可确定与所述预定位置中的PMV候选块的数量相同数量的默认MV。
此外,根据实施例,预测解码器2550可通过使用预定位置中的PMV候选块的MV来确定当前块的PMV。在这种情况下,当PMV候选块被确定为不可用时,预测解码器2550可将默认MV分配给PMV候选块。预测解码器2550可将分配给PMV候选块的默认MV原封不动地确定为当前块的PMV,或者可改变默认MV并将改变后的默认MV确定为当前块的PMV。
根据实施例,预测解码器2550可将默认MV分配给预定位置中的PMV候选块中的不具有可用性的PMV候选块。当存在多个不具有可用性的PMV候选块时,预测解码器2550可将多个默认MV分别分配给所述多个不具有可用性的PMV候选块。
例如,在图32中,在通过使用块D1的MV确定当前块的PMV的方法中,当在块D1中不存在MV时,预测解码器2550可将默认MV分配给块D1。此外,在通过使用块D1、D2和D3的MV确定当前块的PMV的方法中,当在块D1和D2中不存在MV时,预测解码器2550可将默认MV分别分配给块D1和D2。
当默认MV被分配给不具有可用性的PMV候选块时,可考虑PMV候选块的位置。如上所述,默认运动矢量确定器2530可从基于当前块位于特定方向上的默认MV候选块确定与相应特定方向对应的默认MV。预测解码器2550可通过考虑不具有可用性的PMV候选块基于当前块所位于的方向来将相应默认MV分配给PMV候选块。
例如,当在图32的基于当前块位于左侧方向上的块D1中不存在MV时,预测解码器2550可将对应于左侧方向确定的默认MV分配给块D1,并且当在基于当前块位于上方方向上的块D2中不存在MV时,预测解码器2550可将对应于上方方向确定的默认MV分配给块D2。当在块D3中不存在MV时,预测解码器2550可将对应于上方方向确定的默认MV分配给块D3,或者将通过将多个默认MV中的至少一些默认MV进行组合而确定的值分配给块D3。
根据实施例,可基于当前块的运动矢量分辨率(在下文中,称为MVR)确定上述至少一个PMV候选块的数量和类型。预测解码器2550可基于预定条件直接确定当前块的MVR,或者可参照由比特流获得器2510获得的比特流中包括的信息来确定当前块的MVR。
根据实施例,比特流获得器2510可针对每个经过帧间预测的编码单元获得关于MVR的信息。图36示出用于从比特流获得关于MVR的信息的语法。
参照图36,当在短语a中包括当前编码单元的条带不是条带I时,在短语b中提取cu_skip_flag。cu_skip_flag指示是否将跳过模式应用于当前编码单元。当在短语c中检查出跳过模式被应用时,在跳过模式下对当前编码单元进行处理。当在短语d中检查出跳过模式不被应用时,在短语e中提取pred_mode_flag。pred_mode_flag指示当前编码单元是被帧内预测还是被帧间预测。当在短语f中当前编码单元不被帧内预测,也就是说,当前编码单元被帧间预测时,在短语g中提取pred_mvr_idx。pred_mvr_idx是指示当前编码单元的MVR的索引,并且与每个索引对应的MVR如表2中所示。
[表2]
Figure GDA0002394691330000551
Figure GDA0002394691330000561
当前块的MVR可表示包括在参考图像(或经过插值的参考图像)中的像素中的可由当前块的MV指示的像素的位置的精确度。可从至少一个候选MVR选择当前块的MVR。所述至少一个候选MVR可包括例如如下MVR中的至少一个:1/8像素单位的MVR、1/4像素单位的MVR、1/2像素单位的MVR、1像素单位的MVR、2像素单位的MVR、4像素单位的MVR和8像素单位的MVR,但不限于此。
用于确定当前块的PMV的PMV候选块的数量和类型可根据当前块的MVR的类型被预先确定。例如,当当前块的MVR是1/4像素单位的MVR时,PMV候选块可包括左侧块和上方块,并且当当前块的MVR是1像素单位的MVR时,PMV候选块可包括左侧下方块。此外,当当前块的MVR是2像素单位的MVR时,PMV候选块可包括右侧块。像这样,当当前块的MVR被确定时,用于确定PMV的PMV候选块的类型和数量可被自动确定。根据实施例,针对每个MVR,用于确定PMV的PMV候选块的数量可以是1。然而,针对每个MVR,PMV候选块的位置可彼此不同。
当当前块的MVR被确定并且PMV候选块根据所确定的MVR被确定时,如上所述,预测解码器2550可确定PMV候选块中的每一个的MV的可用性。此外,预测解码器2550可将默认MV分配为被确定不具有可用性的PMV候选块的MV,并且可确定当前块的PMV。
当将默认MV分配给PMV候选块时,预测解码器2550可将针对当前块可选择的候选MVR中的最小MVR与当前块的MVR进行比较,以调整默认MV。从默认MV候选块的MV确定默认MV。默认MV候选块的MV被预测以指示根据最小MVR插值的图像中的像素坐标,并且因此,默认MV可被调整为与当前块的MVR对应。
当根据当前块的MVR的用于确定PMV的PMV候选块的数量是1,并且因为PMV候选块被确定为不可用,所以将默认MV分配给PMV候选块时,默认MV可能需要被调整。当用于确定PMV的PMV候选块的数量是1并且PMV候选块可用时,并且当用于确定PMV的PMV候选块的数量大于1,并且多个PMV候选块中的一个或更多个可用时,可用的PMV候选块的MV可被用于确定PMV。因此,被确定为可用的PMV候选块的MV也可能像默认MV一样需要被调整。
将参照图33至图35详细描述调整默认MV的处理。
当当前块的PMV被确定时,预测解码器2550可从PMV获得当前块的MV。当当前块的预测模式是跳过模式或合并模式时,预测解码器2550可将PMV确定为当前块的MV,并且当当前块的预测模式是高级运动矢量预测(AMVP)模式时,预测解码器2550可通过将残差MV和PMF进行组合来获得当前块的MV。
此外,预测解码器2550可通过将当前块的MVR与最小MVR进行比较来放大从比特流获得的残差MV,并且可通过将放大的残差MV与PMV进行组合来获得当前块的MV。下面将描述残差MV的放大。
图26是根据实施例的用于描述对MV进行解码的方法的流程图。
在操作S2610,运动矢量解码设备2500可确定当前块的PMV。
运动矢量解码设备2500可通过使用与当前块相关联的至少一个PMV候选块来确定当前块的PMV。
如上所述,运动矢量解码设备2500可确定至少一个PMV候选块的MV的可用性。当存在被确定为不可用的PMV候选块时,运动矢量解码设备2500可通过使用从多个默认MV候选块确定的默认MV来确定当前块的PMV。
当当前块的MVR被确定时,运动矢量解码设备2500可通过使用根据当前块的MVR调整的默认MV来确定当前块的PMV。
在操作S2620,运动矢量解码设备2500可基于当前块的PMV获得当前块的MV。
运动矢量解码设备2500可获得当前块的PMV作为当前块的MV,或者可获得将PMV与残差MV进行组合的结果作为当前块的MV。根据实施例,当当前块的MVR被确定时,运动矢量解码设备2500可选择性地放大残差MV,然后可通过将选择性地放大的残差MV与PMV进行组合来获得当前块的MV。
图27是示出根据实施例的运动矢量编码设备2700的配置的框图。
参照图27,根据实施例的运动矢量编码设备2700可包括默认运动矢量确定器2710、预测编码器2730和比特流生成器2750。运动矢量编码设备2700可被包括在上述图像编码设备200中。例如,运动矢量编码设备2700的默认运动矢量确定器2710和预测编码器2730可被包括在图像编码设备200的编码器220中,并且运动矢量编码设备2700的比特流生成器2750可被包括在图像编码设备200的比特流生成器210中。
默认运动矢量确定器2710可确定当前块的默认MV。
默认MV可被用于确定当前块的预测运动矢量。例如,在通过使用至少一个PMV候选块的MV确定当前块的PMV的方法中,当在所述至少一个PMV候选块中存在不具有MV的可用性的PMV候选块时,可通过使用默认MV来确定当前块的PMV。
默认运动矢量确定器2710可基于与当前块相关联的多个默认MV候选块的MV来确定一个默认MV或多个默认MV。
可在默认运动矢量确定器2710中预先确定多个默认MV候选块的位置或数量。所述多个默认MV候选块可包括与当前块相关联的先前编码的空间块和/或先前编码的时间块。所述空间块可包括在空间上与当前块相邻的至少一个块。所述时间块可包括参考图像中的与当前块位于相同位置的块以及在空间上与位于所述相同位置的所述块相邻的至少一个块,其中,所述参考图像具有与当前块的画面顺序计数(POC)不同的POC。
根据实施例,默认运动矢量确定器2710可针对默认MV候选块设置优先级顺序,并且可根据优先级顺序针对每个默认MV候选块确定是否存在MV。默认运动矢量确定器2710可根据识别出存在MV的顺序,基于至少一个默认MV候选块的MV来确定至少一个默认MV。
默认运动矢量确定器2710可根据优先级顺序确定每个默认MV候选块是否具有MV,并且可将首先识别出MV的可用性的默认MV候选块的MV确定为默认MV。
此外,默认运动矢量确定器2710可根据优先级顺序针对每个默认MV候选块确定是否存在MV,并且可根据针对默认MV候选块识别出存在MV的顺序将多个默认MV候选块的MV确定为多个默认MV。
默认运动矢量确定器2710可通过将当前块的参考图像索引与多个默认MV候选块的参考图像索引进行比较来改变针对所述多个默认MV候选块设置的优先级顺序。例如,默认运动矢量确定器2710可提高具有与当前块的参考图像索引相同的参考图像索引的默认MV候选块的优先级顺序。当存在与当前块具有相同的参考图像索引的多个默认MV候选块时,所述多个默认MV候选块之间的顺序可遵从预定优先级顺序。
根据实施例,默认运动矢量确定器2710可根据优先级顺序确定每个默认MV候选块的参考图像索引是否与当前块的参考图像索引相同,并且可根据确定出参考图像索引与当前块的参考图像索引相同的顺序,将至少一个默认MV候选块的MV确定为至少一个默认MV。当不存在与当前块具有相同的参考图像索引的默认MV候选块时,默认运动矢量确定器2710可根据优先级顺序确定每个默认MV候选块是否具有MV,并且可根据识别出存在MV的顺序将至少一个默认MV候选块的MV确定为至少一个默认MV。根据实施例,默认运动矢量确定器2710可将与当前块具有相同的参考图像索引的一个或更多个默认MV候选块的MV确定为默认MV,而不管是否设置了优先级顺序。
此外,根据实施例,默认运动矢量确定器2710可基于默认MV候选块的MV的大小来选择预定数量的默认MV候选块,并且可将选择的预定数量的默认MV候选块的MV确定为默认MV。例如,默认运动矢量确定器2710可基于默认MV候选块具有更大的MV的顺序来选择预定数量的默认MV候选块,并且可将选择的预定数量的默认MV候选块的MV确定为默认MV。此外,例如,默认运动矢量确定器2710可基于默认MV候选块具有更小的MV的顺序来选择预定数量的默认MV候选块,并且可将选择的预定数量的默认MV候选块的MV确定为默认MV。
根据实施例,默认运动矢量确定器2710可将通过对多个默认MV候选块的MV进行组合而获得的值(例如,MV的平均值或中值)确定为默认MV。
此外,根据实施例,默认运动矢量确定器2710可从基于当前块位于特定方向的默认MV候选块确定与所述特定方向对应的默认MV。例如,当默认运动矢量确定器2710将确定与左侧方向对应的默认MV时,默认运动矢量确定器2710可根据基于当前块位于左侧方向的默认MV候选块的MV来确定默认MV。此外,例如,当默认运动矢量确定器2710将确定与上方方向对应的默认MV时,默认运动矢量确定器2710可根据基于当前块位于上方方向的默认MV候选块的MV来确定默认MV。
根据实施例,默认运动矢量确定器2710可将至少一个默认MV候选块中的一默认MV候选块的MV确定为默认MV,其中,所述一默认MV候选块处于先前编码的画面、先前编码的条带或先前编码的最大编码单元中的针对PMV被最频繁选择的位置。当多个默认MV将被确定时,默认运动矢量确定器2710可根据默认MV候选块在先前编码的画面、条带或最大编码单元中针对PMV被选择的顺序来选择多个默认MV候选块,并且可通过使用选择的默认MV候选块的MV来确定多个默认MV。
根据实施例,默认运动矢量确定器2710可在针对当前块确定PMV之前确定默认MV。可选地,基于下面描述的PMV候选块的可用性的确定,可根据需要确定默认MV。
根据实施例,当默认运动矢量确定器2710通过使用基于特定标准从多个默认MV候选块中选择的至少一个默认MV候选块的MV来确定默认MV时,默认运动矢量确定器2710可将所述至少一个默认MV候选块的MV原封不动地确定为默认MV,或者可改变所述至少一个默认MV候选块的MV并将改变后的MV确定为默认MV。
根据实施例,当默认运动矢量确定器2710通过使用基于特定标准从多个默认MV候选块中选择的至少一个默认MV候选块的MV来确定默认MV时,默认运动矢量确定器2710可通过考虑当前块的参考图像索引来对所述至少一个默认MV候选块的MV进行缩放,并且将缩放后的MV确定为默认MV。
根据实施例,默认运动矢量确定器2710可通过使用经由DMVD推导出的MV来确定当前块的默认MV。DMVD可包括例如模板匹配方法或双边匹配方法。通常,编码设备包括解码设备,并且因此,运动矢量编码设备2700的默认运动矢量确定器2710也可经由DMVD确定MV。
预测编码器2730可确定当前块的MV。根据实施例,预测编码器2730可对用于当前块的帧间预测的参考图像进行插值,从参考图像检测与当前块最相似的块,并且将当前块的坐标与参考块的坐标之间的距离确定为当前块的MV。
根据实施例,预测编码器2730可确定当前块的MVR,并且根据确定的MVR来确定MV。
预测编码器2730可将针对当前块可选择的至少一个候选MVR中的任意一个候选MVR确定为当前块的MVR。预测编码器2730可根据针对当前块可选择的至少一个候选MVR中的最小MVR来对参考图像进行插值,并且可通过使用该MVR来确定当前块的MV。例如,当针对当前块可选择的候选MVR包括1/4像素单位的MVR、1/2像素单位的MVR、1像素单位的MVR和2像素单位的MVR,并且将1像素单位的MVR选为当前块的MVR时,预测编码器2730可通过使用具有最小MVR的1/4像素单位对参考图像进行插值,并且可在经过插值的参考图像中通过使用1像素单位来确定MV。
预测编码器2730可确定当前块的PMV,以便对当前块的MV进行编码。根据实施例,可从包括与当前块相关联的空间块和/或时间块的至少一个PMV候选块确定当前块的PMV。
PMV候选块的数量和位置可在预测编码器2730中被预先确定,或者可由预测编码器2730针对画面单位、条带单位或块单位被确定。根据实施例,可根据当前块的MVR确定PMV候选块的数量和位置。
预测编码器2730可确定至少一个PMV候选块的MV的可用性,并且当存在被确定为不可用的PMV候选块时,预测编码器2730可通过使用默认MV来确定当前块的PMV。
根据实施例,可基于如下项中的至少一个确定PMV候选块的MV的可用性:在PMV候选块中是否存在MV以及该MV是否与先前被确定为可用的另一PMV候选块的MV相同。
根据实施例,预测编码器2730可基于可用性的确定,从至少一个PMV候选块中的每一个的MV构建包括预定数量的预测候选的预测候选列表。此外,预测编码器2730可通过使用包括在预测候选列表中的预测候选中的一个或更多个预测候选来确定当前块的PMV。
例如,预测编码器2730可将任意一个预测候选原封不动地确定为当前块的PMV,或者可改变预测候选并将改变后的预测候选确定为当前块的PMV。此外,预测编码器2730可将通过对多个预测候选进行组合而获得的值(例如,多个预测候选的平均值或中值)确定为当前块的PMV。
预测编码器2730可通过确定每个PMV候选块的MV的可用性来构建预测候选列表。例如,预测编码器2730可根据优先级顺序确定每个PMV候选块的可用性。参照图31,当按照块A0、A1、B0、B1、B2、C3和H的顺序设置优先级顺序时,并且当具有最高优先级顺序的块A0包括MV时,块A0的MV可作为预测候选被包括在预测候选列表中。接下来,当在具有第二高优先级顺序的块A1中不存在MV时,或者即使当在具有第二高优先级顺序的块A1中存在MV时,但是当该MV与已经被包括在预测候选列表中的块A0的MV相同时,块A1可被确定为不可用,并且可确定具有下一优先级顺序的块B0的可用性。预测编码器2730可根据优先级顺序确定块A0至块H中的每个块的可用性,直到预测候选列表被构建为止。在预测编码器2730通过确定块A0至块H中的每个块的可用性来构建预测候选列表之后,当包括在预测候选列表中的预测候选的数量小于预定数量时,预测解码器2550可将默认MV包括在预测候选列表中。
根据实施例,预测编码器2730可确定PMV候选块中的每一个的可用性,并且将默认MV分配给被确定为不可用的PMV候选块。然后,预测编码器2730可根据PMV候选块的优先级顺序构建预测候选列表。可预先确定将被包括在预测候选列表中的预测候选的数量。根据实施例,默认运动矢量确定器2710可确定与将被包括在预测候选列表中的预定数量的预测候选对应的默认MV的数量。
预测编码器2730可通过使用包括默认MV的预测候选列表或不包括默认MV的预测候选列表的至少一个预测候选来确定当前块的PMV。
根据实施例,预测编码器2730可基于预定位置中的至少一个PMV候选块的MV来确定当前块的PMV。预测编码器2730可确定所述预定位置中的所述至少一个PMV候选块的可用性,并且可将默认MV分配为被确定为不可用的PMV候选块的MV。如图32中所示,当当前块的PMV被确定为通过将块D1的MV、块D2的MV和块D3的MV进行组合而获得的值时,并且当在块D2中不存在MV时,可将默认MV分配为块D2的MV。
此外,根据实施例,预测编码器2730可通过使用预定位置中的PMV候选块的MV来确定当前块的PMV。在这种情况下,当PMV候选块被确定为不可用时,预测编码器2730可将默认MV分配给该PMV候选块。预测编码器2730可将分配给PMV候选块的默认MV原封不动地确定为当前块的PMV,或者可改变默认MV并将改变后的默认MV确定为当前块的PMV。
根据实施例,预测编码器2730可将默认MV分配给预定位置中的PMV候选块中的不具有可用性的PMV候选块,并且当存在多个不具有可用性的PMV候选块时,预测解码器2550可将多个默认MV分别分配给所述多个不具有可用性的PMV候选块。根据实施例,默认运动矢量确定器2530可确定与所述预定位置中的PMV候选块相同数量的默认MV。
当默认MV被分配给不具有可用性的PMV候选块时,可考虑PMV候选块的位置。如上所述,默认运动矢量确定器2710可从基于当前块位于特定方向上的默认MV候选块确定与相应特定方向对应的默认MV。预测编码器2730可通过考虑不具有MV的PMV候选块基于当前块所位于的方向来将相应默认MV分配给PMV候选块。
当当前块的MV和PMV被确定时,预测编码器2730可基于当前块的预测模式获得作为当前块的MV与PMV之间的差的残差MV。
当当前块的预测模式是跳过模式或合并模式时,预测编码器2730可省略获得残差MV的操作,并且当当前块的预测模式是AMVP模式时,预测编码器2730可获得残差MV。
根据实施例,预测编码器2730可生成关于当前块的PMV的信息。例如,当从预定数量的预测候选确定当前块的PMV时,预测编码器2730可生成指示所述预定数量的预测候选中的哪个预测候选被用作当前块的PMV的信息。
当从预定位置中的PMV候选块的MV确定当前块的PMV时,预测编码器2730可省略生成关于PMV的信息的操作。这是因为运动矢量解码设备2500也可通过使用所述预定位置中的相同PMV候选块来确定PMV,以便确定当前块的MV。
根据实施例,预测编码器2730可生成指示默认MV被确定以便确定当前块的PMV的信息。例如,当默认运动矢量确定器2710确定了默认MV时,可生成标志1,并且当确定默认MV的操作被省略时,可生成标志0。
根据实施例,预测编码器2730可生成指示当前块的MVR的信息。
比特流生成器2750可生成包括由预测编码器2730生成的如下信息中的至少一个信息的比特流:与残差MV对应的信息、关于PMV的信息、关于默认MV是否被确定的信息、关于当前块的MVR的信息、关于预测方向(单向或双向)的信息和关于参考图像索引的信息。
图28是根据实施例的用于描述对MV进行编码的方法的流程图。
在操作S2810,运动矢量编码设备2700可确定当前块的MV。运动矢量编码设备2700可在参考图像中寻找与当前块最相似的参考块,并且可确定指示参考块的坐标与当前块的坐标之间的距离的MV。
根据实施例,当当前块的MVR被确定时,运动矢量编码设备2700可根据基于最小MVR插值的图像中的当前块的MVR来确定MV。
在操作S2820,运动矢量编码设备2700可确定当前块的PMV。
运动矢量编码设备2700可通过使用至少一个PMV候选块的MV来确定当前块的PMV。
如上所述,运动矢量编码设备2700可确定至少一个PMV候选块的MV的可用性。当存在被确定为不可用的PMV候选块时,运动矢量编码设备2700可通过使用从多个默认MV候选块确定的默认MV来确定当前块的PMV。
当当前块的MVR被确定时,运动矢量编码设备2700可通过使用根据当前块的MVR调整的默认MV来确定当前块的PMV。
在下文中,将参照图33至图35描述当当前块的MVR被确定时调整默认MV的处理。
如上所述,当针对当前块可选择的至少一个候选MVR中的任意一个候选MVR被选为当前块的MVR时,在默认MV被用于确定当前块的PMV时可能需要根据当前块的分辨率调整默认MV。
图33示出当针对当前块可选择的最小MVR是1/4像素单位的MVR时可由根据1/4像素单位的MVR、1/2像素单位的MVR、1像素单位的MVR和2像素单位的MVR的MV指示的像素的位置。
图33的(a)、(b)、(c)和(d)分别示出基于坐标(0,0)可由1/4像素单位的MVR、1/2像素单位的MVR、1像素单位的MVR和2像素单位的MVR的MV指示的像素的坐标(由黑色正方形标记)。
当最小MVR是1/4像素单位的MVR时,可由1/4像素单位的MVR的MV指示的像素的坐标变为(a/4,b/4)(a和b是整数),可由1/2像素单位的MVR的MV指示的像素的坐标变为(2c/4,2d/4)(c和d是整数),可由1像素单位的MVR的MV指示的像素的坐标变为(4e/4,4f/4)(e和f是整数),并且可由2像素单位的MVR的MV指示的像素的坐标变为(8g/4,8h/4)(g和h是整数)。也就是说,当最小MVR具有2m(m是整数)像素单位时,可由2n(n是整数)像素单位的MVR的MV指示的像素的坐标变为(2n-m*i/2-m,2n-m*j/2-m)(i和j是整数)。尽管MV是根据特定MVR确定的,但是MV由根据与最小MVR对应的1/4像素单位插值的图像中的坐标表示。
在实施例中,因为运动矢量编码设备2700确定根据最小MVR插值的图像中的MV,所以为了通过使用整数来表示MV,可通过将MV乘以最小MVR的像素单位值的倒数(例如,在最小MVR具有2m(m是整数)像素单位时的2-m)来表示整数单位的MV。可在运动矢量编码设备2700和运动矢量解码设备2500中使用乘以2-m的整数单位的MV。
当从坐标(0,0)开始的1/2像素单位的MVR的MV指示坐标(2/4,6/4)并且最小MVR具有1/4像素单位时,运动矢量编码设备2700可将通过将MV乘以整数4而获得的(2,6)确定为MV。
图34是用于描述调整默认MV的方法的示图。
当当前块的MVR大于可选择的候选MVR中的最小MVR时,运动矢量编码设备2700和运动矢量解码设备2500可调整将被用作当前块的PMV的默认MV。当前块的MVR大于最小MVR可表示当前块的MVR的像素单位大于最小MVR的像素单位。例如,1像素单位的MVR大于1/2像素单位的MVR,并且1/2像素单位的MVR可大于1/4像素单位的MVR。
为了将由根据最小MVR插值的图像中的坐标表示的默认MV调整为当前块的MVR,运动矢量编码设备2700和运动矢量解码设备2500可将默认MV调整为指示邻近像素,而不是由默认MV指示的像素。
例如,在图34中,为了将基于坐标(0,0)指示坐标(19,27)的像素3410的默认MV A调整为作为当前块的MVR的1像素单位的MVR,可将由默认MV A指示的像素3410的坐标(19,27)除以整数4(即,可被缩小),并且作为除法结果获得的坐标(19/4,27/4)可不指示整数像素单位。
运动矢量编码设备2700和运动矢量解码设备2500可将缩小的默认MV调整为指示整数像素单位。例如,在坐标(19/4,27/4)周围的邻近整数像素的坐标为(16/4,28/4)、(16/4,24/4)、(20/4,28/4)和(20/4,24/4)。在这种情况下,在运动矢量编码设备2700和运动矢量解码设备2500可将缩小的默认MV A调整为指示位于右上方的坐标(20/4,28/4)而不是坐标(19/4,27/4)之后,并且可乘以整数4(即,放大),使得最终调整的默认MV D指示与坐标(20,28)对应的像素3440。
根据实施例,运动矢量编码设备2700和运动矢量解码设备2500可将缩小的默认MV调整为指示位于左下方的坐标、位于左上方的坐标或位于右下方的坐标。
根据实施例,当由缩小的默认MV指示的x坐标值和y坐标值中的任意一个指示整数像素时,运动矢量编码设备2700和运动矢量解码设备2500可仅增大或仅减小不指示整数像素的坐标值以指示整数像素。也就是说,当由缩小的默认MV指示的x坐标值指示整数像素时,运动矢量编码设备2700和运动矢量解码设备2500可使调整后的默认MV指示位于由调整之前的默认MV指示的像素的上方或下方的整数像素。可选地,当由缩小的默认MV指示的y坐标值指示整数像素时,运动矢量编码设备2700和运动矢量解码设备2500可使调整后的默认MV指示位于由调整之前的默认MV指示的像素的左侧或右侧的整数像素。
当默认MV被调整时,运动矢量编码设备2700和运动矢量解码设备2500可根据当前块的MVR不同地选择由调整后的默认MV指示的点。
例如,参照图35,当当前块的MVR是1/2像素单位的MVR时,运动矢量编码设备2700和运动矢量解码设备2500可使调整后的默认MV指示在由调整之前的默认MV指示的像素的左上方的像素3530;当当前块的MVR是1像素单位的MVR时,运动矢量编码设备2700和运动矢量解码设备2500可使调整后的默认MV指示在由调整之前的默认MV指示的像素的右上方的像素3520;并且当当前块的MVR是2像素单位的MVR时,运动矢量编码设备2700和运动矢量解码设备2500可使调整后的默认MV指示在由调整之前的默认MV指示的像素的右下方的像素3540。
当考虑当前块的MVR和最小MVR来调整默认MV时,运动矢量编码设备2700和运动矢量解码设备2500可根据下面的等式1来调整默认MV。
[等式1]
默认MV'=((默认MV>>k)+偏移)<<k
在等式1中,默认MV'表示调整后的默认MV,并且k是根据当前块的MVR与最小MVR之间的差确定的值,其中,当当前块的MVR是2m像素单位(m为整数),最小MVR是2n像素单位(n为整数),并且m>n时,k可以是m-n。
根据实施例,k可以是MVR的索引,并且当候选MVR包括1/4像素单位的MVR、1/2像素单位的MVR、1像素单位的MVR、2像素单位的MVR和4像素单位的MVR时,与索引对应的MVR如表2中所示。当从比特流接收到MVR索引时,运动矢量解码设备2500可通过将MVR索引用作k,根据等式1来调整默认MV。
此外,在等式1中,作为位移位运算的>>或<<是指减小或增大默认MV的大小的操作。此外,偏移表示当根据k值缩小的默认MV不指示整数像素时为了指示整数像素而加或减的值。可根据默认MV的x坐标值和y坐标值中的每一个来不同地确定偏移。
根据实施例,当缩小的默认MV被改变以指示整数像素时,运动矢量编码设备2700和运动矢量解码设备2500可根据相同的标准来改变缩小的默认MV。
根据实施例,当缩小的默认MV的x坐标值和y坐标值不指示整数像素时,运动矢量编码设备2700和运动矢量解码设备2500可总是增大或减小缩小的默认MV的x坐标值和y坐标值以指示整数像素。可选地,运动矢量编码设备2700和运动矢量解码设备2500可对缩小的默认MV的x坐标值和y坐标值进行四舍五入以指示整数像素。
根据实施例,当默认MV被调整时,运动矢量编码设备2700和运动矢量解码设备2500可省略对默认MV的缩小和放大,并且可在根据最小MVR插值的参考图像中的坐标平面中调整默认MV,以指示与当前块的MVR对应的像素单位。
此外,根据实施例,当考虑当前块的MVR和最小MVR来调整默认MV时,运动矢量编码设备2700和运动矢量解码设备2500可根据下面的等式2而不是等式1来调整默认MV。
[等式2]
默认MV'=((默认MV+偏移)>>k)<<k
尽管等式2与等式1相似,但与偏移被应用于缩小的默认MV的等式不同,偏移被应用于原始的默认MV,然后根据k被缩小。
运动矢量编码设备2700通过使用当前块的MVR来寻找当前块的MV,并且获得当前块的MV与PMV之间的差作为残差MV。
如在下面的等式3中所示,运动矢量编码设备2700可确定残差MV并对残差MV进行编码。在等式3中,MV表示当前块的运动矢量,PMV表示当前块的预测运动矢量,MVD表示残差MV。PMV可表示基于调整后的默认MV和/或PMV候选块的调整后的MV所确定的PMV。
[等式3]
MVD=MV–PMV
当当前块的MVR高于最小MVR时,如等式4中所示,运动矢量编码设备2700可缩小残差MV,并且可生成包括指示缩小的残差MV的信息的比特流。
[等式4]
MVD'=(MVD>>k)
在等式4中,MVD'表示缩小的残差MV,并且作为根据最小MVR与当前块的MVR之间的差而确定的值的k与等式1的k相同。
根据实施例,运动矢量编码设备2700可根据k值缩小当前块的MV和PMV,然后可对作为残差MV的两个值之间的差进行编码。
根据实施例,运动矢量编码设备2700可根据下面的等式5而不是等式3和等式4来计算缩小的残差MV。
[等式5]
MVD'=(MV-PMV)/(R*S)
在等式5中,MVD'表示缩小的残差MV,MV表示当前块的MV,PMV表示当前块的预测运动矢量。此外,R表示当前块的MVR的像素单位值(例如,当当前块的MVR是1/4像素单位的MVR时的1/4)。此外,S表示最小MVR的像素单位值的倒数(例如,当最小MVR是1/4像素单位时的4)。
运动矢量解码设备2500可通过使用当前块的PMV和残差MV来重建当前块的MV。
当当前块的MVR高于最小MVR时,如下面的等式6中所示,运动矢量解码设备2500可放大残差运动数据。
[等式6]
MVD”=(MVD'<<k)
在等式6中,MVD'表示由编码设备缩小的残差MV,并且MVD”表示放大的残差MV。作为根据最小MVR与当前块的MVR之间的差而确定的值的k与等式1的k相同。
运动矢量解码设备2500可通过将根据最小MVR与当前块的MVR之间的差选择性地放大的残差MV与PMV相加来对当前块的MV进行解码。
根据实施例,运动矢量解码设备2500可根据下面的等式7而不是上面的等式6来确定放大的残差MV。
[等式7]
MVD”=MVD'*(R*S)
在等式7中,MVD'表示缩小的残差MV,并且R表示当前块的MVR的像素单位值(例如,当当前块的MVR是1/4像素单位的MVR时的1/4)。此外,S表示最小MVR的像素单位值的倒数(例如,当最小MVR是1/4像素单位时的4)。
根据实施例,当当前块的MVR小于1像素单位的MVR时,运动矢量解码设备2500可根据最小MVR对参考图像进行插值,然后可根据当前块的MV搜索当前块的预测块。此外,当当前块的MVR等于或高于1像素单位的MVR时,运动矢量解码设备2500可在未对参考图像进行插值的情况下根据当前块的MV搜索当前块的预测块。运动矢量解码设备2500可通过将预测块与经过逆变换和反量化的残差数据相加来重建当前块。
实施例可被实现为计算机可执行程序,并且该程序可被存储在介质中。
介质可持续存储计算机可执行程序,或者可临时存储计算机可执行程序,以执行或下载计算机可执行程序。此外,介质可以是包括单个硬件或多个硬件的组合的各种记录手段或存储手段中的任意一个,并且可分布在网络中,而不限于直接连接到计算机系统的介质。介质可被配置为存储程序指令,并且介质的示例可包括磁性介质(诸如硬盘、软盘或磁带)、光学记录介质(诸如紧凑盘只读存储器(CD-ROM)或数字通用盘(DVD))、磁光介质(诸如软光盘、ROM、随机存取存储器(RAM)和闪存)。此外,介质的其他示例可包括由分发应用的应用商店或者供应或分发各种其他软件的网站或服务器管理的记录介质和存储介质。
尽管已经参照本公开的实施例具体地示出和描述了本公开,但是本领域的普通技术人员将理解,在不脱离如由所附权利要求限定的本公开的精神和范围的情况下,可在本公开中在形式和细节上进行各种改变。

Claims (2)

1.一种对运动矢量进行解码的方法,所述方法包括:
从比特流获得指示包括第一运动矢量分辨率的多个运动矢量分辨率中的当前块的特定运动矢量分辨率的索引;
当与由所述索引指示的所述第一运动矢量分辨率对应的第一候选块的运动矢量可用时,将所述第一候选块的运动矢量确定为所述当前块的预测运动矢量,其中,所述第一候选块的位置是基于所述索引确定的;
当所述第一候选块的运动矢量不可用时,根据优先级从默认运动矢量候选确定默认运动矢量;
将所述默认运动矢量确定为所述当前块的预测运动矢量;
通过对所述预测运动矢量应用基于所述索引的右移位操作和基于所述索引的左移位操作来调整所述预测运动矢量;并且
通过使用所述当前块的残差运动矢量和调整后的预测运动矢量来获得所述当前块的运动矢量。
2.一种对运动矢量进行编码的方法,所述方法包括:
在包括第一运动矢量分辨率的多个运动矢量分辨率中选择当前块的特定运动矢量分辨率;
当与被选为所述当前块的特定运动矢量分辨率的所述第一运动矢量分辨率对应的第一候选块的运动矢量可用时,将所述第一候选块的运动矢量确定为所述当前块的预测运动矢量;
当所述第一候选块的运动矢量不可用时,根据优先级从默认运动矢量候选确定默认运动矢量;
将所述默认运动矢量确定为所述当前块的预测运动矢量;
通过对所述预测运动矢量应用基于索引的右移位操作和基于所述索引的左移位操作来调整所述预测运动矢量,其中,所述索引指示所述当前块的特定运动矢量分辨率;并且
使用所述当前块的运动矢量和所述当前块的调整后的预测运动矢量来获得残差运动矢量,
其中,所述第一候选块的位置是基于所述索引确定的。
CN201880056184.XA 2017-09-13 2018-03-30 通过使用基本运动矢量对运动矢量进行编码的设备和方法以及解码设备和方法 Active CN111095925B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310356867.XA CN116389747A (zh) 2017-09-13 2018-03-30 编码设备和方法以及解码设备和方法
CN202310357043.4A CN116389748A (zh) 2017-09-13 2018-03-30 编码设备和方法以及解码设备和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762557819P 2017-09-13 2017-09-13
US62/557,819 2017-09-13
PCT/KR2018/003801 WO2019054591A1 (ko) 2017-09-13 2018-03-30 기본 움직임 벡터를 이용하여 움직임 벡터를 부호화하는 장치 및 방법, 및 복호화 장치 및 방법

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN202310357043.4A Division CN116389748A (zh) 2017-09-13 2018-03-30 编码设备和方法以及解码设备和方法
CN202310356867.XA Division CN116389747A (zh) 2017-09-13 2018-03-30 编码设备和方法以及解码设备和方法

Publications (2)

Publication Number Publication Date
CN111095925A CN111095925A (zh) 2020-05-01
CN111095925B true CN111095925B (zh) 2023-04-14

Family

ID=65722910

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201880056184.XA Active CN111095925B (zh) 2017-09-13 2018-03-30 通过使用基本运动矢量对运动矢量进行编码的设备和方法以及解码设备和方法
CN202310356867.XA Pending CN116389747A (zh) 2017-09-13 2018-03-30 编码设备和方法以及解码设备和方法
CN202310357043.4A Pending CN116389748A (zh) 2017-09-13 2018-03-30 编码设备和方法以及解码设备和方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202310356867.XA Pending CN116389747A (zh) 2017-09-13 2018-03-30 编码设备和方法以及解码设备和方法
CN202310357043.4A Pending CN116389748A (zh) 2017-09-13 2018-03-30 编码设备和方法以及解码设备和方法

Country Status (6)

Country Link
US (2) US11589070B2 (zh)
EP (1) EP3637773A4 (zh)
KR (5) KR102185370B1 (zh)
CN (3) CN111095925B (zh)
MX (3) MX2020001665A (zh)
WO (1) WO2019054591A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11683501B2 (en) * 2019-01-17 2023-06-20 Tencent America LLC Method and apparatus for video coding
MX2022000044A (es) * 2019-06-27 2022-02-24 Samsung Electronics Co Ltd Metodo y aparato para decodificar video y metodo y aparato para codificar video.
KR102297479B1 (ko) 2020-04-10 2021-09-03 삼성전자주식회사 움직임 벡터의 부호화 장치 및 방법, 및 움직임 벡터의 복호화 장치 및 방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101369746B1 (ko) * 2007-01-22 2014-03-07 삼성전자주식회사 적응적 보간 필터를 이용한 영상 부호화, 복호화 방법 및장치
EP1983759A1 (en) * 2007-04-19 2008-10-22 Matsushita Electric Industrial Co., Ltd. Estimation of separable adaptive interpolation filters for hybrid video coding
KR101356613B1 (ko) 2009-08-21 2014-02-06 에스케이텔레콤 주식회사 적응적 움직임 벡터 해상도를 이용한 영상 부호화/복호화 방법 및 장치
BR112012020856A2 (pt) 2010-02-23 2019-09-24 Nippon Telegraph & Telephone ver anexo.
EP2656610A4 (en) 2010-12-21 2015-05-20 Intel Corp SYSTEM AND METHOD FOR EXTENDED DMVD PROCESSING
KR101377528B1 (ko) * 2011-01-15 2014-03-27 에스케이텔레콤 주식회사 움직임 벡터 부호화/복호화 방법 및 장치
US9319716B2 (en) * 2011-01-27 2016-04-19 Qualcomm Incorporated Performing motion vector prediction for video coding
US20120320936A1 (en) 2011-06-20 2012-12-20 Si-Ware Systems Mems based swept laser source
KR101423648B1 (ko) * 2011-09-09 2014-07-28 주식회사 케이티 화면 간 예측 수행시 후보 블록 결정 방법 및 이러한 방법을 사용하는 장치
KR20130030181A (ko) 2011-09-16 2013-03-26 한국전자통신연구원 움직임 벡터 예측기를 이용한 움직임 벡터 부호화/복호화 방법 및 장치
KR101854003B1 (ko) * 2013-07-02 2018-06-14 경희대학교 산학협력단 복수의 레이어를 포함하는 영상의 부호화 및 복호화 방법
GB2524476B (en) * 2014-03-14 2016-04-27 Canon Kk Method, device and computer program for optimizing transmission of motion vector related information when transmitting a video stream
GB201409634D0 (en) * 2014-05-30 2014-07-16 Canon Kk Intra block copy mode encoding choice
KR102647887B1 (ko) 2014-10-31 2024-03-14 삼성전자주식회사 움직임 벡터 부복호화 방법 및 장치
US10148963B2 (en) * 2016-09-23 2018-12-04 Arm Limited Methods of and apparatus for encoding data arrays
KR20180043151A (ko) * 2016-10-19 2018-04-27 에스케이텔레콤 주식회사 영상 부호화 또는 복호화를 위한 장치 및 방법

Also Published As

Publication number Publication date
WO2019054591A1 (ko) 2019-03-21
MX2023011668A (es) 2023-10-18
CN111095925A (zh) 2020-05-01
US12132924B2 (en) 2024-10-29
EP3637773A4 (en) 2020-07-29
MX2020001665A (es) 2020-03-20
KR20200133835A (ko) 2020-11-30
KR20210034117A (ko) 2021-03-29
US20230164346A1 (en) 2023-05-25
CN116389747A (zh) 2023-07-04
KR102232245B1 (ko) 2021-03-25
KR20230003415A (ko) 2023-01-05
EP3637773A1 (en) 2020-04-15
CN116389748A (zh) 2023-07-04
KR102574479B1 (ko) 2023-09-04
KR20200023650A (ko) 2020-03-05
US11589070B2 (en) 2023-02-21
US20200177908A1 (en) 2020-06-04
KR102414679B1 (ko) 2022-06-29
KR102480419B1 (ko) 2022-12-22
KR102185370B1 (ko) 2020-12-01
KR20220088817A (ko) 2022-06-28
MX2023011666A (es) 2023-10-18

Similar Documents

Publication Publication Date Title
CN110870306B (zh) 用于对运动矢量进行编码和解码的设备和方法
CN111386705B (zh) 用于对运动信息进行编码的设备和方法以及解码设备和方法
CN111108750B (zh) 用于对运动信息进行编码和解码的方法以及用于对运动信息进行编码和解码的设备
CN111095926A (zh) 用于对运动信息进行编码和解码的方法以及用于对运动信息进行编码和解码的装置
CN111602392B (zh) 用于基于运动矢量分辨率对图像进行编码的设备和方法以及解码设备和方法
CN111095925B (zh) 通过使用基本运动矢量对运动矢量进行编码的设备和方法以及解码设备和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant