CN112703731A - 基于子块对图像进行编码的方法和装置以及对图像进行解码的方法和装置 - Google Patents

基于子块对图像进行编码的方法和装置以及对图像进行解码的方法和装置 Download PDF

Info

Publication number
CN112703731A
CN112703731A CN201980059236.3A CN201980059236A CN112703731A CN 112703731 A CN112703731 A CN 112703731A CN 201980059236 A CN201980059236 A CN 201980059236A CN 112703731 A CN112703731 A CN 112703731A
Authority
CN
China
Prior art keywords
block
motion vector
coding unit
decoding apparatus
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980059236.3A
Other languages
English (en)
Inventor
朴慜祐
朴缗茱
郑丞洙
阿尼什·塔姆塞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN112703731A publication Critical patent/CN112703731A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

根据实施例公开了一种用于对图像进行解码的方法,包括以下步骤:如果图像中的当前块的尺寸至少是预设尺寸,则确定包括由时间运动矢量指示的第一参考块作为候选的候选列表;如果从所述候选列表中包括的候选中选择了第一参考块,则通过使用从第一参考块获得的运动矢量来确定当前块中的子块的运动矢量;并且基于由子块的运动矢量指示的第二参考块的样点值来恢复当前块。

Description

基于子块对图像进行编码的方法和装置以及对图像进行解码 的方法和装置
技术领域
本公开涉及图像编码和解码领域。更具体地,本公开涉及一种用于基于块中的子块对图像进行编码的方法和设备以及一种用于基于块中的子块对图像进行解码的方法和设备。
背景技术
在图像编码和解码中,一个图像可被划分为块,并且可通过使用帧间预测或帧内预测来对每个块进行预测编码和预测解码。
帧间预测是指一种通过去除图像之间的时间冗余来压缩图像的方法,其中,所述方法的代表性示例是运动估计编码。在运动估计编码中,通过使用至少一个参考图像来对当前图像的块进行预测。可通过使用特定评估函数在特定搜索范围内搜索与当前块最相似的参考块。基于参考块来预测当前块,并且对通过从当前块减去作为预测结果生成的预测块而生成的残差块进行编码。在这种情况下,为了更准确地执行预测,可对参考图像执行插值以生成比整数像素单位小的子像素单位的像素,并且可对生成的子像素单位的像素执行帧间预测。
在诸如H.264高级视频编码(AVC)和高效视频编码(HEVC)的编解码器中,为了对当前块的运动矢量进行预测,与当前块相邻的先前编码的块的运动矢量或包括在先前编码的图像中的块的运动矢量被用作当前块的预测运动矢量。通过使用特定方法将作为预测运动矢量与当前块的运动矢量之间的差的差分运动矢量用信号发送到解码器。
发明内容
技术问题
根据实施例,提供了一种用于对图像进行解码的设备和方法以及用于对图像进行编码的设备和方法,其中,所述设备和方法可准确地重建图像中的块的运动信息。
根据实施例,还提供了一种用于对图像进行解码的设备和方法以及用于对图像进行编码的设备和方法,其中,所述设备和方法可通过限制块的尺寸来降低图像编码和解码的复杂度。
问题的解决方案
根据实施例的对图像进行解码的方法包括:当图像中的当前块的尺寸等于或大于特定尺寸时,确定包括由时间运动矢量指示的第一参考块作为候选的候选列表;当从包括在所述候选列表中的候选中选择了第一参考块时,通过使用从第一参考块获得的运动矢量来确定当前块中的子块的运动矢量;并且基于由所述子块的运动矢量指示的第二参考块的样点值来重建当前块。
公开的有益效果
根据实施例的用于对图像进行解码的设备和方法以及用于对图像进行编码的设备和方法可准确地重建图像中的块的运动信息。
此外,根据实施例的用于对图像进行解码的设备和方法以及用于对图像进行编码的设备和方法可通过限制块的尺寸来降低图像编码和解码的复杂度。
然而,通过根据实施例的对图像进行解码的设备和方法以及用于对图像进行编码的设备和方法可实现的效果不限于此,并且从以下描述,其他未提及的效果对于本领域普通技术人员将是显而易见的。
附图说明
提供每个附图的简要描述以更好地理解这里引用的附图。
图1是根据实施例的图像解码设备的框图。
图2是根据实施例的图像编码设备的框图。
图3示出根据实施例的图像解码设备通过划分当前编码单元来确定至少一个编码单元的处理。
图4示出根据实施例的图像解码设备通过划分非正方形编码单元来确定至少一个编码单元的处理。
图5示出根据实施例的图像解码设备基于块形状信息和划分形状模式信息中的至少一个来划分编码单元的处理。
图6示出根据实施例的图像解码设备从奇数个编码单元中确定特定编码单元的方法。
图7示出根据实施例的当图像解码设备通过划分当前编码单元来确定多个编码单元时对所述多个编码单元进行处理的顺序。
图8示出根据实施例的当编码单元不能按照特定顺序进行处理时图像解码设备确定当前编码单元被划分为奇数个编码单元的处理。
图9示出根据实施例的图像解码设备通过划分第一编码单元来确定至少一个编码单元的处理。
图10示出根据实施例的当通过划分第一编码单元而确定的第二编码单元满足特定条件时图像解码设备可将第二编码单元划分为的形状受到限制。
图11示出根据实施例的当划分形状模式信息指示正方形编码单元将不被划分为四个正方形编码单元时图像解码设备对正方形编码单元进行划分的处理。
图12示出根据实施例的可根据划分编码单元的处理来改变多个编码单元之间的处理顺序。
图13示出根据实施例的当编码单元被递归地划分以确定多个编码单元时,随着编码单元的形状和尺寸改变而确定编码单元的深度的处理。
图14示出根据实施例的可基于编码单元的形状和尺寸确定的深度以及用于将编码单元区分开的部分索引(PID)。
图15示出根据实施例的基于画面中包括的多个特定数据单元来确定多个编码单元。
图16示出根据实施例的用作用于确定画面中包括的参考编码单元的确定顺序的标准的处理块。
图17示出根据实施例的当编码单元可被划分为的形状的组合针对每个画面是不同的时针对每个画面可确定的编码单元。
图18示出根据实施例的基于可表示为二进制码的划分形状模式信息可确定的编码单元的各种形状。
图19示出根据实施例的基于可表示为二进制码的划分形状模式信息可确定的编码单元的其他形状。
图20是用于执行环路滤波的图像编码和解码系统的框图。
图21是示出根据实施例的图像解码设备的配置的框图。
图22是示出根据实施例的候选列表的示图。
图23是示出由时间运动矢量指示的第一参考块的示图。
图24是用于描述确定当前块中的子块的运动矢量的方法的示图。
图25是用于描述重建当前块的处理的示图。
图26是示出与当前块相邻的邻近块的位置的示图。
图27是示出根据当前块的形状的邻近块的位置的示图。
图28是用于描述根据实施例的去块处理的示图。
图29是用于描述根据实施例的对图像进行解码的方法的流程图。
图30是示出根据实施例的图像编码设备的配置的框图。
图31是用于描述根据实施例的对图像进行编码的方法的流程图。
最佳模式
根据实施例的一种对图像进行解码的方法包括:当图像中的当前块的尺寸等于或大于特定尺寸时,确定包括由时间运动矢量指示的第一参考块作为候选的候选列表;当从包括在所述候选列表中的候选中选择了第一参考块时,通过使用从第一参考块获得的运动矢量来确定当前块中的子块的运动矢量;并且基于由所述子块的运动矢量指示的第二参考块的样点值来重建当前块。
所述方法还可包括:通过基于重建的当前块中的所述子块之间的边界对所述子块的样点值执行去块滤波来获得经过滤波的当前块。
确定候选列表的步骤可包括:当当前块的预测模式是通过使用包括在所述候选列表中的候选的运动矢量来确定当前块的运动矢量的模式时,确定所述候选列表。
所述方法还可包括:将空间上与当前块相邻的邻近块的运动矢量确定为所述时间运动矢量。
确定所述时间运动矢量的步骤可包括:当所述邻近块不可用时,将预定运动矢量确定为所述时间运动矢量。
确定所述时间运动矢量的步骤可包括:当由所述邻近块的运动矢量指示的图像与预定同位图像不同时,将预定运动矢量而非所述邻近块的运动矢量确定为所述时间运动矢量。
所述方法还可包括:当当前块为特定块单元时,将预定运动矢量确定为时间运动矢量。
当当前块的尺寸小于所述特定尺寸时,所述方法还可包括:确定包括除了第一参考块之外的块作为候选的所述候选列表。
具有最小值的索引被分配给所述候选列表中包括的候选中的第一参考块。
所述方法还可包括:将与第一参考块的样点中的中心样点对应的运动矢量确定为代表性运动矢量。
所述方法还可包括:确定与第一参考块中的子块对应的子区域;并且将所述代表性运动矢量确定为所述子区域中的不能获得运动矢量的子区域的运动矢量。
确定候选列表的步骤可包括:当不存在与第一参考块的样点中的中心样点对应的运动矢量时,确定包括除了第一参考块之外的块作为候选的所述候选列表。
根据实施例的一种用于对图像进行解码的设备包括:运动信息确定器,被配置为当图像中的当前块的尺寸等于或大于特定尺寸时,确定包括由时间运动矢量指示的第一参考块作为候选的候选列表,并且当从候选列表中包括的候选中选择了第一参考块时,通过使用从第一参考块获得的运动矢量来确定当前块中的子块的运动矢量;以及重建器,被配置为基于第二候选列表的样点值来重建当前块,其中,通过使用从第一参考块获得的运动矢量确定当前块中的子块的运动矢量,并且基于由所述子块的运动矢量指示的第二参考块的样点值来重建当前块。
根据实施例的一种对图像进行编码的方法包括:当图像中的当前块的尺寸等于或大于特定尺寸时,确定包括由时间运动矢量指示的第一参考块作为候选的候选列表;从所述候选列表中包括的候选中选择用于确定当前块的运动矢量的候选;并且生成包括指示所选的候选的信息的比特流,其中,从第一参考块获得的运动矢量被用于确定当前块中的子块的运动矢量。
具体实施方式
由于本公开允许各种改变和多种实施例,因此特定实施例将在附图中被示出并在书面描述中被详细描述。然而,这并不旨在将本公开限于实践的特定模式,并且将理解,不脱离本公开的精神和技术范围的所有改变、等同和替代都被包含在本公开中。
在对实施例的描述中,当认为相关技术的特定详细描述可能不必要地使本公开的实质模糊时,省略相关技术的特定详细描述。此外,在说明书的描述中使用的数字(例如,第一和第二)仅旨在将一个组件与另一组件区分开。
此外,在本说明书中,当组件被称为“连接”或“耦接”到另一组件或者由另一组件“连接”或“耦接”时,应理解,该组件可被直接连接或耦接到所述另一组件,但是除非另有说明,否则可利用该组件和所述另一组件之间的中间组件被连接或耦接到所述另一组件。
此外,在本说明书中,关于具有诸如“单元”或“模块”的后缀的元件,两个或更多个元件可被组合为一个元件,或者一个元件可根据功能被划分为两个或更多个元件。此外,除了其自身的主要功能之外,下面描述的每个元件还可另外执行由另一元件执行的一些或全部功能,并且每个元件的一些主要功能可完全由另一组件来执行。
此外,这里使用的术语“图像”或“画面”可指视频的静止图像或者运动图像,即,视频本身。
此外,这里使用的术语“样点”是指分配给图像的采样位置并将被处理的数据。例如,空间域的图像中的像素值和变换域中的变换系数可以是样点。包括一个或更多个样点的单元可被定义为块。
将参照图1至图20描述根据实施例的基于具有树结构的变换单元和编码单元的图像编码方法和设备以及图像解码方法和设备。将参照图1至图20描述的图像编码设备200和图像解码设备100可分别包括将参照图21至图31描述的图像编码设备2900和图像解码设备2100。
图1是根据实施例的图像解码设备100的框图。
图像解码设备100可包括比特流获得器110和解码器120。比特流获得器110和解码器120可包括至少一个处理器。此外,比特流获得器110和解码器120可包括存储有将由所述至少一个处理器执行的指令的存储器。
比特流获得器110可接收比特流。比特流包括当图像编码设备200如下所述对图像进行编码时获得的信息。此外,可从图像编码设备200发送比特流。图像编码设备200和图像解码设备100可通过有线方式或无线方式彼此连接,并且比特流获得器110可通过有线方式或无线方式接收比特流。比特流获得器110可从诸如光学介质或硬盘的存储介质接收比特流。解码器120可基于从接收到的比特流获得的信息来重建图像。解码器120可从比特流获得用于重建图像的语法元素。解码器120可基于所述语法元素来重建图像。
将详细描述图像解码设备100的操作。比特流获得器110可接收比特流。
图像解码设备100可执行从比特流获得与编码单元的划分形状模式对应的二进制位串的操作。图像解码设备100可执行确定编码单元的划分规则的操作。此外,图像解码设备100可基于与划分形状模式对应的二进制位串和划分规则中的至少一个来执行将编码单元划分为多个编码单元的操作。图像解码设备100可根据编码单元的宽高比来确定编码单元的尺寸的可允许的第一范围,以便确定划分规则。图像解码设备100可根据编码单元的划分形状模式确定编码单元的尺寸的可允许的第二范围,以便确定划分规则。
将详细描述根据本公开的实施例的编码单元的划分。
首先,一个画面可被划分为一个或更多个条带或者一个或更多个并行块。一个条带或并行块可以是最大编码单元(编码树单元(CTU))的序列。存在在概念上与最大编码单元(CTU)相比的最大编码块(编码树块(CTB))。
最大编码块(CTB)是指包括N×N个样点(N为整数)的N×N的块。每个颜色分量可被划分为一个或更多个最大编码块。
当画面具有三个样点阵列(针对Y、Cr和Cb分量的样点阵列)时,最大编码单元(CTU)包括亮度样点的最大编码块、色度样点的两个对应最大编码块以及用于对亮度样点和色度样点进行编码的语法结构。当画面为单色画面时,最大编码单元包括单色样点的最大编码块以及用于对单色样点进行编码的语法结构。当画面是具有根据颜色分量而分离的颜色平面的画面时,最大编码单元包括用于对画面和画面的样点进行编码的语法结构。
一个最大编码块(CTB)可被划分为包括M×N个样点(M和N为整数)的M×N个编码块。
当画面具有针对Y分量、Cr分量和Cb分量的样点阵列时,编码单元(CU)包括亮度样点的编码块、色度样点的两个对应编码块以及用于对亮度样点和色度样点进行编码的语法结构。当画面为单色画面时,编码单元包括单色样点的编码块以及用于对单色样点进行编码的语法结构。当画面是具有根据颜色分量而分离的颜色平面的画面时,编码单元包括用于对画面和画面的样点进行编码的语法结构。
如上所述,最大编码块和最大编码单元在概念上彼此区分开,并且编码块和编码单元在概念上彼此区分开。也就是说,(最大)编码单元是指包括包含对应样点的(最大)编码块和与(最大)编码块对应的语法结构的数据结构。然而,因为本领域普通技术人员理解(最大)编码单元或(最大)编码块是指包括特定数量的样点的特定尺寸的块,所以除非另有描述,否则在以下说明书中在不进行区分的情况下提及最大编码块和最大编码单元或者编码块和编码单元。
图像可被划分为最大编码单元(CTU)。可基于从比特流获得的信息来确定每个最大编码单元的尺寸。每个最大编码单元的形状可以是相同尺寸的正方形形状。然而,本公开不限于此。
例如,可从比特流获得关于亮度编码块的最大尺寸的信息。例如,由关于亮度编码块的最大尺寸的信息指示的亮度编码块的最大尺寸可以是4×4、8×8、16×16、32×32、64×64、128×128和256×256中的一个。
例如,可从比特流获得关于亮度块尺寸差和可被一分为二的亮度编码块的最大尺寸的信息。关于亮度块尺寸差的信息可指亮度最大编码单元与可被一分为二的最大亮度编码块之间的尺寸差。因此,当从比特流获得的关于可被一分为二的亮度编码块的最大尺寸的信息和关于亮度块尺寸差的信息被彼此组合时,可确定亮度最大编码单元的尺寸。可通过使用亮度最大编码单元的尺寸来确定色度最大编码单元的尺寸。例如,当Y:Cb:Cr比率根据颜色格式为4:2:0时,色度块的尺寸可以是亮度块的尺寸的一半,并且色度最大编码单元的尺寸可以是亮度最大编码单元的尺寸的一半。
根据实施例,因为关于可被二划分的亮度编码块的最大尺寸的信息是从比特流获得的,所以可以可变地确定可被二划分的亮度编码块的最大尺寸。相反,可被三划分的亮度编码块的最大尺寸可以是固定的。例如,I画面中的可被三划分的亮度编码块的最大尺寸可以是32×32,并且P画面或B画面中的可被三划分的亮度编码块的最大尺寸可以是64×64。
此外,可基于从比特流获得的划分形状模式信息将最大编码单元分层地划分为编码单元。可从比特流获得指示是否执行四划分的信息、指示是否执行多划分的信息、划分方向信息和划分类型信息中的至少一个作为划分形状模式信息。
例如,指示是否执行四划分的信息可指示当前编码单元是否被四划分(QUAD_SPLIT)。
当当前编码单元不被四划分时,指示是否执行多划分的信息可指示当前编码单元是不再被划分(NO_SPLIT)还是被二划分/三划分。
当当前编码单元被二划分或三划分时,划分方向信息指示当前编码单元在水平方向和垂直方向中的一个方向上被划分。
当当前编码单元在水平方向或垂直方向上被划分时,划分类型信息指示当前编码单元被二划分或三划分。
可根据划分方向信息和划分类型信息来确定当前编码单元的划分模式。当前编码单元在水平方向上被二划分时的划分模式可被确定为水平二划分模式(SPLIT_BT_HOR),当前编码单元在水平方向上被三划分时的划分模式可被确定为水平三划分模式(SPLIT_TT_HOR),当前编码单元在垂直方向上被二划分时的划分模式可被确定为垂直二划分模式(SPLIT_BT_VER),并且当前编码单元在垂直方向上被三划分时的划分模式可被确定为垂直三划分模式SPLIT_TT_VER。
图像解码设备100可从来自一个二进制位串的比特流获得划分形状模式信息。由图像解码设备100接收到的比特流可包括固定长度二进制码、一元码、截断一元码、预定二进制码等。二进制位串是信息的二进制序列。二进制位串可包括至少一个比特。图像解码设备100可基于划分规则获得与二进制位串对应的划分形状模式信息。图像解码设备100可基于一个二进制位串确定是否对编码单元进行四划分、划分方向和划分类型。
编码单元可等于或小于最大编码单元。例如,因为最大编码单元是具有最大尺寸的编码单元,所以最大编码单元是编码单元之一。当关于最大编码单元的划分形状模式信息指示不执行划分时,在最大编码单元中确定的编码单元与该最大编码单元具有相同的尺寸。当关于最大编码单元的划分形状模式信息指示执行划分时,可将最大编码单元划分为编码单元。此外,当关于编码单元的划分形状模式信息指示执行划分时,可将编码单元划分为更小的编码单元。然而,图像的划分不限于此,并且最大编码单元和编码单元可不彼此区分开。将参照图3至图16更详细地描述编码单元的划分。
此外,可从编码单元确定用于预测的一个或更多个预测块。预测块可等于或小于编码单元。此外,可从编码单元确定用于变换的一个或更多个变换块。变换块可等于或小于编码单元。
变换块和预测块的形状和尺寸可彼此不相关。
在另一实施例中,可通过将编码单元用作预测单元来执行预测。此外,可通过将编码单元用作变换块来执行变换。
将参照图3至图16更详细地描述编码单元的划分。本公开的当前块和邻近块中的每一个可指示最大编码单元、编码单元、预测块和变换块中的一个。此外,当前块或当前编码单元是当前执行解码或编码的块或者当前执行划分的块。邻近块可以是在当前块之前重建的块。邻近块可在空间上或时间上与当前块相邻。邻近块可位于当前块的左下方、左侧、左上方、上方、右上方、右侧和右下方中的一处。
图3示出根据实施例的图像解码设备100通过划分当前编码单元来确定至少一个编码单元的处理。
块形状可包括4N×4N、4N×2N、2N×4N、4N×N、N×4N、32N×N、N×32N、16N×N、N×16N、8N×N或N×8N。N可以是正整数。块形状信息是指示编码单元的形状、方向、宽高比和尺寸中的至少一个的信息。
编码单元的形状可包括正方形形状和非正方形形状。当编码单元的宽度和高度相同时(即,当编码单元的块形状为4N×4N时),图像解码设备100可将编码单元的块形状信息确定为正方形形状。图像解码设备100可将编码单元的形状确定为非正方形形状。
当编码单元的宽度和高度彼此不同时(即,当编码单元的块形状为4N×2N、2N×4N、4N×N、N×4N、32N×N、N×32N、16N×N、N×16N、8N×N或N×8N时),图像解码设备100可将编码单元的块形状信息确定为非正方形形状。当编码单元的形状是非正方形形状时,图像解码设备100可将编码单元的块形状信息中的宽高比确定为1:2、2:1、1:4、4:1、1:8、8:1、1:16、16:1、1:32和32:1中的至少一个。此外,图像解码设备100可基于编码单元的宽度长度和高度长度来确定编码单元是沿水平方向还是沿垂直方向。此外,图像解码设备100可基于编码单元的宽度长度、高度长度和面积中的至少一个来确定编码单元的尺寸。
根据实施例,图像解码设备100可通过使用块形状信息来确定编码单元的形状,并且可通过使用划分形状模式信息来确定编码单元的划分方法。也就是说,可根据由图像解码设备100使用的块形状信息所指示的块形状来确定由划分形状模式信息指示的编码单元划分方法。
图像解码设备100可从比特流获得划分形状模式信息。然而,本公开不限于此,并且图像解码设备100和图像编码设备200可确定基于块形状信息而预先约定的划分形状模式信息。图像解码设备100可确定针对最大编码单元或最小编码单元而预先约定的划分形状模式信息。例如,图像解码设备100可确定针对最大编码单元的预先约定的划分形状模式信息指示四划分。此外,图像解码设备100可确定针对最小编码单元的预先约定的划分形状模式信息指示“不执行划分”。例如,图像解码设备100可确定最大编码单元的尺寸为256×256。图像解码设备100可确定预先约定的划分形状模式信息指示四划分。四划分是编码单元的宽度和高度被减半的划分形状模式。图像解码设备100可基于划分形状模式信息从尺寸为256×256的最大编码单元获得尺寸为128×128的编码单元。此外,图像解码设备100可确定最小编码单元的尺寸为4×4。图像解码设备100可获得指示针对最小编码单元“不执行划分”的划分形状模式信息。
根据实施例,图像解码设备100可使用指示当前编码单元具有正方形形状的块形状信息。例如,图像解码设备100可基于划分形状模式信息来确定是否不对正方形编码单元进行划分、是否对正方形编码单元进行垂直划分、是否对正方形编码单元进行水平划分、或者是否将正方形编码单元划分为四个编码单元。参照图3,当当前编码单元300的块形状信息指示正方形形状时,解码器120可基于指示不执行划分的划分形状模式信息来确定不对与当前编码单元300具有相同尺寸的编码单元310a进行划分,或者可确定基于指示特定划分方法的划分形状模式信息而划分出的编码单元310b、310c、310d、310e和310f。
参照图3,根据实施例,图像解码设备100可基于指示垂直地执行划分的划分形状模式信息来确定通过垂直地划分当前编码单元300而获得的两个编码单元310b。图像解码设备100可基于指示水平地执行划分的划分形状模式信息来确定通过水平地划分当前编码单元300而获得的两个编码单元310c。图像解码设备100可基于指示垂直和水平地执行划分的划分形状模式信息来确定通过垂直和水平地划分当前编码单元300而获得的四个编码单元310d。根据实施例,图像解码设备100可基于指示垂直地执行三划分的划分形状模式信息来确定通过垂直划分当前编码单元300而获得的三个编码单元310e。图像解码设备100可基于指示水平地执行三划分的划分形状模式信息来确定通过水平划分当前编码单元300而获得的三个编码单元310f。然而,正方形编码单元的划分方法不限于上述方法,并且划分形状模式信息可包括各种方法。下面将通过各种实施例详细描述对正方形编码单元进行划分的特定划分方法。
图4示出根据实施例的图像解码设备100通过对非正方形编码单元进行划分来确定至少一个编码单元的处理。
根据实施例,图像解码设备100可使用指示当前编码单元具有非正方形形状的块形状信息。图像解码设备100可根据划分形状模式信息来确定是否不对非正方形当前编码单元进行划分或者是否通过使用特定方法来对非正方形当前编码单元进行划分。参照图4,当当前编码单元400或450的块形状信息指示非正方形形状时,图像解码设备100可基于指示不执行划分的划分形状模式信息来确定与当前编码单元400或450具有相同的尺寸的编码单元410或460,或者可确定基于指示特定划分方法的划分形状模式信息而划分出的编码单元420a和420b、430a至430c、470a和470b或者480a至480c。下面将通过各种实施例详细描述对非正方形编码单元进行划分的特定划分方法。
根据实施例,图像解码设备100可通过使用划分形状模式信息来确定编码单元的划分方法,并且在这种情况下,划分形状模式信息可指示通过划分编码单元而生成的一个或更多个编码单元的数量。参照图4,当划分形状模式信息指示将当前编码单元400或450划分为两个编码单元时,图像解码设备100可通过基于划分形状模式信息对当前编码单元400或450进行划分来确定当前编码单元400或450中包括的两个编码单元420a和420b或者470a和470b。
根据实施例,当图像解码设备100基于划分形状模式信息来对非正方形当前编码单元400或450进行划分时,可考虑非正方形当前编码单元400或450的长边的位置。例如,图像解码设备100可考虑到当前编码单元400或450的形状,通过对当前编码单元400或450的长边进行划分来确定多个编码单元。
根据实施例,当划分形状模式信息指示将编码单元划分(三划分)为奇数个块时,图像解码设备100可确定当前编码单元400或450中包括的奇数个编码单元。例如,当划分形状模式信息指示将当前编码单元400或450划分为三个编码单元时,图像解码设备100可将当前编码单元400或450划分为三个编码单元430a、430b和430c或者480a、480b和480c。
根据实施例,当前编码单元400或450的宽高比可以是4:1或1:4。当宽高比为4:1时,宽度长度大于高度长度,并且因此块形状信息可以是水平。当宽高比为1:4时,宽度长度小于高度长度,并且因此块形状信息可以是垂直。图像解码设备100可基于划分形状模式信息来确定将当前编码单元400或450划分为奇数个块。此外,图像解码设备100可基于当前编码单元400或450的块形状信息来确定当前编码单元400或450的划分方向。例如,当当前编码单元400沿垂直方向时,图像解码设备100可通过水平地划分当前编码单元400来确定编码单元430a、430b和430c。此外,当当前编码单元450沿水平方向时,图像解码设备100可通过垂直地划分当前编码单元450来确定编码单元480a、480b和480c。
根据实施例,图像解码设备100可确定当前编码单元400或450中包括的奇数个编码单元,并且确定的全部编码单元的尺寸可不相同。例如,所确定的奇数个编码单元430a、430b和430c或者480a、480b和480c中的特定编码单元430b或480b可具有与其他编码单元430a和430c或者480a和480c的尺寸不同的尺寸。也就是说,可通过划分当前编码单元400或450而确定的编码单元可具有多个尺寸,并且在一些情况下,全部奇数个编码单元430a、430b和430c或者480a、480b和480c可具有不同的尺寸。
根据实施例,当划分形状模式信息指示将编码单元划分为奇数个块时,图像解码设备100可确定当前编码单元400或450中包括的奇数个编码单元,并且可对通过划分当前编码单元400或450而生成的奇数个编码单元中的至少一个编码单元施加特定限制。参照图4,图像解码设备100可允许编码单元430b或480b的解码处理与其他编码单元430a和430c或者480a和480c的解码处理不同,其中,编码单元430b或480b处于通过划分当前编码单元400或450而生成的三个编码单元430a、430b和430c或者480a、480b和480c中的中心位置。例如,与其他编码单元430a和430c或者480a和480c不同,图像解码设备100可限制中心位置处的编码单元430b或480b不再被划分或仅被划分特定次数。
图5示出根据实施例的图像解码设备100基于块形状信息和划分形状模式信息中的至少一个来划分编码单元的处理。
根据实施例,图像解码设备100可基于块形状信息和划分形状模式信息中的至少一个,确定将正方形的第一编码单元500划分为编码单元或不对正方形的第一编码单元500进行划分。根据实施例,当划分形状模式信息指示在水平方向上划分第一编码单元500时,图像解码设备100可通过在水平方向上划分第一编码单元500来确定第二编码单元510。根据实施例使用的第一编码单元、第二编码单元和第三编码单元是用于理解在划分编码单元之前和在划分编码单元之后的关系的术语。例如,可通过划分第一编码单元来确定第二编码单元,并且可通过划分第二编码单元来确定第三编码单元。将理解,第一编码单元、第二编码单元和第三编码单元之间的关系适用于以下描述。
根据实施例,图像解码设备100可基于划分形状模式信息确定将所确定的第二编码单元510划分为编码单元或不对所确定的第二编码单元510进行划分。参照图5,图像解码设备100可基于划分形状模式信息将通过划分第一编码单元500而确定的非正方形的第二编码单元510划分为一个或更多个第三编码单元520a、或者520b、520c和520d,或者可不对通过划分第一编码单元500而确定的非正方形的第二编码单元510进行划分。图像解码设备100可获得划分形状模式信息,并且可基于获得的划分形状模式信息通过划分第一编码单元500来对多个各种形状的第二编码单元(例如,510)进行划分,并且可基于划分形状模式信息通过使用第一编码单元500的划分方法来划分第二编码单元510。根据实施例,当基于第一编码单元500的划分形状模式信息将第一编码单元500划分为第二编码单元510时,也可基于第二编码单元510的划分形状模式信息将第二编码单元510划分为第三编码单元520a、或者520b、520c和520d。也就是说,可基于每个编码单元的划分形状模式信息来递归地划分编码单元。因此,可通过划分非正方形编码单元来确定正方形编码单元,并且可通过递归地划分正方形编码单元来确定非正方形编码单元。
参照图5,可递归地划分通过划分非正方形的第二编码单元510而确定的奇数个第三编码单元520b、520c和520d中的特定编码单元(例如,中心位置处的编码单元或正方形编码单元)。根据实施例,奇数个第三编码单元520b、520c和520d中的正方形的第三编码单元520c可在水平方向上被划分为多个第四编码单元。多个第四编码单元530a、530b、530c和530d中的非正方形的第四编码单元530b或530d可再次被划分为多个编码单元。例如,非正方形的第四编码单元530b或530d可再次被划分为奇数个编码单元。下面将通过各种实施例描述可用于递归地划分编码单元的方法。
根据实施例,图像解码设备100可基于于划分形状模式信息将第三编码单元520a、或者520b、520c和520d中的每一个划分为编码单元。此外,图像解码设备100可基于划分形状模式信息确定不对第二编码单元510进行划分。根据实施例,图像解码设备100可将非正方形的第二编码单元510划分为奇数个第三编码单元520b、520c和520d。图像解码设备100可对奇数个第三编码单元520b、520c和520d中的特定第三编码单元施加特定限制。例如,图像解码设备100可限制奇数个第三编码单元520b、520c和520d中的中心位置处的第三编码单元520c不再被划分或被划分可设置的次数。
参照图5,图像解码设备100可将非正方形的第二编码单元510中所包括的奇数个第三编码单元520b、520c和520d中的中心位置处的第三编码单元520c限制为不再被划分、限制为通过使用特定划分方法被划分(例如,仅被划分为四个编码单元或通过使用第二编码单元510的划分方法被划分)或者限制为仅被划分特定次数(例如,仅被划分n次(其中,n>0))。然而,对中心位置处的第三编码单元520c的限制不限于上述示例,并且可包括用于与其他第三编码单元520b和520d不同地对中心位置处的第三编码单元520c进行解码的各种限制。
根据实施例,图像解码设备100可从当前编码单元中的特定位置获得用于对当前编码单元进行划分的划分形状模式信息。
图6示出根据实施例的图像解码设备100从奇数个编码单元中确定特定编码单元的方法。
参照图6,可从当前编码单元600或650中包括的多个样点中的特定位置的样点(例如,中心位置的样点640或690)获得当前编码单元600或650的划分形状模式信息。然而,当前编码单元600中的可获得划分形状模式信息中的至少一个的特定位置不限于图6中的中心位置,并且可包括当前编码单元600中包括的各种位置(例如,上方、下方、左侧、右侧、左上方、左下方、右上方和右下方位置)。图像解码设备100可从特定位置获得划分形状模式信息,并且可确定将当前编码单元划分为各种形状和各种尺寸的编码单元或者不对当前编码单元进行划分。
根据实施例,在当前编码单元被划分为特定数量的编码单元时,图像解码设备100可选择编码单元中的一个编码单元。下面将通过各种实施例描述可被用于选择多个编码单元中的一个编码单元的各种方法。
根据实施例,图像解码设备100可将当前编码单元划分为多个编码单元,并且可确定特定位置处的编码单元。
根据实施例,图像解码设备100可使用指示奇数个编码单元的位置的信息来确定奇数个编码单元中的中心位置处的编码单元。参照图6,图像解码设备100可通过划分当前编码单元600或当前编码单元650来确定奇数个编码单元620a、620b和620c或奇数个编码单元660a、660b和660c。图像解码设备100可通过使用关于奇数个编码单元620a、620b和620c或奇数个编码单元660a、660b和660c的位置的信息来确定中心位置处的编码单元620b或中心位置处的编码单元660b。例如,图像解码设备100可通过基于指示编码单元620a、620b和620c中包括的特定样点的位置的信息确定编码单元620a、620b和620c的位置来确定中心位置的编码单元620b。详细地,图像解码设备100可通过基于指示编码单元620a、620b和620c的左上样点630a、630b和630c的位置的信息确定编码单元620a、620b和620c的位置来确定中心位置处的编码单元620b。
根据实施例,指示分别包括在编码单元620a、620b和620c中的左上样点630a、630b和630c的位置的信息可包括关于编码单元620a、620b和620c在画面中的位置或坐标的信息。根据实施例,指示分别包括在编码单元620a、620b和620c中的左上样点630a、630b和630c的位置的信息可包括指示当前编码单元600中包括的编码单元620a、620b和620c的宽度或高度的信息,并且所述宽度或高度可与指示编码单元620a、620b和620c在画面中的坐标之间的差的信息对应。也就是说,图像解码设备100可通过直接使用关于编码单元620a、620b和620c在画面中的位置或坐标的信息或者通过使用关于编码单元的与坐标之间的差对应的宽度或高度的信息来确定中心位置处的编码单元620b。
根据实施例,指示上方编码单元620a的左上样点630a的位置的信息可包括坐标(xa,ya),指示中间编码单元620b的左上样点630b的位置的信息可包括坐标(xb,yb),指示下方编码单元620c的左上样点630c的位置的信息可包括坐标(xc,yc)。图像解码设备100可通过使用分别包括在编码单元620a、620b和620c中的左上样点630a、630b和630c的坐标来确定中间编码单元620b。例如,当左上样点630a、630b和630c的坐标按照升序或降序被排序时,可将包括中心位置处的样点630b的坐标(xb,yb)的编码单元620b确定为通过划分当前编码单元600确定的编码单元620a、620b和620c中的中心位置处的编码单元。然而,指示左上样点630a、630b和630c的位置的坐标可包括指示画面中的绝对位置的坐标,或者可使用指示中间编码单元620b的左上样点630b相对于上方编码单元620a的左上样点630a的位置的相对位置的坐标(dxb,dyb)和指示下方编码单元620c的左上样点630c相对于上方编码单元620a的左上样点630a的位置的相对位置的坐标(dxc,dyc)。此外,通过将包括在编码单元中的样点的坐标用作指示样点的位置的信息来确定特定位置处的编码单元的方法不限于上述方法,并且可包括能够使用样点的坐标的各种算术方法。
根据实施例,图像解码设备100可将当前编码单元600划分为多个编码单元620a、620b和620c,并且可基于特定标准选择编码单元620a、620b和620c中的一个编码单元。例如,图像解码设备100可从编码单元620a、620b和620c中选择尺寸与其他编码单元的尺寸不同的编码单元620b。
根据实施例,图像解码设备100可通过使用指示上方编码单元620a的左上样点630a的位置的坐标(xa,ya)、指示中间编码单元620b的左上样点630b的位置的坐标(xb,yb)和指示下方编码单元620c的左上样点630c的位置的坐标(xc,yc)来确定编码单元620a、620b和620c的宽度或高度。图像解码设备100可通过使用指示编码单元620a、620b和620c的位置的坐标(xa,ya)、(xb,yb)和(xc,yc)来确定编码单元620a、620b和620c各自的尺寸。根据实施例,图像解码设备100可将上方编码单元620a的宽度确定为当前编码单元600的宽度。图像解码设备100可将上方编码单元620a的高度确定为yb-ya。根据实施例,图像解码设备100可将中间编码单元620b的宽度确定为当前编码单元600的宽度。图像解码设备100可将中间编码单元620b的高度确定为yc-yb。根据实施例,图像解码设备100可通过使用当前编码单元600的宽度或高度以及上方编码单元620a和中间编码单元620b的宽度或高度来确定下方编码单元620c的宽度或高度。图像解码设备100可基于所确定的编码单元620a至620c的宽度和高度来确定具有与其他编码单元的尺寸不同的尺寸的编码单元。参照图6,图像解码设备100可将具有与上方编码单元620a和下方编码单元620c的尺寸不同的尺寸的中间编码单元620b确定为特定位置的编码单元。然而,图像解码设备100确定具有与其他编码单元的尺寸不同的尺寸的编码单元的上述处理仅与通过使用基于样点的坐标确定的编码单元的尺寸来确定特定位置处的编码单元的示例对应,并且因此,可使用通过对基于特定样点的坐标确定的编码单元的尺寸进行比较来确定特定位置处的编码单元的各种处理。
图像解码设备100可通过使用作为指示左侧编码单元660a的左上样点670a的位置的信息的坐标(xd,yd)、作为指示中间编码单元660b的左上样点670b的位置的信息的坐标(xe,ye)以及作为指示右侧编码单元660c的左上样点670c的位置的信息的坐标(xf,yf)来确定编码单元660a、660b和660c中的每一个的宽度或高度。图像解码设备100可通过使用指示编码单元660a、660b和660c的位置的坐标(xd,yd)、(xe,ye)和(xf,yf)来确定编码单元660a、660b和660c的尺寸。
根据实施例,图像解码设备100可将左侧编码单元660a的宽度确定为xe-xd。图像解码设备100可将左侧编码单元660a的高度确定为当前编码单元650的高度。根据实施例,图像解码设备100可将中间编码单元660b的宽度确定为xf-xe。图像解码设备100可将中间编码单元660b的高度确定为当前编码单元650的高度。根据实施例,图像解码设备100可通过使用当前编码单元650的宽度或高度以及左侧编码单元660a和中间编码单元660b的宽度和高度来确定右侧编码单元660c的宽度或高度。图像解码设备100可基于所确定的编码单元660a、660b和660c的宽度和高度来确定尺寸与其他编码单元的尺寸不同的编码单元。参照图6,图像解码设备100可将尺寸与左侧编码单元660a和右侧编码单元660c的尺寸不同的中间编码单元660b确定为特定位置的编码单元。然而,图像解码设备100确定尺寸与其他编码单元的尺寸不同的编码单元的上述处理仅与通过使用基于样点的坐标确定的编码单元的尺寸来确定特定位置处的编码单元的示例对应,并且因此,可使用通过对基于特定样点的坐标确定的编码单元的尺寸进行比较来确定特定位置处的编码单元的各种处理。
然而,确定编码单元的位置所考虑的样点的位置不限于上述的左上位置,并且可使用关于包括在编码单元中的样点的任意位置的信息。
根据实施例,图像解码设备100可考虑当前编码单元的形状,从通过划分当前编码单元确定的奇数个编码单元中选择特定位置处的编码单元。例如,在当前编码单元具有宽度大于高度的非正方形形状时,图像解码设备100可确定沿水平方向的特定位置处的编码单元。也就是说,图像解码设备100可确定沿水平方向的不同位置处的编码单元中的一个编码单元并可对该编码单元施加限制。在当前编码单元具有高度大于宽度的非正方形形状时,图像解码设备100可确定沿垂直方向的特定位置处的编码单元。也就是说,图像解码设备100可确定沿垂直方向的不同位置处的编码单元中的一个编码单元,并且可对该编码单元施加限制。
根据实施例,图像解码设备100可使用指示偶数个编码单元的各个位置的信息,以确定偶数个编码单元中的特定位置处的编码单元。图像解码设备100可通过划分(二划分)当前编码单元来确定偶数个编码单元,并且可通过使用关于偶数个编码单元的位置的信息来确定特定位置处的编码单元。与其相关的操作可与已经在上面参照图6详细描述的确定奇数个编码单元中的特定位置(例如,中心位置)处的编码单元的操作对应,并且因此将省略其详细描述。
根据实施例,当非正方形的当前编码单元被划分为多个编码单元时,可在划分操作中使用关于特定位置处的编码单元的特定信息来确定多个编码单元中的特定位置处的编码单元。例如,图像解码设备100可在划分操作中使用中心位置处的编码单元中包括的样点中所存储的块形状信息和划分形状模式信息中的至少一个来确定通过划分当前编码单元所确定的多个编码单元中的中心位置处的编码单元。
参照图6,图像解码设备100可基于划分形状模式信息将当前编码单元600划分为多个编码单元620a、620b和620c,并且可确定多个编码单元620a、620b和620c中的中心位置处的编码单元620b。此外,图像解码设备100可考虑获得划分形状模式信息的位置来确定中心位置处的编码单元620b。也就是说,可从当前编码单元600的中心位置处的样点640获得当前编码单元600的划分形状模式信息,并且当基于划分形状模式信息将当前编码单元600划分为多个编码单元620a、620b和620c时,可将包括样点640的编码单元620b确定为中心位置处的编码单元。然而,用于确定中心位置处的编码单元的信息不限于划分形状模式信息,并且可使用各种类型的信息确定中心位置处的编码单元。
根据实施例,可从包括在将被确定的编码单元中的特定样点获得用于标识特定位置处的编码单元的特定信息。参照图6,图像解码设备100可使用从当前编码单元600中的特定位置处的样点(例如,当前编码单元的中心位置处的样点)获得的划分形状模式信息来确定通过划分当前编码单元600确定的多个编码单元620a、620b和620c中的特定位置处的编码单元(例如,划分出的多个编码单元中的中心位置处的编码单元)。也就是说,图像解码设备100可通过考虑当前编码单元600的块形状来确定特定位置处的样点,可从通过划分当前编码单元600确定的多个编码单元620a、620b和620c中确定包括可获得特定信息(例如,划分形状模式信息)的样点的编码单元620b,并且可对编码单元620b施加特定限制。参照图6,根据实施例,在解码操作中,图像解码设备100可将当前编码单元600的中心位置处的样点640确定为可获得特定信息的样点,并且可对包括样点640的编码单元620b施加特定限制。然而,可获得特定信息的样点的位置不限于上述位置,并且可包括编码单元620b中所包括的将被确定为用于限制的样点的任意位置。
根据实施例,可基于当前编码单元600的形状确定可获得特定信息的样点的位置。根据实施例,块形状信息可指示当前编码单元是具有正方形形状还是具有非正方形形状,并且可基于该形状确定可获得特定信息的样点的位置。例如,图像解码设备100可通过使用关于当前编码单元的宽度的信息和关于当前编码单元的高度的信息中的至少一个将位于用于将当前编码单元的宽度和高度中的至少一个对半划分的边界上的样点确定为可获得特定信息的样点。作为另一示例,在当前编码单元的块形状信息指示非正方形形状时,图像解码设备100可将与用于将当前编码单元的长边对半划分的边界相邻的样点中的一个样点确定为可获得特定信息的样点。
根据实施例,在当前编码单元被划分为多个编码单元时,图像解码设备100可使用划分形状模式信息来确定多个编码单元中的特定位置处的编码单元。根据实施例,图像解码设备100可从编码单元中的特定位置处的样点获得划分形状模式信息,并且可通过使用于划分形状模式信息对通过划分当前编码单元生成的多个编码单元进行划分,其中,所述划分形状模式信息是从所述多个编码单元中的每个编码单元中的特定位置处的样点获得的。也就是说,可基于于划分形状模式信息递归地划分编码单元,其中,所述划分形状模式信息是从每个编码单元中的特定位置处的样点获得的。上面已经参照图5描述了递归地划分编码单元的操作,并且因此这里将省略其详细描述。
根据实施例,图像解码设备100可通过划分当前编码单元确定一个或更多个编码单元,并且可基于特定块(例如,当前编码单元)确定对所述一个或更多个编码单元进行解码的顺序。
图7示出根据实施例的当图像解码设备100通过划分当前编码单元确定多个编码单元时对所述多个编码单元进行处理的顺序。
根据实施例,基于划分形状模式信息,图像解码设备100可通过在垂直方向上划分第一编码单元700来确定第二编码单元710a和710b,可通过在水平方向上划分第一编码单元700来确定第二编码单元730a和730b,或者可通过在垂直方向和水平方向上划分第一编码单元700来确定第二编码单元750a至750d。
参照图7,图像解码设备100可确定按照水平方向顺序710c对通过在垂直方向上划分第一编码单元700而确定的第二编码单元710a和710b进行处理。图像解码设备100可确定按照垂直方向顺序730c对通过在水平方向上划分第一编码单元700而确定的第二编码单元730a和730b进行处理。图像解码设备100可确定按照特定顺序(例如,按照光栅扫描顺序或Z字形扫描顺序750e)对通过在垂直方向和水平方向上划分第一编码单元700而确定的第二编码单元750a至750d进行处理,其中,所述特定顺序用于对一行中的编码单元进行处理然后对下一行中的编码单元进行处理。
根据实施例,图像解码设备100可递归地划分编码单元。参照图7,图像解码设备100可通过划分第一编码单元700来确定多个第二编码单元710a、710b、730a、730b、750a、750b、750c和750d,并且可递归地划分所确定的多个第二编码单元710a、710b、730a、730b、750a、750b、750c和750d中的每一个。多个第二编码单元710a、710b、730a、730b、750a、750b、750c和750d的划分方法可对应于第一编码单元700的划分方法。如此,多个第二编码单元710a、710b、730a、730b、750a、750b、750c和750d中的每一个可被独立地划分为多个编码单元。参照图7,图像解码设备100可通过在垂直方向上划分第一编码单元700来确定第二编码单元710a和710b,并且可确定独立地划分或者不划分第二编码单元710a和710b中的每一个。
根据实施例,图像解码设备100可通过在水平方向上对左侧第二编码单元710a进行划分来确定第三编码单元720a和720b,并且可不对右侧第二编码单元710b进行划分。
根据实施例,可基于划分编码单元的操作来确定编码单元的处理顺序。换句话说,可基于紧接在被划分之前的编码单元的处理顺序来确定划分后的编码单元的处理顺序。图像解码设备100可独立于右侧第二编码单元710b来确定通过划分左侧第二编码单元710a而确定的第三编码单元720a和720b的处理顺序。因为通过在水平方向上划分左侧第二编码单元710a来确定第三编码单元720a和720b,所以可按照垂直方向顺序720c对第三编码单元720a和720b进行处理。因为左侧第二编码单元710a和右侧第二编码单元710b按照水平方向顺序710c被处理,所以可在按照垂直方向顺序720c对左侧第二编码单元710a中包括的第三编码单元720a和720b进行处理之后对右侧第二编码单元710b进行处理。基于划分之前的编码单元来确定编码单元的处理顺序的操作不限于上述示例,并且可使用各种方法按照特定顺序独立地处理被划分并被确定为各种形状的编码单元。
图8示出根据实施例的当编码单元不能按照特定顺序进行处理时图像解码设备100确定当前编码单元被划分为奇数个编码单元的处理。
根据实施例,图像解码设备100可基于获得的划分形状模式信息确定是否将当前编码单元划分为奇数个编码单元。参照图8,正方形的第一编码单元800可被划分为非正方形的第二编码单元810a和810b,第二编码单元810a和810b可被独立地划分为第三编码单元820a和820b以及820c至820e。根据实施例,图像解码设备100可通过在水平方向上划分左侧第二编码单元810a来确定多个第三编码单元820a和820b,并且可将右侧第二编码单元810b划分为奇数个第三编码单元820c至820e。
根据实施例,图像解码设备100可通过确定第三编码单元820a和820b以及820c至820e是否能够按照特定顺序进行处理来确定任意编码单元是否被划分为奇数个编码单元。参照图8,图像解码设备100可通过递归地划分第一编码单元800来确定第三编码单元820a、820b以及820c至820e。图像解码设备100可基于块形状信息和划分形状模式信息中的至少一个确定以下编码单元中的任意一个是否被划分为奇数个编码单元:第一编码单元800、第二编码单元810a和810b、以及第三编码单元820a和820b及820c、820d和820e。例如,右侧第二编码单元810b可被划分为奇数个第三编码单元820c、820d和820e。第一编码单元800中包括的多个编码单元的处理顺序可以是特定顺序(例如,Z字形扫描顺序830),图像解码设备100可确定通过将右侧第二编码单元810b划分为奇数个编码单元所确定的第三编码单元820c、820d和820e是否满足用于按照特定顺序进行处理的条件。
根据实施例,图像解码设备100可确定第一编码单元800中包括的第三编码单元820a和820b以及820c、820d和820e是否满足用于按照特定顺序进行处理的条件,并且该条件与第二编码单元810a和810b的宽度和高度中的至少一个是否沿着第三编码单元820a和820b以及820c、820d和820e的边界被对半划分有关。例如,通过将非正方形的左侧第二编码单元810a的高度对半划分所确定的第三编码单元820a和820b可满足所述条件。然而,因为通过将右侧第二编码单元810b划分为三个编码单元所确定的第三编码单元820c、820d和820e的边界未将右侧第二编码单元810b的宽度或高度对半划分,所以可确定第三编码单元820c、820d和820e不满足所述条件。当如上所述不满足所述条件时,图像解码设备100可确定扫描顺序不连续,并且可基于确定结果确定右侧第二编码单元810b被划分为奇数个编码单元。根据实施例,当编码单元被划分为奇数个编码单元时,图像解码设备100可对划分出的编码单元中的特定位置处的编码单元施加特定限制,上面已经通过各种实施例描述了所述限制或所述特定位置,并且因此将省略其详细描述。
图9示出根据实施例的图像解码设备100通过划分第一编码单元900来确定至少一个编码单元的处理。
根据实施例,图像解码设备100可基于由比特流获得器110获得的划分形状模式信息对第一编码单元900进行划分。正方形的第一编码单元900可被划分为四个正方形编码单元,或者可被划分为多个非正方形编码单元。例如,参照图9,当第一编码单元900具有正方形形状并且划分形状模式信息指示将第一编码单元900划分为非正方形编码单元时,图像解码设备100可将第一编码单元900划分为多个非正方形编码单元。详细地,当划分形状模式信息指示通过在水平方向或垂直方向上划分第一编码单元900来确定奇数个编码单元时,图像解码设备100可将正方形的第一编码单元900划分为奇数个编码单元(例如,通过在垂直方向上划分正方形的第一编码单元900而确定的第二编码单元910a、910b和910c,或者通过在水平方向上划分正方形的第一编码单元900而确定的第二编码单元920a、920b和920c)。
根据实施例,图像解码设备100可确定包括在第一编码单元900中的第二编码单元910a、910b、910c、920a、920b和920c是否满足用于按照特定顺序进行处理的条件,并且该条件与第一编码单元900的宽度和高度中的至少一个是否沿着第二编码单元910a、910b、910c、920a、920b和920c的边界被对半划分有关。参照图9,因为通过在垂直方向上划分正方形的第一编码单元900所确定的第二编码单元910a、910b和910c的边界未将第一编码单元900的宽度对半划分,所以可确定第一编码单元900不满足用于按照特定顺序进行处理的条件。此外,因为通过在水平方向上划分正方形的第一编码单元900所确定的第二编码单元920a、920b和920c的边界未将第一编码单元900的宽度对半划分,所以可确定第一编码单元900不满足用于按照特定顺序进行处理的条件。当如上所述不满足所述条件时,图像解码设备100可确定扫描顺序不连续,并且可基于确定结果确定第一编码单元900被划分为奇数个编码单元。根据实施例,当编码单元被划分为奇数个编码单元时,图像解码设备100可对划分出的编码单元中的特定位置处的编码单元施加特定限制,上面已经通过各种实施例描述了所述限制或所述特定位置,因此将省略其详细描述。
根据实施例,图像解码设备100可通过划分第一编码单元确定各种形状的编码单元。
参照图9,图像解码设备100可将正方形的第一编码单元900或非正方形的第一编码单元930或950划分为各种形状的编码单元。
图10示出根据实施例的当通过划分第一编码单元1000确定的非正方形的第二编码单元满足特定条件时图像解码设备100可将第二编码单元划分为的形状受到限制。
根据实施例,图像解码设备100可基于由比特流获得器110获得的划分形状模式信息确定将正方形的第一编码单元1000划分为非正方形的第二编码单元1010a、1010b、1020a和1020b。第二编码单元1010a、1010b、1020a和1020b可被独立地划分。因此,图像解码设备100可基于第二编码单元1010a、1010b、1020a和1020b中的每一个的划分形状模式信息,确定将第二编码单元1010a、1010b、1020a和1020b中的每一个划分为多个编码单元或者不对第二编码单元1010a、1010b、1020a和1020b中的每一个进行划分。根据实施例,图像解码设备100可通过在水平方向上对通过在垂直方向上划分第一编码单元1000而确定的非正方形的左侧第二编码单元1010a进行划分,来确定第三编码单元1012a和1012b。然而,当左侧第二编码单元1010a在水平方向上被划分时,图像解码设备100可将右侧第二编码单元1010b限制为不在左侧第二编码单元1010a被划分的水平方向上被划分。当通过在同一方向上划分右侧第二编码单元1010b来确定第三编码单元1014a和1014b时,因为左侧第二编码单元1010a和右侧第二编码单元1010b在水平方向上被独立地划分,所以可确定第三编码单元1012a、1012b、1014a和1014b。然而,这种情况与图像解码设备100基于划分形状模式信息将第一编码单元1000划分为四个正方形的第二编码单元1030a、1030b、1030c和1030d的情况作用相同,并且在图像解码方面可能是低效的。
根据实施例,图像解码设备100可通过在垂直方向上对通过在水平方向上划分第一编码单元1000而确定的非正方形的第二编码单元1020a和/或1020b进行划分,来确定第三编码单元1022a、1022b、1024a和1024b。然而,当第二编码单元(例如,上方第二编码单元1020a)在垂直方向上被划分时,出于上述原因,图像解码设备100可将另一第二编码单元(例如,下方第二编码单元1020b)限制为不在上方第二编码单元1020a被划分的垂直方向上被划分。
图11示出根据实施例的当划分形状模式信息指示正方形编码单元将不被划分为四个正方形编码单元时图像解码设备100对正方形编码单元进行划分的处理。
根据实施例,图像解码设备100可通过基于划分形状模式信息划分第一编码单元1100来确定第二编码单元1110a、1110b、1120a、1120b等。划分形状模式信息可包括关于划分编码单元的各种方法的信息,但是关于各种划分方法的信息可不包括用于将编码单元划分为四个正方形编码单元的信息。根据这样的划分形状模式信息,图像解码设备100可不将正方形的第一编码单元1100划分为四个正方形编码单元1130a、1130b、1130c和1130d。图像解码设备100可基于划分形状模式信息确定非正方形的第二编码单元1110a、1110b、1120a、1120b等。
根据实施例,图像解码设备100可独立地划分非正方形的第二编码单元1110a、1110b、1120a、1120b等。第二编码单元1110a、1110b、1120a、1120b等中的每一个可按照特定顺序被递归地划分,并且该划分方法可与基于划分形状模式信息来划分第一编码单元1100的方法对应。
例如,图像解码设备100可通过在水平方向上划分左侧第二编码单元1110a来确定正方形的第三编码单元1112a和1112b,并且可通过在水平方向上划分右侧第二编码单元1110b来确定正方形的第三编码单元1114a和1114b。此外,图像解码设备100可通过在水平方向上划分左侧第二编码单元1110a和右侧第二编码单元1110b两者来确定正方形的第三编码单元1116a、1116b、1116c和1116d。在这种情况下,可确定与从第一编码单元1100划分出的四个正方形的第二编码单元1130a、1130b、1130c和1130d具有相同形状的编码单元。
作为另一示例,图像解码设备100可通过在垂直方向上划分上方第二编码单元1120a来确定正方形的第三编码单元1122a和1122b,并且可通过在垂直方向上划分下方第二编码单元1120b来确定正方形的第三编码单元1124a和1124b。此外,图像解码设备100可通过在垂直方向上划分上方第二编码单元1120a和下方第二编码单元1120b两者来确定正方形的第三编码单元1126a、1126b、1126c和1126d。在这种情况下,可确定与从第一编码单元1100划分出的四个正方形的第二编码单元1130a、1130b、1130c和1130d具有相同形状的编码单元。
图12示出根据实施例的多个编码单元之间的处理顺序可根据划分编码单元的处理而改变。
根据实施例,图像解码设备100可基于划分形状模式信息来划分第一编码单元1200。当块形状是正方形形状并且划分形状模式信息指示在水平方向和垂直方向中的至少一个方向上划分第一编码单元1200时,图像解码设备100可通过划分第一编码单元1200来确定第二编码单元1210a、1210b、1220a、1220b等。参照图12,通过仅在水平方向或垂直方向上划分第一编码单元1200而确定的非正方形的第二编码单元1210a、1210b、1220a和1220b可基于每个编码单元的划分形状模式信息被独立地划分。例如,图像解码设备100可通过在水平方向上对通过在垂直方向上划分第一编码单元1200而生成的第二编码单元1210a和1210b进行划分,来确定第三编码单元1216a、1216b、1216c和1216d,并且可通过在垂直方向上对通过在水平方向上划分第一编码单元1200而生成的第二编码单元1220a和1220b进行划分,来确定第三编码单元1226a、1226b、1226c和1226d。上面已经参照图11描述了划分第二编码单元1210a、1210b、1220a和1220b的操作,因此将省略其详细描述。
根据实施例,图像解码设备100可按照特定顺序处理编码单元。上面已经关于图7描述了按照特定顺序处理编码单元的操作,因此将省略其详细描述。参照图12,图像解码设备100可通过划分正方形的第一编码单元1200来确定四个正方形的第三编码单元1216a、1216b、1216c、1216d以及1226a、1226b、1226c和1226d。根据实施例,图像解码设备100可基于第一编码单元1200的划分方法来确定第三编码单元1216a、1216b、1216c和1216d以及1226a、1226b、1226c和1226d的处理顺序。
根据实施例,图像解码设备100可通过在水平方向上对通过在垂直方向上划分第一编码单元1200而生成的第二编码单元1210a和1210b进行划分来确定第三编码单元1216a、1216b、1216c和1216d,并且可按照如下处理顺序1217处理第三编码单元1216a、1216b、1216c和1216d:首先在垂直方向上处理左侧第二编码单元1210a中包括的第三编码单元1216a和1216c,然后在垂直方向上处理右侧第二编码单元1210b中包括的第三编码单元1216b和1216d。
根据实施例,图像解码设备100可通过在垂直方向上对通过在水平方向上划分第一编码单元1200而生成的第二编码单元1220a和1220b进行划分来确定第三编码单元1226a、1226b、1226c和1226d,并且可按照如下处理顺序1227处理第三编码单元1226a、1226b、1226c和1226d:首先在水平方向上处理上方第二编码单元1220a中包括的第三编码单元1226a和1226b,然后在水平方向上处理下方第二编码单元1220b中包括的第三编码单元1226c和1226d。
参照图12,可通过分别划分第二编码单元1210a、1210b、1220a和1220b来确定正方形的第三编码单元1216a、1216b、1216c和1216d以及1226a、1226b、1226c和1226d。尽管通过在垂直方向上划分第一编码单元1200而确定的第二编码单元1210a和1210b与通过在水平方向上划分第一编码单元1200而确定的第二编码单元1220a和1220b不同,但是从第二编码单元1210a和1210b以及第二编码单元1220a和1220b划分出的第三编码单元1216a、1216b、1216c和1216d以及第三编码单元1226a、1226b、1226c和1226d最终示出从第一编码单元1200划分出的相同形状的编码单元。因此,通过基于划分形状模式信息以不同的方式递归地划分编码单元,即使最终将编码单元确定为相同的形状,图像解码设备100也可按照不同顺序对多个编码单元进行处理。
图13示出根据实施例的当编码单元被递归地划分以确定多个编码单元时,随着编码单元的形状和尺寸改变而确定编码单元的深度的处理。
根据实施例,图像解码设备100可基于特定标准确定编码单元的深度。例如,所述特定标准可以是编码单元的长边的长度。当被划分之前的编码单元的长边的长度是划分后的当前编码单元的长边的长度的2n(n>0)倍时,图像解码设备100可确定当前编码单元的深度比划分之前的编码单元的深度增大n。在下面的描述中,具有增大的深度的编码单元被表示为更深深度的编码单元。
参照图13,根据实施例,图像解码设备100可通过基于指示正方形形状的块形状信息(例如,块形状信息可被表示为“0:SQUARE”)划分正方形的第一编码单元1300来确定更深深度的第二编码单元1302和第三编码单元1304等。假设正方形的第一编码单元1300的尺寸是2N×2N,通过按1/2对第一编码单元1300的宽度和高度进行划分而确定的第二编码单元1302可具有N×N的尺寸。此外,通过按1/2对第二编码单元1302的宽度和高度进行划分而确定的第三编码单元1304可具有N/2×N/2的尺寸。在这种情况下,第三编码单元1304的宽度和高度是第一编码单元1300的宽度和高度的1/4。当第一编码单元1300的深度为D时,宽度和高度是第一编码单元1300的宽度和高度的1/2的第二编码单元1302的深度可以是D+1,并且宽度和高度是第一编码单元1300的宽度和高度1/4的第三编码单元1304的深度可以是D+2。
根据实施例,图像解码设备100可通过基于指示非正方形形状的块形状信息(例如,块形状信息可被表示为指示高度长于宽度的非正方形形状的“1:NS_VER”,或者可被表示为指示宽度长于高度的非正方形形状的“2:NS_HOR”)划分非正方形的第一编码单元1310或1320,来确定更深深度的第二编码单元1312或1322、第三编码单元1314或1324等。
图像解码设备100可通过划分尺寸为N×2N的第一编码单元1310的宽度和高度中的至少一个来确定第二编码单元1302、1312或1322。也就是说,图像解码设备100可通过在水平方向上划分第一编码单元1310来确定尺寸为N×N的第二编码单元1302或尺寸为N×N/2的第二编码单元1322,或者可通过在水平方向和垂直方向上划分第一编码单元1310来确定尺寸为N/2×N的第二编码单元1312。
根据实施例,图像解码设备100可通过划分尺寸为2N×N的第一编码单元1320的宽度和高度中的至少一个来确定第二编码单元1302、1312或1322。也就是说,图像解码设备100可通过在垂直方向上划分第一编码单元1320来确定尺寸为N×N的第二编码单元1302或尺寸为N/2×N的第二编码单元1312,或者可通过在水平方向和垂直方向上划分第一编码单元1320来确定尺寸为N×N/2的第二编码单元1322。
根据实施例,图像解码设备100可通过划分尺寸为N×N的第二编码单元1302的宽度和高度中的至少一个来确定第三编码单元1304、1314或1324。也就是说,图像解码设备100可通过在垂直方向和水平方向上划分第二编码单元1302来确定尺寸为N/2×N/2的第三编码单元1304、尺寸为N/4×N/2的第三编码单元1314或尺寸为N/2×N/4的第三编码单元1324。
根据实施例,图像解码设备100可通过划分尺寸为N/2×N的第二编码单元1312的宽度和高度中的至少一个来确定第三编码单元1304、1314或1324。也就是说,图像解码设备100可通过在水平方向上划分第二编码单元1312来确定尺寸为N/2×N/2的第三编码单元1304或尺寸为N/2×N/4的第三编码单元1324,或者可通过在垂直方向和水平方向上划分第二编码单元1312来确定尺寸为N/4×N/2的第三编码单元1314。
根据实施例,图像解码设备100可通过划分尺寸为N×N/2的第二编码单元1322的宽度和高度中的至少一个来确定第三编码单元1304、1314或1324。也就是说,图像解码设备100可通过在垂直方向上划分第二编码单元1322来确定尺寸为N/2×N/2的第三编码单元1304或尺寸为N/4×N/2的第三编码单元1314,或者可通过在垂直方向和水平方向上划分第二编码单元1322来确定尺寸为N/2×N/4的第三编码单元1324。
根据实施例,图像解码设备100可在水平方向或垂直方向上划分正方形编码单元1300、1302或1304。例如,图像解码设备100可通过在垂直方向上划分尺寸为2N×2N的第一编码单元1300来确定尺寸为N×2N的第一编码单元1310,或者可通过在水平方向上划分尺寸为2N×2N的第一编码单元1300来确定尺寸为2N×N的第一编码单元1320。根据实施例,当基于编码单元的最长边的长度确定深度时,通过在水平方向或垂直方向上划分尺寸为2N×2N的第一编码单元1300而确定的编码单元的深度可与第一编码单元1300的深度相同。
根据实施例,第三编码单元1314或1324的宽度和高度可以是第一编码单元1310或1320的宽度和高度的1/4。当第一编码单元1310或1320的深度为D时,宽度和高度是第一编码单元1310或1320的宽度和高度的1/2的第二编码单元1312或1322的深度可以是D+1,宽度和高度是第一编码单元1310或1320的宽度和高度的1/4的第三编码单元1314或1324的深度可以是D+2。
图14示出根据实施例的基于编码单元的形状和尺寸可确定的深度以及用于区分编码单元的部分索引(PID)。
根据实施例,图像解码设备100可通过划分正方形的第一编码单元1400来确定各种形状的第二编码单元。参照图14,图像解码设备100可通过基于划分形状模式信息在垂直方向和水平方向中的至少一个方向上划分第一编码单元1400来确定第二编码单元1402a和1402b、第二编码单元1404a和1404b、以及第二编码单元1406a、1406b、1406c和1406d。也就是说,图像解码设备100可基于第一编码单元1400的划分形状模式信息来确定第二编码单元1402a和1402b、1404a和1404b以及1406a、1406b、1406c和1406d。
根据实施例,基于正方形的第一编码单元1400的划分形状模式信息确定的第二编码单元1402a和1402b、第二编码单元1404a和1404b以及第二编码单元1406a、1406b、1406c和1406d的深度可基于它们的长边的长度而被确定。例如,因为正方形的第一编码单元1400的边的长度等于非正方形的第二编码单元1402a和1402b以及1404a和1404b的长边的长度,所以第一编码单元1400和非正方形的第二编码单元1402a和1402b以及1404a和1404b可具有相同的深度,例如D。然而,当图像解码设备100基于划分形状模式信息将第一编码单元1400划分为四个正方形的第二编码单元1406a、1406b、1406c和1406d时,因为正方形的第二编码单元1406a、1406b、1406c和1406d的边的长度是第一编码单元1400的边的长度的1/2,所以第二编码单元1406a、1406b、1406c和1406d的深度可以是比第一编码单元1400的深度D深1的D+1。
根据实施例,图像解码设备100可通过基划分形状模式信息在水平方向上划分高度长于宽度的第一编码单元1410来确定多个第二编码单元1412a和1412b以及1414a、1414b和1414c。根据实施例,图像解码设备100可通过基于划分形状模式信息在垂直方向上划分宽度长于高度的第一编码单元1420来确定多个第二编码单元1422a和1422b以及1424a、1424b和1424c。
根据实施例,基于非正方形的第一编码单元1410或1420的划分形状模式信息确定的第二编码单元1412a和1412b、第二编码单元1414a、1414b和1414c、第二编码单元1422a和1422b以及第二编码单元1424a、1424b和1424c的深度可基于它们的长边的长度而被确定。例如,因为正方形的第二编码单元1412a和1412b的边的长度是具有高度长于宽度的非正方形形状的第一编码单元1410的长边的长度的1/2,所以正方形的第二编码单元1412a和1412b的深度是比非正方形的第一编码单元1410的深度D深1的D+1。
此外,图像解码设备100可基于划分形状模式信息将非正方形的第一编码单元1410划分为奇数个第二编码单元1414a、1414b和1414c。奇数个第二编码单元1414a、1414b和1414c可包括非正方形的第二编码单元1414a和1414c以及正方形的第二编码单元1414b。在这种情况下,因为非正方形的第二编码单元1414a和1414c的长边的长度以及正方形的第二编码单元1414b的边的长度是第一编码单元1410的长边的长度的1/2,所以第二编码单元1414a、1414b和1414c的深度可以是比非正方形的第一编码单元1410的深度D深1的D+1。图像解码设备100可通过使用上述确定从第一编码单元1410划分出的编码单元的深度的方法,确定从具有宽度长于高度的非正方形形状的第一编码单元1420划分出的编码单元的深度。
根据实施例,当奇数个划分出的编码单元不具有相等的尺寸时,图像解码设备100可基于编码单元之间的尺寸比例来确定用于标识划分出的编码单元的PID。参照图14,奇数个划分出的编码单元1414a、1414b和1414c中的中心位置的编码单元1414b的宽度可等于其他编码单元1414a和1414c的宽度并且其高度可以是其他编码单元1414a和1414c的高度的两倍。也就是说,在这种情况下,中心位置处的编码单元1414b可包括两个其它编码单元1414a或1414c。因此,当中心位置处的编码单元1414b的PID基于扫描顺序而为1时,位于与编码单元1414b相邻位置的编码单元1414c的PID可增加2并且因此可以是3。也就是说,可能存在PID值不连续。根据实施例,图像解码设备100可基于用于标识划分出的编码单元的PID是否存在不连续,确定奇数个划分出的编码单元是否不具有相等的尺寸。
根据实施例,图像解码设备100可基于用于标识通过划分当前编码单元确定的多个编码单元的PID值来确定是否使用特定划分方法。参照图14,图像解码设备100可通过划分具有高度长于宽度的矩形形状的第一编码单元1410来确定偶数个编码单元1412a和1412b或奇数个编码单元1414a、1414b和1414c。图像解码设备100可使用PID来识别各个编码单元。根据实施例,可从每个编码单元的特定位置的样点(例如,左上样点)获得PID。
根据实施例,图像解码设备100可通过使用用于区分编码单元的PID来确定划分出的编码单元中的特定位置处的编码单元。根据实施例,当具有高度长于宽度的矩形形状的第一编码单元1410的划分形状模式信息指示将编码单元划分为三个编码单元时,图像解码设备100可将第一编码单元1410划分为三个编码单元1414a、1414b和1414c。图像解码设备100可将PID分配给三个编码单元1414a、1414b和1414c中的每一个。图像解码设备100可对奇数个划分出的编码单元的PID进行比较,以确定奇数个划分出的编码单元中的中心位置处的编码单元。图像解码设备100可将具有编码单元的PID中的与中间值对应的PID的编码单元1414b确定为通过划分第一编码单元1410确定的编码单元中的中心位置处的编码单元。根据实施例,当划分出的编码单元不具有相等的尺寸时,图像解码设备100可基于编码单元之间的尺寸比例确定用于区分划分出的编码单元的PID。参照图14,通过划分第一编码单元1410生成的编码单元1414b的宽度可等于其他编码单元1414a和1414c的宽度,并且其高度可以是其他编码单元1414a和1414c的高度的两倍。在这种情况下,当中心位置处的编码单元1414b的PID是1时,位于与编码单元1414b相邻位置的编码单元1414c的PID可增加2并且因此可以是3。当如上所述PID未均匀地增大时,图像解码设备100可确定编码单元被划分为多个编码单元,其中,所述多个编码单元包括尺寸与其他编码单元的尺寸不同的编码单元。根据实施例,当划分形状模式信息指示将编码单元划分为奇数个编码单元时,图像解码设备100可按照奇数个编码单元中的特定位置的编码单元(例如,中心位置的编码单元)具有与其他编码单元的尺寸不同的尺寸这样的方式来划分当前编码单元。在这种情况下,图像解码设备100可通过使用编码单元的PID来确定具有不同尺寸的中心位置的编码单元。然而,将被确定的特定位置的编码单元的PID以及尺寸或位置不限于上述示例,并且可使用编码单元的各种PID以及各种位置和尺寸。
根据实施例,图像解码设备100可使用特定数据单元,其中,在该特定数据单元中,开始递归地划分编码单元。
图15示出根据实施例的基于画面中包括的多个特定数据单元确定多个编码单元。
根据实施例,特定数据单元可被定义为通过使用划分形状模式信息开始递归地划分编码单元的数据单元。也就是说,特定数据单元可与用于确定从当前画面划分出的多个编码单元的最高深度的编码单元对应。在下面的描述中,为了便于解释,特定数据单元被称为参考数据单元。
根据实施例,参考数据单元可具有特定尺寸和特定形状。根据实施例,参考数据单元可包括M×N个样点。这里,M和N可彼此相等,并且可以是被表示为2的幂的整数。也就是说,参考数据单元可具有正方形形状或非正方形形状,并且可被划分为整数个编码单元。
根据实施例,图像解码设备100可将当前画面划分为多个参考数据单元。根据实施例,图像解码设备100可通过使用针对每个参考数据单元的划分形状模式信息来对从当前画面划分出的多个参考数据单元进行划分。划分参考数据单元的操作可与使用四叉树结构的划分操作对应。
根据实施例,图像解码设备100可预先确定当前画面中包括的参考数据单元所允许的最小尺寸。因此,图像解码设备100可确定尺寸等于或大于最小尺寸的各种参考数据单元,并且可参考确定的参考数据单元通过使用划分形状模式信息来确定一个或更多个编码单元。
参照图15,图像解码设备100可使用正方形的参考编码单元1500或非正方形的参考编码单元1502。根据实施例,可基于能够包括一个或更多个参考编码单元的各种数据单元(例如,序列、画面、条带、条带片段、并行块、并行块组或最大编码单元)来确定参考编码单元的形状和尺寸。
根据实施例,图像解码设备100的比特流获得器110可从比特流获得针对各种数据单元中的每个数据单元的参考编码单元形状信息和参考编码单元尺寸信息中的至少一个。上面已经关于图3的划分当前编码单元300的操作描述了确定包括在正方形的参考编码单元1500中的一个或更多个编码单元的操作,并且上面已经关于图4的划分当前编码单元400或450的操作描述了确定包括在非正方形的参考编码单元1502中的一个或更多个编码单元的操作,因此将省略其详细描述。
根据实施例,图像解码设备100可根据基于特定条件预先确定的一些数据单元,使用用于标识参考编码单元的尺寸和形状的PID来确定参考编码单元的尺寸和形状。也就是说,比特流获得器110可从比特流仅获得针对每个条带、条带片段、并行块、并行块组或最大编码单元的用于标识参考编码单元的尺寸和形状的PID,其中,所述条带、条带片段、并行块、并行块组或最大编码单元是各种数据单元(例如,序列、画面、条带、条带片段、并行块、并行块组或最大编码单元)中的满足特定条件的数据单元(例如,尺寸等于或小于条带的数据单元)。图像解码设备100可通过使用PID确定针对满足特定条件的每个数据单元的参考数据单元的尺寸和形状。当根据具有相对小尺寸的每个数据单元从比特流获得并使用参考编码单元形状信息和参考编码单元尺寸信息时,使用比特流的效率可能不高,因此,可仅获得并使用PID,而不是直接获得参考编码单元形状信息和参考编码单元尺寸信息。在这种情况下,可预先确定与用于标识参考编码单元的尺寸和形状的PID对应的参考编码单元的尺寸和形状中的至少一个。也就是说,图像解码设备100可通过选择基于PID预先确定的参考编码单元的尺寸和形状中的至少一个,确定包括在用作用于获得PID的单元的数据单元中的参考编码单元的尺寸和形状中的至少一个。
根据实施例,图像解码设备100可使用最大编码单元中包括的一个或更多个参考编码单元。也就是说,从画面划分出的最大编码单元可包括一个或更多个参考编码单元,并且可通过递归地划分每个参考编码单元来确定编码单元。根据实施例,最大编码单元的宽度和高度中的至少一个可以是参考编码单元的宽度和高度中的至少一个的整数倍。根据实施例,可通过基于四叉树结构将最大编码单元划分n次来获得参考编码单元的尺寸。也就是说,根据各种实施例,图像解码设备100可通过基于四叉树结构将最大编码单元划分n次来确定参考编码单元,并且可基于块形状信息和划分形状模式信息中的至少一个来划分参考编码单元。
图16示出根据实施例的用作用于确定画面1600中包括的参考编码单元的确定顺序的单元的处理块。
根据实施例,图像解码设备100可确定从画面划分出的一个或更多个处理块。处理块是从图像划分出的包括一个或更多个参考编码单元的数据单元,并且可根据特定顺序确定处理块中包括的一个或更多个参考编码单元。也就是说,在每个处理块中确定的一个或更多个参考编码单元的确定顺序可与各种类型的用于确定参考编码单元的顺序中的一个顺序对应,并且可根据处理块变化。针对每个处理块确定的参考编码单元的确定顺序可以是各种顺序(例如,光栅扫描、Z字形扫描、N字形扫描、右上对角扫描、水平扫描和垂直扫描)中的一个,但不限于以上提及的扫描顺序。
根据实施例,图像解码设备100可获得处理块尺寸信息,并且可确定包括在图像中的一个或更多个处理块的尺寸。图像解码设备100可从比特流获得处理块尺寸信息,并且可确定包括在图像中的一个或更多个处理块的尺寸。处理块的尺寸可以是由处理块尺寸信息指示的数据单元的特定尺寸。
根据实施例,图像解码设备100的比特流获得器110可根据每个特定数据单元从比特流获得处理块尺寸信息。例如,可按照诸如图像、序列、画面、条带、条带片段、并行块或并行块组的数据单元从比特流获得处理块尺寸信息。也就是说,比特流获得器110可根据各种数据单元中的每个数据单元从比特流获得处理块尺寸信息,图像解码设备100可通过使用获得的处理块尺寸信息确定从画面划分出的一个或更多个处理块的尺寸,并且处理块的尺寸可以是参考编码单元的尺寸的整数倍。
根据实施例,图像解码设备100可确定画面1600中包括的处理块1602和1612的尺寸。例如,图像解码设备100可基于从比特流获得的处理块尺寸信息确定处理块的尺寸。参照图16,根据实施例,图像解码设备100可将处理块1602和1612的宽度确定为参考编码单元的宽度的四倍,并且可将处理块1602和1612的高度确定为参考编码单元的高度的四倍。图像解码设备100可确定一个或更多个处理块中的一个或更多个参考编码单元的确定顺序。
根据实施例,图像解码设备100可基于处理块的尺寸确定画面1600中包括的处理块1602和1612,并且可确定处理块1602和1612中包括的一个或更多个参考编码单元的确定顺序。根据实施例,参考编码单元的确定可包括确定参考编码单元的尺寸。
根据实施例,图像解码设备100可从比特流获得一个或更多个处理块中包括的一个或更多个参考编码单元的确定顺序信息,并且可基于获得的确定顺序信息来确定针对所述一个或更多个参考编码单元的确定顺序。确定顺序信息可被定义为用于确定处理块中的参考编码单元的顺序或方向。也就是说,可针对每个处理块独立地确定参考编码单元的确定顺序。
根据实施例,图像解码设备100可根据每个特定数据单元从比特流获得参考编码单元的确定顺序信息。例如,比特流获得器110可根据每个数据单元(诸如图像、序列、画面、条带、条带片段、并行块、并行块组或处理块)从比特流获得参考编码单元的确定顺序信息。因为参考编码单元的确定顺序信息指示用于确定处理块中的参考编码单元的顺序,所以可针对包括整数个处理块的每个特定数据单元获得确定顺序信息。
根据实施例,图像解码设备100可基于确定的确定顺序来确定一个或更多个参考编码单元。
根据实施例,比特流获得器110可从比特流获得参考编码单元的确定顺序信息作为与处理块1602和1612相关的信息,并且图像解码设备100可确定处理块1602和1612中包括的一个或更多个参考编码单元的确定顺序,并可基于该确定顺序确定画面1600中包括的一个或更多个参考编码单元。参照图16,图像解码设备100可分别确定处理块1602和1612中的一个或更多个参考编码单元的确定顺序1604和1614。例如,当针对每个处理块获得参考编码单元的确定顺序信息时,可针对处理块1602和1612获得参考编码单元的不同类型的确定顺序信息。当处理块1602中的参考编码单元的确定顺序1604是光栅扫描顺序时,可根据光栅扫描顺序确定处理块1602中包括的参考编码单元。相反,当另一处理块1612中的参考编码单元的确定顺序1614是反向光栅扫描顺序时,可根据反向光栅扫描顺序确定处理块1612中包括的参考编码单元。
根据实施例,图像解码设备100可对所确定的一个或更多个参考编码单元进行解码。图像解码设备100可基于如上所述确定的参考编码单元对图像进行解码。对参考编码单元进行解码的方法可包括各种图像解码方法。
根据实施例,图像解码设备100可从比特流获得指示当前编码单元的形状的块形状信息或指示当前编码单元的划分方法的划分形状模式信息,并且可使用所获得的信息。划分形状模式信息可被包括在与各种数据单元相关的比特流中。例如,图像解码设备100可使用包括在序列参数集、画面参数集、视频参数集、条带头、条带片段头、并行块头或并行块组头中的划分形状模式信息。此外,图像解码设备100可根据每个最大编码单元、每个参考编码单元或每个处理块从比特流获得与块形状信息或划分形状模式信息对应的语法元素,并且可使用所获得的语法元素。
将详细描述根据本公开的实施例的确定划分规则的方法。
图像解码设备100可确定图像的划分规则。可在图像解码设备100和图像编码设备200之间预先确定划分规则。图像解码设备100可基于从比特流获得的信息来确定图像的划分规则。图像解码设备100可基于从序列参数集、画面参数集、视频参数集、条带头、条带片段头、并行块头和并行块组头中的至少一个获得的信息来确定划分规则。图像解码设备100可根据帧、条带、并行块、时间层、最大编码单元或编码单元来不同地确定划分规则。
图像解码设备100可基于编码单元的块形状来确定划分规则。块形状可包括编码单元的尺寸、形状、宽高比和方向。图像编码设备200和图像解码设备100可预先确定基于编码单元的块形状来确定划分规则。然而,本公开不限于此。图像解码设备100可基于从自图像编码设备200接收到的比特流获得的信息来确定划分规则。
编码单元的形状可包括正方形形状和非正方形形状。当编码单元的宽度和高度相同时,图像解码设备100可确定编码单元的形状是正方形形状。此外,当编码单元的宽度和高度不相同时,图像解码设备100可确定编码单元的形状是非正方形形状。
编码单元的尺寸可包括各种尺寸,诸如4×4、8×4、4×8、8×8、16×4、16×8、……和256×256。可根据编码单元的长边的长度、短边的长度或面积对编码单元的尺寸进行分类。图像解码设备100可将相同的划分规则应用于属于同一组的编码单元。例如,图像解码设备100可将长边具有相同长度的编码单元分类为具有相同尺寸的编码单元。此外,图像解码设备100可将相同的划分规则应用于长边具有相同长度的编码单元。
编码单元的宽高比可包括1:2、2:1、1:4、4:1、1:8、8:1、1:16、16:1、32:1或1:32。此外,编码单元的方向可包括水平方向和垂直方向。水平方向可指示编码单元的宽度长度大于编码单元的高度长度的情况。垂直方向可指示编码单元的宽度长度小于编码单元的高度长度的情况。
图像解码设备100可基于编码单元的尺寸自适应地确定划分规则。图像解码设备100可基于编码单元的尺寸不同地确定可允许的划分形状模式。例如,图像解码设备100可基于编码单元的尺寸来确定是否允许划分。图像解码设备100可根据编码单元的尺寸来确定划分方向。图像解码设备100可根据编码单元的尺寸来确定可允许的划分类型。
基于编码单元的尺寸确定的划分规则可以是在图像编码设备200和图像解码设备100之间预先确定的划分规则。此外,图像解码设备100可基于从比特流获得的信息来确定划分规则。
图像解码设备100可基于编码单元的位置自适应地确定划分规则。图像解码设备100可基于编码单元在图像中的位置自适应地确定划分规则。
此外,图像解码设备100可确定划分规则,使得使用不同划分路径生成的编码单元不具有相同的块形状。然而,本公开不限于此,并且使用不同划分路径生成的编码单元可具有相同的块形状。使用不同划分路径生成的编码单元可具有不同的解码处理顺序。已经参照图12描述了解码处理顺序,因此将省略其详细描述。
图17示出根据实施例的当编码单元可被划分为的形状的组合针对每个画面是不同的时针对每个画面可确定的编码单元。
参照图17,图像解码设备100可确定编码单元可被划分为的形状的组合针对每个画面是不同的。例如,图像解码设备100可通过使用图像中包括的一个或更多个画面之中的可划分为4个编码单元的画面1700、可划分为2个或4个编码单元的画面1710以及可划分为2个、3个或4个编码单元的画面1720来对图像进行解码。为了将画面1700划分为多个编码单元,图像解码设备100可仅使用指示划分为4个正方形编码单元的划分形状信息。为了划分画面1710,图像解码设备100可仅使用指示划分为2个或4个编码单元的划分形状信息。为了划分画面1720,图像解码设备100可仅使用指示划分为2个、3个或4个编码单元的划分形状信息。因为这样的划分形状的组合仅是用于描述图像解码设备100的操作的示例,所以划分形状的组合不应被解释为限于此,并且可根据每个特定数据单元使用划分形状的各种组合。
根据实施例,图像解码设备100的比特流获得器110可根据每个特定数据单元(例如,序列、画面、条带、条带片段、并行块或并行块组)获得包括指示划分形状信息的组合的索引的比特流。例如,比特流获得器110可从序列参数集、画面参数集、条带头、并行块头或并行块组头获得指示划分形状信息的组合的索引。图像解码设备100可通过使用所获得的索引根据每个特定数据单元来确定编码单元可被划分为的划分形状的组合,因此可根据特定数据单元使用划分形状的不同组合。
图18示出根据实施例的基于可表示为二进制码的划分形状模式信息可确定的编码单元的各种形状。
根据实施例,图像解码设备100可通过使用由比特流获得器110获得的块形状信息和划分形状模式信息将编码单元划分为各种形状。编码单元可被划为的形状可对应于包括参照上述实施例描述的形状的各种形状。
参照图18,图像解码设备100可基于划分形状模式信息在水平方向和垂直方向中的至少一个方向上划分正方形编码单元,并且可在水平方向或垂直方向上划分非正方形编码单元。
根据实施例,当图像解码设备100能够在水平方向和垂直方向上将正方形编码单元划分为4个正方形编码单元时,可由正方形编码单元的划分形状模式信息指示的划分形状的数量可以是4。根据实施例,划分形状模式信息可被表示为2位二进制码,并且二进制码可被分配给每个划分形状。例如,当编码单元不被划分时,划分形状模式信息可被表示为(00)b;当编码单元在水平方向和垂直方向上被划分时,划分形状模式信息可被表示为(01)b;当编码单元在水平方向上被划分时,划分形状模式信息可被表示为(10)b;并且当编码单元在垂直方向上被划分时,划分形状模式信息可被表示为(11)b。
根据实施例,当图像解码设备100在水平方向或垂直方向上划分非正方形编码单元时,可根据编码单元被划分为的编码单元的数量来确定可由划分形状模式信息指示的划分形状的类型。参照图18,根据实施例,图像解码设备100可将非正方形编码单元划分为多达3个编码单元。图像解码设备100可将编码单元划分为两个编码单元,并且在这种情况下,划分形状模式信息可被表示为(10)b。图像解码设备100可将编码单元划分为三个编码单元,并且在这种情况下,划分形状模式信息可被表示为(11)b。图像解码设备100可确定不对编码单元进行划分,并且在这种情况下,划分形状模式信息可被表示为(0)b。也就是说,为了使用指示划分形状模式信息的二进制码,图像解码设备100可使用可变长度编码(VLC),而不是固定长度编码(FLC)。
根据实施例,参照图18,指示编码单元不被划分的划分形状模式信息的二进制码可被表示为(0)b。当指示编码单元不被划分的划分形状模式信息的二进制码被设置为(00)b时,即使不存在被设置为(01)b的划分形状模式信息,也必须使用划分形状模式信息的全部2比特二进制码。然而,如图18中所示,当3个划分形状被用于非正方形编码单元时,图像解码设备100即使通过使用1比特二进制码(0)b作为划分形状模式信息也可确定不对编码单元进行划分,从而有效地使用比特流。然而,由划分形状模式信息指示的非正方形编码单元的划分形状不应被解释为限于图18中所示的3种形状,而应被解释为包括上述实施例的各种形状。
图19示出根据实施例的基于可表示为二进制码的划分形状模式信息可确定的编码单元的其他形状。
参照图19,图像解码设备100可基于划分形状模式信息在水平方向或垂直方向上划分正方形编码单元,并且可在水平方向或垂直方向上划分非正方形编码单元。也就是说,划分形状模式信息可指示正方形编码单元在一个方向上被划分。在这种情况下,指示正方形编码单元不被划分的划分形状模式信息的二进制码可被表示为(0)b。当指示编码单元不被划分的划分形状模式信息的二进制码被设置为(00)b时,即使不存在被设置为(01)b的划分形状模式信息,也必须使用划分形状模式信息的全部2比特二进制码。然而,如图19中所示,当3个划分形状被用于正方形编码单元时,图像解码设备100即使通过使用1比特二进制码(0)b作为划分形状模式信息也可确定不对编码单元进行划分,从而有效地使用比特流。然而,由划分形状模式信息指示的正方形编码单元的划分形状不应被解释为限于图19中所示的3种形状,而应被解释为包括上述实施例的各种形状。
根据实施例,块形状信息或划分形状模式信息可通过使用二进制码来表示,并且这样的信息可被即刻生成为比特流。可选地,可表示为二进制码的块形状信息或划分形状模式信息可被用作在上下文自适应二进制算术编码(CABAC)期间输入的二进制码,而不被即刻生成为比特流。
根据实施例,将描述图像解码设备100通过CABAC获得关于块形状信息或划分形状模式信息的语法的处理。可由比特流获得器110获得包括用于所述语法的二进制码的比特流。图像解码设备100可通过对包括在所获得的比特流中的二进制位串进行反二值化来检测指示块形状信息或划分形状模式信息的语法元素。根据实施例,图像解码设备100可获得将被解码的与语法元素对应的一组二进制位串,并且可通过使用概率信息对每个二进制位进行解码,并且图像解码设备100可重复执行这种处理,直到包括这样的经过解码的二进制位的二进制位串与预先获得的二进制位串中的一个二进制位串相同为止。图像解码设备100可通过对二进制位串进行反二值化来确定语法元素。
根据实施例,图像解码设备100可通过执行自适应二进制算术编码的解码处理来确定关于二进制位串的语法,并且可更新针对由比特流获得器110获得的二进制位的概率模型。参照图18,根据实施例,图像解码设备100的比特流获得器110可获得指示二进制码的比特流,其中,所述二进制码指示划分形状模式信息。图像解码设备100可通过使用所获得的大小为1比特或2比特的二进制码来确定关于划分形状模式信息的语法。为了确定关于划分形状模式信息的语法,图像解码设备100可更新2比特二进制码中的每个比特的概率。也就是说,图像解码设备100可根据2比特二进制码中的第一个二进制位的值是0还是1,更新在编码期间下一个二进制位的值为0或1的概率。
根据实施例,在确定语法时,图像解码设备100可更新在对用于语法的二进制位串的二进制位进行解码的处理中使用的二进制位的概率,并且图像解码设备100可在不更新概率的情况下确定二进制位串中的特定比特具有相同的概率。
参照图18,在通过使用指示关于非正方形编码单元的划分形状模式信息的二进制位串来确定语法时,图像解码设备100可在非正方形编码单元不被划分时通过使用具有值0的一个二进制位来确定关于划分形状模式信息的语法。也就是说,当块形状信息指示当前编码单元具有非正方形形状时,当非正方形编码单元不被划分时针对划分形状信息的二进制位串的第一个二进制位可以是0,并且当非正方形编码单元被划分为两个或三个编码单元时针对划分形状信息的二进制位串的第一个二进制位可以是1。因此,关于非正方形编码单元的划分形状模式信息的二进制位串的第一个二进制位为0的概率可以是1/3,并且关于非正方形编码单元的划分形状模式信息的二进制位串的第一个二进制位为1的概率可以是2/3。如上所述,因为指示非正方形编码单元不被划分的划分形状模式信息可仅表示具有值0的1比特二进制位串,所以图像解码设备100可通过仅当划分形状模式信息的第一个二进制位为1时确定第二个二进制位是0还是1来确定关于划分形状模式信息的语法。根据实施例,当针对划分形状模式信息的第一个二进制位为1时,图像解码设备100可通过考虑第二个二进制位为0和1的概率相同来对二进制位进行解码。
根据实施例,图像解码设备100可在确定针对划分形状模式信息的二进制位串的二进制位时针对每个二进制位使用各种概率。根据实施例,图像解码设备100可根据非正方形块的方向不同地确定针对划分形状模式信息的二进制位的概率。根据实施例,图像解码设备100可根据当前编码单元的面积或长边的长度来不同地确定针对划分形状模式信息的二进制位的概率。根据实施例,图像解码设备100可根据当前编码单元的形状和长边的长度中的至少一个来不同地确定针对划分形状模式信息的二进制位的概率。
根据实施例,图像解码设备100可确定针对划分形状模式信息的二进制位的概率对于具有特定尺寸或更大尺寸的编码单元是相同的。例如,图像解码设备100可基于每个编码单元的长边的长度确定针对划分形状模式信息的二进制位的概率对于尺寸等于或大于64个样点的编码单元是相同的。
根据实施例,图像解码设备100可基于条带类型(例如,I条带、P条带或B条带)来确定构成划分形状模式信息的二进制位串的二进制位的初始概率。
图20是用于执行环路滤波的图像编码和解码系统的框图。
图像编码和解码系统2000的编码端2010发送经过编码的图像的比特流,并且解码端2050接收并解码该比特流并且输出重建图像。编码端2010可具有与下面将描述的图像编码设备200的配置类似的配置,并且解码端2050可具有与图像解码设备100的配置类似的配置。
在编码端2010中,预测编码器2015通过帧间预测和帧内预测输出预测数据,并且变换器和量化器2020输出预测数据与当前输入图像之间的残差数据的量化的变换系数。熵编码器2025对量化的变换系数进行编码,并将经过编码的量化的变换系数作为比特流输出。通过反量化器和逆变换器2030将量化的变换系数重建为空间域中的数据,并且通过去块滤波器2035和环路滤波器2040将空间域中的重建数据输出为重建图像。重建图像可通过预测编码器2015被用作下一输入图像的参考图像。
由解码端2050接收到的比特流中的经过编码的图像数据通过熵解码器2055以及反量化器和逆变换器2060被重建为空间域中的残差数据。当残差数据和从预测解码器2075输出的预测数据被结合时,形成空间域中的图像数据,并且去块滤波器2065和环路滤波器2070可对空间域中的图像数据进行滤波,并且可输出针对当前原始图像的重建图像。重建图像可被预测解码器2075用作针对下一原始图像的参考图像。
编码端2010的环路滤波器2040通过使用根据用户输入或系统设置输入的滤波器信息来执行环路滤波。由环路滤波器2040使用的滤波器信息被输出到熵编码器205,并且与经过编码的图像数据一起被发送到解码端2050。解码端2050的环路滤波器2070可基于从解码端2050输入的滤波器信息来执行环路滤波。
上述各种实施例用于描述与由图像解码设备100执行的图像解码方法相关的操作。将参照各种实施例描述用于执行与图像解码方法的逆序处理对应的图像编码方法的图像编码设备200的操作。
图2是根据实施例的用于基于块形状信息和划分形状模式信息中的至少一个对图像进行编码的图像编码设备200的框图。
图像编码设备200可包括编码器220和比特流生成器210。编码器220可接收输入图像并可对输入图像进行编码。编码器220可对输入图像进行编码并可获得至少一个语法元素。语法元素可包括跳过标志、预测模式、运动矢量差、运动矢量预测方法(或索引)、变换量化系数、编码块样式、编码块标志、帧内预测模式、直接标志、合并标志、差量QP、参考索引、预测方向和变换索引中的至少一个。编码器220可基于包括编码单元的形状、方向、宽高比和尺寸中的至少一个的块形状信息来确定上下文模型。
比特流生成器210可基于经过编码的输入图像生成比特流。例如,比特流生成器210可通过基于上下文模型对语法元素进行熵编码来生成比特流。此外,图像编码设备200可将比特流发送到图像解码设备100。
根据实施例,图像编码设备200的编码器220可确定编码单元的形状。例如,编码单元可具有正方形形状或非正方形形状,并且指示形状的信息可被包括在块形状信息中。
根据实施例,编码器220可确定编码单元将被划分为的形状。编码器220可确定该编码单元中包括的至少一个编码单元的形状,并且比特流生成器210可生成包括划分形状模式信息的比特流,其中,所述划分形状模式信息包括关于编码单元的形状的信息。
根据实施例,编码器220可确定编码单元是被划分还是不被划分。当编码器220确定仅一个编码单元被包括在该编码单元中或者该编码单元不被划分时,比特流生成器210可生成包括指示编码单元不被划分的划分形状模式信息的比特流。此外,编码器220可将编码单元划分为多个编码单元,并且比特流生成器210可生成包括指示编码单元被划分为多个编码单元的划分形状模式信息的比特流。
根据实施例,指示编码单元将被划分为的编码单元的数量或编码单元将被划分的方向的信息可被包括在划分形状模式信息中。例如,划分形状模式信息可指示编码单元在垂直方向和水平方向中的至少一个方向上被划分或者不被划分。
图像编码设备200基于编码单元的划分形状模式来确定划分形状模式信息。图像编码设备200基于编码单元的形状、方向、宽高比和尺寸中的至少一个来确定上下文模型。图像编码设备200基于上下文模型生成用于划分编码单元的划分形状模式信息作为比特流。
为了确定上下文模型,图像编码设备200可获得用于将编码单元的形状、方向、宽高比和尺寸中的至少一个映射到针对上下文模型的索引的阵列。图像编码设备200可基于编码单元的形状、方向、宽高比和尺寸中的至少一个从所述阵列获得针对上下文模型的索引。图像编码设备200可基于针对上下文模型的索引来确定上下文模型。
为了确定上下文模型,图像编码设备200可进一步基于包括从预测解码器2075输出的单元的形状、方向、宽高比和尺寸中的至少一个的块形状信息来确定上下文模型。此外,邻近编码单元可包括位于编码单元的左下方、左侧、左上方、上方、右上方、右侧和右下方的编码单元中的至少一个。
此外,为了确定上下文模型,图像编码设备200可将上方邻近编码单元的宽度长度与编码单元的宽度长度进行比较。此外,图像编码设备200可将左侧邻近编码单元和右侧邻近编码单元的高度长度与编码单元的高度长度进行比较。此外,图像编码设备200可基于比较结果确定上下文模型。
图像编码设备200的操作与参照图3至图20描述的图像解码设备100的操作相似,因此将省略其详细描述。
图21是示出根据实施例的图像解码设备2100的配置的框图。
参照图21,图像解码设备2100包括获得器2110、运动信息确定器2130、重建器2150和去块器2170。图21的获得器2110可对应于图1的比特流获得器110,并且运动信息确定器2130、重建器2150和去块器2170可对应于图1的解码器120。
根据实施例的获得器2110、运动信息确定器2130、重建器2150和去块器2170可被实现为至少一个处理器。图像解码设备2100可包括一个或更多个存储获得器2110、运动信息确定器2130、重建器2150和去块器2170的输入/输出数据的数据存储器(未示出)。此外,图像解码设备2100可包括用于控制输入到数据存储器(未示出)/从数据存储器(未示出)输出的数据的存储器控制器(未示出)。
获得器2110接收作为对图像进行编码的结果而生成的比特流。比特流可包括用于确定用于当前块的帧间预测的运动矢量的信息。作为通过根据树结构从图像划分而生成的块的当前块可对应于诸如最大编码单元、编码单元或变换单元的块单元。
运动信息确定器2130可基于序列参数集、画面参数集、视频参数集、条带头和条带片段头中的至少一个中包括的块形状信息和/或划分形状模式信息来确定当前块。此外,获得器2110可针对每个最大编码单元、参考编码单元或处理块从比特流获得与块形状信息或划分形状模式信息对应的语法元素,并且运动信息确定器2130可使用所述语法元素以确定当前块。
比特流可包括指示当前块的预测模式的信息,并且当前块的预测模式的示例可包括帧内模式、帧间模式、合并模式、高级运动矢量预测(AMVP)模式、直接模式和跳过模式。
在实施例中,当当前块的尺寸等于或大于特定尺寸(例如,4×4、8×8、16×16、32×32、64×64或128×128)时,运动信息确定器2130可确定包括由时间运动矢量指示的第一参考块作为候选的候选列表。候选列表可包括预定数量的候选。每个候选可指示特定位置的块。可选地,每个候选可指示特定位置的块的运动矢量。也就是说,当特定块作为候选被包括在候选列表中时,这可表示特定块的运动矢量作为候选被包括。
在本公开中,第一参考块是指用于提取用于确定当前块的运动矢量的运动矢量的块。当将当前块的尺寸与特定尺寸进行比较时,运动信息确定器2130可将当前块的宽度和高度中的一个(例如,更小的尺寸)与特定尺寸进行比较。例如,当当前块的尺寸是4×16并且所述特定尺寸是8×8时,作为当前块的宽度的4小于指示所述特定尺寸中的一侧的尺寸的8,因此可确定当前块的尺寸小于所述特定尺寸。
在实施例中,当当前块的尺寸小于所述特定尺寸时,运动信息确定器2130可确定包括除了第一参考块之外的块作为候选的候选列表。基于当前块的尺寸,第一参考块可被包括或可不被包括在候选列表中。
在实施例中,当当前块的尺寸等于或大于所述特定尺寸时,运动信息确定器2130可确定包括第一参考块作为候选的第一候选列表,并且当当前块的尺寸小于所述特定尺寸时,运动信息确定器2130可确定包括除了第一参考块之外的块作为候选的第二候选列表。
当当前块的预测模式是通过使用包括在候选列表中的候选的运动矢量来确定当前块的运动矢量的模式时,运动信息确定器2130可确定候选列表。可从比特流获得指示当前块的预测模式的信息(例如,标志或索引)。当标志指示当前块的预测模式是否是通过使用包括在候选列表中的候选的运动矢量来确定当前块的运动矢量的模式时,运动信息确定器2130可确定候选列表。
通过使用包括在候选列表中的候选的运动矢量来确定当前块的运动矢量的模式的示例可包括例如,跳过模式、合并模式和AMVP模式。在跳过模式和合并模式下,包括在候选列表中的候选的运动矢量被确定为当前块的运动矢量,并且在AMVP模式下,通过将差分运动矢量应用于包括在候选列表中的候选的运动矢量而获得的值被确定为当前块的运动矢量。从比特流获得指示差分运动矢量的信息。
图22是示出根据实施例的候选列表的示图。
参照图22,候选列表可包括第一参考块、第一空间邻近块、第二空间邻近块、第三空间邻近块和时间邻近块作为候选。可将索引分配给每个候选,并且在实施例中,可将具有最小值的索引分配给第一参考块。
在图22中,空间邻近块是指与当前图像中的当前块在空间上相邻的邻近块,并且时间邻近块可包括同位图像中的与当前块位于同一点的块或位于与当前块位于同一点的块的右下方的块。
图22示出第一参考块和时间邻近块两者作为候选被包括在候选列表中。当第一参考块被包括在候选列表中时,时间邻近块可不被包括在候选列表中。相反,当时间邻近块被包括在候选列表中时,第一参考块可不被包括在候选列表中。
在实施例中,将作为候选被包括在候选列表中的空间邻近块的最小数量和将作为候选被包括在候选列表中的时间邻近块(包括第一参考块)的最小数量可被预先确定。
运动信息确定器2130可在候选列表被配置之前确定预先确定的块(包括第一参考块)的可用性,并且随后可将具有可用性的块包括在候选列表中。当包括在候选列表中的候选的数量小于预定数量时,运动信息确定器2130可将默认运动矢量包括在候选列表中。当块被帧间预测时,可确定该块具有可用性。
默认运动矢量可包括例如零矢量、指示第一参考块的时间运动矢量、第一参考块的代表性运动矢量或者已被包括在候选列表中的块的运动矢量的组合。
包括在候选列表中的块的顺序可被预先确定。例如,块可根据可用性按如图22中所示的第一参考块→空间邻近块→时间邻近块的顺序被包括在候选列表中,或者块可根据可用性按空间邻近块→第一参考块→时间邻近块的顺序被包括在候选列表中。可选地,块可根据可用性按第一空间邻近块→第一参考块→第二空间邻近块→第三空间邻近块→时间邻近块的顺序被包括在候选列表中。可选地,块可按空间邻近块中的具有第一可用性的空间邻近块→第一参考块→空间邻近块中的其余空间邻近块→时间邻近块的顺序被包括在候选列表中。
然而,图22的候选列表仅是示例,并且包括在候选列表中的候选的数量和类型可根据实施方式而变化。例如,候选列表可包括零矢量、指示第一参考块的时间运动矢量、第一参考块的代表性运动矢量和已被包括在候选列表中的块的运动矢量的组合中的至少一个作为候选。
运动信息确定器2130从比特流获得指示候选列表中包括的候选中的一个候选的信息(例如,标志或索引),并且通过使用由所获得的信息指示的候选的运动矢量来确定当前块的运动矢量。
根据本公开的实施例,当从候选列表中包括的候选中选择了第一参考块时,通过将参照图23和图24描述的基于子块的预测处理来确定当前块中的子块的运动矢量。
图23是示出由时间运动矢量2320指示的第一参考块2330的示图。图24是用于描述确定当前块2310中的第一子块2312、第二子块2314、第三子块2316和第四子块2318的运动矢量的方法的示图。
运动信息确定器2130确定时间运动矢量2320以确定第一参考块2330。下面将描述确定时间运动矢量2320的详细方法。
一旦时间运动矢量2320被确定,就基于第一参考画面中的当前块2310确定由时间运动矢量2320指示的第一参考块2330。第一参考块2330的尺寸可被确定为与当前块2310的尺寸相同。
当基于第一参考块2330确定了当前块2310的运动矢量时,在本公开的实施例中,确定当前块2310中的子块,并且针对每个子块确定运动矢量。
参照图24,当前块2310可被划分为第一子块2312、第二子块2314、第三子块2316和第四子块2318。第一子块2312、第二子块2314、第三子块2316和第四子块2318中的每一个可具有特定尺寸。例如,每个子块的尺寸可以是4×4、8×8、16×16、32×32或64×64。
可针对每个画面组(GOP)、每个画面、每个并行块、每个最大编码单元或每个编码单元确定子块的尺寸。
子块可具有根据构成GOP的画面的时间层的值而预先确定的尺寸。详细地,在时间层的值在从0至n(n是整数)的范围内的图像中,子块可具有4×4的尺寸;在时间层的值在从n+1至m(m是整数)的范围内的图像中,子块可具有8×8的尺寸;并且在时间层的值在从m+1至I(I为整数)范围内的图像中,子块可具有16×16的尺寸。也就是说,随着时间层的值增加,子块的尺寸也可增加。
在实施例中,可基于当前块的尺寸来确定子块的尺寸。详细地,当当前块的尺寸为M×N时,子块可具有M/4×N/4的尺寸。在这种情况下,当子块的尺寸小于子块的预定最小尺寸时,当前块中的子块的尺寸可被确定为子块的最小尺寸。
可选地,当当前块的尺寸为M×N并且M和N之中的较大值为K时,子块可具有K/4×K/4的尺寸。
虽然在图24中的当前块2310中四个子块(即,第一子块2312、第二子块2314、第三子块2316和第四子块2318)被确定,但是子块的数量可根据子块的尺寸和当前块的尺寸而变化。
可确定第一参考块2330中的第一子区域2332、第二子区域2334、第三子区域2336和第四子区域2338分别对应于第一子块2312、第二子块2314、第三子块2316和第四子块2318,并且可基于从第一子区域2332、第二子区域2334、第三子区域2336和第四子区域2338提取的运动矢量mv1、mv2、mv3和mv4来确定第一子块2312、第二子块2314、第三子块2316和第四子块2318的运动矢量mv1'、mv2'、mv3'和mv4'。
例如,可基于从第一参考块2330中的第一子区域2332提取的运动矢量mv1来确定当前块2310中的第一子块2312的运动矢量mv1',可基于从第二子区域2334提取的运动矢量mv2来确定第二子块2314的运动矢量mv2',可从自第三子区域2336提取的运动矢量mv3确定当前块2310中的第三子块2316的运动矢量mv3',并且可基于从第四子区域2338提取的运动矢量mv4来确定当前块2310中的第四子块2318的运动矢量mv4'。
可基于第一子区域2332、第二子区域2334、第三子区域2336和第四子区域2338的中心像素来提取第一子区域2332、第二子区域2334、第三子区域2336和第四子区域2338的运动矢量mv1、mv2、mv3和mv4。
基于具有特定尺寸的块(例如,高效视频编码(HEVC)编解码器中的16×16的块,下文中为存储块)来存储在对图像进行解码的处理中使用的运动矢量。在本公开的实施例中,存储块的尺寸可以是但不限于4×4、8×8、16×16或32×32。
运动信息确定器2130可将包括第一参考块2330中的第一子区域2332、第二子区域2334、第三子区域2336和第四子区域2338中的每一个子区域的中心像素的存储块的运动矢量确定为第一子区域2332、第二子区域2334、第三子区域2336和第四子区域2338中的每一个子区域的运动矢量。可将包括第一子区域2332的中心像素的存储块的运动矢量确定为第一子区域2332的运动矢量,并且可将包括第二子区域2334的中心像素的存储块的运动矢量确定为第二子区域2334的运动矢量。
当特定区域的像素的位置在从(0,0)至(n-1,n-1)的范围内时,中心像素的位置可以是(n/2,n/2)、((n-2)/2),(n-2)/2))、(n/2,(n-2)/2))或((n-2)/2),n/2)。
当第一子区域2332、第二子区域2334、第三子区域2336和第四子区域2338中的每一个子区域的运动矢量被确定时,在包括第一子区域2332、第二子区域2334、第三子区域2336和第四子区域2338中的任意一个子区域的中心像素的存储块中可能不存在运动矢量。例如,当包括子区域的中心像素的存储块的样点都被帧内预测时,在存储块中可不存在运动矢量。在这种情况下,运动信息确定器2130可确定包括第一参考块2330的中心像素的存储块的运动矢量是代表性运动矢量,并且可确定运动矢量可能未被确定的子块的运动矢量是代表性运动矢量。如下所述,可能不存在与第一参考块2330的中心像素对应的运动矢量。在这种情况下,可确定第一参考块2330没有可用性,并且第一参考块2330可不被包括在候选列表中。
在实施例中,当存储块的尺寸(例如,8×8)大于子块的尺寸(例如,4×4)时,运动信息确定器2130可确定与第一子块2312、第二子块2314、第三子块2316和第四子块2318对应的第一子区域2332、第二子区域2334、第三子区域2336和第四子区域2338中的至少一个子区域的运动矢量是通过对相邻子区域的运动矢量进行组合而获得的值(例如,平均值)。这是为了防止以下问题:多个子区域的中心像素都被包括在一个存储块中并且子区域的运动矢量被确定为相同的值。例如,当当前块中的所有子区域中的预定数量的子区域的中心像素都被包括在一个存储块中时,所述预定数量的子区域中的一些子区域的运动矢量可被确定为相邻子区域的运动矢量的平均值。
当当前块2310中的第一子块2312、第二子块2314、第三子块2316和第四子块2318的运动矢量被确定时,重建器2150基于由第一子块2312、第二子块2314、第三子块2316和第四子块2318的运动矢量指示的第二参考块的样点值来重建第一子块2312、第二子块2314、第三子块2316和第四子块2318。因此,结果,当前块2310被重建。在本实施例中,第二参考块是指用于当前块的运动补偿的块。
图25是用于描述重建当前块的处理的示图。重建器2150可将由第一子块2312、第二子块2314、第三子块2316和第四子块2318的运动矢量mv1'、mv2'、mv3'和mv4'指示的第二参考块2512、2514、2516和2518的样点值确定为第一子块2312、第二子块2314、第三子块2316和第四子块2318的样点值。
在实施例中,重建器2150可通过根据当前块2310的预测模式将从比特流获得的残差数据应用于第一子块2312、第二子块2314、第三子块2316和第四子块2318的运动矢量mv1'、mv2'、mv3'和mv4'所指示的第二参考块2512、2514、2516和2518的样点值来确定第一子块2312、第二子块2314、第三子块2316和第四子块2318的样点值。
在实施例中,当当前块2310是后续块的参考块时,可根据第一参考块2330的代表性运动矢量来确定后续块的运动矢量。在另一实施例中,当当前块2310是后续块的参考块时,可根据当前块2310中的第一子块2312、第二子块2314、第三子块2316和第四子块2318中的任意一个子块的运动矢量来确定后续块的运动矢量。
在实施例中,当完成了当前图像的解码并且随后存储了在当前图像中确定的运动矢量时,重建器2150可存储当前块中的所有子块的运动矢量。然而,子块的运动矢量可被转换为预定精度,并根据GOP中的当前图像的时间层值而被存储。精度可通过使用像素单位来表示。例如,1像素精度指示通过使用一个整数像素单位来表示运动矢量,并且1/4像素精度指示通过使用1/4像素单位(即,子像素单位)来表示运动矢量。与以1像素精度相比,可以以1/4像素精度更精确地表示运动矢量。
随着当前图像的时间层值减小,重建器2150可将子块的运动矢量存储为更低精度。当子块的运动矢量被确定为1/4像素精度并且当前图像的时间层值与预定值相同时,重建器2150可将子块的运动矢量转换为例如1像素精度并可存储转换后的运动矢量。当一个子块的运动矢量为1/4像素精度的(16,16)时,运动矢量可被存储为1像素精度的(4,4)。这是为了提高数据处理速度,因为具有更低时间层值的图像更频繁地从其他图像被参考。
当重建器2150将子块的运动矢量存储为低精度时,重建器2150可通过应用舍入将运动矢量存储为整数值。例如,当一个子块的运动矢量为1/4像素精度的(17,17)时,运动矢量可被存储为1像素精度的(4,4)(即,通过对17/4进行舍入而获得的整数值)。
在本公开的实施例中,当从候选列表中包括的候选中选择了第一参考块时,可通过基于子块执行运动矢量确定处理和样点值重建处理来基于子块准确地执行图像解码。
根据本公开的实施例,当从候选列表中包括的候选中选择了除第一参考块之外的候选时,可通过与参照图23至图25描述的处理不同的处理来重建当前块。例如,当从候选列表中包括的候选中选择了特定空间邻近块时,运动信息确定器2130可通过使用空间邻近块的运动矢量来确定当前块的运动矢量,并且可通过使用由当前块的运动矢量指示的参考块的样点值来重建当前块。也就是说,当空间邻近块被选择时,可基于当前块执行运动矢量确定处理和重建处理。
第一参考块可被包括在候选列表中,或可不被包括在候选列表中。可基于各种条件确定第一参考块是否被包括在候选列表中。
例如,当当前块的尺寸小于特定尺寸(例如,4×4、8×8、16×16、32×32、64×64或128×128)时,包括除了第一参考块之外的块作为候选的候选列表可被确定。在这种情况下,候选列表可包括预定同位图像中的时间邻近块作为候选。反之,当当前块的尺寸等于或大于所述特定尺寸时,第一参考块可被包括在候选列表中,并且同位图像中的时间邻近块可不被包括在候选列表中。所述特定尺寸可以是子块的尺寸。
此外,例如,当当前块的尺寸小于特定尺寸(例如,4×4、8×8、16×16、32×32、64×64或128×128)并且通过下面将描述的时间运动矢量确定处理而获得的时间运动矢量是预定运动矢量(例如,零矢量)时,包括除了第一参考块之外的块作为候选的候选列表可被确定。在这种情况下,候选列表可包括预定同位图像中的时间邻近块作为候选。反之,当当前块的尺寸等于或大于所述特定尺寸或者时间运动矢量不是所述预定运动矢量时,第一参考块可被包括在候选列表中,并且同位图像中的时间邻近块可不被包括在候选列表中。所述特定尺寸可以是子块的尺寸。
此外,例如,当当前块的尺寸大于特定尺寸(例如,4×4、8×8、16×16、32×32、64×64、128×128)时,包括除了第一参考块之外的块作为候选的候选列表可被确定。在这种情况下,候选列表可包括预定同位图像中的时间邻近块作为候选。反之,当当前块的尺寸等于或小于所述特定尺寸时,第一参考块可被包括在候选列表中,并且同位图像中的时间邻近块可不被包括在候选列表中。所述特定尺寸可以是子块的尺寸。
此外,例如,当当前块的尺寸与特定尺寸(例如,4×4、8×8、16×16、32×32、64×64或128×128)相同时,包括除了第一参考块之外的块作为候选的候选列表可被确定。在这种情况下,候选列表可包括预定同位图像中的时间邻近块作为候选。反之,当当前块的尺寸与所述特定尺寸不相同时,第一参考块可被包括在候选列表中,并且同位图像中的时间邻近块可不被包括在候选列表中。所述特定尺寸可以是子块的尺寸。
此外,例如,当当前块的尺寸与特定尺寸(例如,4×4、8×8、16×16、32×32、64×64或128×128)不同时,包括除了第一参考块之外的块作为候选的候选列表可被确定。在这种情况下,候选列表可包括预定同位图像中的时间邻近块作为候选。反之,当当前块的尺寸与所述特定尺寸相同时,第一参考块可被包括在候选列表中,并且同位图像中的时间邻近块可不被包括在候选列表中。所述特定尺寸可以是子块的尺寸。
此外,例如,当当前块是特定块单元(例如,最大编码单元)时,包括除了第一参考块之外的块作为候选的候选列表可被确定。在这种情况下,候选列表可包括预定同位图像中的时间邻近块作为候选。反之,当当前块不是所述特定块单元时,第一参考块可被包括在候选列表中,并且同位图像中的时间邻近块可不被包括在候选列表中。
此外,例如,当当前块的尺寸是子块的尺寸的k倍(k是预定整数)时,包括除了第一参考块之外的块作为候选的候选列表可被确定。在这种情况下,候选列表可包括预定同位图像中的时间邻近块作为候选。反之,当当前块的尺寸不是所述特定块的尺寸的k倍时,第一参考块可被包括在候选列表中,并且同位图像中的时间邻近块可不被包括在候选列表中。
此外,例如,当根据包括第一参考块的多个块的可用性依次确定候选列表的候选并且第一参考块被确定为候选列表的第一候选时,可从候选列表排除第一参考块。例如,在块根据其可用性按第一空间邻近块、第一参考块和第二空间邻近块的顺序而被包括在候选列表中的情况下,当第一空间邻近块没有可用性并且第一参考块作为第一候选被包括在候选列表中时,可从候选列表排除第一参考块。
此外,例如,当包括当前画面的GOP中的当前画面的时间层值与预定值(例如,最大值)相同时,包括除了第一参考块之外的块作为候选的候选列表可被确定。
此外,例如,当通过下面将描述的时间运动矢量确定处理而获得的时间运动矢量是预定运动矢量(例如,零矢量)时,包括除了第一参考块之外的块作为候选的候选列表可被确定。在这种情况下,候选列表可包括预定同位图像中的时间邻近块作为候选。反之,当通过时间运动矢量确定处理而获得的时间运动矢量与所述预定运动矢量不同时,第一参考块可被包括在候选列表中,并且同位图像中的时间邻近块可不被包括在候选列表中。
此外,例如,当通过下面将描述的时间运动矢量确定处理而获得的时间运动矢量与预定运动矢量(例如,零矢量)不同时,包括除了第一参考块之外的块作为候选的候选列表可被确定。在这种情况下,候选列表可包括预定同位图像中的时间邻近块作为候选。反之,当通过时间运动矢量确定处理而获得的时间运动矢量与所述预定运动矢量相同时,第一参考块可被包括在候选列表中,并且同位图像中的时间邻近块可不被包括在候选列表中。
此外,例如,当不存在与第一参考块的中心像素对应的运动矢量时,包括除了第一参考块之外的块作为候选的候选列表可被确定。反之,当存在与第一参考块的中心像素对应的运动矢量时,第一参考块可被包括在候选列表中。
将描述运动信息确定器2130确定指示第一参考块的时间运动矢量的方法。
当运动信息确定器2130确定当前块的预测模式是通过使用包括在候选列表中的候选的运动矢量来确定当前块的运动矢量的模式(例如,sub-block_merge_flag为1)时,可在候选列表被确定之前确定时间运动矢量。可选地,运动信息确定器2130可确定时间运动矢量以在确定候选列表时确定第一参考块的可用性。当第一参考块没有可用性时(例如,当不存在代表性运动矢量时),包括除了第一参考块之外的块作为候选的候选列表可被确定。
运动信息确定器2130可通过按预定顺序对预先确定的至少一个邻近块进行扫描来将具有第一可用性的邻近块的运动矢量确定为时间运动矢量。参照图26,当前块2310的邻近块可包括在空间上与当前块2310相邻的空间邻近块A0、A1、B0、B1和B2以及在时间上与当前块2310相邻的时间邻近块Co1和Br。详细地,邻近块可包括当前块2310的左下方外侧块A0、当前块2310的左下方块A1、当前块2310的右上方外侧块B0、当前块2310的右上方块B1、当前块2310的左上方外侧块B2、同位图像中的与当前块2310位于同一点的块Co1以及所述同一点的块Co1的右下方外侧块Br。
假设位于当前块2310的上方的最左侧的像素的位置是(xCb,yCb),并且当前块2310的水平长度和垂直长度分别是以像素为单位的cbWidth和cbHeight。块A1是包括位置为(xCb-1,yCb+cbHeight-1)的像素的块,并且块A0是包括位置为(xCb-1,yCb+cbHeight)的像素的块。此外,块B1是包括位置为(xCb+cbWidth-1,yCb-1)的像素的块,并且块B0是包括位置为(xCb+cbWidth,yCb-1)的像素的块。此外,块B2是包括位置为(xCb-1,yCb-1)的像素的块。然而,图26的邻近块的位置仅是示例,并且可根据实施方式而变化。
当预先确定的至少一个邻近块没有可用性时,运动信息确定器2130可将预定运动矢量(例如,零矢量)确定为时间运动矢量。
当将被扫描的邻近块被帧内预测时,运动信息确定器2130可确定该块不具有可用性。当由将被扫描的邻近块指示的图像与预定同位图像不同时,运动信息确定器2130可确定该块不具有可用性,并且当由将被扫描的邻近块指示的图像与预定同位图像相同时,运动信息确定器2130可确定该块具有可用性。此外,运动信息确定器2130可考虑存储块的尺寸来确定邻近块的可用性。例如,当存储块的尺寸为M×M并且将被扫描的邻近块的运动矢量的X分量值或Y分量值小于M时,运动信息确定器2130可确定该块不具有可用性。可选地,当存储块的尺寸为M×M并且将被扫描的邻近块的运动矢量的X分量值或Y分量值小于M/2时,运动信息确定器2130可确定该块不具有可用性。
在实施例中,运动信息确定器2130可按当前块的左侧邻近块A0或A1→当前块的上方邻近块B0、B1或B2的顺序对块进行扫描,并且可将具有可用性的邻近块的运动矢量确定为时间运动矢量。当左侧邻近块和上方邻近块不具有可用性时,运动矢量确定器可将预定运动矢量(例如,零矢量)确定为时间运动矢量。
在实施例中,运动信息确定器2130可对当前块的左侧邻近块A0或A1进行扫描,并且当左侧邻近块具有可用性时,运动信息确定器2130可将左侧邻近块的运动矢量确定为时间运动矢量。当左侧邻近块不具有可用性时,运动矢量确定器可将预定运动矢量(例如,零矢量)确定为时间运动矢量。此外,在实施例中,运动矢量确定器可按当前块的左侧邻近块A0或A1→上方邻近块B0、B1或B1→时间邻近块Co1或Br的顺序对块进行扫描,并且可将具有可用性的邻近块的运动矢量确定为时间运动矢量。
在实施例中,运动信息确定器2130可基于当前块2310的形状来确定将被扫描的邻近块的位置和扫描顺序,这将参照图27的(a)、图27的(b)和图27的(c)进行描述。图27的(a)示出当前块2310具有正方形形状,并且图27B示出当前块2310的水平长度大于垂直长度。此外,图27的(c)示出当前块2310的垂直长度大于水平长度。
首先,将描述图27的(a)、图27的(b)和图27的(c)的邻近块的位置。假设位于当前块2310的上方的最左侧的像素的位置是(xCb,yCb),并且当前块2310的水平长度和垂直长度分别是以像素为单位的cbWidth和cbHeight。块A1是包括位置为(xCb-1,yCb+cbHeight-1)的像素的块,并且块A0是包括位置为(xCb-1,yCb+cbHeight)的像素的块。此外,块B1是包括位置为(xCb+cbWidth-1,yCb-1)的像素的块,并且块B0是包括位置为(xCb+cbWidth,yCb-1)的像素的块。此外,块A2是包括位置为(xCb-1,yCb+cbHeight/2-1)的像素的块,并且块B3是包括位置为(xCb+cbWidth/2-1,yCb-1)的像素的块。然而,图27的(a)、图27的(b)和图27的(c)的邻近块的位置仅是示例,并且可根据实施方式而变化。
例如,当当前块2310具有正方形形状时,运动信息确定器2130可通过确定当前块2310的左侧邻近块A0或A1的可用性来确定时间运动矢量。当当前块2310的水平长度大于垂直长度时,运动信息确定器2130可通过确定当前块2310的上方邻近块B0或B1的可用性来确定时间运动矢量,并且当当前块2310的垂直长度大于水平长度时,运动信息确定器2130可通过确定当前块2310的左侧邻近块A0或A1的可用性来确定时间运动矢量。
可选地,当当前块2310具有正方形形状时,运动信息确定器2130可通过确定当前块2310的左侧邻近块A0或A1的可用性来确定时间运动矢量。此外,当当前块2310的水平长度大于垂直长度时,运动信息确定器2130可通过确定当前块2310的左侧邻近块A0或A1的可用性来确定时间运动矢量,并且当当前块2310的垂直长度大于水平长度时,运动信息确定器2130可通过确定当前块2310的上方邻近块B0或B1的可用性来确定时间运动矢量。
可选地,当当前块2310具有正方形形状或者当前块2310的垂直长度大于水平长度时,运动信息确定器2130可通过按块A1→块B1→块B0→块A0的顺序确定可用性来确定时间运动矢量。当当前块2310的水平长度大于垂直长度时,运动信息确定器2130可通过按块B1→块A1→块B0→块A0的顺序确定可用性来确定时间运动矢量。
可选地,当当前块2310具有正方形形状时,运动信息确定器2130可通过按块A1→块B1→块B0→块A0的顺序确定可用性来确定时间运动矢量。当当前块2310的垂直长度大于水平长度或者当前块2310的水平长度大于垂直长度时,运动信息确定器2130可通过按块B1→块B0→块A1→块A0的顺序确定可用性来确定时间运动矢量。
可选地,当当前块2310具有正方形形状时,运动信息确定器2130可通过确定当前块2310的左侧邻近块A0或A1以及上方邻近块B0或B1的可用性来确定时间运动矢量。当当前块2310的水平长度大于垂直长度时,运动信息确定器2130可通过确定当前块2310的上方邻近块B0或B1的可用性来确定时间运动矢量。此外,当当前块2310的垂直长度大于水平长度时,运动信息确定器2130可通过确定当前块2310的左侧邻近块A0或A1的可用性来确定时间运动矢量。
可选地,当当前块2310具有正方形形状时,运动信息确定器2130可通过确定左侧邻近块A0或A1和上方邻近块B0或B1的可用性来确定时间运动矢量。当当前块2310的水平长度大于垂直长度时,运动信息确定器2130可通过确定左侧邻近块A0或A1和上方邻近块B3的可用性来确定时间运动矢量。块B3是通过对当前块2310进行垂直二划分而确定的左侧块的右上侧的块。此外,当当前块2310的垂直长度大于水平长度时,运动信息确定器2130可通过确定当前块2310的上方邻近块B0或B1和左侧邻近块A2的可用性来确定时间运动矢量。块A2是位于通过将当前块2310水平地划分为两个块而确定的上方块的左下方的块。
可选地,当当前块2310具有正方形形状时,运动信息确定器2130可通过确定块A1、块B1、块A0和块B0的可用性来确定时间运动矢量。当当前块2310的水平长度大于垂直长度时,运动信息确定器2130可通过确定块A1、块B3、块A0和块B0的可用性来确定时间运动矢量。此外,当当前块2310的垂直长度大于水平长度时,运动信息确定器2130可通过确定块A2、块B1、块A0和块B0的可用性来确定时间运动矢量。无论当前块2310的形状如何,都可从扫描目标排除块A0和块B0。
可选地,当当前块2310具有正方形形状时,运动信息确定器2130可通过确定块A1、块B1、块A0和块B0的可用性来确定时间运动矢量。当当前块2310的水平长度大于垂直长度时,运动信息确定器2130可通过确定块A1、块B3、块B1和块A0的可用性来确定时间运动矢量。此外,当当前块2310的垂直长度大于水平长度时,运动信息确定器2130可通过确定块B1、块A1、块A2和块B0的可用性来确定时间运动矢量。
可选地,当当前块2310具有正方形形状时,运动信息确定器2130可通过按块A1→块B1→块B0→块A0的顺序确定可用性来确定时间运动矢量。当当前块2310的水平长度大于垂直长度时,运动信息确定器2130可通过按块B1→块B0→块B3→块A1的顺序确定可用性来确定时间运动矢量。此外,当当前块2310的垂直长度大于水平长度时,运动信息确定器2130可通过按块A1→块A2→块A0→块B1的顺序确定可用性来确定时间运动矢量。
可选地,当当前块2310具有正方形形状时,运动信息确定器2130可通过按块A1→块B1→块B0→块A0的顺序确定可用性来确定时间运动矢量。当当前块2310的水平长度大于垂直长度时,运动信息确定器2130可通过按块B1→块B0的顺序确定可用性来确定时间运动矢量。此外,当当前块2310的垂直长度大于水平长度时,运动信息确定器2130可通过按块A1→块A0的顺序确定可用性来确定时间运动矢量。
可选地,当当前块2310具有正方形形状时,运动信息确定器2130可通过按左侧邻近块A1或A0→上方邻近块B1或B0的顺序确定可用性来确定时间运动矢量。当当前块2310的水平长度大于垂直长度时,运动信息确定器2130可通过确定上方邻近块B0或B1的可用性来确定时间运动矢量。此外,当当前块2310的垂直长度大于水平长度时,运动信息确定器2130可通过确定左侧邻近块A1或A0的可用性来确定时间运动矢量。
当运动信息确定器2130通过扫描处理来确定时间运动矢量,并且具有可用性的邻近块的运动矢量的精度是A像素精度(A是有理数)时,运动信息确定器2130可通过将邻近矢量的运动矢量转换为与A像素精度不同的B像素精度(B是有理数)来确定时间运动矢量。
运动信息确定器2130可基于作为用于存储运动矢量的单元的存储块的尺寸和当前块中的子块的尺寸中的至少一个来确定时间运动矢量的精度。例如,当存储块的尺寸为M×M时,运动信息确定器2130可通过将邻近块的运动矢量转换为M/2像素精度或M像素精度来确定时间运动矢量。在这种情况下,为了将高精度的邻近块的运动矢量转换为低精度,运动信息确定器2130可将邻近块的运动矢量除以特定值,可通过对结果值进行舍入、上舍入或下舍入来确定整数像素精度的低精度运动矢量,并且可将所确定的低精度运动矢量确定为时间运动矢量。当存储块的尺寸是M×M时,运动信息确定器2130可将邻近块的运动矢量转换为M/2像素精度或M像素精度,从而省略计算用于提取第一参考区域中的子区域的运动矢量的像素单位的位置的处理。
可选地,当子块的尺寸为M×M时,运动信息确定器2130可通过将邻近块的运动矢量转换为M/2像素精度或M像素精度来确定时间运动矢量。在这种情况下,为了将高精度的邻近块的运动矢量转换为低精度,运动信息确定器2130可将邻近块的运动矢量除以特定值,可通过对结果值进行舍入、上舍入或下舍入来确定整数像素精度的低精度运动矢量,并且可将所确定的低精度运动矢量确定为时间运动矢量。
可选地,运动信息确定器2130可通过将邻近块的运动矢量转换为预先映射到存储块的尺寸和子块的尺寸的像素精度来确定时间运动矢量。
在实施例中,运动信息确定器2130可基于运动矢量的历史来确定时间运动矢量。运动信息确定器2130可存储在先前块的解码处理中使用的特定数量的运动矢量,并且可在当前块的解码期间将在先前块的解码处理中使用的至少一个运动矢量确定为时间运动矢量。例如,运动信息确定器2130可将刚好在当前块之前的块的解码处理中使用的运动矢量确定为时间运动矢量。可选地,运动信息确定器2130可将作为历史被存储的运动矢量中的由比特流中包括的信息指示的运动矢量确定为时间运动矢量。运动信息确定器2130可针对每个最大编码单元、每个条带单元或每个画面单元存储先前块的特定数量的运动矢量。
在另一实施例中,运动信息确定器2130可将从比特流获得的全局运动矢量确定为时间运动矢量。在这种情况下,全局运动矢量可以以特定像素精度被包括在比特流中。全局运动矢量可被用于对包括当前块的画面、包括当前块的条带或包括当前块的最大编码单元中的块进行解码。
在另一实施例中,运动信息确定器2130可将预定运动矢量(例如,零矢量)确定为时间运动矢量。
在另一实施例中,运动信息确定器2130可基于存储块的尺寸和子块的尺寸中的至少一个来确定时间运动矢量。例如,当存储块的尺寸为M×M时,运动信息确定器2130可将1像素精度的(M,M)或(M/2,M/2)确定为时间运动矢量。此外,例如,当子块的尺寸为M×M时,运动信息确定器2130可将1像素精度的(M,M)或(M/2,M/2)确定为时间运动矢量。可选地,当存储块的尺寸为M×M并且子块的尺寸为M×M时,运动信息确定器2130可将1像素精度的(M,M)或(M/2,M/2)确定为时间运动矢量。可选地,运动信息确定器2130可将预先映射到存储块的尺寸和子块的尺寸的运动矢量确定为时间运动矢量。
可选地,当基于存储块的尺寸和子块的尺寸中的至少一个确定的运动矢量是(I,J)时,运动信息确定器2130不仅可将(I,J)确定为候选,而且可将作为对(I,J)的修改的运动矢量(例如,(-I,J)、(I,-J)、(-I,-J)、(I,0)、(-I,0)、(0,J)、(0,-J)和(0,0)中的至少一个)确定为候选,并且可将被确定为候选的运动矢量中的任意运动矢量确定为时间运动矢量。
在另一实施例中,当当前块是特定块单元(例如,最大编码单元)时,运动信息确定器2130可将预定运动矢量(例如,零矢量)确定为时间运动矢量。当当前块不是所述特定块单元(例如,最大编码单元)时,可通过预定块的扫描处理来确定时间运动矢量。
当重建器2150完成了当前块的重建时,去块器2170可基于块之间的边界对块的样点值执行去块滤波以去除图像中的伪像。
图28是用于描述根据实施例的去块处理的示图。
参照图28,当前图像2700包括当前块2310以及邻近块2730和2750。在实施例中,去块器2170基于当前块2310与邻近块2730和2750之间的边界2735和2755对与边界相邻的样点值进行去块。详细地,基于当前块2310与右侧块2730之间的边界2735,可执行对与边界2735相邻的当前块2310中的样点和右侧块2730中的样点的改变值的去块滤波。此外,基于当前块2310与下方块2750之间的边界2755,可执行对与边界2755相邻的当前块2310中的样点和下方块2750中的样点的改变值的去块滤波。
此外,在实施例中,去块器2170可对当前块2310中的第一子块2312、第二子块2314、第三子块2316和第四子块2318执行去块。详细地,去块器2170可通过基于第一子块2312、第二子块2314、第三子块2316和第四子块2318之间的边界2311、2313、2315和2317对第一子块2312、第二子块2314、第三子块2316和第四子块2318的样点值执行去块滤波来确定经过滤波的当前块。因此,基于第一子块2312与第二子块2314之间的边界2311,可执行对与边界2311相邻的第一子块2312中的样点和第二子块2314中的样点的改变值的去块滤波。此外,基于第一子块2312与第三子块2316之间的边界2313,可执行对与边界2313相邻的第一子块2312中的样点和第三子块2316中的样点的改变值的去块滤波。同样地,可基于第二子块2314与第四子块2318之间的边界2317以及第三子块2316与第四子块2318之间的边界2315来执行去块滤波。
在实施例中,当当前块2310中的第一子块2312、第二子块2314、第三子块2316和第四子块2318中的每一个的尺寸等于或小于预定尺寸(例如,8×8或16×16)时,去块器2170可对第一子块2312、第二子块2314、第三子块2316和第四子块2318执行去块滤波,并且当第一子块2312、第二子块2314、第三子块2316和第四子块2318中的每一个的尺寸大于所述预定尺寸时,去块器2170可不执行去块滤波。
此外,在实施例中,当当前块2310中的第一子块2312、第二子块2314、第三子块2316和第四子块2318中的每一个的尺寸等于或大于预定尺寸(例如,8×8或16×16)时,去块器2170可对第一子块2312、第二子块2314、第三子块2316和第四子块2318执行去块滤波,并且当第一子块2312、第二子块2314、第三子块2316和第四子块2318中的每一个的尺寸小于所述预定尺寸时,去块器2170可不执行去块滤波。
图29是用于描述根据实施例的对图像进行解码的方法的流程图。
在操作S2810,图像解码设备2100确定时间运动矢量,并且在操作S2820,图像解码设备2100确定包括由时间运动矢量指示的第一参考块作为候选的候选列表。
当当前块的尺寸等于或大于特定尺寸并且当前块的预测模式是通过使用候选列表中包括的候选的运动矢量来确定当前块的运动矢量的模式时,图像解码设备2100可确定时间运动矢量和候选列表。
上面已经详细描述了确定时间运动矢量和候选列表的处理,因此将省略其详细描述。
在操作S2830,当从候选列表中包括的候选中选择了第一参考块时,图像解码设备2100通过使用从第一参考块获得的运动矢量来确定当前块中的子块的运动矢量。
在操作S2840,图像解码设备2100可基于由所述子块的运动矢量指示的第二参考块的样点值来重建当前块。
当当前块被重建时,图像解码设备2100可通过基于重建的当前块中的子块之间的边界对子块的样点值执行去块滤波来获得经过滤波的当前块。经过滤波的当前块可被用作下一块的参考块。
图30是示出根据实施例的图像编码设备2900的配置的框图。
图像编码设备2900包括编码器2910和生成器2930。根据实施例的编码器2910和生成器2930可被实现为至少一个处理器。图像编码设备2900可包括存储编码器2910和生成器2930的输入/输出数据的一个或更多个数据存储器(未示出)。此外,图像编码设备2900可包括用于控制输入到数据存储器(未示出)/从数据存储器(未示出)输出的数据的存储器控制器(未示出)。
编码器2910对图像进行编码,并且生成器2930生成包括作为图像编码的结果而生成的信息的比特流。图30的编码器2910和生成器2930可分别对应于图2的编码器220和比特流生成器210。
编码器2910可确定在当前图像中确定的当前块的预测模式。当前块的预测模式的示例可包括帧内模式、帧间模式、合并模式、AMVP模式、直接模式和跳过模式。
当当前块的尺寸等于或大于特定尺寸(例如,4×4、8×8、16×16、32×32、64×64或128×128)时,编码器2910可确定包括由时间运动矢量指示的第一参考块作为候选的候选列表。候选列表可包括预定数量的候选。
第一参考块是指用于提取用于确定当前块的运动矢量的运动矢量的块。
当将当前块的尺寸与所述特定尺寸进行比较时,编码器2910可将当前块的宽度和高度中的一个(例如,更小尺寸)与所述特定尺寸进行比较。例如,当当前块的尺寸是4×16并且所述特定尺寸是8×8时,作为当前块的宽度的4小于指示所述特定尺寸中的一侧的尺寸的8,并且因此可确定当前块的尺寸小于所述特定尺寸。
在实施例中,当当前块的尺寸小于特定尺寸(例如,4×4、8×8、16×16、32×32、64×64或128×128)时,包括除了第一参考块之外的块作为候选的候选列表可被确定。也就是说,基于当前块的尺寸,第一参考块可被包括或可不被包括在候选列表中。
在实施例中,当当前块的尺寸等于或大于所述特定尺寸时,编码器2910可确定包括第一参考块作为候选的第一候选列表,并且当当前块的尺寸小于所述特定尺寸时,运动信息确定器2130可确定包括除了第一参考块之外的块作为候选的第二候选列表。
此外,在实施例中,当当前块的尺寸小于特定尺寸(例如,4×4、8×8、16×16、32×32、64×64或128×128)并且时间运动矢量是预定运动矢量(例如,零矢量)时,包括除了第一参考块之外的块作为候选的候选列表可被确定。在这种情况下,候选列表可包括预定同位图像中的时间邻近块作为候选。反之,当当前块的尺寸等于或大于所述特定尺寸或者时间运动矢量不是预定运动矢量时,第一参考块可被包括在候选列表中,并且同位图像中的时间邻近块可不被包括在候选列表中。所述特定尺寸可以是子块的尺寸。
此外,在实施例中,当当前块的尺寸大于特定尺寸(例如,4×4、8×8、16×16、32×32、64×64、128×128)时,包括除了第一参考块之外的块作为候选的候选列表可被确定。在这种情况下,候选列表可包括预定同位图像中的时间邻近块作为候选。反之,当当前块的尺寸等于或小于所述特定尺寸时,第一参考块可被包括在候选列表中,并且同位图像中的时间邻近块可不被包括在候选列表中。所述特定尺寸可以是子块的尺寸。
此外,在实施例中,当当前块的尺寸与特定尺寸(例如,4×4、8×8、16×16、32×32、64×64或128×128)相同时,包括除第一参考块之外的块作为候选的候选列表可确定。反之,当当前块的尺寸与特定大小不相同时,第一参考块可包括在候选列表中。在这种情况下,同位图像中的时间邻近块可不包括在候选列表中。所述特定大小可以是子块的尺寸。
此外,在实施例中,当当前块的尺寸与特定尺寸(例如,4×4、8×8、16×16、32×32、64×64或128×128)不同时,包括除了第一参考块之外的块作为候选的候选列表可被确定。在这种情况下,候选列表可包括预定同位图像中的时间邻近块作为候选。反之,当当前块的尺寸与所述特定尺寸相同时,第一参考块可被包括在候选列表中,并且同位图像中的时间邻近块可不被包括在候选列表中。所述特定尺寸可以是子块的尺寸。
此外,在实施例中,当当前块是特定块单元(例如,最大编码单元)时,包括除了第一参考块之外的块作为候选的候选列表可被确定。在这种情况下,候选列表可包括预定同位图像中的时间邻近块作为候选。反之,当当前块不是所述特定块单元时,第一参考块可被包括在候选列表中,并且同位图像中的时间邻近块可不被包括在候选列表中。
此外,在实施例中,当当前块的尺寸是子块的尺寸的k倍(k是预定整数)时,包括除了第一参考块之外的块作为候选的候选列表可被确定。在这种情况下,候选列表可包括预定同位图像中的时间邻近块作为候选。反之,当当前块的尺寸不是所述特定块的尺寸的k倍时,第一参考块可被包括在候选列表中,并且同位图像中的时间邻近块可不被包括在候选列表中。
此外,在实施例中,当根据包括第一参考块的多个块的可用性依次确定候选列表的候选并且第一参考块被确定为候选列表的第一候选时,可从候选列表排除第一参考块。例如,在块根据其可用性按第一空间邻近块、第一参考块和第二空间邻近块的顺序被包括在候选列表中的情况下,当第一空间邻近块没有可用性并且第一参考块作为第一候选被包括在候选列表中时,可从候选列表排除第一参考块。
此外,在实施例中,当包括当前画面的GOP中的当前画面的时间层值与预定值(例如,最大值)相同时,包括除了第一参考块之外的块作为候选的候选列表可被确定。
此外,在实施例中,当时间运动矢量是预定运动矢量(例如,零矢量)时,包括除了第一参考块之外的块作为候选的候选列表可被确定。在这种情况下,候选列表可包括预定同位图像中的时间邻近块作为候选。反之,当时间运动矢量与所述预定运动矢量不同时,第一参考块可被包括在候选列表中,并且同位图像中的时间邻近块可不被包括在候选列表中。
此外,在实施例中,当时间运动矢量与预定运动矢量(例如,零矢量)不同时,包括除了第一参考块之外的块作为候选的候选列表可被确定。在这种情况下,候选列表可包括预定同位图像中的时间邻近块作为候选。反之,当时间运动矢量与所述预定运动矢量相同时,第一参考块可被包括在候选列表中,并且同位图像中的时间邻近块可不被包括在候选列表中。
此外,在实施例中,当不存在与第一参考块的中心像素对应的运动矢量时,包括除了第一参考块之外的块作为候选的候选列表可被确定。反之,当存在与第一参考块的中心像素对应的运动矢量时,第一参考块可被包括在候选列表中。
当当前块的预测模式是通过使用包括在候选列表中的候选的运动矢量来确定当前块的运动矢量的模式时,编码器2910可确定候选列表。
编码器2910确定候选列表的方法与运动信息确定器2130确定候选列表的方法相同,因此将省略其详细描述。
在实施例中,编码器2910确定指示第一参考块的时间运动矢量。确定时间运动矢量的方法与运动信息确定器2130确定时间运动矢量的方法相同,因此将省略其详细描述。
编码器2910可将索引分配给包括在候选列表中的候选。例如,可将具有最小值的索引分配给第一参考块。编码器2910可确定当前块的运动矢量和当前块中的子块的运动矢量,并且为了对当前块的运动矢量进行编码,编码器2910选择包括在候选列表中的候选中的一个候选。当第一参考块被选择时,第一参考块可被用于确定当前块中的子块的运动矢量。例如,当第一参考块被选择时,可将第一参考块中的子区域的运动矢量确定为当前块中的子块的运动矢量。上面已经描述了确定第一参考块中的子区域的运动矢量的方法,因此将省略其详细描述。
生成器2930生成包括作为图像编码的结果而生成的信息的比特流。比特流可包括以下项中的至少一项:指示当前块的预测模式的信息、指示候选列表中包括的候选中的一个候选的信息、指示时间运动矢量的信息、当前块的运动矢量与包括在候选列表中的候选的运动矢量之间的差分运动矢量、以及第二参考块的样点值与当前块的样点值之间的残差数据。
编码器2910可执行图像解码设备2100的运动信息确定器2130、重建器2150和去块器2170的功能。因此,编码器2910可通过使用在候选列表中选择的候选的运动矢量来确定当前块的运动矢量,并且可通过当前块的运动补偿来重建当前块。
编码器2910可将去块滤波应用于包括重建的当前块的当前图像。编码器2910可基于当前块与邻近块之间的边界对当前块和邻近块执行去块滤波。此外,编码器2910可基于当前块中的子块之间的边界对子块执行去块滤波。经过去块滤波的当前块可被用于对下一块进行编码。当当前块是后续块的参考块时,可根据第一参考块的代表性运动矢量来确定后续块的运动矢量。在另一实施例中,当当前块是后续块的参考块时,可根据当前块中的子块中的任意子块的运动矢量来确定后续块的运动矢量。
图31是用于描述根据实施例的对图像进行编码的方法的流程图。
在操作S3010,图像编码设备2900确定时间运动矢量,并且在操作S3020,图像编码设备2900确定包括由时间运动矢量指示的第一参考块作为候选的候选列表。
当当前块的尺寸等于或大于特定尺寸并且当前块的预测模式是通过使用包括在候选列表中的候选的运动矢量来确定当前块的运动矢量的模式时,图像编码设备2900可确定时间运动矢量和候选列表。
上面已经详细描述了确定时间运动矢量和候选列表的处理,因此将省略其详细描述。
在操作S3030,图像编码设备2900确定当前块的运动矢量,并在候选列表中选择将被用于确定当前块的运动矢量的候选。图像编码设备2900可基于与候选列表中包括的候选中的每个候选对应的代价来确定一个候选。率失真代价可被用于计算该代价。
在操作S3040,图像编码设备2900生成包括指示在候选列表中选择的候选的信息的比特流。当在候选列表中选择了第一参考块时,从第一参考块获得的运动矢量可被用于确定当前块中的子块的运动矢量。
如上所述,除了指示在候选列表中选择的候选的信息之外,比特流还可包括以下中的至少一项:指示当前块的预测模式的信息(例如,sub-block_merge_flag)、指示时间运动矢量的信息、当前块的运动矢量与包括在候选列表中的候选的运动矢量之间的差分运动矢量、以及由当前块的运动矢量指示的第二参考块的样点值与当前块的样点值之间的残差数据。
另外,本公开的实施例可被编写为计算机可执行程序或指令,并且计算机可执行程序可被存储在介质或计算机程序产品中。
介质可持续存储计算机可执行程序,或者可临时存储计算机可执行程序以供执行或下载。此外,介质可以是组合了单件或多件硬件的各种记录介质或存储介质中的任意一种,并且介质不限于直接连接到计算机系统的介质,而是可被分布在网络上。介质的示例包括被配置为存储程序指令的磁介质(诸如硬盘、软盘和磁带)、光学记录介质(诸如光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光介质(诸如软光盘和ROM、随机存取存储器(RAM)和闪存)。此外,介质的其他示例可包括由分发应用的应用商店或者由提供或分发其他各种类型的软件的网站、服务器等管理的记录介质和存储介质。
虽然已经参照附图描述了本公开的一个或更多个实施例,但是本领域普通技术人员将理解,在不脱离由权利要求限定的精神和范围的情况下,可在本公开中进行形式和细节上的各种改变。

Claims (15)

1.一种对图像进行解码的方法,所述方法包括:
当图像中的当前块的尺寸等于或大于特定尺寸时,确定包括由时间运动矢量指示的第一参考块作为候选的候选列表;
当从包括在所述候选列表中的候选中选择第一参考块时,通过使用从第一参考块获得的运动矢量来确定当前块中的子块的运动矢量;并且
基于由所述子块的运动矢量指示的第二参考块的样点值来重建当前块。
2.如权利要求1所述的方法,还包括:通过基于重建的当前块中的所述子块之间的边界对所述子块的样点值执行去块滤波来获得经过滤波的当前块。
3.如权利要求1所述的方法,其中,确定候选列表的步骤包括:当当前块的预测模式是通过使用包括在候选列表中的候选的运动矢量来确定当前块的运动矢量的模式时,确定所述候选列表。
4.如权利要求1所述的方法,还包括:将空间上与当前块相邻的邻近块的运动矢量确定为所述时间运动矢量。
5.如权利要求1所述的方法,其中,所述邻近块包括当前块的左下方块。
6.如权利要求4所述的方法,其中,确定所述时间运动矢量的步骤包括:当所述邻近块不可用时,将预定运动矢量确定为所述时间运动矢量。
7.如权利要求4所述的方法,其中,确定所述时间运动矢量的步骤包括:当由所述邻近块的运动矢量指示的图像与预定同位图像不同时,将预定运动矢量而非所述邻近块的运动矢量确定为所述时间运动矢量。
8.如权利要求1所述的方法,还包括:当当前块为特定块单元时,将预定运动矢量确定为所述时间运动矢量。
9.如权利要求1所述的方法,其中,具有最小值的索引被分配给所述候选列表中包括的候选中的第一参考块。
10.如权利要求1所述的方法,还包括:将与第一参考块的样点中的中心样点对应的运动矢量确定为代表性运动矢量。
11.如权利要求10所述的方法,还包括:
确定与第一参考块中的所述子块对应的子区域;并且
将所述代表性运动矢量确定为所述子区域中的不能获得运动矢量的子区域的运动矢量。
12.如权利要求1所述的方法,其中,确定候选列表的步骤包括:当不存在与第一参考块的样点中的中心样点对应的运动矢量时,确定包括除了第一参考块之外的块作为候选的所述候选列表。
13.一种记录有用于执行如权利要求1所述的方法的程序的计算机可读记录介质。
14.一种用于对图像进行解码的设备,所述设备包括:
至少一个处理器;
运动信息确定器,被配置为当图像中的当前块的尺寸等于或大于特定尺寸时,确定包括由时间运动矢量指示的第一参考块作为候选的候选列表,并且当从候选列表中包括的候选中选择了第一参考块时,通过使用从第一参考块获得的运动矢量来确定当前块中的子块的运动矢量;以及
重建器,被配置为基于由所述子块的运动矢量指示的第二参考块的样点值来重建当前块。
15.一种对图像进行编码的方法,所述方法包括:
当图像中的当前块的尺寸等于或大于特定尺寸时,确定包括由时间运动矢量指示的第一参考块作为候选的候选列表;
从所述候选列表中包括的候选中选择用于确定当前块的运动矢量的候选;并且
生成包括指示所选的候选的信息的比特流,
其中,从第一参考块获得的运动矢量被用于确定当前块中的子块的运动矢量。
CN201980059236.3A 2018-07-27 2019-07-29 基于子块对图像进行编码的方法和装置以及对图像进行解码的方法和装置 Pending CN112703731A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862711139P 2018-07-27 2018-07-27
US62/711,139 2018-07-27
US201862783654P 2018-12-21 2018-12-21
US62/783,654 2018-12-21
PCT/KR2019/009382 WO2020022853A1 (ko) 2018-07-27 2019-07-29 서브 블록 기반으로 영상을 복호화하는 방법 및 장치, 부호화 방법 및 장치

Publications (1)

Publication Number Publication Date
CN112703731A true CN112703731A (zh) 2021-04-23

Family

ID=69180585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980059236.3A Pending CN112703731A (zh) 2018-07-27 2019-07-29 基于子块对图像进行编码的方法和装置以及对图像进行解码的方法和装置

Country Status (5)

Country Link
US (1) US11943430B2 (zh)
EP (1) EP3833020A4 (zh)
KR (2) KR102302201B1 (zh)
CN (1) CN112703731A (zh)
WO (1) WO2020022853A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3866473A4 (en) 2018-10-09 2023-02-15 Samsung Electronics Co., Ltd. VIDEO DECODING METHOD AND APPARATUS, AND VIDEO ENCODING METHOD AND APPARATUS
WO2020117010A1 (ko) 2018-12-07 2020-06-11 삼성전자 주식회사 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107071460A (zh) * 2010-12-14 2017-08-18 M&K控股株式会社 用于编码运动画面的设备
CN108055551A (zh) * 2012-07-02 2018-05-18 三星电子株式会社 用于预测对视频进行编码或解码的运动矢量的方法和设备

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9628794B2 (en) * 2009-06-18 2017-04-18 Kabushiki Kaisha Toshiba Video encoding apparatus and a video decoding apparatus
US9621916B2 (en) * 2010-12-14 2017-04-11 M&K Holdings Inc. Apparatus for encoding a moving picture
CN105915901B (zh) * 2011-03-08 2017-09-19 Jvc 建伍株式会社 动图像解码装置以及动图像解码方法
EP2723076A4 (en) * 2011-06-14 2015-03-04 Samsung Electronics Co Ltd METHOD AND APPARATUS FOR ENCODING MOVEMENT INFORMATION, AND METHOD AND APPARATUS FOR DECODING THE SAME
WO2013009104A2 (ko) 2011-07-12 2013-01-17 한국전자통신연구원 인터 예측 방법 및 그 장치
KR101769576B1 (ko) * 2011-07-12 2017-08-18 한국전자통신연구원 인터 예측 방법 및 그 장치
KR20130030181A (ko) * 2011-09-16 2013-03-26 한국전자통신연구원 움직임 벡터 예측기를 이용한 움직임 벡터 부호화/복호화 방법 및 장치
KR20130050405A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 시간 후보자 결정방법
KR20130050407A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 움직임 정보 생성 방법
CN107659813B (zh) * 2011-12-23 2020-04-17 韩国电子通信研究院 图像解码方法、图像编码方法和记录介质
TWI653878B (zh) 2011-12-28 2019-03-11 Jvc建伍股份有限公司 動態影像解碼裝置、動態影像解碼方法及記錄有動態影像解碼程式的記錄媒體
JP5835208B2 (ja) * 2011-12-28 2015-12-24 株式会社Jvcケンウッド 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
US11477477B2 (en) 2015-01-26 2022-10-18 Qualcomm Incorporated Sub-prediction unit based advanced temporal motion vector prediction
WO2016165069A1 (en) 2015-04-14 2016-10-20 Mediatek Singapore Pte. Ltd. Advanced temporal motion vector prediction in video coding
US10638129B2 (en) * 2015-04-27 2020-04-28 Lg Electronics Inc. Method for processing video signal and device for same
US20180176596A1 (en) * 2015-06-05 2018-06-21 Intellectual Discovery Co., Ltd. Image encoding and decoding method and image decoding device
US20180310017A1 (en) * 2017-04-21 2018-10-25 Mediatek Inc. Sub-prediction unit temporal motion vector prediction (sub-pu tmvp) for video coding
JP7141463B2 (ja) * 2018-06-27 2022-09-22 エルジー エレクトロニクス インコーポレイティド インター予測モードに基づいた映像処理方法およびそのための装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107071460A (zh) * 2010-12-14 2017-08-18 M&K控股株式会社 用于编码运动画面的设备
CN108055551A (zh) * 2012-07-02 2018-05-18 三星电子株式会社 用于预测对视频进行编码或解码的运动矢量的方法和设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN 等: "Algorithm Description of Joint Exploration Test Model 7(JEM 7)", 《JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11》, pages 2 *

Also Published As

Publication number Publication date
KR20210115053A (ko) 2021-09-24
US20210360225A1 (en) 2021-11-18
EP3833020A4 (en) 2022-04-27
EP3833020A1 (en) 2021-06-09
WO2020022853A1 (ko) 2020-01-30
KR102302201B1 (ko) 2021-09-14
KR20200139825A (ko) 2020-12-14
US11943430B2 (en) 2024-03-26

Similar Documents

Publication Publication Date Title
CN112889278B (zh) 用于编码和解码运动信息的方法及用于编码和解码运动信息的装置
CN111095926A (zh) 用于对运动信息进行编码和解码的方法以及用于对运动信息进行编码和解码的装置
CN110870306A (zh) 用于对使用自适应运动矢量分辨率确定的运动矢量进行编码的设备和方法以及用于对运动矢量进行解码的设备和方法
KR20210016052A (ko) 움직임 벡터 차분값을 이용한 비디오 부호화 및 복호화 방법, 및 움직임 정보의 부호화 및 복호화 장치
EP3657797A2 (en) Method for encoding and decoding motion information, and apparatus for encoding and decoding motion information
CN111602392B (zh) 用于基于运动矢量分辨率对图像进行编码的设备和方法以及解码设备和方法
KR102349457B1 (ko) 움직임 벡터 차분의 부호화 방법 및 부호화 장치, 및 움직임 벡터 차분의 복호화 방법 및 복호화 장치
CN113228648A (zh) 使用三角形预测模式的图像编码装置和图像解码装置及其执行的图像编码方法和图像解码方法
CN111386705A (zh) 用于对运动信息进行编码的设备和方法以及解码设备和方法
CN111183644A (zh) 编码方法及其设备、解码方法及其设备
KR20210012038A (ko) 타일 및 타일 그룹을 이용하는 비디오 부호화 및 복호화 방법, 타일 및 타일 그룹을 이용하는 비디오 부호화 및 복호화 장치
CN113056919A (zh) 使用双向预测的图像编码和解码方法以及图像编码和解码设备
CN114641999A (zh) 使用工具集的图像解码装置及其图像解码方法、和图像编码装置及其图像编码方法
KR102332529B1 (ko) 주변 움직임 정보를 이용하여 움직임 정보를 부호화 및 복호화하는 장치, 및 방법
CN111095925B (zh) 通过使用基本运动矢量对运动矢量进行编码的设备和方法以及解码设备和方法
CN112703731A (zh) 基于子块对图像进行编码的方法和装置以及对图像进行解码的方法和装置
KR102427329B1 (ko) 주변 움직임 정보를 이용하여 움직임 정보를 부호화 및 복호화하는 장치, 및 방법
EP3972250A1 (en) Method and device for encoding video on basis of video size, and method and device for decoding video on basis of video size
CN115398908A (zh) 用于对运动矢量进行编码的装置和方法以及用于对运动矢量进行解码的装置和方法
CN113508590A (zh) 用于对图像进行编码和解码的设备及其用于对图像进行编码和解码的方法
KR20210042809A (ko) 툴 세트를 이용하는 영상 복호화 장치 및 이에 의한 영상 복호화 방법, 및 영상 부호화 장치 및 이에 의한 영상 부호화 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination