CN112236998A - 用于对视频信号进行编码/解码的方法及其装置 - Google Patents

用于对视频信号进行编码/解码的方法及其装置 Download PDF

Info

Publication number
CN112236998A
CN112236998A CN202080003179.XA CN202080003179A CN112236998A CN 112236998 A CN112236998 A CN 112236998A CN 202080003179 A CN202080003179 A CN 202080003179A CN 112236998 A CN112236998 A CN 112236998A
Authority
CN
China
Prior art keywords
block
parallel
parallel block
information
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080003179.XA
Other languages
English (en)
Inventor
李培根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Xris Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xris Corp filed Critical Xris Corp
Publication of CN112236998A publication Critical patent/CN112236998A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Television Systems (AREA)

Abstract

根据本公开的对视频进行解码的方法包括:将画面分区为多个并行块;以及基于多个并行块确定至少一个条带。在这方面,将画面分区为多个并行块的步骤可包括:确定画面中的第一并行块列的宽度;以及确定与第一并行块列邻近的第二并行块列的宽度。

Description

用于对视频信号进行编码/解码的方法及其装置
技术领域
本公开涉及一种用于对视频信号进行编码/解码的方法及其装置。
背景技术
随着显示面板变大,需要更高质量的视频服务。高清视频服务最大的问题是数据量大大增加。为了解决以上问题,正在积极进行提高视频压缩率的研究。作为代表性示例,视频编码联合协作小组(JCT-VC)于2009年由国际电信联盟电信标准化部(ITU-T)下的运动图像专家组(MPEG)和视频编码专家组(VCEG)成立。JCT-VC提出了一种视频压缩标准:高效视频编码(HEVC),其压缩性能大约是H.264/AVC的两倍,并且于2013年1月25日作为标准获得批准。然而,随着高清视频服务的飞速发展,HEVC的性能逐渐显示出其局限性。
发明内容
技术问题
本公开的一目的是提供一种用于在对视频信号进行编码/解码时将画面分区为多个并行块或多个条带的方法,以及用于执行所述方法的装置。
本公开的一目的是提供一种用于在将画面分区为多个并行块时根据宽度/高度是否与邻近并行块列/并行块行的宽度/高度相同来选择性地对并行块列/并行块行的尺寸信息进行编码/解码的方法,以及用于执行所述方法的装置。
本公开的一目的是提供一种用于在将画面分区为多个条带时基于包括在条带中的并行块的数量或条带中的并行块的索引来确定条带的方法,以及用于执行所述方法的装置。
能够从本公开获得的技术目的不限于上述技术目的,并且,本公开所属技术领域的普通技术人员可从下面的描述清楚地理解其它未提及的技术目的。
解决方案
根据本公开的对视频信号进行解码的方法可以包括:将画面分区为多个并行块;以及基于多个并行块确定至少一个条带。在这方面,将画面分区为多个并行块的步骤可包括:确定画面中的第一并行块列的宽度;以及确定与第一并行块列邻近的第二并行块列的宽度。在这方面,可以通过表示第一并行块列的宽度的语法来确定第一并行块列的宽度,并且当第二并行块列的宽度与第一并行块列的宽度相同时,可以省略对表示第二并行块列的宽度的语法的解码,并且可以将第二并行块列的宽度设置为与第一并行块列的宽度相同。
在根据本公开的对视频信号进行解码的方法中,第二并行块列可以是画面中的最右侧并行块列。
在根据本公开的对视频信号进行解码的方法中,确定条带的步骤可以包括:对表示确定条带的方法的信息进行解码;以及对用于确定包括在条带中的并行块的信息进行解码。在这方面,表示确定条带的方法的信息可以表示条带是基于光栅扫描顺序被定义还是条带是按照矩形形状被定义。当条带基于光栅扫描顺序被定义时,用于确定并行块的信息可以与表示包括在条带中的并行块的数量的信息相应,并且当条带被定义为矩形形状时,用于确定并行块的信息可以与用于确定包括在条带中的并行块中的至少一个索引的信息相应。
在根据本公开的对视频信号进行解码的方法中,用于确定索引的信息可以表示包括在条带中的预定位置的并行块与包括在先前条带中的预定位置的并行块之间的索引差。
在根据本公开的对视频信号进行解码的方法中,对于画面中的最后条带,可以省略对用于确定并行块的信息的解码。
应当理解,前述概述的特征是本公开的下面的详细描述的示例性方面,而不限制本公开的范围。
技术效果
根据本公开,可以通过将画面分区为多个并行块或条带来提高编码/解码效率。
根据本公开,可以通过根据宽度/高度是否与邻近并行块列/并行块行的宽度/高度相同来选择性地对并行块列和并行块行的尺寸信息进行编码/解码,从而提高编码/解码效率。
根据本公开,可以通过基于条带中包括的并行块的数量或条带中的并行块的索引来确定条带,从而提高编码/解码效率。
可从本公开获得的效果可以不受上述效果的限制,并且本公开所属技术领域的普通技术人员可以从下面的描述中清楚地理解其他未提及的效果。
附图说明
图1是示出根据本公开的实施例的视频编码装置(编码器)的框图的示图。
图2是示出根据本公开的实施例的视频解码装置(解码器)的框图的示图。
图3是示出根据本公开的实施例的基本编码树单元的示图。
图4是示出编码块的各种分区类型的示图。
图5是示出对CTU进行分区的一方面的示例的示图。
图6是根据本公开的实施例的帧间预测方法的流程图。
图7是在合并模式下推导当前块运动信息的处理的流程图。
图8是示出用于推导合并候选的候选块的示图。
图9是对确定每个子块的运动矢量的示例进行解释的示图。
图10是对运动信息表的更新方面进行解释的示图。
图11是示出运动信息表的更新方面的示图。
图12是示出预存储的运动信息候选的索引被更新的示例的示图。
图13是示出代表性子块的位置的示图。
图14示出按照帧间预测模式来产生运动信息表的示例。
图15是示出仅对合并候选的一部分执行冗余校验的示例的示图。
图16是示出对特定合并候选的冗余校验被省略的示例的示图。
图17是根据本公开的实施例的帧内预测方法的流程图。
图18是示出帧内预测模式的示图。
图19和图20是示出参考样点被布置成行的一维阵列的示例的示图。
图21是示出由方向帧内预测模式和与x轴平行的直线形成的角度的示图。
图22是示出在当前块具有非正方形形状的情况下预测样点被获得的方面的示图。
图23是示出广角帧内预测模式的示图。
图24是示出确定块强度的处理的流程图。
图25示出预定义滤波器候选。
图26是示出根据本公开的实施例的画面分区方法的示图。
图27示出画面被分区为多个并行块的示例。
图28是示出根据灵活并行块方法的画面的分区方面的示图。
图29是示出根据并行块组索引确定并行块的扫描顺序的示例的示图。
图30是示出TileID被分配给每个编码树单元的示例的示图。
图31和图32是示出基于光栅顺序定义并行块组的示例的示图。
图33是示出仅矩形并行块组被允许的示例的示图。
图34是示出在灵活并行块分区方法中并行块组被定义的示例的示图。
图35示出按照并行块来选择性地确定是否应用环内滤波器的示例。
具体实施方式
在下文中,将参照附图详细地描述本公开的实施例。
基于块执行图像编码和解码。在示例中,可对编码块、变换块或预测块执行诸如变换、量化、预测、环内滤波、重建等编码/解码处理。
在下文中,编码/解码目标块被称为“当前块”。在示例中,根据当前的编码/解码处理,当前块可表示编码块、变换块或预测块。
另外,在本说明书中使用的术语“单元”表示用于执行特定编码/解码处理的基本单元,并且“块”可被理解为表示具有预定尺寸的样点阵列。除非另有说明,否则可互换使用“块”和“单元”。在示例中,编码块和编码单元在稍后描述的示例中可被理解为具有彼此相同的含义。
图1是示出根据本公开的实施例的图像编码设备(编码器)的框图的示图。
参照图1,图像编码设备100可包括画面分区单元110、预测单元120和125、变换单元130、量化单元135、重排单元160、熵编码单元165、反量化单元140、逆变换单元145、滤波器单元150和存储器155。
图1中描述的组件被独立地示出,以便示出图像编码设备中的不同特征功能,并且,该图并不意味着每个组件都由分开的硬件或一个软件单元组成。也就是说,每个组件仅被列举以便于解释,各个组件中的至少两个组件可构成一个组件,或者一个组件可被分区为可执行它们的功能的多个组件。甚至是集成了各个组件的实施例以及对组件进行分区的实施例也被包括在本公开的范围内,除非它们脱离了本公开的精神。
此外,一些组件不是执行本公开的必要功能的必要组件,而是仅用于改善性能的可选组件。可利用除了仅用于改善性能的组件之外的用于实施本公开的精神的必要组件来实现本公开,并且仅包括除了仅用于改善性能的可选组件之外的必要组件的结构也被包括在本公开的范围内。
画面分区单元110可将输入的画面分区为至少一个处理单元。在这方面,处理单元可以是预测单元(PU)、变换单元(TU)或编码单元(CU)。在画面分区单元110中,可将单个画面分区为多个编码单元、预测单元和变换单元的多个组合,并且可通过根据预定条件(例如,代价函数)选择编码单元、预测单元和变换单元的组合来对画面进行编码。
例如,可将单个画面分区为多个编码单元。为了将画面分区为编码单元,可使用诸如四叉树结构的递归树结构,并且源自诸如单个图像或最大编码单元之类的根的编码单元可被分区为其它编码单元并且可具有与分区出的编码单元一样多的子节点。根据特定限制不再被分区的编码单元成为叶节点。即,当假设只有正方形分区可用于单个编码单元时,可将单个编码单元分区为最多四个其它编码单元。
在下文中,在本公开的实施例中,编码单元可被用作用于编码的单元,或者可被用作用于解码的单元。
可通过将单个编码单元分区为具有相同尺寸的至少一个正方形或矩形来获得预测单元,或者可按照一个预测单元在形状和/或尺寸上可不同于另一个预测单元的方式将单个编码单元分区为预测单元。
在基于正执行帧内预测的编码块产生预测单元的过程中,当编码单元不是最小编码单元时,可在不执行分区为多个N×N的预测单元的情况下执行帧内预测。
预测单元120和125可包括执行帧间预测的帧间预测单元120以及执行帧内预测的帧内预测单元125。可确定对预测单元执行帧间预测还是帧内预测,并且可确定根据每种预测方法的详细信息(例如,帧内预测模式、运动矢量、参考画面等)。在这方面,被执行预测的处理单元可不同于被确定预测方法及其详情的预测单元。例如,可基于预测单元来确定预测方法、预测模式等,但可基于变换单元来执行预测。所产生的预测块与原始块之间的残差值(残差块)可被输入到变换单元130。另外,用于预测的预测模式信息、运动矢量信息等可由熵编码单元165使用残差值来编码,并且可被发送给解码器。当特定编码模式被使用时,原始块在无需通过预测单元120或125产生预测块的情况下按照原样被编码并且被发送给解码单元。
帧间预测单元120可基于关于当前画面的先前画面和后续画面中的至少一个的信息对预测单元进行预测,或者在某些情况下,可基于关于当前画面中的一些已编码区域的信息对预测单元进行预测。帧间预测单元120可包括参考画面插值单元、运动预测单元和运动补偿单元。
参考画面插值单元可从存储器155接收参考画面信息,并且可从参考画面产生整数像素或更小像素的像素信息。在亮度像素的情况下,可使用具有不同系数的基于DCT的8抽头插值滤波器,以便以1/4像素为单位产生关于整数像素或更小像素的像素信息。在色度信号的情况下,可使用具有不同滤波器系数的基于DCT的4抽头插值滤波器,以便以1/8像素为单位产生关于整数像素或更小像素的像素信息。
运动预测单元可基于由参考画面插值单元插值后的参考画面来执行运动预测。可将诸如基于全搜索的匹配算法(FBMA)、三步搜索(TSS)算法、新三步搜索(NTS)算法等各种方法用作用于计算运动矢量的方法。运动矢量可基于插值后的像素具有以1/2像素或1/4像素为单位的运动矢量值。运动预测单元可通过改变运动预测方法对当前预测单元进行预测。可将诸如跳过方法、合并方法、高级运动矢量预测(AMVP)方法、帧内块复制方法等各种方法用作运动预测方法。
运动预测单元125可基于作为当前画面中的像素信息的在当前块周围的参考像素的信息来产生预测单元。在当前预测单元的邻近块是被执行帧间预测的块,并因此参考像素是被执行帧间预测的像素时,可用关于被执行帧内预测的邻近块的参考像素的信息来替换包括在被执行帧间预测的块中的参考像素。换言之,当参考像素不可用时,可使用可用参考像素中的至少一个参考像素来代替不可用的参考像素信息。
帧内预测下的预测模式可包括当执行预测时根据预测方向使用参考像素信息的方向预测模式、以及当执行预测时不使用方向信息的非方向模式。用于预测亮度信息的模式可不同于用于预测色度信息的模式。为了预测色度信息,可使用关于用于预测亮度信息的帧内预测模式的信息或者关于预测出的亮度信号的信息。
在执行帧内预测的过程中,当预测单元的尺寸与变换单元的尺寸相同时,可基于位于预测单元的左侧、左上方和上方的像素对预测单元执行帧内预测。然而,在执行帧内预测的过程中,当预测单元的尺寸与变换单元的尺寸不同时,可通过基于变换单元使用参考像素来执行帧内预测。另外,使用N×N分区的帧内预测可仅被用于最小编码单元。
在帧内预测方法中,可在根据预测模式将自适应帧内平滑(AIS)滤波器应用于参考像素之后产生预测块。应用于参考像素的AIS滤波器的类型可以变化。为了执行帧内预测方法,可从当前预测单元周围存在的预测单元的帧内预测模式预测用于当前预测单元的帧内预测模式。在通过使用从邻近预测单元预测出的模式信息来预测用于当前预测单元的预测模式的过程中,当用于当前预测单元的帧内预测模式与该邻近预测单元的帧内预测模式相同时,可通过使用预定标志信息来发送指示当前预测单元与该邻近预测单元具有相同预测模式的信息。当用于当前预测单元的预测模式不同于该邻近预测单元的预测模式时,可执行熵编码来对关于用于当前块的预测模式的信息进行编码。
另外,可产生包括关于残差值的信息的残差块,其中,残差值是由预测单元120或125执行了预测的预测单元与该预测单元的原始块之间的差值。产生的残差块可被输入到变换单元130。
变换单元130可通过使用诸如离散余弦变换(DCT)或离散正弦变换(DST)的变换方法对残差块执行变换,其中,残差块包括关于原始块与由预测单元120或125产生的预测单元之间的残差值的信息。在这一方面,DCT变换核包括DCT2或DCT8中的至少一个,DST变换核包括DST7。可基于关于被用于产生残差块的预测单元的帧内预测模式的信息来确定是应用DCT还是应用DST来对残差块执行变换。可以跳过针对残差块的变换。可对指示是否跳过针对残差块的变换的标志进行编码。对于尺寸小于或等于阈值的残差块、在4:4:4格式下的亮度分量的残差块或色度分量的残差块,可允许进行变换跳过。
量化单元135可对由变换单元130变换到频域的值执行量化。量化系数可根据图像的重要性或块而变化。在量化单元135中计算出的值可被提供给反量化单元140和重排单元160。
重排单元160可对关于量化残差值的变换系数执行重排。
重排单元160可通过系数扫描方法将二维块形式的系数变为一维矢量形式的系数。例如,重排单元160可通过使用Z字形扫描方法从DC系数至高频域中的系数进行扫描,以便将系数变为一维矢量形式。根据变换单元的尺寸和帧内预测模式,可使用沿列方向扫描二维块形式的系数的垂直方向扫描或沿行方向扫描二维块形式的系数的水平方向扫描,而不是Z字形扫描。换言之,可根据变换单元的尺寸和帧内预测模式来确定使用Z字形扫描、垂直方向扫描和水平方向扫描中的哪一种扫描方法。
熵编码单元165可基于由重排单元160计算出的值来执行熵编码。熵编码可使用各种编码方法,例如,指数Golomb编码、上下文自适应可变长度编码(CAVLC)或上下文自适应二进制算术编码(CABAC)。
熵编码单元165可对从重排单元160以及预测单元120和125获得的各种类型的信息(诸如关于残差值系数的信息和关于编码单元的块类型的信息、关于预测模式的信息、关于分区单元的信息、关于预测单元的信息和关于变换单元的信息、关于运动矢量的信息、关于参考帧的信息、关于块插值的信息、滤波信息等)进行编码。
熵编码单元165可对从重排单元160输入的编码单元的系数进行熵编码。
反量化单元140可对在量化单元135中量化的值执行反量化,并且逆变换单元145可对在变换单元130中变换的值执行逆变换。可将由反量化单元140和逆变换单元145产生的残差值与由包括在预测单元120和125中的运动估计单元、运动补偿单元或帧内预测单元预测出的预测单元相加,以便产生重建块。
滤波器单元150可包括去块滤波器、偏移校正单元和自适应环内滤波器(ALF)中的至少一个。
去块滤波器可去除由于重建画面中的块之间的边界而发生的块失真。为了确定是否执行去块操作,可基于块中包括的几行或几列中所包括的像素来确定是否对当前块应用去块滤波器。当去块滤波器被应用于块时,根据所需要的去块滤波强度来应用强滤波器或弱滤波器。另外,在应用去块滤波器的过程中,当执行水平方向滤波和垂直方向滤波时,可将水平方向滤波和垂直方向滤波配置为并行处理。
偏移校正单元可针对被执行去块操作的图像用以像素为单位的偏移来校正原始图像。为了对特定画面执行偏移校正,可使用对在将图像的像素分区为预定数量个区域之后所确定的区域应用偏移的方法、或者根据每个像素的边缘信息应用偏移的方法。
可基于通过将经过滤波的重建图像与原始图像进行比较而获得的值来执行自适应环内滤波(ALF)。可将图像中包括的像素分区为预定组,可确定将被应用于每个组的滤波器,并且可对每个组单独地执行滤波。可针对亮度信号的每个编码单元(CU)发送关于是否应用ALF的信息,并且将被应用的ALF滤波器的形状和滤波器系数可基于每个块而变化。可选地,可应用具有相同形状(固定形状)的ALF滤波器,而不管将被应用滤波器的块的特征如何。
在存储器155中,可存储通过滤波器单元150计算的重建块或重建画面。当执行帧间预测时,存储的重建块或重建画面可被提供给预测单元120或125。
图2是示出根据本公开的实施例的图像解码设备(解码器)的框图的示图。
参照图2,图像解码设备200包括熵解码单元210、重排单元215、反量化单元220、逆变换单元225、预测单元230和235、滤波器单元240和存储器245。
当从编码器输入了图像比特流时,可根据图像编码设备的逆处理来对输入的比特流进行解码。
熵解码单元210可根据由图像编码器的熵编码单元进行的熵编码的逆处理来执行熵解码。例如,与由图像编码器设备执行的方法相关联,可应用各种方法,诸如指数Golomb编码、上下文自适应可变长度编码(CAVLC)或上下文自适应二进制算术编码(CABAC)。
熵解码单元210可对关于由编码器执行的帧内预测和帧间预测的信息进行解码。
重排单元215可基于在编码器中使用的重排方法对由熵解码单元210熵解码的比特流执行重排。可重建以一维矢量形式表示的系数,并且可将以一维矢量形式表示的系数重排成二维块形式的系数。重排单元215可通过接收与在编码器中执行的系数扫描有关的信息并基于在编码器中执行的扫描顺序进行逆扫描的方法来执行重排。
反量化单元220可基于从编码器接收的量化参数以及重排后的块的系数值来执行反量化。
针对在图像编码器中由变换单元对量化结果执行的变换(即DCT或DST),逆变换单元225可执行逆变换(即逆DCT或逆DST)。在这方面,DCT变换核可包括DCT2或DCT8中的至少一个,DST变换核可包括DST7。可选地,当在图像编码器中跳过了变换时,在逆变换单元225中同样不执行逆变换。可基于由图像编码器确定的变换单元来执行逆变换。图像解码器的逆变换单元225可根据多条信息(诸如预测方法、当前块的尺寸、预测方向等)来选择性地执行变换方法(例如,DCT或DST)。
预测单元230或235可基于从熵解码单元210接收到的与预测块相关的信息以及从存储器245接收到的关于先前解码块或画面的信息来产生预测块。
如上所述,如同图像编码器的操作那样,在执行帧内预测的过程中,当预测单元的尺寸与变换单元的尺寸相同时,可基于位于预测单元的左侧、左上方和上方的像素对预测单元执行帧内预测。然而,在执行帧内预测的过程中,当预测单元的尺寸与变换单元的尺寸不同时,可通过基于变换单元使用参考像素来执行帧内预测。另外,使用N×N分区的帧内预测可仅被用于最小编码单元。
预测单元230和235可包括PU确定模块、帧间预测单元和帧内预测单元。PU确定单元可接收从熵解码单元210输入的各种类型的信息(诸如关于预测单元的信息、关于帧内预测方法的预测模式的信息、关于帧间预测方法的运动预测的信息等),可对当前编码单元中的预测单元进行分区,并且可确定对预测单元执行帧间预测还是执行帧内预测。通过使用从图像编码器接收到的当前预测单元的帧间预测所需的信息,帧间预测单元230可基于关于包括当前预测单元的当前画面的先前画面和后续画面中的至少一个的信息来对当前预测单元执行帧间预测。可选地,可基于关于包括当前预测单元的当前画面中的一些预先重建的区域的信息来执行帧间预测。
为了执行帧间预测,可基于编码单元来确定跳过模式、合并模式、AMVP模式或帧内块复制模式中的哪种方法被用作用于编码单元中包括的预测单元的运动预测方法。
帧内预测单元235可基于关于当前画面内的像素的信息来产生预测块。当预测单元是已经被执行了帧内预测的预测单元时,可基于从图像编码器接收到的关于预测单元的帧内预测模式的信息来执行帧内预测。帧内预测单元235可包括自适应帧内平滑(AIS)滤波器、参考像素插值模块或DC滤波器。AIS滤波器可对当前块的参考像素执行滤波,并且,可根据用于当前预测单元的预测模式来确定是否应用滤波器。当对当前块的参考像素执行AIS滤波时,可使用从图像编码器接收到的预测单元的预测模式以及关于AIS滤波器的信息。当用于当前块的预测模式是不被应用AIS滤波的模式时,可不应用AIS滤波器。
当预测单元的预测模式是基于通过对参考像素进行插值而获得的像素值来执行帧内预测的预测模式时,参考像素插值单元可对参考像素进行插值,以便产生具有整数或更小单位的参考像素。当用于当前预测单元的预测模式是在不对参考像素进行插值的情况下产生预测块的预测模式时,可不对参考像素进行插值。当用于当前块的预测模式是DC模式时,DC滤波器可通过滤波产生预测块。
重建块或重建画面可被提供给滤波器单元240。滤波器单元240可包括去块滤波器、偏移校正模块和ALF。
可从图像编码器接收关于去块滤波器是否已被应用于相应块或画面的信息、以及关于在去块滤波器被应用时是应用了强滤波器还是弱滤波器的信息。图像解码器的去块滤波器可从图像编码器接收关于去块滤波器的信息,并且图像解码器可对相应块执行去块滤波。
偏移校正单元可基于在执行编码时应用于图像的偏移校正的类型、关于偏移值的信息等对重建图像执行偏移校正。
可基于从编码器接收到的关于是否应用ALF的信息、关于ALF系数的信息等对编码单元应用ALF。以上的ALF信息可通过被包括在特定参数集中而被提供。
在存储器245中,可存储重建画面或重建块以便将其用作参考画面或参考块,并且重建画面可被提供给输出单元。
图3是示出根据本公开的实施例的基本编码树单元的示图。
最大编码块可被定义为编码树块。单个画面可被分区为多个编码树单元(CTU)。CTU可以是最大尺寸的编码单元,并且可被称为最大编码单元(LCU)。图3是示出单个画面被分区为多个CTU的示例的示图。
可按照画面级别或序列级别来定义CTU的尺寸。同样,可通过画面参数集或序列参数集来用信号发送表示CTU的尺寸的信息。
在示例中,可将用于序列内的整个画面的CTU的尺寸设置为128×128。可选地,可按照画面级别将128×128或256×256中的任意一个确定为CTU的尺寸。在示例中,可在第一画面中将CTU设置为具有尺寸128×128,并且可在第二画面中将CTU设置为具有尺寸256×256。
通过对CTU进行分区可产生编码块。编码块表示用于执行编码/解码的基本单元。在示例中,可针对每个编码块执行预测或变换,或者,可针对每个编码块确定预测编码模式。在这方面,预测编码模式表示产生预测图像的方法。在示例中,预测编码模式可包括帧内预测、帧间预测、当前画面参考(CPR)、帧内块复制(IBC)或组合预测。对编码块,可通过使用帧内预测、帧间预测、当前画面参考、或组合预测中的至少一个的预测编码模式来产生编码块的预测块。
可在比特流中用信号发送表示用于当前块的预测编码模式的信息。在示例中,该信息可以是表示预测编码模式是帧内模式还是帧间模式的1比特标志。当用于当前块的预测编码模式被确定为帧间模式时,当前画面参考或组合预测可以是可用的。
当前画面参考是将当前画面设置为参考画面并从当前画面中已经被编码/被解码的区域获得当前块的预测块。在这方面,当前画面表示包括当前块的画面。可在比特流中用信号发送表示当前画面参考是否被应用于当前块的信息。在示例中,该信息可以是1比特标志。当该标志为真(TRUE)时,用于当前块的预测编码模式可被确定为当前画面参考,当该标志为假(FALSE)时,用于当前块的预测编码模式可被确定为帧间预测。
可选地,可基于参考画面索引来确定用于当前块的预测编码模式。在示例中,当参考画面索引指示当前画面时,用于当前块的预测编码模式可被确定为当前画面参考。当参考画面索引指示除了当前画面之外的画面时,用于当前块的预测编码模式可被确定为帧间预测。换言之,当前画面参考是使用关于在当前画面内已经被编码/被解码的区域的信息的预测方法,帧间预测是使用关于已经被编码/被解码的另一画面的信息的预测方法。
组合预测表示组合了帧内预测、帧间预测和当前画面参考中的至少两个的组合编码模式。在示例中,当应用组合预测时,可基于帧内预测、帧间预测或当前画面参考中的任意一个来产生第一预测块,并且可基于帧内预测、帧间预测或当前画面参考中的另一个来产生第二预测块。当产生了第一预测块和第二预测块时,可通过计算第一预测块和第二预测块的平均值或加权和来产生最终预测块。可在比特流中用信号发送表示是否对当前块应用组合预测的信息。该信息可以是1比特标志。
图4是示出编码块的各种分区类型的示图。
可基于四叉树分区、二叉树分区或三叉树分区将编码块分区为多个编码块。可基于四叉树分区、二叉树分区或三叉树分区将分区出的编码块再分区为多个编码块。
四叉树分区表示将当前块分区为四个块的方法。作为四叉树分区的结果,可将当前块分区为四个正方形分区(参照图4(a)的“SPLIT_QT”)。
二叉树分区表示将当前块分区为两个块的方法。可将沿垂直方向(即,使用穿过当前块的垂直线)将当前块分区为两个块的操作称为垂直方向二叉树分区,并且可将沿水平方向(即,使用穿过当前块的水平线)将当前块分区为两个块的操作称为水平方向二叉树分区。作为二叉树分区的结果,当前块可被分区为两个非正方形分区。图4(b)的“SPLIT_BT_VER”是示出垂直方向二叉树分区的结果的示图,图4(c)的“SPLIT_BT_HOR”是示出水平方向二叉树分区的结果的示图。
三叉树分区表示将当前块分区为三个块的方法。可将沿垂直方向(即,使用穿过当前块的两条垂直线)将当前块分区为三个块的操作称为垂直方向三叉树分区,并且可将沿水平方向(即,使用穿过当前块的两条水平线)将当前块分区为三个块的操作称为水平方向三叉树分区。作为三叉树分区的结果,当前块可被分区为三个非正方形分区。在这方面,位于当前块中心的分区的宽度/高度可以是其它分区的宽度/高度的两倍。图4(d)的“SPLIT_TT_VER”是示出垂直方向三叉树分区的结果的示图,图4(e)的“SPLIT_TT_HOR”是示出水平方向三叉树分区的结果的示图。
CTU的分区次数可被定义为分区深度。可在序列级别或画面级别确定CTU的最大分区深度。因此,CTU的最大分区深度可基于序列或画面而变化。
可选地,可针对每个分区方法独立地确定最大分区深度。在示例中,允许四叉树分区的最大分区深度可以不同于允许二叉树分区和/或三叉树分区的最大分区深度。
编码器可在比特流中用信号发送表示当前块的分区类型和分区深度中的至少一个的信息。解码器可基于通过解析比特流而获得的该信息来确定CTU的分区类型和分区深度。
图5是示出对CTU进行分区的一方面的示例的示图。
可将通过使用四叉树分区、二叉树分区和/或三叉树分区对编码块进行分区的操作称为多叉树分区。
可将通过应用多叉树分区对编码块进行分区而产生的编码块称为子编码块。当编码块的分区深度是k时,子编码块的分区深度被设置为k+1。
与此相反,对于分区深度为k+1的编码块,可将分区深度为k的编码块称为父编码块。
可基于父编码块的分区类型和邻近编码块的分区类型中的至少一个来确定当前编码块的分区类型。在这方面,邻近编码块可以是与当前编码块相邻的块,并且可包括上方邻近块、左侧邻近块或与当前编码块的左上角相邻的邻近块中的至少一个。在这方面,分区类型可包括是否应用四叉树分区、是否应用二叉树分区、二叉树分区的方向、是否应用三叉树分区、或者三叉树分区的方向。
为了确定编码块的分区类型,可在比特流中用信号发送表示编码块是否被分区的信息。该信息可以是1比特标志“split_cu_flag”,并且当该标志为真时,它可表示编码块通过多叉树分区方法被分区。
当split_cu_flag为真时,可在比特流中用信号发送表示编码块是否通过四叉树分区被分区的信息。该信息可以是1比特标志split_qt_flag,并且当该标志为真时,编码块可被分区为四个块。
在示例中,在图5中所示的示例中,通过四叉树分区对CTU进行了分区,并因此产生了分区深度为1的四个编码块。另外,示出了再次对通过四叉树分区而产生的四个编码块之中的第一编码块和第四编码块应用四叉树分区。结果,可产生分区深度为2的四个编码块。
另外,通过再次对分区深度为2的编码块应用四叉树分区,可产生分区深度为3的编码块。
当四叉树分区未被应用于编码块时,可根据编码块的尺寸、编码块是否位于画面边界、最大分区深度、或邻近块的分区类型中的至少一个来确定是否对编码块执行二叉树分区或三叉树分区。当确定对编码块执行二叉树分区或三叉树分区时,可在比特流中用信号发送表示分区方向的信息。该信息可以是1比特标志mtt_split_cu_vertical_flag。可基于该标志来确定分区方向是垂直方向还是水平方向。另外,可在比特流中用信号发送表示二叉树分区或三叉树分区中的哪一个被应用于编码块的信息。该信息可以是1比特标志mtt_split_cu_binary_flag。可基于该标志确定二叉树分区被应用于编码块还是三叉树分区被应用于编码块。
在示例中,在图5中所示的示例中,垂直方向二叉树分区被应用于分区深度为1的编码块,垂直方向三叉树分区被应用于通过该垂直方向二叉树分区而产生的编码块之中的左侧编码块,并且垂直方向二叉树分区被应用右侧编码块。
帧间预测是通过使用关于先前画面的信息对当前块进行预测的预测编码模式。在示例中,可将先前画面中与当前块位于相同位置的块(在下文中称为同位块)设置为当前块的预测块。在下文中,基于当前块的同位块所产生的预测块可被称为同位预测块。
与此相反,当在先前画面中存在的对象在当前画面中已经移动到另一位置时,可通过使用对象的运动来有效地预测当前块。例如,当通过将先前画面与当前画面进行比较来确定对象的移动方向和尺寸时,可根据对象的运动信息来产生当前块的预测块(或预测图像)。在下文中,通过使用运动信息所产生的预测块可被称为运动预测块。
可通过从当前块减去预测块来产生残差块。在这方面,在对象移动的情况下,通过使用运动预测块而不是使用同位预测块可减少残差块的能量,并因此可提高残差块的压缩性能。
如上,通过使用运动信息产生预测块的操作可被称为运动估计预测。在大多数帧间预测中,可基于运动补偿预测来产生预测块。
运动信息可包括运动矢量、参考画面索引、预测方向和双向加权因数索引中的至少一个。运动矢量表示对象的移动方向和幅度。参考画面索引指定在参考画面列表中包括的参考画面之中的当前块的参考画面。预测方向指示单向L0预测、单向L1预测或双向预测(L0预测和L1预测)中的任意一个。可根据当前块的预测方向来使用L0方向运动信息和L1方向运动信息中的至少一个。双向加权因数索引指定被应用于L0预测块的加权因数和被应用于L1预测块的加权因数。
图6是根据本公开的实施例的帧间预测方法的流程图。
参照图6,帧间预测方法包括:确定用于当前块的帧间预测模式(S601),根据确定的帧间预测模式获得当前块的运动信息(S602),以及基于获得的运动信息对当前块执行运动补偿预测(S603)。
在这方面,帧间预测模式可表示用于确定当前块的运动信息的各种方法,并且可包括使用平移运动信息的帧间预测模式、使用仿射运动信息的帧间预测模式。在示例中,使用平移运动信息的帧间预测模式可包括合并模式和运动矢量预测模式,使用仿射运动信息的帧间预测模式可包括仿射合并模式和仿射运动矢量预测模式。可基于与当前块邻近的邻近块或者通过解析比特流而获得的信息来确定关于当前块的运动信息。
可从另一块的运动信息推导当前块的运动信息。在这方面,另一块可以是在当前块之前通过帧间预测被编码/被解码的块。将当前块的运动信息设置为与另一块的运动信息相同的操作可被定义为合并模式。此外,将另一块的运动矢量设置为当前块的运动矢量的预测值的操作可被称为运动矢量预测模式。
图7是在合并模式下推导当前块的运动信息的处理的流程图。
可以推导当前块的合并候选(S701)。可以从在当前块之前通过帧间预测被编码/被解码的块推导当前块的合并候选。
图8是示出用于推导合并候选的候选块的示图。
候选块可包括邻近块或非邻近块中的至少一个,所述邻近块包括与当前块相邻的样点,所述非邻近块包括不与当前块相邻的样点。在下文中,将确定候选块的样点定义为基本样点。另外,与当前块相邻的基本样点被称作邻近基本样点,并且不与当前块相邻的基本样点被称作非邻近基本样点。
邻近基本样点可被包括在当前块的最左侧列的邻近列或当前块的最上方行的邻近行中。在示例中,在当前块的左上方样点的坐标为(0,0)时,包括在位置(-1,H-1)、(W-1,-1)、(W,-1)、(-1,H)或(-1,1)的基本样点的块中的至少一个块可被用作候选块。参照示图,索引0到索引4的邻近块可被用作候选块。
非邻近基本样点表示相对于与当前块相邻的基本样点的x轴距离或y轴距离中的至少一个具有预定义值的样点。在示例中,包括相对于左侧基本样点的x轴距离为预定义值的基本样点的块、包括相对于上方基本样点的y轴距离为预定义值的非邻近样点的块或包括相对于左上方基本样点的x轴距离和y轴距离为预定义值的非邻近样点的块中的至少一个可被用作候选块。预定义值可以是诸如4、8、12、16等的自然数。参照示图,索引5到索引26中的至少一个块可被用作候选块。
可选地,不属于与当前块相同的编码树单元的候选块可以被设置为不可用作合并候选。在示例中,当基本样点在当前块所属的编码树单元的上方边界之外时,包括基本样点的候选块可以被设置为不可用作合并候选。
可从包括在与当前块不同的画面中的时间邻近块推导合并候选。在示例中,可从包括在同位画面中的同位块推导合并候选。包括在参考画面列表中的任意一个参考画面可以被设置为同位画面。可在比特流中用信号发送标识参考画面中的同位画面的索引信息。可选地,可以将参考画面中具有预定义索引的参考画面确定为同位画面。
合并候选的运动信息可被设置为与候选块的运动信息相同。在示例中,候选块的运动矢量、参考画面索引、预测方向或双向权重索引中的至少一个可被设置为合并候选的运动信息。
可以产生包括合并候选的合并候选列表(S702)。
可根据预定顺序分配合并候选列表中的合并候选的索引。在示例中,索引可以按照以下项的顺序被分配:从左侧邻近块推导的合并候选、从上方邻近块推导的合并候选、从右上方邻近块推导的合并候选、从左下方邻近块推导的合并候选、从左上方邻近块推导的合并候选和从时间邻近块推导的合并候选。
当多个合并候选包括在合并候选中时,可以选择多个合并候选中的至少一个(S703)。具体地,可以在比特流中用信号发送用于指定多个合并候选中的任意一个的信息。在示例中,可在比特流中用信号发送表示包括在合并候选列表中的合并候选中的任意一个的索引的信息merge_idx。
可以按照子块来推导运动矢量。
图9是解释确定每个子块的运动矢量的示例的示图。
可将包括在合并候选列表中的多个合并候选中的任意运动矢量设置为当前块的初始运动矢量。在这方面,可由语法merge_idx确定用于推导初始运动矢量的合并候选。可选地,当以预定扫描顺序搜索与当前块相邻的邻近块时,可从首先找到的可用合并候选来推导初始运动矢量。在这方面,预定扫描顺序可以是与当前块的左侧相邻的邻近块(A1)、与当前块的上方相邻的邻近块(B1)、与当前块的右上角相邻的邻近块(B0)和与当前块的左下角相邻的邻近块(A0)的顺序。可选地,预定扫描顺序可按照B1、B0、A1和A0的顺序被定义或者可按照B1、A1、B0和A0的顺序被确定。
如果初始运动矢量被确定,则可确定当前块的同位画面。在这方面,同位画面可以被设置为参考画面列表中包括的参考画面中的具有预定义索引的参考画面。例如,预定义索引可以是0或最大索引。可选地,可以在比特流中用信号发送用于确定同位画面的信息。在示例中,可在比特流中用信号发送指定参考画面列表中的同位画面的语法collocated_ref_idx。
如果同位画面被确定,则可确定与具有与同位画面中的当前块相同的位置和尺寸的同位块相距初始运动矢量的块。由初始运动矢量指定的块可被称作同位画面相应块。在示例中,当初始运动矢量(对于图9,A1块的运动矢量)为(x1,y1)时,可将与同位画面中的当前块在相同位置的块(即,同位块)相距(x1,y1)的块确定为同位画面相应块。
如果同位画面相应块被确定,则可以将同位画面相应块中的子块的运动矢量设置为当前块中的子块的运动矢量。在示例中,当将当前块分区为4×4尺寸的子块时,同位画面相应块中的4×4尺寸的子块的运动矢量可被设置为当前块中的每个子块的运动矢量。
当同位画面相应块中的子块具有双向运动矢量(例如,L0运动矢量和L1运动矢量)时,同位画面相应块中的子块的双向运动矢量可以被视为当前块中的子块的双向运动矢量。可选地,基于双向预测是否被应用于当前块,可从同位画面相应块中的子块仅获取L0运动矢量或仅获取L1运动矢量。
可选地,在当前块的参考画面不同于同位画面相应块的参考画面时,可按比例缩放同位画面相应块中的子块的运动矢量以推导当前块中的子块的运动矢量。
可以将当前块的参考画面以及双向预测是否被应用于当前块设置为与用于推导初始运动矢量的合并候选相同。可选地,可以在比特流中用信号发送用于指定当前块的参考画面的信息和/或指示是否将双向预测应用于当前块的信息。
可在比特流中用信号发送指示是否将按照子块来推导运动矢量的信息。信息可以是1比特标志,但不限于此。可选地,基于双向预测是被应用于当前块还是被应用于多个可用合并候选中的至少一个,可以确定是否将按照子块来推导运动矢量。
当包括在合并候选列表中的合并候选的数量小于阈值时,包括在运动信息表中的运动信息候选可作为合并候选被添加到合并候选列表。在这方面,阈值可以是可被包括在合并候选列表中的合并候选的最大数量或从合并候选的最大数量减去偏移的值。偏移可以是自然数(诸如1或2等)。
运动信息表包括从基于当前画面中的帧间预测被编码/被解码的块推导的运动信息候选。在示例中,包括在运动信息表中的运动信息候选的运动信息可被设置为与基于帧间预测被编码/被解码的块的运动信息相同。在这方面,运动信息可包括运动矢量、参考画面索引、预测方向或双向权重索引中的至少一个。
包括在运动信息表中的运动信息候选也可被称作帧间区域合并候选或预测区域合并候选。
可以在编码器和解码器中对可以包括在运动信息表中的运动信息候选的最大数量进行预定义。在示例中,可包括在运动信息表中的运动信息候选的最大数量可以是1、2、3、4、5、6、7、8或更多(例如,16)。
可选地,可在比特流中用信号发送表示可被包括在运动信息表中的运动信息候选的最大数量的信息。可在序列、画面或条带级别用信号发送信息。所述信息可表示可被包括在运动信息表中的运动信息候选的最大数量。可选地,所述信息可表示可被包括在运动信息表中的运动信息候选的最大数量与可被包括在合并候选列表中的合并候选的最大数量之间的差。
可选地,可根据画面尺寸、条带尺寸或编码树单元尺寸来确定可被包括在运动信息表中的运动信息候选的最大数量。
运动信息表可以以画面、条带、并行块、区块、编码树单元或编码树单元线(行或列)为单位被初始化。在示例中,当条带被初始化时,运动信息表也被初始化,因此运动信息表可不包括任意运动信息候选。
可选地,可在比特流中用信号发送表示运动信息表是否将被初始化的信息。可按照条带、并行块、区块或块级别用信号发送所述信息。在所述信息指示运动信息表的初始化之前,可使用预先配置的运动信息表。
可选地,关于初始运动信息候选的信息可在画面参数集或条带头中被用信号发送。尽管条带被初始化,但运动信息表可包括初始运动信息候选。因此,初始运动信息候选可被用于条带中的第一编码/解码目标的块。
可选地,可将包括在先前编码树单元的运动信息表中的运动信息候选设置为初始运动信息候选。在示例中,可将包括在先前编码树单元的运动信息表中的运动信息候选中具有最小索引或具有最大索引的运动信息候选设置为初始运动信息候选。
按照编码/解码的顺序对块进行编码/解码,并且可以按照编码/解码的顺序将基于帧间预测编码/解码的块顺序地设置为运动信息候选。
图10是解释运动信息表的更新方面的示图。
对于当前块,当执行帧间预测时(S1001),可以基于当前块推导运动信息候选(S1002)。运动信息候选的运动信息可被设置为与当前块的运动信息相同。
当运动信息表为空时(S1003),基于当前块推导的运动信息候选可被添加到运动信息表(S1004)。
当运动信息表已经包括运动信息候选时(S1003),可执行对当前块的运动信息(或基于其推导的运动信息候选)的冗余校验(S1005)。冗余校验用以确定运动信息表中的预存储的运动信息候选的运动信息是否与当前块的运动信息相同。可对运动信息表中的所有预存储的运动信息候选执行冗余校验。可选地,可对运动信息表中的预存储的运动信息候选中的具有超过或低于阈值的索引的运动信息候选执行冗余校验。可选地,可针对预定义数量的运动信息候选执行冗余校验。在示例中,可将具有最小索引或具有最大索引的2个运动信息候选确定为冗余校验的目标。
当不包括具有与当前块相同的运动信息的运动信息候选时,可将基于当前块推导的运动信息候选添加到运动信息表(S1008)。可基于运动信息候选的运动信息(例如,运动矢量/参考画面索引等)是否相同来确定运动信息候选是否相同。
在这方面,当最大数量的运动信息候选已经存储在运动信息表中时(S1006),最老的运动信息候选可被删除(S1007),并且基于当前块推导的运动信息候选可被添加到运动信息表(S1008)。在这方面,最老的运动信息候选可以是具有最大或最小索引的运动信息候选。
运动信息候选可由对应的索引被识别。当将从当前块推导的运动信息候选被添加到运动信息表时,可将最小索引(例如,0)分配给运动信息候选,并且预存储的运动信息候选的索引可增加1。在这方面,当最大数量的运动信息候选已经存储在运动信息表中时,具有最大索引的运动信息候选被去除。
可选地,当将从当前块推导的运动信息候选被添加到运动信息表时,可将最大索引分配到运动信息候选。在示例中,当运动信息表中的预存储的运动信息候选的数量小于最大值时,可将具有与预存储的运动信息候选的数量相同的值的索引分配给运动信息候选。可选地,当运动信息表中的预存储的运动信息候选的数量等于最大值时,可将从最大值减去1的索引分配给运动信息候选。可选地,具有最小索引的运动信息候选被去除,并且残差预存储运动信息候选的索引被减少1。
图11是示出运动信息表的更新方面的示图。
假设当从当前块推导的运动信息候选被添加到运动信息表时,最大索引被分配给运动信息候选。另外,假设运动信息候选的最大数量已经存储在运动信息表中。
当从当前块推导的运动信息候选HmvpCand[n+1]被添加到运动信息表HmvpCandList时,可删除预存储的运动信息候选中具有最小索引的运动信息候选HmvpCand[0],并且残差运动信息候选的索引可减少1。另外,可将从当前块推导的运动信息候选HmvpCand[n+1]的索引设置为最大值(对于图11中所示的示例,n)。
当与基于当前块推导的运动信息候选相同的运动信息候选被预存储时(S1005),基于当前块推导的运动信息候选可不被添加到运动信息表(S1009)。
可选地,在基于当前块推导的运动信息候选被添加到运动信息表时,与运动信息候选相同的预存储的运动信息候选可被去除。在这种情况下,它产生与预存储的运动信息候选的索引被新更新时相同的效果。
图12是示出预存储的运动信息候选的索引被更新的示例的示图。
当与从当前块推导的运动信息候选mvCand相同的预存储的运动信息候选的索引为hIdx时,预存储的运动信息候选可被去除,并且索引大于hIdx的运动信息候选的索引可减少1。在示例中,图12中所示的示例示出在运动信息表HvmpCandList中删除与mvCand相同的HmvpCand[2],并且从HmvpCand[3]到HmvpCand[n]的索引减少1。
并且,可将基于当前块推导的运动信息候选mvCand添加到运动信息表的末尾。
可选地,分配给与基于当前块推导的运动信息候选相同的预存储的运动信息候选的索引可被更新。例如,预存储的运动信息候选的索引可被改变为最小值或最大值。
包括在预定区域中的块的运动信息可被设置为不被添加到运动信息表。在示例中,基于包括在合并处理区域中的块的运动信息推导的运动信息候选可不被添加到运动信息表。由于没有定义合并处理区域中包括的块的编码/解码顺序,因此将它们中的任意一个的运动信息用于它们中的另一个的帧间预测是不合适的。因此,基于包括在合并处理区域中的块推导的运动信息候选可不被添加到运动信息表。
可选地,可将小于预设尺寸的块的运动信息设置为不被添加到运动信息表。在示例中,基于宽度或高度小于4或8的编码块的运动信息或4×4尺寸的编码块的运动信息推导的运动信息候选可不被添加到运动信息表。
当以每个子块为基础执行运动补偿预测时,可基于包括在当前块中的多个子块中的代表性子块的运动信息推导运动信息候选。在示例中,当子块合并候选被用于当前块时,可基于子块中的代表性子块的运动信息推导运动信息候选。
子块的运动矢量可以按照下面的顺序被推导。首先,可选择包括在当前块的仅候选列表中的合并候选中的任意一个,并且可基于选择的合并候选的运动矢量来推导初始移位矢量(shVector)。并且,可以通过将初始移位矢量添加到编码块中的每个子块的基本样点(例如,左上方样点或中心样点)的位置(xSb,ySb)来推导基本样点位于(xColSb,yColSb)的移位子块。下面的等式1示出用于推导移位子块的公式。
[等式1]
(xColSb,yColSb)=(xSb+shVector[0]>>4,ySb+shVector[1]>>4)
然后,与包括(xColSb,yColSb)的子块的中心位置相应的同位块的运动矢量可被设置为包括(xSb,ySb)的子块的运动矢量。
代表性子块可表示包括当前块的左上方样点或中心样点的子块。
图13是示出代表性子块的位置的示图。
图13(a)示出位于当前块的左上方的子块被设置为代表性子块的示例,并且图13(b)示出位于当前块的中心的子块被设置为代表性子块的示例。当基于子块执行运动补偿预测时,可基于包括当前块的左上方样点或包括当前块的中心样点的子块的运动矢量推导当前块的运动信息候选。
基于当前块的帧间预测模式,可确定当前块是否将被用作运动信息候选。在示例中,基于仿射运动模型被编码/被解码的块可被设置为不可用作运动信息候选。因此,尽管当前块通过帧间预测被编码/被解码,但在当前块的帧间预测模式为仿射预测模式时,可不基于当前块更新运动信息表。
可选地,可基于包括在基于仿射运动模型被编码/被解码的块中的子块的至少一个子块矢量推导运动信息候选。在示例中,可通过使用位于当前块的左上方、中心或右上方的子块来推导运动信息候选。可选地,可将多个子块的子块矢量的平均值设置为运动信息候选的运动矢量。
可选地,可基于根据仿射运动模型被编码/被解码的块的仿射种子矢量的平均值来推导运动信息候选。在示例中,当前块的第一仿射种子矢量、第二仿射种子矢量或第三仿射种子矢量的至少一个平均值可被设置为运动信息候选的运动矢量。
可选地,可按照帧间预测模式来配置运动信息表。在示例中,通过帧内块复制被编码/被解码的块的运动信息表、基于平移运动模型被编码/被解码的块的运动信息表或基于仿射运动模型被编码/被解码的块的运动信息表中的至少一个可被定义。根据当前块的帧间预测模式,可选择多个运动信息表中的任意一个。
图14示出按照帧间预测模式来产生运动信息表的示例。
当块基于非仿射运动模型被编码/被解码时,可将基于上面的块推导的运动信息候选mvCand添加到非仿射运动信息表HmvpCandList。
运动信息候选可被设置以包括除运动信息以外的另外的信息。在示例中,块的尺寸、形状或分区信息中的至少一个可被另外存储在运动信息候选中。在配置当前块的合并候选列表时,可以仅使用运动信息候选中的尺寸、形状或分区信息与当前块相同或相似的运动信息候选,或者可以将尺寸、形状或分区信息与当前块相同或相似的运动信息候选预先添加到合并候选列表。
当包括在当前块的合并候选列表中的合并候选的数量小于阈值时,包括在运动信息表中的运动信息候选可作为合并候选被添加到合并候选列表。以反映按照升序或降序的运动信息候选的索引的排序顺序的顺序执行另外的处理。在示例中,可首先将具有最大索引的运动信息候选添加到当前块的合并候选列表。
当包括在运动信息表中的运动信息候选被添加到合并候选列表时,可执行运动信息候选与合并候选列表中的预存储合并候选之间的冗余校验。作为冗余校验的结果,具有与预存储的合并候选相同的运动信息的运动信息候选可不被添加到合并候选列表。
可仅对包括在运动信息表中的运动信息候选的一部分执行冗余校验。在示例中,可仅对具有超过或低于阈值的索引的运动信息候选执行冗余校验。可选地,可仅对具有最大索引或最小索引的N个运动信息候选执行冗余校验。
可选地,可以仅对合并候选列表中的预存储的合并候选的一部分执行冗余校验。在示例中,可以仅对索引超过或低于阈值的合并候选或从特定位置的块推导的合并候选执行冗余校验。在这方面,特定位置可包括当前块的左侧邻近块、上方邻近块、右上方邻近块或左下方邻近块中的至少一个。
图15是示出仅对合并候选的一部分执行冗余校验的示例的示图。
当运动信息候选HmvpCand[j]被添加到合并候选列表时,可针对运动信息候选执行具有2个具有最大索引的合并候选mergeCandList[NumMerge-2]和mergeCandList[NumMerge-1]的冗余校验。在这方面,NumMerge可以示出可用空间合并候选和时间合并候选的数量。
与所示的示例不同,当运动信息候选HmvpCand[j]被添加到合并候选列表时,可针对运动信息候选执行具有2个具有最小索引的合并候选的冗余校验。例如,可以校验mergeCandList[0]和mergeCandList[1]是否与HmvpCand[j]相同。
可选地,可以仅对从特定位置推导的合并候选执行冗余校验。在示例中,可以对从位于当前块左侧或当前块上方的邻近块推导的合并候选中的至少一个执行冗余校验。当不存在从合并候选列表中的特定位置推导的合并候选时,可在没有冗余校验的情况下将运动信息候选添加到合并候选列表。
当运动信息候选HmvpCand[j]被添加到合并候选列表时,可针对运动信息候选执行具有2个具有最大索引的合并候选mergeCandList[NumMerge-2]和mergeCandList[NumMerge-1]的冗余校验。在这方面,NumMerge可以示出可用空间合并候选和时间合并候选的数量。
可仅针对运动信息候选的一部分执行具有合并候选的冗余校验。在示例中,可仅对包括在运动信息表中的运动信息候选中具有大索引或小索引的N个运动信息候选执行冗余校验。在示例中,可仅对包括在运动信息表的运动信息候选中具有运动信息候选的数量与索引之间的差低于阈值的索引的运动信息候选执行冗余校验。当阈值为2时,可仅对包括在运动信息表中的运动信息候选中具有最大索引值的3个运动信息候选执行冗余校验。对于除了上述3个运动信息候选之外的运动信息候选,可以省略冗余校验。当省略冗余校验时,可将运动信息候选添加到合并候选列表,而不管是否存在与合并候选相同的运动信息。
相反,冗余校验被设置为仅对包括在运动信息表的运动信息候选中具有运动信息候选的数量与索引之间的差超过阈值的索引的运动信息候选执行。
可以在编码器和解码器中重新定义执行冗余校验的运动信息候选的数量。在示例中,阈值可以是整数(诸如0、1或2)。
可选地,可基于包括在合并候选列表中的合并候选的数量或包括在运动信息表中的运动信息候选的数量中的至少一个来确定阈值。
当发现与第一运动信息候选相同的合并候选时,可在第二运动信息候选的冗余校验中省略对与第一运动信息候选相同的合并候选的冗余校验。
图16是示出对特定合并候选的冗余校验被省略的示例的示图。
当索引为i的运动信息候选HmvpCand[i]被添加到合并候选列表时,执行运动信息候选与合并候选列表中的预存储的合并候选之间的冗余校验。在这方面,当发现与运动信息候选HmvpCand[i]相同的合并候选mergeCandlist[j]时,可在运动信息候选HmvpCand[i]不被添加到合并候选列表的情况下执行索引为i-1的运动信息候选HmvpCand[i-1]与合并候选之间的冗余校验。在这方面,可省略运动信息候选HmvpCand[i-1]与合并候选mergeCandList[j]之间的冗余校验。
在示例中,在图16所示的示例中,确定HmvpCand[1]和mergeCandList[2]是相同的。因此,可在HmvpCand[i]不被添加到合并候选列表的情况下执行HmvpCand[i-1]的冗余校验。在这方面,可以省略HmvpCand[i-1]与mergeCandList[2]之间的冗余校验。
当包括在当前块的合并候选列表中的合并候选的数量小于阈值时,除运动信息候选之外,可另外包括成对合并候选或零合并候选中的至少一个。成对合并候选表示具有从对多于2个合并候选的运动矢量求平均获得的值作为运动矢量的合并候选,并且零合并候选表示运动矢量为0的合并候选。
对于当前块的合并候选列表,可以按照下面的顺序添加合并候选。
空间合并候选-时间合并候选-运动信息候选-(仿射运动信息候选)-成对合并候选-零合并候选
空间合并候选表示从邻近块或非邻近块中的至少一个推导的合并候选,并且时间合并候选表示从先前参考画面推导的合并候选。仿射运动信息候选表示从通过仿射运动模型被编码/被解码的块推导的运动信息候选。
帧内预测通过使用已经被编码/被解码并且在当前块周围的重建样点来预测当前块。在这方面,在应用环内滤波器之前的重建样点可用于当前块的帧内预测。
帧内预测方法包括基于矩阵的帧内预测和根据具有邻近重建样点的方向的帧内预测。可以在比特流中用信号发送指示当前块的帧内预测方法的信息。信息可以是1比特标志。可选地,可以基于当前块的位置、当前块的尺寸、当前块的形状或邻近块的帧内预测方法中的至少一个来确定当前块的帧内预测。在示例中,当存在跨画面边界的当前块时,可以将其设置为使得不将基于矩阵的帧内预测方法应用于当前块。
基于矩阵的帧内预测方法是基于存储在编码器和解码器中的矩阵与当前块周围的重建样点的矩阵乘积来获得当前块的预测块的方法。可以在比特流中用信号发送用于指定多个预存储矩阵中的任意一个的信息。解码器可以基于上述信息和当前块的尺寸来确定用于对当前块执行帧内预测的矩阵。
普通帧内预测是一种基于非方向帧内预测模式或方向帧内预测模式获得当前块的预测块的方法。在下文中,将参照附图详细描述基于普通帧内预测的帧内预测的处理。
图17是根据本公开的实施例的帧内预测方法的流程图。
可以确定当前块的参考样点线(S1701)。参考样点线是指包括在远离当前块的上方和/或左侧的第k线中的一组参考样点。可以从在当前块周围被编码/被解码的重建样点推导参考样点。
可以在比特流中用信号发送标识多个参考样点线中的当前块的参考样点线的索引信息。在示例中,可以在比特流中用信号发送用于指定当前块的参考样点线的索引信息intra_luma_ref_idx。可按照编码块来用信号发送索引信息。
多个参考样点线可以包括在当前块的上方和/或左侧的第一线、第二线或第三线中的至少一个。由多个参考样点线中的与当前块的上方相邻的行和与当前块的左侧相邻的列组成的参考样点线可以被称为相邻参考样点线,并且其他参考样点线可以被称为非相邻参考样点线。
表1示出分配给每个候选参考样点线的索引。
[表1]
索引(intra_luma_ref_idx) 参考样点线
0 相邻参考样点线
1 第一非相邻参考样点线
2 第二非相邻参考样点线
基于当前块的位置、尺寸、形状或邻近块的预测编码模式中的至少一个,可以确定当前块的参考样点线。在一个示例中,在当前块邻接画面、并行块、条带或编码树单元的边界时,可以将相邻参考样点线确定为当前块的参考样点线。
参考样点线可以包括位于当前块上方的上方参考样点和位于当前块左侧的左侧参考样点。上方参考样点和左侧参考样点可从当前块周围的重建样点被推导。重建样点可处于应用环内滤波器之前的状态。
接下来,可以确定当前块的帧内预测模式(S1702)。对于当前块的帧内预测模式,可以将非方向帧内预测模式或方向帧内预测模式中的至少一个确定为当前块的帧内预测模式。非方向帧内预测模式包括平面和DC,并且方向帧内预测模式包括从左下方对角线方向到右上方对角线方向的33个或65个模式。
图18是示出帧内预测模式的示图。
图18(a)示出35个帧内预测模式,图18(b)示出67个帧内预测模式。
可以定义比图18所示更多或更少数量的帧内预测模式。
基于与当前块相邻的邻近块的帧内预测模式,可以设置MPM(最可能模式)。在这方面,邻近块可包括与当前块的左侧相邻的左侧邻近块和与当前块的上方相邻的上方邻近块。
可以在编码器和解码器中预设包括在MPM列表中的MPM的数量。在示例中,MPMs的数量可以是3、4、5或6。可选地,可在比特流中用信号发送表示MPMs的数量的信息。可选地,可基于邻近块的预测编码模式、当前块的尺寸、形状或参考样点线索引中的至少一个来确定MPMs的数量。在示例中,虽然当相邻参考样点线被确定为当前块的参考样点线时可以使用N个MPMs,但是当非相邻参考样点线被确定为当前块的参考样点线时可以使用M个MPMs。由于M是小于N的自然数,因此在示例中,N可以是6并且M可以是5、4或3。因此,虽然在当前块的参考样点线的索引为0并且MPM标志为真时,当前块的帧内预测模式可以被确定为6个候选帧内预测模式中的任意一个,但是在当前块的参考样点线的索引大于0并且MPM标志为真时,当前块的帧内预测模式可以被确定为5个候选帧内预测模式中的任意一个。
可选地,可以使用固定数量(例如,6或5)的MPM候选,而不管当前块的参考样点线的索引如何。
可产生包括多个MPM的MPM列表,并且可在比特流中用信号发送指示与当前块的帧内预测模式相同的MPM是否被包括在MPM列表中的信息。由于所述信息是1比特标志,因此其可被称作MPM标志。当MPM标志表示与MPM列表中包括的当前块相同的MPM时,可在比特流中用信号发送标识MPM中的一个的索引信息。在示例中,可在比特流中用信号发送指定多个MPMs中的任意一个的索引信息mpm_idx。由索引信息指定的MPM可被设置为当前块的帧内预测模式。当MPM标志表示与MPM列表中不包括当前块相同的MPM时,可在比特流中用信号发送指示除MPM以外的其余帧内预测模式中的任意一个的其余模式信息。其余模式信息表示当将索引重新分配给除MPM之外的其余帧内预测模式时与当前块的帧内预测模式相应的索引值。解码器可以通过按照升序排列MPMs并将其余模式信息与MPMs进行比较来确定当前块的帧内预测模式。在示例中,当其余模式信息等于或小于MPM时,可通过将1与其余模式信息相加来推导当前块的帧内预测模式。
在推导当前块的帧内预测模式时,将MPMs的一部分与其余模式信息进行比较的处理可被省略。在示例中,MPMs中的非方向帧内预测模式中的MPMs可从比较目标被排除。当非方向帧内预测模式被设置为MPMs时,其余模式信息清楚地指示方向帧内预测模式,因此可以通过将除了非方向帧内预测模式之外的其余MPMs与其余模式信息进行比较来推导当前块的帧内预测模式。不从比较目标中排除非方向帧内预测模式,而是可以在将非方向帧内预测模式的数量添加到其余模式信息之后将结果值与其余MPMs进行比较。
不将默认模式设置为MPM,而是可在比特流中用信号发送指示当前块的帧内预测模式是否为默认模式的信息。所述信息是1比特标志,并且标志可被称作默认模式标志。可仅在MPM标志表示与当前块相同的MPM包括在MPM列表中时用信号发送默认模式标志。如上所述,默认模式可以包括平面、DC、垂直方向模式或水平方向模式中的至少一个。在示例中,当平面被设置为默认模式时,默认模式标志可指示当前块的帧内预测模式是否为平面。当默认模式标志指示当前块的帧内预测模式不是默认模式时,可将由索引信息指示的MPMs中的一个设置为当前块的帧内预测模式。
当使用默认模式标志时,可以进行设置使得与默认模式相同的帧内预测模式不被设置为MPM。在示例中,当默认模式标志指示当前块的帧内预测模式是否为平面时,可通过使用不包括与平面相应的MPM的5个MPM来推导当前块的帧内预测模式。
当将多个帧内预测模式设置为默认模式时,还可用信号发送指示默认模式中的任意一个的索引信息。当前块的帧内预测模式可以被设置为由索引信息指示的默认模式。
在当前块的参考样点线的索引不为0时,可以设置为不使用默认模式。在示例中,当非相邻参考样点线被确定为当前块的参考样点线时,可以设置为不使用非方向帧内预测模式(诸如DC模式或平面模式)。因此,当参考样点线的索引不为0时,可不用信号发送默认模式标志,并且可将默认模式标志的值推断为预定义值(即,假)。
当确定当前块的帧内预测模式时,可以基于确定的帧内预测模式来获得当前块的预测样点(S1703)。
当选择DC模式时,可基于参考样点的平均值产生当前块的预测样点。详细地,可以基于参考样点的平均值来产生预测块内的所有样点的值。可以使用与当前块的上方相邻的上方参考样点和与当前块的左侧相邻的左侧参考样点中的至少一个来推导平均值。
在推导平均值时使用的参考样点的数量或范围可以基于当前块的形状而变化。在示例中,在当前块为宽度大于高度的非正方形块时,可通过使用上方参考样点来计算平均值。相反,在当前块是宽度小于高度的非正方形块时,可以通过使用左侧参考样点来计算平均值。换言之,在当前块的宽度和高度不同时,可以使用与更大长度相邻的参考样点来计算平均值。可选地,可以基于当前块的宽度和高度之间的比率来确定是通过使用上方参考样点还是通过使用左侧参考样点来计算平均值。
当选择平面模式时,可以通过使用水平方向预测样点和垂直方向预测样点来获得预测样点。在这方面,可基于与预测样点位于同一水平线的左侧参考样点和右侧参考样点来获得水平方向预测样点,并且可基于与预测样点位于同一垂直线的上方参考样点和下方参考样点来获得垂直方向预测样点。在这方面,可以通过复制与当前块的右上角相邻的参考样点来产生右侧参考样点,并且可以通过复制与当前块的左下角相邻的参考样点来产生下方参考样点。可以基于左侧参考样点和右侧参考样点的加权和获得水平方向预测样点,并且可以基于上方参考样点和下方参考样点的加权和获得垂直方向预测样点。在这方面,可以根据预测样点的位置来确定分配给每个参考样点的加权因数。可以基于水平方向预测样点和垂直方向预测样点的平均值或加权和来获得预测样点。当使用加权和时,可以基于预测样点的位置来确定分配给水平方向预测样点和垂直方向预测样点的加权因数。
当选择方向预测模式时,可以确定表示选择的方向预测模式的预测方向(或预测角度)的参数。下面的表2表示用于每个帧内预测模式的intraPredAng的帧内方向参数。
[表2]
PredModeIntra 1 2 3 4 5 6 7
IntraPredAng - 32 26 21 17 13 9
PredModeIntra 8 9 10 11 12 13 14
IntraPredAng 5 2 0 -2 -5 -9 -13
PredModeIntra 15 16 17 18 19 20 21
IntraPredAng -17 -21 -26 -32 -26 -21 -17
PredModeIntra 22 23 24 25 26 27 28
IntraPredAng -13 -9 -5 -2 0 2 5
PredModeIntra 29 30 31 32 33 34
IntraPredAng 9 13 17 21 26 32
表2表示每个帧内预测模式的帧内方向参数,其中,当35个帧内预测模式被定义时,帧内预测模式的索引是2至34中的一个。当方向帧内预测模式被定义为大于33个时,可以通过细分表2来设置每个帧内预测模式的帧内方向参数。
当前块的上方参考样点和左侧参考样点被布置成线,然后可以基于帧内方向参数的值获得预测样点。在这方面,当帧内方向参数的值为负值时,左侧参考样点和上方参考样点可以被布置成线。
图19和图20是分别示出参考样点被布置成线的一维布置的示例的示图。
图19是示出参考样点在垂直方向上布置的垂直方向一维布置的示图,并且图20是示出参考样点在水平方向上布置的水平方向一维布置的示图。假设35个帧内预测模式被定义,将描述图19和图20的示例。
当帧内预测模式索引是11至18中的任意一个时,可以应用水平方向一维布置,其中,上方参考样点逆时针旋转,并且当帧内预测模式索引是19至25中的任意一个时,可以应用垂直方向一维布置,其中,左侧参考样点顺时针旋转。当将参考样点布置成线时,可以考虑帧内预测模式角度。
可以基于帧内方向参数来确定参考样点确定参数。参考样点确定参数可以包括用于指定样点的参考样点索引,以及用于确定应用于参考样点的加权因数的加权因数参数。
可以通过下面的等式2和等式3分别获得参考样点索引iIdx和加权因数参数ifact。
[等式2]
iIdx=(y+1)*Pang/32
[等式3]
ifact=[(y+1)*Pang]&31
在等式2和等式3中,Pang表示帧内方向参数。由参考样点索引iIdx指定的参考样点与整数pel相应。
为了推导预测样点,可以指定至少一个参考样点。具体地,根据预测模式的斜率,可以指定用于推导预测样点的参考样点的位置。在示例中,可通过使用参考样点索引iIdx来指定用于推导预测样点的参考样点。
在这方面,当帧内预测模式的斜率不由一个参考样点表示时,可以通过对多个参考样点执行插值来产生预测样点。在示例中,当帧内预测模式的斜率是预测样点和第一参考样点之间的斜率与预测样点和第二参考样点之间的斜率之间的值时,可以通过对第一参考样点和第二参考样点执行插值来获得预测样点。换言之,当根据帧内预测角度的角度线不通过位于整数像素的参考样点时,可以通过对位于角度线通过的位置的左侧和右侧或者上方和下方附近的参考样点执行插值来获得预测样点。
下面的等式4表示基于参考样点获得预测样点的示例。
[等式4]
P(x,y)=((32-ifact)/32)*Ref_1D(x+iIdx+1)+(ifact/32)*Ref_1D(x+iIdx+2)
在等式4中,P表示预测样点,Ref_1D表示布置成线的参考样点中的任意一个。在这方面,可通过预测样点的位置(x,y)和参考样点索引iIdx来确定参考样点的位置。
当帧内预测模式的斜率可能由一个参考样点表示时,加权因数参数ifact被设置为0。因此,等式4可以简化为下面的等式5。
[等式5]
P(x,y)=Ref_1D(x+iIdx+1)
可以基于多个帧内预测模式执行当前块的帧内预测。在示例中,可以针对每个预测样点推导帧内预测模式,并且可以基于分配给每个预测样点的帧内预测模式来推导预测样点。
可选地,可以针对每个区域推导帧内预测模式,可以基于分配给每个区域的帧内预测模式来执行每个区域的帧内预测。在这方面,所述区域可以包括至少一个样点。可以基于当前块的尺寸、当前块的形状和当前块的帧内预测模式中的至少一个自适应地确定区域的尺寸和形状中的至少一个。可选地,可以在编码器和解码器中独立于当前块的尺寸或形状来预定区域的尺寸和形状中的至少一个。
图21是示出在方向帧内预测模式和与x轴平行的直线之间形成的角度数的示图。
作为图21中所示的示例,方向预测模式可存在于左下方对角线方向与右上方对角线方向之间。描述在x轴和方向预测模式之间形成的角度数,方向预测模式可以存在于从45度(左下方对角线方向)到-135度(右上方对角线方向)。
在当前块是非正方形时,可能存在如下情况:通过使用位于根据帧内预测角度的角度线的参考样点中的位于比靠近根据当前块的帧内预测模式的预测样点的参考样点更远的参考样点来推导预测样点。
图22是示出在当前块为非正方形时获得预测样点的方面的示图。
在示例中,作为图22(a)所示的示例,假设当前块是宽度大于高度的非正方形,并且当前块的帧内预测模式是具有0度至45度的角度的方向帧内预测模式。在上面的情况下,当根据上面的角度数在位于角度模式下的参考样点中推导当前块的右侧列周围的预测样点A时,可能存在使用远离预测样点的左侧参考样点L的情况,而不是使用靠近预测样点的上方参考样点T。
在另一示例中,作为图22(b)所示的示例,假设当前块是高度大于宽度的非正方形,并且当前块的帧内预测模式是从-90度到-135度的方向帧内预测模式。在上面的情况下,当根据上面的角度数在位于角度模式下的参考样点中推导当前块的下方行周围的预测样点A时,可能存在使用远离预测样点的上方参考样点T的情况,而不是使用靠近预测样点的左侧参考样点L。
为了解决上面的问题,在当前块是非正方形时,可以用相反方向的帧内预测模式替换当前块的帧内预测模式。因此,对于非正方形块,可使用角度大于或小于图18中所示的方向预测模式的角度的方向预测模式。上面的方向帧内预测模式可以被定义为广角帧内预测模式。广角帧内预测模式表示不属于45度到-135度范围的方向帧内预测模式。
图23是示出广角帧内预测模式的示图。
在图23所示的示例中,具有从-1到-14的索引的帧内预测模式和具有从67到80的索引的帧内预测模式表示广角帧内预测模式。
在图23中,示出了角度大于45度的14个广角帧内预测模式(从-1到-14)和角度小于-135度的4个广角帧内预测模式(从67到80)。然而,可以定义更多或更少数量的广角帧内预测模式。
当使用广角帧内预测模式时,上方参考样点的长度可以被设置为2W+1,并且左侧参考样点的长度可以被设置为2H+1。
通过使用广角帧内预测模式,可以通过使用参考样点T来预测图23(a)所示的样点A,并且可以通过参考样点L来预测图23(b)所示的样点A。
除了传统帧内预测模式和N个广角帧内预测模式之外,还可以使用总共67+N个帧内预测模式。在示例中,表3表示当定义20个广角帧内预测模式时用于帧内预测模式的帧内方向参数。
[表3]
Figure BDA0002816481110000331
Figure BDA0002816481110000341
在当前块是非正方形,并且在S2502中获得的当前块的帧内预测模式属于变换范围时,可将当前块的帧内预测模式变换为广角帧内预测模式。可以基于当前块的尺寸、形状或比率中的至少一个来确定变换范围。在这方面,所述比率可表示当前块的宽度与高度之间的比率。
在当前块是宽度大于高度的非正方形时,变换范围可以被设置为从右上方对角线方向的帧内预测模式索引(例如,66)到(右上方对角线方向的帧内预测模式索引-N)。在这方面,可以基于当前块的比率来确定N。在当前块的帧内预测模式属于变换范围时,可以将帧内预测模式变换为广角帧内预测模式。变换可以是从帧内预测模式中减去预定义值,并且预定义值可以是不包括广角帧内预测模式的帧内预测模式的总数(例如,67)。
在上面的示例中,从编号66到编号53的帧内预测模式可分别变换为从编号-1到编号-14的广角帧内预测模式。
在当前块是高度大于宽度的非正方形时,变换范围可以被设置为从左下方对角线方向的帧内预测模式索引(例如,2)到(左下方对角线方向的帧内预测模式索引+M)。在这方面,可以基于当前块的比率来确定M。在当前块的帧内预测模式属于变换范围时,可以将帧内预测模式变换为广角帧内预测模式。变换可以是将预定义值添加到帧内预测模式,并且预定义值可以是除广角帧内预测模式之外的方向帧内预测模式的总数(例如,65)。
在上面的示例中,从编号2到编号15的帧内预测模式可分别变换为从编号67到编号80的广角帧内预测模式。
在下文中,属于变换范围的帧内预测模式被称为广角帧内预测替代模式。
可以基于当前块的比率来确定变换范围。在示例中,表4和表5分别示出定义了除广角帧内预测模式之外的35个帧内预测模式的情况和定义了除广角帧内预测模式之外的67个帧内预测模式的情况的变换范围。
[表4]
条件 替代的帧内预测模式
W/H=2 模式2,3,4
W/H>2 模式2,3,4,5,6
W/H=1
H/W=1/2 模式32,33,34
H/W<1/2 模式30,31,32,33,34
[表5]
条件 替代的帧内预测模式
W/H=2 模式2,3,4,5,6,7
W/H>2 模式2,3,4,5,6,7,8,9,10,11
W/H=1
H/W=1/2 模式61,62,63,64,65,66
H/W<1/2 模式57,58,59,60,61,62,63,64,65,66
如表4和表5中所示的示例,包括在变换范围中的广角帧内预测替代模式的数量可根据当前块的比率而变化。
还可以细分当前块的比率以设置如下表6所示的变换范围。
[表6]
条件 替代的帧内预测模式
W/H=16 模式12,13,14,15
W/H=8 模式12,13
W/H=4 模式2,3,4,5,6,7,8,9,10,11
H/W=2 模式2,3,4,5,6,7
H/W=1
W/H=1/2 模式61,62,63,64,65,66
W/H=1/4 模式57,58,59,60,61,62,63,64,65,66
W/H=1/8 模式55,56
H/W=1/16 模式53,54,55,56
当非相邻参考样点线被确定为当前块的参考样点线时,或者当使用用于选择多个参考样点线中的一个的多线帧内预测编码方法时,预测方法可以被配置为不使用广角帧内预测模式。即,尽管当前块具有非正方形形状,并且当前块的帧内预测模式属于变换范围,但是当前块的帧内预测模式可以不被变换为广角帧内预测模式。
可选地,在当前块的帧内预测模式被确定为广角帧内预测模式时,预测方法可以被配置为使得非相邻参考样点线不可用作当前块的参考样点线,或者可以被配置为不使用多线帧内预测编码方法来选择多个参考样点线中的一个。当不使用多线帧内预测编码方法时,可以将相邻参考样点线确定为当前块的参考样点线。
当不使用广角帧内预测模式时,refW和refH中的每个可以被设置为nTbW和nTbH的总和。因此,除了左上方参考样点之外,与当前块间隔i的非相邻参考样点线可以包括(nTbW+nTbH+offsetX[i])个上方参考样点和(nTbW+nTbH+offsetY[i])个左侧参考样点。即,与当前块间隔i的非相邻参考样点线可以包括(2nTbW+2nTbH+offsetX[i]+offsetY[i]+1)个参考样点。例如,当whRatio的值大于1时,offsetX的值可以被设置为大于offsetY的值。在一个示例中,当offsetX的值可以被设置为1时,offsetY的值可以被设置为0。相反,当whRatio的值小于1时,offsetY的值可以被设置为大于offsetX的值。在一个示例中,offsetX的值可以被设置为0,并且offsetY的值可以被设置为1。
由于除了传统帧内预测模式之外还使用广角帧内预测模式,因此可以增加用于对广角帧内预测模式进行编码的资源,因此会降低编码效率。因此,不是照原样对广角帧内预测模式进行编码,而是对广角帧内预测模式的替代帧内预测模式进行编码,以便提高编码效率。
在示例中,当通过使用编号67的广角帧内预测模式对当前块进行编码时,作为编号67的广角替代帧内预测模式的编号2可被编码为当前块的帧内预测模式。另外,当通过使用编号-1的广角帧内预测模式对当前块进行编码时,作为编号-1的广角替代帧内预测模式的编号66可被编码为当前块的帧内预测模式。
解码器可对当前块的帧内预测模式进行解码,并确定解码的帧内预测模式是否属于变换范围。当解码的帧内预测模式是广角替代帧内预测模式时,帧内预测模式可被变换为广角帧内预测模式。
可选地,当通过广角帧内预测模式对当前块进行编码时,可以按原样对广角帧内预测模式进行编码。
可基于上面描述的MPM列表执行帧内预测模式的编码。具体地,当在广角帧内预测模式中对邻近块进行编码时,可基于与广角帧内预测模式相应的广角替代帧内预测模式来设置MPM。
可以通过从原始图像中减去预测图像来推导残差图像。在这方面,当将残差图像转换到频域时,即使从频率分量中去除高频分量,图像的主观图像质量也不会显著下降。因此,当高频分量的值被变换为小值时,或者当高频分量的值被设置为0时,可以在不引起大的视觉失真的情况下提高压缩效率。反映上面的特征,可以对当前块执行变换,以便将残差图像分解为二维频率分量。可以通过使用诸如DCT(离散余弦变换)、DST(离散正弦变换)等变换方法来执行变换。
可以基于块来确定变换方法。可以基于当前块的预测编码模式、当前块的尺寸或当前块的尺寸中的至少一个来确定变换方法。在示例中,当通过帧内预测模式对当前块进行编码并且当前块的尺寸小于N×N时,可以通过使用DST的变换方法来执行变换。另一方面,当不满足上面的条件时,可以通过使用DCT的变换方法来执行变换。
对于残差图像的部分块,可以不执行二维图像变换。不执行二维图像变换可被称为变换跳过。当应用变换跳过时,可以将量化应用于不执行变换的残差值。
在通过使用DCT或DST对当前块执行变换之后,可以再次对变换后的当前块执行变换。在这方面,基于DCT或DST的变换可被定义为第一变换,并且再次对应用第一变换的块执行变换可被定义为第二变换。
可通过使用多个变换核候选中的任意一个来执行第一变换。在示例中,可通过使用DCT2、DCT8或DCT7中的任意一个来执行第一变换。
不同变换核可用于水平方向和垂直方向。可在比特流中用信号发送表示水平方向的变换核与垂直方向的变换核的组合的信息。
第一变换的处理单元可与第二变换不同。在示例中,可对8×8块执行第一变换,并且可对变换的8×8块内的4×4尺寸的子块执行第二变换。在这方面,可以将不执行第二变换的其余区域的变换系数设置为0。
可选地,可对4×4块执行第一变换,并且可对包括变换的4×4块的具有8×8尺寸的区域执行第二变换。
可在比特流中用信号发送表示是否执行第二变换的信息。
可选地,可基于水平方向变换核与垂直方向变换核是否彼此相同而确定是否执行第二变换。在一个示例中,可仅在水平方向变换核与垂直方向变换核彼此相同时执行第二变换。可选地,可仅在水平方向变换核与垂直方向变换核彼此不同时执行第二变换。
可选地,可仅在预定变换核用于水平方向变换和垂直方向变换时允许第二变换。在一个示例中,当DCT2变换核用于水平方向的变换和垂直方向的变换时,可允许第二变换。
可选地,可基于当前块的非零变换系数的数量确定是否执行第二变换。在一个示例中,在当前块的非零变换系数的数量小于或等于阈值时,预测方法可被配置为不使用第二变换。在当前块的非零变换系数的数量大于阈值时,预测方法可被配置为使用第二变换。只要使用帧内预测对当前块进行编码,预测方法就可以被配置为使用第二变换。
解码器可对第二变换执行逆变换(第二逆变换),并且可对来自第二逆变换的第一变换结果执行逆变换(第一逆变换)。作为执行第二逆变换和第一逆变换的结果,可以获得当前块的残差信号。
当由编码器执行变换和量化时,解码器可以经由反量化和逆变换获得残差块。解码器可以将预测块和残差块彼此相加,以获得当前块的重建块。
当获得当前块的重建块时,可以经由环内滤波来减少在量化和编码处理中发生的信息损失。环内滤波器可包括去块滤波器、样点自适应偏移滤波器(SAO)或自适应环内滤波器(ALF)中的至少一个。在下文中,应用环内滤波器之前的重建块被称作第一重建块,并且应用环内滤波器之后的重建块被称作第二重建块。
可通过将去块滤波器、SAO或ALF中的至少一个应用于第一重建块来获得第二重建块。在这方面,可在应用去块滤波器之后应用SAO或ALF。
去块滤波器用于减轻块边界上的质量劣化(例如,块伪影),其中,质量劣化在按照块来执行量化时发生。为了应用去块滤波器,可确定第一重建块与邻近重建块之间的块强度(BS)。
图24是示出确定块强度的处理的流程图。
在图24所示的示例中,P表示第一重建块,并且Q表示邻近重建块。在这方面,邻近重建块可与当前块的左侧或上方邻近。
图24所示的示例示出考虑以下项来确定块强度:P和Q的预测编码模式、是否包括不为0的变换系数、是否通过使用相同的参考画面执行帧间预测或者运动矢量的差值是否等于或大于阈值。
基于块强度,可以确定是否应用去块滤波器。在示例中,当块强度为0时,可以不执行滤波。
SAO是为了减轻在频域中执行量化时发生的环状伪影。可以通过增加或减去通过考虑第一重建图像的图案而确定的偏移来执行SAO。偏移的确定方法包括边缘偏移(EO)或频带偏移(BO)。EO表示根据邻近像素的图案确定当前样点的偏移的方法。BO表示将公共偏移应用于区域中具有相似亮度值的一组像素的方法。具体地,像素亮度可以被分区为32个均匀部分,并且具有相似亮度值的像素可以被设置为一个组。在示例中,可将32个频带中的4个相邻频带设置为一个组,并且可将相同偏移值应用于属于4个频带的样点。
ALF是通过将具有预定尺寸/形状的滤波器应用于第一重建图像或应用去块滤波器的重建图像而产生第二重建图像的方法。下面的等式6表示应用ALF的示例。
[等式6]
Figure BDA0002816481110000401
可基于画面、编码树单元、编码块、预测块或变换块来选择预定滤波器候选中的任意一个。每个滤波器候选的尺寸或形状中的至少一个可以是不同的。
图25表示预定义的滤波器候选。
如在图25所示的示例中,可以选择5×5、7×7或9×9尺寸的菱形形状中的至少任意一个。
仅5×5尺寸的菱形形状可用于色度分量。
对于高分辨率图像(诸如全景视频、360度视频或4K/8K UHD(超高清))的实时或低延迟编码,可以考虑将画面分区为多个区域并且并行地对多个区域进行编码/解码的方法。具体地,根据处理的目的,可以将画面分区为并行块或条带(或并行块组)。
并行块表示用于并行编码/解码的基本单元。可以并行地处理每个并行块。并行块可以具有矩形形状。在对并行块进行编码/解码时,可以将其设置为不使用其他并行块的数据。可以通过去除并行块之间的编码/解码依赖性来支持并行块的并行处理。具体地,可按照并行块来初始化CABAC(上下文自适应二进制算术编码)上下文的概率表,并且可将环内滤波器设置为不被应用于并行块的边界。
可由条带头用信号发送关于视频编码/解码的信息。由条带头用信号发送的信息可共同被应用于包括在条带中的编码树单元或并行块。
图26是示出根据本公开的实施例的画面分区方法的示图。
首先,可以确定当前画面是否被分区为多个处理单元(S2610)。在这方面,处理单元可以包括并行块或条带中的至少一个。在示例中,可在比特流中用信号发送指示当前画面是否被分区为多个并行块或条带的语法no_pic_partition_flag。如果语法no_pic_partition_flag的值为0,则表示当前画面被分区为至少一个并行块或至少一个条带。另一方面,如果语法no_pic_partition_flag的值为1,则表示当前画面没有被分区为多个并行块或条带。
当确定当前画面不被分区为多个处理单元时,可结束当前画面的分区处理。在这方面,可理解,当前画面由单个并行块和单个条带(或单个并行块组)组成。
当确定当前画面将被分区为多个处理单元时,可在比特流中用信号发送并行块分区信息。可基于用信号发送的并行块分区信息将画面分区为至少一个并行块(S2620)。
在当前画面被分区为多个并行块时,可通过组合多个并行块或分区并行块来确定并行块组(或条带)(S2630)。
在下文中,根据本公开,将详细描述并行块分区方法和并行块组确定方法。
图27表示画面被分区为多个并行块的示例。
并行块可包括至少一个编码树单元。可以将并行块的边界设置为匹配编码树单元的边界。换言之,可能不允许一个编码树单元被分区为多个编码树单元的分区类型。
可以在比特流中用信号发送表示画面的分区形状的信息。信息可以通过画面参数集或序列参数集被编码并且被用信号发送。
表示画面的分区形状的信息可包括以下至少一项:指示是否按照统一尺寸对并行块进行分区的信息、表示并行块列的数量的信息或表示并行块行的数量的信息。
指示是否以统一尺寸对并行块进行分区的信息可以是1比特标志uniform_spacing_flag。当确定画面以统一尺寸被分区时,除与画面的右侧和/或下方边界相邻的并行块之外的其余并行块可具有相同尺寸。
当通过使用跨画面的垂直线或水平线中的至少一个来对画面进行分区时,每个并行块属于不同列和/或行。为了确定画面的分区形状,可用信号发送并行块列和/或并行块行的数量的信息。在示例中,通过对画面进行分区而产生的表示由并行块形成的行的数量的信息num_tile_row_minus1和表示由并行块形成的列的数量的信息num_tile_column_minus1可在比特流中被用信号发送。语法num_tile_row_minus1表示从并行块行的数量减去1的值,语法num_tile_column_minus1表示从并行块列的数量减去1的值。
在图27所示的示例中,并行块列的数量是4,并且并行块行的数量是3。因此,num_tile_columns_minus1可以表示3,并且num_tile_rows_minus1可以表示2。
属于一个线(行或列)的并行块的集合可被称作并行块集。在示例中,水平方向并行块集可表示属于一行的并行块的集合,并且垂直方向并行块集可表示属于一列的并行块的集合。
根据画面的分区形状,并行块可在除画面边界之外的所有区域具有相同尺寸。可选地,可以将水平相邻的并行块的高度设置为相同,或者可以将垂直相邻的并行块的宽度设置为相同。
可以在比特流中用信号发送表示并行块列的尺寸和/或并行块行的尺寸的信息。可以基于包括在并行块列中的编码树单元列的数量来确定并行块列的尺寸,并且可以基于包括在并行块行中的编码树单元行的数量来确定并行块行的尺寸。
在示例中,当画面被分区为多个并行块列时,可在比特流中用信号发送表示每个并行块列的宽度的信息,并且当画面被分区为多个并行块行时,可在比特流中用信号发送表示每个并行块行的高度的信息。表示并行块列的尺寸的语法元素column_width_minus1[i]可具有从包括在第i并行块列中的编码树单元列的数量减去1的值。表示并行块行的尺寸的语法元素row_height_minus1[i]可具有从包括在第i并行块行中的编码树单元行的数量减去1的值。
对于最后并行块列,可以省略表示并行块列的尺寸的语法元素column_width_minus1的编码。另外,对于最后并行块行,可以省略表示并行块行的尺寸的语法元素row_height_minus1的编码。可以通过考虑画面尺寸来推导最后并行块列的宽度和最后并行块行的高度。
当确定画面被分区为非统一尺寸的并行块时,可用信号发送表示并行块列的尺寸的信息和/或表示并行块行的尺寸的信息。在示例中,当uniform_spacing_flag为0时,可以用信号发送表示并行块列的尺寸的信息和/或表示并行块行的尺寸的信息。当uniform_spacing_flag为1时,可以省略对表示并行块列的尺寸的信息和/或表示并行块行的尺寸的信息的编码。在这种情况下,基于并行块列的数量和/或并行块行的数量,可以推导并行块行的尺寸和/或并行块列的数量。
表7表示用于确定画面的分区形状的语法表。
[表7]
Figure BDA0002816481110000431
在表7中,可以用信号发送表示并行块列的数量的语法元素num_tile_columns_minus1和表示并行块行的数量的语法元素num_tile_rows_minus1。
接下来,可以用信号发送指示画面是否被分区为统一尺寸的并行块的语法元素uniform_spacing_flag。当uniform_spacing_flag为真时,可以在除画面边界之外的其余区域中以统一尺寸对并行块进行分区。
当uniform_spacing_flag为假时,可以用信号发送表示每个并行块列的宽度的语法元素column_width_minus1和表示每个并行块行的高度的语法元素row_height_minus1。
语法元素loop_filter_across_tiles_enabled_flag表示是否允许在并行块的边界使用环内滤波器。
可以对画面进行分区,使得左右相邻的并行块的高度不同,或者使得上下相邻的并行块的宽度不同。上面的画面分区方法可被称为灵活并行块分区方法。另外,通过灵活并行块分区方法被分区的并行块可被称为灵活并行块。只有当确定并行块不被统一分区时(例如,当uniform_tile_spacing_flag为0时),才可以允许灵活并行块分区方法。
图28是示出根据灵活并行块方法的画面的分区方面的示图。
通过对画面进行分区而产生的并行块之间的搜索顺序可遵循预定扫描顺序。另外,根据预定扫描顺序,可将索引分配给每个并行块。
并行块的扫描顺序可以是光栅扫描、对角线扫描、垂直方向扫描或水平方向扫描中的任意一个。图28的(a)至(d)表示根据光栅扫描、对角线扫描、垂直方向扫描或水平方向扫描将索引分配给每个并行块的示例。
根据当前并行块的尺寸或位置,可确定下一扫描顺序。在示例中,在当前并行块的高度不同于与当前并行块的右侧邻近的并行块的高度时(例如,当右侧邻近并行块的高度大于当前并行块的高度时),可以将与当前并行块的下方邻近的并行块在相同垂直线上的并行块中的最左侧位置的并行块确定为当前并行块的下一个扫描目标。
可按照画面或按照序列确定并行块的扫描顺序。
可选地,可通过考虑画面中的第一并行块的尺寸来确定并行块的扫描顺序。在示例中,当第一并行块的宽度大于高度时,并行块的扫描顺序可以被设置为水平扫描。当第一并行块的高度大于宽度时,并行块的扫描顺序可以被设置为垂直扫描。当第一并行块的宽度和高度相同时,可以将并行块的扫描顺序设置为光栅扫描或对角线扫描。
可选地,基于并行块索引或用于后面提到的并行块组的索引,可以确定并行块的扫描顺序。基于并行块组的索引,可以确定并行块组之间的扫描顺序。
图29是示出根据并行块组索引确定并行块的扫描顺序的示例的示图。
当画面中包括多个并行块组时,可首先扫描包括在具有最低并行块组索引的并行块组中的并行块,并且接着可扫描包括在具有下一顺序并行块组索引的并行块组中的并行块。在示例中,如在图29所示的示例中,当第一并行块组(并行块组0)包括并行块0至并行块7并且第二并行块组(并行块组1)仅包括并行块8时,可在扫描包括在并行块组0中的所有并行块之后扫描包括在并行块组1中的并行块。因此,可以如下确定并行块的扫描顺序。
并行块0、并行块1、并行块2、并行块3、并行块4、并行块5、并行块6、并行块7、并行块8
可以将并行块中的编码树单元的扫描顺序设置为与并行块的扫描顺序相同。在示例中,当并行块的扫描顺序遵循光栅扫描顺序时,包括在并行块中的编码树单元也可按照光栅扫描顺序被编码/被解码。
可选地,可以将并行块中的编码树单元的扫描顺序设置为与并行块的扫描顺序不同。
用于确定并行块尺寸的信息可以被编码并且被用信号发送。在示例中,可在比特流中对表示第i并行块列的宽度的语法元素tile_width_minus1[i]和表示第i并行块行的高度的语法元素tile_height_minus1[i]进行编码。
在当前并行块列的宽度等于先前并行块列的宽度时,可以省略对表示当前并行块列的宽度的信息的编码,并且可以从先前并行块列的宽度推导当前并行块列的宽度。在示例中,在当前并行块列的宽度等于先前并行块列的宽度时,可省略对表示当前并行块列的宽度的语法元素tile_width_minus1的编码。另外,对于画面的最右侧并行块列,可以省略对表示宽度的语法元素tile_width_minus1的编码。可以通过从画面的宽度减去其余并行块列的宽度来推导最右侧并行块列的宽度。
在当前并行块行的高度等于先前并行块行的高度时,可以省略对表示当前并行块行的高度的信息的编码,并且可以从先前并行块行的高度推导当前并行块行的高度。在示例中,在当前并行块行的高度等于先前并行块行的高度时,可省略对表示当前并行块行的高度的语法元素tile_height_minus1的编码。另外,对于画面的最低并行块行,可以省略对表示高度的语法元素tile_height_minus1的编码。可通过从画面的高度减去其余并行块行的高度来推导最低并行块行的高度。
对于除了第一并行块列/行之外的其余并行块列/行,可以对表示尺寸是否与先前并行块列/行的尺寸相同的信息进行编码。在示例中,可以用信号发送指示当前并行块列的宽度是否与先前并行块列的宽度相同的use_previous_tile_width_flag。如果use_previous_tile_width_flag为1,则表示当前并行块列的宽度与前一并行块列的宽度相同。在这种情况下,可以省略对表示当前并行块列的宽度的语法元素的编码。如果use_previous_tile_width_flag为0,则表示当前并行块列的宽度与前一并行块列的宽度不同。在这种情况下,可以对表示当前并行块列的宽度的语法元素进行编码。可选地,当具有与当前画面中的最右侧并行块列或位于最右侧并行块列左侧的并行块列相同宽度的至少一个并行块列被连续分配给最右侧并行块列的左侧或位于最右侧并行块列左侧的并行块列的左侧时,可以仅针对具有相同宽度的并行块列中的一个来对表示宽度的语法元素进行解码。为了便于解释,画面中的最右侧并行块列或位于最右侧并行块列左侧的并行块列被称为第一并行块列。在示例中,当具有与第一并行块列相同宽度的第二并行块列存在于第一并行块列的左侧时,可以对表示第二并行块列的宽度的语法元素进行编码,并且可以省略对表示第一并行块列的宽度的语法元素的编码。第一并行块列的宽度可以被设置为与第二并行块列的宽度相同。
在另一示例中,可用信号发送指示当前并行块行的高度是否与先前并行块行的高度相同的use_previous_tile_height_flag。如果use_previous_tile_height_flag为1,则表示当前并行块行的高度与先前并行块行的高度相同。在这种情况下,可省略对表示当前并行块行的高度的语法元素的编码。如果use_previous_tile_height_flag为0,则表示当前并行块行的高度与先前并行块行的高度不同。在这种情况下,可对表示当前并行块行的高度的语法元素进行编码。可选地,当将具有与当前画面中的下方并行块行或位于下方并行块行上方的并行块行相同高度的至少一个并行块行连续分配到下方并行块行的上方或位于下方并行块行上方的并行块行的上方时,可仅针对具有相同高度的并行块行中的一个来对表示高度的语法元素进行编码。为了便于解释,画面中的下方并行块行或位于下方并行块行上方的并行块行被称为第一并行块行。在示例中,当具有与第一并行块行相同高度的第二并行块行存在于第一并行块行的上方时,可对表示第二并行块行的高度的语法元素进行编码,并且可省略对表示第一并行块行的高度的语法元素的编码。可以将第一并行块行的高度设置为与第二并行块行的高度相同。
在另一示例中,可在比特流中用信号发送用于指定当前画面中的宽度被用信号发送的并行块列的数量的信息。在示例中,可以在比特流中用信号发送用于确定宽度被用信号发送的并行块列的数量的语法num_exp_tile_columns_minus1。语法num_exp_tile_columns_minus1可以是从宽度被发信号发送的并行块列的数量减去1的值。当并行块列的索引低于宽度被用信号发送的并行块列的数量时,可以基于在比特流中用信号发送的语法tile_width_minus1来确定相应并行块列的宽度。另一方面,当并行块列的索引等于或大于宽度被用信号发送的并行块列的数量时,相应并行块列的宽度可被设置为与最后用信号发送的语法tile_width_minus1相同。
可选地,可在比特流中用信号发送用于指定在当前画面中高度被用信号发送的并行块行的数量的信息。在示例中,可在比特流中用信号发送用于确定高度被用信号发送的并行块行的数量的语法num_exp_tile_rows_minus1。语法num_exp_tile_rows_minus1可以是从高度被用信号发送的并行块行的数量减去1的值。当并行块行的索引低于高度被用信号发送的并行块行的数量时,可基于在比特流中用信号发送的语法tile_height_minus1来确定相应并行块行的高度。另一方面,当并行块行的索引等于或大于高度被用信号发送的并行块行的数量时,相应并行块行的高度可被设置为与最后用信号发送的语法tile_height_minus1相同。
在另一示例中,可按照并行块用信号发送表示并行块的高度和宽度的信息。在示例中,当确定并行块的数量时,用于确定每个并行块的尺寸的信息可被编码并且被用信号发送。在示例中,可在比特流中用信号发送表示第i并行块的宽度的语法元素tile_width_minus1[i]和表示第i并行块的高度的语法元素tile_height_minus1[i]。为此,可以对表示画面中的并行块的总数的信息进行编码。
如果确定了并行块的数量,则可针对每个并行块用信号发送用于定义每个并行块的信息的信息。
首先,对于除了第一并行块之外的其余并行块,指示是否具有与先前并行块相同的尺寸的信息可以被编码并且被用信号发送。在示例中,语法元素use_previous_tile_size_flag表示当前并行块的尺寸是否与先前并行块的尺寸相同。如果use_previous_tile_size_flag为真,则表示当前并行块的尺寸与先前并行块的尺寸相同。在这种情况下,可以省略对表示当前并行块的尺寸的信息的编码。如果use_previous_tile_size_flag为假,则表示当前并行块的尺寸的信息可以被编码并且被用信号发送。对于第一并行块,可以省略use_previous_tile_size_flag的编码,并且可以推断标志的值为假。在示例中,表示第i并行块的宽度的语法tile_width_minus1[i]及表示第i并行块的高度的语法tile_height_minus1[i]可被编码并且被用信号发送。
可以利用指示并行块的宽度是否与先前并行块的宽度相同的信息和/或指示并行块的高度是否与先前并行块的高度相同的信息来确定并行块尺寸。
表8表示包括表示并行块的宽度是否与先前并行块的宽度相同的信息的语法表。
[表8]
Figure BDA0002816481110000481
语法元素use_previous_tile_width_flag指示当前并行块的宽度是否与先前并行块的宽度相同。如果use_previous_tile_width_flag为真,则可以省略表示当前并行块的宽度的语法元素的编码,并且可以将当前并行块的宽度设置为与先前并行块的宽度相同。
当use_previous_tile_width_flag为假时,可以用信号发送表示当前并行块的宽度的信息。在示例中,tile_width_minus1[i]可表示从包括在第i并行块中的编码树单元行的数量减去1的值。
仅当确定当前并行块的尺寸与先前并行块的尺寸不同时(例如,当use_previous_tile_size_flag的值为0时),语法元素use_previous_tile_width_flag可被编码并且被用信号发送。
tile_width_minus1[i]可以是从第i并行块中包括的编码树单元列的数量减去1的值。解码器可以通过将tile_width_minus1[i]加1来推导包括在第i并行块中的编码树单元列的数量,并且通过将推导的值乘以编码树单元的宽度来计算并行块的宽度。
表9表示还包括指示当前并行块的高度是否与先前并行块的高度相同的信息的语法表。
[表9]
Figure BDA0002816481110000501
Figure BDA0002816481110000511
语法元素use_previous_tile_height_flag表示当前并行块的高度是否与先前并行块的高度相同。如果use_previous_tile_height_flag为真,则可以省略对表示当前并行块的高度的信息的编码,并且可以将当前并行块的高度设置为与先前并行块的高度相同。
当use_previous_tile_height_flag为假时,可以用信号发送表示当前并行块的高度的信息。在示例中,tile_height_minus1[i]可表示从包括在第i并行块中的编码树单元行的数量减去1的值。
仅当确定当前并行块的尺寸与先前并行块的尺寸不同时(例如,当use_previous_tile_size_flag的值为0时),语法元素use_previous_tile_height_flag可被编码并且被用信号发送。另外,可仅在use_previous_tile_width_flag为假时用信号发送语法元素use_previous_tile_height_flag。
表8表示使用use_previous_tile_width_flag的情况的示例,表9表示使用use_previous_tile_width_flag和use_previous_tile_height_flag的情况的示例。尽管没有在上表中示出,但是可以省略use_previous_tile_width_flag的编码,并且可以仅使用use_previous_tile_height_flag。
可以基于并行块扫描顺序、第一并行块的宽度/高度或先前并行块的宽度/高度中的至少一个来确定是否使用use_previous_tile_height_flag或use_previous_tile_size_flag。在示例中,虽然当并行块扫描顺序是垂直方向时可使用use_previous_tile_height_flag,但当并行块扫描顺序是水平方向时可使用use_previous_tile_width_flag。可选地,虽然当第一并行块或先前并行块具有宽度大于高度的非正方形形状时可以使用use_previous_tile_width_flag,但当第一并行块或先前并行块具有高度大于宽度的非正方形形状时可以使用use_previous_tile_height_flag。
虽然包括在画面中的并行块的数量被用信号发送,但可省略与最后并行块的并行块尺寸相关的信息的编码。
表10表示最后并行块的并行块尺寸的编码被省略的示例。
[表10]
Figure BDA0002816481110000521
如果除最后并行块之外的并行块的尺寸被指定,那么画面中的其余区域可被设置为最后并行块。
解码器可以基于根据上面的语法元素和编码树单元的尺寸推导的编码树单元列的数量和/或编码树单元行的数量来确定并行块的尺寸。在示例中,可以通过(tile_width_minus1[i]+1)*(编码树单元的宽度)来设置第i并行块的宽度,并且可以通过(tile_height_minus1[i]+1)*(编码树单元的高度)来设置第i并行块的高度。
另一方面,表示编码树单元的尺寸的信息可以通过序列参数集或通过画面参数集被用信号发送。
可以将用于标识编码树单元所属的并行块的标识符(在下文中称为TileID)分配给每个编码树单元。
图30是示出TileID被分配给每个编码树单元的示例的示图。
可以将相同的TileID分配给属于相同并行块的编码树单元。具体地,N的TileID可以被分配给属于并行块N的编码树单元。
为了确定分配给每个编码树单元的TileID,可以确定表示画面中的编码树单元的位置的变量x和y。在这方面,x表示通过将(x0,y0)中的x轴坐标除以编码树单元的宽度而推导的值,并且y表示通过将(x0,y0)中的y轴坐标除以编码树单元的高度而推导的值。具体地,x和y可以从下面的等式7和等式8被推导。
[等式7]
x=(x0/(CTU_width))
[等式8]
y=(y0/CTU_height))
可以在下面的处理中将TileID分配给每个编码树单元。
i)初始化TileID
每个编码树单元的TileID可以被初始化为从画面中的并行块的数量减去1的值。
[表11]
Figure BDA0002816481110000531
ii)推导TileID
[表12]
Figure BDA0002816481110000541
多个并行块可以被定义为一个处理单元。在示例中,多个并行块可以被定义为一个并行块组。并行块组可以被称为条带。
可选地,可将一个并行块分区为多个处理单元。在示例中,可将并行块分区为多个条带。在这方面,一个条带可包括至少一个编码树单元列。当将并行块分区为多个条带时,可在比特流中用信号发送表示每个条带的高度的信息。
可以在比特流中用信号发送表示序列中或画面中的并行块组的总数的信息。在示例中,可以用信号发送表示序列中或画面中的并行块组的总数的语法numTotalTileGroup_minus1。
当画面中包括多个并行块组时,可用信号发送并行块组的地址信息以标识每个并行块组。在示例中,表示每个并行块组的索引的语法tile_group_index可按照并行块组被用信号发送。
视频编码/解码信息可通过并行块组头被用信号发送。通过并行块组头被用信号发送的信息可共同被应用于属于并行块组的并行块。
可在比特流中用信号发送用于确定包括在画面中的并行块组的信息。所述信息可包括表示并行块组的分区方法的信息。在示例中,可在比特流中用信号发送指示并行块组的分区方法的语法rec_tile_group_flag。
语法rec_tile_group_flag表示是否基于光栅扫描顺序定义并行块组或者是否以矩形形状定义并行块组。在示例中,如果rec_tile_group_flag为0,则其表示基于并行块的光栅扫描顺序定义并行块组。另一方面,如果rec_tile_group_flag为1,则其表示以矩形形状定义并行块组。
当应用灵活并行块分区方法时,可以仅允许以矩形形状定义并行块组。换言之,当应用灵活并行块分区方法时,可以省略rec_tile_group_flag的编码,并且可以将该值推断为1。
在下文中,将详细描述用于确定并行块组的上面的两种方法。
可以基于并行块的光栅扫描顺序来定义并行块组。在示例中,至少一个并行块可被定义为一个并行块组,但包括在并行块组中的并行块应按照光栅扫描顺序被确定。
图31和图32表示基于光栅顺序定义并行块组的示例。
在示例中,在图31所示的示例中,当假设第一并行块组(并行块组0)包括3个并行块时,第一并行块组(并行块组0)可被定义以按照光栅扫描顺序包括并行块0至并行块2。当假设第二并行块组(并行块组1)包括6个并行块时,第二并行块组(并行块组1)可被定义以按光栅扫描顺序包括并行块3至并行块8。最后并行块组(并行块组2)可包括按照光栅扫描顺序的其余并行块(并行块9至并行块11)。
当按照光栅扫描顺序定义并行块组时,可用信号发送表示包括在每个并行块组中的并行块的数量的信息以确定包括在每个并行块组中的并行块。对于最后并行块组,可以省略表示包括在并行块组中的并行块的数量的信息。
包括在并行块组中的并行块的宽度或高度可以是不同的。在示例中,示出了包括在第二并行块组(并行块组1)中的并行块中的并行块3的高度与其余并行块的高度不同。
可选地,可以将具有不同宽度或高度的并行块设置为不被包括在一个并行块组中。在示例中,图31所示的示例示出高度为2的并行块3和高度为3的并行块4至并行块8构成一个并行块组,但是并行块的这种组合可以被设置为不允许。换言之,如在图32所示的示例中,其可被设置使得一个并行块组不包括具有不同高度的并行块。图32所示的示例示出包括图31所示的并行块3至并行块8的并行块组被分区为两个并行块组(并行块组1和并行块组2)。因此,第二并行块组(并行块组1)仅包括高度为2的并行块3,并且第三并行块组(并行块组2)仅包括高度为3的并行块4至并行块8。
并行块组可以以矩形形状被定义。在这种情况下,位于并行块组的四个转角的并行块属于相同行或相同列。
图33是示出仅矩形并行块组被允许的示例的示图。
如在图33所示的示例中,第四并行块组(并行块组3)包括并行块5、并行块6、并行块9和并行块10。如在所示的示例中,当并行块组包括多个并行块时,具有构成并行块组的左上方并行块和右下方并行块作为两个顶点的矩形可被定义为一个并行块组。
当应用灵活并行块分区方法时,可以仅允许以矩形形状定义并行块组。
图34是示出在灵活并行块分区方法中并行块组被定义的示例的示图。
如在图34所示的示例中,并行块组可以被设置为具有矩形形状。换言之,如在所示的示例中,当并行块组包括多个并行块时,以构成并行块组的左上方并行块和右下方并行块作为两个顶点的矩形可被定义为一个并行块组。
当预定并行块的高度大于先前并行块组的高度时,可以设置相应的并行块以形成一个并行块组。在示例中,在图34中所示的示例中,因为并行块8的高度大于先前并行块组(并行块组1)的高度,所以并行块8可被定义为单独的并行块组。
当以正方形形状定义并行块组时,可用信号发送用于标识包括在每个并行块组中的并行块的信息以确定包括在每个并行块组中的并行块。所述信息可以用于标识位于并行块组的左上方的并行块的索引和位于并行块组的右上方的并行块的索引。在示例中,可在比特流中用信号发送用于标识位于并行块组的左上方的并行块的索引的语法top_left_tile_idx以及用于标识位于并行块组的右下方的并行块的索引的语法bottom_right_tile_idx。对于最后并行块组,可以省略对用于标识位于并行块组的左上方的并行块的索引的语法或用于标识位于并行块组的右下方的并行块的索引的语法中的至少一个的编码。
在示例中,在图33所示的示例中,对于并行块组0、并行块组1和并行块组2,可以用信号发送位于每个并行块组的左上方的并行块的索引top_left_tile_idx以及位于每个并行块组的右下方的并行块的索引bottom_right_tile_idx。另一方面,对于作为画面中的最后并行块组的并行块组3,可以省略对top_left_tile_idx和bottom_right_tile_idx的编码。可以将位于并行块组3的左上方的并行块的索引设置为位于画面中除并行块组0、并行块组1和并行块组2之外的其余区域的左上方的并行块的索引,并且可以将位于并行块组3的右下方的并行块的索引设置为以上的其余区域的右下方的并行块(或者位于画面的右下方的并行块)的索引。
可选地,可在比特流中用信号发送表示位于并行块组的左上方的并行块的索引以及位于并行块组的右上方的并行块的索引之间的差值的信息。在示例中,可用信号发送用于标识位于并行块组的左上方的并行块的索引的语法top_left_tile_idx以及表示位于并行块组的左上方的并行块的索引与位于并行块组的右下方的并行块的索引之间的差值的语法tile_delta_idx。对于最后并行块组,对表示位于并行块组的左上方的并行块的索引的语法或表示位于并行块组的左上方的并行块的索引与位于并行块组的右下方的并行块的索引之间的差值的语法中的至少一个进行编码。
可选地,可在比特流中用信号发送表示位于先前并行块组的右下方的并行块的索引与位于当前并行块组的右下方的并行块的索引之间的差值的信息。在示例中,可用信号发送表示位于先前并行块组的右下方的并行块的索引与位于当前并行块组的右下方的并行块的索引之间的差值的语法tile_delta_idx。对于第一并行块组,语法tile_delta_idx可以表示第一并行块组中的左上方并行块的索引与右下方并行块的索引之间的差值。对于最后并行块组,可以省略对表示位于先前并行块组的右下方的并行块的索引与位于当前并行块组的右下方的并行块的索引之间的差值的语法的编码。
可以基于编码树单元的索引而不是并行块组的索引来定义并行块组。
上述示例描述了按照并行块的光栅扫描顺序定义并行块组,但是也可以根据垂直扫描、水平扫描或对角线扫描来定义并行块组。
可以用信号发送指示画面中的至少一个并行块组是否包括多个并行块的信息。在示例中,可用信号发送指示是否存在包括多个并行块的并行块组的语法isMultipleTileInTileG_flag。如果语法isMultipleTileInTileG_flag为1,则表示画面中的至少一个并行块组包括至少2个并行块或更多个并行块。如果语法isMultipleTileInTileG_flag为0,则表示画面中的所有并行块组包括1个并行块。当isMultipleTileInTileG_flag为0时,每个并行块可以被定义为并行块组。
可选地,可按照并行块组用信号发送指示构成并行块组的并行块的数量是否为多个的信息。在示例中,语法isMultipleTileInTileG_flag[i]表示第i并行块组是否包括多个并行块。当并行块组中包括的并行块的数量是1时,可以省略对用于确定并行块组中包括的并行块的信息(例如,关于并行块的数量的信息或关于并行块索引的信息)的编码。
可以用信号发送表示并行块组中的并行块的数量的语法num_tile_inTG_minus2。语法num_tile_inTG_minus2可以被设置为从并行块组中包括的并行块的数量减去2的值。仅当并行块组被确定为包括多个并行块时(例如,当isMultipleTileInTileG_flag的值为1时),可以对表示并行块组中的并行块的数量的语法num_tile_inTG_minus2进行编码。
可选地,可以省略isMultipleTileInTileG_flag的编码,并且可以对表示并行块组中的并行块的数量的语法num_tile_inTG_minus1进行编码。语法num_tile_inTG_minus1可以被设置为从并行块组中包括的并行块的数量减去1的值。
仅当基于并行块的光栅扫描顺序定义并行块组时,可以对表示并行块组的数量的语法num_tile_inTG_minus2或num_tile_inTG_minus1进行编码。在示例中,当基于并行块的光栅扫描顺序定义并行块组时,可基于包括在每个并行块组中的并行块的数量来确定并行块组。在示例中,num_tile_inTG_minus1[i]表示包括在第i并行块组中的并行块的数量。如果确定包括在并行块组中的并行块的数量,那么可以按照光栅扫描顺序确定包括在并行块组中的并行块。对于最后并行块组,可以省略对表示包括在并行块组中的并行块的数量的语法的编码。
可用信号发送指示先前并行块组的尺寸是否与当前并行块组的尺寸相同的信息。在这方面,可以基于并行块组的索引或预定扫描顺序来确定先前并行块组。在示例中,可将先前并行块组确定为索引比当前并行块组小1的并行块组。可选地,可以根据光栅扫描顺序、水平扫描顺序、垂直扫描顺序或对角线扫描顺序中的至少一个来确定先前并行块组。
上面的信息可包括以下项中的至少一个:指示先前并行块组的尺寸是否与当前并行块组的尺寸相同的信息、指示先前并行块组的宽度是否与当前并行块组的宽度相同的信息或指示先前并行块组的高度是否与当前并行块组的高度相同的信息。
在示例中,可用信号发送指示当前并行块组的尺寸是否与先前并行块组的尺寸相同的语法use_previous_TG_size_flag。如果语法use_previous_TG_size_flag[i]为1,则表示第i并行块组的尺寸与第(i-1)并行块组的尺寸相同。当语法use_previous_TG_size_flag[i]为1时,可以省略对用于确定包括在第i并行块组中的并行块的信息的编码。例如,可以省略对表示包括在并行块组中的并行块的数量的信息或表示包括在并行块组中的并行块的索引的信息的编码。
如果语法use_previous_TG_size_flag[i]为0,则表示第i并行块组的尺寸不同于第(i-1)并行块组的尺寸。当语法use_previous_TG_size_flag[i]为0时,用于确定包括在第i并行块组中的并行块的信息可以被编码并且被用信号发送。
上面提到的实施例描述了通过画面参数集用信号发送指示是否允许在并行块的边界应用环内滤波器的标志。但是,当设置为不在所有并行块的边界上使用环内滤波器时,可能出现主观图像质量降低并且编码效率降低的问题。
因此,指示是否允许环内滤波器的信息可按照并行块被编码并且被用信号发送。
图35示出按照并行块选择性地确定是否应用环内滤波器的示例。
如在图35所示的示例中,可按照并行块确定是否将在水平边界或垂直边界允许环内滤波器(例如,去块滤波器、SAO和/或ALF)。
表13表示指示是否允许环内滤波器的信息按照并行块被编码的示例。
[表13]
Figure BDA0002816481110000601
在表13中的示例中,语法元素loop_filter_across_tiles_flag[i]表示是否允许将环内滤波器应用于第i并行块。如果loop_filter_across_tile_flag[i]的值为1,则表示可以在TileID为i的并行块的水平边界和垂直边界使用环内滤波器。如果loop_filter_across_tile_flag[i]的值为0,则表示可以不在TileID为i的并行块的水平边界和垂直边界使用环内滤波器。
可对指示对于每个水平方向和垂直方向是否允许环内滤波器的信息进行编码。
表14表示指示是否允许环内滤波器的信息针对水平方向和垂直方向被单独编码的示例。
[表14]
Figure BDA0002816481110000611
在表14的示例中,语法元素loop_filter_hor_across_tiles_flag[i]表示是否允许跨第i并行块水平地应用环内滤波器。语法元素loop_filter_ver_across_tiles_flag[i]表示是否允许跨第i并行块垂直地应用环内滤波器。
如果loop_filter_hor_across_tile_flag[i]的值为1,则表示可以在TileID为i的并行块的水平边界使用环内滤波器。如果loop_filter_hor_across_tile_flag[i]的值为0,则表示不可以在TileID为i的并行块的水平边界使用环内滤波器。
如果loop_filter_ver_across_tile_flag[i]的值为1,则表示可以在TileID为i的并行块的垂直边界使用环内滤波器。如果loop_filter_ver_across_tile_flag[i]的值为0,则表示不可以在TileID为i的并行块的垂直边界上使用环内滤波器。
可选地,在并行块组级别中,可用信号发送指示是否允许环内滤波器的信息。可以通过上面的信息来确定是否允许用于并行块组中包括的多个并行块的环内滤波器。
可以省略对指示是否允许环内滤波器的信息的编码,并且可以基于包括在并行块中的编码树单元的数量、并行块的宽度或并行块的高度中的至少一个来确定是否允许环内滤波器。在示例中,当并行块的宽度小于基本值时,可以允许用于水平方向的环内滤波器,并且当并行块的高度小于基本值时,可以允许用于垂直方向的环内滤波器。
当在并行块边界上使用环内滤波器时,可以基于包括在并行块中的数据产生并行块外部的重建数据。在这方面,可以通过对包括在并行块中的数据填充或插值来获得并行块外部的重建图像。之后,可以通过使用并行块外部的重建数据来应用环内滤波器。
将如关于解码处理或编码处理所描述的实施例分别应用于编码处理或解码处理可以被包括在本公开的范围内。在本公开的范围内,按照预定顺序发生操作的实施例可以被修改为按照与预定顺序不同的顺序发生操作的实施例。
尽管基于一系列操作或流程图描述了上述实施例,但是实施例不将方法的操作的时间序列顺序限制于此。在另一示例中,操作可以根据需要同时被执行或者按照与其不同的顺序被执行。此外,在上述实施例中,构成框图的每个组件(例如,单元、模块等)可以以硬件设备或软件的形式被实现。多个组件可以彼此组合成单个组件,其中,单个组件可以使用单个硬件装置或软件被实现。可以使用可以经由各种计算机组件执行的程序指令来实现上述实施例。指令可以被记录在计算机可读存储介质中。计算机可读存储介质可以在其中单独地或彼此组合地包括程序指令、数据文件、数据结构等。计算机可读存储介质的示例包括被特别配置为在其中存储并执行程序指令的磁性介质(诸如硬盘、软盘和磁带)、光存储介质(诸如CD-ROM、DVD)和磁光介质(诸如光盘)、以及硬件装置(诸如ROM、RAM、闪存等)。硬件设备可以被配置为作为一个或多个软件模块操作以执行根据本公开的处理,反之亦然。
工业可用性
本公开可以被应用于对视频进行编码/解码的电子装置。

Claims (10)

1.一种对视频进行解码的方法,所述方法包括:
将画面分区为多个并行块;以及
基于所述多个并行块确定至少一个条带,
其中,将画面分区为所述多个并行块的步骤包括:
确定画面中的第一并行块列的宽度,其中,通过表示第一并行块列的宽度的语法确定第一并行块列的宽度;以及
确定与第一并行块列邻近的第二并行块列的宽度,并且
其中,当第二并行块列的宽度与第一并行块列的宽度相同时,省略对表示第二并行块列的宽度的语法的解码,并且将第二并行块列的宽度设置为与第一并行块列的宽度相同。
2.如权利要求1所述的方法,其中,第二并行块列是画面中的最右侧并行块列。
3.如权利要求1所述的方法,其中,确定条带的步骤包括:
对表示确定所述条带的方法的信息进行解码,其中,表示确定所述条带的方法的信息表示所述条带是基于光栅扫描顺序被定义还是按照矩形形状被定义;以及
对用于确定包括在所述条带中的并行块的信息进行解码,并且
其中,当所述条带基于光栅扫描顺序被定义时,用于确定并行块的信息与表示包括在所述条带中的并行块的数量的信息相应,并且
其中,当所述条带被定义为矩形形状时,用于确定并行块的信息与用于确定包括在所述条带中的并行块中的至少一个索引的信息相应。
4.如权利要求3所述的方法,其中,用于确定索引的信息表示包括在所述条带中的预定位置的并行块与包括在先前条带中的预定位置的并行块之间的索引差。
5.如权利要求4所述的方法,其中,对于画面中的最后条带,省略对用于确定并行块的信息的解码。
6.一种视频编码方法,包括:
将画面分区为多个并行块;以及
基于多个并行块确定至少一个条带,
其中,将画面分区为所述多个并行块的步骤包括:对表示画面中的第一并行块列的宽度的信息进行编码;以及确定与第一并行块列邻近的第二并行块列的宽度是否被编码,并且
其中,当第二并行块列的宽度与第一并行块列的宽度相同时,省略对表示第二并行块列的宽度的语法的编码。
7.如权利要求6所述的方法,其中,第二并行块列是画面中的最右侧并行块列。
8.如权利要求6所述的方法,其中,确定条带的步骤包括:对表示确定所述条带的方法的信息进行编码,并且所述信息表示所述条带是基于光栅扫描顺序被定义还是按照矩形形状被定义;以及
对用于确定包括在所述条带中的并行块的信息进行编码,
其中,当所述条带基于光栅扫描顺序被定义时,用于确定并行块的信息与表示包括在所述条带中的并行块的数量的信息相应,并且
其中,当所述条带被定义为矩形形状时,用于确定并行块的信息与用于确定包括在所述条带中的并行块中的至少一个索引的信息相应。
9.如权利要求8所述的方法,其中,用于确定索引的信息表示包括在所述条带中的预定位置的并行块与包括在先前条带中的预定位置的并行块之间的索引差。
10.如权利要求9所述的方法,其中,对于画面中的最后条带,省略对用于确定并行块的信息的编码。
CN202080003179.XA 2019-01-02 2020-01-02 用于对视频信号进行编码/解码的方法及其装置 Pending CN112236998A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR20190000468 2019-01-02
KR10-2019-0000468 2019-01-02
KR10-2019-0004996 2019-01-15
KR20190004996 2019-01-15
PCT/KR2020/000055 WO2020141904A1 (ko) 2019-01-02 2020-01-02 영상 신호 부호화/복호화 방법 및 이를 위한 장치

Publications (1)

Publication Number Publication Date
CN112236998A true CN112236998A (zh) 2021-01-15

Family

ID=71407034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080003179.XA Pending CN112236998A (zh) 2019-01-02 2020-01-02 用于对视频信号进行编码/解码的方法及其装置

Country Status (5)

Country Link
US (2) US11012691B2 (zh)
EP (1) EP3910943A4 (zh)
KR (1) KR102619997B1 (zh)
CN (1) CN112236998A (zh)
WO (1) WO2020141904A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2021004194A (es) * 2018-12-07 2021-05-27 Panasonic Ip Corp America Decodificador, y metodo de decodificacion.
WO2020142540A1 (en) * 2018-12-31 2020-07-09 Futurewei Technologies, Inc. An encoder, a decoder and corresponding methods for tile configuration signaling
EP3910943A4 (en) 2019-01-02 2022-11-16 Apple Inc. IMAGE SIGNAL CODING/DECODING METHOD AND RELATED DEVICE
US20200236377A1 (en) * 2019-01-22 2020-07-23 Tencent America LLC Method for tile group identification
CN110650357B (zh) * 2019-09-27 2023-02-10 腾讯科技(深圳)有限公司 视频解码方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150033194A (ko) * 2013-09-23 2015-04-01 삼성전자주식회사 병렬 부호화/복호화 방법 및 장치
JP2017208846A (ja) * 2011-03-10 2017-11-24 シャープ株式会社 復号方法、復号装置、符号化方法及び符号化装置。
JP2018056686A (ja) * 2016-09-27 2018-04-05 株式会社ドワンゴ 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、画像復号装置、画像復号方法、及び画像復号プログラム
KR20180098158A (ko) * 2017-02-24 2018-09-03 주식회사 케이티 비디오 신호 처리 방법 및 장치
KR20180111839A (ko) * 2016-02-11 2018-10-11 톰슨 라이센싱 휘도 채널 및 적어도 하나의 색차 채널에 의해 표현되는 이미지 데이터를 포함하는 이미지 유닛을 인코딩/디코딩하기 위한 방법 및 디바이스
CN109076216A (zh) * 2016-03-30 2018-12-21 韩国电子通信研究院 使用画面划分信息对视频进行编码和解码的方法和设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5340091B2 (ja) 2008-12-19 2013-11-13 キヤノン株式会社 画像符号化装置及びその制御方法
US20120230399A1 (en) 2011-03-10 2012-09-13 Christopher Andrew Segall Video decoder parallelization including a bitstream signal
US20120230398A1 (en) 2011-03-10 2012-09-13 Christopher Andrew Segall Video decoder parallelization including slices
CN105981386B (zh) * 2013-12-06 2019-02-26 华为技术有限公司 图像解码装置、图像编码装置及编码数据变换装置
US10542258B2 (en) 2016-01-25 2020-01-21 Google Llc Tile copying for video compression
US10743000B2 (en) * 2016-07-01 2020-08-11 Sk Telecom Co., Ltd. Video bitstream generation method and device for high-resolution video streaming
JP2018107500A (ja) * 2016-12-22 2018-07-05 キヤノン株式会社 符号化装置、符号化方法及びプログラム、復号装置、復号方法及びプログラム
JP2021016016A (ja) * 2017-10-20 2021-02-12 シャープ株式会社 動画像符号化装置及び動画像復号装置
CN110035331B (zh) * 2018-01-12 2021-02-09 华为技术有限公司 一种媒体信息的处理方法及装置
CN112292855A (zh) * 2018-04-09 2021-01-29 Sk电信有限公司 用于对图像进行编码/解码的方法和装置
EP3840376B1 (en) * 2018-09-21 2023-07-05 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image signal encoding/decoding method and device therefor
EP3910943A4 (en) 2019-01-02 2022-11-16 Apple Inc. IMAGE SIGNAL CODING/DECODING METHOD AND RELATED DEVICE
WO2020146616A1 (en) * 2019-01-09 2020-07-16 Futurewei Technologies, Inc. Sub-picture sizing in video coding

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017208846A (ja) * 2011-03-10 2017-11-24 シャープ株式会社 復号方法、復号装置、符号化方法及び符号化装置。
KR20150033194A (ko) * 2013-09-23 2015-04-01 삼성전자주식회사 병렬 부호화/복호화 방법 및 장치
KR20180111839A (ko) * 2016-02-11 2018-10-11 톰슨 라이센싱 휘도 채널 및 적어도 하나의 색차 채널에 의해 표현되는 이미지 데이터를 포함하는 이미지 유닛을 인코딩/디코딩하기 위한 방법 및 디바이스
CN109076216A (zh) * 2016-03-30 2018-12-21 韩国电子通信研究院 使用画面划分信息对视频进行编码和解码的方法和设备
JP2018056686A (ja) * 2016-09-27 2018-04-05 株式会社ドワンゴ 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、画像復号装置、画像復号方法、及び画像復号プログラム
KR20180098158A (ko) * 2017-02-24 2018-09-03 주식회사 케이티 비디오 신호 처리 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RICKARD SJÖBERG 等: "Flexible Tiles", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 DOCUMENT: JVET-K0260-V2, 18 July 2018 (2018-07-18) *

Also Published As

Publication number Publication date
KR102619997B1 (ko) 2024-01-02
WO2020141904A1 (ko) 2020-07-09
US20210235082A1 (en) 2021-07-29
US20230300331A1 (en) 2023-09-21
EP3910943A1 (en) 2021-11-17
EP3910943A4 (en) 2022-11-16
US20210067775A1 (en) 2021-03-04
KR20200084306A (ko) 2020-07-10
US11012691B2 (en) 2021-05-18
US11601646B2 (en) 2023-03-07

Similar Documents

Publication Publication Date Title
CN112673637A (zh) 用于对图像信号进行编码/解码的方法及其装置
CN112740677A (zh) 用于对图像信号进行编码/解码的方法及其装置
CN112514384A (zh) 视频信号编码/解码方法及其装置
CN113329224A (zh) 视频信号编码/解码方法以及用于所述方法的设备
CN112219397A (zh) 用于对视频信号编码/解码的方法及其装置
CN113395517B (zh) 视频信号编码/解码方法及其设备
US11943438B2 (en) Method for encoding/decoding image signal, and device for same
CN112514380A (zh) 用于对视频信号进行编码/解码的方法及其设备
CN116828205A (zh) 用于解码视频的方法和用于编码视频的方法
CN112236998A (zh) 用于对视频信号进行编码/解码的方法及其装置
CN112930683A (zh) 用于对图像信号进行编码/解码的方法及其设备
CN113039799B (zh) 图像信号编码/解码方法及其设备
CN112470479A (zh) 图像信号编码/解码方法及其装置
CN112840647A (zh) 视频信号编码/解码方法以及用于所述方法的设备
CN113574878A (zh) 用于对视频信号进行编码/解码的方法及其设备
CN112544083A (zh) 图像信号编码/解码方法及用于其的装置
CN112236996A (zh) 视频信号编码/解码方法及其装置
CN113711596A (zh) 图像信号编码/解码方法及其装置
CN112970251A (zh) 用于对图像信号进行编码/解码的方法及其装置
CN113170199A (zh) 用于对图像信号进行编码/解码的方法及其装置
CN113056912B (zh) 用于对图像信号进行编码/解码的方法及其装置
CN113439439A (zh) 用于对图像信号进行编码/解码的方法及其装置
CN112956198A (zh) 用于对图像信号进行编码/解码的方法及其装置
US20240179312A1 (en) Method for encoding/decoding image signal, and device for same
US11997272B2 (en) Image signal encoding/decoding method and device for same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220413

Address after: California, USA

Applicant after: APPLE Inc.

Address before: Gyeonggi Do city of South Korea

Applicant before: Xris Co.,Ltd.

TA01 Transfer of patent application right