CN116233423A - 基于自适应像素分类基准的环路滤波方法 - Google Patents

基于自适应像素分类基准的环路滤波方法 Download PDF

Info

Publication number
CN116233423A
CN116233423A CN202310243511.5A CN202310243511A CN116233423A CN 116233423 A CN116233423 A CN 116233423A CN 202310243511 A CN202310243511 A CN 202310243511A CN 116233423 A CN116233423 A CN 116233423A
Authority
CN
China
Prior art keywords
block
sample
samples
information
restored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310243511.5A
Other languages
English (en)
Inventor
金起佰
郑济昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industry University Cooperation Foundation IUCF HYU
Original Assignee
Industry University Cooperation Foundation IUCF HYU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industry University Cooperation Foundation IUCF HYU filed Critical Industry University Cooperation Foundation IUCF HYU
Publication of CN116233423A publication Critical patent/CN116233423A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

公开基于自适应像素分类基准的环路滤波方法。影像解码装置中基于自适应像素分类基准的环路滤波方法包括：根据绝对分类基准或相对分类基准对复原样本分类的步骤、根据分类所述复原样本的结果获取偏移信息的步骤、参照获取的偏移信息向所述复原样本加上所述偏移值的步骤、以及输出加上了所述偏移值的复原样本的步骤。因此，能够补正复原样本的错误。

Description

基于自适应像素分类基准的环路滤波方法
本申请是申请日为2018年03月22日，申请号为201880033604.2，发明名称为“基于自适应像素分类基准的环路滤波方法”的分案申请。
技术领域
本发明涉及基于自适应像素分类基准的环路滤波方法，更具体来讲涉及将复原样本按绝对分类基准或相对分类基准分类，并将根据分类的结果自适应地设置的偏移值相加到复原样本以过滤复原样本的方法。
背景技术
称作ISO/ISE MPEG(Moving Picture Experts Group)及ITU-T VCEG(VideoCoding Experts Group)的各机构组织了JCV-VC(Joint Collaborative Teamon VideoCoding)在2013年1月制定了ISO/IEC MPEG-H HEVC(High Efficiency Video Coding)/ITU-T H.265视频压缩标准技术。并且，为了适应高图像品质的影像随着当前信息通信技术快速发展大众化的趋势，ISO/ISE MPEG与ITU-T VCEG在第22次JCT-VC日内瓦会议组织了JVET(Joint Video Exploration Team)，为了制定用于压缩比HD(High Definition)图像品质更清晰的UHD图像品质(Ultra High Definition)的影像的新一代影像压缩技术标准而付出了大量努力。
另外，基于现有的视频压缩标准技术(HEVC)的环路滤波器提出了样本自适应偏移(S ample Adaptive Offset)，加上关于复原像素(或样本)的偏移(Offset)值以最小化复原影像与原始影像之间的错误。
现有的样本自适应偏移区分为边缘偏移(edge offset)及带偏移(band offset)，根据复原样本确定自适应偏移值，具体来讲根据以复原像素为中心形成的边缘与复原像素所属的像素带自适应地使用偏移值。
然而，由于近来的影像具有很多种特性，因此仅凭现有的边缘偏移与带偏移确定偏移值的情况下在消除复原影像的错误方面存在局限性。
发明内容
技术问题
用于解决如上所述的问题的本发明的目的是提供一种基于自适应像素分类基准的环路滤波方法。
技术方案
根据用于达成上述目的的本发明的一个方面，提供基于自适应像素分类基准的环路滤波方法。
影像解码装置中基于自适应像素分类基准的环路滤波方法可包括基于绝对分类基准或相对分类基准对复原样本分类的步骤、根据分类所述复原样本的结果获取偏移信息的步骤、参照获取的偏移信息向所述复原样本加上偏移值的步骤及输出加上了所述偏移值的复原样本的步骤。
在此，所述对复原样本分类的步骤可包括分类基准为所述绝对分类时，根据所述复原样本的亮度值所属的带域对所述复原样本分类的步骤。
在此，所述对复原样本分类的步骤可包括分类基准为所述相对分类时，根据通过所述复原样本的像素值及与所述复原样本邻接的相邻样本的像素值相互比较导出的边缘信息及斜率信息中至少一个对所述复原样本分类的步骤。
技术效果
利用如上所述的本发明的基于绝对分类或相对分类执行样本自适应偏移的方法的情况下，能够更精密地修正复原影像的错误。
并且，由于适用多种分类基准，因此具有能够适用符合各复原影像的特性的偏移的优点。
附图说明
图1为本发明的实施例的影像编码及解码系统的概念图；
图2是本发明的一个实施例的影像编码装置的框图；
图3是本发明的一个实施例的影像解码装置的构成图；
图4a至图4c是示出作为本发明的一个实施例的影像编/解码装置使用的子区域的块、区块、片段的例示图；
图5a及图5b是本发明的一个实施例的按照扫描顺序以连续的块的集束生成片段的例示图；
图6a至图6d是示出图像内的区块与基本编码单位的例示图；
图7是以区块为单位执行编码或解码的情况下显式处理设置的信息的源代码；
图8是用于说明本发明的一个实施例的基于相对分类适用样本自适应偏移(Sample A daptive Offset)的样本像素的例示图；
图9是用于说明本发明的一个实施例的在相对分类根据边缘分类来分类的例示图；
图10是用于说明本发明的一个实施例的以基于相对分类适用样本自适应偏移的块为对象赋予偏移值的方法的例示图；
图11是用于说明本发明的一个实施例的基于绝对分类执行样本自适应偏移的方法的例示图；
图12是本发明的一个实施例的多种带域信息生成方法的例示图；
图13是用于说明本发明的一个实施例的基于相对分类及绝对分类的样本自适应偏移中使用的语法(syntax)的源代码；
图14是本发明的一个实施例的基于绝对分类或相对分类执行样本自适应偏移的方法的流程图。
具体实施方式
本发明可进行多种变更，可具有多种实施例，以下在附图中示出特定实施例并在说明书中进行具体说明。但其目的并非使本发明限定于特定的实施形态，因此应理解为包括属于本发明的思想及技术范围的所有变更、等同物及替代物。在说明各附图方面，对类似的构成要素标注类似的附图标记。
第一、第二、A、B等术语可用于说明多种构成要素，但所述构成要素不得受限于所述术语。使用所述术语的目的在于使一个构成要素区分于其他构成要素。例如，在不脱离本发明的权利范围的前提下，可以将第一构成要素命名为第二构成要素，也可以类似地将第二构成要素命名为第一构成要素。“及/或”这种术语包括多个相关的记载的项目的组合或多个相关的记载的项目中的某个项目。
提到某个构成要素“连接于”或“接入于”其他构成要素的情况下，虽然可能直接连接或接入于其他构成要素，但应理解中间还可能存在其他构成要素。反面，当提到某个构成要素“直接连接于”或“直接接入于”其他构成要素的情况下，应理解为中间不存在其他构成要素。
本申请中使用的术语只是用于说明特定实施例，意图并非限定本发明。单数的表现形式在无特殊说明的情况下还包括复数。应该将本申请中的“包括”或“具有”等术语理解为存在说明书中记载的特征、数字、步骤、动作、构成要素、部分或其组合，而不应理解为预先排除一个或多个其他特征或数字、步骤、动作、构成要素、部分或其组合的存在或附加可能性。
另外若无另行定义，本文中使用的包括技术术语或科学术语在内的所有术语均表示与本领域普通技术人员通常理解相同的意思。通常使用的词典中定义过的术语应解释为与相关技术的文章脉络相一致的意思，本申请中没有明确定义的情况下不得解释为怪异或过度形式性的意思。
一般来讲影像可以由一系列的静态影像(Still Image)构成，可以以GOP(Groupof Pictures，图像组)单位区分该静态影像，可以将各静态影像称为图像(Picture)或帧(Frame)。上位概念可以有GOP、序列(Sequence)等单位，并且各图像可分割成片段(Slice)、区块(Tile)、块(Block)等之类的指定的区域。并且，一个GOP可包括I图像、P图像、B图像等单位。I图像可表示不使用参照图像地自我编/解码的图像，P图像与B图像可表示使用参照图像执行运动估计(Motion Estimation)及运动补偿(Motion Compensation)等过程进行编/解码的图像。一般来讲P图像的情况下可以将I图像与P图像用作参照图像，B图像的情况下可以将I图像与P图像用作参照图像，但可通过编/解码的设置变更上述定义。
在此将编/解码时参照的图像叫作参照图像(Reference Picture)，将参照的块或像素叫作参照块(Reference Block)、参照像素(Reference Pixel)。并且，参照的数据(Reference Data)不仅可以是空间域(Spatial Domain)的像素值，还可以是频域(Frequency Domain)的系数值、编/解码过程中生成、确定的多种编/解码信息。
构成影像的最小单位可以是像素，将用于表示一个像素的比特数称为比特深度(Bit Depth)。一般来讲比特深度可以是8比特，可根据编码设置支持其他比特深度。关于比特深度，可根据色彩空间(Color Space)支持至少一个比特深度。并且，可根据影像的色彩格式(Color Format)由至少一个色彩空间构成。可根据色彩格式由具有一定大小的一个以上的图像或具有其他大小的一个以上的图像构成。例如，YCbCr 4：2：0的情况下可以由1个灰度成分(在本例中，Y)及两个色差成分(在本例中，Cb/Cr)构成，在此，色差成分与灰度成分的构成比可具有横、竖1：2。根据另一例，4：4：4的情况下可具有横、竖相同的构成比。如上述例由一个以上的色彩空间构成的情况下，可对图像执行到各色彩空间的分割。
本发明以部分色彩格式(在本例中，YCbCr)的部分色彩空间(在本例中，Y)为基准说明，对基于色彩格式的其他色彩空间(在本例中，Cb、Cr)也可以相同或近似地适用(依赖于特定色彩空间的设置)。然而也可以使得对各色彩空间具有部分差异(依赖于特定色彩空间的设置)。即，依赖于各色彩空间的设置可表示具有成比例于或依赖于各成分的构成比(例如，根据4：2：0、4：2：2、4：4：4等确定)的设置，独立于各色彩空间的设置可表示与各成分的构成比无关或独立地仅具有该色彩空间的设置。在本发明中根据编/解码器，可对部分构成具有独立的设置或依赖性的设置。
可在视频、序列、图像、片段、区块、块等单位层级确定影像编码过程中所需的设置信息或语法要素。这些可以以VPS(Video Parameter Set，视频参数集)、SPS(SequenceParameter Set，序列参数集)、PPS(Picture Parameter Set，图像参数集)、片段头部(Slice Header)、区块头部(Tile Header)、块头部(Block Header)等之类的单位收录于比特流传输到解码器，解码器可在相同层级的单位解析(Parsing)对从编码器传输的设置信息复原以用于影像解码过程。各参数组具有固有的ID值，下位参数组可具有要参照的上位参数组的ID值。例如，下位参数组可参照一个以上的上位参数组中具有一致的ID值的上位参数组的信息。以上所述的多种单位的例中当某一个单位包括一个以上的其他单位的情况下可以将相应的单位称为上位单位，将包括的单位称为下位单位。
在所述单位发生的设置信息的情况下各相应单位可包括关于独立的设置的内容或包括关于依赖于之前、之后或上位单位等的设置的内容。在此，可以将依赖性的设置理解为用于遵照之前、之后、上位单位的设置的标志信息(例如，1比特标志为1时是遵照，为0时不遵照)表示相应单位的设置信息。在本发明中以关于独立的设置的例为中心说明设置信息，但还可以包括增加到或替换成关于对当前单位的之前、之后的单位或上位单位的设置信息依赖性的关系的内容的例。
以下参照本发明的优选实施例进行详细说明。
图1是本发明的实施例的影像编码及解码系统的概念图。
参见图1，影像编码装置105及解码装置100可以是个人计算机(PC：PersonalComputer)、笔记本计算机、掌上电脑(PDA：Personal Digital Assistant)、便携式媒体播放器(PMP：Portable Multimedia Player)、掌上游戏机(PSP：Play Station Portable)，无线通信终端(Wireless Communication Terminal)、智能手机(Smart Phone)、TV等之类的用户终端机或应用服务器与服务伺服器等服务器终端机，可包括具有用于与各种设备或有无线通信网进行通信的通信调制解调器等通信装置、为了对影像编码或解码而用于进行帧间或帧内预测的各种程序及用于存储数据的存储器(memory)120、125、用于运行程序以进行运算及控制的处理器(processor)110、115等的多种装置。并且，通过影像编码装置105编码成比特流的影像可实时或非实时地通过网络、近距离无线通信网、无线局域网、无线宽带网、移动通信网等有无线通信网(Network)等或通过线缆、通用串行总线(USB：UniversalSerial Bus)等之类的多种通信接口传输到影像解码装置100并被影像解码装置100解码以复原成影像播放。并且，通过影像编码装置105编码成比特流的影像可通过计算机可读存储介质从影像编码装置105传递到影像解码装置100。
图2是本发明的一个实施例的影像编码装置的框图。
本实施例的影像编码装置20如图2所示，可包括预测部200、减法部205、变换部210、量子化部215、反量子化部220、反变换部225、加法部230、过滤器部235、编码图像缓冲器240及熵编码部245。
预测部200可包括执行画面内预测的画面内预测部与执行画面间预测的画面间预测部。画面内预测可以将与当前块邻接的块的像素构成为参照像素确定画面内预测模式，使用所述画面内预测模式生成预测块，画面间预测可利用一个以上的参照影像确定当前块的运动信息，使用所述运动信息执行运动补偿以生成预测块。确定要对当前块(编码单位或预测单位)执行画面内预测或画面间预测中哪种方式，并且确定与各预测方法相关的具体信息(例如，画面内预测模式、运动向量、参照影像等)。在此，可根据编/解码设置确定被执行预测的处理单位与预测方法及确定具体内容的处理单位。例如，预测方法、预测模式等以预测单位(或编码单位)确定，预测的执行以预测块单位(或编码单位、变换单位)执行。
减法部205从当前块减去预测块生成残差块。即，减法部205计算要编码的当前块的各像素的像素值及通过预测部生成的预测块的各像素的预测像素值的差以生成作为块形态的残差信号的残差块。
变换部210将残差块变换成频带以将残差块的各像素值变换成频率系数。在此，变换部210可利用哈达玛变换(Hadamard Transform)、基于离散余弦变换的变换(DCT Base dTransform)、基于离散正弦变换的变换(DST Based Transform)、基于卡—洛变换的变换(KLT Based Transform)等之类的将空间轴的图像信号变换成频率轴的多种变换方法将残差信号变换成频带，变换成频带的残差信号成为频率系数。
量子化部215将具有被变换部210变换成频带的频率系数的残差块量子化。在此，量子化部215可利用盲区均匀阈值量子化(Dead Zone Uniform ThresholdQuantization)、量子化加权值矩阵(Quantization Weighted Matrix)或对其改良的量子化技术方法等将变换的残差块量子化。其可以将一个以上的量子化技术方法设为后补，可通过编码模式、预测模式信息等确定。
熵编码部245通过多种扫描方式对生成的量子化频率系数序列进行扫描生成量子化系数序列，关于编码过程中生成的编码信息的多种二值化方法(固定长度二值化<fixedlength binariation>、一元二值化<unary binarization>、Rice二值化<truncated rice>、k-th order exp-golomb等)生成语法要素，利用多种熵编码技术方法{ContextAdaptive Binary Arithmetic Coding(CABAC)、变长解码(CAVLC：Context AdaptiveVariable Length Coding)等}编码并输出。可以将扫描图案设置成锯齿、对角线、栅格(raster)等多种图案中的一个。
反量子化部220对由量子化部215量子化的残差块进行反量子化。即，量子化部220对量子化频率系数序列进行反量子化生成具有频率系数的残差块。
反变换部225对由反量子化部220反量子化的残差块进行反变换。即，反变换部225对反量子化的残差块的频率系数进行反变换生成具有像素值的残差块，即复原的残差块。在此，反变换部225可反向使用变换部210使用的变换的方式执行反变换。
加法部230相加预测部200预测的预测块与由反变换部225复原的残差块以复原当前块。复原的当前块可作为参照图像(或参照块)存储在解码图像缓冲器240并在其他块、图像的编码时被参照。
过滤器部235可包括解块过滤器、SAO、自适应环路过滤器(Adaptive LoopFilter，ALF)等一个以上的后处理过滤过程。解块过滤器可从复原的图像去除块之间的分界处生成的块失真。ALF可根据比较通过解块过滤器过滤块后复原的影像和原来的影像的值进行过滤。SAO对适用解块过滤器的残差块以像素单位复原与原始影像的偏移差，可以以带偏移(Band offset)、边缘偏移等形态适用。这种后处理过滤器可适用于复原的图像或块。
编码图像缓冲器240可存储通过过滤器部235复原的块或图像。存储在解码图像缓冲器240的复原块或图像可提供给执行画面内预测或画面间预测的预测部200。
虽然图中并未示出，但还可以包括分割部，可通过分割部(更具体来讲是块分割部)以多种大小的编码单位进行分割。在此，编码单位可根据色彩格式由多个编码块构成(例如，一个灰度编码块、两个色差编码块等)。为了便于说明而假设一个色彩成分单位进行说明。编码块可具有M×M(例如，M为4、8、16、32、64、128等)之类的可变大小。或者，根据分割方式(例如，基于树的分割、四叉树分割、二叉树分割等)，编码块可具有M×N(例如，M与N为4、8、16、32、64、128等)之类的可变大小。在此，编码块可以是成为画面内预测、画面间预测、变换、量子化、熵编码等的基础的单位。
本发明在假设根据分割方式获取具有相同的大小及形态的多个子块获取的基础上进行说明，但是也可以适用于具有非对称的子块(例如，二叉树的情况下将4M×4N分割成3M×4N/M×4N或4M×3N/4M×N等)的情况。在此，非对称的子块可以由在对获取对称的子块的分割方式的基础上根据编/解码设置进一步确定是否支持的信息支持。
编码块(M×N)的分割可具有基于递归树结构。在此，可通过分割标志(例如，四叉树分割标志、二叉树分割标志)表示是否分割。例如，分割深度(Depth)为k的编码块的分割标志为0的情况下，编码块的编码在分割深度为k的编码块执行，分割深度为k的编码块的分割标志为1的情况下，编码块的编码根据分割方式在分割深度为k+1的四个子编码块(四叉树分割)或两个子编码块(二叉树分割)执行。在此，块的大小在四个编码块的情况下是(M>>1)×(N>>1)，两个编码块的情况下可以是(M>>1)×N或M×(N>>1)。所述子编码块可重新设为编码块(k+1)并经过所述过程分割成子编码块(k+2)。在此，四叉树分割的情况下可支持一个分割标志(例如，是否分割标志)、二叉树分割的情况下可支持至少一个(也可以是两个以上)标志(例如，是否分割标志的基础上附加分割方向标志<横向或竖向.可根据先行的上位或之前分割结果在部分情况下省略>)。
块分割可从最大编码块开始执行至最小编码块。或者，可从最小分割深度(0)开始执行至最大分割深度。即，块的大小达到最小编码块大小或分割深度达到最大分割深度为止递归地进行分割。在此，可根据编/解码设置(例如，影像<片段、区块>型<I/P/B>、编码模式<Intra/Inter>、色差成分<Y/Cb/Cr>等)自适应地设置最大编码块的大小与最小编码块的大小、最大分割深度。
例如，最大编码块为128×128时，四叉树分割可在8×8～128×128范围执行，二叉树分割可在4×4～32×32范围与最大分割深度为3的情况下执行。或者，四叉树分割可在8×8～128×128范围执行，二叉树分割可在4×4～128×128范围与最大分割深度为3的情况下执行。前者的情况下可以是I影像类型(例如，片段)中的设置，后者的情况下可以是P或B影像型中的设置。如在以上例子中说明，最大编码块的大小、最小编码块的大小、最大分割深度等之类的分割设置可根据分割方式与上述编/解码设置共同或个别支持。
支持多个分割方式的情况下在各分割方式的块支持范围内执行分割，各分割方式的块支持范围重叠的情况下可存在分割方式的优先顺序。例如，四叉树分割可先行于二叉树分割。并且，支持多个分割方式的情况下，可根据先行的分割的结果确定是否要执行后行的分割。例如，先行的分割的结果表示执行分割的情况下，可以不执行后行的分割，而是将通过先行的分割来分割的子编码块重新设置为编码块并执行分割。
或者，先行的分割的结果表示不执行分割的情况下，可根据后行的分割的结果执行分割。在此，后行的分割的结果表示执行分割的情况下，分割的子编码块可重新被设置为编码块执行分割，后行的分割的结果表示不执行分割的情况下不再执行分割。在此，后行的分割结果表示执行分割且分割的子编码块被重新设置为编码块时的情况下，在支持多个分割方式的情况下(例如，各分割方式的块支持范围重叠的情况下)，也可以不执行先行的分割而只支持后行的分割。即，支持多个分割方式的情况下，先行的分割的结果表示不执行分割的情况下，意味着不再执行先行的分割。
例如，M×N编码块在可四叉树分割与二叉树分割的情况下，可首先确认四叉树分割标志，所述分割标志为1的情况下执行分割成(M>>1)×(N>>1)大小的四个子编码块，所述子编码块可重新被设置为编码块执行分割(四叉树分割或二叉树分割)。所述分割标志为0的情况下可确认二叉树分割标志，该标志为1的情况下，分割成(M>>1)×N或M×(N>>1)大小的两个子编码块，所述子编码块可重新被设置为编码块执行分割(二叉树分割)。所述分割标志为0的情况下结束分割过程并进行编码。
通过所述例说明了执行多个分割方式的情况，但不限于此，可以有多种分割方式的支持组合。例如，可以使用四叉树/二叉树/四叉树+二叉树等分割方式。在此，可以设置使得基本的分割方式为四叉树方式，附加分割方式为二叉树方式，关于附加分割方式的支持与否的信息可隐式确定或显式地包含于序列、图像、片段、区块等的单位。
所述例中编码块的大小信息、编码块的支持范围、最大分割深度等与分割相关的信息可包含于序列、图像、片段、区块等单位或隐式确定。综上，可通过最大编码块的大小、支持的块的范围、最大分割深度等确定可允许的块的范围。
通过所述过程执行分割获取的编码块可被设置为画面内预测或画面间预测的最大大小。即，块分割结束的编码块为了画面内预测或画面间预测而可以是预测块的分割的起始大小。例如，编码块为2M×2N的情况下，预测块可具有等于或小于其的大小2M×2N、M×N。或者，可具有大小2M×2N、2M×N、M×2N、M×N。或者，可具有与编码块的大小相同的大小2M×2N。在此，编码块与预测块具有相同的大小可表示不执行预测块的分割而是以通过编码块的分割以获取的大小执行预测。即，表示不生成用于预测块的分割信息。这种设置还可以适用于变换块，也可以以分割的编码块单位执行变换。
可根据如下编/解码设置有多种构成。例如，(确定编码块后)可根据编码块获取至少一个预测块与至少一个变换块。或者，可获取与编码块相同的大小的一个预测块，可根据编码块获取至少一个变换块。或者，可获取与编码块相同的大小的一个预测块和一个变换块。在所述例中获取到至少一个块的情况下可发生(生成)各块的分割信息，获取到一个块的情况下不发生各块的分割信息。
根据所述结果获取的多种大小的正方形或长方形形态的块可以是用于画面内预测、画面间预测的块，可以是用于对残差成分的变换、量子化的块，可以是用于对复原像素进行过滤的块。
另外，可以使得适用复原像素的过滤的块的单位(例如，SAO等)以最大编码块(例如，MxM)为基本单位，但也可以以具有多种块大小及形态(例如，具有MxN、M/2xM/2、Nx N/2等)的编码块(例如，根据块分割获取的编码块等，或者可以另外支持叫做过滤器块的单位)为单位适用过滤。这表示以所述块单位发生过滤相关信息。
并且，分割部除了以上所述的执行块分割的块分割部以外还可以包括图像分割部。图像分割部能够将图像分割成至少一个处理单位(例如，色彩空间<YCbCr，RGB，XYZ等>、片段、区块、块等)等，块分割部能够将最大(或基本)编码单位分割成至少一个处理单位(例如，编码、预测、变换、量子化、熵、环路过滤器单位等)。在此，区块是编码块的集合，表示将一个图像向横方向与竖方向分割的四角形区域，片段表示根据编码块的扫描顺序构成为连续的编码块的集合的区域。
可根据影像的色彩格式由至少一个色彩空间构成。例如，YCbCr的情况下可以由1个灰度成分与两个的色差成分构成。并且，可根据色彩格式确定色彩成分的横向与竖向的长度比例。例如，YCbCr 4：2：0的情况下色差成分的横向、竖向长度可以是灰度成分的横向、竖向的1/2，YCbCr 4：4：4的情况下色差成分的横向、竖向长度可具有与灰度成分相同的长度。如上由一个以上的色彩空间构成的情况下，图像可被执行到各色彩空间的分割。并且，能够将各色彩空间分割成最大编码块。
并且，可以将图像分割成至少一个区块。具体来讲，可以通过将图像分割成横列(或竖列)，以及分割成竖列(或横列)获取至少一个区块。并且，各区块可被分割成至少一个区块段。并且，可以将各区块段以最大编码单位执行分割。
并且，可以将图像分割成至少一个片段。各片段可被分成至少一个片段段。并且，可以将各片段段以最大编码单位执行分割。
所述单位中的一部分可不必包括，可根据编/解码的设置选择性地包括一部分或全部，可包括附加的单位。
通过图像分割部获取的基本编码单位可根据色彩空间分为基本编码块，可根据影像的特性及分辨率等确定大小及形态。支持的块的大小或形态可以是用横向、竖向的长度用2的乘方(2n)表示的N×N正方形形态(2n×2n。256×256、128×128、64×64、32×32、16×16、8×8、4×4等。N是2～8之间的整数)或M×N长方形形态(2m×2n)。例如，分辨率高的8kUHD级影像的情况下可以将输入影像分割成256×256大小，1080p HD级影像的情况下可以将输入影像分割成128×128大小，WVGA级影像的情况下可以将输入影像分割成16×16大小等。
关于所述块的大小或形态的信息可以以序列、图像、片段、区块等单位收录于比特流传输，这可以被解码器解析以复原相关的信息。
图3是关于本发明的一个实施例的影像解码装置的构成图。
参见图3，影像解码装置30可构成为包括熵解码部305、预测部310、反量子化部315、反变换部320、加减器325、过滤器330、解码图像缓冲器335。
并且，预测部310可构成为包括重新画面内预测模块及画面间预测模块。
熵解码部305可从来自影像编码装置20的比特流接收量子化系数序列、变换系数序列或信号列等，并通过熵解码方法(CABAC、CAVLC等)对其解码，可以将接收关于解码信息的语法要素获得的数据传递到预测部310。
预测部310可根据来自熵解码部305的数据生成预测块。预测部310执行与以上说明的影像编码装置20的预测部200相同的过程。
反量子化部315可对通过比特流提供且被熵解码部305解码的量子化的变换系数进行反量子化。
反变换部320可对变换系数适用反DCT、反整数变换或与之相似的概念的反变换方法生成残差块。
在此，反量子化部315、反变换部320反向执行以上说明的影像编码装置20的变换部210及量子化部215执行的过程且可通过多种方法实现。例如，可使用与变换部210及量子化部215共享的相同的过程及反变换，可根据来自影像编码装置20的关于变换及量子化过程的信息(例如，变换大小、变换模样、量子化类型等)反向执行变换及量子化过程。
可相加经过反量子化及反变换过程的残差块与由预测部310导出的预测块生成复原的影像块。可通过加减器325进行这种加法运算。
过滤器330可以根据需要对复原的影像块适用解块过滤器以去除分块(blocking)现象，为了提高视频品质而可以在所述解码过程前后进一步地使用其他环路过滤器。
经过复原及过滤器的影像块可存储到解码图像缓冲器335。
图中虽未示出，但影像解码装置30还可以包括分割部，在此分割部可以由图像分割部与块分割部构成。关于分割部，普通技术人员能够轻易地理解为与图2的影像编码装置的相同或相应的构成，因此省略具体说明。
影像编/解码过程中可能会发生输入的像素值和输出的像素值不同的情况，为了防止运算上的错误引起的失真而可以执行像素值调整过程(Adjustment)。像素值调整方法是将超过像素值的范围的像素值调节到像素值的范围内的过程，可称为裁剪(Clipping)。
[表1]
Figure BDA0004125222110000101
/>
表1是关于执行像素值调整的裁剪函数Clip_x的例示代码。参见表1，输入像素值(pixel_val)及允许的像素值范围的最小值minI与最大值maxI可作为裁剪函数Clip_x的参数输入。在此，以比特深度bit_depth为基准说明的情况下，最小值minI为0，最大值maxI可以是2bit_depth-1。执行裁剪函数Clip_x的情况下，比最小值minI(参数B)小的输入像素值pixel_val(参数A)变更成最小值minI，比最大值maxI(参数C)大的输入像素值可变更成最大值maxI。因此，输出值output可返还成像素值调整结束的输出像素值pixel_val'。
在此，像素值具有的范围取决于比特深度，而构成影像(例如，图像、片段、区块、块等)的像素值因影像的种类与特性而异，因此并不一定在所有像素值范围内发生。根据本发明的一个实施例，可参照构成实际影像的像素值的范围在影像编/解码过程利用。
例如，在表1的像素值调整方法中也可以将裁剪函数的最小值minI用作构成实际影像的像素值中最小的值，裁剪函数的最大值maxI可使用构成实际影像的像素值中最大的值。
综上，影像编/解码装置可包括基于比特深度的像素值调整方法及/或基于构成影像的像素值范围的像素值调整方法。编/解码器可支持用于确定是否支持自适应像素值调整方法的标志信息，该标志信息为'1'的情况下可发生像素值调整方法选择信息，'0'的情况下预设的像素值调整方法(在本例中是基于比特深度的方法)可用作基本像素值调整方法。所述像素值调整方法选择信息指示基于构成影像的像素值范围的像素值调整方法的情况下，可包括影像的像素值相关信息。例如，可根据色彩成分，关于各影像的最小值与最大值及下述中央值等的信息可以是其例。与像素值调整相关地发生的信息可以以编码器的视频、序列、图像、片段、区块、块等单位收录并传输，解码器可以对收录的信息解析并在相同的单位复原相关信息。
另外，通过所述过程，可通过基于比特深度的像素值调整或基于构成影像的像素值的范围的像素值调整变更(确定或定义)包括像素值的最小值与最大值的像素值的范围，而且附加的像素值范围信息也可以被变更(确定或定义)。例如，构成实际影像的像素值的最大值与最小值可发生变更，构成实际影像的像素值的中央值也可以发生变更。
即，基于比特深度的像素值调整过程中minI可表示影像的最小像素值，maxI可表示影像的最大像素值，I可表示色彩成分，medianI可表示影像的中央像素值。minI可以是0，maxI可以是(1<<bit_depth)-1，medianI可以是1<<(bit_depth-1)，median可根据编/解码设置包括所述例而通过其他形态获取。中央值是本发明中用于说明的一个术语而已，可以是表示在影像的编/解码过程中可随着所述像素值调整过程变更(确定或定义)的像素值范围信息的一个信息。
例如，基于构成影像的像素值的范围的像素值调整过程中minI可以是影像的最小像素值，maxI可以是影像的最大像素值，medianI可以是影像的中央像素值。medianI可以是影像内像素值的平均，可以是对齐影像的像素时位于中间的值，可以是根据影像的像素值范围信息获取的值。可从至少一个minI、maxI导出medianI。即，medianI可以是存在于影像的像素值范围内的一个像素值。
具体来讲，medianI可以是(minI+maxI)/2或(minI+maxI)>>1、(minI+maxI+1)/2、(min I+maxI+1)>>1等根据影像的像素值范围信息(在本例中minI、maxI)获取的值，median可根据编/解码设置包括所述例而通过其他形态获取。
之后对像素值调整过程的实施例(在本例中是中央值)进行说明。
作为一例，选择基本比特深度为8比特(0～255)且基于构成影像的像素值的范围的像素值调整过程{在本例中最小值为10，最大值为190。从最小值与最大值导出的设置(平均)下中央值为100}，当前块的位置为影像(在本例中是图像)内的第一个块的情况下，由于不存在将用于编/解码的相邻块(在本例中左侧、左下侧、左上侧、上侧、右上侧)，因此参照像素可被中央值100填充。可使用所述参照像素根据预测模式执行画面内预测过程。
作为一例，选择基本比特深度为10比特(0～1023)且基于构成影像的像素值的范围的像素值调整过程(在本例中是中央值600。存在相关语法要素}，而且当前块的位置为影像(在本例中是片段、区块)内的第一个块的情况下，由于不存在要用于编/解码的相邻块(在本例中左侧、左下侧、左上侧、上侧、右上侧)，因此参照像素可被中央值600填充。可使用所述参照像素按照预测模式执行画面内预测过程。
作为一例，选择基本比特深度为10比特且基于构成影像的像素值的范围的像素值调整过程(在本例中是中央值112。存在相关语法要素)，激活根据相邻块的编码模式(画面内预测/画面间预测)等确定是否能够在当前块的预测利用该块的像素的的设置{在本例中该块的编码模式为画面内预测的情况下可用作当前块的参照像素，画面间预测的情况下无法使用。非激活本设置的情况下能够与该块的编码模式无关地用作当前块的参照像素。相关语法要素为constrained_intra_pred_flag且可在P或B影像类型发生}，当前块的位置位于影像的左侧的情况下，不存在将用于编/解码的相邻块(在本例中左侧、左下侧、左上侧)，存在将用于编/解码的相邻块(在本例中上侧、右上侧)，但是由于该块的编码模式是画面间预测，因此被所述设置禁止使用，因此不存在可利用的参照像素的情况下，参照像素可被中央值(在本例中是112)填充。即，由于不存在可使用的参照像素，因此可用影像像素值范围的中央值填充。可使用所述参照像素按照预测模式执行画面内预测过程。
所述实施例中示出了预测部中与所述中央值相关的多种情况，但其可以构成为包含于影像编/解码的其他构成。并且，不限于所述实施例，可变形及扩张成多种情况。
本发明中像素值调整过程可适用于预测部、变换部、量子化部、反量子化部、反变换部、过滤器部、存储器等的编/解码过程。例如，像素值调整方法中的输入像素可以是预测过程中的参照像素(Reference Sample)或预测像素(Prediction Sample)，可以是变换、量子化、反变换、反量子化过程中的复原像素(Reconstructed Sample)。并且，可以是环路过滤过程中的复原像素，存储器中的存储像素(Storage Sample)。在此，变换与量子化、其反过程中的复原像素可表示适用环路过滤器之前的复原像素。环路过滤器中的复原像素可表示适用环路过滤器之后的复原像素。解块过滤器过中的复原像素可表示适用解块过滤器后的复原像素。SAO过程中的复原像素可表示适用SAO后复原像素。ALF过程中的复原像素可表示适用ALF后的复原像素。如上说明了关于多种情况的例示，但不限于此，可在调用像素值调整过程的所有编/解码过程的输入、中间、输出步骤中适用。
图4a至图4c是示出作为本发明的一个实施例的影像编/解码装置使用的子区域的块、区块、片段的例示图。
参见图4a，可确认将图像向竖向和横向以一定的长度(在本例中B_W、B_H)为间隔进行分割获取的块(Block)。在此，块可以是通过图像分割部获取的基本编码单位(或最大编码单位)，其可以是还适用于区块、片段等的单位。
参见图4b，可确认将图像向竖向和横向中至少一个方向分割获取的区块。区块可独立于其他区域(其他区块等)执行编/解码或部分执行依赖性的编/解码。区块可以如图4b由空间上邻接的块的集束(在本例中是第一区块的宽度T_W0及高度T_H0、第二区块的宽度T_W1及高度T_H1)构成。不向竖向及横向中任何一个方向分割的情况下一个区块可以是一个图像。
参见图4c，可确认将图像分割成连续的块的集束获取的片段。片段可独立于其他区域(或其他片段)编/解码或部分依赖性的编/解码。连续的块的集束可根据扫描顺序确定，一般来讲基于光栅扫描(Raster Scan)顺序，但其可以由编/解码器的设置定义。图像中存在的所有块由一个集束构成的情况下一个片段可以是一个图像。
图5a及图5b是本发明的一个实施例的根据扫描顺序用连续的块的集束生成片段的例示图。
图像中的编/解码可基于光栅扫描(Raster Scan)顺序，但可以从至少一个扫描顺序后补群中择一适用，这可以根据编/解码设置定义。在此扫描顺序可通过确定扫描的起始点的步骤，以扫描的起始点为基准按左右方向或上下方向中的一个方向确定一次扫描顺序的步骤及按在一次扫描顺序中未确定的方向(左右、上下中其余一个)确定二次扫描顺序的步骤确定。在此扫描起始点可以是以图像等基准区域为对象的最左侧上端、最左侧下端、最右侧上端、最右侧下端中的一个。
参见图5a，可确认将图像的最左侧上端点设为扫描起始点，设置一次扫描顺序为从左向右移动的方向，设置二次扫描顺序为从上到下(从上向下行)移动的方向的例示。光栅扫描也可以是图5a的扫描顺序，按照这种顺序捆绑连续的块的情况下，可获取第一片段S0、第二片段S1、第三片段S2及第四片段S3。
参见图5b，可确认将图像的最左侧上端点设为扫描起始点，设置一次扫描顺序为从上向下移动的方向，设置二次扫描顺序为从左向右移动的方向的例示。按照图5b的扫描顺序捆绑连续的块的情况下，可获取构成为不同于图5a的形态的第一片段S0、第二片段S1、第三片段S2及第四片段S3。
图6a至图6d是示出图像内的区块与基本编码单位的例示图。
根据本发明的一个实施例，将图像分割成至少一个竖列和至少一个横列形成区块，可以以区块单位执行编/解码。图6a中图像可通过竖列的分界(内部分界b1、b2)及横列的分界(内部分界b5)分割成区块。被竖列分界(内部分界b1、b2)中的一个以上的分界与横列分界(内部分界b5)中的一个以上分界包围的区域为区块。位于影像外部的情况下可以进一步地考虑竖列的分界(外部分界b0、b3)及横列的分界(外部分界b4、b6)。通过所述过程获取的区块的情况下可具有四角形形态，可根据对影像的特性、格式等的编/解码器的设置具有正方形形态。
将图像分割成竖列分界与横列分界形成的区块可包括多个块。分割图像的竖列分界与横列分界按相邻的块的分界经过，因此不分割各块。因此，各区块可包括整数个块。区块并非由整数个块构成的情况下，可扩张使得作为上位单位的图像或区块中可构成整数个块。因此能够按图像的区块进行处理且各区块以块单位执行编/解码。
将图像分割成至少一个区块的情况下，关于区块的分割信息(例如，关于竖列分界与横列分界的位置<或由其引起的各区块的横向长度与竖向长度>或均等/非均等分割的信息等)可以以序列、图像等单位收录于比特流传输。对图像解码时可从序列、图像等单位解析关于区块的分割信息，按区块解码复原图像的各区域，利用关于区块的分割信息将各区域复原成一个图像。
区块的情况下，作为实时处理具有高分辨率的影像的大数据量的目的，可以分割成一个以上的区块执行编/解码。该情况下一个大影像只是被分成大小小的多种影像，各区块的编/解码过程中所需的设置信息可从上位单位(例如，图像、PPS)得到分配。例如，可以不按各区块单位另外生成及传输头部信息，而是从PPS参照一个编/解码设置信息。
关于区块的分割信息以外还可以将附加的信息以视频、序列、图像等上位单位收录传输。在此，附加的信息可以是区块单位的编/解码过程中所需的至少一个编/解码设置信息。
或者，也可以以区块单位收录及传输关于区块的分割信息及附加的信息。这在能够以区块单位进行编/解码设置以执行编/解码方面和按照在上位单位确定的编/解码设置存在区别。具体来讲，和按照在上位单位确定的一个编/解码设置存在区别。
例如，可以以各区块单位另外生成及传输头部信息或者在PPS参照一个以上的编/解码设置信息。在此，PPS可包括一个以上的用于区块单位的编/解码的设置信息后补群。
如上，用于区块单位的编/解码的设置信息可包括区块的型I/P/B、关于区块参照的图像列表的信息、区块的量子化参数(Quantization Parameter，QP)信息、区块单位的环路滤波控制、扫描顺序、编/解码与否等区块的编/解码所需的信息。
参见图6a，可确认以区块单位适用独立的扫描顺序的例示。因此，根据以区块单位确定的扫描顺序开始编/解码的初始块可能会不同。图6a中各块中标记的数字表示区块内块的扫描顺序，即为了编/解码而处理的顺序。并且，图6a表示一个以上的扫描顺序适用于各区块的例。标记成按照<扫描起始点/一次扫描顺序/二次扫描顺序>确定区块内的扫描顺序的情况下，第一区块60可以具有按<左侧上端/左->右/上->下>确定的扫描顺序，第二区块61可具有按<左侧上端/上->下/左->右>确定的扫描顺序，第三区块62可具有按<右侧上端/上->下/右->左>确定的扫描顺序，第四区块63可具有按<右侧下端/下->上/右->左>确定的的扫描顺序，第五区块64可具有按<右侧下端/右->左/下->上>确定的扫描顺序，第六区块65可具有按<右侧上端/右->左/上->下>确定的扫描顺序(或编/解码顺序)。
区块及区块段的分割根据第一扫描顺序(例如，图像的扫描顺序.Z-扫描顺序等)执行，区块及区块段中的编/解码可按照第一扫描顺序执行(例如，按照图像的扫描顺序执行区块、块等的编/解码)。或者，区块及区块段的分割可按照第一扫描顺序执行，区块及区块段中的编/解码可按照第二扫描顺序(例如，区块单位的独立的扫描顺序)执行。在此，第二扫描顺序可根据各区块及区块段相同或不同。
参见图6b，可以确认以区块单位选择性地执行编/解码的例，可以确认分配了指示是否对图6a的各区块执行编/解码的0或1。在此，未被执行编/解码的区块可用任意的像素或已经从编/解码的区域获取的数据填充。任意的像素是属于能够用从比特流传输的比特深度表示的像素的范围的一个像素，可以确定并收录与之相关的信息进行传输，可以是根据编/解码器的共同的设置确定的预设的像素(例如，像素的范围的Min或Median或M ax等)。
并且，区块之间的部分依赖性的能够编/解码的设置中从编/解码结束的邻接的区块获取的数据可在相应区块的编/解码参照。
例如，可以将位于邻接的编/解码结束的区块的分界位置的至少一个像素的数据作为在编/解码属于当前区块的部分区域时参照的目的包含在临时存储器的方式使用。
或者，可以根据在上位单位确定的影像的格式、特性等{例如，全景(omnidirectiona l)影像(或360度虚拟现实影像)之类的三维空间的影像变换成二维空间执行编/解码时，根据投影格式(Projection format)等的编/解码设置分成多个单位(或表面<Face>)的情况下(或分割)，可以视为三维空间上的邻接的区域存在空间上的相关性。在此，进行空间变换(三维->二维)的同时不能根据配置在各单位(或表面)的二维空间的设置视为二维空间上邻接的单位一定存在空间上的相关性。即，二维空间中邻接的单位可能存在或不存在空间上的相关性，不邻接的单位可能不存在或存在空间上的相关性。这可通过360度影像编/解码设置信息等确认是否存在空间上的相关性}参照存在空间上的相关性的编/解码结束的区域的数据。在此，参照的数据可使用原封复制一定区域获取的存储器复制(Memory Copy)方法或使用通过一系列的变换过程获取的方法。
参见图6c，可确认以区块单位适用独立的QP(Quantization Parameter)的例，可对各区块适用QP0至QP5等独立的量子化参数执行量子化。在此量子化参数也可以通过比与区块上位单位(图像等)设置的与QP的差分值信息等表示。
参见图6d，可以确认由图像内的两个的区块(构成为包括T0、T1、T2的第一区块、构成为包括T3、T4、T5的第二区块)及由6个区块段(T0～T5)构成的例。区块可通过分界线b7区分，区块段可通过分界线b1～b4、b7区分。如上，区块及区块段可通过分界线b0～b8获取。区块段的情况下执行在区块内的分割并生成其分割信息。例如，作为竖列分界的b1、b2可以是与b3、b4分别连续的分界或者是不连续的分界。
区块段T0～T5的类型可分类为从属型区块段T1，T2，T4，T5及独立型区块段T0，T3。关于从属型区块段，对指定区块段的纹理编码及熵编码中使用或生成的信息可以为了其他区块段的纹理编码及熵编码而被参照。解码时也是如此，在对从属型区块段中指定区块段的熵解码时解析信息及纹理解码中利用或复原的信息可为了其他区块段的熵解码及源解码而被参照。区块段在以区块单位进行编/解码设置执行编/解码的假设下进行说明。
独立型区块段中按区块段在纹理编码及熵编码中利用或生成的信息彼此完全不参照，而是独立地编码。解码时也是如此，为了独立型区块段的熵解码及纹理解码，完全不利用其他区块段的解析信息及复原信息。
关于区块段的类型为从属型区块段或独立型区块段的信息可收录于区块段头部传输。解码图像时可从区块段头部解析关于区块段类型的信息，根据区块段类型参照其他区块段复原当前区块段，或者确定是否要与其他区块段独立地解码。
尤其，独立型区块段的区块段头部的语法要素的值，即头部信息可参照先行的区块段的头部信息进行确定。反面，从属型区块段的区块段头部的头部信息可参照先行的区块段的头部信息进行确定。
一个区块可包括至少一个区块段。一个区块只包括一个区块段的情况下，可包括独立的区块段。并且，一个区块除了一个独立的区块段与独立的段之外还可以包括至少一个从属型区块段。包含于一个区块的至少一个区块段可通过相同的接入单元(AccessUnit)发送/接收。
图7是显式确定以区块单位执行编码或解码的情况下设置的信息的源代码。
参见图7，tile_enabled_flag表示关于区块分割与否的语法要素。tile_enabled_flag激活的情况下(假设为1)表示分割成两个以上的区块执行编/解码，可确认附加的区块相关信息。非激活的情况下(假设为0)时可以将图像视为一个区块以图像单位(或片段单位)执行编/解码。向num_tile_rows_minus1与num_tile_columns_minus1分别加1的值表示以图像的横方向基准、竖向方向基准分割的区块的个数。虽然在本例中没有示出，但可根据区块的均等或不均等分割与否(指示的信号)附加生成各区块的横向、竖向长度的信息，各区块的横向、竖向的长度可用基本编码单位的个数表示生成。
loop_filter_across_tile_enabled_flag是关于对区块分界是否适用环路过滤器的语法要素。loop_filter_across_tile_enabled_flag激活的情况下(假设为1)可对区块分界执行解块过滤器与SAO、ALF等编/解码器支持的环路过滤器，非激活的情况下(假设为0)时可对区块分界不执行解块过滤器、SAO、ALF等环路过滤器。在本例中loop_filter_across_tile_enabled_flag激活的情况下表示解块过滤器、SAO、ALF等所有环路过滤器激活，但不限于此，可以按各环路过滤器个别地对是否适用环路过滤器进行设置或生成关于其的附加信息(指示是否适用各环路过滤器的信号)。
independent_tile_coding_setting_enabled_flag是关于是否支持区块单位的编/解码设置信息的语法要素。independent_tile_coding_setting_enabled_flag激活的情况下(假设为1)可以以区块单位进行独立的编/解码设置执行编/解码。例如，可以以区块单位生成关于区块的分割信息或编/解码过程中必要的设置信息执行编/解码。或者，可参照在上位单位确定的至少一个编/解码设置。非激活的情况下(假设为0)区块的编/解码过程中必要的设置信息可从上位单位得到分配。具体来讲，可参照在上位单位(例如，图像)确定的一个编/解码设置。
能够进行区块单位的编/解码设置的情况下还支持tile_qp_offset_enabled_flag、tile_coding_skip_enabled_flag、tile_adaptive_scan_enabled_flag等以确定区块单位的编/解码设置。以上语法要素是分别表示区块单位的QP设置、区块单位的编/解码适用、区块单位的扫描顺序的适用与否的语法要素。可以根据各语法要素的激活与否(假设为1)以各区块单位生成与其相关的附加信息。
tile_coding_skip_fla是表示区块的编/解码与否的语法要素，激活的情况下不执行编/解码，非激活的情况下可执行编/解码。可根据区块的编/解码执行与否确定区块单位的编/解码设置相关信息的附加确认与否。tile_coding_skip_flag激活的情况下(假设为1)不确认区块单位的编/解码设置相关信息，非激活的情况下(假设为0)可确认区块单位的编/解码设置信息。tile_type表示区块的类型，可用I/P/B中的一个确定。tile_scan_idx表示区块的扫描顺序，可通过关于一个以上的扫描顺序的后补群中的一个确定。tile_qp_offset表示以区块单位确定的QP相关信息，可以由在上位单位确定的与QP的差分值信息构成。并且，还可以构成有end_of_tile_flag、end_of_tile_segment_flag之类的语法要素。
所述例是关于区块单位的编/解码设置的部分例，可确定在上位单位确定的编/解码设置中原封地适用到区块或部分支持独立于区块的设置。以上例举了确定上位单位是否支持区块单位的编/解码设置的例子，但也可以以区块单位生成头部信息收录相关信息传输。并且，所述例表示关于区块单位的编/解码设置的部分例，可考虑以外的编/解码过程中必要的设置信息。所述例中所述的语法要素可通过多种方法的二值化(固定长度二值化、单项二值化、Rice二值化，Exp-Golomb二值化等)编码收录于比特流传输，这可以由解码器解析相关的信息进行复原。
包括以上所述的信息的与区块单位的编/解码设置相关的信息可显式地生成相关信息或根据在上位单位确定的影像的格式、特性等隐式地确定关于编/解码的设置。
图8是用于说明本发明的一个实施例的根据相对分类适用样本自适应偏移的样本像素的例示图，图9是本发明的一个实施例的在相对分类根据边缘分类进行分类的分类的例示图。
SAO是旨在减少编/解码过程中QP等的编/解码设置引起的图像品质下降的技术。SAO可以以样本(例如，像素)单位执行相加偏移值的过程(或用偏移补偿的过程)。在此，偏移值可根据样本的色彩成分、分类基准(后续进行说明)、具体分类基准(后续说明)、样本的(x，y)坐标值等确定。在此，SAO可称为后处理过滤器或环路过滤器或者是包含于这种过滤器的过滤方法中的一个。在此作为适用SAO的对象的样本像素可表示向残差信号加上预测信息生成的复原像素。具体来讲，表示对相加经过反量子化与反变换的当前影像的残差信号与经过画面内预测或画面间预测过程的当前影像的预测信号获取的复原影像适用环路滤波(例如，SAO、ALF等)，在此，可根据输入影像和复原影像之间的失真获取偏移值。
在此，以样本像素单位生成偏移信息需要大量数据量，因此可以以样本的集合单位生成偏移信息。因此，需要设置构成适用一个偏移信息的样本的集合的分类基准。在此，分类基准可重新细分成至少一个具体分类基准。
例如，分类基准可以有作为样本像素是否具有边缘的分类的边缘偏移(EdgeOffset，EO)及作为样本像素所属的带域的分类的带偏移(Band Offset，BO)，可包括附加的偏移。在此，边缘偏移可根据边缘方向、边缘分类附加设置具体分类基准。并且，带偏移可根据带域位置附加设置具体分类基准。所述设置可包括在编/解码器包括所述信息确定具体分类基准的个数及种类、附加的下位具体分类等。关于偏移的设置可根据片段/区块型(I/P/B)、编码模式、色彩成分/空间、块的大小及形态等因素确定。
本发明的一个实施例的样本分类方法可区分为相对分类与绝对分类。相对分类可以是根据要适用偏移的样本和与至少一个相邻样本的相对性(或相关性)分类样本的方法，绝对分类可以是根据要适用偏移的样本本身的特性分类样本的方法。
相对分类可根据对样本之间的斜率信息、边缘信息等的特性基于两个以上的样本获取的判断结果执行。具体来讲，相对分类可基于编/解码结束的当前样本与编/解码结束的至少一个相邻样本。
参见图8，可确认设置当前样本(C_sample)及当前样本的相邻样本(N_sample1，N_sample2，...，N_sample8)的方法。
具体来讲，图8中可根据以当前样本(C_sample)为中心通过横方向86、竖方向82、对角方向80、84设置的三个样本之间的关系对当前样本分类。在此也可以将图8图示的方向称为边缘方向。
在此，示出以当前样本为中心根据三个连续的样本之间的关系适用相对分类，也可以通过根据以图8图示的当前样本为中心设置的方向80、82、84、86选定三个以上的奇数个(5、7、9等)的连续的样本的方式实现。
根据图8所示的多个方向80、82、84、86选定的三个样本相互之间的关系分类如图9所示。
参见图9，可确认通过比较三个样本之间的像素值确定的类别，在此图表的高度表示样本的像素值，中间图示的样本为当前样本(C_sample)，位于左右的样本可以是相邻样本(N_sample)。如图9通过比较三个样本相互之间像素值大小进行类别分类的方法可称为根据三个样本形成的边缘的类别分类。因此，可以将对图9的每个类别偏移信息(或偏移值)进行设置的方法称为边缘偏移。
[数学式1]
(C_sample＜N_sampleA)and(C_sample＜N_sampleB)
具体来讲所述数学式1表示当前样本(C_sample)具有比相邻样本(N_sampleA，N_sampleB)小的像素值的情况，满足数学式1时，可将当前样本分类为第一类别(Category1)。
[数学式2]
(C_sample＜N_sampleA)and(C_sample＝N_sampleB)
[数学式3]
(C_sample＝N_sampleA)and(C_sample＜N_sampleB)
所述数学式2及3表示当前样本(C_sample)具有小于等于相邻样本(N_sampleA，N_sampleB)的像素值的情况。满足所述数学式2或3的情况下，可以将当前样本分类为第二类别(Category 2)。
[数学式4]
(C_sample＞N_sampleA)and(C_sample＝N_sampleB)
[数学式5]
(C_sample＝N_sampleA)and(C_sample＞N_sampleB)
所述数学式4及5表示当前样本(C_sample)具有小于等于相邻样本(N_sampleA，N_sampleB)的像素值的情况。满足所述数学式4或5的情况下，可以将当前样本分类为第三类别(Category 3)。
[数学式6]
(C_sample＞N_sampleA)and(C_sample＞N_sampleB)
所述数学式6表示当前样本(C_sample)具有大于相邻样本(N_sampleA，N_sampleB)的像素值的情况，满足数学式6时，可以将当前样本分类为第四类别(Category4)。
数学式1至6中相邻样本可包括在图8的方向选定的两个相邻样本(分别称为N_sampleA、N_sampleB)为对象，也可以选定两个以上的相邻样本。
参见图9，可确认按照以上所述的第一类别(Category 1)、第二类别(Category2)、第三类别(Category 3)、第四类别(Category 4)表示像素值的相对大小关系。
在此可以以分类的分类单位(例如，所有或部分分类可作为对象或未图示的附加的分类可成为对象)获取及生成偏移信息。未分类为第一类别至第四类别的样本可分类为未适用偏移的样本。在此对第一类别至第四类别进行分类的基准可以预先在编码装置及解码装置设置，如图8确定三个样本像素的方向(也可称为边缘方向)由编码装置生成指示该方向的信息并传输到解码装置，解码装置可接收方向信息。以图9的类别为例，可生成指示图8的第一方向80、第三方向82、第五方向84、第七方向86中任意一个的方向信息(或称为边缘方向信息)。
在此，偏移信息在以补正的当前样本接近相邻样本的平均为前提的情况下，类别1、2中偏移的符号应该是正(+)，类别3、4中偏移的符号应该是负(-)。因此，偏移信息可省略偏移值的符号仅由偏移值的绝对值构成。
根据关于图8及图9的说明(定义为相对分类中基于边缘分类)说明本发明的一个实施例的相对分类。
首先，根据本发明的一个实施例的相对分类的第一实施例，并非根据图8示出的任意一个方向选定三个样本，而是可以与方向无关地利用选定的多个相邻样本。
再次参见图8说明的情况下，可通过比较当前样本(C_sample)与位于当前样本周边的相邻样本(N_sample1，N_sample2，...，N_sample8)之间的像素值大小对类别进行分类。
例如，比较当前样本的像素值和位于当前样本周边的8个相邻样本(N_sample1，N_sample2，...，N_sample8)，若当前样本大的情况为预先设置的临界次数以上(或所有情况下当前样本大)，可以将当前样本分类为第一类别。
并且，可以比较当前样本的像素值和位于当前样本周边的8个相邻样本(N_sample1，N_sample2，...，N_sample8)，若当前样本小于等于的情况为预先设置的临界次数以上(或所有情况当前样本小于等于)，可以将当前样本分类为第二类别。
并且，可以比较当前样本的像素值和位于当前样本周边的8个相邻样本(N_sample1，N_sample2，...，N_sample8)，若当前样本大于等于的情况为预先设置的临界次数以上(或所有情况下当前样本大于等于)，可以将当前样本分类为第三类别。
并且，可以比较当前样本的像素值与位于当前样本周边的8个相邻样本(N_sample1，N_sample2，...，N_sample8)，若当前样本小的情况为预先设置的临界次数以上，可以将当前样本分类为第四类别。
在此，比较当前样本和位于当前样本周边的8个相邻样本进行了说明，但不限于此。例如，可以执行当前样本与横向及竖向方向邻接的四个相邻样本(根据图8，N_sample2，N_sample4，N_sample5，N_sample7)相互之间的比较，也可以执行当前样本与对角线方向邻接的四个相邻样本(根据图8，N_sample1，N_sample3，N_sample6，N_sample8)相互之间的比较。
因此，根据本发明的一个实施例的相对分类的第一实施例，可通过相互比较当前样本周边的相邻样本(例如，以上所述的4个或8个)判断为当前样本的边缘信息。
并且，本发明的一个实施例的关于相对分类的第一实施例的分类的信息可隐式设置进行处理，偏移信息可生成有符号的偏移或无符号的偏移信息，这可根据编/解码器设置确定。例如，以补正的当前样本靠近相邻样本为前提下，可以生成无符号的偏移信息，没有该前提的情况下生成有符号的偏移信息。生成有符号的偏移信息的情况下，可以将熵编/解码过程中部分符号的情况(使当前样本接近相邻样本的+或-符号中的一个)发生概率设得高，相反符号的情况下可以将发生概率设得低。
并且，以当前样本为基准发生相邻样本之间的差为预设的值th_val以上的情况时，可判断脉冲以分类为所述类别或分类为附加类别。
根据本发明的一个实施例的相对分类的第二实施例，并非根据图8示出的任意一个方向进行类别分类，而是进一步地考虑与图8的方向平行的多个方向进行类别分类。
例如，假设根据图8的横方向86比较当前样本与相邻样本相互之间的像素值进行类别分类的情况下，可以进一步执行根据与横方向86平行的多个方向确定的样本之间的像素值比较。具体来讲可以考虑向与横方向86平行的方向经过第一样本(N_sample1)、第二样本(N_sample2)、第三样本(N_sample3)上的方向及经过第六样本(N_sample6)、第七样本(N_sample7)、第八样本(N_sample8)上的方向。因此，可对包括图8的横方向86及与横方向86平行的两个方向的三个横方向中预先设置的值以上(例如，两个方向)，在满足数学式1至6与该说明的像素值比较条件时，可以分类为第一类别至第四类别中的一个。在此，在不足预先设置的值的方向满足数学式1至6和其说明的像素值比较条件的情况下，可以不将当前样本分类为所述类别。根据相对分类的第二实施例，由于能够判断多个方向上的边缘与否，因此可以称为基于二维边缘信息的分类。
可以根据本发明的一个实施例的相对分类的第二实施例对样本进行分类，可以以所述分类的类别单位获取及生成偏移信息。关于分类的信息可以具有隐式或显式的设置，显式设置的情况下可基于所有分类的后补群个数信息生成相关语法要素(二值化相关)。在本例中说明用于对基于相对性的分类的判断过程的所有像素的个数为5个与9个的例，但这可根据编/解码器的设置确定。
根据本发明的一个实施例的相对分类的第三实施例，可考虑当前样本的像素值与相邻样本的像素值之间的所示的当前样本与相邻样本之间的像素值斜率执行。
按照图8的方向以当前像素(C_sample)为中心选定两个相邻样本(N_sampleA，N_sampleB)的情况下，可以根据像素值斜率如下分类类别。
[数学式7]
(N_sampleB＜C_sample＜N_sampleA)
[数学式8]
(N_sampleB＝C_sample＜N_sampleA)
[数学式9]
(N_sampleB＜C_sample＝N_sampleA)
参见所述数学式7至9的关系式，可以确认是具有基于图8的方向的三个样本的像素值的斜率增大的形态的关系式。因此，当前样本与相邻样本之间的关系满足数学式7、8或9的关系式的情况下，可分类为第一类别。
[数学式10]
(N_sampleB＞C_sample＞N_sampleA)
[数学式11]
(N_sampleB＝C_sample＞N_sampleA)
[数学式12]
(N_sampleB＞C_sample＝N_sampleA)
参见所述数学式10至12的关系式，可以确认是具有基于图8的方向的三个样本的像素值的斜率减小的形态的关系式。因此，当前样本与相邻样本之间的关系满足数学式10，11或12的关系式的情况下，可分类为第二类别。
另外，本发明的一个实施例的相对分类的第三实施例中不仅考虑像素值斜率的形态，还可以进一步地考虑斜率的大小。
例如，当前样本与相邻样本之间的像素值斜率具有增大的形态，其斜率大小(例如，可定义为当前样本的像素值与相邻样本的像素值之间的差分值)为预先设置的临界值以上的情况下，可分类为第一类别。同样，当前样本与相邻样本之间的像素值斜率具有减小的形态，其斜率大小为预先设置的临界值以上的情况下，可分类为第二类别。即，不仅是当前样本与相邻样本的相对大小，当前样本的像素值与相邻样本的像素值之间的差分值也可以成为相对分类的基准。本例可以是代替第一实施例的第二类别与第三类别或以附加形式考虑的情况。
关于分类的信息可以具有隐式设置进行处理，斜率方向信息可具有显式设置进行处理，未按照所述条件分类的样本可以由未适用偏移的样本构成。即，分类为边缘的样本可以不根据所述条件分类，可分类为未适用偏移的样本。
根据本发明的一个实施例的相对分类的第四实施例，图8及图9的边缘分类中可以进一步地考虑像素值斜率的大小设置类别。
例如，数学式1至6的第一类别可设置成当前样本(C_sample)具有比相邻样本(N_sampleA，N_sampleB)小的像素值，当前样本与相邻样本之间的像素值差为预先设置的临界值以上的情况。
并且，数学式1至6的第二类别可设置成当前样本(C_sample)具有小于等于相邻样本(N_sampleA，N_sampleB)的像素值，当前样本与相邻样本之间的像素值差为预先设置的临界值以上的情况。
并且，数学式1至6的第三类别可设置成当前样本(C_sample)具有大于等于相邻样本(N_sampleA，N_sampleB)的像素值，当前样本与相邻样本之间的像素值差为预先设置的临界值以上的情况。
并且，数学式1至6的第四类别可设置成当前样本(C_sample)具有大于相邻样本(N_s ampleA，N_sampleB)的像素值，当前样本与相邻样本之间的像素值差为预先设置的临界值以上的情况。在此第四实施例中按照边缘分类分类的样本区分为含错误少的样本和含错误多的样本，其目的可以是为了对区分的样本分别适用不同的偏移值。
本发明的一个实施例的相对分类可相互结合所述第一至第三实施例中两个以上以进一步地包括类别的具体分类。例如，本发明的一个实施例的相对分类可以以图8及图9的基于边缘分类中定义的类别执行一次分类，对一次分类的各类别以样本之间的斜率形态或斜率大小为基准执行二次分类。以上所述的相对分类的第四实施例可以是这种变形例之一。
关于类别的信息可通过隐式或显式设置进行处理，边缘方向信息可通过显式设置进行处理。偏移信息可根据各情况生成有符号的偏移或无符号的偏移信息，这可以根据编/解码器设置确定。例如，图9的类别1、4的情况下可生成无符号的偏移信息，类别2、3的情况下可生成有符号的偏移信息。
图10是说明根据本发明的一个实施例的用于根据相对分类以适用样本自适应偏移的块为对象赋予偏移值的方法的例示图。
参见图10，可对位于打斜线的块内的所有样本执行样本自适应偏移。在此，示出考虑相对关系的当前样本与相邻样本如A至F所示。图10的A是如图8的80、84按对角方向共设置了五个样本，图10的B是如图8的82按竖向方向设置了五个样本，图10的C是以当前样本为中心共设置了9个样本。图10的D是如图8的86按横方向设置了三个样本，图10的E是如图8的82、86按横向与竖向方向共设置了五个样本，图10的F是如图8的80按一个对角方向设置了三个样本。
在此相邻样本的位置位于打斜线的块内的情况下(例如，存在于图像内部或与当前块相同的片段、区块内)编/解码结束，但使用适用过滤之前的样本执行样本自适应偏移，相邻样本的位置位于打斜线的块的分界外的情况下(例如，存在于图像分界外或不同于当前块的其他片段、区块)可首先执行对相邻样本所属的区域的有效性确认。
可根据有效性确认结果确定是否使用所述相邻样本的相对分类。如上，有效性确认结果为存在无法使用的样本的情况下，可使用当前块内的样本填充到无法使用的样本位置。例如，影像外的样本可通过复制或线性外插属于当前块内且与影像外的样本邻接的分界样本使用。
并且，即使相邻样本的位置位于打斜线的块的分界外，也可以从当前影像的部分区域获取使用。例如，由于360度影像的情况下影像内可能存在在二维空间上不相邻但存在相关性的区域，因此可从与当前像素(或块)存在相关性的区域(在本例中假设为在空间上不邻接的区域)通过复制或变换过程等获取相邻样本的数据使用。
在此，位于块外且有效性确认结果为不可使用样本的个数多的情况下(B的情况下，两个)可填充最大2像素间隔的影像(E2区域)，一般情况下(除了B以外的A、C、D、E、F)可填充1像素间隔的影像E1。
图11是用于说明本发明的一个实施例的根据绝对分类执行样本自适应偏移的方法的例示图。
本发明的一个实施例的基于绝对分类的样本自适应偏移可以是根据将适用样本的亮度值、带域信息等偏移的样本本身具有的特性设置偏移值的方法。在此，将被执行绝对分类的样本自适应偏移的对象样本可以是编/解码结束的当前样本。
参见图11，可以确认将根据比特深度确定的像素值范围分割成了具有一定间隔的像素值带域。具体来讲，比特深度为8比特的情况下(像素值的范围为从0到255)均等分割成了25个(即32个)带域(band)。在此，基于绝对分类的样本自适应偏移可对属于分割的多个带域中部分带域的样本设置偏移值。在此，可以以各样本的亮度值为基准确定样本所属的带域。
设置了样本自适应偏移值的带域的开始位置信息从编码装置传输到解码装置，偏移信息可以对包括开始位置信息所属的带域的连续的部分带域(以图11为例的情况下包括开始位置的带域K的共4个带域)生成。在此，带域相关设置(带域的个数、间隔等)可以由编/解码装置预先确定，可生成适用偏移值的带域的开始位置信息。并且，在此开始位置信息可从所有带域(例如，32个带域)中选择一个后补(固定长度.5比特)。偏移信息由偏移的绝对值与符号信息构成。
本发明的一个实施例的绝对分类可根据样本的亮度信息执行(或分类)。用于对具体分类的判断过程中使用的样本可以是至少一个样本。并且，具体分类(例如，作为带域相关设置的带域的长度、分割的带域的个数等)可基于固定设置(例如，固定带域长度、固定带域的个数等)或基于自适应设置(在本例中按编/解码器区别化所述设置)，自适应设置的情况下相关信息可隐式确定或显式地处理相关信息。并且，适用偏移的带域的信息(例如，带域的位置信息)可基于固定带域后补群或自适应带域后补群信息生成。并且，可根据带域设置(在本例中带域的个数等)确定可具有的后补群的个数。所述带域设置可根据一个以上的因素(在本例中量子化参数、带域分割参数、像素值范围信息等)确定。包括所述信息的附加设置可根据编/解码器确定，关于所述设置的信息可以以视频、序列、图像、片段、区块、块等单位收录于比特流传输，解码器可对此解析以复原相关的信息。不局限于所述例，可变形及扩张成多种情况。
用于本发明的一个实施例的绝对分类的带域的长度与个数可自适应地确定。例如，可根据变量k分割成2k个带域，带域的长度在与比特深度(bit_depth)的关系中可以是2(bit_depth)-k。可存在根据影像有效适用偏移的带域的长度，为此可支持自适应设置。变量k可根据编/解码设置(例如，块的大小，形态，影像类型等)隐式确定或显式地包括相关信息，可通过变量k确定带域的个数、带域的长度等。
图12是关于本发明的一个实施例的多种带域信息生成方法的例示图。
本发明的一个实施例的基于绝对分类的样本自适应偏移可生成自适应带域信息(例如，带域的开始位置信息)执行。可根据预先设置的条件(例如，发生一个位置信息的地方在连续的n个带域发生偏移信息的条件，即预先设置n)生成一个信息，可根据发生偏移的带域生成两个以上的位置信息，可根据当前影像的复原的样本生成位置信息。
参见12a可确认生成了两个以上的偏移适用位置信息(在本例中是两个带域信息。即，假设发生偏移的带域可能不连续)。具体来讲，为了指示对带域m适用样本自适应偏移而可以生成带域m的位置信息k1，为了指示对带域m+3适用样本自适应偏移而可以生成带域m+3的位置信息k2。在此带域的位置信息(发生偏移信息的带域)可以以第一个带域为基准依次生成或以最后一个带域为基准按反向顺序生成，适用偏移的带域的位置信息可以通过独立或依赖性的设置生成。
生成两个以上的带域信息的情况下，第一个带域的位置信息可基于总带域的个数(在本例中2k个)生成语法要素(在本例中固定长度二值化.k比特)，第一个带域的位置信息之后的带域位置信息可以像之前编/解码结束的带域位置信息基于总带域的个数生成法要素(独立型的情况下)或根据之前编/解码结束的带域位置信息生成(依赖性的情况下)。
以后者的情况为例的情况下，如12a第一个带域位置信息为k1且第二个带域位置信息为k2的情况下，首先编/解码k1，将k1作为第二个带域的位置信息即k2的预测值。因此，第二个带域位置信息k2可生成与第一个带域位置信息(即，预测值)的差分值。解码装置可相加作为预测值的k1及k2与k1之间的差分值以复原k2。在此，可以将总带域的个数与k1的差值作为最大值生成关于其的语法要素(在本例中适用考虑最大值的二值化方法)。所述例是关于第一个与第二个带域位置信息的说明，其在附加两个以上的带域位置信息的情况下也可以相同或相似地适用(例如，对要编/解码的带域位置信息与之前编/解码结束的带域位置信息的差分值编/解码的情况)。
另外，12a中打斜线的区域表示存在构成影像的像素值的带域。在此，编/解码装置确认构成影像(例如，图像、片段、区块、块等)的像素值范围，可根据影像的像素值范围生成或获取带域的位置信息(或带域的开始位置信息)。并且，可根据影像的像素值范围确定带域的长度，可基于此生成或获取偏移信息。参照12b，可以确认12a中构成影像的像素值发生的范围被分成了2k个带域。该情况下各带域的长度可获取到比根据比特深度获取的2k个带域更窄的带域长度。
例如，当前影像的最低像素值与最高的像素值设为整个像素值范围，可以将设置的像素值范围分割成2k个带域。这种情况，由于比将基于比特深度的像素值的范围分割成2k个带域的情况小一个带域长度(宽度)，因此能够执行通过偏移的精致补正，可根据带域的长度生成偏移信息(在本例中适用考虑最大值的二值化方法)。即，可根据k与带域长度确定。例如，将像素值范围(例如，像素的最大值为128，最小值为10的情况下像素值的范围为118)分割成2k个带域的情况下，k为5时一个带域的长度最大为4(k为5且0至255为像素值范围的情况下带域长度为8)，可以基于此生成偏移的语法要素。在本例中带域可以是基于根据影像的像素值范围分割且获取的带域长度获取偏移信息的情况。
并且，根据12c，可确认根据比特深度确定了像素值的范围，将根据比特深度确定的像素值的范围分割成了带域个数2k。由于根据比特深度确定了像素值的整个范围(从0到255.8比特基准)，因此根据带域个数具有固定带域的长度，并且偏移信息的生成可基于所述带域长度生成。在此，若发生了影像的像素值的最低的像素值(minc)及最高的像素值(maxc)分别存在于带域P1与Pmax，可发生偏移信息的带域存在于带域P1与带域Pmax之间。因此，可以认为Pmax-P1+1个带域是可发生偏移信息的带域的个数，因此可以以P max-P1+1个带域为最大值生成发生偏移信息的带域的位置信息。
参照12a，按比特深度根据像素值的整个范围分割带域的情况下，总带域的个数为32个(假设k为5)，而发生实际像素值的带域为带域m与m+4之间的带域，因此总带域的个数为5个。总带域为32个的情况下可通过5比特固定长度二值化生成关于带域位置信息的语法要素(仅发送带域开始位置信息的情况下需要5比特)，但带域共为5的情况下可通过最大值为5的可变长度二值化生成语法要素(在本例中需要2，3比特)。即，保持带域的长度但减少因带域信息而发生的信息以提高编码性能。在本例中带域可以是根据比特深度分割且带域的位置信息是根据影像的像素值范围生成的情况。
上述例可以是偏移信息的个数固定的情况(假设是四个)。可根据编/解码设置自适应偏移信息的个数，但可发生根据影像的特性自适应地确定偏移的个数的情况。例如，如12a根据比特深度分割带域时，影像(在本例中假设为块)的像素值在三个以下的带域发生的情况下不需要四个偏移，因此可只发生三个偏移信息。该情况下可以是适用偏移的带域的开始位置也是隐式获取的例。在本例中是根据影像的像素值范围自适应地确定偏移的个数，隐式确定带域位置信息的情况。
通过图12说明了基于影像的像素值范围的多种实施例，但不限于此，可以有多种变形及结合的例，而且可以与未通过所述例说明的附加要素等混合构成。在此，所述影像可以是复原影像或原始影像中的一个。复原影像的情况下可隐式获取像素值的范围信息，原始影像的情况下可显式地获取像素值的范围信息。复原影像可表示适用过滤器之前的影像(即，编/解码结束但适用环路过滤器之前的影像)。以上已经通过基于像素值范围的像素值调整过程对原始影像的像素值范围信息进行了说明，由于显式地收录于比特流的信息，因此不仅是编码器，解码器也能够确认原始影像的像素值范围信息。
图13是用于说明本发明的一个实施例的用于基于相对分类及绝对分类的样本自适应偏移的语法要素的源代码。
参见图13，sps_sample_adaptive_offset_enabled_flag在sps中可以是关于是否支持SAO的语法要素，pps_sample_adaptive_offset_enabled_flag可以是关于pps中是否支持SAO的语法要素，slice_sample_adaptive_offset_enabled_flag可以是关于片段中是否支持SAO的语法要素，以外的单位(区块等)也可以定义关于是否支持SAO的语法要素。上位单位的语法要素激活的情况下可确定是否附加生成下位单位的语法要素。在本例中片段中所述语法要素激活的情况下(在本例中假设为1)可根据色彩成分生成作为关于是否适用SAO的语法要素的slice_sao_luma_flag、slice_sao_chroma_flag，非激活的情况下(在本例中假设为0)SAO在相应影像中可不适用。
灰度成分与色差成分中至少一个适用SAO的情况下可定义关于offset_type1_enabled_flag的语法要素，这可以是关于是否适用SAO的预先设置的类型的语法要素。在本例中可以是通过绝对分类的偏移适用方法(或通过相对分类的偏移适用方法)，offset_type2_ena bled_flag可以是通过相对分类的偏移适用方法(或通过绝对分类的偏移适用方法)。offset_type1_enabled_flag激活的情况下，可附加定义关于offset_type2_enabled_flag的语法要素。非激活的情况下不附加定义offset_type2_enabled_flag，但type2可隐式激活。type1与ty pe2可被激活，可以type1与type2中仅一个被激活。其可以是在片段定义的语法要素，可以是其以外的单位(序列、图像、区块等)定义的语法要素。
偏移相关信息可以从编/解码结束的至少一个相邻块参照，在此参照的块可以是左侧、左上侧、左下侧、上侧、右上侧块等。参照的后补群可以是两个以上的块，参照的块的优先顺序(还与语法要素生成相关)可根据编/解码设置确定，可以使用与在画面内预测或画面间预测时从相邻块参照预测信息的顺序(块位置或块内子块位置)相同或相似的顺序或设置独立的顺序。sao_merge_flag可以是表示是否要从相邻块获取偏移相关信息的语法要素，sao_merge_idx可以是表示关于相邻块的信息的语法要素。可以从相邻块确认偏移相关信息的全部或部分，获取偏移相关信息的部分的情况下可定义附加语法要素。
sao_type_idx可表示关于偏移适用方法的选择信息，其可以是能够支持两个以上的偏移适用方法时生成的语法要素。sao_offset_abs可以是关于偏移的绝对值信息，其可以生成相当于k个。可按编/解码设置确定k。sao_offset_sign可以是关于偏移信息的符号信息，其可以是仅在关于偏移的绝对值信息不是0的情况下生成的语法要素。关于偏移的符号信息可按照偏移适用方法的设置支持，偏移方法的设置为只通过无符号的绝对值信息支持偏移信息的情况下不生成，通过有符号的绝对值信息支持偏移信息的情况下生成。sao_type_info可以是关于偏移方法的具体分类的信息。
可根据编/解码设置(在本例中块大小及形态、影像类型、编码模式、量子化参数等)确定所述偏移(相对分类或绝对分类)设置信息，通过所述过程构成的组合可以有至少一个以上。
图14是本发明的一个实施例的根据绝对分类或相对分类执行样本自适应偏移的方法的流程图。
参见图14，影像解码装置中根据绝对分类或相对分类执行样本自适应偏移的方法可包括：根据绝对分类基准或相对分类基准对复原样本分类的步骤S100、根据对所述复原样本分类的结果获取偏移信息的步骤S110、参照获取的偏移信息对所述复原样本加上偏移值的步骤S120及输出加上所述偏移值的复原样本的步骤S130。
在此，对所述复原样本分类的步骤S100可包括：分类基准为所述绝对分类的情况下，根据所述复原样本的亮度值所属的带域对所述复原样本分类的步骤。
在此，对所述复原样本分类的步骤S100可包括：分类基准为所述相对分类的情况下，根据通过比较所述复原样本的像素值及与所述复原样本邻接的相邻样本的像素值相互之间的比例导出的边缘信息及斜率信息中至少一个分类所述复原样本的步骤。
本发明的方法可以以能够通过多种计算机设备执行的程序命令的形式存储在计算机可读介质中。计算机可读介质可单独或组合包括程序命令、数据文件、数据结构等。存储在所述存储介质中的程序命令可以是为本发明而专门设计和构建的，或者是计算机软件技术人员公知使用的。
计算机可读介质的例可包括只读存储器(ROM)、随机存取存储器(RAM)、闪速存储器(flash memory)等为了存储和执行程序命令而特别构成的硬件装置。程序命令的例不仅可以包括如由编译器(compiler)制成的机器代码，还可以包括能够用解释器(interpreter)等被计算机运行的高级语言代码。上述硬件装置可构成为为了执行本发明的动作而作为至少一个软件模块工作，反之相同。
并且，上述方法或装置的构成或功能的全部或一部分可结合实现或分离实现。
以上参见本发明的优选实施例进行了说明，本领域的普通技术人员应当理解：在不脱离权利要求范围记载的本发明的思想及范围的前提下，可以对本发明进行多种修改及变更。

Claims (7)

1.一种根据样本分类基准环路滤波方法，其中，所述方法在影像解码装置中进行并且包括：
基于比特流信令的分割信息将包括当前块的图像分割为区块，所述区块的其中一个仅在独立于其他区块的垂直方向或水平方向中的一个方向上通过至少一条分割边界线分割成区块段，并且每个所述区块段由整数个连续的完整编码树单元行组成并具有矩形形状；
复原所述当前块，基于四叉树分割和二叉树分割的至少一个分割编码块得到所述当前块；
基于所述样本分类基准分类所述当前块中的复原样本，所述样本分类基准为绝对分类基准或相对分类基准；
基于分类所述复原样本的结果获得偏移信息；
基于所述获得的偏移信息向所述复原样本加上偏移值；以及
输出加上了所述偏移值的所述复原样本，
其中，当所述编码块的大小大于或等于预定义阈值大小时，仅执行所述四叉树分割用于所述编码块的分割，
其中，所述预定义阈值大小为128x128，
其中，基于指示是否进行所述二叉树分割的二叉树分割标志和指示水平分割或竖直分割的二叉树分割方向标志进行所述二叉树分割，
其中，仅在当不再进行所述四叉树分割时进行所述二叉树分割，
其中所述复原样本的两个相邻样本用于对所述复原样本进行分类，并且
其中，基于四个关系信息中的一个来确定所述两个相邻样本，所述关系信息指定所述两个相邻样本与所述复原样本之间的关系。
2.根据权利要求1所述的方法，其中，
所述分类复原样本包括：
当所述样本分类基准为所述绝对分类基准时，根据所述复原样本的亮度值所属的带域分类所述复原样本。
3.根据权利要求1所述的方法，其中，
所述分类复原样本包括：
当所述样本分类基准为所述相对分类基准时，根据通过所述复原样本的像素值及与所述复原样本邻接的相邻样本的像素值相互比较导出的边缘信息及斜率信息中至少一个分类所述复原样本。
4.根据权利要求1所述的方法，
其中，用于所述区块的第一区块的第一分割边界线和所述第一区块邻近的第二区块的第二分割边界线在所述第一区块和所述第二区块之间的边界处不连续。
5.一种根据样本分类基准环路滤波方法，其中，所述方法在影像编码装置中进行并且包括：
将包括当前块的图像分割为区块，所述区块的其中一个仅在独立于其他区块的垂直方向或水平方向中的一个方向上通过至少一条分割边界线分割成区块段，并且每个所述区块段由整数个连续的完整编码树单元行组成并具有矩形形状；
复原所述当前块，基于四叉树分割和二叉树分割的至少一个分割编码块得到所述当前块；
基于所述样本分类基准分类所述当前块中的复原样本，所述样本分类基准为绝对分类基准或相对分类基准；
基于分类所述复原样本的结果获得偏移信息；
基于所述获得的偏移信息向所述复原样本加上偏移值；以及
输出加上了所述偏移值的所述复原样本，
其中，所述图像的所述分割上的分割信息在比特流中编码，
其中，当所述编码块的大小大于或等于预定义阈值大小时，仅执行所述四叉树分割用于所述编码块的分割，
其中，所述预定义阈值大小为128x128，
其中，仅在当不再进行所述四叉树分割时进行所述二叉树分割，
其中，当进行所述二叉树分割时，指示是否进行所述二叉树分割的二叉树分割标志和指示水平分割或竖直分割的二叉树分割方向标志在所述比特流中编码，
其中所述复原样本的两个相邻样本用于对所述复原样本进行分类，并且
其中，基于四个关系信息中的一个来确定所述两个相邻样本，所述关系信息指定所述两个相邻样本与所述复原样本之间的关系。
6.一种非临时性计算机可读介质，其上存储有指令，当处理器执行所述指令时，所述指令执行解码方法，所述解码方法包括：
基于比特流信令的分割信息将包括当前块的图像分割为区块，所述区块的其中一个仅在独立于其他区块的垂直方向或水平方向中的一个方向上通过至少一条分割边界线分割成区块段，并且每个所述区块段由整数个连续的完整编码树单元行组成并具有矩形形状；
复原所述当前块，基于四叉树分割和二叉树分割的至少一个分割编码块得到所述当前块；
基于所述样本分类基准分类所述当前块中的复原样本，所述样本分类基准为绝对分类基准或相对分类基准；
基于分类所述复原样本的结果获得偏移信息；
基于所述获得的偏移信息向所述复原样本加上偏移值；以及
输出加上了所述偏移值的所述复原样本，
其中，当所述编码块的大小大于或等于预定义阈值大小时，仅执行所述四叉树分割用于所述编码块的分割，
其中，所述预定义阈值大小为128x128，
其中，基于指示是否进行所述二叉树分割的二叉树分割标志和指示水平分割或竖直分割的二叉树分割方向标志进行所述二叉树分割，
其中，仅在当不再进行所述四叉树分割时进行所述二叉树分割，
其中所述复原样本的两个相邻样本用于对所述复原样本进行分类，并且
其中，基于四个关系信息中的一个来确定所述两个相邻样本，所述关系信息指定所述两个相邻样本与所述复原样本之间的关系。
7.一种用于传输由编码方法生成的比特流的方法，所述编码方法包括：
将包括当前块的图像分割为区块，所述区块的其中一个仅在独立于其他区块的垂直方向或水平方向中的一个方向上通过至少一条分割边界线分割成区块段，并且每个所述区块段由整数个连续的完整编码树单元行组成并具有矩形形状；
复原所述当前块，基于四叉树分割和二叉树分割的至少一个分割编码块得到所述当前块；
基于所述样本分类基准分类所述当前块中的复原样本，所述样本分类基准为绝对分类基准或相对分类基准；
基于分类所述复原样本的结果获得偏移信息；
基于所述获得的偏移信息向所述复原样本加上偏移值；以及
输出加上了所述偏移值的所述复原样本，
其中，所述图像的所述分割上的分割信息在比特流中编码，
其中，当所述编码块的大小大于或等于预定义阈值大小时，仅执行所述四叉树分割用于所述编码块的分割，
其中，所述预定义阈值大小为128x128，
其中，仅在当不再进行所述四叉树分割时进行所述二叉树分割，
其中，当进行所述二叉树分割时，指示是否进行所述二叉树分割的二叉树分割标志和指示水平分割或竖直分割的二叉树分割方向标志在所述比特流中编码，
其中所述复原样本的两个相邻样本用于对所述复原样本进行分类，并且
其中，基于四个关系信息中的一个来确定所述两个相邻样本，所述关系信息指定所述两个相邻样本与所述复原样本之间的关系。
CN202310243511.5A 2017-03-22 2018-03-22 基于自适应像素分类基准的环路滤波方法 Pending CN116233423A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2017-0036370 2017-03-22
KR20170036370 2017-03-22
PCT/KR2018/003352 WO2018174593A1 (ko) 2017-03-22 2018-03-22 적응적인 화소 분류 기준에 따른 인루프 필터링 방법
CN201880033604.2A CN110679149B (zh) 2017-03-22 2018-03-22 基于自适应像素分类基准的环路滤波方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201880033604.2A Division CN110679149B (zh) 2017-03-22 2018-03-22 基于自适应像素分类基准的环路滤波方法

Publications (1)

Publication Number Publication Date
CN116233423A true CN116233423A (zh) 2023-06-06

Family

ID=63585669

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201880033604.2A Active CN110679149B (zh) 2017-03-22 2018-03-22 基于自适应像素分类基准的环路滤波方法
CN202310243504.5A Pending CN116233422A (zh) 2017-03-22 2018-03-22 基于自适应像素分类基准的环路滤波方法
CN202310243511.5A Pending CN116233423A (zh) 2017-03-22 2018-03-22 基于自适应像素分类基准的环路滤波方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201880033604.2A Active CN110679149B (zh) 2017-03-22 2018-03-22 基于自适应像素分类基准的环路滤波方法
CN202310243504.5A Pending CN116233422A (zh) 2017-03-22 2018-03-22 基于自适应像素分类基准的环路滤波方法

Country Status (5)

Country Link
US (3) US11057627B2 (zh)
EP (2) EP3979639A1 (zh)
KR (2) KR102443959B1 (zh)
CN (3) CN110679149B (zh)
WO (1) WO2018174593A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8767824B2 (en) * 2011-07-11 2014-07-01 Sharp Kabushiki Kaisha Video decoder parallelization for tiles
CN110679149B (zh) * 2017-03-22 2023-04-04 汉阳大学校产学协力团 基于自适应像素分类基准的环路滤波方法
JP6939892B2 (ja) * 2017-10-25 2021-09-22 株式会社ソシオネクスト 符号化方法、復号方法、符号化装置、復号装置、符号化プログラム及び復号プログラム
CN112640455A (zh) 2018-06-21 2021-04-09 瑞典爱立信有限公司 视频编码中具有子图块的图块分区
EP3811624A1 (en) 2018-06-21 2021-04-28 Telefonaktiebolaget LM Ericsson (publ) Tile shuffling for 360 degree video decoding
EP3707904A1 (en) 2018-10-02 2020-09-16 Telefonaktiebolaget Lm Ericsson (Publ) Encoding and decoding pictures based on tile group id
KR20210117327A (ko) 2019-01-25 2021-09-28 미디어텍 인크. 비디오 코딩에서 비선형 적응적 루프 필터링을 위한 방법 및 장치
JP7284285B2 (ja) * 2019-03-11 2023-05-30 テレフオンアクチーボラゲット エルエム エリクソン（パブル） 矩形タイルグループシグナリングを含むビデオコーディング
US11546587B2 (en) 2019-04-11 2023-01-03 Mediatek Inc. Adaptive loop filter with adaptive parameter set
SG10201904175UA (en) * 2019-05-09 2020-12-30 Mastercard International Inc Methods and systems for facilitating message format discovery in online transaction processing
CN117478878A (zh) 2019-07-09 2024-01-30 北京字节跳动网络技术有限公司 用于自适应环路滤波的样点确定
JP7291845B2 (ja) 2019-07-11 2023-06-15 北京字節跳動網絡技術有限公司 適応ループフィルタリングにおけるサンプルパディング
WO2021008546A1 (en) * 2019-07-15 2021-01-21 Beijing Bytedance Network Technology Co., Ltd. Accessing samples across video unit boundaries in adaptive loop filtering
EP3991435A4 (en) * 2019-08-07 2022-08-31 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR ADAPTIVE SCANNING OFFSET LOOP FILTER WITH APPLICATION AREA SIZE LIMITATION
CN114503594B (zh) 2019-09-22 2024-04-05 北京字节跳动网络技术有限公司 自适应环路滤波中样点填充的选择性应用
EP4022910A4 (en) 2019-09-27 2022-11-16 Beijing Bytedance Network Technology Co., Ltd. ADAPTIVE LOOP FILTERING BETWEEN DIFFERENT VIDEO UNITS
WO2021068906A1 (en) 2019-10-10 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. Padding process at unavailable sample locations in adaptive loop filtering
CN111866507A (zh) * 2020-06-07 2020-10-30 咪咕文化科技有限公司 图像滤波方法、装置、设备及存储介质
JP2024511636A (ja) * 2021-03-31 2024-03-14 ヒョンダイ モーター カンパニー インター予測にディープラーニングベースのインループフィルタを用いるビデオコーディング方法及び装置

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8660174B2 (en) * 2010-06-15 2014-02-25 Mediatek Inc. Apparatus and method of adaptive offset for video coding
US9172968B2 (en) * 2010-07-09 2015-10-27 Qualcomm Incorporated Video coding using directional transforms
US9055305B2 (en) * 2011-01-09 2015-06-09 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
US9641846B2 (en) * 2010-10-22 2017-05-02 Qualcomm Incorporated Adaptive scanning of transform coefficients for video coding
US9049444B2 (en) * 2010-12-22 2015-06-02 Qualcomm Incorporated Mode dependent scanning of coefficients of a block of video data
DK3361725T3 (da) * 2011-06-23 2020-04-27 Huawei Tech Co Ltd Offset dekoderanordning, offset koderanordning, billedfilteranordning og datastruktur
JP5907367B2 (ja) * 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
US20130003857A1 (en) * 2011-06-29 2013-01-03 General Instrument Corporation Methods and system for using a scan coding pattern during inter coding
US9392301B2 (en) * 2011-07-01 2016-07-12 Qualcomm Incorporated Context adaptive entropy coding for non-square blocks in video coding
US9756360B2 (en) * 2011-07-19 2017-09-05 Qualcomm Incorporated Coefficient scanning in video coding
CN103907348A (zh) 2011-10-31 2014-07-02 三菱电机株式会社 运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法
GB201119206D0 (en) * 2011-11-07 2011-12-21 Canon Kk Method and device for providing compensation offsets for a set of reconstructed samples of an image
US20130136173A1 (en) 2011-11-15 2013-05-30 Panasonic Corporation Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
CN108989822B (zh) * 2012-01-30 2021-06-08 三星电子株式会社 用于视频解码的设备
US10244246B2 (en) * 2012-02-02 2019-03-26 Texas Instruments Incorporated Sub-pictures for pixel rate balancing on multi-core platforms
CN107734346B (zh) * 2012-02-04 2020-11-20 Lg 电子株式会社 视频编码方法、视频解码方法和使用其的设备
SG10201808973XA (en) * 2012-04-13 2018-11-29 Mitsubishi Electric Corp Image encoding device, image decoding device, image encoding method and image decoding method
EP2846543A4 (en) * 2012-04-30 2015-05-06 Panasonic Ip Corp America BILDCODE PROCESS, PICTURE DECODING METHOD, BILDCODE DEVICE, IMAGE DECODING DEVICE, AND BILDCODE AND DECODER DEVICE
US9912942B2 (en) * 2012-12-28 2018-03-06 Qualcomm Incorporated High-frequency-pass sample adaptive offset in video coding
US10708588B2 (en) * 2013-06-19 2020-07-07 Apple Inc. Sample adaptive offset control
US20150049821A1 (en) * 2013-08-16 2015-02-19 Qualcomm Incorporated In-loop depth map filtering for 3d video coding
WO2015083796A1 (ja) 2013-12-04 2015-06-11 三菱電機株式会社 画像符号化装置
KR102298599B1 (ko) 2014-04-29 2021-09-03 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 샘플 적응 오프셋 필터링에 대한 인코더측 결정
KR102276854B1 (ko) 2014-07-31 2021-07-13 삼성전자주식회사 인루프 필터 파라미터 예측을 사용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
KR102248172B1 (ko) 2015-03-16 2021-05-04 한양대학교 산학협력단 영상 분석을 이용한 비디오 부호화/복호화 방법 및 장치
JP6094838B2 (ja) 2015-08-31 2017-03-15 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
MX2018006141A (es) * 2015-11-24 2018-08-01 Samsung Electronics Co Ltd Metodo y dispositivo de decodificacion de video, y metodo y dispositivo de codificacion del mismo.
KR102506430B1 (ko) 2015-11-27 2023-03-08 삼성전자주식회사 반도체 장치의 제조 방법
WO2017138831A1 (en) * 2016-02-12 2017-08-17 Huawei Technologies Co., Ltd. Method and apparatus for scan order selection
CN108713320B (zh) * 2016-03-16 2022-05-17 寰发股份有限公司 视频编码中限制块尺寸的视频数据处理方法与装置
US10623774B2 (en) * 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
US11095892B2 (en) * 2016-09-20 2021-08-17 Kt Corporation Method and apparatus for processing video signal
KR102559063B1 (ko) * 2017-02-24 2023-07-24 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN110679149B (zh) * 2017-03-22 2023-04-04 汉阳大学校产学协力团 基于自适应像素分类基准的环路滤波方法

Also Published As

Publication number Publication date
US20210297675A1 (en) 2021-09-23
US11057627B2 (en) 2021-07-06
KR102443959B1 (ko) 2022-09-16
EP3979639A1 (en) 2022-04-06
EP3606077A4 (en) 2021-01-06
KR20220127948A (ko) 2022-09-20
US20200029080A1 (en) 2020-01-23
US11553186B2 (en) 2023-01-10
KR20190123288A (ko) 2019-10-31
CN110679149B (zh) 2023-04-04
US20230106301A1 (en) 2023-04-06
WO2018174593A1 (ko) 2018-09-27
CN116233422A (zh) 2023-06-06
US11991366B2 (en) 2024-05-21
CN110679149A (zh) 2020-01-10
EP3606077A1 (en) 2020-02-05

Similar Documents

Publication Publication Date Title
CN110679149B (zh) 基于自适应像素分类基准的环路滤波方法
US10979731B2 (en) Apparatus for decoding an image
JP6316487B2 (ja) エンコーダ、デコーダ、方法、及びプログラム
US9467713B2 (en) Apparatus for decoding a moving picture
US9609354B2 (en) Apparatus for decoding a moving picture
JP2023126408A (ja) イントラ予測方法とそれを利用した符号化器及び復号化器
KR102524628B1 (ko) 영상을 부호화 또는 복호화하는 방법 및 장치
JP2017175661A (ja) 映像復号化装置
JP2016187211A (ja) 映像復号化装置
US9473789B2 (en) Apparatus for decoding a moving picture
US11949865B2 (en) Image encoding/decoding method using pixel value range constituting image
KR20230058033A (ko) 영상을 부호화 또는 복호화하는 방법 및 장치
US20240040143A1 (en) Method and apparatus for decoding image using interpicture prediction
US11044472B2 (en) Method and apparatus for performing adaptive filtering on reference pixels based on size relationship of current block and reference block
KR20190023294A (ko) 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination