CN110832855B - 利用包含追加区域的分割单位的影像解码方法以及装置 - Google Patents

利用包含追加区域的分割单位的影像解码方法以及装置 Download PDF

Info

Publication number
CN110832855B
CN110832855B CN201880045023.0A CN201880045023A CN110832855B CN 110832855 B CN110832855 B CN 110832855B CN 201880045023 A CN201880045023 A CN 201880045023A CN 110832855 B CN110832855 B CN 110832855B
Authority
CN
China
Prior art keywords
block
prediction
reference pixel
unit
division
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880045023.0A
Other languages
English (en)
Other versions
CN110832855A (zh
Inventor
郑济昌
金起佰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industry University Cooperation Foundation IUCF HYU
Original Assignee
Industry University Cooperation Foundation IUCF HYU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN202310305068.XA priority Critical patent/CN116248864A/zh
Priority to CN202310305081.5A priority patent/CN116248867A/zh
Priority to CN202310305066.0A priority patent/CN116248863A/zh
Priority to CN202310305085.3A priority patent/CN116320400A/zh
Priority to CN202310305077.9A priority patent/CN116248866A/zh
Priority to CN202310305097.6A priority patent/CN116248868A/zh
Priority claimed from PCT/KR2018/007520 external-priority patent/WO2019009590A1/ko
Priority to CN202310305079.8A priority patent/CN116320399A/zh
Application filed by Industry University Cooperation Foundation IUCF HYU filed Critical Industry University Cooperation Foundation IUCF HYU
Priority to CN202310305073.0A priority patent/CN116248865A/zh
Publication of CN110832855A publication Critical patent/CN110832855A/zh
Publication of CN110832855B publication Critical patent/CN110832855B/zh
Application granted granted Critical
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/619—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding the transform being operated outside the prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开一种利用包含追加区域的分割单位的影像解码方法以及装置。利用包含追加区域的分割单位的影像解码方法，包括：通过参考从所接收到的比特流(bitstream)获取到的语法元素(syntax element)，将上述比特流中所包含的编码影像分割成至少一个分割单位的步骤；对上述至少一个分割单位设定追加区域的步骤；以及，以设定追加区域之后的分割单位为基础对上述编码影像进行解码的步骤。借此，能够提升影像编码效率。

Description

利用包含追加区域的分割单位的影像解码方法以及装置
技术领域
本发明涉及一种利用包含追加区域的分割单位的影像解码方法以及装置，尤其涉及一种通过对影像内的如并行区块(tile)等分割单位设定上侧、下侧、左侧、右侧的追加区域并在进行编码时同时参考追加区域中的影像数据而提升编码效率的技术。
背景技术
近年来，互联网中对如视频等多媒体数据的需求正在急剧增加。但是，目前信道(Channel)带宽(Bandwidth)的发展速度仍然需要一种能够对急剧增加的多媒体数据的量进行有效压缩的方法。为此，国际标准化组织(ISO)/ISE的动态图像专家组(MPEG，Mo vingPicture Expert Group)和国际电联电信标准化部门(ITU-T)的视频编码专家组(V CEG，Video Coding Expert Group)正在通过坚持不懈的合作研究而致力于开发出更加高效的视频压缩标准。
此外，当对影像执行独立编码时，通常会对包括并行区块(tile)在内的个别分割单位执行独立编码，因此具有无法将时间上以及空间上相邻的其他分割单位的影像数据作为参考的问题。
因此，需要一种能够在维持现有的基于独立编码的并行处理的同时还能够将相邻的影像数据作为参考的方案。
此外，基于现有的影像编码/解码方法的画面内预测是利用与当前区块最相邻的像素构成参考像素，而根据影像的类型，利用最相邻的像素构成参考像素的方法可能并不可取。
因此，需要一种能够通过采用与现有方式不同的参考像素构成方式而提升画面内预测效率的方法。
发明内容
技术问题
为了解决如上所述的现有问题，本发明的目的在于提供一种利用包含追加区域的分割单位的影像解码装置及方法。
为了解决如上所述的现有问题，本发明的另一目的在于提供一种利用包含追加区域的分割单位的影像编码装置及方法。
为了解决如上所述的现有问题，本发明的目的在于提供一种支持多个参考像素层级的影像解码方法。
为了解决如上所述的现有问题，本发明的另一目的在于提供一种支持多个参考像素层级的影像解码装置。
技术方案
为了达成如上所述的目的，本发明的一方面，提供一种利用包含追加区域的分割单位的影像解码方法。
其中，利用包含追加区域的分割单位的影像解码方法，能够包括：通过参考从所接收到的比特流(bitstream)获取到的语法元素(Syntax Element)，将上述比特流中所包含的编码影像分割成至少一个分割单位的步骤；对上述至少一个分割单位设定追加区域的步骤；以及，以设定追加区域之后的分割单位为基础对上述编码影像进行解码的步骤。
其中，上述对编码影像进行解码的步骤，能够包括：根据上述比特流中所包含的用于指示参考可能性与否的信息，对与上述编码影像内需要进行解码的当前区块相关的参考区块进行确定的步骤。
其中，上述参考区块，能够是包含于与在上述参考区块所属的分割单位中设定的追加区域重叠的位置上的区块。
为了达成如上所述的目的，本发明的另一方面，提供一种支持多个参考像素层级的影像解码方法。
支持多个参考像素层级的影像解码方法，能够包括：通过比特流对是否支持多个参考像素层级进行确认的步骤；当支持多个参考像素层级时，通过对上述比特流中所包含的语法信息进行参考而对需要在当前区块中使用的参考像素层级进行确定的步骤；利用所确定的参考像素层级中所包含的像素构成参考像素的步骤；以及，利用所构成的参考像素执行对上述当前区块的画面内预测的步骤。
其中，在上述对是否支持多个参考像素层级进行确认的步骤之后，还能够包括：通过比特流对是否支持自适应的参考像素滤波方法进行确认的步骤。
其中，在上述对是否支持多个参考像素层级进行确认的步骤之后，还能够包括：在不支持多个参考像素层级时，利用预先设定的参考像素层级构成参考像素的步骤。
技术效果
当采用如上所述的适用本发明的利用包含追加区域的分割单位的影像解码方法以及装置时，因为可以作为参考的影像数据较多，因此能够提升影像压缩效率。
当采用如上所述的适用本发明的支持多个参考像素层级的影像解码方法以及装置时，因为能够利用多个参考像素，因此能够提升画面内预测的精确度。
此外，在本发明中，因为支持自适应的参考像素滤波，因此能够根据影像的特性执行最佳的参考像素滤波。
此外，还能够提升影像编码/解码时的压缩效率。
附图说明
图1是对适用本发明之实施例的影像编码以及解码系统进行图示的概念图；
图2是对适用本发明之一实施例的影像编码装置进行图示的块图；
图3是对适用本发明之一实施例的影像解码装置进行图示的构成图；
图4a至图4d是用于对适用本发明之一实施例的投影格式进行说明的概念图；
图5a至图5c是用于对适用本发明之一实施例的表面配置进行说明的概念图；
图6a至图6b是用于对适用本发明之一实施例的分割部进行说明的例示图；
图7是将一个图像分割成多个并行区块的例示图；
图8a至图8i是对图7中所图示的各个并行区块设定追加区域的第1例示图；
图9a至图9i是对图7中所图示的各个并行区块设定追加区域的第2例示图；
图10是将在适用本发明的一实施例中生成的追加区域在其他区域的编码/解码过程中进行应用的例示图；
图11至图12是用于对适用本发明之一实施例的分割单位的编码/解码方法进行说明的流程图；
图13a至图13g是用于对特定的分割单位可参考的区域进行说明的例示图；
图14a至图14e是用于对适用本发明之一实施例的分割单位中的追加区域的参考可能性进行说明的流程图；
图15是对包含于当前影像的分割单位的区块以及包含于其他影像的分割单位的区块进行图示的例示图；
图16是对适用本发明之一实施例的影像编码/解码装置进行图示的硬件构成图；
图17是对适用本发明之一实施例的画面内预测模式进行图示的例示图；
图18是对适用本发明之一实施例的画面内预测中所使用的参考像素构成进行图示的第1例示图；
图19a至图19c是对适用本发明之一实施例的参考像素构成进行图示的第2例示图；
图20是对适用本发明之一实施例的参考像素构成进行图示的第3例示图；
图21是对适用本发明之一实施例的参考像素构成进行图示的第4例示图；
图22a至图22b是对在不可使用的参考候选区块中向预先设定的位置填充参考像素的方法进行图示的例示图；
图23a至图23c是对在按照适用本发明的一实施例构成的参考像素中以小数像素单位为基础执行插值的方法进行图示的例示图；
图24a至图24b是用于对适用本发明之一实施例的自适应参考像素滤波方法进行说明的第1例示图；
图25是用于对适用本发明之一实施例的自适应参考像素滤波方法进行说明的第2例示图；
图26a至图26b是对适用本发明之一实施例的在参考像素滤波中利用一个参考像素层级的情况进行图示的例示图；
图27是对适用本发明之一实施例的在参考像素滤波中利用多个参考像素层级的情况进行图示的例示图；
图28是用于对适用本发明之一实施例的画面内预测模式的编码/解码方法进行说明的块图；
图29是用于对基于参考像素构成的画面内预测的比特流构成进行说明的第1例示图；
图30是用于对基于参考像素构成的画面内预测的比特流构成进行说明的第2例示图；
图31是用于对基于参考像素构成的画面内预测的比特流构成进行说明的第3例示图；
图32是对适用本发明之一实施例的支持多个参考像素层级的影像解码方法进行图示的流程图。
具体实施方式
本发明能够进行各种变更并具有多种不同的实施例，接下来将对其特定的实施例进行图示并进行详细的说明。但是，下述内容并不是为了将本发明限定于特定的实施形态，而是应该理解为包括本发明的思想以及技术范围内的所有变更、均等物乃至替代物。在对各个附图进行说明的过程中，对于类似的构成要素使用了类似的参考符号。
在对不同的构成要素进行说明的过程中能够使用如第1、第2、A、B等术语，但是上述构成要素并不因为上述术语而受到限定。上述术语只是用于对一个构成元素与其他构成元素进行区别。例如，在不脱离本发明的权利要求范围的前提下，第1构成元素也能够被命名为第2构成元素，同理，第2构成元素也能够被命名为第1构成元素。术语“和/或”包括多个相关记载项目的组合或多个相关记载项目中的某一个项目。
当记载为某个构成要素与其他构成要素“连接”或“接触”时，应理解为不仅能够与上述其他构成要素直接连接或接触，还能够在两者之间有其他构成要素存在。与此相反，当记载为某个构成元素与其他构成元素“直接连接”或“直接接触”时，应理解为在两者之间没有其他构成元素存在。
在本申请中所使用的术语只是为了对特定的实施例进行说明，并不是为了对本发明进行限定。除非上下文中有明确的相反含义，否则单数型语句还包含复数型含义。在本申请中，“包括”或“具有”等术语只是为了表明说明书中所记载的特征、数字、步骤、动作、构成元素、部件或上述之组合存在，并不应该理解为事先排除一个或多个其他特征、数字、步骤、动作、构成元素、部件或上述之组合存在或被附加的可能性。
除非另有定义，否则包括技术性或科学性术语在内的在此使用的所有术语的含义与具有本发明所属技术领域之一般知识的人员所通常理解的含义相同。通常所使用的如已在词典中做出定义的术语等应解释为与在相关技术的上下文中所具有的含义一致的含义，在本申请中除非另有明确的定义，否则不应解释为过于理想化或夸张的含义。
通常，影像能够由一系列的静止影像(Still Image)构成，上述静止影像能够以图像组(GOP，Group Of Pictures)为单位进行划分，各个静止影像能够被称之为图像(Picture)或帧(Frame)。作为其上级概念，能够有如图像组(GOP)以及序列(Sequence)等单位存在，各个图像还能够被分割成如条带、并行区块、区块等特定的区域。此外，一个图像组(GOP)中能够包括如I图像、P图像、B图像等单位。I图像能够是指在不使用参考图像的状态下自行编码/解码的图像，而P图像以及B图像能够是指通过使用参考图像执行如运动预测(Motion Estimation)以及运动补偿(Motion Compensation)等过程而进行编码/解码的图像。通常，P图像能够将I图像以及P图像作为参考图像使用，而B图像能够将I图像以及P图像作为参考图像使用，但是上述定义也能够根据编码/解码的设定而发生变更。
其中，将在编码/解码过程中作为参考的图像称之为参考图像(ReferencePicture)，并将作为参考的区块或像素称之为参考区块(Reference Block)、参考像素(Reference Pixel)。此外，参考数据(Reference Data)除了空间域(Spatial Domain)的像素值之外还能够是频率域(Frequency Domain)的系数值、在编码/解码过程中生成以及确定的多种编码/解码信息。
构成影像的最小单位能够是像素，而为了表示一个像素而使用的比特数被称之为比特深度。通常，比特深度能够是8比特，而根据编码设定能够支持其他比特深度。关于比特深度，能够根据色彩空间(Color Space)支持至少一种比特深度。此外，能够根据影像的色彩格式(Color Format)由至少一种色彩空间构成。根据色彩格式，能够由具有一定大小的1个以上的图像或具有不同大小的1个以上的图像构成。例如，在YCbCr 4:2:0的情况下能够由1个亮度成分(在本实例中为Y)以及2个色差成分(在本实例中为Cb/Cr)构成，此时色差成分以及亮度成分的构成比能够是横纵1:2。作为另一实例，在4:4:4的情况下能够具有横纵相同的构成比。在如上所述的由一个以上的色彩空间构成的情况下，能够对图像执行各个色彩空间上的分割。
在本发明中，将以一部分色彩格式(在本实例中为YCbCr)的一部分色彩空间(在本实例中为Y)为基准进行说明，在基于色彩格式的其他色彩空间(在本实例中为Cb、Cr)中能够相同或类似地进行适用(依赖于特定色彩空间的设定)。但是，也能够在各个色彩空间中保留一部分差异(独立于特定色彩空间的设定)。即，依赖于各个色彩空间的设定能够是指与各个成分的构成比(例如，根据如4:2:0、4:2:2、4:4:4等进行确定)成比例或依赖性的性质，而独立于各个色彩空间的设定能够是指与各个成分的构成比无关或独立性地仅适用于相应色彩空间的性质。在本发明中根据编码/解码器的不同，一部分构成能够具有独立性的性质或依赖性的性质。
在影像编码过程中所需要的设定信息或语法元素，能够在如视频、序列、图像、条带、并行区块、区块等单位水准上确定，且能够以如视频参数集(VPS，Video ParameterSet)、序列参数集(SPS，Sequence Parameter Set)、图像参数集(PPS，Picture ParameterSet)、条带头(Slice Header)、并行区块头(Tile Header)、区块头(Block Header)等单位收录到比特流中并被传送到解码器中，而在解码器中能够在相同水准的单位上进行解析(Parsing)并在对从编码器传送过来的设定信息进行解码之后在影像解码过程中进行使用。此外，还能够通过如补充增强信息(SEI，Supplement Enhancement Information)或元数据(Metadata)等形态将相关信息传送到比特流中并在解析之后进行使用。各个参数集具有固有的编号值，而下级参数集中能够包括需要进行参考的上级参数集的编号值。例如，下级参数集能够从一个以上的上级参数集中对具有一致编号值的上级参数集的信息进行参考。在如上所述的多种单位的实例中，当某一个单位包含一个以上的另一个单位时，相应的单位能够被称之为上级单位而被包含的单位能够被称之为下级单位。
关于在上述单位上生成的设定信息，能够包括在各个单位中独立性的设定相关内容，也能够包括依赖于之前、之后或上级单位等的设定相关内容。其中，依赖性的设定是指用于指示是否遵循之前、之后、上级单位设定的标志信息(例如为1比特的标志，1表示遵循而0表示不遵循)，能够理解为是表示相应单位的设定信息。虽然在本发明中关于设定信息将以与独立性的设定相关的实例为中心进行说明，但是还能够包括利用依赖于当前单位的之前、之后的单位或上级单位的设定信息的内容进行追加或替代的实例。
接下来，将参阅附图对适用本发明的较佳实施例进行详细的说明。
图1是对适用本发明之实施例的影像编码以及解码系统进行图示的概念图。
参阅图1，影像编码装置105以及解码装置100，能够是如个人计算机(PC，PersonalComputer)、笔记本计算机、个人便携式终端(PDA，Personal Digital Assistant)、便携式多媒体播放器(PMP，Portable Multimedia Player)、便携式游戏站(PSP，PlayStationPortable)、无线通信终端(Wireless Communication Terminal)、智能手机(SmartPhone)、电视机(TV)等使用者终端或如应用服务器以及业务服务器等服务器终端，能够包括配备有用于与各种设备或有线无线通信网络执行通信的如通信调制解调器等通信装置、为了对影像进行编码或解码而对用于执行帧间或帧内预测的各种应用程序和数据进行存储的存储器(memory)120、125、用于通过执行应用程序而进行运算以及控制的处理器(processor)110、115等的多种装置。此外，通过影像编码装置105编码成比特流的影像能够通过如互联网、近距离无线通信网、无线局域网、无线宽带网、移动通信网等有线无线通信网络(Network)或通过如线缆、通用串行总线(USB，Universal Serial Bus)等多种通信接口传送到影像解码装置100并在影像解码装置100中得到解码而重建成影像之后进行播放。此外，通过影像编码装置105编码成比特流的影像还能够通过计算机可读取的存储介质从影像编码装置105传递到影像解码装置100。
图2是对适用本发明之一实施例的影像编码装置进行图示的块图。
适用本实施例的影像解码装置20如图2所示，能够包括预测部200、减法运算部205、变换部210、量化部215、逆量化部220、逆变换部225、加法运算部230、滤波部235、编码图像缓冲区240以及熵编码部245。
预测部200能够包括用于执行画面内预测的画面内预测部以及用于执行画面间预测的画面间预测部。画面内预测能够通过利用与当前区块相邻的区块的像素执行空间性预测而生成预测区块，而画面间预测能够通过从参考影像中查找与当前区块最佳匹配的区域并执行运动补偿而生成预测区块。能够在确定对相应的单位(编码单位或预测单位)适用画面内预测或画面间预测中的哪一种方式之后，再对与各个预测方法相关的具体信息(例如画面内预测模式、运动向量、参考影像等)进行确定。此时，执行预测的处理单位与确定预测方法以及具体内容的处理单位能够根据编码/解码设定而有所不同。例如，预测方法以及预测模式等能够以预测单位进行确定，而预测的执行能够以变换单位执行。
画面内预测部能够采用按照预测方向使用的如水平、垂直模式等定向预测模式以及使用参考像素的平均、内插等方法的均值(DC)、平面(Planar)等非定向预测模式。通过定向以及非定向模式，能够构成画面内预测模式候选组，能够将如35个预测模式(定向33个+非定向2个)或67个预测模式(定向65个+非定向2个)、131个预测模式(定向129个+非定向2个)等多种后选中的某一个作为候选组进行使用。
画面内预测部，能够包括参考像素构成部、参考像素滤波部、参考像素插值部、预测模式确定部、预测区块生成部、预测模式编码部。参考像素构成部能够以当前区块为中心利用包含于相邻区块且与当前区块相邻的像素构成用于执行画面内预测的参考像素。根据编码设定，能够利用最相邻的一个参考像素行构成参考像素，或利用除此之外的其他相邻的一个参考像素行构成参考像素，或利用多个参考像素行构成参考像素。当参考像素中的一部分不可用时能够利用可用的参考像素生成参考像素，而当全部不可用时能够利用预先设定的值(例如能够通过比特深度表示的像素值范围的中间值等)生成参考像素。
画面内预测部的参考像素滤波部能够以减少通过编码过程残留的失真为目的对参考像素执行滤波。此时，所使用的滤波器能够是如3抽头(3-tap)滤波器[1/4、1/2、1/4]、5抽头(5-tap)滤波器[2/16、3/16、6/16、3/16、2/16]等低通滤波器(Low-pass Filter)。能够根据编码信息(例如区块的大小、形态、预测模式等)对滤波的适用与否以及滤波类型进行确定。
画面内预测部的参考像素插值部能够根据预测模式通过参考像素的线性插值过程生成小数单位的像素，且能够根据编码信息对所适用的插值滤波器进行确定。此时，所使用的插值滤波器能够包括4抽头(4-tap)三次(Cubic)滤波器、4头筹(4-tap)高斯(Gaussian)滤波器、6抽头(6-tap)维纳(Wiener)滤波器、8抽头(8-tap)卡尔曼(Kalman)滤波器等。通常，执行低通滤波的过程与执行插值的过程相互独立，但是也能够在将两个过程中适用的滤波器整合成一个之后再执行滤波过程。
画面内预测部的预测模式确定部能够在考虑到编码成本的前提下从预测模式候选组中选定最佳的预测模式，而预测区块生成部能够使用相应的预测模式生成预测区块。在预测模式编码部中，能够以预测值为基础对上述最佳的预测模式进行编码。此时，能够按照预测值合适的情况以及不合适的情况自适应地对预测信息进行编码。
在画面内预测部中将上述预测值称之为最有可能模式(MPM，Most ProbableMode)，能够从包含于预测模式候选组的所有模式中选择一部分模式构成最有可能模式(MPM)候选组。最有可能模式(MPM)候选组中，能够包括预先设定的预测模式(例如均值(DC)、平面(Planar)、垂直、水平、对角线模式等)或在空间上相邻的区块(例如左侧、上侧、左上、右上、左下区块等)的预测模式等。此外，能够利用从预先包含于最有可能模式(MPM)候选组的模式中推导出的模式(定向模式中的+1、-1等差异)构成最有可能模式(MPM)候选组。
在用于构成最有可能模式(MPM)候选组的预测模式中，能够有优先顺序存在。能够根据上述优先顺序对包含于最有可能模式(MPM)候选组中的顺序进行确定，而且能够在按照上述优先顺序填满最有可能模式(MPM)候选组的数量(根据预测模式候选组的数量进行确定)时完成最有可能模式(MPM)候选组的构成。此时，优先顺序能够按照在空间上相邻的区块的预测模式、预先设定的预测模式、从较早包含于最有可能模式(MPM)候选组的预测模式中推导出的模式的顺序进行确定，也能够进行其他变形。
例如，在空间上相邻的区块中能够按照左-上-左下-右上-坐上区块等的顺序包含于候选组中，而在预先设定的预测模式中能够按照均值(DC)-平面(Planar)-垂直-水平模式等的顺序包含于候选组中，再将通过对预先包含的模式中进行+1、-1等加法运算而获得的模式包含于候选组中，从而利用共计6个模式构成候选组。或者，也能够通过按照左-上-均值(DC)-平面(Plana)-左下-右上-(左+1)-(左-1)-(上+1)等的一个优先顺序包含于候选组中，从而利用共计7个模式构成候选组。
在上述候选组构成中能够执行有效性检查，从而只有在有效时包含于候选组中而在无效时跳转到下一个候选。例如当相邻区块位于图像的外侧或包含于与当前区块不同的分割单位上或相应区块的编码模式为画面间预测时能够无效，此外在本发明中后续说明的不可参考的情况下也能够无效。
在上述后选中，在空间上相邻的区块能够由一个区块构成，也能够由多个区块(子区块)构成。因此，在上述候选组构成中的如(左-上)的顺序中，其顺序能够是在执行对左区块中的某一个位置(例如左区块的最下侧区块)的有效性检查之后跳转到上区块，或者其顺序能够是在执行对多个位置(例如从左区块的最上侧区块开始的位于其下方的一个以上的子区块)的有效性检查之后跳转到上区块，也能够根据编码设定进行确定。
在画面间预测部中，能够根据运动预测方法分为移动运动模型和非移动运动模型。在移动运动模型中，在仅考虑平行移动的情况下执行预测，而在非移动运动模式中，在考虑平行移动的同时考虑旋转、远近、缩放(Zoom in/out)等运动的情况下执行预测。在假定单向预测的前提下，在移动运动模型中将需要一个运动向量，而在非移动运动模型中将需要一个以上的运动向量。在非移动运动模型中，各个运动向量能够是适用于如当前区块的左上侧顶点、右上侧顶点等当前区块的预先设定的位置上的信息，通过相应的运动向量，能够以像素单位或子区块单位获取当前区块中需要进行预测的区域的位置。画面间预测部能够按照上述运动模型在共同适用后续说明的一部分过程的同时个别适用其他一部分过程。
画面间预测部能够包括参考图像构成部、运动预测部、运动补偿部、运动信息确定部、运动信息编码部。参考图像构成部能够以当前图像为中心将之前或之后编码的图像包含于参考图像列表(L0，L1)中。从包含于上述参考图像列表中的参考图像，能够获取预测区块，而且根据编码设定，还能够利用当前影像构成参考图像并将其包含到参考图像列表中的至少一个位置。
在画面间预测部中，参考图像构成部能够包括参考图像插值部，而且能够根据插值精确度执行用于小数单位像素的插值过程。例如，能够对亮度成分适用8抽头(8-tap)的基于离散余弦变换(DCT)的插值滤波器，并对色差成分适用4抽头(4-tap)的基于离散余弦变换(DCT)的插值滤波器。
在画面间预测部中，运动预测部用于执行通过参考图像探索与当前区块的相关性较高的区块的过程，能够使用如全搜索区块匹配算法(FBMA，Full search-based BlockMatching Algorithm)、三步搜索算法(TSS，Three Step Search)等多种方法，而运动补偿部用于执行通过运动预测过程获取预测区块的过程。
在画面间预测部中，运动信息确定部能够执行用于选定当前区块的最佳运动信息的过程，运动信息能够通过如跳过模式(Skip Mode)、合并模式(Merge Mode)、竞争模式(Competition Mode)等运动信息编码模式进行编码。上述模式能够根据运动模型采用对所支持的模式进行结合的构成，其实例能够包括跳过模式(移动)、跳过模式(非移动)、合并模式(移动)、合并模式(非移动)、竞争模式(移动)、竞争模式(非移动)。根据符号化设定，能够将上述模式中的一部分包含于候选组中。
上述运动信息编码模式能够从至少一个候选区块获取当前区块的运动信息(运动向量、参考图像、预测方向等)的预测值，在支持两个以上的候选区块时能够生成最佳的候选选择信息。跳过模式(无残差信号)以及合并模式(有残差信号)能够将上述预测值直接作为当前区块的运动信息进行使用，而竞争模式能够生成当前区块的运动信息与上述预测值之间的差分值信息。
用于当前区块的运动信息预测值的候选组根据运动信息编码模式自适应且能够采用多种构成。与当前区块在空间上相邻的区块(例如左侧、上侧、左上、右上、左下区块等)的运动信息能够被包含于候选组中，而且在时间上相邻的区块(例如包含与当前区块对应或相应的其他影像内的区块<中央>在内的左侧、右侧、上侧、下侧、左上、右上、左下、右下区块等)的运动信息也能够被包含于候选组中，此外空间性候选与时间性候选的混合运动信息(例如通过在空间上相邻的区块的运动信息和在时间上相邻的区块的运动信息以平均、中央值等获取的信息、能够以当前区块或当前区块的子区块单位获取运动信息)等也能够被包含于候选组中。
在运动信息预测值候选组构成中，能够有优先顺序存在。能够根据上述优先顺序对包含于预测值候选组构成中的顺序进行确定，而且能够在按照上述优先顺序填满候选组的数量(根据运动信息编码模式进行确定)时完成候选组的构成。此时，能够按照在空间上相邻的区块的运动信息、在时间上相邻的区块的运动信息、空间性候选与时间性候选的混合运动信息的顺序对优先顺序进行确定，也能够进行其他变形。
例如，在空间上相邻的区块中能够按照左-上-右上-左下-左上区块等的顺序包含于候选组中，而在时间上相邻的区块中能够按照右下-中-右-下区块等的顺序包含于候选组中。
在上述候选组构成中能够执行有效性检查，从而只有在有效时包含于候选组中而在无效时跳转到下一个候选。例如当相邻区块位于图像的外侧或包含于与当前区块不同的分割单位上或相应区块的编码模式为画面内预测时能够无效，此外在本发明中后续说明的不可参考的情况下也能够无效。
在上述后选中，在空间上或时间上相邻的区块能够由一个区块构成，也能够由多个区块(子区块)构成。因此，在上述空间性候选组构成中的如(左-上)的顺序中，其顺序能够是在执行对左区块中的某一个位置(例如左区块的最下侧区块)的有效性检查之后跳转到上区块，或者其顺序能够是在执行对多个位置(例如从左区块的最上侧区块开始的位于其下方的一个以上的子区块)的有效性检查之后跳转到上区块。此外，在时间性候选组构成中的如(中-右)的顺序中，其顺序能够是在执行对中区块中的某一个位置(例如当中央区块被分割成4×4区域时为<2，2>)的有效性检查之后跳转到右区块，或者其顺序能够是在执行对多个位置(例如从预先设定的位置区块<2，2>开始位于预先设定的顺序上的<3，3>、<2，3>等一个以上的子区块)的有效性检查之后跳转到下区块，也能够根据编码设定进行确定。
减法运算部205通过对当前区块与预测区块进行减法运算而生成残差区块。即，减法运算部205通过对需要进行编码的当前区块的各个像素的像素值与通过预测部生成的预测区块的各个像素的预测像素值之间的差异进行计算而生成区块形态的残差信号即残差区块。
变换部210通过将残差区块变换成频率区域而将残差区块的各个像素值变换成频率系数。其中，变换部210能够利用如阿达马变换(Hadamard Transform)、基于离散余弦变换的变换(DCT Based Transform)、基于离散正弦变换的变换(DST Based Transform)、基于卡洛南-洛伊变换的变换(KLT Based Transform)等用于将空间轴的像素信号变换成频率轴的多种变换技法将残差信号变换成频率信号，而变换成频率区域的残差信号将成为频率系数。变换时能够通过1维变换矩阵进行变换。能够以水平、垂直单位自适应地使用各个变换矩阵。例如，当画面内预测中的预测模式为水平时，能够在垂直方向上使用基于离散余弦变换(DCT)的变换矩阵并在水平方向上使用基于离散正弦变换(DST)的变换矩阵。而当预测模式为垂直时，能够在水平方向上使用基于离散余弦变换(DCT)的变换矩阵并在垂直方向上使用基于离散正弦变换(DST)的变换矩阵。
量化部215对通过变换部210变换成频率区域的包含频率系数的残差区块进行量化。其中，量化部215能够使用如死区均匀阈值量化(Dead Zone Uniform ThresholdQuantization)、量化加权矩阵(Quantization Weighted Matrix)或对其进行改良的量化技法对经过变换的残差区块进行量化。此时，能够选择1个以上的量化技法作为候选且能够根据编码模式、预测模式信息等进行确定。
熵编码部245通过利用多种扫描方式对所生成的量化频率系数列进行扫描而生成量化系数列，并在利用如熵编码技法等进行编码之后输出。作为扫描模式，能够设定为如之字形、对角线、栅格形(raster)等多种模式中的一个。此外，能够生成包含从各个构成部传递过来的编码信息的编码数据并输出到比特流。
逆量化部220对通过量化部215进行量化的残差区块进行逆量化。即，逆量化部220通过对量化频率系数列进行逆量化而生成包含频率系数的残差区块。
逆变换部225对通过逆量化部220进行逆量化的残差区块进行逆变换。即，逆变换部225通过对经过逆量化的残差区块的频率系数进行逆变换而生成包含像素值的残差区块即经过重建的残差区块。其中，逆变换部225能够通过逆向使用在变换部210中使用的变换方式而执行逆变换。
加法运算部230能够通过对在预测部200中预测的预测区块与通过逆变换部225重建的残差区块进行加法运算而对当前区块进行重建。经过重建的当前区块将作为参考图像(或参考区块)被存储到编码图像缓冲区240中，从而能够在对当前区块的下一个区块或后续的其他区块、其他图像进行编码时作为参考图像进行使用。
滤波部235能够包括去块滤波器、样本自适应偏移(SAO，Sample AdaptiveOffset)、自适应环路滤波器(ALF，Adaptive Loop Filter)等一个以上的后处理滤波过程。去块滤波器能够对在经过重建的图像中的区块之间的边界上出现的区块失真进行消除。自适应环路滤波器(ALF)能够在通过去块滤波器对区块进行滤波之后再以对经过重建的影像与原始影像进行比较的值为基础执行滤波。样本自适应偏移(SAO)能够对已经适用去块滤波器的残差区块，以像素单位对与原始影像之间的偏移差异进行重建。如上所述的后处理滤波器，能够适用于经过重建的图像或区块。
滤波部中的去块滤波部能够将以区块边界为基准包含于两个区块上的几个列或行中所包含的像素为基础适用。作为上述区块，适用于编码区块、预测区块、变换区块的边界为宜，且能够仅限于预先设定的最小大小(例如8×8)以上的区块。
关于滤波适用与否，能够在考虑到区块边界特性的情况下对滤波适用与否以及滤波强度进行确定，能够确定为强滤波、中滤波、弱滤波等后选中的一个。此外，当上述区块边界属于分割单位的边界时，在分割单位的边界上将根据环路滤波器适用与否标志对其适用与否进行确定，也能够根据在本发明中后续说明的多种情况对其适用与否进行确定。
滤波部中的样本自适应偏移(SAO)能够以经过重建的影像与原始影像之间的差异值为基础进行适用。作为偏移类型，能够支持如边缘偏移(Edge Offset)、带状偏移(BandOffset)，能够根据影像的特性选择上述偏移中的一个执行滤波。此外，上述偏移相关信息能够以区块单位进行编码，也能够通过与其相关的预测值进行编码。此时，能够按照预测值合适的情况以及不合适的情况自适应地对相关信息进行编码。预测值能够是相邻区块(例如左侧、上侧、左上、右上区块等)的偏移信息，能够生成与获取哪个区块的偏移信息相关的选择信息。
在上述候选组构成中能够执行有效性检查，从而只有在有效时包含于候选组中而在无效时跳转到下一个候选。例如相邻区块能够位于图像的外侧或包含于与当前区块不同的分割单位上或在本发明中后续说明的不可参考的情况下能够无效。
编码图像缓冲区240能够对通过滤波部235重建的区块或图像进行存储。存储于编码图像缓冲区240中的重建区块或图像，能够被提供到用于执行画面内预测或画面间预测的预测部200中。
图3是对适用本发明之一实施例的影像解码装置进行图示的构成图。
参阅图3，影像解码装置30能够包括熵解码部305、预测部310、逆量化部315、逆变换部320、加减法运算器325、滤波器330、解码图像缓冲区335。
此外，预测部310能够进一步包括画面内预测模块以及画面间预测模块。
首先，在接收到从影像编码装置20传递过来的影像比特流时，能够将其传递到熵解码部305中。
熵解码部305能够通过对比特流进行解码而对包含经过量化的系数以及从各个构成部传递过来的解码信息的解码数据进行解码。
预测部310能够以从熵解码部305传递过来的数据为基础生成预测区块。此时，还能够以经过解码的被存储在图像缓冲区335中的参考影像为基础，构成利用默认(default)构成技法的参考图像列表。
画面内预测部能够包括参考像素构成部、参考像素滤波部、参考像素插值部、预测区块生成部、预测模式解码部，画面间预测部能够包括参考图像构成部、运动补偿部、运动信息解码部，其中一部分能够执行与编码器相同的过程，而另一部分能够执行反向诱导的过程。
逆量化部315能够对从比特流提供并通过熵解码部305进行解码的经过量化的变换系数进行逆量化。
逆变换部320能够通过将逆离散余弦变换(DCT)、逆整数变换或与其类似概念的逆变换技法适用于变换系数而生成残差区块。
此时，逆量化部315、逆变换部320将逆向执行在上述说明的影像编码装置20的变换部210以及量化部215中执行的过程，且能够通过多种方法实现。例如，能够使用与变换部210以及量化部215共享的相同的过程以及逆变换，也能够利用与影像编码装置20的变换以及量化过程相关的信息(例如变换大小、变换形状、量化类型等)逆向执行变换以及量化过程。
经过逆量化以及逆变换过程的残差区块能够通过与在预测部310中推导出的预测区块进行加法运算而生成经过重建的影像区块。如上所述的加法运算能够通过加减法运算器325执行。
对于经过重建的影像区块，滤波器330能够根据需要适用用于消除区块(blocking)现象的去块滤波器，而且能够为了提升视频品质而在上述解码过程的前后追加使用其他环路滤波器。
经过重建以及滤波的影像区块能够被存储于解码图像缓冲区335中。
虽未图示，但是影像解码装置30还能够包括分割部，此时上述分割部能够包括图像分割部以及区块分割部。分割部是与在图2中所图示的影像解码装置中相同或相应的构成，一般的技术人员能够轻易地理解，所以在此将省略其详细的说明。
图4a至图4d是用于对适用本发明之一实施例的投影格式进行说明的概念图。
图4a对将360度影像投影到2维平面的等距柱状投影(ERP，Equi-RectangularProjection)格式进行了图示。图4b对将360度影像投影到正方体的立方体投影(CMP，CubeMap Projection)格式进行了图示。图4c对将360度影像投影到八面体的八面体投影(OHP，OctaHedron Projection)格式进行了图示。图4d对将360度影像投影到多面体的二十面体投影(ISP，IcoSahedral Projection)格式进行了图示。但是并不限定于此，能够使用多样化的投影格式。例如，还能够使用如截头方形金字塔投影(TSP，Truncated SquarePyramid Projection)、分段球面投影(SSP，Segmented Sphere Projection)等。图4a至图4d的左侧为3维模型，右侧为通过投影(projection)过程变换成2维空间的实例。2维投影的图形能够由一个以上的表面(Face)构成，而各个表面能够采用圆形、三角形、四边形等形状。
如图4a至图4d所示，投影格式能够由一个表面(例如等距柱状投影(ERP))或多个表面(例如立方体投影(CMP)、八面体投影(OHP)、二十面体投影(ISP)等)构成。此外，各个表面能够分类为如四边形以及三角形等形态。上述分类能够是在根据投影格式设定不同的编码/解码设定时可以适用的本发明中的影像的类型、特性等的一实例。例如，影像的类型能够是360度影像，而影像的特性能够是上述分类(例如各个投影格式、一个表面或多个表面的投影格式、表面为四边形或不为四边形的投影格式等)中的一个。
2维平面坐标系统{例如(i，j)}能够在2维投影影像的各个表面上做出定义，坐标系的特性能够根据投影格式、各个表面的位置等而有所不同。在如等距柱状投影(ERP)等情况下能够包含一个2维平面坐标系统，而其他投影格式能够根据表面的数量包含多个2维平面坐标系统。此时，坐标系统能够以(k，i，j)表示，其中k能够是各个表面的索引信息。
在本发明中为了说明的便利，将以表面形态为四边形的情况为中心进行说明，而投影到2维的表面数量能够是1个(例如等距柱状投影(Equirectangular Projection)，即影像与一个表面等同的情况)至2个以上(例如立方体投影(Cube Mao Projection)等)。
图5a至图5c是用于对适用本发明之一实施例的表面配置进行说明的概念图。
在将3维影像投影到2维的投影格式中，需要对其表面的配置进行确定。此时，表面配置能够以维持3维空间上的影像连续性的方式进行配置，也能够以即使破坏一部分相邻表面之间的影像连续性也最大限度地贴紧表面之间的间隔的方式进行配置。此外，在对表面进行配置时，一部分表面能够在旋转一定角度(0、90、180、270度等)之后进行配置。
参阅图5a，能够对立方体投影(CMP)格式相关的表面配置(layout)的实例进行确认，当以维持3维空间上的影像连续性的方式进行配置时，能够使用如左侧图像所示的在横向配置四个表面之后再在上下各配置一个表面的4×3配置(layout)。此外，还能够使用如右侧图像所示的即使破坏一部分相邻表面之间的影像连续性也在2维平面上无缝配置表面的3×2配置(layout)。
参阅图5b，能够对八面体投影(OHP)格式相关的表面配置进行确认，当以维持3维空间上的影像连续性的方式进行配置时如上端图像所示。此时，即使破坏一部分影响连续性也在所投影的2维平面上无缝配置表面时，还能够按照如下端图像所示的方式进行配置。
参阅图5c，能够对二十面体投影(ISP)格式相关的表面配置进行确认，此时能够按照如上端图像所示的维持3维空间上的影像连续性的方式进行配置，也能够按照如下端图像所示的在表面之间无缝隙地贴紧的方式进行配置。
此时，无缝贴紧配置表面的过程能够被称之为帧封装(frame packing)，且能够通过旋转表面之后进行配置而将影像连续性受到破坏的现象降至最低。接下来，如上所述的将表面配置变更为其他表面配置的过程将被称之为表面重新配置。
接下来，连续性这一术语能够解释为是在3维空间上肉眼可见的场面的连续性，或在2维投影空间上的实际影像或场景的连续性。有连续性也能够表达为区域之间的相关性较高。通常，2维影像上的区域之间的相关性可能较高或较低，但是在360度影像中可能会有即使是在空间上相邻也没有任何连续性的区域。此外，按照如上所述的表面配置或重新配置，可能会有虽然在空间上不相邻但有连续性的区域。
能够以改善编码性能为目的执行表面的重新配置。例如，能够通过执行表面的重新配置而使得有影像连续性的表面相互相邻配置。
此时，表面重新配置并不是指必须在配置表面之后重新构成，还能够理解为是从一开始就设定特定的表面配置的过程。(能够在360度影像编码/解码过程的区域式打包(region-wise packing)中执行)
此外，表面配置或重新配置除了各个表面的位置变更(在本实例中为表面的单纯移动，例如从影像的左侧上端到左侧下端或右侧下端的移动)之外还能够包括表面的旋转。其中，表面的旋转能够包括没有表面旋转的0度、向右45度、向左90度等，且能够在将360度分割(均等或非均等)成k个(或2k个)区间之后选择所分割的区间而代表旋转角度。
编码/解码器能够按照预先设定的表面配置信息(表面的形态、表面的数量、表面的位置、表面的旋转角度等)和/或表面重新配置信息(用于指示各个表面的位置或移动角度、移动方向等的信息)执行表面配置(或重新配置)。此外，还能够由编码器根据输入影像生成表面配置信息和/或表面重新配置信息并由解码器从编码器接收如上所述的信息并进行解码，从而执行表面配置(或重新配置)。
接下来在没有单独进行说明的情况下所指的表面是以图5a中的3×2配置(layout)为前提，而此时表示各个表面的编号从左侧上端开始按照栅格形扫描顺序能够分别为0至5。
接下来在以图5a中的表面之间的连续性为前提进行说明时，除非另有说明，否则能够假定第0号至第2号的表面之间相互具有连续性，从第3号到底5号的表面之间相互具有连续性，而第0号与第3号、第1号与第4号、第2号与第5号表面之间不具有连续性。上述表面之间是否具有连续性，能够通过影像的特性、类型、格式等设定进行确定。
在360度影像的编码/解码过程中，编码装置能够获取输入影像、对所获取到的影像进行前处理、对经过前处理的影像进行编码并将经过编码的比特流传送到解码装置。其中，前处理能够包括如图像拼接(image stiching)、将3维影像投影(projection)到2维平面、表面配置以及重新配置(或被称之为区域式打包(region-wise packing))等。此外，解码装置能够接收比特流、对所接收到的比特流进行解码、对经过解码的影像执行后处理(图像渲染等)并生成输出影像。
此时，比特流能够对在前处理过程中生成的信息(补充增强信息(SEI)消息或元数据等)以及在编码过程中生成的信息(影像编码数据)进行收录之后传送。
图6a至图6b是用于对适用本发明之一实施例的分割部进行说明的例示图。
图2或图3中的影像编码/解码装置还能够包括分割部，而分割部能够包括图像分割部以及区块分割部。图像分割部能够将图像分割成至少一个处理单位{例如色彩空间(YCbCr、RGB、XYZ等)、子图像、条带、并行区块、基本编码单位(或最大编码单位)等}，而区块分割部能够将基本编码单位分割成至少一个处理单位(例如编码、预测、变换、量化、熵、环路滤波单位等)。
基本编码单位能够通过将图像沿着水平方向或垂直方向以一定的长度间隔进行分割的方式获得，这也能够是适用于如子图像、并行区块、条带、表面等的单位。即，上述单位能够以基本编码单位的整数倍构成，但是并不限定于此。
例如，在一部分分割单位(在本实例中为并行区块、子图像等)中能够适用不同的基本编码单位，而相应的分割单位能够采用独立的基本编码单位大小。即，上述分割单位的基本编码单位能够被设定为与图像单位的基本编码单位以及其他分割单位的基本编码单位相同或不同。
在本发明中为了说明的便利，将基本编码单位以及除此之外的其他处理单位(编码、预测、变换等)称之为区块(Block)。
上述区块的大小或形态能够是水平或垂直长度以2的指数幂(2n)表示的N×N正方形形态(2n×2n，256×256，128×128，64×64，32×32，16×16，8×8，4×4等，n为2～8之间的整数)，或M×N长方形形态(2m×2n)。例如，能够将分辨率极高的8k超高清晰度(UHD)级别的输入影像分割成256×256大小，将1080p的高清晰度(HD)级别的输入影像分割成128×128大小，将宽型影像图形数组(WVGA)级别的输入影像分割成16×16大小。
图像能够被分割成至少一个条带。条带能够由在扫描顺序上连续的至少一个区块的组合构成。各个条带能够被分割成至少一个条带片段，各个条带片段能够被分割成基本编码单位。
图像能够被分割成至少一个子图像或并行区块。子图像或并行区块能够采用四边形(长方形或正方形)的分割形态，且能够被分割成基本编码单位。子图像在采用相同的分割形态(四边形)的方面与并行区块类似。但是，子图像与并行区块不同，能够在采用单独立的编码/解码设定的方面与并行区块进行区分。即，并行区块是从上级单位(例如图像等)接收用于执行编码/解码的设定信息，而子图像能够从各个子图像的头信息直接获取用于执行编码/解码的至少一个设定信息。即，并行区块与子图像不同，只是通过对影像进行分割而获得的单位，并不是对数据进行传送的单位{例如视频编码层(VCL，Video CodingLayer)的基本单位}。
此外，并行区块能够是在并行处理观点上受到支持的分割单位，而子图像能够是在独立的编码/解码观点上受到支持的分割单位。具体来讲，子图像不仅能够以子图像为单位进行编码/解码设定，还能够对编码/解码与否进行确定，而且能够以关注区域为中心构成相应的子图像并进行显示，与其相关的设定能够在序列、图像等单位上进行确定。
在上述实例中，还能够变更为在子图像的上级单位进行编码/解码设定并以并行区块单位进行独立的编码/解码设定的方式，在本发明中为了说明的便利，将假定并行区块既能够独立进行设定也能够依赖于上级单位进行设定的情况为例进行说明。
在对图像进行四边形形态的分割时所生成的分割信息能够采用多种形态。
参阅图6a，能够通过将图像一次性地沿着水平线b7以及垂直线(此时b1和b3、b2和b4将分割构成一个分割线)进行分割而获得四边形形态的分割单位。例如，能够以水平以及垂直方向为基准分别生成四边形的数量信息。此时，当四边形为均等分割时，能够将图像的水平长度和垂直长度分别处以水平线以及垂直线的数量而对所分割的四边形的水平、垂直长度进行确认，而当四边形不为均等分割时，能够追加生成用于指示四边形的水平、垂直长度的信息。此时，水平以及垂直长度能够以一个像素单位表示或以像素单位表示。在以多个像素单位表示的情况下，例如当基本编码单位的大小为M×N且四边形的大小为8M×4N时能够将水平以及垂直长度分别表示为8以及4(在本实例中相应分割单位的基本编码单位为M×N时)，或表示为16以8(在本实例中相应分割单位的基本编码单位为M/2×N/2时)。
此外，参阅图6b，能够对与图6a不同通过对图像独立进行分割而获得四边形形态的分割单位的情况进行确认。例如，能够生成影像内的四边形数量信息、各个四边形在水平以及垂直方向上的起始位置信息(通过附图编号z0至z5指示的位置，能够以图像内的x，y坐标表示)以及各个四边形的水平以及垂直长度信息。此时，起始位置能够以一个像素单位或多个像素单位表示，水平以及垂直长度也能够以一个像素单位或多个像素单位表示。
图6a能够是并行区块或子图像的分割信息的实例，而图6b能够是子图像的分割信息的实例，但是并不限定于此。接下来为了说明的便利，将假定四边形形态的分割单位对并行区块进行说明，但与并行区块相关的说明能够相同或类似地适用于子图像(此外还能够适用于表面(face))。即，在本发明中只是通过术语上的差异进行区分，实际上与并行区块相关的说明能够作为子图像的定义进行使用，而且与子图像相关的说明也能够作为并行区块的定义进行使用。
在上述内容中提及的分割单位中的一部分并不要求必须包含，能够根据编码/解码设定选择性地包含全部或其中的一部分，还能够支持除此之外的其他追加的单位(例如表面)。
此外，能够通过区块分割部分割成多种大小的编码单位(或区块)。此时，编码单位能够根据色彩格式由多个编码区块构成(例如一个亮度编码区块以及两个色差编码区块等)。为了说明的便利，将假定一个色彩成分单位进行说明。编码区块能够采用如M×M(例如M为4、8、16、32、64、128等)等可变大小。此外，根据分割方式(例如树状结构分割，即四叉树<QuadTree，QT>分割、二叉树<Binary Tree，BT>分割、三叉树<Ternary Tree，TT>分割等)，能够将编码区块分割成M×N(例如M以及N为4、8、16、32、64、128等)可变大小。此时，编码区块能够是作为画面内预测、画面间预测、变换、量化、熵编码等的基础的单位。
虽然在本发明中是假定通过分割方式获取到相同的大小以及形态的多个子区块(对称)的情况为例进行说明，但是同样能够适用于包含非对称性子区块(例如二叉树分割时分割区块之间的水平比例<垂直相同>为1:3或3:1或垂直比例<水平相同>为1:3或3:1等、三叉树分割时分割区块之间的水平比例<垂直相同>为1:2:1或垂直比例<水平相同>为1:2:1等)的情况。
编码区块的分割(M×N)能够采用递归性的树状结构。此时，分割与否能够通过分割标志进行表示。例如，当分割深度(Depth)为k的编码区块的分割标志为0时，编码区块的编码是在分割深度为k的编码区块上执行，而当分割深度为k的编码区块的分割标志为1时，编码区块的编码将根据分割方式在分割深度为k+1的4个子编码区块(四叉树分割)或2个子编码区块(二叉树分割)或3个子编码区块(三叉树分割)中执行。
上述子编码区块将重新设定为编码区块k+1且能够通过上述过程被再次分割成子编码区块k+2，在四叉树分割中能够支持分割标志(例如用于指示分割与否)。
在二叉树分割中能够支持分割标志以及分割方向标志(水平或垂直)。当在二叉树分割中支持一个以上的分割比例(例如支持水平或垂直比例为1:1之外的追加分割比例即非对称分割)时，还能够支持分割比例标志(例如选择水平或垂直比例候选组<1:1、1:2、2:1、1:3、3:1>中的一个比例)，或支持其他形态的标志(例如对称分割与否、当为1时作为对称分割不包含追加信息，当为0时作为非对称分割需要与比例相关的追加信息)。
在三叉树分割中能够支持分割标志以及分割方向标志。当在三叉树分割中支持一个以上的分割比例时，将需要与上述二叉树分割相同的追加分割信息。
上述实例为只有一种树状分割方式有效时生成的分割信息，而当多种树状分割方式有效时能够构成如下所述的分割信息。
例如，当支持多种树状分割时，在由预先设定的分割优先顺序存在的情况下能够首先构成与优先的顺序对应的分割信息。此时，当与优先的顺序对应的分割标志为真时能够进一步包括与相应的分割方式相关的追加分割信息，而当为假时(不执行分割)能够由与下一个顺序对应的分割方式的分割信息(分割标志、分割方向标志等)构成。
或者，当支持多种树状分割时，能够追加生成与分割方式相关的选择信息，并由与所选择的分割方式相关的分割信息构成。
上述一部分分割标志，能够根据较早执行的上级或之前的分割结果进行省略。
区块分割能够从最大编码区块开始执行到最小编码区块。或者，还能够从最小分割深度0开始执行到最大分割深度。即，能够在区块大小达到最小编码区块大小或分割深度达到最大分割深度之前递归性地执行分割。此时，能够根据编码/解码设定(例如影像<条带，并行区块>类型<I/P/B>、编码模式<帧内(Intra)/帧间(Inter)>、色差成分<Y/Cb/Cr>等)，对最大编码区块的大小以及最小编码区块的大小、最大分割深度自适应地进行设定。
例如，当最大编码区块为128×128时，四叉树分割能够在32×32～128×128的范围内执行，而二叉树分割能够在16×16～64×64的范围以及最大分割深度为3的范围内执行，三叉树分割则能够在8×8～32×32的范围以及最大分割深度为3的范围内执行。或者，四叉树分割能够在8×8～128×128的范围内执行，而二叉树分割以及三叉树分割能够在4×4～128×128的范围以及最大分割深度为3的情况下执行。前一种能够是在I影像类型(例如条带)上的设定，而后一种情况能够是在P或B影像类型上的设定。
如在上述实例中进行的说明，最大编码区块大小、最小编码区块大小、最大分割深度等分割设定能够根据分割方式以及如上所述的编码/解码设定采用通用或独立设定。
当支持多种分割方式时，将在各个分割方式的区块支持范围内执行分割，而当各个分割方式的区块支持范围重叠时，能够包含分割方式的优先顺序信息。例如，四叉树分割能够先于二叉树分割执行。
或者，在分割支持范围重叠的情况下，能够生成分割选择信息。例如，能够生成与二叉树分割与三叉树分割中需要执行的分割方式相关的选择信息。
此外，当支持多种分割方式时，能够根据较早执行的分割结果对较晚执行的分割的执行与否进行确定。例如，当较早执行的分割(在本实例中为四叉树分割)的结果表示执行分割时，能够不执行较晚执行的分割(在本实例中为二叉树分割或三叉树分割)，而是在将通过较早执行的分割而分割出的子编码区块再次设定为编码区块之后继续执行分割。
或者，当较早执行的分割的结果表示不执行分割时，能够根据较晚执行的分割的结果执行分割。此时，当较晚执行的分割(在本实例中为二叉树分割或三叉树分割)的结果表示执行分割时，能够在将所分割出的子编码区块再次设定为编码区块之后继续执行分割，而当较晚执行的分割的结果表示不执行分割时，能够不再进行分割。此时，当较晚执行的分割的结果表示执行分割且在将所分割出的子编码区块再次设定为编码区块时仍然支持多种分割方式(例如各个分割方式的区块支持范围重叠时)，能够不执行较早执行的分割而仅执行较晚执行的分割。即，当支持多种分割方式时，如果较早执行的分割的结果表示不执行分割，则能够不再执行较早执行的分割。
例如，当M×N编码区块能够执行四叉树分割以及二叉树分割时，能够首先对四叉树分割标志进行确认，而当上述分割标志为1时将其分割成(M>>1)×(N>>1)大小的4个子编码区块，接下来能够在将上述子编码区块再次设定为编码区块之后执行分割(四叉树分割或二叉树分割)。当上述分割标志为0时，能够对二叉树分割标志进行确认，而当相应的标志为1时将其分割成(M>>1)×N或M×(N>>1)大小的2个子编码区块，接下来能够在将上述子编码区块再次设定为编码区块之后执行分割(二叉树分割)。当上述分割标志为0时，将结束分割过程并进行编码。
通过上述实例对执行多种分割方式的情况进行了说明，但是并不限定于此，还能够支持多种分割方式的组合。例如，能够使用四叉树/二叉树/三叉树/四叉树+二叉树/四叉树+二叉树+三叉树等分割方式。此时，与是否支持追加分割方式相关的信息能够默示地确定或明示地包含于如序列、图像、子图像、条带、并行区块等单位中。
在上述实例中，如编码区块的大小信息、编码区块的支持范围、最大分割深度等与分割相关的信息能够包含于如序列、图像、子图像、条带、并行区块等单位中或默示地确定。换言之，能够根据最大编码区块的大小、所支持的区块的范围、最大分割深度等对可容许的区块的范围进行确定。
通过上述过程执行分割而获取到的编码区块，能够被设定为画面内预测或画面间预测的最大大小。即，为了执行画面内预测或画面间预测，完成区块分割之后的编码区块能够是预测区块的分割起始大小。例如，当编码区块为2M×2N时，预测区块的大小能够是与其相同或相对较小的2M×2N、M×N的大小。或者，能够是2M×2N、2M×N、M×2N、M×N的大小。或者，能够是与编码区块相同大小的2M×2N的大小。此时，编码区块与预测区块的大小相同能够是指不执行对预测区块的分割，而是利用通过编码区块的分割而获得的大小执行预测。即，是指不生成用于预测区块的分割信息。如上所述的设定还能够适用于变换区块，能够以经过分割的编码区块单位执行变换。
通过如上所述的编码/解码设定，能够实现多种构成。例如，(在对编码区块进行确定之后)能够以编码区块为基础获取到至少一个预测区块以及至少一个变换区块。或者，能够获取到与编码区块相同大小的一个预测区块并以编码区块为基础获取到至少一个变换区块。或者，能够获取到与编码区块相同大小的一个预测区块以及一个变换区块。在上述实例中获取至少一个区块时，能够生成各个区块的分割信息，而当获取到一个区块时将不生成各个区块的分割信息。
通过上述结果获取到的各种大小的正方形或长方形形态的区块能够是在画面内预测、画面间预测中使用的区块，也能够是对残差成分进行变换、量化时使用的区块，还能够是在滤波过程中使用的区块。
通过利用图像分割部对图像进行分割而获取到的分割单位，能够根据编码/解码设定执行独立性的编码/解码或依赖性的编码/解码。
独立性的编码/解码能够是指在对一部分分割单位(或区域)执行编码/解码时无法将其他单位的数据作为参考使用。具体来讲，在对一部分单位进行纹理编码以及熵编码的过程中所使用或生成的信息{例如像素值或编码/解码信息(画面内预测相关信息、画面间预测相关信息以及熵编码/解码相关信息等)}将不会相互参考而独立性地进行编码，同样在解码器中对一部分单位进行纹理解码以及熵解码的过程中也不会对其他单位的解析信息以及重建信息进行相互参考。
此外，依赖性的编码/解码能够是指在对一部分分割单位执行编码/解码时能够将其他单位的数据作为参考使用。具体来讲，在对一部分单位进行纹理编码以及熵编码的过程中所使用或生成的信息能够通过相互参考而依赖性地进行编码，同样在解码器中对一部分单位进行纹理解码以及熵解码的过程中也能够对其他单位的解析信息以及重建信息进行相互参考。
通常，在上述内容中提及的分割单位(例如子图像、并行区块、条带等)能够采用独立性的编码/解码设定。即，能够为了并行化的目的而采用不可参考的设定。此外，能够为了编码/解码性能提升的目的而采用不可参考的设定。例如，当通过将360度影像在3维空间上分割成多个表面并配置到2维空间上时，可能会根据表面配置设定而导致与相邻表面的相关性(例如影像连续性)下降的情况发生。即，因为在表面之间没有相关性时需要相互参考的必要性较低，因此能够采用独立性的编码/解码设定。
此外，能够为了编码/解码性能提升的目的而采用分割单位之间可参考的设定。例如，即使是在将360度影像分割成表面单位的情况下也可能根据表面配置设定而发生与相邻表面的相关性较高的情况，此时能够采用依赖性的编码/解码设定。
此外，在本发明中独立性或依赖性的编码/解码不仅能够限定于空间区域进行适用，还能够扩展到时间区域进行适用。即，不仅能够对与当前分割单位存在于相同时间内的其他分割单位执行独立性或依赖性的编码/解码，还能够对于当前分割单位存在于不同时间内的分割单位(在本实例中即使是与当前分割单位对应于不同时间的影像内的相同位置上有分割单位存在也假定为其他分割单位)执行独立性或依赖性的编码/解码。
例如，当同时对收录有将360度影像编码成较高画质的数据的比特流A以及收录有编码成普通画质的数据的比特流B进行传送时，解码器能够在对应于关注区域(例如使用者的视线聚焦的区域<视口，Viewport>或希望显示的区域等)的区域中对以较高画质传送的比特流A进行解析和解码，而在关注区域外则对以普通画质传送的比特流B进行解析和解码。
具体来讲，在将影像分割成多个单位(例如子图像、并行区块、条带、表面等，在本实例中假定表面是利用与并行区块或子图像相同的方式进行数据处理)的情况下，能够对包含于关注区域中的分割单位(或只要与视口有一个像素重叠的分割单位)的数据(比特流A)以及包含于关注区域外的分割单位的数据(比特流B)进行解码。
或者，能够将收录有对整体影像进行编码的收据的比特流进行传送，而在解码器上能够从比特流中对关注区域进行解析和解码。具体来讲，能够仅对包含于关注区域中的分割单位的数据进行解码。
换言之，能够通过在编码器中生成分为一个以上的画质的比特流并在解码器中仅对特定的比特流进行解码而获得整体或一部分影像，也能够通过在各个影像部分中选择性地对各个比特流进行解码而获得整体或一部分影像。在上述实例中以360度影像的情况为例进行了说明，但这是能够适用于一般影像的说明。
在按照如上所述的实例执行编码/解码时，因为无法了解在解码器中将对那些数据进行重建(在本实例中解码器并不了解关注区域的位置，是根据关注区域随机存取(Random Access)的情况)，因此除了空间区域之外还需要对时间区域上的参考设定等进行确认并执行编码/解码。
例如，当解码器是以单一分割单位对执行哪种类型的解码进行确定时，当前分割单位能够在空间区域上执行独立性编码并在时间区域上执行有限的依赖性编码(例如仅允许参考与当前分割单位对应的其他时间的相同位置上的分割单位并禁止参考除此之外的其他分割单位，因为一般的情况下在时间区域上并不会进行限制，因此这是与不受限制的依赖性编码的比较)。
或者，当解码器是以多个分割单位(能够通过对水平相邻的分割单位进行捆绑或对垂直相邻的分割单位进行捆绑而获得多个分割单位，也能够通过对水平以及垂直相邻的分割单位进行捆绑而获得多个分割单位)对执行哪种类型的解码(例如在这种情况下只要分割单位中的任意一个包含于关注区域则对多个单位进行解码)进行确定时，当前分割单位能够在空间区域上执行独立性或依赖性解码并在时间区域上执行有限的依赖性编码(例如除了允许参考与当前分割单位对应的其他时间的相同位置上的分割单位之外还允许参考除此之外的其他一部分分割单位)。
在本发明中，表面是一种配置其以及形态通常会根据投影格式而发生变化且没有独立性的编码/解码设定的分割单位，虽然与如上所述的其他分割单位具有不同的特性，但是在能够将影像划分成多个区域的方面(而且采用四边形形态等)，也能够被视为是在图像分割部中获取到的单位。
如上所述，在空间区域上能够为了并行化等目的对各个分割单位执行独立性的编码/解码。但是，因为独立性的编码/解码无法参考其他分割单位，因此会导致编码/解码效率下降的问题。因此，作为在执行编码/解码之前的步骤，能够通过利用(或追加)相邻的分割单位的数据对执行独立性编码/解码的分割单位进行扩展。其中，因为追加有相邻分割单位中的数据的分割单位有更多的数据可供参考，因此其编码/解码效率也将得到提升。此时，因为经过扩展的分割单位能够在进行编码/解码时对相邻分割单位中的数据进行参考，因此能够将其视为依赖性的编码/解码。
上述与分割单位之间的参考设定相关的信息，能够以视频、序列、图像、子图像、条带、并行区块等单位收录到比特流中并传送到解码器，而在解码器中能够通过在相同水准的单位上进行解析而对从编码器传送过来的设定信息进行重建。此外，还能够通过如补充增强信息(SEI，Supplement Enhancement Information)或元数据(Metadata)等形态将相关信息传送到比特流中并在解析之后进行使用。此外，还能够利用在编码/解码器中事先约定的定义，从而在不对上述信息进行传送的情况下根据参考设定执行编码/解码。
图7是将一个图像分割成多个并行区块的例示图。图8a至图8i是对图7中所图示的各个并行区块设定追加区域的第1例示图。图9a至图9i是对图7中所图示的各个并行区块设定追加区域的第2例示图。
当通过图像分割部将影像分割成两个以上的分割单位(或区域)并对各个分割单位执行独立性的编码/解码时，虽然具有能够执行并行处理等优点，但同时可能会因为各个分割单位可参考的数据减少而导致编码性能下降的问题发生。为了解决如上所述的问题，能够通过分割单位(在本实例中将以并行区块微粒进行说明，在其他单位中也能够按照相同或类似的设定进行适用)之间的依赖性的编码/解码设定进行处理。
在分割单位之间，通常是以不可参考的方式执行独立性的编码/解码。因此，能够执行用于实现依赖性编码/解码的前处理或后处理过程。例如，能够在执行编码/解码之前在各个分割单位的外廓上形成扩展区域并在扩展区域中填充需要进行参考的其他分割单位的数据。
虽然如上所述的方法除了在对各个分割单位进行扩展之后再执行编码/解码之外与执行独立性的编码/解码的方式没有其他差异，但是因为现有的分割单位会事先从其他分割单位获取需要参考的数据并进行参考，因此能够理解为是依赖性编码/解码的一个实例。
此外，在执行编码/解码之后能够以分割单位之间的边界为基准使用多个分割单位数据适用滤波。即，在适用滤波时因为使用其他分割单位数据而属于依赖性的情况，而在不适用滤波时能够属于独立性的情况。
在后续说明的实例中，将以通过执行编码/解码前处理过程(在本实例中为扩展)而执行依赖性编码/解码的情况为中心进行说明。此外，在本发明中能够将相同的分割单位之间的边界称之为内部边界，并将图像的外廓称之为外部边界。
在适用本发明的一实施例中，能够对与当前并行区块相关的追加区域进行设定。具体来讲，能够以至少一个并行区块(在本实例中包括一个图像由一个并行区块构成的情况，即，包括不被分割成两个以上的分割单位的情况，准确地来讲，虽然分割单位表示被分割成两个以上的单位，但假定在没有被分割的情况下也被识别为是一个分割单位)为基准对追加区域进行设定。
例如，能够对当前并行区块的上/下/左/右等方向中的至少一个方向设定追加区域。其中，追加区域能够利用任意值进行填充。此外，追加区域能够利用当前并行区块中的一部分数据进行填充，即，能够利用当前并行区块的外廓像素进行填补或通过复制当前并行区块内的像素进行填充。
此外，追加区域能够利用当前并行区块之外的其他并行区块的影像数据进行填充。具体来讲，能够利用与当前并行区块相邻的并行区块中的影像数据，即，能够通过复制在上/下/左/右中的特定方向上与当前并行区块相邻的并行区块中的影像数据进行填充。
此时，所获取的影像数据的大小(长度)能够在各个方向上采用相同的值，也能够采用独立的值，这能够根据编码/解码设定进行确定。
例如，在图6a中能够向b0～b8的边界中的全部或一部分边界方向进行扩展。此外，能够在分割单位的所有边界方向上均扩展m或根据边界方向扩展mi(i为各方向索引)。m或mi能够适用于影像中的所有分割单位，也能够为各个分割单位进行独立性的设定。
此时，能够生成与追加区域相关的设定信息。此时，与追加区域相关的设定信息，能够是追加区域的支持与否、各个分割单位的追加区域支持与否、在整体影像上的追加区域形态(例如根据向分割单位的上/下/左/右中的哪一个方向扩展而进行确定，在本实例中为共同适用于影像内所有分割单位的设定信息)、在各个分割单位上的追加区域形态(在本实例中为适用于影像内的个别分割单位的设定信息)、在整体影像上的追加区域大小(例如在对追加区域的形态进行确定之后表示在扩展的方向上进行扩展的程度，在本实例中为共同适用于影像内所有分割单位的设定信息)、在各个分割单位上的追加区域大小(在本实例中为独立地适用于影像内的个别分割单位的设定信息)、在整体影像上对追加区域进行填充的方法、在各个分割单位上对追加区域进行填充的方法等。
上述与追加区域相关的设定能够根据色彩空间成比例地进行确定，也能够采用独立性的设定。在亮度成分上能够生成与追加区域相关的设定信息，而在色差成分上的追加区域设定能够根据色彩空间默示地确定。或者，在色差成分上也能够生成与追加区域相关的设定信息。
例如，当亮度成分的追加区域大小为m时，色差成分的追加区域大小能够根据色彩格式(在本实例中为4:2:0)确定为m/2。作为另一实例，当亮度成分的追加区域大小为m且色差成分采用独立性的设定时，能够生成色差成分的追加区域的大小信息(在本实例中为n，能够共同使用n或根据方向或扩展区域使用n1、n2、n3等)。作为另一实例，能够生成对亮度成分的追加区域进行填充的方法，而对色差成分的追加区域进行填充的方法能够使用亮度成分中的方法或生成相关的信息。
上述与追加区域设定相关的信息，能够以视频、序列、图像、子图像、条带等单位收录到比特流中并进行传送，而在解码时能够从上述单位中对相关信息进行解析和重建。在后续说明的实施例中，将假定支持追加区域的情况为例进行说明。
参阅图7，可以确认一个图像被分割成了标记为0至8的各个并行区块。此时，对图7中所图示的各个并行区块设定适用本发明之一实施例的追加区域的结果如图8a至图8i所示。
在图7以及图8a中，第0号并行区块(大小为T0_W×TO_H)能够通过向右侧追加E0_R的区域并向下侧追加E0_D的区域的方式进行扩展。此时，追加区域能够从相邻的并行区块中获取。具体来讲，右侧扩展区域能够从第1号并行区块获取，而下侧扩展区域能够从第3号并行区块获取。此外，第0号并行区块能够利用右下侧相邻的并行区块(第4号并行区块)设定追加区域。即，能够向除并行区块的外部边界(或图像边界)之外的剩余内部边界(或相同分割单位之间的边界)方向设定追加区域。
在图7以及图8e中，因为第4号并行区块(大小为T4_W×T4_H)没有外部边界，因此能够通过向左侧、右侧、上侧、下侧追加区域的方式进行扩展。此时，左侧扩展区域能够从第3号并行区块获取，右侧扩展区域能够从第5号并行区块获取，上侧扩展区域能够从第1号并行区块获取，而下侧扩展区域能够从第7号并行区块获取。此外，第4号扩展区域还能够向左上、左下、右上、右下设定追加区域。此时，左上扩展区域能够从第0号并行区块获取，左下扩展区域能够从第6号并行区块获取，右上扩展区域能够从第2号并行区块获取，而右下扩展区域能够从第8号并行区块获取。
在图8中，因为L2区块是与并行区块的边界相邻的区块，因此原则上并没有能够从左侧、左上、左下区块进行参考的数据。但是，在通过适用本发明的一实施例向第2号并行区块设定了追加区域时，能够通过对追加区域进行参考而对L2区块执行编码/解码。即，L2区块能够将位于左侧、左上的区块的数据作为追加区域(能够是从第1号并行区块获取到的区域)进行参考，且能够将位于左下的区块的数据作为追加区域(能够是从第4号并行区块获取到的区域)进行参考。
通过上述的实施例包含到追加区域中的数据能够被包含到当前并行区块中执行编码/解码。在这种情况下，因为追加区域的数据位于并行区块的边界(在本实例中是指因为追加区域而被更新或扩展的并行区块)上，因此在编码过程中同样可能会因为没有可供参考的数据而导致编码性能的下降。但因为这只是为了向原始并行区块边界区域提供参考而追加的部分，因此能够被理解为是用于提升编码性能的临时存储器形式。即，因为能够为最终输出的影像的画质性能提升提供帮助且是最终被去除的区域，因此相应区域的编码性能的下降并不会导致任何问题。这能够以类似或相同的目的适用于后续说明的实施例中。
此外，参阅图9a至图9i，可以确认根据投影格式将360度影像通过表面配置(或重新配置)过程变更成2维影像并将2维影像分割成了各个并行区块(也能够是表面)。此时，因为当360度影像采用等距柱状(Equirectangular)投影时2维影像是由一个表面构成，因此能够是将一个表面分割成并行区块的实例。此外，为了说明的便利，将对2维影像的并行区块分割与图7中所图示的并行区块分割相同作为前提。
其中，所分割出的并行区块能够分为仅由内部边界构成的并行区块以及至少包含一个外部边界的并行区块，能够按照如图8a至图8i所示的方式为各个并行区块设定追加区域。但是，被变换成2维影像的360度影像即使是在2维影像中相互相邻也能够在实际影像上没有连续性，而即使是不相邻也能够在实际影像上有连续性(参阅对图5a至图5c的说明)。因此，即使是并行区块的一部分边界为外部边界，在图像内也能够有与并行区块的外部边界区域具有连续性的区域存在。具体来讲，参阅图9b，虽然第1号并行区块的上端部是图像的外部边界，但是因为在相同的图像内能够有在实际影像上有连续性的区域存在，因此能够在第1号并行区块的上端设定追加区域。即，与图8a至图8i不同，在图9a至图9i中还能够在并行区块的外部边界方向中的全部或一部分设定追加区域。
参阅图9e，第4号并行区块是并行区块边界中只包含内部边界的并行区块(在本实例中为第4号并行区块)。因此，第4号并行区块的追加区域能够在上侧、下侧、左侧、右侧方向以及左上、左下、右上、右下方向全部进行设定。其中，左侧扩展区域能够是从第3号并行区块获取的影像数据，右侧扩展区域能够是从第5号并行区块获取的影像数据，上侧扩展区域能够是从第1号并行区块获取的影像数据，下侧扩展区域能够是从第7号并行区块获取的影像数据，左上扩展区域能够是从第0号并行区块获取的影像数据，左下扩展区域能够是从第6号并行区块获取的影像数据，右上扩展区域能够是从第2号并行区块获取的影像数据，右下扩展区域能够是从第9号并行区块获取的影像数据。
参阅图9a，第0号并行区块是至少包含一个外部边界(左侧、上侧方向)的并行区块。因此，第0号并行区块除了在空间上相邻的右侧、下侧、右下方向之外，还能够包含向外部边界方向(左侧、上侧、左上方向)扩展的追加区域。其中，在空间上相邻的右侧、下侧、右下方向能够利用相邻的并行区块的数据对追加区域进行设定，但是在外部边界方向上的追加区域无法如此。此时，在外部边界方向上的追加区域，能够利用在图像内的空间上并不想理你但在实际影像上有连续性的数据进行设定。例如，当360度影像的投影格式为等距柱状(Equirectangular)投影、图像的左侧边界与图像的右侧边界在实际影像上具有连续性、图像的上侧边界图像的下侧边界在实际影像上具有连续性时，第0号并行区块的左侧方向边界与第2号并行区块的右侧边界具有连续性，且第0号并行区块的上侧方向边界与第6号并行区块的下侧边界具有连续性。因此，在第0号并行区块中，左侧扩展区域能够从第2号并行区块获取，右侧扩展区域能够从第1号并行区块获取，上侧扩展区域能够从第6号并行区块获取，而下侧扩展区域能够从第3号并行区块获取。此外，在第1号并行区块中，左上扩展区域能够从第8号并行区块获取，左下扩展区域能够从第5号并行区块获取，右上扩展区域能够从第7号并行区块获取，而右下扩展区域能够从第4号并行区块获取。
因为图9a中的L0区块是位于并行区块边界的区块，因此能够从左侧、左上、左下、上侧、右上区块参考的数据(与U0类似的情况)可能不存在。此时，即使是在2维影像中的空间上并不相邻，但是在2维影像(或图像)内仍然能够有在实际影像上具有连续性的区块存在。因此，如上述前提所述，当360度影像的投影格式为等距柱状(Equirectangular)投影、图像的左侧边界与图像的右侧边界在实际影像上具有连续性、图像的上侧边界图像的下侧边界在实际影像上具有连续性时，L0区块的左侧、左下区块能够从第2号并行区块获取，L0区块的左上区块能够从第8号并行区块获取，L0区块的上侧、右上区块能够从第6号并行区块获取。
下述表1是用于从具有连续性的其他区域获取与追加区域对应的数据的伪(Pseudo)代码。
【表1】
i_pos'＝overlap(i_pos,minI,maxI)
overlap(A,B,C)
{
if(A<B)output＝(A+C-B+1)％(C-B+1)
else if(A>C)output＝A％(C-B+1)
else output＝A
}
参阅表1中的伪代码，overlap函数的变量i_pos(对应于变量A)为输入像素位置，i_pos'为输出像素位置，minI(对应于变量B)为像素位置范围的最小值，maxI(对应于变量C)为像素位置范围的最大值，i为位置成分(在本实例中为水平、垂直等)，在本实例中，minI能够是0，maxI能够是Pic_width(图像的水平宽度)-1或Pic_height(图像的垂直宽度)-1。
例如，假定图像(一般影像)的垂直宽度范围为0～47且图像是按照如图7所示的方式进行分割。当需要向并行区块4的下侧设定m大小的追加区域并利用并行区块7的上端部数据填充追加区域时，能够通过上述确认需要从哪个位置获取数据。
当并行区块4的垂直长度范围为16～30且需要向下侧设定4大小的追加区域时，能够将与其对应的31、32、33、34位置上的数据填充到并行区块4的追加区域中。此时，因为在上述公式中的min以及max分别为0以及47，因此31～34的输出值将为其自身值即31～34。即，需要填充到追加区域中的数据为31～34位置上的数据。
或者，假定图像(360度影像，等距柱状(Equirectangular)投影，影像的两端具有连续性)的水平长度范围为0～95且图像是按照如图7所示的方式进行分割。当需要向并行区块3的左侧设定m大小的追加区域并利用并行区块5的右侧数据填充追加区域时，能够通过上述确认需要从哪个位置获取数据。
当并行区块3的垂直长度范围为0～31且需要向左侧设定4大小的追加区域时，能够将与其对应的-4、-3、-2、-1位置上的数据填充到并行区块3的追加区域中。因为上述位置并不存在于图像的水平长度范围内，因此通过上述公知计算需要从哪个位置获取数据。此时，因为在上述公式中的min以及max分别为0以及95，因此-4～-1的输出值将为92～95。即，需要填充到追加区域中的数据为92～95位置上的数据。
具体来讲，当上述m大小的区域为从360度至380度之间的数据(在本实例中假定像素值位置的范围为0度至360度)时，通过将其调整到影像内部范围，能够理解为与从0度至20度之间的区域获取数据的情况类似。即，能够以从0至Pic_width-1之间的像素值位置范围为基准进行获取。
换言之，为了获取追加区域的数据，能够通过重叠(Overlapping)过程对需要获取的数据位置进行确认。
上述实例是对从360度影像获取到一个表面的情况进行的说明，(除了图像边界在两端具有连续性的情况之外)而且以在图像内的空间上相邻的区域相互具有连续性作为前提。但是根据不同的投影格式(例如立方体(cube map)投影等)，在包含两个以上的表面且各个表面经过配置或重新配置过程的情况下，能够有即使是在图像内的空间上相邻也没有连续性的情况。在如上所述的情况下，能够通过表面的配置或重新配置信息对在实际影像上具有连续性的位置数据进行确认并生成追加区域。
下述表2是利用特定分割单位的内部数据生成与上述特定分割单位相关的追加区域的伪代码。
【表2】
i_pos'＝clip(i_pos,minI,maxI)
clip(A,B,C)
{
if(A<B)output＝B
else if(A>C)output＝C
else output＝A
}
因为表2中的各个变量的含义与表1相同，所以在此将省略其详细的说明。不过，在本实例中minI能够是特定分割单位的左侧或上侧坐标，而maxI能够是各个单位的右侧或下侧坐标。
例如，当图像是按照如图7所示的方式进行分割、并行区块2的水平长度范围为32～47、需要向并行区块2的右侧设定m大小的追加区域时，与其对应的48、49、50、51位置上的数据能够利用通过上述公式输出的47位置(对应于并行区块2的内部)的数据填充。即，根据表2，与特定分割单位相关的追加区域能够通过对相应分割单位的外廓像素进行复制而生成。
换言之，为了获取追加区域的数据，能够通过剪切(Clipping)过程对需要获取的位置进行确认。
上述表1或表2的详细构成并不固定，而是能够进行变更。例如，360度影像能够在考虑到表面的配置(或重新配置)以及表面之间的坐标系统特性的情况下变更适用重叠方式。
图10是将在适用本发明的一实施例中生成的追加区域在其他区域的编码/解码过程中进行应用的例示图。
此外，因为适用本发明之一实施例的追加区域是利用其它区域中的影像数据生成，因此能够相当于重复的影像数据。因此，为了防止不必要的重复数据存在，能够在执行编码/解码之后对追加区域进行去除。但是，在对追加区域进行去除之前，可以考虑在将追加区域应用到编码/解码之后再进行去除。
参阅图10，可以确认利用分割单位I的区域A生成了分割单位J的追加区域B。此时，在对所生成的区域B进行去除之前，可以将区域B应用到包含于分割单位I的区域A的编码/解码(具体来讲是重建或补正过程)。
具体来讲，在假定分割单位I与分割单位J分别是图7中的第0号并行区块以及第1号并行区块的前提下，分割单位I的最右侧部分与分割单位J的左侧部分相互具有影像的连续性。其中，追加区域B在分割单位J的影像编码/解码中作为参考使用之后，还能够在对A进行编码/解码时使用。尤其是，虽然A以及区域B在生成追加区域时是从区域A获取了数据，但是在编码/解码过程中可能会利用一部分互不相同的值(包括量化错误)进行重建。因此，在对分割单位I进行重建时，与区域A对应的部分能够利用经过重建的区域A的影像数据以及区域B的影像数据进行重建。例如，能够通过区域A以及区域B的平均或加权值合对分割单位I的一部分区域C进行替代。这是因为有两个以上的相同区域的数据存在，因此能够利用两个区域的数据(在附图中将此时的过程命名为Rec_Process)获得经过重建的影像(区域C，分割单位I的A被替代为C)。
此外，包含于分割单位I中的一部分区域C能够根据距离哪个分割单位更近而利用区域A和区域B进行替代。具体来讲，因为区域C中包含于左侧的一定范围(例如M个像素间隔)的影像数据更接近于分割单位I，因此能够利用(或复制)区域A中的数据进行重建，而且因为区域C中包含于右侧的一定范围(例如N个像素间隔)的影像数据更接近于分割单位J，因此能够利用(或复制)区域B中的数据进行重建。将其表达为公式的结果如下述公式1所示。
【公式1】
C(x,y)＝A(x,y),(x,y)∈M
B(x,y),(x,y)∈N
此外，包含于分割单位I中的一部分区域C能够根据距离哪个分割单位更近而分别向区域A以及区域B中的影像数据分配加权值之后进行替代。即，对于区域C中与分割单位I更接近的影像数据，能够为区域A中的影像数据分配更高的加权值，而对于与分割单位J更接近的影像数据，能够为区域B中的影像数据分配更高的加权值。即，能够以区域C的水平宽度以及需要进行补正的像素值的x坐标之间的距离差异为基础设定加权值。
作为向区域A以及区域B设定自适应加权值的公式，能够推导出如下所述的公式2。
【公式2】
C(x,y)＝A(x,y)x w+B(x,y)x(1-w)
w＝f(x,y,k)
参阅公式2，w是为A区域以及B区域的像素作为(x,y)分配的加权值，此时作为对A区域以及B区域的加权值平均，向A区域的像素乘以加权值w并向B区域的像素乘以1-w。但是，除了加权值平均值外，还能够为区域A以及区域B分别分配不同的加权值。
在按照如上所述的说明完成追加区域的使用之后，追加区域B能够在对分割单位J的大小重新调整(Resing)过程中进行去除并被存储到存储器(解码图像缓冲区，DPB，decoded picture buffer)中(在本实例中假定设定追加区域的过程为大小调整<Sizing>，上述过程能够通过上述的一部分实施例进行推导<例如通过追加区域标志确认、接下来的大小信息确认、接下来的填充方法确认等过程>，假定在大小调整过程中执行变大的过程，而相反在大小重新调整过程<能够通过上述过程的逆向过程进行推导>中执行变小的过程)。
此外，(具体来讲是在相应影像的编码/解码结束之后立即)也能够不执行大小重新调整而直接存储到存储器中，然后在输出步骤(在本实例中假定为显示<Display>步骤)中执行大小重新调整过程而进行去除。这能够被适用于相应影像中所包含的全部或一部分分割单位中。
上述相关设定信息能够根据编码/解码设定默示或明示地进行处理，在采用默示方式时(具体来讲是基于影像的特性、类型、格式等或根据其他编码/解码设定<在本实例中为与追加区域相关的设定>)能够在不生成相关语法元素的情况下进行确定，而在采用明示方式时能够通过生成相关语法元素而对与追加区域的去除相关的设定进行调整，作为与其相关的单位能够包括视频、序列、图像、子图像、条带、并行区块等。
此外，现有的基于分割单位的编码方法，能够包括：1)将图像分割成一个以上的并行区块(或能够被统称为分割单位)并生成分割信息的步骤；2)按照所分割的并行区块单位执行编码的步骤；3)以用于指示并行区块边界的环路滤波容许与否的信息执行滤波的步骤；以及，4)将经过滤波的并行区块存储到存储器中的步骤。
此外，现有的基于分割单位的解码方法，能够包括：1)将图像以并行区块分割信息为基础分割成一个以上的并行区块的步骤；2)按照所分割的并行区块单位执行解码的步骤；3)以用于指示并行区块边界的环路滤波容许与否的信息执行滤波的步骤；以及，4)将经过滤波的并行区块存储到存储器中的步骤。
其中，编码/解码方法中的第3个步骤为编码/解码的后处理步骤，当执行滤波时能够是依赖性编码/解码，而当不执行滤波时能够是独立性编码/解码。
适用本发明之一实施例的分割单位的编码方法，能够包括：1)将图像分割成一个以上的并行区块并生成分割信息的步骤；2)为所分割的至少一个并行区块单位设定追加区域并利用相邻的并行区块单位对追加区域进行填充的步骤；3)对包含追加区域的并行区块单位执行编码的步骤；4)对并行区块单位的追加区域进行去除并以用于指示并行区块边界的环路滤波容许与否的信息为基础执行滤波的步骤；以及，5)将经过滤波的并行区块存储到存储器中的步骤。
此外适用本发明之一实施例的分割单位的解码方法，能够包括：1)将图像以并行区块分割信息为基础分割成一个以上的并行区块的步骤；2)为所分割的并行区块单位设定追加区域并利用解码信息、预先设定的信息或预先重建的其他(相邻)并行区块单位对追加区域进行填充的步骤；3)利用从编码装置接收到的解码信息对包含追加区域的并行区块单位执行编码的步骤；4)对并行区块单位的追加区域进行去除并以用于指示并行区块边界的环路滤波容许与否的信息为基础执行滤波的步骤；以及，5)将经过滤波的并行区块存储到存储器中的步骤。
在如上所述的适用本发明之一实施例的分割单位的编码/解码方法中，第2个步骤能够是编码/解码前处理过程(当设定追加区域时为依赖性编码/解码，否则为独立性编码/解码)。此外，第4个步骤能够编码/解码后处理过程(当执行滤波时为依赖性，否则为独立性)。在本实例中，将在编码/解码过程中使用追加区域，且在被存储到存储器中之前执行将大小调整至并行区块的初始大小的过程。
首先，编码器将图像分割成多个并行区块。根据默示或明示设定，为并行区块单位设定追加区域并从相邻的区域获取相关数据。接下来，以包含原始并行区块以及追加区域的经过更新的并行区块单位进行编码。在完成编码之后对追加区域进行去除并按照环路滤波适用设定执行滤波。
此时，能够根据追加区域的填充方法以及去除方法使用不同的上述滤波设定。例如，在单纯进行去除的情况下能够遵循上述的环路滤波适用设定，而当利用重叠区域进行去除时能够不适用滤波或遵循其他滤波设定。即，因为能够利用重叠的数据大量减少并行区块边界区域的失真现象，因此能够无论并行区块便捷单位的环路滤波适用与否都不执行滤波或在遵守上述的滤波适用与否的同时适用于并行区块内部的滤波设定不同的设定(例如在并行区块边界适用滤波强度较弱的滤波器等)。在上述过程之后存储到存储器中。
在解码器中，首先根据从编码器传送过来的并行区块分割信息将图像分割成多个并行区块。接下来明示或默示地对与追加区域相关的信息进行确认，并在设定追加区域之后对从编码器传送过来的经过更新的并行区块的编码信息进行解析。接下来以经过更新的并行区块单位执行解码。在完成解码之后对追加区域进行去除并按照与编码器相同的环路滤波适用设定执行滤波。与其相关的详细信息已经在编码器部分进行了说明，所以在此将省略其详细的说明。在上述过程之后存储到存储器中。
此外，还能够考虑在编码/解码过程中使用分割单位的追加区域之后不进行去除而直接存储到存储器中的情况。例如，在如360度影像等情况下，可能会根据表面配置设定等在一部分预测过程(例如画面间预测)中出现预测的准确度下降的问题(例如在执行运动探索以及补偿时在表面配置不连续的位置难以准确查找)。因此，能够为了提升预测准确度而将追加区域存储到存储器中并在预测过程中进行使用。当在画面间预测中使用时，能够将追加区域(或包含追加区域的图像)作为用于执行画面间预测的参考图像进行使用。
在对追加区域进行存储时的编码方法，能够包括：1)将图像分割成一个以上的并行区块并生成分割信息的步骤；2)为所分割的至少一个并行区块单位设定追加区域并利用相邻的并行区块单位对追加区域进行填充的步骤；3)对包含追加区域的并行区块单位执行编码的步骤；4)对并行区块单位的追加区域进行存储的步骤(此时能够省略环路滤波的适用)；以及，5)将经过编码的并行区块存储到存储器中的步骤。
在对追加区域进行存储时的解码方法，能够包括：1)将图像以并行区块分割信息为基础分割成一个以上的并行区块的步骤；2)为所分割的并行区块单位设定追加区域并利用解码信息、预先设定的信息或预先重建的其他(相邻)并行区块单位对追加区域进行填充的步骤；3)利用从编码装置接收到的解码信息对包含追加区域的并行区块单位执行编码的步骤；4)对并行区块单位的追加区域进行存储的步骤(此时能够省略环路滤波)；以及，5)将经过解码的并行区块存储到存储器中的步骤。
在对追加区域进行存储时，编码器首先将图像分割成多个并行区块。根据默示或明示设定，为并行区块设定追加区域并从预先设定的区域获取相关数据。预先设定的区域是指根据360度影像的表面配置设定具有相关性的其他区域，因此能够是与当前并行区块相邻的区域或不相邻的区域。接下来以经过更新的并行区块单位执行编码。因为在完成解码之后将对追加区域进行存储，因此无论环路滤波适用设定的状态都不执行滤波。这是因为各个经过更新的并行区块的边界会因为追加区域而不对实际的并行区块边界进行共享。在上述过程之后存储到存储器中。
在对追加区域进行存储时，解码器首先对从编码器传送过来的并行区块分割信息进行确认并以此为基础将图像分割成多个并行区块。接下来对与追加区域相关的信息进行确认，并在设定追加区域之后对从编码器传送过来的经过更新的并行区块的编码信息进行解析。接下来以经过更新的并行区块单位执行解码。在完成解码之后不为追加区域适用环路滤波而直接存储到存储器中。
接下来，将结合附图对如上所述的适用本发明之一实施例的分割单位的编码/解码方法进行说明。
图11至图12是用于对适用本发明之一实施例的分割单位的编码/解码方法进行说明的流程图。具体来讲，作为在各个分割单位生成追加区域并执行编码/解码的实例，在图11中对包含追加区域的编码方法进行了图示而在图12中对去除追加区域的解码方法进行了图示。其中，360度影像能够在图11之前的步骤执行前处理过程(拼接、投影灯)，并在图12之后的步骤执行后处理过程(渲染等)。
首先参阅图11，在编码器获取到输入影像之后(步骤A)，通过图像分割部将输入影像分割成两个以上的分割单位(此时能够生成与分割方法相关的设定信息，表示为步骤B)，接下来根据编码设定或是否支持追加区域为分割单位生成追加区域(步骤C)，然后对包含追加区域的分割单位执行编码并生成比特流(步骤D)。此外，在生成比特流之后，能够根据编码设定决定是否需要执行大小的重新调整(或是否删除追加区域，步骤E)，然后将包含或已去除追加区域的编码数据(步骤D或E中的图像)存储到存储器中(步骤E)。
参阅图12，解码器参考通过对所接收到的比特流进行解析而获得的与分割相关的设定信息而将需要进行解码的影像分割成两个以上的分割单位(步骤B)，接下来根据从所接收到的比特流获取到的解码设定为各个分割单位设定追加区域的大小(步骤C)，然后通过对包含于比特流中的影像数据进行解码而获得包含追加区域的影像数据(步骤D)。接下来通过删除追加区域而生成经过重建的图像(步骤E)，然后将经过重建的图像输出到显示器中(步骤F)。此时，能够根据解码设定对追加区域的删除与否进行确定，并将经过解码的图像或影像数据(步骤D或E中的数据)存储到存储器中。此外，步骤F中能够包括通过对经过重建的图像进行表面重新配置而冲减成360度影像的过程。
此外，根据图11或图12中的追加区域去除与否，能够自适应地在分割单位边界上执行环路滤波(在本实例中假定为区块滤波器，也能够适用除此之外的其他环路滤波器)。此外，能够根据是否容许生成追加区域而自适应地执行环路滤波。
当在对追加区域进行去除之后存储到存储器中时，能够根据(在本实例中为并行区块的)如loop_filter_across_enabled_flag等(具体来讲是初始状态的)分割单位边界上的环路滤波适用与否标志明示地适用或不适用环路滤波。
或者，能够不支持分割单位边界上的环路滤波适用与否标志，而是按照如后续说明的实例中的方式对滤波适用与否以及滤波设定等进行默示确定。
此外，即使是在各个分割单位之间具有影像连续性的情况下，在为各个分割单位生成追加区域之后，已生成追加区域的分割单位之间的边界上的影像连续性可能会消失。如果在这种情况下适用环路滤波，会导致不必要的计算量增加以及编码性能的下降，因此能够默示地不适用环路滤波。
此外，根据360度影像的表面配置，在2维空间上相邻的分割单位在相互之间可能没有影像连续性。当对如上所述的没有影像连续性的分割单位之间的边界执行环路滤波时，可能会导致画质的下降。因此，对于没有影像连续性的分割单位之间的边界，能够默示地不执行环路滤波。
此外，当按照如图10中的说明所述的方式为两个区域分配加权值并对当前分割单位的一部分区域进行替代时，因为各个分割单位的边界在追加区域中属于内部边界，因此能够适用环路滤波，但是因为能够追加地通过对包含于其他区域中的当前区域的一部分进行加权值合等方式减少编码误差，因此可能不需要执行环路滤波。所以，在如上所述的情况下能够默示地不执行环路滤波。
此外，还能够根据用于指示环路滤波适用与否的标志，对(具体来讲是对相应边界的追加性地)环路滤波的适用与否进行确定。当上述标志被活性化时，能够根据适用于分割单位内部的环路滤波设定、条件等适用滤波，或是在分割单位的边界上(具体来讲是利用与不是分割单位边界时的情况不同的环路滤波设定、条件等追加地)适用环路滤波设定、条件等的定义不同的滤波。
在上述实施例中假定了在对追加区域进行去除之后存储到存储器中的情况，但是其中的一部分也能够是在除此之外的输出步骤(具体来讲既能够属于环路滤波部也能够属于如后置滤波部<postfilter>等)上执行的过程。
上述实例是假定追加区域在各个分割单位的各个方向上受到支持的情况为例进行的说明，而当根据追加区域的设定仅在一部分方向上受到支持时，能够仅适用上述内容中的一部分。例如，能够在追加区域不受到支持的边界上适用原有的设定，而在追加区域受到支持的边界上能够变更适用上述实例中的各种情况。即，能够根据追加区域的设定在单位边界的全部或一部分中自适应地确定上述适用。
上述相关设定信息能够根据编码/解码设定默示或明示地进行处理，在采用默示方式时(具体来讲是基于影像的特性、类型、格式等或根据其他编码/解码设定<在本实例中为与追加区域相关的设定>)能够在不生成相关语法元素的情况下进行确定，而在采用明示方式时能够通过生成相关语法元素而进行调整，作为与其相关的单位能够包括视频、序列、图像、子图像、条带、并行区块等。
接下来，将对分割单位以及追加区域的可参考与否的确定方法进行详细的说明。此时，当可参考时属于依赖性编码/解码，而当不可参考时属于独立性编码/解码。
适用本发明之一实施例的追加区域，能够在当前影像或其他影像的编码/解码过程中进行参考或限制参考。具体来讲，在存储到存储器中之前进行去除的追加区域，能够在当前影像的编码/解码过程中进行参考或限制参考。此外，存储到存储器中之后的追加区域，除了当前影像之外还能够在时间上不同的影像的编码/解码过程中进行参考或限制参考。
换言之，能够根据编码/解码设定对上述追加区域的参考可能性以及范围等进行确定。通过上述一部分设定，当前影像的追加区域将在被编码/解码之后存储到存储器中，这表示其能够通过包含于其他影像的参考影像中而进行参考或限制参考。这能够被适用于相应影像中所包含的全部或一部分分割单位中。在后续说明的实例中进行说明的情况，也能够变更适用于当前的实例。
上述与追加区域的参考可能性相关的设定信息能够根据编码/解码设定默示或明示地进行处理，在采用默示方式时(具体来讲是基于影像的特性、类型、格式等或根据其他编码/解码设定<在本实例中为与追加区域相关的设定>)能够在不生成相关语法元素的情况下进行确定，而在采用明示方式时能够通过生成相关语法元素而对与追加区域的参考可能性相关的设定进行调整，作为与其相关的单位能够包括视频、序列、图像、子图像、条带、并行区块等。
通常，当前影像中的一部分单位(在本实例中假定为通过图像分割部获得的分割单位)能够对当前单位的数据进行参考，但无法对其他单位的数据进行参考。此外，当前影像中的一部分单位能够对存在于其他影像中的所有单位的数据进行参考。上述说明是与通过图像分割部获得的单位的一般性质相关的实例，还能够对与其相关的追加性质进行定义。
此外，能够对用于指示是否可以参考当前影像内的其他分割单位以及是否可以参考包含于其他影像内的分割单位的标志进行定义。
作为一实例，可以允许对包含于其他影像中且与当前分割单位相同位置上的分割单位进行参考，但限制对与当前分割单位不同位置上的分割单位进行参考。例如，当对在编码设定不同的环境下对同一个影像进行编码的多个比特流进行传送且在解码器中选择性地决定用于对影像中的各个区域(分割单位)进行解码(在本实例中假定以并行区块单位进行解码)的比特流时，因为需要在同一个空间以及不同的空间上对各个分割单位之间的参考可能性进行限制，因此能够以只允许对不同影像中的同一区域进行参考的方式执行编码/解码。
作为一实例，能够根据与分割单位相关的标识符信息允许参考或限制参考。例如，当分配到分割单位中的标识符信息相同时允许参考，而在不同时则无法参考。此时，标识符信息能够是用于指示在可相互参考的环境下(依赖性地)执行了编码/解码的信息。
上述相关设定信息能够根据编码/解码设定默示或明示地进行处理，在采用默示方式时能够在不生成相关语法元素的情况下进行确定，而在采用明示方式时能够通过生成相关语法元素而进行处理，作为与其相关的单位能够包括视频、序列、图像、子图像、条带、并行区块等。
图13a至图13g是用于对特定的分割单位可参考的区域进行说明的例示图。在图13a至图13g中，以粗框线图示的区域能够代表可参考的区域。
参阅图13a，能够对用于执行画面间预测的多种参考箭头进行确认。此时，C0、C1区块代表单方向画面间预测。C0区块能够在当前图像之前获得RP0参考区块，且能够在当前图像之后获得RF0参考区块。C2区块代表双方向画面间预测，能够从当前图像之前或当前图像之后的影像获得RP1、RF1参考区块。在附图中对从之前方向以及之后方向上各获得一个参考区块的实例进行了图示，但是也能够仅从之前方向或之后方向上获得参考区块。C3区块代表无方向画面间预测，能够从当前图像内获得RC0参考区块。在附图中对获得一个参考区块的实例进行了图示，但是也能够获得两个以上的参考区块。
在后续说明的实例中，将以基于分割单位的画面间预测中的像素值、预测模式信息的参考可能性为中心进行说明，但是还能够理解为包含可以在空间上或时间上进行参考的其他编码/解码信息(例如画面内预测模式信息、变换以及量化信息、环路滤波信息等)。
参阅图13b，当前图像Currnt(t)被分割成两个以上的并行区块，且一部分并行区块中的区块C0能够通过执行单方向画面间预测而获得参考区块P0、P1。一部分并行区块中的区块C1能够通过执行双方向画面间预测而获得参考区块P3、F0。即，这可以理解为是在没有如位置上的限制以及只允许在相同图像内进行参考等限制的情况下允许对包含于其他影像中的其他位置上的区块进行参考的实例。
参阅图13c，图像被分割成两个以上的并行区块单位，且一部分并行区块中的一部分区块C1能够通过执行单方向画面间预测而获得参考区块P2、P3。一部分并行区块中的一部分区块C0能够通过执行双方向画面间预测而获得参考区块P0、P1、F0、F1。一部分并行区块中的一部分区块C3能够通过执行无方向画面间预测而获得参考区块FC0。
即，图13b以及图13c可以理解为是在没有如位置上的限制以及只允许在相同图像内进行参考等限制的情况下允许对包含于其他影像中的其他位置上的区块进行参考的实例。
参阅图13d，当前图像被分割成两个以上的并行区块单位，且一部分并行区块中的区块C0能够通过执行前方向画面间预测而获得参考区块P0，但是无法获得包含于一部分并行区块中的参考区块P1、P2、P3。一部分并行区块中的区块C4能够通过执行后方向画面间预测而获得参考区块F0、F1，但是无法获得参考区块F2、F3。一部分并行区块中的一部分区块C3能够通过执行无方向画面间预测而获得参考区块FC0，但是无法获得参考区块FC1。
即，在图13d中能够根据图像(在本实例中为t-1、t、t+1)的分割与否、图像的分割单位的编码/解码设定允许参考或限制参考。具体来讲，能够仅允许对具有与当前并行区块相同的标识符信息的并行区块中所包含的区块进行参考。
参阅图13e，图像被分割成两个以上的并行区块单位，且一部分并行区块中的一部分区块C0能够通过执行双方向画面间预测而获得参考区块P0、F0，但是无法获得参考区块P1、P2、P3、F1、F2、F3。即，图13e能够是仅允许对与包含当前区块的并行区块处于相同位置上的并行区块进行参考的实例。
参阅图13f，图像被分割成两个以上的并行区块单位，且一部分并行区块中的一部分区块C0能够通过执行双方向画面间预测而获得参考区块P1、F2，但是无法获得参考区块P0、P2、P3、F0、F1、F3。图13f能够是在比特流中包含有用于指示当前分割单位可参考的并行区块的信息并通过上述信息对可参考的并行区块进行确认的实例。
参阅图13g，图像被分割成两个以上的并行区块，且一部分并行区块中的一部分区块C0能够通过执行单方向画面间预测而获得参考区块P0、P3、P5，但是无法获得参考区块P4。一部分并行区块中的一部分区块C1能够通过执行双方向画面间预测而获得参考区块P1、F0、F2，但是无法获得参考区块P2、F1。
图13g是能够根据图像(本实例中为t-3、t-2、t-1、t、t+1、t+2、t+3)的分割与否、图像的分割单位的编码/解码设定(在本实例中假定为根据分割单位的标识符信息、图像单位的标识符信息、分割单位的同一区域与否、分割单位的类似区域与否、分割单位的比特流信息等进行确定)等允许参考或限制参考的实例。其中，可参考的并行区块在影像内的位置能够与当前区块相同或类似且能够具有与当前区块(具体来讲是在图像单位或分割单位上)相同的标识符信息，而且能够与获取当前并行区块的比特流相同。
图14a至图14e是用于对适用本发明之一实施例的分割单位中的追加区域的参考可能性进行说明的流程图。在图14a至图14e中，以粗框线图示的区域代表可参考的区域，而以虚线图示的区域代表分割单位的追加区域。
在适用本发明的一实施例中，能够对一部分图像(在时间上位于之前或之后的其他图像)的参考可能性进行限制或允许。此外，能够对包含追加区域的经过扩展的分割单位整体的参考可能性进行限制或允许。此外，能够仅对排除追加区域的初始分割单位的参考可能性进行限制或允许。此外，能够对追加区域与初始分各单位之间的边界的参考可能性进行限制或允许。
参阅图14a，一部分并行区块中的一部分区块C0能够通过执行单方向画面间预测而获得参考区块P0、P1。一部分并行区块中的一部分区块C2能够通过执行双方向画面间预测而获得参考区块P2、P3、F0、F1。一部分并行区块中的一部分区块C1能够通过执行无方向画面间预测而获得参考区块FC0。其中，区块C0能够从一部分参考图像t-1、t+1的初始并行区块区域(除追加区域之外的原始并行区块)中获得参考区块P0、P1、P2、P3、F0，而区块C2能够在从参考图像t-1的初始并行区块区域获得参考区块P2、P3的同时从参考图像t+1的包含追加区域的并行区块区域获得参考区块F1。此时，如参考区块F1所示，能够获得包含追加区域以及初始并行区块区域之间的边界的参考区块。
参阅图14b，一部分并行区块中的一部分区块C0、C1、C3能够通过执行单方向画面间预测而获得参考区块P0、P1、P2/F0、F2/F1、F3、F4。一部分并行区块中的一部分区块C2能够通过执行无方向画面间预测而获得参考区块FC0、FC1、FC2。
一部分区块C0、C1、C3能够从一部分参考图像(在本实例中为t-1、t+1)的初始并行区块区域获得参考区块P0、F0、F3，还能够从经过更新的并行区块区域边界获得参考区块P1、x、F4，还能够从经过更新的并行区块区域边界外侧获得参考区块P2、F2、F1。
一部分区块C2能够从一部分参考图像(在本实例中为t)的初始并行区块区域获得参考区块FC1，还能够从经过更新的并行区块区域边界获得参考区块FC3，还能够从经过更新的并行区块区域边界外侧获得参考区块FC0。
其中，一部分区块C0能够是位于初始并行区块区域的区块，一部分区块C1能够是位于经过更新的并行区块区域边界的区块，一部分区块C3能够是位于经过更新的并行区块边界外侧的区块。
参阅图14c，图像被分割成两个以上的并行区块单位，在一部分图像中为一部分并行区块设定追加区域，在一部分图像中没有为一部分并行区块设定追加区域，而在一部分图像中没有设定追加区域。一部分并行区块中的一部分区块C0、C1能够通过执行单方向画面间预测而获得参考区块P2、F1、F2、F3，但是无法获得参考区块P0、P1、P3、F0。一部分并行区块中的一部分区块C2能够通过执行无方向画面间预测而获得参考区块FC1、FC2，但是无法获得参考区块FC0。
一部分区块C2无法从一部分参考图像(在本实例中为t)的初始并行区块区域获得参考区块FC0，但是能够从经过更新的并行区块区域获得参考区块FC1(在对一部分追加区域进行填充的方法中，FC0和FC1能够是相同的区域，虽然在初始单位的并行区块分割中无法参考FC0，但是通过追加区域将相应的区域移动到当前并行区块时能够进行参考)。
一部分区块C2能够从一部分参考图像(在本实例中为t)的一部分并行区块区域获得参考区块FC2(虽然在默认情况下无法参考当前图像的其他并行区块中的数据，但是假定通过上述实施例中的标识符信息等将其设定为可参考时允许进行参考)。
参阅图14d，图像被分割成两个以上的并行区块单位并设定了追加区域。一部分并行区块中的一部分区块C0能够通过执行双方向画面间预测而获得参考区块P0、F0、F1、F3，但是无法获得参考区块P1、P2、P3、F2。
一部分区块C0能够从一部分参考图像t-1的初始并行区块区域(第0号并行区块)获得参考区块P0，但是无法从扩展的并行区块区域边界获得参考区块P3，也无法从扩展的并行区块区域的边界外侧(即追加区域)获得参考区块P2。
一部分区块C0能够从一部分参考图像t+1的初始并行区块区域(第0号并行区块)获得参考区块F0，还能够从扩展的并行区块区域边界获得参考区块F1，还能够从扩展的并行区块区域边界外侧获得参考区块F3。
参阅图14e，图像被分割成两个以上的并行区块单位并设定了具有至少一个大小以及形态的追加区域。一部分并行区块中区块C0能够通过执行单方向画面间预测而获得参考区块P0、P3、P5、F0，但是无法获得位于追加区域与原始并行区块之间的边界上的参考区块P2。一部分并行区块中的区块C1能够通过执行双方向画面间预测而获得参考区块P1、F2、F3，但是无法获得参考区块P4、F1、F5。
如上述实例所示，像素值能够作为参考的对象，且能够对除此之外的其他编码/解码信息的参考进行限制。
作为一实例，当预测部从在空间上相邻的区块中查找需要在画面内预测中使用的画面内预测模式候选组时，能够通过如图13a至图14e所示的方法确认包含当前区块的分割单位是否能够对包含相邻区块的分割单位进行参考。
作为一实例，当预测部从在时间上、空间上相邻的区块中查找需要画面在间预测中使用的运动信息候选组时，能够通过如图13a至图14e所示的方法确认包含当前区块的分割单位是否能够对包含在当前图像内空间上相邻或与当前图像在时间上相邻的区块的分割单位进行参考。
作为一实例，当环路滤波部从相邻的区块中查找环路滤波相关设定信息时，能够通过如图13a至图14e所示的方法确认包含当前区块的分割单位是否能够对包含相邻区块的分割单位进行参考。
图15是对包含于当前影像的分割单位的区块以及包含于其他影像的分割单位的区块进行图示的例示图。
参阅图15，本实例中在空间上相邻的参考候选区块能够是以当前区块为中心的左侧、左上、左下、上侧、右上区块。此外，时间参考候选区块能够是在与当前影像(Currentpicture)时间上相邻的影像(Different picture)内位于与当前区块相同或相应位置上的区块(Collocated block)的左侧、左上、左下、上侧、右上、右侧、右下、下侧、中央区块。在图15中，粗外框线是表示分割单位的边界线。
当当前区块为M时，在空间上相邻的区块G、H、I、L、Q都能够进行参考。
当当前区块为G时，在空间上相邻的区块A、B、C、F、K中的一部分区块能够进行参考而剩余的区块能够限制参考。关于可参考与否，能够根据包含在空间上相邻的区块的分割单位UC、ULC、LC以及包含当前区块的分割单位之间的参考相关设定进行确定。
当当前区块为S时，在时间上相邻的影像内与当前区块的位置相同位置的周边区块s、r、m、w、n、x、t、o、y中的一部分区块能够进行参考而剩余的区块能够限制参考。关于可参考与否，能够根据包含在时间上相邻的影像内与当前区块的位置相同位置的周边区块的分割单位RD、DRD、DD以及包含当前区块的单位之间的参考相关设定进行确定。
根据当前区块的位置，当有参考受限的候选存在时，能够利用候选组构成中优先顺序为下一个顺序的候选进行填充，或利用与参考受限的候选相邻的其他候选进行替代。
例如，当画面内预测中的当前区块为G、左上去快的参考受限且最有可能模式(MPM)候选组构成采用P-D-A-E-U的顺序时，因为A是不可参考的，因此能够通过按照剩余的E-U顺序进行有效性检查而构成候选组，或利用在空间上与A相邻的B或F替代A。
此外，当画面间预测中的当前区块为S、在时间上相邻的坐下区块的参考受限且跳过模式候选组的时间性候选构成为y时，因为y是不可参考的，因此能够通过按照在空间上相邻的候选或空闲性候选与时间性候选的混合候选等顺序执行有效性检查而构成候选组，或利用在空间上与y相邻的t、x、s替代y。
图16是对适用本发明之一实施例的影像编码/解码装置进行图示的硬件构成图。
参阅图16，适用本发明之一实施例的影像编码/解码装置200，能够包括：至少一个处理器(processor)210；以及，存储器(memory)220，存储有用于指示上述至少一个处理器210执行至少一个步骤的指令(instructions)。
其中，至少一个处理器210能够是指中央处理装(central processing unit，CPU)、图形处理装置(graphics processing unit，GPU)或用于执行适用本发明之实施例的方法的专用处理器。存储器120以及存储装置260能够分别由易失性存储介质以及非易失性存储介质中的至少一个构成。例如，存储器220能够由只读存储器(read only memory，ROM)以及随机存取存储器(random access memory，RAM)中的至少一个构成。
此外，影像编码/解码装置200，还能够包括：收发信装置(transceiver)230，用于通过无线通信网络执行通信。此外，影像编码/解码装置200，还能够包括：输入接口装置240、输出接口装置250、存储装置260等。包含于影像编码/解码装置200中的各个构成要素，能够通过总线(bus)270连接而相互执行通信。
其中，至少一个步骤，能够包括：通过参考从所接收到的比特流(bitstream)获取到的语法元素，将上述比特流中所包含的编码影像分割成至少一个分割单位的步骤；对上述至少一个分割单位设定追加区域的步骤；以及，以设定追加区域之后的分割单位为基础对上述编码影像进行解码的步骤。
其中，上述对编码影像进行解码的步骤，能够包括：根据上述比特流中所包含的用于指示参考可能性与否的信息，对与上述编码影像内需要进行解码的当前区块相关的参考区块进行确定的步骤。
其中，上述参考区块，能够是与在包含上述参考区块的分割单位上设定的追加区域重叠的位置上所包含的区块。
图17是对适用本发明之一实施例的画面内预测模式进行图示的例示图。
参阅图17，能够确认一共有35个预测模式，而35个预测模式能够分为33个定向模式以及2个非定向模式(均值(DC)、平面(Planar))。此时，定向模式能够通过倾斜度(例如dy/dx)或角度信息进行识别。上述实例能够是指与亮度成分或色差成分相关的预测模式候选组。或者，色差成分能够支持一部分预测模式(例如均值(DC)、平面(Planar)、垂直、水平、对角线模式等)。此外，在亮度模式的预测模式确定之后，能够将相应的模式包含到色差成分的预测模式中或将从相应的模式推导出的模式包含到预测模式中。
此外，能够利用色彩空间之间的相关性，将已完成编码/解码的其他色彩空间中的重建区块适用于当前区块的预测，且能够包括所支持的预测模式。例如，色差成分能够利用与当前区块对应的亮度成分的重建区块生成当前区块的预测区块。
根据编码/解码设定，能够自适应地确定预测模式候选组。能够为了提升预测准确度的目的而增加候选组的数量，也能够为了减少预测模式中的比特量的目的而减少候选组的数量。
例如，能够使用如A候选组(67个，65个定向模式以及2个非定向模式)、B候选组(35个，33个定向模式以及2个非定向模式)、C候选组(19个，17个定向模式以及2个非定向模式)等候选组中的一个。在本发明中除非另有明确的说明，否则将以利用预先设定的一个预测模式候选组(A候选组)执行画面内预测的情况作为前提。
图18是对适用本发明之一实施例的画面内预测中所使用的参考像素构成进行图示的第1例示图。
适用本发明之一实施例的影像解码中的画面内预测方法，能够包括：参考像素构成步骤、参考所构成的参考像素并利用一个以上的预测模式的预测区块生成步骤、对最佳的预测模式进行确定的步骤对所确定的预测模式进行编码的步骤。此外，影像解码装置能够包括用于执行参考像素构成步骤、预测区块生成步骤、预测模式确定步骤以及预测模式编码步骤的参考像素构成部、预测区块生成部、预测模式确定部以及预测模式编码部。如上所述的过程能够省略其中的一部分或追加其他过程，而且还能够变更为与上述记载的顺序不同的其他顺序。
此外，适用本发明之一实施例的影像解码中的画面内预测方法，能够在构成参考像素之后根据通过从影像编码装置接收到的语法元素(Syntax Element)获取到的预测模式生成当前区块的预测区块。
执行画面内预测的当前区块的大小以及形态(M×N)能够从区块分割部获取，且能够采用4×4至256×256的大小。画面内预测通常是以预测区块单位执行，但是也能够根据区块分割部的设定以编码区块(或称之为编码单元)、变换区块(或称之为变换单元)等单位执行。在对区块信息进行确认之后，能够由参考像素构成部构成在当前区块的预测中使用的参考像素。此时，参考像素能够通过临时存储器(例如数组<Array>，1维、2维数组等)进行管理，在区块的每个画面内预测过程中生成和去除，而临时存储器的大小能够根据参考像素的构成进行确定。
参考像素能够是以当前区块为中心位于左侧、上侧、左上、右上、左下的相邻区块(能够被称之为参考区块)中所包含的像素，但是并不限定于此，在当前区块的预测中也能够使用其他构成的区块候选组。其中，位于左侧、上侧、左上、右上、左下的相邻区块能够是在采用栅格形或之字形扫描执行编码/解码时所选定的区块，而在变更扫描顺序时包含于其他位置上的相邻区块(例如右侧、下侧、右下区块等)也能够作为参考像素使用。
此外，参考区块能够是在与包含当前区块的色彩空间不同的色彩空间上与当前区块对应的区块。其中，当以Y/Cb/Cr格式微粒时，色彩空间能够是指Y、Cb、Cr中的一个。此外，与当前区块对应的区块能够是指与当前区块具有相同的位置坐标或根据色彩成分构成比例具有与当前区块对应的位置坐标的区块。
此外，为了说明的便利，将以上述预先设定的位置(左侧、上侧、左上、右上、左下)的参考区块由一个区块构成作为前提进行说明，但是根据区块分割也能够由多个子区块构成。
换言之，当前区块的相邻区域能够是用于当前区块的画面内预测的参考像素位置，而且能够根据预测模式将其他色彩空间中与当前区块对应的区域追加地作为参考像素位置。除了上述实例之外，还能够根据预测模式、方法等对所定义的参考像素位置进行确定。例如，在通过区块匹配等方法生成预测区块时的参考像素位置，能够将在当前影像的当前区块之前已经完成编码/解码的区域或在已经完成编码/解码的区域的探索范围(例如包括当前区块的左侧或右侧或左上或右上等)内所包含的区域作为参考像素位置。
参阅图18，在当前区块(大小为M×N)的画面内预测中所使用的参考像素，能够由在左侧、上侧、左上、右上、左下与当前区块相邻的像素(图18中的Ref_L、Ref_T、Ref_TL、Ref_TR、Ref_BL)构成。此时，图18中标记为P(x,y)形式的内容能够是指像素坐标。
此外，与当前区块相邻的像素能够分类成至少一个参考像素层级，如能够分为与当前区块最相邻的像素ref_0{与当前区块的边界像素的像素值差异为1的像素，p(-1,-1)～p(2M-1,-1),p(-1,0)～p(-1,2N-1)}，继而相邻的像素{与当前区块的边界像素的像素值差异为2，p(-2,-2)～p(2M,-2),p(-2,-1)～p(-2,2N)}为ref_1，再继而相邻的像素{与当前区块的边界像素的像素值差异为3，p(-3,-3)～p(2M+1,-3),p(-3,-2)～p(-3,2N+1)}为ref_2等。即，能够根据与当前区块的边界像素相邻的像素距离将参考像素分类为多个参考像素层级。
此外，此时能够为各个相邻的区块设定不同的参考像素层级。例如，在将与当前区块的上端相邻的区块作为参考区块使用时，能够使用第ref_0号层级上的参考像素，而在将与右上端相邻的区块作为参考区块使用时，能够使用第ref_1号层级上的参考像素。
其中，通常在执行画面内预测时所参考的参考像素集合包含于与当前区块的左下、左侧、左上、上端、右上端相邻的区块，是属于第ref_0号层级(与边界像素最相邻的像素)的像素，在下述内容中除非另有说明，否则以上述的像素作为前提。但是，也能够使用在上述内容中所提及的相邻区块中的一部分区块中所包含的参考像素集合，也能够将包含于两个以上的层级中的像素作为参考像素集合使用。其中，参考像素集合或层级能够默示确定(在编码/解码装置中预先设定)，也能够明示确定(从编码装置接收用于确定的信息)。
在此，将以最多支持3个参考像素层级的情况作为前提进行说明，但是也能够使用更大的值，参考像素层级的数量以及基于可参考的相邻区块位置的参考像素集合的数量(或者还能够被称之为参考像素候选组)能够根据区块的大小、形态、预测模式、影像类型<I/P/B，此时的影像为图像、条带、并行区块等>、色彩成分等进行不同的设定，而且相关信息能够包含于如序列、图像、条带、并行区块等单位。
在本发明中，将以从与当前区块最相邻的参考像素层级开始分配较低索引值(从0开始逐渐加1)的情况作为前提进行说明，但是并不限定于此。此外，后续说明的参考像素构成相关信息能够在如上所述的索引设定(在从多个参考像素集合中选择一个时为较小的索引分配较短比特的二进制化等)下生成。
此外，当所支持的参考像素层级为两个以上时，能够利用两个以上的参考像素层级中所包含的各个参考像素适用加权值平均等。
例如，能够利用通过位于图18的第ref_0号层级以及第ref_1号层级中的像素的加权值合获得的参考像素生成预测区块。此时，根据预测模式(例如预测模式的方向性等)，在各个参考像素层级中适用加权值合的像素既能够是整数单位像素，也能够是小数单位像素。此外，能够通过为利用第1参考像素层级中的参考像素获得的预测区块以及利用第2参考像素层级中的参考像素获得的预测区块分别分配加权值(例如7:1、3:1、2:1、1:1等)而获得一个预测区块。此时，能够为与当前区块更相邻的参考像素层级的预测区块分配更高的加权值。
在假定生成与参考像素构成相关的明示信息的情况下，能够在视频、序列、图像、条带、并行区块等单位上生成容许自适应的参考像素构成的指示信息(在本实例中为adaptive_intra_ref_sample_enabled_flag)。
当上述指示信息代表容许自适应的参考像素构成(在本示例中为adaptive_intra_ref_sample_enabled_flag＝1)时，能够在图像、条带、并行区块、区块等单位上生成自适应的参考像素构成信息(在本实例中为adaptive_intra_ref_sample_flag)。
当上述构成信息代表自适应的参考像素构成(在本示例中为adaptive_intra_ref_sample_flag＝1)时，能够在图像、条带、并行区块、区块等单位上生成参考像素构成相关信息(例如与参考像素层级以及集合相关的选择信息等，在本实例中为intra_ref_idx)。
此时，当不容许自适应的参考像素构成或并非自适应的参考像素构成时，能够按照预先规定的设定构成参考像素。举例来讲，通常利用相邻区块中最相邻的像素构成参考像素，但是并不限定于此，还允许多种情况(例如选择ref_0以及ref_1作为参考像素层级，并利用ref_0以及ref_1通过加权值合等方式生成预测像素值的情况，即默示情况)。
此外，参考像素构成相关信息(例如与参考像素层级或集合相关的选择信息等)能够在排除预先设定的信息(例如参考像素层级被预先设定为ref_0的情况)之后构成(例如ref_1、ref_2、ref_3等)，但是同样并不限定于此。
通过上述实例对与参考像素构成相关的一部分情况进行了说明，但是画面内预测设定能够通过与多种编码/解码信息结合而进行确定。此时，编码/解码信息能够包括如影像类型、色彩成分、当前区块的大小、形态、预测模式{预测模式的类型(定向、非定向)、预测模式的方向(垂直、水平、对角线1、对角线2等)}等，且能够根据相邻区块的编码/解码信息以及当前区块与相邻区块的编码/解码信息组合等对画面内预测设定(在本实例中为参考像素构成设定)进行确定。
图19a至图19c是对适用本发明之一实施例的参考像素构成进行图示的第2例示图。
参阅图19a，可以对仅利用图18中的第ref_0号参考像素层级构成参考像素的情况进行确认。在以第ref_0号参考像素层级作为对象利用相邻区块(例如左下、左侧、左上、上侧、右上)中所包含的像素构成参考像素之后，能够执行后续的画面内预测(如参考像素生成、参考像素滤波、参考像素插值、预测区块生成、后处理滤波等，能够根据参考像素构成自适应地执行一部分画面内预测过程)。在本实例中，将对使用预先设定的一个参考像素层级的情况，即不生成与参考像素层级相关的设定信息并使用非定向模式执行画面内预测的实例进行说明。
参阅图19b，可以对同时利用所支持的2个参考像素层级构成参考像素的情况进行确认。即，能够在利用层级ref_0以及层级ref_1中所包含的像素(或者利用两个层级中所包含的像素的加权值平均值)构成参考像素之后执行画面内预测。在本实例中，将对使用预先设定的多个参考像素层级的情况，即不生成与参考像素层级相关的设定信息并使用一部分定向预测模式(从附图中的右上侧到左下侧的方向或其相反方向)执行画面内预测的实例进行说明。
参阅图19c，可以对仅利用所支持的3个参考像素层级中的一个参考像素层级构成参考像素的情况进行确认。在本实例中，将对因为有多个参考像素层级候选存在而生成与其中所使用的参考像素层级相关的设定信息并使用一部分定向预测模式(从附图中的左上侧到右下侧的方向)执行画面内预测的实例进行说明。
图20是对适用本发明之一实施例的参考像素构成进行图示的第3例示图。
图20中的附图编号a是大小为64×64以上的区块，附图编号b是大小为16×16以上～不足64×64的区块，而附图编号c是大小不足16×16的区块。
当将附图编号a的区块作为需要执行画面内预测的当前区块时，能够利用最相邻的一个参考像素层级ref_0执行画面内预测。
此外，当将附图编号b的区块作为需要执行画面内预测的当前区块时，能够利用可支持的2个参考像素层级ref_0、ref_1执行画面内预测。
此外，当将附图编号c的区块作为需要执行画面内预测的当前区块时，能够利用可支持的3个参考像素层级ref_0、ref_1、ref_2执行画面内预测。
如对附图编号a至附图编号c的说明中所述，能够根据需要执行画面内预测的当前区块的大小对可支持的参考像素层级数量进行不同的设定。在图20中，当前区块的大小越大，相邻区块的大小较小的可能性就越高，这可能是因为根据其他影像特性执行分割而导致的结果，因此为了防止利用与当前区块之间的像素值距离较大的像素执行预测，假定在区块的大小越大时所支持的参考像素层级的数量越小的情况，但是也允许包含相反情况在内的其他变形。
图21是对适用本发明之一实施例的参考像素构成进行图示的第4例示图。
参阅图21，可以对执行画面内预测的当前区块为长方形形态的情况进行确认。如果当前区块是水平以及垂直不对称的长方形形态，能够将与当前区块中长度较长的水平侧边界面相邻的参考像素层级的支持数量设定为较大，并将与当前区块中长度较短的垂直侧边界面相邻的参考像素层级的支持数量设定为较小。在附图中，可以对将与当前区块的水平边界面相邻的参考像素层级设定为2个并将与当前区块的垂直边界面相邻的参考像素层级设定为1个的情况进行确认。与当前区块中长度较短的垂直侧边界面相邻的像素可能会因为与当前区块中所包含的像素之间的距离通常相对较远(因为水平长度较大)而导致准确度下降的问题。因此，将与长度较短的垂直侧边界面相邻的参考像素层级的支持数量设定为较小，但是也能够采用与其相反的设定。
此外，能够根据画面内预测模式的类型或与当前区块相邻的相邻区块的位置对需要在预测中使用的参考像素层级进行不同的设定。例如，将与当前区块的上端、右上端相邻的区块中所包含的像素作为参考像素使用的定向模式能够使用两个以上的参考像素层级，而降与当前区块的左端、左下端相邻的区块中所包含的像素作为参考像素使用的定向模式能够仅使用最相邻的一个参考像素层级。
此外，当在多个参考像素层级中通过各个参考像素层级生成的预测区块相互相同或类似时，生成参考像素层级的设定信息可能会导致追加生成不必要的数据的问题发生。
例如，当构成各个参考像素层级的像素的分布特性相互类似或相同时，无论使用哪一个参考像素层级都有可能生成类似或相同的预测区块，因此不需要生成用于选定参考像素层级的数据。此时，构成参考像素层级的像素的分布特性能够通过将像素的平均值或分散值与预先设定的临界值比较的方式进行判断。
即，当以最终所确定的画面内预测模式为基准时的参考像素层级相互相同或类似时，能够利用预先设定的方法(例如选定最相邻的参考像素层级)选定参考像素层级。
此时，解码器能够从编码装置接收画面内预测信息(或画面内预测模式信息)并以所接收到的信息为基础判断是否需要接收用于选定参考像素层级的信息。
通过上述多种实例对利用多个参考像素层级构成参考像素的情况进行了说明，但是并不限定于此，也能够采用各种变形实例，也能够与其他追加构成结合使用。
画面内预测的参考像素构成部能够包括如参考像素生成部、参考像素插值部、参考像素滤波部等，能够包括上述构成中的全部或一部分构成。其中，能够将包含可以作为参考像素的像素的区块称之为参考候选区块。此外，参考候选区块通常能够是与当前区块相邻的相邻区块。
参考像素构成部能够根据对参考候选区块设定的参考像素使用可能性(Availability)，决定是否将参考候选区块中所包含的像素作为参考像素使用。
关于上述参考像素使用可能性，能够在满足下述条件中的至少一个时判定为不可使用。例如，当参考候选区块满足如位于图像边界外侧、没有包含于与当前区块相同的分割单位(例如条带、并行区块等)、还没有完成编码/解码、在编码/解码设定中对其使用进行限制等中的至少一个条件时，能够判定为无法对相应的参考候选区块中所包含的像素进行参考。此时，如果不满足上述的任何条件，则能够判定为可以使用。
此外，能够根据编码/解码设定对参考像素的使用进行限制。例如，当用于对参考候选区块的参考进行限制的标志(例如constrained_intra_pred_flag)被活性化时，能够限制为无法将相应的参考候选区块中所包含的像素作为参考像素使用。为了在因为包括通信环境在内的各种外部因素而导致错误时也能够有效地执行编码/解码，能够在参考候选区块是通过对与当前区块在时间上不同的影像进行参考而重建的区块时适用上述标志。
其中，在用于对参考进行限制的标志被活性化的情况下(例如当I图像类型或P或B图像类型中的constrained_intra_pred_flag＝0时)，能够将参考候选区块中的所有像素作为参考像素使用。此外，在用于对参考进行限制的标志被活性化的情况下(例如当P或B图像类型中的constrained_intra_pred_flag＝1时)，能够根据参考候选区块是通过画面内预测进行编码还是通过画面间预测进行编码而对可参考与否进行确定。即，当参考候选区块是通过画面内预测(Intra prediction)进行编码时，无论上述标志是否被活性化，都能够对相应的参考候选区块进行参考，而当参考候选区块是通过画面间预测(Interprediction)进行编码时，能够根据上述标志是否被活性化而对相应参考候选区块的可参考与否进行确定。
此外，能够将在其他色彩空间中位于与当前区块对应的位置上的重建区块作为参考候选区块。此时，能够根据参考候选区块的编码模式对可参考与否进行确定。例如，当当前区块属于一部分色差成分(Cb，Cr)时，能够根据在亮度成分(Y)上位于与当前区块对应的位置且已经完成编码/解码的区块(＝参考候选区块)的编码模式对可参考与否进行确定。这能够是与根据色彩空间独立性地确定编码模式的情况对应的实例。
用于对参考进行限制的标志，能够是适用于一部分影像类型(例如P或B条带/并行区块类型等)的设定。
通过参考像素使用可能性，能够将参考候选区块分类为全部可使用的情况、可部分使用的情况以及全部不可使用的情况。在除全部可使用的情况之外的其他情况下，能够填充或生成不可使用的候选区块位置上的参考像素。
在可以使用参考候选区块的情况下，能够将当前区块的预先设定的位置上的像素(或与当前区块相邻的像素)存储到当前区块的参考像素存储器中。此时，相应区块位置上的像素数据能够直接复制或通过参考像素滤波等过程存储到参考像素存储器中。
在不可使用参考候选区块的情况下，能够将通过参考像素生成过程获取到的像素包含到当前区块的参考像素存储器中。
换言之，在可以使用参考像素候选区块的状态下能够构成参考像素，而在不可以使用参考像素候选区块的状态下能够生成参考像素。
在不可使用的参考候选区块中向预先设定的位置填充参考像素的方法如下所述。首先，能够使用任意的像素值生成参考像素。其中，任意的像素值是包含于像素值范围的特定像素值，能够是在以比特深度为基础的像素值调整过程或以影像的像素值范围信息为基础的像素值调整过程中使用的像素值得额最小值、最大值、中位值或从上数值推导出的值。其中，利用任意的像素值生成参考像素的方式在所有参考候选区块都不可使用的情况下也能够适用。
接下来，能够利用与不可使用的参考候选区块相邻的区块中所包含的像素生成参考像素。具体来讲，能够利用相邻区块中所包含的像素通过外插、内插或复制的方式填充到不可使用的参考候选区块中预先设定的位置上。此时，执行复制或外插等的方法能够是顺时针方向或逆时针方向，能够根据编码/解码设定进行确定。例如，区块内的参考像素生成方向能够遵循预先设定的一个方向或根据不可使用的区块的位置自适应地确定的方向。
图22a至图22b是对在不可使用的参考候选区块中向预先设定的位置填充参考像素的方法进行图示的例示图。
参阅图22a，可以对在由一个参考像素层级构成的参考像素中对不可使用的参考候选区块中所包含的像素进行填充的方法进行确认。在图22a中，当与当前区块的右上端相邻的相邻区块为不可使用的参考候选区块时，与右上端相邻的相邻区块中所包含的参考像素(表示为<1>)能够通过对与当前区块的上端相邻的相邻区块中所包含的参考像素进行顺时针方向的外插或线性外插的方式生成。
此外，在图22a中，当与当前区块的左侧相邻的相邻区块为不可使用的参考候选区块时，与左侧相邻的相邻区块中所包含的参考像素(表示为<2>)能够通过对与当前区块的左上端相邻的相邻区块(对应于可使用的区块)中所包含的参考像素进行逆时针方向的外插或线性外插的方式生成。此时，通过进行顺时针方向的外插或线性外插，能够利用与当前区块的左下端相邻的相邻区块中所包含的参考像素。
此外，在图22a中，与当前区块的上侧相邻的相邻区块中所包含的参考像素的一部分(表示为<3>)能够通过对两侧的可使用的参考像素进行内插或线性内插的方式生成。即，在相邻区块中所包含的参考像素的一部分不可使用而非全部不可使用的情况下也能够进行设定，在这种情况下能够利用不可使用的参考像素的相邻像素对不可使用的参考像素进行填充。
参阅图22b，可以对在由多个参考像素层级构成的参考像素中的一部分参考像素不可使用时对不可使用的参考像素进行填充的方法进行确认。参阅图22b，当与当前区块的右上端相邻的相邻区块为不可使用的参考候选区块时，包含于相应的相邻区块的3个参考像素层级中所包含的像素(表示为<1>)能够利用与当前区块的上端相邻的相邻区块(对应于可使用的区块)中所包含的像素沿着顺时针方向生成。
此外，在图22b中，当与当前区块的左侧相邻的相邻区块为不可使用的参考候选区块且与当前区块的左上端或左下端相邻的相邻区块为可使用的参考候选区块时，能够通过将可使用的参考候选区块的参考像素沿着顺时针方向、逆时针方向或双方向进行填充而生成不可使用的参考候选区块的参考像素。
此时，各个参考像素层级中的不可使用的参考像素能够利用相同的参考像素层级中的像素生成，但并不排除利用不相同的参考像素层级中的像素的方式。例如，在图22b中，将与当前区块的上端相邻的相邻区块中所包含的3个参考像素层级中的参考像素(表示为<3>)为不可使用的参考像素作为前提。此时，与当前区块最相邻的参考像素层级ref_0以及最远离的参考像素层级ref_2中所包含的像素，能够利用包含于相同的参考像素层级且可使用的参考像素生成。此外，与当前区块相距1像素距离的参考像素层级ref_1中所包含的像素，不仅能够利用相同的参考像素层级ref_1中所包含的像素生成，也能够利用不同的参考像素层级ref_0、ref_2中所包含的像素生成。此时，能够在两侧利用可使用的参考像素通过2次线性内插等方法填充到不可使用的参考像素中。
上述实例是当多个参考像素层级由参考像素构成且一部分参考候选区块不可使用的情况下生成参考像素的实例。或者，能够根据编码/解码设定(例如至少一个参考候选区块不可用或所有的参考候选区块不可用的情况等)设定为不容许自适应的参考像素构成(在本实例中为adaptive_intra_ref_sample_flag＝0)。即，能够在不生成任何追加信息的情况下按照预先规定的设定构成参考像素。
参考像素插值部能够通过参考像素的线性插值而生成小数单位的参考像素。在本发明中，假定为参考像素构成部的一部分过程进行说明，但是也能够采用包含于预测区块生成部的构成，也能够理解为是在生成预测区块之前执行的过程。
此外，假定为与后续说明的参考像素滤波部分开的独立过程，但是也能够采用整合成一个过程的过程。这也是为了在通过参考像素插值部以及参考像素滤波部适用多种滤波时解决因为适用于参考像素中的滤波次数的增加而导致的参考像素发生失真的情况而配备的构成。
参考像素插值过程在一部分预测模式(例如水平、垂直、一部分对角线模式<如向右斜下(Diagonal down right)、向左斜下(Diagonal down left)、向右斜上(Diagonal upright)等成45度角度的额模式>、非定向模式、色彩模式、色彩复制模式等，即在生成预测区块时不需要小数单位的插值的模式)下并不会执行，能够仅在除此之外的其他预测模式(在生成预测区块时需要小数单位的插值的模式)上执行。
插值精确度(例如1、1/2、1/4、1/8、1/16、1/32、1/64等像素单位)能够根据预测模式(或预测模式的方向性)进行确定。例如，成45度角度的预测模式并不需要插值过程，但是成22.5度或67.5度角度的预测模式需要1/2像素单位的差异。如上所述，能够根据预测模式确定至少一个插值精确度以及最大插值精度额度。
为了参考像素插值，能够仅使用预先设定的一个插值滤波器(例如2抽托(2-tap)线性插值滤波器)，也能够使用从多个插值滤波器候选组(例如4抽头(4-tap)三次滤波器、4头筹(4-tap)高斯滤波器、6抽头(6-tap)维纳滤波器、8抽头(8-tap)卡尔曼滤波器等)中根据编码/解码器设定选择的滤波器。此时，插值滤波器能够根据滤波器抽头(tap)数量(即适用滤波的像素数量)、滤波器系数等差异进行区分。
插值能够从较低精确度至较高精确度(例如1/2→1/4→1/8)的顺序分阶段执行，也能够一次性执行。前一种情况是指以整数单位的像素以及小数单位的像素(已经利用当前拟插值的像素更低的精确度完成插值的像素)为基础执行插值，而后一种情况是指以整数单位的像素为基础执行插值。
当使用多个滤波器候选组中的一个时，能够明示生成或模式确定滤波器选择信息，也能够根据编码/解码设定(例如插值精确度、区块的大小、形态、预测模式等)进行确定。此时，明示生成的单位能够是视频、序列、图像、条带、并行区块、区块等。
例如，能够在采用1/4以上的插值精确度(1/2、1/4)时向整数单位的参考像素适用8抽头(8-tap)卡尔曼滤波器，在采用不足1/4及1/16以上的插值精确度(1/8、1/16)时向整数单位的参考像素以及1/4以上单位的已插值的参考像素适用4抽头(4-tap)高斯滤波器，而在采用不足1/16的插值精确度(1/32、1/64)时向整数单位的参考像素以及1/16以上单位的已插值的参考像素适用2抽托(2-tap)线性滤波器。
或者，能够对64×64以上的区块适用8抽头(8-tap)卡尔曼滤波器，对不足64×64及16×16以上的区块适用6抽头(6-tap)维纳滤波器，对不足16×16的区块适用4抽头(4-tap)高斯滤波器。
或者，能够对以垂直或水平模式为基准的角度差异不足22.5度的预测模式适用于4抽头(4-tap)三次滤波器，而对角度差异为22.5度以上的预测模式适用4抽头(4-tap)高斯滤波器。
此外，多个滤波器候选组在一部分编码/解码设定中能够由4抽头(4-tap)三次滤波器、6抽头(6-tap)维纳滤波器、8抽头(8-tap)卡尔曼滤波器构成，而在一部分编码/解码设定中能够由2抽头(2-tap)线性滤波器、6抽头(6-tap)维纳滤波器构成。
图23a至图23c是对在按照适用本发明的一实施例构成的参考像素中以小数像素单位为基础执行插值的方法进行图示的例示图。
参阅图23a，可以对在支持将一个参考像素层级(ref_i)作为参考像素使用的情况下对小数单位的像素进行插值的方法进行确认。具体来讲，能够通过对与插值对象像素(利用x标记)相邻的像素(在本实例中假定向整数单位像素使用滤波器的情况)适用滤波(将滤波函数标记为int_func_1D)而执行插值。其中，因为将一个参考像素层级作为参考像素使用，因此能够利用与插值对象像素x相同的参考像素层级上所包含的相邻像素执行插值。
参阅图23b，可以对在支持将两个以上的参考像素层级(ref_i、ref_j、ref_k)作为参考像素使用的情况下获得小数单位的插值像素的方法进行确认。在图23b中，当在参考像素层级ref_j上执行参考像素插值过程时，能够追加利用其它参考像素层级ref_k、ref_i执行小数单位的插值对象像素的插值。具体来讲，通过对相邻的像素ak～hk、aj～hj、ai～hi执行滤波(插值过程，函数int_func_1D)而分别获得插值对象像素(xj的位置)以及包含于其他参考像素层级且与插值对象像素对应的位置(根据预测模式的方向在各个参考像素层级上相应的位置)上的像素xk、xi并对所获得的1次插值像素xk、xj、xi执行追加滤波(能够是并非插值过程的如[1，2，1]/4、[1，6，1]/8等加权值平均等对应的滤波)而最终获得在参考像素层级ref_j上的最终插值像素x。在本实例中，假定与插值对象像素对应的其他参考像素层级上的像素xk、xi是能够通过插值过程获得的小数单位像素的情况进行了说明。
在上述实例中，对能够在各个参考像素层级上通过滤波获得1次插值像素并通过以1次插值像素为对象执行追加滤波而获得最终差值像素的情况进行了说明，但是也能够通过对多个参考像素层级的相邻像素ak～hk、aj～hj、ai～hi进行滤波而一次性地获得最终插值像素。
在图23b中所支持的3个参考像素层级中，实际作为参考像素使用的层级能够是ref_j。即，为了对由参考像素构成的一个参考像素层级进行插值，能够利用包含于候选组(例如不由参考像素构成是指相应参考像素层级中的像素不适用于预测，但是在上述情况下执行插值时会对相应的像素进行参考，因此准确地来讲也能够属于使用的情况)中的其他参考像素层级。
参阅图23c，对将所支持的2个参考像素层级全部作为参考像素使用的情况进行了图示。能够通过利用与拟在所支持的各个参考像素层级中进行插值的小数单位位置相邻的像素(在本实例中为di、dj、ei、ej)构成输入像素并对相邻像素执行滤波而获得最终插值像素x。此时，同样能够采用如图23b所示的在各个参考像素层级上获得1次插值像素之后再对1次插值像素执行追加滤波而获得最终插值像素x的方法。
上述实例并不限定于参考像素插值过程，还能够理解为是与画面内预测的其他过程(例如参考像素滤波过程、预测区块生成过程等)结合的过程。
图24a至图24b是用于对适用本发明之一实施例的自适应参考像素滤波方法进行说明的第1例示图。
通常，参考像素滤波部的主要目的能够是通过使用低通滤波器{Low-passFilter，例如[1,2,1]/4,[2,3,6,3,2]/16等3抽头(3-tap)、5抽头(5-tap)滤波器等}而执行平滑化(Smoothing)，但是也能够根据滤波器适用目的{例如锐化(Sharpening)等}使用其他类型的滤波器(例如高通滤波器等)。在本发明中，将对通过以平滑化为目的执行滤波而减少在编码/解码过程中生成的失真的情况为中心进行说明。
参考像素滤波能够根据编码/解码设定决定其执行与否。但是，因为批量适用滤波与否可能会导致无法体现出影像的局部特性的问题，因为以影像的局部特性为基础执行滤波将更有利于编码性能的提升。其中，影像的特性不仅能够根据影像类型、色彩成分、量化参数、当前区块的编码/解码信息(例如当前区块的大小、形态、分割信息、预测模式等)进行判断，还能够根据相邻区块的编码/解码信息以及当前区块与相邻区块的编码/解码信息的组合等进行判断。此外，还能够根据参考像素分布特性(例如参考像素区域的分散、标准偏差、平坦区域、不连续区域等)进行判断。
参阅图24a，当属于根据一部分编码/解码设定(例如区块大小范围A、预测模式B、色彩成分C等)的分类(类别0)时能够不适用滤波，而当属于根据一部分编码/解码设定(例如当前区块的预测模式A、预先设定的相邻区块的预测模式B等)的分类(类别1)时能够适用滤波。
参阅图24b，当属于根据一部分编码/解码设定(例如当前区块的大小A、相邻区块的大小B、当前区块的预测模式C等)的分类(类别0)时能够不适用滤波，当属于根据一部分编码/解码设定(例如当前区块的大小A、当前区块的形态B、相邻区块的大小C等)的分类(类别1)时能够利用滤波器A执行滤波，而当属于根据一部分编码/解码(例如当前区块的父区块A、相邻区块的父区块B等)的分类(类别2)时能够利用滤波器B执行滤波。
因此，能够根据当前区块以及相邻区块的大小、预测模式、色彩成分等对滤波的适用与否、滤波器的类型、滤波器信息的编码与否(明示/默示)、滤波次数等进行确定，而滤波器的类型能够根据抽头(tap)的数量、滤波器系数等的差异进行分类。此时，当滤波次数为2次以上时，能够多次适用相同的滤波器或分别适用不同的滤波器。
上述实例能够是根据影像的特性对参考像素滤波进行预先设定的情况。即，能够是默示确定滤波器相关信息的情况。但是，当如上所述的对影像特性的判断不准确时可能反而会对编码效率造成不良影响，因此必须对这一部分进行考虑。
为了防止如上所述的情况发生，能够对参考像素滤波进行明示设定。例如，能够生成与滤波适用与否相关的信息。此时，当只有一个滤波器时能够不生成滤波器选择信息，而当有多个滤波器候选组存在时能够生成滤波器选择信息。
通过上述实例对于参考像素滤波相关的默示设定以及明示设定进行了说明，能够采用在一部分情况下通过明示设定进行确定而在另一部分情况下通过默示设定进行确定的混合方式。其中，默示的含义是指能够从解码器推导出与参考像素滤波器相关的信息(例如滤波适用与否信息、滤波器类型信息)。
图25是用于对适用本发明之一实施例的自适应参考像素滤波方法进行说明的第2例示图。
参阅图25，能够通过利用编码/解码信息进行确认的影像特性对类别进行分类并按照所分类的类别自适应地执行参考像素滤波。
例如，在分类为类别0时适用滤波而在分类为类别1时使用滤波器A。类别0以及类别1能够是默示的参考像素滤波的一实例。
此外，当分类为类别2时能够不适用滤波或适用滤波器A，此时所生成的信息能够是与滤波适用与否相关的信息，但不会生成滤波器选择信息。
此外，当分类为类别3时能够适用滤波器A或滤波器B，此时所生成的信息能够是滤波器选择信息，且滤波器的适用能够是无条件执行的实例。即，当分类为类别3时能够理解为是必须执行滤波但需要选择滤波类型的情况。
此外，当分类为类别4时能够不适用滤波或适用滤波器A或适用滤波器B，此时所生成的信息能够是与滤波适用与否相关的信息以及滤波器选择信息。
换言之，能够根据类别对明示或默示处理进行确定，而当通过明示处理执行时能够自适应地构成各个参考像素滤波器相关候选组设定。
关于上述类别，能够考虑如下所述的实例。
首先，对于大小为64×64以上的区块，能够根据当前区块的预测模式默示确定<滤波关闭>、<滤波开启-滤波器A>、<滤波开启+滤波器B>、<滤波开启+滤波器C>中的一个。此时，在考虑参考像素分布特性的情况下追加的候选能够是<滤波开启+滤波器C>。即，在滤波器开启的情况下能够适用滤波器A、滤波器B或滤波器C。
此外，对于大小不足64×64及16×16以上的区块，能够根据当前区块的预测模式默示确定<滤波关闭>、<滤波开启+滤波器A>、<滤波开启+滤波器B>中的一个。
此外，对于大小不足16×16的区块，能够根据当前区块的预测模式选择<滤波关闭>、<滤波开启+滤波器A>、<滤波开启+滤波器B>中的一个。此时，能够在一部分预测模式下模式确定为<滤波关闭>而在一部分预测模式下明示选择<滤波关闭>、<滤波开启+滤波器A>中的一个，而在一部分预测模式下明示选择<滤波关闭>、<滤波开启+滤波器B>中的一个。
作为与多个参考像素滤波器相关设定的一实例，当在各个滤波(在本实例中还包括滤波关闭的情况)中获取到的参考像素相同或类似时，生成参考像素滤波器信息(例如参考像素滤波容许信息、参考像素滤波器信息等)可能会导致不必要的重复信息的生成。例如，当在各个滤波中获取到的参考像素分布特性(例如对通过各个参考像素的平均、分散等获取到的值与阈值<Threshold>进行比较而判断出的特性)相同或类似时，能够省略参考像素滤波器相关信息。当参考像素滤波器相关信息被省略时，能够以预先设定的方法(例如滤波关闭)适用滤波。解码器能够在接收到画面内预测信息之后按照与编码器相同的方式判断是否需要接收参考像素滤波器相关信息，而且能够以上述判断为基础对参考像素滤波器相关信息的接受与否进行确定。
在假定生成与参考像素滤波相关的明示信息的情况下，能够在视频、序列、图像、条带、并行区块等单位上生成容许自适应的参考像素滤波的指示信息(在本实例中为adaptive_ref_filter_enabled_flag)。
当上述指示信息代表容许自适应的参考像素滤波(在本示例中为adaptive_ref_filter_enabled_flag＝1)时，能够在图像、条带、并行区块、区块等单位上生成自适应的参考像素滤波容许信息(在本实例中为adaptive_ref_filter_flag)。
当上述容许信息代表自适应的参考像素滤波(在本示例中为adaptive_ref_filter_flag＝1)时，能够在图像、条带、并行区块、区块等单位上生成参考像素滤波相关信息(例如参考像素滤波器选择信息等，在本实例中为ref_filter_idx)。
此时，在不容许自适应的参考像素滤波或无法适用自适应的参考像素滤波的情况下，能够按照预先规定的设定(如上所述，预先根据影像编码/解码信息等决定滤波适用与否、滤波类型等)对参考像素执行滤波动作。
图26a至图26b是对适用本发明之一实施例的在参考像素滤波中利用一个参考像素层级的情况进行图示的例示图。
参阅图26a，可以确认通过对参考像素层级ref_i中所包含的像素中的对象像素d以及与对象像素d相邻的像素a、b、c、e、f、g适用滤波(称之为smt_func_1函数)而执行插值。
图26a通常能够是适用依次滤波的实例，但是也能够适用多次滤波。例如，能够对通过适用1次滤波而获得的参考像素(在本实例中为a*、b*、c*、d*等)适用2次滤波。
参阅图26b，能够通过以对象像素e为中心对位于两侧的像素执行与距离(例如与a之间的距离z)成比例的线性插值而获得经过滤波(称之为smt_func_2函数)的像素e*。其中，位于两侧的像素能够是在由当前区块的上侧区块、左侧区块、上侧区块+右上区块、左侧区块+左下区块、左上区块+上侧区块+右上区块、左上区块+左侧区块+左下区块、左上区块+左侧区块+上侧区块+左下区块+右上区块构成的区块内位于相邻像素的两侧末端上的像素。图26b能够是根据参考像素分布特性执行的参考像素滤波。
在图26a至图26b中图示的是为了参考像素滤波而使用与滤波对象参考像素相同的参考像素层级中的像素的情况。此时，在参考像素滤波中所使用的滤波器的类型能够根据参考像素层级相同或不同。
此外，在利用多个参考像素层级的情况下，在一部分参考像素层级中执行参考像素滤波时不仅能够使用相同的参考像素层级中的像素，也能够使用不同的参考像素层级中的像素。
图27是对适用本发明之一实施例的在参考像素滤波中利用多个参考像素层级的情况进行图示的例示图。
参阅图27，首先能够在参考像素层级ref_k以及ref_i上分别利用相同的参考像素层级中所包含的像素执行滤波。即，能够通过在参考像素层级ref_k上对对象像素dk以及相邻像素ak至gk执行滤波(定义为函数smt_func_1D)而获得经过滤波的像素dk*，还能够通过在参考像素层级ref_i上对对象像素di以及相邻像素ai至gi执行滤波(定义为函数smt_func_1D)而获得经过滤波的像素di*。
此外，在参考像素层级ref_j上执行参考像素滤波时不仅能够使用相同的参考像素层级ref_j，还能够使用与参考像素层级ref_j在空间上相邻的其他参考像素层级即ref_i、ref_k中所包含的像素。具体来讲，能够通过以对象像素dj为中心对在空间上相邻的像素ck、dk、ek、cj、ej、ci、di、ei(即，能够是具有3×3正方形遮罩的滤波器)适用滤波(定义为函数smt_func_2D)而获得经过插值的像素dj*。但是，并不限定于3×3的正方形形态，还能够以对象像素为中心使用具有如5×2长方形形态(bk、ck、dk、ek、fk、bj、cj、ej、fj)、3×3菱形形态(dk、cj、ej、di)、5×3十字架形态(dk、bj、cj、ej、fj、di)等遮罩的滤波器。
其中，参考像素层级如上述的图18至图22等所示，由包含于与当前区块相邻的相邻区块且与当前区块的边界接近的像素构成。考虑到如上所述的方面，在参考像素层级ref_k以及参考像素层级ref_i中利用相同参考像素层级中所包含的像素的滤波，能够适用利用与插值对象像素水平或垂直相邻的像素的1维遮罩形态的滤波器。但是，在参考像素层级ref_j中参考像素dj的插值像素，能够通过适用利用在空间上上/下/左/右相邻的所有像素的2维遮罩形态的滤波器而获得。
此外，在各个参考像素层级中能够以已经适用了1次参考像素滤波的参考像素为对象适用2次参考像素滤波。例如，能够利用各个参考像素层级ref_k、ref_j、ref_i中所包含的参考像素执行1次参考像素滤波，接下来在已经执行1次参考像素滤波的参考像素层级(称之为ref_k*、ref_j*、ref_i*)中，不仅能够使用各自的参考像素层级，还能够使用其他参考像素层级中的参考像素执行参考像素滤波。
预测区块生成部能够根据至少一个画面内预测模式(能够简单地称之为预测模式)生成预测区块，且能够以上述预测模式为基础使用参考像素。此时，能够根据预测模式对参考像素进行外插(Extrapolation)或内插(Interpolation)或平均(DC)复制(Copy)而生成预测区块。其中，外插能够适用于画面内预测模式中的定向模式，而剩余的能够适用于非定向模式。
此外，在对参考像素进行复制时，能够通过将一个参考像素复制到预测区块内的多个像素而生成一个以上的预测像素，也能够通过对一个以上的参考像素进行复制而生成一个以上的预测像素，所复制的参考像素的数量能够等于或少于被复制的预测像素的数量。
此外，预测区块通常是为一个画面内预测模式的预测生成一个预测区块，但是也能够在获得多个预测区块之后通过对所获取到的多个预测区块适用加权值合等的方式生成最终预测区块。其中，多个预测区块能够是指根据参考像素层级获取到的预测区块。
在编码装置的预测模式确定部中，执行用于从多个预测模式候选组中选择最佳模式的过程。通常，能够利用对区块的失真{例如当前区块与重建区块之间的失真(Distortion)、绝对误差和(SAD，Sum of Absolute Dirrefence)、平常误差和(SSD，Sum ofSquare Difference)等}以及在预测模式下生成的比特量进行预测的率失真(Rate-Distortion)技法对在编码成本方面的最佳模式进行确定。以通过上述过程确定的预测模式为基础生成的预测区块能够被传送到减法运算部以及加法运算部(此时，因为解码装置能够从编码装置获取到用于指示最佳预测模式的信息，因此能够对选定最佳预测模式的过程进行省略)。
编码装置的预测模式编码部能够对通过预测模式确定部选定的最佳的画面内预测模式进行编码。此时，能够直接对用于指示最佳预测模式的索引信息进行编码，也能够在通过可从周边的其他区块等获取到的预测模式对最佳预测模式进行预测之后对与预测模式相关的预测信息(例如所预测出的预测模式索引与当前区块的预测模式索引之间的差分值)进行编码。其中，前一种情况能够适用于色差成分，而后一种情况能够适用于亮度成分。
在对当前区块的最佳预测模式进行预测以及编码时，预测模式的预测值(或预测信息)能够被称之为最有可能模式(MPM)。此时，最有可能模式(MPM)是指成为当前区块的最佳预测模式的可能性最高的预测模式，能够由预先设定的预测模式(例如均值(DC)、平面(Planar)、垂直、水平、对角线模式等)或在空间上相邻的区块(例如左侧、上侧、左上、右上、左下区块等)的预测模式构成。其中，对角线模式是指向右斜上(Diagonal up right)、向右斜下(Diagonal down right)、向左斜下(Diagonal down left)，能够是与图17中的第2号、第18号、第34号模式对应的模式。
此外，还能够将从由最有可能模式(MPM)构成的预测模式的集合即最有可能模式(MPM)候选组中所包含的预测模式推导出的模式追加到最有可能模式(MPM)候选组中。在定向模式中，能够将与最有可能模式(MPM)候选组中所包含的预测模式之间的索引间隔等于预先设定的值的预测模式添加到最有可能模式(MPM)候选组中。例如，在包含到最有可能模式(MPM)候选组中的模式为图17中的第10号模式的情况下，所推导出的模式能够相当于第9号、第11号、第8号、第12号模式等。
上述实例能够相当于最有可能模式(MPM)候选组由多个模式构成的情况，最有可能模式(MPM)候选组的构成(例如最有可能模式(MPM)中包含的预测模式的数量、构成的优先顺序)是根据编码/解码设定(例如预测模式候选组、影像类型、区块大小、区块形态等)进行确定，能够包括至少一个模式构成。
能够对最有可能模式(MPM)候选组中所包含的预测模式的优先顺序进行设定。能够根据所设定的优先顺序对包含于最有可能模式(MPM)候选组中的预测模式的顺序进行确定，在所添加的预测模式达到预先设定的数量时能够完成最有可能模式(MPM)候选组的构成。其中，优先顺序能够设定为与需要进行预测的当前区块在空间上相邻的区块的预测模式、预先设定的预测模式、从较早包含于最有可能模式(MPM)候选组的预测模式中推导出的模式的顺序，但是并不限定于此。
具体来讲，在空间上相邻的区块中能够按照左侧-上侧-左下-右上-左上区块的顺序设定优先顺序，在预先设定的预测模式中能够按照均值(DC)-平面(Planar)-垂直-水平模式的顺序设定优先顺序，接下来能够将包含于最有可能模式(MPM)候选组的预测模式的索引值(图17中为预测模式编号)上进行+1、-1等(整数值)的加法运算而获得的预测模式包含到最有可能模式(MPM)候选组中。作为上述实例之一，能够按照左侧-上侧-均值(DC)-平面(Planar)-左下-右上-左上-(空间相邻区块模式)+1-(空间相邻区块模式)-1-水平-垂直-对角线等顺序设定优先顺序。
在上述实例中，对最有可能模式(MPM)候选组构成的优先顺序固定的情况进行了说明，但是上述优先顺序也能够根据区块的形态、大小等自适应地进行确定。
在利用最有可能模式(MPM)对当前区块的预测模式执行编码时，能够生成预测模式与最有可能模式(MPM)的一致与否相关的信息(例如most_probable_mode_flag)。
当与最有可能模式(MPM)一致时(例如most_probable_mode_flag＝1)，能够根据最有可能模式(MPM)的构成追加生成最有可能模式(MPM)索引信息(例如mpm_idx)。例如，当最有可能模式(MPM)是由一个预测模式构成时能够不生成追加的最有可能模式(MPM)索引信息，而当由多个预测模式构成时能够生成与最有可能模式(MPM)候选组中的当前区块的预测模式对应的索引信息。
当与最有可能模式(MPM)不一致时(例如most_probable_mode_flag＝0)，能够生成从所支持的画面内预测模式中排除最有可能模式(MPM)候选组之后的剩余预测模式候选组(称之为非最有可能模式(non-MPM)候选组)中与当前区块的预测模式对应的非最有可能模式(non-MPM)索引信息(例如non_mpm_idx)，这能够是将非最有可能模式(non-MPM)构成为一个组的情况的实例。
当非最有可能模式(non-MPM)候选组由多个组构成时，能够生成与当前区块的预测模式包含于哪一个组相关的信息。例如，当非最有可能模式(non-MPM)由A以及B两个组构成且当前区块的预测模式与A组的预测模式一致时(例如non_mpm_A_flag＝1)，能够在A组的候选组中生成与当前区块的预测模式对应的索引信息，而当不一致时(例如non_mpm_A_flag＝0)，能够在剩余的预测模式候选组(或B组的候选组)中生成与当前区块的预测模式对应的索引信息。如上述实例所示，非最有可能模式(non-MPM)能够由多个组构成，且能够根据预测模式候选组规定组的数量。例如，当预测模式候选组为35个以下时能够是1个，而在其他情况下能够是2个。
此时，特定的A组能够由判定为在最有可能模式(MPM)候选组之后与当前区块的预测模式一致的概率较高的模式构成。例如，能够将没有包含于最有可能模式(MPM)候选组中的接下来的预测模式包含到A组中或将具有一定间隔的定向模式包含到A组中。
如上述实例，当非最有可能模式(non-MPM)由多个组构成时，能够在预测模式的数量较多且当前区块的预测模式与最有可能模式(MPM)不一致的情况下实现减少模式编码比特量的效果。
在利用最有可能模式(MPM)执行当前区块的预测模式的编码(或预测模式的解码)时，能够个别地生成适用于各个预测模式候选组(例如最有可能模式(MPM)候选组、非最有可能模式(non-MPM)候选组等)的二进制化表，且能够根据各个候选组个别地适用不同的二进制化方法。
在上述实例中，如最有可能模式(MPM)候选组、非最有可能模式(non-MPM)候选组等术语只是在本发明中使用的一部分术语，并不会因此而受到限定。具体来讲，只是用于指示在将当前的画面内预测模式分类成多个类别时属于哪一个类别的信息以及相应类别内的模式信息，也能够使用如1次最有可能模式(MPM)候选组以及2次最有可能模式(MPM)候选组等术语进行替代。
图28是用于对适用本发明之一实施例的画面内预测模式的编码/解码方法进行说明的块图。
参阅图28，首先获取mpm_flag(S10)，接下来对与1次最有可能模式(MPM)的一致与否(通过mpm_flag指示)进行确认(S11)，并在一致时对最有可能模式(MPM)索引信息(mpm_idx)进行确认(S12)。当与最有可能模式(MPM)不一致时，获取rem_mpm_flag(S13)，接下来对与2次最有可能模式(MPM)的一致与否(通过rem_mpm_flag指示)进行确认(S14)，并在一致时对2次最有可能模式(MPM)索引信息(rem_mpm_idx)进行确认(S16)。当与2次最有可能模式(MPM)不一致时，对由剩余的预测模式构成的候选组的索引信息(rem_mode_idx)进行确认(S15)。在本实例中对根据2次最有可能模式(MPM)的一致与否生成的索引信息是利用相同的语法元素表现的情况进行了说明，但是也能够适用其他模式编码设定(例如二进制化法)，也能够设定不同的上述索引信息进行处理。
在适用本发明之一实施例的影像解码方法中，画面内预测能够以如下所述的方式构成。预测部的画面内预测，能够包括预测模式解码步骤、参考像素构成步骤以及预测区块生成步骤。此外，影像解码装置能够包括用于执行预测模式解码步骤、参考像素构成步骤以及预测区块生成步骤的预测模式解码部、参考像素构成部以及预测区块生成部。如上所述的过程能够省略其中的一部分或追加其他过程，而且还能够变更为与上述记载的顺序不同的其他顺序。
因为影像解码装置的参考像素构成部以及预测区块生成部能够起到与影像编码装置中的构成相同的作用，所以在此将省略与其相关的详细说明，而预测模式解码部能够逆向使用在预测模式编码部中使用的方式。
接下来，将结合图29至图31对基于解码装置的参考像素构成的画面内预测的多种实施例进行说明。其中，在上述内容中结合附图进行说明的与参考像素层级支持以及参考像素滤波方法相关的说明应解释为在解码装置中能够同样适用，而为了防止重复说明，将对与其相关的详细说明进行省略。
图29是用于对基于参考像素构成的画面内预测的比特流构成进行说明的第1例示图。
在图29中的第1例示图中，将支持多个参考像素层级、将所支持的参考像素层级中的至少一个参考像素层级作为参考像素使用、支持与参考像素滤波相关的多个候选组且从中选择一个滤波器的情况作为前提。
在编码器中利用多个参考像素层级构成像素候选组之后(在本实例中为已经完成参考像素生成过程的状态)，利用至少一个参考像素层级构成参考像素，接下来适用参考像素滤波以及参考像素插值。此时，支持与参考像素滤波相关的多个候选组。
接下来执行用于从预测模式候选组中选定最佳模式的过程，而在确定最佳的预测模式之后生成基于相应模式的预测区块并传递到减法运算部，然后执行对画面内预测相关信息的编码过程。在本实例中，将根据编码信息默示确定参考像素层级以及参考像素滤波的情况作为前提。
在解码器中对画面内预测相关信息(例如预测模式等)进行重建并在生成基于经过重建的预测模式的预测区块之后传递到减法运算部。此时，将以默示确定用于生成预测区块的参考像素层级以及参考像素滤波的情况作为前提。
参阅图29，能够利用一个画面内预测模式(intra_mode)构成比特流(S20)。此时，在当前区块中支持(或使用)的参考像素层级ref_idx以及参考像素滤波类别ref_filter_idx能够根据画面内预测模式默示确定(分别确定为类别(Category)A、B，S21～S22)。此时，能够追加考虑编码/解码信息(例如影像类型、色彩成分、区块大小以及形态等)。
图30是用于对基于参考像素构成的画面内预测的比特流构成进行说明的第2例示图。
在图30中的第2例示图中，将支持多个参考像素层级、将所支持的多个参考像素层级中的一个参考像素层级作为参考像素使用的情况作为前提。此外，将支持与参考像素滤波相关的多个候选组且从中选择一个滤波器的情况作为前提。与图29的差异在于，由编码装置明示生成与选择相关的信息。
在编码器中确定支持多个参考像素层级之后利用一个参考像素层级构成参考像素，接下来适用参考像素滤波以及参考像素插值。此时，支持与参考像素滤波相关的多个滤波方法。
当在编码器中执行决定当前区块的最佳预测模式的过程时，还能够追加考虑在各个预测模式中选定最佳参考像素层级的过程以及选定最佳参考像素滤波的过程。在决定当前区块的最佳预测模式以及参考像素层级和参考像素滤波之后，将以此为基础生成的预测区块传递到减法运算部并执行对画面内预测相关信息的编码过程。
在解码器中对画面内预测相关信息(例如预测模式和参考像素层级、参考像素滤波信息等)进行重建并在利用重建信息生成预测区块之后传递到减法运算部。此时，用于预测区块生成的参考像素层级以及参考像素滤波遵守根据从编码器传送过来的信息确定的设定。
参阅图30，解码器通过比特流中所包含的画面内预测模式信息(intra_mode)对当前区块的最佳预测模式进行确认(S30)，并对多个参考像素层级的支持与否(multi_ref_flag)进行确认(S31)。当支持多个参考像素层级时，对参考像素层级选择信息(ref_idx)进行确认(S32)，从而对可在画面内预测中使用的参考像素层级进行确定。当不支持多个参考像素层级时，能够对获取参考像素层级选择信息(ref_idx)的过程(S32)进行省略。
接下来，对自适应的参考像素滤波的支持与否(adap_ref_smooth_flag)进行确认(S33)，当支持自适应的参考像素滤波时通过参考像素滤波器信息(ref_filter_idx)对参考像素的滤波方法进行确定(S34)。
图31是用于对基于参考像素构成的画面内预测的比特流构成进行说明的第3例示图。
在图31中的第3例示图中，将支持多个参考像素层级、使用多个参考像素层级中的一个参考像素层级的情况作为前提。此外，将支持与参考像素滤波相关的多个候选组且从中选择一个滤波器的情况作为前提。与图30的差异点在于，是自适应地生成选择信息。
在利用编码器所支持的多个参考像素层级中的一个参考像素层级构成参考像素之后，适用参考像素滤波以及参考像素插值。此时，支持与参考像素滤波相关的多种滤波。
在执行用于从多个预测模式候选组中选定最佳模式的过程时，还能够追加考虑在各个预测模式中选定最佳参考像素层级的过程以及选定最佳参考像素滤波的过程。在决定最佳预测模式以及参考像素层级和参考像素滤波之后，将以此为基础生成预测区块并传递到减法运算部，然后执行对画面内预测相关信息的编码过程。
此时，对所生成的预测区块的重复性进行确认，在与利用其它参考像素层级获取到的预测区块相同或类似时，对与最佳参考像素层级相关的选定信息进行省略并使用预先设定的参考像素层级。此时，预先设定的参考像素层级能够是与当前区块最相邻的层级。
例如，能够以通过图19c中的ref_0生成的预测区块与通过ref_1生成的预测区块之间的差异值(失真值)为基础对重复性与否进行判断。当上述差异值小于预先设定的临界值时判定为预测区块具有重复性，否则则判定为预测区块没有重复性。此时，上述临界值能够根据量化参数等自适应地进行确定。
此外，最佳参考像素滤波信息同样对预测区块的重复性进行确认，在与适用其它参考像素滤波获取到的预测区块相同或类似时，对参考像素滤波信息进行省略并适用预先设定的参考像素滤波。
例如，以通过滤波A(在本实例中为3抽头(3-tap)滤波器)获取到的预测区块与通过滤波B9在本实例中为5抽头(5-tap)滤波器)获取到的预测区块之间的差异值为基础对其重复性与否进行判断。此时，同样能够将差异值与预先设定的临界值进行比较并在较小时判定为预测区块具有重复性。当预测区块具有重复性时，能够通过预先设定的参考像素滤波方法生成预测区块。其中，预先设定的参考像素滤波能够是抽头数量较少或复杂度较低的滤波方法，包括对滤波使用进行省略的情况。
在解码器中对画面内预测相关信息(例如预测模式和参考像素层级、参考像素滤波信息等)进行重建并在以此生成预测区块之后传递到减法运算部。此时，用于生成预测区块的参考像素层级信息以及参考像素滤波遵守根据从编码器传送过来的信息确定的设定，解码器能够在对重复性与否直接进行确认(不通过语法元素)之后在具有重复性时遵守预先设定的方法。
参阅图31，解码器首先对当前区块的画面内预测模式信息(intra_mode)进行确认(S40)，并对多个参考像素层级的支持与否(multi_ref_flag)进行确认(S41)。当支持多个参考像素层级时，执行基于所支持的多个参考像素层级的预测区块的重复性检查(通过ref_check过程表示，S42)，当重复性确认结果为预测区块没有重复性时(redund_ref＝0，S43)，从比特流对参考像素层级的选择信息(ref_idx)进行参考(S44)并对最佳参考像素层级进行确定。
接下来，对自适应的参考像素滤波的支持与否(adap_ref_smooth_flag)进行确认(S45)，当支持自适应的参考像素滤波时，对所支持的多个参考像素滤波方法的预测区块的重复性检查(通过ref_check过程表示，S46)。当没有预测区块的重复性时(redund_ref＝0，S47)，从比特流对参考像素滤波方法的选择信息(ref_filter_idx)进行参考(S48)并对最佳的参考像素滤波方法进行确定。
此时，附图中的redund_ref是用于指示重复性确认结果的值，当为0时表示没有重复性。
此外，解码器能够在预测区块具有重复性时利用预先设定的参考像素层级以及预先设定的参考像素滤波方法执行画面内预测。
图32是对适用本发明之一实施例的支持多个参考像素层级的影像解码方法进行图示的流程图。
参阅图32，支持多个参考像素层级的影像解码方法，能够包括：通过比特流对是否支持多个参考像素层级进行确认的步骤(S100)；当支持多个参考像素层级时，通过对上述比特流中所包含的语法信息进行参考而对需要在当前区块中使用的参考像素层级进行确定的步骤(S110)；利用所确定的参考像素层级中所包含的像素构成参考像素的步骤(S120)；以及，利用所构成的参考像素执行对上述当前区块的画面内预测的步骤(S130)。
其中，在上述对是否支持多个参考像素层级进行确认的步骤(S100)之后，还能够包括：通过比特流对是否支持自适应的参考像素滤波方法进行确认的步骤。
其中，在上述对是否支持多个参考像素层级进行确认的步骤(S100)之后，还能够包括：在不支持多个参考像素层级时，利用预先设定的参考像素层级构成参考像素的步骤。
适用本发明的方法能够以可通过多种计算手段执行的程序指令的形态实现并被记录到计算机可读取的介质中。计算机可读取的介质能够单独或组合地包含程序指令、数据文件、数据结构等。被记录到计算机可读取的介质中的程序指令能够是为了本发明而进行特别设计的程序指令或者是计算机软件从业人员公知可用的程序指令。
计算机可读取的介质的实例中能够包括如只读存储器(ROM)、随机存取存储器(RAM)、闪速存储器(flash memory)等用于存储和执行程序指令的特殊构成的硬件装置。程序指令的实例中不仅包括如通过编译器(compiler)生成的机器代码，还包括能够利用如解释器(interpreter)等在计算机中执行的高级语言代码。上述硬件装置能够由用于执行适用本发明的动作的至少一个软件模块构成，反之亦然。
此外，上述方法或装置能够对其构成或功能中的全部或一部分进行结合或分离。
在上述内容中结合适用本发明的较佳实施例进行了说明，但是相关技术领域的熟练从业人员应能够理解，在不脱离所附权利要求范围中所记载的本发明的思想以及区域的范围内能够对本发明进行各种修改以及变更。

Claims (11)

1.一种使用分割单位对图像进行解码的方法，包括：
通过参考从所接收到的比特流(bitstream)获取到的语法(syntax)，将所述所接收到的比特流中所包含的编码影像分割成至少一个分割单位；
在所述分割单位中导出当前区块的画面内预测模式；
从多个参考样本层导出所述当前区块的参考样本层；
基于所述导出的参考样本层生成参考样本；以及
基于所述参考样本和所述画面内预测模式生成所述当前区块的预测样本，
其中，所述多个参考样本层包括在所述当前区块的重建的相邻块中，并且
其中，所述当前区块的所述参考样本层的每个与所述当前区块的边界具有不同的距离。
2.根据权利要求1所述的方法，其中，当所述画面内预测模式是非定向模式时，仅通过使用与所述当前区块的所述边界具有最短距离的所述参考样本层来生成所述预测样本。
3.根据权利要求2所述的方法，其中，所述非定向模式表示平面模式。
4.根据权利要求1所述的方法，其中，所述参考样本层是基于色彩成分导出的。
5.根据权利要求1所述的方法，其中，所述多个参考样本层的数量等于或大于3。
6.一种使用分割单位对图像进行编码的方法，包括：
将所述图像分割成至少一个分割单位；
在所述分割单位中确定当前区块的画面内预测模式；
从多个参考样本层中确定所述当前区块的参考样本层；
基于所述确定的参考样本层生成参考样本；并且
基于所述参考样本和所述画面内预测模式生成所述当前区块的预测样本，
其中，所述多个参考样本层包括在所述当前区块的重建的相邻块中，并且
其中，所述当前区块的所述参考样本层的每个与所述当前区块的边界具有不同的距离。
7.根据权利要求6所述的方法，其中，当所述画面内预测模式是非定向模式时，仅通过使用与所述当前区块的所述边界具有最短距离的所述参考样本层来生成所述预测样本。
8.根据权利要求7所述的方法，其中，所述非定向模式表示平面模式。
9.根据权利要求6所述的方法，其中，所述参考样本层是基于色彩成分确定的。
10.根据权利要求6所述的方法，其中，所述多个参考样本层的数量等于或大于3。
11.一种非暂时性计算机可读存储介质，存储有使解码装置执行操作的信息，所述操作包括：
通过参考从所接收到的比特流获取到的语法，将所述所接收到的比特流中所包含的编码影像分割成至少一个分割单位；
在所述分割单位中导出当前区块的画面内预测模式；
从多个参考样本层导出所述当前区块的参考样本层；
基于所述导出的参考样本层生成参考样本；以及
基于所述参考样本和所述画面内预测模式生成所述当前区块的预测样本，
其中，所述多个参考样本层包括在所述当前区块的重建的相邻块中，并且
其中，所述当前区块的所述参考样本层的每个与所述当前区块的边界具有不同的距离。
CN201880045023.0A 2017-07-03 2018-07-03 利用包含追加区域的分割单位的影像解码方法以及装置 Active CN110832855B (zh)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN202310305066.0A CN116248863A (zh) 2017-07-03 2018-07-03 利用包含追加区域的分割单位的影像解码方法以及装置
CN202310305085.3A CN116320400A (zh) 2017-07-03 2018-07-03 利用包含追加区域的分割单位的影像解码方法以及装置
CN202310305077.9A CN116248866A (zh) 2017-07-03 2018-07-03 利用包含追加区域的分割单位的影像解码方法以及装置
CN202310305097.6A CN116248868A (zh) 2017-07-03 2018-07-03 利用包含追加区域的分割单位的影像解码方法以及装置
CN202310305068.XA CN116248864A (zh) 2017-07-03 2018-07-03 利用包含追加区域的分割单位的影像解码方法以及装置
CN202310305079.8A CN116320399A (zh) 2017-07-03 2018-07-03 利用包含追加区域的分割单位的影像解码方法以及装置
CN202310305081.5A CN116248867A (zh) 2017-07-03 2018-07-03 利用包含追加区域的分割单位的影像解码方法以及装置
CN202310305073.0A CN116248865A (zh) 2017-07-03 2018-07-03 利用包含追加区域的分割单位的影像解码方法以及装置

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
KR20170084517 2017-07-03
KR10-2017-0084517 2017-07-03
KR20170090638 2017-07-17
KR10-2017-0090638 2017-07-17
KR10-2018-0055980 2018-05-16
KR20180055980 2018-05-16
PCT/KR2018/007520 WO2019009590A1 (ko) 2017-07-03 2018-07-03 추가 영역을 포함하는 분할 단위를 이용한 영상 복호화 방법 및 장치

Related Child Applications (8)

Application Number Title Priority Date Filing Date
CN202310305077.9A Division CN116248866A (zh) 2017-07-03 2018-07-03 利用包含追加区域的分割单位的影像解码方法以及装置
CN202310305097.6A Division CN116248868A (zh) 2017-07-03 2018-07-03 利用包含追加区域的分割单位的影像解码方法以及装置
CN202310305085.3A Division CN116320400A (zh) 2017-07-03 2018-07-03 利用包含追加区域的分割单位的影像解码方法以及装置
CN202310305066.0A Division CN116248863A (zh) 2017-07-03 2018-07-03 利用包含追加区域的分割单位的影像解码方法以及装置
CN202310305073.0A Division CN116248865A (zh) 2017-07-03 2018-07-03 利用包含追加区域的分割单位的影像解码方法以及装置
CN202310305081.5A Division CN116248867A (zh) 2017-07-03 2018-07-03 利用包含追加区域的分割单位的影像解码方法以及装置
CN202310305068.XA Division CN116248864A (zh) 2017-07-03 2018-07-03 利用包含追加区域的分割单位的影像解码方法以及装置
CN202310305079.8A Division CN116320399A (zh) 2017-07-03 2018-07-03 利用包含追加区域的分割单位的影像解码方法以及装置

Publications (2)

Publication Number Publication Date
CN110832855A CN110832855A (zh) 2020-02-21
CN110832855B true CN110832855B (zh) 2023-04-14

Family

ID=69548274

Family Applications (9)

Application Number Title Priority Date Filing Date
CN202310305066.0A Pending CN116248863A (zh) 2017-07-03 2018-07-03 利用包含追加区域的分割单位的影像解码方法以及装置
CN202310305079.8A Pending CN116320399A (zh) 2017-07-03 2018-07-03 利用包含追加区域的分割单位的影像解码方法以及装置
CN201880045023.0A Active CN110832855B (zh) 2017-07-03 2018-07-03 利用包含追加区域的分割单位的影像解码方法以及装置
CN202310305068.XA Pending CN116248864A (zh) 2017-07-03 2018-07-03 利用包含追加区域的分割单位的影像解码方法以及装置
CN202310305077.9A Pending CN116248866A (zh) 2017-07-03 2018-07-03 利用包含追加区域的分割单位的影像解码方法以及装置
CN202310305073.0A Pending CN116248865A (zh) 2017-07-03 2018-07-03 利用包含追加区域的分割单位的影像解码方法以及装置
CN202310305097.6A Pending CN116248868A (zh) 2017-07-03 2018-07-03 利用包含追加区域的分割单位的影像解码方法以及装置
CN202310305081.5A Pending CN116248867A (zh) 2017-07-03 2018-07-03 利用包含追加区域的分割单位的影像解码方法以及装置
CN202310305085.3A Pending CN116320400A (zh) 2017-07-03 2018-07-03 利用包含追加区域的分割单位的影像解码方法以及装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202310305066.0A Pending CN116248863A (zh) 2017-07-03 2018-07-03 利用包含追加区域的分割单位的影像解码方法以及装置
CN202310305079.8A Pending CN116320399A (zh) 2017-07-03 2018-07-03 利用包含追加区域的分割单位的影像解码方法以及装置

Family Applications After (6)

Application Number Title Priority Date Filing Date
CN202310305068.XA Pending CN116248864A (zh) 2017-07-03 2018-07-03 利用包含追加区域的分割单位的影像解码方法以及装置
CN202310305077.9A Pending CN116248866A (zh) 2017-07-03 2018-07-03 利用包含追加区域的分割单位的影像解码方法以及装置
CN202310305073.0A Pending CN116248865A (zh) 2017-07-03 2018-07-03 利用包含追加区域的分割单位的影像解码方法以及装置
CN202310305097.6A Pending CN116248868A (zh) 2017-07-03 2018-07-03 利用包含追加区域的分割单位的影像解码方法以及装置
CN202310305081.5A Pending CN116248867A (zh) 2017-07-03 2018-07-03 利用包含追加区域的分割单位的影像解码方法以及装置
CN202310305085.3A Pending CN116320400A (zh) 2017-07-03 2018-07-03 利用包含追加区域的分割单位的影像解码方法以及装置

Country Status (5)

Country Link
US (2) US10986351B2 (zh)
EP (2) EP3651459A4 (zh)
CN (9) CN116248863A (zh)
CA (1) CA3105474A1 (zh)
SG (1) SG11202100010SA (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3907999B1 (en) * 2010-09-02 2023-11-22 LG Electronics, Inc. Inter prediction
US8767824B2 (en) * 2011-07-11 2014-07-01 Sharp Kabushiki Kaisha Video decoder parallelization for tiles
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
CN117812254A (zh) * 2018-06-29 2024-04-02 弗劳恩霍夫应用研究促进协会 扩展参考图像内预测
HUE066408T2 (hu) * 2018-09-03 2024-07-28 Huawei Tech Co Ltd Eljárás és berendezés az intra predikcióra
CA3111805A1 (en) * 2018-09-11 2020-03-19 Panasonic Intellectual Property Corporation Of America Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
HUE063986T2 (hu) * 2018-09-16 2024-02-28 Huawei Tech Co Ltd Eljárás és berendezés predikcióhoz
WO2020060233A1 (ko) * 2018-09-20 2020-03-26 엘지전자 주식회사 인트라 예측을 수행하는 영상 예측 방법 및 장치
WO2020076130A1 (ko) * 2018-10-11 2020-04-16 삼성전자 주식회사 타일 및 타일 그룹을 이용하는 비디오 부호화 및 복호화 방법, 및 타일 및 타일 그룹을 이용하는 비디오 부호화 및 복호화 장치
CN112823513B (zh) * 2018-10-12 2024-05-28 英迪股份有限公司 图像编码/解码方法和装置
US11012711B2 (en) * 2018-11-29 2021-05-18 Tencent America LLC Adaptive most probable modes for multiple reference line intra prediction
KR20210107128A (ko) * 2019-01-09 2021-08-31 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 인코더, 비디오 디코더 및 대응하는 방법
WO2020156547A1 (en) 2019-02-02 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Buffer resetting for intra block copy in video coding
CN113545068B (zh) 2019-03-01 2023-09-15 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的基于顺序的更新
CN117395439A (zh) 2019-03-01 2024-01-12 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的基于方向的预测
KR20240132530A (ko) 2019-03-04 2024-09-03 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 인트라 블록 복사의 구현 형태
ES2980868T3 (es) * 2019-03-11 2024-10-03 Huawei Tech Co Ltd Direcciones de segmento basadas en sub-imagen en codificación de vídeo
CN109862371A (zh) * 2019-03-12 2019-06-07 北京大学深圳研究生院 一种基于帧内预测的编解码方法、装置及滤波器
CA3146016C (en) 2019-07-06 2024-05-07 Beijing Bytedance Network Technology Co., Ltd. Virtual prediction buffer for intra block copy in video coding
CN114175633B (zh) * 2019-07-10 2023-12-29 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的样点标识
JP2022539887A (ja) 2019-07-11 2022-09-13 北京字節跳動網絡技術有限公司 映像符号化におけるイントラブロックコピーのためのビットストリーム適合性の制約
EP4020984A4 (en) * 2019-08-20 2023-07-19 Apple Inc. IMAGE SIGNAL ENCODING/DECODING METHOD AND RELATED DEVICE
US11716488B2 (en) * 2019-09-20 2023-08-01 Qualcomm Incorporated Subpicture signaling in high-level syntax for video coding
WO2021060505A1 (ja) * 2019-09-27 2021-04-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
WO2021160168A1 (en) 2020-02-14 2021-08-19 Beijing Bytedance Network Technology Co., Ltd. Reference picture resampling activation in video coding
WO2021204137A1 (en) * 2020-04-07 2021-10-14 Beijing Bytedance Network Technology Co., Ltd. Clipping operation for reference picture wrap around
CN112396698B (zh) * 2020-11-20 2023-03-28 上海莉莉丝网络科技有限公司 游戏地图内地图区域边界的划定方法、系统及计算机可读存储介质
CN113344092B (zh) * 2021-06-18 2022-10-11 中科迈航信息技术有限公司 Ai的图像识别方法及终端装置
KR20220146663A (ko) * 2021-06-28 2022-11-01 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 비디오 복구 방법, 장치, 기기, 매체 및 컴퓨터 프로그램

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011082725A (ja) * 2009-10-06 2011-04-21 Nippon Telegr & Teleph Corp <Ntt> 映像符号化方法，映像符号化装置，映像復号方法，映像復号装置，映像符号化・復号方法，およびプログラム
KR20110061468A (ko) * 2009-12-01 2011-06-09 (주)휴맥스 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치
CN102611884A (zh) * 2011-01-19 2012-07-25 华为技术有限公司 图像编解码方法及编解码设备
KR20160038062A (ko) * 2011-10-31 2016-04-06 미쓰비시덴키 가부시키가이샤 동화상 복호 장치, 동화상 부호화 장치 및 기억 매체

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103718553B (zh) * 2011-08-11 2017-03-01 太阳专利托管公司 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编码解码装置
KR20130037161A (ko) * 2011-10-05 2013-04-15 한국전자통신연구원 스케일러블 비디오 코딩을 위한 향상된 계층간 움직임 정보 예측 방법 및 그 장치
CA2898150C (en) 2012-01-30 2017-11-14 Samsung Electronics Co., Ltd. Method and apparatus for video encoding for each spatial sub-area, and method and apparatus for video decoding for each spatial sub-area
CN104365100A (zh) 2012-04-15 2015-02-18 三星电子株式会社 用于并行处理的视频编码方法和装置以及视频解码方法和装置
KR101649284B1 (ko) 2012-04-16 2016-08-18 텔레포나크티에볼라게트 엘엠 에릭슨(피유비엘) 압축 화상 시퀀스를 위해 병렬 프로세싱 가능성을 나타내는 고정 타일 구조 플래그
KR20230080500A (ko) * 2013-01-04 2023-06-07 지이 비디오 컴프레션, 엘엘씨 효율적인 확장가능한 코딩 개념
US10284842B2 (en) * 2013-03-05 2019-05-07 Qualcomm Incorporated Inter-layer reference picture construction for spatial scalability with different aspect ratios
WO2014163462A1 (ko) * 2013-04-05 2014-10-09 삼성전자 주식회사 필터링과 관련하여 비디오의 부호화 및 복호화를 수행하는 방법과 그 장치
US9749627B2 (en) * 2013-04-08 2017-08-29 Microsoft Technology Licensing, Llc Control data for motion-constrained tile set
US9554131B1 (en) 2013-07-23 2017-01-24 Harmonic, Inc. Multi-slice/tile encoder with overlapping spatial sections
WO2015083575A1 (ja) * 2013-12-06 2015-06-11 シャープ株式会社 画像復号装置、画像符号化装置、および、符号化データ変換装置
US20150215631A1 (en) 2014-01-23 2015-07-30 Broadcom Corporation Parallel Coding with Overlapped Tiles
US10205950B2 (en) * 2014-02-21 2019-02-12 Panasonic Corporation Image decoding method, image encoding method, image decoding apparatus, and image encoding apparatus
WO2018066992A1 (ko) 2016-10-04 2018-04-12 김기백 영상 데이터 부호화/복호화 방법 및 장치
WO2019159820A1 (ja) * 2018-02-14 2019-08-22 シャープ株式会社 動画像符号化装置及び動画像復号装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011082725A (ja) * 2009-10-06 2011-04-21 Nippon Telegr & Teleph Corp <Ntt> 映像符号化方法，映像符号化装置，映像復号方法，映像復号装置，映像符号化・復号方法，およびプログラム
KR20110061468A (ko) * 2009-12-01 2011-06-09 (주)휴맥스 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치
CN102611884A (zh) * 2011-01-19 2012-07-25 华为技术有限公司 图像编解码方法及编解码设备
KR20160038062A (ko) * 2011-10-31 2016-04-06 미쓰비시덴키 가부시키가이샤 동화상 복호 장치, 동화상 부호화 장치 및 기억 매체

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
R1-99970 "Revised proposal for extended TFCI coding";Samsung;《3GPP tsg_ran\WG1_RL1》;19990721;全文 *
融合空域相关和率失真代价的HEVC帧内编码算法;诸志龙等;《昆明理工大学学报(自然科学版)》;20170215(第01期);全文 *

Also Published As

Publication number Publication date
CN116320400A (zh) 2023-06-23
CN116248865A (zh) 2023-06-09
US20210185330A1 (en) 2021-06-17
US20200137401A1 (en) 2020-04-30
CN116248868A (zh) 2023-06-09
CN116248863A (zh) 2023-06-09
CN116320399A (zh) 2023-06-23
EP3651459A1 (en) 2020-05-13
EP4221199A1 (en) 2023-08-02
US11509914B2 (en) 2022-11-22
CN116248866A (zh) 2023-06-09
EP3651459A4 (en) 2021-03-24
CA3105474A1 (en) 2019-01-10
US10986351B2 (en) 2021-04-20
CN116248867A (zh) 2023-06-09
CN116248864A (zh) 2023-06-09
SG11202100010SA (en) 2021-02-25
CN110832855A (zh) 2020-02-21

Similar Documents

Publication Publication Date Title
CN110832855B (zh) 利用包含追加区域的分割单位的影像解码方法以及装置
US11202005B2 (en) Image data encoding/decoding method and apparatus
US11677926B1 (en) Image data encoding/decoding method and apparatus
US11483476B2 (en) Image data encoding/decoding method and apparatus
US20230051471A1 (en) Method and device for decoding image by using partition unit including additional region
US11778331B2 (en) Image data encoding/decoding method and apparatus
US12126787B2 (en) Image data encoding/decoding method and apparatus
KR20190004237A (ko) 추가 영역을 포함하는 분할 단위를 이용한 영상 복호화 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant