CN105580370A - 图像解码装置、图像编码装置以及编码数据变换装置 - Google Patents

图像解码装置、图像编码装置以及编码数据变换装置 Download PDF

Info

Publication number
CN105580370A
CN105580370A CN201480052141.6A CN201480052141A CN105580370A CN 105580370 A CN105580370 A CN 105580370A CN 201480052141 A CN201480052141 A CN 201480052141A CN 105580370 A CN105580370 A CN 105580370A
Authority
CN
China
Prior art keywords
layer
picture
pixel
level
parameter set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480052141.6A
Other languages
English (en)
Inventor
山本智幸
猪饲知宏
筑波健史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN105580370A publication Critical patent/CN105580370A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

通过将用于准确地导出与作为对象层的上位层的像素对应的参照层的像素的位置的信息包含在层次编码数据中，提高预测图像的准确度而降低层次编码数据的码量。层次运动图像解码装置(1)具备：参数集解码部(12)，对参数集进行解码；以及预测图像生成部(14)，参照参照层图片的解码像素，通过层间预测而生成预测图像。参数集解码部(12)对对象层像素和与该对象层像素对应的参照层图片上的位置所涉及的信息即层间相位对应信息进行解码。预测图像生成部(14)基于所述层间相位对应信息而生成预测图像。

Description

图像解码装置、图像编码装置以及编码数据变换装置
技术领域
本发明涉及对图像被层次性地进行编码的层次编码数据进行解码的图像解码装置、通过对图像层次性地进行编码而生成层次编码数据的图像编码装置以及对层次编码数据进行变换的编码数据变换装置。
背景技术
在通信系统中传输的信息或者在存储装置中记录的信息之一，有图像或者运动图像。以往，已知为了这些图像(以后，包括运动图像)的传输/存储而对图像进行编码的技术。
作为运动图像编码方式，已知AVC(H.264/MPEG-4高级视频编码(AdvancedVideoCoding))、作为其后继编解码器(Codec)的HEVC(高效的视频编码(High-EfficiencyVideoCoding))(非专利文献1)。
在这些运动图像编码方式中，通常，基于通过对输入图像进行编码/解码而获得的局部解码图像，生成预测图像，对从输入图像(原图像)减去该预测图像而获得的预测残差(有时也称为“差分图像”或者“残差图像”)进行编码。此外，作为预测图像的生成方法，举出画面间预测(外部预测)以及画面内预测(内部预测)。
在内部预测中，基于同一图片内的局部解码图像，顺次生成该图片中的预测图像。
在外部预测中，通过图片间的移动补偿而生成预测图像。在外部预测中用于预测图像生成的解码完毕的图片被称为参照图片。
此外，还已知通过将多个相互有关联性的运动图像分层(层次)进行编码，从而从多个运动图像生成编码数据的技术，被称为层次编码技术。通过层次编码技术而生成的编码数据也被称为层次编码数据。
作为代表性的层次编码技术，已知将HEVC作为基础的SHVC(可伸缩HEVC(ScalableHEVC))(非专利文献2)。
在SHVC中，支持空间可伸缩性、时间可伸缩性、SNR可伸缩性。例如，在空间可伸缩性的情况下，将多个不同的分辨率的运动图像分层进行编码而生成层次编码数据。例如，将从原图像以期望的分辨率进行了下采样的图像作为下位层来进行编码。接着，对原图像用于去除层间的冗长性而应用了层间预测的基础上，作为上位层来进行编码。
作为其他的代表性的层次编码技术，已知将HEVC作为基础的MV-HEVC(多视点HEVC(MultiViewHEVC))(非专利文献3)。
在MV-HEVC中，支持视点可伸缩性(Viewscalability)。在视点可伸缩性中，将与多个不同的视点(View)对应的运动图像分层进行编码而生成层次编码数据。例如，将与成为基本的视点(基本视点)对应的运动图像作为下位层来进行编码。接着，将与不同的视点对应的运动图像应用了层间预测的基础上，作为上位层来进行编码。
在SHVC或MV-HEVC中的层间预测中，有层间图像预测和层间移动预测。在层间图像预测中，利用下位层的解码图像而生成预测图像。在层间移动预测中，利用下位层的移动信息而导出移动信息的预测值。在层间预测中用于预测的图片被称为层间参照图片。此外，包括层间参照图片的层被称为参照层。另外，以下，将用于外部预测的参照图片和用于层间预测的参照图片总称为参照图片。
在SHVC或MV-HEVC中，在预测图像的生成中能够利用外部预测、内部预测、层间图像预测中的任一个。
在利用SHVC或MV-HEVC的应用之一，有考虑了关注区域的影像应用。例如，在影像再现终端中，通常以比较低的分辨率来再现全部区域的影像。在影像再现终端的视听者指定了所显示的影像的一部分作为关注区域的情况下，该关注区域以高分辨率显示在再现终端中。
如上所述的考虑了关注区域的影像应用能够使用将全部区域的比较低的分辨率的影像作为下位层的编码数据、将关注区域的高分辨率影像作为上位层的编码数据进行了编码的层次编码数据来实现。即，在再现全部区域的情况下，只对下位层的编码数据进行解码而再现，在再现关注区域的高分辨率影像的情况下，将上位层的编码数据追加到所述下位层的编码数据而传输，从而能够以比传输对于低分辨率影像的编码数据和对于高分辨率影像的编码数据的双方的情况更少的传输频带来实现所述应用。
现有技术文献
非专利文献
非专利文献1：“RecommendationH.265(04/13)”,ITU-T(2013年6月7日公开)
非专利文献2：JCT3V-E1004_v6“MV-HEVCDraftText5”,JointCollaborativeTeamon3DVideoCodingExtensionDevelopmentofITU-TSG16WP3andISO/IECJTC1/SC29/WG115thMeeting:Vienna,AT,27Jul.-2Aug.2013(2013年8月7日公开)
非专利文献3：JCTVC-N1008_v1“SHVCDraft3”,JointCollaborativeTeamonVideoCoding(JCT-VC)ofITU-TSG16WP3andISO/IECJTC1/SC29/WG1114thMeeting:Vienna,AT,25July-2Aug.2013(2013年8月20日公开)
发明内容
发明要解决的课题
但是，在不管关注区域都传输相当于全部区域的高分辨率影像的上位层的编码数据的情况下，存在与只传输下位层的编码数据的情况相比码量大幅增大的课题。
此外，在生成只包括关注区域的上位层的编码数据的情况下，存在生成所需的处理量增多的课题。例如，在每个用户指定了不同的关注区域的情况下，需要对每个用户生成不同的上位层的编码数据，但存在在这样的上位层的编码数据的生成所需的处理量大的情况下，难以对多个用户生成相当于关注区域的上位层的编码数据而发送的课题。
此外，在生成只包括关注区域的上位层的编码数据、且将上位层的图片大小配合关注区域而变更的情况下，上位层的像素和下位层的像素的位置关系发生变化，其结果，存在在预测基于下位层的像素值的上位层的像素值的情况下的预测的准确度降低的课题。
本发明是鉴于上述问题而完成的，其目的在于，实现一种在层次编码方式中对相当于全部区域的上位层的编码数据和相当于关注区域的上位层的编码数据中的哪一个都能够进行编码/解码的图像编码装置以及图像解码装置。
除此之外，本发明的目的在于，实现一种能够对只包括关注区域的上位层的编码数据并且是上位层的像素和下位层的像素的位置关系准确地相关联的编码数据进行编码/解码的图像编码装置以及图像解码装置。
除此之外，本发明的目的在于，实现一种不需要生成解码图像就能够从相当于全部区域的上位层的编码数据生成相当于关注区域的上位层的编码数据的编码数据的数据结构、以及从所述上位层的编码数据生成相当于所述关注区域的上位层的编码数据的编码数据变换装置。
用于解决课题的手段
为了解决上述课题，本发明的图像解码装置是对在进行了层次编码的编码数据中包含的上位层的编码数据进行解码，恢复作为对象层的上位层的解码图片的图像解码装置，其特征在于，所述图像解码装置具备：参数集解码部，对参数集进行解码；以及预测图像生成部，参照参照层图片的解码像素，通过层间预测而生成预测图像，所述参数集解码部对对象层像素和与该对象层像素对应的参照层图片上的位置所涉及的信息即层间相位对应信息进行解码。
为了解决上述课题，本发明的图像编码装置是根据输入图像而生成上位层的编码数据的图像编码装置，其特征在于，所述图像编码装置具备：参数集解码部，对参数集进行解码；以及预测图像编码部，参照参照层图片的解码像素，通过层间预测而生成预测图像，所述参数集解码部对对象层像素和与该对象层像素对应的参照层图片上的位置所涉及的信息即层间相位对应信息进行编码，所述预测图像编码部在层间预测执行时，基于所述层间相位对应信息，执行导出与预测对象像素对应的参照层位置的对应参照位置导出处理。
为了解决上述课题，本发明的层次编码数据变换装置是将被输入的层次编码数据基于被输入的关注区域信息进行变换，并输出变换后的层次编码数据的层次编码数据变换装置，其特征在于，所述层次编码数据变换装置具备：参数集解码部，从输入的层次编码数据解码修正前参数集；参数集修正部，基于输入的关注区域信息，对修正前参数集进行修正而生成修正后参数集；以及NAL选择部，基于瓦片信息和所述关注区域信息，选择在输出层次编码数据中包含的编码层NAL，所述NAL选择部将至少一部分区域与所述关注区域信息表示的关注区域重复的瓦片作为提取对象瓦片，选择与在该提取对象瓦片中包含的切片对应的视频编码层NAL作为在变换后的层次编码数据中包含的视频编码层NAL，所述参数集修正部基于所述提取对象瓦片，对在参数集中包含的图片大小和瓦片信息进行修正。
发明效果
本发明的图像解码装置是对在进行了层次编码的编码数据中包含的上位层的编码数据进行解码，恢复作为对象层的上位层的解码图片的图像解码装置，具备：参数集解码部，对参数集进行解码；以及预测图像生成部，参照参照层图片的解码像素，通过层间预测而生成预测图像，所述参数集解码部对对象层像素和与该对象层像素对应的参照层图片上的位置所涉及的信息即层间相位对应信息进行解码。
因此，本发明的图像解码装置由于能够使用所述层间相位对应信息而导出与预测对象像素对应的参照层图片上的准确的位置，所以通过插值处理而生成的预测像素的准确度提高。因此，能够对比以往少的码量的编码数据进行解码而输出上位层的解码图片。
附图说明
图1是对应参照位置导出处理的流程图。
图2是用于说明本发明的实施方式的层次编码数据的层结构的图，(a)表示层次运动图像编码装置侧，(b)表示层次运动图像解码装置侧。
图3是用于说明本发明的实施方式的层次编码数据的结构的图，(a)表示规定序列SEQ的序列层，(b)表示规定图片PICT的图片层，(c)表示规定切片S的切片层，(d)表示规定编码树单元CTU的CTU层，(e)表示规定在编码树单元CTU中包含的编码单位(CodingUnit；CU)的CU层。
图4是说明本发明的实施方式的层次编码数据中的图片和瓦片/切片的关系的图，(a)例示在通过瓦片/切片而分割图片的情况下的分割区域，(b)例示编码数据的结构中的瓦片和切片的关系。
图5是例示将本实施方式的层次运动图像解码装置、层次运动图像编码装置以及编码数据变换装置组合而实现的进行层次运动图像的传输和再现的系统的图。
图6是表示上述层次运动图像解码装置的概略性结构的功能框图。
图7是例示在上述层次运动图像解码装置中包含的基本解码部的结构的功能框图。
图8是在SPS解码时参照的语法表的一部分，并且是涉及图片信息的部分。
图9是在SPS解码时参照的语法表的一部分，并且是涉及显示区域信息的部分。
图10是例示作为图片内的部分区域的显示区域和显示区域位置信息的关系的图。
图11是在SPS解码时参照的语法表的一部分，并且是涉及层间像素对应信息的部分。
图12是例示对象层的图片、参照层的图片以及层间像素对应偏移的关系的图，(a)表示在参照层的图片整体对应于对象层的图片的一部分的情况下的例，(b)表示在参照层的图片的一部分对应于对象层的图片整体的情况下的例。
图13是在SPS解码时参照的语法表的一部分，并且是涉及层间相位对应信息的部分。
图14是例示对象层像素和参照层像素的对应和相位差的关系的图。
图15是在SPS解码时参照的语法表的一部分，并且是涉及层间相位对应信息的部分的其他例。
图16是在PPS的解码时参照的语法表的一部分，并且是涉及瓦片信息的部分。
图17是例示了在将图片进行了瓦片分割的情况下的瓦片行和瓦片列的图。
图18是例示在上述层次运动图像解码装置中包含的切片解码部的结构的功能框图。
图19是在切片头部解码时参照的语法表的一部分，并且是涉及切片位置信息的部分。
图20是例示在使用参照层裁剪偏移(Referencelayercropoffset)而计算相位偏移的情况下的计算中使用的点或量的水平分量的关系的图。
图21是表示本发明的一实施方式的层次运动图像编码装置的概略性结构的功能框图。
图22是例示在上述层次运动图像编码装置中包含的切片编码部的结构的功能框图。
图23是表示了本发明的一实施方式的层次编码数据变换装置的概略性结构的功能框图。
图24是例示了变换前后的层次编码数据中的图片、关注区域以及瓦片的关系的图。
图25是表示了通过上述层次运动图像解码装置、层次运动图像编码装置以及层次编码数据变换装置的组合而实现的关注区域显示系统的结构的框图。
图26是表示搭载了上述层次运动图像编码装置的发送装置、以及搭载了上述层次运动图像解码装置的接收装置的结构的图。(a)表示搭载了层次运动图像编码装置的发送装置，(b)表示搭载了层次运动图像解码装置的接收装置。
图27是表示搭载了上述层次运动图像编码装置的记录装置、以及搭载了上述层次运动图像解码装置的再现装置的结构的图。(a)表示搭载了层次运动图像编码装置的记录装置，(b)表示搭载了层次运动图像解码装置的再现装置。
具体实施方式
基于图1～图27说明本发明的一实施方式的层次运动图像解码装置1、层次运动图像编码装置2以及编码数据变换装置3的话，如下所述。
〔概要〕
本实施方式的层次运动图像解码装置(图像解码装置)1对通过层次运动图像编码装置(图像编码装置)2进行了层次编码的编码数据进行解码。层次编码是指，将运动图像从低质量到高质量层次性地进行编码的编码方式。层次编码例如在SVC或SHVC中进行标准化。另外，这里所称的运动图像的质量广泛地意味着对主观性以及客观性的运动图像的美观产生影响的要素。在运动图像的质量中，例如包括“分辨率”、“帧率”、“画质”以及“像素的表现精度”。因此，以下，若说运动图像的质量不同，则例示性地指“分辨率”等不同，但并不限定于此。例如，在通过不同的量化步长而被量化的运动图像的情况下(即，在通过不同的编码噪声而被编码的运动图像的情况下)，也可以说运动图像的质量互不相同。
此外，从层次化的信息的种类的观点出发，层次编码技术有时也被分类为(1)空间可伸缩性、(2)时间可伸缩性、(3)SNR(信噪比(SignaltoNoiseRatio))可伸缩性以及(4)视点可伸缩性。空间可伸缩性是在分辨率或图像的大小上进行层次化的技术。时间可伸缩性是在帧率(单位时间的帧数)上进行层次化的技术。SNR可伸缩性是在编码噪声上进行层次化的技术。此外，视点可伸缩性是在与各图像相对应的视点位置上进行层次化的技术。
此外，本实施方式的编码数据变换装置3将通过层次运动图像编码装置2进行了层次编码的编码数据进行变换，生成与预定的关注区域有关的编码数据(关注区域编码数据)。关注区域编码数据能够在本实施方式的层次运动图像解码装置1中进行解码。
在本实施方式的层次运动图像编码装置2、层次运动图像解码装置1以及层次编码数据变换装置3的详细的说明之前，首先，说明(1)通过层次运动图像编码装置2或者层次编码数据变换装置3而被生成、通过层次运动图像解码装置1而被解码的层次编码数据的层结构，接着，说明(2)在各层中能够采用的数据结构的具体例。
〔层次编码数据的层结构〕
这里，使用图2说明层次编码数据的编码以及解码的话，如下所述。图2是示意性地表示通过下位层次L3、中位层次L2以及上位层次L1的3个层次对运动图像层次性地进行编码/解码的情况的图。即，在图2(a)以及(b)所示的例中，在3个层次中，上位层次L1成为最上位层，下位层次L3成为最下位层。
以下，与能够从层次编码数据进行解码的特定的质量对应的解码图像被称为特定的层次的解码图像(或者，与特定的层次对应的解码图像)(例如，上位层次L1的解码图像POUT#A)。
图2(a)表示将输入图像PIN#A～PIN#C分别层次性地进行编码而生成编码数据DATA#A～DATA#C的层次运动图像编码装置2#A～2#C。图2(b)表示将层次性地进行了编码的编码数据DATA#A～DATA#C分别进行解码而生成解码图像POUT#A～POUT#C的层次运动图像解码装置1#A～1#C。
首先，使用图2(a)说明编码装置侧。成为编码装置侧的输入的输入图像PIN#A、PIN#B以及PIN#C虽然原画相同，但图像的质量(分辨率、帧率以及画质等)不同。图像的质量按照输入图像PIN#A、PIN#B以及PIN#C的顺序降低。
下位层次L3的层次运动图像编码装置2#C对下位层次L3的输入图像PIN#C进行编码而生成下位层次L3的编码数据DATA#C。包括用于对下位层次L3的解码图像POUT#C进行解码所需的基本信息(图2中由“C”表示)。由于下位层次L3是最下层的层次，所以下位层次L3的编码数据DATA#C也被称为基本编码数据。
此外，中位层次L2的层次运动图像编码装置2#B一边参照下位层次的编码数据DATA#C，一边对中位层次L2的输入图像PIN#B进行编码而生成中位层次L2的编码数据DATA#B。在中位层次L2的编码数据DATA#B中，除了在编码数据DATA#C中包含的基本信息“C”之外，还包括用于对中位层次的解码图像POUT#B进行解码所需的附加的信息(图2中由“B”表示)。
此外，上位层次L1的层次运动图像编码装置2#A一边参照中位层次L2的编码数据DATA#B，一边对上位层次L1的输入图像PIN#A进行编码而生成上位层次L1的编码数据DATA#A。在上位层次L1的编码数据DATA#A中，除了用于对下位层次L3的解码图像POUT#C进行解码所需的基本信息“C”以及用于对中位层次L2的解码图像POUT#B进行解码所需的附加的信息“B”之外，还包括用于对上位层次的解码图像POUT#A进行解码所需的附加的信息(图2中由“A”表示)。
这样，上位层次L1的编码数据DATA#A包括与不同的多个质量的解码图像有关的信息。
接着，参照图2(b)说明解码装置侧。在解码装置侧中，与上位层次L1、中位层次L2以及下位层次L3的各个层次对应的解码装置1#A、1#B以及1#C对编码数据DATA#A、DATA#B以及DATA#C进行解码而输出解码图像POUT#A、POUT#B以及POUT#C。
另外，也能够提取上位的层次编码数据的一部分信息，在较下位的特定的解码装置中，通过对该提取出的信息进行解码，从而再现特定的质量的运动图像。
例如，中位层次L2的层次运动图像解码装置1#B也可以从上位层次L1的层次编码数据DATA#A中，提取用于对解码图像POUT#B进行解码所需的信息(即，在层次编码数据DATA#A中包含的“B”以及“C”)，对解码图像POUT#B进行解码。换言之，在解码装置侧中，能够基于在上位层次L1的层次编码数据DATA#A中包含的信息，对解码图像POUT#A、POUT#B以及POUT#C进行解码。
另外，并不限定于以上的3个层次的层次编码数据，层次编码数据也可以通过2个层次进行层次编码，也可以通过多于3个层次的层次数进行层次编码。
此外，也可以如下构成层次编码数据：将与特定的层次的解码图像有关的编码数据的一部分或者全部，与其他的层次独立地编码，在特定的层次的解码时，也可以不参照其他的层次的信息。例如，在使用了图2(a)以及(b)的上述的例中，说明了在解码图像POUT#B的解码中参照“C”以及“B”，但并不限定于此。也能够如下构成层次编码数据：解码图像POUT#B能够只使用“B”进行解码。例如，也能够构成如下的层次运动图像解码装置：在解码图像POUT#B的解码中，以只由“B”构成的层次编码数据和解码图像POUT#C作为输入。
另外，在实现SNR可伸缩性的情况下，也能够如下生成层次编码数据：在作为输入图像PIN#A、PIN#B以及PIN#C而使用了同一个原画的基础上，解码图像POUT#A、POUT#B以及POUT#C成为不同的画质。此时，与上位层次的层次运动图像编码装置相比，下位层次的层次运动图像编码装置通过使用更大的量化步长对预测残差进行量化，从而生成层次编码数据。
在本说明书中，为了便于说明，如下定义用语。只要没有特别提及，则以下的用语用于表示下述的技术事项。
上位层：将比某层次位于上位的层次称为上位层。例如，在图2中，下位层次L3的上位层是中位层次L2以及上位层次L1。此外，上位层的解码图像是指，质量更高(例如，分辨率更高、帧率更高、画质更高等)的解码图像。
下位层：将比某层次位于下位的层次称为下位层。例如，在图2中，上位层次L1的下位层是中位层次L2以及下位层次L3。此外，下位层的解码图像是指，质量更低的解码图像。
对象层：是指成为解码或者编码的对象的层次。另外，将与对象层对应的解码图像称为对象层图片。此外，将构成对象层图片的像素称为对象层像素。
参照层(referencelayer)：将在对与对象层对应的解码图像进行解码时参照的特定的下位层称为参照层。另外，将与参照层对应的解码图像称为参照层图片。此外，将构成参照层的像素称为参照层像素。
在如图2(a)以及(b)所示的例中，上位层次L1的参照层是中位层次L2以及下位层次L3。但是，并不限定于此，也能够如下构成层次编码数据：在特定的上述层的解码中，也可以不参照下位层的全部。例如，也能够如下构成层次编码数据：上位层次L1的参照层成为中位层次L2以及下位层次L3中的任一个。
基本层(baselayer；基础层)：将位于最下层的层次称为基本层。基本层的解码图像是能够从编码数据进行解码的质量最低的解码图像，被称为基本解码图像。换言之，基本解码图像是与最下层的层次对应的解码图像。基本解码图像的解码所需的层次编码数据的部分编码数据被称为基本编码数据。例如，在上位层次L1的层次编码数据DATA#A中包含的基本信息“C”是基本编码数据。
扩展层：基本层的上位层被称为扩展层。
层识别符：层识别符是用于对层次进行识别的识别符，与层次1对1对应。在层次编码数据中，包括用于选择特定的层次的解码图像的解码所需的部分编码数据的层次识别符。与对应于特定的层的层识别符相关的层次编码数据的部分集合也被称为层表现。
一般，在特定的层次的解码图像的解码中，使用该层次的层表现和/或与该层次的下位层对应的层表现。即，在对象层的解码图像的解码中，使用对象层的层表现和/或在对象层的下位层中包含的1个以上层次的层表现。
层间预测：层间预测是指，基于在与对象层的层表现不同的层次(参照层)的层表现中包含的语法要素值、通过语法要素值而导出的值以及解码图像，预测对象层的语法要素值或在对象层的解码中使用的编码参数等。有时也将从参照层的信息预测与移动预测有关的信息的层间预测称为层间移动信息预测。此外，有时也将从下位层的解码图像进行预测的层间预测称为层间图像预测(或者层间纹理预测)。另外，在层间预测中使用的层次，例示性地是对象层的下位层。此外，有时也将不使用参照层而在对象层内进行预测称为层内预测。
另外，以上的用语终究是为了便于说明的，也可以由其他的用语来表现上述的技术事项。
〔关于层次编码数据的数据结构〕
以下，例示使用HEVC以及其扩展方式作为生成各层次的编码数据的编码方式的情况。但是，并不限定于此，也可以通过MPEG-2或H.264/AVC等的编码方式而生成各层次的编码数据。
此外，下位层和上位层也可以通过不同的编码方式进行编码。此外，各层次的编码数据也可以经由相互不同的传输路径而提供给层次运动图像解码装置1，也可以经由相同的传输路径而提供给层次运动图像解码装置1。
例如，也可以在将超高清影像(运动图像、4K影像数据)通过基本层以及1个扩展层进行可伸缩编码而传输的情况下，基本层通过MPEG-2或者H.264/AVC对将4K影像数据进行了降比例(Downscaling)、交织化的影像数据进行编码并通过电视广播网而传输，扩展层通过HEVC对4K影像(渐进式)进行编码并通过互联网而传输。
(基本层)
图3是例示在基本层中能够采用的编码数据(在图2的例中为层次编码数据DATA#C)的数据结构的图。层次编码数据DATA#C例示性地包括序列以及构成序列的多个图片。
图3表示层次编码数据DATA#C中的数据的层次结构。图3的(a)～(e)分别是表示规定序列SEQ的序列层、规定图片PICT的图片层、规定切片S的切片层、规定编码树单元(CodingTreeUnit；CTU)的CTU层、规定在编码树单元CTU中包含的编码单位(CodingUnit；CU)的CU层的图。
(序列层)
在序列层中，为了对处理对象的序列SEQ(以下，也称为对象序列)进行解码而规定了图像解码装置1参照的数据的集合。如图3的(a)所示，序列SEQ包括视频参数集(VideoParameterSet)、序列参数集SPS(SequenceParameterSet)、图片参数集PPS(PictureParameterSet)、图片PICT1～PICTNP(NP是在序列SEQ中包含的图片的总数)以及附加扩展信息SEI(SupplementalEnhancementInformation)。
在视频参数集VPS中，规定了在编码数据中包含的层数、层间的依赖关系。
在序列参数集SPS中，规定了为了对对象序列进行解码而层次运动图像解码装置1参照的编码参数的集合。也可以在编码数据内存在多个SPS。在该情况下，从多个候选中选择按每个对象序列用于解码的SPS。在特定序列的解码中使用的SPS也被称为有效SPS。以下，只要没有特别说明，则意味着对于对象序列的有效SPS。
在图片参数集PPS中，规定了为了对对象序列内的各图片进行解码而层次运动图像解码装置1参照的编码参数的集合。另外，也可以在编码数据内存在多个PPS。在该情况下，从对象序列内的各图片中选择多个PPS中的任一个。在特定图片的解码中使用的PPS也被称为有效PPS。以下，只要没有特别说明，则PPS意味着对于对象图片的有效PPS。
另外，有效SPS以及有效PPS也可以按每个层设定为不同的SPS或PPS。
(图片层)
在图片层中，规定了为了对处理对象的图片PICT(以下，也称为对象图片)进行解码而层次运动图像解码装置1参照的数据的集合。如图3的(b)所示，图片PICT包括切片头部SH1～SHNS以及切片S1～SNS(NS是在图片PICT中包含的切片的总数)。
另外，以下，在不需要区分切片头部SH1～SHNS或切片S1～SNS的每一个的情况下，有时省略标号的下标而记载。此外，关于以下说明的在层次编码数据DATA#C中包含的数据并且是标有下标的其他的数据，也是同样的。
在切片头部SHk中，包括为了决定对应的切片Sk的解码方法而层次运动图像解码装置1参照的编码参数组。例如，包括指定SPS的SPS识别符(seq_parameter_set_id)或指定PPS的PPS识别符(pic_parameter_set_id)。此外，指定切片类型的切片类型指定信息(slice_type)是在切片头部SH中包含的编码参数的一例。
作为能够由切片类型指定信息所指定的切片类型，举出(1)在编码时只使用内部预测的I切片、(2)在编码时使用单向预测或者内部预测的P切片、(3)在编码时使用单向预测、双向预测或者内部预测的B切片等。
(切片层)
在切片层中，规定了为了对处理对象的切片S(也称为对象切片)进行解码而层次运动图像解码装置1参照的数据的集合。如图3的(c)所示，切片S包括编码树单元CTU1～CTUNC(NC是在切片S中包含的CTU的总数)。
(CTU层)
在CTU层中，规定了为了对处理对象的编码树单元CTU(以下，也称为对象CTU)进行解码而层次运动图像解码装置1参照的数据的集合。另外，有时也将编码树单元称为编码树块(CTB:CodingTreeblock)或者最大编码单位(LCU:LargestCordingUnit)。
编码树单元CTU包括CTU头部CTUH和编码单位信息CU1～CUNL(NL是在CTU中包含的编码单位信息的总数)。这里，首先，说明编码树单元CTU和编码单位信息CU的关系的话，如下所述。
编码树单元CTU被分割为用于确定为了内部预测或者外部预测、以及变换的各处理的块大小的单位。
编码树单元CTU的上述单位通过递归的4叉树分割而被分割。以下，将通过该递归的4叉树分割而获得的树结构称为编码树(codingtree)。
以下，将与作为编码树的末端的节点的叶子(leaf)对应的单位作为编码节点(codingnode)来参照。此外，由于编码节点成为编码处理的基本的单位，所以以下也将编码节点称为编码单位(CU)。
即，编码单位信息(以下，称为CU信息)CU1～CUNL是与将编码树单元CTU递归地进行4叉树分割而获得的各编码节点(编码单位)对应的信息。
此外，编码树的根(root)对应于编码树单元CTU。换言之，编码树单元CTU对应于递归地包括多个编码节点的4叉树分割的树结构的最上位节点。
另外，各编码节点的大小的纵横都为成为该编码节点的父节点的编码节点(即，该编码节点的1层次上位的节点)的大小的一半。
此外，编码树单元CTU的大小以及各编码单元可取的大小依赖在序列参数集SPS中包含的最小编码节点的大小指定信息、以及最大编码节点和最小编码节点的层次深度的差分。例如，在最小编码节点的大小为8×8像素且最大编码节点和最小编码节点的层次深度的差分为3的情况下，编码树单元CTU的大小为64×64像素，且编码节点的大小可取4种大小、即64×64像素、32×32像素、16×16像素以及8×8像素中的任一个。
(CTU头部)
在CTU头部CTUH中，包括为了决定对象CTU的解码方法而层次运动图像解码装置1参照的编码参数。具体而言，如图3的(d)所示，包括指定对象CTU向各CU的分割图案的CTU分割信息SP_CTU以及指定量化步长的大小的量化参数差分Δqp(qp_delta)。
CTU分割信息SP_CTU是表示用于分割CTU的编码树的信息，具体而言，是指定在对象CTU中包含的各CU的形状、大小以及对象CTU内的位置的信息。
另外，CTU分割信息SP_CTU也可以不显式地包括CU的形状或大小。例如，CTU分割信息SP_CTU也可以是表示是否将对象CTU整体或者CTU的部分区域进行四分割的标记的集合。在该情况下，能够通过并用CTU的形状或大小来确定各CU的形状或大小。
此外，量化参数差分Δqp是对象CTU中的量化参数qp和在该对象CTU的紧跟前进行了编码的CTU中的量化参数qp’的差分qp-qp’。
(CU层)
在CU层中，规定了为了对处理对象的CU(以下，也称为对象CU)进行解码而层次运动图像解码装置1参照的数据的集合。
这里，在CU信息CU中包含的数据的具体的内容的说明之前，说明在CU中包含的数据的树结构。编码节点成为预测树(predictiontree；PT)以及变换树(transformtree；TT)的根的节点。说明预测树以及变换树的话，如下所述。
在预测树中，编码节点被分割为1个或者多个预测块，规定了各预测块的位置和大小。换言之，预测块是构成编码节点的1个或者多个不重复的区域。此外，预测树包括通过上述的分割而获得的1个或者多个预测块。
预测处理对该每个预测块进行。以下，也将作为预测的单位的预测块称为预测单位(predictionunit；PU)。
预测树中的分割(以下，简称为PU分割)的种类大致有内部预测的情况和外部预测的情况这两种。
在内部预测的情况下，分割方法有2N×2N(与编码节点相同的大小)和N×N。
此外，在外部预测的情况下，分割方法有2N×2N(与编码节点相同的大小)、2N×N、2N×nU、2N×nD、N×2N、nL×2N以及nR×2N等。
此外，在变换树中，编码节点被分割为1个或者多个变换块，规定了各变换块的位置和大小。换言之，变换块是构成编码节点的1个或者多个不重复的区域。此外，变换树包括通过上述的分割而获得的1个或者多个变换块。
在变换树中的分割中，有将与编码节点相同的大小的区域作为变换块来分配的分割和与上述的树块的分割相同的基于递归的4叉树分割的分割。
变换处理对该每个变换块进行。以下，也将作为变换的单位的变换块称为变换单位(transformunit；TU)。
(CU信息的数据结构)
接着，参照图3(e)说明在CU信息CU中包含的数据的具体的内容。如图3(e)所示，CU信息CU具体包括跳过标记SKIP、预测树信息(以下，简称为PT信息)PTI以及变换树信息(以下，简称为TT信息)TTI。
跳过标记SKIP是表示是否对对象的PU应用跳过模式(Skipmode)的标记，在跳过标记SKIP的值为1的情况下，即在对对象CU应用跳过模式的情况下，该CU信息CU中的PT信息PTI的一部分以及TT信息TTI被省略。另外，跳过标记SKIP在I切片中被省略。
[PT信息]
PT信息PTI是与在CU中包含的预测树(以下，简称为PT)有关的信息。换言之，PT信息PTI是与在PT中包含的一个或者多个PU的各个有关的信息的集合，在由层次运动图像解码装置1生成预测图像时参照。如图3(e)所示，PT信息PTI包括预测类型信息PType以及预测信息PInfo。
预测类型信息PType是指定关于对象PU的预测图像生成方法的信息。在基础层中，是指定是使用内部预测还是使用外部预测的信息。
预测信息PInfo是在由预测类型信息PType所指定的预测方法中使用的预测信息。在基础层中，在内部预测的情况下，包括内部预测信息PP_Intra。此外，在外部预测的情况下，包括外部预测信息PP_Inter。
外部预测信息PP_Inter包括在层次运动图像解码装置1通过外部预测而生成外部预测图像时参照的预测信息。更具体而言，外部预测信息PP_Inter包括指定对象CU至各外部PU的分割图案的外部PU分割信息以及关于各外部PU的外部预测参数(移动补偿参数)。作为外部预测参数，例如包括合并标记(merge_flag)、合并索引(merge_idx)、推算移动矢量索引(mvp_idx)、参照图片索引(ref_idx)、外部预测标记(inter_pred_flag)以及移动矢量残差(mvd)。
内部预测信息PP_Intra包括在层次运动图像解码装置1通过内部预测而生成内部预测图像时参照的编码参数。更具体而言，在内部预测信息PP_Intra中，包括指定对象CU至各内部PU的分割图案的内部PU分割信息以及关于各内部PU的内部预测参数。内部预测参数是用于指定关于各内部PU的内部预测方法(预测模式)的参数。
这里，内部预测参数是用于恢复关于各内部PU的内部预测(预测模式)的参数。在用于恢复预测模式的参数中，包括作为与MPM(最可能的模式(MostProbableMode)，以下相同)有关的标记的mpm_flag、作为用于选择MPM的索引的mpm_idx、以及作为用于指定MPM以外的预测模式的索引的rem_idx。这里，MPM是在对象分区中选择的可能性高的推算预测模式。例如，基于对对象分区的周边的分区分配的预测模式而推算的推算预测模式、一般发生概率高的DC模式或Planar模式可包含在MPM中。
此外，以下，在简单记载为“预测模式”的情况下，只有没有特别说明则指亮度预测模式。关于色差预测模式，记载为“色差预测模式”，与亮度预测模式进行区分。此外，在恢复预测模式的参数中，包括作为用于指定色差预测模式的参数的chroma_mode。
[TT信息]
TT信息TTI是与在CU中包含的变换树(以下，简称为TT)有关的信息。换言之，TT信息TTI是与在TT中包含的一个或者多个变换块的各个有关的信息的集合，在由层次运动图像解码装置1解码残差数据时参照。
如图3(e)所示，TT信息TTI包括指定对象CU至各变换块的分割图案的TT分割信息SP＿TT以及量化预测残差QD1～QDNT(NT是在对象CU中包含的块的总数)。
具体而言，TT分割信息SP＿TT是用于决定在对象CU中包含的各变换块的形状以及对象CU内的位置的信息。例如，TT分割信息SP＿TT能够由表示是否进行对象节点的分割的信息(split_transform_unit_flag)和表示该分割的深度的信息(trafoDepth)实现。
此外，例如，在CU大小为64×64的情况下，通过分割而获得的各变换块可取32×32像素至4×4像素的大小。
各量化预测残差QD是，层次运动图像编码装置2通过对作为处理对象的变换块的对象块实施以下的处理1～3而生成的编码数据。
处理1：对从编码对象图像减去预测图像的预测残差进行频率变换(例如，DCT变换(离散余弦变换(DiscreteCosineTransform))以及DST变换(离散正弦变换(DiscreteSineTransform))等)；
处理2：对通过处理1而获得的变换系数进行量化；
处理3：对通过处理2而量化的变换系数进行可变长编码。
另外，上述的量化参数qp表示在层次运动图像编码装置2对变换系数进行量化时使用的量化步长QP的大小(QP＝2qp/6)。
(PU分割信息)
在由PU分割信息所指定的PU分割类型中，若将对象CU的大小设为2N×2N像素，则有如下的共计8种模式。即，2N×2N像素、2N×N像素、N×2N像素以及N×N像素的4个对称的分割(symmetricsplittings)、以及2N×nU像素、2N×nD像素、nL×2N像素以及nR×2N像素的4个不对称的分割(asymmetricsplittings)。另外，意味着N＝2m(m是1以上的任意的整数)。以下，也将分割对象CU而获得的预测单位称为预测块或者分区。
(扩展层)
关于在扩展层的层表现中包含的编码数据(以下，称为扩展层编码数据)，例如，能够采用与图3所示的数据结构大致同样的数据结构。但是，在扩展层编码数据中，如以下所述，能够追加附加性的信息或者省略参数。
在切片层中，也可以被编码空间可伸缩性、时间可伸缩性以及SNR可伸缩性、视点可伸缩性的层次的识别信息(分别为dependency_id、temporal_id、quality_id以及view_id)。
此外，在CU信息CU中包含的预测类型信息PType是指定关于对象CU的预测图像生成方法是内部预测、外部预测或者层间图像预测中的哪一个的信息。在预测类型信息PType中，包括有无应用指定层间图像预测模式的标记(层间图像预测标记)。另外，层间图像预测标记有时也被称为texture_rl_flag、inter_layer_pred_flag或者base_mode_flag。
在扩展层中，也可以被指定对象CU的CU类型是内部CU、层间CU、外部CU、跳过CU中的哪一个。
内部CU能够与基础层中的内部CU同样地定义。在内部CU中，层间图像预测标记被设定为“0”，预测模式标记被设定为“0”。
层间CU能够定义为在预测图像生成中使用参照层的图片的解码图像的CU。在层间CU中，层间图像预测标记被设定为“1”，预测模式标记被设定为“0”。
跳过CU能够与上述的HEVC方式的情况同样地定义。例如，在跳过CU中，对跳过标记设定“1”。
外部CU也可以定义为应用非跳过且移动补偿(MC；MotionCompensation)的CU。在外部CU中，例如，对跳过标记设定“0”，对预测模式标记设定“1”。
此外，如上所述，也可以通过与下位层的编码方式不同的编码方式来生成扩展层的编码数据。即，扩展层的编码/解码处理不依赖于下位层的编解码器的种类。
下位层例如也可以通过MPEG-2或H.264/AVC方式进行编码。
在扩展层编码数据中，也可以被扩展VPS，包括表示层间的参照结构的参数。
此外，在扩展层编码数据中，也可以被扩展SPS、PPS、切片头部，包括用于层间图像预测的参照层的解码图像所涉及的信息(例如，用于直接或者间接地导出后述的层间参照图片集、层间参照图片列表、基本控制信息等的语法)。
另外，以上说明的参数可以单独进行编码，也可以多个参数复合地进行编码。在多个参数复合地进行编码的情况下，对该参数的值的组合分配索引，被分配的该索引进行编码。此外，若参数能够从其他参数或解码完毕的信息导出，则能够省略该参数的编码。
〔图片、瓦片、切片的关系〕
接着，参照图4，关于本发明的重要的概念的图片、瓦片、切片，说明相互的关系以及与编码数据的关系。图4是说明层次编码数据中的图片和瓦片/切片的关系的图。瓦片与图片内的矩形的部分区域以及涉及该部分区域的编码数据相对应。切片与图片内的部分区域以及涉及该部分区域的编码数据、即涉及该部分区域的切片头部以及切片数据相对应。
图4(a)例示在通过瓦片/切片而分割图片的情况下的分割区域。在图4(a)中，图片被分割为矩形的6个瓦片(T00、T01、T02、T10、T11、T12)。瓦片T00、瓦片T02、瓦片T10、瓦片T12分别包括1个切片(顺次为切片S00、切片S02、切片S10、切片S12)。另一方面，瓦片T01包括2个切片(切片S01a和切片S01b)，瓦片T11包括2个切片(切片S11a和切片S11b)。
图4(b)例示编码数据的结构中的瓦片和切片的关系。首先，编码数据由多个VCL(VideoCodingLayer；视频编码层)NAL单元和非VCL(non-VCL)NAL单元构成。相当于1张图片的视频编码层的编码数据由多个VCLNAL构成。在图片被分割为瓦片的情况下，在相当于图片的编码数据中，按照瓦片的光栅顺序包括相当于瓦片的编码数据。即，如图4(a)所示，在图片被分割为瓦片的情况下，按照瓦片T00、T01、T02、T10、T11、T12的顺序包括相当于瓦片的编码数据。在瓦片被分割为多个切片的情况下，从切片开头的CTU按照瓦片内的CTU光栅扫描顺序位于前方的切片开始依次，相当于切片的编码数据包含在相当于瓦片的编码数据中。例如，如图4(a)所示，在瓦片T01包括切片S01a和S01b的情况下，按照切片S01a、切片S01b的顺序，在相当于瓦片T01的编码数据中按顺序包括相当于切片的编码数据。
从以上的说明可知，对相当于图片内的特定的瓦片的编码数据关联了与1个以上的切片对应的编码数据。因此，若能够生成与瓦片相关的切片的解码图像，则能够生成与该瓦片对应的图片内的部分区域的解码图像。
以下，若没有特别追加的说明，则以如上述的图片、瓦片、切片和编码数据的关系作为前提进行说明。
〔将解码装置、编码装置以及变换装置进行了组合的系统〕
在本实施方式的层次运动图像解码装置1、层次运动图像编码装置2以及编码数据变换装置3的说明之前，参照图5说明能够将层次运动图像解码装置1、层次运动图像编码装置2以及编码数据变换装置3组合而实现的系统的例。图5例示能够将层次运动图像解码装置1、层次运动图像编码装置2以及编码数据变换装置3组合而实现的进行层次运动图像的传输和再现的系统SYS_ROI1。
系统SYS_ROI1将被输入的低质量的输入图像PIN#L和高质量的输入图像PIN#H在层次运动图像编码装置2#L和层次运动图像编码装置2#H中进行层次编码而生成层次编码数据BSALL。
层次编码数据BSALL作为上位层(扩展层)的层次编码数据，包括与高质量的输入图像PIN#H的整体对应的编码数据。此外，层次编码数据BSALL作为下位层(基础层)的层次编码数据，包括与低质量的输入图像PIN#L的整体对应的编码数据。在层次编码数据BSALL输入到层次运动图像解码装置1#A的情况下，输出高质量的再现图像DOUT#H和低质量的再现图像DOUT#L。
在层次编码数据BSALL输入到编码数据变换装置3的情况下，基于被输入的关注区域ROI，生成层次编码数据BSROI。层次编码数据BSROI作为上位层(扩展层)的层次编码数据，包括相当于高质量的输入图像PIN#H的关注区域ROI的部分的编码数据。此外，层次编码数据BSROI作为下位层(基础层)的层次编码数据，包括相当于低质量的输入图像PIN#L的整体的编码数据。在将层次编码数据BSROI输入到层次运动图像解码装置1#R的情况下，输出与高质量的输入图像PIN#H对应且与关注区域ROI对应的解码图像DROI#H。除此之外，输出与低质量的输入图像PIN#L对应的解码图像DOUT#L。
在以下的层次运动图像解码装置1、层次运动图像编码装置2以及编码数据变换装置3的说明中，有设想在上述系统SYS_ROI1中的利用而进行说明的情况，但各装置的用途并不限定于上述系统SYS_ROI1。
〔层次运动图像解码装置〕
以下，参照图1～图20说明本实施方式的层次运动图像解码装置1的结构。
(层次运动图像解码装置的结构)
使用图6说明层次运动图像解码装置1的概略性结构的话，如下所述。图6是表示了层次运动图像解码装置1的概略性结构的功能框图。层次运动图像解码装置1对层次编码数据DATA(从层次运动图像编码装置2提供的层次编码数据DATAF或者从编码数据变换装置3提供的层次编码数据DATAR)进行解码，生成对象层的解码图像POUT#T。另外，以下，以对象层是将基本层作为参照层的扩展层来进行说明。因此，对象层也是相对于参照层的上位层。相反，参照层也是相当于对象层的下位层。
如图6所示，层次运动图像解码装置1包括NAL解复用部11、参数集解码部12、瓦片设定部13、切片解码部14、基本解码部15、解码图片管理部16。
NAL解复用部11对NAL(网络提取层(NetworkAbstractionLayer))中的以NAL单元单位传输的层次编码数据DATA进行解复用。
NAL是为了将VCL(视频编码层(VideoCodingLayer))和对编码数据进行传输/存储的下位系统之间的通信抽象化而设置的层。
VCL是进行运动图像编码处理的层，在VCL中进行编码。另一方面，这里所称的下位系统与H.264/AVC以及HEVC的文件格式或MPEG-2系统对应。
另外，在NAL中，在VCL中生成的比特流以NAL单元的单位划分而传输到成为目的地地址的下位系统。在NAL单元中，包括在VCL中进行了编码的编码数据以及用于该编码数据适当地到达目的地地址的下位系统的头部。此外，各层次中的编码数据通过存储在NAL单元中而进行NAL复用，传输到层次运动图像解码装置1。
在层次编码数据DATA中，除了由VCL所生成的NAL之外，还包括包含参数集(VPS、SPS、PPS)或SEI等的NAL。这些NAL相对于VCLNAL被称为非VCLNAL。
NAL解复用部11对层次编码数据DATA进行解复用，提取对象层编码数据DATA#T以及参照层编码数据DATA#R。此外，NAL解复用部11在对象层编码数据DATA#T中包含的NAL中，将非VCLNAL提供给参数集解码部12，将VCLNAL提供给切片解码部14。
参数集解码部12从被输入的非VCLNAL中，对参数集、即VPS、SPS以及PPS进行解码而提供给瓦片设定部13和切片解码部14。另外，关于参数集解码部12中与本发明的关联性高的处理的细节，在后面叙述。
瓦片设定部13基于被输入的参数集，导出图片的瓦片信息并提供给切片解码部14。瓦片信息至少包括图片的瓦片分割信息。瓦片设定部13的详细的说明在后面叙述。
切片解码部14基于被输入的VCLNAL、参数集、瓦片信息以及参照图片，生成解码图片或者解码图片的部分区域，并记录在解码图片管理部16内的缓冲器中。切片解码部的详细的说明在后面叙述。
解码图片管理部16将被输入的解码图片或基本解码图片记录在内部的解码图片缓冲器(DPB:DecodedPictureBuffer)中，且进行参照图片列表生成或输出图片决定。此外，解码图片管理部16在预定的定时，将在DPB中记录的解码图片作为输出图片POUT#T向外部输出。
基本解码部15从参照层编码数据DATA#R对基本解码图片进行解码。基本解码图片是在对象层的解码图片解码时利用的参照层的解码图片。基本解码部15将进行了解码的基本解码图片记录在解码图片管理部16内的DPB中。
使用图7说明基本解码部15的详细结构。图7是例示了基本解码部15的结构的功能框图。
如图7所示，基本解码部15具备基本NAL解复用部151、基本参数集解码部152、基本瓦片设定部153、基本切片解码部154、基本解码图片管理部156。
基本NAL解复用部151对参照层编码数据DATA#R进行解复用，提取VCLNAL和非VCLNAL，并将非VCLNAL提供给基本参数集解码部152，将VCLNAL提供给基本切片解码部154。
基本参数集解码部152从被输入的非VCLNAL，对参数集、即VPS、SPS以及PPS进行解码，并提供给基本瓦片设定部153和基本切片解码部154。
基本瓦片设定部153基于被输入的参数集，导出图片的瓦片信息并提供给基本切片解码部154。
基本切片解码部154基于被输入的VCLNAL、参数集、瓦片信息以及参照图片，生成解码图片或者解码图片的部分区域，并记录在基本解码图片管理部156内的缓冲器中。
基本解码图片管理部156将被输入的解码图片记录在内部的DPB中，且进行参照图片列表生成或输出图片决定。此外，基本解码图片管理部156在预定的定时，将在DPB中记录的解码图片作为基本解码图片而输出。
(参数集解码部12)
参数集解码部12从被输入的对象层的编码数据，对在对象层集的解码中使用的参数集(VPS、SPS、PPS)进行解码并输出。一般，参数集的解码基于既定的语法表而执行。即，根据语法表的确定的顺序从编码数据中读出比特串，对在语法表中包含的语法的语法值进行解码。此外，根据需要，也可以导出基于进行了解码的语法值而导出的变量，包含在要输出的参数集中。因此，从参数集解码部12输出的参数集也能够表现为在编码数据中包含的参数集(VPS、SPS、PPS)所涉及的语法的语法值、以及通过该语法值而导出的变量的集合。
以下，详细说明在参数集解码部12中用于解码的语法表中、与本发明的关联性高的图片信息以及层间位置对应信息所涉及的语法表的一部分。
(图片信息)
参数集解码部12从被输入的对象层编码数据，对图片信息进行解码。概略而言，图片信息是确定对象层的解码图片的大小的信息。例如，图片信息包括表示对象层的解码图片的宽度或高度的信息。
图片信息例如包含在SPS中，根据图8所示的语法表进行解码。图8是参数集解码部12在SPS解码时参照的语法表的一部分，并且是涉及显示区域信息的部分。
在从SPS进行解码的图片信息中，包括解码图片的宽度(pic_width_in_luma_samples)和解码图片的高度(pic_height_in_luma_samples)。语法pic_width_in_luma_samples的值对应于亮度像素单位的解码图片的宽度。此外，语法pic_height_in_luma_samples的值对应于亮度像素单位的解码图片的高度。
(显示区域信息)
参数集解码部12从被输入的对象层编码数据，对显示区域信息进行解码。显示区域信息例如包含在SPS中，根据图9所示的语法表进行解码。图9是参数集解码部12在SPS解码时参照的语法表的一部分，并且是涉及显示区域信息的部分。
从SPS进行解码的显示区域信息包括显示区域标记(conformance_flag)。显示区域标记表示示出显示区域的位置的信息(显示区域位置信息)是否追加地包含在SPS中。即，在显示区域标记为1的情况下，表示显示区域位置信息追加地包括，在显示区域标记为0的情况下，表示显示区域位置信息没有追加地包括。
从SPS进行解码的显示区域信息在显示区域标记为1的情况下，进一步，作为显示区域位置信息，包括显示区域左偏移(conf_win_left_offset)、显示区域右偏移(conf_win_right_offset)、显示区域上偏移(conf_win_top_offset)、显示区域下偏移(conf_win_bottom_offset)。
在显示区域标记为0的情况下，显示区域被设定图片整体。另一方面，在显示区域标记为1的情况下，被设定显示区域位置信息表示的图片内的部分区域。另外，显示区域也被称为一致性窗口(conformancewindow)。
参照图10说明显示区域位置信息和显示区域的关系。图10是例示作为图片内的部分区域的显示区域和显示区域位置信息的关系的图。如图所示，显示区域包含在图片内，显示区域上偏移表示图片上边和显示区域上边的距离，显示区域左偏移表示图片左边和显示区域左边的距离，显示区域右偏移表示图片右边和显示区域右边的距离，显示区域下偏移表示图片下边和显示区域下边的距离。因此，能够根据上述的显示区域位置信息而唯一地确定显示区域的图片内的位置以及大小。另外，显示区域信息也可以是能够唯一地确定显示区域的图片内的位置以及大小的其他的信息。
(层间位置对应信息)
参数集解码部12从被输入的对象层编码数据，对层间位置对应信息进行解码。概略而言，层间位置对应信息表示对象层和参照层的对应的区域的位置关系。例如，在对象层的图片和参照层的图片中包括某物体(物体A)的情况下，对象层的图片上的与物体A对应的区域和参照层的图片上的与物体A对应的区域相当于所述对象层和参照层的对应的区域。另外，层间位置对应信息也可以不一定是准确地表示上述的对象层和参照层的对应的区域的位置关系的信息，但一般，为了提高层间预测的准确性，表示准确的对象层和参照层的对应的区域的位置关系。
层间位置对应信息包括层间像素对应信息和层间相位对应信息。层间像素对应信息是表示参照层的图片上的像素和对应的对象层的图片上的像素的位置关系的信息。层间相位对应信息是表示由所述层间像素对应信息示出了对应的像素的相位差的信息。
(层间像素对应信息)
层间像素对应信息例如包含在作为上位层的SPS的一部分的SPS扩展(sps_estension)中，根据图11所示的语法表进行解码。图11是参数集解码部12在SPS解码时参照的语法表的一部分，并且是涉及层间像素对应信息的部分。
在从SPS进行解码的层间像素对应信息中，包括在SPS扩展中包含的层间像素对应信息的个数(num_scaled_ref_layer_offsets)。除此之外，在层间像素对应信息中，包括所述层间像素对应信息的个数个的层间像素对应偏移。在层间像素对应偏移中，包括改变比例后参照层左偏移(scaled_ref_layer_left_offset[i])、改变比例后参照层上偏移(scaled_ref_layer_top_offset[i])、改变比例后参照层右偏移(scaled_ref_layer_right_offset[i])以及改变比例后参照层下偏移(scaled_ref_layer_bottom_offset[i])。
参照图12说明在层间像素对应偏移中包含的各偏移的含义。图12是例示对象层的图片、参照层的图片以及层间像素对应偏移的关系的图。
图12(a)表示在参照层的图片整体对应于对象层的图片的一部分的情况下的例。在该情况下，与参照层图片整体对应的对象层上的区域(对象层对应区域)包含在对象层图片的内部中。图12(b)表示在参照层的图片的一部分对应于对象层的图片整体的情况下的例。在该情况下，在参照层对应区域的内部中包括对象层图片。另外，在对象层图片整体中包括偏移。
如图12所示，改变比例后参照层左偏移(图中为SRL左偏移)表示参照层对象区域左边相对于对象层图片左边的偏移。另外，在SRL左偏移大于0的情况下，表示参照层对象区域左边位于对象层图片左边的右侧。
改变比例后参照层上偏移(图中为SRL上偏移)表示参照层对象区域上边相对于对象层图片上边的偏移。另外，在SRL上偏移大于0的情况下，表示参照层对象区域上边位于对象层图片上边的下侧。
改变比例后参照层右偏移(图中为SRL右偏移)表示参照层对象区域右边相对于对象层图片右边的偏移。另外，在SRL右偏移大于0的情况下，表示参照层对象区域右边位于对象层图片右边的左侧。
改变比例后参照层下偏移(图中为SRL下偏移)表示参照层对象区域下边相对于对象层图片下边的偏移。另外，在SRL下偏移大于0的情况下，表示参照层对象区域下边位于对象层图片下边的上侧。
(层间相位对应信息)
层间相位对应信息例如包含在作为上位层的SPS的一部分的SPS扩展中，根据图13所示的语法表进行解码。图13是参数集解码部12在SPS解码时参照的语法表的一部分，并且是涉及层间相位对应信息的部分。
在从SPS进行解码的层间相位对应信息中，包括参照层相位偏移数(num_ref_layer_phase_offsets)。除此之外，在层间相位对应信息中，包括参照层相位偏移数的个数的参照层相位偏移。参照层相位偏移由左相位偏移(ref_layer_left_phase_offset)和上相位偏移(ref_layer_top_phase_offset)的组合所表现。
左相位偏移表示参照层对应区域的左上像素和参照层图片左上像素之间的水平方向的相位偏移。同样地，上相位偏移表示参照层对应区域的左上像素和参照层图片左上像素之间的垂直方向的相位偏移。
这里，参照层对应区域的左上像素是对象层图片内的像素。对象层图片内的像素(对象层像素)和参照层图片内的像素(参照层像素)的相位偏移是表示与参照层像素对应的对象层上的点的、小于对于与参照层像素对应的对象层像素的像素单位的偏差的量。
参照图14说明对象层像素和参照层像素的相位差的例。图14是例示对象层像素和参照层像素的对应和相位差的关系的图。在图14中，由一维(与水平方向或者垂直方向对应的维)来表现在使用放大率1.5倍的空间可伸缩性的情况下的参照层的图片的一部分和对应的对象层上的参照层对应区域，且图示了对象层上的6个像素(从左起依次为PEL1、PEL2、PEL3、PEL4、PEL5、PEL6)、参照层上的4个像素(从左起依次为PRL1、PRL2、PRL3、PRL4)。像素PEL1和像素PRL1、像素PEL6和像素PRL4分别位于对应的位置。在该情况下，例如，像素PEL2的相位偏移为与像素PEL2对应的参照层上的点PEL2’和对于与像素PEL2对应的参照层像素(像素PEL1)的位置的偏差。在图的例中，像素PEL2的相位偏移以参照层的像素单位成为3/5。一般，在将与对象层像素PEL对应的参照层像素的位置设为Int(PEL)，将对象层像素PEL的相位偏移设为PhaseEL，将与对象层像素对应的参照层上的点的位置设为PEL’的情况下，成立以下的关系。
Int(PEL)+PhaseEL＝PEL’
即，对与对象层像素PEL对应的参照层像素的位置加上相位偏移所得的值和与对象层像素对应的参照层上的点的位置一致。
另外，不需要一定是严格的参照层相位偏移的值包含在参数集中，也可以包括近似值。此外，参照层相位偏移的单位不需要一定是参照层的像素单位。例如，也可以将以参照层的16像素为单位来表现的值以整数精度进行了近似的值用作参照层相位偏移。
(层间相位对应信息2)
在参照上述的图13说明的例中，参照层相位偏移包含在直接SPS中，但并不限定于此。例如，也可以包括能够导出参照层相位偏移的其他的参数。参照图15所示的语法表说明这样的例。图15是参数集解码部12在SPS解码时参照的语法表的一部分，并且是涉及层间相位对应信息的部分的其他例。
在上述例中，在从SPS进行解码的层间相位对应信息中，包括参照层裁剪偏移数(num_cropped_ref_layer_offsets)。除此之外，在层间相位对应信息中，包括参照层裁剪偏移数的个数的参照层相位偏移。参照层相位偏移由左裁剪偏移(cropped_ref_layer_left_offset)和上裁剪偏移(cropped_ref_layer_top_offset)的组合所表现。
左裁剪偏移表示相对于基准对象层像素的参照层对应区域的左上像素的水平方向的位置的偏差。这里，基准对象层像素是位于参照层对应区域的左上像素的左上(水平位置一致或左和垂直位置一致)的像素，并且是对应的参照层上的点的位置以参照层上的像素单位位于整数位置的像素。例如，在图14的例中，能够利用像素PEL1作为像素PEL2的基准对象层像素。同样地，上裁剪偏移表示相对于基准对象层像素的参照层对应区域的左上像素的垂直方向的位置的偏差。
能够通过上述参照层裁剪偏移而导出相当于参照层相位偏移的信息的理由如下所述。
在将与对象层左上像素PELTL对应的参照层像素的位置设为Int(PELTL)，将对象层像素PELTL的相位偏移设为PhaseELTL，将基准对象层像素设为PELBASE，将与基准对象层像素PELBASE对应的参照层上的像素设为Int(PELBASE)的情况下，成立以下的关系。
scale*(PELTL-PELBASE)＝PhaseELTL+Int(PELTL)-Int(PELBASE)
这里，scale是空间可伸缩性的倍率，将参照层的图片以由scale所示的倍率放大的区域成为参照层对应区域。
即，对对象层上的像素PELBTL和像素PELBASE间的距离乘以空间可伸缩性的倍率所得的值、和对参照层上的与像素PELTL对应的像素和与像素PELBASE对应的像素之间的距离加上相位偏移所得的值一致。根据这个关系，基于像素PELBASE的位置，能够导出相位偏移PhaseELTL。另外，上述的关系成立是因为对象层上的像素PELBASE对应的参照层上的点PELBASE’和像素PELBASE对应的参照层上的像素Int(PELBASE)一致。
(瓦片设定部13)
瓦片设定部13基于被输入的参数集，导出图片的瓦片信息并输出。
在本实施方式中，概略而言，由瓦片设定部13所生成的瓦片信息包括瓦片结构信息和瓦片依赖信息。
瓦片结构信息是图片内的瓦片的个数和各瓦片的大小示出的信息。另外，在瓦片对应于将图片以格子状分割而获得的部分区域的情况下，图片内的瓦片的个数等于在水平方向上包含的瓦片的个数和在垂直方向上包含的瓦片的个数之积。
瓦片依赖信息是表示图片内的瓦片解码时的依赖性的信息。这里，瓦片解码时的依赖性表示瓦片依赖涉及瓦片外的区域的解码像素或语法值的程度。另外，在瓦片外的区域中，包括对象图片上的瓦片外的区域、参照图片上的瓦片外的区域、基本解码图片上的瓦片外的区域。
以下，关于由瓦片设定部13所生成的瓦片信息的细节，包括基于被输入的参数集的导出过程进行说明。
瓦片信息基于在参数集中包含的SPS或PPS中包含的瓦片信息所涉及的语法的值而导出。参照图16说明涉及瓦片信息的语法。
(PPS瓦片信息)
图16是在参数集中包含的PPS的解码时由参数解码部12所参照的语法表的一部分，并且是涉及瓦片信息的部分。
在PPS中包含的瓦片信息所涉及的语法(PPS瓦片信息)中，包括多个瓦片有效标记(tiles_enabled_flag)。在多个瓦片有效标记的值为1的情况下，表示图片由2个以上的瓦片构成。在该标记的值为0的情况下，表示图片由1个瓦片构成，即表示图片和瓦片一致。
在多个瓦片为有效(tiles_enabled_flag为真)的情况下，在PPS瓦片信息中追加地包括表示瓦片列数的信息(num_tile_columns_minus1)、表示瓦片行数的信息(num_tiles_rows_minus1)以及表示瓦片大小的均等性的标记(uniform_spacing_flag)。
num_tile_columns_minus1是相当于从在图片的水平方向上包含的瓦片的数目减1的值的语法。此外，num_tile_rows_minus1是相当于从在图片的垂直方向上包含的瓦片的数目减1的值的语法。因此，通过以下式计算在图片中包含的瓦片数NumTilesInPic。
NumTilesInPic＝(num_tile_columns_minus1+1)*(num_tile_rows_minus1+1)
在uniform_spacing_flag的值为1的情况下，表示在图片中包含的瓦片大小为均等，即表示各瓦片的宽度和高度相等。在uniform_spacing_flag的值为0的情况下，表示在图片中包含的瓦片大小不均等，即表示在图片中包含的瓦片的宽度或高度未必一致。
在图片中包含的瓦片大小为不均等(uniform_spacing_flag为0)的情况下，在PPS瓦片信息中，对在图片中包含的各瓦片列追加地包括表示瓦片宽度的信息(column_width_minus1[i])以及对在图片中包含的各瓦片行追加地包括表示瓦片的高度的信息(row_height_minus1[i])。
此外，在多个瓦片为有效的情况下，在PPS瓦片信息中，追加地包括表示有无应用横跨瓦片边界的循环滤波器的标记(loop_filter_across_tiles_enabled_flag)。
这里，参照图17说明瓦片行、瓦片列和图片的关系。图17是例示了在将图片进行了瓦片分割的情况下的瓦片行和瓦片列的图。在图17的例中，图片被分割为4个瓦片列和3个瓦片行，包括共12个瓦片。例如，瓦片列0(TileCol0)包括瓦片T00、T10、T20。此外，例如，瓦片行0(TileRow0)包括瓦片T00、T01、T02、T03。瓦片列i的宽度以CTU单位表述为ColWidth[i]。瓦片行j的高度以CTU单位表述为RowHeight[j]。因此，属于瓦片行i且属于瓦片列j的瓦片的宽度成为ColWidth[i]、高度成为RowHeight[j]。
基于上述的PPS瓦片信息，瓦片设定部13导出瓦片结构信息。在瓦片结构信息中，包括从光栅扫描CTB地址导出瓦片扫描CTB地址的排列(CtbAddrRsToTs[ctbAddrRs])、从瓦片扫描CTB地址导出光栅扫描CTB地址的排列(CtbAddrTsToRs[ctbAddrTs])、每个瓦片扫描CTB地址的瓦片识别符(TileId[ctbAddrTs])、各瓦片列的宽度(ColumnWidthInLumaSamples[i])以及各瓦片行的高度(RowHeightInLumaSamples[j])。
在uniform_spacing_flag为1的情况下，基于图片大小和图片内的瓦片数而计算各瓦片列的宽度。例如，通过以下式而计算第i个瓦片列的宽度(ColumnWidthInLumaSamples[i])。另外，PicWidthInCtbsY表示在图片的水平方向上包含的CTU的数目。
ColWidth[i]＝((i+1)*PicWidthInCtbsY)/(num_tile_columns_minus1+1)-(i*PicWidthInCtbsY)/(num_tile_columns_minus1+1)
即，作为将图片以瓦片列数进行等分而获得的第(i+1)个和第i个边界位置的差分，计算出作为第i个瓦片列的CTU单位的宽度的ColWidth[i]。
另一方面，在uniform_spacing_flag为0的情况下，(column_width_minus1[i]+1)的值被设定为第i个瓦片列的CTU单位的宽度ColWidth[i]。
ColumnWidthInLumaSamples[i]的值设定对ColWidth[i]乘以CTU的像素单位的宽度所得的值。
另外，关于瓦片行的CTU单位的高度RowHeight[j]，也通过与上述瓦片列的宽度同样的方法来计算。代替PicWidthInCtbsY而使用PicHeightInCtbsY(在图片的垂直方向上包含的CTU数)，代替num_tiles_columns_minus1而使用num_tiles_row_minus1，代替column_width_minus1[i]而使用row_height_minus1[i]。
RowHeightInLumaSamples[j]的值设定对RowHeight[j]乘以CTU的像素单位的高度所得的值。
接着，说明从瓦片扫描CTB地址导出光栅扫描CTB地址的排列(CtbAddrTsToRs[ctbAddrTs])的导出方法。
首先，通过以下式计算表示第i个瓦片列的边界位置的colBd[i]以及表示第j个瓦片行的边界位置的rowBd[j]。另外，colBd[0]和rowBd[0]的值设为0。
colBd[i+1]＝colBd[i]+colWidth[i]
rowBd[j+1]＝rowBd[j]+rowHeight[j]
接着，按照以下的顺序导出与由在图片中包含的光栅扫描CTU地址(ctbAddrRs)所识别的CTU相关的瓦片扫描CTU地址。
根据ctbAddrRs通过以下式计算对象CTU的以图片内CTU单位的位置(tbX、tbY)。这里，运算符“％”求余运算符，“A％B”意味着将整数A除以整数B所得的余数。
tbX＝ctbAddrRs％PicWidthInCtbsY
tbY＝ctbAddrRs/PicWidthInCtbsY
接着，导出包括对象CTU的瓦片在图片内的瓦片单位的位置(tileX、tileY)。tileX被设定评价式(tbX>＝colBd[i])成为真的最大的i的值。同样地，tileY被设定评价式(tbY>＝rowBd[j])成为真的最大的j的值。
CtbAddrRsToTs[ctbAddrRs]的值被设定将在瓦片扫描顺序上比(tileX、tileY)的瓦片提前的瓦片中包含的CTU之和与在(tileX、tileY)的瓦片内位于(tbX-colBd[tileX]、tbY-rowBd[tileY])的CTU在该瓦片内光栅扫描顺序的位置相加的值。
CtbAddrTsToRs[ctbAddrTs]的值被设定在CtbAddrRsToTs[k]和ctbAddrTs一致的情况下的k的值。
TileId[ctbAddrTs]的值被设定由ctbAddrTs所示的CTU所属的瓦片的瓦片识别符。通过以下式计算在图片内以瓦片单位位于(tileX、tileY)的位置的瓦片的瓦片识别符tileId(tileX、tileY)。
tileId(tileX,tileY)＝(tileY*(num_tile_cols_minus1+1))+tileX
(切片解码部14)
切片解码部14基于被输入的VCLNAL、参数集以及瓦片信息，生成解码图片并输出。
使用图18说明切片解码部14的概略性结构。图18是表示了切片解码部14的概略性结构的功能框图。
切片解码部14具备切片头部解码部141、切片位置设定部142、CTU解码部144。CTU解码部144还包括预测残差恢复部1441、预测图像生成部1442以及CTU解码图像生成部1443。
(切片头部解码部)
切片头部解码部141基于被输入的VCLNAL和参数集，对切片头部进行解码，并输出到切片位置设定部142以及CTU解码部144。
在切片头部中，包括涉及图片内的切片位置的信息(SH切片位置信息)。以下，例示切片头部解码部141在切片头部解码时参照的语法表进行说明。
图19是在切片头部解码时由切片头部解码部141参照的语法表的一部分，并且是涉及切片位置信息的部分。
在切片头部中，作为切片位置信息，包括图片内开头切片标记(first_slice_segment_in_pic_flag)。在图片内开头切片标记为1的情况下，表示对象切片按照解码顺序位于图片内的开头。在图片内开头切片标记为0的情况下，表示对象切片按照解码不位于图片内的开头。
此外，在切片头部中，作为切片位置信息，包括切片PPS识别符(slice_pic_parameter_set_id)。切片PPS识别符是与对象切片相关的PPS的识别符，经由该PPS识别符而确定应与对象切片相关的瓦片信息。
(切片位置设定部)
切片位置设定部142基于被输入的切片头部和瓦片信息，确定图片内的切片位置并输出到CTU解码部144。
在将切片内的第i个CTU在图片内的位置以CTU单位记载为(ctbX[i],ctbY[i])、将基于瓦片扫描的地址记载为ctbAddrTs[i]的情况下，通过以下式计算切片的开头CTU即第0个CTU在图片内的位置(ctbX[0]、ctbY[0])、基于瓦片扫描的地址ctbAddrTs。
ctbAddrTs[0]＝CtbAddrRsToTs[slice_segment_address]
ctbX[0]＝slice_segment_address％PicWidthInCtbsY
ctbY[0]＝slice_segment_address/PicWidthInCtbsY
这里，CtbAddrRsToTs[X]是将光栅扫描的地址变换为瓦片扫描的地址的排列，包含在输入到切片位置设定部的瓦片信息中。
此外，通过以下式计算切片内第i个(i＞0)CTU在图片内的位置(ctbX[i],ctbY[i])。
ctbAddrTs[i]＝ctbAddrTs[i-1]+1
ctbX[i]＝CtbAddrTsToRs[ctbAddrTs[i]]％PicWidthInCtbsY
ctbY[i]＝CtbAddrTsToRs[ctbAddrTs[i]]/PicWidthInCtbsY
即，对象CTU的瓦片扫描的地址被设定为对紧跟前提前的CTU的瓦片扫描的地址加1的值。并且，使用在瓦片信息中包含的变换排列CtbAddrTsToRs，将获得的瓦片扫描的地址变换为光栅扫描的地址。根据光栅扫描的地址和CTU单位的图片的宽度，导出CTU在图片内的位置(ctbX[i],ctbY[i])。
另外，为了根据(ctbX[i],ctbY[i])来计算CTU的以图片内亮度像素单位的位置(ctbXInLumaPixels[i],ctbYInLumaPixels[i])，进行对各要素乘以CTU大小的计算即可。例如，能够使用作为亮度像素单位的CTU宽度的2的对数的CtbLog2SizeY，如下计算。
ctbXInLumaPixels[i]＝ctbX[i]<<CtbLog2SizeY
ctbYInLumaPixels[i]＝ctbY[i]<<CtbLog2SizeY
通过以上的处理，切片位置设定部142计算在切片中包含的各CTU在图片内的位置并输出。
(CTU解码部)
概略而言，CTU解码部144基于被输入的切片头部、切片数据以及参数集，对与在切片中包含的各CTU对应的区域的解码图像进行解码，从而生成切片的解码图像。切片的解码图像作为解码图片的一部分而输出到由被输入的切片位置表示的位置。CTU的解码图像由CTU解码部144内部的预测残差恢复部1441、预测图像生成部1442以及CTU解码图像生成部1443所生成。预测残差恢复部1441对在输入的切片数据中包含的预测残差信息(TT信息)进行解码，生成对象CTU的预测残差并输出。预测图像生成部1442基于在输入的切片数据中包含的预测信息(PT信息)表示的预测方法和预测参数，生成预测图像并输出。此时，根据需要，利用参照图片的解码图像或编码参数。CTU解码图像生成部1443将被输入的预测图像和预测残差相加，生成对象CTU的解码图像并输出。
(预测图像生成部的细节)
说明在前述的预测图像生成部1442的预测图像生成处理中，选择了层间图像预测的情况下的预测图像生成处理的细节。
在应用层间图像预测的对象CTU中包含的对象像素的预测像素值的生成处理按照如下顺序执行。首先，执行参照图片位置导出处理，导出对应参照位置。这里，对应参照位置是与对象层图片上的对象像素对应的参照层上的位置。另外，由于对象层和参照层的像素未必1对1对应，所以对应参照位置以小于参照层中的像素单位的精度来表现。接着，通过以导出的对应参照位置为输入而执行插值滤波器处理，生成对象像素的预测像素值。
在对应参照位置导出处理中，基于在参数集中包含的图片信息、层间像素对应信息以及层间相位对应信息，导出对应参照位置。参照图1说明对应参照位置导出处理的详细顺序。图1是对应参照位置导出处理的流程图。对应参照位置导出处理通过顺次执行以下的S101～S104的处理而实现。
(S101)基于对象层图片大小、参照层图片大小、层间像素对应信息，计算参照层对应区域大小和层间大小比率(相对于参照层对应区域大小的参照层图片大小的比率)。首先，通过以下式计算参照层对应区域的宽度SRLW和高度SRLH、层间大小比率的水平分量scaleX和水平分量scaleY。
SRLW＝currPicW-SRLLeftOffset-SRLRightOffset
SRLH＝currPicH-SRLTopOffset-SRLBottomOffset
scaleX＝refPicW÷SRLW
scaleY＝refPicH÷SRLH
这里，currPicW和currPicH是对象图片的高度和宽度，在对应参照位置导出处理的对象为亮度像素的情况下，与在对象层中的SPS的图片信息中包含的pic_width_in_luma_samples和pic_height_in_luma_samples的各语法值一致。在对象为色差的情况下，使用根据颜色格式的种类来变换了所述语法值的值。例如，在颜色格式为4:2:2的情况下，使用各语法值的一半的值。此外，refPicW和refPicH是参照图片的高度和宽度，在对象为亮度像素的情况下，与在参照层中的SPS的图片信息中包含的pic_width_in_luma_samples和pic_height_in_luma_samples的各语法值一致。此外，SRLLeftOffset、SRLRightOffset、SRLTopOffset、SRLBottomOffset是参照图12说明的层间像素对应偏移。
(S102)基于层间像素对应信息和层间大小比率，计算暂定参照位置。通过以下式计算与对象层像素对应的暂定参照位置的水平分量xRefTmp和垂直分量yRefTmp。另外，xRefTmp以参照层图片的像素单位表示将参照层图片的左上像素作为基准的水平方向的位置，yRefTmp以参照层图片的像素单位表示将同左上像素作为基准的垂直方向的位置。
xRefTmp＝(xP-SRLLeftOffset)*scaleX
yRefTmp＝(yP-SRLTopOffset)*scaleY
这里，xP和yP分别以对象层图片的像素单位表示将对象层图片左上像素作为基准的对象层像素的水平分量和垂直分量。此外，对于实数X的Floor(X)意味着不超过X的最大的整数。
在上述的式中，将对象像素相对于参照层对应区域的左上像素的位置通过层间大小比率进行了比例变化的值设为暂定参照位置。另外，也可以将上述的计算通过基于整数表现的近似运算来计算。例如，也可以作为对实际的倍率的值乘以预定的值(例如16)所得的整数来计算scaleX和scaleY，并使用该整数值来计算xRefTmp或yRefTmp。此外，在对象为色差的像素的情况下，也可以进行考虑了亮度和色差的相位差的校正。
(S103)基于在参数集中包含的层间相位对应信息，计算相位偏移。在使用参照图13说明的层间相位对应信息的情况下，基于在层间相位对应信息中包含的参照层相位偏移ref_layer_left_phase_offset[i]和ref_layer_top_phase_offset[i]，通过以下式计算相位偏移的水平分量phaseOffsetX和垂直分量phaseOffsetY。
phaseOffsetX＝ref_layer_left_phase_offset[rlIdx]÷8
phaseOffsetY＝ref_layer_left_phase_offset[rlIdx]÷8
这里，rlIdx是选择在对应参照位置导出处理的时刻的参照层的索引。在上述的式中，由于相位偏移phaseOffsetX和phaseOffsetY为像素单位、参照层相位偏移ref_layer_left_phase_offset[rlIdx]和ref_layer_top_phase_offset[rlIdx]为8分之1像素单位，所以将后者除以8所得的值设定为相位偏移的值。另外，在相位偏移和参照层相位偏移分别由不同的单位来表现的情况下，应适当地进行配合单位的差异的调整，不需要一定始终如上述式那样设定相位偏移。
(S104)基于在S102中导出的暂定参照像素位置和在S103中导出的相位偏移，计算相对于对象像素(xP,yP)的对应参照位置的水平分量xRef和垂直分量yRef。另外，xRef和yRef分别表示以将参照图片左上像素作为基准的像素单位的对应参照像素的水平方向或者垂直方向的位置。
xRef＝xRefTmp+phaseOffsetX
yRef＝yRefTmp+phaseOffsetY
即，导出对暂定参照像素位置加上相位偏移所得的值作为对应参照位置。另外，在暂定参照像素位置、相位偏移、对应参照位置由不同的单位来表现的情况下，不需要一定按照上述式来计算对应参照位置，应适当地进行将单位对齐的调整。
另外，在上述式中以像素单位计算了对应参照位置，但并不限定于此。例如，也可以通过以下的式来计算基于对应参照位置的整数表现的16分之1像素单位的值(xRef16,yRef16)。
xRef16＝Floor((xRefTmp+phaseOffestX)*16)
yRef16＝Floor((yRefTmp+phaseOffsetY)*16)
一般，优选以适合滤波器处理的应用的单位或表现来导出对应参照位置。例如，优选以与插值滤波器参照的最小单位一致的精度的整数表现来导出对象参照位置。
通过以上说明的对应参照位置导出处理，能够导出与对象层图片上的对象像素对应的参照层图片上的位置作为对应参照位置。
另外，在使用参照图15说明的层间相位对应信息的情况下，代替上述的对应参照位置导出处理的顺序S103而执行下述顺序S103a。
(S103a)基于在层间相位对应信息中包含的参照层裁剪偏移cropped_ref_layer_left_offset[i]和cropped_ref_layer_top_offset[i]，通过以下式计算相位偏移的水平分量phaseOffsetX和垂直分量phaseOffsetY。
croppedOffsetX＝(-cropped_ref_layer_left_offset[i]<<1)
croppedOffsetY＝(-cropped_ref_layer_top_offset[i]<<1)
phaseOffsetX＝Frac((xP-croppedOffsetX)*scaleX)
phaseOffsetY＝Frac((yP-croppedOffsetY)*scaleY)
这里，Frac(X)意味着X的小数部分，有Frac(X)＝X-Floor(X)的关系。
参照图20说明上述计算式的含义。以下，只说明水平分量，但关于垂直分量也成立同样的议论。图20是例示在使用参照层裁剪偏移来计算相位偏移的情况下的计算中使用的点或量的水平分量的关系的图。
在图20中，在对象层上有对象像素xP、参照层对应区域的左上像素x0、对象层基准像素xBase。xBase从x0位于参照层裁剪偏移croppedOffsetX左侧的位置。在参照层上，有与xBase对应的像素xBaseRef、与xP对应的像素的位置xRefInt、与xP对应的参照位置(对应参照位置)xRef。如图所示，xRef和xBaseRef的距离D通过(xP-croppedOffsetX)*scaleX来计算。即，对作为xP和xBase的距离的(xP-croppedOffsetX)乘以参照层比率scaleX而导出距离D。这里，由于假设xBaseRef是像素、即位于整数位置，所以xRefInt和xBaseRef之间的距离成为距离D的整数分量(Floor(D))。由于相位偏移phaseOffsetX、即xRef和xRefInt的距离小于1像素，所以距离D的小数部分(Frac(D))的值成为phaseOffsetX的值。
当使用在层间相位对应信息中包含的参照层裁剪偏移，通过上述S103a的处理来导出相位偏移的情况下，由于对每个对象像素计算相位偏移，所以与应用不依赖对象像素位置而基于参照层相位偏移的值来导出相位偏移的S103的处理的情况相比，对应参照位置导出处理的处理量增加，但具有尤其在将相位偏移以基于整数表现的近似值来表现的情况下能够导出更加准确的相位偏移的优点。
在插值滤波器处理中，通过对参照层图片上的、所述对应参照位置附近的像素的解码像素应用插值滤波器，生成相当于在上述对应参照位置导出处理中导出的对应参照位置的位置的像素值。
(运动图像解码装置1的效果)
以上说明的本实施方式的层次运动图像解码装置1(层次图像解码装置)是对在进行了层次编码的编码数据中包含的上位层的编码数据进行解码，恢复作为对象层的上位层的解码图片的图像解码装置，具备：参数集解码部12，对参数集进行解码；以及预测图像生成部1442，参照参照层图片的解码像素，通过层间预测而生成预测图像，所述参数集解码部12对对象层像素和与该对象层像素对应的参照层图片上的位置所涉及的信息即层间相位对应信息进行解码。
因此，上述层次运动图像解码装置1由于能够使用所述层间相位对应信息而导出与预测对象像素对应的参照层图片上的准确的位置，所以通过插值处理而生成的预测像素的准确度提高。因此，能够对比以往少的码量的编码数据进行解码而输出上位层的解码图片。
(层次运动图像编码装置的结构)
使用图21说明层次运动图像编码装置2的概略结构。图21是表示了层次运动图像编码装置2的概略性结构的功能框图。层次运动图像编码装置2一边参照参照层编码数据DATA#R，一边对对象层的输入图像PIN#T进行编码，生成对象层的层次编码数据DATA。另外，设为参照层编码数据DATA#R在与参照层对应的层次运动图像编码装置中编码完毕。
如图21所示，层次运动图像编码装置2具备NAL复用部21、参数集编码部22、瓦片设定部23、切片编码部14、解码图片管理部16以及基本解码部15。
NAL复用部21通过将被输入的对象层编码数据DATA#T和参照层编码数据DATA#R存储在NAL单元中，生成进行了NAL复用的层次运动图像编码数据DATA，并输出到外部。
参数集编码部22基于被输入的瓦片信息和输入图像，设定在输入图像的编码中使用的参数集(VPS、SPS以及PPS)，并作为对象层编码数据DATA#T的一部分以VCLNAL的形式打包并提供给NAL复用部21。
在参数集编码部22进行编码的参数集中，至少包括与层次运动图像解码装置1关联地说明的图片信息、显示区域信息以及层间像素对应信息。
瓦片设定部23基于输入图像而设定图片的瓦片信息，并提供给参数集编码部22和切片编码部24。例如，设定表示将图片大小分割为M×N个瓦片的瓦片信息。这里，M、N为任意的正的整数。此外，例如，也可以将瓦片信息设定为图片被分割为预定大小的瓦片(例如，128像素×128像素的瓦片)。
切片编码部24基于被输入的输入图像、参数集、瓦片信息以及在解码图片管理部16中记录的参照图片，对与构成图片的切片对应的输入图像的一部分进行编码，生成该部分的编码数据，并作为对象层编码数据DATA#T的一部分而提供给NAL复用部21。切片编码部24的详细的说明在后面叙述。
解码图片管理部16是与已经说明的层次运动图像解码装置1具备的解码图片管理部16相同的结构要素。但是，在层次运动图像编码装置2具备的解码图片管理部16中，由于不需要输出在内部的DPB中记录的图片作为输出图片，所以能够省略该输出。另外，在层次运动图像解码装置1的解码图片管理部16的说明中作为“解码”来说明的记载通过替换为“编码”，也能够应用于层次运动图像编码装置2的解码图片管理部16。
基本解码部15是与已经说明的层次运动图像解码装置1具备的基本解码部15相同的结构要素，省略详细的说明。
(切片编码部)
接着，参照图22说明切片编码部24的结构的细节。图22是表示了切片编码部24的概略性结构的功能框图。
如图22所示，切片编码部24包括切片头部设定部241、切片位置设定部242、CTU编码部244。CTU编码部244在内部包括预测残差编码部2441、预测图像编码部2442、CTU解码图像生成部1443。
切片头部设定部241基于被输入的参数集和切片位置信息，生成在以切片单位输入的输入图像的编码中使用的切片头部。所生成的切片头部作为切片编码数据的一部分而输出，且与输入图像一同提供给CTU编码部244。
在切片头部设定部241中生成的切片头部中，至少包括参照图19说明的SH切片位置信息。
切片位置设定部242基于被输入的瓦片信息，决定图片内的切片位置并提供给切片头部设定部241。
CTU编码部244基于被输入的参数集、切片头部，以CTU单位对输入图像(对象切片部分)进行编码，生成涉及对象切片的切片数据以及解码图像(解码图片)并输出。CTU的编码由预测图像编码部2442、预测残差编码部2441、CTU解码图像生成部执行。
预测图像编码部2441决定在对象切片中包含的对象CTU的预测方式以及预测参数，并基于所决定的预测方式而生成预测图像，并输出到预测残差编码部2441和CTU解码图像生成部1443。预测方式或预测参数的信息作为预测信息(PT信息)进行可变长编码，并作为在切片编码数据中包含的切片数据的一部分而输出。在预测图像编码部2441中能够选择的预测方式中，至少包括层间图像预测。
预测图像编码部2441在选择了层间图像预测作为预测方式的情况下，执行对应参照位置导出处理，决定与预测对象像素对应的参照层像素位置，并通过基于该位置的插值处理而决定预测像素值。作为对应参照位置导出处理，能够应用关于层次运动图像解码装置1的预测图像生成部1442说明的各处理。例如，能够应用参照图1说明的处理。
预测残差编码部2441将对被输入的输入图像和预测图像的差分图像进行变换/量化而获得的量化变换系数(TT信息)作为在切片编码数据中包含的切片数据的一部分而输出。此外，对量化变换系数应用逆变换/逆量化而恢复预测残差，并将恢复的预测残差输出到CTU解码图像生成部1443。
由于CTU解码图像生成部1443具有与层次运动图像解码装置1的同名的结构要素相同的功能，所以赋予相同的标号并省略说明。
(运动图像编码装置2的效果)
以上说明的本实施方式的层次运动图像编码装置2是根据输入图像而生成上位层的编码数据的图像编码装置，具备：参数集解码部22，对参数集进行解码；以及预测图像编码部2442，参照参照层图片的解码像素，通过层间预测而生成预测图像，所述参数集解码部22对对象层像素和与该对象层像素对应的参照层图片上的位置所涉及的信息即层间相位对应信息进行编码，所述预测图像编码部2442在层间预测执行时，基于所述层间相位对应信息，执行导出与预测对象像素对应的参照层位置的对应参照位置导出处理。
因此，上述层次运动图像编码装置2由于能够使用所述层间相位对应信息而导出与预测对象像素对应的参照层图片上的准确的位置，所以通过插值处理而生成的预测像素的准确度提高。因此，能够以比以往少的码量来生成编码数据并输出。
〔层次编码数据变换装置3〕
使用图23说明层次编码数据变换装置3的概略结构。图23是表示了层次编码数据变换装置3的概略性结构的功能框图。层次编码数据变换装置3对被输入的层次编码数据DATA进行变换，生成涉及被输入的关注区域信息的层次编码数据DATA-ROI。另外，层次编码数据DATA是由层次运动图像编码装置2所生成的层次编码数据。此外，通过将层次编码数据DATA-ROI输入到层次运动图像解码装置1，能够再现涉及关注区域信息的上位层的运动图像。
如图23所示，层次编码数据变换装置3包括NAL解复用部11、NAL复用部21、参数集解码部12、瓦片设定部13、参数集修正部32、NAL选择部34。
由于NAL解复用部11、参数集解码部12、瓦片设定部13分别具有与层次运动图像解码装置1包含的同名的结构要素相同的功能，所以赋予相同的标号并省略说明。
由于NAL复用部21具有与层次运动图像编码装置2包含的同名的结构要素相同的功能，所以赋予相同的标号并省略说明。
参数集修正部32基于被输入的关注区域信息和瓦片信息，对被输入的参数集信息进行修正而输出。概略而言，参数集修正部34对在参数集中包含的图片信息、显示区域信息、层间像素对应信息、层间相位对应信息、PPS瓦片信息进行修正。
关注区域信息是在构成运动图像的图片中，用户(例如，再现运动图像的视听者)指定的图片的部分区域。关注区域信息例如通过矩形的区域来指定。在该情况下，例如，能够指定表示关注区域的矩形的上边、下边、左边、右边离图片整体的对应的边(上边、下边、左边或者右边)的位置的偏移作为关注区域信息。另外，也可以使用矩形以外的形状的区域(例如，圆、多边形、表示通过物体提取而提取的物体的区域)作为关注区域，但以下，为了简化说明而设想矩形的关注区域。另外，在对矩形以外的区域应用以下记载的内容的情况下，例如，能够将包含关注区域的面积最小的矩形当作以下的说明中的关注区域来应用。
(变换处理的概略)
首先，参照图24说明基于层次编码数据变换装置3的变换处理的参数集修正的概略。图24是例示了变换前后的层次编码数据中的图片、关注区域以及瓦片的关系的图。图24(a)表示变换前的层次编码数据中的图片、关注区域以及瓦片的关系。变换前的层次编码数据的参数集中，图片(变换前)由在垂直、水平方向上各3个、共9个瓦片构成(从左上起按照光栅扫描顺序为瓦片T00、T01、T02、T10、T11、T12、T20、T21、T22)。关注区域被设定为图片右上部分，具有与瓦片T01、T02、T11、T12重复的区域。图24(b)表示变换后的层次编码数据中的图片、关注区域以及瓦片的关系。变换后的层次编码数据的参数集中，图片(变换后)由在垂直、水平方向上各2个(瓦片T01、T02、T11、T12)、共4个瓦片构成。即，位于变换前的图片中的瓦片并且是与关注区域不具有重复区域的瓦片(瓦片T00、T10、T20、T21、T22)不包含在变换后的图片中。
概略而言，层次编码数据变换装置3从被输入的变换前的层次编码数据去除与关注区域不具有重复区域的瓦片，对关联的参数集进行修正，从而生成变换后的层次编码数据。层次运动图像解码装置能够将变换后的层次编码数据作为输入，生成涉及关注区域的解码图像。
(瓦片信息的修正)
参数集修正部32参照被输入的关注区域信息和瓦片信息，更新PPS瓦片信息，使得只包括对应的区域的一部分与关注区域重复的瓦片(提取对象瓦片)。基于提取对象瓦片的信息，更新PPS瓦片信息。首先，在提取对象瓦片为1个的情况下，将tiles_enabled_flag修正为0。另外，在提取对象瓦片为2个以上的情况下，能够省略修正处理。接着，基于在图片的水平方向和垂直方向上包含的提取对象瓦片的个数，对表示瓦片行数的(nu_tile_columns_minus1)和表示瓦片列数的(num_tile_rows_minus1)进行修正。接着，在瓦片大小为不均等(uniform_spacing_flag为0)的情况下，从参数集删除与不包括提取对象瓦片的瓦片列的宽度、不包括提取对象瓦片的瓦片行的高度所涉及的语法对应的比特串。
(图片信息的修正)
参数集修正部32将与提取对象瓦片的集合对应的区域作为变换后的图片大小来修正图片信息。在图24所示的例中，将分别包括瓦片T01、T02的瓦片列之和设定为修正后的对象层的图片宽度pic_width_in_luma_samples。此外，将分别包括瓦片T01、T11的瓦片行的高度之和设定为对象层的图片的高度pic_height_in_luma_samples。
(层间像素对应信息的修正)
参数集修正部32根据图片大小的变更，对在参数集中包含的层间像素对应信息进行修正。具体而言，对在层间像素对应信息中包含的全部的层间像素对应偏移进行修正。构成层间像素对应偏移的、改变比例后参照层左偏移(scaled_ref_layer_left_offset[i])被加上比关注区域位于左边的瓦片列并且是不包括提取对象瓦片的瓦片列的宽度之和。例如，在图24的例中，被加上包括瓦片T00的瓦片列的宽度。同样地，改变比例后参照层上偏移(scaled_ref_layer_top_offset[i])被加上比关注区域位于上边的瓦片行并且是不包括提取对象瓦片的瓦片行的高度之和。同样地，改变比例后参照层右偏移(scaled_ref_layer_right_offset[i])被加上比关注区域位于右边的瓦片列并且是不包括提取对象瓦片的瓦片列的宽度之和。同样地，改变比例后参照层下偏移(scaled_ref_layer_bottom_offset[i])被加上比关注区域位于下边的瓦片行并且是不包括提取对象瓦片的瓦片行的高度之和。
(层间相位对应信息的修正)
参数集修正部32根据图片大小的变更，对在参数集中包含的层间相位对应信息进行修正。概略而言，层间相位对应信息的修正修正为变换后的图片的左上像素的相位与变换前的同一像素的相位一致。换言之，修正为在变换前的提取对象区域的左上像素(提取对象瓦片中位于最左上的瓦片的左上像素)中通过对应参照位置导出处理而导出的相位、与在变换后的图片的左上像素中通过对象参照位置导出处理而导出的相位一致。另外，不一定需要修正为完全一致，只要与不进行修正的情况相比修改为相位靠近则能够获得本发明的效果。
在使用参照层相位偏移作为层间相位对应信息的情况下，具体的修正处理如下所述。首先，计算相对于上位层图片的提取对象区域的左上像素xLO、yL0的对应参照位置xLORef、yL0Ref。在对象参照位置的导出中，例如，参照修正前的参数集，应用在层次运动图像解码装置的预测图像生成部1442中说明的对应参照位置导出处理即可。接着，参照将参照层相位偏移设定为0的修正后的参数集，导出相对于变换后的上位层图片的左上像素xLA、yLA的暂定对应参照位置xLARefTmp、yLARefTmp。若将修正后的参照层左相位偏移设为phaseLAft，将参照层上相位偏移设为phaseTAft，则能够通过以下式决定修正后的参照层偏移。
phaseLAft＝Frac(Frac(xLORef)-Frac(xLARefTmp))
phaseTAft＝Frac(Frac(yLORef)-Frac(yLARefTmp))
上述的式是根据修正后的参照层相位偏移和变换后的图片左上像素的参照层相位偏移为0的情况下的对应参照位置之和的小数部分、与变换前的提取对应区域的左上像素的对应参照位置的小数部分一致而导出的式。
(显示区域信息的修正)
参数集修正部32将在被输入的参数集中包含的SPS的显示区域信息改写成与被输入的关注区域信息表示的关注区域一致。在使用参照图9说明的语法作为SPS的显示区域信息的情况下，显示区域信息按照以下的S301至S303的顺序被改写。
(S301)判定关注区域是否与图片整体一致。在一致的情况下，进入S302，在不一致的情况下，进入S303。
(S302)在覆写前的显示区域标记的值为1的情况下，将该显示区域标记的值覆写为0，且从SPS去除显示区域偏移(conf_win_left_offset、conf_win_right_offset、conf_win_top_offset、conf_win_bottom_offset)并结束处理。
(S303)将显示区域标记的值覆写为1。将显示区域偏移的各偏移设定为表示关注区域的矩形的各边与图片的对应的边的位置的偏移的值。例如，将关注区域上边相对于图片上边的位置偏移设定为显示区域上偏移(conf_win_top_offset)的值。另外，在改写前的显示区域标记的值为1的情况下，使用上述设定的关注区域偏移的值，覆写原来的关注区域偏移的值。在改写前的显示区域标记的值为1的情况下，将上述设定的关注区域偏移插入SPS的显示区域标记的紧靠后。
NAL选择部34基于被输入的关注区域信息和瓦片信息，进行被输入的视频编码层NAL(VCLNAL)的选择。被选择的VCLNAL顺次输出到NAL复用部21，未被选择的VCLNAL被丢弃。
在NAL选择部34中选择的VCLNAL是包括与在提取对象瓦片中包含的切片有关的切片头部以及切片数据的VCLNAL。如参照图24说明，提取对象瓦片基于关注区域信息和瓦片信息而决定。NAL选择部34根据在切片头部中包含的切片地址和瓦片信息，判定切片是否包含在提取对象瓦片中，在包含的情况下，选择包括该切片的VCLNAL，在不包含的情况下，丢弃该VCLNAL。
(层次编码数据变换处理流程)
层次编码数据变换装置3的层次编码数据变换处理通过顺次执行S501～S506所示的顺序而实现。
(S501)NAL解复用部11对被输入的层次编码数据DATA进行解复用。在获得的对象层编码数据DATA#T中，将涉及参数集的部分(非VCLNAL)输出到参数解码部12，将作为涉及切片层(切片头部、切片数据)的部分的视频编码层NAL(VCLNAL)输出到NAL选择部34。获得的参照层编码数据DATA#R输出到NAL解复用部21。
(S502)参数集解码部12从被输入的非VCLNAL解码参数集(VPS、SPS、PPS)，并输出到参数集修正部32和瓦片设定部13。
(S503)瓦片设定部13从被输入的参数集导出瓦片信息，并输出到参数集修正部32和NAL选择部34。
(S504)参数集修正部32基于被输入的关注区域信息和瓦片信息，对被输入的参数集进行修正并输出。
(S505)NAL选择部34基于被输入的瓦片信息和关注区域信息，选择被输入的VCLNAL的一部分，并将选择的VCLNAL输出到NAL复用部21。
(S506)NAL复用部21将被输入的修正后的参数集和修正后的切片头部和切片数据作为修正后的对象层的编码数据，与被输入的参照层编码数据DATA#R进行复用，并作为层次编码数据DATA-ROI向外部输出。
(层次编码数据变换装置3的效果)
以上说明的本实施方式的层次编码数据变换装置3具备：NAL选择部34，基于关注区域信息，对在对象层(上位层)的编码数据中包含的视频层的编码数据(VCLNAL)的一部分进行修正；以及参数集修正部32。NAL选择部34基于关注区域信息表示的关注区域，选择具有与关注区域重复的区域的瓦片作为提取对象瓦片，在所述选择的提取对象瓦片中包含的切片所涉及的视频层的编码数据包含在变换后的层次编码数据中。参数集修正部32基于关注区域信息和瓦片信息，对图片信息、PPS瓦片信息、显示信息、层间像素对应信息以及层间相位对应信息进行修正。
根据上述的层次编码数据变换装置3，对被输入的层次编码数据进行变换，提取在上位层中涉及提取对象瓦片(具有与关注区域重复的区域的瓦片)的VCLNAL，能够构成变换后的层次编码数据。由于与关注区域不具有重复区域的瓦片所涉及的VCLNAL被丢弃，所以变换后的层次编码数据的码量比变换前的层次编码数据少。此外，根据上述的层次编码数据变换装置3，由于将参数集配合提取对象瓦片而对图片信息、PPS瓦片信息、显示信息进行修正，所以变换后的层次编码数据能够通过层次运动图像解码装置进行解码，能够显示涉及关注区域的解码图片。除此之外，由于层间像素对应信息和层间相位对应信息被修正，所以通过变换前后的编码数据而维持了上位层的像素和参照层的像素的对应关系。因此，通过变换前的编码数据而生成的层间预测的预测图像和通过变换后的编码数据而生成的层间预测的预测图像能够维持为相同程度。
〔关注区域显示系统〕
能够将上述的层次运动图像解码装置1、层次运动图像编码装置2以及层次编码数据变换装置3组合而构成显示关注区域信息的系统(关注区域显示系统SYS)。
基于图25，说明能够通过上述的层次运动图像解码装置1、层次运动图像编码装置2以及层次编码数据变换装置3的组合而构成关注区域显示系统的情况。图25是表示了基于层次运动图像解码装置1、层次运动图像编码装置2以及层次编码数据变换装置3的组合的关注区域显示系统的结构的框图。概略而言，关注区域显示系统SYS对质量不同的输入图像进行层次编码而存储，根据来自用户的关注区域信息，对存储的层次编码数据进行变换而提供，并对变换后的层次编码数据进行解码而显示涉及关注区域(ROI)的高质量的再现图像。
如图25所示，关注区域显示系统SYS包括层次运动图像编码部SYS1A、层次运动图像编码部SYS1B、层次编码数据存储部SYS2、层次编码数据变换部SYS3、层次运动图像解码部SYS4、显示控制部SYS5、ROI显示部SYS6、整体显示部SYS7、ROI通知部SYS8作为结构要素。
在层次运动图像编码部SYS1A、SYS1B中，能够利用前述的层次运动图像编码装置2。
层次编码数据存储部SYS2存储层次编码数据，并根据请求而提供层次编码数据。作为层次编码数据存储部SYS2，能够利用具备记录介质(存储器、硬盘、光盘)的计算机。
在层次编码数据变换部SYS3中，能够利用前述的层次编码数据变换部3。
在层次运动图像解码部SYS4中，能够利用前述的层次运动图像解码装置1。
显示控制部SYS5基于关注区域信息，将解码图片作为ROI显示图像而提供给ROI显示部SYS6，或者将解码图片作为整体显示图像而提供给整体显示部SYS7。
显示控制部SYS5在根据关注区域信息而指定了关注区域的情况下，将从层次运动图像解码部输入的解码图片并且是下位层的解码图片作为整体显示图像而提供给整体显示部SYS7，另一方面，在ROI显示部SYS6中，将从层次运动图像解码部输入的解码图片并且是上位层的解码图片作为ROI显示图像而提供给ROI显示部SYS6。另外，在没有根据关注区域信息而指定了关注区域的情况下，在ROI显示部SYS6中没有被提供ROI显示图像。
显示控制部SYS5在根据关注区域信息而指定了关注区域的情况下，将从层次运动图像解码部输入的解码图片并且是下位层的解码图片作为整体显示图像而提供给整体显示部SYS7，另一方面，在ROI显示部SYS6中没有提供解码图片。
另外，显示控制部SYS5在关注区域信息被变更的情况下，也可以在从层次运动图像解码部SYS4被提供涉及该关注区域信息的层次编码数据的上位层的解码图片为止的期间，将层次编码数据的下位层的解码图片的部分区域并且是与关注区域对应的部分作为ROI显示图像而提供给ROI显示部SYS6。虽然下位层的解码图片的部分区域并且是与关注区域对应的部分的画质比涉及该关注区域的上位层的解码图片低，但具有在用户指定关注区域后无需等待伴随着对于层次编码数据变换部的通知以及变换处理的延迟就能够在ROI显示部SYS6中显示关注区域的优点。
ROI显示部SYS6将ROI显示图像显示在预定的显示区域的预定的显示位置。例如，显示区域是电视机的画面，显示位置是其部分区域(例如，右上角的矩形区域)。此外，例如，显示区域是便携式终端(智能手机或平板式计算机)的显示器，显示位置是其整体。
整体显示部SYS7将整体显示图像显示在预定的显示区域的预定的显示位置。例如，显示区域是电视机的画面，显示位置是其整体。另外，在整体显示部SYS7和ROI显示部SYS6的显示区域相同的情况下，优选显示为将ROI显示图像重叠在整体显示图像之上。另外，ROI显示部SYS6以及整体显示部SYS7也可以将被输入的图像放大或者缩小为与显示区域的大小一致的大小而显示。
ROI通知部SYS8通过预定的方法而通知用户指定的关注区域信息。例如，用户通过在显示了整体显示图像的显示区域上指定相当于关注区域的区域，能够对ROI通知部传递关注区域。另外，ROI通知部SYS8在没有用户的指定的情况下，将表示没有关注区域的信息作为关注区域信息来通知。
(关注区域显示系统的流程)
关注区域显示系统的处理能够分为层次编码数据生成存储处理和关注区域数据生成再现处理。
在层次编码数据生成存储处理中，根据不同的质量的输入图像而生成层次编码数据并存储。层次编码数据生成存储处理按照T101至T103的顺序执行。
(T101)层次运动图像编码部SYS1B对被输入的低质量的输入图像进行编码，并将生成的层次编码数据提供给层次运动图像编码部SYS1A。即，层次运动图像编码部SYS1B根据输入图像而生成在层次运动图像编码部SYS1A中被使用作为参照层(下位层)的层次编码数据而输出。
(T102)层次运动图像编码部SYS1A将被输入的层次编码数据作为参照层的编码数据，对被输入的高质量的输入图像进行编码，生成层次编码数据并输出到层次编码数据存储部SYS2。
(T103)层次编码数据存储部SYS2对被输入的层次编码数据赋予适当的索引并记录在内部的记录介质中。
在关注区域数据生成再现处理中，从层次编码数据存储部SYS2读出层次编码数据，并变换为相当于关注区域的层次编码数据，对变换后的层次编码数据进行解码并再现以及显示。关注区域数据生成再现处理按照以下的T201～T207的顺序执行。
(T201)与用户选择的运动图像有关的层次编码数据从层次编码数据存储部SYS2提供给层次编码数据变换部SYS3。
(T202)ROI通知部SYS8将用户指定的关注区域信息通知给层次编码数据变换部SYS3以及显示控制部SYS5。
(T203)层次编码数据变换部SYS3基于被输入的关注区域信息，对被输入的层次编码数据进行变换，并输出到层次运动图像解码部SYS4。
(T204)层次运动图像解码部SYS4将对被输入的层次运动图像编码数据(变换后)进行解码并再现的上位层以及下位层的解码图片输出到显示控制部SYS5。
(T205)显示控制部SYS5基于被输入的关注区域信息，将被输入的解码图片输出到ROI显示部SYS6以及整体显示部SYS7。
(T206)整体显示部SYS7显示被输入的整体显示图像。
(T207)ROI显示部SYS6显示被输入的ROI显示图像。
(关注区域显示系统SYS的效果)
以上说明的本实施方式的关注区域显示系统SYS具备：关注区域通知部(ROI通知部SYS8)，提供关注区域信息；层次编码数据变换部SYS3，基于所述关注区域信息对层次编码数据进行变换而生成变换后层次编码数据；层次运动图像解码部SYS4，对上述变换后层次编码数据进行解码而输出上位层以及下位层的解码图片；显示控制部SYS5；关注区域显示部(ROI显示部SYS6)；以及整体显示部SYS7。所述显示控制部SYS5将所述下位层的解码图片提供给整体显示部SYS7，且将所述上位层的解码图片提供给关注区域显示部。
根据上述的关注区域显示系统SYS，能够显示下位层的解码图片的整体，且显示通过关注区域信息而被指定的区域的解码图片。此时，由于通过关注区域信息而被指定的区域的解码图片使用层次编码数据的上位层的编码数据进行解码，所以画质高。除此之外，基于关注区域进行了变换的层次编码数据的码量比变换前的层次编码数据少。因此，通过使用上述的关注区域显示系统SYS，能够削减层次编码数据的转发所需的频带，且再现涉及关注区域的画质高的解码图片。
(对于其他的层次运动图像编码/解码系统的应用例)
上述的层次运动图像编码装置2以及层次运动图像解码装置1能够搭载在进行运动图像的发送、接收、记录、再现的各种装置中利用。另外，运动图像可以是由相机等拍摄到的自然运动图像，也可以是由计算机等生成的人工运动图像(包括CG以及GUI)。
基于图26，说明能够将上述的层次运动图像编码装置2以及层次运动图像解码装置1利用于运动图像的发送以及接收的情况。图26的(a)是表示搭载了层次运动图像编码装置2的发送装置PROD_A的结构的框图。
如图26的(a)所示，发送装置PROD_A具备通过对运动图像进行编码而获得编码数据的编码部PROD_A1、通过编码部PROD_A1获得的编码数据对载波进行调制而获得调制信号的调制部PROD_A2、发送调制部PROD_A2获得的调制信号的发送部PROD_A3。上述的层次运动图像编码装置2被利用作为该编码部PROD_A1。
发送装置PROD_A作为要输入到编码部PROD_A1的运动图像的供应源，也可以还包括拍摄运动图像的相机PROD_A4、记录了运动图像的记录介质PROD_A5、用于从外部输入运动图像的输入端子PROD_A6以及对图像进行生成或者加工的图像处理部A7。在图26的(a)中，例示由发送装置PROD_A具备了这些全部的结构，但也可以省略一部分。
另外，记录介质PROD_A5可以是记录了没有被编码的运动图像的记录介质，也可以是记录了以与传输用的编码方式不同的记录用的编码方式进行了编码的运动图像的记录介质。在后者的情况下，只要在记录介质PROD_A5和编码部PROD_A1之间，介入根据记录用的编码方式对从记录介质PROD_A5读出的编码数据进行解码的解码部(未图示)即可。
图26的(b)是表示搭载了层次运动图像解码装置1的接收装置PROD_B的结构的框图。如图26的(b)所示，接收装置PROD_B具备接收调制信号的接收部PROD_B1、通过对接收部PROD_B1接收到的调制信号进行解调而获得编码数据的解调部PROD_B2、通过对解调部PROD_B2获得的编码数据进行解码而获得运动图像的解码部PROD_B3。上述的层次运动图像解码装置1被利用作为该解码部PROD_B3。
接收装置PROD_B作为解码部PROD_B3输出的运动图像的供应目的地，也可以还包括显示运动图像的显示器PROD_B4、用于记录运动图像的记录介质PROD_B5以及用于将运动图像输出到外部的输出端子PROD_B6。在图26的(b)中，例示由接收装置PROD_B具备了这些全部的结构，但也可以省略一部分。
另外，记录介质PROD_B5可以是用于记录没有被编码的运动图像的记录介质，也可以是以与传输用的编码方式不同的记录用的编码方式进行了编码的记录介质。在后者的情况下，只要在解码部PROD_B3和记录介质PROD_B5之间，介入根据记录用的编码方式对从解码部PROD_B3取得的运动图像进行编码的编码部(未图示)即可。
另外，传输调制信号的传输介质可以是无线，也可以是有线。此外，传输调制信号的传输方式可以是广播(这里，是指发送目的地没有预先确定的发送方式)，也可以是通信(这里，是指发送目的地预先确定的发送方式)。即，调制信号的传输也可以通过无线广播、有线广播、无线通信以及有线通信中的任一个而实现。
例如，地面数字广播的广播站(广播设备等)/接收站(电视接收机等)是通过无线广播来发送接收调制信号的发送装置PROD＿A/接收装置PROD＿B的一例。此外，电缆电视广播的广播站(广播设备等)/接收站(电视接收机等)是通过有线广播来发送接收调制信号的发送装置PROD＿A/接收装置PROD＿B的一例。
此外，使用了互联网的VOD(VideoOnDemand，视频点播)服务或动画共享服务等的服务器(工作站等)/客户端(电视接收机、个人计算机、智能手机等)是通过通信来发送接收调制信号的发送装置PROD＿A/接收装置PROD＿B的一例(通常，在LAN中作为传输介质而使用无线或者有线中的任一个，在WAN中作为传输介质而使用有线)。这里，在个人计算机中，包括桌上型PC、膝上型PC以及平板型PC。此外，在智能手机中，还包括多功能便携电话终端。
另外，动画共享服务的客户端除了具有将从服务器下载的编码数据进行解码而在显示器中显示的功能之外，还具有将通过相机拍摄到的运动图像进行编码而上载到服务器中的功能。即，动画共享服务的客户端作为发送装置PROD＿A及接收装置PROD＿B的双方发挥作用。
基于图27，说明能够将上述的层次运动图像编码装置2以及层次运动图像解码装置1利用于运动图像的记录以及再现的情况。图27的(a)是表示搭载了上述的层次运动图像编码装置2的记录装置PROD_C的结构的框图。
如图27的(a)所示，记录装置PROD＿C包括通过对运动图像进行编码而获得编码数据的编码部PROD＿C1以及将编码部PROD＿C1获得的编码数据写入记录介质PROD＿M的写入部PROD＿C2。上述的层次运动图像编码装置2作为该编码部PROD＿C1而被利用。
另外，记录介质PROD＿M既可以是(1)如HDD(HardDiskDrive，硬盘驱动器)或SSD(SolidStateDrive，固态硬盘)等那样内置在记录装置PROD＿C中的类型，也可以是(2)如SD存储卡或USB(UniversalSerialBus，通用串行总线)闪速存储器等那样连接到记录装置PROD＿C的类型，也可以是(3)如DVD(DigitalVersatileDisc，数字视盘)或BD(Blu-rayDisc(注册商标)，蓝光盘)等那样在内置于记录装置PROD＿C中的驱动器装置(未图示)中装填的类型。
此外，记录装置PROD＿C也可以作为对编码部PROD＿C1输入的运动图像的供应源，进一步包括拍摄运动图像的相机PROD＿C3、用于从外部输入运动图像的输入端子PROD＿C4、用于接收运动图像的接收部PROD＿C5以及生成或者加工图像的图像处理部C6。在图27的(a)中，例示了记录装置PROD＿C将这些全部具备的结构，但也可以省略一部分。
另外，接收部PROD＿C5既可以是接收没有进行编码的运动图像的部分，也可以是接收以与记录用的编码方式不同的传输用的编码方式进行了编码的编码数据的部分。在后者的情况下，只要在接收部PROD＿C5和编码部PROD＿C1之间，介入对以传输用的编码方式进行了编码的编码数据进行解码的传输用解码部(未图示)即可。
作为这样的记录装置PROD＿C，例如举出DVD记录器、BD记录器、HDD(HardDiskDrive，硬盘驱动器)记录器等(此时，输入端子PROD＿C4或者接收部PROD＿C5成为运动图像的主要的供应源)。此外，摄像机(此时，相机PROD＿C3成为运动图像的主要的供应源)、个人计算机(此时，接收部PROD＿C5或者图像处理部C6成为运动图像的主要的供应源)、智能手机(此时，相机PROD＿C3或者接收部PROD＿C5成为运动图像的主要的供应源)等也是这样的记录装置PROD＿C的一例。
图27的(b)是表示搭载了上述的层次运动图像解码装置1的再现装置PROD_D的结构的块。如图27的(b)所示，再现装置PROD_D包括读出写入记录介质PROD＿M的编码数据的读出部PROD＿D1、以及通过对读出部PROD＿D1读出的编码数据进行解码而获得运动图像的解码部PROD＿D2。上述的层次运动图像解码装置1作为该解码部PROD＿D2而被利用。
另外，记录介质PROD＿M既可以是(1)如HDD或SSD等那样内置在再现装置PROD＿D中的类型，也可以是(2)如SD存储卡或USB闪速存储器等那样连接到再现装置PROD＿D的类型，也可以是(3)如DVD或BD等那样在内置于再现装置PROD＿D中的驱动器装置(未图示)中装填的类型。
此外，再现装置PROD＿D也可以作为解码部PROD＿D2输出的运动图像的供应目的地，进一步包括显示运动图像的显示器PROD＿D3、用于将运动图像输出到外部的输出端子PROD＿D4以及发送运动图像的发送部PROD＿D5。在图27的(b)中，例示了再现装置PROD＿D将这些全部具备的结构，但也可以省略一部分。
另外，发送部PROD＿D5既可以是发送没有进行编码的运动图像的部分，也可以是发送以与记录用的编码方式不同的传输用的编码方式进行了编码的编码数据的部分。在后者的情况下，只要在解码部PROD＿D2和发送部PROD＿D5之间，介入以传输用的编码方式对运动图像进行编码的编码部(未图示)即可。
作为这样的再现装置PROD＿D，例如举出DVD播放器、BD播放器、HDD播放器等(此时，连接了电视接收机等的输出端子PROD＿D4成为运动图像的主要的供应目的地)。此外，电视接收机(此时，显示器PROD＿D3成为运动图像的主要的供应目的地)、数字标牌(也称为电子挂牌或电子布告牌等，显示器PROD＿D3或者发送部PROD＿D5成为运动图像的主要的供应目的地)、桌上型PC(此时，输出端子PROD＿D4或者发送部PROD＿D5成为运动图像的主要的供应目的地)、膝上型或者平板型PC(此时，显示器PROD＿D3或者发送部PROD＿D5成为运动图像的主要的供应目的地)、智能手机(此时，显示器PROD＿D3或者发送部PROD＿D5成为运动图像的主要的供应目的地)等也是这样的再现装置PROD＿D的一例。
(关于硬件的实现以及软件的实现)
最后，层次运动图像解码装置1、层次运动图像编码装置2的各模块既可以通过在集成电路(IC芯片)上形成的逻辑电路而以硬件方式实现，也可以使用CPU(CentralProcessingUnit，中央处理器)而以软件方式实现。
在后者的情况下，上述各装置包括执行用于实现各功能的控制程序的命令的CPU、存储了上述程序的ROM(ReadOnlyMemory，只读存储器)、展开上述程序的RAM(RandomAccessMemory，随机存取存储器)、存储上述程序以及各种数据的存储器等的存储装置(记录介质)等。并且，通过将实现上述的功能的软件即上述各装置的控制程序的程序代码(执行形式程序、中间代码程序、源程序)以计算机能够读取的方式记录的记录介质提供给上述各装置，其计算机(或者CPU或MPU(MicroProcessingUnit，微处理器))读出在记录介质中记录的程序代码而执行，也能够达成本发明的目的。
作为上述记录介质，例如，能够使用磁带或卡带等的带类、包括软盘(注册商标)/硬盘等的磁盘或CD-ROM(CompactDiscRead-OnlyMemory，光盘只读存储器)/MO(Magneto-Optical，光磁)/MD(MiniDisc，迷你盘)/DVD(DigitalVersatileDisk，数字视频盘)/CD-R(CDRecordable，CD刻录)等的光盘的盘类、IC卡(包括存储卡)/光卡等的卡类、掩模ROM/EPROM(ErasableProgrammableRead-onlyMemory，可擦除可编程序只读存储器)/EEPROM(注册商标)(ElectricallyErasableandProgrammableRead-onlyMemory，电可擦除可编程只读存储器)/闪速ROM等的半导体存储器类、或者PLD(Programmablelogicdevice，可编程逻辑电路)或FPGA(FieldProgrammableGateArray，可编程门阵列)等的逻辑电路类等。
此外，也可以将上述各装置构成为能够与通信网络连接，经由通信网络而提供上述程序代码。该通信网络只要能够传输程序代码即可，没有特别限定。例如，可以利用互联网、内联网、外联网、LAN(LocalAreaNetwork，局域网)、ISDN(IntegratedServicesDigitalNetwork，综合服务数字网络)、VAN(Value-AddedNetwork，增值网络)、CATV(CommunityAntennaTelevision，共用天线电视)通信网、虚拟专用网(virtualprivatenetwork)、电话线路网、移动通信网、卫星通信网等。此外，作为构成该通信网络的传输介质，只要能够传输程序代码的介质即可，并不限定于特定的结构或者种类。例如还能够利用IEEE(InstituteofElectricalandElectronicEngineers，电气与电子工程师协会)1394、USB、电力线传输、电缆TV线路、电话线、ADSL(AsymmetricDigitalSubscriberLine，非对称数字用户线路)线路等的有线，也可以使用IrDA(InfraredDataAssociation，红外数据协会)或遥控那样的红外线、Bluetooth(注册商标)、IEEE802.11无线、HDR(HighDataRate，高数据率)、NFC(NearFieldCommunication，近场通信)、DLNA(DigitalLivingNetworkAlliance，数字生活网络联盟)(注册商标)、移动电话网、卫星线路、地面波数字网等的无线。另外，通过上述程序代码以电子传输而具体化的、埋入载波的计算机数据信号的方式，也能够实现本发明。
本发明并不限定于上述的各实施方式，在权利要求书所示的范围内能够进行各种变更，将在不同的实施方式中分别公开的技术手段适当地组合而获得的实施方式，也包含在本发明的技术范围中。进一步，通过将在各实施方式中分别公开的技术手段进行组合，能够形成新的技术特征。
〔备注事项〕
为了解决上述课题，本发明的图像解码装置是对在进行了层次编码的编码数据中包含的上位层的编码数据进行解码，恢复作为对象层的上位层的解码图片的图像解码装置，其特征在于，所述图像解码装置具备：参数集解码部，对参数集进行解码；以及预测图像生成部，参照参照层图片的解码像素，通过层间预测而生成预测图像，所述参数集解码部对对象层像素和与该对象层像素对应的参照层图片上的位置所涉及的信息即层间相位对应信息进行解码。
此外，优选在上述图像解码装置中，所述层间相位对应信息包括表示参照层对应区域的左上像素和与该参照层对应区域的左上像素对应的对应参照位置之间的差分的量、即参照层相位偏移。
此外，优选在上述图像解码装置中，所述层间相位对应信息包括表示在参数集中包含的所述参照层相位偏移数的量、即参照层相位偏移数。
此外，优选在上述图像解码装置中，在所述参照层相位偏移没有从参数集进行解码的情况下，所述参照层相位偏移的各值被设定为0。
此外，优选在上述图像解码装置中，所述层间相位对应信息包括表示上位层上的基准像素相对于参照层对应区域的左上像素的位置的量、即基准像素偏移。
此外，优选在上述图像解码装置中，所述基准像素偏移表示的基准像素是水平方向的位置与所述参照层对应区域的左上像素相同或者位于左侧、且垂直方向的位置与所述参照层对应区域的左上像素相同或者位于上侧的像素，与该基准像素对应的参照例层位置以像素单位为整数位置。
此外，优选在上述图像解码装置中，所述预测图像生成部在层间预测执行时，执行导出与预测对象像素对应的参照层位置的对应参照位置导出处理，所述对应参照位置导出处理基于所述层间相位对应信息而导出参照层位置。
此外，优选在上述图像解码装置中，所述对应参照位置导出处理包括以下处理：导出相当于与预测对象像素对应的参照层像素的位置的暂定参照位置的处理；以及基于所述层间相位对应信息而导出相位偏移的处理。
此外，优选在上述图像解码装置中，所述对应参照位置导出处理在以两者的单位一致的方式应用了变换的基础上，对所述暂定参照位置加上所述相位偏移，从而导出所述相位偏移。
为了解决上述课题，本发明的图像编码装置是根据输入图像而生成上位层的编码数据的图像编码装置，其特征在于，所述图像编码装置具备：参数集解码部，对参数集进行解码；以及预测图像编码部，参照参照层图片的解码像素，通过层间预测而生成预测图像，所述参数集解码部对对象层像素和与该对象层像素对应的参照层图片上的位置所涉及的信息即层间相位对应信息进行编码，所述预测图像编码部在层间预测执行时，基于所述层间相位对应信息，执行导出与预测对象像素对应的参照层位置的对应参照位置导出处理。
为了解决上述课题，本发明的层次编码数据变换装置是将被输入的层次编码数据基于被输入的关注区域信息进行变换，并输出变换后的层次编码数据的层次编码数据变换装置，其特征在于，所述层次编码数据变换装置具备：参数集解码部，从输入的层次编码数据解码修正前参数集；参数集修正部，基于输入的关注区域信息，对修正前参数集进行修正而生成修正后参数集；以及NAL选择部，基于所述瓦片信息和所述关注区域信息，选择在输出层次编码数据中包含的编码层NAL，所述NAL选择部将至少一部分区域与所述关注区域信息表示的关注区域重复的瓦片作为提取对象瓦片，选择与在该提取对象瓦片中包含的切片对应的视频编码层NAL作为在变换后的层次编码数据中包含的视频编码层NAL，所述参数集修正部基于所述提取对象瓦片，对在参数集中包含的图片大小和瓦片信息进行修正。
此外，优选在上述图像解码装置中，所述参数集修正部将在参数集中包含的显示区域信息修正为与关注区域信息一致。
此外，优选在上述图像解码装置中，所述参数集还包括层间像素对应信息和层间相位对应信息，所述参数集修正部对所述层间像素对应信息和所述层间相位对应信息进行修正，使得与变换后的层次编码数据中的上位层的像素对应的参照层上的位置靠近与变换前的层次编码数据中的上位层的像素对应的参照层位置。
产业上的可利用性
本发明能够适合应用于对图像数据层次性地进行了编码的编码数据进行解码的层次运动图像解码装置、以及生成图像数据层次性地进行了编码的编码数据的层次运动图像编码装置。此外，能够适合应用于由层次运动图像编码装置生成、由层次运动图像解码装置参照的层次编码数据的数据结构。
附图标记说明
1层次运动图像解码装置(图像解码装置)
11NAL解复用部
12参数集解码部
13瓦片设定部
14切片解码部
141切片头部解码部
142切片位置设定部
144CTU解码部
1441预测残差恢复部
1442预测图像生成部
1443CTU解码图像生成部
15基本解码部
151可变长解码部
152基本参数集解码部
153基本图片解码部
154基本切片解码部
156基本解码图片管理部
16解码图片管理部
2层次运动图像编码装置(图像编码装置)
21NAL复用部
22参数集编码部
23瓦片设定部
24切片编码部
241切片头部设定部
242切片位置设定部
244CTU编码部
2441预测残差编码部
2442预测图像编码部
3层次编码数据变换装置(编码数据变换装置)
32参数集修正部
34NAL选择部

Claims (8)

1.一种图像解码装置，对在进行了层次编码的编码数据中包含的上位层的编码数据进行解码，恢复作为对象层的上位层的解码图片，其特征在于，所述图像解码装置具备：
参数集解码部，对参数集进行解码；以及
预测图像生成部，参照参照层图片的解码像素，通过层间预测而生成预测图像，
所述参数集解码部对对象层像素和与该对象层像素对应的参照层图片上的位置所涉及的信息即层间相位对应信息进行解码。
2.如权利要求1所述的图像解码装置，其特征在于，
所述参数集解码部对表示将对象层图片的各边作为基准的参照层对应区域的各边的偏移的层间像素对应偏移进行解码，
所述预测图像生成部通过使用层间大小比率，对将使用所述层间像素对应偏移而导出的参照层对应区域的第一像素作为基准的对象层像素的位置进行比例变化，从而导出暂定参照位置，
使用从所述层间相位对应信息导出的参照层相位偏移和所述暂定参照位置，导出对应参照位置。
3.如权利要求2所述的图像解码装置，其特征在于，
所述层间相位对应信息包括作为表示在参数集中包含的参照层相位偏移数的量的参照层相位偏移数。
4.如权利要求2所述的图像解码装置，其特征在于，
所述参数集解码部作为层间相位对应信息而对参照层裁剪偏移进行解码，
所述预测图像生成部使用所述参照层裁剪偏移和层间大小比率，导出所述参照层相位偏移。
5.一种图像编码装置，根据输入图像而生成上位层的编码数据，其特征在于，所述图像编码装置具备：
参数集解码部，对参数集进行解码；以及
预测图像编码部，参照参照层图片的解码像素，通过层间预测而生成预测图像，
所述参数集解码部对对象层像素和与该对象层像素对应的参照层图片上的位置所涉及的信息即层间相位对应信息进行编码，
所述预测图像编码部在层间预测执行时，基于所述层间相位对应信息，执行导出与预测对象像素对应的参照层位置的对应参照位置导出处理。
6.一种层次编码数据变换装置，将被输入的层次编码数据基于被输入的关注区域信息进行变换，并输出变换后的层次编码数据，其特征在于，所述层次编码数据变换装置具备：
参数集解码部，根据输入的层次编码数据解码修正前参数集；
参数集修正部，基于输入的关注区域信息，对修正前参数集进行修正而生成修正后参数集；以及
NAL选择部，基于瓦片信息和所述关注区域信息，选择在输出层次编码数据中包含的编码层NAL，
所述NAL选择部将至少一部分区域与所述关注区域信息表示的关注区域重复的瓦片作为提取对象瓦片，选择与在该提取对象瓦片中包含的切片对应的视频编码层NAL作为在变换后的层次编码数据中包含的视频编码层NAL，
所述参数集修正部基于所述提取对象瓦片，对在参数集中包含的图片大小和瓦片信息进行修正。
7.如权利要求6所述的层次编码数据变换装置，其特征在于，
所述参数集修正部将在参数集中包含的显示区域信息修正为与关注区域信息一致。
8.如权利要求6或7所述的层次编码数据变换装置，其特征在于，
所述参数集还包括层间像素对应信息和层间相位对应信息，
所述参数集修正部对所述层间像素对应信息和所述层间相位对应信息进行修正，使得与变换后的层次编码数据中的上位层的像素对应的参照层上的位置靠近与变换前的层次编码数据中的上位层的像素对应的参照层位置。
CN201480052141.6A 2013-10-08 2014-10-07 图像解码装置、图像编码装置以及编码数据变换装置 Pending CN105580370A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-211231 2013-10-08
JP2013211231 2013-10-08
PCT/JP2014/076853 WO2015053287A1 (ja) 2013-10-08 2014-10-07 画像復号装置、画像符号化装置、および、符号化データ変換装置

Publications (1)

Publication Number Publication Date
CN105580370A true CN105580370A (zh) 2016-05-11

Family

ID=52813103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480052141.6A Pending CN105580370A (zh) 2013-10-08 2014-10-07 图像解码装置、图像编码装置以及编码数据变换装置

Country Status (6)

Country Link
US (1) US10225567B2 (zh)
EP (1) EP3057327A4 (zh)
JP (1) JP6363088B2 (zh)
CN (1) CN105580370A (zh)
HK (1) HK1223471A1 (zh)
WO (1) WO2015053287A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108156459A (zh) * 2016-12-02 2018-06-12 北京中科晶上科技股份有限公司 可伸缩视频传输方法及系统
CN109525842A (zh) * 2018-10-30 2019-03-26 深圳威尔视觉传媒有限公司 基于位置的多Tile排列编码方法、装置、设备和解码方法
CN110100442A (zh) * 2016-12-27 2019-08-06 索尼公司 图像处理装置和方法
WO2021185311A1 (en) * 2020-03-20 2021-09-23 Mediatek Inc. Method and apparatus for signaling tile and slice partition information in image and video coding

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105981386B (zh) 2013-12-06 2019-02-26 华为技术有限公司 图像解码装置、图像编码装置及编码数据变换装置
JP6560230B2 (ja) * 2014-01-02 2019-08-14 ヴィド スケール インコーポレイテッド インターレースおよびプログレッシブ混合のコンテンツを用いるスケーラブルビデオコーディングのための方法およびシステム
CN106105208B (zh) * 2014-01-09 2020-04-07 三星电子株式会社 可伸缩视频编码/解码方法和设备
US10051281B2 (en) * 2014-05-22 2018-08-14 Apple Inc. Video coding system with efficient processing of zooming transitions in video
US10178394B2 (en) * 2016-06-10 2019-01-08 Apple Inc. Transcoding techniques for alternate displays
EP3293981A1 (en) * 2016-09-08 2018-03-14 Koninklijke KPN N.V. Partial video decoding method, device and system
KR20230079466A (ko) * 2017-04-11 2023-06-07 브이아이디 스케일, 인크. 면 연속성을 사용하는 360 도 비디오 코딩
CN110022481B (zh) 2018-01-10 2023-05-02 中兴通讯股份有限公司 视频码流的解码、生成方法及装置、存储介质、电子装置
CN112204978B (zh) * 2018-06-01 2024-03-15 夏普株式会社 图像解码装置以及图像编码装置
US10848768B2 (en) * 2018-06-08 2020-11-24 Sony Interactive Entertainment Inc. Fast region of interest coding using multi-segment resampling
CN112997502B (zh) 2018-12-07 2024-04-26 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法
WO2020130925A1 (en) * 2018-12-20 2020-06-25 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for video coding using uniform segment split in pictures
US11659201B2 (en) * 2019-08-16 2023-05-23 Qualcomm Incorporated Systems and methods for generating scaling ratios and full resolution pictures
BR112022005394A2 (pt) * 2019-09-24 2022-06-21 Huawei Tech Co Ltd Simplificação de dependência de mensagem sei em codificação de vídeo
CN116189309B (zh) * 2022-11-16 2024-01-30 北京理工大学 一种处理人体运动数据的方法及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100158116A1 (en) * 2006-11-17 2010-06-24 Byeong Moon Jeon Method and apparatus for decoding/encoding a video signal

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2661981C (en) * 2006-11-09 2013-01-15 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
KR101721559B1 (ko) * 2012-08-06 2017-03-30 브이아이디 스케일, 인크. 다중-레이어 비디오 코딩에서 공간적 레이어들에 대한 샘플링 그리드 정보
US9774927B2 (en) * 2012-12-21 2017-09-26 Telefonaktiebolaget L M Ericsson (Publ) Multi-layer video stream decoding
US9426468B2 (en) * 2013-01-04 2016-08-23 Huawei Technologies Co., Ltd. Signaling layer dependency information in a parameter set
US9998735B2 (en) * 2013-04-01 2018-06-12 Qualcomm Incorporated Inter-layer reference picture restriction for high level syntax-only scalable video coding
US9503733B2 (en) * 2013-04-10 2016-11-22 ARRIS Enterprises, LLC Re-sampling with phase offset adjustment for luma and chroma to signal adaptive filters in scalable video coding
US9578328B2 (en) * 2013-07-15 2017-02-21 Qualcomm Incorporated Cross-layer parallel processing and offset delay parameters for video coding
WO2015009068A1 (ko) * 2013-07-16 2015-01-22 삼성전자 주식회사 비트 뎁스 및 컬러 포맷의 변환을 동반하는 업샘플링 필터를 이용하는 스케일러블 비디오 부호화 방법 및 장치, 스케일러블 비디오 복호화 방법 및 장치
JPWO2015053330A1 (ja) * 2013-10-10 2017-03-09 シャープ株式会社 画像復号装置
DE102014115310A1 (de) * 2014-10-21 2016-04-21 Infineon Technologies Ag Bilderzeugungsvorrichtungen und ein Laufzeit-Bilderzeugungsverfahren

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100158116A1 (en) * 2006-11-17 2010-06-24 Byeong Moon Jeon Method and apparatus for decoding/encoding a video signal

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DO-KYOUNG KWON ET AL: "Reference-layer cropping offsets signaling in SHVC", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC1/SC 29/WG11,JCTVC-M0219-R2,13TH MEETING:INCHEON,KR,2013.04,PP.L-5》 *
JIE DONG ET AL.: "Upsampling based on sampling grid information for aligned inter layer prediction", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC1/SC 29/WG11,JCTVC-M0188-R1,13TH MEETING:INCHEON,KR,2013.04,PP.L-11》 *
KEMAL UGUR ET AL.: "AHG13: Signaling phase offset for upsampling in SHVC", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC1/SC29/WG11,JCTVC-M0231-R2,13TH MEETING:INCHEON,KR,2013.04,PP.L-3》 *
KOOHYAR MINOO ET AL: "AHG13: SHVC Upsampling with phase offset adjustment", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC1/SC29/WG11,JCTVC-M0263-R1,13TH MEETING:INCHEON,KR,2013.04,PP.L-3》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108156459A (zh) * 2016-12-02 2018-06-12 北京中科晶上科技股份有限公司 可伸缩视频传输方法及系统
CN110100442A (zh) * 2016-12-27 2019-08-06 索尼公司 图像处理装置和方法
CN110100442B (zh) * 2016-12-27 2022-04-15 索尼公司 图像处理装置和方法
US11336909B2 (en) 2016-12-27 2022-05-17 Sony Corporation Image processing apparatus and method
CN109525842A (zh) * 2018-10-30 2019-03-26 深圳威尔视觉传媒有限公司 基于位置的多Tile排列编码方法、装置、设备和解码方法
CN109525842B (zh) * 2018-10-30 2022-08-12 深圳威尔视觉科技有限公司 基于位置的多Tile排列编码方法、装置、设备和解码方法
WO2021185311A1 (en) * 2020-03-20 2021-09-23 Mediatek Inc. Method and apparatus for signaling tile and slice partition information in image and video coding

Also Published As

Publication number Publication date
US20160255354A1 (en) 2016-09-01
EP3057327A4 (en) 2017-05-17
JPWO2015053287A1 (ja) 2017-03-09
WO2015053287A1 (ja) 2015-04-16
EP3057327A1 (en) 2016-08-17
US10225567B2 (en) 2019-03-05
HK1223471A1 (zh) 2017-07-28
JP6363088B2 (ja) 2018-07-25

Similar Documents

Publication Publication Date Title
CN105580370A (zh) 图像解码装置、图像编码装置以及编码数据变换装置
US10142653B2 (en) Image decoding apparatus, image coding apparatus, and coded data transformation apparatus
TWI589152B (zh) 圖像解碼裝置、圖像編碼裝置以及編碼資料轉換裝置
US10237564B1 (en) Image decoding device, image decoding method, image coding device, and image coding method
US20200260072A1 (en) Image coding method using history-based motion information and apparatus for the same
CN105519119A (zh) 图像解码装置
US10841600B2 (en) Image decoding device, an image encoding device and a decoding method
CN105409220B (zh) 用于视频译码的经解码图片缓冲器操作
CN104054343B (zh) 图像解码装置、图像编码装置
CN105284113A (zh) 分量间滤波
CN104718752A (zh) 在可缩放视频译码中减少取样相位信息的发信
CN111418206A (zh) 使用mpm列表的基于帧内预测的视频编码方法及其装置
CN105052142A (zh) 仅高级语法shvc中的一般化残余预测及其信令和管理
CN104081778B (zh) 并行运动估计范围大小的隐含推导
TW201448574A (zh) 圖像解碼裝置以及圖像編碼裝置
CN104956676A (zh) 层间语法预测控制
CN113767625A (zh) 基于mpm列表的帧内预测方法及其设备
WO2020175918A1 (ko) 단일화된 mpm 리스트를 사용하는 인트라 예측 기반 영상 코딩 방법 및 장치
WO2020175951A1 (ko) 단일화된 mpm 리스트 기반 인트라 예측
JP2015073213A (ja) 画像復号装置、画像符号化装置、符号化データ変換装置、および、注目領域表示システム
JPWO2015098713A1 (ja) 画像復号装置および画像符号化装置
CN114747215A (zh) 调色板编码或变换单元的基于量化参数信息的图像或视频编码

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1223471

Country of ref document: HK

WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160511

WD01 Invention patent application deemed withdrawn after publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1223471

Country of ref document: HK