CN105453564A - 支持多个层的图像编码和解码方法以及使用该方法的装置 - Google Patents

支持多个层的图像编码和解码方法以及使用该方法的装置 Download PDF

Info

Publication number
CN105453564A
CN105453564A CN201480043602.3A CN201480043602A CN105453564A CN 105453564 A CN105453564 A CN 105453564A CN 201480043602 A CN201480043602 A CN 201480043602A CN 105453564 A CN105453564 A CN 105453564A
Authority
CN
China
Prior art keywords
reference picture
layer
pictures
picture
collection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480043602.3A
Other languages
English (en)
Other versions
CN105453564B (zh
Inventor
李培根
金柱英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KT Corp
Original Assignee
KT Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020130125928A external-priority patent/KR102179125B1/ko
Application filed by KT Corp filed Critical KT Corp
Priority claimed from PCT/KR2014/006793 external-priority patent/WO2015016536A1/ko
Publication of CN105453564A publication Critical patent/CN105453564A/zh
Application granted granted Critical
Publication of CN105453564B publication Critical patent/CN105453564B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/439—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using cascaded computational arrangements for performing a single operation, e.g. filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种根据本发明的支持多个层的图像解码方法可以包括以下步骤：接收与当前图片能够参考的一个或更多个参考层的层间参考图片集被添加至参考图片列表中的位置有关的位置信息；基于该位置信息来生成包括层间参考图片集的初始参考图片列表；以及基于初始参考图片列表来预测当前图片。因此，本发明提供了一种用于用信号传递与层间参考图片被添加至参考图片列表中的位置有关的位置信息的方法以及使用该方法的装置。

Description

支持多个层的图像编码和解码方法以及使用该方法的装置
技术领域
本发明总体上涉及视频压缩技术，并且更特别地涉及用于执行支持多层结构的视频编码的方法和装置。
背景技术
近来，在各应用领域中，对高分辨率、高质量视频例如HD(高清晰度)视频和UHD(超高清)视频的需求不断增加。因为视频数据具有高分辨率、高质量图像，所以数据量高于现有视频数据。因此，当使用诸如现有的有线和无线宽带线路等介质来传送视频数据或者将视频数据存储于现有的存储介质中时，传送成本和存储成本增加。为了解决由高分辨率、高质量视频数据引起的这些问题，可以使用高效视频压缩技术。
对于视频压缩技术，存在例如下述的各种技术：帧间预测技术，其用于根据在当前图片之前或之后的图片来预测包括在当前图片中的像素的值；帧内预测技术，其用于使用与包括在当前图片中的像素有关的信息来预测当前图片中的像素的值；熵编码技术，在熵编码技术中，对最频繁使用的值分配最短的码并且对最不频繁使用的值分配最长的码；等等。可以使用这些视频压缩技术来有效地压缩视频数据，并且然后可以对视频数据进行传送或存储。
发明内容
技术问题
本发明的实施方式的目的在于提供一种用于针对当前要编码和解码的目标层来生成包括另外层的图片的参考图片列表的方法以及使用该方法的装置。
本发明的实施方式的另一目的在于提供一种用于根据图片集的特性来将另外层的图片自适应地包括在参考图片列表中的方法以及使用该方法的装置。
本发明的另外的实施方式的目的在于提供一种用于对另外层的参考图片进行划分并且将所划分的参考图片包括在参考图片列表中的方法以及使用该方法的装置。
本发明的其他实施方式的另外的目的在于提供一种用于根据视图的次序来将另外层的参考图片自适应地包括在参考图片列表中的方法以及使用该方法的装置。
本发明的其他实施方式的另外的目的在于提供一种用于根据当前图片的时间子层的索引值来将另外层的图片自适应地包括在参考图片列表中的方法以及使用该方法的装置。
本发明的另外的实施方式的目的在于提供一种用于根据层的时间子层的索引值之间的差异来将另外层的图片自适应地包括在参考图片列表中的方法以及使用该方法的装置。
本发明的又一实施方式的目的在于提供一种用于用信号传递与层间参考图片被添加至参考图片列表中的位置有关的位置信息的方法以及使用该方法的装置。
技术方案
根据本发明的实施方式的支持多个层的、对视频进行解码的视频解码方法包括：接收与当前图片能够参考的至少一个参考层的层间参考图片集要被添加至参考图片列表中的位置有关的信息；基于该位置信息来生成包括层间参考图片集的初始参考图片列表；以及基于初始参考图片列表来对当前图片执行预测。
视频解码方法还可以包括生成短期参考图片集和长期参考图片集，短期参考图片集和长期参考图片集均包括存在于与当前图片的层相同的层中的图片，其中，生成初始参考图片列表被配置成基于位置信息来将层间参考图片集添加至初始参考图片列表中的由该位置信息指示的位置。
可以按位置信息被包括在切片头部或序列头部中的方式来接收位置信息。
接收位置信息可以包括：接收指示下述指示索引是否已被传送的指示标记，所述指示索引指示当前图片能够参考的层间参考图片要被添加至初始参考图片列表中的位置；以及当指示标记为1时，接收指示索引。
可以按指示标记被包括在每个层的视频参数集中的方式来接收指示标记。
可以按指示索引被包括在切片头部或序列头部中的方式来接收指示索引。
初始参考图片列表可以包括初始参考图片列表0，并且初始参考图片列表0可以按照下述次序来构造：包括图片顺序计数(POC)比当前图片的POC小的短期参考图片的短期参考图片集；层间参考图片集；包括POC比当前图片的POC大的短期参考图片的短期参考图片集；以及包括长期参考图片的长期参考图片集。
初始参考图片列表可以包括初始参考图片列表1，并且初始参考图片列表1可以按照下述次序来构造：包括POC比当前图片的POC大的短期参考图片的短期参考图片集；层间参考图片集；包括POC比当前图片的POC小的短期参考图片的短期参考图片集；以及包括长期参考图片的长期参考图片集。
层间参考图片集可以包括第一子参考层图片集和第二子参考层图片集，并且第一子参考层图片集和第二子参考层图片集在初始参考图片列表中被分隔并排列。
层间参考图片集可以包括多视图参考层图片，初始参考图片列表可以包括初始参考图片列表0，并且初始参考图片列表0按照下述次序来排列：包括POC比当前图片的POC小的短期参考图片的短期参考图片集；包括在多视图参考层图片中的、视图次序位置比当前图片的视图次序位置低的图片的第一子参考层图片集；包括POC比当前图片的POC大的短期参考图片的短期参考图片集；包括长期参考图片的长期参考图片集；以及包括在多视图参考层图片中的、视图次序位置比当前图片的视图次序位置高的图片的第二子参考层图片集。
层间参考图片集可以包括多视图参考层图片，初始参考图片列表包括初始参考图片列表1，并且初始参考图片列表1按照下述次序来排列：包括POC比当前图片的POC大的短期参考图片的短期参考图片集；包括在多视图参考层图片中的、视图次序位置比当前图片的视图次序位置高的图片的第二子参考层图片集；包括POC比当前图片的POC小的短期参考图片的短期参考图片集；包括长期参考图片的长期参考图片集；以及包括在多视图参考层图片中的、视图次序位置比当前图片的视图次序位置低的图片的第一子参考层图片集。
视频解码方法还可以包括接收下述标记信息，该标记信息指示层间参考图片集是否被分隔成至少两个子参考层图片集并且随后被添加至参考图片列表。
视频解码方法还可以包括：当标记信息为1时，接收与层间参考图片集被分隔成的子参考层图片集的数目有关的信息。
可以基于当前图片的时间子层的索引(tempralId)来执行生成层间参考图片集。
可以基于被允许层间预测的时间子层的最大数目来执行生成层间参考图片集。
视频解码方法还可以包括通过修改初始参考图片列表来生成最终参考图片列表。
对当前图片执行预测可以被配置成将包括在所述层间参考图片集中的参考图片用作当前图片的参考图片。
根据本发明的另外的实施方式的支持多层的、用于对视频进行解码的视频解码装置包括：熵解码部，用于对下述信息进行解码，所述信息是对经由位流接收的视频进行预测和解码所需的信息；以及预测部，用于：得到与当前图片能够参考的至少一个参考层的层间参考图片集要被添加至参考图片列表中的位置有关的信息；基于位置信息来生成包括层间参考图片集的初始参考图片列表；以及基于初始参考图片列表来对当前图片执行预测。
有益效果
根据本发明的实施方式，提供了一种用于针对当前要编码和解码的目标层来生成包括另外层的图片的参考图片列表的方法以及使用该方法的装置。
另外，根据本发明的实施方式，提供了一种用于根据图片集的特性来将另外层的图片自适应地包括在参考图片列表中的方法以及使用该方法的装置。
同时，根据本发明的另外的实施方式，提供了一种用于对另外层的参考图片进行划分并且将所划分的参考图片包括在参考图片列表中的方法以及使用该方法的装置。
根据本发明的其他实施方式，提供了一种用于根据视图的次序来将另外层的参考图片自适应地包括在参考图片列表中的方法以及使用该方法的装置。
此外，根据本发明的其他实施方式，提供了一种用于根据当前图片的时间子层的索引值来将另外层的图片自适应地包括在参考图片列表中的方法以及使用该方法的装置。
根据本发明的另外的实施方式，提供了一种用于根据层的时间子层的索引值之间的差异来将另外层的图片自适应地包括在参考图片列表中的方法以及使用该方法的装置。
根据本发明的又一实施方式，提供了一种用于用信号传递与层间参考图片被添加至参考图片列表中的位置有关的位置信息的方法以及使用该方法的装置。
附图说明
图1为示意性地示出根据本发明的实施方式的编码装置的框图；
图2为示意性地示出根据本发明的实施方式的解码装置的框图；
图3为示出包括短期参考图片的参考图片集的示例的概念图；
图4为示出用于得到长期参考图片的图片顺序计数(POC)的方法的概念图。
图5为示出构造了参考图片列表的示例的图；
图6为示出根据本发明的实施方式的构造了层间参考图片列表的示例的概念图；
图7为示出根据本发明的实施方式来构造参考图片列表0的图；
图8为示出根据本发明的另一实施方式的构造参考图片列表0的图；
图9为示出根据本发明的实施方式的构造参考图片列表1的图；
图10为根据本发明的另一实施方式的构造参考图片列表1的图；
图11示出了根据本发明的实施方式的使用时间子层索引构造的参考图片列表；
图12示出根据本发明的实施方式的使用多视图参考图片所构造的参考图片列表；
图13是示出根据本发明的实施方式的用于生成参考图片列表的方法的图；以及
图14是示出根据本发明的另一实施方式的用于生成参考图片列表的方法的图。
最优实施方式
根据本发明的实施方式的用于对支持多个层的视频进行解码的视频解码方法包括：接收与当前图片能够参考的至少一个参考层的层间参考图片集要被添加至参考图片列表中的位置有关的信息；基于该位置信息生成包括层间参考图片集的初始参考图片列表；以及基于初始参考图片列表来对当前图片执行预测。
视频解码方法还可以包括生成短期参考图片集和长期参考图片集，短期参考图片集和长期参考图片集均包括存在于与当前图片的层相同的层中的图片，其中，生成初始参考图片列表被配置成基于位置信息将层间参考图片集添加至初始参考图片列表中的由位置信息所指示的位置。
可以按位置信息被包括在切片头部或序列头部中的方式来接收位置信息。
接收位置信息可以包括接收表明指示索引是否已被传送的指示标记，所述指示索引指示当前图片能够参考的层间参考图片要被添加至初始参考图片列表中的位置；以及当指示标记是1时接收指示索引。
可以按指示标记被包括在每个层的视频参数集中的方式来接收指示标记。
可以按指示索引被包括在切片头部或序列头部的方式来接收指示索引。
初始参考图片列表可以包括初始参考图片列表0，并且初始参考图片列表0可以按照下述次序来构造：包括图片顺序计数(POC)比当前图片的POC小的短期参考图片的短期参考图片集；层间参考图片集；包括POC比当前图片的POC大的短期参考图片的短期参考图片集；以及包括长期参考图片的长期参考图片集。
初始参考图片列表可以包括初始参考图片列表1，并且初始参考图片列表1可以按照下述次序来构造：包括POC比当前图片的POC大的短期参考图片的短期参考图片集；层间参考图片集；包括POC比当前图片的POC小的短期参考图片的短期参考图片集；以及包括长期参考图片的长期参考图片集。
层间参考图片集可以包括第一子参考层图片集和第二子参考层图片集，并且第一子参考层图片集和第二子参考层图片集在初始参考图片列表中被分开并排列。
层间参考图片集可以包括多视图参考层图片，初始参考图片列表可以包括初始参考图片列表0，并且初始参考图片列表0按照下述次序来排列：包括POC比当前图片的POC小的短期参考图片的短期参考图片集；包括多视图参考层图片中的、视图次序位置比当前图片的视图次序位置低的图片的第一子参考层图片集；包括POC比当前图片的POC大的短期参考图片的短期参考图片集；包括长期参考图片的长期参考图片集；以及包括多视图参考层图片中的、视图次序位置比当前图片的视图次序位置高的图片的第二子参考层图片集。
层间参考图片集可以包括多视图参考层图片，初始参考图片列表包括初始参考图片列表1，并且初始参考图片列表1按照下述次序来排列：包括POC比当前图片的POC大的短期参考图片的短期参考图片集；包括多视图参考层图片中的、视图次序位置比当前图片的视图次序位置高的图片的第二子参考层图片集；包括POC比当前图片的POC小的短期参考图片的短期参考图片集；包括长期参考图片的长期参考图片集；以及包括多视图参考图片中的、视图次序位置的比当前图片的视图次序位置低的图片的第一子参考层图片集。
视频解码方法还可以包括：接收指示层间参考图片集是否被分成至少两个子参考层图片集并且随后被添加至参考图片列表的标记信息。
视频解码方法还可以包括：当标记信息是1时，接收与由层间参考图片集所划分成的多个子参考层图片集的数目有关的信息。
可以基于当前图片的时间子层的索引(tempralId)来执行生成层间参考图片集。
可以基于允许层间预测的时间子层的最大数目来执行生成层间参考图片集。
视频解码方法还可以包括：通过修改初始参考图片列表来生成最终参考图片列表。
对当前图片执行预测可以被配置成将包括在层间参考图片集中的参考图片用作当前图片的参考图片。
根据本发明的另一实施方式的支持多个层的、用于对视频进行解码的视频解码装置包括：熵解码部，其用于对下述信息进行解码，所述信息是对经由位流所接收的视频进行预测和解码所需的信息；以及预测部，其用于：得到与当前图片能够参考的至少一个参考层的层间参考图片集要被添加至参考图片列表中的位置有关的信息，基于位置信息来生成包括层间参考图片集的初始参考图片列表，以及基于初始参考图片列表来对当前图片执行预测。
具体实施方式
在本发明的实施方式和附图中描述的元件模块被独立示出以指示视频编码装置的不同的和特有的功能。然而，这并不意味着元件模块中的每一个均由单独的硬件块或软件块来形成。即，为了描述的方便来布置和包括元件模块，并且元件模块中的至少两个元件模块可以形成一个元件模块，或者可以将一个元件模块划分成多个元件模块以执行它们自己的功能。除非将元件模块集成的实施方式以及将元件模块分开的实施方式偏离本发明的本质，否则其均包括在本发明的范围内。
此外，本发明中所公开的一些元件并非用于执行本质功能的必要元件，而可以是用于仅改善性能的可选元件。本发明可以在没有仅用于改善性能的元件的情况下，仅使用用于实现本发明的本质的必要元件来实现，并且包括仅必要元件而非仅用于改善性能的可选元件的结构包括在本发明的范围内。
本发明可以用各种方式进行改变并且可以具有各种实施方式，以及下面将参考附图来详细描述特定的实施方式。然而，应该理解的是，这些实施方式并不意图将本发明限于特定的公开形式，而是它们包括包含在本发明的精神或范围内的所有改变、等价物或修改。本说明书中使用的术语仅用于描述特定的实施方式，而并不意图限制本发明。除非在上下文中特别指出相反的描述，否则单数表达包括复数表达。在本说明书中，应当理解的是，例如“包括”或“具有”的术语仅意图指示特征、数目、步骤、操作、部件、部分或其组合的存在，而不意图排除一个或更多个其它特征、数目、步骤、操作、部件、部分或其组合将存在或被添加的可能性。
在下文中，将参照附图来详细描述本发明的实施方式。在本发明的以下描述中，相同的附图标记贯穿附图将被用于指定相同或类似的部件，并且将省略对于相同部件的重复描述。
支持位流中的多个层的视频编码和解码被称为“可伸缩编码”。因为在多个层之间存在强相关，所以可以移除数据中的重复元素，并且如果基于这样的相关来执行预测，则可以改善视频的编码性能。在下文中，使用与另一层有关的信息来对作为预测的目标的当前层进行预测，这被称为“层间预测”。
分辨率、帧速率和颜色格式中的至少一个可以在多个层之间不同，并且可以执行上采样或下采样以在层间预测期间调整分辨率。
图1为示意性地示出根据本发明的实施方式的编码装置的框图。
根据本发明的编码装置100包括用于上层的编码单元100a和用于下层的编码单元100b。
可以将上层称为当前层或者增强层，以及可以将下层称为参考层或基本层。分辨率、帧速率和颜色格式中的至少一个可以在上层与下层之间不同。当对于层间预测需要改变分辨率时，可以对层执行上采样或下采样。
用于上层的编码单元100a可以包括划分单元110、预测单元100、帧内预测单元121、帧间预测单元122、层间预测单元123、变换单元130、量化单元140、重新布置单元150、熵编码单元160、逆量化单元(inversequantizationunit)170、逆变换单元180、滤波器单元190、存储器195和复用器(MUX)197。
用于下层的编码单元100b可以包括划分单元111、预测单元125、帧内预测单元126、帧间预测单元127、变换单元131、量化单元141、重新布置单元151、熵编码单元161、逆量化单元171、逆变换单元181、滤波器单元191和存储器196。
可以通过在下面将描述的本发明的实施方式中描述的视频编码方法来实现编码单元，但是可以不执行一些单元的操作以便减小编码装置的复杂性或者实现快速实时编码。例如，在预测单元执行帧内预测时，可以针对实时编码来执行从有限数目的帧内预测模式中选择一个并且将所选的一个设置为最终的帧内预测模式的方法，而不是执行将所有帧内预测模式方法用于选择最优的帧内编码方法的方法。在另一示例中，用于帧内预测或帧间预测的预测块的形状可以具有有限的形式。
在编码装置中处理的块的单元可以为用于执行编码的编码单元、用于执行预测的预测单元或者用于执行变换的变换单元。可以将编码单元、预测单元和变换单元分别表示为CU、PU和TU。
划分单元110和划分单元111中每一个均可以将层图片划分成编码块、预测块和变换块的多个组合，并且可以通过基于预定的参考(例如，成本函数)选择编码块、预测块和变换块的一个组合来对层进行划分。例如，为了将层图片划分成编码单元，可以使用递归树结构例如四叉树结构。在下文中，在本发明的实施方式中，编码块可以不仅指用于编码的块，而且可以指用于解码的块。
预测块可以是用于执行预测(例如帧内预测或帧间预测)的单元。用于帧内预测的块可以是具有正方形的形式的块，例如2N×2N或N×N。作为用于帧间预测的块，存在下述块：正方形形式的块，例如2N×2N和N×N；通过对具有正方形形式的预测块进行二等分而获得的2N×N和N×2N形式的块；以及通过使用非对称运动划分(AMP)的预测块划分方法所获得的具有不对称形式的块。变换单元115可以根据预测块的形式来使用不同的变换方法。
编码单元100a和编码单元100b的预测单元120和预测单元125中的每一个可以包括用于执行帧内预测的帧内预测单元121和帧内预测单元126以及用于执行帧间预测的帧间预测单元122和帧间预测单元126。用于上层的编码单元100a的预测单元120还包括使用与下层有关的信息对上层执行预测的层间预测单元123。
预测单元120和预测单元125中的每一个可以确定对预测块执行帧间预测还是帧内预测。被执行预测的处理单元可以不同于用于确定预测方法的处理块的单元。例如，在执行帧内预测时，可以基于预测块来确定预测模式，以及可以基于变换块来执行预测处理。可以将所生成的预测块与原始块之间的残差(残差块)输入变换单元130和变换单元131。此外，用于预测的预测模式信息和运动矢量信息等连同残差一起由熵编码单元130进行编码，并且然后可以被传送至解码装置。
当使用脉冲编码调制(PCM)编码模式时，原始块可以在预测单元120和预测单元125不执行预测的情况下被编码，并且然后可以被传送至解码部。
帧内预测单元121和帧内预测单元126中的每一个均可以基于与当前块(预测目标块)相邻的参考像素来生成经帧内预测块。在帧内预测方法中，帧内预测模式可以具有方向性预测模式和非方向性模式，其中，方向性预测模式根据预测方向来使用参考像素信息，非方向性模式在进行预测时不使用方向信息。用于预测亮度信息的模式可以不同于用于预测色度信息的模式。通过对亮度信息进行预测所获得的帧内预测模式信息或与所预测的亮度信号有关的信息可以用于预测色度信息。同时，如果参考像素不可用，则可以通过用其它像素替换不可用的参考像素来生成预测块。
预测块可以包括多个变换块。如果在执行帧内预测时预测块的大小与变换块的大小相同，则可以基于预测块的左像素、左上像素和上像素来对预测块执行帧内预测。然而，如果预测块因为在执行帧内预测时预测块的大小不同于变换块的大小而包括多个变换块，则可以基于参考像素(该参考像素基于变换块而确定)来执行帧内预测。
帧内预测方法可以在根据帧内预测模式将模式依赖的帧内平滑(MDIS)滤波器应用于参考像素之后生成预测块。应用于参考像素的MDIS滤波器的类型可以变化。MDIS滤波器是应用于通过执行帧内预测所生成的经帧内预测的块的附加滤波器，并且可以用于减小在执行预测之后所生成的参考像素与经帧内预测的块之间的残差。在执行MDIS滤波时，可以根据帧内预测模式的方向来对参考像素以及对包括在经帧内预测的块中的一些列执行不同的滤波。
帧间预测单元122和帧间预测单元127中的每一个可以通过参考与以下的块有关的信息来执行预测：所述块被包括在当前图片之前的图片或当前图片之后的图片中的至少一个中。帧间预测单元122和帧间预测单元127中的每一个可以包括参考图片插值单元、运动预测单元和运动补偿单元。
参考图片插值单元可以从存储器195或存储器196接收参考图片信息并且可以生成与来自参考图片的小于整像素的像素有关的信息。对于亮度像素，可以使用基于离散余弦变换的(DCT-based)8抽头插值滤波器，其设置不同的滤波器系数以生成与小于整像素的、以1/4像素为单位的像素有关的信息。对于色度信号，可以使用基于离散余弦变换的4抽头插值滤波器，其设置不同的滤波器系数以生成与小于整像素的、以1/8像素为单位的像素有关的信息。
帧间预测单元122和帧间预测单元127中的每一个可以基于通过参考图片插值单元插值的参考图片来执行运动预测。作为用于计算运动矢量的方法，可以使用各种方法，例如基于全搜索的块匹配算法(FBMA)、三步搜索(TSS)算法和新三步搜索(NTS)算法。运动矢量可以具有与插值的像素的1/2或1/4相对应的运动矢量值。帧间预测单元122和帧间预测单元127中每一个可以使用各种帧间预测方法中的任一方法来对当前块执行预测。
作为帧间预测方法，可以使用例如跳过法(skipmethod)、合并法(mergemethod)和运动矢量预测(MVP)法等各种方法中的任意方法。
在帧间预测中，运动信息即与参考图片的索引、运动矢量和残差信号有关的信息被进行熵编码并且然后被传送至解码单元。在应用跳过模式时，残差可以不被生成、变换、量化或传送。
层间预测单元123使用与下层有关的信息来执行用于对上层进行预测的层间预测。层间预测单元123可以使用下层的纹理信息、帧内预测模式信息、运动信息和语法信息等来执行层间纹理预测、层间运动预测(层间帧间预测)和层间语法预测等。
层间纹理预测指将下层中的参考块的纹理用作上层中的当前块的预测值(预测样本)，其中，参考块的纹理可以经由上采样进行扩展。
这样的层间纹理预测可以包括：帧内基本层(BL)模式，在帧内基本层模式中，对下层中的参考块的重构值进行上采样并且将经上采样的参考块用作当前块的预测样本，以及在帧内基本层模式中对预测样本与当前块之间的残差值进行编码；以及参考索引模式，在参考索引模式中将经上采样的下层存储于存储器中并且将所存储器的下层用作参考索引。
可以使用下层的帧内预测模式信息来执行对于上层的帧内预测，其中，可以将下层的帧内预测模式称为“BL帧内模式”。
层间运动预测又被称为“层间帧间预测”。根据层间运动预测，可以使用下层的运动信息来对上层的当前块进行预测。运动信息可以包括运动矢量和参考图片索引。
另外，层间预测单元123可以使用下层的语法信息来执行用于预测或生成当前块的纹理的层间语法预测。此时，用于对当前块进行预测的下层的语法信息可以包括与帧内预测模式有关的信息、运动信息等。
此外，作为层间预测的又一示例，可以执行层间残差预测，使得使用差分图片(differentialpicture)来对当前块进行预测，其中，使用上层的重构图片的经上采样的图片与下层的重构图片的经上采样的图片之间的差分值来生成差分图片。
虽然已经将层间纹理预测、层间运动预测、层间语法预测和层间残差预测描述为层间预测的示例，但是适用于本发明的层间预测不限于这些示例。
生成包括残差信息的残差块并且将残差块输入对应的变换单元130或变换单元131，其中，残差信息为由预测单元120和预测单元125中的每一者所生成的预测块与预测块的重构的块之间的差。
变换单元130和变换单元131中的每一个可以使用例如离散余弦变换(DCT)或离散正弦变换(DST)的变换方法来对残差块进行变换。可以基于用于生成残差块的预测块的帧内预测模式信息和预测块的大小信息来确定是否应用DCT或DST以对残差块进行变换。即，变换单元130和变换单元131中的每一个可以根据预测块的大小和预测方法来使用不同的变换方法。
量化单元140和量化单元141中的每一个可以对由对应的变换单元130或变换单元131在频域变换得到的值进行量化。量化系数可以根据块的类型或图片的重要性而变化。由量化单元140或量化单元141计算的值可以被提供至逆量化单元170或171以及重新布置单元150或重新布置单元151。
重新布置单元150和重新布置单元151中的每一个可以对经量化的残差值的系数值进行重新布置。重新布置单元150或重新布置单元151可以使用系数扫描方法将二维块格式(blockformat)系数变成一维矢量格式系数。例如，重新布置单元150或重新布置单元151可以通过使用锯齿扫描法(zigzagscanningmethod)对范围从直流系数至高频段系数的系数进行扫描来将二维块格式中的系数变成一维矢量格式中的系数。取决于变换块的大小和帧内预测模式，可以使用垂直扫描法和水平扫描法而不是锯齿扫描法，其中，垂直扫描法用于沿列向对二维块格式系数进行扫描，水平扫描法用于沿行向对二维块格式系数进行扫描。即，可以根据变换块的大小和帧内预测模式来确定：确定要使用锯齿扫描法、垂直扫描法和水平扫描法中的哪一个。
熵编码单元160和熵编码单元161中的每一个可以基于由重新布置单元150或重新布置单元151计算的值来执行熵编码。可以使用例如各种编码方法(例如指数哥伦布、上下文自适应可变长度编码(CAVLC)和上下文自适应二进制算术编码(CABAC))来实现熵编码。
熵编码单元160和熵编码单元161中的每一个可以被提供有来自重新布置单元150或重新布置单元151以及预测单元120或预测单元125的各种类型的信息(例如编码块的残差系数信息、块类型信息、预测模式信息、划分单元信息、预测块信息、传送单元信息、运动矢量信息、参考帧信息、块的插值信息以及滤波信息)，并且可以基于预定编码方法来执行熵编码。此外，熵编码单元160或熵编码单元161可以对从重新布置单元150或重新布置单元151输入的编码单元的系数执行熵编码。
熵编码单元160和161中的每个可以通过对帧内预测模式信息进行二值化来对当前块的帧内预测模式信息进行编码。熵编码单元160和161中的每个可以包括用于执行这样的二值化操作的码字映射单元，并且可以取决于要被执行帧内预测的预测块的大小以不同方式来执行二值化。在码字映射单元中，可以使用二值化操作来自适应地生成码字映射表，或者可以预先存储码字映射表。作为另一实施方式，熵编码单元160和161中的每个可以使用用于执行码号映射的码号映射单元和用于执行码字映射的码字映射单元来表示当前帧内预测模式信息。在码号映射单元和码字映射单元中，可以生成或存储码号映射表和码字映射表。
逆量化单元170和171中的每个以及逆变换单元180和181中的每个可以对通过量化单元140或141量化的值进行解量化以及对通过变换单元130或131变换的值进行逆变换。由逆量化单元170或171以及逆变换单元180或181生成的残差值可以与预测块进行组合，从而可以生成重构的块，其中，通过包括在预测单元120或125中的运动估计单元、运动补偿单元以及帧内预测单元对预测块进行预测。
滤波器单元190和191中的每个可以包括去块滤波器、偏移校正单元和自适应环路滤波器(ALF)中的至少一个。
去块滤波器可以消除在重构的图片中由于块之间的边界而生成的块失真。可以基于包括在块的一些行或列中的像素来确定是否执行去块，即是否将去块滤波器应用于当前块。当将去块滤波器应用于块时，可以根据所需要的去块滤波的强度来应用强滤波器或弱滤波器。此外，在应用去块滤波器时，当执行垂直滤波和水平滤波时，可以并行处理垂直滤波和水平滤波。
偏移校正单元可以以像素为单位对被执行去块的图片与原始图片之间的偏移进行校正。为了对特定图片执行偏移校正，可以使用将包括在图片中的像素划分成一定数目的区域、确定要应用偏移的区域以及对该区域应用偏移的方法，或者可以使用在考虑与每个像素的边缘有关的信息的情况下应用偏移的方法。
自适应环路滤波器(ALF)可以基于通过将滤波后重构的图片与原始图片进行比较而获得的值来执行滤波。当包括在图片中的像素被划分为一个或更多个组时，确定要应用于对应组的单个滤波器，接着可以对各个组有区别地执行滤波。
滤波器单元190和191中的每个可以仅使用去块滤波器，仅使用去块滤波器和ALF，或者仅使用去块滤波器和偏移校正单元来实现，而非使用去块滤波器、ALF以及偏移校正单元中的全部。
存储器195和196中的每个可以存储由滤波器单元190或191计算的重构的块或图片，并且存储在存储器中的重构的块和图片可以在执行帧间预测时被提供至预测单元120或125。
从下层的熵编码单元100b输出的信息以及从上层的熵编码单元100a输出的信息通过复用器197被多路复用，并且然后可以采用位流的形式被输出。
可以将复用器197包括在下层的编码单元100b中，或者可以将复用器197实现为与编码单元100不同的单独的装置或模块。
图2为示意性地示出根据本发明的实施方式的解码装置的框图。
如图2所示，解码装置200包括上层的解码单元200a和下层的解码单元200b。
上层的解码单元200a可以包括熵解码单元210、重新布置单元220、逆量化单元230、逆变换单元245、预测单元250、滤波器单元260和存储器240。
下层的解码单元200b可以包括熵解码单元211、重新布置单元221、逆量化单元231、逆变换单元241、预测单元251、滤波器单元261和存储器271。
当从编码装置传送包括多个层的位流时，解复用器(DEMUX)280对与每一层对应的信息进行解复用，接着将信息传送至每一层的解码单元200a或200b。可以通过作为编码装置的处理的反转的处理而对输入的位流进行解码。
熵解码单元210和211中的每个可以通过由编码装置的熵编码单元执行的熵编码处理的反转来执行熵解码。在通过熵解码单元210和211解码的各条信息中，生成预测块所需的信息被提供至预测单元250和251，并且通过熵解码单元进行熵解码的残差值可以被输入至重新布置单元220和221。
如同熵编码单元160和161一样，为了执行逆变换，熵解码单元210和211中的每个可以使用CABAC和CAVLC中的至少一个。
熵解码单元210和211中的每个可以对与由编码装置执行的帧内预测和帧间预测有关的信息进行解码。熵解码单元包括码字映射单元，该码字映射单元具有用于根据所接收的码字来生成帧内预测模式编号的码字映射表。可以预先存储码字映射表，或者可以自适应地生成码字映射表。当使用码号映射表时，可以另外地包括用于执行码号映射的码号映射单元。
重新布置单元220和221中的每个可以基于编码单元所使用的重新布置方法来对通过熵解码单元210或211进行熵解码的位流进行重新布置。一维矢量形式的系数可以通过被重构为二维块型的系数而被重新布置。重新布置单元接收与由编码单元执行的系数扫描方法有关的信息，并且可以使用基于由编码单元执行的扫描的序列来执行逆扫描的方法来对系数进行重新布置。
逆量化单元230和231中的每个可以基于由编码装置提供的量化参数和块的经重新布置的系数来执行逆量化。
逆变换单元240和241中的每个可以基于由编码装置执行的量化的结果执行逆DCT和逆DST，其中，逆DCT和逆DST对应于由对应变换单元130或131执行的DCT和DST。可以在由编码装置确定的传送单元中执行逆变换。在编码装置的变换单元中，可以根据多条信息(例如预测方法、当前块的大小和预测方向等)而选择性地执行DCT和DST。逆变换单元225可以基于与由编码装置的变换单元执行的变换有关的信息来执行逆变换。可以基于编码块而非变换块来执行变换。
预测单元250和251中的每个可以基于由熵解码单元210和211提供的与预测块的生成有关的信息以及从对应存储器270和271提供的与经先前解码的块或图片有关的信息来生成预测块。
预测单元250和251中的每个可以包括预测单元确定单元、帧间预测单元和帧内预测单元。
预测单元确定单元接收各种信息，将预测块与当前编码块分开并且确定预测块执行帧内预测还是帧间预测，其中，所述各种信息包括从熵解码单元输入的预测单元信息、与帧内预测方法有关的预测模式信息以及与帧间预测方法有关的运动预测信息等。
帧间预测单元可以使用由编码装置提供的当前预测块的帧间预测所需的信息，基于在当前图片(其包括当前预测块)之前或之后的图片中的至少一个中包括的信息来对当前预测块执行帧间预测。为了执行帧间预测，可以基于对应编码块来确定包括在编码块中的预测块的运动预测方法为跳过模式、合并模式还是AMVP模式。
帧内预测单元可以基于与当前图片中的像素有关的信息来生成预测块。当预测块为被执行帧内预测的预测块时，可以基于由编码装置提供的与预测块有关的帧内预测模式信息而执行帧内预测。帧内预测单元可以包括：MDIS滤波器，其用于对当前块的参考像素执行滤波；对参考像素进行插值的参考像素插值单元，其用于以小于整数像素的像素单位来生成参考像素；以及直流滤波器，其用于在当前块的预测模式为直流模式时通过滤波来生成预测块。
上层的解码单元200a的预测单元250还可以包括用于执行层间预测的层间预测单元，在层间预测中，使用与下层有关的信息来对上层进行预测。
层间预测单元可以使用下层的纹理信息、帧内预测模式信息、运动信息和语法信息等来执行层间纹理预测、层间帧间预测和层间语法预测等。
可以执行根据层间纹理预测的、将下层中的参考块的纹理用作上层中的当前块的预测值的预测。可以经由上采样来对参考块的纹理进行扩展(scale)。
层间纹理预测包括：帧内BL模式，在帧内BL模式中，对下层中的参考块的重构的值进行上采样，并且将经上采样的参考块用作当前块的预测值，并且在帧内BL模式中，对预测值与当前块之间的残差值进行编码；以及参考索引模式，在参考索引模式中，将经上采样的基本层存储在存储器中，并且将所存储的基本层用作参考索引。
可以使用下层的帧内预测模式信息来执行上层的帧内预测，其中，下层的帧内预测模式可以被称为“BL帧内模式”。
根据层间运动预测，可以使用下层的运动信息来预测上层的当前块。
此外，层间预测单元可以使用下层的语法信息来执行用于预测或生成当前块的纹理的层间语法预测。此处，用于当前块的预测的下层的语法信息可以包括与帧内预测模式有关的信息、运动信息等。
此外，层间预测单元可以使用下述差分图片来执行用于预测当前块的层间残差预测，其中，使用上层的重构的图片的经上采样的图片与下层的重构的图片的经上采样的图片之间的差分值而生成差分图片。
虽然将层间纹理预测、层间帧间预测、层间语法预测和层间残差预测描述为层间预测的示例，但是能够应用于本发明的层间预测并不限于这些示例。
重构的块或图片可以被提供至滤波器单元260和261。滤波器单元260和261中的每个可以包括去块滤波器、偏移校正单元和ALF。
编码装置可以提供以下信息：与去块滤波器是否已被应用于对应的块或图片有关的信息；以及指示在应用去块滤波器时所应用的滤波器为强滤波器还是弱滤波器的信息。解码装置的去块滤波器接收与由编码装置提供的去块滤波器有关的信息，并且解码装置可以对相应的块执行去块滤波。
偏移校正单元可以基于编码期间应用于图片的偏移校正的类型以及与偏移值有关的信息来对重构的图片执行偏移校正。
自适应环路滤波器(ALF)可以基于通过将滤波后重构的图片与原始图片进行比较而获得的值来执行滤波。可以基于从编码装置提供的与是否应用ALF有关的信息、与ALF系数有关的信息等而对编码单元应用ALF。可以提供这样的ALF信息，其中ALF信息被包括在特定的参数集中。
存储器270和271中的每个可以存储要被用作参考图片或参考块的重构的图片或块，并且可以将重构的图片输出。
编码装置和解码装置可以对三层或更多层——而非两层——执行编码，在该情况下，上层的编码单元和上层的解码单元可以包括在数目上与上层的数目相对应的多个编码单元和多个解码单元。
在下文中，尽管在本发明的实施方式中，出于方便描述起见使用术语“编码块”描述了编码单元，然而编码单元可以是被执行解码和编码的块。以下，可以实现基于本发明的实施方式参照附图描述的参考图片列表生成方法，以与以上参照图1和图2描述的各个模块的功能相称。编码装置和解码装置也可以包括在本发明的范围内。
如上所述，在对支持多层结构的视频进行编码时，存在用于使用基本层的运动信息和纹理信息来对增强层进行编码/解码的方法，以及用于使用经上采样的基本层作为参考图片来对增强层进行编码/解码的方法，而没有基于基本层的编码单元(CU)或预测单元(PU)来改变解码方法。后一方法可以被称为“参考图片索引(RefIdx)模式”。
当使用参考图片索引(RefIdx)模式时，可以将增强层中已被先前解码的图片用作参考图片，或者替选地，可以对基本层或下层中的图片进行上采样然后将其用作参考图片。
在下文中，在本发明中，当基本层或下层中的图片被上采样并且用作参考图片时，将经上采样的基本层图片或下层图片称为“层间参考图片”。
甚至在支持用于多视图的多层结构的视频中，可以通过将用于另一视图的层而非当前层用作参考图片来执行帧间预测。用于对应层的编码和解码参考的用于另一视图的层也可以被称为“层间参考图片”。
也就是说，当增强层的参考图片集被配置成对支持扩展性的、具有多层结构而非单层的视频进行编码时，还必须考虑层间参考图片。
典型地，可以执行帧间预测，使得相对于当前图片的先前图片与后续图片中的至少之一被用作参考图片，并且基于参考图片来执行当前块的预测。用于当前块的预测的图片被称为“参考图片”或“参考帧”。
通过参考图片索引(refIdx)来指定参考图片，并且经由运动矢量将参考图片中的预定区域指定为参考块。
在帧间预测中，可以通过选择参考图片以及参考图片中的与当前块对应的参考块来生成用于当前块的预测块。
在帧间预测中，编码装置和解码装置可以得到当前块的运动信息，然后可以基于所得到的运动信息来进行帧间预测和/或运动补偿。此处，编码装置和解码装置可以通过利用在先前重构的并置(col)图片中的、与当前块对应的重构的相邻块和/或并置块(col块)的运动信息来改善编码/解码效率。
此处，重构的相邻块是当前图片中的已被编码和/或解码以及重构的块，并且可以包括与当前块相邻的块和/或位于当前块的外角处的块。此外，编码装置和解码装置可以基于col图片中的存在于空间上与当前块对应的位置处的块来确定预定相对位置，并且可以基于所确定的相对位置(位于空间上与当前块对应的位置处的块内部和/或外部的位置)来得到col块。此处，例如，col图片可以与包括在参考图片列表中的参考图片之一对应。
帧间预测可以生成预测块，使得预测块与当前块之间的残差信号被最小化并且运动矢量的大小也被最小化。
同时，用于得到运动信息的方案可以根据用于当前块的预测模式而不同。针对帧间预测所应用的预测模式可以包括高级运动矢量预测(AMVP)模式、合并模式等。
例如，当应用AMVP模式时，编码装置和解码装置中的每个可以使用重构的相邻块的运动矢量和/或col块的运动矢量来生成运动矢量候选列表。重构的相邻块的运动矢量和/或col块的运动矢量可以用作运动矢量候选。编码装置可以向解码装置传送预测的运动矢量索引，其指示选自包括在列表中的运动矢量候选中的最优运动矢量。此处，解码装置可以使用运动矢量索引从包括在运动矢量候选列表中的运动矢量候选中选择当前块的预测的运动矢量。
编码装置可以获得当前块的运动矢量与预测的运动矢量之间的运动矢量差(MVD)，对MVD进行编码，以及将经编码的MVD传送至解码装置。此处，解码装置可以对所接收的MVD进行解码并且使用经解码的MVD与预测的运动矢量的总和来得到当前块的运动矢量。
编码装置还可以向解码装置传送指示参考图片的参考图片索引等。
解码装置可以使用相邻块的多条运动信息来预测当前块的运动矢量，并且可以使用从编码装置接收的残差来得到当前块的运动矢量。解码装置可以基于所得到的运动矢量和从编码装置接收的参考图片索引信息二者来生成用于当前块的预测块。
作为另一示例，当应用合并模式时，编码装置和解码装置可以使用重构的相邻块的运动信息和/或并置(col)块的运动信息二者来生成合并候选列表。也就是说，当存在重构的相邻块和/或col块的运动信息时，编码装置和解码装置可以使用运动信息作为用于当前块的合并候选。
编码装置可以从包括在合并候选列表中的合并候选中选择使得能够提供最优编码效率的合并候选，作为当前块的运动信息。此处，可以以合并索引被包括在位流中的方式将指示所选择的合并候选的合并索引传送至解码装置。解码装置可以使用传送的合并索引来从包括在合并候选列表中的合并候选中选择一个合并候选，并且可以将所选择的合并候选确定为当前块的运动信息。因此，当应用合并模式时，可以在不改变的情况下将重构的相邻块和/或col块的运动信息用作当前块的运动信息。解码装置可以通过将预测块添加至从编码装置传送的残差来重构当前块。
在上述AMVP模式和合并模式中，为了得到当前块的运动信息，可以使用重构的相邻块的运动信息和/或col块的运动信息。
在作为用于帧间预测的另外的模式之一的跳过模式中，可以将与相邻块有关的信息用于当前块，而没有改变。因此，在跳过模式中，除指示其运动信息要被用作当前块的运动信息的块的信息之外，编码装置不向解码装置传送语法信息如残差。
编码装置和解码装置可以通过基于得到的运动信息对当前块执行运动补偿来生成用于当前块的预测块。此处，预测块可以表示由于对当前块执行运动补偿而生成的经运动补偿的块。此外，多个经运动补偿的块可以构成单个经运动补偿的图片。
解码装置可以检查从编码装置接收的跳过标记、合并标记等，并且可以根据所检查的标记得到对于当前块的帧间预测所需的运动信息，例如，与运动矢量、参考图片索引等有关的信息。
执行预测的处理单元和指定预测方法和详细内容的处理单元可以彼此不同。例如，可以指定预测模式的单元作为预测块，接着可以以变换块为基础来执行预测。替选地，可以指定预测模式的单元作为预测块，以及可以以变换块为基础来执行帧内预测。
在当前图片之前编码/解码的图片被存储在存储器中(例如，解码的图片缓冲器：DPB)并且之后可以被用于当前块(当前图片)的预测。保持不能用于当前块的帧间预测的图片的列表作为参考图片列表。
P切片表示经由帧内预测或下述帧间预测而解码的切片，所述帧间预测使用一个运动矢量和一个参考图片的最大值。B切片表示经由帧内预测或下述帧间预测而解码的切片，所述帧间预测使用两个运动矢量和两个参考图片中的最大值。此处，参考图片包括短期参考图片和长期参考图片。可以通过图片顺序计数(POC)来指定图片，POC表示指示的序列，其中，可以看出，短期参考图片是其POC与当前块的POC并没有很大不同的图片，而长期参考图片是其POC与当前图片的POC有很大不同的图片。
参考图片列表0(出于方便描述起见，在下文中称为“L0”)是用于P切片或B切片的帧间预测的参考图片的列表。参考图片列表1(出于方便描述起见，在下文中称为“L1”)用于B切片的帧间预测。因此，L0用于P切片中的块的帧间预测，以进行单向预测，而L0和L1用于B切片中的块的帧间预测，以进行双向预测。
解码装置在经由帧间预测对P切片和B切片执行解码时构造参考图片列表。经由参考图片列表来指定用于帧间预测的参考图片。参考图片索引是指示参考图片列表上的每个参考图片的索引。
可以基于从编码装置传送的参考图片集来构造参考图片列表。这样的参考图片集可以包括用作参考图片的图片的POC以及指示对应的图片是否被直接参考的标记(used_by_curr_pic_s0_flag)。用于构造参考图片列表的参考图片可以被存储在存储器(例如，DPB)中。存储在存储器中的图片(在当前图片之前被编码/解码的图片)通过编码装置和解码装置来管理。
图3是示出了包括短期参考图片的参考图片集的示例的概念图。
如图中所示，参考图片集(RPS)可以包括在当前时刻必须被存储在DPB中的短期参考图片中的每个的POC，以及指示当前图片是否直接参考特定图片的标记信息。
例如，当执行POC为21的图片的帧间预测时，可以参考一共三个图片(POC为20、19和16的图片)作为短期参考图片，以及所有三个图片具有值1作为“used_by_curr_pic_s0_flag”，从而图片被直接用于POC为21的图片的预测。
同时，当执行POC为26的图片的帧间预测时，可以参考一共三个图片(POC为25、24和20)作为短期参考图片，但是与POC为24和20的图片的“used_by_curr_pic_s0_flag”值不同，其POC为25的图片的“used_by_curr_pic_s0_flag”值为0。在这种情况下，POC为25的图片并不直接用于其POC为26的图片的帧间预测。
在当前图片中，不出现在参考图片集中的图片被标记有“未用于参考”指示符，指示图片未被用作参考图片并且可以从DPB中删除。
图4是示出了用于得到长期参考图片的POC的方法的概念图。
如图所示，由于长期参考图片具有与当前图片的POC很大不同的POC，因此其可以使用POC的最低有效位(LSB)和最高有效位(MSB)来表示。
‘MaxPocLsb’指示可以由LSB表示的最大值。当MaxPocLsb为32时，POC为84的长期参考图片(LTRP)可以由32*2+20表示，其中，LSB为20，以及MSB为2。
当可以由LSB表示的最大值为32、并且因此10是MSB的值以及11是LSB的值时，POC为338的当前图片可以由32*10+11表示。
‘delta_poc_msb_cycle_lt’指示确定‘DeltaPocMsbCycleLt’所需的值，‘DeltaPocMsbCycleLt’是当前图片的长期参考图片集中的POC的MSB。‘DeltaPocMsbCycleLt’可以对应于当前图片的POC的MSB与参考图片的POC的MSB之间的差值。
在长期参考图片的情况下，参考图片的POC可以使用当前图片的POC的MSB与参考图片的POC的MSB之间的差以及参考图片的POC的LSB值来得到。
例如，当当前图片的POC为331时，如果使用长期参考图片的LSB值20以及当前图片的POC的MSB与参考图片的POC的MSB之间的差值1二者，则POC为308并且用‘0’索引的长期参考图片(LTRP[0])可以由331-1*32-11+20来表示。
类似地，如果使用长期参考图片的LSB值10以及当前图像的POC的MSB与参考图像的POC的MSB之间的差值5二者，则POC为170并且用‘1’索引的长期参考图片(LTRP[1])可以由331-5*32-11+10来表示。
如图3和图4所示，可由当前图片参考的初始参考图片列表可以使用在短期参考图片缓存和长期参考图片缓存中存在的图片的列表来构造。
图5是示出了构造参考图片列表的示例的图。
基于当前图片可以将参考图片分类为第一短期参考图片集(RefPicSetStCurr0)、第二短期参考图片集(RefPicSetStCurr1)以及长期参考图片集(RefPicSetLtCurr)，其中，第一短期参考图片集包括POC小于当前图片(Curr)的POC的参考图片Ref1和参考图片Ref2，第二短期参考图片集包括POC大于当前图片的POC的参考图片Ref3和参考图片Ref4，长期参考图片集包括长期参考图片RefLT1和长期参考图片RefLT2。
在该情况下，第一短期参考图片集(RefPicSetStCurr0)包括标记值(used_by_curr_pic_s0_flag)为1图片(used_by_curr_pic_s0_flag＝1的delta_poc_s0)，以及第二短期参考图片集(RefPicSetStCurr1)也包括标记值(used_by_curr_pic_s1_flag)为1的图片(used_by_curr_pic_s1_flag＝1的delta_poc_s1)。
作为以该方式具有不同属性的参考图片集的集合，可以构造初始参考图片列表。
如图5所示，按照第一短期参考图片集(RefPicSetStCurr0)、第二短期参考图片集(RefPicSetStCurr1)和长期参考图片集(RefPicSetLtCurr)的次序来构造参考图片列表0即L0。
同时，按照第二短期参考图片集(RefPicSetStCurr1)、第一短期参考图片集(RefPicSetStCurr0)和长期参考图片集(RefPicSetLtCurr)的次序来构造参考图片列表1即L1。
可以基于从编码装置传送的信息来确定可包括在参考图片列表中的参考图片的编号。例如，在构造参考图片列表后，编码装置可以确定要使用的参考图像的编号，并且将关于要使用的参考图片的编号的信息(例如，num_ref_idx_lX_default_active_minus1,X＝0或1)作为次序参数集(SPS)传送至解码装置。解码装置可以使用参考图片的编号作为当前次序的默认值，参考图片的编号被指定为通过将接收到的信息(num_ref_idx_lX_default_active_minus1)与1相加获得的值。
此外，当希望针对每个图片或每个切片指定参考图片的编号时，编码装置可以经由图片参数集(PPS)、切片头部等传送指示参考图片的编号(例如，num_ref_idx_l1_active_minus1,X＝0或1)的单独的信息。解码装置可以使用以下值作为当前切片的当前图片的参考图片的编号，该值被指定为通过将所接收的信息(num_ref_idx_l1_active_minus1)与1相加而获得的值。
当进行帧间预测时，可以使用在如上所述构造的参考图片列表中指定的参考图片来进行运动补偿。
在提供空间扩展性或多视图扩展性的多层结构中，增强层的参考图片可以包括同一层的参考图片和层间参考图片。
在该情况下，可以使用标识层所需的信息和标识参考图片所需的信息来进行层间参考图片的信号传递。例如，如果在与第i层的当前图片相同的访问单元中存在的并且为以层标识符包括在网络抽象层(NAL)单元头部中的方式传送的第j层标识符(其中，i>j)的nuh_layer_id的值与当前图片的RefPiclayerId相同，则可以确定相应图片被用作当前图片的参考图片。层间参考图片可以由长期参考图片指示。
‘RefPicLayerId’指示可以用切片头部所包括的语法元素inter_layer_pred_layer_idc用信号传递的值，并且表示由用于层间预测的当前层参考的层。
图6是示出了根据本发明的实施方式所构造的层间参考图片列表的示例的概念图。
如图6所示，在具有多层结构的视频中，可以使用短期参考图片集(RefPicSetStCurrBefore[i],此后被称为‘第一参考图片集’)、短期参考图片集(RefPicSetStCurrAfter[i],此后被称为‘第二参考图片集’)、长期参考图片集(RefPicSetLtCurr[i],此后被称为‘第三参考图片集’)及层间参考图片集(RefPicSetILCurr[i],此后被称为‘第四参考图片集’)来构造初始参考图片列表，其中，第一参考图片集包括POC小于当前图片的POC的短期参考图片，第二参考图片集包括POC大于当前图片的POC的短期参考图片。
第四参考图片集中所包括的参考图片可以是：支持空间扩展性的层的图片、支持多视图扩展性的层中所包括的图片、或者支持深度扩展或视频质量扩展的层的图片。此处，空间扩展和视频质量扩展可以用相同的编解码结构来编码。
当位流支持两个或更多个扩展类型时，可以将用于相应扩展类型的参考图片集成到单个参考图片集中。当单个参考图片集被配置用于多个扩展类型时，可以将在参考图片集中排列的关于扩展类型的次序的信息从编码装置传送至解码装置。
同时，参考图片集可以个体地配置用于多个扩展类型。也就是说，对于当前图片，除了生成第一参考图片集、第二参考图片集和第三参考图片集以外，还可以生成第四参考图片集、第五参考图片集和第六参考图片集，第四参考图片集、第五参考图片集及第六参考中的每个包括层间参考图片。可以根据出现频率将这样的层间参考图片集适应性地添加到参考图片列表。例如，可以将具有高出现频率的参考图片集分配给参考图片列表的低索引。
图6的初始参考图片列表为L0，其中，第一参考图片集被配置在列表的最低次序位置中。此时，可以将第四参考图片集添加至参考图片列表L0的最后次序位置。
初始参考图片列表0是使用相应参考图片集中所包括的参考图片中的标记信息(used_by_curr_pic_flag)为1的图片来构造，标记信息指示相应图片当前是否用作参考图片。如图所示，可以仅使用每个参考图片集中所包括的四个图片中的仅第一图片和第二图片来构造初始参考图片列表0。
可以针对每个图片或每个切片来修改初始参考图片列表，并且可以基于该修改来改变参考图片。可以使用切片头部中所包括的语法元素(例如，ref_pic_list_modification_flag_l0,list_entry_l0,ref_pic_list_modification_flag_l1,list_entry_l1)来修改初始参考图片列表。
ref_pic_list_modification_flag_l0和ref_pic_list_modification_flag_l1可以明确地指示在参考图片列表0和参考图片列表1中参考图片是否从编码装置传送至解码装置。当标记值为1时，使用关于所传送的参考图片的信息来明确地指定参考图片列表，而当标记值为0时，参考图片列表隐含地作为初始参考图片集而被得到。
当标记值为1时，list_entry_l0指示关于详细条目的信息即构成参考图片列表L0的参考图片的索引，以及list_entry_l1指示关于构成参考图片列表L1的详细条目的信息。
借助于该修改，可以使用第一参考图片集的第一参考图片和第二参考图片(0,1)、第二参考图片集的第一参考图片和第二参考图片(0,1)以及第四参考图片集的第一参考图片(0)来构造最终参考图片列表0。
根据本发明的另一示例，当构造参考图片列表时，可以将用于层间参考图片的第四参考图片集布置在不同于图6列表中的最后次序位置的次序位置处。在多层结构中，由于视频的特性在增强层和基本层之间存在强关联，因此可能频繁出现层间参考图片被参考的情况。当将具有高出现频率的层间参考图片添加至不同于参考图片列表的最后位置的位置时，可以提高参考图片列表的编码性能。
在考虑到该事实的情况下，可以将层间参考图片添加至参考图片列表的各个位置。图7至图10是示出了根据本发明的实施方式构造层间参考图片列表的示例的概念图。
图7示出了根据本发明的实施方式的参考图片列表0的配置，其中，图示了参考图片列表0的配置。如图所示，可以将作为层间参考图片集的第四参考图片集排列在参考图片列表的第二次序位置处。
参考图片列表0按照第一参考图片集、第四参考图片集、第二参考图片集和第三参考图片集的次序来构造。
参考图片列表0包括在相应参考图片集中所包括的参考图片中标记信息(used_by_curr_pic_flag)为1的图片，其中，标记信息指示相应图片当前是否被用作参考图片。如图所示，可以仅使用参考图片集的每个中的四个图片的第一图片和第二图片来构造初始参考图片列表0。
可以针对每个图片或切片修改以该方式构造的初始参考图片列表，并且可以根据该修改来改变参考图片的条目。
借助于该修改，可以使用第一参考图片集的第一参考图片和第二参考图片(0,1)、第四参考图片集的第一参考图片和第二参考图片(0,1)以及第二参考图片集的第一参考图片(0)来构造最终的参考图片列表0。
图8是示出了根据本发明的另一实施方式的参考图片列表0的配置的图。
如图8<a>所示，可以按照第一参考图片集、第二参考图片集、第四参考图片集和第三参考图片集的次序来构造参考图片列表0，其中，第一参考图片集包括具有比当前图片的POC小的POC的短期参考图片，第二参考图片集包括具有比当前图片的POC大的POC的短期参考图片，第四参考图片集包括层间参考图片，以及第三参考图片集包括长期参考图片。
替选地，如图8<b>所示，参考图片列表0可以被构造为使得第四参考图片集布置在第一次序位置，然后依次布置第一参考图片集、第二参考图片集和第三参考图片集，其中，第四参考图片集包括层间参考图片，第一参考图片集包括具有比当前图片的POC小的POC的短期参考图片，第二参考图片集包括具有比当前图片的POC大的POC的短期参考图片，以及第三参考图片集包括长期参考图片。
在<b>中，优点在于：当层间参考图片被参考的频率为高时，可以提高参考图片列表的编码和解码效率。
替选地，在另一实施方式中，与生成单个层的参考图片列表类似，可以按照第一参考图片集、第二参考图片集和第三参考图片集的次序来构造参考图片列表，此后可以在切片或次序层级即切片头部或次序参数头部中指定要添加层间参考图片的位置，其中，第一参考图片集包括具有比当前图片的POC小的POC的短期参考图片，第二参考图片集包括具有比当前图片的POC大的POC的短期参考图片，以及第三参考图片集包括长期参考图片。
可以将层间参考图片添加至指定位置，然后可以构造参考图片列表。这样的信令信息可以使用切片头部、序列头部或视频参数集中所包括的信令信息来编码，并且可以传送至解码装置。
图9示出了根据本发明的实施方式的参考图片列表1的构造。如图所示，可以将作为层间参考图片集的第四参考图片集排列在参考图片列表的最后次序位置处。
参考图片列表1按照第二参考图片集、第一参考图片集、第三参考图片集和第四参考图片集的次序来构造。
参考图片列表1使用相应参考图片集中所包括的参考图片中的标记信息(used_by_curr_pic_flag)为1的图片来构造，其中，标记信息指示相应的图片当前是否被使用为参考图片。如图所示，可以仅使用参考图片集的每个参考图片中所包括的四个图片中的第一图片和第二图片来构造初始参考图片列表1。
可以针对每个图片或切片修改以该方式构造的初始参考图片列表，并且可以根据该修改来改变参考图片的条目。
借助于该修改，可以使用第二参考图片集的第一参考图片(0)、第一参考图片集的第一参考图片和第二参考图片(0,1)以及第四参考图片集的第一参考图片和第二参考图片(0,1)来构造最终参考图片列表1。
图10是示出了根据本发明的另一实施方式的参考图片列表1的配置的图。
如图10<a>所示，可以按照第二参考图片集、第一参考图片集、第四参考图片集和第三参考图片集的次序来构造参考图片列表1，其中，第二参考图片集包括具有比当前图片的POC大的POC的短期参考图片，第一参考图片集包括具有比当前图片的POC小的POC的短期参考图片，第四参考图片集包括层间参考图片，以及第三参考图片集包括长期参考图片。
替选地，如图10<b>所示，参考图片列表1可以被构造为使得第二参考图片集被分配至第一次序位置，并且第四参考图片集被分配至第二次序位置，其中，第二参考图片集包括具有比当前图片的POC大的POC的短期参考图片，以及第四参考图片集包括层间参考图片。然后，可以按照第一参考图片集和第三参考图片集的次序来构造参考图片列表1，其中，第一参考图片集包括具有比当前图片的POC小的POC的短期参考图片，以及第三参考图片集包括长期参考图片。
替选地，与生成单个层的参考图片列表类似，可以按照第二第一参考图片集、第一参考图片集和第三参考图片集的次序来构造参考图片列表，此后可以在切片或次序层级即切片头部或次序参数头部中指定要添加层间参考图片的位置，其中，第一参考图片集包括具有比当前图片的POC小的POC的短期参考图片，第二第一参考图片集包括具有比当前图片的POC大的POC的短期参考图片，以及第三参考图片集包括长期参考图片。
可以将层间参考图片添加至指定位置，然后可以构造参考图片列表。这样的信令信息可以使用切片头部、序列头部或视频参数集中所包括的信令信息来编码，并且可以传送至解码装置。
根据本发明的另一实施方式，可以根据针对当前图片的时间子层的索引(tempralId)来设置层间参考图片集的排列次序。
图11示出了根据本发明的实施方式的使用时间子层的索引构造的参考图片列表。
在多层结构中，取决于当前图片的属于增强层的时间子层，使用层间参考图片的频率可能不同。当作为时间子层的索引值的temporalID较大时，可以通过参照同一层中的图片而不是参照另一层中的参考图片来更高效地进行帧间预测。
换言之，当tempralId的值较小时，参考层间的图片进行编码会比参考相同层的图片进行编码更高效。当tempralId的值较大时，使用相同层的图片作为参考图片进行编码比使用层间的图片作为参考图片进行编码更高效。
在本实施方式中，考虑到层间图片被参考的频率根据时间子层而改变的事实，初始参考图片列表中的要添加层间参考图片的位置可以根据时间子层的索引(tempralId)而适应性地改变。
图11是示出了当tempralId的值在从0至2的范围内时参考图片列表0的构造的图。
当tempralId的值为0时，存在将在增强层中执行层间预测的较强的可能性，从而包括层间参考图片的第四参考图片集被添加至初始参考图片列表的第一次序位置。
使用包括在相应参考图片集中的参考图片中的指示对应图片当前是否被用作参考图片的标记信息(used_by_curr_pic_flag)为1的图片所构造的初始参考图片列表0包括：包括在第四参考图片集中的四个图片(0，1，2，3)、第一参考图片集的第一图片和第二图片(0，1)、第二参考图片集的第一图片和第二图片(0，1)，以及第三参考图片集的第一图片和第二图片(0，1)。
如在图中所示，在已经设置参考图片列表的初始值之后，修改参考图片列表，然后可以设置最终参考图片列表。关于参考图片列表的修改的信息可以用切片头部来表示。
修改的最终参考图片列表0按照下述次序来构造：第一参考图片集中的第一图片和第二图片(0，1)、第四参考图片集中的第一图片和第二图片(0，1)以及第二参考图片集中的第一图片(0)。
当tempralId的值为1时，包括层间参考图片的第四参考图片集可以被添加至初始参考图片列表0中的第一参考图片集之后。
使用指示对应图片当前是否被用作参考图片的标记信息(used_by_curr_pic_flag)为1的图片所构造的初始参考图片列表包括：第一参考图片集中的每一个的第一图片和第二图片(0，1)、第四参考图片集的第一图片和第二图片(0，1)、第二参考图片集的第一图片和第二图片(0，1)以及第三参考图片集的第一图片和第二图片(0，1)。
修改的最终的参考图片列表0按照下述次序来构造：第一参考图片集的第一图片和第二图片(0，1)、第四参考图片集的第一图片和第二图片(0，1)以及第二参考图片集的第一图片。
当tempralId为2时，有大的可能性将执行相同层的帧间预测而不是执行增强层的层间预测的，从而包括层间参考图片的第四参考图片集将被添加至第三参考图片集之后，也就是说，被添加至初始参考图片集的最后的次序位置。
使用指示对应图片当前是否被用作参考图片的标记信息(used_by_curr_pic_flag)为1的图片所构造的初始参考图片列表包括：第一参考图片集的第一图片和第二图片(0，1)、第二参考图片集的第一图片和第二图片(0，1)、第三参考图片集的第一图片和第二图片(0，1)以及第四参考图片集中的每一个的第一图片和第二图片(0，1)。
修改的最终的参考图片列表按照下述次序来构造：第一参考图片集的第一图片和第二图片(0，1)、第二参考图片集的第一图片和第二图片(0，1)以及第四参考图片集的第一图片(0)。
与上面的描述类似，初始参考列表L1可以被配置成使得要添加第四参考图片集的位置根据tempralId的值而改变。例如，当tempralId的值为0时，初始参考列表L1可以按照下述次序来构造：第四参考图片集、第二参考图片集、第一参考图片集以及第三参考图片集。当tempralId的值为1时，初始参考列表L1可以按照下述次序来构造：第二参考图片集、第四参考图片集、第一参考图片集以及第三参考图片集。当tempralId的值为2时，第四参考图片集可以被添加至初始参考图片列表L1的最后的次序位置。
总之，如在图13中所示，初始参考图片列表中的要添加层间参考图片的位置可以根据时间子层的tempralId的值而自适应地改变。
同时，在当前图片参考多层时，也就是说，当存在多个层间参考图片时，可以将多个参考图片分割，以便能够配置多个层间参考图片集。可以将多个层间参考图片集排列在初始参考图片列表中的不同次序位置。
例如，在支持多视图扩展的视频中，当多个视图即多个层被用作参考图片时，包括层间参考图片的第四参考图片集可以被分割并且包括在参考图片列表中。可以使用取决于当前层和参考图片的层的视图的次序或当前层和参考图片的层的视图的接近程度的各种方法来构造参考图片列表。
与当前层在视图上具有较小差异的层在以下方面具有较大可能性：将对应层的图片用作层间参考图片。换言之，与当前层在视图上具有较大差异的层在以下方面具有较小可能性：当前图片将参考对应层的图片。根据本实施方式，参考图片要添加至参考图片列表中的次序可以取决于考虑到了参考图片的发生频率(即视图之间的图片的参考的程度)的接近次序来自适应地修改。也就是说，参考图片列表中要添加层间参考图片的位置可以取决于层间参考图片的数目和层间参考图片的次序而自适应地确定。
也就是说，参考图片列表的较低的索引可以被分配至与当前层在视图上具有较小差异的层的参考图片，以及参考图片列表的较高的索引可以被分配至与当前层在视图上具有较大差异的层的参考图片。
图12示出了根据本发明的实施方式使用多视图参考图片构造的参考图片列表。
如在图12中所示，在可以包括在多视图参考图片集中的参考图片0、参考图片1、参考图片2以及参考图片3之中，参考图片0和参考图片1可以排列在参考图片列表0的第一位置处，以及参考图片2和参考图片3可以排列在包括短期参考图片的第一参考图片集之后。
在此，参考图片0和参考图片1可以是与当前层在视图上具有较小差异的层中的参考图片，以及参考图片2和参考图片3可以是与当前层在视图上具有较大差异的图片。
作为另一示例，作为第一层间参考图片的参考图片0可以排列在初始参考图片列表的第一次序位置处，作为第二层间参考图片的参考图片1可以排列在包括短期参考图片的第一参考图片集之后，以及之后的层间参考图片可以顺序地添加至包括长期参考图片的长期参考图片集之后的位置。
可以排列在参考图片列表的前部的参考层与当前层在视图上的差异可以被设置成默认值，或者可以通过编码装置可变地设置并且可以传输至解码装置。
此外，当层间参考图片集被添加至初始参考图片列表时，与不同地应用添加的位置的标准有关的信息可以设置成固定值，以及该信息可以以包括在视频参数集(VPS)中的方式被用信号传递至解码装置。
在参考图片列表1中，与当前层在视图上具有较小差异的层中的参考图片可以排列在初始参考图片列表的第一位置处，以及可以排列在包括POC比当前图片的POC大的短期参考图片的第二参考图片集之后。包括与当前图片在视图上具有较大差异的参考图片的参考图片集可以排列在初始参考图片列表的最后的位置处，或者可以排列在包括长期参考图片的第三参考图片集之前的次序位置处。
可替选地，与当前层在视图上具有较大差异的层中的参考图片可以排列在初始参考图片列表的第一位置处，或者可以排列在包括POC比当前图片的POC大的短期参考图片的第二参考图片集之后。此外，包括与当前层在视图上具有较小差异的参考图片的参考图片集可以排列在初始参考图片列表的最后的位置处，或者可以排列在包括长期参考图片的第三参考图片集之前。
虽然图12的层间参考图片集中已包括多视图参考点，但是在图12中示出的参考图片列表的构造还可以应用到扩展的类型是空间扩展以及多层的图片被用作参考图片的情况。也就是说，可以取决于需要识别当前图片和空间层的ID(相关性ID)之间的差异来将参考图片分隔并且添加至参考图片列表。
如上所述，当层间参考图片集包括在参考图片列表时，可以不同地设置层间参考图片集要添加至的位置，以及用于用信号传递该位置的方法可以包括多种方法。
图13是示出了根据本发明的实施方式用于生成参考图片列表的方法的图。
首先，解码装置生成包括存在于与当前图片相同的层中的图片的短期参考图片集和长期参考图片集(S1310)。
短期参考图片集可以包括：包括POC比当前图片的POC小的短期参考图片的短期参考图片集，以及包括POC比当前图片的POC大的短期参考图片的短期参考图片集。
长期参考图片集包括在POC方面与当前图片的POC具有较大差异的长期参考图片。
初始参考图片列表0可以主要按下述次序排列：包括POC比当前图片的POC小的短期参考图片的短期参考图片集、包括POC比当前图片的POC大的短期参考图片的短期参考图片集以及长期参考图片集。
初始参考图片列表1还可以主要按下述次序排列：包括POC比当前图片的POC大的短期参考图片的短期参考图片集、包括POC比当前图片的POC小的短期参考图片的短期参考图片集以及长期参考图片集。
解码装置得到与层间参考图片集要添加至的位置有关的位置信息(S1320)。这样的位置信息为通过编码装置用信号传递至解码装置的信息，以及这样的位置信息可以按照下述方式传输：该位置信息被包括在切片或次序层级例如切片头部或序列头部中。
在支持多视图层例如多视图扩展的位流的情况下，存在相应层的图片具有不同特征以及相应层的图片与基层的重构的图片具有不同关系的许多情况。此外，temporalId值可以在多层之间彼此不同，以及层间参考发生的频率可以取决于temporalId值而彼此不同。
取决于这样的各种条件，层间参考图片要添加至的最优位置可以针对相应层而不同，以及因此可以针对相应的多个层用信号传递层间参考图片要添加至的位置。
当获得位置信息时，解码装置将层间参考图片集添加至由得到的位置信息指示的初始参考图片列表的对应位置(S1330)。
可以在得到位置信息之前生成层间参考图片集，或可以在得到位置信息之后与将层间参考图片添加至初始参考图片列表同时地生成层间参考图片集。
初始参考图片列表可以包括在参考图片集内包括的参考图片中标记信息(used_by_curr_pic_flag)为1的图片，其中，标记信息指示对应的图片是否用作参考图片。
在此，可以根据位置信息不同地设置参考图片集在初始参考图片列表中排列的次序。
例如，初始参考图片列表0可以按照以下次序来构造：包括POC比当前图片的POC小的短期参考图片的短期参考图片集、层间参考图片集、包括POC比当前图片的POC大的短期参考图片的短期参考图片集以及包括长期参考图片的长期参考图片集。
初始参考图片列表1可以按照以下次序来构造：包括POC比当前图片的POC大的短期参考图片的短期参考图片集，层间参考图片集，包括POC比当前图片的POC小的短期参考图片的短期参考图片集，以及包括长期参考图片的长期参考图片集。
替选地，当层间参考图片集包括多个子层间参考图片集，并且将子参考层图片集分隔并且添加至初始参考图片列表时，位置信息可以包括与相应子参考层图片集要被添加至的位置有关的信息。
例如，在支持多视图扩展的层的情况下，初始参考图片列表0可以按照以下次序来构造：包括POC比当前图片的POC小的短期参考图片的短期参考图片集，包括在多视图参考层图片中视图次序位置比当前图片的视图次序位置低的图片的子层间参考图片集，包括POC比当前图片的POC大的短期参考图片的短期参考图片集，包括长期参考图片的长期参考图片集，以及包括在多视图参考层图片中视图次序位置比当前图片的视图次序位置高的图片的子层间参考图片集。
初始参考图片列表1可以按照以下次序来构造：包括POC比当前图片的POC大的短期参考图片的短期参考图片集，包括在多视图参考层图片中视图次序位置比当前图片的视图次序位置高的图片的子层间参考图片集，包括POC比当前图片的POC小的短期参考图片的短期参考图片集，包括长期参考图片的长期参考图片集，以及包括在多视图参考层图片中视图次序位置比当前图片的视图次序位置低的图片的子层间参考图片集。
替选地，可以基于当前图片的时间子层的索引(tempralId)或者基于被允许层间预测的时间子层的最大数目来生成层间参考图片集。
例如，在当前图片的时间子层的索引(tempralId)较低时，可以将层间参考图片集排列在初始参考图片集的较低次序位置处。在该情况下，可以用信号传递层间参考图片集要被添加至的详细位置。
替选地，在当前图片的时间子层的索引(tempralId)的值与参考层的时间子层的索引之间的差值较小时，可以将层间参考图片集排列在初始参考图片集的较低次序位置处。即使在该情况下，可以用信号传递层间参考图片集要被添加至的详细位置。
基于在经由对参考图片列表进行修改而生成最终参考图片列表的情况下的最终参考图片列表或者基于在不修改初始参考图片列表情况下的初始参考图片列表，解码装置对当前图片执行预测并且对当前图片执行解码(S1340)。
当预测了当前图片时，层间参考图片集中所包括的参考图片由长期参考图片来指示，并且解码装置将层间参考图片集所包括的参考图片用作当前图片的参考图片。
同时，为了用信号传递层间参考图片要被添加至的位置，编码装置必须计算比特率失真，其中针对可以添加层间参考图片的位置中的每个位置来考虑与位的数目有关的视频质量，并且编码装置基于计算的结果来确定可以添加层间参考图片的位置。在该情况下，必须由编码装置执行的编码计算负荷可能增加。
为了降低编码阶段的计算负荷，同时保持相应多个层的图片的多样性，编码装置可以将参考图片要被添加至的位置的数目限制为预定数目，可以将层间参考图片能够被添加至的位置设置成与该预定数目对应，以及可以仅针对设定位置计算比特率失真。基于所计算的比特率失真，可以得到层间参考图片能够添加至的最优位置，并且编码装置可以将与位置有关的信息传送至解码装置。
例如，位置可以被设置成使得层间参考图片可以被添加至三个位置，例如初始参考图片列表的第一位置、在短期参考图片集之后的位置以及在长期参考图片集之后的位置。在该情况下，编码装置可以对在三个位置中层间参考图片要被添加至的位置的指示索引进行编码，并且可以用信号传递经编码的索引。
如下面的表1所示，层间参考图片要被添加至的位置和用于标识位置的指示索引可以彼此映射。
表1
添加层间参考图片的位置 指示索引
初始参考图片列表的第一位置 0
在短期参考图片集之后 1
在长期参考图片集之后 2
参照表1，当要将层间参考图片添加至参考图片列表的第一位置时，可以将索引设置成0；当要将层间参考图片添加至短期参考图片集之后的位置时，可以将索引设置成1；以及当要将层间参考图片添加至长期参考图片集之后的位置时，可以将索引设置成2。
对于每个层或每个切片，层间参考图片要被添加至的位置可以不同。在该情况下，可以针对每个层或每个切片来用信号传递指示索引。
此外，对于指示下述指示索引是否已被传送的指示标记，可以按将该指示标记包括在每个层的视频参数集中的方式来用信号传递，其中，所述指示索引指示层间参考图片要被添加至的位置。
图14是示出了根据本发明的另一实施方式的用于生成参考图片列表的方法的图。
首先，解码装置接收指示指示索引是否已被传送的指示标记，该指示索引指示每个层的层间参考图片要被添加至初始参考图片列表中的位置，并且解码装置基于接收的指示标记来确定指示索引是否已被传送(S1410)。
可以以将指示标记包括在每个层的视频参数集中的方式来用信号传递指示标记。
当指示标记为1时(S1420)，解码装置接收并且得到指示索引，并且针对每个层得到要将层间参考图片添加在初始参考图片列表中的位置(S1430)。
如表1所示，可以将层间参考图片要被添加至的位置映射至指示索引。解码装置可以使用如表1所示的查找表来得到层间参考图片要被添加至的位置。
相比之下，当指示标记为0时(S1420)，解码装置可以根据预先设定的参考图片列表来确定与层间参考图片集要被添加至的位置有关的位置信息(S1440)。此后，解码装置可以将层间参考图片集添加至初始参考图片列表中的由预先设定为默认值的位置信息指示的相应位置，然后构造初始参考图片列表(S1450)。
解码装置可以基于初始参考图片列表对当前图片进行预测，并且对当前图片进行解码(S1460)。
步骤S1450和S146与步骤S1330和S1330相同，因此将省略对其的重复描述。
根据本发明，可以用信号传递以下标记信息，该标记信息指示层间参考图片集是否被划分为至少两个子参考层图片集，然后被添加至参考图片列表。也就是说，可以将容易地识别对层间参考图片集是否被划分为两个或更多个子参考层图片集的确定所需的标记信息从编码装置传送至解码装置。
如上所述，当用于多视图层的参考图片被划分为多个子参考层图片集时，标记信息为1。
如果标记信息为1，则可以另外用信号传递与层间参考图片集被划分为的子参考层图片集的数目有关的信息。
此外，当标记信息为1时，还可以用信号传递上述指示标记和指示索引。
以该方式，根据本发明，提供了一种用于针对当前要编码和解码的层来生成包括另外层的图片的参考图片列表的方法以及使用该方法的装置。
参考图片列表中所包括的层间参考图片集可以根据图片集的特性(例如当前图片的时间子层的索引、层中的时间子层的索引值之间的差异或者视图的次序)来自适应地添加至参考图片列表。
用于用信号传递与层间参考图片要被添加在参考图片列表中的位置有关的位置信息的方法和装置包括在本发明内容的范围内。位置信息可以单独地编码和用信号传递，或者可以作为指示预先设定的限定位置的索引信息来用信号传递。
在上述示例性系统中，虽然基于如一系列步骤或块的流程图描述了方法，但是本发明不限于特定的步骤次序，其中一些步骤可以按照与上述步骤的次序不同的次序来执行，或者可以同时执行这些步骤。此外，由于上述实施方式包括示例的各个方面，因此应理解实施方式的组合也与本发明的实施方式对应。因此，明显的是，本发明可以包括属于本发明所附的权利要求的范围的所有替换、修改和变化。
工业应用
本发明可以用于对具有多层结构的视频信号进行编码。

Claims (34)

1.一种支持多个层的对视频进行解码的方法，包括：
接收与当前图片能够参考的至少一个参考层的层间参考图片集要被添加至参考图片列表中的位置有关的信息；
基于所述位置信息来生成包括所述层间参考图片集的初始参考图片列表；以及
基于所述初始参考图片列表来对所述当前图片执行预测。
2.根据权利要求1所述的方法，还包括：
生成短期参考图片集和长期参考图片集，所述短期参考图片集和所述长期参考图片集均包括存在于与所述当前图片的层相同的层中的图片，
其中，生成所述初始参考图片列表被配置成基于所述位置信息来将所述层间参考图片集添加至所述初始参考图片列表中的由所述位置信息指示的位置。
3.根据权利要求1所述的方法，其中，按所述位置信息被包括在切片头部或序列头部中的方式来接收所述位置信息。
4.根据权利要求1所述的方法，其中，接收所述位置信息包括：
接收指示下述指示索引是否已被传送的指示标记，所述指示索引指示所述当前图片能够参考的层间参考图片要被添加至所述初始参考图片列表中的位置；以及
当所述指示标记为1时，接收所述指示索引。
5.根据权利要求4所述的方法，其中，按所述指示标记被包括在每个层的视频参数集中的方式来接收所述指示标记。
6.根据权利要求4所述的方法，其中，按所述指示索引被包括在切片头部或序列头部中的方式来接收所述指示索引。
7.根据权利要求1所述的方法，其中：
所述初始参考图片列表包括初始参考图片列表0，并且
所述初始参考图片列表0按照下述次序来配置：包括图片顺序计数POC比所述当前图片的POC小的短期参考图片的短期参考图片集；所述层间参考图片集；包括POC比所述当前图片的POC大的短期参考图片的短期参考图片集；以及包括长期参考图片的长期参考图片集。
8.根据权利要求1所述的方法，其中：
所述初始参考图片列表包括初始参考图片列表1，并且
所述初始参考图片列表1按照下述次序来配置：包括POC比所述当前图片的POC大的短期参考图片的短期参考图片集；所述层间参考图片集；包括POC比所述当前图片的POC小的短期参考图片的短期参考图片集；以及包括长期参考图片的长期参考图片集。
9.根据权利要求1所述的方法，其中：
所述层间参考图片集包括第一子参考层图片集和第二子参考层图片集，并且
所述第一子参考层图片集和所述第二子参考层图片集在所述初始参考图片列表中被分隔并排列。
10.根据权利要求9所述的方法，其中：
所述层间参考图片集包括多视图参考层图片，
所述初始参考图片列表包括初始参考图片列表0，以及
所述初始参考图片列表0按照下述次序来排列：包括POC比所述当前图片的POC小的短期参考图片的短期参考图片集；包括在所述多视图参考层图片中的、视图次序位置比所述当前图片的视图次序位置低的图片的第一子参考层图片集；包括POC比所述当前图片的POC大的短期参考图片的短期参考图片集；包括长期参考图片的长期参考图片集；以及包括在所述多视图参考层图片中视图次序位置比所述当前图片的视图次序位置高的图片的第二子参考层图片集。
11.根据权利要求9所述的方法，其中：
所述层间参考图片集包括多视图参考层图片，
所述初始参考图片列表包括初始参考图片列表1，以及
所述初始参考图片列表1按照下述次序来排列：包括POC比所述当前图片的POC大的短期参考图片的短期参考图片集；包括在所述多视图参考层图片中的、视图次序位置比所述当前图片的POC高的图片的第二子参考层图片集；包括POC比所述当前图片的POC小的短期参考图片的短期参考图片集；包括长期参考图片的长期参考图片集；以及包括在所述多视图参考层图片中的、视图次序位置比所述当前图片的视图次序位置低的图片的第一子参考层图片集。
12.根据权利要求1所述的方法，还包括接收下述标记信息，所述标记信息指示所述层间参考图片集是否被分隔成至少两个子参考层图片集并且随后被添加至所述参考图片列表。
13.根据权利要求12所述的方法，还包括：当所述标记信息为1时，接收与所述层间参考图片集被分隔成的子参考层图片集的数目有关的信息。
14.根据权利要求1所述的方法，其中，基于所述当前图片的时间子层的索引(tempralId)来执行生成所述层间参考图片集。
15.根据权利要求1所述的方法，其中，基于被允许层间预测的时间子层的最大数目来执行生成所述层间参考图片集。
16.根据权利要求1所述的方法，还包括通过修改所述初始参考图片列表来生成最终参考图片列表。
17.根据权利要求1所述的方法，其中，对所述当前图片执行预测被配置成将包括在所述层间参考图片集中的参考图片用作所述当前图片的参考图片。
18.一种支持多个层的对视频进行解码的装置，包括：
熵解码单元，用于对下述信息进行解码，所述信息是对经由位流接收的视频进行预测和解码所需的信息；以及
预测单元，用于：得到与当前图片能够参考的至少一个参考层的层间参考图片集要被添加至参考图片列表中的位置有关的信息；基于所述位置信息来生成包括所述层间参考图片集的初始参考图片列表；以及基于所述初始参考图片列表来对所述当前图片执行预测。
19.根据权利要求18所述的装置，其中，所述预测单元被配置成：
进一步生成短期参考图片集和长期参考图片集，所述短期参考图片集和所述长期参考图片集均包括存在于与所述当前图片的层相同的层中的图片，以及
基于所述位置信息来将所述层间参考图片集添加至所述初始参考图片列表中的由所述位置信息指示的位置。
20.根据权利要求18所述的装置，其中，所述位置信息按下述方式被接收：所述位置信息被包括在切片头部或序列头部中。
21.根据权利要求18所述的装置，其中，所述预测单元得到指示下述指示索引是否已被传送的指示标记，并且在所述指示标记为1时得到所述指示索引，所述指示索引指示所述当前图片能够参考的层间参考图片要被添加至所述初始参考图片列表中的位置。
22.根据权利要求21所述的装置，其中，所述指示标记按下述方式被接收：所述指示标记被包括在每个层的视频参数集中。
23.根据权利要求21所述的装置，其中，所述指示索引按下述方式被接收：所述指示索引被包括在切片头部或序列头部中。
24.根据权利要求18所述的装置，其中：
所述初始参考图片列表包括初始参考图片列表0，并且
所述初始参考图片列表0按照下述次序来配置：包括图片顺序计数POC比所述当前图片的POC小的短期参考图片的短期参考图片集；所述层间参考图片集；包括POC比所述当前图片的POC大的短期参考图片的短期参考图片集；以及包括长期参考图片的长期参考图片集。
25.根据权利要求18所述的装置，其中：
所述初始参考图片列表包括初始参考图片列表1，并且
所述初始参考图片列表1按照下述次序来配置：包括POC比所述当前图片的POC大的短期参考图片的短期参考图片集；所述层间参考图片集；包括POC比所述当前图片的POC小的短期参考图片的短期参考图片集；以及包括长期参考图片的长期参考图片集。
26.根据权利要求18所述的装置，其中：
所述层间参考图片集包括第一子参考层图片集和第二子参考层图片集，并且
所述第一子参考层图片集和所述第二子参考层图片集在所述初始参考图片列表中被分隔并排列。
27.根据权利要求26所述的装置，其中：
所述层间参考图片集包括多视图参考层图片，
所述初始参考图片列表包括初始参考图片列表0，以及
所述初始参考图片列表0按照下述次序来配置：包括POC比所述当前图片的POC小的短期参考图片的短期参考图片集；包括在所述多视图参考层图片中的、视图次序位置比所述当前图片的视图次序位置低的图片的第一子参考层图片集；包括POC比所述当前图片的POC大的短期参考图片的短期参考图片集；包括长期参考图片的长期参考图片集；以及包括在所述多视图参考层图片中的、视图次序位置比所述当前图片的视图次序位置高的图片的第二子参考层图片集。
28.根据权利要求26所述的装置，其中：
所述层间参考图片集包括多视图参考层图片，
所述初始参考图片列表包括初始参考图片列表1，以及
所述初始参考图片列表1按照下述次序来配置：包括POC比所述当前图片的POC大的短期参考图片的短期参考图片集；包括在所述多视图参考层图片中的、视图次序位置比所述当前图片的POC高的图片的第二子参考层图片集；包括POC比所述当前图片的POC小的短期参考图片的短期参考图片集；包括长期参考图片的长期参考图片集；以及包括在所述多视图参考层图片中的、视图次序位置比所述当前图片的视图次序位置低的图片的第一子参考层图片集。
29.根据权利要求18所述的装置，其中，所述预测单元得到下述标记信息，所述标记信息指示所述层间参考图片集是否被分隔成至少两个子参考层图片集并且随后被添加至所述参考图片列表。
30.根据权利要求29所述的装置，其中，当所述标记信息为1时，所述预测单元还得到与所述层间参考图片集被分隔成的子参考层图片集的数目有关的信息。
31.根据权利要求18所述的装置，其中，所述预测单元基于所述当前图片的时间子层的索引(tempralId)来生成所述层间参考图片集。
32.根据权利要求18所述的装置，其中，所述预测单元基于被允许层间预测的时间子层的最大数目来生成所述层间参考图片集。
33.根据权利要求18所述的装置，其中，所述预测单元通过修改所述初始参考图片列表来生成最终参考图片列表。
34.根据权利要求18所述的装置，其中，所述预测单元将包括在所述层间参考图片集中的参考图片用作所述当前图片的参考图片。
CN201480043602.3A 2013-07-30 2014-07-25 支持多个层的图像编码和解码方法以及使用该方法的装置 Active CN105453564B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR20130090227 2013-07-30
KR10-2013-0090227 2013-07-30
KR1020130125928A KR102179125B1 (ko) 2013-07-15 2013-10-22 복수의 레이어를 지원하는 영상의 부호화 및 복호화 방법 및 이를 이용하는 장치
KR10-2013-0125928 2013-10-22
PCT/KR2014/006793 WO2015016536A1 (ko) 2013-07-30 2014-07-25 복수의 레이어를 지원하는 영상의 부호화 및 복호화 방법 및 이를 이용하는 장치

Publications (2)

Publication Number Publication Date
CN105453564A true CN105453564A (zh) 2016-03-30
CN105453564B CN105453564B (zh) 2019-05-10

Family

ID=52571627

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201480043588.7A Active CN105453563B (zh) 2013-07-30 2014-07-25 支持多个层的图像编码和解码方法以及使用该方法的装置
CN201480043602.3A Active CN105453564B (zh) 2013-07-30 2014-07-25 支持多个层的图像编码和解码方法以及使用该方法的装置
CN201480043530.2A Active CN105453568B (zh) 2013-07-30 2014-07-29 可扩展视频信号编码/解码方法及装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201480043588.7A Active CN105453563B (zh) 2013-07-30 2014-07-25 支持多个层的图像编码和解码方法以及使用该方法的装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201480043530.2A Active CN105453568B (zh) 2013-07-30 2014-07-29 可扩展视频信号编码/解码方法及装置

Country Status (3)

Country Link
US (8) US9762909B2 (zh)
KR (1) KR20150014871A (zh)
CN (3) CN105453563B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113508590A (zh) * 2019-02-28 2021-10-15 三星电子株式会社 用于对图像进行编码和解码的设备及其用于对图像进行编码和解码的方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX348561B (es) * 2013-07-12 2017-06-20 Sony Corp Aparato y método para la codificación de imágenes.
US10284858B2 (en) * 2013-10-15 2019-05-07 Qualcomm Incorporated Support of multi-mode extraction for multi-layer video codecs
WO2015082763A1 (en) * 2013-12-02 2015-06-11 Nokia Technologies Oy Video encoding and decoding
KR20160071569A (ko) * 2014-12-11 2016-06-22 삼성전자주식회사 비디오 장치에서의 영상 처리 방법 및 그에 따른 비디오 장치
CN105163124B (zh) * 2015-08-28 2019-01-18 京东方科技集团股份有限公司 一种图像编码方法、图像解码方法及装置
US10880566B2 (en) 2015-08-28 2020-12-29 Boe Technology Group Co., Ltd. Method and device for image encoding and image decoding
US10097836B2 (en) * 2015-09-28 2018-10-09 Samsung Electronics Co., Ltd. Method and device to mark a reference picture for video coding
CN116320495A (zh) * 2016-11-28 2023-06-23 韩国电子通信研究院 用于滤波的方法和装置
CN106991143B (zh) * 2017-03-22 2019-07-19 苏州中科图新网络科技有限公司 多层级图像文件、生成方法及装置、读取方法及装置
EP3561893B1 (en) * 2018-04-26 2022-06-15 Canon Kabushiki Kaisha Organic device and method of manufacturing the same
WO2020001790A1 (en) * 2018-06-29 2020-01-02 Huawei Technologies Co., Ltd. Apparatuses and methods for encoding and decoding a video signal
US11032567B2 (en) * 2018-07-20 2021-06-08 Intel Corporation Automatic adaptive long term reference frame selection for video process and video coding
EP4336832A3 (en) * 2018-08-17 2024-05-22 Huawei Technologies Co., Ltd. Reference picture management in video coding
CN113383547A (zh) 2019-02-01 2021-09-10 北京字节跳动网络技术有限公司 环路整形和帧间编解码工具之间的相互作用
WO2020156534A1 (en) 2019-02-01 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Interactions between in-loop reshaping and intra block copy
CN113574889B (zh) 2019-03-14 2024-01-12 北京字节跳动网络技术有限公司 环路整形信息的信令和语法
JP7417624B2 (ja) * 2019-03-23 2024-01-18 北京字節跳動網絡技術有限公司 適応ループフィルタリングパラメータセットに対する制限
US11109064B2 (en) * 2019-05-22 2021-08-31 Mediatek Inc. Signaling of motion vector difference derivation
KR20220024659A (ko) * 2019-06-24 2022-03-03 알리바바 그룹 홀딩 리미티드 비디오 처리에서의 적응적 해상도 변경

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101742321A (zh) * 2010-01-12 2010-06-16 浙江大学 基于图层分解的视频编、解码方法及装置
WO2012033327A2 (ko) * 2010-09-08 2012-03-15 엘지전자 주식회사 참조 픽쳐 리스트 구성 방법을 포함하는 영상 복호화 방법 및 장치
WO2013066045A1 (ko) * 2011-10-31 2013-05-10 엘지전자 주식회사 참조 픽처 리스트 초기화 방법 및 장치
US20130155184A1 (en) * 2011-12-20 2013-06-20 Qualcomm Incorporated Reference picture list construction for multi-view and three-dimensional video coding

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101407748B1 (ko) 2004-10-13 2014-06-17 톰슨 라이센싱 복잡도 스케일러블 비디오 인코딩 및 디코딩을 위한 방법 및 장치
EP1806930A1 (en) 2006-01-10 2007-07-11 Thomson Licensing Method and apparatus for constructing reference picture lists for scalable video
WO2008051041A1 (en) 2006-10-25 2008-05-02 Electronics And Telecommunications Research Institute Multi-view video scalable coding and decoding
KR101375667B1 (ko) 2008-05-16 2014-03-18 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
KR20120027194A (ko) 2009-04-21 2012-03-21 엘지전자 주식회사 다시점 비디오 신호 처리 방법 및 장치
US20120050475A1 (en) 2009-05-01 2012-03-01 Dong Tian Reference picture lists for 3dv
WO2011049372A2 (en) 2009-10-20 2011-04-28 Samsung Electronics Co., Ltd. Method and apparatus for generating stream and method and apparatus for processing stream
CN108337521B (zh) 2011-06-15 2022-07-19 韩国电子通信研究院 存储由可伸缩编码方法生成的比特流的计算机记录介质
US10523967B2 (en) 2011-09-09 2019-12-31 Kt Corporation Method for deriving a temporal predictive motion vector, and apparatus using the method
US9420307B2 (en) 2011-09-23 2016-08-16 Qualcomm Incorporated Coding reference pictures for a reference picture set
EP2772052A1 (en) 2011-10-24 2014-09-03 Telefonaktiebolaget LM Ericsson (PUBL) Reference picture marking
KR102615301B1 (ko) 2011-11-11 2023-12-19 엘지전자 주식회사 영상 정보 전송 방법 및 장치와 이를 이용한 복호화 방법 및 장치
JP2013110518A (ja) * 2011-11-18 2013-06-06 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US20150139323A1 (en) 2012-07-24 2015-05-21 Electronics And Telecommunications Research Institute Method of decoding images and device using same
CN102801980B (zh) * 2012-08-09 2016-01-20 芯原微电子(北京)有限公司 一种用于可伸缩视频编码的解码装置和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101742321A (zh) * 2010-01-12 2010-06-16 浙江大学 基于图层分解的视频编、解码方法及装置
WO2012033327A2 (ko) * 2010-09-08 2012-03-15 엘지전자 주식회사 참조 픽쳐 리스트 구성 방법을 포함하는 영상 복호화 방법 및 장치
WO2013066045A1 (ko) * 2011-10-31 2013-05-10 엘지전자 주식회사 참조 픽처 리스트 초기화 방법 및 장치
US20130155184A1 (en) * 2011-12-20 2013-06-20 Qualcomm Incorporated Reference picture list construction for multi-view and three-dimensional video coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN ET AL: "SHVC Working Draft 2", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING JCTVC- M1008》 *
OHJI NAKAGAMI ET AL: "AHG9: On initialization process of reference picture lists for HEVC extensions", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING JCTVC-M0081》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113508590A (zh) * 2019-02-28 2021-10-15 三星电子株式会社 用于对图像进行编码和解码的设备及其用于对图像进行编码和解码的方法

Also Published As

Publication number Publication date
US20170339428A1 (en) 2017-11-23
US9769478B2 (en) 2017-09-19
US20160330442A1 (en) 2016-11-10
US20160182916A1 (en) 2016-06-23
CN105453568B (zh) 2019-05-10
CN105453563B (zh) 2019-08-16
CN105453568A (zh) 2016-03-30
US9894357B2 (en) 2018-02-13
US20170339414A1 (en) 2017-11-23
CN105453563A (zh) 2016-03-30
US20160165260A1 (en) 2016-06-09
US9762910B2 (en) 2017-09-12
US10148950B2 (en) 2018-12-04
CN105453564B (zh) 2019-05-10
US20160173893A1 (en) 2016-06-16
KR20150014871A (ko) 2015-02-09
US10148952B2 (en) 2018-12-04
US9762909B2 (en) 2017-09-12
US20170339427A1 (en) 2017-11-23
US10154259B2 (en) 2018-12-11
US20180124395A1 (en) 2018-05-03
US10148949B2 (en) 2018-12-04

Similar Documents

Publication Publication Date Title
CN105453564A (zh) 支持多个层的图像编码和解码方法以及使用该方法的装置
CN104255031A (zh) 层间预测方法和使用层间预测方法的装置
CN105519113A (zh) 可扩展视频信号编码/解码方法及装置
US10200702B2 (en) Image encoding and decoding method supporting plurality of layers and apparatus using same
CN105379276A (zh) 可伸缩视频信号编码/解码方法和装置
KR102025413B1 (ko) 복수의 레이어를 지원하는 영상의 부호화 및 복호화 방법 및 이를 이용하는 장치
KR102179125B1 (ko) 복수의 레이어를 지원하는 영상의 부호화 및 복호화 방법 및 이를 이용하는 장치
KR20150009468A (ko) 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
KR102175542B1 (ko) 복수의 레이어를 지원하는 영상의 부호화 및 복호화 방법 및 이를 이용하는 장치
CN105379275A (zh) 用于对可伸缩视频信号进行编码/解码的方法和装置
KR20150133685A (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150064676A (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150037659A (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150048077A (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150014872A (ko) 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150043989A (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150043990A (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant