CN106105213A - 多层视频信号编码/解码方法和装置 - Google Patents

多层视频信号编码/解码方法和装置 Download PDF

Info

Publication number
CN106105213A
CN106105213A CN201580016093.XA CN201580016093A CN106105213A CN 106105213 A CN106105213 A CN 106105213A CN 201580016093 A CN201580016093 A CN 201580016093A CN 106105213 A CN106105213 A CN 106105213A
Authority
CN
China
Prior art keywords
layer
picture
photo current
reference picture
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580016093.XA
Other languages
English (en)
Other versions
CN106105213B (zh
Inventor
李培根
金柱英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KT Corp
Original Assignee
KT Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KT Corp filed Critical KT Corp
Publication of CN106105213A publication Critical patent/CN106105213A/zh
Application granted granted Critical
Publication of CN106105213B publication Critical patent/CN106105213B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24D—DOMESTIC- OR SPACE-HEATING SYSTEMS, e.g. CENTRAL HEATING SYSTEMS; DOMESTIC HOT-WATER SUPPLY SYSTEMS; ELEMENTS OR COMPONENTS THEREFOR
    • F24D5/00—Hot-air central heating systems; Exhaust gas central heating systems
    • F24D5/06—Hot-air central heating systems; Exhaust gas central heating systems operating without discharge of hot air into the space or area to be heated
    • F24D5/10—Hot-air central heating systems; Exhaust gas central heating systems operating without discharge of hot air into the space or area to be heated with hot air led through heat-exchange ducts in the walls, floor or ceiling
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24B—DOMESTIC STOVES OR RANGES FOR SOLID FUELS; IMPLEMENTS FOR USE IN CONNECTION WITH STOVES OR RANGES
    • F24B1/00—Stoves or ranges
    • F24B1/18—Stoves with open fires, e.g. fireplaces
    • F24B1/182—Stoves with open fires, e.g. fireplaces with additional provisions for cooking
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24B—DOMESTIC STOVES OR RANGES FOR SOLID FUELS; IMPLEMENTS FOR USE IN CONNECTION WITH STOVES OR RANGES
    • F24B1/00—Stoves or ranges
    • F24B1/18—Stoves with open fires, e.g. fireplaces
    • F24B1/191—Component parts; Accessories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Abstract

根据本发明的多层视频信号解码方法的特征在于：使用关于与一个或更多个参考层有关的子层的数量的信息以及属于当前层的当前图片的时间级标识符，以便从一个或更多个参考层中的相应图片中选择当前图片的候选参考图片；基于候选参考图片的数量得到当前图片的有效参考层图片的数量；基于有效参考层图片的数量获得参考层标识符；通过使用参考层标识符确定当前图片的有效参考图片；生成当前图片的参考图片列表，参考图片列表包括时间参考图片和有效参考图片；以及基于参考图片列表执行当前图片的层间预测。

Description

多层视频信号编码/解码方法和装置
技术领域
本发明涉及用于对多层视频信号进行编码/解码的方法和装置。
背景技术
近来，在各应用领域中，对高分辨率、高品质图像如高清晰度(HD)图像和超高清晰度(UHD)图像的需求已经增长。随着视频数据具有更高分辨率和更高品质，视频数据在量上大于传统视频数据。因此，如果视频数据在现有介质比如有线/无线宽带电路上进行传输或者被存储在现有存储介质中，则传输成本和存储成本增大。为了避免使用较高分辨率、较高品质的视频数据遇到的这些问题，可以使用高效视频压缩技术。
存在包括如下的各种视频压缩技术：根据当前图片的先前图片或后续图片对包括在当前图片中的像素值进行预测的图片间预测，使用当前图片中的像素信息对包括在当前图片中的像素值进行预测的图片内预测，以及将短码分配给较频繁的值和将长码分配给较不频繁的值的熵编码。使用这样的视频压缩技术可以对视频数据进行有效地压缩以及传输或存储。
随着对高分辨率视频的日益增长的需求，对三维(3D)视频内容的需求也作为新的视频服务而增长。用于有效地提供HD和UHD 3D视频内容的视频压缩技术正在讨论中。
发明内容
技术问题
本发明的目的是提供一种用于在对多层视频信号进行编码/解码中确定参考层的用于当前图片的层间预测的相应图片的方法和装置。
本发明的另一目的是提供一种用于在对多层视频信号进行编码/解码中对参考层的相应图片进行上采样的方法和装置。
本发明的另一目的是提供一种用于在对多层视频信号进行编码/解码中采用层间参考图片构建参考图片列表的方法和装置。
本发明的另一目的是提供一种用于在对多层视频信号进行编码/解码中通过层间预测有效地得到关于当前层的运动信息或纹理信息的方法和装置。
技术方案
根据本发明的用于对多层视频信号进行解码的方法和装置包括：通过使用与参考层有关的子层数量信息和属于当前层的当前图片的时间ID，从至少一个参考层的相应图片中选择当前图片的候选参考图片，基于候选参考图片的数量确定当前图片的有效参考的数量，基于所确定的有效参考的数量获取参考层标识符(ID)，使用参考层ID确定当前图片的有效参考图片，生成当前图片的参考图片列表，参考图片列表包括时间参考图片和有效参考图片，以及基于参考图片列表执行当前图片的层间预测。
在根据本发明的用于对多层视频信号进行解码的方法和装置中，当相应图片的时间ID小于或等于子层数量信息并且当前图片属于当前层中的多个时间子层中的最低级别的层时，选择相应图片作为当前图片的候选参考图片。
在根据本发明的用于对多层视频信号进行解码的方法和装置中，当候选参考图片的数量为0时，将当前图片的有效参考的数量设置为等于0，以及当候选参考图片的数量不为0时，基于全有效标记得到当前图片的有效参考的数量。
在根据本发明的用于对多层视频信号进行解码的方法和装置中，全有效标记指示是否施加下述约束：将当前图片的所有候选参考图片用于当前图片的层间预测。
在根据本发明的用于对多层视频信号进行解码的方法和装置中，执行当前图片的层间预测包括根据当前图片的直接依赖关系类型执行层间纹理预测和层间运动预测中至少之一。
在根据本发明的用于对多层视频信号进行解码的方法和装置中，直接依赖关系类型包括第一类型、第二类型和第三类型中至少之一，在第一类型中，对于当前图片仅参考关于参考层的纹理信息，在第二类型中，对于当前图片仅参考关于参考层的运动信息，在第三类型中，对于当前图片参考关于参考层的纹理信息和运动信息两者。
根据本发明的用于对多层视频信号进行编码的方法和装置包括：通过使用与参考层有关的子层数量信息和属于当前层的当前图片的时间ID，从至少一个参考层的相应图片中选择当前图片的候选参考图片，基于候选参考图片的数量确定当前图片的有效参考的数量，基于所确定的有效参考的数量获取参考层标识符(ID)，使用参考层ID确定当前图片的有效参考图片，生成当前图片的参考图片列表，参考图片列表包括时间参考图片和有效参考图片，以及基于参考图片列表执行当前图片的层间预测。
在根据本发明的用于对多层视频信号进行编码的方法和装置中，当相应图片的时间ID小于或等于子层数量信息并且当前图片属于当前层中的多个时间子层中的最低级别的层时，选择相应图片作为当前图片的候选参考图片。
在根据本发明的用于对多层视频信号进行编码的方法和装置中，当候选参考图片的数量为0时，将当前图片的有效参考的数量设置为等于0，以及当候选参考图片的数量不为0时，基于全有效标记得到当前图片的有效参考的数量。
在根据本发明的用于对多层视频信号进行编码的方法和装置中，所有全有效标记指示是否施加下述约束：将当前图片的所有候选参考图片用于当前图片的层间预测。
在根据本发明的用于对多层视频信号进行编码的方法和装置中，执行当前图片的层间预测包括根据当前图片的直接依赖关系类型执行层间纹理预测和层间运动预测中至少之一。
在根据本发明的用于对多层视频信号进行编码的方法和装置中，直接依赖关系类型包括第一类型、第二类型和第三类型中至少之一，在第一类型中，对于当前图片仅参考关于参考层的纹理信息，在第二类型中，对于当前图片仅参考关于参考层的运动信息，在第三类型中，对于当前图片参考关于参考层的纹理信息和运动信息两者。
有益效果
根据本发明，可以有效地确定参考层的用于当前层中的当前图片的层间预测的相应图片。
根据本发明，可以有效地上采样参考层的图片。
根据本发明，可以有效地构建包括层间参考图片的参考图片列表。
根据本发明，可以通过层间预测高有效地得到关于当前层的运动信息和纹理信息。
附图说明
图1是示出根据本发明的实施方式的编码装置的框图。
图2是示出根据本发明的实施方式的解码装置的框图。
图3是示出在应用本发明的实施方式中的用于使用参考层的相应图片执行当前层的层间预测的操作的流程图。
图4是示出在应用本发明的实施方式中的在考虑有效参考图片的最大数量是否被限制的情况下用于确定有效参考的数量NumActiveRefLayerPics的方法的流程图。
图5是示出在应用本发明的实施方式中的用于基于当前图片的时间级标识符(TemporalId)和相应图片确定当前图片的有效参考的数量NumActiveRefLayerPics的方法的流程图。
图6是示出在应用本发明的实施方式中的用于基于全有效标记all_ref_layers_active_flag确定当前图片的有效参考的数量NumActiveRefLayerPics的方法的流程图。
图7示出了在应用本发明的实施方式中的关于子层的数量的信息的语法表。
图8示出了在应用本发明的实施方式中的用于基于最大时间级存在标记获取最大时间指示符的方法。
图9示出了在应用本发明的实施方式中的在考虑直接依赖关系的情况下用于获取最大时间指示符的方法。
图10是示出在应用本发明的实施方式中的用于对参考层的有效参考图片进行上采样的方法的流程图。
图11示出了在应用本发明的实施方式中的用于确定被存储在解码图片缓冲器中的短期参考图片的方法。
图12示出了在应用本发明的实施方式中的用于确定长期参考图片的方法。
图13示出了在应用本发明的实施方式中的用于使用短期参考图片和长期参考图片来构建参考图片列表的方法。
图14、图15和图16示出了在应用本发明的实施方式中的用于以多层结构构建参考图片列表的方法。
图17示出了在应用本发明的实施方式中的用于基于直接依赖关系类型信息direct_dependency_type确定当前图片的直接依赖关系类型的方法。
图18示出了在应用本发明的实施方式中的用于基于默认直接依赖关系存在标记确定当前图片的直接依赖关系类型的方法。
最优实施方式
根据本发明的用于对多层视频信号进行解码的方法和装置包括：通过使用与参考层有关的子层数量信息和属于当前层的当前图片的时间ID，从至少一个参考层的相应图片中选择当前图片的候选参考图片，基于候选参考图片的数量确定当前图片的有效参考的数量，基于所确定的有效参考的数量获取参考层标识符(ID)，使用参考层ID确定当前图片的有效参考图片，生成当前图片的参考图片列表，参考图片列表包括时间参考图片和有效参考图片，以及基于参考图片列表执行当前图片的层间预测。
在根据本发明的用于对多层视频信号进行解码的方法和装置中，当相应图片的时间ID小于或等于子层数量信息并且当前图片属于当前层中的多个时间子层中的最低级别的层时，选择相应图片作为当前图片的候选参考图片。
在根据本发明的用于对多层视频信号进行解码的方法和装置中，当候选参考图片的数量为0时，将当前图片的有效参考的数量设置为等于0，以及当候选参考图片的数量不为0时，基于全有效标记得到当前图片的有效参考的数量。
在根据本发明的用于对多层视频信号进行解码的方法和装置中，全有效标记指示是否施加下述约束：将当前图片的所有候选参考图片用于当前图片的层间预测。
在根据本发明的用于对多层视频信号进行解码的方法和装置中，执行当前图片的层间预测包括根据当前图片的直接依赖关系类型执行层间纹理预测和层间运动预测中至少之一。
在根据本发明的用于对多层视频信号进行解码的方法和装置中，直接依赖关系类型包括第一类型、第二类型和第三类型中至少之一，在第一类型中，对于当前图片仅参考关于参考层的纹理信息，在第二类型中，对于当前图片仅参考关于参考层的运动信息，在第三类型中，对于当前图片参考关于参考层的纹理信息和运动信息两者。
根据本发明的用于对多层视频信号进行编码的方法和装置包括：通过使用与参考层有关的子层数量信息和属于当前层的当前图片的时间ID，从至少一个参考层的相应图片中选择当前图片的候选参考图片，基于候选参考图片的数量确定当前图片的有效参考的数量，基于所确定的有效参考的数量获取参考层标识符(ID)，使用参考层ID确定当前图片的有效参考图片，生成当前图片的参考图片列表，参考图片列表包括时间参考图片和有效参考图片，以及基于参考图片列表执行当前图片的层间预测。
在根据本发明的用于对多层视频信号进行编码的方法和装置中，当相应图片的时间ID小于或等于子层数量信息并且当前图片属于当前层中的多个时间子层中的最低级别的层时，选择相应图片作为当前图片的候选参考图片。
在根据本发明的用于对多层视频信号进行编码的方法和装置中，当候选参考图片的数量为0时，将当前图片的有效参考的数量设置为等于0，以及当候选参考图片的数量不为0时，基于全有效标记得到当前图片的有效参考的数量。
在根据本发明的用于对多层视频信号进行编码的方法和装置中，全有效标记指示是否施加下述约束：将当前图片的所有候选参考图片用于当前图片的层间预测。
在根据本发明的用于对多层视频信号进行编码的方法和装置中，执行当前图片的层间预测包括根据当前图片的直接依赖关系类型执行层间纹理预测和层间运动预测中至少之一。
在根据本发明的用于对多层视频信号进行编码的方法和装置中，直接依赖关系类型包括第一类型、第二类型和第三类型中至少之一，在第一类型中，对于当前图片仅参考关于参考层的纹理信息，在第二类型中，对于当前图片仅参考关于参考层的运动信息，在第三类型中，对于当前图片参考关于参考层的纹理信息和运动信息两者。
具体实施方式
下文将参照附图详细描述本发明的优选实施方式。在详细描述之前，应理解，在本公开内容和权利要求中所使用的术语或词汇不应当解释为其常用或字典意义，而应当基于发明人以最佳方式合适地定义术语的概念的原则来解释为匹配本发明的范围和精神的意义和概念。因此，如下所述的实施方式和在附图中示出的配置仅是本发明的优选实施方式，并不代表本发明的所有技术主题。因此，应理解，在提交本发明时本发明的实施方式可以替换为各种等同物和修改示例。
当提及部件“与……耦接/耦接到”或“连接到”另一部件时，应当理解为一个部件直接或者通过部件之间的任何其他部件耦接或连接到该另一部件。在本公开内容中，术语“包括”并不排除特定部件以外的任何其他部件的存在，这意味着附加部件可以包括在本发明的范围或本发明的实施方式中。
在本公开内容中所使用的术语，第一或第二可以用来描述各种部件而不是限制部件。这些表达用于将一个部件与另一部件区分开。例如，在不脱离本公开的范围的情况下，第一部件可以被称为第二部件，反之，第二部件可以被称为第一部件。
此外，本发明的实施方式中的部件被独立地示出以说明不同的特性功能，并不意指每个部件被配置在单独的硬件单元或者一个软件单元中。即，为了方便描述，单独列举每个部件。因此，两个或更多个部件可以结合成一个部件或者一个部件可以被分成多个部件。部件被集成的实施方式和部件被分离的实施方式落入本发明的范围中。
一些部件可以是为了提高性能的可选部件，而对于本发明的主要功能不是必要的。本发明可以在不使用仅是为了提高性能的部件的情况下，仅使用对于本发明的主题而言的必要的部件来实现，其落入本发明的范围内。
支持比特流的多个层的视频编码和解码被称为可伸缩视频编码。因为多个层之间存在强关联，所以可以通过基于所述关联执行预测来去除数据的冗余分量以及提高视频编码性能。使用关于另一层的信息进行的当前层的预测被称为层间预测。
多个层可以具有不同的分辨率。文中，分辨率可以意指空间分辨率、时间分辨率和图像品质中至少之一。为了在层间预测期间控制分辨率，可以执行对层的重采样比如上采样或下采样。
图1是示意性地示出根据本发明的实施方式的编码装置的框图。
根据本发明的编码装置100包括针对上层的编码单元100a和针对下层的编码单元100b。
上层可以被称为当前层或增强层，以及下层可以被称为与上层相比具有较低分辨率的增强层、基本层或参考层。上层与下层之间可以在下述至少之一方面不同：空间分辨率、基于帧速率的时间分辨率、颜色格式以及基于量化步长的图像品质。当针对层间预测需要改变分辨率时，可以对层执行上采样或下采样。
针对上层的编码单元100a可以包括划分单元110、预测单元120、变换单元130、量化单元140、重排单元150、熵编码单元160、逆量化单元170、逆变换单元180、滤波器单元190以及存储器195。
针对下层的编码单元100b可以包括划分单元111、预测单元125、变换单元131、量化单元141、重排单元151、熵编码单元161、逆量化单元171、逆变换单元181、滤波器单元191以及存储器196。
可以通过以下描述的本发明的实施方式中所描述的视频编码方法来实现编码单元，但是可以不执行一些部分的操作以降低编码装置的复杂度或能够进行快速实时编码。例如，针对在预测单元执行帧内预测时的实时编码，可以不执行其中所有的帧内预测模式方法用来选择最佳帧内编码方法的方法，而是执行其中从有限数量的帧内预测模式中选择一个帧内预测模式并且将所选择的一个帧内预测模式设置为最终帧内预测模式的方法。在另一示例中，用于帧间预测或帧内预测的预测块可以具有有限的形状。
在编码装置中处理的块的单位可以是用于执行编码的编码单位、用于执行预测的预测单位或者用于执行变换的变换单位。编码单位、预测单位以及变换单位可以分别被称为CU、PU以及TU。
划分单元110和划分单元111的每一个可以通过将层图片划分成编码块、预测块和变换块的多个组合并且通过基于预定基准(例如代价函数)选择编码块、预测块和变换块的一个组合来划分层。例如，为了将层图片划分成编码单位，可以使用递归树结构如四叉树结构。在下文中，在本发明的实施方式中，编码块不仅可以意指用于编码的块而且可以意指用于解码的块。
预测块可以是用于执行预测如帧内预测或帧间预测的单位。用于帧内预测的块可以是具有方形形式如2N×2N或N×N的块。作为用于帧间预测的块，存在方形形式如2N×2N和N×N的块、矩形形式如2N×N和N×2N的块、以及具有通过使用不对称运动划分(AMP)的预测块划分方法获得的不对称形式的块。变换单元115可以根据预测块的形式使用不同的变换方法。
编码单元100a和编码单元100b的预测单元120和预测单元125的每一个可以包括用于执行帧内预测的帧内预测单元121或帧内预测单元126以及用于执行帧间预测的帧间预测单元122或帧间预测单元127。针对上层的编码单元110a的预测单元120还可以包括使用与下层有关的信息来对上层执行预测的层间预测单元123。
预测单元120和预测单元125的每一个可以确定是对预测块执行帧间预测还是帧内预测。在执行帧内预测时，基于预测块确定帧内预测模式，并且可以基于变换块执行用于基于所确定的帧内预测模式处理帧内预测的处理。可以将所生成的预测块与原始块之间的残差(残差块)输入至变换单元130和变换单元131。此外，可以通过熵编码单元130连同残差一起对用于预测的预测模式信息、运动信息等进行编码并且将其传输至解码装置。
在使用脉冲编码调制(PCM)模式时，在不使用预测单元120和预测单元125执行预测的情况下，原始块可以被不改变地编码并且可以被传输至解码单元。
帧内预测单元121和帧内预测单元126的每一个可以基于位于当前块(预测目标块)周围的参考像素来生成帧内预测块。在帧内预测方法中，帧内预测模式可以包括根据预测方向来使用参考像素的定向预测模式和不考虑预测方向的非定向预测模式。用于预测亮度信息的模式可以不同于用于预测色度信息的模式。可以使用通过预测亮度信息而获得的帧内预测模式或者所预测的亮度信息来预测色度信息。同时，如果参考像素不可用，则可以通过采用其他像素替换不可用的参考像素来生成预测块。
预测块可以包括多个变换块。如果在执行帧内预测时预测块的大小和变换块的大小相同，则可以基于预测块的左侧像素、左上侧像素和上侧像素来对预测块执行帧内预测。然而，在帧内预测时，当预测块和变换块的大小不同并且多个变换块被包括在预测块内时，使用与变换块相邻的邻近像素作为参考像素以执行帧内预测。此处，与变换块相邻的邻近像素可以包括与预测块相邻的邻近像素和预测块中先前被解码的像素中的至少之一。
帧内预测方法可以根据帧内预测模式在将依赖于模式的帧内平滑(MDIS)滤波器应用于参考像素之后生成预测块。应用于参考像素的MDIS滤波器的类型可以不同。MDIS滤波器是应用于通过执行帧内预测而生成的帧内预测块的附加滤波器，以及MDIS滤波器可以用于减小参考像素与执行预测之后所生成的帧内预测块之间的残差。在执行MDIS滤波时，根据帧内预测模式的方向，可以对参考像素和包括在帧内预测块中的一些列执行不同的滤波。
帧间预测单元122和帧间预测单元127的每一个可以通过参照关于包括在当前图片的先前图片或后续图片中的至少之一中的块的信息来执行预测。帧间预测单元122和帧间预测单元127的每一个可以包括参考图片插值单元、运动预测单元和运动补偿单元。
参考图片插值单元可以从存储器195或存储器196接收参考图片信息并且可以根据参考图片生成小于整数像素的关于像素的信息。对于亮度像素可以使用基于DCT的8抽头插值滤波器，基于DCT的8抽头插值滤波器有区别地设置滤波器系数以1/4像素为单位生成小于整数像素的关于像素的信息。对于色度信号，可以使用基于DCT的4抽头插值滤波器，基于DCT的4抽头插值滤波器有区别地设置滤波器系数以1/8像素为单位生成小于整数像素的关于像素的信息。
帧间预测单元122和帧间预测单元127的每一个可以基于通过参考图片插值单元进行插值的参考图片来执行运动预测。作为用于计算运动矢量的方法，可以使用各种方法如基于全搜索的块匹配算法(FBMA)、三步搜索(TSS)算法以及新三步搜索(NTS)算法。运动矢量可以具有与1/2或1/4的插值像素对应的运动矢量值。帧间预测单元122和帧间预测单元127的每一个可以使用各种帧间预测方法中的任一方法对当前块执行预测。
作为帧间预测方法，可以使用各种方法如跳过方法、合并方法和运动矢量预测(MVP)方法。
在帧间预测中，对运动信息即关于参考索引、运动矢量和残差信号的信息进行熵编码并且将其递送至解码单元。在应用跳过模式的情况下，由于不生成残差信息，因此可以省略用于对残差信号进行变换和量化的过程。
层间预测单元123执行层间预测以用于使用关于下层的信息来预测上层。层间预测单元123可以使用下层的纹理信息、运动信息等来执行层间预测。
可以通过将下层的图片设置为参考图片并且使用下层(参考层)的图片中的运动信息对上层的当前块执行预测来执行层间预测。用作层间预测中的参考图片的参考层的图片可以是被采样以匹配当前层的分辨率的图片。此外，运动信息可以包括运动矢量和参考索引。在这种情况下，用于参考层的图片的运动矢量值可以被设置成(0，0)。
作为层间预测的示例，描述了使用下层的图片作为参考图片的预测方法，但本发明不限于此。层间预测单元123可以附加地执行层间纹理预测、层间运动预测、层间语法预测和层间残差预测等。
层间纹理预测可以基于参考层的纹理来得到当前层的纹理。可以对参考层的纹理进行采样以匹配当前层的分辨率，并且层间预测单元123可以基于经采样的参考层的纹理来预测当前层的纹理。
层间运动预测可以基于参考层的运动矢量来得到当前层的运动矢量。在这种情况下，可以缩放参考层的运动矢量以匹配当前层的分辨率。层间语法预测可以基于参考层的语法来预测当前层的语法。例如，层间预测单元123可以使用参考层的语法作为当前层的语法。此外，层间残差预测可以使用参考层的恢复图片与当前层的恢复图片之间的残差来重构当前层的图片。
生成包括残差信息的残差块并且将残差块输入至相应的变换单元130或变换单元131，其中残差信息是通过预测单元120和预测单元125中的每一个生成的预测块与预测块的重构块之间的差值。
变换单元130和变换单元131的每一个可以使用变换方法如离散余弦变换(DCT)或离散正弦变换(DST)来对残差块进行变换。可以基于用于生成残差块的预测块的帧内预测模式信息和预测块的大小信息来确定是应用DCT还是应用DST对残差块进行变换。即，变换单元130和变换单元131的每一个可以根据预测块的大小和预测方法使用不同的变换方法。
量化单元140和量化单元141的每一个可以对通过相应的变换单元130或变换单元131在频域中变换的值进行量化。量化系数可以根据块的类型或图片的重要性而变化。可以将通过量化单元140或量化单元141计算的值提供至逆量化单元170或逆量化单元171以及重排单元150或重排单元151。
重排单元150和重排单元151的每一个可以对经量化的残差值的系数值进行重排。重排单元150或重排单元151可以使用系数扫描方法将2D块格式系数变成1D矢量格式系数。例如，重排单元150或重排单元151可以通过使用Z字形扫描方法对从DC系数到高频带系数范围的系数进行扫描，以将2D块格式系数变成1D矢量格式系数。替代Z字形扫描方法，根据变换块的大小和帧内预测模式，可以使用用于按列方向扫描2D块格式系数的竖直扫描方法和用于按行方向扫描2D块格式系数的水平扫描方法。即，可以根据变换块的大小和帧内预测模式，确定要使用Z字形扫描方法、竖直扫描方法和水平扫描方法中的哪种方法。
熵编码单元160和熵编码单元161的每一个可以基于通过重排单元150或重排单元151计算的值来执行熵编码。例如，可以使用各种编码方法如指数哥伦布、上下文自适应可变长度编码(CAVLC)和上下文自适应二进制算术编码(CABAC)来实现熵编码。
熵编码单元160和熵编码单元161可以通过从重排单元150和重排单元151以及预测单元120和预测单元125接收各种信息如编码块的块类型信息和残差系数信息、预测模式信息、划分单位信息、预测块信息和传输单位信息、运动矢量信息、参考帧信息、块的插值信息、滤波信息等，基于预定编码方法来执行熵编码。此外，熵编码单元160和熵编码单元161可以对从重排单元150和重排单元151输入的编码单位的系数值进行熵编码。
熵编码单元160和熵编码单元161的每一个可以通过对帧内预测模式信息执行二进制编码来对当前块的帧内预测模式信息进行编码。熵编码单元160和熵编码单元161可以包括用于二进制编码的码字映射单元，并且可以根据用于帧内预测的预测块的大小来以不同的方式执行二进制编码。码字映射单元可以通过二进制编码操作来自适应地生成码字映射表或者可以具有先前生成的映射表。在另一实施方式中，熵编码单元160和熵编码单元161可以使用用于执行码号映射的码号映射单元和用于执行码字映射的码字映射单元来表示关于当前块的帧内预测模式信息。码号映射单元和码字映射单元可以分别生成码号映射表和码字映射表，或者可以分别具有先前生成的码号映射表和码字映射表。
逆量化单元170和逆量化单元171的每一个可以对通过量化单元140或量化单元141量化的值进行逆量化，以及逆变换单元180或逆变换单元181的每一个可以对通过变换单元130或变换单元131变换的值进行逆变换。将通过逆量化单元170或逆量化单元171以及逆变换单元180或逆变换单元181生成的残差值与通过包括在预测单元120或预测单元125中的运动估计单元、运动补偿单元和帧内预测单元预测的预测块结合，从而可以生成重构块。
滤波器单元190和滤波器单元191的每一个可以包括去块滤波器和偏移校正单元中的至少之一。
去块滤波器可以去除重构图片中由于块之间的边界而生成的块失真。可以基于包括在块的一些列或行中的像素来确定是否执行去块，即是否将去块滤波器应用于当前块。在将去块滤波器应用于块时，可以根据所需的去块滤波的强度来应用强滤波器或弱滤波器。此外，在去块滤波器的应用中，当进行竖直滤波和水平滤波时，可以并行地处理竖直滤波和水平滤波。
偏移校正单元可以以像素为单位校正对其执行了去块的图片与原图片之间的偏移。为了对特定图片执行偏移校正，可以使用以下方法：将包括在图片中的像素划分成多个特定区域、确定要施加偏移的区域以及将偏移施加于该区域的方法；或者在考虑关于每个像素的边缘的信息的情况下施加偏移的方法。
滤波器单元190和滤波器单元191的每一个可以仅使用去块滤波器、或者使用去块滤波器和偏移校正二者而不是使用所有的去块滤波器和偏移校正来实现。
存储器195和存储器196的每一个可以存储通过滤波器单元190或滤波器单元191计算的重构块或图片，以及可以在执行帧内预测时将存储在存储器中的重构块和图片提供至预测单元120或预测单元125。
从下层的熵编码单元100b输出的信息和从上层的熵编码单元100a输出的信息通过复用器(MUX)197复用，并且随后以比特流的形式被输出。
MUX 197可以包括在上层的编码单元100a或下层的编码单元100b中，或者可以实现为不同于编码单元100的单独的装置或模块。
图2是示意性地示出根据本发明的实施方式的解码装置的框图。
如图2所示，解码装置200包括上层的解码单元200a和下层的解码单元200b。
上层的解码单元200a可以包括熵解码单元210、重排单元220、逆量化单元230、逆变换单元240、预测单元250、滤波器单元260以及存储器270。
下层的解码单元200b可以包括熵解码单元211、重排单元221、逆量化单元231、逆变换单元241、预测单元251、滤波器单元261以及存储器271。
当从编码装置传输包括多个层的比特流时，解复用器(DEMUX)280对与每个层对应的信息进行解复用并且将结果传输至每个层的解码单元200a或解码单元200b。可以以与编码装置的处理相逆的处理来对输入的比特流进行解码。
熵解码单元210和熵解码单元211的每一个可以通过由编码装置的熵编码单元执行的熵编码处理的逆处理来执行熵解码。在由熵解码单元210和熵解码单元211解码的各条信息中，将生成预测块所需的信息提供至预测单元250和预测单元251，并且可以将通过熵解码单元执行熵解码的残差输入至重排单元220和重排单元221。
像熵编码单元160和熵编码单元161一样，熵解码单元210和熵解码单元211的每一个可以使用CABAC和CAVLC中的至少之一。
熵解码单元210和熵解码单元211的每一个可以对与编码装置执行的帧内预测和帧间预测有关的信息进行解码。熵解码单元210和熵解码单元211的每一个包括码字映射单元，码字映射单元具有用于根据所接收的码字生成帧内预测模式编号的码字映射表。码字映射表可以被预先存储或可以被自适应地生成。当使用码号映射表时，可以附加地布置用于执行码号映射的码号映射单元。
重排单元220和重排单元221的每一个可以基于编码单元所使用的重排方法来对通过熵解码单元210或熵解码单元211进行熵解码的比特流进行重排。以一维矢量形式表示的系数可以通过被重构而被重排成2维块类型系数。重排单元220和重排单元221的每一个接收与通过编码单元执行的系数扫描方法有关的信息，并且可以使用其中基于由编码单元执行的扫描的顺序执行逆扫描的方法来对系数进行重排。
逆量化单元230和逆量化单元231的每一个可以基于由编码装置提供的量化参数和块的重排系数来执行逆量化。
逆变换单元240和逆变换单元241的每一个可以对由编码装置执行的量化结果执行逆DCT或逆DST，逆DCT或逆DST与由相应的变换单元130或变换单元131执行的DCT和DST对应。可以以由编码装置确定的传输单位来执行逆变换。在编码装置的变换单元中，可以根据多条信息如预测方法、当前块的大小、预测方向等来选择性地执行DCT和DST。解码装置的逆变换单元240或逆变换单元241可以基于关于由编码装置的变换单元所执行的变换的信息来执行逆变换。可以基于编码块而不是基于变换块来执行变换。
预测单元250和预测单元251的每一个可以基于由熵解码单元210和熵解码单元211提供的预测块的生成的相关信息以及从相应的存储器270或存储器271提供的先前解码的块或图片的相关信息来生成预测块。
预测单元250和预测单元251的每一个可以包括预测单元确定单元、帧间预测单元和帧内预测单元。
预测单元确定单元接收各种信息、从当前编码块中分离出预测块并且确定预测块是执行帧间预测还是帧内预测，所述各种信息包括从熵解码单元输入的预测单元信息、关于帧内预测方法的预测模式信息、关于帧间预测方法的运动预测信息等。
帧间预测单元可以基于包括在当前图片的先前图片和后续图片中的至少之一中的信息、使用由编码装置所提供的当前预测块的帧间预测所需的信息来执行对当前预测块的帧间预测，其中该当前图片包括当前预测块。为了执行帧间预测，可以基于相应编码块来确定用作被包括在编码块中的预测块的运动预测方法的方法是否是跳过模式、合并模式或使用运动矢量预测器(MVP)的模式(AMVP模式)。
帧内预测单元可以基于关于当前图片中的重构像素的信息来生成预测块。当预测块是对其执行帧内预测的预测块时，可以基于由编码装置提供的关于预测块的帧内预测模式信息来执行帧内预测。帧内预测单元可以包括：用于对当前块的参考像素执行滤波的MDIS滤波器、用于通过对参考像素进行插值来以小于单个像素为单位生成参考像素的参考像素插值单元以及用于在当前块的预测模式是DC模式时通过滤波来生成预测块的DC滤波器。
上层的解码单元200a的预测单元250还可以包括用于执行层间预测的层间预测单元，其中使用与下层有关的信息来预测上层。
层间预测单元可以通过使用帧内预测模式信息、运动信息等来执行层间预测。
实施层间预测以使得通过采用下层图片作为参考图片并且使用关于下层(参考层)的图片的运动信息来对上层的当前块执行预测。
在层间预测中，可以对用作参考图片的参考层的图片进行适当地采样以适合于当前层的分辨率。此外，运动信息可以包括运动矢量和参考索引。在这一点上，用于参考层图片的运动矢量值可以被设置为(0，0)。
作为层间预测的示例，描述了用于使用下层图片作为参考图片的预测方法，但不限于此。层间预测单元123可以附加地执行层间纹理预测、层间运动预测、层间语法预测和层间残差预测等。
层间纹理预测可以基于参考层的纹理来得到当前层的纹理。可以对参考层纹理进行适当地采样以适合于当前层的分辨率，并且层间预测单元可以基于所采样的纹理来预测当前层纹理。层间运动预测可以基于参考层的运动矢量来得到当前层的运动矢量。文中，可以适当地缩放参考层的运动矢量以适合于当前层的分辨率。在层间语法预测中，可以基于参考层语法来预测当前层语法。例如，层间预测单元123可以使用参考层语法作为当前层语法。此外，在层间残差预测中，可以通过使用参考层的重构图像与当前层的重构图像之间的差值来重构当前层的图片。
可以将重构块或重构图片提供至滤波器单元260和滤波器单元261的每一个。滤波器单元260和滤波器单元261的每一个可以包括去块滤波器和偏移校正单元。
可以从编码装置接收关于是否将去块滤波器应用于相应块或图片的信息以及关于在应用去块滤波器时是应用强滤波器还是应用弱滤波器的信息。解码装置的去块滤波器可以接收从编码装置提供的去块滤波器相关的信息并且解码装置可以对相应块执行去块滤波。
偏移校正单元可以基于在编码时应用于图像的偏移值信息和偏移校正的类型来对重构图像执行偏移校正。
存储器270和存储器271的每一个可以存储重构图片或重构块以使其能够用作参考图片或参考块，并且存储器270和存储器271还可以输出重构图片。
编码装置和解码装置可以对三个层或更多个层而不是对两个层执行编码，并且在这种情况下，可以提供与上层的数量对应的针对上层的多个编码单元和解码单元。
在用于支持多层结构的可伸缩视频编码(SVC)中，存在层之间的关联。当通过使用该关联来执行预测时，可以去除数据重复元素并且可以改进图像编码性能。
因此，当对要被编码/解码的当前层(即增强层)的图片(即图像)进行预测时，可以执行通过使用其他层的信息的层间预测以及使用当前层的信息的帧间预测或帧内预测。
当执行层间预测时，可以通过使用用于层间预测的参考层的解码图片作为参考图片来生成用于当前层的预测样本。
在这种情况下，由于当前层与参考层之间可以在以下方面中的至少一个方面中不同(由于层之间的可伸缩性的差异而引起的)：空间分辨率、时间分辨率和图像品质，所以对参考层的解码图片进行重采样以适于当前层的可伸缩性，以及然后可将其用作用于当前层的层间预测的参考图片。“重采样”是指对参考层图片的样本进行上采样或下采样以匹配当前层图片的图片大小。
在本说明书中，当前层是对其执行编码或解码的层，并且当前层可以是增强层或上层。参考层是被参考以用于当前层的层间预测的层，并且参考层可以是基本层或下层。用于当前层的层间预测的参考层的图片(即参考图片)可以被称为层间参考图片或者层之间的参考图片。
图3是示出在应用本发明的实施方式中的用于使用参考层的相应图片执行当前层的层间预测的操作的流程图。
参照图3，可以确定当前层的当前图片的有效参考的数量NumActiveRefLayerPics(S300)。
一个或更多个参考层的相应图片可用于当前层的当前图片的层间预测。参考层的相应图片中的用于当前层的当前图片的层间预测的相应图片的数量被称为有效参考的数量NumActiveRefLayerPics。下文中，用于当前图片的层间预测的相应图片被称为有效参考图片。
当前层可以是指与参考层具有直接依赖关系的层。参考层可以是指包括当前层的至少一个有效参考图片的层。因此，用于当前层的层间预测的参考层的数量NumDirectRefLayers可以等于或大于有效参考的数量NumActiveRefLayerPics。
相应图片可以是指位于与当前层的当前图片的时刻相同时刻的图片。例如，相应图片可以是具有与当前层的当前图片的图片顺序计数(POD)信息相同的图片顺序计数信息的图片。相应图片可以属于与当前层的当前图片的存取单元(AU)相同的存取单元。相应图片可以具有与当前层的当前图片的时间ID TemporalID相同的时间ID。时间ID TemporalID可以指根据时间分辨率而被可伸缩编码的多个层中的每个层进行标识的ID。
可以在考虑有效参考图片的最大数量是否被限制的情况下确定有效参考的数量NumActiveRefLayerPics。或者可以基于关于最大时间指示符和子层的数量的信息来确定有效参考的数量NumActiveRefLayerPics。这将参照图4至图9进行详细描述。
可以基于在步骤S300中确定的有效参考的数量NumActiveRefLayerPics来获得参考层ID(S310)。
参照层ID可以是指包括当前图片的有效参考图片的层的层ID nuh_layer_id。
具体地，可以获得与有效参考的数量NumActiveRefLayerPics一样多的参考层ID。仅当有效参考的数量NumActiveRefLayerPics与当前层的直接层的数量NumDirectRefLayers不同时，可以获取参考层ID。如果有效参考的数量NumActiveRefLayerPics等于当前层的直接层的数量NumDirectRefLayers，则这意味着与当前层有直接依赖关系的所有参考层具有当前图片的有效参考图片。因此，不需要以信号的形式单独给出参考层ID以对包括当前图片的有效参考图片的层进行标识。
可以使用在步骤S310中获取的参考层ID来确定当前图片的有效参考图片(S320)。
具体地，可以将与由参考层ID所标识的参考层中的与当前图片对应的图片确定为当前图片的有效参考图片。如前所述，对应的图片可以是指在与当前图片的时刻相同的时刻处的图片或者具有与当前图片的POC信息相同的POC信息的图片。或者对应的图片可以是指属于与当前图片的AU相同的AU的图片。
可以通过对在步骤S320中确定的有效参考图片进行上采样来生成层间参考图片(S330)。
具体地，层间参考图片可以包括第一层间参考图片和第二层间参考图片中至少之一。第一层间参考图片可以是指通过对整数位置进行滤波而获得的参考图片，以及第二层间参考图片可以是指没有进行整数位置的滤波的参考图片。
整数位置可以是指在经上采样的有效参考图片中的整数单位的像素。或者，如果在上采样期间以等于或低于像素的整数倍为单位、即以1/n像素为单位执行插值，则产生n个相位并且整数位置可以是指具有相位0的位置(即，在插值之后为n的倍数的整数的像素位置)。可以使用相邻的整数位置来执行整数位置的滤波。相邻的整数位置可以是与当前经滤波的整数位置在同一行或同一列。相邻的整数位置可以是指在上述同一行或同一列中的多个整数位置。文中，多个整数位置可以顺序地在同一行或同一列中。将参照图10描述具体的上采样方法。
然而，如果当前层和参考层具有相同的分辨率，则可以省略上述上采样过程。在这种情况下，所确定的有效参考图片仍可以用作层间参考图片。
可以采用时间参考图片和在步骤S330中生成的层间参考图片来生成参考图片列表(S340)。
具体地，当前图片的参考图片列表可以包括与当前图片属于相同的层的参考图片(下文中称为时间参考图片)。时间参考图片可以是指具有与当前图片的输出顺序不同的输出顺序(例如，不同的POC)的图片。将参照图11、图12和图13描述用于采用时间参考图片生成参考图片列表的方法。
同时，参考图片列表还可以包括层间参考图片，用于当前图片的层间预测。即，不同层的图片以及同一层的图片可以以多层结构被参考(例如，可伸缩视频编码和多视图视频编码)。将参照图14、图15和图16描述用于采用层间参考图片构建参考图片列表的方法。
如前参照步骤S330所述，层间参考图片可以包括第一层间参考图片和第二层间参考图片中至少之一。因此，参考图片列表可以被配置成包括第一层间参考图片和第二层间参考图片中之一，或者参考图片列表可以被配置成包括第一层间参考图片和第二层间参考图片两者。
对于第一层间参考图片和第二层间参考图片的选择性使用，可以确定是使用第一层间参考图片和第二层间参考图片中之一还是使用第一层间参考图片和第二层间参考图片两者。此外，如果选择性地使用第一层间参考图片和第二层间参考图片中之一，则可以确定在第一层间参考图片与第二层间参考图片之间要使用哪一个层间参考图片。为此，编码装置可以以信号的形式给出指示第一层间参考图片与第二层间参考图片之间要被使用的层间参考图片的信息。
或者，对于第一层间参考图片和第二层间参考图片的选择性使用，还可以使用参考索引。具体地，可以通过参考索引按照预测块来选择第一层间参考图片和第二层间参考图片中的仅一个或两个。
如果将层间参考图片添加至参考图片列表，则需要改变在参考图片列表中列出的参考图片的数量或者每个参考图片所分配的参考索引的数量的范围。
文中，假设指示在不执行层间预测的基本层的参考图片列表中的最大参考索引值的切片头部的语法num_ref_idx_10_active_minus1和num_ref_idx_11_active_minus1的范围为从0到14。
如果使用第一层间参考图片和第二层间参考图片中之一，则表示在当前层的参考图片列表中的最大参考索引值的语法num_ref_idx_10_active_minus1和num_ref_idx_11_active_minus1可以被限定为范围为从0到15。
即使使用第一层间参考图片和第二层间参考图片两者，如果将两个层间参考图片添加至不同的参考图片列表，则num_ref_idx_10_active_minus1和num_ref_idx_11_active_minus1可以被限定为范围从0到15。
例如，如果参考图片列表L0中的时间参考图片的数量是15，则第一层间参考图片或第二层间参考图片被添加至参考图片列表L0导致总共存在16个参考图片并且因此num_ref_idx_10_active_minus1的值变为15。
或者，在使用第一层间参考图片和第二层间参考图片两者的情况下，如果两个层间参考图片被添加至同一参考图片列表，则可以限定表示当前层的参考图片列表的最大参考索引值的语法num_ref_idx_10_active_minus1和num_ref_idx_11_active_minus1的范围为从0到16。
例如，如果参考图片列表L0中的时间参考图片的数量是15，则第一层间参考图片和第二层间参考图片被添加至参考图片列表L0导致总共存在17个参考图片并且因此num_ref_idx_10_active_minus1的值变为16。
可以基于在步骤S340中生成的参考图片列表来对当前图片执行帧间预测(S350)。
具体地，选择与当前块的参考索引对应的参考图片。所选择的参考图片可以是与当前块在同一层中的时间参考图片，或者层间参考图片(即，有效参考图片或经上采样的有效参考图片)。
可以基于当前块的运动矢量来确定参考图片中的参考块，以及可以使用所确定参考块的恢复的样本值或纹理信息来预测当前块的样本值或纹理信息。
如果与当前块的参考索引对应的参考图片是层间参考图片，则参考块可以是位于与当前块的位置相同的位置处的块(下文中称为调用块)。为此，如果当前块的参考图片是层间参考图片，则当前块的运动矢量可以被设置为(0，0)。
可以根据直接依赖关系类型通过使用层间参考图片来执行当前图片的层间纹理预测或层间运动预测中至少之一。
这里，直接依赖关系类型包括下述至少一种：1)当前图片仅参考参考层的纹理信息的第一类型，2)当前图片仅参考参考层的运动信息的第二类型，或者3)当前图片参考参考层的纹理信息和运动信息两者的第三类型。
当前图片可以选择性地使用上述第一类型、第二类型和第三类型中的一个。将参照图17和图18详细描述用于确定当前图片的直接依赖关系类型的方法。
图4示出了在应用本发明的实施方式中的在考虑有效参考图片的最大数量是否被限制的情况下用于确定有效参考的数量NumActiveRefLayerPics的方法。
参照图4，可以确定当前图片的有效参考图片的最大数量是否被限制(S400)。
具体地，可以基于最大有效参考标记max_one_active_ref_layer_flag来确定当前图片的有效参考图片的最大数量是否被限制。
最大有效参考标记可以指示视频序列中的每个图片的有效参考图片的最大数量是否为1。例如，如果最大有效参考标记的值是1，则可用于视频序列中的每个图片的层间预测的有效参考图片的数量可以被限制为1。另一方面，如果最大有效参考标记的值是0，则多个有效参考图片可用于视频序列中的每个图片的层间预测。可以从共同应用于比特流、具体地包括在所接收的视频序列中的图片的视频参数集来获取最大有效参考标记。
如果在步骤S400中确定当前图片的有效参考图片的最大数量不受限制，则可以从比特流获取关于层间参考的数量num_inter_layer_ref_pics_minus1的信息(S410)。
关于层间参考的数量的信息是用于确定有效参考图片的数量的编码信息。例如，为了编码效率，关于层间参考的数量的信息可以被编码为(用于当前图片的层间预测的有效参考图片的数量-1)的值。
可以使用在步骤S410中获取的关于层间参考的数量的信息来确定当前图片的有效参考的数量NumActiveRefLayerPics(S420)。
例如，如果关于层间参考的数量的信息被编码为(用于当前图片的层间预测的有效参考图片的数量-1)的值，则可以通过向关于层间参考的数量的信息加1来计算当前图片的有效参考的数量NumActiveRefLayerPics。
相反地，如果在步骤S400中确定当前图片的有效参考图片的最大数量被限制，则可以根据当前图片的有效参考图片的被限制的最大数量来确定当前图片的有效参考的数量NumActiveRefLayerPics(S430)。
例如，如果当前图片的有效参考图片的最大数量根据最大有效参考标记max_one_active_ref_layer_flag被限制为1，则可以将当前图片的有效参考的数量NumActiveRefLayerPics设置为1。
图5示出了在应用本发明的实施方式中的用于基于当前图片的时间级标识符(TemporalId)和相应图片确定有效参考的数量NumActiveRefLayerPics的方法。
参照图5，可以从比特流获取关于参考层的子层的数量的信息和当前层的最大时间指示符(S500)。
一个层可以包括多个具有不同时间分辨率的可伸缩编码子层。为了提高编码效率，关于被包括在一个层中的时间子层的最大数量的信息可以被编码为(时间子层的最大数量-1)的值。该信息被称为子层数量信息。因此，子层数量信息可以被限定为用于确定被包括在参考层中的时间子层的最大数量的信息。将参照图7详细描述用于获取子层数量信息的方法。
同时，如果被编码在当前层中的当前图片的时间分辨率为低(即，当前图片的时间ID TemporalID具有小的值)，则当前层的已被解码的图片与当前图片之间的显示顺序差异较大。在这种情况下，在当前图片与已被解码的图片之间存在不同视频属性的可能性高。因此，参考层的相应图片而不是当前层的已被解码的图片很有可能被用作参考图片。
相反地，如果被编码在当前层中的当前图片的时间分辨率为高(即，当前图片的时间ID TemporalID具有大的值)，则当前层的已被解码的图片与当前图片之间的显示顺序差异不大。在这种情况下，在当前图片与已被解码的图片之间存在类似的视频属性的可能性高。因此，当前层的已被解码的图片而不是参考层的相应图片很有可能被用作参考图片。
由于当如上所述当前图片的时间分辨率为低时层间预测是有效的，所以在考虑参考层的特定时间ID TemporalID的情况下需要确定是否允许层间预测。为此，可以以信号的形式给出允许用于当前层的层间预测的参考层的时间ID的最大值。时间ID的最大值被称为最大时间指示符。将参照图8和图9描述用于获取最大时间指示符的方法。
可以使用关于参考层的子层数量信息和当前层的最大时间指示符来确定当前图片的候选参考图片(S510)。
1.使用相应图片的时间ID和当前图片的时间ID的方法
可以通过对相应图片的时间ID与子层数量信息或最大时间指示符中至少之一进行比较来确定当前图片的候选参考图片。可以基于当前图片属于当前层中的多个时间子层中的哪个子层来将相应图片确定为候选参考图片。文中，可以基于被分配给当前图片的时间ID来确定当前图片属于多个时间子层中的哪个子层。
例如，可以在考虑参考层的相应图片是否满足下述第一条件和第二条件的情况下确定当前图片的候选参考图片。文中，候选参考图片是指可用于当前图片的层间预测的候选，并且与用于当前图片的层间预测的有效参考图片区别开。
[第一条件]子层数量信息>＝相应图片的时间ID TemporalId
[第二个条件(最大时间指示符>相应图片的时间ID)(TemporalId)||(当前图片的时间ID(TemporalId)＝0))
如果参考层的相应图片满足第一条件和第二条件，则相应图片可以是可用于当前图片的层间预测的候选参考图片。
具体地，当相应图片的时间ID小于或等于子层数量信息，并且小于最大时间指示符时，相应图片可以被确定为是当前图片的候选参考图片。
这是因为如果最大时间指示符被限定为(允许用于当前层的层间预测的参考层的时间ID的最大值+1)的值，则允许仅使用来自参考层的图片中的具有小于最大时间指示符的时间ID的图片来执行层间预测。
当相应图片的时间ID等于或小于子层数量信息以及当前图片属于当前层中的多个时间子层中的最低级别的层(例如，当前图片的时间ID＝0)时，相应图片可以被确定为是当前图片的候选参考图片。
当当前图片属于当前层中的最下级的层时，相应图片还可以属于参考层中的多个时间子层中的最下级的层。在这种情况下，在不对相应图片的时间ID是否小于最大时间指示符进行确定的情况下，相应图片可以被确定为是当前图片的候选参考图片。另一方面，如果参考层的相应图片不满足第一条件和第二条件中至少之一(即，相应图片的时间ID大于子层数量信息，或者相应图片的时间ID等于或大于最大时间指示符并且当前图片的时间ID不等于0)，则相应图片可以被确定为是被限制用于当前图片的层间预测的图片。
这是因为相应图片的时间ID不能大于(被包括在参考层中的时间子层的最大数量-1)的值。此外，这是因为如果参考层的最大时间ID被限定为是(允许用于当前层的层间预测的参考层的时间ID的最大值+1)的值，则具有大于参考层中的图片的时间ID的最大值的时间ID的相应图片被限制用于当前层的层间预测。
2.使用相应图片的时间ID的方法
可以通过将相应图片的时间ID与子层数量信息或最大时间指示符中至少之一进行比较来确定当前图片的候选参考图片。可以基于相应图片属于参考层中的多个时间子层中的哪个子层将相应图片确定为当前图片的候选参考图片。文中，可以基于被分配给相应图片的时间ID(TemporalId)来确定相应图片属于多个时间子层中的哪个子层。
例如，可以在考虑是否满足下述的第三条件和第四条件的情况下来确定当前图片的候选参考图片。
[第三条件]子层数量信息>＝相应图片的时间ID(TemporalId)
[第四条件](最大时间指示符>相应图片的时间ID(TemporalId)||(相应图片的时间ID(TemporalId)＝0))
当参考层的相应图片满足第三条件和第四条件时，相应图片可以是可用于当前图片的层间预测的候选参考图片。
具体地，当相应图片的时间ID小于或等于子层数量信息并且相应图片的时间ID小于最大时间指示符或等于0时，相应图片可以被确定为是当前图片的候选参考图片。文中，相应图片的时间ID等于0可以是指相应图片属于参考层中的多个时间子层中的最下级的层。
当参考层的相应图片不满足第三条件或第四条件中至少之一时，相应图片可以被限制用于当前图片的层间预测。
如上所述，可以从以与当前层有直接依赖关系的方式放置的所有参考层中选择满足第一条件和第二条件(或者，第三条件和第四条件)的相应图片，并且将其确定为是当前图片的候选参考图片。
此外，可以对满足第一条件和第二条件(或者，第三条件和第四条件)的相应图片、即候选参考图片进行计数，并且该计数可以被设置作为候选参考的数量numRefLayerPics。可能会出现没有相应图片满足第一条件和第二条件的情况。在这种情况下，候选参考的数量numRefLayerPics可以被设置为0。
参照图5，可以确定在步骤S510中确定的候选参考图片的数量(即，候选参考的数量numRefLayerPics)是否为0(S520)。
如果在步骤S520中候选参考的数量numRefLayerPics为0，则可以将当前图片的有效参考的数量NumActiveRefLayerPics设置为0(S530)。
相反地，如果候选参考的数量numRefLayerPics不为0，则当前图片的全部或部分候选参考图片可以用作当前图片的有效参考图片。对于如上所述选择性地使用候选参考图片而言，可以基于全有效标记all_ref_layers_active_flag来确定当前图片的有效参考的数量NumActiveRefLayerPics(S540)。这将参照图6在下面进行描述。
图6示出了在应用本发明的实施方式中的用于基于全有效标记all_ref_layers_active_flag确定当前图片的有效参考的数量NumActiveRefLayerPics的方法。
参照图6，可以确定是否施加下述约束：将当前图片的所有候选参考图片用于当前层中的当前图片的层间预测(S600)。
具体地，可以基于全有效标记all_ref_layers_active_flag确定是否施加下述约束：将所有候选参考图片用于当前图片的层间预测。
全有效标记all_ref_layers_active_flag可以指示由来自以与当前层有直接依赖关系的方式放置的参考层的相应图片中的由最大时间指示符和子层数量信息所指示的候选参考图片是否用于当前图片的层间预测。
例如，如果全有效标记all_ref_layers_active_flag为1，则当前图片的所有的候选参考图片用于当前图片的层间预测。相反地，如果全有效标记all_ref_layers_active_flag为0，则不施加将当前图片的所有的候选参考图片用于当前图片的层间预测的约束。即，由最大时间指示符和子层数量信息所指示的候选参考图片的所有或仅一部分用于当前图片的层间预测。
如果在步骤S600中施加将当前图片的所有候选参考图片用于当前图片的层间预测的约束，则可以基于所确定的候选参考图片的数量来确定当前图片的有效参考的数量NumActiveRefLayerPics(S610)。
具体地，当前图片的有效参考的数量NumActiveRefLayerPics可以被设置为等于通过对当前图片的候选参考图片的数量进行计数而确定的候选参考的数量NumRefLayerPics。
如果在步骤S600中不施加将当前图片的所有候选参考图片用于当前图片的层间预测的约束，则可以确定当前图片的有效参考图片的最大数量是否被限制(S620)。
具体地，可以基于最大有效参考标记max_one_active_ref_layer_flag确定当前图片的有效参考图片的最大数量是否被限制。
最大有效参考标记可以指示视频序列中的每个图片的有效参考图片的最大数量是否为1。例如，如果最大有效参考标记为1，则视频序列中的每个图片的有效参考图片的最大数量可以被限制为1。相反地，如果最大有效参考标记为0，则可以针对视频序列中的每个图片使用多个有效参考图片执行层间预测。可以从共同应用于比特流、具体地被包括在所接收的视频序列中的图片的视频参数集来获取最大有效参考标记。
如果在步骤S620中确定当前图片的有效参考图片的最大数量不受限制，则可以从比特流获取关于层间参考的数量num_inter_layer_ref_pics_minus1的信息(S630)。
关于层间参考的数量的信息是指示有效参考图片的数量的编码信息。例如，为了编码效率，关于层间参考的数量的信息可以被编码为(用于当前图片的层间预测的有效参考图片的数量-1)的值。
可以使用在步骤S630中获取的关于层间参考的数量的信息来确定当前图片的有效参考的数量NumActiveRefLayerPics(S640)。
例如，如果关于层间参考的数量的信息被编码为(用于当前图片的层间预测的有效参考图片的数量-1)的值，则可以通过向关于层间参考的数量的信息加1来计算当前图片的有效参考的数量NumActiveRefLayerPics。
相反地，如果在步骤S620中确定当前图片的有效参考图片的最大数量被限制，则可以根据当前图片的有效参考图片的被限制的最大数量来确定当前图片的有效参考的数量NumActiveRefLayerPics(S650)。
例如，如果当前图片的有效参考图片的最大数量根据最大有效参考标记max_one_active_ref_layer_flag被限制为1，则可以将当前图片的有效参考的数量NumActiveRefLayerPics设置为1。
图7示出了在应用本发明的实施方式中的子层数量信息的语法表。
参照图7，可以从比特流获取子层存在标记sub_layer_vps_max_minus1_present_flag(S700)。
子层存在标记可以指示是否将以信号的形式给出子层数量信息sub_layer_vps_max_minus1[i]。例如，如果子层存在标记的值是1，则以信号的形式给出子层数量信息，以及如果子层存在标记的值是0，则不以信号的形式给出子层数量信息。
参照图7，如果子层存在标记的值是1，则可以从比特流获取子层数量信息sub_layer_vps_max_minus1[i](S710)。
子层数量信息sub_layer_vps_max_minus1[i]可以指示为(被包括在第i层中的时间子层的最大数量-1)的值。因此，子层数量信息sub_layer_vps_max_minus1[i]可以指示被分配给包括在第i层中的时间子层的时间ID的最大值。
同时，可以针对被包括在视频序列中的每层来获取子层数量信息。虽然在图7中示出了从视频参数集获得子层数量信息，但本发明不限于此。可以从序列参数集获取子层数量信息。
图8示出了在应用本发明的实施方式中的用于基于最大时间存在标记获取最大时间指示符的方法。
参照图8，可以从比特流获取最大时间存在标记max_tid_ref_present_flag(S800)。
最大时间存在标记max_tid_ref_present_flag可以指示是否将以信号的形式给出最大时间指示符max_tid_il_ref_pics_plus[i]。例如，如果最大时间存在标记的值是1，则以信号的形式给出最大时间指示符，以及如果最大时间存在标记max_tid_ref_present_flag的值是0，则不以信号的形式给出最大时间指示符。
参照图8，如果最大时间存在标记max_tid_ref_present_flag的值是1，则可以从比特流获取最大时间指示符max_tid_il_ref_pics_plus[i](S810)。
最大时间指示符max_tid_il_ref_pics_plus[i]可以是指通过向在第i层处的层间预测中使用的时间ID的最大值加1而计算的值。
例如，如果最大时间指示符max_tid_il_ref_pics_plus[i]的值是0，则视频序列的多个层中的第i层的图片不用作用于层间预测的参考图片。文中，第i层的图片可以不是随机存取图片而是非随机存取图片。
相反地，如果最大时间指示符max_tid_il_ref_pics_plus[i]的值大于0，则曾经属于视频序列的多个层中第i层处并且具有大于最大时间ID的时间ID的图片不用作用于层间预测的参考图片。
因此，仅当最大时间指示符的值大于0并且属于视频序列中的多个层中的第i层的图片具有等于或小于最大时间ID的时间ID时，属于第i层的图片才可以用作用于层间预测的参考图片。从最大时间指示符得到最大时间ID。例如，最大时间ID可以被确定为是通过从最大时间指示符的值减1所计算的值。
同时，在步骤S810中获取的最大时间指示符可以具有预定范围(例如，0至7)内的值。如果在步骤S810中获取的最大时间指示符具有预定范围内的值的最大值，则不论参考层的相应图片的时间ID TemporalID如何，参考层的相应图片均可以用作当前层的层间参考图片。
然而，如果如在上述实施方式中在图8中对于每一层以信号的形式给出最大时间指示符，则与该层具有直接依赖关系的所有层可以具有相同的最大时间指示符，从而降低层间预测的效率。为了解决这个问题，可以基于具有依赖关系的层对，针对被参照层中用于层间预测的图片设置不同的最大时间ID，这将在下面参照图9进行描述。
图9示出了在应用本发明的实施方式中的在考虑直接依赖关系的情况下用于获取最大时间指示符的方法。
参照图9，可以从比特流获取最大时间存在标记max_tid_ref_present_flag(S900)。
最大时间级存在标记max_tid_ref_present_flag是指示存在或不存在最大时间指示符的信息，这已经参照图8详细描述，因此此处将不进行详细描述。
参照图9，如果最大时间级存在标记的值是1，则可以确定第j层与第i层是否具有直接依赖关系(S910)。
例如，可以基于直接依赖关系标记direct_dependency_flag[j][i]来确定第j层与第i层是否具有直接依赖关系。即，如果直接依赖关系标记的值是1，则第i层可以用于第j层的层间预测。相反地，如果直接依赖关系标记的值是0，则第i层不可以用于第j层的层间预测。
仅当在步骤S900中确定第j层与第i层具有直接依赖关系时，才可以从比特流获取最大时间指示符max_tid_il_ref_pics_plus1[i][j](S920)。
换言之，针对具有直接依赖关系的每个层对、即每个参考层和被参考层的对，可以获取最大时间指示符max_tid_il_ref_pics_plus1[i][j]。
文中，最大时间指示符max_tid_il_ref_pics_plus1[i][j]可以是指通过向允许用于第j层的层间预测的第i层的时间ID的最大值加1而计算的值。
例如，如果最大时间指示符的值是0，则视频序列的多个层中的第i层的图片不用作用于第j层的图片的层间预测的参考图片。文中，第i层的图片可以不是随机存取图片而是非随机存取图片。
相反地，如果最大时间指示符的值大于0，则曾经属于视频序列的多个层中的第i层并且具有大于最大时间ID的时间ID的图片不用作用于属于第j层的图片的层间预测的参考图片。
因此，仅当最大时间指示符的值大于0并且属于视频序列中的多个层中的第i层的图片具有等于或小于最大时间ID的时间ID时，第i层的图片才可以用作用于第j层的图片的层间预测的参考图片。从最大时间指示符得到最大时间ID。例如，最大时间ID可以被确定为是通过从最大时间指示符的值减1所计算的值。
同时，在步骤S920中获取的最大时间指示符可以具有预定范围(例如，0至7)内的值。如果在步骤S920中获取的最大时间指示符具有预定范围内的值的最大值，则不论参考层的相应图片的时间ID TemporalID如何，参考层的相应图片均可以用作当前层的层间参考图片。
如果如上所述对于具有直接依赖关系的每个层的对设置不同的最大时间ID，则相较于对于具有直接依赖关系的所有层设置相同的最大时间ID的情况，可以提高层间预测的效率。
图10是示出根据应用本发明的实施方式的用于对参考层的有效参考图片进行上采样的方法的流程图。
参照图10，可以得到参考层的与当前层的当前样本位置对应的参考样本位置(S1000)。
由于当前层和参考层在分辨率上可以是彼此不同的，所以可以在考虑层之间的分辨率的差异的情况下得到与当前样本位置对应的参考样本位置。即，可以考虑当前层的图片与参考层的图片之间的纵横比。此外，由于参考层的经上采样的图片的大小与当前层的图片的大小可能不匹配，所以可能需要校正这种差异所需的偏移量。
例如，可以在考虑经上采样的参考层的偏移量和比例因子的情况下得到参考样本位置。
这里，可以基于当前层的当前图片与参考层的有效参考图片之间的宽高比来计算比例因子。
经上采样的参考层偏移量可以是指关于位于当前图片的边缘处的任一样本的位置与位于层间参考图片的边缘处的任一样本之间的差的信息。例如，经上采样的参考层偏移量可以包括关于当前图片的左顶端样本与层间参考图片的左顶端样本的水平/竖直位置之间的差以及当前图片的右底端样本与层间参考图片的右底端样本的水平/竖直位置之间的差的信息。
可以从比特流获得经上采样的参考层偏移量。例如，可以从视频参数集、序列参数集、图片参数集以及切片头部中至少之一获得经上采样的参考层偏移量。
可以在考虑在步骤S1000中得到的参考样本位置处的相位的情况下确定上采样滤波器的滤波器系数(S1010)。
这里，可以使用固定上采样滤波器或自适应上采样滤波器作为上采样滤波器。
1.固定上采样滤波器
固定上采样滤波器可以具有预设的滤波器系数而不考虑视频的特征。抽头滤波器可以用作固定上采样滤波器，可以针对亮度(亮度)分量和色度(色度)分量中的每个分量对固定上采样滤波器进行限定。将参照表1和表2描述具有1/16样本单位的精度的上采样滤波器。
表1
表1针对亮度分量对固定上采样滤波器的滤波器系数进行限定。
如表1所示，在对亮度分量进行上采样的情况下，应用8抽头滤波器。换言之，可以通过使用参考层的与当前层的当前样本对应的参考样本以及与参考样本相邻的邻近样本来执行插值。文中，可以根据插值的方向来指定邻近样本。例如，当沿水平方向执行插值时，邻近样本可以包括相对于参考样本在左边的3个连续样本以及在右边的4个连续样本。或者，当沿竖直方向执行插值时，邻近样本可以包括相对于参考样本朝向顶端的3个连续样本以及朝向底端的4个连续样本。
此外，因为以1/16样本单位的精度执行插值，所以存在总计16个相位。这用于支持2倍和1.5倍的各种放大率的分辨率。
此外，固定上采样滤波器可以针对每个相位p使用具有不同系数的滤波器。除了相位p为0的情况以外，每个滤波器系数的大小可以被限定为在0至63的范围内。这是指以6位精度执行滤波。文中，当以1/n样本为单位执行插值时，相位p为0是指为n的倍数的整数样本位置。
表2
表2针对色度分量对固定上采样滤波器的滤波器系数进行限定。
如表2所示，不像亮度分量的情况，在对色度分量进行上采样的情况下，可以应用4抽头滤波器。换言之，可以通过使用参考层的与当前样本对应的参考样本以及与参考样本相邻的邻近样本来执行插值。这里，可以根据插值的方向来指定邻近样本。例如，当沿水平方向执行插值时，邻近样本可以包括相对于参考样本在左边的1个样本和在右边的2个连续样本。或者，当沿竖直方向执行插值时，邻近样本可以包括相对于参考样本朝向顶端的1个样本以及朝向底端的2个连续样本。
此外，类似于亮度分量的情况，由于以1/16样本单位的精度执行插值，所以存在总计16个相位，并且针对每个相位可以使用不同的系数。除了相位p为0的情况以外，每个滤波器系数的大小可以被限定为在为0至62的范围内。这是指还以6位精度执行滤波。
在上述中，例示了将8抽头滤波器应用于亮度分量以及将4抽头滤波器应用于色度分量的情况，但本发明不限于此，并且在考虑编码效率的情况下可以可变地确定抽头滤波器的阶数。
2.自适应上采样滤波器
在编码器中，在不使用固定滤波器系数的情况下通过考虑的图像的特征来确定最佳滤波器系数，并且将其以信号的形式发送到解码器。以此方式，自适应上采样滤波器使用被自适应地确定的滤波器系数。由于图像的特征以图片单位变化，所以当使用能够理想地表示图像的特征的自适应上采样滤波器而不是对于所有情况使用固定上采样滤波器时，可以提高编码效率。
可以通过将在步骤S1010处确定的滤波器系数应用于参考层的有效参考图片来生成层间参考图片(S1020)。
详细地，可以通过将所确定的上采样滤波器的滤波器系数应用于有效参考图片的样本来执行插值。文中，主要沿水平方向执行插值，然后其次沿竖直方向对水平差值后生成的样本执行插值。
图11是示出用于指定存储在解码图片缓冲器中的短期参考图片的方法的图。
时间参考图片可以存储在解码图片缓冲器(DPB)中，并且当需要用于当前图片的帧间预测时可以用作参考图片。存储在解码图片缓冲器中的时间参考图片可以包括短期参考图片。这种短期参考图片表示图片，图片的POC值与当前图片的POC值不具有的大的差异。
用于指定在当前视图中要被存储在解码图片缓冲器中的短期参考图片的信息包括参考图片的输出顺序(POC)和指示相应图片是否是由当前图片直接参考的标记(例如used_by_curr_pic_s0_flag，used_by_curr_pic_s1_flag)，其被统称为参考图片集。详细地，当used_by_curr_pic_s0_flag[i]的值为0时，如果短期参考图片集中的第i个短期参考图片具有小于当前图片的输出顺序值的输出顺序(POC)值，则意味着第i个短期参考图片不用作当前图片的参考图片。此外，当used_by_curr_pic_s1_flag[i]的值为0时，如果短期参考图片集中的第i个短期参考图片具有大于当前图片的输出顺序值的输出顺序(POC)值，则意味着第i个短期参考图片不用作当前图片的参考图片。
参照图11，在具有POC值为26的图片的情况下，总计有三个图片(即，具有POC值为25、24和20的图片)可以用作用于帧间预测的短期参考图片。然而，由于具有POC为25的图片的used_by_curr_pic_s0_flag的值是0，所以具有POC值为25的图片不直接用于具有POC值为26的图片的帧间预测。
以此方式，可以基于参考图片的输出顺序(POC)和指示相应图片是否由当前图片用作参考图片的标记两者来指定短期参考图片。
同时，在当前图片的参考图片集中未出现的图片可以标记有指示图片不用作参考图片(例如，“不用于参考”)的指示符，以及然后可以从解码图片缓冲器中移除。
图12示出了根据应用本发明的实施方式的用于指定长期参考图片的方法。
由于长期参考图片与当前图片在POC上具有大的差异，因此可以使用POC值的最低有效位(LSB)和最高有效位(MSB)来表示长期参考图片。
因此，可以使用参考图片的POC值的LSB、当前图片的POC值、以及当前图片的POC值的MSB与参考图片的POC值的MSB之间的差得到长期参考图片的POC值。
例如，假设当前图片的POC为331，以及可以由LSB表示的最大值为32，具有POC值为308的图片被用作长期参考图片。
在这种情况下，当前图片的POC值即331可以通过32*10+11表示，其中10是MSB值，11是LSB值。长期参考图片的POC值、即308可以通过32*9+20来表示，其中9是MSB值以及20是LSB值。这里，可以使用图12所示的等式得到长期参考图片的POC值。
图13示出了根据应用本发明的实施方式的用于使用短期参考图片和长期参考图片来构建参考图片列表的方法。
参照图13，可以在考虑关于时间参考图片是否是短期参考图片的信息和短期参考图片的POC值的情况下生成包括时间参考图片的参考图片列表。这里，参考图片列表可以包括用于L0预测的参考图片列表0和用于L1预测的参考图片列表1中至少之一。
更具体地，参考图片列表0可以以下述顺序布置：具有比当前图片的POC值小的POC值的短期参考图片(RefPicSetCurr0)、具有比当前图片的POC值大的POC值的短期参考图片(RefPicSetCurr1)以及长期参考图片(RefPicSetLtCurr)。
同时，参考图片列表1可以以下述顺序布置：具有比当前图片的POC值大的POC值的短期参考图片(RefPicSetCurr1)、具有比当前图片的POC值小的POC值的短期参考图片(RefPicSetCurr0)以及长期参考图片(RefPicSetLtCurr)。
此外，为了提高时间参考图片的参考索引的编码效率，包括在参考图片列表中的多个时间参考图片可以被重新布置(修改)。这可以基于列表修改标记(list_modification_present_flag)自适应地执行。这里，列表修改标记表示用于指定是否要修改参考图片列表中的参考图片的信息。针对参考图片列表0和针对参考图片列表1可以单独地以信号的形式给出列表修改标记。
例如，当列表修改标记(list_modification_present_flag)的值为0时不修改参考图片列表中的参考图片，以及仅当列表修改标记(list_modification_present_flag)的值为1时修改参考图片列表中的参考图片。
当列表修改标记(list_modification_present_flag)的值为1时，可以使用列表条目信息(list_entry[i])修改参考图片列表中的参考图片。这里，“列表条目信息(list_entry[i])”可以指定位于参考图片列表中的当前位置(即第i个条目)处的参考图片的参考索引。
更具体地，指定与所生成的参考图片列表中的列表条目信息(list_entry[i])对应的参考图片，以及所指定的参考图片可以被重新布置在参考图片列表中的第i个条目中。
可以获得与被包括在参考图片列表中的参考图片的数量或者与参考图片列表的参考索引的最大值一样多条的列表条目信息。另外，可以在考虑当前图片的切片类型的情况下获得列表条目信息。即，当当前图片的切片类型是P切片时，可以获得参考图片列表0的列表条目信息(list_entry_l0[i])，而当当前图片的切片类型是B切片时，可以另外获得参考图片列表1的列表条目信息(list_entry_l1[i])。
图14至图16示出了根据应用本发明的实施方式的用于以多层结构构建参考图片列表的方法。
参照图14，多层结构中的参考图片列表0可以以下述顺序构建：具有比当前图片的POC值小的POC值的短期参考图片(下文中称为“第一短期参考图片”)、具有比当前图片的POC值大的POC值的短期参考图片(下文中称为“第二短期参考图片”)以及长期参考图片。参考图片列表1可以以第二短期参考图片、第一短期参考图片以及长期参考图片的顺序构建。此外，可以将层间参考图片添加至参考图片列表0和参考图片列表1的每个参考图片列表中的长期参考图片之后的位置。
然而，在多层结构中，当增强层中的图片和基本层中的图片彼此类似时，增强层可以频繁地使用基本层的层间参考图片。在这种情况下，当层间参考图片被添加至参考图片列表的最后位置时，可能降低参考图片列表的编码性能。因此，如图15和图16所示，可以通过将层间参考图片添加至长期参考图片之前的位置来改进参考图片列表的编码性能。
参照图15，在参考图片列表中，层间参考图片可以被布置在短期参考图片之间。在多层结构中，参考图片列表0可以以第一短期参考图片、层间参考图片、第二短期参考图片以及长期参考图片的顺序构建。参考图片列表1可以以第二短期参考图片、层间参考图片、第一短期参考图片以及长期参考图片的顺序构建。
或者，在参考图片列表中，层间参考图片可以被布置在短期参考图片与长期参考图片之间。参照图16，多层结构中的参考图片列表0可以以第一短期参考图片、第二短期参考图片、层间参考图片以及长期参考图片的顺序构建。参考图片列表1可以以第二短期参考图片、第一短期参考图片、层间参考图片以及长期参考图片的顺序构建。
同时，在图14至图16中，作为构建参考图片列表的示例，示出了如下情况：单独存在具有比当前图片的POC值小的POC值的单个短期参考图片，具有比当前图片的POC值大的POC值的单个短期参考图片、单个长期参考图片以及单个层间参考图片。然而，该示例仅仅示出了参考图片被布置的顺序，并且明显地，可以使用多个短期参考图片(即短期参考图片集)、长期参考图片(即长期参考图片集)以及层间参考图片(即层间参考图片集)。
此外，当使用多个层间参考图片时，多个层间参考图片可以分成第一层间参考图片集和第二层间参考图片集，并且因此，可以构建参考图片列表。
更具体地，第一层间参考图片集可以布置在第一短期参考图片与第二短期参考图片之间，以及第二层间参考图片集可以布置在长期参考图片之后。然而，本发明并不限于这些示例，并且可以包括从图14至图16所示的实施方式的组合中得到的所有可能的实施方式。
这里，第一层间参考图片集可以是指具有比当前层的层标识符(CurrlayerId)小的参考层标识符(RefPiclayerId)的参考层的参考图片，以及第二层间参考图片集可以是指具有比当前层的层标识符(CurrlayerId)大的参考层标识符(RefPiclayerId)的参考层的参考图片。
图17示出了在应用本发明的实施方式中的用于基于直接依赖关系类型信息direct_dependency_type确定当前图片的直接依赖关系类型的方法。
参照图17，可从比特流获取直接依赖关系类型信息direct_dependency_type[i][j](S1700)。
直接依赖关系类型信息可以指示用于当前层的层间预测的直接依赖关系类型。可以针对用于当前层的层间预测的每个参考层获取直接依赖关系类型信息。
具体地，如果直接依赖关系类型信息的值是0，则对于第i层仅可以参考关于第j层的纹理信息。如果直接依赖关系类型信息的值是1，则对于第i层仅可以参考关于第j层的运动信息。如果直接依赖关系类型信息的值是2，则对于第i层可以参考关于第j层的运动信息和纹理信息两者。
以此方式，可以根据直接依赖关系类型信息确定与每个参考层具有关系的当前层的直接依赖关系类型，以及可以根据所确定的直接依赖关系类型对当前图片执行层间纹理预测和层间运动预测中至少之一。
图18示出了在应用本发明的实施方式中的用于基于默认直接依赖关系存在标记确定当前图片的直接依赖关系类型的方法。
参照图18，可以从比特流获取默认直接依赖关系存在标记default_direct_dependency_present_flag(S1800)。
默认直接依赖关系存在标记可以指示相同的直接依赖关系类型是否用于整个视频序列。例如，如果默认直接依赖关系存在标记的值是1，则这表示相同的直接依赖关系类型用于整个视频序列以及如果默认直接依赖关系存在标记的值是0，则这表示相同的直接依赖关系类型不用于整个视频序列。即，如果默认直接依赖关系存在标记的值是0，则不同的直接依赖关系类型可以用于当前层的每个参考层中。
如果在步骤S1800中默认直接依赖关系存在标记的值为1，则可以获取默认直接依赖关系类型信息default_direct_dependency_type(S1810)。
文中，默认直接依赖关系类型信息可以指示用于整个视频序列的直接依赖关系类型。具体地，如果默认直接依赖关系类型信息的值是0，则这可以指示通过仅参考关于参考层的纹理信息执行视频序列的每个层间预测。如果默认直接依赖关系类型信息的值是1，则这可以指示通过仅参考关于参考层的运动信息执行视频序列的每个层间预测。如果默认直接依赖关系类型信息的值是2，则这可以指示通过参考关于参考层的运动信息和纹理信息两者执行视频序列的每个层间预测。
因此，可以根据应用于整个视频序列的默认直接依赖关系类型信息的值来确定当前图片的直接依赖关系类型。
另一方面，如果在步骤S1800中默认直接依赖关系存在标记的值是0，则可以获取直接依赖关系类型信息direct_dependency_type[i][j](S1820)。
可以针对用于第i层(即，当前层)的层间预测的每个第j层(即，参考层)获取直接依赖关系类型信息direct_dependency_type[i][j]，指示与第j层具有关系的第i层的层间预测的直接依赖关系类型。已经参照图17描述了直接依赖关系类型信息，因此在此不进行详细说明。
工业实用性
本发明可以用于对多层结构的视频信号进行编码。

Claims (15)

1.一种用于对多层视频信号进行解码的方法，所述方法包括：
通过使用与参考层有关的子层数量信息和属于当前层的当前图片的时间ID，从至少一个参考层的相应图片中选择所述当前图片的候选参考图片；
基于所述候选参考图片的数量确定当前图片的有效参考的数量；
基于所确定的有效参考的数量获取参考层标识符ID；
使用所述参考层ID确定所述当前图片的有效参考图片；
生成所述当前图片的参考图片列表，所述参考图片列表包括时间参考图片和所述有效参考图片；以及
基于所述参考图片列表执行所述当前图片的层间预测。
2.根据权利要求1所述的方法，其中，当所述相应图片的时间ID小于或等于所述子层数量信息并且所述当前图片属于所述当前层中的多个时间子层中的最低级别的层时，选择所述相应图片作为所述当前图片的所述候选参考图片。
3.根据权利要求2所述的方法，其中，当所述候选参考图片的数量为0时，将所述当前图片的所述有效参考的数量设置为等于0，以及
其中，当所述候选参考图片的数量不为0时，基于全有效标记得到所述当前图片的所述有效参考的数量，所述全有效标记指示是否施加下述约束：将所述当前图片的所有候选参考图片用于所述当前图片的层间预测。
4.根据权利要求3所述的方法，其中，执行所述当前图片的层间预测包括：根据所述当前图片的直接依赖关系类型执行层间纹理预测和层间运动预测中至少之一；以及
其中，所述直接依赖关系类型包括第一类型、第二类型和第三类型中至少之一，在所述第一类型中，对于当前图片仅参考关于参考层的纹理信息，在所述第二类型中，对于当前图片仅参考关于参考层的运动信息，在所述第三类型中，对于当前图片参考关于参考层的纹理信息和运动信息两者。
5.一种用于对多层视频信号进行解码的装置，所述装置包括：
预测器，被配置成通过使用关于与参考层有关的子层数量信息和属于当前层的当前图片的时间ID，从至少一个参考层的相应图片中选择所述当前图片的候选参考图片，基于所述候选参考图片的数量确定当前图片的有效参考的数量，基于所确定的有效参考的数量获取参考层标识符ID，使用所述参考层ID确定所述当前图片的有效参考图片，生成所述当前图片的包括时间参考图片和所述有效参考图片的参考图片列表，以及基于所述参考图片列表执行所述当前图片的层间预测。
6.根据权利要求5所述的装置，其中，所述预测器被配置成当所述相应图片的时间ID小于或等于所述子层数量信息并且所述当前图片属于所述当前层中的多个时间子层中的最低级别的层时，选择所述相应图片作为所述当前图片的所述候选参考图片。
7.根据权利要求6所述的装置，其中，所述预测器被配置成当所述候选参考图片的数量为0时，将所述当前图片的所述有效参考的数量设置为等于0，以及当所述候选参考图片的数量不为0时，基于全有效标记得到所述当前图片的所述有效参考的数量，所述全有效标记指示是否施加下述约束：将所述当前图片的所有候选参考图片用于所述当前图片的层间预测。
8.根据权利要求7所述的装置，其中，所述预测器被配置成根据所述当前图片的直接依赖关系类型执行层间纹理预测和层间运动预测中至少之一；以及
其中，所述直接依赖关系类型包括第一类型、第二类型和第三类型中至少之一，在所述第一类型中，对于当前图片仅参考关于参考层的纹理信息，在所述第二类型中，对于当前图片仅参考关于参考层的运动信息，在所述第三类型中，对于当前图片参考关于参考层的纹理信息和运动信息两者。
9.一种用于对多层视频信号进行编码的方法，所述方法包括：
通过使用与参考层有关的子层数量信息和属于当前层的当前图片的时间ID，从至少一个参考层的相应图片中选择所述当前图片的候选参考图片；
基于所述候选参考图片的数量确定当前图片的有效参考的数量；
基于所确定的有效参考的数量获取参考层标识符ID；
使用所述参考层ID确定所述当前图片的有效参考图片；
生成所述当前图片的参考图片列表，所述参考图片列表包括时间参考图片和所述有效参考图片；以及
基于所述参考图片列表执行所述当前图片的层间预测。
10.根据权利要求9所述的方法，其中，当所述相应图片的时间ID小于或等于所述子层数量信息并且所述当前图片属于所述当前层中的多个时间子层中的最低级别的层时，选择所述相应图片作为所述当前图片的所述候选参考图片。
11.根据权利要求10所述的方法，其中，当所述候选参考图片的数量为0时，将所述当前图片的所述有效参考的数量设置为等于0，以及
其中，当所述候选参考图片的数量不为0时，基于全有效标记得到所述当前图片的所述有效参考的数量，所述全有效标记指示是否施加下述约束：将所述当前图片的所有候选参考图片用于所述当前图片的层间预测。
12.根据权利要求11所述的方法，其中，执行所述当前图片的层间预测包括：根据所述当前图片的直接依赖关系类型执行层间纹理预测和层间运动预测中至少之一；以及
其中，所述直接依赖关系类型包括第一类型、第二类型和第三类型中至少之一，在所述第一类型中，对于当前图片仅参考关于参考层的纹理信息，在所述第二类型中，对于当前图片仅参考关于参考层的运动信息，在所述第三类型中，对于当前图片参考关于参考层的纹理信息和运动信息两者。
13.一种用于对多层视频信号进行编码的装置，所述装置包括：
预测器，被配置成通过使用与参考层有关的子层数量信息和属于当前层的当前图片的时间ID，从至少一个参考层的相应图片中选择所述当前图片的候选参考图片，基于所述候选参考图片的数量确定当前图片的有效参考的数量，基于所确定的有效参考的数量获取参考层标识符ID，使用所述参考层ID确定所述当前图片的有效参考图片，生成所述当前图片的包括时间参考图片和所述有效参考图片的参考图片列表，以及基于所述参考图片列表执行所述当前图片的层间预测。
14.根据权利要求13所述的装置，其中，所述预测器被配置成当所述相应图片的时间ID小于或等于所述子层数量信息并且所述当前图片属于所述当前层中的多个时间子层中的最低级别的层时，选择所述相应图片作为所述当前图片的所述候选参考图片。
15.根据权利要求14所述的装置，其中，所述预测器被配置成当所述候选参考图片的数量为0时，将所述当前图片的所述有效参考的数量设置为等于0，以及当所述候选参考图片的数量不为0时，基于全有效标记得到所述当前图片的所述有效参考的数量，所述全有效标记指示是否施加下述约束：将所述当前图片的所有候选参考图片用于所述当前图片的层间预测。
CN201580016093.XA 2014-03-24 2015-01-06 多层视频信号编码/解码方法和装置 Active CN106105213B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2014-0034148 2014-03-24
KR20140034148 2014-03-24
PCT/KR2015/000079 WO2015147427A1 (ko) 2014-03-24 2015-01-06 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치

Publications (2)

Publication Number Publication Date
CN106105213A true CN106105213A (zh) 2016-11-09
CN106105213B CN106105213B (zh) 2019-09-10

Family

ID=54195896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580016093.XA Active CN106105213B (zh) 2014-03-24 2015-01-06 多层视频信号编码/解码方法和装置

Country Status (4)

Country Link
US (2) US10708606B2 (zh)
KR (2) KR20150110295A (zh)
CN (1) CN106105213B (zh)
WO (2) WO2015147427A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2531271A (en) * 2014-10-14 2016-04-20 Nokia Technologies Oy An apparatus, a method and a computer program for image sequence coding and decoding
WO2016180486A1 (en) * 2015-05-12 2016-11-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Composite scalable video streaming
US20180352240A1 (en) * 2017-06-03 2018-12-06 Apple Inc. Generalized Temporal Sub-Layering Frame Work
CN108769682B (zh) * 2018-06-20 2022-08-16 腾讯科技（深圳）有限公司 视频编码、解码方法、装置、计算机设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012148139A2 (ko) * 2011-04-26 2012-11-01 엘지전자 주식회사 참조 픽쳐 리스트 관리 방법 및 이러한 방법을 사용하는 장치
KR20130119379A (ko) * 2012-04-23 2013-10-31 삼성전자주식회사 다시점 비디오 예측을 위한 참조리스트를 이용하는 다시점 비디오 부호화 방법 및 그 장치, 다시점 비디오 예측을 위한 참조리스트를 이용하는 다시점 비디오 복호화 방법 및 그 장치
WO2014003379A1 (ko) * 2012-06-24 2014-01-03 엘지전자 주식회사 영상 디코딩 방법 및 이를 이용하는 장치
WO2014008402A1 (en) * 2012-07-05 2014-01-09 Vid Scale, Inc. Layer dependency and priority signaling design for scalable video coding
CN103636222A (zh) * 2011-04-19 2014-03-12 三星电子株式会社 用于对多视点视频进行统一可分级视频编码的方法和设备以及对多视点视频进行统一可分级视频解码的方法和设备
KR20140034053A (ko) * 2012-08-21 2014-03-19 삼성전자주식회사 트리 구조의 부호화 단위에 기초한 예측 정보의 인터-레이어 비디오 부호화 방법 및 그 장치, 트리 구조의 부호화 단위에 기초한 예측 정보의 인터-레이어 비디오 복호화 방법 및 그 장치
US20140218473A1 (en) * 2013-01-07 2014-08-07 Nokia Corporation Method and apparatus for video coding and decoding
US20140301457A1 (en) * 2013-04-04 2014-10-09 Qualcomm Incorporated Multiple base layer reference pictures for shvc

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003299103A (ja) 2002-03-29 2003-10-17 Toshiba Corp 動画像符号化方法と装置及び動画像復号化方法と装置
WO2007047271A2 (en) * 2005-10-12 2007-04-26 Thomson Licensing Methods and apparatus for weighted prediction in scalable video encoding and decoding
WO2007080223A1 (en) 2006-01-10 2007-07-19 Nokia Corporation Buffering of decoded reference pictures
CA2640153A1 (en) 2006-01-27 2007-08-09 Spyder Lynk, Llc Encoding and decoding data in an image
US7885471B2 (en) 2006-07-10 2011-02-08 Sharp Laboratories Of America, Inc. Methods and systems for maintenance and use of coded block pattern information
US8130822B2 (en) 2006-07-10 2012-03-06 Sharp Laboratories Of America, Inc. Methods and systems for conditional transform-domain residual accumulation
US8532176B2 (en) 2006-07-10 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for combining layers in a multi-layer bitstream
US7840078B2 (en) 2006-07-10 2010-11-23 Sharp Laboratories Of America, Inc. Methods and systems for image processing control based on adjacent block characteristics
US7535383B2 (en) 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
CN102685496B (zh) 2006-07-10 2014-11-05 夏普株式会社 用于组合多层比特流中的层的方法和系统
US8059714B2 (en) 2006-07-10 2011-11-15 Sharp Laboratories Of America, Inc. Methods and systems for residual layer scaling
US8422548B2 (en) 2006-07-10 2013-04-16 Sharp Laboratories Of America, Inc. Methods and systems for transform selection and management
WO2008030068A1 (en) 2006-09-07 2008-03-13 Lg Electronics Inc. Method and apparatus for decoding/encoding of a video signal
WO2008047258A2 (en) 2006-10-20 2008-04-24 Nokia Corporation System and method for implementing low-complexity multi-view video coding
RU2387094C1 (ru) 2006-11-09 2010-04-20 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство для кодирования/декодирования видеосигнала
KR101349836B1 (ko) 2006-11-17 2014-01-10 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
US8767834B2 (en) 2007-03-09 2014-07-01 Sharp Laboratories Of America, Inc. Methods and systems for scalable-to-non-scalable bit-stream rewriting
JP5534521B2 (ja) 2007-10-15 2014-07-02 トムソン ライセンシング スケーラブルなビデオのためにレイヤー間残差予測を行う方法および装置
US8432968B2 (en) 2007-10-15 2013-04-30 Qualcomm Incorporated Scalable video coding techniques for scalable bitdepths
KR20110139304A (ko) 2009-04-22 2011-12-28 엘지전자 주식회사 다시점 영상의 참조 픽쳐 리스트 변경 방법
US8665959B2 (en) 2010-04-12 2014-03-04 Qualcomm Incorporated Block and partition signaling techniques for video coding
US20120075436A1 (en) 2010-09-24 2012-03-29 Qualcomm Incorporated Coding stereo video data
EP2630799A4 (en) 2010-10-20 2014-07-02 Nokia Corp METHOD AND DEVICE FOR VIDEO CODING AND DECODING
KR20120068743A (ko) * 2010-12-17 2012-06-27 한국전자통신연구원 인터 예측 방법 및 그 장치
US9008181B2 (en) 2011-01-24 2015-04-14 Qualcomm Incorporated Single reference picture list utilization for interprediction video coding
CN107426575B (zh) * 2011-02-16 2021-02-19 太阳专利托管公司 影像编码方法、装置及影像解码方法、装置
KR101578308B1 (ko) 2011-06-30 2015-12-16 텔레폰악티에볼라겟엘엠에릭슨(펍) 레퍼러스 픽처 시그널링
US9420307B2 (en) 2011-09-23 2016-08-16 Qualcomm Incorporated Coding reference pictures for a reference picture set
KR20130037161A (ko) 2011-10-05 2013-04-15 한국전자통신연구원 스케일러블 비디오 코딩을 위한 향상된 계층간 움직임 정보 예측 방법 및 그 장치
US9571833B2 (en) 2011-11-04 2017-02-14 Nokia Technologies Oy Method for coding and an apparatus
EP2777276B1 (en) 2011-11-08 2019-05-01 Nokia Technologies Oy Reference picture handling
AU2013215198A1 (en) 2012-01-31 2014-08-28 Vid Scale, Inc. Reference picture set (RPS) signaling for scalable high efficiency video coding (HEVC)
US9369710B2 (en) 2012-02-06 2016-06-14 Qualcomm Incorporated Reference picture list modification for video coding
PL2822276T3 (pl) 2012-02-29 2019-04-30 Lg Electronics Inc Sposób predykcji międzywarstwowej i stosujące go urządzenie
US20130243100A1 (en) 2012-03-15 2013-09-19 Mediatek Inc. System and Method for Adaptive Frame Re-compression in Video Processing System
EP2838263A4 (en) 2012-04-15 2015-12-23 Samsung Electronics Co Ltd INTERPRETING METHOD BY WHICH LISTS OF REFERENCE PICTURES CAN BE MODIFIED, AND APPARATUS THEREFOR
US10205961B2 (en) 2012-04-23 2019-02-12 Qualcomm Incorporated View dependency in multi-view coding and 3D coding
WO2014007590A1 (ko) * 2012-07-06 2014-01-09 삼성전자 주식회사 랜덤 억세스를 위한 멀티 레이어 비디오 부호화 방법 및 그 장치, 랜덤 억세스를 위한 멀티 레이어 비디오 복호화 방법 및 그 장치
KR20140008503A (ko) 2012-07-10 2014-01-21 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
EP2876882A4 (en) * 2012-09-09 2016-03-09 Lg Electronics Inc IMAGE DECODING METHOD AND APPARATUS USING THE SAME
CN104685881B (zh) * 2012-09-28 2018-05-15 夏普株式会社 图像解码装置、图像编码装置以及图像解码方法
WO2014075552A1 (en) 2012-11-15 2014-05-22 Mediatek Inc. Inter-layer texture coding with adaptive transform and multiple inter-layer motion candidates
JP6139701B2 (ja) 2013-01-07 2017-05-31 ヴィド スケール インコーポレイテッド スケーラブルビデオ符号化のための動き情報シグナリング
CN103024397B (zh) 2013-01-07 2015-07-08 华为技术有限公司 确定时域运动矢量预测值的方法和装置
US10321130B2 (en) 2013-01-07 2019-06-11 Vid Scale, Inc. Enhanced deblocking filters for video coding
US20140254681A1 (en) 2013-03-08 2014-09-11 Nokia Corporation Apparatus, a method and a computer program for video coding and decoding
US20140301463A1 (en) * 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for video coding and decoding
WO2014163460A1 (ko) 2013-04-05 2014-10-09 삼성전자 주식회사 계층 식별자 확장에 따른 비디오 스트림 부호화 방법 및 그 장치, 계층 식별자 확장에 따른 따른 비디오 스트림 복호화 방법 및 그 장치
US9532067B2 (en) * 2013-04-05 2016-12-27 Sharp Kabushiki Kaisha Decoding of inter-layer reference picture set and reference picture list construction
US9351009B2 (en) * 2013-04-05 2016-05-24 Sharp Kabushiki Kaisha Marking pictures for inter-layer prediction
CN103281531B (zh) 2013-05-10 2016-03-23 北方工业大学 面向hevc的质量可伸缩层间预测编码
US9509999B2 (en) 2013-06-11 2016-11-29 Qualcomm Incorporated Inter-layer prediction types in multi-layer video coding
US9648326B2 (en) * 2013-07-02 2017-05-09 Qualcomm Incorporated Optimizations on inter-layer prediction signalling for multi-layer video coding
JP6352383B2 (ja) 2013-07-14 2018-07-04 シャープ株式会社 復号方法及び復号装置
US9912943B2 (en) 2013-07-15 2018-03-06 Qualcomm Incorporated Signaling of bit rate information and picture rate information in VPS
US9628792B2 (en) * 2013-07-15 2017-04-18 Qualcomm Incorporated Cross-layer parallel processing and offset delay parameters for video coding
US10212437B2 (en) * 2013-07-18 2019-02-19 Qualcomm Incorporated Device and method for scalable coding of video information
EP3989585A1 (en) * 2013-10-11 2022-04-27 VID SCALE, Inc. High level syntax for hevc extensions
US9681145B2 (en) * 2013-10-14 2017-06-13 Qualcomm Incorporated Systems and methods for inter-layer RPS derivation based on sub-layer reference prediction dependency
ES2913983T3 (es) * 2014-03-17 2022-06-07 Nokia Technologies Oy Un aparato, un método y un programa informático para codificación y decodificación de vídeo

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103636222A (zh) * 2011-04-19 2014-03-12 三星电子株式会社 用于对多视点视频进行统一可分级视频编码的方法和设备以及对多视点视频进行统一可分级视频解码的方法和设备
WO2012148139A2 (ko) * 2011-04-26 2012-11-01 엘지전자 주식회사 참조 픽쳐 리스트 관리 방법 및 이러한 방법을 사용하는 장치
KR20130119379A (ko) * 2012-04-23 2013-10-31 삼성전자주식회사 다시점 비디오 예측을 위한 참조리스트를 이용하는 다시점 비디오 부호화 방법 및 그 장치, 다시점 비디오 예측을 위한 참조리스트를 이용하는 다시점 비디오 복호화 방법 및 그 장치
WO2014003379A1 (ko) * 2012-06-24 2014-01-03 엘지전자 주식회사 영상 디코딩 방법 및 이를 이용하는 장치
WO2014008402A1 (en) * 2012-07-05 2014-01-09 Vid Scale, Inc. Layer dependency and priority signaling design for scalable video coding
KR20140034053A (ko) * 2012-08-21 2014-03-19 삼성전자주식회사 트리 구조의 부호화 단위에 기초한 예측 정보의 인터-레이어 비디오 부호화 방법 및 그 장치, 트리 구조의 부호화 단위에 기초한 예측 정보의 인터-레이어 비디오 복호화 방법 및 그 장치
US20140218473A1 (en) * 2013-01-07 2014-08-07 Nokia Corporation Method and apparatus for video coding and decoding
US20140301457A1 (en) * 2013-04-04 2014-10-09 Qualcomm Incorporated Multiple base layer reference pictures for shvc

Also Published As

Publication number Publication date
US10602161B2 (en) 2020-03-24
CN106134195A (zh) 2016-11-16
WO2015147426A1 (ko) 2015-10-01
US20170134747A1 (en) 2017-05-11
WO2015147427A1 (ko) 2015-10-01
KR20150110294A (ko) 2015-10-02
US10708606B2 (en) 2020-07-07
US20170142428A1 (en) 2017-05-18
KR20150110295A (ko) 2015-10-02
CN106105213B (zh) 2019-09-10

Similar Documents

Publication Publication Date Title
CN105453568B (zh) 可扩展视频信号编码/解码方法及装置
CN105230018B (zh) 用于对支持多个层的视频进行编码的方法和设备
CN105850126B (zh) 用于对多层视频信号进行编码/解码的方法和装置
CN105659597A (zh) 用于对多层视频信号进行编码/解码的方法和装置
CN104255032A (zh) 层间预测方法和使用其的编码设备和解码设备
CN105519112A (zh) 可扩展视频信号编码/解码方法及装置
CN105379276A (zh) 可伸缩视频信号编码/解码方法和装置
CN106105213A (zh) 多层视频信号编码/解码方法和装置
CN105684446A (zh) 多层视频信号编码/解码方法和装置
CN105247869A (zh) 用于在多层结构中引出运动信息的方法以及使用该方法的设备
CN105453562A (zh) 支持多个层的图像编码和解码方法以及使用该方法的装置
KR20150064677A (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
CN106134195B (zh) 多层视频信号编码/解码方法和装置
CN105659598A (zh) 用于对多层视频信号进行编码/解码的方法和装置
CN105379275A (zh) 用于对可伸缩视频信号进行编码/解码的方法和装置
KR20150009468A (ko) 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150133685A (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150064676A (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150044394A (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150014872A (ko) 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150048077A (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150037659A (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150009469A (ko) 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150075031A (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant