CN108337522A - 可伸缩解码方法/设备、可伸缩编码方法/设备和介质 - Google Patents

可伸缩解码方法/设备、可伸缩编码方法/设备和介质 Download PDF

Info

Publication number
CN108337522A
CN108337522A CN201810093965.8A CN201810093965A CN108337522A CN 108337522 A CN108337522 A CN 108337522A CN 201810093965 A CN201810093965 A CN 201810093965A CN 108337522 A CN108337522 A CN 108337522A
Authority
CN
China
Prior art keywords
layer
prediction
picture
enhancement layer
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810093965.8A
Other languages
English (en)
Other versions
CN108337522B (zh
Inventor
李河贤
姜晶媛
崔振秀
金镇雄
沁东圭
崔孝敏
南廷学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Industry Academic Collaboration Foundation of Kwangwoon University
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Industry Academic Collaboration Foundation of Kwangwoon University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI, Industry Academic Collaboration Foundation of Kwangwoon University filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of CN108337522A publication Critical patent/CN108337522A/zh
Application granted granted Critical
Publication of CN108337522B publication Critical patent/CN108337522B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Abstract

本发明涉及可伸缩解码方法，包含：基于标记信息确定是否可应用层间预测用于解码增强层，该标记信息被信令传输用于要解码的增强层，指示层间预测是否可应用；若确定可应用，从参考层的解码后画面生成归纳参考画面；若确定可应用，构造用于增强层的当前块的包括该归纳参考画面的参考画面列表；基于该参考画面列表，对增强层的当前块执行帧间预测以生成预测块；生成该当前块的残差块；通过使用该预测块、残差块重构该当前块，生成该残差块包含熵解码比特流以生成量化变换系数，逆量化该量化变换系数以生成变换系数，逆变换该变换系数，以及若确定不可应用，跳过生成归纳参考画面，并且构造的参考画面列表不包括参考层的解码后画面或归纳参考画面。

Description

可伸缩解码方法/设备、可伸缩编码方法/设备和介质
本专利申请是下列发明专利申请的分案申请：
申请号：201280039873.2
申请日：2012年6月15日
发明名称：用于编码和解码可伸缩视频的方法以及使用其的设备
技术领域
本发明涉及图像信息的处理，并更具体地，涉及使用可伸缩视频编码(SVC)的视频编码方法和视频解码方法以及使用其的设备。
背景技术
最近，已根据多媒体环境的建立而使用各种终端和网络，并且与此相符合，用户需求也已经多元化。
例如，随着终端性能和计算能力多元化，装置支持各种性能。而且，经由其传送信息的网络也已经在诸如传送信息的形式、信息的数量和速度等的功能上、以及在诸如有线/无线网络的外部结构上多元化。用户可根据期望的功能选择要使用的终端和网络，并且企业向用户提供各种系列(spectrum)终端和网络。
关于这一点，最近，已在全世界以及全国广泛提供具有高清晰度分辨率的广播，大量用户正变得习惯于高分辨率、高画面图像。由此，许多与图像服务相关的组织或机构已施加开发下一代图像显示装置的刺激。
而且，除了HDTV之外，随着对于具有等于或大于HDTV 4倍的分辨率的超高清晰度(UHD)的兴趣正增加，对于压缩和处理具有高分辨率和高画面质量的图像的技术的需求在增长。
为了压缩和处理图像，可使用用于从时间上在前和/或在后的画面来预测当前画面中包括的像素值的帧间预测技术、用于通过使用当前画面中的像素信息来预测当前画面中包括的不同像素值的帧内预测技术、以及用于向具有高频率的码元分配短代码并向具有低频率的码元分配长代码的熵编码技术等。
如上所述，考虑到其每一个支持不同功能和多元化的用户需求的终端和网络，所支持的图像的质量、尺寸、帧等需要多元化。
由此，由于具有各种功能的异类通信网络和各类终端，所以可变地支持画面质量、分辨率、尺寸、帧频等的可伸缩性是视频格式化的重要功能。
由此，为了基于高效率视频编码方法在各种环境中提供用户需要的服务，需要提供在时间、空间、画面质量等方面允许有效视频编码和解码的可伸缩性功能。
发明内容
[技术问题]
本发明的一个方面提供了能够有效执行视频编码和视频解码的方法和设备。
本发明的另一方面提供了能够在各种环境中提供各种视频服务的方法和设备。
本发明的另一方面提供了能够根据用户需求或目的在时间、空间、和/或画面质量方面提供各种视频服务的方法和设备。
本发明的另一方面提供了能够在与同时广播(联播)相比获得比特率增加的同时、提供具有各种画面质量、分辨率、尺寸和/或帧频的视频服务的方法和设备。
[技术方案]
(1)在本发明的实施例中，一种层间预测方法包括：确定是否对增强层应用层间预测；和当应用层间预测时，基于从参考层的解码后参考画面生成的归纳参考信息，来对增强层的当前块执行预测。
(2)在(1)中，是否对增强层应用层间预测可基于指示层间预测的标记信息来确定。
(3)在(1)中，该归纳参考信息可根据增强层的画面尺寸而被上采样。
(4)在(1)中，该归纳参考信息可以是基于参考层的解码后画面生成的归纳参考画面，并且在所述对增强层的当前块执行预测的步骤中，可使用该归纳参考画面作为当前块的参考画面。
(5)在(4)中，该归纳参考画面可被包括在针对增强层的当前块的参考画面列表中，并被用作针对增强层的当前块的参考画面。
(6)在(4)中，可向该归纳参考画面应用基于增强层和参考层的画面之间的差的增强。
(7)在(4)中，该归纳参考画面可以是基本层的解码后画面、通过对基本层的解码后画面进行上采样而获得的画面、基于基本层的解码后画面和残差信息生成的画面、或通过对基本层的解码后画面和残差信息进行上采样而获得的画面。
(8)在(1)中，当该归纳参考信息是基于参考层的解码后画面而生成的归纳参考块时，可以在所述对增强层的当前块执行预测的步骤中，将该归纳参考块设置为针对增强层的当前块的预测块。
(9)在(8)中，该归纳参考块可以是已向其应用基于增强层和参考层的画面之间的差的增强的块。
(10)在(1)中，当该归纳参考信息是基于参考层的解码后画面生成的归纳参考画面时，可以在所述对增强层的当前块执行预测的步骤中，使用该归纳参考画面作为针对增强层的当前块的参考画面。
(11)在(10)中，该归纳参考画面可以被包括在针对增强层的当前块的参考画面列表中，并被用作针对增强层的当前块的参考画面。
(12)在(10)中，可以向该归纳参考画面应用基于增强层和参考层的画面之间的差的增强。
(13)在(10)中，该归纳参考画面可以是基本层的解码后画面、通过对基本层的解码后画面进行上采样而获得的画面、基于基本层的解码后画面和残差信息而生成的画面、或通过对基本层的解码后画面和残差信息进行上采样而获得的画面。
(14)在(1)中，当该归纳参考信息是基于参考层的解码后画面生成的归纳参考画面时，可以在所述对增强层的当前块执行预测的步骤中，将该归纳参考块设置为针对增强层的当前块的预测块。
(15)在(14)中，该归纳参考块可以是已向其应用基于增强层和参考层的画面之间的差的增强的块。
(16)在本发明的另一实施例中，一种可伸缩编码设备包括：基本层编码单元，被配置为对基本层的输入图像执行预测；增强层编码单元，被配置为对增强层的输入图像执行预测；和层间预测单元，被配置为生成归纳参考信息，以对增强层的输入图像执行预测，其中当应用层间预测时，该层间预测单元从该基本层的解码后信息生成归纳参考信息，并且该增强层编码单元基于该归纳参考信息对增强层的当前块执行预测。
(17)在本发明的另一实施例中，一种可伸缩解码设备包括：基本层解码单元，被配置为对基本层的图像执行预测；增强层解码单元，被配置为对增强层的图像执行预测；和增强层预测单元，被配置为生成归纳参考信息，以对增强层的图像执行预测，其中当应用层间预测时，该层间预测单元从该基本层的解码后信息生成归纳参考信息，并且该增强层解码单元基于该归纳参考信息对增强层的当前块执行预测。
本发明的另一实施例提供一种可伸缩解码方法，包含：基于标记信息确定可应用还是不可应用层间预测用于解码增强层，该标记信息被信令传输用于要解码的增强层，并且指示层间预测可应用还是不可应用用于解码增强层；如果基于该确定而确定可应用层间预测用于解码增强层，则从参考层的解码后画面生成归纳参考画面；如果基于该确定而确定可应用层间预测用于解码增强层，则构造用于增强层的当前块的参考画面列表，该参考画面列表包括该归纳参考画面；基于该参考画面列表，来对增强层的当前块执行帧间预测以生成预测块；生成该当前块的残差块；以及通过使用该预测块和该残差块重构该当前块，其中所述生成该残差块的步骤包含熵解码比特流以生成量化变换系数，逆量化该量化变换系数以生成变换系数并且逆变换该变换系数，以及其中如果基于该确定而确定不可应用层间预测用于解码增强层，则跳过生成归纳参考画面的步骤，并且构造的参考画面列表不包括参考层的解码后画面或归纳参考画面。
本发明的另一实施例提供一种可伸缩编码方法，包含：确定可应用还是不可应用层间预测用于编码增强层；如果基于该确定而确定可应用层间预测用于编码增强层，则从参考层的解码后画面生成归纳参考画面；如果基于该确定而确定可应用层间预测用于编码增强层，则构造用于增强层的当前块的参考画面列表，该参考画面列表包括该归纳参考画面；基于该参考画面列表，来对增强层的当前块执行帧间预测以生成预测块；通过使用该预测块生成该当前块的残差块；编码该残差块；以及编码标记信息，该标记信息被信令传输用于增强层，并且基于该确定指示层间预测可应用还是不可应用用于编码增强层，其中所述编码该残差块的步骤包含变换该残差块以生成变换系数，量化该变换系数以生成量化变换系数并且熵编码该量化变换系数，以及其中如果基于该确定而确定不可应用层间预测用于编码增强层，则跳过生成归纳参考画面的步骤，并且构造的参考画面列表不包括参考层的解码后画面或归纳参考画面。
本发明的另一实施例提供一种可伸缩编码设备，包含：基本层编码单元，配置成对基本层的输入图像执行预测；增强层编码单元，配置成确定可应用还是不可应用层间预测用于编码增强层，如果基于该确定而确定可应用层间预测用于编码增强层，则从参考层的解码后画面生成归纳参考画面，如果基于该确定而确定可应用层间预测用于编码增强层，则构造用于增强层的当前块的参考画面列表，该参考画面列表包括该归纳参考画面，基于该参考画面列表来对增强层的当前块执行帧间预测以生成预测块，通过使用该预测块生成该当前块的残差块，并且编码该残差块；以及标记信息编码单元，配置成编码标记信息，该标记信息被信令传输用于增强层，并且基于该确定指示层间预测可应用还是不可应用用于编码增强层，其中所述编码该残差块的步骤包含变换该残差块以生成变换系数，量化该变换系数以生成量化变换系数并且熵编码该量化变换系数，以及其中如果基于该确定而确定不可应用层间预测用于编码增强层，则跳过生成归纳参考画面的步骤，并且构造的参考画面列表不包括参考层的解码后画面或归纳参考画面。
本发明的另一实施例提供一种可伸缩解码设备，包含：基本层解码单元，配置成对基本层的图像执行预测；增强层解码单元，配置成对增强层的图像执行预测；和增强层预测单元，配置成基于标记信息，来确定可应用还是不可应用层间预测用于解码增强层，该标记信息被信令传输用于要解码的增强层，并且指示层间预测可应用还是不可应用用于解码增强层，如果基于该确定而确定可应用层间预测用于解码增强层，则从参考层的解码后画面生成归纳参考画面，如果基于该确定而确定可应用层间预测用于解码增强层，则构造用于增强层的当前块的参考画面列表，该参考画面列表包括该归纳参考画面，并对增强层的当前块执行帧间预测以生成预测块，生成当前块的残差块，并且通过使用该预测块和该残差块来重构该当前块，其中所述生成该残差块的步骤包含熵解码比特流以生成量化变换系数，逆量化该量化变换系数以生成变换系数并且逆变换该变换系数，以及其中如果基于该确定而确定不可应用层间预测用于解码增强层，则跳过生成归纳参考画面的步骤，并且构造的参考画面列表不包括参考层的解码后画面或归纳参考画面。
本发明的另一实施例提供一种存储由可伸缩编码方法生成的比特流的非暂时性计算机可读记录介质，其中所述方法包含：确定可应用还是不可应用层间预测用于编码增强层；如果基于该确定而确定可应用层间预测用于编码增强层，则从参考层的解码后画面生成归纳参考画面；如果基于该确定而确定可应用层间预测用于编码增强层，则构造用于增强层的当前块的参考画面列表，该参考画面列表包括该归纳参考画面；基于该参考画面列表对增强层的当前块执行帧间预测以生成预测块；通过使用该预测块生成该当前块的残差块；编码该残差块；以及编码标记信息，该标记信息被信令传输用于增强层并且基于该确定指示层间预测可应用还是不可应用用于编码增强层，其中所述编码该残差块的步骤包含变换该残差块以生成变换系数，量化该变换系数以生成量化变换系数并且熵编码该量化变换系数，以及其中如果基于该确定而确定不可应用层间预测用于编码增强层，则跳过生成归纳参考画面的步骤，并且构造的参考画面列表不包括参考层的解码后画面或归纳参考画面。
[有利效果]
根据本发明的实施例，能够在各种环境中有效提供各种视频服务。
根据本发明的实施例，能够根据各种需求或使用目的在时间、空间、和/或画面质量方面提供各种视频服务。
根据本发明的实施例，能够有效执行能在各种环境中提供各种服务的可伸缩视频编码。
根据本发明的实施例，能够提供在与同时广播(联播)相比获得比特率增加的同时、具有各种画面质量、分辨率、尺寸和/或帧频的视频服务。
附图说明
图1是图示了根据本发明的实施例的编码设备的基本配置的框图。
图2是图示了根据本发明的实施例的解码设备的基本配置的框图。
图3是示意性图示了帧内预测模式的示例的图。
图4是示意性示出了基于单层编码的转换代码(transcoding)的示例的图。
图5是示意性图示了其中使用基于多层编码的可伸缩视频编码的示例作为采用SVC的示例的图。
图6是示意性图示了采用SVC的编码设备的示例的图。
图7是示意性图示了采用SVC的解码设备的示例的图。
图8是示意性图示了根据本发明实施例的用于执行层间预测的多层编码设备的图。
图9是示意性图示了根据本发明实施例的用于执行层间预测的多层编码设备的图。
图10是示意性图示了根据本发明实施例的用于执行层间预测的多层编码设备的图。
图11是示意性图示了根据本发明实施例的用于执行层间预测的多层解码设备的图。
图12是示意性图示了根据本发明实施例的用于执行层间预测的多层解码设备的图。
图13是示意性图示了根据本发明实施例的用于执行层间预测的多层解码设备的图。
图14是示意性图示了在本发明所应用到的层间预测单元中归纳的参考画面生成单元的配置的示例的图。
图15是示意性图示了在本发明所应用到的层间预测单元中归纳的参考块生成单元的配置的示例的图。
图16是图示了根据本发明实施例执行的层间预测的流程图。
具体实施方式
其后，将参考附图来详细描述本发明的实施例。在描述本发明时，如果认为相关已知功能或构造的详细解释不必要地偏离本发明的要义，则这样的解释将被省略但是将被本领域技术人员理解。
当组件被称作“连接”或“接入”另一组件时，这可意味着其直接连接或接入所述另一组件，但是将理解的是，其间可存在另一组件。另一方面，当组件被称作“直接连接”或“直接接入”另一组件时，将理解的是，其间不存在其他组件。
尽管可使用诸如“第一”和“第二”等术语来描述各种组件，但是这样的组件不能被理解为限于以上术语。以上术语仅用来将组件彼此区分。例如，第一组件可被称为第二组件，而不脱离本发明的权利的范围，并且类似地，第二组件可被称为第一组件。
而且，本发明的实施例的元件被独立图示，以示出不同特性功能，并且这不意味着将每一元件配置为分离的硬件或单一软件组件。即，为了解释的目的，各个元件被安排为包括，并且各个元件中的至少两个可以被合并在单一元件中，或者单一元件可以被划分为多个元件以执行功能，并且各个元件的集成实施例和划分实施例被包括在本发明的范围中，除非其偏离本发明的本质。
图1是图示了根据本发明的实施例的编码设备的基本配置的框图。
参考图1，编码设备100包括帧间预测单元110、帧内预测单元120、开关125、减法器130、变换单元135、量化单元140、熵编码单元150、逆量化单元160、逆变换单元170、加法器175、滤波器单元180、和画面缓冲器190。
编码设备100可按照帧内模式或帧间模式来对输入图像执行编码并输出比特流。在帧内模式的情况下，开关125切换到帧内，而在帧间模式的情况下，开关125切换到帧间。编码设备100可生成针对输入图像的输入块的预测块，并编码输入块和预测块之间的差。
在帧内模式中，帧内预测单元120可通过使用与当前块相邻的先前编码的块的像素值执行空间预测，来生成预测块。
在帧间模式中，帧间预测单元110可在运动预测处理中从画面缓冲器190中存储的参考图像中搜索与输入块对应的区域，以获得运动向量。帧间预测单元110可通过使用运动向量和画面缓冲器190中存储的参考图像执行运动补偿，来生成预测块。
减法器130可根据输入块和生成的预测块之间的差，来生成残差块。变换单元135可对残差块执行变换以输出变换系数。量化单元140可根据量化参数来对输入变换系数进行量化，并输出量化后的系数。
熵编码单元150基于量化单元140所计算的值、在编码处理期间计算的编码参数值等，根据概率分布，来对量化后的系数进行熵编码，以输出比特流。
量化后的系数可以由逆量化单元160进行逆量化并由逆变换单元170进行逆变换。逆量化和逆变换后的系数可通过加法器175被添加到预测块，以生成重构块。
重构块经过滤波器单元180，并且滤波器单元180可向重构块或重构画面应用解块滤波器、样本自适应偏移(SAO)、和自适应环形滤波器(ALF)中的一个或多个。已经过滤波器单元180的重构块可被存储在画面缓冲器190中。
图2是图示了根据本发明的实施例的解码设备的基本配置的框图。
参考图2，解码设备200包括熵解码单元210、逆量化单元220、逆变换单元230、帧内预测单元240、帧间预测单元250、滤波器单元260、和画面缓冲器270。
解码设备200可接收从编码设备输出的比特流，按照帧内模式或帧间模式对其执行解码，并输出重新配置的图像，即，重构的图像。在帧内模式的情况下，开关可切换到帧内，而在帧间模式的情况下，开关可切换到帧间。
解码设备200可从输入比特流获得重构的残差块，生成预测块，并将重构的残差块与预测块相加，以生成重新配置的块，即，重构块。
熵解码单元210根据概率分布对输入比特流进行熵解码。通过熵解码，可生成量化(变换)的系数。
量化的系数由逆量化单元220逆量化并由逆变换单元230逆变换，并且结果，可生成重构的残差块。
在帧内模式的情况下，帧内预测块240可通过使用与当前块相邻的先前编码的块的像素值来执行空间预测。在帧间模式的情况下，帧间预测块250可通过使用运动向量和画面缓冲器中存储的参考图像，来执行运动补偿。
加法器255将重构的残差块与预测块相加，并且相加后的块经过滤波器单元260。滤波器单元260可向重构块或重构画面应用解块滤波器、SAO、和ALF中的至少一个。滤波器单元260输出重新配置的图像，即，重构的图像。重构的图像可被存储在画面缓冲器270中以便用于帧间预测。
如上所述，编码设备/解码设备对当前块执行预测用于视频编码/解码。
可在编码设备/解码设备(特别是，编码设备/解码设备的预测单元)中执行预测。编码设备的预测单元可包括例如帧间预测单元110、帧内预测单元120等。解码设备的预测单元可包括例如帧内预测单元240、帧间预测单元250等。
当当前块的预测模式是帧内预测模式时，预测单元可根据当前块的帧内预测模式，基于已先前编码的当前画面中的像素(参考样本)，来对当前块执行预测。预测单元可执行帧内预测，以从参考样本生成针对当前块的预测块。
图3是示意性图示了帧内预测模式的示例的图。在帧内预测中，预测模式可包括三十三个定向预测模式和两个或更多非定向模式。在图3的示例中，图示了从2到34的三十三个定向预测模式。非定向模式可以包括DC预测模式、平面模式等。
在帧内预测中，可通过向参考样本应用滤波器来生成预测块。这里，可根据帧内预测模式和/或当前块的尺寸来确定是否向参考样本应用滤波器。
当针对当前块的预测模式是帧间预测模式时，预测单元可设置当前画面的先前画面或随后画面中的至少一个作为参考画面，并基于参考画面对当前块执行预测。用于当前块的预测的图像被称为参考画面或参考帧。可通过使用指示参考画面的参考画面索引refIdx、运动向量等，来指示参考画面内的区域。
在帧间预测的情况下，预测单元可选择参考画面和参考画面中与当前块对应的参考块，以生成针对当前块的预测块。预测单元可生成预测块，从而使得针对当前块的残差信号最小化以及运动向量尺寸最小化。
为了使用参考画面的信息，可使用关于当前块的相邻块的信息。例如，可通过跳跃模式、合并模式、先进运动向量预测(AMVP)等，基于关于相邻块的信息来生成针对当前块的预测块。
解码设备的预测单元可通过从编码设备接收的跳跃标记、合并标记等，来检查当前块的帧间预测所需的诸如关于运动向量、参考画面索引等的信息的运动信息，并可执行对应感应(inducing)。
执行预测的处理单元、预测方法、用于确定特定内容的处理单元可彼此不同。例如，预测模式可通过PU来确定，这样预测可通过PU来执行，或者预测模式可通过PU来确定并且帧内预测可通过TU来执行。
针对当前画面，可利用用于预测的画面来配置参考画面列表，并且参考画面索引可指示参考画面列表上的特定参考画面。
P画面是可通过使用至少一个运动向量和参考画面索引、利用帧间预测或帧内预测、而编码或解码的画面，以便预测每一块的样本值。B画面是可通过使用至少两个运动向量和参考画面索引、利用帧间预测或帧内预测、而编码或解码的画面，以便预测每一块的样本值。除了P画面和B画面之外，存在帧内预测要应用到的I画面。
在帧间预测中，在跳跃模式的情况下，预测单元可对于当前块原样使用关于相邻块的信息。由此，在跳跃模式的情况下，除了指示哪一块的运动信息要用作当前块的运动信息的信息之外，编码设备不传送诸如残差等的语法信息。
而且，在合并模式的情况下，预测单元可通过原样使用相邻块的运动信息，而生成针对当前块的预测块。编码设备可向解码设备传送关于是否应用合并模式的信息、关于要使用哪一块的运动信息的信息、残差信息等。解码设备可通过将预测块和从编码设备传送的残差相加，来重构当前块。
在AMVP的情况下，编码设备可通过使用相邻块的运动信息来预测当前块的运动向量，并向解码设备传送(1)关于使用其相邻块的运动信息的信息、(2)当前块的运动向量和预测的运动向量之间的差、(3)指示参考画面的参考画面索引等。解码设备可基于感应的运动向量和从编码设备接收的参考画面索引信息，来生成针对当前块的预测块。
其间，根据通信和视频技术的开发，基于每一不同性能来使用各种使用视频信息的装置。诸如移动电话等的装置基于比特流来再现具有相对低分辨率的视频。作为比较，诸如个人计算机(PC)等的装置可能够再现具有相对高分辨率的视频。
由此，需要考虑用于向具有各种性能的装置提供最佳视频服务的方法。这些方案之一是可伸缩视频编码(SVC)。
一般，在SVC中，还可以通过视频比特流的一部分来配置可用于再现有效视频图像的子比特流。这里，子比特流是针对对应内容的基本流，并且可通过该子比特流来重构比整个比特流所重构的图像具有更小或更低质量、尺寸、和/或帧频的图像。
图4是示意性示出了基于单层编码的代码转换的示例的图。单层编码表示不提供可伸缩性功能的视频序列的编码。
在图4的示例中，原始内容410由每一编码器/代码转换器根据质量和分辨率进行单层编码。例如，高质量内容从高质量编码器/代码转换器420传送，低质量内容从低质量编码器/代码转换器430传送，而具有低分辨率的内容从低分辨率编码器/代码转换器440传送。
接收和使用高质量内容的终端1 450可以是诸如HD TV、UHD TV等的TV装置。接收和使用低质量内容的终端2 460可比TV或具有比TV的信息处理速度更低的信息处理速度的低性能PC等具有更小屏幕。接收和使用具有低分辨率的内容的终端3 470可以是具有更小屏幕的移动电话等。可根据每一终端的性能来接收和使用与前述示例的内容不同的内容。
其间，编码的比特流可包括多层。
可伸缩编码允许解码器选择性地仅解码比特流的一部分。编码的比特流可以被安排为多层，其可包括基本层以及一个或多个增强层。
图5是示意性图示了其中使用基于多层编码的可伸缩视频编码的示例作为采用SVC的示例的图。
多层编码通过编码具有多层的视频序列，来提供可伸缩性。在可伸缩系统中，具有拥有最低或基本质量的视频数据的层被称为基本层。而且，具有拥有较高质量的视频数据的层被称为增强层。
一般可伸缩性包括时间可伸缩性、空间可伸缩性、和质量可伸缩性。时间可伸缩性是关于帧频的可伸缩性。空间可伸缩性是关于画面尺寸或分辨率的可伸缩性。而且，质量可伸缩性可涉及图像的保真度。
在图5的示例中，原始内容510由可伸缩编码器520编码。
可伸缩编码器520支持前述时间、空间和质量可伸缩性。可伸缩编码器520编码原始内容510以生成具有多层的比特流530。
比特流530的多层可包括包含基本图像信息的基本层、以及包含关于比基本层具有更好质量(即，精度、尺寸和/或帧频等)的图像的信息的增强层。
当终端的解码设备接收基本层并解码图像时，对基本图像进行解码。例如，对具有基本尺寸、基本质量和/或基本帧频的图像进行解码。
当终端的解码设备接收增强层连同基本层并解码图像时，它可解码具有较大尺寸、较好质量和/或较高帧频的图像。例如，在支持空间可伸缩性的情况下，当终端的解码设备接收并解码增强层连同基本层时，它可获得具有更高分辨率或更大尺寸的图像。在支持时间可伸缩性的情况下，当终端的解码设备接收并解码增强层连同基本层时，它可获得具有较高帧频的图像。在支持质量可伸缩性的情况下，当终端的解码设备接收并解码增强层连同基本层时，它可获得具有高保真度的图像。
参考图5，可伸缩编码器520输出包括其中安排的多层(第1层、第2层、第3层)的比特流530。提取器540根据来自每一终端或网络的请求来从比特流530提取需要的层，并传送它。
假设第1层是基本层。当终端3 570是诸如移动电话等处理具有基本质量的图像的终端时，终端3 570可接收并解码仅包括第1层的流。
当终端2 560和终端1 550是诸如TV、PC等可能能够处理具有高质量的图像的终端时，终端2 560和终端1 550可根据支持的性能和期望的图像类型，来接收并解码增强层(第2层和第3层)连同基本层(第1层)中的至少一个。
通过使用较低层(参考层)来确定或预测增强层的数据值的方法被称为层间预测。这里，用作预测的基础的层被称为参考层。
在层间预测中，通过利用关于诸如基本层的较低层的信息到最大级别，来预测关于增强层的信息。由此，用于增强层的预测所传送或处理的信息的数量能显著降低。例如，当较低层和较高层中处理的画面尺寸不同时，对重构层的信息进行上采样，以用来重构较高层(例如，增强层)的信息。
层间预测方法包括层间纹理、层间运动预测、层间残差预测等。
图6是示意性图示了采用SVC的编码设备的示例的图。参考图6，SVC编码设备600包括基本层编码器300、层间预测单元650、和增强层编码器670。
将用于编码对应层的视频流610和620分别输入到基本层编码器630和增强层编码器670。将具有低分辨率的视频流610输入到基本层编码器630，并将具有高分辨率的视频流620输入到增强层编码器670。
基本层编码器630可根据上面参考图1描述的编码方法对基本层执行编码。将关于基本层编码器630执行的编码的信息传递(640)到层间预测单元650。
如上所述，层间预测单元650可对基本层编码器630重构的视频信息进行上采样，并将其传递(660)到增强层编码器670。
增强层编码器670还可以根据上面参考图1描述的编码方法对增强层执行编码。然而，增强层编码器670可基于具有高分辨率的视频序列信息以及从层间预测单元650传递的关于基本层的信息，来对增强层执行编码。
基于关于基本层的信息的上采样可由增强层编码器670或层间预测单元650执行。
这里，已描述了向基本层编码器630输入的视频流是具有低分辨率的视频流以及向增强层编码器670输入的视频流是具有高分辨率的视频流。然而，本发明不限于此，并且向基本层编码器630输入的视频流可以是在分辨率、保真度、和/或帧频等方面具有高质量的视频流，并且向增强层编码器670输入的视频流可以是在分辨率、保真度、和/或帧频等方面具有低质量或基本质量的视频流。
图7是示意性图示了采用SVC的解码设备的示例的图。参考图7，SVC解码设备700包括基本层解码器740、层间预测单元760、和增强层解码器780。
从编码设备传送的比特流710包括具有拥有低分辨率的视频信息的比特流720作为针对基本层解码器740的比特流、以及具有拥有高分辨率的视频信息的比特流730作为针对增强层解码器780的比特流。
用于解码对应层的比特流720和730被分别输入到基本层解码器740和增强层解码器780。即，针对具有低分辨率的视频的比特流720被输入到基本层解码器740，而针对具有高分辨率的视频的比特流730被输入到增强层解码器780。
基本层解码器740可根据上面参考图2描述的方法来对基本层执行解码。将基本层解码器740所重构的基本层视频信息传递(750)到层间预测单元760。
如上所述，层间预测单元760可对基本层解码器740重构的视频信息进行上采样，并将其传递(770)到增强层解码器780。
在应用多环路方案的情况下，通过层间预测单元760传递的关于基本层的信息可以是参考层(基本层)的解码后的图像信息(纹理信息)。
增强层解码器780还可以根据上面参考图2描述的解码方法对基本层执行解码。然而，增强层780可基于从层间预测单元760传递的关于基本层的信息以及具有高分辨率的视频序列信息，来对增强层执行解码。
基于关于基本层的信息的上采样可由层间预测单元760执行。
这里，已描述了向基本层解码器740输入的视频流是具有低分辨率的视频流以及向增强层解码器780输入的视频流是具有高分辨率的视频流。然而，本发明不限于此，并且向基本层解码器740输入的视频流可以是在分辨率、保真度、和/或帧频等方面具有高质量的视频流，并且向增强层解码器780输入的视频流可以是在分辨率、保真度、和/或帧频等方面具有低质量或基本质量的视频流。
在图6和7中，已描述了其中将这些层配置为基本层和增强层的示例，但是本公开中描述的方法和设备不限于此，并可应用到其中增强层包括较高层和较低层作为多个测量层的情况。在该情况下，针对较高层的编码设备和解码设备可基于关于较低层的信息来对较高层执行编码和解码。
在图6和7中，已描述了作为从基本层编码器和基本层解码器向层间预测单元传递的信息、以及从层间预测单元向增强层编码器和增强层解码器传递的信息，而传送单一信息。这是为了便于解释，并且在图6的情况下，可以根据支持的可伸缩性，在基本层编码器、层间预测单元、增强层编码器内的支持对应可伸缩性的处理单元之间传递用于支持特定可伸缩性的信息。例如，在图6的基本层编码器、层间预测单元、增强层编码器内，在用于处理时间可伸缩性的单元之间传送和接收用于处理时间可伸缩性的信息，在用于处理空间可伸缩性的单元之间传送和接收用于处理空间可伸缩性的信息，并在用于处理质量可伸缩性的单元之间传送和接收用于处理质量可伸缩性的信息。每一信息的部分或全部可被传送到收集信息或综合处理信息的单元，并且每一信息可从收集信息或综合处理信息的单元集中或单独传送。
而且，在图7的情况下，可根据支持的可伸缩性，在基本层解码器、层间预测单元、增强层解码器内的支持对应可伸缩性的处理单元之间传递用于支持特定可伸缩性的信息。例如，在图7的基本层解码器、层间预测单元、增强层解码器内，在用于处理时间可伸缩性的单元之间传送和接收用于处理时间可伸缩性的信息，在用于处理空间可伸缩性的单元之间传送和接收用于处理空间可伸缩性的信息，并在用于处理质量可伸缩性的单元之间传送和接收用于处理质量可伸缩性的信息。每一信息的部分或全部可被传送到收集信息或综合处理信息的单元，并且每一信息可从收集信息或综合处理信息的单元集中或单独传送。
其间，层间预测包括单环路预测方法和多环路预测方法。
在单环路预测方法的情况下，在解码所编码的多层比特流时，编码设备/解码设备不对除了要解码的当前层(或作为解码的目标)之外的较低层之中的参考可用层进行完全解码。编码设备/解码设备仅解码和使用用于解码当前层的解码目标块(当前块)或解码目标画面(当前画面)而可参考的较低层(参考层)的编码信息(运动信息、帧内模式信息)、以及残差信号(残差信息)。这里，被解码以便参考的编码信息可包括诸如运动向量(VM)、参考画面索引、运动信息预测候选索引、运动信息综合候选索引、以及帧间预测模式的运动信息。
在多环路预测方法的情况下，在解码所编码的多层比特流时，编码设备/解码设备对包括要解码的当前层(或作为解码的目标的当前层)的较低层之中的参考可用层进行完全解码。编码设备/解码设备基于通过完全解码(多个)参考层而获得的纹理信息来对参考可用较低层进行完全解码，并基于解码的信息对当前层的解码目标块(当前块)或解码目标画面(当前画面)进行解码。
使用单环路预测方法降低了复杂度，但是可用信息或可用层间预测是有限的。例如，在采用单环路预测方法的情况下，当通过帧间预测编码当前块的位于同一地点(co-located)的块时，存在的难度在于应该解码对应块所参考的参考画面的参考块、以便解码该对应块。由此，当对较低层(参考层)的块进行帧间预测时，通过仅使用某些编码信息(运动向量、参考画面索引、AMVP候选索引、合并候选索引、帧内预测模式等)和残差信号，来对当前层执行层间预测。
例如，在单环路类型层间预测中，不对当前块执行运动估计(ME)，并且可基于与当前画面对应的画面中的位于同一地点的块的运动信息(运动向量、残差信息、参考画面索引、AMVP候选索引、合并候选索引等)，来对当前块执行估计。这里，编码设备可考虑到RDO来选择最可能的模式。
与单环路方案不同，在采用多环路方案的情况下，可通过解码较低层之中的能参考的所有层，而使用对应层的信息。由此，与单环路不同，在多环路层间预测的情况下，对于使用的信息或可用层间预测方法没有或基本没有限制。
在基于多环路方案的层间预测的情况下，可处理比基于单环路方案的层间预测的图像具有更高质量的图像。
其后，将参考附图来详细描述使用多环路预测方法的层间预测。
图8是示意性图示了根据本发明实施例的用于执行层间预测的多层编码设备的图。在图8中，图示了多层编码设备中的针对基本层的编码设备的示例。
图8的变换单元810、帧间预测单元820、帧内预测单元830、量化单元840、逆量化单元850、逆变换单元860、熵编码单元870、滤波器单元880、和画面缓冲器890可充当上面参考图1描述的编码设备的相应组件。
例如，变换单元810可对输入图像以及帧间预测单元820或帧内预测单元830所预测的像素的差值(即，残差信号(残差块))执行DST或离散余弦变换(DCT)。量化单元840对已被DST或DCT的像素的差值(即，残差信号(残差块))进行量化。逆量化单元850对量化单元840所量化的值进行逆量化。逆变换单元860对通过IDCT(逆DCT)或IDST(逆DST)逆量化的值进行逆变换。熵编码单元870通过使用CABAC、CAVLC等对量化单元840所量化的值进行熵编码。
当编码设备800按照帧间模式执行编码时，帧间预测单元820基于画面缓冲器890中存储的参考画面来对当前块执行预测(帧间预测)。当编码设备800按照帧内模式执行编码时，帧内预测单元830基于当前画面中的相邻块来对当前块执行预测(帧内预测)。上面已参考图1描述了帧间预测单元执行的帧间预测和帧内预测单元执行的帧内预测的细节。
画面缓冲器890存储解码后的图像，并且在将图像存储在画面缓冲器890中之前，滤波器单元880可对图像应用环内滤波器。
参考图8，将针对基本层在编码设备800中处理的图像信息传送到层间预测单元。在解码后重构的图像信息可经过滤波器单元880中的环内滤波器(解块滤波器、SAO、ALF等)中的至少一个，并然后可传递到层间预测单元。在该情况下，图像信息也可被传递到层间预测单元，而不经过环内滤波器。
图9是示意性图示了根据本发明实施例的用于执行层间预测的多层编码设备的图。在图9中，图示了多层编码设备的层间预测单元的示例。
层间预测单元910包括归纳参考画面生成单元910、归纳参考块生成单元920、和预测单元925。预测单元925可包括纹理预测单元930和空间扩大尺寸(upsizing)单元940。
作为输入到层间预测单元910的信息的图9中图示的图像信息与作为从基本层编码设备传送的信息的图8中图示的相同。
层间预测单元基于输入信息生成用于层间预测所需要的预测信息。
详细来说，纹理预测单元930可基于从基本层编码设备传输的图像信息通过纹理预测获得与增强层(当前层)的编码目标块对应的参考层块的解码后的纹理信息。
纹理预测是从与增强层(当前层)的当前块对应的参考层(基本层)的块获得像素值的处理。通过纹理预测，纹理预测单元930可获得与当前块对应的基本层(参考层)块的像素值。
空间扩大尺寸单元940可根据增强层(当前层)的尺寸，来对从纹理预测单元930获得的参考层块的解码后的纹理信息进行扩大尺寸(例如，上采样)。
归纳参考画面生成单元910可基于预测单元925生成的基本层的图像信息、以及从增强层编码设备的画面缓冲器传输的增强层的解码后的图像信息①，来生成归纳参考画面。如上所述，预测单元925可从基本层获得纹理信息并且如果必要，预测单元925对其执行空间扩大尺寸，并将其传递到归纳参考画面生成单元910。
在应用多环路的情况下，归纳参考画面可以是由参考层的解码后的纹理信号(残差信号和预测信号之和)组成的画面。例如，归纳参考画面可以是没有向其应用环内滤波器的重构画面、或者向其应用环内滤波器(解块滤波器、SAO和ALF)中的至少一个的重构画面。而且，通过对由参考层的解码后的纹理信号组成的画面执行画面增强而获得的画面可被确定为归纳参考画面。
归纳参考画面可被添加到针对增强层(当前层)的当前编码目标画面(块)的参考画面列表，以便用于编码目标画面(块)的帧间预测。而且，归纳参考画面可被指定为针对增强层(当前层)的编码目标画面(块)的参考画面，以便于使用，而不是被添加到参考画面列表。
归纳参考块生成单元920可基于预测单元925生成的基本层的纹理信息来生成归纳参考块。如上所述，预测单元925可从基本层获得纹理信息并且如果必要，预测单元925对其执行空间扩大尺寸，并将其传递到归纳参考块生成单元。
在应用多环路的情况下，归纳参考块可以是由参考层的解码后的纹理信号(残差信号和预测信号之和)组成的块。例如，归纳参考块可以是在参考层中重构的并且没有向其应用环内滤波器的画面的块、或者是由参考层重构的并且向其应用环内滤波器(解块滤波器、SAO和ALF)中的至少一个的画面的块。而且，通过对由参考层的解码后的纹理信号组成的画面执行画面增强而获得的画面的块可被确定为归纳参考块。
归纳参考块可用作针对增强层(当前层)的编码目标块的预测信号。当当前层的编码目标块的尺寸是N×N时，归纳参考块生成单元920可获得从解码后的参考层的画面生成的具有N×N尺寸的块作为归纳参考块。增强层的编码设备可通过使用该归纳参考块作为针对该当前块的预测块，来编码与增强层的原始块的差(残差信号)。
归纳参考画面生成单元910所生成的归纳参考画面信息②以及归纳参考块生成单元920所生成的归纳参考块信息③和④被传输到增强层编码设备。从归纳参考块生成单元920输出的参考块信息③和④可以是同一信息。
图10是示意性图示了根据本发明实施例的用于执行层间预测的多层编码设备的图。在图10中，图示了多层编码设备中的增强层编码设备的示例。
增强层编码设备100包括变换单元1010、帧内预测单元1020、帧间预测单元1030、量化单元1040、逆量化单元1050、逆变换单元1060、滤波器单元1070、画面缓冲器1080、和熵编码单元1090。
图10的变换单元1010、帧间预测单元1020、帧内预测单元1030、量化单元1040、逆量化单元1050、逆变换单元1060、滤波器单元1070、画面缓冲器1080、和熵编码单元1090可充当上面参考图8描述的编码设备的相应组件。
例如，变换单元1010可对输入图像以及帧间预测单元1020或帧内预测单元1030所预测的像素的差值(即，残差信号(残差块))执行DST或离散余弦变换(DCT)。输入到增强层编码设备1000的输入图像可以是由整个图像流的部分或全部组成的图像流，作为关于比输入到基本层编码设备800的输入图像具有更高画面质量、更大尺寸、更高分辨率和/或更高帧频的图像的信息。量化单元1040对已被DST或DCT的像素的差值(即，残差信号(残差块))进行量化。逆量化单元1050对量化单元1040所量化的值进行逆量化。逆变换单元1060对通过IDCT(逆DCT)或IDST(逆DST)逆量化的值进行逆变换。熵编码单元1090通过使用CABAC、CAVLC等对量化单元1040所量化的值进行熵编码。
画面缓冲器1080存储解码后的图像，并且在将图像存储在画面缓冲器1080中之前，滤波器单元1070可对图像应用环内滤波器。
当编码设备1000按照帧内模式执行编码时，帧内预测单元1020基于当前画面中的相邻块来对当前块执行预测(帧内预测)。当编码设备1000按照帧间模式执行编码时，帧间预测单元1030基于参考画面来对当前块执行预测(帧间预测)。上面已参考图1描述了帧间预测单元执行的帧间预测和帧内预测单元执行的帧内预测的细节。
参考图10，在针对基本层的编码设备中处理的图像信息通过层间预测单元被传送到针对增强层的编码设备1000。例如，关于层间预测单元的归纳参考画面生成单元所生成的归纳参考画面的信息②被传递到画面缓冲器1080。关于层间预测单元的归纳参考块生成单元所生成的归纳参考块的信息③和④被传输到帧内预测单元1020和帧间预测单元1030。
当应用多环路方案时，帧内预测单元1020可使用从层间预测单元传送的归纳参考块③作为当前块的预测信号。而且，如上所述，帧内预测单元1020可通过使用增强层中的当前块的相邻参考样本，来对当前块执行帧内预测。而且，帧内预测单元1020可通过使用已从层间预测单元传递并在画面缓冲器1080中存储的参考画面，来对增强层(当前层)的当前块执行帧间预测。
如图示的，帧间预测单元1030可使用从层间预测单元传送的归纳参考块④作为针对增强层的当前块的预测信号。而且，帧间预测单元1030可通过使用画面缓冲器1080中存储的基本层的图像信息②和增强层的参考画面，来执行运动估计。
这里，已描述了对增强层的输入图像执行帧间预测的帧间预测单元1030和对增强层的输入图像执行一致的(even)帧内预测的帧内预测单元1020基于从增强层编码设备1000中的层间预测单元传输的信息来执行预测，但是本发明不限于此。例如，除了帧间预测单元1030和/或帧内预测单元1020之外，增强层编码设备可包括额外预测单元，并且额外预测单元可基于从层间预测单元传送的信息③和④，来执行预测。在该情况下，向或从帧间预测单元1030、帧内预测单元1020、和额外预测单元输入或输出的信息可通过安装开关来选择。
图11是示意性图示了根据本发明实施例的用于执行层间预测的多层解码设备的图。在图11中，图示了多层解码设备中的基本层解码设备的示例。
参考图11，基本层解码设备1100包括熵解码单元1110、逆量化单元1120、逆变换单元1130、滤波器单元1140、画面缓冲器1150、帧间预测单元1160、和帧内预测单元1170。
熵解码单元1110、逆量化单元1120、逆变换单元1130、滤波器单元1140、画面缓冲器1150、帧间预测单元1160、和帧内预测单元1170可充当上面参考图2描述的解码设备的各个组件。
例如，熵解码单元1110可接收比特流，并通过诸如CABAC、CAVLC等方法对其执行熵解码。逆量化单元1120可对从熵解码单元1110获得的量化后的变换系数进行逆量化。逆变换单元1130根据向量化后的变换系数应用的变换方法来执行逆量化。例如，当量化后的变换系数基于DCT时，逆变换单元1130可通过使用IDCT来执行逆量化，并且当量化后的变换系数基于DST时，逆变换单元1130可通过使用IDST来执行逆量化。
画面缓冲单元1150可存储解码后的图像信息，并且滤波器单元1140可向在画面缓冲器1150中存储之前的重构图像(画面)应用环内滤波器。
当解码设备1100对当前块执行帧间预测时，帧间预测单元1160基于画面缓冲单元1150中存储的参考画面来执行帧间预测。当解码设备1100对当前块执行帧内预测时，帧内预测单元1170基于关于相邻块的信息来对当前块执行帧内预测。帧间预测和帧内预测的细节与上述相同。
参考图11，在针对基本层的解码设备1100中处理的图像信息被传送到层间预测单元。例如，已解码并重构的图像信息可经过滤波器单元1140中的环内滤波器(解块滤波器、SAO、ALF等)中的至少一个，并然后被传输到层间预测单元。这里，图像信息可被传输到层间预测单元，而不在滤波器单元1140中滤波。
图12是示意性图示了根据本发明实施例的用于执行层间预测的多层解码设备的图。在图12中，图示了多层解码设备中的层间预测单元的示例。
多层解码设备的层间预测单元1200包括归纳参考块生成单元1210、归纳参考画面生成单元1220、和预测单元1225。预测单元1225可包括纹理预测单元1230和空间尺寸扩大单元1240。
作为输入到层间预测单元900的信息的图12中图示的信息与作为从基本层解码设备传送的信息的图11中图示的信息相同。
层间预测单元基于输入信息生成层间预测所需要的预测信息。
详细来说，纹理预测单元1230可基于从基本层编码设备传递的图像信息通过纹理预测，来获得与增强层(当前层)的解码目标块对应的参考层块的解码后的纹理信息。
纹理预测是从与增强层(当前层)的当前块对应的参考层(基本层)的块获得像素值的处理。通过纹理预测，纹理预测单元1230可获得与当前块对应的基本层(参考层)块的像素值。
空间尺寸扩大单元1240可根据增强层(当前层)的尺寸，来对从纹理预测单元1230获得的参考层块的解码后的纹理信息进行尺寸扩大(例如，上采样)。
归纳参考画面生成单元1210基于预测单元1225生成的基本层的纹理信息，来生成归纳参考块。如上所述，预测单元1225可从基本层获得纹理信息并且如果必要，则预测单元1225对其执行空间尺寸扩大，并将其传递到归纳参考块生成单元1220。
如上所述，在应用多环路的情况下，归纳参考块可以是包括参考层的解码后的纹理信号(残差信号和预测信号之和)的块。例如，归纳参考块可以是在参考层中重构并且不对其应用环内滤波器的画面的块、或者是由参考层重构并且对其应用环内滤波器(解块滤波器、SAO、和ALF)中的至少一个的画面的块。而且，通过对包括参考层的解码后的纹理信号的画面执行画面增强而获得的画面的块可被确定为归纳参考块。
归纳参考块可被用作针对增强层(当前层)的解码目标块的预测信号。当当前层的编码目标块的尺寸是N×N时，归纳参考块生成单元920可获得从解码的参考层的画面生成的具有尺寸N×N的块，作为归纳参考块。增强层的解码设备可通过将残差信号和归纳参考块相加，来重构增强层的原始块。
归纳参考画面生成单元1220基于从预测单元1225生成的基本层的图像信息和从增强层解码设备的画面缓冲器传输的解码后的增强层的图像信息⑧，来生成归纳参考画面。如上所述，预测单元1225可获得纹理信息并且如果必要，预测单元1225对其执行空间尺寸扩大，并将其传递到归纳参考画面生成单元1220。
在应用多环路的情况下，归纳参考画面可以是包括参考层的解码后的纹理信号(残差信号和预测信号之和)的画面。例如，归纳参考画面可以是不对其应用环内滤波器的重构画面、或者是对其应用环内滤波器(解块滤波器、SAO、和ALF)中的至少一个的重构画面。而且，通过对包括参考层的解码后的纹理信号的画面执行画面增强而获得的画面可被确定为归纳参考画面。
归纳参考画面可被添加到针对增强层(当前层)的当前解码目标画面(块)的参考画面列表，以便用于解码目标画面(块)的帧间预测。而且，归纳参考画面可被指定为针对增强层(当前层)的编码目标画面(块)的参考画面以便使用，而不是添加到参考画面列表。
归纳参考画面生成单元1220所生成的归纳参考画面信息⑦以及归纳参考块生成单元1210所生成的归纳参考块信息⑤和⑥被传输到增强层解码设备。
图13是示意性图示了根据本发明实施例的用于执行层间预测的多层解码设备的图。在图13中，图示了多层解码设备中的增强层解码设备的示例。
参考图13，增强层解码设备1300包括熵解码单元1310、逆量化单元1320、逆变换单元1330、滤波器单元1340、画面缓冲器1350、帧间预测单元1360、和帧内预测单元1370。
熵解码单元1310、逆量化单元1320、逆变换单元1330、滤波器单元1340、画面缓冲器1350、帧间预测单元1360、和帧内预测单元1370也可充当上面参考图2描述的解码设备的各个组件。
例如，熵解码单元1110可接收比特流并通过诸如CABAC、CAVLC等方法对其执行熵解码。输入到增强层解码设备1300的比特流可以是包括整个比特流的部分或全部的比特流，作为关于比输入到基本层解码设备的比特流具有更高画面质量、更大尺寸、更高分辨率和/或更高帧频的图像的信息。逆量化单元1320可对从熵解码单元1310获得的量化后的变换系数进行逆量化。逆变换单元1330根据向量化后的变换系数应用的变换方法来执行逆量化。例如，当量化后的变换系数基于DCT时，逆变换单元1330可通过使用IDCT来执行逆量化，并且当量化后的变换系数基于DST时，逆变换单元1330可通过使用IDST来执行逆量化。
画面缓冲单元1350可存储解码后的图像信息，并且滤波器单元1340可向在画面缓冲器1350中存储之前的重构图像(画面)应用环内滤波器。
当解码设备1300对当前块执行帧间预测时，帧间预测单元1360基于画面缓冲单元1350中存储的参考画面来执行帧间预测。当解码设备1300对当前块执行帧内预测时，帧内预测单元1370基于关于相邻块的信息来对当前块执行帧内预测。帧间预测和帧内预测的细节与上述相同。
参考图13，针对基本层在解码设备1100中处理的图像信息通过层间预测单元1200被传送到增强层解码设备1300。例如，关于层间预测单元的归纳参考画面生成单元所生成的归纳参考画面的信息⑦被传输到画面缓冲器1350。而且，关于层间预测单元的归纳参考块生成单元所生成的归纳参考块的信息⑤和⑥被传输到帧内预测单元1370和帧间预测单元1360。
当应用多环路方案时，帧内预测单元1370可使用从帧间预测单元传送的归纳参考块⑤作为当前块的预测信号。而且，如上所述，帧内预测单元1370可通过使用增强层中的当前块的相邻参考样本来对当前块执行帧内预测。而且，帧内预测单元1370可通过使用已从帧间预测单元传递并在画面缓冲器1350中存储的参考画面，来对增强层(当前层)的当前块执行帧间预测。
可基于从编码设备传送的指示或信息，来确定是否使用归纳参考块或是否执行当前层中的帧内预测。
如图示的，帧间预测单元1360可使用从层间预测单元传送的归纳参考块⑥作为针对增强层的当前块的预测信号。而且，帧间预测单元1360可通过使用画面缓冲器1350中存储的基本层的图像信息⑦和增强层的参考画面，来执行运动估计。基于哪个信息来预测当前块可在编码设备/解码设备之间先前确定，或者可由编码设备命令。
这里，已描述了对增强层的输入图像执行帧间预测的帧间预测单元1360和对增强层的输入图像执行一致的帧内预测的帧内预测单元1370基于从增强层解码设备1300中的层间预测单元传输的信息来执行预测，但是本发明不限于此。例如，除了帧间预测单元1360和/或帧内预测单元1370之外，增强层解码设备可包括额外预测单元，并且该额外预测单元可基于从层间预测单元传送的信息⑤和⑥，来执行预测。在该情况下，向或从帧间预测单元1360、帧内预测单元1370、和额外预测单元输入或输出的信息可通过安装开关来选择。
图14是示意性图示了在本发明所应用到的层间预测单元中归纳的参考画面生成单元的配置的示例的图。如上所述，当应用多环路方案时，归纳参考画面生成单元接收预测单元(图9中的925和图12中的1225)所获得的纹理信息，并生成归纳的参考信号。
参考图14，归纳参考画面生成单元1400包括画面增强单元1410。
画面增强单元1410执行处理(画面增强)，以使得输入画面或块与增强层(当前层)的输入原始画面或输入原始块相同或相似。
例如，在采用多环路方案的归纳参考画面生成单元1400中，画面增强单元1410接收基本层的图像信息(纹理信息)以及增强层的画面缓冲器1420中存储的图像信息，并基于增强层的画面缓冲器1420中存储的图像信息来对输入图像信息(纹理信息)执行画面增强。在该情况下，作为画面增强的基础的增强层的画面缓冲器1420中存储的图像信息可以是增强层的原始图像。
作为增强画面的方法之一，画面增强单元1410可应用输入图像信息(纹理信息)、自适应环路滤波器(ALF)、和样本自适应偏移(SAO)中的至少一个。在解码设备的情况下，画面增强单元1410中应用的画面增强方法、滤波系数等可在编码设备中确定并用信号通知。
其间，当不应用画面增强时，向归纳参考画面生成单元1400输入的纹理信息可被用作归纳参考画面。
图15是示意性图示了在本发明所应用到的层间预测单元中归纳的参考块生成单元的配置的示例的图。
参考图15，归纳参考块生成单元1500包括画面增强单元1510。
画面增强单元1510执行处理(画面增强)，以使得输入画面或块与增强层(当前层)的输入原始画面或输入原始块相同或相似。
例如，在采用多环路方案的归纳参考画面生成单元1500中，画面增强单元1510接收基本层的图像信息(纹理信息)以及增强层的画面缓冲器1520中存储的图像信息，并基于增强层的画面缓冲器1520中存储的图像信息，来对输入图像信息(纹理信息)执行画面增强。在该情况下，作为画面增强的基础的增强层的画面缓冲器1520中存储的图像信息可以是增强层的原始图像。
作为增强画面的方法之一，画面增强单元1510可应用输入图像信息(纹理信息)、自适应环路滤波器(ALF)、和样本自适应偏移(SAO)中的至少一个。在解码设备的情况下，画面增强单元1510中应用的画面增强方法、滤波系数等可在编码设备中确定并用信号通知。
归纳参考块生成单元1500向增强层(当前层)的帧间预测单元1530或帧内预测单元1540传送该归纳参考块。
其间，当不应用画面增强时，向归纳参考画面生成单元1500输入的纹理信息可被用作归纳参考画面。
图16是图示了根据本发明实施例执行的层间预测的流程图。
这里，为了便于解释，描述了多层编码设备和多层解码设备(其后，称为“编码设备/解码设备”)确定针对增强层的当前块的预测方法。
参考图16，编码设备/解码设备确定是否对增强层的当前块执行层间预测(S1610)。在该情况下，编码设备可确定是否考虑到PDO和/或数据传送成本等来执行层间预测、或者是否执行增强层内的单层预测。编码设备可向解码设备传送指示是否执行层间预测或是否执行单层预测的标记。
解码设备可根据从编码设备接收的标记的指示，来确定是否对增强层的当前块执行层间预测或者是否执行单层预测。例如，当指示层间预测的执行的标记是interLayerPred_flag并且interLayerPred_flag的值是1时，解码设备可执行单层预测，并且当interLayerPred_flag的值是0时，解码设备可执行单层预测。这里，描述了具有值1的标记指示层间预测，但是当然，其可被设置为使得具有值0的标记指示层间预测。
当不执行层间预测时，可针对增强层的当前块在增强层中执行预测(S1620)。例如，当包括增强层的当前块的片段类型是帧内片段(I片段)时，可基于位于作为当前编码和解码的目标的块(当前块)附近的重构参考块(相邻块)来执行帧内预测，由此对当前块执行预测。这里，可向增强层的当前块应用的帧内预测方法的示例与上面参考图3描述的相同。编码设备/解码设备可通过使用定向预测模式或非定向预测模式中的任一个，来对增强层执行帧内预测。
编码设备向解码设备传送关于要用于增强层的当前块的帧内预测模式的信息，并且解码设备可根据由从编码设备接收的信息指示的帧内预测模式，来对增强层的当前块执行预测。
而且，当包括增强层的当前块的片段类型是帧间片段(P片段、B片段等)并且在增强层内执行单层预测时，编码设备/解码设备可基于同一增强层内的参考画面，来对当前块执行帧间预测。这里，编码设备/解码设备可通过上述诸如跳跃模式、合并模式、AMVP等的帧间预测方法中的任一个，来对当前块执行帧间预测。
编码设备可传送关于要用于增强层的当前块的帧间预测方法的信息，并且解码设备可根据由从编码设备接收的信息指示的帧间预测模式，来对增强层的当前块执行预测。
其间，当执行帧间预测时，编码设备/解码设备可基于从参考层(基本层)生成的归纳参考画面或归纳参考块，来对增强层的当前块执行预测(S1630)。为了便于解释，将描述根据片段类型执行层间预测的方法。
*在增强层的片段类型或基本层的片段类型是帧内片段(I片段)并且应用层间预测的情况下
编码设备/解码设备可基于通过使用参考层(基本层)的解码后的画面信息而生成的归纳参考画面或归纳参考块，来对增强层的当前块执行预测。
这里，当层的画面尺寸不同时，参考层的解码后的画面可被获得，并然后根据增强层的画面尺寸而被上采样，以由此生成归纳参考画面或归纳参考块。上采样可例如在如上面参考图9或12描述的层间预测单元中执行。
上采样可通过使用利用固定滤波系数的固定类型滤波器、以及根据片段、画面、和块而自适应地具有不同滤波系数的自适应滤波器中的至少一个来执行。
在使用归纳参考画面的情况下
当增强层的片段或基本层的片段是帧内片段并且通过使用归纳参考画面执行层间预测时，编码设备/解码设备可配置包括归纳参考画面(参考层的上采样的解码后画面或参考层的还没有上采样的解码后画面)的针对增强层的当前块的参考画面列表。编码设备/解码设备可通过使用针对增强层的当前块的参考画面列表中包括的归纳参考画面作为参考画面，来对增强层的当前块执行帧间预测。
在通过使用归纳参考画面对增强层的当前块执行预测的情况下，可使用诸如AMVP、合并模式、跳跃模式等的帧间预测方法。
在执行层间预测的情况下，可使用归纳参考画面作为针对增强层的当前块的参考画面，甚至不向参考画面列表添加归纳参考画面(参考层的上采样的解码后画面或参考层的还没有上采样的解码后画面)。当使用归纳参考画面作为当前块的参考画面时，编码设备可向解码设备传送指示作为针对当前块的参考画面的该归纳参考画面的信息。当解码设备从编码设备接收到指示针对增强层的当前块的参考画面是该归纳参考画面的信息时，解码设备可通过使用该归纳参考画面来对增强层的当前块执行帧间预测。
这里，为了便于解释，将该归纳参考画面描述为参考层的上采样的解码后画面或参考层的还没有上采样的解码后画面，但是如图14中所示，可通过对基本层的解码后画面执行画面增强，来生成归纳参考画面。
画面增强是用于使得用作参考画面的解码后画面和原始画面之间的差最小化的方法。换言之，画面增强可以使得基于参考层生成的归纳参考画面和原始画面之间的差最小化。这里，原始画面可表示增强层的向编码设备输入的画面。
例如，编码设备计算能够使得原始画面和归纳参考画面之间的差最小化的滤波系数，并然后向从参考层获得的上采样的解码后画面或还没有上采样的解码后画面应用具有滤波系数的滤波器，以生成该归纳参考画面。编码设备可向解码设备传送关于计算的滤波系数的信息。解码设备可通过向从参考层获得的上采样的解码后画面或还没有上采样的解码后画面应用从编码设备接收的滤波系数，来生成归纳参考画面。
在使用归纳参考块的情况下
在增强层的片段类型或基本层的片段类型是帧内片段并且通过使用归纳参考块执行层间预测时，编码设备/解码设备可从基于基本层(参考层)的解码后画面生成的归纳参考块获得针对增强层的当前块的预测信号(预测块)。
这里，当参考层(基本层)和增强层的画面的尺寸不同时，可对从参考层获得的解码后画面执行上采样。可以如上面参考图9或12描述的那样在层间预测单元中执行上采样。
上采样可通过使用利用固定滤波系数的固定类型滤波器、以及根据片段、画面、和块而自适应地具有不同滤波系数的自适应滤波器中的至少一个来执行。
在执行层间预测时，从与增强层的当前块对应的参考层(基本层)的归纳参考块获得的像素值可被确定为针对增强层的当前块的预测信号(预测块)。这里，归纳参考块可以是通过对从参考层(基本层)获得的解码后画面进行上采样而获得的块，或者可以是没有经过上采样而获得的块。
增强层的当前块可以根据四叉树结构被编码/解码以具有各种块尺寸。例如，增强层的当前块可以通过CU、PU和TU中的任一个被编码/解码、预测或变换。在该情况下，归纳参考块可包括参考层(基本层)的像素以便对应于增强层的当前块的尺寸，或者可被上采样以便对应于增强层的当前块的尺寸。
还可以对从参考层(基本层)获得的解码后图像附加执行画面增强，使得归纳参考块能更接近增强层的要编码/解码的目标块(当前块)的原始块。在该情况下，画面增强可以使得基于参考层生成的归纳参考块和增强层的当前块(原始块)之间的差最小化。
编码设备可计算可能使得原始画面和归纳参考块之间的差最小化的滤波系数，并然后向从参考层获得的上采样的解码后块或还没有上采样的解码后块应用具有该滤波系数的滤波器，以生成归纳参考块。
而且，编码设备可向解码设备传送关于计算的滤波系数的信息。解码设备可通过向从参考层获得的上采样的解码后块或还没有上采样的解码后块应用具有该滤波系数的滤波器，以生成归纳参考块。
－在增强层的片段类型或基本层的片段类型是帧间片段(P片段、B片段等)并且应用层间预测的情况下
编码设备/解码设备还可以基于参考层(基本层)的解码后画面、或通过使用解码后画面的信息而生成的归纳参考画面或归纳参考块，来对增强层的当前块执行预测。
当层(例如，基本层(参考层)和增强层之间)的画面的尺寸不同时，编码设备/解码设备可根据增强层的画面尺寸对参考层的解码后画面进行上采样。这里，上采样可通过使用利用固定滤波系数的固定类型滤波器、以及根据片段、画面、和块而自适应地具有不同滤波系数的自适应滤波器中的至少一个来执行。
在使用归纳参考画面的情况下
如上所述，编码设备/解码设备可基于参考层的解码后图像、以及基于解码后图像信息而生成的归纳参考画面，来对增强层的当前块执行预测。
参考层的解码后图像或通过对参考层的解码后图像进行上采样而获得的画面可被用作层间预测的归纳参考画面。如上所述，可执行上采样，以便将基本层(参考层)的画面调整为增强层的画面。例如，当参考层(基本层)的画面尺寸与增强层的画面尺寸不同时，编码设备/解码设备可对基本层的画面执行上采样，以便调整画面尺寸。
可通过配置包括归纳参考画面的针对增强层的当前块的参考画面列表，来对增强层的当前块执行层间预测。当对增强层的当前块执行帧间预测时，参考画面列表中包括的归纳参考画面可被用作参考画面。
在该情况下，可使用诸如AMVP、合并模式、跳跃模式等的前述帧间预测方法，可对增强层的当前块执行预测。
当参考画面列表中包括归纳参考画面时，可用归纳参考画面替代针对增强层的当前块的参考画面列表上的某一参考画面。而且，可将归纳参考画面简单添加到针对增强层的当前块的参考画面列表上。
此外，代替将归纳参考画面添加到参考画面列表上，可将归纳参考画面用作针对增强层的当前块的参考画面。当将归纳参考画面用作当前块的参考画面时，编码设备可向解码设备传送指示该归纳参考画面是针对当前块的参考画面的信息。当解码设备从编码设备接收到指示针对增强层的当前块的参考画面是该归纳参考画面的信息时，解码设备可通过使用该归纳参考画面来对增强层的当前块执行帧间预测。
在使用归纳参考块的情况下
在增强层的片段类型或基本层的片段类型是帧间片段并且通过使用归纳参考块执行层间预测时，编码设备/解码设备可从通过使用参考层(基本层)的解码后画面生成的归纳参考块，获得针对增强层的编码或解码目标块(当前块)的预测信号(预测块)。
编码设备/解码设备可使用从与增强层的当前块对应的参考层(基本层)的由上采样画面生成的归纳参考块或由还没有上采样的画面生成的归纳参考块而获得的像素值，作为针对增强层的当前块的预测信号。
增强层的当前块可以根据四叉树结构被编码/解码以具有各种块尺寸。例如，增强层的当前块可以通过CU、PU和TU中的任一个被编码/解码、预测或变换。在该情况下，归纳参考块可包括参考层(基本层)的像素以便对应于增强层的当前块的尺寸，或者可被上采样以便对应于增强层的当前块的尺寸。
编码设备/解码设备可使用该归纳参考块作为针对增强层的当前块的预测块。
如上所述，编码设备/解码设备可基于针对增强层的当前块的单层预测或层间预测的结果，来重构或编码增强层的当前画面(S1650)。
如上所述，编码设备可基于预测结果对生成的残差块(残差信号)进行变换、量化和熵编码，并将其传送到解码设备。这里，编码设备可通过使用多路复用器对从基本层编码设备和增强层编码设备输出的比特流进行多路复用，并传送它。
如上所述，解码设备还可以基于通过预测生成的预测块(预测信号)和残差块(残差信号)，来重构具有增强层支持的高画面质量、高分辨率、大尺寸和/或高帧频的画面(或视频)。输入到编码设备的比特流可由解多路复用器划分为基本层和增强层，并分别输入到基本层编码设备和增强层编码设备。
在以上描述中，在多层编码/解码中将基本层描述为参考层并将增强层描述为编码或解码目标层，但是为了便于解释，这仅基于包括两层的多层的编码/解码的假设。即，这仅是示意性的，并且本发明不限于双层配置。在本发明的实施例中，编码或解码目标层可通过使用目标层自己的较低层中的至少一个作为参考层而被层间预测，或者可以在编码或解码目标层中被单层预测。
在以上描述中，为了执行SVC，从较低层获得的信息在尺寸上被上采样，但是这仅为了便于解释，并且可按照相同方式甚至对于画面质量、分辨率、和帧频、以及画面尺寸，执行与上采样类似的、根据较高层的视频信息的较低层的视频信息的增强。
在以上描述中，分开描述了使用归纳参考画面的情况和使用归纳参考块的情况，但是这仅是为了便于解释。可一起使用归纳参考画面和归纳参考块用于层间预测，或者可仅单独使用其中的任何一个。当使用归纳参考画面和归纳参考块中的任一个时，编码设备/解码设备可仅包括归纳参考块生成单元和归纳参考画面生成单元中的需要的元件。
而且，在上述示范系统中，尽管通过顺序步骤或块基于流程图描述了这些方法，但是本发明不限于这些步骤的次序，并且步骤与另一步骤可按照与上述不同的次序执行，或者可同时执行。而且，前述实施例包括各个示范实施例。例如，各个实施例的组合也应被理解为本发明的实施例。

Claims (9)

1.一种可伸缩解码方法，包含：
基于标记信息确定可应用还是不可应用层间预测用于解码增强层，该标记信息被信令传输用于要解码的增强层，并且指示层间预测可应用还是不可应用用于解码增强层；
如果基于该确定而确定可应用层间预测用于解码增强层，则从参考层的解码后画面生成归纳参考画面；
如果基于该确定而确定可应用层间预测用于解码增强层，则构造用于增强层的当前块的参考画面列表，该参考画面列表包括该归纳参考画面；
基于该参考画面列表，来对增强层的当前块执行帧间预测以生成预测块；
生成该当前块的残差块；以及
通过使用该预测块和该残差块重构该当前块，
其中所述生成该残差块的步骤包含熵解码比特流以生成量化变换系数，逆量化该量化变换系数以生成变换系数并且逆变换该变换系数，以及
其中如果基于该确定而确定不可应用层间预测用于解码增强层，则跳过生成归纳参考画面的步骤，并且构造的参考画面列表不包括参考层的解码后画面或归纳参考画面。
2.根据权利要求1所述的方法，其中通过根据增强层的画面尺寸对参考层的解码后画面进行上采样，来生成该归纳参考画面。
3.根据权利要求1所述的方法，其中在所述对增强层的当前块执行帧间预测的步骤中，使用该归纳参考画面作为当前块的参考画面。
4.根据权利要求3所述的方法，其中向该归纳参考画面应用基于增强层和参考层的画面之间的差的增强。
5.根据权利要求3所述的方法，其中该归纳参考画面是基本层的解码后画面、通过对基本层的解码后画面进行上采样而获得的画面、基于基本层的解码后画面和残差信息生成的画面、或通过对基本层的解码后画面和残差信息进行上采样而获得的画面。
6.一种可伸缩编码方法，包含：
确定可应用还是不可应用层间预测用于编码增强层；
如果基于该确定而确定可应用层间预测用于编码增强层，则从参考层的解码后画面生成归纳参考画面；
如果基于该确定而确定可应用层间预测用于编码增强层，则构造用于增强层的当前块的参考画面列表，该参考画面列表包括该归纳参考画面；
基于该参考画面列表，来对增强层的当前块执行帧间预测以生成预测块；
通过使用该预测块生成该当前块的残差块；
编码该残差块；以及
编码标记信息，该标记信息被信令传输用于增强层，并且基于该确定指示层间预测可应用还是不可应用用于编码增强层，
其中所述编码该残差块的步骤包含变换该残差块以生成变换系数，量化该变换系数以生成量化变换系数并且熵编码该量化变换系数，以及
其中如果基于该确定而确定不可应用层间预测用于编码增强层，则跳过生成归纳参考画面的步骤，并且构造的参考画面列表不包括参考层的解码后画面或归纳参考画面。
7.一种可伸缩编码设备，包含：
基本层编码单元，配置成对基本层的输入图像执行预测；
增强层编码单元，配置成确定可应用还是不可应用层间预测用于编码增强层，如果基于该确定而确定可应用层间预测用于编码增强层，则从参考层的解码后画面生成归纳参考画面，如果基于该确定而确定可应用层间预测用于编码增强层，则构造用于增强层的当前块的参考画面列表，该参考画面列表包括该归纳参考画面，基于该参考画面列表来对增强层的当前块执行帧间预测以生成预测块，通过使用该预测块生成该当前块的残差块，并且编码该残差块；以及
标记信息编码单元，配置成编码标记信息，该标记信息被信令传输用于增强层，并且基于该确定指示层间预测可应用还是不可应用用于编码增强层，
其中所述编码该残差块的步骤包含变换该残差块以生成变换系数，量化该变换系数以生成量化变换系数并且熵编码该量化变换系数，以及
其中如果基于该确定而确定不可应用层间预测用于编码增强层，则跳过生成归纳参考画面的步骤，并且构造的参考画面列表不包括参考层的解码后画面或归纳参考画面。
8.一种可伸缩解码设备，包含：
基本层解码单元，配置成对基本层的图像执行预测；
增强层解码单元，配置成对增强层的图像执行预测；和
增强层预测单元，配置成基于标记信息，来确定可应用还是不可应用层间预测用于解码增强层，该标记信息被信令传输用于要解码的增强层，并且指示层间预测可应用还是不可应用用于解码增强层，如果基于该确定而确定可应用层间预测用于解码增强层，则从参考层的解码后画面生成归纳参考画面，如果基于该确定而确定可应用层间预测用于解码增强层，则构造用于增强层的当前块的参考画面列表，该参考画面列表包括该归纳参考画面，并对增强层的当前块执行帧间预测以生成预测块，生成当前块的残差块，并且通过使用该预测块和该残差块来重构该当前块，
其中所述生成该残差块的步骤包含熵解码比特流以生成量化变换系数，逆量化该量化变换系数以生成变换系数并且逆变换该变换系数，以及
其中如果基于该确定而确定不可应用层间预测用于解码增强层，则跳过生成归纳参考画面的步骤，并且构造的参考画面列表不包括参考层的解码后画面或归纳参考画面。
9.一种存储由可伸缩编码方法生成的比特流的非暂时性计算机可读记录介质，其中所述方法包含：
确定可应用还是不可应用层间预测用于编码增强层；
如果基于该确定而确定可应用层间预测用于编码增强层，则从参考层的解码后画面生成归纳参考画面；
如果基于该确定而确定可应用层间预测用于编码增强层，则构造用于增强层的当前块的参考画面列表，该参考画面列表包括该归纳参考画面；
基于该参考画面列表对增强层的当前块执行帧间预测以生成预测块；
通过使用该预测块生成该当前块的残差块；
编码该残差块；以及
编码标记信息，该标记信息被信令传输用于增强层并且基于该确定指示层间预测可应用还是不可应用用于编码增强层，
其中所述编码该残差块的步骤包含变换该残差块以生成变换系数，量化该变换系数以生成量化变换系数并且熵编码该量化变换系数，以及
其中如果基于该确定而确定不可应用层间预测用于编码增强层，则跳过生成归纳参考画面的步骤，并且构造的参考画面列表不包括参考层的解码后画面或归纳参考画面。
CN201810093965.8A 2011-06-15 2012-06-15 可伸缩解码方法/设备、可伸缩编码方法/设备和介质 Active CN108337522B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2011-0057906 2011-06-15
KR20110057906 2011-06-15
PCT/KR2012/004777 WO2012173439A2 (ko) 2011-06-15 2012-06-15 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치
CN201280039873.2A CN103765899B (zh) 2011-06-15 2012-06-15 用于编码和解码可伸缩视频的方法以及使用其的设备
KR1020120064634A KR20120138712A (ko) 2011-06-15 2012-06-15 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201280039873.2A Division CN103765899B (zh) 2011-06-15 2012-06-15 用于编码和解码可伸缩视频的方法以及使用其的设备

Publications (2)

Publication Number Publication Date
CN108337522A true CN108337522A (zh) 2018-07-27
CN108337522B CN108337522B (zh) 2022-04-19

Family

ID=47833933

Family Applications (6)

Application Number Title Priority Date Filing Date
CN201810094072.5A Active CN108391136B (zh) 2011-06-15 2012-06-15 可伸缩解码方法/设备、可伸缩编码方法/设备和介质
CN201810093965.8A Active CN108337522B (zh) 2011-06-15 2012-06-15 可伸缩解码方法/设备、可伸缩编码方法/设备和介质
CN201810093944.6A Active CN108337521B (zh) 2011-06-15 2012-06-15 存储由可伸缩编码方法生成的比特流的计算机记录介质
CN201810093971.3A Active CN108391137B (zh) 2011-06-15 2012-06-15 可伸缩解码方法/设备、可伸缩编码方法/设备和介质
CN201280039873.2A Active CN103765899B (zh) 2011-06-15 2012-06-15 用于编码和解码可伸缩视频的方法以及使用其的设备
CN201810093972.8A Active CN108391135B (zh) 2011-06-15 2012-06-15 可伸缩解码方法/设备、可伸缩编码方法/设备和介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201810094072.5A Active CN108391136B (zh) 2011-06-15 2012-06-15 可伸缩解码方法/设备、可伸缩编码方法/设备和介质

Family Applications After (4)

Application Number Title Priority Date Filing Date
CN201810093944.6A Active CN108337521B (zh) 2011-06-15 2012-06-15 存储由可伸缩编码方法生成的比特流的计算机记录介质
CN201810093971.3A Active CN108391137B (zh) 2011-06-15 2012-06-15 可伸缩解码方法/设备、可伸缩编码方法/设备和介质
CN201280039873.2A Active CN103765899B (zh) 2011-06-15 2012-06-15 用于编码和解码可伸缩视频的方法以及使用其的设备
CN201810093972.8A Active CN108391135B (zh) 2011-06-15 2012-06-15 可伸缩解码方法/设备、可伸缩编码方法/设备和介质

Country Status (5)

Country Link
US (7) US9686543B2 (zh)
EP (2) EP2723079A4 (zh)
KR (7) KR20120138712A (zh)
CN (6) CN108391136B (zh)
WO (1) WO2012173439A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111491168A (zh) * 2019-01-29 2020-08-04 华为软件技术有限公司 视频编解码方法、解码器、编码器和相关设备

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277522B (zh) * 2010-12-08 2020-05-19 Lg 电子株式会社 内预测方法及使用该方法的编码装置和解码装置
US20130107962A1 (en) 2011-10-26 2013-05-02 Intellectual Discovery Co., Ltd. Scalable video coding method and apparatus using inter prediction mode
EP2830312A4 (en) * 2012-03-20 2015-12-02 Samsung Electronics Co Ltd METHOD AND APPARATUS FOR SCREENABLE VIDEO CODING BASED ON ARBORESCENT STRUCTURE CODING UNIT, AND METHOD AND DEVICE FOR DECODING SCREENABLE VIDEO BASED ON ARBORESCENT STRUCTURE CODING UNIT
US9380307B2 (en) * 2012-11-19 2016-06-28 Qualcomm Incorporated Method and system for intra base layer (BL) transform in video coding
US10116931B2 (en) * 2013-01-03 2018-10-30 Texas Instruments Incorporated Hierarchical inter-layer prediction in multi-loop scalable video coding
US20140192880A1 (en) * 2013-01-04 2014-07-10 Zhipin Deng Inter layer motion data inheritance
CN103916673B (zh) * 2013-01-06 2017-12-22 华为技术有限公司 基于双向预测的编码方法、解码方法和装置
US10368089B2 (en) 2013-01-23 2019-07-30 Samsung Electronics Co., Ltd. Video encoding method and apparatus, and video decoding method and apparatus
EP2804374A1 (en) 2013-02-22 2014-11-19 Thomson Licensing Coding and decoding methods of a picture block, corresponding devices and data stream
EP2804375A1 (en) * 2013-02-22 2014-11-19 Thomson Licensing Coding and decoding methods of a picture block, corresponding devices and data stream
EP2961167A4 (en) * 2013-02-25 2016-08-10 Samsung Electronics Co Ltd DEVICE AND METHOD FOR EVOLVING VIDEO ENCODING USING MEMORY BANDWIDTH AND QUANTITY OF CALCULATION, AND DEVICE AND METHOD FOR EVOLVING VIDEO DECODING
WO2014129873A1 (ko) * 2013-02-25 2014-08-28 엘지전자 주식회사 스케일러빌러티를 지원하는 멀티 레이어 구조의 비디오 인코딩 방법 및 비디오 디코딩 방법과 이를 이용하는 장치
US10616607B2 (en) 2013-02-25 2020-04-07 Lg Electronics Inc. Method for encoding video of multi-layer structure supporting scalability and method for decoding same and apparatus therefor
WO2014163418A1 (ko) * 2013-04-04 2014-10-09 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
KR102418524B1 (ko) * 2013-04-04 2022-07-07 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
KR20140121315A (ko) * 2013-04-04 2014-10-15 한국전자통신연구원 참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치
US20160021382A1 (en) * 2013-04-05 2016-01-21 Electronics And Telecommunications Research Institute Method for encoding and decoding video using intra-prediction combined between layers
EP2978221A4 (en) 2013-04-05 2016-11-16 Samsung Electronics Co Ltd METHOD AND DEVICE FOR MULTI-LAYER VIDEO DECODING AND MULTI-LAYER VIDEO ENCODING METHOD AND DEVICE
WO2014171768A1 (ko) * 2013-04-17 2014-10-23 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 장치
KR20160005027A (ko) * 2013-04-17 2016-01-13 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 장치
US20160088305A1 (en) * 2013-04-17 2016-03-24 Wilus Institute Of Standards And Technology Inc. Method and apparatus for processing video signal
US9756335B2 (en) * 2013-07-02 2017-09-05 Qualcomm Incorporated Optimizations on inter-layer prediction signalling for multi-layer video coding
KR102222311B1 (ko) * 2013-07-09 2021-03-04 한국전자통신연구원 영상의 복호화 방법 및 이를 이용하는 장치
US9510001B2 (en) 2013-07-09 2016-11-29 Electronics And Telecommunications Research Institute Video decoding method and apparatus using the same
BR112015004956A2 (pt) * 2013-07-12 2018-04-17 Sony Corp aparelhos de codificação e de decodificação de imagem, e, métodos de codificação e de decodificação de imagem.
JP6261215B2 (ja) * 2013-07-12 2018-01-17 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
CN105379276A (zh) 2013-07-15 2016-03-02 株式会社Kt 可伸缩视频信号编码/解码方法和装置
CN105379275A (zh) * 2013-07-15 2016-03-02 株式会社Kt 用于对可伸缩视频信号进行编码/解码的方法和装置
CN105379277B (zh) * 2013-07-15 2019-12-17 株式会社Kt 用于编码/解码可伸缩视频信号的方法和装置
KR20150009468A (ko) * 2013-07-15 2015-01-26 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
US9894357B2 (en) 2013-07-30 2018-02-13 Kt Corporation Image encoding and decoding method supporting plurality of layers and apparatus using same
CN105453562B (zh) 2013-07-30 2018-12-25 株式会社Kt 支持多个层的图像编码和解码方法以及使用该方法的装置
WO2015016578A1 (ko) * 2013-07-30 2015-02-05 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
WO2015016535A1 (ko) * 2013-07-30 2015-02-05 주식회사 케이티 복수의 레이어를 지원하는 영상의 부호화 및 복호화 방법 및 이를 이용하는 장치
WO2015016534A1 (ko) * 2013-07-30 2015-02-05 주식회사 케이티 복수의 레이어를 지원하는 영상의 부호화 및 복호화 방법 및 이를 이용하는 장치
US9818422B2 (en) * 2013-08-30 2017-11-14 The Regents Of The University Of California Method and apparatus for layered compression of multimedia signals for storage and transmission over heterogeneous networks
WO2015034216A1 (ko) * 2013-09-03 2015-03-12 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150026927A (ko) * 2013-09-03 2015-03-11 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
CN105519114A (zh) 2013-09-10 2016-04-20 株式会社Kt 用于对可扩展视频信号进行编码/解码的方法及装置
KR20150033576A (ko) * 2013-09-24 2015-04-01 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
CN105659598A (zh) * 2013-10-22 2016-06-08 株式会社Kt 用于对多层视频信号进行编码/解码的方法和装置
WO2015060641A1 (ko) * 2013-10-22 2015-04-30 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
WO2015060642A1 (ko) * 2013-10-22 2015-04-30 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
MX364032B (es) * 2013-10-22 2019-04-11 Kt Corp Metodo y dispositivo para codificar/descodificar una señal de video de multicapa.
MX360338B (es) 2013-10-29 2018-10-30 Kt Corp Metodo y dispositivo de codificacion/decodificacion de señal de video de multiples capas.
WO2015083986A1 (ko) * 2013-12-03 2015-06-11 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
US10432928B2 (en) 2014-03-21 2019-10-01 Qualcomm Incorporated Using a current picture as a reference for video coding
CN104469369B (zh) * 2014-11-17 2017-10-31 何震宇 一种利用解码端信息提高svc性能的方法
WO2016108188A1 (en) * 2014-12-31 2016-07-07 Nokia Technologies Oy Inter-layer prediction for scalable video coding and decoding
US20160227235A1 (en) * 2015-02-02 2016-08-04 Yaniv Frishman Wireless bandwidth reduction in an encoder
KR102287703B1 (ko) * 2016-02-16 2021-08-10 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 효율적인 적응적 스트리밍
CN109937571B (zh) * 2016-09-05 2022-01-18 Lg电子株式会社 图像编码/解码方法及其装置
EP3301925A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Method for local inter-layer prediction intra based
WO2018070632A1 (ko) * 2016-10-11 2018-04-19 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
KR20190112723A (ko) * 2017-02-03 2019-10-07 소니 주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
KR102393736B1 (ko) 2017-04-04 2022-05-04 한국전자통신연구원 영상 부호화 및 복호화 장치
GB2569547B (en) 2017-12-19 2021-05-12 Samsung Electronics Co Ltd Reconstruction of original images from modified images
EP3989587A1 (en) 2020-10-21 2022-04-27 Axis AB Image processing device and method of pre-processing images of a video stream before encoding
US11595665B2 (en) 2021-02-11 2023-02-28 Qualcomm Incorporated Upsampling reference pixels for intra-prediction in video coding
WO2023092256A1 (zh) * 2021-11-23 2023-06-01 华为技术有限公司 一种视频编码方法及其相关装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100098156A1 (en) * 2008-10-16 2010-04-22 Qualcomm Incorporated Weighted prediction based on vectorized entropy coding
CN101873484A (zh) * 2009-08-13 2010-10-27 杭州海康威视软件有限公司 分层视频编码中编码模式选择方法及装置
CN101888555A (zh) * 2006-11-17 2010-11-17 Lg电子株式会社 用于解码/编码视频信号的方法及装置

Family Cites Families (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6647061B1 (en) * 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
KR20070007295A (ko) * 2004-03-01 2007-01-15 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 인코딩 방법 및 장치
EP1800494A1 (en) * 2004-10-13 2007-06-27 Thomson Licensing Method and apparatus for complexity scalable video encoding and decoding
DE102004059993B4 (de) * 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium
US20060153294A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Inter-layer coefficient coding for scalable video coding
KR100885443B1 (ko) * 2005-04-06 2009-02-24 엘지전자 주식회사 레이어간 예측방식를 사용해 엔코딩된 영상신호를디코딩하는 방법
KR100703774B1 (ko) * 2005-04-13 2007-04-06 삼성전자주식회사 인트라 코딩을 선택적으로 적용하여 인트라 ｂｌ 예측모드의 비디오 신호를 인코딩 및 디코딩하는 방법 및 장치
JP4528694B2 (ja) * 2005-08-12 2010-08-18 株式会社東芝 動画像符号化装置
US8879857B2 (en) * 2005-09-27 2014-11-04 Qualcomm Incorporated Redundant data encoding methods and device
JP4534935B2 (ja) * 2005-10-04 2010-09-01 株式会社日立製作所 トランスコーダ、記録装置及びトランスコード方法
CN101317459A (zh) * 2005-10-11 2008-12-03 诺基亚公司 用于可伸缩视频编码的有效解码图像缓存管理
KR100763194B1 (ko) * 2005-10-14 2007-10-04 삼성전자주식회사 단일 루프 디코딩 조건을 만족하는 인트라 베이스 예측방법, 상기 방법을 이용한 비디오 코딩 방법 및 장치
EP1946563A2 (en) * 2005-10-19 2008-07-23 Thomson Licensing Multi-view video coding using scalable video coding
KR100750145B1 (ko) * 2005-12-12 2007-08-21 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
US7956930B2 (en) * 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
JP5227187B2 (ja) * 2006-01-09 2013-07-03 トムソン ライセンシング マルチビュービデオ符号化のための低解像度アップデートモードを提供する方法及び装置
US8494042B2 (en) 2006-01-09 2013-07-23 Lg Electronics Inc. Inter-layer prediction method for video signal
EP1989883A1 (en) * 2006-01-09 2008-11-12 Nokia Corporation System and apparatus for low-complexity fine granularity scalable video coding with motion compensation
US8315308B2 (en) * 2006-01-11 2012-11-20 Qualcomm Incorporated Video coding with fine granularity spatial scalability
US8619865B2 (en) * 2006-02-16 2013-12-31 Vidyo, Inc. System and method for thinning of scalable video coding bit-streams
KR20070096884A (ko) 2006-03-24 2007-10-02 한국전자통신연구원 Ｆｇｓ 레이어의 움직임 데이터를 이용하여 레이어 간중복을 제거하는 코딩 방법 및 그 장치
US8320450B2 (en) * 2006-03-29 2012-11-27 Vidyo, Inc. System and method for transcoding between scalable and non-scalable video codecs
KR100781524B1 (ko) * 2006-04-04 2007-12-03 삼성전자주식회사 확장 매크로블록 스킵 모드를 이용한 인코딩/디코딩 방법및 장치
JP5011378B2 (ja) * 2006-05-05 2012-08-29 トムソン ライセンシング スケーラブルビデオ符号化向け簡略化されたレイヤ間動き予測
US8369417B2 (en) * 2006-05-19 2013-02-05 The Hong Kong University Of Science And Technology Optimal denoising for video coding
US8422555B2 (en) * 2006-07-11 2013-04-16 Nokia Corporation Scalable video coding
US8275045B2 (en) * 2006-07-12 2012-09-25 Qualcomm Incorporated Video compression using adaptive variable length codes
US8320460B2 (en) * 2006-09-18 2012-11-27 Freescale, Semiconductor, Inc. Dyadic spatial re-sampling filters for inter-layer texture predictions in scalable image processing
US9014280B2 (en) * 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
EP2011341A4 (en) * 2006-11-09 2010-01-13 Lg Electronics Inc METHOD AND DEVICE FOR DECODING / CODING A VIDEO SIGNAL
KR20090004660A (ko) * 2007-07-02 2009-01-12 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
KR20090004658A (ko) * 2007-07-02 2009-01-12 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
KR20090004661A (ko) * 2007-07-04 2009-01-12 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
CN101163241B (zh) * 2007-09-06 2010-09-29 武汉大学 一种视频序列编解码系统
US8938009B2 (en) * 2007-10-12 2015-01-20 Qualcomm Incorporated Layered encoded bitstream structure
US8848787B2 (en) * 2007-10-15 2014-09-30 Qualcomm Incorporated Enhancement layer coding for scalable video coding
WO2009054920A2 (en) * 2007-10-19 2009-04-30 Thomson Licensing Combined spatial and bit-depth scalability
CN101198064A (zh) * 2007-12-10 2008-06-11 武汉大学 一种分辨率分层技术中的运动矢量预测方法
CA2650151C (en) * 2008-01-17 2013-04-02 Lg Electronics Inc. An iptv receiving system and data processing method
KR101460608B1 (ko) * 2008-03-04 2014-11-14 삼성전자주식회사 필터링된 예측 블록을 이용한 영상 부호화, 복호화 방법 및장치
US7930515B2 (en) 2008-07-29 2011-04-19 International Business Machines Corporation Virtual memory management
US8213503B2 (en) * 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
US8660176B2 (en) * 2008-09-26 2014-02-25 Qualcomm Incorporated Resolving geometric relationships among video data units
US8724697B2 (en) * 2008-09-26 2014-05-13 Qualcomm Incorporated Locating motion vectors for video data units
US8634457B2 (en) * 2008-09-26 2014-01-21 Qualcomm Incorporated Determining availability of video data units
US8483285B2 (en) * 2008-10-03 2013-07-09 Qualcomm Incorporated Video coding using transforms bigger than 4×4 and 8×8
US9078007B2 (en) * 2008-10-03 2015-07-07 Qualcomm Incorporated Digital video coding with interpolation filters and offsets
US8265152B2 (en) * 2008-10-10 2012-09-11 Arecont Vision, Llc. System and method for low-latency processing of intra-frame video pixel block prediction
KR101590500B1 (ko) * 2008-10-23 2016-02-01 에스케이텔레콤 주식회사 동영상 부호화/복호화 장치, 이를 위한 인트라 예측 방향에기반한 디블록킹 필터링 장치 및 필터링 방법, 및 기록 매체
CN104717521B (zh) * 2009-01-26 2018-06-01 汤姆森特许公司 用于视频解码的方法
KR101557504B1 (ko) * 2009-04-13 2015-10-07 삼성전자주식회사 채널 적응형 비디오 전송 방법, 이를 이용한 장치 및 이를 제공하는 시스템
KR20120081022A (ko) * 2009-05-01 2012-07-18 톰슨 라이센싱 3ｄ 비디오 코딩 포맷
US9069713B2 (en) * 2009-06-05 2015-06-30 Qualcomm Incorporated 4X4 transform for media coding
KR101066117B1 (ko) 2009-11-12 2011-09-20 전자부품연구원 스케일러블 영상 코딩 방법 및 장치
KR20110065089A (ko) * 2009-12-09 2011-06-15 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US8410959B2 (en) * 2010-04-09 2013-04-02 Qualcomm, Incorporated Variable length codes for coding of video data
US20110280311A1 (en) * 2010-05-13 2011-11-17 Qualcomm Incorporated One-stream coding for asymmetric stereo video
KR20120000485A (ko) * 2010-06-25 2012-01-02 삼성전자주식회사 예측 모드를 이용한 깊이 영상 부호화 장치 및 방법
GB2483294B (en) * 2010-09-03 2013-01-02 Canon Kk Method and device for motion estimation of video data coded according to a scalable coding structure
US8923395B2 (en) * 2010-10-01 2014-12-30 Qualcomm Incorporated Video coding using intra-prediction
US9008175B2 (en) * 2010-10-01 2015-04-14 Qualcomm Incorporated Intra smoothing filter for video coding
US20130194386A1 (en) * 2010-10-12 2013-08-01 Dolby Laboratories Licensing Corporation Joint Layer Optimization for a Frame-Compatible Video Delivery
US9008181B2 (en) * 2011-01-24 2015-04-14 Qualcomm Incorporated Single reference picture list utilization for interprediction video coding
US9930366B2 (en) * 2011-01-28 2018-03-27 Qualcomm Incorporated Pixel level adaptive intra-smoothing
US20120236115A1 (en) * 2011-03-14 2012-09-20 Qualcomm Incorporated Post-filtering in full resolution frame-compatible stereoscopic video coding
US9641866B2 (en) * 2011-08-18 2017-05-02 Qualcomm Incorporated Applying partition-based filters
US10070152B2 (en) * 2011-08-24 2018-09-04 Texas Instruments Incorporated Sample adaptive offset (SAO) parameter signaling
AU2011236109B2 (en) * 2011-10-18 2015-02-19 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the significance map for residual coefficients of a transform unit
US20130188717A1 (en) * 2012-01-20 2013-07-25 Qualcomm Incorporated Motion prediction in svc using partition mode without split flag
US20130272372A1 (en) * 2012-04-16 2013-10-17 Nokia Corporation Method and apparatus for video coding
US10205961B2 (en) * 2012-04-23 2019-02-12 Qualcomm Incorporated View dependency in multi-view coding and 3D coding
US9344718B2 (en) * 2012-08-08 2016-05-17 Qualcomm Incorporated Adaptive up-sampling filter for scalable video coding
US10448032B2 (en) * 2012-09-04 2019-10-15 Qualcomm Incorporated Signaling of down-sampling location information in scalable video coding
US9906786B2 (en) * 2012-09-07 2018-02-27 Qualcomm Incorporated Weighted prediction mode for scalable video coding
US10334259B2 (en) * 2012-12-07 2019-06-25 Qualcomm Incorporated Advanced residual prediction in scalable and multi-view video coding
US10021414B2 (en) * 2013-01-04 2018-07-10 Qualcomm Incorporated Bitstream constraints and motion vector restriction for inter-view or inter-layer reference pictures
US9578339B2 (en) * 2013-03-05 2017-02-21 Qualcomm Incorporated Parallel processing for video coding
US20140301463A1 (en) * 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for video coding and decoding
US9674530B1 (en) * 2013-04-30 2017-06-06 Google Inc. Hybrid transforms in video coding
GB2516424A (en) * 2013-07-15 2015-01-28 Nokia Corp A method, an apparatus and a computer program product for video coding and decoding
EP3024240A4 (en) * 2013-07-18 2017-03-22 Samsung Electronics Co., Ltd. Intra scene prediction method of depth image for interlayer video decoding and encoding apparatus and method
US10455242B2 (en) * 2015-03-04 2019-10-22 Qualcomm Incorporated Signaling output indications in codec-hybrid multi-layer video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101888555A (zh) * 2006-11-17 2010-11-17 Lg电子株式会社 用于解码/编码视频信号的方法及装置
US20100098156A1 (en) * 2008-10-16 2010-04-22 Qualcomm Incorporated Weighted prediction based on vectorized entropy coding
CN101873484A (zh) * 2009-08-13 2010-10-27 杭州海康威视软件有限公司 分层视频编码中编码模式选择方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111491168A (zh) * 2019-01-29 2020-08-04 华为软件技术有限公司 视频编解码方法、解码器、编码器和相关设备

Also Published As

Publication number Publication date
US20140119440A1 (en) 2014-05-01
KR20210063290A (ko) 2021-06-01
CN108391136B (zh) 2022-07-19
US9686543B2 (en) 2017-06-20
KR20130000334A (ko) 2013-01-02
US20200413077A1 (en) 2020-12-31
KR20210061991A (ko) 2021-05-28
KR20120138712A (ko) 2012-12-26
US11838524B2 (en) 2023-12-05
CN108337521B (zh) 2022-07-19
WO2012173439A2 (ko) 2012-12-20
KR20200069272A (ko) 2020-06-16
CN108391137B (zh) 2022-07-19
CN108337522B (zh) 2022-04-19
CN103765899A (zh) 2014-04-30
US20140119441A1 (en) 2014-05-01
EP3958569A1 (en) 2022-02-23
EP2723079A4 (en) 2015-03-04
US20190058891A1 (en) 2019-02-21
CN108391135A (zh) 2018-08-10
WO2012173439A3 (ko) 2013-04-04
US20240056587A1 (en) 2024-02-15
CN108391135B (zh) 2022-07-19
CN108391137A (zh) 2018-08-10
CN103765899B (zh) 2018-03-06
US11412240B2 (en) 2022-08-09
KR20220113326A (ko) 2022-08-12
EP2723079A2 (en) 2014-04-23
KR20200068623A (ko) 2020-06-15
US20170238004A1 (en) 2017-08-17
US20220329834A1 (en) 2022-10-13
US10819991B2 (en) 2020-10-27
CN108391136A (zh) 2018-08-10
US9686544B2 (en) 2017-06-20
US10142648B2 (en) 2018-11-27
CN108337521A (zh) 2018-07-27

Similar Documents

Publication Publication Date Title
CN103765899B (zh) 用于编码和解码可伸缩视频的方法以及使用其的设备
CN104969553B (zh) 用于编码/解码图像的方法以及使用其的设备
CN104813667B (zh) 用于可伸缩视频编码的帧间层预测方法及装置
CN104871540B (zh) 编码视频的方法、解码视频的方法以及使用其的装置
KR20130037193A (ko) 스케일러블 비디오 부호화 및 복호화 방법과 이를 이용한 장치
WO2013147557A1 (ko) 인터 레이어 예측 방법 및 이를 이용하는 인코딩 장치와 디코딩 장치
KR20130107861A (ko) 인터 레이어 인트라 예측 방법 및 장치
KR20130037194A (ko) 비디오 부호화/복호화 방법 및 그 장치
WO2012173440A2 (ko) 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치
WO2013051899A2 (ko) 스케일러블 비디오 부호화 및 복호화 방법과 이를 이용한 장치
WO2014129873A1 (ko) 스케일러빌러티를 지원하는 멀티 레이어 구조의 비디오 인코딩 방법 및 비디오 디코딩 방법과 이를 이용하는 장치
WO2013051896A1 (ko) 비디오 부호화/복호화 방법 및 그 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant