CN104782129A - 用于多层视频的层间预测方法及其设备 - Google Patents

用于多层视频的层间预测方法及其设备 Download PDF

Info

Publication number
CN104782129A
CN104782129A CN201280077135.7A CN201280077135A CN104782129A CN 104782129 A CN104782129 A CN 104782129A CN 201280077135 A CN201280077135 A CN 201280077135A CN 104782129 A CN104782129 A CN 104782129A
Authority
CN
China
Prior art keywords
layer
picture
inter
enhancement layer
reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280077135.7A
Other languages
English (en)
Inventor
金暻蕙
赵炫镐
南廷学
沈东圭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neo Lab Convergence Inc.
Original Assignee
Industry Academic Collaboration Foundation of Kwangwoon University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industry Academic Collaboration Foundation of Kwangwoon University filed Critical Industry Academic Collaboration Foundation of Kwangwoon University
Priority to CN201810383776.4A priority Critical patent/CN108540809A/zh
Publication of CN104782129A publication Critical patent/CN104782129A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了一种与用于多层视频的层间预测方法及其设备有关的技术。用于多层视频的层间预测方法包含以下步骤：通过参考层的预测编码产生参考层中的恢复画面；针对与增强层中的当前画面对应的时间，确定在参考层中是否存在恢复画面，用于增强层中的当前画面的编码或解码；以及通过参考增强层中的画面或参考层中的恢复画面来执行层间预测。相应地，根据增强层的编码或解码，在没有来自参考层中的相同视图的恢复画面的情况下，可以通过自适应地使用增强层中的画面或参考层中的画面来执行有效的层间预测。

Description

用于多层视频的层间预测方法及其设备
技术领域
本发明一般涉及视频的编码/解码，并且更具体地涉及用于多层视频的层间预测的方法和装置。
背景技术
近来，随着无线网络和因特网的非常快速的发展，各种多媒体服务活跃起来。具体地，随着广播通信融合网络的出现，与只开发了压缩编码技术的过去不同，已经执行了提供视频编码的可伸缩性的标准化任务，以确保在创建、传送和消耗多媒体的各种环境条件下的服务质量(QoS)。
可伸缩视频编码(SVC)技术被配置为根据各种终端和网络环境，从单个压缩的比特流自适应地重构具有不同分辨率(空间)、质量和帧速率(时间)的图像。SVC是被分配层次以便以H.264/高级视频编码(AVC)的高压缩率自适应地处置各种类型的多媒体设备的视频编解码器，联合视频组(JVT)已经执行SVC的标准化作为H.264/MPEG-4PART 10的修正。
另外，高效视频编码(HEVC)已经被标准化为被视为具有超过传统的H.264/AVC的压缩效率的两倍的压缩效率的下一代视频压缩标准技术。
HEVC定义具有四叉树结构的编码单元(CU)、预测单元(PU)以及变换单元(TU)，并且使用诸如样品自适应偏移(SAO)或去块滤波器这样的环内滤波器。另外，改进现存的帧内预测和帧间预测，从而增强压缩编码效率。
同时，作为最近标准化的HEVC的扩展版本，SVC也被标准化。
传统的SVC技术的问题在于，在层间预测中，当具有与参考层的时间和空间分辨率不同的时间和空间分辨率的增强层被编码时，存在参考层中的画面无法向其参考的增强层中的画面，因为在与要被编码的增强层中的画面的时间位置相同的时间位置处不存在参考层中的重构画面。
发明内容
解决上述问题的本发明的目的是提供一种在对多层视频进行编码或解码时通过自适应地确定参考画面来执行层间预测的方法。
解决上述问题的本发明的另一目的是提供一种在对多层视频进行编码或解码时通过自适应地确定参考画面来执行层间预测的装置。
根据完成以上目的的本发明的一方面，提供一种用于多层视频的层间预测方法，其包括：经由参考层的预测编码产生参考层中的重构画面；确定在与增强层中的当前画面对应的时间处是否存在参考层中的重构画面，以便对增强层中的当前画面进行编码或解码；以及参考增强层中的画面或参考层中的重构画面来执行层间预测。
执行层间预测可以包括当在与增强层中的当前画面对应的时间处不存在参考层中的重构画面时，参考增强层中的当前画面的先前或随后的画面来执行层间预测。
执行层间预测可以包括当在与增强层中的当前画面对应的时间处不存在参考层中的重构画面时，参考与增强层中的当前画面对应的时间处的参考层中的重构画面的先前或随后的画面来执行层间预测。
执行层间预测可以包括当在与增强层中的当前画面对应的时间处不存在参考层中的重构画面时，参考增强层中的当前画面的先前或随后的画面以及与增强层中的当前画面对应的时间处的参考层中的重构画面的先前或随后的画面来执行层间预测。
执行层间预测可以包括当在与增强层中的当前画面对应的时间处存在参考层中的重构画面时，参考与增强层中的当前画面对应的时间处的参考层中的重构画面来执行层间预测。
根据实现以上目的的本发明的另一方面，提供一种用于多层视频的层间预测装置，其包括：帧缓冲器，用于存储经由参考层的预测编码产生的在参考层中的重构画面；以及预测单元，用于参考增强层中的画面或参考层中的重构画面来执行层间预测，以便对增强层中的当前画面进行编码或解码。
所述层间预测装置还可以包括：插入单元，用于根据增强层的分辨率将重构画面插入在参考层中。
当使用根据本发明的实施例的用于多层视频的层间预测方法和装置时，即使当在与增强层的时间位置相同的时间位置处不存在参考层中的重构画面时，也自适应地使用增强层中的画面或参考层中的画面，从而执行有效的层间预测。
另外，通过自适应地使用增强层中的画面或参考层中的画面的层间预测，可以增强编码和解码效率。
附图说明
图1是示出根据本发明的实施例的执行用于多层视频的层间预测的编码装置的框图；
图2是示出根据本发明的实施例的用于多层视频的层间预测方法的概念图；
图3是示出根据本发明的实施例的基于用于多层视频的层间预测方法的参考画面列表的示图；
图4是示出根据本发明的另一实施例的用于多层视频的层间预测方法的概念图；
图5是示出根据本发明的另一实施例的基于用于多层视频的层间预测方法的参考画面列表的示图；
图6是示出根据本发明的又一实施例的用于多层视频的层间预测方法的概念图；
图7是示出根据本发明的又一实施例的基于用于多层视频的层间预测方法的参考画面列表的示图；
图8是示出根据本发明的实施例的用于多层视频的层间预测方法的流程图；
图9是图示根据本发明的实施例的在用于多层视频的层间预测中使用的语法元素的示图；以及
图10是示出根据本发明的实施例的用于执行用于多层视频的层间预测的解码装置的框图。
具体实施方式
本发明可以进行各种改变并且可以具有各种实施例，下面将参考附图详细地描述具体的实施例。然而，应当更理解的是，那些实施例不旨在将本发明限制于具体的公开形式，它们包含被包括在本发明的精神和范围内的所有变化、等效物或替代。在下面描述的附图中，相同的标号用于指示相同或相似的元件。
诸如“第一”、“第二”、“A”和“B”这样的术语可以用于搭配各种组件，但是那些组件不应当被术语所限制。术语仅用于区分一个组件与其他组件。例如，第一组件可以被指定为第二组件，并且第二组件可以以类似的方式被指定为第一组件，而不脱离基于本发明的范围的范围。术语“和/或”包括多个相关的所描述的项的组合或者多个相关的所描述的项中的任何一个。
在整个说明书中，应当更理解的是指示第一组件“连接”或“耦合”到第二组件的表述可以包括第一组件连接或耦合到第二组件、两者之间插入一些其他组件的情况以及第二组件直接连接或耦合到第二组件的情况。相反地，应当理解的是，指示第一组件“直接连接”或“直接耦合”到第二组件的表述意味着在第一和第二组件之间没有插入组件。
在本说明书中使用的术语仅用于描述具体的实施例，而不旨在限制本发明。单数表述包括复数表述，除非在上下文中特殊地指示相反的描述。在本说明书中，应当理解的是，诸如“包括”或“具有”这样的术语仅用于指示存在特征、数量、步骤、操作、组件、部分或其组合，而不用于排除将存在或添加一个或多个其他特征、数量、步骤、操作、组件、部分或其组合的可能性。
除非被不同地限定，在本文所使用的、包括技术或科学术语的所有术语具有与被本发明所属的领域的技术人员通常所理解的术语相同的含义。与在普遍使用的词典中定义的那些术语相同的术语应当被解释为具有与相关领域的上下文含义相同的含义，而不被解释为理想的或过分正式的含义，除非在本说明书中明确地定义。
以下，将在稍后描述的视频编码装置和视频解码装置可以是任何一种用户终端，诸如个人计算机(PC)、笔记本计算机、个人数字助理(PDA)、便携式多媒体播放器(PMP)、便携式游戏站(PlayStation Portable，PSP)、无线通信终端、智能电话或各种类似类型的设备、诸如电视应用服务器或服务服务器这样的服务器终端，或者各种类型的设备中的任何一种(包括通信设备，例如用于通过有线/无线通信网络执行通信的通信调制解调器、用于存储编码或解码图像或者执行图像间或图像内预测以便进行编码或解码的各种类型的程序和数据的存储器、用于执行程序以及执行操作和控制的微处理器)，等等。
另外，通过视频编码装置在比特流中编码的图像通过诸如因特网、短距离无线通信网络、无线局域网(WLAN)、Wibro网络或移动通信网络这样的有线/无线通信网络或者通过诸如线缆或统一串行总线(USB)这样的各种通信接口被实时地或非实时地传送给视频解码装置，使得编码图像可以被视频解码装置解码，并且可以被重构并且播放为原始图像。
典型地，视频由一系列的画面组成，每个画面可以被划分为诸如帧或块这样的预定的区。当画面的区域被划分为块时，所划分的块可以根据编码方法被主要地分类成帧内块(intra block)或帧间块(inter block)。帧内块是指使用帧内预测(intra prediction)编码来编码的块。这里，帧内预测编码是如下方案：指通过使用在当前被编码的当前画面中的先前已经被编码和解码然后被重构的块中的像素预测当前块中的像素来产生预测块，且在其中对预测块中的像素值和当前块中的像素值之间的差异进行编码。另外，帧间块是指使用帧间预测(inter prediction)编码而编码的块。这里，帧间预测编码是指如下方案：通过参考一个或多个先前或随后的画面预测当前画面中的当前块来产生预测块，且在其中对预测块和当前块中的像素值之间的差异进行编码。在该情况下，在对当前画面进行编码或解码时所参考的帧被称为参考帧。另外，本发明所属的领域的技术人员将意识到，在下面所描述的术语“画面”可以被替换为另外的术语并且与另外的术语一起使用，诸如图像或帧，其具有与画面相同的含义。而且，本实施例所属的领域的技术人员将意识到，在本发明中所指的画面表示重构画面。
以下，将参考附图详细地描述本发明的优选实施例。
图1是示出根据本发明的实施例的用于执行用于多层视频的层间预测的编码装置的框图。
参考图1，根据本发明的实施例的用于执行用于多层视频的层间预测的装置可以包括用于参考层的编码装置100和用于增强层的编码装置200。另外，层间预测装置可以包括多路复用器320和插入单元310。
每个编码装置100或200包括减法单元110或210、变换单元120或220、量化单元130或230、逆量化单元131或231、逆变换单元121或221、熵编码单元140或240、加法单元150或250、环内滤波器单元160或260、帧存储器170或270、帧内预测单元180或280以及运动补偿单元190或290。
减法单元110或210从作为所提供的输入图像的编码目标图像(当前图像)中减去经由帧内预测或帧间预测产生的预测图像，然后产生当前图像和预测图像之间的残差图像。
变换单元120或220用于将减法单元110或210所产生的残差图像从空间域变换到频域中。这里，变换单元120或220可以使用诸如Hadamard变换、离散余弦变换或离散正弦变换这样的技术将残差图像变换到频域中，以便将空间轴上的图像信号变换到频率轴上。
量化单元130或230对变换单元120或220所提供的变换的数据(频率系数)进行量化。即，量化单元130或230通过将频率系数除以量化步长来近似作为由变换单元120或220所变换的数据片段的频率系数，从而计算量化结果值。
熵编码单元140或240通过对量化单元130或230所计算的量化结果值进行熵编码来产生比特流。另外，熵编码单元140或240可以使用上下文自适应可变长度编码(CAVLC)或上下文自适应二进制算术编码(CABAC)技术对量化单元130或230所计算的量化结果值进行熵编码，并且除了量化结果值之外，还可以对解码图像所需的信息进行熵编码。
逆量化单元131或231对量化单元130或230所计算的量化结果值逆量化。即，逆量化单元131或231根据量化结果值重构频域中的值(频率系数)。
逆变换单元121或221通过将逆量化单元131或231所提供的频域值(频率系数)从频域变换到空间域来重构残差图像。加法单元150或250通过将逆变换单元121或221所重构的残差图像添加到经由帧内预测或帧间预测产生的预测图像来产生输入图像的重构图像，然后将重构图像存储在帧存储器170或270中。
帧存储器170可以存储经由参考层的预测编码产生的参考层中的重构画面。另外，帧存储器270可以存储经由增强层的预测编码产生的增强层中的重构画面，并且可以存储参考层中的重构画面或参考层中的重构画面的插入画面。
预测单元可以包括帧内预测单元180或280以及运动补偿单元190或290，然后执行帧内预测或帧间预测。
帧内预测单元180或280执行帧预测，运动补偿单元190或290对帧间预测的运动向量进行补偿。
根据本发明的实施例的预测单元可以参考增强层中的画面或参考层中的重构画面进行层间预测以对增强层中的当前画面进行编码。这里，层间预测可以指在对增强层进行编码或解码时，参考参考层中的重构画面进行帧内预测或帧间预测。
首先，当在与增强层中的当前画面对应的时间位置处存在参考层中的重构画面时，预测单元可以参考在与增强层中的当前画面对应的时间(时间位置)处的参考层中的重构画面进行层间预测。
具体地，当不存在与增强层中的当前画面对应的时间处的参考层中的重构画面时，预测单元可以参考增强层中的当前画面的先前或随后的画面进行层间预测。
另外，当不存在与增强层中的当前画面对应的时间处的参考层中的重构画面时，预测单元可以参考与增强层中的当前画面对应的时间处的参考层中的重构画面的先前或随后的画面进行层间预测。
另外，当不存在与增强层中的当前画面对应的时间处的参考层中的重构画面时，预测单元可以参考增强层中的当前画面的先前或随后的画面以及与增强层中的当前画面对应的时间处的参考层中的重构画面的先前或随后的画面进行层间预测。
对重构图像进行滤波的环内滤波器单元160或260可以包括去块滤波器(DF)、样品自适应偏移(SAO)滤波器以及自适应循环滤波器(ALF)。
插入单元310将重构画面插入在参考层中。即，插入单元310可以根据增强层的空间分辨率将重构画面插入在参考层中。
多路复用器320接收来自参考层和增强层的编码的比特流，并且输出编码的比特流。
图2是示出根据本发明的实施例的用于多层视频的层间预测方法的概念图。
参考图2，增强层中的画面可以用IE020、IE121、IE222、IE323、IE424等表示。另外，增强层中的画面可以用IB025、IB226、IB427等表示。
在对应于增强层中的画面(即，IE020、IE222和IE424)的时间处存在参考层中的重构画面，即B025、IB226和IB427。然而，参考层中的重构画面可以不存在于对应于增强层中的画面(即IE121和IE323)的时间处。
即，当在对应于参考层的当前画面的时间处存在参考层中的重构画面时，可以参考参考层中的对应的重构画面对增强层中的当前画面进行编码或解码。这里，当前画面可以指要被编码或解码的目标画面。
例如，当增强层中的当前画面是IE021、IE222或IE424时，可以分别参考参考层中的重构画面(即IB025、IB226或IB427)对当前画面IE021、IE222或IE424进行编码或解码。
然而，当不存在与增强层中的当前画面对应的时间处的参考层中的重构画面时，可以参考增强层中的当前画面的先前或随后的画面对增强层中的当前画面进行编码或解码。
例如，当增强层中的当前层是IE121时，可以参考IE020或IE222对当前画面IE121进行编码或解码。
另外，当增强层中的当前画面是IE323时，可以参考IE222或IE424对当前画面IE323进行编码或解码。
即，根据本发明的实施例，对增强层中的当前画面，可以参考相同层(增强层)中的画面进行编码或解码，以支持时间可伸缩性。
图3是示出根据本发明的实施例的基于用于多层视频的层间预测方法的参考画面列表的示图。
参考图3，当不存在与增强层中的当前画面对应的时间处的参考层中的重构画面时，增强层中的当前画面的参考列表可以包括增强层中的当前画面的先前或随后的画面。
例如，当增强层中的当前画面是IE121时，在参考列表中可以包括画面IE020或IE222。
图4是示出根据本发明的另一实施例的用于多层视频的层间预测方法的概念图。
参考图4，增强层中的画面可以用IE040、IE141、IE242、IE343、IE444等表示。另外，增强层中的重构画面可以用IB045、IB246、IB447等表示。
参考层中的重构画面(即IB045、IB246和IB447)存在于对应于增强层中的画面(即IE040、IE242和IE444)的时间处。然而，参考层中的重构画面可以不存在于对应于增强层中的画面(即IE141和IE343)的时间处。
即，当存在与增强层中的当前画面对应的时间处的参考层中的重构画面时，可以参考参考层中的对应的重构画面对增强层中的当前画面进行编码或解码。
例如，当增强层中的当前画面是IE040、IE242或IE444时，可以分别参考参考层中的重构画面(即IB045、IB246或IB447)对当前画面IE040、IE242或IE444进行编码或解码。
然而，当不存在与增强层中的当前画面对应的时间处的参考层中的重构画面时，可以参考与增强层中的当前画面对应的时间处的参考层中的重构画面的先前或随后的画面对当前画面进行编码或解码。
例如，当增强层中的当前画面是IE141时，可以参考画面IB045或IB246对当前画面IE141进行编码或解码。
另外，当增强层中的当前画面是IE343时，可以参考画面IB246或IB447对当前画面IE343进行编码或解码。
即，根据本发明的实施例，可以参考与增强层中的当前画面对应的时间处的参考层中的重构画面的先前或随后的画面对增强层中的当前画面进行编码或解码，以支持时间可伸缩性。
图5是示出根据本发明的另一实施例的基于用于多层视频的层间预测方法的参考画面列表的示图。
参考图5，当不存在与增强层中的当前画面对应的时间处的参考层中的重构画面时，增强层中的当前画面的参考列表可以包括与增强层中的当前画面对应的时间处的参考层中的重构画面的先前或随后的画面。
例如，当增强层中的当前画面是IE141时，在参考列表中可以包括画面IB045或IB246。
图6是示出根据本发明的又一实施例的用于多层视频的层间预测方法的概念图。
参考图6，增强层中的画面可以用IE060、IE161、IE262、IE363、IE464等表示。另外，增强层中的重构画面可以用IB065、IB266、IB467等表示。
参考层中的重构画面(即IB065、IB266和IB467)存在于对应于增强层中的画面(即IE060、IE262和IE464)的时间处。然而，参考层中的重构画面可以不存在于增强层中的画面(即IE161和IE363)的时间处。
即，当存在与增强层中的当前画面对应的时间处的参考层中的重构画面时，可以参考参考层中的重构画面对增强层中的当前画面进行编码或解码。
例如，当增强层中的当前画面是IE060、IE262或IE464时，可以分别参考参考层中的重构画面(即IB065、IB266或IB467)对当前画面IE060、IE262或IE464进行编码或解码。
然而，当不存在与增强层中的当前画面对应的时间处的参考层中的重构画面时，可以参考增强层中的当前画面的先前或随后的画面以及与增强层中的当前画面对应的时间处的参考层中的重构画面的先前或随后的画面对当前画面进行编码或解码。
例如，当增强层中的当前画面是IE161时，可以参考画面IE060或IE262以及IB065或IB266对IE161进行编码或解码。
另外，当增强层中的当前画面是IE363时，可以参考画面IE262或IE464以及IB266或IB467对IE363进行编码或解码。
即，根据本发明的实施例，可以参考增强层中的当前画面的先前或随后的画面以及与增强层中的当前画面对应的时间处的参考层中的重构画面的先前或随后的画面对增强层中的当前画面进行编码或解码，以便支持时间可伸缩性。
图7是示出根据本发明的又一实施例的基于用于多层视频的层间预测方法的参考画面列表的示图。
参考图7，当不存在与增强层中的当前画面对应的时间处的参考层中的重构画面时，参考画面列表可以包括增强层中的当前画面的先前或随后的画面以及与增强层中的当前画面对应的时间处的参考层中的重构画面的先前或随后的画面。
例如，当增强层中的当前画面是IE141时，在参考列表中可以包括画面IE060或IE262以及画面IB065或IB266。
图8是示出根据本发明的实施例的用于多层视频的层间预测方法的流程图。
参考图8，经由参考层的预测编码产生参考层中的重构画面，并且可以确定在与增强层中的当前画面对应的时间处是否存在参考层中的重构画面，以对增强层中的当前画面进行编码或解码。
另外，可以参考增强层中的画面或参考层中的重构画面进行层间预测。
首先，当存在与增强层中的当前画面对应的时间处的参考层中的重构画面时，可以使用在与增强层中的当前画面对应的时间处的参考层中的重构画面对增强层中的当前画面进行层间预测。
同时，当不存在与增强层中的当前画面对应的时间处的参考层中的重构画面时，可以参考增强层中的当前画面的先前或随后的画面进行层间预测。
另外，当不存在与增强层中的当前画面对应的时间处的参考层中的重构画面时，可以参考与增强层中的当前画面对应的时间处的参考层中的重构画面的先前或随后的画面进行层间预测。
另外，当不存在与增强层中的当前画面对应的时间处的参考层中的重构画面时，可以参考增强层中的当前画面的先前或随后的画面以及与增强层中的当前画面对应的时间处的参考层中的重构画面的先前或随后的画面进行层间预测。
例如，可以确定在与增强层中的当前画面对应的时间处是否存在参考层中的重构画面(S810)。即，可以确定在与增强层中的当前画面的时间位置相同的时间位置处是否存在参考层中的重构画面。
当确定在与增强层中的当前画面对应的时间处存在参考层中的重构画面时，可以使用与增强层中的当前画面对应的时间处的参考层中的重构画面进行层间预测(S820)。
当确定在与增强层中的当前画面对应的时间处不存在参考层中的重构画面时，对作为指示是否使用不同于增强层中的当前画面的时间的时间处的画面作为参考画面的语法元素的inter_layer_pred_ext_enable_flag进行解码。
可以确定是否满足inter_layer_pred_ext_enable_flag＝1(S830)。当不满足inter_layer_pred_ext_enable_flag＝1时，可以对增强层中的当前画面进行帧内预测(S840)。
当满足inter_layer_pred_ext_enable_flag＝1时，可以根据语法元素inter_layer_pred_ext_mode的值确定使用哪个画面进行层间预测。
可以单独地确定inter_layer_pred_ext_mode的值是0还是1(S850，S870)。
当满足inter_layer_pred_ext_mode＝0时，可以参考增强层中的当前画面的先前或随后的画面进行层间预测(S860)。即，可以使用在相同层中的重构画面进行帧内预测或帧间预测。
当满足inter_layer_pred_ext_mode＝1时，可以参考与增强层中的当前画面对应的时间处的参考层中的重构画面的先前或随后的画面进行层间预测(S880)。
当不满足inter_layer_pred_ext_mode＝1时(当inter_layer_pred_ext_mode＝2时)，可以参考增强层中的当前画面的先前或随后的画面以及与增强层中的当前画面对应的时间处的参考层中的重构画面的先前或随后的画面进行层间预测(S890)。
图9是图示根据本发明的实施例的在用于多层视频的层间预测中使用的语法元素。
参考图9，能够通过使用作为根据本发明的语法元素的inter_layer_pred_ext_enable_flag确定是否使用不同时间处的画面作为参考画面，并且还通过使用inter_layer_pred_ext_mode确定使用哪个画面作为参考画面。
图10是示出根据本发明的实施例的用于执行用于多层视频的层间预测的解码装置的框图。
参考图10，根据本发明的实施例的解码装置包括用于参考层的解码装置400和用于增强层的解码装置500。另外，解码装置包括插入单元610。
每个解码装置400或500包括熵解码单元410或510、逆量化单元420或520、逆变换单元430或530、加法单元440或540、环内滤波器单元450或550、帧存储器460或560、帧内预测单元470或570以及运动补偿单元480或580。解码装置400或500的组件可以被理解为分别对应于图1的编码装置的那些组件，因此将省略其详细描述。
预测单元可以包括帧内预测单元470或570以及运动补偿单元480或580，以进行帧内预测或帧间预测。
根据本发明的实施例的解码装置的预测单元可以参考增强层中的画面或参考层中的重构画面进行层间预测，以便对增强层中的当前画面进行编码。
首先，当存在与增强层中的当前画面对应的时间处的参考层中的重构画面时，预测单元可以参考与增强层中的当前画面对应的时间处的参考层中的重构画面进行层间预测。
具体地，当不存在与增强层中的当前画面对应的时间处的参考层中的重构画面时，预测单元可以参考增强层中的当前画面的先前或随后的画面进行层间预测。
另外，当不存在与增强层中的当前画面对应的时间处的参考层中的重构画面时，预测单元可以参考与增强层中的当前画面对应的时间处的参考层中的重构画面的先前或随后的画面进行层间预测。
另外，当不存在与增强层中的当前画面对应的时间处的参考层中的重构画面时，预测单元可以参考增强层中的当前画面的先前或随后的画面以及与增强层中的当前画面对应的时间处的参考层中的重构画面的先前或随后的画面进行层间预测。
根据本发明的实施例的用于多层视频的层间预测方法和装置即使当在对增强层进行编码或解码时在与当前画面相同的时间位置处不存在参考层中的重构画面时，也可以通过自适应地利用增强层中的画面或参考层中的画面进行层间预测，从而经由高效的层间预测改进编码效率。
另外，虽然为了便于描述，将根据本发明的实施例的上述编码装置和解码装置的各个组件描述为被单独地列出并且作为各个组件而被包括，但是可以实现将各个组件中的至少两个组合成单个组件、或者将单个组件划分成多组件并且由那些组件单独地或组合地执行功能的方案。将各个组件组合或分开的那些实施例也包含在本发明的范围内，而不脱离本发明的实质特征。
另外，根据本发明的编码装置和解码装置可以存储在计算机可读取的存储介质中，并且可以实现为计算机可读取的程序或代码。计算机可读取的存储介质包括所有类型的记录设备，其中存储计算机系统可读取的数据。另外，计算机可读取的存储介质可以跨越通过网络连接的计算机系统地分布，并且可以以分布式的方式存储和执行计算机可读取的程序或代码。
虽然参考本发明的优选实施例描述了本发明，但是本领域的技术人员将意识到本发明可以以各种方式来改变或修改，而不脱离在所附的权利要求书中所公开的本发明的精神和范围。

Claims (11)

1.一种在多层视频的编码/解码中用于多层视频的层间预测方法，包含：
经由参考层的预测编码产生参考层中的重构画面；
确定在与增强层中的当前画面对应的时间处是否存在参考层中的重构画面，以便对增强层中的当前画面进行编码或解码；以及
参考增强层中的画面或参考层中的重构画面来执行层间预测。
2.根据权利要求1所述的层间预测方法，其中，执行层间预测包含当在与增强层中的当前画面对应的时间处不存在参考层中的重构画面时，参考增强层中的当前画面的先前或随后的画面来执行层间预测。
3.根据权利要求1所述的层间预测方法，其中，执行层间预测包含当在与增强层中的当前画面对应的时间处不存在参考层中的重构画面时，参考与增强层中的当前画面对应的时间处的参考层中的重构画面的先前或随后的画面来执行层间预测。
4.根据权利要求1所述的层间预测方法，其中，执行层间预测包含当在与增强层中的当前画面对应的时间处不存在参考层中的重构画面时，参考增强层中的当前画面的先前或随后的画面以及与增强层中的当前画面对应的时间处的参考层中的重构画面的先前或随后的画面来执行层间预测。
5.根据权利要求1所述的层间预测方法，其中，执行层间预测包含当在与增强层中的当前画面对应的时间处存在参考层中的重构画面时，参考与增强层中的当前画面对应的时间处的参考层中的重构画面来执行层间预测。
6.一种用于多层视频的层间预测装置，所述层间预测装置对多层视频进行编码/解码，包含：
帧缓冲器，用于存储经由参考层的预测编码产生的在参考层中的重构画面；以及
预测单元，用于参考增强层中的画面或参考层中的重构画面来执行层间预测，以便对增强层中的当前画面进行编码或解码。
7.根据权利要求6所述的层间预测装置，还包含：插入单元，用于根据增强层的分辨率将重构画面插入在参考层中。
8.根据权利要求6所述的层间预测装置，其中，预测单元被配置为当在与增强层中的当前画面对应的时间处不存在参考层中的重构画面时，参考增强层中的当前画面的先前或随后的画面来执行层间预测。
9.根据权利要求6所述的层间预测装置，其中，预测单元被配置为当在与增强层中的当前画面对应的时间处不存在参考层中的重构画面时，参考与增强层中的当前画面对应的时间处的参考层中的重构画面的先前或随后的画面来执行层间预测。
10.根据权利要求6所述的层间预测装置，其中，预测单元被配置为当在与增强层中的当前画面对应的时间处不存在参考层中的重构画面时，参考增强层中的当前画面的先前或随后的画面以及与增强层中的当前画面对应的时间处的参考层中的重构画面的先前或随后的画面来执行层间预测。
11.根据权利要求6所述的层间预测装置，其中，预测单元被配置为当在与增强层中的当前画面对应的时间处存在参考层中的重构画面时，参考与增强层中的当前画面对应的时间处的参考层中的重构画面来执行层间预测。
CN201280077135.7A 2012-10-09 2012-12-27 用于多层视频的层间预测方法及其设备 Pending CN104782129A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810383776.4A CN108540809A (zh) 2012-10-09 2012-12-27 用于多层视频的解码装置、编码装置及层间预测方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20120111928 2012-10-09
KR10-2012-0111928 2012-10-09
PCT/KR2012/011619 WO2014058110A1 (ko) 2012-10-09 2012-12-27 다중 계층 비디오를 위한 계층 간 예측 방법 및 그 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201810383776.4A Division CN108540809A (zh) 2012-10-09 2012-12-27 用于多层视频的解码装置、编码装置及层间预测方法

Publications (1)

Publication Number Publication Date
CN104782129A true CN104782129A (zh) 2015-07-15

Family

ID=50477560

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810383776.4A Pending CN108540809A (zh) 2012-10-09 2012-12-27 用于多层视频的解码装置、编码装置及层间预测方法
CN201280077135.7A Pending CN104782129A (zh) 2012-10-09 2012-12-27 用于多层视频的层间预测方法及其设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201810383776.4A Pending CN108540809A (zh) 2012-10-09 2012-12-27 用于多层视频的解码装置、编码装置及层间预测方法

Country Status (5)

Country Link
US (2) US9961363B2 (zh)
JP (1) JP2015536119A (zh)
KR (1) KR20140048805A (zh)
CN (2) CN108540809A (zh)
WO (1) WO2014058110A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9628808B2 (en) * 2013-03-26 2017-04-18 Dolby Laboratories Licensing Corporation Encoding perceptually-quantized video content in multi-layer VDR coding
KR20160071569A (ko) * 2014-12-11 2016-06-22 삼성전자주식회사 비디오 장치에서의 영상 처리 방법 및 그에 따른 비디오 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1220804A (zh) * 1997-04-01 1999-06-23 索尼公司 图像编码器及其方法、图像译码器及其方法、和分配媒体
CN1355995A (zh) * 1999-11-23 2002-06-26 皇家菲利浦电子有限公司 混合式时间－信杂比精细颗粒可分级视频编码
CN1926873A (zh) * 2004-03-04 2007-03-07 三星电子株式会社 用于视频流传输业务的视频编码和解码方法及系统
CN101461244A (zh) * 2006-04-04 2009-06-17 三星电子株式会社 使用扩展宏块跳过模式进行编码/解码的方法和装置
US20140348232A1 (en) * 2011-08-31 2014-11-27 Dolby Laboratories Licensing Corporation Multiview and Bitdepth Scalable Video Delivery
US9167258B2 (en) * 2012-01-19 2015-10-20 Electronics And Telecommunications Research Institute Fast mode determining method and apparatus in scalable video coding

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3380980B2 (ja) 1997-04-01 2003-02-24 ソニー株式会社 画像符号化方法、並びに画像復号方法および画像復号装置
EP1721465A4 (en) 2004-03-04 2009-01-21 Samsung Electronics Co Ltd VIDEO ENCODING AND DECODING METHODS AND SYSTEMS FOR CONTINUOUS-FLOW VIDEO SERVICE
KR100664929B1 (ko) * 2004-10-21 2007-01-04 삼성전자주식회사 다 계층 기반의 비디오 코더에서 모션 벡터를 효율적으로압축하는 방법 및 장치
WO2006080662A1 (en) * 2004-10-21 2006-08-03 Samsung Electronics Co., Ltd. Method and apparatus for effectively compressing motion vectors in video coder based on multi-layer
TW200704202A (en) * 2005-04-12 2007-01-16 Nokia Corp Method and system for motion compensated fine granularity scalable video coding with drift control
EP1806930A1 (en) * 2006-01-10 2007-07-11 Thomson Licensing Method and apparatus for constructing reference picture lists for scalable video
TWI364990B (en) 2006-09-07 2012-05-21 Lg Electronics Inc Method and apparatus for decoding/encoding of a video signal
KR100896290B1 (ko) * 2006-11-17 2009-05-07 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
KR20110066523A (ko) 2009-12-11 2011-06-17 한국전자통신연구원 스케일러블 비디오 디코딩 장치 및 방법
EP2617196A2 (en) 2010-09-14 2013-07-24 Samsung Electronics Co., Ltd Method and apparatus for hierarchical picture encoding and decoding

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1220804A (zh) * 1997-04-01 1999-06-23 索尼公司 图像编码器及其方法、图像译码器及其方法、和分配媒体
CN1355995A (zh) * 1999-11-23 2002-06-26 皇家菲利浦电子有限公司 混合式时间－信杂比精细颗粒可分级视频编码
CN1926873A (zh) * 2004-03-04 2007-03-07 三星电子株式会社 用于视频流传输业务的视频编码和解码方法及系统
CN101461244A (zh) * 2006-04-04 2009-06-17 三星电子株式会社 使用扩展宏块跳过模式进行编码/解码的方法和装置
US20140348232A1 (en) * 2011-08-31 2014-11-27 Dolby Laboratories Licensing Corporation Multiview and Bitdepth Scalable Video Delivery
US9167258B2 (en) * 2012-01-19 2015-10-20 Electronics And Telecommunications Research Institute Fast mode determining method and apparatus in scalable video coding

Also Published As

Publication number Publication date
WO2014058110A1 (ko) 2014-04-17
US10219001B2 (en) 2019-02-26
US20180213252A1 (en) 2018-07-26
JP2015536119A (ja) 2015-12-17
US9961363B2 (en) 2018-05-01
US20150281732A1 (en) 2015-10-01
CN108540809A (zh) 2018-09-14
KR20140048805A (ko) 2014-04-24

Similar Documents

Publication Publication Date Title
JP6874032B2 (ja) ピクチャの符号化／復号化方法及びこれを利用する装置
US20240107002A1 (en) Method for encoding video information and method for decoding video information, and apparatus using same
CN103004191B (zh) 视频编码装置、视频解码装置、视频编码方法、视频解码方法以及程序
JP2022511872A (ja) 三角予測におけるマージリストの構成
KR101830352B1 (ko) 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
US7606305B1 (en) Method and system for transcoding video data
CN103404144A (zh) 视频译码中的经量化脉码调制
KR20130003718A (ko) 고속 코딩 단위(Ｃｏｄｉｎｇ Ｕｎｉｔ) 모드 결정을 통한 부호화/복호화 방법 및 장치
KR102045983B1 (ko) 머지를 기반으로 한 복호화 방법 및 장치
KR102574869B1 (ko) 영상 복호화 방법 및 이를 이용하는 장치
US10219001B2 (en) Inter-layer prediction method for multi-layer video and device therefor
KR102407912B1 (ko) 양방향 인트라 예측 시그널링
KR20130085088A (ko) 스케일러블 비디오 코딩에서의 고속 모드 결정 방법 및 그 장치
JP2017073598A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
KR102271878B1 (ko) 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR20240068711A (ko) 동영상을 처리하는 방법, 장치 및 매체
Gudumasu et al. Video streaming with SHVC to HEVC transcoding
Zhang et al. Quality Scalability Compression on Single‐Loop Solution in HEVC
WO2012115434A2 (ko) 복수 참조 영상을 이용한 영상 부복호화 방법 및 이러한 방법을 사용하는 장치
KR20140038323A (ko) 다중 계층 비디오의 계층 간 참조 장치 및 방법
KR20140038319A (ko) 다중 계층 비디오를 위한 계층 간 예측 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
ASS Succession or assignment of patent right

Owner name: YINGDI CO., LTD.

Free format text: FORMER OWNER: UNIVERSITY KWANGWOON IND ACAD COLLAB INDUSTRY-UNIVERSITY COOPERATION FOUNDATION

Effective date: 20150716

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150716

Address after: Seoul, South Korea

Applicant after: Neo Lab Convergence Inc.

Address before: Seoul, South Kerean

Applicant before: Gwangwon University Cooperative

EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150715