CN103621091A - 管理参考图片列表的方法及使用该方法的装置 - Google Patents

管理参考图片列表的方法及使用该方法的装置 Download PDF

Info

Publication number
CN103621091A
CN103621091A CN201280030271.0A CN201280030271A CN103621091A CN 103621091 A CN103621091 A CN 103621091A CN 201280030271 A CN201280030271 A CN 201280030271A CN 103621091 A CN103621091 A CN 103621091A
Authority
CN
China
Prior art keywords
picture
reference picture
term reference
short
time horizon
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280030271.0A
Other languages
English (en)
Inventor
林宰显
朴胜煜
金廷宣
朴俊永
崔瑛喜
全柄文
全勇俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN103621091A publication Critical patent/CN103621091A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation

Abstract

提供了一种用于管理参考图片列表的方法及使用该方法的装置。图像解码方法包括以下步骤：对分层图片配置中的第二高的时间层图片的一个图片进行解码；并且相对于图片顺序计数（POC）序列中的POC分别解码第二高的时间层图片之前的和之后的最高时间层图片。因此，可用参考图片保持在解码的图片缓冲器（DPB）中，从而提高图像编码效率。

Description

管理参考图片列表的方法及使用该方法的装置
技术领域
本发明涉及视频解码方法和视频解码器，更具体而言，涉及管理参考图片列表的方法和使用该方法的设备。
背景技术
近些年，在各种应用领域中，对于诸如高清（HD）视频和超高清（UHD）视频的高分辨率和高质量视频的需求已经增加。然而，由于视频具有较高分辨率和较高质量，视频的数据量的增长超过现有视频数据。因此，当使用诸如现有有线或无线宽带线的介质传送视频数据或者视频数据被存储在现有存储介质中时，其传送成本和存储成本增加。可以使用高效视频压缩技术以解决由于视频数据的分辨率和质量的增强而导致的这样问题。
诸如根据当前图片之前或之后的图片预测包括在当前图片中的像素值的间预测技术、使用当前图片中的像素信息预测包括在当前图片中的像素值的内预测技术、以及将短码分配给低出现频率的值并且将长码分配给高出现频率的值的熵编译技术的各种技术是已知的视频压缩技术。使用这些视频压缩技术可以有效地压缩、传送或存储视频数据。
发明内容
技术问题
本发明的目的是提供一种管理参考图片列表以便增加视频编码/解码效率的方法。
本发明的另一目的是提供一种执行管理参考图片列表以便增强视频编码/解码效率的方法的设备。
问题的解决方案
根据本发明的一个方面，提供了一种视频解码方法，包括步骤：对分层图片结构中的第二高的时间层图片的一个图片进行解码，并且基于第二高的时间层图片的图片顺序计数（POC），对在POC的顺序之前或之后存在的最高时间层图片进行解码。视频解码方法可以进一步包括步骤：确定基于存储在DPB中以便包括解码的第二高的时间层图片的短期参考图片和长期参考图片所计算的图片的数目是否等于(max_num_ref_frame,1)中的最大值（Max(max_num_ref_frame,1)），以及短期参考图片的数目是否大于0。视频解码方法可以进一步包括计算短期参考图片的数目和长期参考图片的数目的步骤。视频解码方法进一步包括步骤：当存储在DPB中的图片的数目等于Max(max_num_ref_frame,1)并且短期参考图片的数目大于0时，将存在于DPB中的短期参考图片当中的具有最小POC的短期参考图片从DPB中移除。分层图片结构可以是包括五个时间层图片和八个图片的GOP分层图片结构。第二高的时间层图片可以是存在于第三时间层中的图片，并且最高时间层图片可以是存在于第四时间层中的图片。
根据本发明的另一方面，提供了一种视频解码方法，包括步骤：确定基于存储在DPB中以便包括解码的第二高的时间层图片的短期参考图片和长期参考图片所计算的图片的数目是否等于Max(max_num_ref_frame,1)，以及确定短期参考图片的数目是否大于0。视频解码方法可以进一步包括计算短期参考图片的数目和长期参考图片的数目的步骤。视频解码方法可以进一步包括骤：当存储在DPB中的图片的数目等于Max(max_num_ref_frame,1)并且短期参考图片的数目大于0时，将存在于DPB中的短期参考图片当中的具有最小POC的短期参考图片从DPB中移除。
根据本发明的又一方面，提供了一种视频解码器，该视频解码器包括图片信息确定模块和参考图片存储模块，图片信息确定模块对分层图片结构中的第二高的时间层图片当中的一个图片进行解码并且确定图片信息，以便基于第二高的时间层图片的POC对在图片顺序计数（POC）的顺序之前或之后存在的最高时间层图片进行解码；参考图片存储模块存储基于通过图片信息确定模块所确定的图片信息解码的第二高的时间层图片。视频解码器可以进一步包括参考图片信息更新模块，该参考图片信息更新模块确定基于存储在参考图片存储模块中以便包括解码的第二高的时间层图片的短期参考图片和长期参考图片所计算的图片的数目是否等于Max(max_num_ref_frame,1)，以及短期参考图片的数目是否大于0。参考图片信息更新模块可以计算短期参考图片的数目和长期参考图片的数目。当存储在参考图片存储模块中的图片的数目等于Max(max_num_ref_frame,1)并且短期参考图片的数目大于0时，参考图片信息更新模块可以将存在于参考图片存储模块中的短期参考图片当中的具有最小POC的短期参考图片从DPB中移除。分层图片结构可以是包括五个时间层图片和八个图片的GOP分层图片结构。第二高的时间层图片可以是存在于第三时间层中的图片，并且最高时间层图片可以是存在于第四时间层中的图片。
根据本发明的又一方面，提供了一种包括参考图片信息更新模块和参考图片存储模块的视频解码器，参考图片信息更新模块确定基于存储在参考图片存储模块中的以便包括解码的第二高的时间层图片的短期参考图片和长期参考图片所计算的图片的数目是否等于Max(max_num_ref_frame,1)，以及确定短期参考图片的数目是否大于0；参考图片存储模块基于通过参考图片信息更新单元所创建的信息更新参考图片。参考图片信息更新模块可以计算短期参考图片的数目和长期参考图片的数目。参考图片信息更新模块可以更新参考图片，以便当存储在DPB中的图片的数目等于Max(max_num_ref_frame,1)并且短期参考图片的数目大于0时，将存在于DPB中的短期参考图片当中的具有最小POC的短期参考图片从DPB中移除。
有益效果
在根据本发明的这些方面管理参考图片列表的上述方法和使用该方法的上述设备中，可以减少其中最佳参考图片不可用的情形的数目，并且通过改变解码参考图片的顺序和改变应用到DPB的参考图片移除方法可以增强视频编码/解码效率。
附图说明
图1是示意地示出根据本发明的实施例的视频编码器的框图。
图2是示意地示出根据本发明的实施例的视频解码器的框图。
图3是示出根据本发明的实施例的分层编译结构的概念图。
图4是示出根据本发明的实施例的分层图片结构的解码顺序确定方法的流程图。
图5是示出根据本发明的实施例的滑动窗口方法的流程图。
图6是示出根据本发明的实施例的参考图片管理方法的流程图。
图7是示出根据本发明的实施例的视频解码器的概念图。
具体实施方式
本发明能够以各种形式进行修改并且具有各种实施例，将参考附图对其特定实施例进行详细描述。然而，应该理解的是，本发明不限于特定实施例并且包括在本发明的技术精神和范围中包括的所有修改、等同和替换。在附图中，相同元件被相同附图标记引用。
诸如“第一”和“第二”的术语可以用于描述各种元件，但是这些元件不限于这些术语。这些术语仅用于区别一个元件和另一个元件。例如，在没有脱离本发明的范围的情形下，可以将第一元件命名为第二元件，同样地可以将第二元件命名为第一元件。术语“和/或”包括多个相关元件的合并，或多个相关元件的任何一个。
如果提及一个元件被“连接到”或“耦合到”另一元件，则应该理解为其间仍可以插入另一元件，以及该元件可以直接连接到或耦合到另一元件。反之，如果提及一个元件被“直接连接到”或“直接耦合到”另一元件，则应该理解为没有另一元件插在其间。
在下文描述中使用的这些术语仅用于描述特定实施例，但是其不意欲限制本发明。单数的表达包括复数的表达，只要读起来显然不同。诸如“包括”和“具有”这些术语旨在指示下文描述中使用的特征、编号、步骤、操作、元件、组件或其组合存在，并且应该理解为不排除一个或多个不同特征、编号、步骤、操作、元件、组件或其组合的存在或添加的可能性。
在下文，将参考附图详细描述本发明的示例性实施例。附图中相同元件被相同附图标记引用，将不再重复描述。
图1是示出根据本发明的实施例的视频编码器的框图。
参考图1，视频编码器100包括图片划分模块105，预测模块110、变换模块115、量化模块120、重新排列模块125、熵编码模块130、去量化模块135、逆变换模块140、滤波器模块145、和存储器150。
图1中的这些元件各自示出以表示不同独特功能，但并不意味着每个元件是由一个独立硬件或软件元件构成。即，为了解释方便独立排列的元件和至少两个元件可被组合成单一元件，或者单一元件可以被分成多个元件以执行这些功能。在不脱离本发明概念的情形下，其中这些元件被组合或者被划分的实施例被包括在本发明的范围内。
一些元件可能不是用于执行本发明的必需功能的必需元件，但是可以是仅用于提高性能的选择性元件。除了仅用于提高性能的这些元件，仅通过对实施本发明必不可少的元件来实施本发明，并且仅包括除了仅用于提高性能的这些选择性元件的必要元件的结构被包括在本发明的范围内。
图片划分模块105可以将输入图片划分成一个或多个处理单元。此时，处理单元可以是预测单元（“PU”）、变换单元（“TU”）、或者编译单元（“CU”）。图片划分模块105可以将一个图片划分成多个编译单元、预测单元或变换单元的组合，并且可以通过利用预定参考（例如成本函数）选择编译单元、预测单元或变换单元的一个组合来编码图片。
例如，可以将一个图片划分成多个编译单元。可以使用诸如四叉树结构的递归树结构以将图片划分编译单元。此时，利用图片划分成其他编译单元的编译单元或作为根的最大编译单元，可以利用与被划分的编译单元的数目相对应的子节点来划分。通过预定限制不再被划分的编译单元用作叶节点。即，当假定编译单元不得不以正方形划分时，可以将一个编译单元最多划分为四个其他编译单元。
在本发明的实施例中，可以将编译单元用作解码单元和编码单元。
预测单元在单一编译单元中能够以具有相同大小的至少一个矩形或正方形的形式划分，或者被划分以便在单一编译单元中的一个被划分的预测单元具有与其他被划分的预测单元不同的形式。
当基于此执行间预测的预测单元不是最小编译单元时，在没有将该预测单元划分成多个预测单元（NxN）的情形下，可以执行间预测。
预测模块110可以包括执行间预测处理的间预测模块和执行内预测处理的内预测模块。预测模块可以确定在预测单元上将执行间预测还是内预测，并且根据预测方法可以确定特定信息（例如，内预测模式、运动矢量和参考画面）。此时，经受预测处理的处理单元不同于确定预测方法和特定信息的处理单元。例如，在PU的单元中可以确定预测方法、预测模式等，并且在TU的单元中可以确定预测处理。与残留值一起用于预测的预测模式信息、运动矢量信息等，可以由熵编码模块130编码并且被发送到解码器。当使用特定编码模式时，预测块不能由预测模块110构成，但是可以对原始块编码并且发送到解码器。
基于在当前图片的之前的图片或之后的图片的至少一个图片的信息，间预测模块可以预测预测单元。间预测模块可以包括参考画面内插模块、运动估计模块和运动补偿模块。
参考图片内插模块可以提供有来自存储器150的参考图片信息，并且可以从参考图片创建整数像素或更小的像素的像素信息。在亮度像素的情形下，可以使用具有不同滤波器系数的基于8抽头DCT的内插滤波器，以创建整数像素或以1/4像素为单位的更小的像素的像素信息。在色度像素的情形下，可以使用具有不同滤波器系数的基于4抽头DCT的内插滤波器，以创建整数像素或以1/8像素为单位的更小的像素的像素信息。
基于通过参考图片内插模块内插的参考图片，运动估计模块可以执行运动估计。诸如FBMA（基于全搜索块匹配算法）、TSS（三步搜索）算法、NTS（新三步搜索算法）的各种方法可以用于计算运动矢量。基于内插像素，运动矢量可以具有以1/2像素或1/4像素为单元的运动矢量值。通过改变运动估计方法运动估计模块可以预测当前预测单元。可以将诸如跳过法、合并法和AMVP（高级运动矢量预测）方法的各种方法用作运动预测方法。
在下文描述的本发明的实施例中，将描述使用AMVP方法执行间预测时构造候选预测运动矢量列表的方法。
基于与当前块（作为当前图片中的像素信息）相邻的参考像素信息，内预测模块可以构造预测单元。在当前预测单元的相邻块是经受间预测的块，并且因此参考像素是经受间预测的像素时，替代经受内预测的相邻块的参考像素信息，可以使用包括在经受间预测的块中的参考像素。即，当参考像素不可用时，不可用参考像素信息可以被替换为可用参考像素的至少一个参考像素。
内预测的预测模式可以具有方向预测模式和单向预测模式，在方向预测模式中，根据预测方向使用参考像素信息；在单向预测模式中，不能使用方向性信息执行该预测。用于预测亮度信息的模式不同于用于预测色度信息的模式，并且可以使用通过预测亮度信息或预测的亮度信号信息获得内预测模式信息，以预测色度信息。
当预测单元的大小和变换单元的大小在执行内预测时彼此相等时，基于在预测单元的左侧上存在的像素、左上角存在的像素和顶侧上存在的像素，对预测单元执行内预测。然而，当预测单元的大小和变换单元的大小在执行内预测时彼此不同时，基于变换单元使用参考像素可以执行内预测。仅在最小编译单元上执行使用NxN划分的内预测。
在内预测方法中，根据预测模式在将MDIS（模式相关帧内平滑（Mode Dependent Intra Smoothing））滤波器应用到参考像素之后，可以构造被预测的块。应用到参考像素的MDIS滤波器的类型可以变化。为了执行内预测方法，从当前预测单元相邻的预测单元的内预测模式，可以预测当前预测单元的内预测模式。在使用从相邻预测单元预测的模式信息预测当前预测单元的预测模式中，当前预测单元和相邻预测单元的内预测模式彼此相等时，使用预定标识信息可以发送指示当前预测单元和相邻预测单元的预测模式彼此相等的信息，并且当前预测单元和相邻预测单元彼此不同时执行熵编码以编码当前预测块的预定模式信息。
基于通过预测模块110创建的预测单元，可以构造包括残留信息的残留块，该残留信息是经受预测的预测单元和预测单元的原始块之间的差。可以将被构造的残留块输入到变换模块115。变换模块115使用诸如DCT（离散余弦变换）或DST（离散正弦变换）的变换方法，可以变换包括原始块和由预测模块110创建的预测单元之间的残留信息的残留块。基于用于构造残留块的预测单元的内预测模式信息，可以确定是否应用DCT或DST以变换残留块。
量化模块120可以量化通过变换模块115变换成频域的这些值。量化系数可以根据块或视频的重要程度而变化。通过量化模块120计算的这些值，可以供应到去量化模块135和重新排列模块125。
重新排列模块125可以重新排列被量化的残留值的系数。
重新排列模块125通过使用系数扫描方法，以二维块的形式到一维矢量的形式改变量化系数。例如，重新排列模块125使用锯齿扫描方法以高的频域从DC系数扫描至这些系数，并且可以将这些系数改变为一维矢量的形式。根据变换单元的大小和内预测模式，可以使用在列方向上以二维块的形式扫描系数的垂直扫描方法和在行方向上以二维块的形式扫描系数的水平扫描方法，替代非锯齿扫描方法。即，根据变换单元的大小和内预测模式，可以确定使用锯齿扫描方法、垂直扫描方法和水平扫描方法的哪一个。
基于通过重新排列模块125所计算的值，熵编码模块130可以执行熵编码。使用诸如指数Golomb、VLC（可变长度编码）和CABAC（上下文自适应二进制算术编码）的各种编码方法，可以执行熵编码。
熵编码模块130可以编码诸如编译单元的残留系数信息和块类型信息、预测模式信息、划分单元信息、预测单元信息、传送单元信息、运动矢量信息、参考帧信息、块内插信息、和从预测模块110发送的滤波信息的各种信息。
熵编码模块130可以对从重新排列模块125输入的编译单元的系数值进行熵编码。
去量化模块135可以去量化通过量化模块120所量化的值，并且逆变换模块140可以逆变换通过变换模块115所变换的值。通过去量化模块135和逆变换模块140构成的残留块与通过运动估计模块、运动补偿模块和预测模块110的内预测模块所预测的预测单元合并，以构成重建块。
滤波器模块145可以包括去块滤波器、偏移校正模块、和ALF（自适应环路滤波器）的至少之一。
去块滤波器145在重建图片中可以移除在块之间的边界处产生的块失真。为了确定是否执行去块，基于在块中所包含的若干个列或行中所包含的像素，可以确定是否将去块滤波器应用到当前块。当将去块滤波器应用到块时，根据必要的去块滤波强度可以应用强滤波器或弱滤波器。当在应用去块滤波器中执行垂直滤波和水平滤波时，可以并行地实施水平滤波和垂直滤波。
偏移校正模块可以通过像素来校正经受原始图片去块的图片的偏移。可以使用将包括在图片中的像素分割成预定数目的区域、确定经受偏移的区域和将该偏移应用到确定区域的方法或考虑到这些像素的边缘信息应用偏移的方法，以对特定图片执行偏移校正。
基于作为被滤波的重建图片和原始图片的比较结果的值，ALF
（自适应环路滤波器）可以执行滤波操作。可以将包括在图片中的这些像素分割成预定组，可以确定应用到这些组的滤波器、并且针对每个组可以单独地执行滤波操作。关于是否应用ALF的信息，可以通过编译单元（CU）发送亮度信号，并且将要应用的ALF的大小和系数根据这些块而变化。ALF可以具有各种形式，并且包括在滤波器中的系数的数目可以相应地变化。关于ALF的滤波的信息（诸如滤波器系数信息、ALF接通/断开信息、和滤波器类型信息），可以包括在比特流的预定参数中并且随后被发送。
存储器150可以存储通过滤波器模块145计算的重建块或图片。在执行间预测时，存储在存储器中的重建块或图片可以被供应到预测模块110。
图2是示出根据本发明的实施例的视频解码器的框图。
参考图2，视频解码器200可以包括熵解码模块210、重新排列模块215、去量化模块220、逆变换模块225、预测模块230、滤波器模块235、和存储器240。
当从视频编码器输入视频比特流时，以其中视频编码器处理视频信息的顺序的倒序，可以解码输入的比特流。
熵编码模块210以其中视频编码器的熵编码模块执行熵编码的顺序的倒序，可以执行熵解码，并且经受通过熵解码模块熵解码的残留被输入到重新排列模块215。
熵解码模块210可以解码通过视频编码器执行的内预测和间预测相关的信息。如上所述，当将预定限制应用到通过视频编码器执行的内预测和间预测时，基于该限制的熵解码可以被执行，以获取关于当前块的内预测和间预测的信息。
基于在视频编码器中使用的重新排列方法，重新排列模块215可以重新排列通过熵解码模块210熵解码的比特流。重新排列模块将以一维矢量的形式表达的系数重建和重新排列成二维块的形式的系数。基于通过视频编码器执行的扫描顺序，重新排列模块使用获取与在视频编码器中执行系数扫描和逆扫描系数的信息的方法，可以执行重新排列。
基于从视频编码器供应的量化参数和块的重新排列的系数值，去量化模块220可以执行去量化。
逆变换模块225在由视频编码器执行的量化结果上，可以执行通过变换模块所执行的DCT和DST的逆DCT和逆DST。基于通过视频编码器确定的传送单元，可以执行逆变换。视频编码器的变换模块根据诸如预测方法、当前块的大小、以及预测方向的多个信息片，可以选择性地执行DCT和DST，并且基于通过视频编码器的变换模块所执行的变换的信息，视频解码器的变换模块225可以执行逆变换。
基于编译单元而非变换单元，可以执行该变换。
基于与之前解码的块和从熵解码模块210提供的被预测的块构造相关的信息或从存储器240供应的图片信息，预测模块230可以构造被预测的块。
当执行与如上所述的视频编码器的操作相类似的内预测时，预测单元的大小和变换单元的大小彼此相等时，基于位于预测单元左侧的像素、位于左上角的像素、和位于顶侧上的像素，对预测单元可以执行内预测。然而，当预测单元的大小和变换单元的大小在执行内预测时彼此不同时，基于变换单元使用参考像素可以执行内预测。使用NxN划分的内预测可以用于最小的编译单元。
预测模块230可以包括预测单元确定模块、间预测模块、以及内预测模块。预测单元确定模块供应有诸如预测单元信息、内预测方法的预测模式信息、以及来自熵解码模块的与间预测方法的运动估计相关的信息的各种信息，在当前编译单元中划分预测单元，并且确定对预测单元是执行间预测还是内预测。基于包括当前预测单元的当前图片的之前的图片和之后的图片的至少一个图片中所包含的信息，使用从视频编码器供应的当前预测单元的间预测所必需的信息，间预测模块可以对当前预测单元执行间预测。
基于编译单元，可以确定跳过模式、合并模式和AMVP模式的哪一个用作编译单元中所包含的预测单元的预测方法，以便执行间预测。
在本发明的实施例中，在下文将描述使用AMVP方法执行间预测时构造候选预测运动矢量列表的方法。
基于当前图片的像素信息，内预测模块可以构造预测块。当预测单元是经受内预测的预测单元时，基于从视频编码器供应的预测单元的内预测模式信息，可以执行内预测。内预测模块可以包括MDIS滤波器、参考像素内插模块、以及DC滤波器。MDIS滤波器用于对当前块的参考像素执行滤波操作，并且根据当前预测单元的预测模式可以确定是否应用滤波器。使用从视频编码器供应的预测单元的预测模式和MDIS滤波器信息，对当前块的参考像素可以执行MDIS滤波。在当前块的预测模式是未经受MDIS滤波的模式时，不能应用MDIS滤波器。
当预测单元的预测模式是其中基于通过内插参考像素而获得的像素值执行内预测的预测模式时，参考像素内插模块可以内插参考像素，以创建整数像素或更小的像素的参考像素。在当前预测单元的预测模式是其中在没有内插参考像素的情形下构造预测块的预测模式时，参考像素可以不被内插。在当前块的预测模式是DC模式时，DC滤波器可以通过滤波构造预测块。
可以将重建块或图片供应到滤波器模块235。滤波器模块235可以包括去块滤波器、偏移校正模块和ALF。
将关于是否对相对应块或图片应用去块滤波器的信息和关于当从视频编码器应用去块滤波器时应用强滤波器或弱滤波器的哪一个的信息，提供给滤波器模块。视频解码器的去块滤波器可以被提供有从视频编码器提供的去块滤波器相关信息，并且可以对相对应块执行去块滤波。与视频编码器相似，可以首先执行垂直去块滤波和水平去块滤波，并且对重叠部分可以执行垂直去块和水平去块中的至少之一。对其中垂直去块滤波和水平去块滤波重叠的重叠部分，可以执行之前未执行的垂直去块滤波或水平去块滤波。通过该去块滤波处理可以执行并行去块滤波（parallel deblocking filtering）。
基于在编码图片时应用到图片的偏移校正的类型和偏移值信息，偏移校正模块可以对重建图片执行偏移校正。
基于经受滤波的重建图片和原始图片的比较结果，ALF可以执行滤波操作。基于是否已经应用ALF的信息和是否从视频编码器提供ALF系数信息，可以将ALF应用到编译单元。ALF相关信息也可以与具体参数集一起提供。
存储器240可以存储用作参考图片或块的重建图片或块，并且可以将重建图片提供到输出模块。
如上所述，为了解释方便，在本发明的实施例中将编译单元作为表示编码单元的术语使用，但是编译单元可以用作解码单元和编码单元。
随后在本发明的实施例中将描述的视频编码方法和视频解码方法，可以通过参考图1和图2所描述的视频编码器和视频解码器的组成部分执行。该组成部分可以被构造成硬件，或者可以包括在算法中能够被执行的软件处理模块。
间预测模块使用除了当前帧的其他重建帧的信息，可以执行预测目标块的预测像素值的间预测。用于预测的图片称为参考图片（或参考帧）。用于预测预测目标块的间预测信息可以包括指示使用什么参考图片的参考图片索引信息和指示参考图片的块和预测目标块之间的矢量的运动矢量信息。
通过用于预测目标块的间预测的图片构造参考图片列表。在B片的情形下，对于执行该预测两个参考图片列表是必需的。在本发明的以下实施例中，两个参考图片列表可以称为第一参考图片列表（列表0）和第二参考图片列表（列表1）。第一参考图片列表（参考列表0）和第二参考图片列表（参考列表1）相等的AB片可以称为GPB片。
表1表示与包括在上层句法中的参考图片信息相关的句法元素。在本发明的实施例中使用的句法元素和包括句法元素的上层句法（SPS）是任意的，并且这些句法元素具有相同含义，但可以定义为不同。包括句法元素的上层句法可以包括在另一上层句法中（例如，其中仅单独地包括参考图片信息的句法或PPS）。将在本发明的实施例中描述特定情形，但是句法元素和包括这些句法元素的句法结构的表达形式可以是多样化，并且这些实施例可以被包括在本发明的范围内。
<表1>
Figure BDA0000441912460000151
参考表1，诸如SPS（序列参数集）的上层句法可以包括与用于间预测的参考图片相关联的信息。
此时，max_num_ref_frames表示可以存储在DPB（解码图片缓冲器）中的参考图片的最大数目。当前存储在DPB中的参考像素的数目等于设置在max_num_ref_frames中的参考图片的数目时，DPB具有用于存储附加参考图片的空间。因此，当必须存储附加参考图片时，存储在DPB中的参考图片当中的一个参考图片，应该从DPB移除。
诸如包括在片报头中的adaptive_ref_pic_marking_mode_flag的句法元素被参考，以便确定什么参考图片应该从DPB移除。
此时，adaptive_ref_pic_marking_mode_flag是用于确定将从DPB移除的参考图片的信息。当adaptive_ref_pic_marking_mode_flag是1时，可以发送关于移除什么参考图片的附加信息，以从DPB移除特定参考图片。例如，当adaptive_ref_pic_marking_mode_flag是0时，使用滑动窗口方法，以其中图片被解码并且被存储在DPB中的顺序，可以从DPB移除存储在DPB中的参考图片当中的一个参考图片。可以使用下列方法作为使用滑动窗口移除参考图片的方法。
（1）首先，将numShortTerm定义为通过“短期参考图片”标记的参考帧的总数目，并且numLongTerm被定义为通过“长期参考图片”标记的参考帧的总数目。
当短期参考图片（numShortTerm）的数目和长期参考图片（numLongTerm）的数目之和等于Max（max_num_ref_frames,1）并且短期参考图片的数目大于0的条件满足时，具有最小值的FrameNumWrap的短期参考图片通过“不可用作参考图片”标记。
即，在上述滑动窗口方法中，可以移除存储在DPB中的短期参考图片当中的首先被解码的参考图片。
根据本发明的实施例，当以分层图片结构编码和解码图片时，除了具有最高时间级的图片的那些图片可以被用作参考图片。当这些图片包括B片时，使用列表L0和列表L1的至少一个参考图片列表，能够创建包括在B片中的块的预测值。包括在列表L0和列表L1中并且可用作参考图片的参考图片的数目，由于存储器带宽的问题而受到限制。
当设置在max_num_ref_frames中的参考帧的最大数目足够大时，其中max_num_ref_frames是指示能够存储在DPB中的参考帧的最大数目的句法元素，存储在DPB中的参考图片的数目增加，因此用于构造预测目标块的大部分参考图片是可用的。然而，随着视频的分辨率增加并且所必需的存储器的量增加，max_num_ref_frames被限制，可以从DPB移除必需的参考图片，将作为参考图片使用的这些图片不能被存储，因此这些参考图片不能用于间预测。当参考图片不能存储在DPB中时，由于该问题可能导致预测块的精确度降低以及编码效率降低。在根据本发明的实施例的参考图片管理方法中，将描述设置方法，该设置方法是在通过减少其中参考图片未被存储在DPB中的情形的数目执行间预测时，通过可用的预测目标块使得参考图片被参考。
当作为分层图片结构中的参考图片将被使用的最佳参考图片未被存储在DPB中时，另一图片可以被用作参考图片，其可能降低编码效率。在本发明的以下实施例中，为了解释方便的目的，将其中最佳参考图片未被存储在DPB的情形定义为其中参考图片不可用的情形，并且包括其中最佳参考图片不可用因此次最佳的参考图片用于间预测的情形。
在本发明的以下实施例中，为了解释方便的目的，假定指示在DPB中可允许的参考图片的最大数目的max_num_ref_frames是4，可以包括在列表L0中的参考图片（num_ref_idx_l0_active_minus1）的最大数目是1，可以包括在列表L1中的参考图片（num_ref_idx_l1_active_minus1）的最大数目是1，并且num_ref_idx_lc_active_minus1是3。即，DPB中可允许的参考图片的最大数目是4，可以包括在列表L0中的参考图片的最大数目是2，可以包括在列表L1中的参考图片的最大数目是2，并且可以包括列表LC的参考图片的最大数目是4。
列表LC是组合列表，并且指示通过列表L1和列表L0组合所构成的参考图片列表。列表LC是可以使用单向预测方法对预测目标块执行间预测的列表。ref_pic_list_combination_flag可以表示当ref_pic_list_combination_flag是1时列表LC的使用，并且可以表示当ref_pic_list_combination_flag是0时GPB（概括B）的使用。GPB表示其中作为用于执行预测的参考图片列表的列表L0和列表L1具有相同图片的图片列表，如上所述。
在本发明的实施例中，假定GOP（图片组）结构是8，但是构成GOP的图片数目可以变化，并且这些实施例包括在本发明的范围内。
图3是示出根据本发明的实施例的分层图片结构的概念图。
参考图3，包括在GOP中的图片的POC（图片顺序计数）表示图片的显示顺序，并且FrameNum表示图片的编码/解码顺序。在分层编码结构中，存在于除了其中具有最高时间级的POC是1、3、5、7、9、11、13和15的时间层之外的时间层中的图片，可以被用作参考图片。
根据本发明的实施例，分层图片结构中的图片的编码/解码顺序可以被更改，以尽可能减少不可用参考图片的数目以及增加可用参考图片的数目。
基于图片的时间层可以定义分层图片结构。
当任意图片参考特定图片时，该任意图片可以被包括在高于被参考的特定图片的时间层内。
在图3中，第零时间层与POC(0)相对应，第一时间层与POC(8)和POC(16)相对应，第二时间层与POC(4)和POC(12)相对应，第三时间层与POC(2)、POC(6)、POC(10)和POC(14)相对应，并且第四时间层与POC(1)、POC(3)、POC(5)、POC(7)、POC(9)、POC(11)、POC(13)和POC(15)相对应。
根据本发明的实施例，通过重新设置存在于作为最高时间级的第四时间层（POC(1)、POC(3)、POC(5)、POC(7)、POC(9)、POC(11)、POC(13)、POC(15)）中的图片和存在于作为第二高层的第三时间层中的具有时间级（POC(2)、POC(6)、POC(10)、POC(14)）的参考图片的解码顺序(FrameNum)，将可用参考图片的数目增加到大于现有分层图片结构中的数目。
在更改解码顺序(FrameNum)期间，首先解码分层图片结构中的第二高的时间层的一个图片，并且随后按序地解码以POC序列存在于第二高的时间层之前或之后的最高时间层中的图片。即，通过比存在于其他第二高的时间层中并且具有大于被解码的第二高的时间层图片的POC的图片更早地解码存在于被解码的第二高的时间层图片周边的最高时间层的图片，可以改变分层图片结构的解码顺序。
参考图3，在包括第零时间层至第四时间层的分层图片结构中，首先解码第三时间层图片的一个图片，并且将以POC序列存在于第三时间层图片之前或之后的第四时间层中的图片，比其他的第三时间层图片更早地被解码。例如，通过使用解码POC(2)的第三时间层图片并且按序地解码存在于POC(2)的图片周围的第四时间层图片当中的POC(1)的图片和POC(3)的图片的方法，改变解码存在于最高时间层中的参考图片的步骤和解码存在于第二高的时间层中的参考图片的步骤，可以增加其中存储在DPB中的图片变成可用参考图片的情形的数目。
表2示出了基于分层图片结构，相对于图3中示出的图片和存储在DPB中的图片的POC，被用于列表L0、L1和LC的参考图片的POC。在DPB中，使用上述滑动窗口法，可以移除存储在DPB中的参考图片当中的至少一个图片。
<表2>
Figure BDA0000441912460000201
参考表2，当POC编号是0至16并且POC编号是11至15时，列表L0所需要的参考图片、列表L1所需要的参考图片以及列表LC所需要的参考图片都存储在DPB中，并且因此在对POC的图片执行间预测时所有的参考图片是可用的。
例如，在POC(1)的情形下，优选的是，列表L0可以包括存在于POC(1)左侧并且具有低于POC(1)的时间层的POC(0)，并且可以包括存在于POC(1)右侧并且具有低于POC(1)的时间层的POC(2)。优选地是，列表L1可以包括存在于POC(1)第一个左侧并且具有低于POC(1)的时间层的POC(2)，并且可以包括存在于POC(1)第二个右侧并且具有低于POC(1)的时间层的POC(4)。
由于POC(0)、POC(8)、POC(2)和POC(4)存储在DPB中，所以包括用于预测POC(1)的POC(0)、POC(2)和POC(4)的所有参考图片，因此用于预测POC(1)的所有参考图片是可用的。
在图3、POC（12）、POC（10）、POC（9）和POC（11）参考图片对于L0预测四次不可用，参考图片对于L1预测一次不可用，并且参考图片对于LC预测四次不可用，但是，较之在分层图片结构中所使用的FrameNum分配方法，其中参考图片不可用的情况数目被减少，以增强编码/解码效率。
图4是根据本发明的实施例以分层图片结构示出解码顺序确定方法的流程图。
参考图4，对第二高层图片的一个图片解码（步骤S400）。
随后，对具有仅小于第二高层图片的POC的POC的最高层图片和具有仅大于第二高层图片的POC的POC的最高层图片进行解码（步骤S410）。
根据本发明的实施例，第二高层图片被解码并且被存储在DPB中，并且随后对存在于最高层的参考图片当中的参考第二高层的最高层图片进行解码。即，对任意第二高层图片进行解码，随后对参考任意第二高层图片的最高层图片进行解码，以及随后对具有大于任意第二高层图片的POC的最高层图片进行解码。
当第二高层图片是POC(n)时，下一个被解码的最高层图片可以是POC(n-1)和POC(n+1)。
根据本发明的另一实施例，可以通过对存在于分层结构中的DPB中的参考图片不同地应用滑动窗口方法来增强参考图片的可用性。
可以以下列方式应用新的滑动窗口方法。
（1）首先，numShortTerm被定义为通过“短期参考图片”标记的参考帧的总数目，并且numLongTerm定义被为通过“长期参考图片”标记的参考帧的总数目。
(2)当numShortTerm和numLongTerm的总和是Max(max_num_ref_frame,1)并且numShortTerm大于0时，具有PicOrderCnt(entryShortTerm)的最小值的短期参考图片通过“不可用为参考图片”标记。
即，根据本发明的实施例，使用从DPB移除可以存储在DPB中的图片当中的具有最小POC值的图片的滑动窗口方法，可以管理存储在DPB中的参考图片。
图5是示出根据本发明的实施例的滑动窗口方法的流程图。
参考图5，计算短期参考图片的数目和长期参考图片的数目（步骤S500）。
为了计算存储在DPB中的参考图片的总数目，计算通过短期参考图片标记的参考帧的数目，并且计算通过长期参考图片标记的参考帧的数目。
基于存储在DPB中的图片，确定所计算的数目是否等于Max(max_num_ref_frame,1)，以及numShortTerm是否大于0（步骤S510）。
在步骤S510中，两种确定细节关于（1）存储在DPB中以便包括被解码的图片的短期参考图片的数目和长期参考图片的数目的图片的总数目是否等于Max(max_num_ref_frame,1)以及（2）numShortTerm是否大于0可以以分别确定过程或者以单一确定过程执行。
基于存储在DPB中的图片，通过确定参考图片的总数是否等于Max(max_num_ref_frame,1)，以及numShortTerm是否大于0，可以确定是否从DPB移除图片。当参考图片的总数等于Max(max_num_ref_frame,1)，并且numShortTerm大于0时，意味着当前存储在DPB中的图片的数目等于或大于可允许的参考图片的最大数目。当numShortTerm大于0时，意味着存在至少一个短期参考图片。
当参考图片的总数等于Max(max_num_ref_frame,1)并且numShortTerm大于0时，可以将存储在DPB中的短期参考图片当中的具有最小值的PicOrderCnt(entryShortTerm)，即具有最小值的POC的短期参考图片，从DPB移除（步骤S520）。
当基于存储在DPB中的图片，参考图片的总数目不等于Max(max_num_ref_frame,1)并且numShortTerm不大于0时，没有图片从DPB移除。
表3示出当使用根据本发明的实施例的新滑动窗口方法时根据POC的参考图片的可用性。
<表3>
Figure BDA0000441912460000241
参考表3，在POC(6)的情形下，存储在DPB中的图片的数目是四个(POC(0)、POC(8)、POC(4)和POC(2))。当将POC(6)被附加地解码时，从DPB移除与最小POC相对应的POC(0)，从而DPB包括POC(8)、POC(4)、POC(2)和POC(6)。
即，在本发明的实施例中，当存储在DPB中的参考图片包括与max(max_num_ref_frame,1)相对应的数目的帧时，将在POC当中的具有最小值的一个POC的参考图片从DPB移除。
参考表3，在POC(1)、POC(3)、POC(9)和POC(11)中，由于列表L0不可以使用四次并且L1不可使用四次，所以通过使用这种DPB管理方法，与其中使用现有分层图片结构的情形相比较，其中参考图片不可用的情形的数目减少。
根据本发明的另一实施例，可以一起使用参考图4和图5所描述的方法。
即，根据本发明的实施例，可以同时应用以图4中示出的分层图片结构重新排列FrameNum的方法和图5中示出的新的滑动窗口方法。
图6是示出根据本发明的实施例的参考图片管理方法的流程图。
将参考图6描述同时使用图4中示出的方法和图5中示出的方法。
解码第二高层图片的一个图片（步骤S600）。
确定存储在DPB中以包含解码图片的短期参考图片和长期参考图片的参考图片的总数目是否等于Max(max_num_ref_frame,1)，以及是否numShortTerm大于0（步骤S610）。
在步骤S610的确定步骤中，两种确定细节关于（1）存储在DPB中以便包括解码图片的短期参考图片的数目和长期参考图片的数目的图片总数目是否等于Max(max_num_ref_frame,1)和（2）numShortTerm是否大于0，可以是以单独确定处理或者以单一确定处理来执行。
当存储在DPB中的参考图片的总数等于Max(max_num_ref_frame,1)并且numShortTerm大于0时，将存储在DPB中的短期参考图片当中的具有最小值的PicOrderCnt(entryShortTerm)，即具有最小值的POC的短期参考图片，从DPB移除（步骤S620）。
当存储在DPB中的参考图片的数目不等于Max(max_num_ref_frame,1)或者numShortTerm不大于0时，没有图片从DPB移除。
对具有仅小于第二高层图片的POC序列的POC和仅大于第二高层图片的POC序列的POC的上层图片进行解码（步骤S630）。
由于未将最高层图片存储为参考图片，所以存储在DPB中的管理参考图片的处理不能被执行。
表4示出当图3中示出的方法和表3中示出的方法被一起应用时，存储在DPB中的参考图片的可用性和包括在列表L0和列表L1中的图片的可用性。
<表4>
参考表4，在POC(9)中，由于参考图片对于使用列表L0的预测一次不可用并且参考图片对于使用列表LC的预测一次不可用，与现有分层图片结构相比，可以减少参考图片的不可用性。
图7是示出根据本发明的实施例的视频解码器的概念图。
参考图7，视频解码器的DPB包括参考图片存储模块700、参考图片信息确定模块720、以及参考图片管理模块740。
为了解释方便，可以将元件独立地排列，并且可以将至少两个元件组合成单个元件，或者可以将单个元件划分成多个元件以执行功能。在没有脱离本发明的概念的情形下，其中元件被组合或划分的实施例包含在本发明的范围内。
某些元件可能不是用于执行本发明的必要功能的必要元件，而是仅用于提高性能的选择性元件。除了仅用于提高性能的元件，仅通过对实施本发明必不可少的元件来实施本发明，并且仅包括除了仅用于提高性能的选择性元件的必要元件的结构也包括在本发明的范围内。
例如，在本发明的以下实施例中，参考图片存储模块700、图片信息确定模块720和参考图片信息更新模块740被描述为是独立的，但是包括参考图片存储模块700、图片信息确定模块720和参考图片信息更新模块740的至少一个元件的模块，可以通过DPB或存储器的术语表达。
参考图片存储模块700可以存储短期参考图片和长期参考图片。短期参考图片和长期参考图片可以不同地存储在参考图片存储模块中和从其移除。例如，短期参考图片和长期参考图片可以被不同地存储和管理在存储器中。例如，可以在存储器中以FIFO方式（先进先出）管理短期参考图片。关于长期参考图片，不适合以FIFO方式打开的参考图片可以被标记并且作为长期参考图片使用。
图片信息确定模块720可以确定诸如POC和分层图片结构中的FrameNum的图片信息，并且可以包括将被参考的图片信息和将被解码的按序的图片信息。
图片信息确定模块720可以确定图片信息并且可以将图片信息存储在参考图片存储模块700中，以便基于分层图片结构对第二高的时间层图片的一个图片解码，随后对以POC（图片顺序计数）序列在第二高的时间层图片之前和之后的最高时间层图片进行解码。
参考图片信息更新模块740也可以对分层图片结构信息、GOP结构信息等进行解码，并且可以确定将被存储到参考图片存储模块700中的图片信息。
参考图片信息更新模块740可以确定基于存储在DPB中以便包括解码的第二高的时间层图片的短期参考图片和长期参考图片所计算的图片的数目是否等于Max(max_num_ref_frame,1)，以及numShortTerm是否大于0。当作为确定结果确定存储在参考图片存储模块700中的图片的数目等于Max(max_num_ref_frame,1)，并且numShortTerm大于0时，将存在于DPB中的短期参考图片当中的具有最小POC的短期参考图片从参考图片短期模块移除。
通过参考图1和图2所描述的视频编码器和视频解码器的元件，可以实施上文描述的视频编码和解码方法。
当参考这些实施例描述本发明时，本领域的技术人员应该理解为，在没有脱离随附权利要求中所描述的本发明的技术精神和范围的情形下，能够以各种形式对本发明进行修改。

Claims (18)

1.一种视频解码方法，包括步骤：
对分层图片结构中的第二高的时间层图片当中的一个图片进行解码；以及
基于所述第二高的时间层图片的图片顺序计数（POC），对在POC的顺序之前或之后存在的最高时间层图片进行解码。
2.根据权利要求1所述的视频解码方法，进一步包括步骤：
确定基于存储在DPB中以便包括解码的第二高的时间层图片的短期参考图片和长期参考图片所计算的图片的数目是否等于(max_num_ref_frame,1)中的最大值，以及所述短期参考图片的数目是否大于0。
3.根据权利要求2所述的视频解码方法，进一步包括所述步骤：
计算短期参考图片的数目和长期参考图片的数目。
4.根据权利要求2所述的视频解码方法，进一步包括步骤：
当存储在所述DPB中的图片的数目等于(max_num_ref_frame,1)中的最大值以及短期参考图片的数目大于0时，将存在于所述DPB中的所述短期参考图片当中的具有最小POC的短期参考图片从所述DPB移除。
5.根据权利要求1所述的视频解码方法，其中，所述分层图片结构是包括五个时间层图片和八个图片的GOP分层图片结构。
6.根据权利要求1所述的视频解码方法，其中，所述第二高的时间层图片是存在于第三时间层中的图片，并且所述最高时间层图片是存在于第四时间层中的图片。
7.一种视频解码方法，包括步骤：
确定基于存储在DPB以便包括解码的第二高的时间层图片的短期参考图片和长期参考图片所计算的图片的数目是否等于(max_num_ref_frame,1)中的最大值；以及
确定短期参考图片的数目是否大于0。
8.根据权利要求7所述的视频解码方法，进一步包括步骤：
计算短期参考图片的数目和长期参考图片的数目。
9.根据权利要求7所述的视频解码方法，进一步包括步骤：
当存储在所述DPB中的图片的数目等于(max_num_ref_frame,1)中的最大值并且短期参考图片的数目大于0时，将存在于所述DPB中的所述短期参考图片当中的具有最小POC的短期参考图片从所述DPB移除。
10.一种视频解码器，包括：
图片信息确定模块，所述图片信息确定模块对分层图片结构中的第二高的时间层图片当中的一个图片进行解码，并且确定图片信息，以便基于所述第二高的时间层图片的图片顺序计数（POC），对在POC顺序的顺序之前或之后存在的最高时间层图片进行解码；以及
参考图片存储模块，所述参考图片存储模块存储基于通过所述图片信息确定模块确定的图片信息解码的所述第二高的时间层图片。
11.根据权利要求10所述的视频解码器，进一步包括：
参考图片信息更新模块，所述参考图片信息更新模块确定基于存储在所述参考图片存储模块中以便包括所述解码的第二高的时间层图片的短期参考图片和长期参考图片所计算的图片的数目是否等于(max_num_ref_frame,1)中的最大值，以及短期参考图片的数目是否大于0。
12.根据权利要求11所述的视频解码器，其中，所述参考图片信息更新模块计算短期参考图片的数目和长期参考图片的数目。
13.根据权利要求11所述的视频解码器，其中，当存储在所述参考图片存储模块中的图片的数目等于(max_num_ref_frame,1)中的最大值并且短期参考图片的数目大于0时，所述参考图片信息更新模块将存在于所述参考图片存储模块中的短期参考图片当中的具有最小POC的短期参考图片从所述DPB移除。
14.根据权利要求10所述的视频解码器，其中，所述分层图片结构是包括五个时间层图片和八个图片的GOP分层图片结构。
15.根据权利要求10所述的视频解码器，其中，所述第二高的时间层图片是存在于第三时间层中的图片，并且所述最高时间层图片是存在于第四时间层中的图片。
16.一种视频解码器，包括：
参考图片信息更新模块，所述参考图片信息更新模块确定基于存储在参考图片存储模块以便包括解码的第二高的时间层图片的短期参考图片和长期参考图片所计算的图片的数目是否等于(max_num_ref_frame,1)中的最大值，并且确定短期参考图片的数目是否大于0；以及
参考图片存储模块，所述参考图片存储模块基于通过所述参考图片信息更新单元创建的信息更新所述参考图片。
17.根据权利要求16所述的视频解码器，其中，所述参考图片信息更新模块计算短期参考图片的数目和长期参考图片的数目。
18.根据权利要求16所述的视频解码器，其中，所述参考图片信息更新模块更新所述参考图片，以便当存储在所述DPB中的图片的数目等于(max_num_ref_frame,1)中的最大值并且短期参考图片的数目大于0时，将存在于所述DPB中的所述短期参考图片当中的具有最小POC的短期参考图片从所述DPB移除。
CN201280030271.0A 2011-04-26 2012-04-20 管理参考图片列表的方法及使用该方法的装置 Pending CN103621091A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161479369P 2011-04-26 2011-04-26
US61/479,369 2011-04-26
PCT/KR2012/003094 WO2012148139A2 (ko) 2011-04-26 2012-04-20 참조 픽쳐 리스트 관리 방법 및 이러한 방법을 사용하는 장치

Publications (1)

Publication Number Publication Date
CN103621091A true CN103621091A (zh) 2014-03-05

Family

ID=47072877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280030271.0A Pending CN103621091A (zh) 2011-04-26 2012-04-20 管理参考图片列表的方法及使用该方法的装置

Country Status (8)

Country Link
US (1) US20140050270A1 (zh)
JP (4) JP5918354B2 (zh)
KR (5) KR101759672B1 (zh)
CN (1) CN103621091A (zh)
DE (1) DE112012001635T5 (zh)
ES (1) ES2489816B2 (zh)
GB (2) GB2548739B (zh)
WO (1) WO2012148139A2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106664426A (zh) * 2014-06-20 2017-05-10 高通股份有限公司 视频译码中的语法元素的值范围
CN106713911A (zh) * 2015-11-12 2017-05-24 三星电子株式会社 操作半导体装置的方法和半导体系统
CN106937168A (zh) * 2015-12-30 2017-07-07 掌赢信息科技（上海）有限公司 一种利用长期参考帧的视频编码方法、电子设备及系统
CN114205615A (zh) * 2021-12-03 2022-03-18 北京达佳互联信息技术有限公司 解码图像缓存区的管理方法和装置

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10136143B2 (en) * 2012-12-07 2018-11-20 Qualcomm Incorporated Advanced residual prediction in scalable and multi-view video coding
EP2946558B1 (en) 2013-01-15 2020-04-29 Huawei Technologies Co., Ltd. Method for decoding an hevc video bitstream
KR102177831B1 (ko) * 2013-04-05 2020-11-11 삼성전자주식회사 멀티 레이어 비디오의 복호화 방법 및 장치, 멀티 레이어 비디오의 부호화 방법 및 장치
US9510001B2 (en) 2013-07-09 2016-11-29 Electronics And Telecommunications Research Institute Video decoding method and apparatus using the same
KR102222311B1 (ko) * 2013-07-09 2021-03-04 한국전자통신연구원 영상의 복호화 방법 및 이를 이용하는 장치
WO2015009021A1 (ko) 2013-07-15 2015-01-22 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
WO2015009009A1 (ko) * 2013-07-15 2015-01-22 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150009468A (ko) * 2013-07-15 2015-01-26 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
US9807407B2 (en) * 2013-12-02 2017-10-31 Qualcomm Incorporated Reference picture selection
KR20150075042A (ko) * 2013-12-24 2015-07-02 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
WO2015102271A1 (ko) * 2014-01-02 2015-07-09 한국전자통신연구원 영상의 복호화 방법 및 이를 이용하는 장치
KR102294092B1 (ko) 2014-01-02 2021-08-27 한국전자통신연구원 영상의 복호화 방법 및 이를 이용하는 장치
CN106105213B (zh) * 2014-03-24 2019-09-10 株式会社Kt 多层视频信号编码/解码方法和装置
US20170359577A1 (en) * 2014-10-07 2017-12-14 Samsung Electronics Co., Ltd. Method and device for encoding or decoding multi-layer image, using interlayer prediction
KR102164062B1 (ko) * 2015-09-08 2020-10-13 미디어텍 인크. 인트라 블록 복사 모드를 위한 디코딩된 픽처 버퍼의 방법 및 시스템
US10115377B2 (en) 2015-09-24 2018-10-30 Intel Corporation Techniques for video playback decoding surface prediction
CN106488227B (zh) * 2016-10-12 2019-03-15 广东中星电子有限公司 一种视频参考帧管理方法和系统
US20190364298A1 (en) * 2016-11-22 2019-11-28 Electronics And Telecommunications Research Institute Image encoding/decoding method and device, and recording medium having bitstream stored thereon
US20200267385A1 (en) * 2017-07-06 2020-08-20 Kaonmedia Co., Ltd. Method for processing synchronised image, and apparatus therefor
JP6992351B2 (ja) 2017-09-19 2022-01-13 富士通株式会社 情報処理装置、情報処理方法および情報処理プログラム
CN115695788A (zh) * 2018-01-15 2023-02-03 三星电子株式会社 编码方法及其设备以及解码方法及其设备
JP2021534673A (ja) * 2018-08-17 2021-12-09 ホアウェイ・テクノロジーズ・カンパニー・リミテッド ビデオコーディングにおける参照ピクチャ管理
SG11202104942TA (en) * 2018-11-27 2021-06-29 Op Solutions Llc Adaptive block update of unavailable reference frames using explicit and implicit signaling
US11196988B2 (en) * 2018-12-17 2021-12-07 Apple Inc. Reference picture management and list construction
US11595652B2 (en) 2019-01-28 2023-02-28 Op Solutions, Llc Explicit signaling of extended long term reference picture retention
WO2020159994A1 (en) * 2019-01-28 2020-08-06 Op Solutions, Llc Online and offline selection of extended long term reference picture retention

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101390400A (zh) * 2006-02-27 2009-03-18 汤姆森许可贸易公司 Svc解码器上的分组丢失检测和虚拟分组产生的方法和设备
CN101548550A (zh) * 2006-10-16 2009-09-30 诺基亚公司 用于在多视点视频编码中实施有效的已解码缓存器管理的系统和方法
EP2117235A2 (en) * 2008-05-10 2009-11-11 Samsung Electronics Co., Ltd. Apparatus and method for managing reference frame buffer in layered video coding
CN101637028A (zh) * 2007-02-28 2010-01-27 索尼株式会社 图像信息编码设备和编码方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4405272B2 (ja) * 2003-02-19 2010-01-27 パナソニック株式会社 動画像復号化方法、動画像復号化装置及びプログラム
US20060013318A1 (en) * 2004-06-22 2006-01-19 Jennifer Webb Video error detection, recovery, and concealment
US20060083298A1 (en) 2004-10-14 2006-04-20 Nokia Corporation Reference picture management in video coding
US20070086521A1 (en) * 2005-10-11 2007-04-19 Nokia Corporation Efficient decoded picture buffer management for scalable video coding
EP1806930A1 (en) * 2006-01-10 2007-07-11 Thomson Licensing Method and apparatus for constructing reference picture lists for scalable video
KR20070111968A (ko) * 2006-05-19 2007-11-22 엘지전자 주식회사 비디오 신호의 디코딩 방법 및 장치
US20080253467A1 (en) * 2007-04-13 2008-10-16 Nokia Corporation System and method for using redundant pictures for inter-layer prediction in scalable video coding
WO2008125900A1 (en) * 2007-04-13 2008-10-23 Nokia Corporation A video coder
WO2009130561A1 (en) * 2008-04-21 2009-10-29 Nokia Corporation Method and device for video coding and decoding
KR20090117863A (ko) * 2008-05-10 2009-11-13 삼성전자주식회사 계층적 영상 부호화를 위한 참조 프레임 관리 장치 및 방법
JP2009296078A (ja) * 2008-06-03 2009-12-17 Victor Co Of Japan Ltd 符号化データ再生装置、符号化データ再生方法、および符号化データ再生プログラム
US8660174B2 (en) * 2010-06-15 2014-02-25 Mediatek Inc. Apparatus and method of adaptive offset for video coding
US20120230409A1 (en) * 2011-03-07 2012-09-13 Qualcomm Incorporated Decoded picture buffer management

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101390400A (zh) * 2006-02-27 2009-03-18 汤姆森许可贸易公司 Svc解码器上的分组丢失检测和虚拟分组产生的方法和设备
CN101548550A (zh) * 2006-10-16 2009-09-30 诺基亚公司 用于在多视点视频编码中实施有效的已解码缓存器管理的系统和方法
CN101637028A (zh) * 2007-02-28 2010-01-27 索尼株式会社 图像信息编码设备和编码方法
EP2117235A2 (en) * 2008-05-10 2009-11-11 Samsung Electronics Co., Ltd. Apparatus and method for managing reference frame buffer in layered video coding

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106664426A (zh) * 2014-06-20 2017-05-10 高通股份有限公司 视频译码中的语法元素的值范围
CN106664426B (zh) * 2014-06-20 2020-01-21 高通股份有限公司 用于编码和解码视频数据的方法及装置
CN106713911A (zh) * 2015-11-12 2017-05-24 三星电子株式会社 操作半导体装置的方法和半导体系统
CN106937168A (zh) * 2015-12-30 2017-07-07 掌赢信息科技（上海）有限公司 一种利用长期参考帧的视频编码方法、电子设备及系统
CN114205615A (zh) * 2021-12-03 2022-03-18 北京达佳互联信息技术有限公司 解码图像缓存区的管理方法和装置
CN114205615B (zh) * 2021-12-03 2024-02-06 北京达佳互联信息技术有限公司 解码图像缓存区的管理方法和装置

Also Published As

Publication number Publication date
KR101759672B1 (ko) 2017-07-31
GB2505344B (en) 2017-11-15
GB2548739A (en) 2017-09-27
WO2012148139A3 (ko) 2013-03-21
KR20170125122A (ko) 2017-11-13
KR20140029459A (ko) 2014-03-10
US20140050270A1 (en) 2014-02-20
DE112012001635T5 (de) 2014-02-27
GB2505344A (en) 2014-02-26
GB201319020D0 (en) 2013-12-11
GB201709457D0 (en) 2017-07-26
ES2489816A2 (es) 2014-09-02
KR20180049130A (ko) 2018-05-10
KR101911012B1 (ko) 2018-12-19
ES2489816B2 (es) 2015-10-08
KR20170085612A (ko) 2017-07-24
WO2012148139A2 (ko) 2012-11-01
ES2489816R1 (es) 2014-12-09
KR101852789B1 (ko) 2018-06-04
JP6568242B2 (ja) 2019-08-28
JP2014519223A (ja) 2014-08-07
JP6276319B2 (ja) 2018-02-07
JP2018057049A (ja) 2018-04-05
KR101794199B1 (ko) 2017-11-07
JP5918354B2 (ja) 2016-05-18
JP2016146667A (ja) 2016-08-12
KR20150140849A (ko) 2015-12-16
GB2548739B (en) 2018-01-10
JP2019208268A (ja) 2019-12-05
KR101581100B1 (ko) 2015-12-29
JP6867450B2 (ja) 2021-04-28

Similar Documents

Publication Publication Date Title
CN103621091A (zh) 管理参考图片列表的方法及使用该方法的装置
US10575015B2 (en) Method and apparatus for decoding a video signal using adaptive transform
KR101677406B1 (ko) 차세대 비디오용 비디오 코덱 아키텍처
CN103262541B (zh) 使用四叉树来编码/解码块信息的方法、和使用该方法的装置
JP2021145374A (ja) 復号化方法及び符号化方法
US10880569B2 (en) Video signal processing method and device
CN107079151B (zh) 用于处理视频信号的方法和设备
CN103283237A (zh) 帧内预测方法和使用该方法的设备
CN103748879A (zh) 设置运动矢量列表的方法及使用其的装置
US11259038B2 (en) Video decoding method and apparatus using the same
KR20160088243A (ko) 비디오 신호 처리 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20140305