CN105122800A - 视频信号处理方法及装置 - Google Patents

Abstract

本发明涉及视频信号处理方法及装置，更详细地，涉及对视频信号进行编码或解码的视频信号处理方法及装置。为此，本发明提供视频信号处理方法及利用其的视频信号处理装置，上述视频信号处理方法的特征在于，包括：接收包含基础层和增强层的可分级视频信号的步骤；接收用于表示对层间预测的限制是否适用于上述基础层的标志的步骤；对上述基础层的图片进行解码的步骤；以及利用被解码的上述基础层的图片，来对上述增强层的图片进行解码的步骤，若上述标志表示对层间预测的限制适用于上述基础层，则上述基础层图片的已设定的区域不用于上述增强层图片的层间预测。

Description

视频信号处理方法及装置

技术领域

本发明涉及视频信号处理方法及装置，更详细地，涉及对视频信号进行编码或解码的视频信号处理方法及装置。

背景技术

压缩编码是指用于通过通信线路传送经数字化处理的信息或以适合于存储介质的形式存储经数字化处理的信息的一连串信号处理技术。压缩编码的对象有声音、影像、字符等，尤其，以影像作为对象来进行压缩编码的技术被称作视频影像压缩。通过考虑空间上的相互关系、时间上的相互关系、概率上的相互关系等来对视频信号去除冗余信息来形成对视频信息的压缩编码。但是，随着近来多种媒体及数据传送介质的发展，更高效的视频信号处理方法及装置成为了一种需求。

另一方面，近来在多种多媒体环境下，随着网络状况或终端的分辨率等用户环境的变化，用于从空间上、时间上和/或图像质量等方面分级提供视频内容的可分级视频编码方式的需求逐渐增加。

发明内容

要解决的技术问题

本发明的目的在于提高视频信号的编码效率。尤其，本发明的目的在于，提供对可分级视频信号有效进行编码的方法。

解决问题的手段

为了解决如上所述的问题，根据本发明实施例的视频信号处理方法的特征在于，包括：接收包含基础层和增强层的可分级视频信号的步骤；接收用于表示对层间预测的限制是否适用于上述基础层的标志的步骤；对上述基础层的图片进行解码的步骤；以及利用被解码的上述基础层的图片，来对上述增强层的图片进行解码的步骤，若上述标志表示对层间预测的限制适用于上述基础层，则上述基础层图片的已设定的区域不用于上述增强层图片的层间预测。

并且，根据本发明实施例的视频信号处理装置的特征在于，包括：解复用器，用于接收包含基础层和增强层的可分级视频信号及用于表示对层间预测的限制是否适用于上述基础层的标志；基础层解码器，用于对上述基础层的图片进行解码；以及增强层解码器，利用被解码的上述基础层的图片，来对上述增强层的图片进行解码，若上述标志表示对层间预测的限制适用于上述基础层，则上述基础层图片的已设定的区域不用于上述增强层图片的层间预测。

发明的效果

根据本发明的实施例，可对采用多路解码(multi-loopdecoding)方式的可分级视频信号有效支持随机访问。

附图说明

图1为本发明实施例的视频信号编码器装置的简要框图。

图2为本发明实施例的视频信号解码器装置的简要框图。

图3为示出根据本发明实施例来分割编码单元的一例的图。

图4为示出以分级方式表示图3中分割结构的方法的一实施例的图。

图5为示出本发明实施例的各种大小及形式的预测单元的图。

图6为本发明实施例的可分级视频编码系统的简要框图。

图7及图8为示出本发明实施例的即时解码刷新(IDR)图片、完全随机访问(CRA)图片及引导图片的图。

图9为示出在采用多路解码方式的可分级视频信号中执行随机访问的一实施例的图。

图10为示出在采用多路解码方式的可分级视频信号中执行随机访问的本发明的第一实施例的图。

图11为示出在采用多路解码方式的可分级视频信号中执行随机访问的本发明的第二实施例的图。

具体实施方式

在本说明书中所使用的术语在考虑在本发明中的功能的情况下，尽可能选择了当前广泛使用的普通术语，但这可根据本发明所属技术领域的技术人员的意图、惯例或新技术的出现等而不同。并且，在特定情况下，还存在申请人任意选定的术语，在此情况下，将在相应的发明说明部分记述其含义。因此，需明确，在本说明书中所使用的术语应以该术语所具有的实质性的含义和本说明书的全部内容为基础来解释，而非术语的单纯字面含义。

在本发明中，以下术语可按如下基准来解释，即使是未记载的术语，也可按如下主旨来解释。根据情况，可将编码解释为编码或解码，并且信息(information)作为包含值(values)、参数(parameter)、系数(coefficients)、元素(elements)等全部的术语，可根据情况解释成不同含义，因而本发明并不限定于此。“单元”用作指定影像(图片)处理的基本单位或图片的特定位置的含义，可根据情况与“块”、“分区(partition)”或“区域”等术语相互混用。并且，在本说明书中，单元可以作为包含编码单元、预测单元、变换单元等全部的概念来使用。

图1为本发明一实施例的视频信号编码装置的简要框图。参照图1，本发明的编码装置100大致包括变换部110、量化部115、逆量化部120、逆变换部125、滤波部130、预测部150及熵编码部160。

变换部110通过变换所接收的视频信号的像素值来获得变换系数值。例如，可采用离散余弦变换(DiscreteCosineTransform，DCT)或小波变换(WaveletTransform)等。尤其，离散余弦变换可通过使所输入的图片信号分为规定大小的块形式来执行变换。在变换的过程中，编码效率可根据变换区域内的多个值的分布和特性而不同。

量化部115对从变换部110输出的变换系数值进行量化。在逆量化部120，对变换系数值进行逆量化，而在逆变换部125，利用所逆量化的变换系数值来复原成原来的像素值。

滤波部130执行用于改善所复原的图片的品质的滤波运算。例如，可包括去块效应滤波器及自适应环路滤波器等。为了进行输出或用作参考图片，经滤波的图片存储于解码图片缓冲器(DecodedPictureBuffer)156。

为了提高编码效率，并不对图片信号直接进行编码，而是采用以下方法：通过预测部150，利用已经被编码的区域来预测图片，并在所预测的图片加上原图片和预测图片之间的残值(residualvalue)来获得复原图片。帧内预测部152在当前图片内执行帧内预测，帧间预测部154利用存储于解码图片缓冲器156的参考图片来预测当前图片。帧内预测部152通过从当前图片内的复原的区域执行帧内预测，来向熵编码部160传递帧内编码信息。帧间预测部154还可包括运动估计部154a及运动补偿部154b。在运动估计部154a，通过参考复原的特定区域来获得当前区域的运动矢量值。在运动估计部154a，通过向熵编码部160传递参考区域的位置信息(参考帧、运动矢量等)等，来可使比特流包含参考区域的位置信息。在运动补偿部154b，利用从运动估计部154a传递的运动矢量值来执行帧间运动补偿。

熵编码部160对量化的变换系数、帧间编码信息、帧内编码信息及从帧间预测部154输入的参考区域信息等进行熵编码，来生成视频信号比特流。其中，在熵编码部160采用可变长编码(VariableLengthCoding，VLC)方式和算术编码(arithmeticcoding)等。在可变长编码(VCL)方式中，将所输入的多个符号变换成连续的码字，而码字的长度可变。例如，以短的码字表示经常发生的多个符号，以长的码字表示不经常发生的多个符号。作为可变长编码方式，可采用基于上下文的自适应可变长编码(Context-basedAdaptiveVariableLengthCoding，CAVLC)方式。算术编码将连续的多个数据符号变换成一个小数，而算术编码可得到表示各个符号所需的最佳小数位(bit)。作为算数编码，可采用基于上下文的自适应算数编码(Context-basedAdaptiveBinaryArithmeticCode，CABAC)。

所生成的上述比特流以网络抽象层(NetworkAbstractionLayer，NAL)单元为基本单位来被封装。网络抽象层单元包括被编码的片段，上述片段由整数个编码树单元(CodingTreeUnit)构成。为了在视频解码器中对比特流进行解码，首先使比特流以网络抽象层单元为单位进行分离，之后对所分离的各个网络抽象层单元进行解码。

图2为本发明一实施例的视频信号解码装置200的简要框图。参照图2，本发明的解码装置200大致包括熵解码部210、逆量化部220、逆变换部225、滤波部230、及预测部250。

熵解码部210对视频信号比特流进行熵解码，来抽取各个区域的变换系数、运动矢量等。逆量化部220对经熵解码的变换系数进行逆量化，逆变换部225利用经逆量化的变换系数来复原原来的像素值。

另一方面，滤波部230通过对图片执行滤波来提高图像质量。其中，可包括用于减少块扭曲现象的去块效应滤波器和/或用于去除图片整体扭曲的自适应环路滤波器等。经滤波的图片，或者进行输出，或者为了用作对下一帧的参考图片而存储于解码图片缓冲器(DecodedPictureBuffer)256。

并且，本发明的预测部250包括帧内预测部252及帧间预测部254，利用通过上述的熵解码部210被解码的解码类型、各个区域的变换系数、运动矢量等信息来复原预测图片。

对此，将在上述帧内预测部252从当前图片内的被解码样本执行帧内预测。帧间预测部254利用存储于解码图片缓冲器256的参考图片及运动矢量来生成预测图片。帧间预测部254还可包括运动估计部254a及运动补偿部254b。在运动估计部254a，通过获得表示当前块和用于编码的参考图片的参考块之间的位置关系的运动矢量，向运动补偿部254b传递所获得的运动矢量。

通过从上述帧内预测部252或帧间预测部254输出的预测值和从逆变换部225输出的像素值相加，来生成复原的视频帧。

以下，对上述编码装置100和解码装置200的工作方面，参照图3至图5来说明对编码单元及预测单元等进行分割的方法。

编码单元是指在上述中所说明的视频信号的处理过程中，例如在帧内(intra)/帧间(inter)预测、变换(transform)、量化(quantization)和/或熵编码(entropycoding)等过程中，用于处理图片的基本单位。在对一个图片进行编码的过程中所使用的编码单元的大小可不固定。编码单元可呈四角形形式，一个编码单元可重新分割为多个编码单元。

图3为示出根据本发明实施例来分割编码单元的一例的图。例如，大小为2N×2N的一个编码单元可重新被分割成四个大小为N×N的编码单元。这种编码单元的分割可以以递归方式(recursively)执行，所有编码单元无需被分割成相同的形式。但是，为了便于进行编码及处理过程，可存在对编码单元32的最大大小和/或编码单元34的最小大小的限制。

对一个编码单元，可存储用于表示相应的编码单元是否被分割的信息。图4为示出利用标志值来以分级方式表示图3所示编码单元的分割结构的方法的一实施例的图。关于表示编码单元是否被分割的信息，可在相应单元被分割的情况下配置为“1”值，在相应单元不被分割的情况下配置为“0”值。如图4所示，若用于表示相应编码单元是否被分割的标志值为“1”，则与相应节点相对应的编码单元将重新被分成四个编码单元，若用于表示相应编码单元是否被分割的标志值为“0”，则不再分割编码单元，并可执行对相应编码单元的处理程序。

在上述中所说明的编码单元的结构可利用递归树(recursivetree)结构来表示。即，以一个图片或最大大小的编码单元作为根(root)，被分割成其他编码单元的编码单元具有所被分割的编码单元的数量相当的子(child)节点。因此，不再被分割的编码单元成为叶(leaf)节点。当假设对一个编码单元仅可进行正方形分割时，由于一个编码单元最多可被分割成4个其他编码单元，因而表示编码单元的树结构可呈四叉树(Quardtree)形状。

在编码器中，根据视频图片的特性(例如，分辨率)或考虑编码的效率来选择编码单元的最佳大小，而比特流可包含关于所选择最佳大小的信息或可导出所选择最佳大小的信息。例如，可定义最大编码单元的大小及树结构的最大深度。若分割成正方形，编码单元的高度及宽度为主节点的编码单元的高度及宽度的一半，因此利用如上所述的信息，可求得最小编码单元的大小。或者，相反地，可通过预先定义并利用最小编码单元的大小及树结构的最大深度，并由此导出最大编码单元的大小来加以利用。在进行正方形分割的情况下，由于单元的大小以2的倍数形式变化，因而可通过以2为底数的对数值来表示实际编码单元的大小，从而提高传送效率。

在解码器中，可获得用于表示当前编码单元是否被分割的信息。若仅在特定条件下获得(传送)这种信息，则可提高效率。例如，可使当前编码单元被分割的条件为在当前位置加上当前编码单元大小的值小于图片的大小，且当前单元大小大于已设定的最小编码单元的大小，因而仅在这种情况下，才可获得用于表示当前编码单元是否被分割的信息。

若上述信息表示编码单元被分割，则将要被分割出的编码单元的大小为当前编码单元的一半，以当前处理位置为基准，被分割成四个正方形编码单元。可对被分割出的各编码单元反复执行如上所述的处理。

用于编码的图片预测(运动补偿)将不再被分割的编码单元(即，编码单元树的叶节点)作为对象。以下，执行这种预测的基本单位被称作预测单元(predictionunit)或预测块(predictionblock)。

图5示出本发明实施例的各种大小及形式的预测单元。预测单元可在编码单元内具有正方形、长方形等多种形式。例如，一个预测单元不能被分割(2N×2N)，或如图5所示，可被分割成具有N×N、2N×N、N×2N、2N×N/2、2N×3N/2、N/2×2N、3N/2×2N等多种大小及形式。并且，预测单元的可分割的形式可在帧内编码单元和帧间编码单元中以分别不同的方式定义。例如，可设定成在帧内编码单元中仅可分割成2N×2N或N×N形式，而在帧间编码单元中可分割成在上述中所提及的所有形式。此时，比特流可包含表示上述预测单元是否被分割的信息或上述预测单元以何种形式被分割的信息。或者，还可从其他信息导出这种信息。

以下，可将在本说明书中所使用的“单元”这一术语用作代替作为执行预测的基本单位的上述预测单元的术语。但是，本发明并不限定于此，更宽泛地，可将上述“单元”这一术语理解为包括上述编码单元的概念。

为了使执行解码的当前单元复原，可利用包括当前单元的当前图片或其他多个图片的被解码的部分。对在复原的过程中仅使用当前图片的情况，即，仅执行帧内预测的图片(切片)被称作帧内图片或I图片(切片)，可执行帧内预测和帧间预测两者的图片(切片)被称作帧间图片(切片)。为了在帧间图片(切片)中预测各个单元而利用最多一个运动矢量及参考指标的图片(切片)被称作预测图片(predictivepicture)或P图片(切片)，利用最多两个运动矢量及参考指标的图片(切片)被称作双向预测图片(Bi-predictivepicture)或B图片(切片)。

在帧内预测部中，从当前图片内的被复原的区域执行预测对象单元的像素值的帧内预测(Intraprediction)。例如，可以以当前单元为中心，从位于上端、左侧、左侧上端和/或右侧上端的多个单元的被编码的像素预测当前单元的像素值。

另一方面，在帧间预测部中，利用不是当前图片的被复原的其他多个图片的信息来执行预测对象单元的像素值的帧间预测(Interprediction)。此时，用于预测的图片被称作参考图片(referencepicture)。在帧间预测过程中，可利用用于表示包括相应参考区域的参考图片的指标及运动矢量(motionvector)信息等，来表示利用哪种参考区域对当前单元进行预测。

帧间预测可包括向前预测(forwarddirectionprediction)、向后预测(backwarddirectionprediction)及双向预测(Bi-prediction)。向前预测意味着利用时间上在当前图片之前显示(或输出)的一个参考图片来进行的预测，向后预测意味着利用时间上在当前图片之后显示(或输出)的一个参考图片来进行的预测。为此，有可能需要一组运动信息(例如，运动矢量及参考图片指标)。在双向预测方式中，可利用最多两个参考区域，该两个参考区域可存在于相同的参考图片，也可分别存在于互不相同的图片。即，在双向预测方式中，可利用最多两组运动信息(例如，运动矢量及参考图片指标)，两个运动矢量可具有相同的参考图片指标，也可具有互不相同的参考图片指标。此时，多个参考图片在时间上均可显示(或输出)于当前图片之前或当前图片之后。

可利用运动矢量及参考图片指标来获得当前单元的参考单元。上述参考单元存在于具有上述参考图片指标的参考图片内。并且，可将借助上述运动矢量来特定的单元的像素值或内插(interpolation)的值用作上述当前单元的预测值(predictor)。为了进行具有亚像素(sub-pel)单位的像素准确度的运动预测，例如，可对亮度信号使用8抽头内插滤波器，可对色差信号使用4抽头内插滤波器。如上所述，利用运动信息来执行从之前被解码的图片预测当前单元的图片的运动补偿(motioncompensation)。

另一方面，对于当前图片，可由用于帧间预测而使用的多个图片来构成参考图片列表。在B图片的情况下，需要两个参考图片列表，以下，上述两个参考图片列表分别被称作参考图片列表0(或L0)、参考图片列表1(或L1)。

图6为本发明实施例的可分级视频编码(或可分级高效视频编码)系统的简要框图。

可分级视频编码方式为用于根据在多种多媒体环境下的网络状况或终端的分辨率等多种用户环境，来从空间上、时间上和/或图像质量等方面，分级提供视频内容的压缩方法。空间可分级性(scalability)可通过以不同的分辨率按各个层对相同的图片进行编码来支持，时间可分级性可通过调节图片的每秒钟帧的再生率来体现。并且，品质可分级性可通过使每个层的量化参数各不相同的方式进行编码，来提供多种图像质量的图片。此时，分辨率、每秒钟帧数和/或品质低的图片序列被称作基础层，分辨率、每秒钟帧数和/或品质相对高的图片序列被称作增强层。

以下，参照图6，对本发明的可分级视频编码系统的结构进行更加具体的说明。可分级视频编码系统包括编码装置300和解码装置400。上述编码装置300可包括基础层编码部100a、增强层编码部100b及多路复用器(multiplexer)180，解码装置400可包括解复用器(demultiplexer)280、基础层解码部200a及增强层解码部200b。基础层编码部100a可通过对输入信号X(n)进行压缩来生成基础比特流。增强层编码部100b可通过利用输入信号X(n)和借助基础层编码部100a生成的信息，来生成增强层比特流。多路复用器180可通过利用上述基础层比特流和增强层比特流来生成可分级比特流。

上述基础层编码部100a及增强层编码部100b的基本结构可与图1中所示的编码装置100相同或相似。但是，增强层编码部100b的帧间预测部可通过利用在基础层编码部100a生成的运动信息来执行帧间预测。并且，增强层编码部100b的解码图片缓冲器(DPB)可对存储于基础层编码部100a的解码图片缓冲器(DPB)的图片进行采样并存储。上述采样如后所述可包括重采样、上采样等。

以如上所述的方式生成的可分级比特流可通过规定通道向解码装置400传送，所传送的可分级比特流可借助解码装置400的解复用器280来分为增强层比特流和基础层比特流。基础层解码部200a接收基础层比特流，并对基础层比特流进行复原来生成输出信号Xb(n)。并且，增强层解码部200b接收增强层比特流，并参考在基础层解码部200a复原的信号来生成输出信号Xe(n)。

上述基础层解码部200a及增强层解码部200b的基本结构可与图2中所示的解码装置200相同或相似。但是，增强层解码部200b的帧间预测部可利用在基础层解码部200a生成的运动信息来执行帧间预测。并且，增强层解码部200b的解码图片缓冲器(DPB)可对存储于基础层解码部200a的解码图片缓冲器(DPB)的图片进行采样并存储。上述采样可包括重采样、上采样等。

另一方面，为了进行有效预测，可在可分级视频编码过程中采用层间预测(interlayerprediction)。所谓层间预测，意味着利用下层的运动(motion)信息、语法(syntax)信息和/或纹理(texture)信息来预测上层的图片信号。此时，在上层的编码过程中被参考的下层可被称作参考层。例如，增强层可将基础层作为参考层来被编码。

上述基础层的参考单元可通过采样(sampling)被扩大或被缩小来使用。所谓采样，可意味着改变图片分辨率(imageresolution)或改变图片品质。上述采样可包括重采样(re-sampling)、下采样(down-sampling)、上采样(up-sampling)等。例如，为了执行层间预测，可对多个帧内样本进行重采样。或可通过采用下采样滤波器来重新生成像素数据，来降低图片分辨率，这被称作下采样。或者，可通过采用上采样滤波器来制作出追加性的像素数据，以此提高图片分辨率，这被称作上采样。在本说明书中，可根据实施例的技术思想及技术范围来适当解释“采样”这一术语。

可分级视频编码的解码方式大致包括单路(single-loop)方式和多路(multi-loop)方式。在单路方式中，仅对实际所要再生成的层的图片进行解码，而对其下层，并不对除了帧内单元之外的其他图片进行解码。因此，虽然在增强层可参考下层的运动矢量、语法信息等，但无法参考帧内单元之外的其他单元的纹理信息等。另一方面，多路方式为不仅对当前所要再生成的层，还对其下层均进行复原的方式。因此，若采用多路方式，不仅可参考下层的语法信息，还可参考全部纹理信息。

另一方面，在利用视频信号的广播或各种应用中，为了执行信道切换、搜索(seek)、动态流(dynamicstreaming)等，提供随机访问(randomaccess)功能显得尤为重要。这种用于随机访问的图片被称作帧内随机访问点(IntraRandomAccessPoint，IRAP)图片。上述帧内随机访问点图片还可被分为即时解码刷新(InstantaneousDecodingRefresh，IDR)图片、完全随机访问(CleanRandomAccess，CRA)图片及断开连接访问(BrokenLinkAccess，BLA)图片。

图7示出本发明实施例的即时解码刷新图片及引导图片(LeadingPicture，LP)。在图7中，各个图片以再生顺序排列，I、P、B分别表示I图片、P图片、B图片。并且，各个图片的数字表示解码顺序，图片结构(SOP，StructureofPictures)表示以解码顺序为基准的连续一个以上的图片。

参照图7，即时解码刷新图片15为仅包含I切片的图片，在对即时解码刷新图片15解码的瞬间，将空出解码装置的解码图片缓冲器。在第n图片结构中，当以再生顺序为基准时，即时解码刷新图片15为最后图片。但是，以解码顺序为基准，则在图片B14被解码后，即时解码刷新图片15被解码，在即时解码刷新图片15被解码之前，将空出解码图片缓冲器。因此，在即时解码刷新图片15之后被解码的多个图片，例如图片B16、图片B17及图片B18将无法如图片P11或图片B14那样参考之前被解码的图片来执行帧间预测。并且，以即时解码刷新图片15为基准，再生顺序和解码顺序均在后面的图片(尾随图片)，即图片B19无法参考解码顺序或再生顺序在即时解码刷新图片15之前的多个图片。因此，即使从即时解码刷新图片15开始，执行随机访问使得从相应图片被解码，第n+1个图片结构中所存在的所有图片均可被正常解码，并再生。

另一方面，在图7中，以输出顺序在即时解码刷新图片15(或帧内随机访问点图片)之前，但以解码顺序在即时解码刷新图片15之后的多个图片，即，图片B16、图片B17及图片B18被称作即时解码刷新图片15的引导图片。根据图7的实施例，由于即时解码刷新图片15空出解码图片缓冲器，因而作为引导图片的图片B17无法参考图片P11或图片B14来被解码，仅可将图片B16用作参考图片。为了解决这种问题，可使用完全随机访问图片。

图8示出本发明实施例的完全随机访问图片及引导图片。在图8的实施例中，将省略对与图7的实施例相同或相应部分的重复说明。

参照图8，完全随机访问图片15′为仅包含I切片的图片，允许完全随机访问图片的引导图片参考在完全随机访问图片之前被解码的多个图片。因此，在图8中，图片B17可同时参考图片P11和图片B16来执行双向预测。若在完全随机访问图片15′中执行随机访问，则由于图片P11不被解码，因而图片B17将不被正常解码。但是以再生顺序为基准，图片B17位于完全随机访问图片15′之前的位置，因而在再生方面，上述图片B17是否被正常解码将不成为问题。

如上所述，在多个引导图片中，执行随机访问时不被正常解码的图片被称作随机访问跳过引导(RandomAccessSkippedLeading，RASL)图片。在图8的实施例中，图片B17相当于随机访问跳过引导图片。在解码装置中，若对完全随机访问图片执行随机访问，则不对随机访问跳过引导图片执行解码。

另一方面，虽然图片B16及图片B18为完全随机访问图片15′的引导图片，但由于图片B16及图片B18仅参考完全随机访问图片15′来执行编码，因而在依次解码的情况和在完全随机访问图片15′中执行随机访问的情况下，均可被正常解码。如上所述，在执行随机访问的情况下也能够被正常解码的图片被称作随机访问可解码引导(RandomAccessDecodableLeading，RADL)图片。上述随机访问可解码引导图片为不参考解码顺序在帧内随机访问点图片(完全随机访问图片等)之前的图片的引导图片。并且，随机访问可解码引导图片为不被用作以相同的帧内随机访问点图片为基准的多个尾随图片的参考图片的图片。在图8的实施例中，图片B16及图片B18相当于随机访问可解码引导图片。

断开连接访问(BLA)图片为用于支持比特流拼接(splice)的图片。比特流的拼接为在一个比特流附着其他比特流，为此，所要拼接的比特流应以帧内随机访问点图片作为起点。更具体地，可通过使所要拼接的比特流的帧内随机访问点图片的网络抽象层单元的类型从完全随机访问图片改变成断开连接访问图片，从而执行比特流的拼接。

图9示出在采用多路解码方式的可分级视频信号中执行随机访问的一实施例。根据本发明的一实施例，基础层可以是层标识符为0的多个网络抽象层单元的集合，增强层可以为所具有的层标识符大于0的多个网络抽象层单元的集合。

在图9的实施例中，基础层可以为增强层的直接参考层。在本发明中，直接参考层是指直接用于其他上层的层间预测的层。并且，间接参考层是指虽然并不直接用于其他上层的层间预测，但间接用于其他上层的层间预测的层。即，间接参考层包括对相应上层的直接参考层的直接或间接的参考层。

在本发明中，参考层图片是指位于与当前图片相同的访问单元，并用于当前图片的层间预测的直接参考层的图片。访问单元意味着与一张被编码的图片相关的网络抽象层单元的集合。并且，如图9所示，访问单元可包含在再生顺序上具有相同输出时间的增强层图片和基础层图片的网络抽象层单元的集合。如上所述，在再生顺序上具有与当前图片相同的输出时间的参考层图片可被称作当前图片的并置(collocated)的图片。

参照图9，可允许层间的帧内随机访问点图片并不相互对齐(align)的情况。即，与增强层的帧内随机访问点图片相对应的参考层图片可以为非帧内随机访问点图片，反之亦然。

但是，若以如上所述的方式，使得层间的帧内随机访问点图片并不相互对齐，则当在增强层的帧内随机访问点图片中执行随机访问时，有可能发生解码方面的问题。在图9的实施例中，虽然增强层的图片A为帧内随机访问点图片，但作为图片A的参考图片的图片a为非帧内随机访问点图片。若增强层的图片A、增强层的图片B及增强层的图片C利用层间预测来被编码，则各个图片将分别参考基础层的图片a、基础层的图片b及基础层的图片c的上采样的图片，因而有可能在进行解码时产生问题。

图10示出在采用多路解码方式的可分级视频信号中执行随机访问的本发明的第一实施例。以下，参照图10，对本发明的多种实施例进行说明。

根据图10的实施例，若增强层的帧内随机访问点图片的参考层图片不是帧内随机访问点图片，则相应的帧内随机访问点图片不采用层间预测。不仅如此，在解码顺序上紧随相应的帧内随机访问点图片的多个图片中，直到下一个图片的参考层图片为帧内随机访问点的图片为止，不采用层间预测。参照图10，图片A、图片B及图片C不采用层间预测，但由于图片D的参考层图片(图片d)为帧内随机访问点图片，因而图片D可采用层间预测。

另一方面，根据本发明的其他实施例，若增强层的帧内随机访问点图片的参考层图片不是帧内随机访问点图片，则相应的帧内随机访问点图片不采用层间纹理预测。不仅如此，在解码顺序上紧随相应帧内随机访问点图片的多个图片中，直到下一个图片的参考层图片为帧内随机访问点的图片为止，不采用层间纹理预测。参照图10，图片A、图片B及图片C不采用层间纹理预测。相反，相应的图片A、图片B及图片C可采用层间语法预测。另一方面，由于图片D的参考层图片(图片d)为帧内随机访问点图片，因而图片D可采用层间纹理预测及层间语法预测两者。

图11示出在采用多路解码方式的可分级视频信号中执行随机访问的本发明的第二实施例。在图11的实施例中，将省略对与图10的实施例相同或相对应的部分的重复说明。

根据图11的实施例，可根据已设定的块单位来决定是否对增强层的图片限制层间预测。其中，块可以为以片段、片或编码树单元为单位来形成的空间区域。根据本发明的实施例，上述块可指向特定层的直接参考层的图片来被设定，被设定的相应的块将无法用于层间预测。即，在图11的实施例中，若块36被设定成层间预测受限，则相应的块36将无法用于增强层的当前块38的层间预测。

根据本发明的实施例，可在当前层的直接参考层图片中，设定层间预测受限的块(块36)的空间区域。视频编码装置可接收用于表示层间预测受限的空间区域的信息，并利用上述信息在直接参考层设定不执行层间预测的空间区域。此时，增强层可以作为上述当前层，基础层可以作为直接参考层。

根据本发明的追加实施例，视频解码装置可接收用于表示对层间预测的限制是否适用于参考层的标志。若上述标志为1，即，表示层间预测限制适用于参考层，则视频解码装置接收用于表示上述的层间预测受限的空间区域的信息，并可将其适用于相应的参考层。若上述标志为0，则上述的层间预测限制可以不适用于参考层。

另一方面，根据本发明的再一实施例，若基础层的参考块36为帧间预测块(即，P块或B块)，则可以不对增强层的当前块38执行层间预测。相反，若基础层的参考块36为帧内预测块(即，I块)，则可允许对增强层的当前块38执行层间预测。由此，增强层的各个块可只在存在完全复原的基础层的参考块的情况下执行层间预测。

根据本发明的另一实施例，若基础层的参考块36为帧间预测块(即，P块或B块)，则对增强层的当前块38不执行层间纹理预测，而仅可允许执行层间语法预测。相反，若基础层的参考块36为帧内预测块(即，I块)，则可允许对增强层的当前块38执行层间纹理预测及层间语法预测两者。

另一方面，如上所述，若层间的帧内随机访问点图片并不相互对齐，则可向解码器传送用于表示当增强层的帧内随机访问点图片执行随机访问时，是否用作视频解码的开始点的标志。即，解码器可接收用于表示是否可对增强层的当前图片执行随机访问的上述标志。若上述标志值为1，则可在相应的图片中执行随机访问。根据本发明的一实施例，若上述标志值为1，则可通过采用上述的对层间预测的限制事项来执行解码。此时，除了随机访问跳过引导图片，增强层的帧内随机访问点图片及在解码顺序上紧随相应的帧内随机访问点图片的多个图片可均被成功复原。相反，若上述标志值为0，则无法在相应的图片中执行随机访问。

切片头可包含上述标志，但本发明并不限定于此，上述标志还可包含于视频参数组(VPS)、序列参数组(SPS)、图片参数组(PPS)或它们的扩展组中的一个中。根据本发明一实施例，上述标志还可以只在层间帧内随机访问点图片并不相互对齐的情况下发出信号。

另一方面，视频解码装置可接收用于表示层间的帧内随机访问点图片是否相互对齐的标志。若上述标志值为1，即，在表示层间的帧内随机访问点图片相互对齐的情况下，属于与当前层的帧内随机访问点图片相同的访问单元的直接参考层的图片应为帧内随机访问点图片。并且，若上述标志值为1，则属于与当前层的帧内随机访问点图片相同的访问单元，并以当前层作为直接参考层的上层图片应为帧内随机访问点图片。但是，若上述标志值为0，则可以不适用上述的限制事项。

以上，通过具体实施例来对本发明进行了说明，但本发明所属技术领域的技术人员可在不脱离本发明的主旨及范围的情况下，对本发明进行修改、变更。因此，应解释为，可由本发明所属技术领域的技术人员容易地从本发明的详细说明及实施例推导出的内容属于本发明的保护范围。

发明的实施形态

如上所述，在本发明的具体实施方式部分记载了相关事项。

产业上的可利用性

本发明可适用于处理并输出视频信号。

Claims (6)

1.一种视频信号处理方法，其特征在于，包括：

接收包含基础层和增强层的可分级视频信号的步骤；

接收用于表示对层间预测的限制是否适用于所述基础层的标志的步骤；

对所述基础层的图片进行解码的步骤；以及

利用被解码的所述基础层的图片，来对所述增强层的图片进行解码的步骤，

其中，当所述标志表示对层间预测的限制适用于所述基础层，则所述基础层图片的已设定的区域不用于所述增强层图片的层间预测。

2.根据权利要求1所述的视频信号处理方法，其特征在于，

还包括当所述标志表示对层间预测的限制适用于所述基础层，则接收用于表示层间预测受限制的空间区域的信息的步骤，

基于所接收的所述信息来设定不用于所述层间预测的区域。

3.根据权利要求1所述的视频信号处理方法，其特征在于，所述已设定的区域为以片段、片或编码树单元为单位来形成的空间区域。

4.根据权利要求1所述的视频信号处理方法，其特征在于，还包括接收用于表示所述增强层的随机访问图片和基础层的随机访问图片是否相互对齐的标志的步骤。

5.根据权利要求1所述的视频信号处理方法，其特征在于，所述基础层为所述增强层的直接参考层。

6.一种视频信号处理装置，其特征在于，包括：

解复用器，用于接收包含基础层和增强层的可分级视频信号及表示对层间预测的限制是否适用于所述基础层的标志；

基础层解码器，用于对所述基础层的图片进行解码；以及

增强层解码器，利用被解码的所述基础层的图片，来对所述增强层的图片进行解码，

其中，当所述标志表示对层间预测的限制适用于所述基础层，则所述基础层图片的已设定的区域不用于所述增强层图片的层间预测。