CN101283596A - 使用分级视频的适配操作符的分级视频适配方法和装置 - Google Patents

Abstract

提供了一种适配应用了分级视频编码SVC的位流的装置和方法。该适配位流的装置包括：Adapation QoS信息提取单元，从关于应用了SVC技术的位流的Adapation QoS信息中提取SVC适配操作符以及该SVC适配操作符与终端的使用环境信息之间的关系；适配决定捕获引擎ADTE单元，在SVC适配操作符中，确定与接收该发送的位流的终端的使用环境对应的SVC适配操作符；以及SVC位流提取单元，基于所确定的SVC适配操作符提取该位流。根据该装置和方法，通过使用分级方案(AQoSJDS)中提议的适配操作符来适配分级视频流，能够有效地对改变的网络环境和多媒体使用环境提供分级视频。

Description

使用分级视频的适配操作符的分级视频适配方法和装置

技术领域

本发明涉及适配应用了分级(scalable)视频编码(SVC)技术的位流的装置和方法，更具体地，涉及使用SVC适配操作符适配位流的装置和方法，并且，另外描述被适配的位流的SVC适配操作符，从而使得SVC适配操作符随后用于新适配中。

背景技术

随着通信技术的发展，网络环境逐渐变得更复杂，各种多媒体内容逐渐通过不同的网络和终端而被使用。用户现在可以在家里、移动时或在车里通过数字多媒体广播(DMB)或移动通信网络享用高清晰(HD)视频产品。移动通信网络支持包括个人数字助理(PDA)、移动电话机和笔记本型计算机等多种终端，而诸如ADSL的有线网络则支持个人计算机(PC)。在不远的将来，其将由集成有诸如互联网协议TV(IPTV)等的更多种终端类型的网络来支持。提供更多种多媒体内容的移动图片专家组(MPEG)-21架构有效地支持许多功能，诸如数字权利管理(DRM)、数字项适配(DIA)和数字项宣告(DID)。

为了在不同的网络环境中提供具有视频流服务的各种终端，适于使用环境的质量考虑是最基本的，并且必须提供适于网络带宽、终端类型和用户喜好的质量的内容。为了更有效地将多媒体内容与各种使用环境适配，分级视频编码技术的标准化正在进行中，同时，为了将视频内容与使用环境适配，支持位流中的直接适配，而不需要执行再现以将视频内容与使用环境适配。这样，与再现视频内容以适应使用环境的在先方法相比，这种方法能够更有效地更快地将视频内容与网络和用户环境适配。

为了在MPEG-21架构中支持分级视频的适配，需要描述分级视频的SVC适配操作符，但是目前为止不存在分级视频的SVC适配操作符。因而，很难有效地描述MPEG-21架构中的分级视频的位流等级上的适配。

发明内容

技术问题

本发明提供一种支持对应用了分级视频编码(SVC)技术的多媒体内容进行适配的装置和方法。

本发明也提供一种其中定义了用于在位流等级上正确执行分级视频的适配的SVC适配操作符的装置和方法，其中提出了用于描述该描述符的有效意义和描述示例，从而通过使用所描述的Adapation QoS信息来执行适于各种网络和用户环境的有效适配。

技术方案

根据本发明的一方面，提供了一种适配应用了分级视频编码(SVC)技术的位流的装置，包括：Adapation QoS信息提取单元，从关于应用了SVC技术的位流的Adapation QoS信息中提取SVC适配操作符以及该SVC适配操作符与终端的使用环境信息之间的关系；适配决定捕获引擎ADTE单元，确定SVC适配操作符中的与接收该发送的位流的终端的使用环境对应的SVC适配操作符；以及SVC位流提取单元，基于所确定的SVC适配操作符提取该位流。

该Adapation QoS信息包括关于标准的SVC适配操作符中的空间分级、时间分级和SNR分级的SVC适配操作符的信息。

该Adapation QoS信息描述终端的使用环境信息、空间分级、时间分级和SNR分级的SVC适配操作符、以及诸如峰值SNR(PSNR)和利用等级之类的指示位流总质量的测量之间的关系。

该Adapation QoS信息包括通过终端带宽、空间分级、时间分级和SNR分级的SVC适配操作符、和具有与终端带宽、空间分级、时间分级和SNR分级的SVC适配操作符相等的维度的PSNR向量而成对的描述，以及包括以任意维度形成的PSNR向量。

该Adapation QoS信息包括通过终端带宽、具有与终端带宽相同维度的空间分级和时间分级的SVC适配操作符、以及以任意维度形成并以矩阵的形式表示为SNR分级的SVC适配操作符的空间分级和时间分级的SVC适配操作符而成对的描述。

该使用环境信息包括网络环境信息和用户环境信息，该网络环境信息包括带宽，该用户环境信息包括终端特性或用户对于包括空间、时间和SNR分辨率的视频质量的喜好。

由ADTE单元确定的SVC适配操作符包括关于标准SVC适配操作符中的空间分级、时间分级和SNR分级的SVC适配操作符的信息。

由SVC位流提取单元提取的位流满足在标准SVC适配操作符中的空间分级、时间分级和SNR分级的SVC适配操作符。

该Adapation QoS信息提取单元提取的位流满足在标准SVC适配操作符中的空间分级、时间分级和SNR分级的SVC适配操作符。

该ADTE单元确定在标准SVC适配操作符中的满足使用环境的空间分级、时间分级和SNR分级的最佳的SVC适配操作符。

该ADTE单元通过在空间分级的SVC适配操作符的特定值和时间分级的SVC适配操作符的特定值的最高质量点和基本质量点的范围内，找出满足终端的可用带宽的SNR分级的SVC适配操作符的合适值，来确定SNR分级的SVC适配操作符。

该SVC位流提取单元提取满足标准SVC适配操作符中的所确定的空间分级、时间分级和SNR分级的SVC适配操作符的位流。

当位流被适配为满足标准SVC适配操作符中的空间分级的SVC适配操作符时，该SVC位流提取单元数字地表达与将被截去的空间增强层的数目对应的空间分级的SVC适配操作符，并且根据该空间分级的SVC适配操作符的值，该SVC位流提取单元不执行空间分级适配，或者截去与空间分级的SVC适配操作符的值相同数量的位流的最高空间增强层，从而执行适配。

当位流被适配为满足标准SVC适配操作符中的时间分级的SVC适配操作符时，该SVC位流提取单元数字地表达与将被截去的时间增强层的数目对应的时间分级的SVC适配操作符，并且根据该时间分级的SVC适配操作符的值，该SVC位流提取单元不执行时间分级适配，或者截去与时间分级的SVC适配操作符的值相同数量的位流的最高时间增强层，从而执行适配。

当位流被适配为满足标准SVC适配操作符中的SNR分级的精细分级(FGS)的SVC适配操作符时，根据SNR分级的FGS的SVC适配操作符，其是被截去的部分FGS层和FGS层的比特率的总和与位流的全部FGS层的比特率的总和的比例，该SVC位流提取单元不执行SNR分级的适配，或者从最高FGS层开始截去FGS层。

当位流被适配为满足标准SVC适配操作符中的SNR分级的粗略分级(CGS)的SVC适配操作符时，该SVC位流提取单元根据被截去的最高CGS层的比特率的总和与位流的全部CGS层的比特率的总和的比例，截去CGS质量层，从而执行适配。

当位流被适配为满足标准SVC适配操作符中的SNR分级的FGS和CGS的SVC适配操作符时，根据SNR分级的FGS和CGS的SVC适配操作符，其是被截去的CGS层的比特率、与被截去的CGS层有关的FGS层的比特率、以及被截去的部分FGS层和FGS层的比特率的总和相对于位流的全部CGS层和全部FGS层的比特率的总和的比例，该SVC位流提取单元截去合适数量的最高CGS层或最高FGS层，以满足该比例，从而执行适配。

以XML格式记录关于应用了SVC技术的位流的Adapation QoS信息。

该装置还可以包括Adapation QoS信息描述单元，描述具有SVC适配操作符的位流的Adapation QoS信息，其中该位流应用了SVC技术，并且通过SVC位流提取单元被适配。

根据本发明的另一方面，提供了一种适配应用了SVC技术的位流的装置，包括：数字项输入单元，输入应用了SVC技术的位流以及包括该位流的SVC适配操作符的Adapation QoS信息；使用环境信息输入单元，输入向其发送位流的终端的用户环境信息和网络环境信息；适配处理单元，基于该网络环境信息和用户环境信息，确定该位流的SVC适配操作符，并提取满足所确定的SVC适配操作符的位流；以及数字项输出单元，向该终端发送由该适配处理单元提取的位流，并产生包括关于由该适配处理单元提取的被适配的位流的SVC适配操作符的Adapation QoS信息。

该数字项输入单元可以包括：Adapation QoS信息输入单元，输入应用了SVC技术的位流的、以XML格式描述的Adapation QoS信息；以及SVC视频输入单元，输入应用了SVC技术的位流。

该使用环境信息输入单元可以包括：网络环境信息输入单元，获得包括带宽的网络环境信息；以及用户环境信息输入单元，获得包括终端特性或用户对于包括空间、时间和SNR分辨率的视频质量的喜好的用户环境信息。

该适配处理单元可以包括：Adapation QoS信息提取单元，解析以XML格式记录的Adapation QoS信息，并提取SVC适配操作符以用于应用了SVC技术的位流的适配；ADTE单元，基于提取的SVC适配操作符中的网络环境信息和用户环境信息，确定最佳SVC适配操作符；SVC位流提取单元，提取满足所确定的SVC适配操作符的位流。

该数字项输出单元可以包括：适配SVC位流输出单元，向用户终端发送提取的应用了SVC技术的位流；以及Adapation QoS信息描述单元，以XML格式描述包括SVC适配操作符的Adapation QoS信息，以用于将来的应用了SVC技术的位流的适配。

根据本发明的另一方面，提供了一种适配应用了SVC技术的位流的方法，包括：从应用了SVC技术的位流的Adapation QoS信息中提取SVC适配操作符以及该SVC适配操作符与终端的使用环境信息之间的关系；确定SVC适配操作符中的与接收所发送的位流的终端的使用环境对应的SVC适配操作符；以及基于所确定的SVC适配操作符提取该位流。

根据本发明的另一方面，提供了一种适配应用了SVC技术的位流的方法，包括：接收应用了SVC技术的位流以及包括该位流的SVC适配操作符的Adapation QoS信息的输入；接收向其发送位流的终端的用户环境信息和网络环境信息的输入；基于该网络环境信息和用户环境信息，确定该位流的SVC适配操作符，并提取满足所确定的SVC适配操作符的位流；以及向该终端发送所提取的位流，并产生包括关于被适配的位流的SVC适配操作符的Adapation QoS信息。

附图说明

图1示出了根据本发明的实施例的适配位流的装置的结构；

图2示出了根据本发明的实施例的分级视频编码(SVC)适配操作符；

图3示出了用于说明根据本发明的实施例的混合适配(再适配)的网络结构；

图4示出了根据本发明的实施例的通过使用最高质量点和基本质量点来适配SVC位流的描述Adapation QoS信息的方法；

图5示出了根据本发明的实施例的以AQoSClassification方案的形式来适配SVC位流的SVC适配操作符；

图6示出了根据本发明的实施例的以Utilityfunction型的形式来适配SVC位流的SVC适配操作符；

图7示出了根据本发明的实施例的以LookupTable型的形式来适配SVC位流的SVC适配操作符；

图8是示出根据本发明的实施例的适配位流的方法的流程图；

图9是示出根据本发明的实施例的在适配位流的方法中的输入数字项的操作的流程图；

图10是示出根据本发明的实施例的在适配位流的方法中的输入使用环境信息的操作的流程图；

图11是示出根据本发明的实施例的在适配位流的方法中的处理适配的操作的流程图；以及

图12是示出在适配位流的方法中的输出数字项的操作的流程图。

具体实施方式

下面将参照附图完整地描述本发明，附图中示出了本发明的示范性实施例。

图1示出了根据本发明的实施例的适配位流的装置的结构。参照图1，适配位流的装置包括数字项输入单元100、使用环境信息输入单元110、适配处理单元120和数字项输出单元130。

数字项输入单元100包括Adapation QoS信息输入单元101和分级视频编码(SVC)视频输入单元102。其中以可扩展标记语言(XML)格式描述SVC视频流的Adapation QoS信息的信息被输入到Adapation QoS信息输入单元101中，应用了SVC技术的视频流被输入到SVC视频输入单元102中。数字项输入单元100包括接收各个数字项的所有功能。

通过解析经由Adapation QoS信息输入单元101的XML格式的Adapation QoS信息描述，在Adapation QoS信息提取单元121中提取出Adapation QoS信息以对获得的SVC视频进行适配。

使用环境信息输入单元110包括获得关于通过数字项输入单元100输入的各个数字项的使用环境的信息的功能。该使用环境信息输入单元110包括网络环境信息输入单元111和用户环境信息输入单元112。

网络环境信息输入单元111包括获得用于发送SVC视频流的网络环境信息的功能。用户环境信息输入单元112包括获得使用SVC视频流的用户的环境信息(终端特性或用户对于包括空间、时间和SNR分辨率的视频质量的喜好)的功能。

为了执行SVC适配，数字项输入单元100获得要被适配的媒体资源(包括Adapation QoS信息)，使用环境信息输入单元获得用于在终端中发送并使用的环境信息项。利用在数字项输入单元100和使用环境信息输入单元110中获得的信息，适配处理单元120执行SVC视频适配处理。

由网络环境信息输入单元111获得的网络信息、由用户环境信息输入单元112所获得的用户环境信息、和由Adapation QoS信息提取单元121提取的SVC位流的Adapation QoS信息被输入到适配决定捕获引擎单元(ATDE)123。

ATDE单元123确定在Adapation QoS信息提取单元121中提取的Adapation QoS信息中的适合于所获得的信息(网络和用户环境)的信息。

由ATDE单元123确定的信息是SVC适配操作符的形式，并且被输入到SVC位流提取单元122中。SVC位流提取单元122执行提取SVC位流的实际处理，并且根据由ATDE单元123确定的SVC适配操作符提取出SVC位流。

向SVC位流输出单元132发送在适配处理单元120中根据SVC适配操作符适配(提取)的SVC位流。

描述Adapation QoS信息以用于再适配的Adapation QoS信息描述单元131重新描述适配后的SVC位流的Adapation QoS信息。通过数字项输出单元130向终端发送该SVC位流。

图2示出了根据本发明的实施例的分级视频编码SVC适配操作符。参照图2，支持SVC适配的SVC适配操作符200包括用于空间分级的SVC适配操作符-Spatial Layers 210、用于时间分级的SVC适配操作符-TemporalLevels 220、以及用于信噪比(SNR)分级的SVC适配操作符-QualityReduction 230。

SVC通过三个元素定义视频质量：空间分辨率、时间分辨率(帧速率)和SNR质量，并基于这些来执行适配。该SVC适配操作符200指示与这些元素对应的适配质量。

为了使得适配具有多种质量，SVC位流由基层和增强层形成。增强层是用于提高基层中的位流的空间分辨率、时间分辨率(帧速率)和SNR质量的位流。

空间分级的SVC适配操作符-Spatial Layers 210用于将分辨率为低或高的空间分辨率分别提高或降低。

时间分级的SVC适配操作符-Temporal Levels 220通过增加增强层而将30帧/秒的图像变为60帧/秒的图像，作为提高或降低时间分辨率的方法。

SNR分级的SVC适配操作符-Quality Reduction 230用于通过增加或去掉增强层(或者部分地截去增强层)来提高或降低解码图像的SNR质量，作为提高或降低SNR(图片质量)的方法。

图3示出了用于说明根据本发明的实施例的混合适配(再适配)的网络结构。参照图3，网络由SVC流服务器300、第一SVC适配服务器310和第二SVC适配服务器320构成。

现在将说明在混合有多种网络特性的网络环境中，描述用于适配后的SVC位流的再适配的Adapation QoS信息的必要性。由第二SVC适配服务器320为移动客户端适配由SVC流服务器300提供的SVC位流和由第一SVC适配服务器310根据Adapation QoS信息适配的SVC位流。同时，通过使用由第一SVC适配服务器310产生的Adapation QoS信息(AQoS)来执行该适配。

图4示出了根据本发明的实施例的通过使用最高质量点和基本质量点来描述Adapation QoS信息以用于SVC位流的适配的方法。图4示出了通过使用每个时空质量间隔的SNR质量最高点(0)和每个时空质量间隔的SNR质量基本点(P1、P2、P3、P4、P5)来代表整个Adapation QoS信息的描述。该最高质量点表示不执行适配的原始视频质量，每个基本质量点表示在具有相同时空质量的每个质量间隔中的SNR质量的基本点。

该Adapation QoS信息描述方法由最小数量的表示值来指示质量，涉及关于可用网络带宽的减小的Adapation QoS信息，从而能够有效地计算Adapation QoS信息。通过下述示例可以说明使用表示值来确定任意间隔的Adapation QoS信息。

在第一基本质量点(P1)和第二基本质量点(P2)之间的间隔的时空质量信息与在第二基本质量点(P2)处的时空质量信息相同，并且通过将第二基本质量点(P2)的SNR质量信息减小与增加到当前可用带宽中的量相同的量，来确定SNR质量信息(QualityReduction)。稍后将参照等式6更详细地描述质量的确定。

图5示出了根据本发明的实施例的以AQoSClassification方案的形式来适配SVC位流的SVC适配操作符。为了有效并通用地使用SVC适配操作符，需要在AQoSClassification中定义SVC适配操作符。

在图5中，Spatial Layers指示从整个位流中截去的空间分辨率的空间增强层的数目，并且为了适配，首先截去位流中的最高空间增强层。例如，在第2层中编码的位流具有整数值0或1作为Spatial Layers的值。如果值为0，则不执行空间质量适配，如果值为1，则仅提取基层，而截去一个增强层(在基层和增强层之间的最高层)。

Temporal Levels指示从整个位流中截去的时间分辨率的时间增强层的数目，并且为了适配，首先截去位流中的最高时间增强层。例如，以30帧/秒编码的位流具有整数值0、1、2、3或4作为Temporal Levels的值。如果值为0，则不执行时间质量的适配(保持30帧/秒)，如果值为1，则截去最高的时间增强层，从而将时间质量从30帧/秒适配为15帧/秒。如果值为2，则截去最高时间增强层和第二最高时间增强层，从而将时间质量适配为7.5帧/秒；如果值为3，则截去最高时间增强层、第二高时间增强层和第三高时间增强层，从而将时间质量适配为3.75帧/秒；如果值为4，则截去最高时间增强层、第二高时间增强层、第三高时间增强层和第四高时间增强层，从而将时间质量适配为1.875帧/秒。

Quality Reduction指示为了适配SNR质量(SNR分辨率)而被截去的SNR增强片段。例如，如果使用精细分级(fine grain scalability FGS)，则编码的位流具有在0～1范围内的浮点小数作为Quality Reduction的值。如果值为0.00，则不执行SNR质量的适配。如果值为1.00，则截去所有的FGS增强层，并且仅提取基层，从而执行SNR质量适配。如果值为0.50，则截去与所有FGS增强层的50％对应的最高FGS增强层，从而执行SNR质量适配。

如果使用粗略分级(coarse grain scalability CGS)，则编码的位流具有在0～1范围内的浮点小数作为Quality Fraction的值。如果值为0.00，则不执行SNR质量适配的适配。如果值为1.00，则截去所有的CGS增强层，并且执行SNR质量适配。例如，如果存在两个CGS层，当第一CGS层包括所有SNR质量层的60％，而第二CGS层包括所有SNR质量层的40％时，则在Adapation QoS信息中可以描述三个Quality Reduction 1.00、0.40和0.00。如果Quality Reduction值为1.00，则截去所有的CGS增强层，如果QualityReduction为0.40，则截去与所SNR质量层的40％对应的第二CGS层。如果Quality Reduction为0.00，则不执行SNR质量的适配。

如果同时使用了FGS和CGS，例如，如果存在2个CGS层并且应用了FGS，则与仅使用CGS的情况相比，能够适配更精确的SNR质量。如果第一CGS层包括所有SNR质量层的40％，第一CGS层的FGS层包括所有SNR质量层的20％，第二CGS层包括所有SNR质量层的30％，第二CGS层的FGS层包括所有SNR质量层的10％，则能够进行更精确的SNR质量控制(如0.45)，而当仅使用CGS时，可以提供三种Quality Reduction 1.00、0.40和0.00。为了应用0.45的Quality Reduction，截去全部第二CGS层(包括相关的FGS层)，并且截去第一CGS层的FGS层的5％，从而适配SNR质量。

当使用图6所示的UtilityFunction型来描述SVC视频流的Adapation QoS信息时，可以使用SVC适配操作符(Spatial Layers、Temporal Levels、QualityReduction)来描述该Adapation QoS信息。

此外，当使用图7所示的LookupTable型来描述SVC视频流的AdapationQoS信息时，可以使用SVC适配操作符(Spatial Layers、Temporal Levels、Quality Reduction)来描述该Adapation QoS信息。

Qf_s∈{0，1，…，n-1}，空间层数＝n            ……(1)

上面等式1表示了作为空间分级的SVC适配操作符(Qf_s)的SpatialLayers。如果值为0，则不执行空间质量的适配，如果值为1，则截去最高空间增强层。如果值为2，则截去最高空间增强层和第二高空间增强层。

Qf_T∈{0，1，…，k-1}，分解级数＝k            ……(2)

上面等式2表示了作为时间分级的SVC适配操作符(Qf_T)的TemporalLevels。如果值为0，则不执行时间质量的适配，如果值为1，则截去最高时间增强层。如果值为2，则截去最高时间增强层和第二高时间增强层。

${\mathrm{Qf}}_{\mathrm{SNR}}=\frac{{\mathrm{TQ}}_{\mathrm{SNR}}}{{\mathrm{OQ}}_{\mathrm{SNR}}},(0.00\≤{\mathrm{QF}}_{\mathrm{SNR}}\≤1.00)$

${\mathrm{TQ}}_{\mathrm{SNR}}=\underset{i=1}{\overset{n^{*}-1}{\mathrm{\Σ}}}{B}_i^{\mathrm{FGS}}+{\mathrm{\βn}}^{*}\·\·\·\·\·\·\left(3\right)$

${\mathrm{OQ}}_{\mathrm{SNR}}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{B}_i^{\mathrm{FGS}}$

这里，TQ_SNR是为了适配满足约束的SNR质量而截去的视频质量的SNR比特率，OQ_SNR是输入的原始视频的SNR比特率，B_i ^FGS是第i高FGS层的比特率，n^*是被截去的FGS层的数目，βn^*是被截去的FGS片段，n是原始视频的FGS层的数目。上面等式3表示了作为SNR分级的SVC适配操作符(Qf_SNR)的Quality Reduction。如果值为0.00，则不执行SNR质量的适配，如果值为1.00，则截去最高SNR增强层。

在FGS的情况下，如果值为0.30，则截去所有FGS增强层的30％，仅提取所有FGS增强层的70％。

${\mathrm{Qf}}_{\mathrm{SNR}}=\frac{{\mathrm{TQ}}_{\mathrm{SNR}}}{{\mathrm{OQ}}_{\mathrm{SNR}}},(0.00\≤{\mathrm{QF}}_{\mathrm{SNR}}\≤1.00)$

${\mathrm{TQ}}_{\mathrm{SNR}}=\underset{i=1}{\overset{m^{*}}{\mathrm{\Σ}}}{B}_k^{\mathrm{CGS}}\·\·\·\·\·\·\left(4\right)$

${\mathrm{OQ}}_{\mathrm{SNR}}=\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{B}_k^{\mathrm{CGS}}$

这里，OQ_SNR是输入的原始视频的SNR质量的比特率，TQ_SNR是被截去的SNR质量的SNR比特率，B_k ^CGS是第k高CGS层的比特率，m^*是被截去的最高CGS层的数目。在CGS的情况下，可以以适合于包括在每个CGS层中的比特率为单位提供SNR质量。例如，如果存在两个CGS层，第一CGS层(在这种情况下为第二高CGS层)包括所有SNR质量层的70％，而第二CGS层(在这种情况下为第一高CGS层)包括所有SNR质量层的30％，则在Adapation QoS信息(AQoS)中可以描述三个SNR适配质量1.00、0.30和0.00。如果值为1.00，则截去所有的CGS质量层，如果值为0.30，则截去与所SNR质量层的30％对应的第二CGS层(第一高CGS层)，如果值为0.00，则提取所有CGS层，从而执行SNR质量的适配。

${\mathrm{Qf}}_{\mathrm{SNR}}=\frac{{\mathrm{TQ}}_{\mathrm{SNR}}}{{\mathrm{OQ}}_{\mathrm{SNR}}},(0.00\≤{\mathrm{QF}}_{\mathrm{SNR}}\≤1.00)$

${\mathrm{TQ}}_{\mathrm{SNR}}=\underset{i=1}{\overset{m^{*}-1}{\mathrm{\Σ}}}(B_i^{\mathrm{CGS}}+\underset{j=1}{\overset{n_i}{\mathrm{\Σ}}}{B}_{i,j}^{\mathrm{FGS}})+{\mathrm{\β}}_{m^{*}{n}^{*}}\·\·\·\·\·\·\left(5\right)$

${\mathrm{OQ}}_{\mathrm{SNR}}=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}(B_i^{\mathrm{CGS}}+\underset{j=1}{\overset{n_i}{\mathrm{\Σ}}}{B}_{i,j}^{\mathrm{FGS}})$

这里，TQ_SNR是被截去的SNR比特率，OQ_SNR是输入的原始视频的SNR比特率，B_i ^CGS是第i高CGS层的比特率，B_i，j ^FGS是第i高CGS层的第j高FGS层的比特率，是被截去的第m^*高CGS层的第n^*高FGS层的FGS片段的比特率，n_i是第i高CGS层的FGS层的数目，m是原始视频的CGS层的数目，m*是被截去的最高CGS层的数目。

如果同时使用了FGS和CGS，例如，如果存在2个CGS层并且应用了FGS，则与仅使用CGS的情况相比，能够适配更精确的SNR质量。如果第一CGS层和其FGS层分别包括所有SNR质量层的40％和20％，第二CGS层和其FGS层分别包括所有SNR质量层的30％和10％，则为了应用0.45的Quality Reduction，截去全部第二CGS层和第二CGS层的FGS层，并且部分截去第一CGS层的FGS层的5％，从而执行了比仅使用CGS时更精确的SNR质量的适配。

${\mathrm{Qf}}_{\mathrm{SNR}}^x={\mathrm{Qf}}_{\mathrm{SNR}}^P-(B_x-B_P)/{\mathrm{OQ}}_{\mathrm{SNR}}$

${\mathrm{Qf}}_S^x={\mathrm{Qf}}_S^P\·\·\·\·\·\·\left(6\right)$

${\mathrm{Qf}}_T^x={\mathrm{Qf}}_T^P$

这里，Qf_SNR ^x、Qf_S ^x和Qf_T ^x分别为Quality Reduction、Spatial Layers和Temporal Levels在存在于质量间隔{O，P}中的任意点x处的值，Qf_SNR ^P、Qd_S ^P和Qf_T ^P分别为Quality Reduction、Spatial Layers和Temporal Levels在质量间隔{O，P}中的基本质量点(P)处的值。B_x和B_P分别为在任意点x和基本质量点(P)处的可用传输比特率，OQ_SNR是输入的原始视频的SNR比特率。

例如，当原始输入视频的SNR质量的比特率为1Mbps，当前可用传输比特率是500kbps，在基本质量点(P)处的传输比特率为400kbps，并且描述Quality Reduction为0.7，Spatial Layers为1，Temporal Levels为1时，确定处于当前可用传输比特率时的Quality Reduction为0.6(＝0.7-(500-400)/1000)，确定Spatial Layers为1，确定Temporal Levels为1。

图8是示出根据本发明的实施例的适配位流的方法的流程图。

该方法包括：用于数字项输入的操作S800，其中，输入应用了SVC技术的位流以及包括该位流的SVC适配操作符的Adapation QoS信息；以及操作S810，输入向其发送该位流的终端的用户环境信息和网络环境信息。

接着，在用于适配处理的操作S820中，确定基于该网络环境信息和用户环境信息的位流的SVC适配操作符，并提取满足所确定的SVC适配操作符的位流。在用于数字项输出的操作S830中，向终端发送该提取的位流，并产生包括关于该适配的位流的SVC适配操作符的Adapation QoS信息。

图9是示出根据本发明的实施例的在适配位流的方法中的输入数字项的操作的流程图。

在该数字项输入操作中，在操作S901输入应用了SVC技术的位流的、以XML格式描述的Adapation QoS信息，并且在操作S902输入应用了SVC技术的位流。

这样，输入了该位流的Adapation QoS信息和数字项。

图10是示出根据本发明的实施例的在适配位流的方法中的输入使用环境信息的操作的流程图。

在操作S1001中获得包括带宽的网络环境信息，并在操作S1002中获得用户环境信息，其包括终端特性或用户对于包括空间、时间和SNR分辨率的视频质量的喜好。接着，该网络和用户环境信息被用作确定SVC适配操作符的基本信息。

图11是示出根据本发明的实施例的在适配位流的方法中的处理适配的操作的流程图。

在适配处理中，在操作S1101中，解析Adapation QoS信息，并提取SVC适配操作符，以用于适配应用了SVC技术的位流。

在操作S1102中，确定所提取的SVC适配操作符中的基于该网络环境信息和用户环境信息的最佳SVC适配操作符。

在操作S1103中，提取满足所确定的SVC适配操作符的位流。

图12是示出在适配位流的方法中的输出数字项的操作的流程图。

在操作S1201中，向用户终端发送所提取的应用了SVC技术的位流。

在操作S1202中，描述XML格式的包括SVC适配操作符的AdapationQoS信息，以用于将来的应用了SVC技术的位流的适配。

工业应用

根据如上所述的本发明，可以概括地描述用于适配SVC视频流的Adapation QoS信息，并且通过使用所描述的Adapation QoS信息，可以执行SVC适配。由于目前还不支持能够支持SVC适配的SVC适配操作符，因此可以基于本发明概括地描述用于适配SVC视频流的Adapation QoS信息(AQoS描述)。基于该描述，能够支持适配的本发明的方法和系统能够有效地支持SVC适配。

本发明可以被具体化为计算机可读记录媒介上的计算机可读代码。所述计算机可读记录媒介是能够存储以后可由计算机系统读取的数据的任意数据存储设备。例如，所述计算机可读记录媒介的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光数据存储设备和载波(如通过互联网的数据传输)等。所述计算机可读记录媒介也能够被分布于通过网络互连的计算机系统之上，从而以分布式存储并执行所述计算机可读代码。

尽管参照本发明的示范性实施例对本发明进行了具体图示和描述，但本领域技术人员应当理解，在不脱离由所附权利要求书所限定的本发明的精神和范围的情况下，可以对本发明进行形式和细节上的各种修改。应当认为这里的优选实施例是描述意义上的，而不是为了限制本发明。因此，本发明的范围不是由本发明的详细描述来限定，而是由所附权利要求数来限定，并且在此范围内的所有差别将被认为包括在本发明中。

Claims (49)

1、一种适配应用了分级视频编码SVC技术的位流的装置，包括：

Adapation QoS信息提取单元，从关于应用了SVC技术的位流的Adapation QoS信息中提取SVC适配操作符以及该SVC适配操作符与终端的使用环境信息之间的关系；

适配决定捕获引擎ADTE单元，确定在SVC适配操作符中的与接收该发送的位流的终端的使用环境对应的SVC适配操作符；以及

SVC位流提取单元，基于所确定的SVC适配操作符提取该位流。

2、如权利要求1所述的装置，其中，该Adapation QoS信息包括关于标准SVC适配操作符中的空间分级、时间分级和SNR分级的SVC适配操作符的信息。

3、如权利要求1所述的装置，其中，该Adapation QoS信息描述终端的使用环境信息、空间分级、时间分级和SNR分级的SVC适配操作符、以及诸如峰值SNR(PSNR)和应用等级之类的指示位流总质量的测量之间的关系。

4、如权利要求1所述的装置，其中，该Adapation QoS信息包括通过终端带宽、空间分级、时间分级和SNR分级的SVC适配操作符、和具有与终端带宽、空间分级、时间分级和SNR分级的SVC适配操作符相等维度的PSNR向量而成对的描述，以及包括以任意维度形成的PSNR向量。

5、如权利要求1所述的装置，其中，该Adapation QoS信息包括通过终端带宽、具有与终端带宽相等维度的空间分级和时间分级的SVC适配操作符、以及以任意维度形成并以矩阵的形式表示为SNR分级的SVC适配操作符的空间分级和时间分级的SVC适配操作符而成对的描述。

6、如权利要求1所述的装置，其中，该使用环境信息包括网络环境信息和用户环境信息，该网络环境信息包括带宽，该用户环境信息包括终端特性或用户对于包括空间、时间和SNR分辨率的视频质量的喜好。

7、如权利要求1所述的装置，其中，由ADTE单元确定的SVC适配操作符包括关于标准SVC适配操作符中的空间分级、时间分级和SNR分级的SVC适配操作符的信息。

8、如权利要求1所述的装置，其中，由SVC位流提取单元提取的位流满足在标准SVC适配操作符中的空间分级、时间分级和SNR分级的SVC适配操作符。

9、如权利要求1所述的装置，其中，该Adapation QoS信息提取单元提取关于在标准SVC适配操作符中的空间分级、时间分级和SNR分级的SVC适配操作符的信息。

10、如权利要求1所述的装置，其中，该ADTE单元确定在标准SVC适配操作符中的满足使用环境的空间分级、时间分级和SNR分级的最佳的SVC适配操作符。

11、如权利要求1所述的装置，其中，该ADTE单元通过在空间分级的SVC适配操作符的特定值和时间分级的SVC适配操作符的特定值的最高质量点和基本质量点的范围内，找出满足终端的可用带宽的SNR分级的SVC适配操作符的合适值，来确定SNR分级的SVC适配操作符。

12、如权利要求1所述的装置，其中，该SVC位流提取单元提取满足标准SVC适配操作符中的所确定的空间分级、时间分级和SNR分级的SVC适配操作符的位流。

13、如权利要求1所述的装置，其中，当位流被适配为满足标准SVC适配操作符中的空间分级的SVC适配操作符时，该SVC位流提取单元数字地表达与将要被截去的空间增强层的数目对应的空间分级的SVC适配操作符，并且根据该空间分级的SVC适配操作符的值，该SVC位流提取单元不执行空间分级适配，或者截去与空间分级的SVC适配操作符的值相同数量的位流的最高空间增强层，从而执行适配。

14、如权利要求1所述的装置，其中，当位流被适配为满足标准SVC适配操作符中的时间分级的SVC适配操作符时，该SVC位流提取单元数字地表达与将要被截去的时间增强层的数目对应的时间分级的SVC适配操作符，并且根据该时间分级的SVC适配操作符的值，该SVC位流提取单元不执行时间分级适配，或者截去与时间分级的SVC适配操作符的值相同数量的位流的最高时间层，从而执行适配。

15、如权利要求1所述的装置，其中，当位流被适配为满足标准SVC适配操作符中的SNR分级的精细分级FGS的SVC适配操作符时，根据作为将要被截去的FGS层和FGS层的一部分的比特率的总和与位流的全部FGS层的比特率的总和的比例的、SNR分级的FGS的SVC适配操作符，该SVC位流提取单元不执行SNR分级的适配，或者从最高FGS层开始截去FGS层。

16、如权利要求1所述的装置，其中，当位流被适配为满足标准SVC适配操作符中的SNR分级的粗略分级CGS的SVC适配操作符时，该SVC位流提取单元根据将要被截去的最高CGS层的比特率的总和与位流的全部CGS层的比特率的总和的比例，截去CGS质量层，从而执行适配。

17、如权利要求1所述的装置，其中，当位流被适配为满足标准SVC适配操作符中的SNR分级的FGS和CGS的SVC适配操作符时，根据作为将要被截去的CGS层的比特率、与将要被截去的CGS层有关的FGS层的比特率、以及将要被截去的部分FGS层和FGS层的比特率的总和相对于位流的全部CGS层和全部FGS层的比特率的总和的比例的、SNR分级的FGS和CGS的SVC适配操作符，该SVC位流提取单元截去合适数量的最高CGS层或最高FGS层，以满足该比例，从而执行适配。

18、如权利要求1所述的装置，其中，以XML格式记录关于应用了SVC技术的位流的Adapation QoS信息。

19、如权利要求1所述的装置，还包括Adapation QoS信息描述单元，描述具有SVC适配操作符的、位流的Adapation QoS信息，其中该位流应用了SVC技术，并且通过SVC位流提取单元被适配。

20、一种适配应用了SVC技术的位流的装置，包括：

数字项输入单元，输入应用了SVC技术的位流以及包括该位流的SVC适配操作符的Adapation QoS信息；

使用环境信息输入单元，其中输入向其发送位流的终端的用户环境信息和网络环境信息；

适配处理单元，确定基于该网络环境信息和用户环境信息的该位流的SVC适配操作符，并提取满足所确定的SVC适配操作符的位流；以及

数字项输出单元，向该终端发送由该适配处理单元提取的位流，并产生包括关于由该适配处理单元提取的被适配的位流的SVC适配操作符的Adapation QoS信息。

21、如权利要求20所述的装置，其中，该数字项输入单元包括：

Adapation QoS信息输入单元，其中输入应用了SVC技术的位流的、以XML格式描述的Adapation QoS信息；以及

SVC视频输入单元，其中输入应用了SVC技术的位流。

22、如权利要求20所述的装置，其中，该使用环境信息输入单元包括：

网络环境信息输入单元，获得包括带宽的网络环境信息；以及

用户环境信息输入单元，获得包括终端特性或用户对于包括空间、时间和SNR分辨率的视频质量的喜好的用户环境信息。

23、如权利要求20所述的装置，其中，该适配处理单元包括：

Adapation QoS信息提取单元，解析以XML格式记录的Adapation QoS信息，并提取SVC适配操作符以用于适配应用了SVC技术的位流；

ADTE单元，确定提取的SVC适配操作符中的基于网络环境信息和用户环境信息的最佳SVC适配操作符；以及

SVC位流提取单元，提取满足所确定的SVC适配操作符的位流。

24、如权利要求20所述的装置，其中，该数字项输出单元包括：

适配SVC位流输出单元，向用户终端发送提取的应用了SVC技术的位流；以及

Adapation QoS信息描述单元，以XML格式描述该包括SVC适配操作符的Adapation QoS信息，以用于将来的应用了SVC技术的位流的适配。

25、一种适配应用了SVC技术的位流的方法，该方法包括：

从应用了SVC技术的位流的Adapation QoS信息中提取SVC适配操作符以及该SVC适配操作符与终端的使用环境信息之间的关系；

确定SVC适配操作符中的与接收所发送的位流的终端的使用环境对应的SVC适配操作符；以及

基于所确定的SVC适配操作符提取该位流。

26、如权利要求25所述的方法，其中，该Adapation QoS信息包括关于标准SVC适配操作符中的空间分级、时间分级和SNR分级的SVC适配操作符的信息。

27、如权利要求25所述的方法，其中，该Adapation QoS信息描述终端的使用环境信息、空间分级、时间分级和SNR分级的SVC适配操作符、以及诸如峰值SNR(PSNR)和应用等级之类的指示位流总质量的测量之间的关系。

28、如权利要求25所述的方法，其中，该Adapation QoS信息包括通过终端带宽、空间分级、时间分级和SNR分级的SVC适配操作符、和具有与终端带宽、空间分级、时间分级和SNR分级的SVC适配操作符相等维度的PSNR向量而成对的描述，以及包括以任意维度形成的PSNR向量。

29、如权利要求25所述的方法，其中，该Adapation QoS信息包括通过终端带宽、具有与终端带宽相等维度的空间分级和时间分级的SVC适配操作符、以及以任意维度形成并以矩阵的形式表示为SNR分级的SVC适配操作符的空间分级和时间分级的SVC适配操作符而成对的描述。

30、如权利要求25所述的方法，其中，该使用环境信息包括网络环境信息和用户环境信息，该网络环境信息包括带宽，该用户环境信息包括终端特性或用户对于包括空间、时间和SNR分辨率的视频质量的喜好。

31、如权利要求25所述的方法，其中，该确定的SVC适配操作符包括关于标准SVC适配操作符中的空间分级、时间分级和SNR分级的SVC适配操作符的信息。

32、如权利要求25所述的方法，其中，在提取位流的步骤中，所提取的位流满足在标准SVC适配操作符中的空间分级、时间分级和SNR分级的SVC适配操作符。

33、如权利要求25所述的方法，其中，在提取步骤中，该Adapation QoS信息包括在标准SVC适配操作符中的空间分级、时间分级和SNR分级的SVC适配操作符。

34、如权利要求25所述的方法，其中，在确定Adapation QoS的步骤中，确定在标准SVC适配操作符中的满足使用环境的、空间分级、时间分级和SNR分级的最佳的SVC适配操作符。

35、如权利要求25所述的方法，其中，在确定Adapation QoS的步骤中，通过在空间分级的SVC适配操作符的特定值和时间分级的SVC适配操作符的特定值的最高质量点和基本质量点的范围内，找出满足终端的可用带宽的SNR分级的SVC适配操作符的合适值，来确定SNR分级的SVC适配操作符。

36、如权利要求25所述的方法，其中，在提取位流的步骤中，提取满足标准SVC适配操作符中的所确定的空间分级、时间分级和SNR分级的SVC适配操作符的位流。

37、如权利要求25所述的方法，其中，在提取位流的步骤中，当位流被适配为满足标准SVC适配操作符中的空间分级时，该提取位流的步骤数字地表达与将要被截去的空间增强层的数目对应的空间分级的SVC适配操作符，并且根据该空间分级的SVC适配操作符的值，该提取位流的步骤不执行空间分级适配，或者截去与空间分级的SVC适配操作符的值相同数量的位流的最高空间增强层，从而执行适配。

38、如权利要求25所述的方法，其中，在提取位流的步骤中，当位流被适配为满足标准SVC适配操作符中的时间分级时，该提取位流的步骤数字地表达与将要被截去的时间增强层的数目对应的时间分级的SVC适配操作符，并且根据该时间分级的SVC适配操作符的值，该提取位流的步骤不执行时间分级适配，或者截去与时间分级的SVC适配操作符的值相同数量的位流的最高时间层，从而执行适配。

39、如权利要求25所述的方法，其中，在提取位流的步骤中，当位流被适配为满足标准SVC适配操作符中的SNR分级的精细分级FGS的SVC适配操作符时，根据作为将要被截去的FGS层和FGS层的一部分的比特率的总和与位流的全部FGS层的比特率的总和的比例的、SNR分级的FGS的SVC适配操作符，该提取位流的步骤不执行SNR分级的适配，或者从最高FGS层开始截去FGS层。

40、如权利要求25所述的方法，其中，在提取位流的步骤中，当位流被适配为满足标准SVC适配操作符中的SNR分级的粗略分级CGS的SVC适配操作符时，该提取位流的步骤根据将要被截去的最高CGS层的比特率的总和与位流的全部CGS层的比特率的总和的比例，截去CGS质量层，从而执行适配。

41、如权利要求25所述的方法，其中，在提取位流的步骤中，当位流被适配为满足标准SVC适配操作符中的SNR分级的FGS和CGS的SVC适配操作符时，根据作为将要被截去的CGS层的比特率、与将要被截去的CGS层有关的FGS层的比特率、以及将要被截去的部分FGS层和FGS层的比特率的总和相对于位流的全部CGS层和全部FGS层的比特率的总和的比例的、SNR分级的FGS和CGS的SVC适配操作符，该提取位流的步骤截去合适数量的最高CGS层或最高FGS层，以满足该比例，从而执行适配。

42、如权利要求25所述的方法，其中，以XML格式记录关于应用了SVC技术的位流的Adapation QoS信息。

43、如权利要求25所述的方法，还包括描述关于该位流的、具有SVC适配操作符的Adapation QoS信息，其中该位流应用了SVC技术，并且通过该提取位流的步骤被适配。

44、一种适配应用了SVC技术的位流的方法，该方法包括：

接收应用了SVC技术的位流以及包括该位流的SVC适配操作符的Adapation QoS信息的输入；

接收向其发送位流的终端的用户环境信息和网络环境信息的输入；

基于该网络环境信息和用户环境信息，确定该位流的SVC适配操作符，并提取满足所确定的SVC适配操作符的位流；以及

向该终端发送所提取的位流，并产生包括关于被适配的位流的SVC适配操作符的Adapation QoS信息。

45、如权利要求44所述的方法，其中，该接收位流的输入的步骤包括：

接收应用了SVC技术的位流的、以XML格式描述的Adapation QoS信息的输入；以及

接收应用了SVC技术的位流的输入。

46、如权利要求44所述的方法，其中，该接收使用环境信息的步骤包括：

获得包括带宽的网络环境信息；以及

获得包括终端特性或用户对于包括空间、时间和SNR分辨率的视频质量的喜好的用户环境信息。

47、如权利要求44所述的方法，其中，该确定SVC适配操作符的步骤和提取并适配位流的步骤包括：

解析以XML格式记录的Adapation QoS信息，并提取SVC适配操作符以用于适配应用了SVC技术的位流；

基于网络环境信息和用户环境信息，确定提取的SVC适配操作符中的最佳SVC适配操作符；以及

提取满足所确定的SVC适配操作符的位流。

48、如权利要求44所述的方法，其中，该发送位流的步骤和产生Adapation QoS信息的步骤包括：

向用户终端发送提取的应用了SVC技术的位流；以及

以XML格式描述该包括SVC适配操作符的Adapation QoS信息，以用于将来的应用了SVC技术的位流的适配。

49、一种计算机可读记录媒介，其上包含有执行如权利要求25所述的任意一种方法的计算机程序。

Images