CN103780917A - 用于智能地适配视频分组的方法和网络单元 - Google Patents
用于智能地适配视频分组的方法和网络单元 Download PDFInfo
- Publication number
- CN103780917A CN103780917A CN201210400938.3A CN201210400938A CN103780917A CN 103780917 A CN103780917 A CN 103780917A CN 201210400938 A CN201210400938 A CN 201210400938A CN 103780917 A CN103780917 A CN 103780917A
- Authority
- CN
- China
- Prior art keywords
- video
- grade
- carrying
- wireless environment
- video packets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000004891 communication Methods 0.000 claims abstract description 18
- 230000009467 reduction Effects 0.000 claims abstract description 6
- 230000003044 adaptive effect Effects 0.000 claims description 43
- 230000006978 adaptation Effects 0.000 claims description 42
- 230000005540 biological transmission Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 2
- 230000002542 deteriorative effect Effects 0.000 abstract 1
- 230000000007 visual effect Effects 0.000 description 22
- 230000015556 catabolic process Effects 0.000 description 11
- 239000013256 coordination polymer Substances 0.000 description 11
- 238000006731 degradation reaction Methods 0.000 description 11
- 108091006146 Channels Proteins 0.000 description 10
- 230000036962 time dependent Effects 0.000 description 8
- 230000006866 deterioration Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000011664 signaling Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 3
- 230000003139 buffering effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005562 fading Methods 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Mobile Radio Communication Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供了用于在无线通信系统的基站中智能地适配基于可分级编码的视频分组的方法和网络单元。该方法包括：识别传送基于可分级编码的视频分组的承载；基于所述可分级编码的视频分组中的负荷报头和帧图案，为所述承载确定视频质量的等级的候选集合；在检测到无线环境恶化的情况下，为所述承载判定执行适配；以及从所述候选集合中为所述承载确定降低视频质量的等级以及要丢弃的视频分组中的网络提取层NAL单元。
Description
技术领域
本发明涉及通信领域，具体地涉及在无线通信系统的基站中智能地适配基于可分级编码的视频分组的技术。
背景技术
随着对于多种视频应用的需求的增长，针对不同应用的运动图像的更高压缩的增长需求带来了行业内的挑战。对于不同的网络环境而言，也需要能够以灵活的方式使用编码视频表示。在该背景下，国际标准化组织ISO和国际电工委员会IEC制定了高级视频编码（AVC,Advanced VideoCoding）技术标准，在该标准的附录中，已经定义了基于可分级的视频编码来满足特殊需求。术语“可分级”是指移除一部分视频比特流以使其适配于终端用户的不同需求或喜好以及变化的终端能力或网络条件。
作为H.264/AVC的扩展的可分级视频编码（SVC,Scalable VideoCoding）通过空间可分级性（即空间解析）、质量可分级性（即量化速率）、时间可分级性（即帧速率）或其组合，提供了不同的质量等级。它们是分别通过dependency_id、quality_id和temporal_id来标识的。一个SVC比特流可以包括一个“基本层”和一个或多个“增强层”。“基本层”可以独立于其他“增强层”而被解码。如果具有比特定增强层L更低的{dependency_id、quality_id和temporal_id}的基本层和所有其他增强层被成功解码，则一个接收器才能够解码该特定增强层L。
多视角视频编码（MVC,Multi-view Video Coding）是H.264/AVC中的另一种基于可分级的视频编码的标准。在MVC中，来自不同摄像机的视角被编码成与单视角H.264/AVC后向兼容的单个比特流。MVC提供视角可分级性和空间可分级性，它们是分别用view_id和temporal_id来标识的。一个MVC比特流可以包括一个“基本视角”和一个或多个“非基本视角”。基本视角可以独立于其他视角而被解码，其并不使用视角间预测。如果基本视角和参与特定非基本视角V的视角间预测的所有其他参考视角被成功地解码，则一个接收器才能够解码该特定非基本视角V。
无线信道条件和环境可能随时间和位置的变化而变化。该变化可能引入造成媒体数据递送失真的变化的误码率、变化的吞吐量和变化的分组延迟。为了尽可能的提供高质量的视频业务，现有技术已考虑了根据变化的网络条件，对正在递送的媒体数据进行适配的方案。然而，现有技术存在明显的缺陷。
当前由IETF（互联网工程任务组）定义的系统级功能仅将视频业务适配于不同的传输网络条件或异构接收器。这意味着适配是在源、目的或中间媒体感知网络单元（MANE，Media-Aware Network Element）执行的。MANE是例如中间盒或应用层网关的网络单元。因为MANE不具有无线接入网的信息，它无法根据随时间变化的无线环境来对递送的媒体数据执行适配。
尽管近期的学术研究提出由网关根据eNB（增强基站）的与信道吞吐量和质量有关的报告和预测，来调整视频服务的编解码方案，然而网关只能够在GoP（Group of Picture：图像组）的层面上来更改视频服务的编解码。一方面，该调整力度只适用于较慢的信道衰落而不是快速衰落（通常一个GoP是0.5到2秒）；另一方面，它产生了较大的上行链路信令开销。图1示意性地示出了在现有技术中由网关基于eNB的报告和预测来调整编解码。
至于无线接入网络，一方面，当前的无线接入网络不能执行针对SVC/MVC的适配；另一方面，当前在基站中由于缓冲器溢出或分组超时而产生的分组丢弃并没有考虑SVC/MVC的可分级性。如果SVC的基本层或MVC的基本视角中的一个分组被丢弃，则成功接收的对应同一图像（picture）的增强层分组或非基本视角分组对于用户解码该图像而言将变得毫无用处。这种“盲目分组丢弃”的特性，从用户体验QoE的角度来看是不可接受的。
发明内容
为了解决上述现有技术中的问题，根据本发明的一个方面，提出了一种用于在无线通信系统的基站中智能地适配基于可分级编码的视频分组的方法，该方法包括：a)识别传送基于可分级编码的视频分组的承载；b)基于所述可分级编码的视频分组中的负荷报头和帧图案，为所述承载确定视频质量的等级的候选集合；c)在检测到无线环境恶化的情况下，为所述承载判定执行适配；以及d)从所述候选集合中为所述承载确定降低视频质量的等级以及要丢弃的视频分组中的网络提取层（NAL，Network AbstractLayer）单元。
优选地，步骤b)是通过以下步骤实现的：基于负荷报头中包含的可分级参数来确定输入操作点OP（Operation Point）；以及基于所述输入操作点OP和所述帧图案在所述基站中生成OP表，该OP表中指明了不同的所述视频质量的等级的候选集合和与每个等级对应的需要丢弃的所述NAL单元。
根据本发明的另一个方面，提出了一种用于在无线通信系统的基站中智能地适配基于可分级编码的视频分组的网络单元，包括：第一装置，用于识别传送基于可分级编码的视频分组的承载；第二装置，用于基于所述可分级编码的视频分组中的负荷报头和帧图案，为所述承载确定视频质量的等级的候选集合；第三装置，用于在检测到无线环境恶化的情况下为所述承载判定执行适配；以及第四装置，用于从所述候选集合中为所述承载确定降低视频质量的等级以及要丢弃的视频分组中的网络提取层NAL单元。
附图说明
通过阅读下面结合附图对本发明具体实施例的说明，本发明的上述及其他特征和优点将变得更加明显。其中：
图1示意性地示出了现有技术中的调整编解码的方案；
图2是根据本发明方案的包括智能分组处理SPP功能的基站的框图；
图3示意性地说明了SPP的功能划分；
图4示意性地说明了SPP的状态机；
图5示意性地说明了基站可能接收到的分组格式；
图6示意性地说明了软适配和硬适配；
图7是说明如何识别传送可分级视频业务的承载的流程图；
图8是说明在SVC的情况下如何将可分级的视频业务适配于随时间变化的无线环境的流程图；
图9示意性地说明了SVC的情况下的比特流分量；
图10示出了在SVC的情况下由基站生成的操作点OP表；
图11是说明在MVC的情况下如何将可分级的视频业务适配于随时间变化的无线环境的流程图；
图12示意性地说明了MVC的情况下的比特流分量；
图13是根据本发明一个实施例的用于智能地适配基于可分级编码的视频分组的方法的流程图；和
图14是根据本发明一个实施例的用于智能地适配基于可分级编码的视频分组的网络单元的框图。
具体实施方式
本发明的基本思想是在无线接入网中执行SVC/MVC的适配，即将可分级的视频业务，即SVC和MVC，适配于随时间变化的无线环境。它不仅能够使得SVC/MVC适配于随时间变化的无线环境而无需上行链路信令开销，还能够为UE维持可接受的尽可能高的QoE。
如图2所示，代表适配的新功能块称作智能分组处理（SPP,SmartPacket Processing），其位于PDCP层之上。图3示出了SPP的功能划分，即“无线分组检测（RPI，Radio Packet Inspection）”和“优雅速率适配（GRA，Graceful Rate Adaptation）”。
应当指出，图2中的“基站”可以是GSM（全球移动通信系统）系统中的BTS（基站收发信机）、WCDMA（宽带码分多址）系统中的RNC（无线网络控制器）或LTE（长期演进）系统中的eNB（增强基站）。在本发明的剩余部分中，将不区分这些网络单元。
还应当指出，SVC/MVC比特流可以包括一个或多个IP分组流，即在RFC 6190和draft-ietf-payload-rtp-mvc-02中所定义的单一会话传输模式（SST,Single-Session Transmission）或多重会话传输模式（MST,Multi-Session Transmission）。SST是针对单播的而MST是针对广播/组播的。在图3示出的例子中，一个SVC/MVC比特流包括三个IP分组流。详细内容参考上述文献，并且在这里不再赘述。
控制平面处理
控制平面处理包括两个阶段，即适配准备阶段和适配操作阶段。
1.适配准备阶段
在该阶段，基站借助于新的用户平面功能RPI而识别建立的所有承载中的哪些承载是传送SVC或MVC视频业务的，这可以在成功建立一个新承载之后执行。具体地，控制平面CP，例如RRM（无线资源管理）功能，能够指示RPI检测一个或多个所指示承载的业务类型。CP能够用承载ID来向RPI指示一个或多个承载。
RPI的处理将在用户平面部分被描述。当接收来自RPI的结果时，CP存储该信息以供将来使用。CP可以维持关于承载与其业务类型之间的关系的映射表。具有SVC或MVC的承载是用于随后可能进行的适配操作的候选。
2.适配操作阶段
在该阶段，RRM模块指示SPP开始或停止适配操作。当接收了来自RRM的“开始适配”指令时，SPP进入“打开”状态，这意味着它应当开始适配。SPP在接收“停止适配”之后进入“关闭”状态，这意味着它应当停止适配操作。SPP的初始状态是“关闭”。图4示出了相应的状态机。
通常，无线环境的变化对应三种触发条件，能够触发从RRM到SPP的指令，包括：
1）UE的信道测量报告，即信道状态信息（CSI，Channel StatusInformation），这包括CQI（信道质量指示）、PMI（预编码矩阵指示）和/或RI（信道秩指示）；
2）协议层状态，即HARQ重传次数、PDCP层缓冲器的状态、RLC层缓冲器的状态；
3）基站的状态，即可用资源的状态。
RRM能够应用一个或多个上述触发条件来确定“开始适配”指令。例如：RRM能够应用触发条件1）和2）来检测针对特定UE的可用带宽减少并发送“开始适配”指令以避免PDCP缓冲器中的可能的分组丢弃。在该情况下，可以实施“软适配”。另一个例子是，当RRM检测到仅发生了触发条件2）（例如在PDCP层已发生分组丢弃）时，为了达到具有可接受质量的业务连续性，它能够发送“开始适配”指令，将“盲目分组丢弃”变成“智能分组丢弃”。在该情况下，可以实施“硬适配”。软适配和硬适配在下文中说明。上面两种使用情形基于时变无线环境而提供了尽可能高的视频服务质量。
RRM也可以使用触发条件3）来检测基站中的全部可用资源由于过载或拥塞而大大减少。为了使得晚到来的UE能够接入系统，RRM能够确定为正进行的特定的SVC/MVC业务适当地减少已分配的带宽，从而发送“开始适配”的指令。在该情况下，可以实施“软适配”或“硬适配”中的任一种。这种使用情形旨在提供更加合理地共享的无线资源分配。
应当指出，不排除RRM根据其他因素确定发送指令的可能性。细节在于RRM算法的具体实现问题，这超出了本发明的范围，因此不再这里进一步讨论。
还应当指出，当检测到无线环境开始好转时RRM模块指示SPP停止执行降级的适配，开始执行升级的适配，并且SPP根据无线环境恢复的程度来适当地升高视频质量的等级并停止丢弃之前确定为丢弃的NAL单元。
用户平面处理
与控制平面处理相对应，用户平面处理也把包括两个阶段，即适配准备阶段和适配操作阶段。
1.适配准备阶段
在该阶段中，RPI接收来自CP的指令以检测一个或多个所指示承载的业务类型。通过检测来自核心网（CN，Core Network）的所接收IP分组的RTP负荷报头，RPI能够辨别出所指示的一个或多个承载是否是针对SVC或MVC业务的。对于SVC而言，RPI可以读取dependency_id、quality_id和temporal_id。对于MVC而言，RPI可以读取view_id和temporal_id。RPI将检测结果返回给CP。
2.适配操作阶段
在用户平面中，从CN接收的可分级视频服务的IP分组流首先被传送至SPP。如果SPP处于“关闭”状态，则SPP输出所接收的IP分组流至PDCP而不进行任何处理。如果SPP处于“开启”状态，则它顺次地执行RPI和GRA，如图3所示。
应用RPI以获取SVC/MVC的可分级性信息。目前，针对视频业务有四种传输协议作为候选，如图5所示。图5示出了通过RPI接收的可能的IP分组格式。通过检测RTP负荷报头，RPI能够区分属于SVC的基本层（或MVC的基本视角）和SVC的一个或多个增强层（或MVC的非基本视角）的IP分组。
RPI也能够识别输入操作点（输入OP）和针对每一层的I/B/P帧图案。SVC比特流的操作点包括为了能够解码特定的dependency_id、quality_id和temporal_id组合所需要的比特流分量，即具有特定{dependency_id,quality_id,temporal_id}组合的NAL单元。MVC比特流的操作点包括为了能够解码特定的view_id和temporal_id组合所需要的比特流分量，即具有特定{view_id,temporal_id}组合的NAL单元。此外，RPI能够获得视频业务的优先级信息，该优先级信息指示了NAL单元的重要性级别。利用输入OP，优先级信息，基站能够推断OP表。该OP表中指明了不同视频质量等级的候选集合和与每个等级对应的需要丢弃的所述NAL单元。该OP表以不同视频质量等级的降级排序指示了的合理适配路径。
对于MST模式而言，针对一个广播/组播业务（即3GPP中的MBMS业务）可以建立不止一个承载。RPI能够通过检测所有有关联承载的IP分组流来获得可分级性信息和输入OP。基站能够通过OAM或显性的信令来获得MBMS业务和所有有关承载的映射信息。具体实现超出本发明范围，因此不在这里进一步讨论。
利用通过RPI和RRM获取的上述信息，GRA执行不同OP之间的切换，即为适配选择合适的OP。当RRM指示进行降级适配时，GRA可以为UE选择合适的降级的OP等级，及当前OP。GRA识别并移除其消除对QoE产生最小不利影响的那些分组。当SPP从“关闭”状态进入“开启”状态时，它设置当前OP作为输入OP。如果RRM选择“软适配”，则GRA在OP表中将当前OP降级到下一等级。如果RRM选择“硬适配”，则GRA根据无线环境下降的程度，可以判定在OP表中将当前OP降级到非相邻等级。在实际系统中，GRA可以使用CQI、缓冲器状态来计算UE的可用带宽，并由此判断系统可以支持的视频速率和质量。具体计算方法是本领域技术人员熟知的，并且因为超出本发明的讨论范畴，在此不做赘述。在图6中示出了“软适配”和“硬适配”之间的差异。
对于所选的当前OP而言，这意味着输入OP的一些比特流分量被选择丢弃。注意，所述丢弃是指丢弃OP表中指示的视频业务的网络提取层NAL单元。在OP等级切换后，GRA可能需要为输出IP分组涉及的RTP包重写RTP报头或分配新的序号的。在图3中，IP分组流#3被选择。在OP等级切换后，GRA将输出IP分组流转发至PDCP。RRM可以指示GRA重复OP等级切换直到指示SPP返回到“关闭”状态。
应当指出，当基站检测到无线环境开始好转时，RRM模块指示SPP停止执行降级的适配，开始执行升级的适配，并且GRA根据无线环境恢复的程度来适当地升高视频质量的等级并停止丢弃之前确定为丢弃的NAL单元。出于简化的目的，本文仅描述了针对单播UE的SST模式视频服务的例子。对于MST模式视频而言，除了是针对多个输入IP分组流操作之外，步骤都是相同的。
实例1：适配准备
在该实例中，基站识别传输可分级视频服务的承载。图7示出了各步骤。
步骤1：CP建立一个新承载。
步骤2：CP指示RPI检测新承载的业务类型，并且CP用承载ID向RPI指示承载。
步骤3：RPI在该指示的承载中发现从CN接收到的分组，并且RPI通过检测分组来识别业务类型。
步骤4：在该实施例中，由于RPI读取了分组的RTP负荷报头中的dependency_id、quality_id和temporal_id，RPI返回检测结果{SVC}给CP。
步骤5：CP存储检测结果以供将来使用。
实例2：适配操作
在该实例中，一个SVC比特流被传送至单播UE。SVC比特流只包括一个IP分组流，其包括一个基本层和多个增强层。图8中显示了各步骤。
步骤1：RRM监视变化的无线环境的触发条件。
步骤2：由于突然降低的CQI和伴随的PDCP层缓冲区的突然升高，RRM检测到无线环境下降。为了避免即将发生的PDCP层缓冲器中的“盲目分组丢弃”，在该实例中，RRM根据CQI降低和PDCP层缓冲区升高的程度而判定执行“软适配”。
步骤3：RRM指示SPP从初始的“关闭”状态进入“开启”状态。
步骤4：应用RPI以获取SVC比特流的可分级性信息。在该实例中，SVC比特流包括一个基本层（具有dependency_id=0、quality_id=0、temporal_id=0的分组）、两个质量增强层（具有quality_id=2的分组）和三个时间增强层（分别具有temporal_id=1,2,3的分组）。图9示出了对应的比特流分量及其关系。垂直箭头示出了改进的质量。水平箭头示出了不同比特流分量之间的时间预测关系。具有{dependency_id＝0,quality_id=2}和{dependency_id=0,quality_id=1}的层的预测关系与具有{dependency_id=0,quality_id=0}的层的相同，但是为了简化而没有在图中示出。RPI获得OP等级#0的输入OP{dependency_id=0,quality_id=2，temporal_id=3}。此外，如果视频源使用优先级信息进行视频编码时，RPI还获得视频业务的优先级信息，该优先级信息至少包括包含在NAL单元报头中的priority_id和/或idr_flag等参数，这些优先级信息指出了NAL单元的重要性。RPI利用输入OP和优先级信息推断出如图10所示的OP表，其中“X”是指所指示的待丢弃比特流分量。
应当指出，对于具有不同的dependency_id值的OP表而言，网络可以针对不同的dependency_id值来配置相同的OP表。当基站执行适配时，具有较高dependency_id值的OP等级以高优先级被执行。
步骤5：基于来自RPI和RRM的上述信息，GRA判定降级OP至相邻OP等级#1。
步骤6：具有quality_id=2和temporal_id=3的比特流分量被选择丢弃。优选地，具有较小优先级的，即较低重要性的NAL单元首先被丢弃，和/或具有较小时间标记的分组首先被丢弃。
步骤7：RRM检测到无线环境恢复。
步骤8：RRM指示SPP返回“关闭”状态。
实例3：适配操作
在该实例中，一个MVC比特流被传送到单播UE。MVC比特流只包括一个IP分组流，其包括一个基本视角和多个非基本视角。图11中示出了各步骤。
步骤1：RRM监视变化的无线环境的触发条件。
步骤2：RRM检测到可用无线资源大大减少。为了使得晚到来的UE能够接入系统，RRM判定减少MVC业务的已分配资源。在该实例中，RRM基于可用无线资源减少的程度而判定执行“硬适配”。
步骤3：RRM指示SPP从初始“关闭”状态进入“开启”状态。
步骤4：应用RPI以获得MVC比特流的可分级性信息。在该实例中，MVC比特流包括一个基本视角（具有view_id=0的分组）、两个非基本视角（分别具有view_id=1和2的分组）。图12示出了对应的比特流分量及其关系。垂直箭头示出了不同视角之间的预测关系，temporal_id取值相同的不同比特流分量之间存在相同的视角之间的预测关系，为了简化而未在图中全部示出。图12中的水平箭头示出了不同比特流分量之间的时间预测关系，不同的视角具有相同的时间预测关系，但是为了简化也未在图中全部示出。
步骤5：基于来自RPI和RRM的上述信息，GRA判定将OP降级到不具有view_id=2的OP等级。
步骤6：具有view_id=2的比特流分量被选择丢弃。优选地，具有较小优先级的网络提取层NAL单元首先被丢弃，和/或具有更小时间标记的分组首先被丢弃。
步骤7：RRM检测到无线环境恢复。
步骤8：RRM指示SPP返回“关闭”状态。
应当指出，上述几个实例还可以包含步骤：当检测到无线环境开始好转时RRM模块指示SPP停止执行降级的适配，开始执行升级的适配，并且SPP根据无线环境恢复的程度来适当地升高视频质量的等级并停止丢弃之前确定为丢弃的NAL单元。读过本发明的本领域技术人员能够容易地想到如何执行所述升级适配。为简单起见，该步骤未在相应图中示出。
通过以上描述可知：
-在适配准备阶段，基站通过发起新用户平面功能性RPI而在所有建立的承载之中识别出传送可分级视频业务的承载。通过检测RTP负荷报头，RPI能够辨别出承载中的IP分组流是否是针对可分级视频业务的。然后，所指示的可分级视频业务作为适配操作的候选。
-在适配操作阶段，RRM指示SPP开始或停止适配，这包括：
a）RPI获取SVC/MVC的可分级性信息、可选的优先级信息以及输入OP，并且推断OP表；
b）如果RRM为“开始适配”选择“软适配”，则GRA降级当前OP至下一等级，其中每当降至下一等级时，RRM可以指示GRA重复OP等级切换直到SPP返回“关闭”状态；
c）如果RRM为“开始适配”选择“硬适配”，则GRA在OP表中选择合适的OP降级等级。
应当指出，当检测到无线环境开始好转时RRM模块指示SPP停止执行降级的适配，开始执行升级的适配，并且SPP根据无线环境恢复的程度来适当地升高视频质量的等级并停止丢弃之前确定为丢弃的NAL单元。
本发明通过在无线通信系统的基站中将SVC和MVC的可分级性特征适配于随时间变化的无线环境，提供了比特流适配的灵活性和差错鲁棒性并且因此为当前基站提供了更合理的共享无线资源分配。另外，本发明能够基于瞬时无线环境向终端提供质量尽可能高的视频业务，而无需额外的上行信令，并且能够维持可接受的QoE。
应当指出，本发明可以应用于GSM系统中的BTS、WCDMA系统中的RNC或LTE系统中的eNB等。
还应当指出，本发明适用于单播和广播/组播业务二者。
下面参照图13来描述根据本发明一个实施例的用于在无线通信系统的基站中智能地适配基于可分级编码的视频分组的方法。如上文指出的，在本实施例中，所述基站例如（但不限于）是GSM系统中的BTS、WCDMA系统中的RNC或LTE系统中的eNB。
如图13所示，在步骤301中，识别传送基于可分级编码的视频分组的承载。在这里所述可分级编码是符合H.264/AVC的可分级视频编码SVC和多视角视频编码MVC。具体地，在本实施例中，通过检测所述基于可分级编码的视频分组中的负荷报头来识别传送基于SVC或MVC的视频分组的承载以供将来使用。在这里，所述负荷报头可以是例如（但不限于）RTP负荷报头。
接着，在步骤302中，基于所述可分级编码的视频分组中的负荷报头和帧图案，为所述承载确定视频质量的等级的候选集合。在这里，所述帧图案是图像编码中的I、B和P帧的图案，并且所述负荷报头可以例如（但不限于）是RTP负荷报头。
具体地，在本实施例中，首先，基于所述负荷报头中包含的可分级参数来确定输入操作点OP。在这里，对于SVC而言，所述可分级参数包括符合H.264/AVC和RFC6190的dependency_id、quality_id和temporal_id，而对于MVC而言，所述可分级参数包括符合H.264/AVC和draft-ietf-payload-rtp-mvc-02的view_id和temporal_id。例如，参见图10，所述视频分组包括两个质量增强层（具有quality_id＝2的分组）和三个时间增强层（分别具有temporal_id=1,2,3的分组），由此获得了OP等级#0的输入OP。
然后，基于所述输入操作点OP和所述帧图案在所述基站中生成OP表，该OP表中指明了所述降低视频质量的等级的候选集合和与每个等级对应的需要丢弃的所述NAL单元。例如，参见图10，在获得OP等级#0的输入OP之后，能够推断出如图10所示的OP表，其中“X”是指所选出的待丢弃比特流分量。OP表以不同视频质量等级的降级排序指示了的合理适配路径。
优选地，生成所述OP表还基于所述负荷报头中所包含的优先级信息，该优先级信息指示了NAL单元的重要性级别。
接着，在步骤303中，在检测到无线环境恶化的情况下，为所述承载判定执行适配。在这里，所述无线环境恶化例如是用户设备的信道质量、协议层状态和可用资源状态中的一个或其任意组合的恶化。
最后，在步骤304中，从所述候选集合中为所述承载确定降低视频质量的等级以及要丢弃的视频分组中的网络提取层NAL单元。
应当指出，确定降低视频质量的等级包括基于所述无线环境恶化的程度而降低到相邻等级或非相邻等级，例如，基站基于无线环境恶化程度判定从等级#0降低到相邻等级#1，或者从等级#0降低到非相邻等级#2。
优选地，具有较小优先级，即较低重要性的NAL单元首先被丢弃。
优选地，具有较小时间标记的视频分组中的NAL单元首先被丢弃。
应当指出，如果无线环境持续恶化，则重复执行步骤303和304。
优选地，当检测到无线环境开始好转时停止执行降级适配，开始执行升级适配，并且根据无线环境恢复的程度来升高等级并停止丢弃之前确定为丢弃的NAL单元。应当指出，读过本发明的本领域技术人员能够容易地想到如何执行所述升级适配。
还应当指出，本实施例适用于单播和广播/组播业务二者。
在本实施例中，适配基于可分级编码的视频分组可以遵循现有的和将来的任何解决方案、标准、规范等的方式，例如（但不限于）前面所述的H.264/AVC、RFC6190和draft-ietf-payload-rtp-mvc-02。
通过以上描述可知，采用本实施例的用于在无线通信系统的基站中智能地适配基于可分级编码的视频分组的方法，通过在无线通信系统的基站中将SVC和MVC的可分级性特征适配于随时间变化的无线环境，提供了比特流适配的灵活性和差错鲁棒性并且因此为当前基站提供了更合理的共享无线资源分配；并且能够基于瞬时无线环境向终端提供质量尽可能高的视频业务，而无需额外的上行信令，并且能够维持可接受的QoE。
在同一发明构思下，根据本发明的另一个方面，提供了一种用于在无线通信系统的基站中智能地适配基于可分级编码的视频分组的网络单元。下面就结合附图对其进行说明。
图14示出了根据本发明一个实施例的用于在无线通信系统的基站中智能地适配基于可分级编码的视频分组的网络单元400。网络单元400包括第一装置401，第二装置402和第三装置403。第一装置401用于识别传送基于可分级编码的视频分组的承载。具体地，在本实施例中，第一装置401通过检测基于可分级编码的视频分组中的负荷报头来识别传送基于SVC或MVC的视频分组的承载以供将来使用。第二装置402用于基于所述可分级编码的视频分组中的负荷报头和帧图案，为所述承载确定视频质量的等级的候选集合。在这里，所述帧图案例如是图像编码中的I、B和P帧的图案，并且所述负荷报头例如是RTP负荷报头。具体地，在本实施例中，首先，第二装置402基于所述负荷报头中包含的可分级参数来确定输入操作点OP。在这里，对于SVC而言，所述可分级参数包括符合H.264/AVC和RFC6190的dependency_id、quality_id和temporal_id，而对于MVC而言，所述可分级参数包括符合H.264/AVC和draft-ietf-payload-rtp-mvc-02的view_id和temporal_id。例如，参见图10，所述视频分组包括两个质量增强层（具有quality_id=2的分组）和三个时间增强层（分别具有temporal_id=1,2,3的分组），由此获得了OP等级#0的输入OP。然后，第二装置402基于所述OP和所述帧图案在所述基站中生成OP表，该OP表中指明了所述降低视频质量的等级的候选集合和与每个等级对应的需要丢弃的所述NAL单元。例如，参见图10，在获得OP等级#0的输入OP之后，能够推断出如图10所示的OP表，其中“X”是指所选出的待丢弃比特流分量。OP表以不同视频质量等级的降级排序指示了的合理适配路径。优选地，生成所述OP表还基于所述负荷报头中所包含的优先级信息，该优先级信息指示了NAL单元的重要性级别。第三装置403用于在检测到无线环境恶化的情况下为所述承载判定执行适配。在这里，所述无线环境恶化例如是用户设备的信道质量、协议层状态和可用资源状态中的一个或其任意组合的恶化。第四装置404用于从所述候选集合中为所述承载确定降低视频质量的等级以及要丢弃的视频分组中的网络提取层NAL单元。
应当指出，确定降低视频质量的等级包括基于所述无线环境恶化的程度而降低到相邻等级或非相邻等级，例如，基站基于无线环境恶化程度判定从等级#0降低到相邻等级#1，或者从等级#0降低到非相邻等级#2。
优选地，具有较小优先级，即较低重要性的NAL单元首先被丢弃。
优选地，具有较小时间标记的视频分组中的NAL单元首先被丢弃。
应当指出，当检测到所述无线环境开始好转时停止执行所述适配，并且根据所述无线环境恢复的程度来基于所述候选集合而升高所述等级并停止丢弃之前确定为丢弃的所述NAL单元。
应当指出，所述网络单元适配基于可分级编码的视频分组可以遵循现有的和将来的任何解决方案、标准、规范等的方式，例如（但不限于）前面所述的H.264/AVC、RFC6190和draft-ietf-payload-rtp-mvc-02。
在实施上，本实施例的网络单元400以及第一装置401、第二装置402、第三装置403和第四装置404，可以以软件、硬件或软件和硬件组合的方式来实现。例如，本领域技术人员熟悉多种可用来实现这些部件的设备，诸如微处理器、微控制器、专用集成电路（ASIC）、可编程逻辑设备（PLD）和/或现场可编程门阵列（FPGA）等。本实施例的网络单元400可以被实现在无线通信系统的基站中也可以与基站分离地实现，并且该网络单元400的各个组成部分也可以物理地分开实现而操作上地相互连接。
在操作上，上述结合图14说明的实施例的用于在无线通信系统的基站中智能地适配基于可分级编码的视频分组的网络单元400，可以实现前面描述的用于在无线通信系统的基站中智能地适配基于可分级编码的视频分组的方法。通过使用该网络单元400，通过在无线通信系统的基站中将SVC和MVC的可分级性特征适配于随时间变化的无线环境，提供了比特流适配的灵活性和差错鲁棒性并且因此为当前基站提供了更合理的共享无线资源分配；并且能够基于瞬时无线环境向终端提供质量尽可能高的视频业务，而无需额外的上行信令，并且能够维持可接受的QoE。
以上虽然通过一些示例性的实施例对本发明的用于在无线通信系统中智能地适配基于可分级编码的视频分组的方法和网络单元进行了详细的描述，但是以上这些实施例并不是穷举的，本领域技术人员可以在本发明的精神和范围内实现各种变化和修改。因此，本发明并不限于这些实施例，本发明的范围仅由所附权利要求为准。
Claims (15)
1.一种用于在无线通信系统的基站中智能地适配基于可分级编码的视频分组的方法，该方法包括以下步骤：
a)识别传送基于可分级编码的视频分组的承载；
b)基于所述可分级编码的视频分组中的负荷报头和帧图案，为所述承载确定视频质量的等级的候选集合；
c)在检测到无线环境恶化的情况下，为所述承载判定执行适配；以及
d)从所述候选集合中为所述承载确定降低视频质量的等级以及要丢弃的视频分组中的网络提取层NAL单元。
2.根据权利要求1所述的方法，其中，步骤b)是通过以下步骤实现的:
-基于所述负荷报头中包含的可分级参数来确定输入操作点OP；以及
-基于所述输入操作点OP和所述帧图案在所述基站中生成OP表，该OP表中指明了不同的所述视频质量的等级的候选集合和与每个等级对应的需要丢弃的所述NAL单元。
3.根据权利要求1或2所述的方法，其中：
-生成所述OP表还基于所述负荷报头中所包含的优先级信息，该优先级信息指示了所述NAL单元的重要性级别；和/或
-确定降低视频质量的等级包括基于所述无线环境恶化的程度而降低到相邻等级或非相邻等级；和/或
-识别传送基于可分级编码的视频分组的承载是通过检测所述基于可分级编码的视频分组中的负荷报头来实现的。
4.根据权利要求1至3中任一项所述的方法，其中：
-在所述无线环境持续恶化的情况下重复执行步骤c)和d)；和/或
-当检测到所述无线环境开始好转时停止执行所述适配，并且根据所述无线环境恢复的程度来基于所述候选集合而升高所述等级并停止丢弃之前确定为丢弃的所述NAL单元。
5.根据权利要求1至4中任一项所述的方法，其中：
-所述帧图案是图像编码中的I、B和P帧的图案；和/或
-所述负荷报头是实时传输协议RTP负荷报头；和/或
-所述无线环境包括用户设备的信道质量、协议层状态和可用资源状态中的一个或者其任意组合。
6.根据权利要求1至5中任一项所述的方法，其中：
-所述可分级编码包括符合H.264/AVC的可分级视频编码SVC和多视角视频编码MVC；和/或
-对于SVC而言，所述可分级参数包括符合H.264/AVC和RFC6190的dependency_id、quality_id和temporal_id，而对于MVC而言，所述可分级参数包括符合H.264/AVC和draft-ietf-payload-rtp-mvc-02的view_id和temporal_id。
7.根据权利要求1至6中任一项所述的方法，其中：
-具有较小优先级的网络提取层NAL单元首先被丢弃；和/或
-具有较小时间标记的视频分组中的网络提取层NAL单元首先被丢弃。
8.一种用于在无线通信系统的基站中智能地适配基于可分级编码的视频分组的网络单元，包括：
-第一装置，用于识别传送基于可分级编码的视频分组的承载；
-第二装置，用于基于所述可分级编码的视频分组中的负荷报头和帧图案，为所述承载确定视频质量的等级的候选集合；
-第三装置，用于在检测到无线环境恶化的情况下为所述承载判定执行适配；以及
-第四装置，用于从所述候选集合中为所述承载确定降低视频质量的等级以及要丢弃的视频分组中的网络提取层NAL单元。
9.根据权利要求8所述的网络单元，其中，由所述第二装置确定降低视频质量的等级以及要丢弃的NAL单元是通过以下过程实现的:
-基于所述负荷报头中包含的可分级参数来确定输入操作点OP；以及
-基于所述输入操作点OP和所述帧图案在所述基站中生成OP表，该OP表中指明了所述降低视频质量的等级的候选集合和与每个等级对应的需要丢弃的所述NAL单元，由此从所述候选集合中确定降低视频质量的等级。
10.根据权利要求8或9所述的网络单元，其中：
-生成所述OP表还基于所述负荷报头中所包含的优先级信息，该优先级信息指示了所述NAL单元的重要性级别；和/或
-确定降低视频质量的等级包括基于所述无线环境恶化的程度而降低到相邻等级或非相邻等级。
11.根据权利要求8至10中任一项所述的网络单元，其中，
-所述第一装置识别承载是通过检测所述基于可分级编码的视频分组中的负荷报头来实现的；和/或
-所述网络单元包含于所述基站中。
12.根据权利要求8至11中任一项所述的网络单元，其中，当检测到所述无线环境开始好转时所述网络单元停止执行所述适配，并且所述第四装置还适于根据所述无线环境恢复的程度来基于所述候选集合而升高所述等级并停止丢弃之前确定为丢弃的所述NAL单元。
13.根据权利要求8至12中任一项所述的网络单元，其中：
-所述帧图案是图像编码中的I、B和P帧的图案；和/或
-所述负荷报头是实时传输协议RTP负荷报头；和/或
-所述无线环境包括用户设备的信道质量、协议层状态和可用资源状态中的一个或者其任意组合。
14.根据权利要求8至13中任一项所述的网络单元，其中：
-所述可分级编码包括符合H.264/AVC的可分级视频编码SVC和多视角视频编码MVC；和/或
-对于SVC而言，所述可分级参数包括符合H.264/AVC和RFC6190的dependency_id、quality_id和temporal_id，而对于MVC而言，所述可分级参数包括符合H.264/AVC和draft-ietf-payload-rtp-mvc-02的view_id和temporal_id。
15.根据权利要求8至14中任一项所述的网络单元，其中：
-具有较小时间标记的视频分组中的网络提取层NAL单元首先被丢弃；和/或
-具有较小优先级的网络提取层NAL单元首先被丢弃。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210400938.3A CN103780917B (zh) | 2012-10-19 | 2012-10-19 | 用于智能地适配视频分组的方法和网络单元 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210400938.3A CN103780917B (zh) | 2012-10-19 | 2012-10-19 | 用于智能地适配视频分组的方法和网络单元 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103780917A true CN103780917A (zh) | 2014-05-07 |
| CN103780917B CN103780917B (zh) | 2018-04-13 |
Family
ID=50572685
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210400938.3A Active CN103780917B (zh) | 2012-10-19 | 2012-10-19 | 用于智能地适配视频分组的方法和网络单元 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103780917B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101073268A (zh) * | 2004-12-10 | 2007-11-14 | 皇家飞利浦电子股份有限公司 | 使用单层编码和优先级区分流的无线视频流 |
| CN101656888A (zh) * | 2008-08-21 | 2010-02-24 | 华为技术有限公司 | 一种视频传输方法及装置、系统 |
| US20100150224A1 (en) * | 2006-04-07 | 2010-06-17 | France Telecom | Method and device for coding data in a scalable stream |
| US20120013748A1 (en) * | 2009-06-12 | 2012-01-19 | Cygnus Broadband, Inc. | Systems and methods for prioritization of data for intelligent discard in a communication network |
-
2012
- 2012-10-19 CN CN201210400938.3A patent/CN103780917B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101073268A (zh) * | 2004-12-10 | 2007-11-14 | 皇家飞利浦电子股份有限公司 | 使用单层编码和优先级区分流的无线视频流 |
| US20100150224A1 (en) * | 2006-04-07 | 2010-06-17 | France Telecom | Method and device for coding data in a scalable stream |
| CN101656888A (zh) * | 2008-08-21 | 2010-02-24 | 华为技术有限公司 | 一种视频传输方法及装置、系统 |
| US20120013748A1 (en) * | 2009-06-12 | 2012-01-19 | Cygnus Broadband, Inc. | Systems and methods for prioritization of data for intelligent discard in a communication network |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103780917B (zh) | 2018-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11240821B2 (en) | Resource management concept | |
| US9521685B2 (en) | Circuit arrangement and method of determining a priority of packet scheduling | |
| US10887151B2 (en) | Method for digital video transmission adopting packaging forwarding strategies with path and content monitoring in heterogeneous networks using MMT protocol, method for reception and communication system | |
| WO2018006771A1 (en) | Methods and systems for video streaming | |
| CN103262630A (zh) | 多媒体已知无线电和网络自适应的信令技术 | |
| CN109905729B (zh) | 使用跨层优化发送多媒体数据封包的方法和装置 | |
| US9596057B2 (en) | Method and apparatus for physical layer link adaptation based on traffic properties | |
| Ahmedin et al. | A survey of multimedia streaming in LTE cellular networks | |
| JP6807956B2 (ja) | パケットドメイン内の音声サービスをスケジューリングするための方法および装置 | |
| CN103780917A (zh) | 用于智能地适配视频分组的方法和网络单元 | |
| Tizon et al. | Scalable and media aware adaptive video streaming over wireless networks | |
| EP1962456B1 (en) | Transceiver apparatus for cooperative wireless network | |
| Nihei et al. | Study on mechanism and reduction approaches of delay spikes occurrence on mobile networks | |
| Ramaboli | Concurrent multipath transmission to improve performance for multi-homed devices in heterogeneous networks | |
| Liebl et al. | Proxy-based transmission strategies for wireless video streaming |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 201206 Pudong Jinqiao Ning Road, Shanghai, No. 388 Applicant after: Shanghai NOKIA Baer Limited by Share Ltd Address before: 201206 Pudong Jinqiao Ning Road, Shanghai, No. 388 Applicant before: Shanghai Alcatel-Lucent Co., Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |