CN104604241B - 用于功率感知视频解码的方法和移动设备 - Google Patents

Abstract

公开了用于移动设备根据可用功率和/或能量解码视频的方法和系统。例如，移动设备从视频服务器接收针对视频流的媒体描述文件(MDF)。所述MDF包括与多个视频分段相关联的复杂性信息。所述复杂性信息可以与将被利用于在移动设备处解码所述分段的处理功率的量有关。所述移动设备确定针对所述移动设备的至少一个功率量度。所述移动设备基于来自所述MDF的复杂性信息和所述功率量度来确定针对第一视频分段所请求的第一复杂性级别。所述移动设备根据所检测的功率/能量级别动态地改变解码过程从而节省能量。

Description

用于功率感知视频解码的方法和移动设备

相关申请的交叉引用

本申请要求2012年7月9日提交的美国临时专利申请No.61/669,581的权益，所述申请的内容全部通引用结合于此。

背景技术

随着移动设备的普及继续增加，这些移动设备正被用于更多种类的应用。附加地，移动设备诸如智能手机正利用越来越复杂的功能。处理中的增加会增加功率消耗，这样负面地影响在有限功率情况下诸如当电池为用于设备的电源时的用户体验。

发明内容

公开了用于移动设备根据可用功率和/或能量解码视频的方法和系统。例如，移动设备从视频服务器接收针对视频串流的媒体描述文件(MDF)。所述MDF包括与多个视频分段相关联的复杂性信息。所述复杂性信息可以被关联到将被利用于在移动设备处解码所述分段的处理功率的量。所述移动设备确定针对所述移动设备的至少一个功率量度。例如，所述功率度量可以为留下给当前电源诸如电池的能量的量。所述移动设备基于来自所述MDF的复杂性信息和所述功率量度来确定针对第一视频分段所请求的第一复杂性级别。所述移动设备可以从所述视频服务器请求以所述第一复杂性级别的第一视频分段。

例如，MDF中所述复杂性信息可以根据视频分段而提供。被用来确定请求合适的复杂性等级的功率量度包括将被分配用于对视频的剩余部分进行解码的能量的量，用于之前解码的能量的量，在移动设备处采集的与先前解码后的分段有关的统计，以被用于对所述分段质量进行解码的功率比形式的成本信息，以用于所述分段的复杂性的功率比形式的成本信息等等。所述移动设备可以确定所述视频串流的剩余部分的持续时间，并且可以确定所述第一视频分段的持续时间。所述移动设备之后可以基于被分配用于解码所述视频串流的剩余部分的能量的量、所述视频串流的剩余部分的持续时间和所述第一视频分段的持续时间来确定被分配给所述第一视频分段的能量的量。所述移动设备可以基于在所述视频串流中剩余的每个分段将被分配等量的能量以用于解码的假设做出判断。被分配用于每个剩余分段的能量的总和少于或等于被分配用于完成所述视频解码的总功率。

所述移动设备通过确定将导致大致使用被分配给所述第一视频分段的能量的量来解码所述第一视频分段的复杂性级别的方式基于来自所述MDF的复杂性信息和所述功率量度来确定针对所述第一视频分段所请求的第一复杂性级别。例如，所述复杂性级别可以被量化，并且所述移动设备可以选择满足期望的功率使用目标的最复杂级别。所述移动设备通过基于分配给先前分段、被用来解码先前分段的复杂性级别和被分配用于解码所述第一视频分段的功率选择所述第一复杂性级别的方式基于来自所述MDF的复杂性信息和所述功率量度来确定针对所述第一视频分段所请求的第一复杂性级别。

移动设备可以自动地或结合网络调节解码过程从而节省能量同时限制引入解码误差。例如，移动设备确定所述第一视频分段的区域是否包括超过高频阈值的高频分量。移动设备在所述高频分量超过所述高频阈值的条件下在针对所述区域的运动补偿期间应用第一插值滤波器，或者在所述高频分量不超过所述高频阈值的条件下针对所述区域的运动补偿应用第二插值滤波器。所述第二插值滤波器与比所述第一插值滤波器较短的抽头(例如，较低的截止频率)相关联，从而限制存储器接入和节省功率。移动设备可以确定不应用具有较短抽头的滤波器(例如，较低的截止频率)，即使根据确定该区域为针对其它区域的参考存在很少的高频分量，意味着传播差错的概率更高。移动设备可以针对所述第一视频分段中的参考图片执行解块，以及避免针对非参考图片执行解块。

移动设备或其它无线发射接收单元可以包括用于基于功率条件动态改变视频解码的一个或多个功能性组件。例如，移动设备可以包括收发信机，所述收发信机被配置成请求来自视频服务器的针对视频文件的MDF并且从所述视频服务器接收所述MDF。其中所述MDF包括针对多个视频分段的复杂性信息。所述移动设备可以包括被配置成存储针对先前分段解码的统计的复杂性统计和控制单元。例如，针对先前分段解码的统计包括与解码至少一个先前分段相关联的功率信息和针对至少一个先前分段的复杂性信息。移动设备可以包括被配置成确定当前能量级别或功率级别信息的功率探测器。移动设备可以包括功率感知自适应控制器，所述功率感知自适应控制器被配置成确定基于来自所述MDF的复杂性信息、针对所述先前分段解码的统计和当前功率信息来确定针对后续分段所请求的复杂性级别。移动设备包括解码器，所述解码器被配置成基于由所述功率感知自适应控制器确定的信息确定应用于解码所述后续分段的参数或方法。

例如，所述解码器被配置成基于在给定区域内的像素采样的频率分析来确定应用于给定区域的运动补偿的插值滤波器。所述解码器被配置成针对具有低于特定阈值的高频分量的区域的较高层时间预测，利用具有比第二插值滤波器更短的抽头(例如更低的截止频率)的第一插值滤波器，并且针对较低层时间预测使用第二插值滤波器，即使当较低层的高频分量低于所述阈值。所述解码器被配置成针对除了至少块间外具有低于特定阈值的高频分量的区域，利用具有比第二插值滤波器更短的抽头(例如，更低的截止频率)的第一插值滤波器，其中块间的非因果邻居包括一个或多个内部编码的块。避免块间可以帮助阻止在内部编码存在下的传播差错，其中块间的非因果邻居包括一个或多个内部编码的块。所述功率为所述功率为自适应控制器，被配置成基于来自所述MDF的复杂性信息、针对先前分段解码的统计和当前功率信息来确定针对所述后续分段所请求的分辨率。所述分辨率可以以指定的复杂性级别进行请求。所述复杂性级别可以对应于所述编码器执行编码时的细节级别。

公开了一种用于无线发射/接收单元(WTRU)与视频服务器交互以在视频解码期间动态节省功率的方法。例如，可以动态地更新有关用于解码剩下的功率量的判断并且根据更新后的判断确定合适的复杂性级别以选择视频分段。例如，所述WTRU请求来自所述视频服务器的MDF。所述WTRU从所述视频服务器接收所述MDF。所述MDF包括用于解码视频串流的一个或多个视频分段的复杂性信息。所述WTRU至少部分基于被分配用于解码所述视频串流的剩余部分的剩余能量的量来确定被分配用于解码所述视频串流的视频分段的能量的量。所述WTRU基于被分配用于解码所述视频串流的视频分段的能量的量来确定针对所述视频串流的第一视频分段所请求的第一解码复杂性级别。所述WTRU请求针对所述第一视频分段的第一解码复杂性级别。所述WTRU重新估计被分配用于解码所述视频串流的剩余部分的剩余能量的量并且确定所述WTRU缺少足够的能量来完成每个视频分段以当前能量级别对所述视频串流的解码。

所述WTRU基于被分配用于解码所述视频串流的剩余部分的剩余能量的新的量来确定被分配用于解码所述视频串流的剩余视频分段的能量的新的量。所述WTRU基于被分配用于解码所述视频串流的剩余视频分段的能量的新的量来确定针对所述视频串流的第二视频分段所请求的第二解码复杂性级别。每个所述剩余视频分段基于被分配用于解码所述视频串流的剩余部分的能量的新的量而被分配等量的能量。针对各个视频分段的各个复杂性级别基于被分配用于解码视频分段的能量的量、所述各个视频分段的持续时间和与被利用用于解码至少一个先前分段的能量相关联的统计、针对所述至少一个先前分段的复杂性级别、和所述至少一个先前分段的持续时间而被选择。所述WTRU向所述服务器报告针对各个解码后的分段的功率使用统计，并且所述WTRU基于所述报告接收给定复杂性的视频分段。

附图说明

更详细的理解可以从下述结合附图以示例的方式给出的详细描述中得到，其中：

图1A是在其中一个或更多个公开的实施例可得以实现的示例通信系统的系统图。

图1B是可在图1A所示的通信系统中使用的示例无线发射/接收单元(WTRU)的系统图。

图1C是可在图1A所示的通信系统中使用的示例无线电接入网和示例核心网的系统图。

图1D是可在图1A所示的通信系统中使用的另一示例无线电接入网和示例核心网的系统图。

图1E是可在图1A所示的通信系统中使用的另一示例无线电接入网和示例核心网的系统图。

图2描述了移动设备增加数量的趋势。

图3描述了示例推送模式视频串流系统。

图4描述了示例基于HTTP的视频串流系统。

图5描述了可以在移动设备上实现的智能手机平台的示例架构。

图6A描述了在视频回放场景中的功率使用示例。

图6B描述了动态电压和频率调节。

图7描述了示例功率感知视频串流系统。

图8描述了在客户端处的示例可能切换操作点。

图9描述了在HEVC解码中的示例流程。

图10描述了针对luma MC流程的不同像素位置示例。

图11A和11B描述了针对使用HM6.1解码器的HEVC和使用随机接入(RA)设置进行编码的比特串流的时间简档示例。

图12A描述了示例插值滤波器波形，所述示例插值滤波器波形可以被用于在高频范围中的频率分量的相对小部分的区域。

图12B描述了针对图12A的插值滤波器的示例频率响应。

图13描述了在HEVC中的分层编码结构示例。

图14描述了在HEVC内部编码中使用的示例方向。

具体实施方式

近些年来，移动设备已经成为用于广大用户和应用选择的计算平台。例如，实际的片上系统(SoC)集成电路的快速演进已经允许移动设备增加其可用功能性同时保持在使其对于手持使用实用的大小。近来，IC已经极大地增加了移动设备的计算能力，例如，在CPU频率和/或可用处理内核数量方面。附加地，在带宽的增加和/或无线网络互联技术(例如，4GLTE、HSPA+、WiFi等)的整个数据率已经允许移动设备以与传统宽带因特网接入可比的速度获得媒体。

这些进步是移动设备高利用率的一些原因，这引起在部署中不断增加的大量设备。图2描述了移动因特网用户数量继续随时间增加。例如，如图2中所描述，可以估计的是移动因特网用户的数量可以很快超过桌面因特网用户数量。该趋势表明被优化用于桌面环境的先前内容传送和处理系统应该再访以优化针对移动因特网业务的性能。例如，在近些年已经贡献其大量增长的移动计算的其中一个特征是移动用户基本上能够在任何时间和/或任何地点使用其移动设备接入服务和/或内容。

对移动设备的分发和/或在移动设备处的媒体内容显示可以引起或产生复杂性，这在传统桌面设备处很少成为问题。例如，尽管有最近的进步，但一些移动设备与桌面环境相比仍然缺少资源来执行即时方式的复杂处理。附加地，大小限制会引起一些移动设备具有比在传统设备处可用的更少处理能力和/或更少的硬件模块。附加地，很多类型的移动设备可能受功率限制，因为与经由电线的固定电源相比其在正常操作期间利用电池电源进行操作。为了便于在变化复杂性的移动设备和/或具有变化能力的移动设备处的媒体内容的传送和/或显示，技术正在被开发以提升在移动平台上的内容分发。例如，超文本标记语言5(HTML 5)为用于网页的标记语言，所述标记语言已经被部分设计成尝试针对移动设备使得媒体接入更容易。例如，HTML 5已经被设计成使用动态的页面分布设计支持，这可以协助移动设备提取(retrieve)和渲染媒体内容。

在移动设备已经见证了在因特网业务中大量增加的一种示例是在移动视频内容生成和传送中。为了有效和高效地生成、处理、分发和/或显示移动视频业务，技术可以被指定用于优化在移动设备处的视频处理。例如，随着包括在移动设备上的硬件变得更为强大，WTRU可以被配置成执行不断增加的复杂处理以为了串流和/或解码视频业务。

附加地，在移动显示中的进步也已经影响用于显示视频的移动设备使用的高速率。例如，720p视频质量被相对普及用于显示视频内容的移动设备(例如，智能手机和平板)。一些较高端平板甚至能够接收和显示1080p及以上的视频。附加地，LCD增强已经允许移动设备增强用于视频显示的色彩级别和/或对比度级别。其它先进显示技术包括引入针对移动设备的三维(3d)显示(例如，自动立体3D)。当被结合先进无线通信网络(例如，4GLTE，WiFi无线网络等)使用时，移动设备用户能够相对容易地接入高质量视频服务。

此外，移动设备可以被配置成在单个平台上将一个或多个功能性模块集成在一起。例如，典型的移动设备可以包括触摸屏、数字摄像头、全球定位系统(GPS)、重力传感器和/或其它特征或技术的一者或多者。这些元素可以相互竞争移动处理资源，这使得视频内容显示复杂化。使用这些特征中的一者或多者大体上同时负面影响在移动设备处的功率使用，导致每次电池充电可以显示的视频数据减少。该功率使用为针对移动设备的重要考虑，因为移动设备由于在电池处可用的能量的有限量经常受功率限制。

由于移动设备被配置成执行更多针对视频串流和/或解码的处理密集方法，在功率和移动资源使用方面存在权衡。以下公开的方法和系统在视频解码和/或视频串流过程期间将能量使用和/或能量级别(例如，功率使用和/或功率级别)考虑在内以为了显示在功率受限设置中的合适质量的视频。例如，为了在这些资源受限的移动设备上提供高质量移动视频服务，多种多样的移动设备，诸如显示大小、处理能力、网络条件、电池级别等等的一者或多者的因素可以被考虑并被利用来影响在移动设备处和/或先进通信网络范围内的视频编码和/或串流处理。

例如，视频串流为经由通信网络提供视频服务给一个或多个移动设备的示例方法。视频串流模式的示例包括推送模式和/或拉动模式。例如，利用视频推送模式的串流系统可以使用实时传输协议(RTP)传送视频数据。推送模式视频串流可以应用实时控制协议(RTCP)功能性来监测和/或控制与所述视频相关联的质量服务(QoS)。

公开了用于提供针对改进视频解码的功率效率的基于客户端和/或服务器技术的方法和系统。所述方法和系统包括使用功率感知串流和/或功率感知解码。例如，解码视频可以包括接收媒体描述文件(MDF)和/或其它波段内和波段外信息，所述其它波段内和波段外信息指示针对来自视频服务器的视频串流的复杂性信息。复杂性信息指解码器将利用以为了解码给定视频或分段的处理资源相对量和/或处理功率的相对量。例如，更为复杂的分段可以利用更多的处理资源和/或更多能量来解码较不复杂的视频或视频分段。针对视频串流的复杂性信息可以根据所述MDF来确定。在示例中，复杂性信息可以被嵌入在视频串流中，诸如在视频比特串流中使用补充增强信息(SEI)消息发送和/或使用其它嵌入的元数据。例如，复杂性信息可以使用RTP控制协议(RTCP)用信号发送。所述移动设备可以使用复杂性信息解码视频串流。所述复杂性信息可以每视频分段来提供。使用所述复杂性信息解码所述视频串流包括使用所述复杂性信息解码所述视频串流，同时保持在给定功率消耗级别范围内。

例如，MDF可以为媒体介绍描述(MPD)文件。所述MDF包括质量级别、比特率和/或复杂性信息的一者或多者。所述复杂性信息适用于多个复杂性级别。视频串流的解码可以包括根据针对给定分段的给定复杂性级别使用不同参数执行解码。该方法包括根据先前功率耗散统计确定针对所述视频串流的未来解码的功率分配。环路滤波可以诸如根据在移动设备处的可用功率来执行。环路滤波包括去块、利用采样自适应偏差(SAO)和/或自适应环路滤波(ALF)的一者或多者。

在示例中，可以执行快捷解码。执行快捷解码包括以下一者或多者：在不同特点区域中应用不同插值滤波器、在块效应较为不明显或差错传播问题更少的一个或多个区域中忽略去块操作和/或根据非零系数分发应用更小的变换大小。将在视频串流和/或视频解码期间剩余的相对能量级别和/或移动设备处可用的功率级别考虑在内，能够执行复杂和功率集中串流的设备能够接收高质量、处理集中的视频供给，然而功率受限的设备仍然可以接收具有指定的最低质量的视频同时限制整个功率消耗。

图3说明了用于推送模式视频串流系统的示例架构。例如，如图3所示，管理服务器320可以被配置成根据用户请求处理管理。用户可以使用移动设备诸如WTRU 302、WTRU 304和/或WTRU 306中的一者或多者执行请求。管理服务器320可以被配置成分派用户请求至其中一个串流服务器(例如，串流服务器310、串流服务器312、串流服务器314等)。各种请求可以被分发至一个或者多个串流服务器以为了均衡系统负载(例如，准许控制)。在一种示例中，一个或多个串流服务器可以发起串流会话。

提供串流视频会话的串流服务器可以控制与串流会话相关联方面或参数的一者或多者，例如在比特率、分辨率、串流切换等等的方面。客户端(例如，WTRU 302、WTRU 304、WTRU 306等)可以在从串流服务器中接收视频数据之后解码视频数据。客户端(例如，WTRU302、WTRU 304、WTRU306等)可以周期性地将诸如分组丢失、延迟等等的统计报告给正在提供视频串流的串流服务器。

在多推送视频系统中，用于视频串流会话的自适应逻辑(例如，用来根据当前条件指定比特率、分辨率、串流切换等的功能性)可以位于服务器端(例如，串流服务器310、串流服务器312、串流服务器314等)。例如，串流服务器可以被配置成根据从客户端(例如，WTRU302、WTRU 304、WTRU306等)中报告的可用带宽使用比特串流(和/或层)切换执行带宽自适应。在服务器端执行的自适应时的这种推送模式视频串流可以允许在客户端处降低的传输负载和/或处理负载，以便于在客户端处使用相对小的缓存大小，因为服务器可以根据确定的比特率相对连续和均匀地发送数据。

在示例中，一个或多个客户端设备(例如，WTRU 302、WTRU 304、WTRU 306等)可以发送反馈报告给服务器。该服务器可以根据从客户端设备中接收到的反馈报告设置和/或改变视频参数。然而，在增加的网络拥塞周期期间，服务器无法接收反馈报告。此外，经常用作基于推送的视频递送的RTP协议难以结合基于传输控制协议(TCP)的递送系统来实现并且一些防火墙阻止利用RTP的业务流。为了提供具有指定质量的视频，推送视频串流系统可以部署或利用诸如相对接近用户的串流服务器来提供足够的服务。该部署使得其更难以在大范围提供服务并且更难以使用移动设备实现，因为这些移动设备当然地在会话过程中移动。

拉动模式串流系统的示例可以在下载的同时被回放。例如，诸如WTRU的客户端设备可以经由诸如超文本传送协议(HTTP)下载大视频文件。客户端可以对文件的一部分进行解码同时下载过程正在进行。然而，从服务或视频提供商(例如，Netflix、亚马逊、谷歌等)的角度看，可以不期望基于每个用户执行自适应；相反，该内容源优选使用现有的因特网基础设施as-is并且在顶层部署其服务，这可以减少部署成本和时间。

拉动视频串流技术的示例可以包括基于HTTP的视频串流。基于HTTP的视频串流技术的示例可以包括微软的平滑串流、Adobe的动态HTTP串流和Apple的HTTP现场串流(HLS)。可以利用在HTTP串流中的自适应采样方法。诸如国际标准化组织(ISO)/国际电工委员会(IEC)运动图像专家组(MPEG)和/或第三代合作伙伴项目(3GPP)国际电信联盟电信标准化组(ITU-T)的联盟正在进行标准化自适应采样的各个方面从而允许设备之间的可操作通信。

例如，通过HTTP的动态自适应串流(DASH)可以为一种用于视频串流的自适应方法，该方法利用基于HTTP的串流方法。诸如由于DASH可以处理变化的带宽条件的事实，DASH已经获得大量注意。在DASH中实现的一种概念为将媒体文件或串流分割成可以独立解码的分段。内容的一部分之后可以以不同质量或分辨率进行编码并且分割成相同长度的分段。分段方式和/或针对视频如何被划分的其它描述和/或有关分段的相对质量的信息可以被包括在将提供给客户端的基于XML的清单文件(MF)中。MF文件示例可以包括媒体介绍描述(MPD)文件。MPD可以为媒体描述文件(MDF)的示例。根据所述MF文件，客户端可以使用HTTP接入视频内容并且选择最为合适地给予其带宽和/或分辨率需求的分段。

图4描述了基于示例HTTP的视频串流系统。例如，一个或多个媒体创建设备430可以生成诸如视频文件的媒体文件。媒体内容可以被压缩并且被细分成小分段，诸如一个或者多个媒体创建设备430和/或在一个或多个HTTP源服务器(例如，HTTP源服务器420、HTTP源服务器422、HTTP源服务器424等)。例如，在很多个串流系统中分段周期可以位于2和10秒之间。所述分段可以被存储在一个或多个HTTP源服务器(例如，HTTP源服务器420、HTTP源服务器422、HTTP源服务器424等)并且经由内容传送网络(CDN)分发。

例如，在串流会话开始时，一个或多个客户端设备(例如，WTRU 402、WTRU 404、WTRU 406、WTRU 408等)可以请求针对媒体内容的MPD文件并且确定利用哪些分段。有关利用哪些分段的决定可以基于客户端的能力(例如，诸如分辨率、可用带宽等等)。一个或多个HTTP源服务器(例如，HTTP源服务器420、HTTP源服务器422、HTTP源服务器424等)可以根据请求诸如经由一个或多个HTTP缓存(例如，HTTP缓存410、HTTP缓存412、HTTP缓存414等)发送所请求的分段至一个或多个客户端设备(例如，WTRU 402、WTRU 404、WTRU 406、WTRU 408等)。通过利用用于存储和/或分发媒体分段的一个或多个HTTP缓存服务器，视频可以被分发并且被其它用户使用，由此系统可以大规模提供串流服务。

与推送模式串流系统相比，拉动模式串流系统通常包括用于在客户端处(例如，WTRU 402、WTRU 404、WTRU 406、WTRU 408等)选择合适分段的自适应逻辑。在一些场景中，用于所述视频分段分发的缓存过程可以根据推送模式或拉模式是否被利用于所述内容分发而不同。例如，由于根据利用哪种模式不同的传送协议可以被利用于所述内容分发(例如，用于拉模式的HTTP、用于推送模式的RTP等)，利用的缓存过程可以根据使用的传送协议类型而变化。例如，HTTP最初不被设计用于实时媒体的传送；相反，HTTP被设计尽力而为传送文件和其它数据。相应地，HTTP相关的设施诸如包括缓存、CDN和/或代理的一者或多者可以很好地支持该文件传送，但欠优化用于传送实时视频内容。

由于网络地址转换(NAT)和/或防火墙穿越可以或可以不应用于HTTP，HTTP难以使用现有的HTTP架构来实现。附加地，与RTP相比，HTTP可以增加严重的开销到串流会话中。为了利用HTTP以用于串流，客户端侧(例如，WTRU 402、WTRU 404、WTRU 406、WTRU 408等)可以利用相对大的缓存大小，例如因为HTTP传输速率随时间变化并不均匀。例如，当网络存在拥塞时，HTTP传输速率可以明显改变。

在串流系统中，不可分级编码(non-scalable coding)可以被用来生成具有不同比特率和/或不同分辨率的一者或多者的不同比特串流以为了适应带宽变化和/或变化的显示大小。附加地，可分级编码技术可以被利用以为了节省传输带宽和/或限制在传输和/或接收期间利用的存储量。例如，可分级视频编码(SVC)可以指用于编码还包括一个或多个子集比特串流的相对高质量视频比特串流的技术。所述一个或多个子集视频比特串流可以通过在解码过程期间利用来自主比特串流的分组子集来确定。通过丢掉来自更大视频比特串流的分组，子集比特串流以被用来减少与接收和显示视频相关联的带宽。在示例中，子集比特串流可以表示较小的空间分辨率(例如，较小的屏幕)，较低的时间分辨率(例如，较小的帧速率)和/或较低质量的视频信号即主比特串流。

在客户端设备上运行的应用可以确定哪一个主SVC比特串流和/或一个或多个子集比特串流的哪一个应该根据由所述应用期望的速率和/或呈现来解码。与非分级方案相比，SVC可以节省带宽和存储。国际视频标准MPEG-2视频、H.263、MPEG4可视和/或H.264可以具有支持一些可分级模式的工具和/或简档。近来已经批准了高效视频编码(HEVC)的可分级扩展的需求和用例。HEVC当前由ITU-T视频编码专家组(VCEG)和ISO/IEC运动图像专家组(MPEG)联合开发。使用可分级视频编码技术，带宽可以被节省用于DASH和/或多播情况。在DASH系统中，HTTP缓存服务器可以诸如缓存由很多用户观看的视频的基本层，而不是缓存具有不同比特率的所有或一些版本。

由于诸如正在移动设备处执行的应用数量的大量增加的因素，移动设备的功率耐力和/或功率效率已经变成针对管理移动设备性能的关键问题。对功率效率的各种工业研究已经在移动设备硬件和功率提供设计方面展开。例如，分析了在各种条件下针对示例移动平台的功率使用。图5描述了被用来执行以下所描述方法的一种或多种的智能手机移动设备的示例架构。例如，移动设备500可以包括处理器/CPU 502、内部和/或外部显示器诸如LCD504、存储器520(例如，内部/外部存储器；示例包括NAND闪存522和/或同步动态随机存取存储器(SDRAM)522)、蜂窝无线电506(例如，GSM/3G/4G、LTE、HSPA+、CDMA 2000等)、WiFi无线电508、显卡510(例如，具有显卡存储器514和/或安全数字(SD)卡512)，蓝牙无线电530(例如，经由通用串行总线(USB))、内部和/或外部GPS 540、编解码器550、放大器560和/或用于接收/解码视频串流和/或经由无线网络通信的其它各种组件。

根据所述应用，被移动设备500的各种组件利用的功率消耗可以变化。例如，图6A和图6B描述了在视频回放场景期间使用移动设备的功率使用示例。从图6A和图6B中可以理解的是，CPU处理、显示方面(例如，背光、显卡等)和存储器接入可以为在视频回放期间针对功率消耗的主要来源。因此，视频解码的特征在于应用具有相对高的功率消耗表征，例如因为视频解码可以涉及密集计算、频繁内存访问和/或相对恒定的显示使用。此外，视频回放应用可以被配置成在显示输出处以相对亮度显示图片，这可以产生增加的功率消耗。

在视频编码和/或解码过程期间，可以应用运动补偿。例如，视频编码标准诸如MPEG-1、MPEG-2、H.263、H.264/MPEG-4先进视频编码(AVC)、HEVC等等可以利用运动补偿以为了限制被用来传送视频信息到设备的信令数量。运动补偿可以被当作视频压缩技术，所述视频压缩技术在有关参考图片的变换或不同点方面描述了图片。所述参考图片为先前帧和/或来自在时间上之后利用的帧。当图片可以从之前传送/存储的图像中精确合成时，可以改进压缩效率。

运动补偿可以使用线性滤波过程来实现。尽管更大的滤波器大小可以实现更好的压缩效率，但更大的滤波器还增加了在解码期间利用的内存访问带宽，这增加了功率消耗(例如，在视频解码期间在存储接入带宽中的增加可以增加在移动设备处的耗散功率)。因此，相对较低的功率解码器芯片可以被设计成通过帧缓存的压缩诸如通过在存储帧缓存处的重构后的像素之前无损地压缩重构后的像素来减少内存访问带宽。当被用于运动补偿时，重构后的像素可以从帧缓存中取回并且被解压缩用于运动补偿。

管理用于视频解码的功率的示例方法可以包括自适应地改变系统状态和/或自适应地切换处理器频率(例如，动态电压和频率调整(DVFS))。图6B描述了在DVFS存在和不存在时能量消耗。DVFS可以被利用以降低处理器的频率从而节省能量或降低处理器的功率消耗。通过利用较低的处理频率，处理器能够在给定处理期限执行给定的任务(例如，在其将被显示之前解码帧)同时使用比以更高处理器频率执行处理已经使用的功率更低的功率执行该任务。例如，当移动设备为空闲时，DVFS可以被利用来过渡到低功率状态同时保持特定模块运行。附加地，当处理器的频率减少时，对应于所提供功率的电压也相应地减少。因此，处理器消耗还可以被降低。例如，由芯片或处理器耗散的功率可以被表述为：

P＝CV²f 等式(1)

其中C为电容(例如，在每个时钟周期处切换的电容)，V为电压，并且f为切换频率。很多CPU/处理器可以提供CPU操作的一些频率，并且所述应用可以在在线按照期望配置所述频率。

解码复杂性对于每个图片不同，并且复杂性级别可以被用来改变处理器的频率。例如，如果图片相对简单，频率可以被降低以为了保存功率。在示例中，图片大小可以被用来估计与所述解码图片相关联的解码时间。当图片解码时间低于所述图片持续时间(例如，1/f)，那么处理器的频率可以被减少而不影响显示。动态功率范围随着近来在处理器和内存技术的发展变得更小，并且在空闲/睡眠模式的功率使用变得更有效。这些技术变化限制了DVFS效应，因此与旧平台相比，DVFS的功率节省在新的移动平台上并不突出。

改进功率使用效率来延长电池持续时间对于移动平台设计和移动应用设计正变得越来越关键。软件和硬件视频解码被广泛应用在移动多媒体应用中并且计算密集来处理高功率消耗。视频压缩标准的解码复杂性还逐渐增加以为了获得更好的压缩效率。

串流系统诸如DASH关注网络带宽变化，但无法从系统角度解决在移动平台处的功率使用。此外，自适应解码技术可以被用来从客户端侧节省功率，但附加的功率节省为期望的，尤其在当附加功率被限制的周期期间(例如，电池功率级别/能量级别接近零)。附加地，针对应用的不同部分的功率消耗可以被均衡以确保整个回放。关注客户端侧的功率节省的方法可以被限制和/或用户体验被降级因为当不存在足够的功率以用于全部回放时，可以应用丢帧。如此处所公开的，功率使用可以根据功率感知计算的概念来解决和修改。示例方法和系统可以包括服务器和客户端之间的协同。例如，客户端(例如，移动设备)可以根据当前可用带宽和/或功率状态请求具有不同复杂性的串流。

一旦根据当前可用带宽已经确定合适的比特率，客户端可以被配置成尽其最大努力解码和回放视频。对于很多视频解码器，解码和回放可以占用处理器的重要比例以为了满足实时处理需求。完全基于客户端的系统无法平滑回放，例如因为处理器功率级别不足于对其实时解码。帧跳跃和异步语音和视频可以在当处理器不能在回放期间执行较少的解码时的情况下观测到。附加地，基于客户端的系统可以降低系统响应速度，这影响了在多任务导向的环境中的用户体验质量。例如，针对用户输入/输出的系统响应时间可以由于处理器满负载而减少。在这些场景中，任务切换变得更慢。

为了在视频解码期间保存功率，功率感知串流、功率感知解码和快捷解码的形式可以被利用以为了实现更好的处理器负载均衡和/或功率节省。例如，在串流系统的客户端侧处的比特串流切换逻辑或智能逻辑可以被配置成一起考虑可用网络带宽、当前处理器负载和/或剩余功率诸如为了确保用户体验的最低质量。对于主要依赖于针对视频解码和串流应用的专用硬件加速的移动设备，网络带宽和功率状态为将监测和优化的重要因素，然而如果移动设备主要依赖于针对视频解码和串流的软件，那么除带宽使用和功率级别/能量级别之外，还可以考虑由于视频解码的处理器负载和使用。

如此处所描述，诸如功率感知串流和/或功率感知解码的功率感知技术可以被利用以为了实现针对移动设备的功率节省，诸如利用视频串流的WTRU。例如，功率感知串流和/或功率感知解码的一者或多者可以每个分段和/或图片，诸如根据来自解码之前图片的剩余功率和/或功率消耗统计来调节功率使用。例如，移动设备可以利用一个或多个功率度量来确定将被分配用于解码视频串流的剩余部分的功率的量和/或所述视频串流的剩余部分的一个或多个段。功率度量可以为功率使用、功率分配、能量使用、能量分配、每个能量使用的复杂性信息、每个视频质量的能量使用和/或类似的允许WTRU估计将被用于未来解码过程的能量资源的任何测量。应该理解的是，尽管功率为此处使用的术语，但领域技术人员应该理解的是在合适时术语能量可以替代功率。

功率感知串流技术可以经由服务器和客户端之间的协同来执行。功率感知解码可以被用作客户端侧的自适应技术。例如，客户端可以基于有关在客户端处的功率使用和/或被利用于在客户端处解码的剩余能量级别的确定以确定的复杂性级别请求一个或多个视频或视频分段。在示例中，功率感知解码可以为视频服务器之间的协同。例如，客户端可以向服务器提供与其当前功率使用(例如，当前功率级别，在解码期间之前利用的功率级别，当前功率级别被持续而不耗尽当前电源诸如电池的时间量，之前被利用于解码指定复杂性的分段的功率级别，针对解码过程的一个或多个子过程或组件的功率统计等)，当前能量级别(例如，在电源诸如电池中剩余的能量的量，之前在解码期间被利用的能量的量，之前被利用于解码指定复杂性的分段的能量的量，针对解码过程的一个或多个子过程或组件的能量使用统计等)、带宽信息等等有关的的一种或多种参数。服务器可以利用该信息以为了选择性地对由客户端使用的一个或多个分段进行解码和/或根据所述反馈信息选择合适的复杂性级别的分段。在示例中，服务器可以聚合来自多个客户端的统计以为了针对利用于解码指定复杂性级别的分段的能量的量推导出更为准确的估计。

功率感知串流和/或解码技术可以被集成到现有的DASH串流系统和/或其它OTT串流方法。低解码复杂性呈现可以通过复杂性感知解码、编码工具限制、比特率降低和/或分辨率降低来实现。功率感知解码可以被利用来实现细粒度，自适应解码方法。功率感知解码可以通过软件解码技术(例如，通用或特定CPU和/或处理器被配置成执行视频解码)和/或硬件解码芯片(例如，专用硬件模块被配置成执行解码)来使用。功率感知串流可以被利用于结合功率节省技术诸如DVFS；例如，客户端移动设备可以降低频率来节省用于低复杂性视频分段的功率。

图7描述了示例功率感知视频串流系统。例如，至客户端设备(例如，WTRU诸如移动设备)的视频分发可以包括视频准备710、视频分发730和/或视频消耗750(例如，解码和显示)。视频编码器(例如，复杂性感知编码器712)可以使用多个复杂性级别编码视频文件或串流。例如，低复杂性级别可以为较低功率密集地在视频解码器处进行解码，但可以产生包括在视频文件中的图片相对更为失真的版本。高复杂性级别可以为更为功率密集地解码，但产生所述原始视频更为准确的重现。中度复杂性级别可以以比高复杂性版本更少功率密集的方式进行解码，但比低复杂性版本更多功率密集。与中度复杂性级别相关联的失真级别可以介于高复杂性级别和低复杂性级别的失真级别之间。

例如，在视频准备710期间，可以生成源视频(例如，MP4或一些其它媒体文件(MF)720)。例如，复杂性感知编码器712可以生成并编码MF 720。MF 720可以被压缩并分割成具有相对短的持续时间的小分段，诸如片段722、724、…、N等。地址和属性信息，例如包括针对所述片段722、724、…、N的一个或多个的复杂性信息可以在复杂性感知媒体呈现描述(MPD)文件728。MF 720可以使用多个复杂性级别进行编码(例如，高复杂性级别、中复杂性级别、低复杂性级别等)并且所述分段可以被生成用于以每个复杂性级别的MF 720的编码后版本。复杂性感知MPD文件728可以包括针对被用来编码MF 720的每个复杂性级别的复杂性信息和/或存在针对被用来编码MF 720的每个复杂性级别的对应复杂性感知MPD文件728。

一旦片段722、724、……N和复杂性感知MPD文件728准备分发，片段722、724、……N和复杂性感知MPD文件728被发送至用于分发730的分发服务器。例如，一个或多个媒体文件723可以被发送至用于分发的HTTP服务器740。媒体文件732可以包括一个或多个片段722、724、……N和/或所述视频的其它描述。媒体文件732可以包括使用一个或多个复杂性级别的MF 720的编码后版本。MPD文件738可以为被存储在HTTP服务器740的复杂性感知MPD文件728的副本。HTTP服务器740可以向一个或多个HTTP缓存742提供媒体文件732和/或MPD文件738的副本以用于分发至客户端设备。

在消耗750期间，功率感知客户端760(例如，WTRU、移动设备和/或包括视频解码器的其它设备)可以从HTTP服务器740和/或HTTP缓存742的一者或多者请求MPD文件738。功率感知客户端760可以根据所接收到的MPD文件738确定针对分段722、724、……N的描述信息。功率感知客户端760可以根据MPD文件738确定可用于文件的复杂性级别。功率感知客户端760可以根据可用带宽和/或其当前功率状态相对连续地发送针对视频分段(例如，片段722、724、……N)的一个或多个的请求。功率感知客户端760可以诸如根据当前功率级别和/或在功率感知客户端760处剩余的能量(例如，在电池中剩余的能量的量；给定当前功率使用时剩余的处理时间量等)以特定复杂性级别请求所述分段。例如，根据在第一阈值之上的电池的当前能量级别，功率感知客户端760可以以高复杂性级别请求第一分段。如果所述能量级别降至第一阈值之下(例如，但在第二阈值之上)，功率感知客户端760可以以中度复杂性级别请求随后的分段。如果在电池中剩余的能量级别降至第二阈值之下，功率感知客户端760可以以低复杂性级别请求另一随后的分段。

例如，功率感知客户端760可以包括以下中的一者或多者：功率探测器762、带宽传感器764、收发信机766、解码器768、应用770、复杂性统计和控制单元772、功率感知自适应控制器774和/或接收并处理视频串流的其它组件。功率探测器762可以被配置成确定功率感知客户端760的当前功率使用和/或功率感知客户端760的一个或多个组件的功率使用(例如，解码器768、显示、CPU等)。功率探测器762可以被配置成确定对功率感知客户端760可用的剩余功率量。例如，如果电池为用于功率感知客户端760的电源时，那么功率探测器762可以被配置成确定在给定时间点处在电池中剩余的功率和/或能量的量。功率探测器762可以被配置成确定在当前解码条件下在电池被耗尽之前功率感知客户端760可以继续操作的时间的量。功率探测器760可以被配置成确定在假定或选择的解码条件下在电池被耗尽之前功率感知客户端760可以进行操作的时间的量。

带宽传感器764可以被配置成确定关联到功率感知客户端760和视频串流的源(例如，HTTP服务器740和/或HTTP缓存742)之间的通信链路的信息。带宽传感器764可以被配置成确定针对功率感知客户端(例如，根据与收发信机766相关联的一种或多种无线电接入技术)的可用带宽、可用于在功率感知客户端760和视频串流的源(例如，HTTP服务器740和/或HTTP缓存742)之间的通信链路的带宽的量、功率感知客户端760和视频串流的源(例如，HTTP服务器740和/或HTTP缓存742)之间的通信链路的有效比特率、与之前比特率或与功率感知客户端760和视频串流的源(例如，HTTP服务器740和/或HTTP缓存742)之间的通信链路相关联的带宽有关的信息、和/或与功率感知客户端760和视频串流的源(例如，HTTP服务器740和/或HTTP缓存742)之间的通信信道有关的其它信息。

复杂性统计和控制单元772可以被配置成存储由带宽传感器764和/或功率探测器762确定的信息。例如，复杂性统计和控制单元772可以被配置成存储功率使用统计并且将所述功率使用统计与在所述统计被功率探测器762确定时执行所述解码的类型相关联。复杂性统计和控制单元772可以被配置成维持与功率感知客户端760和被带宽传感器764观测的视频源(例如，HTTP服务器740和/或HTTP缓存742)之间的通信链路相关联的统计。当确定将被请求的编码后视频的合适的复杂性级别时使用所存储的统计。

功率感知自适应控制器774可以被配置成利用被带宽传感器764确定的统计和/或被复杂性统计和控制单元772存储的统计以为了动态地适应正被解码器768执行的解码过程。功率感知自适应控制器774可以与应用770连接以为了考虑用于适应解码过程的应用需求和/或应用属性。功率感知自适应控制器774可以被配置成根据当前功率级别/能量级别、当前带宽和/或与功率使用、能量使用和/或带宽有关的先前统计选择针对给定文件或文件分段的合适复杂性级别。

复杂性感知编码器712可以被配置成在准备710期间压缩源视频。例如，复杂性感知编码器712可以被配置成使用速率失真优化(RDO)编码所述视频。RDO可以指在视频压缩存在下改进视频质量的方法，其中失真量(例如，视频质量丢失；视频信息丢失)针对被利用来编码视频的数据比特大小(例如，速率)而被均衡或优化。复杂性感知编码器712可以尝试实现给定比特率限制的编码(例如，提供针对解码的最大信息量)的最高质量而不考虑解码复杂性。因此，归因于编码丢失(例如，失真)相对于可能决定输出的比特代价，编码器可以尝试使得由视频源的偏差组成的度量最大化。等式(2)可以为被用来评估当执行速率失真优化时针对给定编码模式的代价的示例代价度量。

代价_模式＝失真_模式+λ_速率×R_模式 等式(2)

代价_模式可以表示编码模式的代价。失真_模式可以表示与编码模式相关联的失真级别。R_模式可以表示与所述编码模式相关联的编码比特数。λ_速率可以表示速率失真曲率坡度，所述速率失真曲率坡度可以与编码比特率有关和/或大致与所述编码比特率成比例。

复杂性感知编码器712可以选择合适的编码器模式以使得代价度量(例如，给定比特率和复杂性限制，复杂性感知编码器712可以选择实现最低相对CDO代价的编码模式)最小化。例如，C_模式可以为在CPU周期、内存访问等等中所测量的模式的复杂性。λ_复杂性为复杂性相对于失真曲率的坡度。等式(3)可以被用来评估当考虑这些参数时在速率失真优化中的模式代价。

代价_模式＝失真_模式+λ_速率×R_模式+λ_复杂性×C_模式等式(3)

较大的λ_复杂性对应于较低的解码复杂性。相应地，存在多个具有各种复杂性的可能比特串流，所述各种复杂性可以通过不同各自λ_复杂性值来生成。编码器可以使得具有变化复杂性级别的每个比特串流对潜在客户端可用。所述客户端可以根据其本地功率条件和/或其本地带宽条件选择合适的比特串流。

在示例中，复杂性感知编码器712可以被配置成压缩视频串流同时附着到提供给针对不同各自复杂性级别的各种编码工具的编码信息量有关的一种或多种限制。例如，表1描述了编码工具示例以及根据编码后的比特串流的期望复杂性级别以怎样的级别应用编码工具。根据选择用于每个编码工具的参数，编码后的比特串流更为复杂或较不复杂来进行解码。为了生成各种复杂性级别的比特串流，针对每个编码工具的参数可以被选择，例如如表1中所指示。

复杂性指被利用来编码/解码所述视频分段的处理资源量并且可以被在MDF中指示给移动设备。所述复杂性信息可以用信号表示为特定复杂性值(例如，根据预先定义的针对确定该值的方法)并且在将被用于解码分段的解码器处指示合适的处理资源量。复杂性信息可以包括被用于执行编码的特定参数，诸如针对表1中指示的编码工具的一个或多个值。

编码工具示例可以包括用于编码运动信息的精确度级别、运动补偿块大小、编码转换大小、被利用的在环滤波器类型、忽略针对所述块的系数编码的阈值等等。如表1中所描述，根据编码后的比特串流的期望复杂性级别可以限制一个或多个编码工具的应用和/或编码参数。

表1：根据期望复杂性级别应用的示例编码工具

在示例中，将被用于视频解码的运动信息精确度和/或运动向量的精确度可以被改变。通过改变运动信息的精确度，解码方案的复杂性可以被增加(例如，非功率限制场景)和/或被减少(例如，功率限制场景)。在现有编码标准(例如，HEVC，H.264)的运动向量精确度可以为运动信息/向量的精确度示例。所述运动信息/向量的精确度可以为整数值(例如，特定于给定像素)，半像素值，四分之一像素值和/或至一些其它分数的像素。由于插值滤波器的应用和/或由于被使用的参考像素的更大数目(例如，如果内存访问请求时引起增加的内存访问带宽和/或在数量上的增加)分数像素精确度比整数像素信息更为复杂。因此，当编码较不复杂的视频串流时，运动信息的精确度可以被特定于整数像素位置并且当编码更为复杂的视频串流时，运动信息的精确度可以被特定于分数像素位置。在示例中，对于最高复杂性级别，在运动信息的精确度上不存在限制，并且根据什么级别将产生最少失真，编码器可以选择运动信息的精确度级别。

在示例中，将被用于视频解码的运动补偿块大小可以被改变。改变运动补偿块的大小可以增加和/或减少将被解码的视频串流的复杂性。通过改变运动补偿块大小，解码方案的复杂性可以被增加(例如，无功率限制场景)和/或减少(例如，功率限制场景)。例如，运动补偿块大小会影响内存访问的效率。例如，更大的运动补偿块大小将减少内存访问的频率，但引起增加的失真。因此，当编码较不复杂的视频串流时，相对大的运动补偿块大小可以被利用并且当编码更为复杂的视频串流时，运动信息的精确度可以被特定于分数像素位置。在示例中，对于最高复杂性级别，在运动补偿块大小上不存在限制，并且根据什么大小将产生最少失真，编码器可以选择运动补偿块大小。

在示例中，将被用于视频解码的变换块大小可以被改变以为了实现期望的复杂性级别。变换块大小的改变可以增加或减少将被解码的视频串流的复杂性。例如，HEVC可以准许不同变换块大小(例如，多达32x32的变换块大小)。更大的变换块大小可以改进压缩效率同时还增加解码复杂性。因此，在周期限制的场景期间(例如，剩余的能量级别位于给定阈值之下)，功率感知客户端可以请求对应于更小变换块大小的复杂性级别。表1标识了根据所请求的复杂性级别被用于变换块大小的示例值。例如，如果能量级别位于第一阈值之上时，高解码复杂性可以被请求(例如，16x16变换块大小)和/或在被利用的变换块大小上不存在限制。如果能量级别低于第一阈值但高于第二阈值，中复杂性级别可以被请求并且中变换块大小可以被利用(例如，8x8)。如果能量级别低于第一阈值和第二阈值，低解码复杂性级别可以被利用，诸如通过利用相对小的变换块大小(例如，诸如4x4)。

在示例中，将被用于视频解码的在环滤波器可以被改变以为实现改变针对视频分段的复杂性级别。通过改变被使用的在环滤波器的类型和/或参数，不同的功率级别可以在视频解码期间实现。例如，在环滤波器可以包括不同的恢复工具诸如去块滤波器、采样自适应偏移、自适应环路滤波器等等。去块滤波器、采样自适应偏移、自适应环路滤波器等等可以处于运动补偿环路中。编码器可以以各种组合应用这些在环滤波器以为了实现影响将被用于解码的功率消耗的复杂性级别。例如，去块滤波器、采样自适应偏移、自适应环路滤波器等等可以在编码器处应用由此第一串流产生更少的功率密集解码(例如，较低的复杂性级别)并且第二串流产生更多的功率密集解码(例如，较高复杂性级别)。

例如，为了实现相对低复杂视频分段，预测性编码可以使用片内编码来实现。例如，片内编码可以被执行而不使用片间编码。例如，如果低复杂性级别被期望，所述分段可以使用片内编码进行编码。片内(例如，可以被称作I片或I帧)可以被解码而不参考其它帧，并且因此可以以比参考其它帧或片的帧或片更低的功率级别进行解码。如果相对更高的复杂性将被编码，所述分段可以使用片内编码和片间编码进行编码。片间编码的示例可以包括使用P片(例如，被称作P片或P帧)和/或B片(例如，被称作B片或B帧)参考帧。P帧参考帧可以指利用来自其它先前帧的数据以为了解压缩和/或解码当前P帧的帧。B帧可以指利用来自先前帧和之后帧(例如，未来帧)来解压缩或解码当前B帧的帧。片间编码的使用(例如，P/B片)因参考其它帧增加了处理复杂性，意味着在解码期间的功率使用被增加。由此，如果实现较低功率级别，针对片内编码的P帧和/或B帧使用可以被减少或停止。

编码器可以设定用于确定是否忽略针对给定块的系数编码的代价阈值。对于低复杂性级别，代价阈值为相对高的值，然而对于更高复杂性级别，代价阈值可以被设定为相对更低的值。在示例中，对于最高复杂性级别，不执行剪辑(例如，对于最高复杂性级别，不执行忽略系数编码)。

编码器还可以确定其是否对从用于每个视频块(例如，视频块或分段)的变换和量化接收的一些或所有非零系数进行编码，例如通过考虑质量和解码复杂性。块代价可以根据人类视觉系统(HVS)来衡量。块代价可以为非零系数的加权总和，诸如等式(4)中所描述。

W_i,j为HVS相关的权重矩阵。在低频率位置处的权重比在高频率位置的权重更大。如果块代价代价_块低于被设置成对应于给定复杂性级别的阈值，那么编码器可以忽略非零系数编码。给定复杂性级别，控制编码器是否忽略系数编码的阈值可以被调整。

复杂性信息诸如和/或与编码后的串流相关联的复杂性级别指示(例如，低、中、高等)可以在被功率感知客户端请求的媒体描述中添加。在示例中，客户端移动设备可以考虑带宽信息和/或功率状态信息来确定请求的比特串流(例如，高复杂性、中复杂性、低复杂性等)。为了确定针对随后视频分段来请求合适的复杂性级别，客户端移动设备可以确定将被分配用于随后分段解码的估计后功率。客户端移动设备之后根据用于针对分段的先前解码过程的功率分配、针对先前分段的复杂性级别、功率级别和/或与随后解码的能量级别，确定来请求的合适的复杂性级别。客户端移动设备可以诸如根据先前功率耗散统计确定用于未来视频解码的功率分配信息。如果功率被均匀分配，那么诸如使用等式(5)可以确定用于下一个分段的功率。

P_下一个＝(T_s/D_r)×P_r 等式(5)

P_下一个为分配用于下一个分段的功率，T_s为用于下一个分段的持续时间，以及D_r可以为视频的剩余持续时间(例如，或当前或先前分段的持续时间)。P_r为分配用来解码剩余视频的总功率(例如，分配用于解码所述分段剩余部分r的功率的量)。根据分配用于随后分段的功率，用于解码先前分段的功率和/或解码先前分段的复杂性，移动设备可以诸如使用等式(6)确定针对随后分段来请求合适的复杂性级别。

C_下一个＝(P_下一个/P_先前)×C_先前 等式(6)

P_先前为用于先前分段的功率。C_下一个为将被请求用于随后分段的复杂性级别以及C_先前为针对先前分段的复杂性。如果复杂性信息被用离散复杂性级别表示，诸如根据等式(7)可以确定下一个分段的复杂性级别。

Th_i为针对每个复杂性级别i的阈值。根据估计的复杂性级别，客户端可以请求具有最接近复杂性级别如C_下一个的分段。量化复杂性级别可以降低与指示复杂性相关联的开销和/或简化编码/解码过程。

图12A和图12B描述了不同复杂性级别和分辨率的示例，所述不同复杂性级别和分辨率可以被客户端设备(例如，移动设备、WTRU等)在执行功率感知串流时选择。例如，通常地随着质量级别增加，利用来解码视频分段的功率可以增加。客户端设备可以从MPD元数据文件中接收以下的一者或多者：针对分段的质量信息、针对所述分段的比特串流信息、针对所述分段的复杂性信息和/或与所述分段的解码有关的其它信息。根据当前功率限制(例如，和潜在地根据当前带宽)，客户端设备可以选择合适的分辨率和/或针对随后分段的复杂性级别。在示例中，客户端设备可以向服务器提供与其当前功率等级、当前功率使用、剩余能量的量(例如电池级别)、被分配用于完成解码的功率/能量的量、当前带宽、与先前解码后的分段有关的统计(例如，先前分段的复杂性和利用来解码所述分段的功率等)有关的信息，和/或其它信息并且服务器可以选择将在串流中发送的合适的分段。

例如，移动设备可以请求针对给定视频的MPD文件。MPD文件可以提供适用于针对所述视频的一个或多个分段的复杂性信息。例如，MPD文件可以指示被移动设备选择的复杂性级别和/或指示被移动设备选择的分辨率。在示例中，在会话开始时，移动设备可以选择质量级别802，所述质量级别802对应于具有高复杂性模式的高分辨率分段。例如，移动设备可以根据剩余用于移动设备的在第一阈值之上的功率级别/能量级别选择质量级别802。在示例中，移动设备可以根据其将能够以质量级别802解码视频而不耗尽功率的判断选择质量级别802，例如假定每一个随后的分段还以质量级别802发送。

移动设备可以继续监测针对解码的功率统计和/或在视频解码过程期间其剩余功率级别/能量级别。例如，在一定时间之后，移动设备的剩余能量级别可以落至第一阈值之下(例如，但在第二阈值之上)。根据在阈值之下的能量级别，移动设备要求下一个分段应该使用质量级别804进行发送。质量级别804对应于具有中度复杂性模式的高分辨率分段。通过切换至中复杂性模式，在分段解码期间可以实现功率节省。如果剩余能量级别落至第二阈值之下，移动设备可以切换至质量级别806，所述质量级别806对应于具有低复杂性模式的高分辨率分段。如果剩余的能量级别上升至给定阈值之上时，和/或如果移动设备被连接至固定电源(例如，充电器或新的电源被附着)，移动设备可以被触发成请求更高质量分段(例如，质量级别802)。

为了实现附加的功率节省，除了根据移动设备的能量级别选择合适的复杂性模式之外，可以根据能量级别选择分辨率。例如，如果移动设备已经请求质量级别806，但期望附加的功率节省(例如，当前功率使用引起剩余的能量在视频回放期间被完全利用)，移动设备可以改变至较低的分辨率。例如，根据剩余的功率落至第三阈值之下，移动设备可以请求质量级别812，所述质量级别812对应于具有高复杂性模式的中分辨率分段。类似基于阈值的分析可以被执行以用于中分辨率分段以为了在质量级别812、814和/或816之间选择。类似地，如果在切换至中分辨率之后还期望附加的功率节省，移动设备可以选择低分辨率并且执行阈值功率级别和/或能量级别分析从而在低分辨率处选择合适的复杂性(例如，在质量级别822、824和/或826之间)。

移动设备可以根据剩余功率、有关功率使用的先前统计和/或其它功率度量选择合适的分辨率和/或复杂性级别。尽管高、中和低分辨率被作为示例描述，但存在多种这样的分辨率级别并且分辨率和复杂性的各种组合可以产生功率节省的各种级别。因此，移动设备可以估计针对分辨率和复杂性的各种组合的功率使用并且选择合适的组合以为了在解码期间实现功率使用的期望级别。在示例中，如果在少量有区别的级别(例如，高、中、低)之间量化分辨率，在分辨率之间的切换可以比在复杂性级别之间的切换实现更大的功率节省(例如，尽管并非一直是这种情况)。在这些场景中，移动设备可以在分辨率之间切换以实现更大幅度的功率节省并且在分辨率范围内的复杂性级别之间切换以为了实现更细的功率节省粒度。

功率感知解码可以包括在解码过程范围内识别一个或多个子过程或模块并且优化或否则改变针对一个或多个子过程的操作模式和/或参数以使得功率使用最小化同时维持可接受的视频质量和/或用户体验。作为示例，考虑视频压缩标准HEVC(例如，尽管这些公开的技术、方法和系统适用于其它视频压缩技术)。

图9描述了用于使用HEVC执行功率感知解码的示例过程。例如，HEVC解码可以包括熵解码902、去量化904、逆变换906、环路滤波器908、参考图片库910、空间预测912、时间预测914(例如，运动补偿(MC))等等。在示例中，解码过程的一种或多种组件可以根据功率使用和/或剩余的能量级别信息改变在组件处利用的参数和/或方法。例如，时间预测914和/或环路滤波器908可以被改变以为了实现质量和功率消耗之间的权衡。在当期望附加功率节省的周期期间，时间预测914和/或环路滤波器908可以被调整以节省功率。

例如，编码后的比特串流900可以被解压缩和/或在熵解码单元902处进行熵解码。熵解码复杂性高度与每个压缩后的图片大小有关。用来压缩图片的比特越多，熵解码过程会使用更多的功率。包括功率感知解码器的移动设备可以请求使用更少比特进行编码的比特串流以为了在熵解码期间节省功率。编码模式、预测信息、运动信息和/或在熵解码单元902处确定的其它信息可以被发送至空间预测单元912(例如，如果帧内编码的)和/或至时间预测单元914(例如，如果帧间编码的)来形成预测块。如果帧间编码，预测信息可以包括预测块大小、一个或多个运动向量(例如，指示运动的方向和运动量)和/或一个或多个参考索引(例如，指示从那个参考图片中获得预测信号)。运动补偿后的预测可以被时间预测单元914应用以形成时间预测块。时间预测(例如，运动补偿)可以考虑解码器的功率使用的相对大部分，例如因为时间预测可以使用用于滤波的密集的外部存储器接入。

残差转换系数可以被发送至去量化单元904和逆变换单元906从而重构剩余块。预测块和剩余块可以被一起相加以形成重构后的块。重构后的块可以在其被存储在参考图片库910之前发送至环滤波器908。在参考图片库910中的重构后视频可以被用来驱动显示设备(例如，解码后的视频920)和/或用来预测未来视频块。

单层视频编码器可以采用单个视频序列输入并生成传送至单层解码器的单个压缩后的比特串流。视频编解码器可以被设计用于数字视频服务(例如，诸如但不限于通过卫星、线缆和陆地传输信道发送TV信号)。使用部署在异构型环境的视频集中应用，多层视频编码技术可以被开发作为对启用各种应用的视频编码标准的扩展。例如，可分级视频编码技术可以被设计成处理处理多于一个视频层，其中每个层可以被解码成重构特定空间分辨率、时间分辨率、保真度和/或视图的视频信号。尽管参考图9描述了单层解码器，但此处描述的概念可以利用诸如针对多层或可分级编码技术的多层解码器。

在诸如HEVC的示例视频编解码器中，在环路滤波器908处，8抽头滤波器可以被用于在半像素位置的插值并且7个非零抽头滤波器可以被用于1/4和3/4像素位置。如果预测块大小为WxH(例如，其中W表示预测块的宽度并且H表示预测块的高度)，从外部参考图片缓存中取回的像素可以为(W+7)x(H+7)以用于在垂直和水平两种方向上的半像素位置。图10描述了针对被执行用于时间预测的亮度运动补偿过程的不同像素位置的示例。

例如，像素位置(例如，分数像素位置)可以被分组成如图10中用阴影描述的多个类别(例如，6)。像素位置可以根据用于在各个(例如，分数)像素位置处的插值滤波的像素数目分组成类。例如，表2标识了类别、与类别相关联的各个像素位置、利用于在针对不同类别的运动补偿期间的插值滤波的内存大小的示例并且倍数滤波器操作被用于每个类别。例如，最复杂值可以为(1/2,1/2)位置(例如，图10中的位置10)，因为(1/2,1/2)位置利用了参考所述参考帧的最大内存大小并且涉及水平和垂直滤波器操作的两种应用。

如果内存地址被水平排列(例如，通常为这种情况)，用于水平插值的内存存取效率比垂直插值效率高。环路滤波器可以包括去块、利用采样自适应偏移(SAO)和/或自适应环路滤波(ALF)的一者或多者。去块可以被用来减少在变换块边界处的非连续性并且具有多种条件性和比较条件。SAO可以被用来校正在边缘点处的非连续性。ALF可以为线性滤波过程并且关注一些或所有像素的表象。这些环路滤波器消耗非常高的功率因为其利用基于大量像素的操作。

表2：提取用于WxH块MC的示例内存大小

由于运动补偿的复杂性根据分数像素位置的位置而改变(例如，基于内存存取的大小和根据分数像素位置类别的滤波器操作数目)，利用类别的子集会产生较不复杂的解码。例如，如果期望功率节省，编码器可以通过避免使用一种或多种类别对较不复杂的视频分段进行编码(例如，使用相对更少的能量进行解码的分段)。例如，编码器可以避免使用当在编码期间排除使用类别不会严重影响速率失真级别的类别。例如，如果省略两种类别(例如，类别5&6)引起比给定阈值低的速率失真中的变化，编码器可以对较不复杂的分段进行编码而不利用忽略后的类别。

解码过程的子过程会占用不同比例的处理器资源和/或区分完成的时间量。例如，图11A和11B描述了针对使用HM6.1解码器和使用随机接入(RA)设置的比特串流编码的HEVC的时间简档示例。无需使用单指令多数据(图11A)，运动补偿可以大约占用解码时间的61％，去块和SAO一起占用大约14％(例如，分别大约9％和5％)，熵解码大约占用7％，例如因为在示例中比特率相对低。SIMD(单指令多数据)可以明显加速MC，例如多达2x-3x倍。然而，MC仍然占用38％的解码时间(例如，图11B)。

在示例中，运动补偿和/或环路滤波器操作可以被修改以根据当前功率条件和/或之前功率统计以动态的方式降低功率消耗。例如，图12A描述了用于节省功率的示例插值滤波器波形，并且图12B描述了用于节省功率的频率响应。所述滤波器为低通滤波器。插值滤波过程可以诸如使用等式(8)在频域中实现，其中X为输入信号，F为滤波器并且Y为频域中的输出信号。

在空域中，如果输入x不具有大的高频信号，滤波器F可以被缩短而不引起大的误差。因此，利用的运动补偿可以基于信号频率分析。例如，如果将被插值的区域不具有强的边缘或强的对比度(例如，频率响应缺乏大部分的相对高频分量)，那么在移动设备中的功率感知解码器可以确定成应用具有较低截止频率的滤波器从而在解码过程期间节省时间和/或功率。例如，较短(例如，较低截止频率)滤波器可以减少内存接入带宽。使用相对低的功率可以执行区域特征分析以确认较短的滤波器是否可以被执行而不严重影响解码过程(例如，确定所述区域的频率分量是否主要为较低频率)。例如，如果期望附加的功率节省并且与该区域相关联的频率分量的给定比例低于特定频率阈值，使用相对较低的频率滤波器可以执行所述滤波。

在示例中，有关是否应用较低频率滤波器的确定可以根据低分辨率图像而执行(例如，在采样后的像素上执行分析以为了节省功率)。例如，有关是否应用较低频率滤波器的确定可以根据采样后的像素分析而执行，例如，而不是根据由所述图像或所述图像一部分相关联的所有像素。例如，当分析16x16块，在位置(4n，4m)处的像素可以被分析和考虑，其中n和m为整数(例如，对16像素进行分析从而确定针对256像素块来应用的滤波器)。

存在由较低功率运动补偿过程引起的两个问题。第一，由于在时间预测过程中的误差对未来图片的差错传播会出现。例如，如果由于使用较低频率滤波器在参考图片中引进了误差，该误差会传播到利用针对时间预测的参考的未来图片。为了限制误差传播，在示例中较低频率滤波可以被应用到较高层图片而不是较低层图片。从示例中，在HEVC和其它视频编解码器中，使用了如图13描述的分层编码结构。例如，存在四层并且在较低层处的图片可以避免使用针对时间预测的较高层的图片。因此，在示例中通过利用针对较高层(例如，最高层)和/或不依赖于针对由其它层的时间预测的层的较低频率滤波器，可以实现功率节省同时限制差错传播的影响。

由于使用较低频率滤波器引起的第二问题是由于在相同图片范围内的内部预测的差错传播。HEVC、H.264和/或其它编解码器可以应用方向性内部预测从而提高内部编码效率。例如，HEVC可以在多个方向中利用方向性内部预测。图14描述了在HEVC内部编码中使用的示例方向。如果由于使用较低频率滤波器在当前编码块中生成误差，并且如果当前块的相邻块被内部编码，那么当前块的误差可以在其相邻块中沿着预测方向传播到像素。如果存在一些在空间上相互相邻的内部块，所述误差可以继续传播并且伪影(artifact)可以被放大。因此，在示例中如果在其非因果邻居(例如，其右侧邻居块、其底部邻居块和/或底部右侧相邻块)中存在内部编码块，在移动设备处的功率感知编码器可以避免使用针对块间的较低频率的滤波器。因此，移动即使移动设备确定较低功率解码应该被利用，如果一个或多个内部编码块为各自编码块的非因果邻居时使用常规运动补偿滤波器和/或当相邻块根据在各自编码块中编码的信息被内部编码时使用一个或多个其它编码块仍可以对一个或多个编码块进行解码。

去块有助于在视觉质量上提高相对扁(flat)和/或相对平(smooth)区域的质量，因为块伪影由于人类视觉系统特征在这些区域中通常最为常见。对于具有高频分量的区域诸如高纹理区域，所谓纹理掩盖现象可以有效地使得块伪影对人类眼睛不可见。对于高纹理和/或小的剩余块间区域，忽略去块还可以节省一些功率。由于忽略去块引起的误差还可以通过经由运动补偿传播，但所述误差不被内部块预测传播。因此，在示例中如果移动设备解码的功率感知确定应该实现功率节省，对于非参考图片可以忽略去块，但对于参考图片仍然可以执行去块。

功率感知解码和/功率感知串流可以被单独使用或者使用基于客户端的技术组合实现功率节省(例如，功率感知解码诸如在运动补偿期间使用具有较低截止频率的低通滤波器)和/或基于联合客户端网络技术(例如，服务器提供有关不同潜在串流的复杂性的信息并且根据功率级别信息和/或能量级别信息客户端动态地请求合适的串流)。

功率感知串流可以为服务器和客户端之间的协调(例如，WTRU诸如移动设备)。例如，内容可以被生成不同版本，并且每个版本可以与不同复杂性和/或不同分辨率相关联。所述复杂性信息可以被客户端请求并且在针对内容的媒体描述文件中从服务器中发送。所述客户端可以根据诸如用于客户端的功率级别状态、客户端的能量级别状态、期望的回放时间、处理器的使用状态、用户优选、从用户接收的指示、可用带宽等等信息选择合适的媒体分段。

例如，用户可以将客户端移动设备配置成以高质量模式进行操作。在高质量模式中，用户优选通过功率降低的质量。当以高质量模式操作时，移动设备可以被配置成考虑解码的复杂性级别并且确定使得质量最大化的分辨率和/或复杂性级别同时确保移动设备具有充足的剩余功率来完成视频的全部回放。移动设备可以根据先前功率统计、与先前功率统计相关联的复杂性信息和与剩余视频分段相关联的复杂性信息估计将用于视频剩余部分的功率的量。

在示例中，用户可以将客户端移动设备配置成以功率节省模式进行操作，其中用户优选更低的功率耗散而不是更好质量。在功率节省模式中，移动设备可以被配置成利用功率感知串流和/或功率感知解码以为了使功率使用最小化。使用获知的功率消耗统计同时对与一个或多个复杂性级别相关联的先前图片进行解码，客户端可以根据剩余功率分配功率给下一个分段。根据所功率的功率和/或先前分段的复杂性，客户端可以估计当前分段的复杂性。客户端之后可以根据剩余功率的量知道哪个功率级别应该被请求用于随后的分段。

功率感知解码技术可以基于将被解码的一个或多个块的内容分析。功率感知解码可以尝试实现解码复杂性/功率使用和质量之间可接受的权衡。功率感知解码能够通过引进难以察觉的误差节省功率消耗。存在一些用于功率感知解码的一些方法。例如，解码器可以应用与针对低优先级图片的不同特征区域相关联的不同插值滤波器。对于具有多种高频信号的区域诸如边缘或具有强的边缘的纹理，解码器可以使用一致的或正常的插值滤波器以为了避免引进误差。对于具有更少高频分量/信号的相对扁的区域，解码器可以降低低通滤波器截止频率来减少内存接入带宽。在示例中，功率感知解码器可以通过在当块伪影较为不可见的区域中和/或在差错传播不成问题的区域中忽略去块操作的方式节省功率消耗(例如，诸如在在更高时间层中的非参考图片或参考图片)。在示例中，对于逆变换，解码器可以诸如根据非零系数分布应用更小的变换大小，例如因为大部分非零系数可以在对应于低频区域的顶部左侧拐角处分布。

下面参考各种附图对示例实施方式进行详细描述。虽然本发明提供了具体的可能实施方式，但应当理解的是这些细节意在示例性并且不限制本发明的范围。

图1A是在其中可以实施一个或更多个实施方式的示例通信系统的系统图。通信系统100可以是向多个用户提供内容，例如语音、数据、视频、消息发送、广播等的多接入系统。通信系统100可以使多个无线用户通过系统资源共享(包括无线带宽)访问这些内容。例如，通信系统可以使用一种或多种信道接入方法，例如码分多址(CDMA)，时分多址(TDMA)，频分多址(FDMA)，正交FDMA(OFDMA)，单载波FMDA(SC-FDMA)等。

如图1A所示，通信系统100可以包括无线发射/接收单元(WTRU)102a、102b、102c、和/或102d(其通常或整体上被称为WTRU)，无线电接入网(RAN)103、104、105，核心网106、107、109，公共交换电话网(PSTN)108、因特网110和其他网络112。不过应该理解的是，公开的实施方式考虑到了任何数量的WTRU、基站、网络和/或网络元件。WTRU 102a、102b、102c、102d的每一个可以是配置为在无线环境中进行操作和/或通信的任何类型的设备。作为示例，可以将WTRU 102a、102b、102c、102d配置为发送和/或接收无线信号，并可以包括用户设备(UE)、基站、固定或者移动用户单元、寻呼器、蜂窝电话、个人数字助理(PDA)、智能电话、笔记本电脑、上网本、个人计算机、无线传感器、消费电子产品等等。

通信系统100还可以包括基站114a和基站114b。基站114a、114b的每一个都可以是配置为与WTRU 102a、102b、102c、102d中的至少一个无线对接以便于接入一个或者更多个通信网络，例如核心网106、107、109、因特网110和/或网络112的任何设备类型。作为示例，基站114a、114b可以是基站收发信台(BTS)、节点B)、演进的节点B(e节点B)、家庭节点B、家庭eNB、站点控制器、接入点(AP)、无线路由器等等。虽然基站114a、114b的每一个被描述为单独的元件，但是应该理解的是，基站114a、114b可以包括任何数量互连的基站和/或网络元件。

基站114a可以是RAN 103、104、105的一部分，RAN 104还可以包括其他基站和/或网络元件(未显示)，例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等。可以将基站114a和/或基站114b配置为在特定地理区域之内发送和/或接收无线信号，该区域可以被称为小区(未显示)。小区还可以被划分为小区扇区。例如，与基站114a关联的小区可以划分为三个扇区。因此，在一种实施方式中，基站114a可以包括三个收发信机，即每一个用于小区的一个扇区。在另一种实施方式中，基站114a可以使用多输入多输出(MIMO)技术，因此可以将多个收发信机用于小区的每一个扇区。

基站114a、114b可以通过空中接口115、116、117与WTRU 102a、102b、102c、102d中的一个或者更多个通信，该空中接口115、116、117可以是任何合适的无线通信链路(例如，射频(RF)、微波、红外(IR)、紫外线(UV)、可见光等)。可以使用任何合适的无线电接入技术(RAT)来建立空中接口116。

更具体地，如上所述，通信系统100可以是多接入系统，并可以使用一种或者多种信道接入方案，例如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等等。例如，RAN 103、104、105中的基站114a和WTRU 102a、102b、102c可以使用例如通用移动电信系统(UMTS)陆地无线电接入(UTRA)的无线电技术，其可以使用宽带CDMA(WCDMA)来建立空中接口115、116、117。WCDMA可以包括例如高速分组接入(HSPA)和/或演进的HSPA(HSPA+)的通信协议。HSPA可以包括高速下行链路分组接入(HSDPA)和/或高速上行链路分组接入(HSUPA)。

在另一种实施方式中，基站114a和WTRU 102a、102b、102c可以使用例如演进的UMTS陆地无线电接入(E-UTRA)的无线电技术，其可以使用长期演进(LTE)和/或高级LTE(LTE-A)来建立空中接口115、116、117。

在其他实施方式中，基站114a和WTRU 102a、102b、102c可以使用例如IEEE802.16(即，全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000EV-DO、暂行标准2000(IS-2000)、暂行标准95(IS-95)、暂行标准856(IS-856)、全球移动通信系统(GSM)、GSM演进的增强型数据速率(EDGE)、GSM EDGE(GERAN)等等的无线电技术。

图1A中的基站114b可以是无线路由器、家庭节点B、家庭e节点B或者接入点，例如，并且可以使用任何适当的RAT以方便局部区域中的无线连接，例如商业场所、住宅、车辆、校园等等。在一种实施方式中，基站114b和WTRU 102c、102d可以实施例如IEEE 802.11的无线电技术来建立无线局域网(WLAN)。在另一种实施方式中，基站114b和WTRU 102c、102d可以使用例如IEEE 802.15的无线电技术来建立无线个域网(WPAN)。在另一种实施方式中，基站114b和WTRU 102c、102d可以使用基于蜂窝的RAT(例如，WCDMA，CDMA2000，GSM，LTE，LTE-A等)来建立微微小区或毫微微小区。如图1A所示，基站114b可以具有到因特网110的直接连接。因此，基站114b可以不需要经由核心网106、107、109而接入到因特网110。

RAN 103、104、105可以与核心网106、107、109通信，所述核心网106、107、109可以是被配置为向WTRU 102a、102b、102c、102d中的一个或更多个提供语音、数据、应用和/或基于网际协议的语音(VoIP)服务等的任何类型的网络。例如，核心网106、107、109可以提供呼叫控制、计费服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分配等和/或执行高级安全功能，例如用户认证。虽然图1A中未示出，应该理解的是，RAN103、104、105和/或核心网106、107、109可以与使用和RAN 103、104、105相同的RAT或不同RAT的其他RAN进行直接或间接的通信。例如，除了连接到正在使用E-UTRA无线电技术的RAN 103、104、105之外，核心网106、107、109还可以与使用GSM无线电技术的另一个RAN(未示出)通信。

核心网106、107、109还可以充当WTRU 102a、102b、102c、102d接入到PSTN 108、因特网110和/或其他网络112的网关。PSTN 108可以包括提供普通老式电话服务(POTS)的电路交换电话网络。因特网110可以包括使用公共通信协议的互联计算机网络和设备的全球系统，所述协议例如有TCP/IP网际协议组中的传输控制协议(TCP)、用户数据报协议(UDP)和网际协议(IP)。网络112可以包括被其他服务提供商拥有和/或运营的有线或无线的通信网络。例如，网络112可以包括连接到一个或更多个RAN的另一个核心网，该RAN可以使用和RAN 103、104、105相同的RAT或不同的RAT。

通信系统100中的WTRU 102a、102b、102c、102d的某些或全部可以包括多模式能力，即WTRU 102a、102b、102c、102d可以包括用于在不同无线链路上与不同无线网络进行通信的多个收发信机。例如，图1A中示出的WTRU 102c可被配置为与基站114a通信，所述基站114a可以使用基于蜂窝的无线电技术，以及与基站114b通信，所述基站114b可以使用IEEE802无线电技术。

图1B是WTRU 102示例的系统图。如图1B所示，WTRU 102可以包括处理器118、收发信机120、发射/接收元件122、扬声器/麦克风124、键盘126、显示器/触摸板128、不可移动存储器130、可移动存储器132、电源134、全球定位系统(GPS)芯片组136和其他外围设备138。应该理解的是，WTRU 102可以在保持与实施方式一致时，包括前述元件的任何子组合。而且，实施方式考虑了基站114a和114b和/或基站114a和114b可以表示的节点(诸如但不局限于收发信台(BTS)、节点B、站点控制器、接入点(AP)、家庭节点B、演进型家庭节点B(e节点B)、家庭演进型节点B(HeNB)、家庭演进型节点B网关和代理节点等)可以包括图1B所描绘和这里描述的一些或所有元件。

处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核相关联的一个或更多个微处理器、控制器、微控制器、专用集成电路(ASIC)、场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)、状态机等等。处理器118可执行信号编码、数据处理、功率控制、输入/输出处理和/或使WTRU 102运行于无线环境中的任何其他功能。处理器118可以耦合到收发信机120，所述收发信机120可耦合到发射/接收元件122。虽然图1B描述了处理器118和收发信机120是单独的部件，但是应该理解的是，处理器118和收发信机120可以一起集成在电子封装或芯片中。

发射/接收元件122可以被配置为通过空中接口115、116、117将信号发送到基站(例如，基站114a)，或从基站(例如，基站114a)接收信号。例如，在一种实施方式中，发射/接收元件122可以是被配置为发送和/或接收RF信号的天线。在另一种实施方式中，发射/接收元件122可以是被配置为发送和/或接收例如IR、UV或可见光信号的发射器/检测器。在另一种实施方式中，发射/接收元件122可以被配置为发送和接收RF和光信号两者。应当理解，发射/接收元件122可以被配置为发送和/或接收无线信号的任何组合。

另外，虽然发射/接收元件122在图1B中描述为单独的元件，但是WTRU102可以包括任意数量的发射/接收元件122。更具体的，WTRU 102可以使用例如MIMO技术。因此，在一种实施方式中，WTRU 102可以包括用于通过空中接口115、116、117发送和接收无线信号的两个或更多个发射/接收元件122(例如，多个天线)。

收发信机120可以被配置为调制要由发射/接收元件122发送的信号和/或解调由发射/接收元件122接收的信号。如上面提到的，WTRU 102可以具有多模式能力。因此收发信机120可以包括使WTRU 102经由多个例如UTRA和IEEE 802.11的RAT通信的多个收发信机。

WTRU 102的处理器118可以耦合到下述设备，并且可以从下述设备中接收用户输入数据：扬声器/麦克风124、键盘126和/或显示器/触摸板128(例如，液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)。处理器118还可以输出用户数据到扬声器/麦克风124、键盘126和/或显示/触摸板128。另外，处理器118可以从任何类型的适当的存储器访问信息，并且可以存储数据到任何类型的适当的存储器中，例如不可移动存储器130和/或可移动存储器132。不可移动存储器130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或任何其他类型的存储器设备。可移动存储器132可以包括用户标识模块(SIM)卡、记忆棒、安全数字(SD)存储卡等等。在其他实施方式中，处理器118可以从在物理位置上没有位于WTRU 102上，例如位于服务器或家用计算机(未示出)上的存储器访问信息，并且可以将数据存储在该存储器中。

处理器118可以从电源134接收电能，并且可以被配置为分配和/或控制到WTRU102中的其他部件的电能。电源134可以是给WTRU 102供电的任何适当的设备。例如，电源134可以包括一个或更多个干电池(例如，镍镉(NiCd)、镍锌(NiZn)、镍氢(NiMH)、锂离子(Li-ion)等等)，太阳能电池，燃料电池等等。

处理器118还可以耦合到GPS芯片组136，所述GPS芯片组136可以被配置为提供关于WTRU 102当前位置的位置信息(例如，经度和纬度)。另外，除来自GPS芯片组136的信息或作为其替代，WTRU 102可以通过空中接口115、116、117从基站(例如，基站114a、114b)接收位置信息和/或基于从两个或更多个邻近基站接收的信号的定时来确定其位置。应当理解，WTRU 102在保持实施方式的一致性时，可以通过任何适当的位置确定方法获得位置信息。

处理器118可以耦合到其他外围设备138，所述外围设备138可以包括一个或更多个提供附加特性、功能和/或有线或无线连接的软件和/或硬件模块。例如，外围设备138可以包括加速计、电子罗盘、卫星收发信机、数字相机(用于照片或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、蓝牙模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器等等。

图1C是根据实施方式的RAN 103和核心网106a的系统图。如上面提到的，RAN 103可使用UTRA无线电技术通过空中接口115与WTRU 102a、102b和102c通信。RAN 103还可以与核心网106a通信。如图1C所示，RAN103可以包括节点B 140a、140b、140c，节点B 140a、140b、140c的每一个包括一个或更多个用于通过空中接口115与WTRU 102a、102b、102c、102d通信的收发信机。节点B 140a、140b、140c的每一个可以与RAN 103内的特定小区(未显示)关联。RAN 103还可以包括RNC 142a、142b。应当理解的是，RAN 103在保持实施方式的一致性时，可以包括任意数量的节点B和RNC。

如图1C所示，节点B 140a、140b可以与RNC 142a通信。此外，节点B 140c可以与RNC142b通信。节点B 140a、140b、140c可以通过Iub接口分别与RNC 142a、142b通信。RNC 142a、142b可以通过Iur接口相互通信。RNC 142a、142b的每一个可以被配置以控制其连接的各个节点B 140a、140b、140c。另外，RNC 142a、142b的每一个可以被配置以执行或支持其他功能，例如外环功率控制、负载控制、准入控制、分组调度、切换控制、宏分集、安全功能、数据加密等等。

图1C中所示的核心网106可以包括媒体网关(MGW)144、移动交换中心(MSC)146、服务GPRS支持节点(SGSN)148、和/或网关GPRS支持节点(GGSN)。尽管前述元件的每一个被描述为核心网106的部分，应当理解的是，这些元件中的任何一个可以被不是核心网运营商的实体拥有或运营。

RAN 103中的RNC 142a可以通过IuCS接口连接至核心网106中的MSC146。MSC 146可以连接至MGW 144。MSC 146和MGW 144可以向WTRU102a、102b、102c提供到电路交换网络(例如PSTN 108)的接入，以便于WTRU 102a、102b、102c和传统陆地线路通信设备之间的通信。

RAN 103中RNC 142a还可以通过IuPS接口连接至核心网106中的SGSN 148。SGSN148可以连接至GGSN 150。SGSN 148和GGSN 150可以向WTRU 102a、102b、102c提供到分组交换网络(例如因特网110)的接入，以便于WTRU 102a、102b、102c和IP使能设备之间的通信。

如上所述，核心网106还可以连接至网络112，网络112可以包括由其他服务提供商拥有或运营的其他有线或无线网络。

图1D是根据实施方式的RAN 104和核心网107的系统图。如上面提到的，RAN 104可使用E-UTRA无线电技术通过空中接口116与WTRU 102a、102b、102c通信。RAN 104还可以与核心网107通信。

RAN 104可包括e节点B 160a、160b、160c，但可以理解的是，RAN 104可以包括任意数量的e节点B而保持与各种实施方式的一致性。eNB 160a、160b、160c的每一个可包括一个或更多个用于通过空中接口116与WTRU102a、102b、102c通信的收发信机。在一种实施方式中，e节点B 160a、160b、160c可以使用MIMO技术。因此，e节点B 160a例如可以使用多个天线来向WTRU 102a发送无线信号和/或从其接收无线信号。

e节点B 160a、160b、160c的每一个可以与特定小区关联(未显示)，并可以被配置为处理无线资源管理决策、切换决策、在上行链路和/或下行链路中的用户调度等等。如图1D所示，e节点B 160a、160b、160c可以通过X2接口相互通信。

图1D中所示的核心网107可以包括移动性管理实体(MME)162、服务网关164和/或分组数据网络(PDN)网关166。虽然前述单元的每一个被描述为核心网107的一部分，应当理解的是，这些单元中的任意一个可以由除了核心网运营商之外的实体拥有和/或运营。

MME 162可以经由S1接口连接到RAN 104中的e节点B 160a、160b、160c的每一个，并可以作为控制节点。例如，MME 162可以负责WTRU 102a、102b、102c的用户认证、承载激活/去激活、在WTRU 102a、102b、102c的初始附着期间选择特定服务网关等等。MME 162还可以提供控制平面功能，用于在RAN 104和使用例如GSM或者WCDMA的其他无线电技术的其他RAN(未显示)之间切换。

服务网关164可以经由S1接口连接到RAN 104中的eNB 160a、160b、160c的每一个。服务网关164通常可以向/从WTRU 102a、102b、102c路由和转发用户数据分组。服务网关164还可以执行其他功能，例如在eNB间切换期间锚定用户平面、当下行链路数据对于WTRU102a、102b、102c可用时触发寻呼、管理和存储WTRU 102a、102b、102c的上下文(context)等等。

服务网关164还可以连接到PDN网关166，PDN网关166可以向WTRU102a、102b、102c提供到分组交换网络(例如因特网110)的接入，以便于WTRU 102a、102b、102c与IP使能设备之间的通信。

核心网107可以便于与其他网络的通信。例如，核心网107可以向WTRU102a、102b、102c提供到电路交换网络(例如PSTN 108)的接入，以便于WTRU 102a、102b、102c与传统陆地线路通信设备之间的通信。例如，核心网107可以包括IP网关(例如IP多媒体子系统(IMS)服务器)，或者与之通信，该IP网关作为核心网107与PSTN 108之间的接口。另外，核心网107可以向WTRU 102a、102b、102c提供到网络112的接入，该网络112可以包括被其他服务提供商拥有和/或运营的其他有线或无线网络。

图1E是根据实施方式的RAN 105和核心网109的系统图。RAN 105可以是使用IEEE802.16无线电技术通过空中接口117与WTRU 102a、102b、102c进行通信的接入服务网络(ASN)。如下面进一步讨论的，WTRU 102a、102b、102c，RAN 105和核心网109的不同功能实体之间的链路可以被定义为参考点。

如图1E所示，RAN 105可以包括基站180a、180b、180c和ASN网关182，但应当理解的是，RAN 105可以包括任意数量的基站和ASN网关而与实施方式保持一致。基站180a、180b、180c的每一个可以与RAN 105中特定小区(未示出)关联并可以包括一个或更多个通过空中接口117与WTRU102a、102b、102c通信的收发信机。在一个实施方式中，基站180a、180b、180c可以使用MIMO技术。因此，基站140g例如使用多个天线来向WTRU102a发送无线信号，或从其接收无线信号。基站180a、180b、180c可以提供移动性管理功能，例如呼叫切换(handoff)触发、隧道建立、无线电资源管理，业务分类、服务质量策略执行等等。ASN网关182可以充当业务聚集点，并且负责寻呼、缓存用户资料(profile)、路由到核心网109等等。

WTRU 102a、102b、102c和RAN 105之间的空中接口117可以被定义为使用802.16规范的R1参考点。另外，WTRU 102a、102b、102c的每一个可以与核心网109建立逻辑接口(未显示)。WTRU 102a、102b、102c和核心网109之间的逻辑接口可以定义为R2参考点，其可以用于认证、授权、IP主机(host)配置管理和/或移动性管理。

基站180a、180b、180c的每一个之间的通信链路可以定义为包括便于WTRU切换和基站间转移数据的协议的R8参考点。基站180a、180b、180c和ASN网关182之间的通信链路可以定义为R6参考点。R6参考点可以包括用于促进基于与WTRU 102a、102b、102c的每一个关联的移动性事件的移动性管理的协议。

如图1E所示，RAN 105可以连接至核心网109。RAN 105和核心网109之间的通信链路可以定义为包括例如便于数据转移和移动性管理能力的协议的R3参考点。核心网109可以包括移动IP本地代理(MIP-HA)184，认证、授权、计费(AAA)服务器186和网关188。尽管前述的每个元件被描述为核心网109的部分，应当理解的是，这些元件中的任意一个可以由不是核心网运营商的实体拥有或运营。

MIP-HA可以负责IP地址管理，并可以使WTRU 102a、102b、102c在不同ASN和/或不同核心网之间漫游。MIP-HA 184可以向WTRU 102a、102b、102c提供分组交换网络(例如因特网110)的接入，以促进WTRU 102a、102b、102c和IP使能设备之间的通信。AAA服务器186可以负责用户认证和支持用户服务。网关188可促进与其他网络互通。例如，网关可以向WTRU102a、102b、102c提供电路交换网络(例如PSTN 108)的接入，以促进WTRU 102a、102b、102c和传统陆地线路通信设备之间的通信。此外，网关188可以向WTRU 102a、102b、102c提供网络112，其可以包括由其他服务提供商拥有或运营的其他有线或无线网络。

尽管未在图1E中显示，应当理解的是，RAN 105可以连接至其他ASN，并且核心网109可以连接至其他核心网。RAN 105和其他ASN之间的通信链路可以定义为R4参考点，其可以包括协调RAN 105和其他ASN之间的WTRU 102a、102b、102c的移动性的协议。核心网109和其他核心网之间的通信链路可以定义为R5参考点，其可以包括促进本地核心网和被访问核心网之间的互通的协议。虽然上面以特定的组合描述了特征和元件，但是本领域普通技术人员可以理解，每个特征或元件可以单独的使用或与其他的特征和元件进行组合使用。此外，这里描述的方法可以用计算机程序、软件或固件实现，其可包含到由计算机或处理器执行的计算机可读介质中。计算机可读介质的示例包括电子信号(通过有线或无线连接传送)和计算机可读存储介质。计算机可读存储介质的示例包括，但不限制为，只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储器设备、磁性介质，例如内部硬盘和可移动磁盘，磁光介质和光介质，例如CD-ROM盘，和数字通用盘(DVD)。与软件关联的处理器用于实现射频收发信机，用于WTRU、UE、终端、基站、RNC或任何主计算机。

Claims (20)

1.一种用于移动设备从视频服务器请求视频串流的方法，该方法包括：

接收针对视频串流的媒体描述文件MDF，其中所述视频串流被分成多个视频分段，以及其中所述MDF包括与第一视频分段相关联的视频解码复杂性信息，并且其中用于所述第一视频分段的所述视频解码复杂性信息指示针对多个复杂性级别的相对视频解码功率消耗信息，所述第一视频分段能够在所述多个复杂性级别被请求；

确定针对所述移动设备的至少一个功率量度；

基于所述功率量度、与先前视频分段相关联的功率消耗、和包含在所述MDF中的所述相对视频解码功率消耗信息来确定在所述多个复杂性级别中的第一复杂性级别请求所述第一视频分段；以及

从所述视频服务器请求所述第一复杂性级别的第一视频分段。

2.根据权利要求1所述的方法，其中所述MDF还包括用于所述多个视频分段的比特率信息，以及其中所述比特率信息指示多个比特率级别，至少所述第一视频分段能够在所述多个比特率级别被请求。

3.根据权利要求1所述的方法，其中确定在所述第一复杂性级别请求所述第一视频分段包括选择所述第一复杂性级别。

4.根据权利要求1所述的方法，其中所述MDF对应于媒体介绍描述MPD文件。

5.根据权利要求1所述的方法，其中对所述多个复杂性级别的相对视频解码功率消耗信息指示将在所述多个复杂性级别的每个复杂性级别用于解码所述第一视频分段的相对能量，其中所述第一视频分段能够在所述多个复杂性级别被请求。

6.根据权利要求5所述的方法，其中所述多个复杂性级别对应于视频编码器改变一个或多个编码参数以编码所述第一视频分段，以及所述一个或多个编码参数对应于以下至少一者：运动信息精确度、运动补偿块大小、转换大小、在环滤波器、以及忽略系数编码的代价阈值。

7.根据权利要求6所述的方法，其中确定在第一复杂性级别请求所述第一视频分段包括：确定所述第一复杂性级别使得解码所述第一视频分段导致使用将被分配给所述第一视频分段的能量的近似量。

8.根据权利要求1所述的方法，其中所述视频解码复杂性信息按照视频分段被提供。

9.根据权利要求1所述的方法，该方法还包括确定所述第一视频分段的区域是否包括超过高频阈值的高频分量，并且在所述高频分量超过所述高频阈值的条件下在针对所述区域的运动补偿期间应用第一插值滤波器，或者在所述高频分量不超过所述高频阈值的条件下针对所述区域的运动补偿应用第二插值滤波器，其中所述第二插值滤波器与比所述第一插值滤波器低的截止频率相关联。

10.根据权利要求1所述的方法，该方法还包括针对所述第一视频分段中的参考图片执行解块，以及避免针对非参考图片执行解块。

11.一种用于基于功率条件从视频服务器请求视频串流的移动设备，该移动设备包括：

收发信机，被配置成接收针对所述视频串流的媒体描述文件MDF，其中所述视频串流被分成多个视频分段，以及其中所述MDF包括与第一视频分段相关联的视频解码复杂性信息，并且其中用于所述第一视频分段的所述视频解码复杂性信息指示针对多个复杂性级别的相对视频解码功率消耗信息，所述第一视频分段能够在所述多个复杂性级别被请求；

处理器，被配置成：

存储针对先前分段解码的统计，其中针对先前分段解码的统计包括与解码至少一个先前分段相关联的功率信息和针对该至少一个先前分段的复杂性信息；

确定所述移动设备的当前功率信息；以及

基于在所述MDF中指示的所述相对视频解码功率消耗信息、针对所述先前分段解码的统计、与至少一个先前视频分段相关联的功率消耗、和所述当前功率信息来确定针对所述第一视频分段请求第一复杂性级别。

12.根据权利要求11所述的移动设备，其中所述处理器还被配置成基于在所述MDF中指示的复杂性信息来确定应用于解码后续分段的参数或方法。

13.根据权利要求11所述的移动设备，其中所述处理器还被配置成基于在给定区域内的像素采样的频率分析来确定应用于给定区域的运动补偿的插值滤波器。

14.根据权利要求13所述的移动设备，其中所述处理器还被配置成针对具有低于特定阈值的高频分量的区域的较高层时间预测利用具有比第二插值滤波器低的截止频率的第一插值滤波器，并且即使当较低层的高频分量低于所述阈值时，针对较低层时间预测使用所述第二插值滤波器。

15.根据权利要求13所述的移动设备，其中所述处理器还被配置成针对至少除了块间外具有低于特定阈值的高频分量的区域利用具有比第二插值滤波器低的截止频率的第一插值滤波器，其中所述块间的非因果邻居包括一个或多个内部编码的块。

16.根据权利要求11所述的移动设备，其中所述处理器还被配置成基于所述MDF中指示的相对视频解码功率消耗信息、针对先前分段解码的统计和当前功率信息来确定针对后续分段所请求的分辨率。

17.一种用于无线发射/接收单元WTRU从视频服务器请求视频串流的方法，该方法包括：

所述WTRU请求媒体描述文件MDF；

所述WTRU接收所述MDF，所述MDF包括用于解码所述视频串流的一个或多个视频分段的视频解码复杂性信息，以及其中所述视频解码复杂性信息指示针对多个复杂性级别的相对视频解码功率消耗信息，视频分段能够在所述多个复杂性级别被请求；

所述WTRU基于与所述WTRU相关联的至少一个功率量度和在所述MDF中指示的所述相对视频解码功率消耗信息来确定在第一编码复杂性级别请求所述一个或多个视频分段中的第一视频分段；

所述WTRU请求针对所述第一视频分段的第一解码复杂性级别；

所述WTRU在请求所述视频串流的第二视频分段之前重新估计所述至少一个功率量度；以及

所述WTRU基于重新估计的所述至少一个功率量度来确定在第二解码复杂性级别请求所述第二视频分段。

18.根据权利要求17所述的方法，其中所述视频解码复杂性信息按照视频分段被提供。

19.根据权利要求17所述的方法，其中针对各个视频分段的各个复杂性级别基于被分配用于解码视频分段的能量的量、所述各个视频分段的持续时间以及与被利用用于解码至少一个先前分段的能量、针对所述至少一个先前分段的复杂性级别和所述至少一个先前分段的持续时间相关联的统计而被选择。

20.根据权利要求17所述的方法，该方法还包括所述WTRU向所述视频服务器报告针对各个解码后的分段的功率使用统计，并且所述WTRU接收基于所述报告的给定复杂性的视频分段。