CN102124724B - 视频处理中的电力和计算负荷管理技术 - Google Patents

视频处理中的电力和计算负荷管理技术 Download PDF

Info

Publication number
CN102124724B
CN102124724B CN200980131948.8A CN200980131948A CN102124724B CN 102124724 B CN102124724 B CN 102124724B CN 200980131948 A CN200980131948 A CN 200980131948A CN 102124724 B CN102124724 B CN 102124724B
Authority
CN
China
Prior art keywords
decode
video
decoding
data flow
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200980131948.8A
Other languages
English (en)
Other versions
CN102124724A (zh
Inventor
维雅拉克什米·R·拉温德朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN102124724A publication Critical patent/CN102124724A/zh
Application granted granted Critical
Publication of CN102124724B publication Critical patent/CN102124724B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4424—Monitoring of the internal components or processes of the client device, e.g. CPU or memory load, processing speed, timer, counter or percentage of the hard disk space used
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4432—Powering on the client, e.g. bootstrap loading using setup parameters being stored locally or received from the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4436—Power management, e.g. shutting down unused components of the receiver

Abstract

本发明提供用于在视频处理和解码期间管理处理器上的电力消耗和计算负荷的技术。一个代表性实施例揭示一种处理包括视频数据的数据流的方法。根据所述方法，识别用以产生所述数据流的一个或一个以上协议。接着识别所述协议所需的各种解析和解码操作，且基于可用电能或可用处理能力来管理所述各种解析和解码操作。另一代表性实施例揭示一种处理包括视频数据的数据流的方法。根据所述方法，识别用以产生所述数据流的一个或一个以上协议。接着识别所述协议所需的各种解析和解码操作，且基于所述视频的视觉质量或体验质量来管理所述各种解析和解码操作。

Description

视频处理中的电力和计算负荷管理技术
相关申请案
本申请案涉及与本申请案同一天申请的标题为“视频处理中的电力和计算负荷管理技术(POWER AND COMPUTATIONAL LOAD MANAGEMENT TECHNIQUES INVIDEO PROCESSING)”(临时以代理人案号第IDF 071979U2号引用)的美国专利申请案；且主张2008年8月19日申请的第61/090,176号美国临时申请案和2008年11月14日申请的第61/114,985号美国临时申请案的权益，所述申请案全部转让给本受让人，且在此出于全部目的以全文引用的方式明确地并入本文中。
技术领域
本发明一般涉及视频处理的领域，且更具体来说，涉及用于视频处理和解码中的电力和计算负荷管理的技术。
背景技术
包括于视频数据中的数字信息的量是巨大的，且倾向于随摄影机的性能的提升一起增加。视频数据的处理对具备视频能力的装置且特定来说例如蜂窝式电话、个人数字助理(PDA)、膝上型计算机等的无线通信装置的电力和计算资源提出大量要求。
虽然视频压缩主要减少空间和时间冗余，但在已捕获(或任选地从存储器提取)源视频后和在于显示器处再现(消耗)经重建的视频前需要若干预处理和后处理操作。视频处理主要归因于与电力需求(电池、通话时间等)成正比的所需算术运算对存储器(存储和数据传递)和计算负荷提出大量要求。
如果给定视频中的冗余的量，则应期望所述操作的数量的按比例减少。由于压缩比为许多数量级(100∶1到1000∶1)，因此不管实施开销如何，均可实现待处理的视频数据的量的显著减少。空间-时间冗余可使用压缩元数据进行识别且对应于冗余操作的减少，这样节省电力。不同冗余等级转换成处理器上的所消耗电力和计算负荷的不同等级。
因此，需要用于视频处理和解码中的电力和计算负荷管理的技术。
发明内容
本文中描述用于在视频处理和解码中管理处理器上的电力消耗和计算负荷的技术。在一个配置中，提供一种设备，其包含处理器，所述处理器具有操作以从含有视频数据的位流中提取信息并编译所述信息的指令的集合。所述处理器操作以识别用以产生所述位流的一个或一个以上协议，且接着识别所述协议所需的各种解析和解码操作。一旦识别出来，便可接着基于所述设备可用的电能的量或基于可用处理能力来管理对所述位流的所述解析和解码操作。根据一个实例，可不对所述位流的全部进行所述识别出的解析操作和解码操作，而是替代地可基于可用电能的量或处理能力选择性地进行所述解析操作和解码操作。
根据另一配置，提供一种设备，其包含处理器，所述处理器具有操作以从含有视频数据的位流中提取信息并编译所述信息的指令的集合。所述处理器操作以识别用以产生所述位流的一个或一个以上协议，且接着识别所述协议所需的各种解析和解码操作。一旦识别出来，便基于所述视频的视觉质量或用户体验质量来管理对所述位流的所述解析和解码操作。所述设备还包括耦合到所述处理器的存储器。
在另一方面中，提供一种包含处理器的集成电路(IC)，所述处理器具有操作以从具有视频的位流中提取信息并编译所述信息的指令的集合。所述处理器操作以识别用以产生所述位流的一个或一个以上协议，识别所述协议所需的各种解析和解码操作，且接着基于可用电能的量或可用处理能力来管理对所述位流的所述解析和解码操作。根据另一配置，基于所述视频的视觉质量或用户体验质量来管理所述解析和解码操作。所述集成电路还包括耦合到所述处理器的存储器。
在另一配置中，提供一种包括计算机可读媒体的计算机程序产品，所述计算机可读媒体具有用于致使处理器从含有视频数据的位流中提取信息并编译所述信息的指令。所述指令进一步致使所述处理器识别用以产生所述位流的一个或一个以上协议以及所述协议所需的各种解析和解码操作，且接着基于可用电能的量或可用处理能力来管理所述解析和解码操作。根据另一配置，基于所述视频的视觉质量或用户体验质量来管理所述解析和解码操作。
所述配置的另一方面包括一种将所述各种解析和解码操作组织成若干群组的处理器，其中每一群组具有所计划的电能需求或所计划的处理能力需求。所述处理器接着选择一群组以使得所述群组的所计划的电能或处理能力需求满足或不超过所述可用电能或可用处理能力。或者，可基于由与那个群组相关联的所述解析和解码操作提供的所述视频的视觉质量或用户体验质量将所述各种解析和解码操作组织成若干群组。
“发明内容”不欲也不应被解释为表示本发明的整个广度和范围，根据“具体实施方式”，特别是当和附图一起考虑时，将更容易明白这些和额外方面。
附图说明
图1展示无线装置的整体方框图。
图2A展示数据流。
图2B展示视频层数据。
图2C展示一般MPEG格式。
图2D展示具有可解码单元的一般MPEG位流。
图3A展示电力管理模块和视频编码器和解码器引擎的方框图。
图3B展示用于与电力管理模块一起使用的解码器引擎的方框图。
图4展示用于计划电力和计算负荷的过程以用于解码可解码单元的经区分优先次序的电力管理(PM)序列的流程图。
图5展示输送层(TL)解析器和处理单元。
图6展示TL信息提取器和编译器。
图7展示接收到的时间切片。
图8展示可解码单元的TL经区分优先次序的电力管理序列产生器。
图9展示TL解码MIPS和电力计划器。
图10展示具有电力和计算负荷管理的用于解码的过程。
图11展示在TL模式期间的多层低功率模式集合产生器。
图12展示视频序列/图片层(VS/PL)解析器和处理单元。
图13展示VS/PL提取器和编译器。
图14展示接收到的时间切片中的VS/PL信息。
图15展示用以解码的VS/PL经区分优先次序的序列产生器。
图16展示由VS/PL解码MIPS和电力计划器进行的用以估计MIPS的过程的流程图。
图17展示VS/PL解码MIPS和电力计划器。
图18展示在VS/PL模式期间的多层低功率模式集合产生器。
图19展示切片/宏块层(S/MBL)解析器和处理单元。
图20展示S/MBL提取器和编译器。
图21展示用以解码的S/MBL经区分优先次序的序列产生器。
图22展示在S/MBL模式期间的多层低功率模式集合产生器。
图23展示电力管理操作的高级方框图。
图24以顺序次序展示示范性标准(正常)解码过程。
图25展示具有电力管理操作的TL解码过程的流程图。
图26展示具有电力管理操作的VS/PL解码过程的流程图。
图27展示VS/PL信息提取协议的方框图。
图28展示根据VS/PL信息提取协议的来自位流的VS/PL经解码单元的方框图。
图29展示具有电力管理操作的S/MBL解码过程的流程图。
图30展示S/MBL信息提取协议的方框图。
图31展示根据S/MBL信息提取协议的来自位流的S/MBL经解码单元的方框图。
图32展示根据所选电力管理模式的最后切片和宏块解码的方框图。
图33展示多层电力管理模式的分级布置的方框图。
为了促进理解，已在可能处使用相同参考数字来标示各图所共有的相同元件，但在适当时添加后缀以区分这些元件。图式中的图像出于说明性目的而被简化且未按比例描绘。预期特征配置可有益地并入其它配置中而不进一步叙述。
附图说明本发明的示范性配置，且因此不应被认为限制可承认其它同样有效的配置的本发明的范围。
具体实施方式
词语“示范性”在本文中用以指“充当一实例、例子或说明”。在本文中被描述为“示范性”的任何配置或设计未必被解释为比其它配置或设计优选或有利，且术语“核心”、“引擎”、“机器”、“处理器”和“处理单元”可互换地使用。
本文中所描述的技术可用于无线通信、计算、个人电子装置、手持机等。下文描述将所述技术示范性地用于无线通信。
图1展示无线通信系统中的无线装置10的配置的方框图。无线装置10可为手持机。无线装置10或手持机可为蜂窝式电话或相机电话、终端、配备无线功能的个人数字助理(PDA)、无线通信装置、视频游戏控制台、膝上型计算机、具备视频能力的装置或某一其它配备无线功能的装置。所述无线通信系统可为码分多址(CDMA)系统、全球移动通信系统(GSM)系统或某一其它系统。
无线装置10能够经由接收路径和发射路径提供双向通信。在接收路径上，由基站发射的信号由天线12接收且提供给接收器(RCVR)14。接收器14调节并数字化所述接收到的信号且将样本提供给数字区段20以供进一步处理。在发射路径上，发射器(TMTR)16接收将从数字区段20发射的数据，处理并调节所述数据，且产生经由天线12发射到基站的经调制信号。
数字区段20包括各种处理、接口和存储器单元，例如调制解调器处理器22、视频处理器24、控制器/处理器26、显示处理器28、ARM/DSP 32、图形处理单元(GPU)34、内部存储器36和外部总线接口(EBI)38。调制解调器处理器22执行对数据发射和接收的处理(例如，调制和解调)。视频处理器24对用于例如摄影机、视频回放和视频会议等视频应用的视频内容(例如，静态图像、移动视频和移动文本)执行处理。视频处理器24执行视频编码和解码或编解码操作。视频编码和解码操作可由另一处理器来执行或在数字区段20中的各种处理器上共享。控制器/处理器26可引导数字区段20内的各种处理和接口单元的操作。显示处理器28执行处理以促进视频、图形和文本在显示单元30上的显示。ARM/DSP 32可执行用于无线装置10的各种类型的处理。图形处理单元34执行图形处理。
GPU 34可遵从(例如)2005年7月28日的公开可得的文献“OpenGL规范，版本1.0(OpenGL Specification，Version 1.0)”。此文献为针对适合于手持式和移动装置(例如，蜂窝式电话和其它上文提及的无线通信设备)的2D向量图形的标准。另外，GPU 34还可遵从OpenGL2.0、OpenGL ES2.0或D3D9.0图形标准。
本文中所描述的技术可用于数字区段20中的所述处理器中的任一者，例如，视频处理器24。内部存储器36存储用于数字区段20内的各种单元的数据和/或指令。EBI 38促进数据沿着总线或数据线DL在数字区段20(例如，内部存储器36)与主存储器40之间的传递。
可用一个或一个以上DSP、微处理器、RISC等实施数字区段20。数字区段20还可制造于一个或一个以上专用集成电路(ASIC)或某一其它类型的集成电路(IC)上。
本文中所描述的技术可实施于各种硬件单元中。举例来说，所述技术可实施于ASIC、DSP、RISC、ARM、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器和其它电子单元中。
可压缩原始视频数据以便减少必须发射到无线装置10或其它具备视频能力的装置或由所述装置处理的信息的量。可使用(例如)遵从业界适用的视频压缩和通信标准中的一者或一者以上的视频译码技术来执行压缩，所述视频压缩和通信标准包括以下标准：ISO/IEC的运动图片专家组MPEG-2和MPEG-4、ITU-T的H.264/AVC或其它标准(AVC代表高级视频译码)。遵从非标准压缩方法的视频译码技术(例如Adobe Flashplayer中所使用的VP6)还可用于产生经压缩的视频数据。在所述配置中，可使用无线或有线接口或其组合将原始和经压缩的视频数据发射到无线装置10或其它具备视频能力的装置、从无线装置10或其它具备视频能力的装置发射或在无线装置10或其它具备视频能力的装置内发射。或者，可将经压缩的数据存储于例如DVD的媒体中。
将经压缩的视频数据包封成有效负载格式以便使用输送协议(例如，使用如由IETF在实时输送协议规范中所定义的因特网协议(IP))进行发射。
图2A展示无线装置10或其它具备视频能力的装置必须发射或处理的数据流和对应协议的方框图。数据流2141包含输送层数据2142(例如，如输送协议规范2145所规定的包封)和视频层数据2143。所述输送层数据遵循如对应的输送协议中所规定的数据表示的格式或语法或语义，且视频层数据遵循如视频译码协议2144(例如所述压缩标准)中所规定的视频数据的表示的格式或语法或语义。
输送协议2145包封视频层数据以供发射或存储，例如，如MP4的文件格式或例如RTP或UDP或IP的输送格式。视频译码协议2144可为视频译码标准，例如MPEG-2或MPEG-4，或H.264/AVC，或例如Real Video或Windows Media等的任何其它视频编解码器。输送层数据的语法和语义由输送协议支配或规定，且视频层数据的语法和语义由视频译码协议支配或规定。
图2B展示视频层数据2143的格式。所述视频层数据包含序列或图片群组(GOP)或图片层数据2243、切片或宏块(MB)层数据2254和块层数据2247。
在接收器处，当接收到数据流时，在传统系统中，视频处理器以对应的输送协议规范和视频译码协议或标准规范所规定的次序解析并解码数据流。输送解析器以对应于输送协议规范的次序解开所述包封，此在本文中被称为正常解析操作。视频解码器以由视频译码协议或标准规范规定的次序解析并解码视频层数据，此在本文中被称为正常解码操作。
在下文描述的系统和方法中，所述视频处理器选择性地解析和/或解码或处理数据流的各部分，且解析和/或解码和处理操作的次序是基于可用电力、可用的计算处理能力或视觉质量。
图2C展示一般的MPEG包格式50。MPEG包格式为数据流2141的一实例。MPEG包格式50包括多个MPEG层52、54、56、58、60、62和64。所述MPEG层包括输送层52、序列层54、图片群组(GOP)层56、图片层58、切片层60、宏块(MB)层62和块层64。在图2A中，所述层经展示为堆叠的，以表示需要解码和处理的层的分级次序。为了本文中描述的目的，将序列层54与图片层58分组在一起且称作视频序列/图片层(VS/PL)70以实现本文中所描述的电力负荷管理的目的。在一些标准中，可能仅呈现序列层或一图片层或所述层的一组合。另外，将切片层60与宏块(MB)层62分组在一起以形成切片/MB层(S/MBL)72以实现本文中所描述的电力负荷管理的目的。在一些标准中，可省略或组合所述层中的一者或一者以上。
在MPEG压缩中，可将视频帧译码并格式化成图片群组(GOP)，其可包括帧内译码(I)帧、预测性译码(P)帧和双向预测性译码(B)帧中的一者或一者以上。一些B帧可为参考帧。可将非参考B帧标示为b帧。如可了解，不可能描述所有的帧和标准中的帧布置。
图2D展示具有可解码单元的一般MPEG位流。所述位流在序列层54处包括序列标头54A，其后为序列数据54B。序列层54为可解码单元。序列数据54B包括图片层58，所述图片层58包括表示为图片1、图片2、图片3、…、图片(N-1)和图片N的多个图片。每一图片为可解码单元。每一图片包括图片标头58A和图片数据58B。图片数据58B包括切片层60。切片层60包括表示为切片1、切片2、切片3、…、切片(M-1)和切片M的多个切片。每一切片为可解码单元。切片包括切片标头60A，之后为切片数据60B。切片的切片数据60B包括宏块层62。宏块层62包括表示为MB 1、MB 2、MB3、…、MB(P-1)和MB P的多个宏块。每一宏块为可解码单元。每一宏块包括MB标头62A和MB数据62B。一些可解码单元依赖于另一可解码单元。因此，区分优先次序将考虑相依的可解码单元。此外，每一层中的可解码单元中的一者或一者以上是可分的。
图3A展示电力管理模块100和视频编码器引擎102和视频解码器引擎104的方框图。电力管理模块100具有多层级低功率模式集合产生器114。多层级模式集合产生器114具有根据MPEG格式的分级(分层的)层布置的多个低功率模式。所述多个低功率模式是基于可在每一层处针对改进的粒度和/或视觉质量而选择性地解码的可解码单元的经区分优先次序的电力管理(PM)序列。粒度可指代在给定电力消耗目标下可执行以最大化所得视觉质量的解析或解码操作的程度。PM序列为促进电力管理的解码或解析操作的序列。PM序列试图经由选择性解码和/或解析操作的先行处理来最大化在给定电力下的视觉质量。多层级低功率模式集合产生器114具有多个层模式。在此配置中，所述多个层模式包括TL模式、VS/PL模式和SL/MB模式。如可了解，本文中所描述的技术不限于MPEG格式，而是可与其它视频压缩和/或输送协议格式一起使用。
在一个实施例中，提取并编译来自包括视频数据的数据流的信息，且基于此信息，区分促进电力管理的用于数据流的解码和解析操作的序列(PM序列)的优先次序。
在另一实施例中，区分优先次序是基于解码和解析操作中的至少一者的先行处理。在又一实施例中，计算用于所述经区分优先次序的PM序列中的每一者的电力和计算负荷中的至少一者的计划。在另一实施例中，电力管理序列的所述区分优先次序是基于视觉质量和粒度中的至少一者。
所述实施例进一步包含产生低功率模式或质量模式的分级列表，以基于所述区分优先次序而选择性地解码所述经区分优先次序的电力管理序列。不同低功率模式或质量模式对应于不同视觉质量程度。可响应于可用电力或计算负荷而选择低功率模式。另外，可响应于所选低功率模式而选择性地解码所述经区分优先次序的电力管理序列中的一者或一者以上。在另一实施例中，选择性解码可基于计算用于所述经区分优先次序的电力管理序列的电力和计算负荷中的至少一者的计划。
在示范性配置中，由预测模式指示的冗余程度(例如)得到各层的分级集合，所述集合又可映射到低功率/降低功率操作模式的一分等级集合。一种使用H.264预测模式的格式是基于以下事实：视频中对应于帧间和帧内预测模式的按照递减次序的冗余的层级包括：跳过(Skip)、直接(Direct)、帧间(Inter)和帧内(Intra)预测模式。模式的次序还对应于受损时(当对应于这些模式的MB的解码和重建中引入不准确性时)的不同视觉质量程度。这些概念可扩展到其它视频译码标准和格式。
为了在功率优化的视频处理方面利用视频中的冗余，可将涉及仅解码器引擎104、仅编码器引擎102或跨编码器引擎和解码器引擎协调的若干方面用于电力负荷管理。在仅解码器引擎(DO)解决方案的情况下，可在装置10处的解码或再现期间应用所述DO解决方案且是编码器不可知的。可将所述解决方案划分为一致种类和不一致种类。一致种类解决方案将输出维持标准一致性的视频流。此处，将满足严格的一致性要求。在不一致解决方案中，此解决方案的优点为灵活性和复杂性的较大降低(与一致种类相比)以对视觉质量造成最小影响。
在仅编码器引擎102(EO)解决方案的情况下，所有复杂性降低方法均在编码期间并入且是解码器不可知的。在EO解决方案中，所有编码功能偏离处理能力的角度。任选地，用于处理能力的成本函数包括于被称为RD功率优化的速率-失真(RD)优化中。
在联合编码器-解码器引擎(JED)解决方案的情况下，在编码期间并入或采用电力减少方法，且解码器引擎执行适当的互反动作以提供(电力/负荷/成本上的)增加的减少。在JED解决方案中，编码器引擎知晓解码器引擎应用上述的DO解决方法的能力，且将用于适当动作的指示符并入所述位流(用户字段或补充增强信息(SEI)消息)或边信道中以在解码器引擎处使用。基于电力减少的集合的先前商定的协议可由编码器引擎和解码器引擎两者采用以实现电力/负荷/成本上的增加的减少。
DO解决方案在解码器引擎未知晓编码过程的情况下应用于开放式应用。实例将包括移动TV、按需视频(Video-On-Demand，VOD)、PMP等。所述EO解决方案将找到在视频服务器中的应用，其中需要功率友好位流以驱动低功率装置。所述EO解决方案还在以下情况下有用：在产生一源的多个译码版本，且网络服务器基于网络/信道条件在所述多个译码版本之间自适应地选择/切换。与DO或EO解决方法相比，对于给定质量，JED解决方案提供电力减少方面的最大增益。所述JED解决方案应用于封闭式或对话式应用，其中通信/控制路径(实时或事前的)是可能的。
下面的描述是针对DO解决方案且提供多层框架配置以调节视频解码中的实施和操作复杂性。视频解码和再现操作中的负荷管理是可能的，其中例如移动TV、便携式多媒体播放器(PMP)(电影/DVD播放器)等各种应用需要扩展的视频回放。本文中所描述的体现于多层框架配置中的技术可扩展到任何视频或多媒体应用。
负荷或电力管理指代对运行时间复杂性的调节，所述运行时间复杂性包括(但不限于)延迟、电力消耗和每秒或处理器循环百万条指令(MIPS)可用性。调节包括在给定可用处理、电力和时间资源的情况下优化用户体验(特定来说，视频质量)。还可进行调节以优化用户的体验质量(QoE)，其可涵盖除视频质量以外的其它性能因素，例如音频质量、响应时间、图形质量等。所述多层框架配置允许各种粒度水平的所述调节，以用于对所述应用对视频解码器实施的即时需求的预防性和反应性响应两者。基于可用信息和电力(电池)水平或所要视觉质量推荐替代的执行或控制/数据流路径。鉴于前述内容，本文中所提供的描述主要针对由解码器引擎104执行的DO操作。解码器引擎104进行视频解码后可为由显示处理器28中的再现级28A(图23)执行的再现。解码/再现不必为连续过程。举例来说，可并行地解码多个切片，可并行地或以可不被视为连续的波形方式再现图像的若干行。但是，虽然以连续次序进行解码和之后的再现是规范，但在一配置中，这些操作是并行的。再现通常包括后处理(彩色空间转换、缩放等)和之后的合成待显示的图像和显示过程(传递到显示缓冲器、从此缓冲器读取和写入到显示器)。为了举例，在连续过程中进行解码和之后的再现且按时间次序发生(时序是基于用于解码的解码时间戳和用于再现/显示的呈现时间戳)。然而，到此过程(解码和再现)的输入为视频位流(取景器的情况可能除外)，其未必依据视觉质量按重要性次序区分优先次序(即，即时解码器刷新(IDR)、帧内(I)和预测(P)帧是交替的)。而且，将视频位流传递到解码器引擎104的输送层协议在按包/序列号次序呈现给解码器引擎104的包中就是这样。以接收次序处理位流可导致帧丢弃且不允许在低功率操作(由用户起始以节约电池或由系统基于可用或所分配的电力进行调制)下抑制输出视频的质量。处理器循环的缺少、MIPS和/或累积的延迟和等待时间可导致通常在大小上较大的关键帧被丢弃，从而致使视频停顿较长持续时间。
编码器引擎102获取或产生并压缩遵从MPEG标准、H.264或其它标准的视频数据。处理所述视频数据以提取视频信息的所选部分，以使得编码满足装置10的图像质量、电力和/或计算负荷需求和/或装置10或具备视频能力的装置(例如，无线或有线接口)的输出视频接口的发射能力、带宽或其它特性。另外，编码可使得解码(由接收方进行)满足接收方的解码器引擎或接收器14的质量、电力和/或计算需求和能力。
图3B展示用于与电力管理模块100一起使用的解码器引擎104的方框图。解码器引擎104包括标准(正常)序列解码处理单元105以在电力管理或低功率模式并非必要时解码位流。解码器引擎104还包括输送层(TL)解析器和处理单元106、视频序列/图片层(VS/PL)解析器和处理单元108、切片/MB层(S/MBL)解析器和处理单元110、块层解析器和处理单元112。在示范性配置中，未描述块层64处的电力和计算负荷管理。
如将从以下描述可见，TL解析器和处理单元106解析并处理输送层52。VS/PL解析器和处理单元108至少解析并处理序列层54和图片层58。序列层54与图片层58的组合在下文中被称为视频序列/图片层(VS/PL)70。然而，VS/PL解析器和处理单元108还可解析并处理GOP层56，或某一其它解析器和处理单元可用于GOP层56。因此，以虚线展示从参考数字70到GOP层56的线。S/MBL解析器和处理单元110解析并处理切片层60和宏块(MB)层62。块层解析器和处理单元112解析并处理块层64以便解码MPEG格式的视频或编程。
解析器和处理单元106、108、110和112中的一者或一者以上可用于并行地、单独地或以组合关系操作以进行本文中所描述的电力和计算负荷管理功能。此外，可省略解析器和处理单元106、108、110和112的电力和计算负荷管理功能中的一者或一者以上。尽管如此，在示范性配置中，仍按需要选择性地致动解析器和处理单元106、108和110以提供分层的电力和计算负荷管理功能，所述分层的电力和计算负荷管理功能控制视觉质量、电力负荷的权衡的视觉质量和所述层中的任一者中的粒度，以便在有效地使用电力的同时维持或增强用户的体验。
图4展示用于计划用于解码可解码单元的经区分优先次序的电力管理(PM)序列的电力和计算负荷的过程120的流程图。为了区分位流和可解码单元的作为结果的电力管理(PM)序列的优先次序以用于选择性解码，针对每一分级(分层的)层提供三阶段(3阶段)过程120以提供分级地布置的低功率操作模式。过程120依赖于视频位流中的非因果性，且所述过程的效率视先行的量(解码器引擎的输入缓冲器深度)而定。
过程120在方框122开始，在方框122中解析和提取层信息。方框122之后为方框124，在方框124中区分需要解码的可解码单元的那些PM序列(将不与序列层相混淆)的优先次序。为实现说明性目的，以列表形式展示可解码单元的经区分优先次序的PM序列，如稍后将较详细地描述。术语“可解码单元的经区分优先次序的PM序列”在下文中有时将被称为“经区分优先次序的PM序列”。然而，每一序列包括一个或一个以上可分的可解码单元。如将从以下描述可了解，可解码单元包含图片、切片和宏块中的一者或一者以上或群组。
方框124之后为方框126，在方框126中计划用于经区分优先次序的PM序列的电力和计算负荷。在示范性配置中，依据每秒百万条指令(MIPS)的数目计划计算负荷。对应的MIPS需要所计划或预定的电力。
在方框126处，存在经区分优先次序的PM序列与对应的MIPS(且随后是解码PM序列中的一者或一者以上所需的电力)的相关性。下面还相对于H.264标准描述方框122和124。方框126可使用来自电力分析的对应于典型情形(例如，测试位流)的结果，且任选地反馈驱动训练或运行时间更新以供在计划中使用。一旦已知一位流，便可计划电力和计算负荷(处理能力)以通知用户所述装置10中的电力是否不足以完全解码位流。因此，如果电力(电池或电能)将在位流被完全解码之前耗尽(例如在回放期间)，则用户具有选择将允许完成位流的功率模式的选项。
如先前所提及，可针对压缩数据格式中的不同层重复3阶段过程120。在(对应于不同层的)每一方框126之后，产生用于解码器引擎104的低功率模式的分级集合以用于解码操作的电力和计算负荷管理。此可在运行中发生，或对于适当选择的位流的一集合和在实时操作之前预先经校准/编程的解码器，其可为预定的。
图5展示输送层(TL)解析器和处理单元106。TL解析器和处理单元106包括TL信息提取器和编译器150(图6)、TL经区分优先次序的PM序列产生器152(图8)和TL解码MIPS和电力计划器154(图9)。输送层(TL)解析器和处理单元106将进行三阶段过程120以用于输送层52的解码操作的电力和计算负荷管理中。
图6展示TL信息提取器和编译器150。TL信息提取器和编译器150视借以接收视频位流的输送协议而定。图7中展示接收到的时间切片190的一部分的一实例。在示范性配置中，可由TL信息提取器和编译器150提取和编译位流中的各种信息。TL信息提取器和编译器150将解析图7中所展示的接收到的时间切片190。TL信息提取器和编译器150包括随机存取点(RAP)提取器160、状态信息提取器166、位流特性提取器176和输送层信息编译器186。RAP提取器160可提取具有标记为获取的包/切片的位置、大小、呈现时间戳(PTS)等的信息162。RAP提取器160还可提取输送标头(例如，实时输送协议(RTP)有效负载格式中的入口点标头)中的RAP 164的序列。在示范性配置中，由状态信息提取器166提取的状态信息包括关于信道变化170和用户观看偏好172(例如在广播或移动TV应用中)的信息。所提取的状态信息166还可包括应用变化174(例如，分辨率/预览模式或画中画模式)等。
位流特性提取器176提取位速率178、帧速率180、分辨率182、应用(存储对串流)184等。在位速率178的情况下，在一些情况下(例如，MPEG文件格式)容易得到值。在其它情况下，在将输送标头和填充物移除之后，(例如)由输送层信息编译器186基于在由时间戳指示的一秒中的位流的大小计算位速率。TL层信息提取器和编译器150包括TL信息编译器186以计算不可直接从接收到的时间切片的输送层提取的信息。关于图9描述对包大小和位速率的实例计算。
图7展示接收到的时间切片190，在此实例中其具有在所接收数据中的RAP1 191、RAP2196、…、RAPN 198。(其可任选地为从所存储文件中提取的位流的一区段)。每一RAP(例如RAP1 191)具有一标头192，之后为具有与作为随机存取点的经译码帧(例如I帧)相关的数据的有效负载193。所述标头包括多个字段，其中一者为PTS1间隔194。计算(例如，在RTP中，从随机存取(RA)计数和参考时间和PTS偏移导出)绝对RAP位置(包)和用于每一RAP的来自PTS1间隔194的PTS值。RAP2 196具有一标头，之后为具有与作为随机存取点的经译码帧(例如I帧)相关的数据的有效负载。所述标头包括多个字段，其中一者为PTS2间隔。
将表示为RAP--GOP的间隔界定为从RAP帧开始直到下一个RAP帧为止的图片群组。在输送层处，RAP为可解码单元。此外，RAP--GOP可为用于输送层的可解码单元。基于应用，在需要时检索或请求更多数据。举例来说，在所存储视频的回放期间，有可能搜遍文件格式标头以寻找相当于几秒(2-5秒)的数据以评估位速率和帧速率。接着，基于可用电力，决定解码所有数据或以减小的帧速率为目标进行解码。
接收到的时间切片190可为用于MediaFLOTM的超帧或用于数字视频广播(DVB)(例如DVB-H(其中H代表手持式))的时间切片。
图8展示TL经区分优先次序的PM序列产生器152。处理以上所提取的信息以创建可解码单元的TL经区分优先次序的PM序列的列表200。TL经区分优先次序的PM序列产生器152导出绝对参数值。假设在输送层52处已接收到具有对应的GOP的多个包RAP1191、RAP2196、…和RAPN 198。因此，待由解码器引擎104解码的可解码单元的TL经区分优先次序的PM序列开始于方框202。此处，可解码单元为方框202处的RAP1、方框204处的RAP--GOP1的剩余部分、方框206处的RAP2、方框208处的RAP--GOP2的剩余部分。对TL经区分优先次序的PM序列的优先次序区分继续下去，直到方框210处的可解码单元RAPN和方框212处的RAP--GOPN的剩余部分为止。对可解码单元的TL经区分优先次序的PM序列的以上描述仅为序列的布置的一个实例。
图9展示TL解码MIPS和电力计划器154。在输送层级52处，电力/计算负荷减少的第一水平是可能的。此水平可提供粗略的电力/计算负荷减少。举例来说，对于最低功率模式设定或当装置10的电池水平已耗尽到＜10％时，将仅解码RAP包(由方框202、206和210表示)，且当由再现级28A再现时，任选地，可触发图形处理单元34以产生I帧之间的过渡效果。所述过渡效果提供低成本“视频”而非幻灯片展示效果。基于低功率模式，其它视频补偿可用于补偿所跳过的可解码单元。举例来说，可使用图像变形(image morphing)。补偿的另一实例可使用光学流。
TL解码MIPS和电力计划器154产生表示用于MIPS的计划(列4)的数据，所述MIPS用以解码TL经区分优先次序的PM序列的列表200中的可解码单元的PM序列中的一者、多者或全部。仅出于说明性和描述性目的，展示MIPS计划表230。所述表具有多个列。在列C1中，列举输送层信息或可解码单元的TL经区分优先次序的PM序列。在列2中，识别用以解码可解码单元中的一些或全部的包大小。在列C3中，识别位速率计算。在列C4中，提供用以解码可解码单元的所计划的MIPS。如可了解，可能已在区分优先次序阶段期间导出列C3中的位速率和列C2中的包大小。
在此实例中，行R1识别可解码单元的TL经区分优先次序的PM序列的列表200中的第一可解码单元。在此例子中，所述第一可解码单元为RAP1。可基于来自TL提取器和编译器150的经提取和编译的信息而计算RAP1的包大小。在示范性配置中，RAP1的解码包大小对应于RAP1的输送包的大小-(输送标头192加上有效负载193)的大小。RAP2的解码包大小对应于RAP2的输送包的大小-(输送标头加上有效负载)的大小。同样地，RAPN的解码包大小对应于RAPN的输送包的大小-(输送标头加上有效负载)的大小。行RN+1(最后一行)对应于整个所接收到的时间切片，例如切片190。因此，针对每一可解码单元和行RN+1处的用于接收到的时间切片190的整个输送层52的所有可解码单元而计算MIPS的计划。
在列3中，计算或提取位速率。在此情况下，根据间隔(RAP--GOP1)的大小除以间隔(PTS2-PTS1)或(PTS2减去PTS1)的大小，基于RAP、GOP1、PTS2、PTS1的大小而计算位速率。以类似于RAP1的方式计算RAP2、…、RAPN的位速率。在行RN+1中，位速率为接收到的时间切片/间隔(PTS2-PTS1)的大小。
在列4中，在行R1中，用以解码RAP1的所计划的MIPS具有两个值。第一值随用于RAP1的I帧大小而变。第二值随针对给定编解码器的具有大小(RAP--GOP1)的位流的所述部分而变。用于MIP的计划的信息可从输送标头(RAP和对应的PTS)得到。因此，所述可解码单元是可分的且在计划MIPS时不全部解码。而是，仅标头或其一部分需要被解码以提取必要信息，如下文将更详细地描述。在行RN+1中，根据用于给定编解码器的位流大小(针对时间切片)而计划用以解码整个时间切片的所计划的MIPS。应注意，用以针对规定数量进行解码的MIPS计划随电力简档描述和分析而变。
对于列C4中的MIPS计划中的每一者，确定对应的电力需求。所述对应电力可按需计算或可预先存储于查找表中。此通常将完成三阶段过程120的第三阶段。
图10说明具有电力和计算负荷管理的用于解码的过程240。在给定用以解码可解码单元中的一者或一者以上的MIPS需求，和给定时刻的可用MIPS(或电力需求对可用电力/安培)的情况下，可作出解码接收到的时间切片190的全部或一部分的决策。用以虚线展示的过程120的第三阶段说明过程240。过程120的第三阶段提供解码输送层52所必需的计算负荷和/或电力的必需计划。因此，在方框242处，计划MIPS。在方框244处，确定对应于所计划的MIPS的电力。尽管示范性配置提供MIPS与电力的关系，但可使用影响电力和计算负荷的其它值。
方框244结束所述第三阶段。方框244之后为方框246，在方框246中确定给定时刻的可用MIPS(计算负荷)。方框244之后还有方框248，在方框248中确定给定时刻的可用电力。并行地展示方框246和248。尽管如此，在各种配置中，以所描绘的次序执行过程240和本文中所描述的其它过程的块，或可同时地、并行地或以不同次序执行这些步骤中的至少两者或其部分。
方框246之后为方框250，在方框250中作出所计划的MIPS是否大于可用MIPS的确定。如果所述确定为“否”，意味着所述时刻的可用计算负荷是足够的，则可在方框254处解码整个输送层52。然而，如果方框250处的确定为“是”，意味着可用计算负荷不足，则可在方框256处根据在低功率模式设定的列表260(图11)中识别出的模式中的任一者来解码输送层52的一部分。
方框248之后为方框252，在方框252中作出所计划的电力是否大于可用电力的确定。如果方框252处的确定为“否”，意味着可用电力是足够的，则可解码整个输送层52。然而，如果方框252处的确定为“是”，意味着可用电力不足，则可在方框256处根据在低功率模式设定的列表260(图11)中识别出的模式中的任一者来解码输送层52的一部分。如果来自方框250和252的条件均为否，则将解码整个输送层52。对于所有其它情况，将部分地解码输送层52。以虚线展示方框248、252以表示所述方框也是任选的。
图11展示在TL模式期间的多层低功率模式集合产生器114。多层低功率模式集合产生器114产生可选择的低功率模式设定的列表260。在图11的示范性配置中，存在多个输送层低功率模式，其表示为行R1中的模式1、行2中的模式1A和行3中的模式2。输送层模式1对应于(例如)使用所有RAP的幻灯片展示(在下文中称为“SS-RAP”)。输送层模式1A对应于具有由再现级28A造成的过渡效果的SS-RAP。因此，模式1A不同于模式1的地方在于，模式1A提供优于模式1的增强的视觉质量。输送层模式2对应于基于可用电力而选择性地解码RAP--GOP。列C2中的列表将提供必需指令以致使解码器引擎104选择性地解码输送层52处的可解码单元中的一者或一者以上。
电力管理模块100在TL模式期间基于所计划的MIPS和/或电力而作出可将低功率模式1、1A或2中的哪一者提供给用户以用于位流的解码的确定。如果存在可基于管理可解码单元的其它层的电力而进一步节约的可用电力，则可选择模式2，如将关于视频序列/图片层进行描述。
如果选择TL模式1A，则发生具有过渡效果的SS-RAP(I帧)的正常解码。然而，如果选择TL模式1，则电力管理模块100可进行到VS/PL模式3以用于视觉质量的进一步升级。
序列/图片层
图12展示视频序列/图片层(VS/PL)解析器和处理单元108。VS/PL解析器和处理单元108包括VS/PL信息提取器和编译器280(图13)、VS/PL经区分优先次序的PM序列产生器282(图15)和VS/PL解码MIPS和电力计划器284(图17)。VS/PL解析器和处理单元108将进行三阶段过程120以用于VS/PL 70的解码操作的电力和计算负荷管理中。
图13展示VS/PL信息提取器和编译器282。VS/PL信息提取器和编译器282视所述视频位流的VS/PL格式而定。图14中展示根据VS/PL70的接收到的时间切片330的一实例。基于视频编解码器(编码器引擎和解码器引擎)，在序列层54处提取信息。在MPEG-2和MPEG-4的情况下，提取视频序列层参数。这需要到视频解码器引擎104中的接口。稍后将关于图27和图28描述所述提取。
如果不可检索在输送层52处列出的一些参数(例如，I帧位置或包ID)，则可在序列层54处提取所述信息。VS/PL信息提取器和编译器280提取I帧位置284和包ID 286。VS/PL信息提取器和编译器282还从(例如)用于H.264标准或序列层54的序列参数集合(SPS)提取简档290、层级292和参数约束(constrained_set_flag)294。还可使用图片参数集合(PPS)。
VS/PL信息提取器和编译器282还可提取或编译图片信息296。所述图片信息可包括参考帧的数目298、分辨率300、帧速率302(如果尚未检索)、显示参数(VUI)等以评估解码/处理数据所需的计算负荷。额外信息包括关于参考位置304、参考图片大小306、PTS和参考图片信息308的信息。还可提取或编译非参考图片位置310、非参考图片大小312、非参考图片信息314和PTS。被编译的信息由信息编译器316编译。为了提取VS/PL信息，仅解码序列标头和所有图片标头。如图27和图28中将较详细地描述，使图片的有效负载未被解码。
图15展示VS/PL经区分优先次序的PM序列产生器282。在VS/PL经区分优先次序的PM序列产生器282处，从所提取的信息中导出绝对参数值。为了改进粒度，用较多细节填充可解码单元的VS/PL经区分优先次序的PM序列的列表360。所述优先次序区分类似于关于图8所论述的优先次序区分。然而，在此层级或层处，基于I帧的类型(例如在H.264情况下的IDR和I帧)进一步限定在输送层52中识别出的所述多个包RAP1、RAP2、…、RAPN(方框362、382、388)或区分其优先次序。或者，使用所述图片标头信息识别所有I帧且接着区分所述I帧的优先次序。
在示范性配置中，将方框或间隔RAP--GOP1 364进一步细分成其它VS/PL可解码单元。进一步区分这些VS/PL可解码单元的优先次序，使得IDR(或MPEG-2中封闭式GOP的开始处的I帧)之后为非IDR I帧(开放式GOP)。因此，优先次序区分可经设定以使得IDR帧366之后为I帧368。I帧366之后为P帧370，其之后为参考B帧372。参考B帧372之后接着为表示为b帧374的非参考B帧。图14展示指示帧类型(P、B和b)的接收到的时间切片330。
因此，待由解码器引擎104解码的VS/PL经区分优先次序的PM序列开始于方框362处的RAP1，随后是方框364处的RAP--GOP1。根据方框366、368、370、372和374，进一步区分RAP--GOP1的优先次序。可基于b帧进一步区分对应于RAP--GOP1的间隔的优先次序。在示范性配置中，使用方框376到380处的b帧的大小信息进一步区分VS/PL经区分优先次序的PM序列的优先次序。举例来说，具有大于FRUC阈值(表示为FRUC_THR)的大小信息的b帧(方框376)可具有比大小小于所述FRUC阈值的那些b帧高的优先权。另外，小于丢弃阈值(表示为DROP_THR)的b帧可被标记且完全被丢弃而无FRUC。因此，在方框378处，可将优先次序区分准则设定为DROP_THR＜b＜FRUC_THR。在方框380处，可将优先次序区分准则设定为b＜DROP_TH。可将这些阈值映射到所需的处理循环/电力上的百分比减小。
方框382设定用于解码RAP2的优先次序区分。方框382之后为方框384，在方框384中，类似于以上的方框366、368、370、372、374、376、378和380地区分针对RAP--GOP2的剩余部分的优先次序区分的优先次序。所述VS/PL经区分优先次序的PM序列的优先次序区分在方框386处继续，直到用于区分对RAPN的解码的优先次序的方框388为止。方框388之后为方框390，在方框390中区分RAP--GOPN的剩余部分的优先次序以用于解码。
视计算负荷的状态而定，可经由消除适当数目个低优先权序列或可选择的可解码单元来减小或修改解码操作的序列。
图16展示由VS/PL解码MIPS和电力计划器284进行的用以计划MIPS的过程400的流程图。过程400开始于方框402，在方框402中确定用以解码IDR-帧大小的MIPS。方框402之后为方框404，在方框404中确定用以解码所有I帧大小的MIPS。方框404之后为方框406，在方框406中确定用以解码所有P帧大小的MIPS。方框406之后为方框408，在方框408中确定用以解码所有B帧大小的MIPS。方框408之后为方框410，在方框410中在各种条件下确定用以解码所有b帧大小的MIPS。举例来说，如果丢弃所述b帧中的一些(例如，b1帧和b2帧)，则将用以解码的所计划的MIPS设定为0。
图17展示VS/PL解码MIPS和电力计划器284。在帧层级处，帧类型(例如IDR、I、P、B、b、…)、大小(306或312)和帧速率302为可用以评估解码帧所需的处理器循环的量或比例的关键因素(可包括其它限定符)。使用特定测试位流的电力简档描述和分析可用以基于帧类型(IDR、I、P、B、b、…)导出处理器循环的量与帧大小之间的关系。可将这些关系布置于查找表中以供稍后用于MIPS和电力计划中。其它条件在此分析期间可为固定的且在稍后外推。举例来说，可针对1-参考图片情形导出映射，且可基于独立分析外推相对复杂性对5-参考图片。在H.264标准的情况下，在解析切片标头之前，帧层级信息不可用。
在图17中，VS/PL解码MIPS和电力计划器284产生用以解码的所计划的MIPS的列表440。为说明性和描述性的目的而产生所述列表。在行R1处，VS/PL解码MIPS和电力计划器284基于每一IDR的大小(IDR)对IDR帧进行计划。在行R2处，VS/PL解码MIPS和电力计划器284基于I帧大小的序列(大小(I1)、大小(I2)、…)而产生用于所有I帧的所计划的MIPS。在行R3处，VS/PL解码MIPS和电力计划器284基于P帧大小(大小(P1)、大小(P2)、…)而产生用于所有P帧的所计划的MIPS。在行R4处，VS/PL解码MIPS和电力计划器284基于B帧大小(大小(B1)、大小(B2)、…)而产生用于所有B帧的所计划的MIPS。在行R5处，VS/PL解码MIPS和电力计划器284基于B帧大小(大小(b1)、大小(b2)、…)而产生用于所有B帧(非参考B帧)的所计划的MIPS。当计划用于所有b帧的MIPS时，作出是否丢弃b1和b2的确定。如果丢弃，则将所计划的MIPS设定为零(0)。还存在关于取代b1、b2、…等的FRUC的计划。
关于图10和图17，对于用以解码的所计划的MIPS的列表450中的MIPS计划中的每一者，施加对应的电力需求。在给定MIPS需求和给定时刻的可用MIPS(或电力需求对可用电力/安培)的情况下，则可以类似于以上关于图10所描述的方式作出解码所有或所选帧(部分)(其为可解码单元)的决策。
在序列/图片层级处理的最后，中等粒度电力减少模式是可能的(假设I帧通常构成GOP中的位的30％，且位的数目与MIPS需求成比例，则按照约5％的台阶从0到60％的减少是可能的)。视关于处理器负荷和电力水平的当前状态的反馈而定，通过消除适当数目个低优先权实体来缩短操作的序列。按增加的电力需求的次序在图18中列出在序列/图片层处可能的模式。
图18展示在VS/PL模式期间的多层低功率模式集合产生器114。多层低功率模式集合产生器114产生低功率模式的列表450。为说明性目的而产生所述列表。所述列表包括VS/PL层模式3，其对应于用以解码使用RAP的幻灯片展示和所有I帧的指令。因此，如果选择模式1A，则电力管理模块100将评估额外MIPS是否可用，使得还可为了改进视觉质量或粒度而解码所有所述I帧。VS/PL层模式3之后为VS/PL层模式4A，其对应于用以基于仅使用所有I帧和P帧的降低的帧速率进行解码的指令。VS/PL层模式4A之后为VS/PL层模式4B，其对应于用以基于仅使用所有I帧和P帧(具有取代B(和b)帧的选择性FRUC)的降低的帧速率解码的指令。在模式4B中，使用正常解码来解码I和P帧。然而，不解码B帧。而是，对于所有B或b帧，选择性FRUC取代每一B或b帧。VS/PL层模式4B之后为VS/PL层模式4C，其对应于用以基于可用电力而选择性地解码RAP--GOP(例如如上的I帧和P帧)的指令。然而，作为替代操作，对于选择性数目个B或b帧，使用所述选择性FRUC以取代每一B或b帧。VS/PL层模式4C之后为VS/PL层模式4D，其对应于用以基于使用所有I和P帧的降低的帧速率(比模式4C高)进行解码的指令。还可包括所有B帧。替代地，使用所述选择性FRUC以取代每一B帧(任选地，针对选择性数目个B帧)，且无操作用于b帧。替代地，可跳过或绕过所述b帧。VS/PL层模式4D之后为VS/PL层模式5，其对应于用以解码所有接收到的帧(I、P、B和b)的指令。
如果选择VS/PL层模式3或5，则将进行另一替代操作以用跳过宏块(MB)替代。此外，从模式2起，可通过模式4A到4D和5所提供的精细化而实现进一步增强的视觉质量或粒度。
切片/MB层
图19展示切片/宏块层(S/MBL)解析器和处理单元110。S/MBL解析器和处理单元110包括S/MBL信息提取器和编译器460(图20)、S/MBL经区分优先次序的PM序列产生器462(图21)和S/MBL解码MIPS和电力估计器464。S/MBL解析器和处理单元110将进行三阶段过程120以用于S/MBL 72的解码操作的电力/负荷管理中。
图20展示S/MBL信息提取器和编译器460。S/MBL信息提取器和编译器460已借以压缩视视频位流的协议或标准而定。此处，S/MBL信息提取器和编译器460提取切片信息470和MB信息472。针对对应于在来自图15的经区分优先次序的序列中识别出的图片的图片而解析切片信息470和MB标头。可将来自先前层VS/PL 70中的经区分优先次序的序列(图15)的帧的选择部分标记为经解码。请注意，如果需要电力管理的较细粒度，则可继续对所有图片进行解码。因此，仅切片标头和MB标头经解码。
如果检测到标头有错误，则可遗弃所述MB或整个切片的系数/MB数据。任选地，可应用零MV消除且稍后用更复杂的错误校正(EC)进行精细化。MB信息472包括MB类型474、运动向量(MV)476、模式478、大小480、其它信息482和每帧MB图484。
在与本申请案同时申请且具有代理人案号第071445号的第12/145,900号专利申请案中描述了示范性每帧MB图，且所述专利申请案如同在下文完全陈述一样以引用的方式并入本文中。
图21展示S/MBL经区分优先次序的PM序列产生器462。S/MBL经区分优先次序的PM序列的列表490使用切片信息和MB图来估计图15中的经区分优先次序的列表中的每一帧的复杂性。在一个配置中，仅进一步区分方框492处的P帧切片和方框502处的B帧切片的优先次序。在先前层处，将针对VS/PL中的任何选定模式解码所有I帧。基于方框494处的每一切片的ROI MB和方框496处的具有模式平滑化的非ROI MB而进一步区分所述P帧切片的优先次序。根据方框498处的强制性匀速运动和方框500处的强制性P跳过而进一步区分所述模式平滑化的优先次序。基于方框504处的每一切片的ROI MB和方框506处的具有模式平滑化的非ROI MB而进一步区分所述B帧切片的优先次序。根据方框507处的强制性匀速运动和方框508处的强制性B跳过而进一步区分所述模式平滑化的优先次序。
可应用模式平滑化以将具有类似特性的MB进行分组。对于MB的每一个3x3或5x5窗口，针对模式的均匀性对MB的窗口进行评估。识别窗口中的界外值(具有不同于剩余MB的模式的MB)。如果界外值在边缘上不同，则迫使其变到窗口的一模式。否则，维持界外值的模式。举例来说，如果在3×3MB窗口中，一个MB为帧间模式而其它MB为跳过，且如果帧间MB的残差(由CBP或MB大小指示)小于Skip_threshold，则迫使所述MB变到跳过模式。在模式平滑化之后，计算跳过模式MB对直接/帧间模式MB的比例且包括所述比例以作为复杂性的一因素。另外，跳过MB的连接区域可经由MB扩张和MB侵蚀而组合为数据瓦片(如在第12/145,900号专利申请案中，所述专利申请案具有代理人案号第071445号)。可接着将瓦片限定为跳过/静态、非静态、匀速运动、所关注区域(ROI，基于相对MB/瓦片大小)等。在匀速运动瓦片的情况下，可量化所述MB的MV，且可迫使瓦片变到一个MV(请注意，此可在这些MB的残差/CBP为零或几乎为零的情况下进行)。另一选项为仅非静态或ROI瓦片经解码且迫使剩余部分被跳过的情况。在此情况下，所述非ROI MB中的一些可具有除跳过之外的模式，但将被强制跳过，例如在方框500和508中。
图22展示在S/MBL模式期间的多层低功率模式集合产生器114。多层低功率模式集合产生器114产生低功率模式的分级列表650。操纵一帧中的MB中的哪一者和接收到的帧中的哪一者要被处理的能力在管理解码和再现过程中提供显著水平的粒度。另外，可在解码期间(在运行中)执行上述MB层级电力优化。再次，需要详细的简档描述和电力分析以将电力减少的比例映射到对应的低功率模式。
将模式的所述实例描述为S/MBL模式6A、6B、6C、7A、7B、7C和8。在模式6A中，按照I帧的正常解码来解码所述I帧。然而，可发生额外的替代操作以在电力准许时改进视觉质量或粒度。举例来说，在模式6A中，可迫使具有非ROI MB的P帧变到P_Skip，且可迫使B帧和b帧变到选择性FRUC。在模式6B中，按照I帧的正常解码来解码I帧。模式6B中的替代操作可包括迫使具有模式平滑化的P帧变到P_Skip且迫使B帧和b帧变到选择性FRUC。在模式6C中，根据正常解码过程来解码I帧。然而，作为一替代操作，具有模式平滑化的P帧可为强制性匀速运动，且可迫使B帧和b帧变到选择性FRUC。在模式7A中，根据正常解码过程来解码I帧和P帧。然而，作为一替代操作，迫使具有非ROI MB的B帧变到跳过模式。在模式7B中，根据正常解码过程来解码I帧和P帧。然而，作为一替代操作，迫使具有模式平滑化的B帧变到跳过。在模式7C中，根据正常解码过程来解码I帧和P帧。然而，作为一替代操作，具有模式平滑化的B帧为强制性匀速运动。在模式8中，解码所有接收到的帧(I、P、B和b)。
图23展示电力管理操作的高级方框图。所述方框图包括与显示处理器28的再现级28A通信的解码器引擎104。因此，电力管理(PM)模块100以TL模式、VS/PL模式和S/MBL模式处理所述位流。PM模块100控制解码器引擎104以根据所选择的低功率模式解码可解码单元。还在上述操作的低功率模式中的任一者中从来自框架的操作的经区分优先次序的序列导出在再现期间所需的处理。此外，可将解码器引擎114的输出发送到其它装置、存储器或设备。可将来自所述解码器的输出转发到另一具备视频能力的设备以用于最后存储或消耗(显示)。图形处理单元34还与显示处理器28通信。
图24以顺序次序说明示范性标准(正常)解码过程700。还关于图2D描述过程700。在视频序列和图片层处开始，标准(正常)解码过程700将在方框702处解码序列标头54A，随后在方框704处解码图片1的图片标头58A。在解码图片1的图片标头之后，解码图片数据58B，其包括切片和宏块信息。因此，当解码图片1数据时，解码由切片1到M指示的所有切片单元。由于以类似方式解码每一切片，所以将仅较详细地描述一个切片。
当解码切片1时，在方框706处解码图片1的切片1的切片标头60A。接着，在方框708处解码图片1的切片1的宏块(MB)1的MB标头62A。在解码MB1的MB标头62A之后，在方框710处解码图片1的切片1的MB1的相关MB数据。接着，获得下一个宏块。因此，在方框712处解码图片1的切片1的宏块(MB)2的MB标头62A。在解码MB2的MB标头之后，在方框714处解码图片1的切片1的MB2的相关MB数据62B。对于所述切片中的所有剩余MB，继续解码宏块标头，之后解码相关MB数据62B。在此实例中，存在N个MB。因此，对图片1的切片1的解码将以以下操作结束：在方框716处解码图片1的切片1的MB N的MB标头，之后在方框718处解码图片1的切片1的MB N的相关MB数据62B。
因此，过程700将通过以类似于上文针对幻灯片1所描述的方式解码剩余切片中的每一者来继续解码图片1信息。在此实例中，存在M个切片。因此，在方框720处，以如上文关于方框706到718所描述的方式解码切片M。
接下来，过程700将解码例如图片2的下一个图片帧。为解码图片2，过程700将在方框722处解码图片2的图片标头58A以导出切片1到M的位置。因此，在方框724处，以如上文关于方框706到718所描述的方式解码切片1。以类似方式解码图片2的所有剩余切片。因此，在方框726处，以如上文关于方框706到718所描述的方式解码切片M以完成对图片2的解码。
过程700以类似方式循序地重复对所有图片帧的解码，直到最后一个图片Z为止。在此实例中，存在图片1到Z。因此，为解码最后一个图片(图片Z)，过程700将在方框728处解码图片Z的图片标头58A，之后为在方框730处的切片1解码。解码图片Z中的每一切片，直到在方框732处解码切片M为止。
图25说明具有电力管理操作的TL解码过程800的流程图。过程800开始于方框802，在方框802中发生TL信息的提取和对可解码单元的PM序列的TL优先次序区分，如关于图6和图8所描述。方框802之后为方框804，在方框804中针对TL经区分优先次序的PM序列而计划MIPS和/或电力负荷。方框804之后为方框806，在方框806中计划用于TL低功率模式集合的MIPS。方框806之后为方框808，在方框808中作出是否存在足以解码位流的电力的确定。如果确定为“是”，则可在方框810处根据关于图24所描述的程序而发生正常解码过程700。然而，如果确定为“否”，则作为一选项，可在方框812处通知用户：不存在足以回放视频的电力。将给予用户对应于供选择的模式1、1A和2的低功率模式选项。替代地，可自动选择低功率模式。方框812之后为方框814，在方框814中由用户选择或自动选择TL低功率模式。图25的流程图进行到图26。
图26说明具有电力管理操作的VS/PL解码过程900的流程图。过程900开始于在方框902处执行例如图13和图15中所描述的VS/PL信息提取和对PM序列的VS/PL优先次序区分。在方框904处，计划用于所有帧类型(可解码单元)的MIPS，如关于图16和图17所描述。在方框906处，基于VS/PL经区分优先次序的PM序列而计划用于如图18中所展示的每一VS/PL低功率模式集合的MIPS和/或电力负荷。基于所计划的MIPS，基于视觉质量和粒度将PM序列分组在一起。可能由于电力不足而未解码所述序列中的一些(例如，所有序列)。因此，在方框908处，可产生来自VS/PL低功率模式集合的在最大可用电力以下的低功率模式的分等级子集。分等级随改进的视觉质量和/或粒度而变。在方框910处，任选地，可向用户通知有限的电力且向其提供对低功率模式选项的选择。在方框912处，可选择所述子集的最佳分等级的低功率模式或用户所选择的低功率模式。在方框914处，基于所选的VS/PL低功率模式，通过在适当时将解码操作插回到图24的正常解码过程700中而开始解码。
在一个配置中，在基于所选低功率模式而解码每一帧之后，可重新计划MIPS。此后，可使用不同的所选模式来解码位流中的下一个帧或其它未解码帧。因此，低功率模式可在对位流的解码期间动态地变化或在运行中产生。
图27说明从图24的正常解码过程700分出的VS/PL信息提取协议902A的方框图。在图27中，VS/PL信息提取协议902A将在方框950处解码序列标头54A。因此，导出图片1到N的位置，如通过在为图片1到N表示的每一方框上方的箭头所表示。在方框952处，解码图片1的图片标头58A。在方框954处，解码图片2的图片标头58A。解码所有图片标头。在方框956处，解码图片Z(最后一个图片)的图片标头。因此，对所述图片标头58A的解码允许针对特定位流导出可解码单元的PM序列且针对可解码单元的PM序列而计划MIPS。
图28说明根据VS/PL信息提取协议902A的来自位流的VS/PL经解码单元的方框图。序列标头54A以影线展示以表示序列标头54A已被解码。此外，图片1到N中的每一者的图片标头58A以影线展示以表示图片标头58A已被解码。图片数据58B保持无影线以表示其在此时仍未被解码。序列数据54B也仍未被解码。对图片标头58A的解码允许在不解码图片数据的情况下获得用于切片和宏块层的必要切片位置。
图29说明具有电力管理操作的S/MBL解码过程1000的流程图。过程1000开始于在方框1002处执行例如图20和图21中所描述的S/MBL信息提取和对可解码单元的PM序列的S/MBL优先次序区分。在一个配置中，仅提取用于P帧和B帧的信息并区分其优先次序。在方框1004处，重新计划用于S/MBL低功率模式中的每一者的MIPS。在方框1006处，产生来自S/MBL低功率模式集合的在最大可用电力以下的低功率模式的分等级子集。分等级随依据改进的视觉质量和/或粒度而变。在方框1008处，任选地，可向用户通知有限的电力且向其提供对低功率模式选项的选择。在方框1010处，可选择所述子集的最佳分等级的低功率模式或用户所选择的低功率模式。在方框1012处，基于所选S/MBL低功率模式，通过在适当时将解码操作插回到图24的正常解码过程700中而开始P和B帧切片和MB数据解码。在方框1012之后，可在已解码一个或一个以上帧之后重新计划MIPS，以使得可根据剩余可用电力将低功率模式升级或降级。
图30说明从图24的正常解码过程700分出的S/MBL信息提取协议1002A的方框图。将结合图31描述图30。图31说明根据S/MBL信息提取协议1002A的来自位流的S/MBL经解码单元的方框图。S/MBL信息提取协议1002A将解码第一图片1的图片数据58B。为解码图片数据58B，仅解码切片标头60A和MB标头62B，直到可选择低功率模式为止。用于图片1到N的方框上方的箭头指示图片的位置。箭头的黑色阴影表示基于低功率模式对图片的选择。无阴影箭头表示尚未选择的图片。在方框1050处，在方框1050处解码图片1的切片标头60A。在方框1052处，解码图片1的切片1的MB 1的MB标头62A。在方框1054处，解码图片1的切片1的MB 2的MB标头62A。解码图片1的切片1的所有宏块标头，其中在方框1056处，解码图片1的切片1的MB N的MB标头。宏块数据62B未被解码。图片数据58B、切片标头60A和MB标头62A的影线表示其解码。
解码每一切片的切片标头60A，之后解码切片的每一MB的MB标头。在方框1058处，以类似于方框1050到1056的方式解码图片1的切片M(最后一个切片)。以类似方式解码所有剩余图片。在方框1060处，如上文关于方框1050到1058所描述，解码图片Z(最后一个图片)。因此，对所述切片和宏块标头的解码允许为特定位流导出可解码单元的PM序列且为可解码单元的PM序列计划MIPS。
图32说明根据所选电力管理模式的最后切片和宏块解码的方框图。针对所选低功率模式(例如，模式6A到6C和模式7A-7C)，根据待解码的PM序列而解码切片数据60B和MB数据62B。切片数据60B和MB数据62B以影线展示以指示其解码。
图33说明多层电力管理模式的分级布置的方框图。TL PM处理1200在输送层52处开始电力管理的第一层。作为TL PM处理1200的结果，基于所计划的MIPS建立多个低功率模式。在一个配置中，提议模式1、1A和2。电力管理操作继续到在VS/PL PM处理1202处的第二层。电力管理的所述第二层是在序列和图片层70处进行。VS/PL PM处理1202依据所计划的MIPS和视觉质量和/或粒度而产生多个低功率模式。在一个配置中，产生模式3、4A到4D。模式5为一功率模式，但如果所有帧被解码，则其可能不为一低功率模式。尽管如此，所述电力管理操作仍继续到在S/MBL PM处理1204处的第三层。电力管理的所述第三层是在切片和宏块层72处进行。S/MBL PM处理1204依据所计划的MIPS和视觉质量和/或粒度而产生多个低功率模式。在一个配置中，产生模式6A到6C和7A到7C。模式8允许在电力准许的情况下解码所有帧。此外，可在位流的一部分已被解码且MIPS的重新计划指示所有剩余帧可被解码之后使用模式8。
在一个或一个以上示范性配置中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，则所述功能可作为一个或一个以上指令或代码而存储在计算机可读媒体上或经由所述计算机可读媒体进行传输。计算机可读媒体包括计算机存储媒体和通信媒体两者，通信媒体包括促进将计算机程序从一处传递到另一处的任何媒体。存储媒体可为可由计算机存取的任何可用媒体。以实例而非限制的方式，所述计算机可读媒体可包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用以载运或存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。而且，恰当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)，或例如红外线、无线电和微波的无线技术从网站、服务器或其它远程源发射软件，则同轴电缆、光纤电缆、双绞线、DSL，或例如红外线、无线电和微波的无线技术包括于媒体的定义中。如本文中所使用，磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上各者的组合也应包括于计算机可读媒体的范围内。
提供对所揭示配置的先前描述以使所属领域的技术人员能够制造或使用本发明。所属领域的技术人员将容易明白对这些配置的各种修改，且本文中所界定的一般原理可在不脱离本发明的精神或范围的情况下应用于其它配置。因此，本发明无意限于本文中所示的配置，而将赋予本发明与本文中所揭示的原理和新颖特征相一致的最广范围。

Claims (20)

1.一种处理数据流的方法，其包含以下步骤：
接收包括视频数据的数据流；
识别用以产生所述数据流的输送协议和视频译码协议；
识别所述输送协议和所述视频译码协议所需的各种解析和解码操作；
区分来自所述数据流的可解码单元的多个电力管理序列的优先级次序，以基于识别的解析和解码操作而进行选择性地解析和选择性地解码中的至少一者；
评估可用电能的量和可用处理能力的量；以及
基于所述可用电能的量和所述可用处理能力的量而管理对所述数据流的所述各种解析操作和解码操作，其中所述对所述各种解析操作和解码操作的管理包括选择性地进行对所述数据流的所述解析和解码操作，且选择性地解析和解码包括解析或解码至少一个比较低优先级序列具有更高的粒度或视觉质量的较高优先级序列。
2.根据权利要求1所述的方法，其进一步包含以下步骤：
将所述各种解析操作和解码操作关联成若干群组，其中每一群组具有所计划的电能需求和所计划的处理能力需求中的至少一者。
3.根据权利要求2所述的方法，其进一步包含以下步骤：
基于所述所计划的电能需求和所计划的处理能力需求中的至少一者而将所述群组按优先次序区分为低功率模式的分级列表。
4.根据权利要求2所述的方法，其进一步包含以下步骤：
选择一群组使得所述所选群组的所计划的电能需求和所计划的处理能力需求中的至少一者分别满足或不超过所述可用电能和可用处理能力。
5.根据权利要求3所述的方法，其进一步包含以下步骤：
向用户呈现所述低功率模式的分级列表；
接收指示所述用户所选的所述低功率模式的输入；以及
响应于所述输入而选择一解析操作和解码操作群组。
6.一种处理数据流的方法，其包含以下步骤：
接收包括视频数据的数据流；
识别用以产生所述数据流的输送协议和视频译码协议；
识别所述输送协议和所述视频译码协议所需的各种解析和解码操作；
区分来自所述数据流的可解码单元的多个电力管理序列的优先级次序，以基于识别的解析和解码操作而进行选择性地解析和选择性地解码中的至少一者；以及
基于所述视频的视觉质量和体验质量(QoE)中的至少一者而管理对所述数据流的所述各种解析操作和解码操作，其中所述对所述各种解析操作和解码操作的管理包括选择性地进行对所述数据流的所述解析和解码操作，且选择性地解析和解码包括解析或解码至少一个比较低优先级序列具有更高的粒度或视觉质量的较高优先级序列。
7.根据权利要求6所述的方法，其进一步包含以下步骤：
将所述各种解析操作和解码操作关联成若干群组，其中每一群组对应于所述视频的一视觉质量程度或一体验质量程度。
8.根据权利要求7所述的方法，其进一步包含以下步骤：
基于所述视频的所述视觉质量程度和体验质量程度中的至少一者而将所述群组按优先次序区分为质量模式的分级列表。
9.根据权利要求7所述的方法，其进一步包含以下步骤：
选择一群组使得所述所选群组的所述视频的视觉质量和体验质量中的至少一者分别满足所述视频的所要视觉质量程度和所要体验质量程度。
10.根据权利要求8所述的方法，其进一步包含以下步骤：
向用户呈现所述质量模式的分级列表；
接收指示所述用户所选的所述质量模式的输入；以及
响应于所述输入而选择一解析操作和解码操作群组。
11.一种用于处理数据流的设备，其包含：
用于接收包括视频数据的数据流的装置；
用于识别用以产生所述数据流的输送协议和视频译码协议的装置；
用于识别所述输送协议和所述视频译码协议所需的各种解析和解码操作的装置；
用于区分来自所述数据流的可解码单元的多个电力管理序列的优先级次序，以基于识别的解析和解码操作而进行选择性地解析和选择性地解码中的至少一者的装置；
用于评估可用电能的量和可用处理能力的量的装置；以及
用于基于所述可用电能的量和所述可用处理能力的量而管理对所述数据流的所述各种解析操作和解码操作的装置，其中用于管理所述各种解析操作和解码操作的装置选择性地进行对所述数据流的所述解析和解码操作，且选择性地解析和解码包括解析或解码至少一个比较低优先级序列具有更高的粒度或视觉质量的较高优先级序列。
12.根据权利要求11所述的设备，其进一步包含：
用于将所述各种解析操作和解码操作关联成若干群组的装置，其中每一群组具有所计划的电能需求和所计划的处理能力需求中的至少一者。
13.根据权利要求12所述的设备，其进一步包含：
用于基于所述所计划的电能需求和所计划的处理能力需求中的至少一者而将所述群组按优先次序区分为低功率模式的分级列表的装置。
14.根据权利要求12所述的设备，其进一步包含：
用于选择一群组使得所述所选群组的所计划的电能需求和所计划的处理能力需求中的至少一者分别满足或不超过所述可用电能和可用处理能力的装置。
15.根据权利要求13所述的设备，其进一步包含：
用于向用户呈现所述低功率模式的分级列表的装置；
用于接收指示所述用户所选的所述低功率模式的输入的装置；以及
用于响应于所述输入而选择一解析操作和解码操作群组的装置。
16.一种用于处理数据流的设备，其包含：
用于接收包括视频数据的数据流的装置；
用于识别用以产生所述数据流的输送协议和视频译码协议的装置；
用于识别所述输送协议和所述视频译码协议所需的各种解析和解码操作的装置；
用于区分来自所述数据流的可解码单元的多个电力管理序列的优先级次序，以基于识别的解析和解码操作而进行选择性地解析和选择性地解码中的至少一者的装置；以及
用于基于所述视频的视觉质量和体验质量(QoE)中的至少一者而管理对所述数据流的所述各种解析操作和解码操作的装置，其中用于管理所述各种解析操作和解码操作的装置包括选择性地进行对所述数据流的所述解析和解码操作，且选择性地解析和解码包括解析或解码至少一个比较低优先级序列具有更高的粒度或视觉质量的较高优先级序列。
17.根据权利要求16所述的设备，其进一步包含：
用于将所述各种解析操作和解码操作关联成若干群组的装置，其中每一群组对应于所述视频的一视觉质量程度或一体验质量程度。
18.根据权利要求17所述的设备，其进一步包含：
用于基于所述视频的所述视觉质量程度和体验质量程度中的至少一者而将所述群组按优先次序区分为质量模式的分级列表的装置。
19.根据权利要求17所述的设备，其进一步包含：
用于选择一群组使得所述所选群组的所述视频的视觉质量和体验质量中的至少一者分别满足所述视频的所要视觉质量程度和所要用户体验质量程度的装置。
20.根据权利要求18所述的设备，其进一步包含：
用于向用户呈现质量模式的所述分级列表的装置；
用于接收指示所述用户所选的所述质量模式的输入的装置；以及
用于响应于所述输入而选择一解析操作和解码操作群组的装置。
CN200980131948.8A 2008-08-19 2009-08-19 视频处理中的电力和计算负荷管理技术 Expired - Fee Related CN102124724B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US9017608P 2008-08-19 2008-08-19
US61/090,176 2008-08-19
US11498508P 2008-11-14 2008-11-14
US61/114,985 2008-11-14
US12/336,347 2008-12-16
US12/336,347 US8964828B2 (en) 2008-08-19 2008-12-16 Power and computational load management techniques in video processing
PCT/US2009/054368 WO2010022189A1 (en) 2008-08-19 2009-08-19 Power and computational load management techniques in video processing

Publications (2)

Publication Number Publication Date
CN102124724A CN102124724A (zh) 2011-07-13
CN102124724B true CN102124724B (zh) 2014-03-12

Family

ID=41696376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980131948.8A Expired - Fee Related CN102124724B (zh) 2008-08-19 2009-08-19 视频处理中的电力和计算负荷管理技术

Country Status (7)

Country Link
US (2) US8964828B2 (zh)
EP (1) EP2327204A1 (zh)
JP (2) JP5442736B2 (zh)
KR (1) KR101248371B1 (zh)
CN (1) CN102124724B (zh)
TW (1) TW201016007A (zh)
WO (1) WO2010022189A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8908763B2 (en) * 2008-06-25 2014-12-09 Qualcomm Incorporated Fragmented reference in temporal compression for video coding
US8964828B2 (en) 2008-08-19 2015-02-24 Qualcomm Incorporated Power and computational load management techniques in video processing
US8948270B2 (en) 2008-08-19 2015-02-03 Qualcomm Incorporated Power and computational load management techniques in video processing
US8457311B1 (en) * 2010-04-27 2013-06-04 Adobe Systems Incorporated Protecting video as it is decoded by a codec
US8964857B2 (en) * 2010-10-20 2015-02-24 Lg Electronics Inc. Receiving system and method for processing digital broadcast signal in the receiving system
CN103621145B (zh) 2011-04-20 2017-03-29 英派尔科技开发有限公司 移动内容体验质量的实时全参考计算方法、装置
US9414086B2 (en) 2011-06-04 2016-08-09 Apple Inc. Partial frame utilization in video codecs
US20130251022A1 (en) * 2011-06-10 2013-09-26 Telefonaktiebolaget L M Ericsson (Publ) Signaling of end of slices
US10277915B2 (en) 2011-11-07 2019-04-30 Qualcomm Incorporated Signaling quantization matrices for video coding
US10349077B2 (en) * 2011-11-21 2019-07-09 Canon Kabushiki Kaisha Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and storage medium
US9241167B2 (en) 2012-02-17 2016-01-19 Microsoft Technology Licensing, Llc Metadata assisted video decoding
US20140079116A1 (en) * 2012-09-20 2014-03-20 Qualcomm Incorporated Indication of interlaced video data for video coding
TWI584221B (zh) 2012-09-28 2017-05-21 輝達公司 適應性調整圖形處理單元之圖框率的方法及使用該方法的電腦系統
US9128721B2 (en) 2012-12-11 2015-09-08 Apple Inc. Closed loop CPU performance control
US10257523B2 (en) * 2012-12-14 2019-04-09 Avago Technologies International Sales Pte. Limited Adaptive decoding system
GB2519804A (en) * 2013-10-31 2015-05-06 Nec Corp Power saving in mobile radio communications device
US9344340B2 (en) 2013-11-18 2016-05-17 International Business Machines Corporation System and method for notification of QoE issues
US20150228106A1 (en) * 2014-02-13 2015-08-13 Vixs Systems Inc. Low latency video texture mapping via tight integration of codec engine with 3d graphics engine
FR3017762A1 (fr) * 2014-02-14 2015-08-21 Orange Notification d'une information de consommation de bande passante a un fournisseur de service dans un reseau de telecommunications
US20150237356A1 (en) * 2014-02-18 2015-08-20 Microsoft Corporation Host encoder for hardware-accelerated video encoding
CN105764166A (zh) * 2014-12-17 2016-07-13 联芯科技有限公司 多通终端及其系统mips控制方法和模块
EP3057318A1 (en) * 2015-02-13 2016-08-17 Alcatel Lucent Adapting coding parameters based on viewing experience and system constraints
DE102015207965A1 (de) * 2015-04-29 2016-11-03 Deere & Company Energiemanagementsystem für eine landwirtschaftliche Fahrzeuganordnung
CN113852995A (zh) * 2020-06-28 2021-12-28 中兴通讯股份有限公司 网络切片的分配方法、终端及存储介质
US11947988B1 (en) * 2020-10-19 2024-04-02 Splunk Inc. Load balancer bypass for direct ingestion of data into a data intake and query system
CN116708843B (zh) * 2023-08-03 2023-10-31 清华大学 一种语义通信过程中的用户体验质量反馈调节系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1394443A (zh) * 2000-08-29 2003-01-29 皇家菲利浦电子有限公司 运行一种算法的方法以及一种可伸缩编程的处理设备
CN1522074A (zh) * 2003-02-07 2004-08-18 精工爱普生株式会社 功率可调变数字视频解码
CN1522541A (zh) * 2001-07-06 2004-08-18 �ʼҷ����ֵ������޹�˾ 资源可分级解码
CN1695378A (zh) * 2001-12-12 2005-11-09 皇家飞利浦电子股份有限公司 处理媒体系统上的媒体信号

Family Cites Families (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2881065B2 (ja) 1992-03-19 1999-04-12 富士通株式会社 モデム装置
US5655009A (en) * 1992-03-19 1997-08-05 Fujitsu Limited Modem unit
DE69424740T2 (de) * 1993-03-25 2001-02-01 Sony Corp Methode zur kodierung zeitveränderlicher bilder und apparat zur kodierung/dekodierung
US5535401A (en) 1994-04-05 1996-07-09 International Business Machines Corporation Method and system of power and thermal management for a data processing system using object-oriented program design
JP3263807B2 (ja) 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
US6633611B2 (en) * 1997-04-24 2003-10-14 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for region-based moving image encoding and decoding
US7068991B2 (en) 1997-05-09 2006-06-27 Parise Ronald J Remote power recharge for electronic equipment
SG116400A1 (en) * 1997-10-24 2005-11-28 Matsushita Electric Ind Co Ltd A method for computational graceful degradation inan audiovisual compression system.
EP1578136A3 (en) 1998-01-27 2005-10-19 AT&T Corp. Method and apparatus for encoding video shape and texture information
EP1096360B1 (en) 1999-10-25 2004-09-22 Texas Instruments Incorporated Intelligent power management for distributed processing systems
JP3957937B2 (ja) * 1999-12-21 2007-08-15 キヤノン株式会社 画像処理装置及び方法並びに記憶媒体
US6507618B1 (en) * 2000-04-25 2003-01-14 Hewlett-Packard Company Compressed video signal including independently coded regions
JP4552296B2 (ja) * 2000-09-08 2010-09-29 ソニー株式会社 情報処理装置および情報処理方法、並びに記録媒体
KR100830747B1 (ko) 2000-10-25 2008-05-20 텍사스 인스트루먼츠 인코포레이티드 분산된 프로세싱 시스템을 위한 인텔리젼트 전력 관리
US6931520B2 (en) 2001-05-17 2005-08-16 International Business Machines Corporation Power management delay system using mouse pointer indicator to indicate power-up delay during powering up a powered down disk device
JP3876687B2 (ja) 2001-10-30 2007-02-07 ソニー株式会社 通信処理装置、および通信処理方法、並びにコンピュータ・プログラム
JP3779215B2 (ja) 2002-01-28 2006-05-24 富士通株式会社 携帯型情報処理装置
US6968441B1 (en) * 2002-04-12 2005-11-22 Barsa Consulting Group, Llc Method and system for managing interdependent resources of a computer system
US7287170B2 (en) 2002-05-14 2007-10-23 Ati Technologies Inc. Method and apparatus for power management using system and request tokens
US7450963B2 (en) 2002-08-27 2008-11-11 Qualcomm Incorporated Low power dual processor architecture for multi mode devices
US6710578B1 (en) 2002-08-27 2004-03-23 Motorola, Inc. Power resource management in a portable communication device
US9796848B2 (en) 2002-10-25 2017-10-24 Honeywell International Inc. Foaming agents and compositions containing fluorine substituted olefins and methods of foaming
JP3504256B1 (ja) 2002-12-10 2004-03-08 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化方法、動画像復号方法、動画像符号化装置、及び動画像復号装置
RU2305377C2 (ru) 2003-05-20 2007-08-27 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ уменьшения искажения сжатого видеоизображения и устройство для его реализации
JP2005031826A (ja) 2003-07-09 2005-02-03 Hitachi Ltd センサデバイスおよびその制御方法
US7366462B2 (en) 2003-10-24 2008-04-29 Qualcomm Incorporated Method and apparatus for seamlessly switching reception between multimedia streams in a wireless communication system
GB2408657B (en) * 2003-11-28 2006-04-12 Motorola Inc Radio resource management
US20050136961A1 (en) * 2003-12-17 2005-06-23 Telefonaktiebolaget Lm Ericsson (Publ), Power control method
GB0400658D0 (en) 2004-01-13 2004-02-11 Koninkl Philips Electronics Nv Portable device for receiving media content
US7885926B2 (en) * 2004-01-21 2011-02-08 GM Global Technology Operations LLC System and apparatus for wireless synchronization of multimedia content
JP2005303738A (ja) 2004-04-13 2005-10-27 Canon Inc 画像処理装置
JP2005300943A (ja) 2004-04-13 2005-10-27 Canon Inc 情報表示位置制御方法及び装置
AU2005236997B2 (en) * 2004-04-23 2010-04-29 Hitoshi Kiya Moving picture data encoding method, decoding method, terminal device for executing them, and bi-directional interactive system
CN100524346C (zh) * 2004-06-14 2009-08-05 普瑞科德公司 过滤数字图像的方法和系统、数字图像处理器
JP2006014086A (ja) 2004-06-28 2006-01-12 Canon Inc 動画像符号化装置及び動画像符号化方法
JP2006101322A (ja) 2004-09-30 2006-04-13 Toshiba Corp 情報処理装置および同装置で用いられるプログラム
EP1646243B1 (en) 2004-09-30 2009-06-24 Kabushiki Kaisha Toshiba Information processing apparatus and program for use in the same
JP2006113767A (ja) 2004-10-14 2006-04-27 Sony Corp 情報処理システム、および、情報処理方法、並びに、プログラム
US8356327B2 (en) * 2004-10-30 2013-01-15 Sharp Laboratories Of America, Inc. Wireless video transmission system
US20060133495A1 (en) 2004-12-22 2006-06-22 Yan Ye Temporal error concealment for video communications
US8041967B2 (en) 2005-02-15 2011-10-18 Hewlett-Packard Development Company, L.P. System and method for controlling power to resources based on historical utilization data
WO2006109985A1 (en) 2005-04-13 2006-10-19 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding video signals in intra-base-layer prediction mode by selectively applying intra-coding
US7920584B2 (en) * 2005-05-04 2011-04-05 Arm Limited Data processing system
US7721011B1 (en) * 2005-05-09 2010-05-18 Oracle America, Inc. Method and apparatus for reordering memory accesses to reduce power consumption in computer systems
JP2007013315A (ja) * 2005-06-28 2007-01-18 Toshiba Corp 情報処理装置および動画像再生方法
US8225112B2 (en) * 2005-07-14 2012-07-17 Nytell Software LLC Using historic load profiles to dynamically adjust operating frequency and available power to a handheld multimedia device processor core
US20070021140A1 (en) 2005-07-22 2007-01-25 Keyes Marion A Iv Wireless power transmission systems and methods
US7529948B2 (en) * 2005-08-25 2009-05-05 Apple Inc. Methods and apparatuses for dynamic power estimation
US7337339B1 (en) * 2005-09-15 2008-02-26 Azul Systems, Inc. Multi-level power monitoring, filtering and throttling at local blocks and globally
US8780997B2 (en) * 2005-11-18 2014-07-15 Apple Inc. Regulation of decode-side processing based on perceptual masking
US8886261B2 (en) * 2005-12-06 2014-11-11 Motorola Mobility Llc Multi-mode methods and devices utilizing battery power level for selection of the modes
JP4654300B2 (ja) 2005-12-16 2011-03-16 インターデイジタル テクノロジー コーポレーション マルチ無線アクセス技術機器用のモビリティミドルウェアアーキテクチャ
WO2007078663A2 (en) 2005-12-16 2007-07-12 Interdigital Technology Corporation Mobility middleware architecture for multiple radio access technology apparatus
TW200805047A (en) 2005-12-23 2008-01-16 Koninkl Philips Electronics Nv Performance analysis based system level power management
US20070192641A1 (en) 2006-02-10 2007-08-16 Intel Corporation Method and apparatus to manage power consumption in a computer
US20070220293A1 (en) 2006-03-16 2007-09-20 Toshiba America Electronic Components Systems and methods for managing power consumption in data processors using execution mode selection
US7484110B2 (en) * 2006-03-16 2009-01-27 Microsoft Corporation Adaptive power management
US7770040B2 (en) * 2006-03-24 2010-08-03 Qualcomm Incorporated Method and apparatus for reducing power consumption of a co-processor by switching to low power dedicated memory in which image data is periodically updated
US8848789B2 (en) 2006-03-27 2014-09-30 Qualcomm Incorporated Method and system for coding and decoding information associated with video compression
US8750387B2 (en) 2006-04-04 2014-06-10 Qualcomm Incorporated Adaptive encoder-assisted frame rate up conversion
JP5268275B2 (ja) 2006-04-11 2013-08-21 パロ・アルト・リサーチ・センター・インコーポレーテッド 永続的な仮想環境の社会の健全性を監視するための装置
JP2007328461A (ja) * 2006-06-06 2007-12-20 Matsushita Electric Ind Co Ltd 非対称マルチプロセッサ
US8379723B2 (en) * 2006-06-27 2013-02-19 Intel Corporation Chroma motion vector processing apparatus, system, and method
US7827425B2 (en) 2006-06-29 2010-11-02 Intel Corporation Method and apparatus to dynamically adjust resource power usage in a distributed system
US7836320B2 (en) 2006-07-07 2010-11-16 Arm Limited Power management in a data processing apparatus having a plurality of domains in which devices of the data processing apparatus can operate
TWI344793B (en) 2006-07-24 2011-07-01 Ind Tech Res Inst Power aware method and apparatus of video decoder on a multi-core platform
JP2008042566A (ja) 2006-08-07 2008-02-21 Toshiba Corp 情報処理装置および情報処理装置のデコード制御方法
JP2008067194A (ja) 2006-09-08 2008-03-21 Toshiba Corp フレーム補間回路、フレーム補間方法、表示装置
JP4775210B2 (ja) * 2006-09-26 2011-09-21 株式会社日立製作所 画像信号処理装置、画像高解像度化方法、画像表示装置、記録再生装置
US9883202B2 (en) 2006-10-06 2018-01-30 Nxp Usa, Inc. Scaling video processing complexity based on power savings factor
US8126461B2 (en) * 2006-11-01 2012-02-28 Snrlabs Corporation System, method, and computer-readable medium for user equipment managing multiple radio networks for handover and low-power operations
JP2008124646A (ja) 2006-11-09 2008-05-29 Orion Denki Kk ビデオデコーダ及び該ビデオデコーダを備えた携帯型デジタル放送受信機
JP4201809B2 (ja) * 2006-11-13 2008-12-24 三洋電機株式会社 手ぶれ補正装置及び方法並びに撮像装置
US7961756B1 (en) * 2006-11-21 2011-06-14 Picomobile Networks, Inc. Integrated multimedia system
US7941677B2 (en) 2007-01-05 2011-05-10 Avaya Inc. Apparatus and methods for managing power distribution over Ethernet
US8125936B2 (en) * 2007-03-08 2012-02-28 Marvell International Ltd. Low power data streaming
WO2009044285A2 (en) * 2007-03-13 2009-04-09 Marvell Israel Ltd. Optimized packet processing architecture for battery powered mobile communication device
KR100866230B1 (ko) * 2007-04-12 2008-10-30 삼성전자주식회사 파노라마 사진 촬영 방법
US20080307240A1 (en) * 2007-06-08 2008-12-11 Texas Instruments Incorporated Power management electronic circuits, systems, and methods and processes of manufacture
JP2009033581A (ja) * 2007-07-30 2009-02-12 Hitachi Ltd 画像信号記録再生装置
US8089557B2 (en) * 2007-10-04 2012-01-03 Hitachi, Ltd. Video signal processing apparatus, video signal processing method and video display apparatus
US8279946B2 (en) * 2007-11-23 2012-10-02 Research In Motion Limited System and method for providing a variable frame rate and adaptive frame skipping on a mobile device
US7795752B2 (en) * 2007-11-30 2010-09-14 Caterpillar Inc System and method for integrated power control
US8948822B2 (en) * 2008-04-23 2015-02-03 Qualcomm Incorporated Coordinating power management functions in a multi-media device
US8165211B2 (en) * 2008-05-30 2012-04-24 Hong Kong Applied Science and Technology Research Institute Company Limited Method and apparatus of de-interlacing video
US8908763B2 (en) * 2008-06-25 2014-12-09 Qualcomm Incorporated Fragmented reference in temporal compression for video coding
US20100011012A1 (en) 2008-07-09 2010-01-14 Rawson Andrew R Selective Compression Based on Data Type and Client Capability
US8159520B1 (en) 2008-07-11 2012-04-17 Sprint Communications Company L.P. Ensuring quality of a video stream through a telecommunications network
US8964828B2 (en) * 2008-08-19 2015-02-24 Qualcomm Incorporated Power and computational load management techniques in video processing
US8948270B2 (en) * 2008-08-19 2015-02-03 Qualcomm Incorporated Power and computational load management techniques in video processing
US8181399B2 (en) 2009-07-17 2012-05-22 United Construction Products, Inc. Stability bracing of a support structure for elevating a building structure
CN101958140A (zh) 2009-07-20 2011-01-26 鸿富锦精密工业（深圳）有限公司 硬盘电源控制电路

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1394443A (zh) * 2000-08-29 2003-01-29 皇家菲利浦电子有限公司 运行一种算法的方法以及一种可伸缩编程的处理设备
CN1522541A (zh) * 2001-07-06 2004-08-18 �ʼҷ����ֵ������޹�˾ 资源可分级解码
CN1695378A (zh) * 2001-12-12 2005-11-09 皇家飞利浦电子股份有限公司 处理媒体系统上的媒体信号
CN1522074A (zh) * 2003-02-07 2004-08-18 精工爱普生株式会社 功率可调变数字视频解码

Also Published As

Publication number Publication date
KR101248371B1 (ko) 2013-04-09
JP2012500602A (ja) 2012-01-05
JP5442736B2 (ja) 2014-03-12
KR20110055679A (ko) 2011-05-25
WO2010022189A1 (en) 2010-02-25
US20100046631A1 (en) 2010-02-25
EP2327204A1 (en) 2011-06-01
JP5738950B2 (ja) 2015-06-24
CN102124724A (zh) 2011-07-13
US9565467B2 (en) 2017-02-07
US20120054772A1 (en) 2012-03-01
JP2014041628A (ja) 2014-03-06
US8964828B2 (en) 2015-02-24
TW201016007A (en) 2010-04-16

Similar Documents

Publication Publication Date Title
CN102124724B (zh) 视频处理中的电力和计算负荷管理技术
CN102124725A (zh) 视频处理中的电力和计算负荷管理技术
CN105981387B (zh) 用于处理视频的方法、装置和计算机可读存储介质
KR101691572B1 (ko) 3ｄｖ를 위한 층간 종속성 정보
CN101375535B (zh) 用于流传输的系统和方法
TWI603609B (zh) 簡化視訊隨機存取之限制及單元類型
KR101895176B1 (ko) 독립 랜덤 액세스 포인트 화상
CN108605168A (zh) 在媒体文件中虚拟现实视频的存储
US20230224475A1 (en) Preserving Image Quality in Temporally Compressed Video Streams
KR20160034890A (ko) 정보 처리 장치 및 방법
CN109792567A (zh) 用于发送遗失或损坏视频数据信号的系统及方法
US20130108248A1 (en) Implementing channel start and file seek for decoder
CN106464886A (zh) 视频中的画面的鲁棒编码和解码
CN109963176A (zh) 视频码流处理方法、装置、网络设备和可读存储介质
US11758147B2 (en) Methods and apparatus of bitstream verifying and decoding
US20100166383A1 (en) System and method for providing trick modes

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140312

Termination date: 20190819

CF01 Termination of patent right due to non-payment of annual fee