CN1669325A - 基于解码器估计的质量的fgs解码器 - Google Patents

基于解码器估计的质量的fgs解码器 Download PDF

Info

Publication number
CN1669325A
CN1669325A CNA038147874A CN03814787A CN1669325A CN 1669325 A CN1669325 A CN 1669325A CN A038147874 A CNA038147874 A CN A038147874A CN 03814787 A CN03814787 A CN 03814787A CN 1669325 A CN1669325 A CN 1669325A
Authority
CN
China
Prior art keywords
bit rate
decoding
quality
data flow
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA038147874A
Other languages
English (en)
Inventor
M·范德沙尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1669325A publication Critical patent/CN1669325A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Error Detection And Correction (AREA)
  • Image Processing (AREA)

Abstract

一种用于解码数据流的方法包括步骤：识别解码的图像的质量和用于解码所述图像的比特速率之间的关系；对将从所述数据流解码的图像选择一期望的质量；使用所述关系确定与所期望的质量对应的比特速率；和解码与从数据流确定的比特速率相应的最小数量的位平面。

Description

基于解码器估计的质量的FGS解码器
本发明涉及一种精确细颗粒可伸缩(FGS)解码器的实现过程。
在网际协议(IP)网络上传送视频流使得宽范围的多媒体应用成为可能。互联网视频流提供了实时传输和连续媒体内容的再现，同时保证对互联网上缺乏的服务质量(QoS)保证进行补偿。由于IP网络上的带宽和其它性能参数(例如，包丢失率)的变化和不可预测性，一般，所提出的流解决方案大部分基于某些类型的分层(或可量测的)视频编码方案。
若干个视频可伸缩性已经被诸如MPEG-2、MPEG-4和H.263的视频压缩标准所采用。时间、空间和质量(SNR)可伸缩性类型已经在这些标准中进行了定义。所有这些类型的可伸缩视频包括一个基础层(BL)和一个或多个增强层(EL)。可伸缩视频流的BL部分一般表示对所述流进行解码所需要的最小数据量。所述流的EL部分表示附加信息，因此当通过接收器进行解码时增强了视频信号表示。精细颗粒可伸缩(FGS)是近来已经被用于流传送应用的MPEG-4标准所采用的新视频压缩框架结构。FGS能够支持宽范围的带宽变化方案，该带宽变化方案一般描绘基于IP的网络，尤其是互联网。能够渐进的对以该类型的可伸缩性编码的图像进行解码。也就是，解码器能够在接收非常少数据量之后开始解码和显示图像。当解码器接收到更多数据时，解码的图像的质量被逐步增强直到完整的信息被接收、解码和显示。在主流国际标准中，渐进的图像编码是以JPEG和静态图像、MPEG-4视频中的纹理编码工具支持的模式之一。
所述EL使用渐进(嵌入)的编解码器对SNR和时间残余数据进行压缩。以这种方式，FGS残余信号被逐位平面的进行压缩，其从最高有效位平面开始，以最低有效位平面结束(参见图5)。在现有的解码器中，接收的全部数量的位平面被解码。图5表示这种FGS增强层位平面的例子，其跨越整个帧从最高有效位(MSB)渐进(逐位平面)编码至最低有效位。
可选择的，为了降低复杂性，解码器能够接收和解码给定数量的位平面之后停止解码。例如，给定一数据率约束R和一帧频fr，解码器能够在每帧解码R/fr比特之后停止。然而，为了降低解码器的复杂性而丢弃位平面可导致不期望的视觉质量。另外，如果在预定的比特速率被精确满足(即每帧精确的传送和解码R/fr比特)时停止解码，则所述比特数将很可能与非整数个位平面相对应。例如，图像的开头可以具有三个位平面，而图像的末尾具有两个位平面，从而在相同的图像或序列中导致不一致的质量。
一改进的解码器是期望的。
本发明包括一种用于解码数据流的方法和解码器。识别解码图像的质量和用于解码图像的比特速率之间的一个关系。将从所述数据流解码出的图像的期望质量被选择。使用所述关系相应于所述期望的质量确定一比特速率。从所述数据流解码与所确定的比特速率相应的最小数量的位平面。
图1为表示本发明的一典型实施例的流程图；
图2为表示图1的实施例中比特速率的动态变化的流程图；
图3为表示用户与图1的实施例的控制相合的流程图；
图4为体现本发明的一个方面的解码器的方框图；
图5为表示从最高有效位至最低有效位对位平面进行解码的图示；
图6为表示对于各种图像序列图像质量根据比特速率如何变化的图示；
图7为表示对于各种图像序列解码复杂性根据解码的数据流的比特速率如何变化的图示。
在没有考虑最后的视觉图像质量的情况下，为了降低解码器复杂性而丢弃固定(和可能整数)数量的位平面将导致视觉质量的非期望性降低。
此外，通过丢弃固定数量的位平面所获得的对图像质量的影响取决于所述序列的特性。例如，具有高清晰度和低运动的序列被具有很多比特的FGS编码，因此例如，与对具有高运动和低频率细节的图像丢弃例如四个位平面相比，丢弃两个位平面可能对图像质量更具有相当高的影响。因此，随着内容变化这可以导致高的质量波动。在图1-4的典型实施例中，在决定丢弃位平面以降低解码复杂性之前，解码器考虑丢弃位平面对图像质量的影响。
图1-4的实施例降低了用于对FGS流进行解码的低功率、低性能解码器器件的复杂性。所述FGS解码器具有一固有的复杂性可伸缩特征，因为较低的复杂性是与对较少数量的位平面进行解码相关的。然而，如果固定数量的整个位平面总是被丢弃，那么结果得到的解码图像质量是不可预测的。在图1-4的实施例中，描述了这样一种方法和解码器，其通过使用基础层质量标记(例如，PSNR)来估计与解码一确定数量的位平面相关的视觉质量(例如，以最高信噪比，PSNR)。这允许降低可伸缩的复杂性，同时能够满足期望的质量约束。
在所述典型实施例中，FGS解码图像的质量是在解码器侧(未出现原始图像的地方)确定的，因此所述解码器使用了所计算的质量来确定能够丢弃多少位平面以在没有将图像质量降低到期望的质量等级以下的情况下而降低复杂性。
图1为本发明的一典型实施例的流程图。图1表示用于对数据流进行解码的方法和装置。
在步骤100，识别解码的图像质量和用于解码所述图像的比特率之间的关系。这样的关系的一个例子在下述的标题为“质量和比特率之间的关系(Relationship Between Quality and Bit-Rate)”部分中有进一步的说明。在步骤102，如果在基础层比特率RBL下基础层质量QBL的值被包括在所述数据流中，则在步骤104，可通过所述解码器接收QBL的值作为辅助信息(在用户数据字段中)。可选择的，如果在步骤102确定QBL不在所述数据流中，那么在步骤106，可根据解码器所能利用的解码信息，即根据量化步骤、运动向量、宏块预测类型或这三者的结合，来计算QBL。注意既可按照PSNR也可使用其他主观量度(即，已经与图像质量的客观评估相关联并被列成表格的客观量度)来表达QBL。其他量度可以包括，但不局限于块效应(blockiness)、清晰度、闪烁噪音。在步骤108，确定在图像质量计算中所使用的其它参数。例如，对于下面所进一步描述的关系，所述其它参数包括基础层比特率和质量相对于比特率的曲线的斜率。
在步骤110，从所述数据流、将使用的处理速度或解码时间对将被解码的图像选择期望的质量。一典型选择处理将在下面参照图3进行说明。
在步骤112，使用所述关系来确定与所期望的质量、速度或解码时间相应的比特率。
在步骤116，相应于从所述数据流确定的比特速率开始对最小数量的位平面进行解码。最小数量的位平面可以是与计算的比特速率或大于等于计算的比特速率的最小整数相应的实际数量。
在一些实施例中，在单视频序列中动态调节解码的位平面的数量以在帧序列期间当有较高的清晰度时增加解码的位平面的数量，而在帧序列期间当有较低的清晰度时减少解码的位平面的数量。例如，优选的，每次检测到新的场景变化时(例如，根据运动向量等)，就对基础层质量QBL进行评估，并且确定解码比特速率中的变化是否是适当的。可以设想，当有较高的运动和较低频率的细节时，如果对于整个视频序列使用了固定数量的位平面，则与本应丢弃的位平面相比，在这些实施例中可丢弃更多的位平面。
图2为表示在所述典型实施例中对比特速率进行可选动态调节的流程图。图2的各步骤可在适当的时期自动执行，例如在检测到场景变化时。
在步骤200，检测场景变化。例如可基于运动向量来进行所述检测。
在步骤202，识别图像质量和比特速率之间的关系的变化。例如，QBL的变化可被识别。
在步骤204，图像细节的数量被考虑。如果图像细节的数量增加，则执行步骤206和208。如果图像细节的数量减少，则执行步骤207和209。这些步骤对解码的位平面数进行动态调节以使其与期望的质量和变化的关系相对应。
在步骤206，对于具有高清晰度的图像系列，解码的位平面数增加(和丢弃的数量减少)。在步骤208，一相对高的比特速率被使用。
在步骤207，对于具有低清晰度的图像序列，解码的位平面数减少(和丢弃的数量增加)。在步骤209，一相对低的比特速率被使用。
虽然图2显示了动态调节技术，但在其他实施例中，也可以没有动态调节；也可以为每个图像序列只确定一次将被丢弃的位平面数，并将这样的位平面数在整个所述序列中保持恒定。在这种情况下，QBL的值可根据该序列的第一帧或根据某一类型的平均值来确定。对于QBL的平均值，连续帧之间的运动向量可被用于确定该序列内的运动的数量。图3为一典型可选择的用户与解码处理和解码器交互作用的流程图。
在步骤300，用户请求图像质量菜单或解码复杂性选项。通过从包含所述解码器的特定设备中的一高级功能和控制菜单选择所述菜单，用户可以产生这种请求。在步骤302，包含所述解码器的设备显示至少两个图像质量值和对于所述至少两个图像质量值的每一个解码所述图像所需的资源的各个量度。可以显示任何数量的质量资源量度对，但优选的，将只显示可能的组合。例如，与超过所述包含解码器的设备的电池容量的解码时间相对应的图像质量值应该不被显示为选项。显示的资源量度可以是以各个图像质量对数据流进行解码的时间、用于以各个图像质量对数据流进行解码的电池电量的分数、或用于以各个图像质量对数据流进行解码的比特速率。
在步骤306，用户选择各对中的一个，其导致选择了一个解码比特速率(即使所述比特速率不是在步骤302中显示给用户的资源量度)。
在步骤308，解码器可可选的将确定的比特速率传送给数据流的源，要求数据流的源只在确定的比特速率下传送将来的数据流。如果包括此选项，那么在步骤310，数据流的源可将其传送的比特速率设置为由所述解码器请求的比特速率。
可选择的，解码器能够省略步骤308，和丢弃任何用户不期望进行编码的位平面。
使用图3的技术，用户或终端能够(自动的)选择一个期望的质量或一个期望的处理功率。用户能够手动的调节例如固定的质量设置QFIX以延长剩余电池时间或改进图像质量。所述设备根据用户请求或预定的质量协定能够对电池时间容易的交换(trade)图像质量，或者通过将图像质量降低至与QBL一样低(也就是通过将比特速率降低至RBL)而能够使电池时间最大化。
例如，这样一个特征可存在于移动终端处，其中根据选择的质量所述设备能够告知用户对于使用FGS的流传送应用到底还剩有多长的电池时间。假定在一简单的移动设备中，对电池电平进行监视，电池电平对应于在没有对电池进行充电的情况下移动设备能够进行操作的近似时间量。在移动设备中对一给定量的数据进行解码的平均时间能被评估(该平均可被估计为基础层和增强层解码时间的混合)。通过指定一传送速率R，用户对解码的数据量进行控制，因而对移动设备对一给定流进行解码所必需花费的时间量进行控制。所述移动单元能够将电池所剩下的操作时间量与在任意速率下对一数据流进行解码所需的预测时间量进行比较，并将该信息以分钟的形式或作为总共电池容量的百分比的形式呈现给用户。那么用户根据该信息就能选择所述速率。
图4为解码器400的一典型实施例的方框图。解码器400具有一基础层解码器410和一增强层解码器450。BL解码器410包括一多路分解器，其接收BL比特流并为BL可变长度解码器(VLD)414提供编码的离散余弦变换(DCT)系数数据以及为运动补偿块422提供BL运动向量(MV)。BL VLD414将解码的数据提供给反量化块416，该反量化块416将所述DCT系数数据输出给反向DCT块418。反向DCT块418执行反向DCT操作并将视频帧提供给加法器424。运动补偿块422从BL帧存储器420接收BL MV和BL帧数据，并且对存储器420中的BL帧执行运动补偿以向加法器424提供附加帧。将解码的BL数据流从加法器424输出至BL帧存储器420和EL解码部分450。
EL解码器450具有一FGS位平面VLD452，其接收EL比特流并且向反向DCT块454提供DCT系数数据。反向DCT块454执行反向DCT操作并将EL帧数据输出，该EL帧数据在加法器456中与BL数据相加以便提供增强的视频流。
解码器400包括一附加块460，其用于确定将要解码多少位平面。块460从反向量化块416接收信息、BL运动向量和EL比特流，并向FGS位平面VLD提供多个将被解码的位平面。块460的操作如在图1-3中所示和如上描述的那样。
对于以相同范围的比特速率编码的各种序列602、604和606的各种速率失真曲线在图6中示出。在图6中的每一个曲线中，最左侧的点对应于基础层比特速率，以及相应的质量QBL。从图6可以发现这样两点：
(1)基础层质量QBL对FGS流的整体质量有很大影响。
(2)FGS质量几乎随着比特速率的函数线性增加。
下面说明能够用于确定比特速率的一典型函数，该函数将提供期望的图像质量，给定一基础层图像质量和基础层图像速率。该函数有利的利用经验观测来提供质量计算，以很少数量的算术操作就能快速执行该质量计算。
本领域普通技术人员能够确定其他函数来计算期望的比特速率。
可将FGS流Q在速率R下的质量模拟为：
Q(R)＝QBL+(R-RBL)/c
其中QBL为基础层质量，RBL为基础层比特速率，c为根据实验找出的等于RBL的常数(也就是，FGS速率失真函数的斜率根据实验发现其具有大约45度的斜率)。
典型的，项(R-RBL)/c的值小于十。基础层质量QBL强烈依赖于基础层比特速率RBL。例如，对于CIF分辨率图像的高清晰度、低运动序列，使RBL＝100kbps，那么QBL(以PSNR)~25-28dB。对于CIF分辨率图像的低清晰度、高运动序列，使RBL＝100kbps，则QBL(以PSNR)~32-35dB。因此，QBL对整体图像质量的巨大影响是明显的。
那么，如果解码器复杂性/功耗都将被减少同时保持质量Q(R)在所有时间(不依赖于序列特性)都处于一恒定值QFIX，则只有与速率R1相应的位平面数将被解码。R1可从下列公式计算得到：
QFIX＝Q(R1)＝QBL+(R1-RBL)/c＝QBL+(R1-RBL)/RBL
能够容易的计算与预设的QFIX相应的值R1，因为FGS流Q在速率R下的质量(如上所述)是线性函数。与该策略相关联节省的复杂性也可以是根据一大组序列的平均值根据先验经验计算得到的。那么，就能够在(私有)解码器中存储和使用质量相对于平均复杂性的表。对于任何给出的质量QFIX、基础层比特速率RBL、编码帧速率和空间分辨率，该表提供了一个平均复杂性因数。
例如，可通过解码序列所需的平均CPU时间(以毫秒每帧为单位)来测量复杂性。对于所有计算平台不存在单一的复杂性因素关系，因为这强烈依赖于特定的实现平台和最佳化的算法。然而，典型的，所述复杂性并不依赖于序列特性，而是只依赖于比特速率R。图7表示一个具有三个不同图像序列的例子。所述复杂性通过对所述序列进行解码的每帧毫秒数示出作为比特速率的函数。复杂性与比特速率是高度相关的，该关系几乎是线性的。在这些序列中存在很小的变化。
所述典型实施例对于无线终端的产品特别有用，所述无线终端例如，移动电话、个人计算机、电视机顶盒、存储设备、数字视频摄像机、(家用)代码转换网关等。所述典型实施例可用在服务中，例如视频会议、实时视频解码/传送、存储应用等。该列表并不是全部的，对于该典型解码技术的其它应用也可以被考虑。
可以用计算机执行的处理和用于实践那些处理的装置来实现本发明。本发明也可以通过嵌入在切实的介质中的计算机程序代码的形式来实现，所述切实的介质例如随机存取存储器(RAM)、软盘、只读存储器(ROM)、CD-ROM、DVD-ROM、硬盘驱动器、高密度(例如，“ZIPTM”或“JAZZTM”)可拆装盘、或任何其它计算机可读存储介质，其中，当将所述计算机程序代码装载到所述计算机并由其执行时，计算机就成了用于实践本发明的装置。本发明还可以通过计算机程序代码的形式来体现，例如是否存储在存储介质中、载入计算机和/或由计算机执行、或在某些传送介质上传输，例如在电线或电缆上，通过光纤，或通过电磁辐射，其中，当将所述计算机程序代码装载到所述计算机并由其执行时，计算机就成了用于实践本发明的装置。当在通常目的的处理器上执行时，所述计算机程序代码段配置所述处理器以产生特定的逻辑电路。可选择的，可以用特定的逻辑电路的形式实现所述解码器。
虽然根据典型的实施例已经描述了本发明，但本发明并不局限于此。相反，后附权利要求应该被宽范围的构成以包括本发明的其它变形和实施例，在不脱离本法明的范围和等价内容的情况下可由本领域技术人员产生所述的各种变形和实施例。

Claims (27)

1.一种用于解码数据流的方法，包括步骤：
(a)识别解码的图像的质量和用于解码所述图像的比特速率之间的关系；
(b)对将从所述数据流解码的图像选择一期望的质量；
(c)使用所述关系确定与所期望的质量对应的比特速率；和
(d)解码与从数据流确定的比特速率相应的最小数量的位平面。
2.如权利要求1所述的方法，其中通过下述等式来定义所述关系：
Q(R)＝QBL+(R-RBL)/c
其中Q(R)为在比特速率R下的图像质量，QBL为所述数据流的一基础层的质量量度，RBL为与基础层的传输相应的比特速率，c为常数。
3.根据权利要求1所述的方法，进一步包括步骤：
(e)识别所述关系的变化，和
(f)动态的调节解码的位平面的数量以使其与期望的质量和变化的关系相应。
4.如权利要求3所述的方法，其中步骤(f)包括对于具有低清晰度的图像序列使用相对低的比特速率。
5.如权利要求3所述的方法，其中当检测到场景变化时执行步骤(e)和(f)。
6.如权利要求1所述的方法，包括在步骤(b)之前显示至少两个图像质量值和对于所述至少两个图像质量值的每一个解码所述图像所需的资源的各个量度。
7.如权利要求1所述的方法，进一步包括将确定的比特速率传送给所述数据流的源，其中请求所述数据流的源在所述确定的比特速率下只传送将来的数据流。
8.一种在其上编码有计算机程序代码的计算机可读介质，其中当由一处理器执行所述计算机程序代码时，所述处理器执行用于对数据流进行解码的方法，包括步骤：
(a)识别解码的图像的质量和用于解码所述图像的比特速率之间的关系；
(b)对将从所述数据流解码的图像选择一期望的质量；
(c)使用所述关系确定与所期望的质量对应的比特速率；和
(d)解码与从数据流确定的比特速率相应的最小数量的位平面。
9.如权利要求8所述的计算机可读介质，其中通过下述等式来定义所述关系：
Q(R)＝QBL+(R-RBL)/c
其中Q(R)为在比特速率R下的图像质量，QBL为所述数据流的一基础层的质量量度，RBL为与基础层的传输相应的比特速率，c为常数。
10.如权利要求9所述的计算机可读介质，其中c近似等于RBL。
11.如权利要求9所述的计算机可读介质，进一步包括从所述数据流的源接收QBL的值。
12.如权利要求9所述的计算机可读介质，进一步包括根据由量化步骤、运动向量、和宏块预测类型构成的组中的一个或多个计算QBL。
13.如权利要求8所述的计算机可读介质，其中所述位平面的最小数量为由与在步骤(c)确定的与比特速率相应的实数和大于或等于在步骤(c)确定的比特速率的最小整数构成的组中的一个。
14.如权利要求8所述的计算机可读介质，进一步包括步骤：
(e)识别所述关系的变化，和
(f)动态的调节解码的位平面的数量以使其与期望的质量和变化的关系相应。
15.如权利要求14所述的计算机可读介质，其中步骤(f)包括对于具有高清晰度和低运动的图像序列使用相对高的比特速率。
16.如权利要求14所述的计算机可读介质，其中步骤(f)包括对于具有相对低的清晰度的图像序列使用相对低的比特速率。
17.如权利要求14所述的计算机可读介质，其中当检测到场景变化时执行步骤(e)和(f)。
18.如权利要求8所述的计算机可读介质，其中所述方法包括在步骤(b)之前显示至少两个图像质量值和对于所述至少两个图像质量值的每一个解码所述图像所需的资源的各个量度。
19.如权利要求18所述的计算机可读介质，其中所述资源的量度是由以各个图像质量解码所述数据流的时间、用于在各个图像质量下解码所述数据流的电池电量的分数、和用于在各个图像质量下解码所述数据流的比特速率构成的组中的一个。
20.如权利要求8所述的计算机可读介质，其中所述方法进一步包括将确定的比特速率传送给所述数据流的源，其中请求所述数据流的源在所述确定的比特速率下只传送将来的数据流。
21.一种用于解码数据流的解码器，包括：
用于接收一选择的将从所述数据流解码的图像的期望质量的装置；
用于确定根据一解码的图像的质量解码所述图像的比特速率的装置，该确定装置提供一与所述期望的质量相应的期望比特速率；和
用于控制将被解码的位平面的数量的装置，以便相应于从所述数据流得到的期望比特速率解码一最小数量的位平面以形成一个或多个图像。
22.如权利要求21所述的解码器，进一步包括：
用于识别所述比特率和解码的图像质量之间的关系的变化的装置；和
用于动态的调节解码的位平面的数量以使其与期望的质量和变化的关系相应的装置。
23.如权利要求22所述的解码器，其中所述调节装置对于具有相对较低的清晰度的图像序列使用相对低的比特速率。
24.如权利要求22所述的解码器，其中所述变化识别装置在检测到场景变化时识别所述关系的变化。
25.如权利要求21所述的解码器，其中所述解码器包括在一移动设备中，所述移动设备显示至少两个图像质量值和对于所述至少两个图像质量值的每一个解码所述图像所需的资源的各个量度。
26.如权利要求25所述的解码器，其中所述资源的量度是由以各个图像质量解码所述数据流的时间、用于在各个图像质量下解码所述数据流的电池电量的分数、和用于在各个图像质量下解码所述数据流的比特速率构成的组中的一个。
27.如权利要求21所述的解码器，其中所述解码器包括在一移动设备中，所述移动设备将确定的比特速率传送给所述数据流的源，以便请求所述数据流的源在所述确定的比特速率下只传送将来的数据流。
CNA038147874A 2002-06-27 2003-06-11 基于解码器估计的质量的fgs解码器 Pending CN1669325A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/183,760 2002-06-27
US10/183,760 US7136532B2 (en) 2002-06-27 2002-06-27 FGS decoder based on quality estimated at the decoder

Publications (1)

Publication Number Publication Date
CN1669325A true CN1669325A (zh) 2005-09-14

Family

ID=29779193

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA038147874A Pending CN1669325A (zh) 2002-06-27 2003-06-11 基于解码器估计的质量的fgs解码器

Country Status (9)

Country Link
US (1) US7136532B2 (zh)
EP (1) EP1520422B1 (zh)
JP (1) JP2005531240A (zh)
KR (1) KR20050013619A (zh)
CN (1) CN1669325A (zh)
AT (1) ATE326122T1 (zh)
AU (1) AU2003241110A1 (zh)
DE (1) DE60305181T2 (zh)
WO (1) WO2004004352A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101616318B (zh) * 2008-06-23 2013-03-20 联发科技股份有限公司 用于渲染或译码已压缩多媒体数据的方法及相关的装置

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003199019A (ja) * 2001-12-26 2003-07-11 Sony Corp 撮像装置および方法、記録媒体、並びにプログラム
JP3952459B2 (ja) * 2002-11-15 2007-08-01 株式会社リコー 画像処理装置、プログラム、記憶媒体及び画像処理方法
US7474792B2 (en) * 2002-12-02 2009-01-06 Ricoh Company, Ltd. Image processing apparatus for using distortion amount information
US7903734B2 (en) * 2003-04-24 2011-03-08 Canon Kabushiki Kaisha Moving image decoding apparatus, moving image decoding method, image decoding method, and image decoding apparatus
DE10326168B4 (de) * 2003-06-10 2010-01-28 Siemens Ag Verfahren und Funktionseinheit zur Optimierung der Darstellung progressiv kodierter Bilddaten
JP4618676B2 (ja) 2005-04-28 2011-01-26 株式会社リコー 構造化文書符号の転送方法、画像処理システム、サーバ装置、プログラム及び情報記録媒体
EP1932363B1 (en) * 2005-10-05 2016-05-18 LG Electronics Inc. Method and apparatus for reconstructing image blocks
KR100891663B1 (ko) * 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
KR100891662B1 (ko) * 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
KR20070038396A (ko) * 2005-10-05 2007-04-10 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
KR20070096751A (ko) * 2006-03-24 2007-10-02 엘지전자 주식회사 영상 데이터를 코딩/디코딩하는 방법 및 장치
KR100802180B1 (ko) * 2005-12-08 2008-02-12 한국전자통신연구원 엠펙-4 비디오 신호의 비트율을 동적인 통신 용량 변화에따라 제어하는 방법
EP2008464A4 (en) * 2006-04-03 2014-10-29 Lg Electronics Inc METHOD AND DEVICE FOR ENCODING / DECODING A MODIFIABLE SCALE VIDEO SIGNAL
BRPI0714127A2 (pt) * 2006-07-13 2012-12-25 Qualcomm Inc codificaÇço de vÍdeo com escalabilidade de granularidade fina utilizando fragmentos alinhados por ciclo.
US8942292B2 (en) * 2006-10-13 2015-01-27 Qualcomm Incorporated Efficient significant coefficients coding in scalable video codecs
US8068608B2 (en) * 2007-12-17 2011-11-29 Broadcom Corporation Video processing system for scrambling video streams with dependent portions and methods for use therewith
US9078024B2 (en) * 2007-12-18 2015-07-07 Broadcom Corporation Video processing system with user customized graphics for use with layered video coding and methods for use therewith
US8130823B2 (en) * 2007-12-19 2012-03-06 Broadcom Corporation Channel adaptive video transmission system for use with layered video coding and methods for use therewith
US9210480B2 (en) * 2007-12-20 2015-12-08 Broadcom Corporation Video processing system with layered video coding and methods for use therewith
US8416848B2 (en) * 2007-12-21 2013-04-09 Broadcom Corporation Device adaptive video transmission system for use with layered video coding and methods for use therewith
US9143731B2 (en) * 2008-01-02 2015-09-22 Broadcom Corporation Mobile video device for use with layered video coding and methods for use therewith
US8594191B2 (en) * 2008-01-03 2013-11-26 Broadcom Corporation Video processing system and transcoder for use with layered video coding and methods for use therewith
US8144781B2 (en) * 2008-01-04 2012-03-27 Broadcom Corporation Video processing system for scrambling layered video streams and methods for use therewith
FR2954035B1 (fr) * 2009-12-11 2012-01-20 Thales Sa Procede d'estimation de la qualite video a une resolution quelconque
EP2779655B1 (en) * 2010-01-06 2019-05-22 Dolby Laboratories Licensing Corporation Complexity-adaptive scalable decoding and streaming for multi-layered video systems
WO2012045192A1 (en) * 2010-10-05 2012-04-12 Intel Corporation Method and apparatus for dynamically adjusting video quality
TW201503667A (zh) * 2013-03-06 2015-01-16 Interdigital Patent Holdings 視訊串流功率知覺適應
US9872255B2 (en) * 2015-04-01 2018-01-16 Ebay Inc. Battery charge aware communications
US11546611B2 (en) 2018-08-01 2023-01-03 Samsung Display Co., Ltd. Rate control for fixed rate foveated display compression
US11871052B1 (en) * 2018-09-27 2024-01-09 Apple Inc. Multi-band rate control

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997001934A1 (en) * 1995-06-29 1997-01-16 Thomson Multimedia S.A. System for encoding and decoding layered compressed video data
US5748903A (en) * 1995-07-21 1998-05-05 Intel Corporation Encoding images using decode rate control
EP1182888A3 (en) * 1996-04-25 2004-11-03 Matsushita Electric Industrial Co., Ltd. Video coding with bit rate dependent quantisation
US6480541B1 (en) * 1996-11-27 2002-11-12 Realnetworks, Inc. Method and apparatus for providing scalable pre-compressed digital video with reduced quantization based artifacts
JPH10164581A (ja) * 1996-12-03 1998-06-19 Sony Corp 画像信号符号化方法及び装置、信号記録媒体
US6631403B1 (en) * 1998-05-11 2003-10-07 At&T Corp. Architecture and application programming interfaces for Java-enabled MPEG-4 (MPEG-J) systems
US6292512B1 (en) * 1998-07-06 2001-09-18 U.S. Philips Corporation Scalable video coding system
KR20010080666A (ko) 1998-12-04 2001-08-22 매클린토크 샤운 엘 변환계수의 비트플레인 코딩을 이용한 세밀한 세분성스칼라빌러티의 향상
US6882711B1 (en) * 1999-09-20 2005-04-19 Broadcom Corporation Packet based network exchange with rate synchronization
CN1435055A (zh) * 1999-12-22 2003-08-06 通用仪器公司 使用空间可调性及同时传送编码的多投射环境的视讯压缩
US6668090B1 (en) 2000-05-26 2003-12-23 Eastman Kodak Company Producing a compressed digital image organized into layers corresponding to increasing visual quality levels and providing rate-control of such compressed digital image
US6859446B1 (en) 2000-09-11 2005-02-22 Lucent Technologies Inc. Integrating power-controlled and rate-controlled transmissions on a same frequency carrier
US7266148B2 (en) * 2001-01-05 2007-09-04 Lg Electronics Inc. Video transcoding apparatus
US6925120B2 (en) * 2001-09-24 2005-08-02 Mitsubishi Electric Research Labs, Inc. Transcoder for scalable multi-layer constant quality video bitstreams
US7391807B2 (en) * 2002-04-24 2008-06-24 Mitsubishi Electric Research Laboratories, Inc. Video transcoding of scalable multi-layer videos to single layer video

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101616318B (zh) * 2008-06-23 2013-03-20 联发科技股份有限公司 用于渲染或译码已压缩多媒体数据的方法及相关的装置

Also Published As

Publication number Publication date
EP1520422A1 (en) 2005-04-06
JP2005531240A (ja) 2005-10-13
ATE326122T1 (de) 2006-06-15
DE60305181T2 (de) 2007-03-08
WO2004004352A1 (en) 2004-01-08
AU2003241110A1 (en) 2004-01-19
DE60305181D1 (de) 2006-06-14
EP1520422B1 (en) 2006-05-10
KR20050013619A (ko) 2005-02-04
US7136532B2 (en) 2006-11-14
US20040001635A1 (en) 2004-01-01

Similar Documents

Publication Publication Date Title
CN1669325A (zh) 基于解码器估计的质量的fgs解码器
KR101643790B1 (ko) 적응적 비디오 스트리밍용의 가변 비트 레이트 및 동적 해상도를 이용한 다중 비트 레이트 비디오 인코딩
US8406294B2 (en) Method of assigning priority for controlling bit rate of bitstream, method of controlling bit rate of bitstream, video decoding method, and apparatus using the same
US8175149B2 (en) Method and apparatus for controlling bitrate of scalable video stream
Liu et al. A novel rate control scheme for low delay video communication of H. 264/AVC standard
Chen et al. Recent advances in rate control for video coding
CN1136734C (zh) 可变比特率视频编码方法及相应的视频编码器
KR101350723B1 (ko) 비디오 코딩을 위한 슬라이스 종속성에 기초한 레이트 제어 모델 적응 방법
US8406297B2 (en) System and method for bit-allocation in video coding
US20090316778A1 (en) Method And System For Optimal Video Transcoding Based On Utility Function Descriptors
US20030058931A1 (en) Transcoder for scalable multi-layer constant quality video bitstreams
US20080025399A1 (en) Method and device for image compression, telecommunications system comprising such a device and program implementing such a method
CN1943244A (zh) 视频编码中的帧间预测方法、视频编码器、视频解码方法和视频解码器
MXPA06002367A (es) Proceso y arreglo para codificar imagenes de video.
CN101077011A (zh) 运用精细粒度可伸缩性技术进行数字视频实时代码转换的系统和方法
WO2002019697A2 (en) System and method for dynamic adaptive decoding of scalable video to balance cpu load
CN1284374C (zh) 细粒度可分级视频编码系统用的频率加权矩阵的产生方法
Kim et al. An optimal framework of video adaptation and its application to rate adaptation transcoding
Peng et al. Inter-layer correlation-based adaptive bit allocation for enhancement layer in scalable high efficiency video coding
Karunaratne et al. A rate-distortion optimal video pre-processing algorithm
JP2002064817A (ja) オブジェクトスケーラブル符号化装置
Parthasarathy et al. Optimal rate control methods for fine granularity scalable video
Chen et al. MPEG-4 FGS coding performance improvement using adaptive inter-layer prediction
CN1656814A (zh) 在运动补偿精细颗粒可伸缩结构中的漂移最小化
US20030223642A1 (en) System and method for enhancing videos from drift-free scalable bitstream

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
C20 Patent right or utility model deemed to be abandoned or is abandoned