CN1883205A - 用于平滑通过无线介质传送的视频的总体质量的方法和设备 - Google Patents

用于平滑通过无线介质传送的视频的总体质量的方法和设备 Download PDF

Info

Publication number
CN1883205A
CN1883205A CNA2004800336479A CN200480033647A CN1883205A CN 1883205 A CN1883205 A CN 1883205A CN A2004800336479 A CNA2004800336479 A CN A2004800336479A CN 200480033647 A CN200480033647 A CN 200480033647A CN 1883205 A CN1883205 A CN 1883205A
Authority
CN
China
Prior art keywords
credit rating
milestone
media frame
frame
income
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2004800336479A
Other languages
English (en)
Inventor
P·D·V·范德斯托克
C·C·武斯特
D·贾尼科夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1883205A publication Critical patent/CN1883205A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4424—Monitoring of the internal components or processes of the client device, e.g. CPU or memory load, processing speed, timer, counter or percentage of the hard disk space used
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Complex Calculations (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种用于通过将可缩放视频应用建模为Markov判决处理来对其进行控制的系统和方法。该模型基于测量该应用的相对进度，其中相对进度是所分配的用于对一个帧进行处理的CPU预算与在对该帧进行处理的过程中所使用的实际CPU周期之间的差。所述控制策略基于最近解码的等级数量以及基于所接收到的层数和预算的CPU时间对下一帧进行解码时可采用的最大等级(最大质量等级)。其目的是通过开发一个在使质量等级最大的同时使截止时限错失(帧未完全解码)次数和质量等级变化次数最小的质量等级控制策略来平滑质量跃迁。质量等级变化的次数越少，所观看到的图像就越平滑。

Description

用于平滑通过无线介质传送的视频的总体质量的方法和设备
本发明涉及用于可缩放视频应用的方法，其控制通过无线介质传送的视频帧的解码质量以便平滑总体质量。
无线媒介(例如IEEE 802.11)的带宽波动通常是非常大的。为了使通过无线介质传送的视频实现合理的观看感受，代码是作为基本层(BL)和一个或多个增强层(EL)发送的(例如，MPEG4或MEPG2可缩放类)。这种技术称为可缩放视频流。可缩放视频的概念提出以这样的方式将视频数据分割成BL和(多个)EL：对BL的传输和解码足以重构可接受质量的视频，而仅对于额外提高所接收到的视频序列的质量才需要对(多个)EL的传输和处理。例如：带有一个EL的BL给出质量可接受的图像，而带有所有EL的BL给出最佳质量的视频图像。首先针对每个帧通过网络发送BL，随后是属于该帧的连续EL部分。
当带宽波动严重时，对于一个帧只有BL到达显示器，而对于其它帧，带有一个或多个EL的BL到达显示器。这导致图像质量不断变化。这样的质量变化不会由正在观看所接收到的图像的终端用户察觉到。
本发明给出了一种用于控制能够在多个质量等级下处理媒体帧(例如，视频帧)的媒体处理应用的总体输出质量的系统和方法。质量等级对应于对BL和特定数量的EL(零个或多个)的处理。每个质量等级需要明显不同的(但并非必须是固定的)资源量，例如CPU。较高的质量等级(即，要处理较大数量的EL)得到质量较高的图像，这需要以较高的资源使用为代价。质量等级是基于每一帧选择的。由于资源是有限的，因此对于给定的输出质量等级，可能直到输出处理完成的截止时限时该处理仍然没有完成，即出现错过截止时限的问题。每次错过截止时限都会在输出中造成严重的伪像。由于无线媒介的特性，对于给定帧接收到的层数是随时间变化的，这限制了可以为该帧选用的质量等级的数量。按照一个优选实施方式，每次收到媒体帧(例如，视频帧)并且必须对其进行显示时，检查所接收到的层的数量。可以处理的最大层数是由对于帧所接收到的层数和在错失相应截止时限的风险最小的前提下CPU可用于处理该帧的这些层的时间决定的。不过，质量等级变化可能造成感觉得到的伪像。通过使质量等级随时间流逝而跳跃的次数最少(即平滑随时间流逝而接收到的图像)，用户会看到质量相当稳定的图像。按照一个优选实施方式，这一平滑是通过建立Markov链和定义一个数值函数来实现的。不是由网络条件造成的质量等级变化会得出很大的负值。在质量下降的情况下，由网络波动造成的质量等级变化会得出零值。根本不显示图像则会得到最高的惩罚(penalty)。另一方面，处理的层数越高，得到的值越大。
通过以实际分组丢失播放很多视频，已经开发出了一个针对所述数值函数最优化的层选择程序。以这种方式开发的最优层选择函数被用于作为对于给定帧和对于先前各帧接收到的层数的函数来确定需要显示的层数。
有很多种最优化资源消耗和最大输出质量的方法。其中一种是本发明的对可缩放视频的解码应用可缩放视频算法的方法。将质量等级定义为所要处理的层数。现有技术的算法假设稳定输入(比如DVD)。稳定输入的意思是说，信息在传输期间没有损失，因此意味着在视频数据的解码期间可以选择任何质量等级。本发明也能够处理不稳定的输入。它通过不仅考虑CPU可用性而且还考虑应用的输入来优化解码(并且可能还有后处理)策略。本质上讲，本发明将其依赖基础从网络引导到了控制策略上。这样，本发明在输入稳定(例如，CD、DVD、HDD)和输入不稳定(无线网络)的情况下都能够工作。
附图1表示可缩放视频应用的总体视图。
附图2表示按照本发明的一种实施方式的可缩放视频应用的示例时间线。
附图3表示其中错失了截止时限(d3)的示例时间线。
附图4表示对于按照本发明的最佳策略，针对q0、q1、q2和q3，相对进度与之前使用的质量等级之间的关系，其中b＝40000且|∏|＝300。
附图5表示按照本发明的可缩放应用的性能。
附图6表示按照本发明的可缩放视频应用与直接应用的定性比较。
附图7表示对于1000次最大质量等级变化，按照本发明的可缩放视频应用的定性比较。
附图8表示说明按照本发明的一个实施方式的系统的体系结构的简化框图。
附图9表示按照本发明进行了修改的电视机。
附图10表示按照本发明进行了修改的机顶盒。
本领域技术人员应当理解，下面的介绍是为了解释说明的目的而给出的，并不是为了限定。本领域技术人员应当理解，在本发明的思想和所附权利要求书的范围之内，有很多的变化形式。可以从本说明书中省略掉不必要的公知功能和操作的细节，以免使本发明不清楚。
本发明给出了针对一种用于控制可缩放视频应用的视频控制机制的系统和方法，该系统和方法能够实现内部设置的动态改变，以便解决资源使用与输出质量之间的折衷。附图1表示带有借助一组参数103影响可缩放应用101的性能的控制机制102的可缩放视频处理器的基本思想。使用可缩放应用来完成视频处理使得该应用的各部分能够很容易地得到缩放，以便得到各种输出质量，从而能够在资源使用与输出质量之间达到平衡。
将视频解码器看作一个可缩放视频应用(SVA)。可以通过改变该视频解码器的内部设置来对其加以控制，以便产生可变质量的输出视频流。如表1中所示，当该解码器在最低质量等级下工作时，它仅仅对基本层加以处理。随着质量等级的增加，该解码器增加所要处理的层数以及处理时间(显然还有资源消耗)。
  质量等级   待处理的层数
  q0   BL
  q1   BL+EL1
  q2   BL+EL1+EL2
  …   …
  qn   BL+EL1+EL2+...+ELN
             表1
不过，并非总是可以得到所有的层。倘若解码器是从网络接收这些层，则无法在任何时刻都保证输入到解码器中的层数。因此，接下来要处理的层数是不确定的。与可得到的层的数量有关的信息可以从输入缓冲器得到。
下面将对由本发明的可缩放应用进行的处理进行总体上的介绍。该应用从输入缓冲器中获取一个工作单位(帧)、对其进行处理并且将结果放到输出缓冲器中。该应用定期接收用于处理一个工作单位(即视频帧)的CPU时间的固定预算。各工作单位在大小和复杂程度上各不相同，这导致处理各工作单位所需要的时间各不相同。一个工作单位的完成被称为里程碑(milestone)，并且对于每个这样的里程碑都有一个截止时限。在可缩放视频应用的情况下，对帧的解码是具有严格周期性截止时限的工作单位，也就是说，截止时限按照给定且固定的周期P出现。要防止错失截止时限。
在每个里程碑处，将相对进度计算为直到里程碑的截止时限为止所剩余的有保障资源预算的量，其以截止时限周期表示。由于缓冲器大小是有限的，因此它可以包含的帧的数量是有上限的。这个帧数量可以用于预先给出可被解码的帧数量的范围：
{min[输入缓冲器内的帧的数量]，max[输出缓冲器内的帧的数量]}如果相对进度在一个里程碑处变成了负的，则错过了至少一个截止时限，即本应花费超过该有保障预算的时间来处理至少一个帧，以致相对进度变成了负的。在没有采取措施的情况下，这种截止时限错失的效果是累积性的。为了防止这样的累积的截止时限错失，所述应用在每个里程碑处适配其所运行的质量等级。
对于选择质量等级可以采用三个目标：
1.使质量等级最大；
2.使截止时限错失最少；和
3.使质量等级变化最少。
本发明的应用没有考虑后处理。
重申这些目标，对于已经为其分配了固定的CPU预算的可缩放媒体处理应用来说，需要一个质量等级控制策略，以使其最小化截止时限错失的次数和质量等级变化的次数，同时使质量等级最大化。
按照本发明，将这一问题建模为Markov判决问题。这一模型是基于计算一个应用在其各里程碑处的相对进度。求解Markov判决问题得到了这样一个质量等级控制策略，该质量等级控制策略可以在运行时间期间应用，同时只带来很小的开销。
市场要求客户终端(比如机顶盒和数字电视机)变得开放且灵活。这是通过用中央处理单元(CPU)替换几个执行特定媒体处理应用的专用硬件组件来实现的，其中在该中央处理单元上执行等效的媒体处理应用。诸如CPU、存储器和总线带宽之类的资源在这些应用之间共享。这里，优选地仅考虑CPU资源。
在每个里程碑处，计算应用的相对进度。这里，将里程碑处的相对进度定义为到该里程碑的截止时限为止的时间，并以截止时限周期来表示。
各里程碑处的相对进度可以按照如下方式计算。不损失一般性地假设应用在时刻t＝0处开始进行处理。里程碑m的时刻由cm表示。接下来，里程碑m的截止时限由dm表示。这些截止时限是严格周期性的，这意味着可以将它们写为：
dm＝d0+m*P
其中P是两个相继截止时限之间的周期，而d0是偏移量。里程碑m处的相对进度(由ρm表示)现在可由下式给出：
ρ m = d m - c m P = m - c m - d 0 P - - - ( 1 )
为了解释说明相对进度的计算，我们来考虑附图2中所示的截止时限的例子。在这个例子中，P＝1且d0＝1。使用公式(1)进行计算，由ρ1＝(d1-c1)/P＝(2-1)/1＝1、ρ2＝1.5、ρ3＝1、ρ4＝0和ρ5＝0.5给出在里程碑1到5处的相对进度。注意里程碑4刚好够时间。
如果在第(m+1)个里程碑处的相对进度降低到低于零，则从第m个里程碑开始已经出现了
Figure A20048003364700082
(比-ρm+1大的最接近的整数)次截止时限错失。如何处理截止时限错失取决于具体应用。这里，采取了一种工作保留方法，意思是说，不将刚刚产生的输出丢弃，而是要使用它。一种方式是在接下来的第一个截止时限处使用这一输出，这意味着获得一个经过适配的相对进度：
通过选择ρ′m＝0(即最低可能值)来采取一种保守的方法，这在某种意义上相当于刚一产生就立即使用该输出。换句话说，将截止时限dm和后续的截止时限延后了一个-ρm*P的量。从而，可以使用(1)计算出各里程碑处的相对进度，不过是用一个新的偏移量d′0＝d0-ρm*P来计算。
借助附图3中所示的示例时间线对这一处理加以解释说明。在这个例子中，P＝1且d0＝0.5。使用(1)，可以得出下列结果：ρ1＝0.5、ρ2＝0.5、ρ3＝-0.5。里程碑3处的相对进度已经降低到了零以下，所以从里程碑2开始已经出现了 次截止时限错失，即在t＝3.5处发生了截止时限错失。接着，将截止时限d3延后到d′3＝c3＝4，并且后面的截止时限也顺延一个0.5的量。继续进行处理，得到ρ4＝0.5和ρ5＝0.5。
所述应用在里程碑处的状态是由其相对进度给出的。不过，这给出了无限大的状态集合，而Markov判决处理要求有限的集合。后者是这样实现的：令p＞0表示相对进度的给定上边界。数量p是对所述应用能够提前工作的周期的数量的度量，这一度量是如上面介绍的那样从缓冲器大小得出的。将0和p之间的相对进度空间划分成一个有限的集合：
∏＝{π0，……，πn-1}，其中n≥1
其中进度间隔为：
π k = [ kp n , ( k + 1 ) p n ) , 其中k＝0，……，n-1进度间隔π的下边界和上边界分别由 π和 π表示。
在每个里程碑处，必须针对将要以何种质量等级对下一工作单位进行处理这一问题进行判决。因此，在一个状态中(即在该Markov判决问题中)可以获得的判决集合对应于所述应用可以在其下运行的质量等级的集合。这个集合由Q表示。
每个质量等级对应于被处理的层数。因此，对于给定帧，不可能选择需要对比输入缓冲器中存在的层更多的层进行解码的质量等级。这样，可以选择的最大质量等级是由所接收到的层数给出的，并且是由maxq(i)定义的。
还考虑了质量等级变化，这样，在每个里程碑处，必须知道之前使用的质量等级。这可以通过用质量等级扩展所述状态集合来实现。因此，状态i是由下列元素定义的：
●状态i下的相对进度间隔，由π(i)表示；
●在状态i下可能为下一工作单位选择的最大质量等级，由maxq(i)表示；
●在状态i下之前使用的质量等级，由q(i)表示。
因此，所述状态集合变为П×Q×Q。
构成Markov判决问题的第二个元素是跃迁概率的集合。如果选择质量等级q来处理下一工作单位，则令pij q表示从当前里程碑处的状态i跃迁到下一里程碑处的状态j的跃迁概率。在跃迁之后，q(j)＝q且maxq(i)≥q，这意味着，如果q≠q(j)或q＞maxq(i)则pij q＝0。
不损失一般性地假设所述应用在里程碑m处处于状态i。对于每个质量等级q，我们引入一个随机变量Xq，这个随机变量给出该应用以质量等级q处理一个工作单位所需的时间。如果假设该应用接收到对于每个周期P为b的计算预算，则相对进度ρm+1可以借助递归等式以ρm表示：
ρ m + 1 = ( ρ m + 1 - X q b ) | [ 0 , p ] - - - ( 2 )
其中使用下面的符号：
x | [ 0 , p ] = 0 x < 0 x 0 &le; x &le; p p x > p
令Yπ，ρm，q，max qm，max qm+a是随机变量，这个随机变量给出所述应用在下一个里程碑m+1处的相对进度ρm+1处于进度间隔π之内并且在这个里程碑处可以选择的最大质量等级是maxqm+1的概率，前提是在当前里程碑处的相对进度是ρm、最大质量等级是maxqm+1并且选择质量等级q。
变量Yπ，ρm，q，max qm，max qm+1描述两个独立事件(所述应用在下一里程碑处处于进度间隔π内，以及最大质量等级maxqm被设置为maxqm+1)的概率。因比，
Y &pi; , &rho; m , q , max q m , max q m + 1 = Y max q m , max q m + 1 * Y &pi; , &rho; m , q
于是得出：
令Fq表示Xq的累积分布函数，并且通过选择所述间隔内的最低值做出对ρm的保守近似：
&rho; ~ m = &pi; &OverBar; ( i ) - - - ( 3 )
倘若是上述情况，则概率pij q可由下式近似：
选择的进度间隔越多，公式(3)中的近似结果就越好，因此对跃迁概率的建模就越精确。
构成Markov判决问题的第三个元素是收益(revenue)。在状态i下选择质量等级q的收益由ri q表示。收益被用于实现三个问题目标。
首先，处理各工作单位所采用的质量等级应当尽可能地高。这是通过为每个fi q分配一个奖励(reward)来实现的，该奖励是由函数u(q)给出的。这个函数称为效用函数(utility function)。它返回一个正值，这个正值直接与在质量等级q下运行的应用的输出的感受质量相关。
其次，截止时限错失的数量应当尽可能少。截止时限错失惩罚函数返回一个正值，这个正值与我们预期错失的截止时限的数量有关(如果在当前状态下选择了质量等级q的话)。应当将这个值从收益中减掉。最后，质量等级变化的数量应当尽可能少。这是通过从每个ri q中减去由函数c(q(i)，q)给出的惩罚来实现的。这个函数返回一个正值，如果q(i)≠q，则这个正值可以随着q(i)与q之间的间隙的大小而增加，否则为零。此外，比起质量等级的减小，对于质量等级的增加可以给出一个更低的乘法。函数c(q(i)，q)称为质量变化函数。
如果仅考虑有限数量的跃迁(所谓的有限时间范围(timehorizon))，则Markov判决问题的解将由一个使所有跃迁上的收益总和最大的判决策略给出，该判决策略可以借助动态编程来找出。不过，存在着无限时间范围，因为跃迁的数量无法加以限制。在这种情况下，由每次跃迁的平均收益给出实现最大化的实用标准。这个标准强调所有的跃迁都是同等重要的。对于无线时间范围Markov判决问题有多种求解技术，比如连续逼近、策略迭代和线性编程。例如参见Martin L.Puterman的“Markov Decision Processes：Discrete StochasticDynamic Programming”(Wiley Series in Probability and MathematicalStatistics，John Wiley & Sons Inc.，1994)和D.J.White的“MarkovDecision Processes”(John Wiley & Sons Inc.，1993)。对于本文介绍的试验，使用的是连续逼近。
求解Markov判决问题得到一个最优静止策略。“静止”在这里意味着所应用的判决策略在所有里程碑处都是一样的，即并不取决于里程碑的数量。附图4中示出了针对下式的控制策略实例：
|∏|＝300，b＝40000μs
该图说明，例如如果在一个特定里程碑处的相对进度等于1，并且如果之前使用的质量等级是q3且对于下一帧的最大质量等级是q3，则应当选择质量等级q3来处理下一工作单位(即下一帧)。
不损失最优性地，可以使用所谓的单调控制策略，即对于每个之前使用的质量等级，可以假设更高的相对进度会得到更高的或相等的质量等级选择。于是，为了存储一个最优控制策略，对于每个之前使用的质量等级，仅仅需要存储该控制策略从一个特定质量等级变化到另一质量等级的相对进度边界。控制策略因此具有O(|Q|2)的空间复杂度，这个空间复杂度与进度间隔的数量无关。
Markov判决问题可以在所述应用开始执行之前离线(off-line)求解。接下来，我们在线应用所得到的控制策略，如下所述。在每个里程碑处，之前使用的质量等级和最大质量等级是已知的，并且计算该应用的相对进度。然后，查找对下一工作单位加以处理时所要采用的质量等级。这种方法带来很少的开销。
使用由120000个帧构成的视频序列的MPEG-2信噪比(SNR)解码跟踪文件作为试验的输入。这个跟踪文件对于每个帧包含以四个不同质量等级(按照质量等级增加的顺序用q0到q3标注)中的每个等级对其进行解码所需的处理时间，并以TriMedia上的CPU周期来表示。就是说，将增强层的数量设定为3，并且所有层的比特率是相等的。
作为本发明的评估过程中的第一个步骤，假设从一个最大质量等级跃迁到另一个最大质量等级的概率相等。因此，在里程碑m处，变量Ymax qm，max qm+1对于任意一对maxqm和maxqm+1具有相同的值。
其次，对问题参数按照如下方式加以定义。将相对进度p的上边界选择为等于2，这假设使用了能够存储至少两个解码帧的输出缓冲器。还假设输入缓冲器在任意时刻包含至少两个帧。
视频的感受质量取决于视频流的实际比特率，该实际比特率直接与质量等级相关联。倘若质量因数随着每次质量等级增加而增加一个因数2，则效用函数由下列等式定义：
u(q0)＝2    u(q1)＝4    u(q2)＝7.5    u(q3)＝12
将截止时限错失惩罚选择为等于100000，这意味着粗略地允许大约每8000帧有1个截止时限错失。换句话说，每5分钟视频跳过最多1帧。
如果质量等级分别增加1、2和3，则将用于增加质量等级的质量等级变化惩罚被设定为5、50和500。对于降低质量等级，针对降低1、2和3个等级，分别将惩罚设定为50、500和5000。假设给定了状态j下的可用层的数量，如果因为对于状态j的最大质量等级等于q(j)而使得质量等级从q(i)降低到q(j)，则将此看作是强制变化并且将质量等级变化惩罚设定为零。
完成了将本发明与在给定CPU预算之内对尽可能多的层进行解码的直接算法进行比较的评估。如上所述，使用了连续逼近来求解各问题实例。除了计算不精确之外，连续逼近得出最优控制策略。对不精确度容差使用一个0.001的值。在给出了相对进度、之前使用的质量等级和最大质量等级的情况下，最终得到的控制策略在每个里程碑处给出解码下一帧时应当采用的质量等级。
i测试1
第一个测试使用40ms的预算和最大质量等级，其中假设网络吞吐量足以传递所有的层。表2包含对于本发明的可缩放应用的质量等级变化。表3包含对于直接应用的质量等级变化。如表2和表3所示，直接算法平均每4个帧就要进行一次质量等级变化，这是本发明进行的变化的次数的1300倍。同时，如表4所示，本发明的可缩放应用的平均质量高于直接应用的平均质量，表4表示质量等级使用的百分比。
  到q0   到q1   到q2   到q3   总计
  从q0   -   1   0   0   1
  从q1   0   -   5   0   5
  从q2   0   1   -   11   12
  从q3   0   2   4   -   6
  24
        表2-测试1中的可缩放应用的质量等级变化
  到q0   到q1   到q2   到q3   总计
  从q0   -   4   0   9908   9912
  从q1   38   -   0   5235   5273
  从q2   0   0   -   0   0
  从q3   16900   4327   0   -   21137
  36322
            表3-测试1中的直接应用的质量等级变化
  q0   q1   q2   q3
  可缩放视频   0.00122   0.00549   0.02256   99.97074
  直接   9.77427   4.36532   0   85.86041
              表4-测试1中的质量等级使用的百分比
ii测试2
对于第二个测试，预算为40ms并且可以为了对帧进行处理而选择的最大质量等级(即可在缓冲器中得到的对应于帧的层数)是随机产生的。如表5-7所示，在第二个测试中(此时最大质量等级变化的次数为1228)，由本发明的可缩放应用进行的变化中的一部分是由于试图平滑频繁发生的从一个等级到另一个等级的跃迁而引起的，这在附图5中进行了图解说明。
  到q0   到q1   到q2   到q3   总计
  从q0   -   259   0   0   259
  从q1   34   -   321   0   355
  从q2   47   57   -   408   512
  从q3   100   129   129   -   358
  1484
              表5-测试2中的可缩放应用的质量等级变化
  到q0   到q1   到q2   到q3   总计
  从q0   -   2781   2304   5845   10930
  从q1   2780   -   1500   1993   6273
  q2   2659   1205   -   44   3908
  从q3   6219   2056   25   -   8300
  29411
            表6-测试2中的直接应用的质量等级变化
  q0   q1   q2   q3
  可缩放视频   23.60235   24.87458   25.52075   26.00233
  直接   30.64737   24.74039   22.10327   22.50896
              表7-测试2中的质量等级使用的百分比
iii.比较
两种应用都出现截止时限错失。附图6对于变化的预算和固定的最大质量等级示出两种应用的截止时限错失的百分比和平均质量等级。直接应用在保持在给定CPU预算之内的同时易于在不同质量等级之间发生移动。因此，在CPU预算较低的情况下，直接应用的平均质量高于本发明的平均质量。不过，对于不必要地增加质量等级的惩罚是截止时限丢失的次数非常巨大。本发明的一个优选实施方式的可缩放视频应用仅仅在其能够保证对于给定的CPU预算截止时限错失的次数处于每8000帧1次的预定义限制内之后才允许增加质量等级。
附图7表示对于随机选择最大质量等级的情况的结果。从附图7中可以看出，当最大质量等级频繁变化时，直接应用平均来说具有比本发明的可缩放应用更高的质量等级。这是由于可缩放应用使得质量等级较为平滑地跳跃这一事实而造成的，较为平滑的跳跃会导致：在质量等级被迫降低之后，它的上升较为缓慢。
对于具有固定CPU预算的可缩放媒体处理应用的质量等级控制是作为Markov判决问题来建模的。该模型基于在各里程碑处计算出来的所述应用的相对进度和在该应用的输入缓冲器中的可用视频数据的量(例如所接收到的层)。考虑由所接收到的层数确定的最大质量等级，采用了三个目标来选择质量等级：
1.使质量等级最大；
2.使截止时限错失最少；和
3.使质量等级变化最少。
其中没有考虑后处理。
重申这些目标，针对已经为其分配了固定的CPU预算的可缩放媒体处理应用开发了一个质量等级控制策略，从而该质量等级控制策略使得截止时限错失的次数和质量等级变化的次数最小，同时使质量等级最大。该模型中的一个参数是质量等级变化的次数。变化的次数越少，所观看到的图像就越平滑。
附图8以示意性方式表示按照本发明的系统1200。系统1200包括经由软件总线1208与中央处理单元1210进行通信的存储器1202。存储器1202包括计算机可读代码1204，该计算机可读代码1204被设计为用于确定如前所述的那样处理一个媒体帧所需的CPU周期的量。此外，存储器1202包括计算机可读代码1206，该计算机可读代码1206被设计成用于根据在一个里程碑处计算出来的媒体处理应用的相对进度来控制该媒体帧的质量等级。优选地，处理媒体帧的质量等级是基于Markov判决问题而设定的，其中为了如前所述的那样处理多个媒体帧而对该Markov判决问题进行建模。所述计算机可读代码可以从存储装置1212中更新，该存储装置1212包括被设计成用于执行按照本发明的方法的计算机程序产品。该存储装置由一个适当的读取装置读取，例如与系统1200相连接的CD读取器1214。该系统可以用硬件和软件或者任何其它能够操作软件的标准体系结构来实现。
附图9以示意性方式表示按照本发明的电视机1310，该电视机包括按照本发明的系统的一个实施方式。这里，天线1300接收电视信号。也可以使用任何能够接收或再现电视信号的装置(例如卫星天线盘、有线电缆、存储装置、因特网或以太网)来取代天线1300。接收机1302接收电视信号。除了接收机1302之外，该电视机还包含可编程组件1304，例如可编程集成电路。这个可编程组件包含按照本发明的系统1306。电视屏幕1308显示由接收机1302接收到并且由可编程组件1304加以处理的文件。电视机1310可以根据需要包括提供电视信号的DVD播放器1312或与其相连接。
附图10以示意性方式表示包括按照本发明的系统的一个实施方式的机顶盒1402的最重要的部件。这里，天线1400接收电视信号。该天线也可以是例如卫星天线盘、有线电缆、存储装置、因特网、以太网或任何能够接收电视信号的其它装置。机顶盒1402接收该信号。该信号可以例如是数字信号。除了包含在机顶盒内的各常规部件(此处未示出)之外，该机顶盒包含按照本发明的系统1404。电视信号被显示在与机顶盒1402相连接的电视机1406上。
应当注意到，上面提出的实施方式是做解释说明之用，而非是对本发明的限制，并且在不超出所附权利要求书的范围的情况下，本领域的技术人员将能够设计出很多可供选用的实施方式。本发明可以借助包括几个不同元件的硬件来实现，并且可以借助适当编程的计算机来实现。此外，可以做出很多的修改以适应于特定的情况，并且可以以不超出其核心范围的等效方式来对本发明的教导加以适配。因此，本发明不局限于作为为了执行本发明而设想的最佳模式公开的特定实施方式，而是包括落在所附权利要求书的范围之内的所有实施方式。

Claims (12)

1.一种由媒体处理应用设定一个媒体帧的输出图像的质量等级的方法，包括以下步骤：
确定处理该媒体帧所要使用的资源量；
根据下列条件控制输出图像的质量等级：
i.在一个里程碑处计算出的该媒体处理应用的相对进度，
ii.可能为该输出图像选择的最大质量等级，
iii.之前使用的输出图像的质量等级，和
iv.基于所接收到的层数的最大质量等级。
2.按照权利要求1所述的方法，其中所述质量等级是根据可能用于处理下一帧的最高质量等级和保持输出图像的质量所需的最高质量等级二者当中的最小值选取的。
3.按照权利要求1所述的方法，其中：
将控制媒体帧的质量等级的步骤建模为一个包括一个状态集合、一个判决集合、一个跃迁概率集合和一个收益集合的Markov判决问题；
求解该Markov判决问题来得出一个最佳策略；和
基于该解确定对该媒体帧进行解码的层数。
4.按照权利要求3所述的方法，此外还包括以下步骤：
将该状态集合定义为包括该媒体处理应用在一个里程碑处的相对进度和之前使用的质量等级；
将该判决集合定义为包括该媒体处理应用可以提供的多个质量等级；
将该跃迁概率集合定义为包括对于所述多个质量等级当中的一个给定质量等级、从在当前里程碑处的该状态集合中的一个状态跃迁到在下一里程碑处的该状态集合中的另一个状态的概率；和
将该收益集合定义为包括一个与该媒体帧的质量等级相关的正收益、一个与截止时限错失相关的负收益以及一个与质量等级变化相关的负收益。
5.一种用于由可缩放媒体处理应用设定一个媒体帧的输出图像的质量等级的系统，该系统包括：
确定装置，用于确定处理该媒体帧所要使用的资源量；
控制装置，用于根据下列条件控制该媒体帧的输出图像的质量等级：
i.在一个里程碑处计算出的该媒体处理应用的相对进度，
ii.可能为该媒体帧的输出图像选择的最大质量等级，
iii.之前使用的媒体帧的输出图像的质量等级，和
iv.基于所接收到的层数的最大质量等级。
6.按照权利要求5所述的系统，其中，所选择的质量等级还基于可能用于处理下一帧的最高质量等级和保持输出图像的质量所需的最高质量等级二者当中的最小值。
7.按照权利要求5所述的系统，其中，将该控制装置进一步设置成：
将对媒体帧的质量等级的控制建模为一个包括一个状态集合、一个判决集合、一个跃迁概率集合和一个收益集合的Markov判决问题；
使用一个判决策略来求得该Markov判决问题的一个解；和
基于该解来设定该媒体帧的质量等级。
8.按照权利要求7所述的系统，其中：
该状态集合包括该媒体处理应用在一个里程碑处的相对进度和先前媒体帧的之前使用的质量等级；
该判决集合包括该可缩放媒体处理应用可以提供的多个质量等级；
该跃迁概率集合包括对于所述多个质量等级当中的一个给定质量等级、从在当前里程碑处的该状态集合中的一个状态跃迁到在下一里程碑处的该状态集合中的另一个状态的概率；和
该收益集合包括一个与该媒体帧的正质量等级相关的正收益、一个与截止时限错失相关的负收益以及一个与质量等级变化相关的负收益。
9.一种被设计成用于执行按照权利要求1的方法的计算机程序产品。
10.一种包括按照权利要求9的计算机程序产品的存储装置。
11.一种包括按照权利要求5的系统的电视机。
12.一种包括按照权利要求5的系统的机顶盒。
CNA2004800336479A 2003-11-13 2004-11-11 用于平滑通过无线介质传送的视频的总体质量的方法和设备 Pending CN1883205A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US51980903P 2003-11-13 2003-11-13
US60/519,809 2003-11-13

Publications (1)

Publication Number Publication Date
CN1883205A true CN1883205A (zh) 2006-12-20

Family

ID=34590447

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2004800336479A Pending CN1883205A (zh) 2003-11-13 2004-11-11 用于平滑通过无线介质传送的视频的总体质量的方法和设备

Country Status (6)

Country Link
US (1) US20070153891A1 (zh)
EP (1) EP1685718A1 (zh)
JP (1) JP2007515866A (zh)
KR (1) KR20060116000A (zh)
CN (1) CN1883205A (zh)
WO (1) WO2005048606A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8355403B2 (en) * 2006-11-13 2013-01-15 Fujitsu Semiconductor Limited Stale data removal using latency count in a WiMAX scheduler
US7953880B2 (en) 2006-11-16 2011-05-31 Sharp Laboratories Of America, Inc. Content-aware adaptive packet transmission
US7668170B2 (en) 2007-05-02 2010-02-23 Sharp Laboratories Of America, Inc. Adaptive packet transmission with explicit deadline adjustment
EP2383999A1 (en) * 2010-04-29 2011-11-02 Irdeto B.V. Controlling an adaptive streaming of digital content
EP2485441B1 (en) * 2011-01-31 2014-10-08 Alcatel Lucent A video packet scheduling method for multimedia streaming
JP6160066B2 (ja) * 2012-11-29 2017-07-12 三菱電機株式会社 映像表示システム及び映像表示装置
GB2548789B (en) 2016-02-15 2021-10-13 V Nova Int Ltd Dynamically adaptive bitrate streaming
US10075671B2 (en) * 2016-09-26 2018-09-11 Samsung Display Co., Ltd. System and method for electronic data communication
GB2570449B (en) * 2018-01-23 2022-05-18 Canon Kk Method and system for auto-setting of cameras
CN110049315B (zh) * 2019-04-26 2020-04-24 山西大学 一种提高直播视频系统用户体验质量的方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU3477397A (en) * 1996-06-04 1998-01-05 Paul J. Werbos 3-brain architecture for an intelligent decision and control system
AU2002353299A1 (en) * 2001-12-10 2003-06-23 Koninklijke Philips Electronics N.V. Method of and system to set a quality of a media frame
US7657861B2 (en) * 2002-08-07 2010-02-02 Pact Xpp Technologies Ag Method and device for processing data

Also Published As

Publication number Publication date
US20070153891A1 (en) 2007-07-05
JP2007515866A (ja) 2007-06-14
WO2005048606A1 (en) 2005-05-26
EP1685718A1 (en) 2006-08-02
KR20060116000A (ko) 2006-11-13

Similar Documents

Publication Publication Date Title
CN1263303C (zh) 对实时事件应用“现时模糊”的推荐器系统
CN102405644B (zh) 基于因特网视频内容的经估算质量对视频后处理器的自动调节
CN1589433A (zh) 向任务分配预算盈余的方法和系统
CN1992883A (zh) 能够进行动态频道高速缓存的接入节点
CN1883205A (zh) 用于平滑通过无线介质传送的视频的总体质量的方法和设备
CN101047831A (zh) 推荐节目信息提供方法和装置
CN1627824A (zh) 位流控制的后处理过滤
CN102124724A (zh) 视频处理中的电力和计算负荷管理技术
CN102124725A (zh) 视频处理中的电力和计算负荷管理技术
CN1529851A (zh) 为任务分配预算的方法和系统
CN106454402B (zh) 转码任务调度方法和装置
US20220237454A1 (en) Linear neural reconstruction for deep neural network compression
CN1144469C (zh) 编码和解码图像中的像素的运动向量的方法
CN102486796A (zh) 获取视频信息的方法和装置
Chen et al. Popularity-aware 360-degree video streaming
CN1774929A (zh) 动态图像编码或解码处理系统以及动态图像编码或解码处理方法
US20230274139A1 (en) Method for super-resolution
CN101057220A (zh) 用于管理存储器空间的系统和方法
Xie et al. Deep Curriculum Reinforcement Learning for Adaptive 360$^{\circ} $ Video Streaming With Two-Stage Training
CN1469648A (zh) 控制运动图像编码的dct计算量的算法和设备
CN1318966C (zh) 设定媒体帧的质量的方法和系统
CN103024592B (zh) 视频数据分片的方法、装置及系统
CN116491115A (zh) 用于视频编码的具有反馈控制的速率控制机器学习模型
CN1777870A (zh) 设置媒体帧输出质量的方法和系统
Mastronarde et al. Towards a general framework for cross-layer decision making in multimedia systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication