CN1527968A - 运行媒体应用的方法及具有作业控制的媒体系统 - Google Patents

运行媒体应用的方法及具有作业控制的媒体系统 Download PDF

Info

Publication number
CN1527968A
CN1527968A CNA02814130XA CN02814130A CN1527968A CN 1527968 A CN1527968 A CN 1527968A CN A02814130X A CNA02814130X A CN A02814130XA CN 02814130 A CN02814130 A CN 02814130A CN 1527968 A CN1527968 A CN 1527968A
Authority
CN
China
Prior art keywords
media
algorithm
quality
work pattern
resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA02814130XA
Other languages
English (en)
Inventor
M
M·加布拉尼
C·亨特舍尔
Am
C·C·A·M·范宗
M��˹�ٷ�˹
E·F·M·斯蒂芬斯
R·J·布里尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1527968A publication Critical patent/CN1527968A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

对于一种同当前的消费者多媒体设备保持有同样鲁棒性和成本效益的灵活的消费者多媒体设备，就随输出质量交换的其资源要求媒体算法应该变得更加灵活。我们称这种算法为可扩缩的。在消费者媒体终端中可扩缩的视频算法(作业)簇的状态可以由三个参数来说明。第一个参数是作业模式，其是功能及其连接的实际簇。第二个参数是作业模式的有效质量等级集合，其被称为操作集合。最后一个参数是被指定的质量等级。前两个参数为系统优化提供正确的处理和有效的搜索空间，且由作业本身进行选择。最后一个参数反映根据可利用的系统资源的实际资源分配，且由QoS资源管理器进行选择。

Description

运行媒体应用的方法及具有作业控制的媒体系统
本发明涉及一种运行媒体应用的方法，所述媒体应用包括大量算法，每种算法既可以是可扩缩的(scalable)也可以是不可扩缩的。本发明还涉及一种媒体系统且更具体涉及一种多媒体通信设备。
现有技术
消费者终端(CT)逐渐从视频广播网络(电视机)和通信网络(电话)的直接终端发展到交互式多媒体终端，并且超越于此发展到家庭网络或甚至周围智能环境内的元件。
在高容量电子学(HVE)CT，如数据电视机和置顶盒(STB)中，多媒体的服务质量(QoS)被用来优化输出质量。CT中的基本媒体是高质量的音频和视频。如果基本媒体处理功能是可扩缩的，则以少量或无需额外成本可以添加其它的媒体处理功能。由于下述两个原因，缩放(scaled)的音频没有被缩放的视频重要：视频与较低质量的音频(例如单声道)相组合，感觉到视频处于较低的质量，且与高质量视频相比较高质量音频(例如多声道)仅消耗一小部分资源。CT的多媒体QoS的挑战是：找到一种可以初步被应用到高质量视频上且还支持其它媒体如3D图形的QoS方案。与在例如(网络化的)工作站环境的主流多媒体相比较，CT中的高质量视频处理具有大量显著的特征，见Journal on High-Speed Networking，Special Issueon MultimediaNetworking，IOS Press，Vol.8，No.3-4，pp.227-255，1998中由K.Nahrstedt，H.chu，S.Narayan所著的QoS-aware ResourceManagement for Distributed Multimedia Application.
不同类型媒体处理的QoS参数表现出针对应用域是非常特定的。此外，与其它媒体处理功能相比较，高质量的视频具有非常严格的时序要求。
在Proc.IEEE International Symposium on Circuits andSystems(ISCAS)，Vol.3，pp.547-550，May 2000中由G.Lafruit，L.Nachtergale，K.Denolf及J.Bormans所著的3D ComputationalGraceful Degradation中，网格、结构及屏幕分辨率被用作3D计算优美降级的QoS参数，而同时维持一个固定的帧频。对于在工作站环境中的视频应用，频繁被使用的QoS参数是屏幕分辨率、帧频、图像大小、颜色深度、比特率及压缩质量，见Proc.InternatioralConference on Multimedia Computing and System(ICMCS)Vol.1，pp.165-170，June 1999中由B.Li和K.Nahrstedt所著的DynamicReconfiguration for Complex Multimedia Application。在图像压缩领域(MPEG*，H.26*；见例如，Proc.IEEE InternationalConference on Image Processing(ICIP)，Vol.4，pp.295-299，October 1999中由J.R.Morros及F.Marques所著的Aproposal fordependent of optimization in scalable region-based codingsystems)极其详细地探究空间(分辨率)及时间(比特率和帧频)的可扩缩性。
在具有高质量视频要求的消费者媒体终端(CMT)中，这些参数通常并不适用。高质量的视频具有固定的场/帧频率、对图像跳动(即帧频波动)的不容许以及对帧跳跃的极低容限，即非常严格的时序要求。此外，TV屏幕的分辨率拟合于其标准(例如PAL，NTSC，ATSC，VGA)，且图像(或窗口)大小既可是固定的(例如主窗口或PiP窗口)也可由使用者决定。最终，广播环境中的接收者并不具有商谈压缩质量及比特率的选择权，且这正是CMT目前的情况，虽然将来对于家庭数字网络中的CMT可能有所变化。
虽然许多参数的设定是由环境强加的，而不是出于优化目的由系统可适配的，但是它们并不确定一特定视频输出质量所要求的处理量。作为实例，窗口大小确定可以被应用而没有视觉输出质量损失的嵌入尺寸复原技术，见Digest of Technical Papers IEEE InternationalConference on Consumer Electronics (ICCE)，pp.76-77，June2001中由Z.Zhong及Y.Chen所著的Scaling in MPEG-2 DecodingLoop with Mixed Processing。
因此，高质量的视频必须使用其它选择性的参数。这些参数典型地针对视频算法是特定的且随每个算法可改变。高质量视频的任选参数是滤波系数的数量(例如0、8、32、…)、所使用的场的数量(例如1、2、3、…)、参考对象(例如点、线、…)、及处理类型(例如线性的、非线性的)。
消费者产品严重地受到资源的局限，对硅成本和功率消耗产生大的压力。为了能够与专用硬件的方案相竞争，可利用的资源将必须被非常有成本效益地加以使用，而同时保留HYE CT典型的质量，如鲁棒性，并且满足由高质量数字音频和视频处理所强加的严格时序要求。
在HVE CMT中，通过利用专用媒体处理器，如TriMediaTMTechnologies Inc.的非常长指令字(VLIW)处理器系列，可进行软件媒体的处理，见Digest of Technical Papers IEEE InternationalConference on Consumer Electronics(ICCE)，pp.156-157，1997中由F.Sijstermans和G.Slavenburg所著的Providing theprocessing power for consumer multimedia。与专用硬件方案相比较，这些媒体处理器在成本和功率消耗上均是昂贵的。因此，成本效益是HVE CMT中的主要议题。成本效益需要高的平均资源利用率。
当前的HVE CT提供鲁棒的性能，并且当媒体处理在软件上被加以执行且这些终端变得更加开放时，使用者期望相同的鲁棒性。目前，使用者对多媒体在桌上型电脑及因特网器件上的应用并不具有相类似的期望(且这些应用展现出非鲁棒性能也并不是罕见的)。注意资源预算(或预留)，如出现在Proc.International Conference onMultimedia Computing and Systems(ICMCS)，pp.90-99，May 1994中由C.W.Mercer，S.Savage，H.Tokuda所著的ProcessorCapability Reserves：Operating System Support for MultimediaApplications中)的观念是一个在应用之间提供鲁棒性的被证实的概念。
高质量的视频具有50-120Hz的场频率、对图像跳动的不容许以及对帧跳跃的极低容限等作为硬实时域特征的特性。与此相对照，主流多媒体应用的特征在于低的帧频(具有最大为30Hz)和高的图像跳动容限，且此外接受频繁的帧跳跃等作为软实时域特征的特性。然而，可以想象得到未来的使用者也将期望从多媒体在桌上型电脑及因特网器件等的应用中得到被加以保证的时序性能。
在高质量的视频域中，系统的负载在多个时标(time scale)上动态地改变。由使用者启动的变化，如主窗口及PiP窗口内容的交换及切换到另一通道，以分钟为时标(典型地以脉冲串出现)而发生。同样地，由服务提供商所启动的变化，如由广告节目产生的电影中断，以分钟为时标而发生。在应用的平均负载中取决于数据的变化以秒为时标而发生，例如在电影中的景物变化。最终，许多媒体处理功能，如MPEG编码和解码，以及运动估计具有这样的一负载，所述负载示出取决于数据的随时间的大变动。这些取决于数据的负载变动以几十毫秒的时标而发生。概括地说，存在在准固定的平均负载周围的变动，以及存在涉及平均负载中的变化的变动。
为了提出在不同时标的动态性能，已经构思出一种多级自适应的控制结构，见从 http：//www.research.philips.com/manuscript/ index.htmls可获得的Philips Research Laboratories Eindhoven(PRLE)，Doc.id.NL-MS 21166，May 2001中由S.van Loo，L.Steffens，R.Derwig所著的Quality of Service ResourceManagement in Consumer Terminals，如同在由Z.Uykan所著的Hierarchical control and multimedia，Multimedia applicationsin industrial automation(多媒体在工业自动化中的应用)-Collected papers of Spring 1997 postgraduate seminar(1997年春季研究生讨论会论文集)，(Eds.H.Hytyniemi and H.Koiva)，Helsinki University of Technology，Report 106，pp.91-114，ISBN 951-22-3835，June 1997中所述，其符合不同的时间范围。
多级自适应控制借助于多媒体应用和QoS资源管理之间的合作方法得以实现。这个控制基于提供资源核心的功能性、保证及加强资源预算且支持进入(admission)测试的一个层。
资源核心提供应用之间的鲁棒性，从而解决了应用之间的时间干涉，所述时间干涉尤其是开放系统的一个主要威胁。HVE CMT成本效益的议题导致应用内附加的鲁棒性问题。具有成本效益的媒体处理要求高的平均资源利用率。这个要求与传统上靠最坏情况资源分配来满足的高质量视频的硬实时要求相冲突。因为CMT负担不起传统的实时方案，所以明智地是选择一个更平均情况的资源分配。假定动态的负载，因此应用将要面对偶然的(或瞬时的)以及结构性过载。所得到的鲁棒性问题即将由应用其自身来解决。换句话说，应用必须靠其预算来解决。
因此按几十毫秒时标的自适应控制的最低层驻留在媒体应用内部。通过使用MPEG-2解码复杂性估算模型，所要求的计算负载可以被加以预测，且随后计算被缩放以便于它将不超出其资源预算。类似的实例可见于Proc.IEEE International Symposium on Circuit andSystems(ISCAS)，Vol.3，pp.547-550，May 2000中由G.Lafruit，L.Nachtergale，K.Denolf及J.Bormans所著的3D ComputationalGraceful Degradation，其说明了3D解码及再现的自适应控制。
自适应控制的随后层是资源管理器(RM)和QoS资源管理器(QM)。RM工作在直至几百毫秒的时标上且提供可扩缩的算法(SA)和平台及操作系统以及QM之间的控制层。RM监视应用的资源使用，且基于这些测量使预算适应于它们的最佳值，且通知QM有关这些适应。偶然地，RM并不能够自动适应所述应用的资源需求，且请求来自QM的帮助。自适应控制的最高层驻留于工作在长于几百毫秒时标上的QM中。
在未决的申请WO 0219095中，自适应控制处于三个层上。除了局部资源管理器及QM以外，所谓的策略管理器(SM)被加以说明。这个SM正在控制不同应用的质量等级的总体比例缩放。所述SM满足了QM与使用可扩缩的算法(SA)如可扩缩的MPEG2解码器的可扩缩应用之间通信的需求。
图1示意性地示出SA1的一个实例。所述SA1基本上由用于媒体处理的算法2及质量控制块3组成。SA1可以被分成若干个特定功能4、5、6、7，其中一些功能是可扩缩的。输出的质量取决于这些功能的质量等级的适当组合。在这些组合中，仅有几个提供SA1可接受的质量等级。最佳的质量-资源组合靠在最低资源时具有最大质量的曲线来连接。质量控制块3包含这个信息和适当的功能设定。这个概念给SM强加了许多责任。SM必须应对每个单个算法、不同应用的SA的配置、针对应用特定的优化等。此外，SM必须使SA适应于由使用者或系统(QM)所请求的所有类型的变化。此外，输入和输出参数必须被加以考虑，这对于部分处理链可能是困难的。在一个SM模型内所有的这些责任使设计、维护SM且使SM适合于新功能或应用变得困难。
本发明的目的是提供一种用于运行媒体应用的方法，所述方法导致改善的系统优化和资源分配。
发明概述
因此本发明涉及一种运行媒体应用的方法，所述媒体应用若干算法，每个算法既可是可扩缩的也可是不可扩缩的，所述方法包括：
(a)接收输入信号，
(b)执行所述算法以产生输出信号，
(c)将作业定义为一可能的算法簇集合，用于完成处理路径中某一预先定义的部分，
(d)基于输入和/或输出规范，为媒体应用中的每个作业选择一个作业模式，作业模式是可能的簇集合当中的一个特定的算法簇。
通过使执行特定任务的算法成簇，作业控制单元可以控制一个作业的质量和资源管理，且因此解除(relieve)了策略管理器。
优选地上述提到的方法包括：每当系统变化发生时，选择作业的一个操作状态，所述选择取决于：
-作业模式，
-作业模式有效的质量等级集合，其被称为操作集合，
-被指定的输出质量等级。
通过动态地选择适当的作业状态，每个作业将在资源利用率和输出质量方面被优化。这将导致整个系统资源被加以改善的优化。
此外，本发明涉及到一种媒体系统，其包括用于接收输入信号的输入装置、及处理器，所述媒体系统被设置成用于运行媒体应用，所述媒体应用包括若干算法，每个算法既可是可扩缩的也可是不可扩缩的，所述处理器被设置成用于：
(a)执行所述算法以产生输出信号，
(b)基于输入和/或输出规范，为媒体应用中的每个作业选择一个作业模式，作业模式是可能的算法簇集合当中的一个特定的算法簇，所述集合被称为作业，
(c)每当系统发生变化时，选择所述作业的一操作状态。
在一实施例中所述媒体系统是一种多媒体通信设备，如数字式消费者多媒体终端。
最终本发明涉及到一种被设置成执行上述所说明方法的计算机程序产品，及一种包括这种计算机程序产品的存储介质。
附图的简要说明
下面，本发明将参考一些附图被加以解释，其旨在仅用于示例目的且并不限制如所附的权利要求所定义的保护范围。
图1示出根据当前发展状况的可扩缩算法的实例。
图2示意性地示出一作业的实例。
图3示出一视频增强作业的一些作业模式。
图4是在特定作业模式下作为作业资源的函数的离散质量等级图形。
图5是质量/资源控制单元的简图。
图6示出一些作业模式和对应质量等级之间的映射。
图7示意性示出作业模式变化的实例。
图8示意性示出根据本发明的媒体系统的实例。
优选实施例的说明
公用CMT可接受来自不同类型输入源，如卫星、线缆、存储设备、因特网和以太网的输入。视频输入可以是数字式或模拟式。CMT可具有若干视频输出：显示器、存储设备(如VR、DVD+RW、或硬盘)、以及IEEE 1394或因特网链接。基于使用者焦点可将显示器上的输出再分成两个(动态变化的)组。使用者焦点诱发输出的相对重要性。在这些输入和输出之间存在在复杂情形下包含接合和分岔的若干处理路径。
在CMT内的每个处理路径典型地包括若干功能性处理部分，例如通道解码、图片增强以及再现(对于显示器)或编码(对于链接)。每个部分包括执行特定作业所必须的任务的某一组合(簇)。因此在这个发明中，这些功能性的处理部分被称为作业(job)。如果CMT是可扩缩的可编程媒体设备，则它将包含若干可扩缩的算法(SA)。在这种情况下作业将包括一簇SA(以及还可能不可扩缩的算法(NSA))。图2示意性地示出作业21的实例。作业21包括资源控制单元22、几个SA 23、24、25及不可扩缩的算法26。资源控制单元22与SA 23、24、25进行通信。每个SA 23、24、25包括控制功能30的资源的质量控制(QC)27、28、29。SA的结构类似图1中所示的当前发展状况的结构。
鉴于作业的功能性说明是综合的(例如增强或解码任务与增强或其它的组合)，在一单作业内可能存在若干特定的任务，所述任务是特定的且取决于某些参数，如通道、源、格式和输出平均值。例如，扫描速率转换分别取决于显示器类型(例如隔行扫描的或渐进式的)，及输入数据的类型(例如隔行扫描的或渐进式的)。这导致在相同的作业内针对不同参数的不同功能(处理类型)集合。例如，由于通道变化或窗口之间的交换导致参数可动态地变化。这些参数的某些设定定义了作业功能的唯一组合，我们称之为作业模式。
在图3中给出针对不同源、格式及输出窗口的视频增强作业的作业模式的一些实例。从这个图中人们可看出对于不同的源、格式及显示器窗口，视频增强作业中任务的功能性、数量及次序也不同。这导致不同的作业模式。
类似于SA，作业可以缩放，从而给出与每个作业模式相联系的离散的质量等级集合。作业提供每个质量等级(估算的)资源要求。在图4中示出一离散的质量等级的实例。在图4中在某一作业模式m下输出质量等级相对于资源量的关系被绘出。在“云”中的每个圆点表示由组成作业的不同SA所使用的某些资源量所产生的质量等级。给定一资源量，这个量在SA当中是可能具有不同的分布。一些部分导致比其它部分较高的质量等级。在图4的图形中可以看出这个事实，即在垂直线周围的两个或多个圆点。
在作业是SA簇的情况下，人们可期望作业的视觉输出质量的范围(即“云”的大小)取决于输入源数据的类型及输出装置(窗口/扬声器、存储设备)的类型和大小。例如，如果视频源数据是HighDefinition(HD)(高清晰度)且被显示在HDTV上，则输出质量将远高于若源数据是Standard Definition(SD)(标准清晰度)的情况。因此，每个作业及由此每个处理路径的质量等级集合取决于特定的作业模式m。
因此，在根据本发明可扩缩的可编程处理设备中，在选择作业可能的质量等级(资源集合及由此对应的输出质量)之前，其中作业是有效的特定模式m被加以选择。这个选择被动态地加以进行，即每当系统出现变化时，则(可能不同的)作业模式的选择得以进行。
例如由于通道变化或主窗口及PiP窗口内容的交换所导致的作业模式变化被称为作业模式变化(JMC)。JMC可导致作业特定功能性及其算法的数量和次序的变化。对于每个作业模式，许多操作集合的被加以定义，这将在下面加以说明。在图4中在“云”顶部的质量等级组成了操作集合。取决于象窗口大小(确定可适用的嵌入尺寸复原技术)和使用者焦点等特征，每个操作集合为每个算法确定特定的处理。操作集合被动态地加以选择，且操作集合的变化被称为操作集合变化(OSC)。
图5示意性地示出根据本发明的媒体50的功能性结构实例。在系统50中不同的作业在相同时间被执行。这些作业的资源由QoS管理器(QM)51加以控制。QM51负责系统50的鲁棒性、有效的资源使用和优化。这样的任务可通过不同应用与QM51之间有效的接口来完成。根据本发明，所述接口被分成三个等级，即策略管理器52、作业管理器(JM)53和质量控制(QC)54。QC54是控制SA55的控制单元。SA55执行特定的功能56，例如噪声降低。它还提供不同的方法来执行具有不同资源要求及由此不同输出质量的相同功能。这些方法中的每个方法定义了可扩缩性等级1∈L，L→{Rl，Ql)}，其中(Rl，Ql)指示所要求的资源，和等级1所取得的输出质量，见未决申请WO0219095。SA 55的可扩缩性等级1由算法的设计者来定义，且由预先定义的算法特定参数(例如系数的数)集合来设定。QC54设定必要的参数，以为了执行由QoS系统所请求的可扩缩性等级1。
在初始化时，JM53提供具有可扩缩性参数P、作业模式M和每个作业模式m∈M的有效质量等级{(Rm，Qm)}集合的较高层(即SM52)，其中Rm指示作业所要求的资源，且Qm指示在作业模式m下为参数P所取得的常见输出质量。在运行时间，如从较高层(SM52和QM51)所请求，它设定了当前作业模式的SA的可扩缩性等级。QM51执行可服务于若干不同应用如视频、音频、图形、因特网、存储及其它等的系统的资源利用率优化。为了以快速且合理的方法执行优化，优选地所有特定的应用语义(application semantics)被从应用中剥去。在实施例中，SM52是QM51和媒体应用之间的接口。即，每个媒体应用可具有其自己的SM52。SM52的一个任务是将具有媒体语义学的信息转换成不具有QM51的媒体语义的空间。可扩缩算法的质量尺度针对算法、源数据和输出装置是特定的。优选地，由于下面三个原因QoS系统对它们是盲的：
-避免过剩的不必要信息，
-支持对不同平台的可携带性(随系统的变化)，
-支持更新(随时间的变化)。
SM52在作业模式变化期间选择作业的作业模式，且通知QM51在处理路径中每个作业模式的操作集合。在一实施例中SM52将来自系统其它模块，象窗口管理器(WM)、使用者接口(UI)及来自其它媒体应用的SM的相关信息加以考虑。
因此，SM52选择性地将QM51的质量搜索空间减至最小，以仅包括有效的质量点。在一实施例中，除了每个作业的操作集合以外，它传递到QM51的信息还有定义作业重要性的若干加权，且取决于输出窗口大小。在系统优化阶段期间，然后这些加权进一步被QM51所利用。
为了允许由QM51进行的系统优化，作业的质量/资源值以语义上的中性术语被表达成作业效用(job utility)。
优选地，QM51选择那样一些质量等级，在所述质量等级上作业以这样的方法被加以执行，以便于整个系统效用被最大化，且资源要求满足资源可用性。整个系统效用由运行作业的作业效用、运行作业的从属性(由处理路径产生)、以及与这些作业相联系的相对重要性等级来确定。
在执行系统效用的全程(集中的)优化之后，QM51维持来自运行作业的所谓的质量映射(见图6)(基于由QC54所提供的动态资源需求)。作业数量的变化、作业的相对重要性、作业的质量映射(因JMC和QSC)以及来自QC54的帮助请求要求重新的优化。因为快速变化的质量等级被理解为非优质的，所以质量等级必须被少量地加以调节。注意这个方面未被包含在Proc.20th IEEE Real-Time SystemsSymposium(RTSS)，pp.315-326，December 1999内由C.Lee，J.Lehoczky，R.Rajkumar和D.Siewiorek所著的Ascalable solutionto the multi-resource QoS problem中，整个质量优化作业之间从属性的并入也未被包含其中。
JMC可导致特定作业的算法23、24、25的数量和次序的变化。在JMC时切换必须是无缝的，且在算法连接的重新配置时，必须防止新和旧模式数据的相互混合。
在实施例中，媒体应用负责提供无缝的切换及防止数据的相互混合。如下面实例所示例，QM51必须确保应用得到必要的资源以做到如此(即得到保证的资源预算)。
在媒体系统中，到另一通道的切换可涉及到JMC，从而需要由QM51进行的重新优化，并且带来运行作业的新质量等级。在这种情况下，首先执行作业质量等级的降低，随后紧着是这些作业的资源预算的降低。作为下一步，将接收到较高质量等级的作业资源预算被增加，随后紧接着是质量等级的增加。
变化的类型：
考虑到多媒体TV系统，可想起其稳定状态的若干变化；改变通道、打开一新窗口以观察不同的应用、交换窗口及其它。所有这些情况引入系统及每个路径的作业中的若干变化。下面，以可扩缩视频算法(SVA)簇被执行的三种类型变化：作业模式变化、操作集合变化及质量等级变化被加以说明。所述变化及其原因被总结在表1中且在下面被加以解释。
作业模式变化
在作业模式变化(JMC)中，作业功能的基本集合发生变化。这个功能集合是用来提供正确的输出所必须的。JMC的特征在于资源要求的可能的大变化及视觉质量的清晰变化。它们由使用者或由通道的源特征的变化来激活，而绝不是从QoS系统来激活。为了更好地理解作业模式变化的性质，下面举出一些实例。
主及PiP窗口之间的交换。相同源的处理对于主及PiP(画中的画)可是不同的。因此，当使用者交换两个窗口时，到两个路径的作业模式变化被加以执行，这对应于表1中的情况1。这种变化是通过使用者界面(UI)被加以请求。
通道变化。使用者利用不同于旧通道(例如，模拟的)的新通道(例如，数字)的源改变通道。这个实例对应于表1中的情况2。通道变化是通过UI被加以请求。
通道内源的变化。在相同通道内的服务提供商可传递具有一些不同输入参数，例如由商业广告(视频)所中断的电影(影片)的源。这样的变化由数据的处理(例如视频解码)进行探测，且被用来在路径的适当作业中启动作业模式变化(表1中的情况3)。
任何JMC包括一操作集合及由此针对这个作业的质量等级变化，以及系统中其它激活作业可能的质量等级变化(QLC)。
操作集合变化
在操作集合变化(QSC)中，一作业的基本功能集合并不变化(相同的作业模式)。所要求的资源集合，即操作集合发生变化。OSC的特征在于在一作业模式内不同的资源要求及所期望的视觉质量的变化。它们由使用者来激活。
操作集合变化的一些实例如下所示。
焦点的变化。当若干应用(窗口)被打开时，可利用的资源可能并不足够用以支持它们所有的最高输出质量。使用者可规定那些窗口他更感受兴趣(具有他的焦点)从而让QM51将其它窗口的质量等级调节到较低范围。有效质量等级集合(即操作集合)针对具有焦点的应用和没有焦点的应用是不同的。使用者可决定改变一个或更多个窗口的焦点(表1中的情况4)。这个动作可导致这些窗口中的每一窗口操作集合的变化。
窗口大小的变化。由针对输出质量等级集合的作业模式所请求的资源集合可取决于显示器窗口的大小(即打孔和嵌入尺寸调整技术)。因此显示器窗口大小的变化可由操作集合的变化来调节(见表1中的情况5)。
任何OSC诱发这个作业及可能地系统中其余作业的质量等级变化(QLC)。
质量等级变化
在质量等级变化(QLC)中，作业功能的基本集合(作业模式)及操作集合保持相同。作业模式的有效质量等级集合的质量等级发生变化，即其资源要求及其输出质量。QLC的特征在于在一作业模式的操作集合内不同的资源要求及视觉质量的变化。它们由QM51、QM52或使用者来激活。如我们已经在上面所陈述的那样，一作业的任何JMC或OSC导致这个作业及可能系统中其余作业的OLC。质量等级变化原因的一些其它实例见如下。
起动新的应用。使用者可决定打开一新的窗口来观察新的应用(例如新的程序)。新应用建立新作业，且这可导致对已经现存的作业的间接影响。新的作业可要求并不存在的额外系统资源量。在这种情况下现存的作业应该释放一些资源，其可以通过降低它们的质量等级而实现(表1中的情况6)。当应用被关闭时可以得到相反影响的特点。
负载变化。存在其负载(load)对视频内容的某些参数如运动和细节敏感的视频算法。如果一算法的负载及因此一作业要比起初所申明的高时，则QM51可通过向作业分配更多的资源而做出反应。如果并不存在足够可利用的资源，则QM51或SM52可降低这个(或一些其它较不重要的)作业的质量等级(表1中的情况7)。
    情况   变化   原因 对作业的影响
    1   使用者   窗口 作业模式变化
    2   源
    3   提供商
    4   使用者   焦点 操作集合变化
    5   窗口大小
    6   使用者   应用# 质量等级变化
    7   视频内容   负载
表1：变化的类型：原因及影响
在对系统的动态性能说明加以说明之前，首先对说明一作业稳定状态的参数进行定义。
在媒体系统中，若干作业J，J＝1，…，|B|正在运行。每个作业J具有一作业模式集合MJ。每个作业模式m∈MJ具有一任务集合(即SA)NJ m和一操作映射集合ΦJ m。每个操作映射φ∈ΦJ m的范围是一有效质量等级LJ m，Φ集合(即，操作集合)。作业模式、操作集合和映射以及质量等级之间关系的图形表示被提供在图6中。在椭圆形MJ中的圆点表示作业模式。同图4中所示的圆点相类似，LJ m，Φ椭圆中的圆点表示质量等级。
每个质量等级LJ m，Φ映射到一多元组(R，Q)1，所述多元组定义作业支持的相应视觉输出质量和资源要求。
资源要求R由R＝(r1，r2，…，r|R|)所定义，其中ri，i＝1，…，|R|是根据资源类型Rj请求的(静态)量，且|R|是系统资源的数量。这些资源要求R被用在进入(admission)控制及预算(重新)分配程序中。
输出质量值Q被提供用于系统的优化。这个发明的主要议题之一是输出视觉质量(为正确且最佳)是系统性能的主要因素。然而，为了以语义中性方法执行优化，输出质量值Q被转换成作业效用u，使umin＜u＜umax，使umin和umax成为语义上中性质量等级的最低级和最高级。在常规基础上，对应于适当映射φ的多元组集合{(R，u)1}1∈LJm，Φ被SM52提供给QM51以执行系统的优化。
所以作业状态SJ由下述加以说明：
-当前的作业模式，
-适当的操作映射，以及
-所分配的质量等级，即SJ＝(mJ，φJm，lJ m，Φ)。
在每个JMC和OSC时，作业57、58负责选择适当的作业模式和操作映射并且负责向QM51提供对应的操作集合。QM51负责选择系统中每个作业的质量等级。作业状态的变化牵连到系统及功能性，以及视频处理模块的控制。随后的牵连将在下面加以说明。
每个作业模式m∈MJ由任务的特定组合NJ m组成。任务之间的同步通过局部队列来执行。一任务从其输入队列接收数据、对它们进行处理且将它们发送到其输出队列。数据借助于信息包如场、帧或在共享存储器情况下的场/帧的指针而被发送。如果一任务的输出队列是空的，则所述任务一直保持阻塞直至新数据到达其输入队列。如果输出队列已满，则一任务也可被阻塞。
在JMC中，即从mi到mj，使mi，mj∈MJ，则任务作业的组合被改变。通过去除一些任务(旧的)，及/或包括新的任务(新的)，以及/或变化一些现存任务的次序或参数(变化的)，这个改变可以被驱动。阻塞是通过不向它们的输入队列发送数据而获得的。同样通过不阻塞它们，则获得任务的插入。任务的次序由作业模式mj来定义，且通过设定它们的输出队列受到任务(SVA)控制部分的控制。在图7中，示出JMC的一实例。
在JMC中的主要议题之一是在任务集合中的任何改变应该被无缝地加以执行。在视频处理链中，重要地是每个任务的过程被应用到正确的数据。如果JMC与新数据同步，则我们防止了错误的输出图像格式。例如，让我们假设旧的源是HD源，且显示器是SD。则旧的作业模式降低了输入源的分辨率以与显示器要求相匹配。同样，让我们假设新的源是SD且处理并不适应于时间。则直至正确的处理被设定，在SD显示器上输入分辨率将一直是SD源被降低的分辨率！在本发明的一实施例中，有效的过渡是通过模式压印(stamping)数据而获得的，且使SA(即QC54)的控制部分是作业模式知晓的。
在JMC中，任务集合发生变化，而且任务之间的连接也发生变化。因此，另一重要的议题是防止旧和新模式数据相互之间的混合。见图7，虽然T2还未完成旧模式数据的执行，但当例如为了阻塞T2任务T1正在将其新模式输入数据重新发送到T3时，数据可以被相互混合。通过在作业模式变化期间操纵处理任务的优先权(使T2具有较高的优先权将保证在T1重新发送之前它将完成处理)，数据的相互混合可以被防止。另一方案可通过控制重新发送任务输出队列的时序而被提供。例如，当任务T2已经完成旧模式的数据时，它向T1发送一允许信号，且T1在向Q2发送新模式的数据之间一直等待这个允许信号。第三个方案支持数据次序恢复。T3(Q2)的输入队列由两个随模式而特定的子队列组成。因此，队列控制着在相应子队列中旧和新模式数据的正确分离(发送)，且仅当旧模式数据被完成时新模式数据才能够被发送到下一任务(T3)。
所述第一方案意味着在运行时间改变任务的优先权，其增加了系统的开销。所述第三方案是一非常有吸收力的方案，但却要求支持这种队列管理的系统。虽然所述第二方案使SA的控制部分的设计复杂化，但是结果它变得非常有效。它是我们优选的一个方案。
正如我们上面所说明，在OSC或QLC中，一作业的任务集合并不变化；作业模式得到维持。在OSC中，映射被从φi变化φj到，见图6。这是由处理所定义的资源需求变化的结果，所述处理由SA设计者引入以处理特殊情况，如焦点或窗口大小的变化。
在QLC中，在预先定义的操作映射范围内即li，lj∈LJ m，Φ，说明作业表现的质量等级被修改，即从li至lj(图6)。因象上述所说明的原因，QM51改变作业可利用的资源。通过改变集合NJM任务的处理，作业响应于这个变化。通过进行上述这些，它确保多元组(R，Q)lj得到满足。
作业模式的质量等级由应用设计者来定义。任务处理(SA)的改变可以通过变化系数的数量、或场、或被考虑的对象(例如点相对于线)及许多更多内容而加以执行。
图8示意性地示出根据本发明的媒体系统的实例。所述媒体系统包括被连接到存储有指令的数据的存储器单元81、82、83、84的处理装置80、一个或多个读取单元85(以读取例如软盘91、CD ROM’92、DVD’s等)、作为输入设备的键盘86和鼠标、以及作为输出设备的监视器87及打印机88。可提供其它输入设备，象轨迹球和触摸屏幕以及其它输出设备。对于通过网络90的数据通信，提供接口装置89。
所示出的存储器单元包括RAM 84、(E)PROM 83、ROM 82和硬盘81。然而，应该理解到可提供本领域中普通技术人员所公知的更多及/或其它存储器单元。此外，如果需要的话，它们中的一个或多个可从物理上定位在远离处理装置80的地方。处理装置80被示出为一个盒形，然而，它们可包括并行发挥作用或由一个主处理器所控制的几个处理单元，正如本领域普通技术人员所公知的，它们可彼此之间远距离地被定位。
虽然本发明已经结合所优选的实施例被加以说明，但是要理解为对于本领域那些普通技术人员，在上述所概述的原理之内对其的修改是显而易见。本发明并不局限于所优选的实施例，但却旨在包含这样的修改。

Claims (18)

1.一种运行媒体应用的方法，所述媒体应用包括若干算法，每个算法既可是可扩缩的也可是不可扩缩的，所述方法包括：
(a)接收输入信号，
(b)执行所述算法以产生输出信号，
(c)将作业定义为一可能的算法簇集合，用于完成处理路径中某一预先定义的部分，
(d)基于输入和/或输出规范，为媒体应用中的每个作业选择一个作业模式，作业模式是可能的簇集合当中的一个特定的算法簇。
2.根据权利要求1的方法，其中所述方法包括：
(e)每当系统发生变化时，选择所述作业的操作状态，所述选择取决于：
-作业模式，
-作业模式的有效质量等级集合，其被称为操作集合。
3.根据权利要求2的方法，其中所述作业的所述操作状态的选择取决于被指定的输出质量等级。
4.  根据任何上述权利要求的方法，其中所述输入规范包括输入信号的类型。
5.根据任何上述权利要求的方法，其中所述输出规范包括输出格式的类型。
6.根据任何上述权利要求的方法，其中所述方法包括：
(f)将作业输出质量值用语义学上的中性术语表达成作业效用，
(g)根据所有作业的作业效用确定整个系统的效用。
7.根据任何上述权利要求的方法，其中所述方法包括：
(h)对每个作业仅将操作集合传递到服务质量资源管理器，
(i)将定义作业重要性的若干加权传递到服务质量资源管理器，
(j)利用服务质量资源管理器中不同作业的所述若干操作集合和加权，优化媒体系统。
8.根据任何上述权利要求的方法，其中作业模式的变化与新数据同步，以防止错误的输出图像格式，且其中通过模式压印所述数据获得有效的过渡。
9.根据任何上述权利要求的方法，其中，为了防止存在于算法输出队列中的旧和新模式数据相互混合，在作业模式变化期间任务的优先权被进行操纵。
10.根据任何上述权利要求的方法，其中，为了防止存在于算法输出队列中的旧和新模式数据相互混合，任务输出队列的重新路由选择时序被加以控制。
11.一种媒体系统，包括用于接收输入信号的输入装置、及处理器，所述媒体系统被设置成用于运行媒体应用，所述媒体应用包括若干算法，每个算法既可是可扩缩的或是不可扩缩的，所述处理器被设置成用于：
(a)执行所述算法以产生输出信号，
(b)基于输入和/或输出规范，为媒体应用中的每个作业选择一个作业模式，作业模式是可能的算法簇集合当中的一个特定的算法簇，所述集合被称为作业，
(c)每当系统发生变化时，选择所述作业的一操作状态。
12.根据权利要求11的媒体系统，其中所述处理器被设置成处理：
-在多种应用模式下可操作的至少一个应用；
-服务质量资源管理器，其用于确定是否所述可利用的资源适合于操作以给定的一个所述应用模式来完成所述至少一个应用所需要的至少一个媒体算法；以及用于跟踪多少计算资源可用，以被所述至少一个应用所使用；
-策略管理器，其用于选择媒体算法且将其配置成媒体算法(作业)簇；
-至少一个局部质量控制，其用于控制由所述至少一个媒体算法所使用的设定；
-至少一个作业控制单元，其用于控制所述媒体算法簇的资源/质量，所述作业控制单元响应于所述策略管理器且响应于局部质量控制以在所述簇中选择媒体算法的资源。
13.根据权利要求12的媒体系统，其中所述作业控制单元被设置成从所述策略管理器接收所需要的作业质量等级，将所需要的作业质量等级转换成质量等级1用于存在于所述对应簇中的每个所述至少一个算法。
14.根据权利要求13的媒体系统，其中所述作业控制单元为所述策略管理器提供可扩缩性参数P、作业模式M，及对于每个作业模式m∈M的操作集合{(Rm，Qm)}的一个集合。
15.根据权利要求14的媒体系统，其中在运行时间，根据所述策略管理器或根据所述服务质量资源管理器所请求，所述作业控制单元设定当前作业模式的可扩缩算法的可扩缩性等级。
16.根据任何权利要求11-15的媒体系统，其中所述媒体系统是一多媒体通信设备。
17.一种被设置成执行根据权利要求1-10所述方法的计算机程序产品。
18.一种包括根据权利要求17的计算机程序产品的存储器介质。
CNA02814130XA 2001-07-13 2002-07-12 运行媒体应用的方法及具有作业控制的媒体系统 Pending CN1527968A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP01117107 2001-07-13
EP01117107.1 2001-07-13

Publications (1)

Publication Number Publication Date
CN1527968A true CN1527968A (zh) 2004-09-08

Family

ID=8178041

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA02814130XA Pending CN1527968A (zh) 2001-07-13 2002-07-12 运行媒体应用的方法及具有作业控制的媒体系统

Country Status (6)

Country Link
US (1) US20040205217A1 (zh)
EP (1) EP1410148A1 (zh)
JP (1) JP2005504461A (zh)
KR (1) KR20040017301A (zh)
CN (1) CN1527968A (zh)
WO (1) WO2003007134A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105122234A (zh) * 2013-02-12 2015-12-02 肯赛里克斯公司 使用成本分析来部署跟踪目标
US9658936B2 (en) 2013-02-12 2017-05-23 Microsoft Technology Licensing, Llc Optimization analysis using similar frequencies
US9665474B2 (en) 2013-03-15 2017-05-30 Microsoft Technology Licensing, Llc Relationships derived from trace data
US9772927B2 (en) 2013-11-13 2017-09-26 Microsoft Technology Licensing, Llc User interface for selecting tracing origins for aggregating classes of trace data
US9804949B2 (en) 2013-02-12 2017-10-31 Microsoft Technology Licensing, Llc Periodicity optimization in an automated tracing system
US9864672B2 (en) 2013-09-04 2018-01-09 Microsoft Technology Licensing, Llc Module specific tracing in a shared module environment
US10178031B2 (en) 2013-01-25 2019-01-08 Microsoft Technology Licensing, Llc Tracing with a workload distributor

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070006786A (ko) * 2004-03-19 2007-01-11 코닌클리케 필립스 일렉트로닉스 엔.브이. 리소스－스케일러블 움직임 추정기에서 미디어 신호프로세싱 방법, 대응 시스템, 및 그의 애플리케이션
US7603506B2 (en) * 2004-06-18 2009-10-13 Broadcom Corporation Motherboard with video data processing card capability
US20050289523A1 (en) * 2004-06-24 2005-12-29 Broadcom Corporation Method and apparatus for transforming code of a non-proprietary program language into proprietary program language
US7612779B2 (en) * 2004-06-25 2009-11-03 Broadcom Corporation Video data processing circuits and systems comprising programmable blocks or components
US7356625B2 (en) * 2004-10-29 2008-04-08 International Business Machines Corporation Moving, resizing, and memory management for producer-consumer queues by consuming and storing any queue entries from an old queue before entries from a new queue
JP5448344B2 (ja) * 2008-01-08 2014-03-19 株式会社Ｎｔｔドコモ 情報処理装置およびプログラム
WO2012025790A1 (en) * 2010-08-26 2012-03-01 Freescale Semiconductor, Inc. Video processing system and method for parallel processing of video data
US8316024B1 (en) * 2011-02-04 2012-11-20 Google Inc. Implicit hierarchical clustering
US20120275502A1 (en) * 2011-04-26 2012-11-01 Fang-Yi Hsieh Apparatus for dynamically adjusting video decoding complexity, and associated method
US9244652B1 (en) * 2013-06-03 2016-01-26 The Mathworks, Inc. State management for task queues
US10671947B2 (en) * 2014-03-07 2020-06-02 Netflix, Inc. Distributing tasks to workers in a crowd-sourcing workforce

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5457780A (en) * 1991-04-17 1995-10-10 Shaw; Venson M. System for producing a video-instruction set utilizing a real-time frame differential bit map and microblock subimages
GB2257591B (en) * 1991-07-08 1994-08-03 Sony Broadcast & Communication Video standards conversion
GB2264417B (en) * 1992-02-17 1995-12-06 Sony Broadcast & Communication Video standards conversion
WO1997015149A1 (en) * 1995-10-18 1997-04-24 Philips Electronics N.V. Method for making a multimedia application executable on hardware platforms with various different resource levels, a physical record containing such application, and an apparatus for executing such application
KR100249228B1 (ko) * 1997-08-28 2000-03-15 구자홍 디지탈 티브이의 화면비 변환장치
US6329998B1 (en) * 1997-08-28 2001-12-11 Lg Electronics Inc. Multiple screen processor for processing video image data formats
KR100248404B1 (ko) * 1997-09-04 2000-03-15 정선종 다중 객체 환경에서 우선 순위 정보를 이용한 순화적 계산량 감소 방법
US6594699B1 (en) * 1997-10-10 2003-07-15 Kasenna, Inc. System for capability based multimedia streaming over a network
US6581102B1 (en) * 1999-05-27 2003-06-17 International Business Machines Corporation System and method for integrating arbitrary isochronous processing algorithms in general media processing systems
WO2001016742A2 (en) * 1999-08-31 2001-03-08 Times N Systems, Inc. Network shared memory
US6421778B1 (en) * 1999-12-20 2002-07-16 Intel Corporation Method and system for a modular scalability system
US20030058942A1 (en) * 2001-06-01 2003-03-27 Christian Hentschel Method of running an algorithm and a scalable programmable processing device
US6674800B1 (en) * 2000-08-29 2004-01-06 Koninklijke Philips Electronics N.V. Method and system for utilizing a global optimal approach of scalable algorithms
US7140016B2 (en) * 2000-11-29 2006-11-21 Texas Instruments Incorporated Media accelerator quality of service

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10178031B2 (en) 2013-01-25 2019-01-08 Microsoft Technology Licensing, Llc Tracing with a workload distributor
CN105122234A (zh) * 2013-02-12 2015-12-02 肯赛里克斯公司 使用成本分析来部署跟踪目标
US9658936B2 (en) 2013-02-12 2017-05-23 Microsoft Technology Licensing, Llc Optimization analysis using similar frequencies
US9767006B2 (en) 2013-02-12 2017-09-19 Microsoft Technology Licensing, Llc Deploying trace objectives using cost analyses
US9804949B2 (en) 2013-02-12 2017-10-31 Microsoft Technology Licensing, Llc Periodicity optimization in an automated tracing system
US9665474B2 (en) 2013-03-15 2017-05-30 Microsoft Technology Licensing, Llc Relationships derived from trace data
US9864672B2 (en) 2013-09-04 2018-01-09 Microsoft Technology Licensing, Llc Module specific tracing in a shared module environment
US9772927B2 (en) 2013-11-13 2017-09-26 Microsoft Technology Licensing, Llc User interface for selecting tracing origins for aggregating classes of trace data

Also Published As

Publication number Publication date
JP2005504461A (ja) 2005-02-10
KR20040017301A (ko) 2004-02-26
EP1410148A1 (en) 2004-04-21
US20040205217A1 (en) 2004-10-14
WO2003007134A1 (en) 2003-01-23

Similar Documents

Publication Publication Date Title
CN1527968A (zh) 运行媒体应用的方法及具有作业控制的媒体系统
US7016547B1 (en) Adaptive entropy encoding/decoding for screen capture content
CN1112045C (zh) 用反复误差数据编码方法进行视频压缩
CN1276366C (zh) 多媒体内容适配的设备、方法和系统
JP4201389B2 (ja) 画像の画像強調としきい値処理を実施する方法及び装置
US20080101410A1 (en) Techniques for managing output bandwidth for a conferencing server
CN1669233A (zh) 视频压缩系统
JP2011524572A (ja) マルチメディア会議イベント用のホワイトボード管理手法
CA2740800A1 (en) Predicted pixel value generation procedure automatic producing method, image encoding method, image decoding method, apparatus therefor, programs therefor, and storage media whichstore the programs
CN102170552A (zh) 一种视频会议系统及其中使用的处理方法
CN1278563C (zh) 视频数据压缩和解压缩的方法
CN104469370A (zh) 一种视频转码的方法和装置
US10812832B2 (en) Efficient still image coding with video compression techniques
CN112839184B (zh) 图像处理方法、装置、电子设备及存储介质
JP2010531512A (ja) レーザコンテンツを使用して場面を構成するための方法及び装置
CN105704424A (zh) 多画面处理方法、多点控制单元及视频系统
Wang et al. UHD video coding: A light-weight learning-based fast super-block approach
JP7334470B2 (ja) 映像処理装置、ビデオ会議システム、映像処理方法、およびプログラム
CN1695378A (zh) 处理媒体系统上的媒体信号
JP2007068075A (ja) 画像処理装置、画像処理方法及びそのプログラム
CN116567346A (zh) 视频处理方法、装置、存储介质及计算机设备
CN113191945B (zh) 一种面向异构平台的高能效图像超分辨率系统及其方法
US7925721B2 (en) Method and apparatus for converting the modality of multimedia contents to support the quality of service according to media resource
CN1394443A (zh) 运行一种算法的方法以及一种可伸缩编程的处理设备
CN110784731B (zh) 一种数据流转码方法、装置、设备及介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
C20 Patent right or utility model deemed to be abandoned or is abandoned