CN102171651B - 用于处理视频数据的方法、装置和系统 - Google Patents

用于处理视频数据的方法、装置和系统 Download PDF

Info

Publication number
CN102171651B
CN102171651B CN200980139217.8A CN200980139217A CN102171651B CN 102171651 B CN102171651 B CN 102171651B CN 200980139217 A CN200980139217 A CN 200980139217A CN 102171651 B CN102171651 B CN 102171651B
Authority
CN
China
Prior art keywords
video
frame
signal
threshold
enhancing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200980139217.8A
Other languages
English (en)
Other versions
CN102171651A (zh
Inventor
A·哈吉尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN102171651A publication Critical patent/CN102171651A/zh
Application granted granted Critical
Publication of CN102171651B publication Critical patent/CN102171651B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation

Abstract

一种视频处理设备可以包括视频处理逻辑,以控制在视频处理设备上执行的增强操作。视频处理逻辑可以响应于接收到多个视频帧而确定短期帧速率平均数值。而且,视频处理逻辑可以使用短期帧速率值来生成短期帧速率的导数。如果短期帧速率的导数低于第一阈值,那么视频处理逻辑可以激活对处理器使用率的监视。如果处理器使用率平均数值高于第二阈值,那么视频处理逻辑可以降低所述多个视频帧的呈现性能。当恢复性能时,视频处理逻辑可以在确定处理器资源可用后,逐步恢复增强操作。

Description

用于处理视频数据的方法、装置和系统
背景技术
在诸如资源受限设备之类的数字系统中可以提供视频数据处理设备。在一个实施例中,资源受限设备可以指一组设备,其包括有限的资源(诸如处理周期、存储器和带宽)以传送数据。资源受限设备可以包括蜂窝式电话、个人数字助理(PDA)、移动互联网设备(MID)、照相机、可携式摄影机(camcoder)、数字多功能盘播放器、光盘播放器以及此类其它类似设备。
处理视频数据的资源受限设备可以包括小尺寸显示屏以显示视频。小尺寸的屏幕可能限制资源受限设备的用户的视频观看体验。为了避免或减少视频观看中的该模仿(imitation),视频处理设备可以使用视频增强技术。可以使用额外的资源来执行增强技术。使视频处理性能与资源受限设备上的可用资源相匹配可以用来保持稳定的服务质量(QoS)值。
发明内容
根据第一实施例,提供了一种用于处理视频数据的方法,包括:
估计处理多个视频帧的平均帧速率,
确定连续估计之间的所估计的平均帧速率的改变,
如果所估计的平均帧速率的改变低于第一阈值,则激活对处理器使用率的监视,
如果处理器使用率高于第二阈值,则降低所述多个视频帧的呈现性能,以及
在确定处理器资源可用后,逐步恢复性能。
根据第二实施例,提供了一种用于处理视频数据的装置,包括:
解码逻辑单元,其响应于接收到视频信号而生成多个视频帧,
耦合到所述解码逻辑单元的增强逻辑单元,其中所述增强逻辑单元将基于
多个控制信号执行增强操作,以及
耦合到所述增强逻辑单元的性能管理逻辑单元,其中所述性能管理逻辑单元进一步包括:
帧估计器,其中所述帧估计器将估计处理多个视频帧的平均帧速率,并将确定连续估计的所估计的平均帧速率的改变,
耦合到所述帧估计器的控制逻辑单元,其中所述控制逻辑单元将:
在所估计的平均帧速率的改变低于第一阈值的情况下,生成第一信号来激活处理器使用率监视,
在处理器使用率高于第二阈值的情况下,生成第二信号来降低所述多个视频帧的呈现性能,
生成第三信号以确定处理器资源是否可用,以及
响应于接收到第四信号而生成第五信号以逐步恢复增强操作,其中如果处理器资源可用,则生成所述第四信号。
根据第三实施例,提供了一种用于处理视频数据的装置,包括:
估计处理多个视频帧的平均帧速率的部件,
确定连续估计之间的所估计的平均帧速率的改变的部件,
如果所估计的平均帧速率的改变低于第一阈值,则激活对处理器使用率的监视的部件,
如果处理器使用率高于第二阈值,则降低所述多个视频帧的呈现性能的部件,以及
在确定处理器资源可用后,逐步恢复性能的部件。
根据第四实施例,提供了一种用于处理视频数据的系统,包括:
多个处理器,
耦合到所述多个处理器的逻辑单元,其中所述逻辑单元包括视频处理逻辑单元,以及
耦合到所述逻辑单元的多个输入-输出设备,
其中视频处理逻辑单元将响应于接收到视频信号而生成多个视频帧,并基于多个控制信号执行增强操作,其中视频处理逻辑单元将:
估计处理多个视频帧的平均帧速率,
确定连续估计的所估计的平均帧速率的改变,
在所估计的平均帧速率的改变低于第一阈值的情况下,生成第一信号以激活处理器使用率监视,
在处理器使用率高于第二阈值的情况下,生成第二信号以降低所述多个视频帧的呈现性能,
生成第三信号以确定处理器资源是否可用,以及
响应于接收到第四信号而生成第五信号以逐步恢复增强操作,其中如果所述处理器资源可用则生成所述第四信号。
附图说明
通过示例而非通过限制的方式在附图中图示了本文所述的发明。为了图示的简单及清楚起见,图中所图示的元件并不必然按比例绘制。例如,为了清楚起见,某些元件的尺寸可以相对于其它元件而被放大。而且,在认为适当的地方,各图间参考标记得以重复以指示相应或类似的元件。
图1示出了视频处理逻辑100,其根据一个实施例可以支持资源受限设备中的视频数据的处理。
图2示出了性能管理逻辑160,其根据一个实施例可以支持视频增强技术的选择以匹配资源受限设备上的可用资源。
图3示出了根据一个实施例的流程图,其描绘了视频增强技术的选择以匹配资源受限设备上的可用资源。
图4示出了根据一个实施例的第一资源受限设备,其支持视频增强技术的选择以匹配资源受限设备上的可用资源。
图5示出了根据一个实施例的第二资源受限设备,其支持视频增强技术的选择以匹配资源受限设备上的可用资源。
具体实施方式
下面的说明书描述了用于在资源受限设备中处理视频数据的技术。在下面的说明书中,阐述了许多特定细节,诸如逻辑实现、资源划分、或共享、或复制实现、系统组件的类型及相互关系、以及逻辑划分或集成选择,以便提供对本发明更透彻的理解。然而,本领域技术人员将会明白,没有这些特定细节也可以实现本发明。在其它实例中,没有详细示出控制结构、门级电路和完整的软件指令序列,以便不让本发明晦涩难懂。那些本领域普通技术人员使用所包含的说明书,在无需过度实验的情况下就将能够实现适当的功能。
在说明书中提到“一个实施例”、“实施例”、“示例性实施例”指的是所描述的实施例可以包括特定的特征、结构或特性,但每个实施例可以不一定包括所述特定的特征、结构或特性。而且,这些用语不一定指的是同一个实施例。此外,当结合实施例描述特定的特征、结构或特性时,要提出的是,结合不论是否明确地描述的其它实施例来影响该特征、结构或特性在本领域技术人员的知识范畴内。
可以用硬件、固件、软件或其任意组合来实现本发明的实施例。本发明的实施例还可以被实现为机器可读介质上存储的指令,其可以由一个或多个处理器读取并执行。机器可读存储介质可以包括用于以机器(例如,计算设备)可读的形式存储或传送信息的任何机制。
例如,机器可读存储介质可以包括只读存储器(ROM);随机存取存储器(RAM);磁盘存储介质;光存储介质;闪存设备;电、光形式的信号。此外,本文可以将固件、软件、例程和指令描述为执行某些动作。然而,应该理解的是,该描述只是为了方便起见,并且这些动作实际上是由计算设备、处理器、控制器和其它执行固件、软件、例程和指令的设备产生的。
图1中示出了视频处理逻辑100的实施例。视频处理逻辑VPL100可以包括解码逻辑120、增强逻辑140和性能管理逻辑160。在一个实施例中,可以在各种硬件体系结构中实施本文参考VPL100所述的图形和/或视频处理技术。例如,可以在芯片组内集成图形和/或视频功能。可替换地,可以使用分离的图形和/或视频处理器。作为另一实施例,图形和/或视频功能可以由包括多核处理器的通用处理器来实现。在进一步的实施例中,可以在诸如移动互联网设备、蜂窝式电话、家庭娱乐设备和此类其它设备之类的消费性电子设备中实现所述功能。
在一个实施例中,解码逻辑120可以在接收到复合视频数据后解码诸如流式视频之类的复合视频数据。在一个实施例中,可以将解码的视频数据提供给增强逻辑140。在一个实施例中,解码逻辑120可以分离接收到的复合视频数据的亮度和色度分量。在一个实施例中,解码逻辑120可以基于逐行倒相(PAL)、或国家电视系统委员会(NTSC)、或按顺序传送彩色与存储(SECAM)标准或此类其它标准来处理视频数据。
在一个实施例中,增强逻辑140可以接收解码的数据,并执行一个或多个视频/图像增强操作以增强视频的质量。在一个实施例中,视频/图像增强操作可以包括缩放、降噪、自动色彩增强、锐利度增强、对比度增强、肤色检测、总体色彩控制、帧速率转换和此类其它增强以改进用户的视频观看体验。在一个实施例中,增强逻辑140可以使用一种或多种增强技术来执行视频/图像增强。
在一个实施例中,可以使用例如双线性插值或多相滤波技术来执行缩放操作。在一个实施例中,与双线性插值的技术相比,多相滤波技术执行起来可能是计算密集的,但可以提供更好质量的缩放视频。在一个实施例中,增强逻辑140可以基于从性能管理逻辑160接收到的控制信号来执行全部或某些增强操作或不执行增强操作。在一个实施例中,增强逻辑140还可以基于性能管理逻辑160所指示的选择值,来从可用的一系列技术中选择一种技术来执行增强操作。
在一个实施例中,增强逻辑140可以接收控制信号,该控制信号可以指示可以执行两种增强操作(例如,缩放和色彩校正)。而且,该控制信号可以包括选择值以指示将要使用双线性插值增强技术来执行缩放操作。在一个实施例中,增强逻辑140可以接收控制信号,并使用双线性插值技术来执行缩放操作。在一个实施例中,增强逻辑140还可以响应于接收到控制信号来执行色彩校正操作。然而,增强逻辑140可以跳过对视频数据执行其它增强操作。
在一个实施例中,如果性能管理逻辑160怀疑CPU饱和状态,则性能管理逻辑160可以监视CPU使用率状态。在一个实施例中,性能管理逻辑160可以周期性地确定短期帧速率平均数的导数(y'[n])。在一个实施例中,如果(y'[n])小于第一阈值,则性能管理逻辑160可以激活对CPU使用率的监视。在一个实施例中,如果短期平均CPU使用率值高于第二阈值,则性能管理逻辑160可以降低视频性能。在一个实施例中,由于执行其它应用程序(诸如例如自动备份,其可能减少可用于执行增强操作的CPU资源),CPU使用率可能增加。
在一个实施例中,性能管理逻辑160可以生成控制信号,该控制信号可以被基于短期帧速率平均数的导数和短期平均CPU使用率值的值而提供给增强逻辑140。在一个实施例中,性能管理逻辑160可以生成可包括选择值字段的控制信号。在一个实施例中,选择值字段可以包括6位字段,其中从最低有效位(最右位)开始的头4位可以表示操作标识符(例如,0001针对缩放,0010针对降噪,0011针对自动色彩增强,0100针对锐利度增强,0101针对对比度增强,0110针对肤色检测,0111针对总体色彩控制,以及1000针对帧速率转换)。在一个实施例中,第五和第六位可以表示可用于执行增强操作的增强技术的禁用/使能状态或选择值。
在一个实施例中,性能管理逻辑160可以确定基于可用的资源能够执行两种增强操作(例如,缩放和肤色检测操作)。在一个实施例中,性能管理逻辑160可以生成控制信号,该控制信号包括包含等于010001的值的第一选择字段和包含值010110的第二选择字段。在一个实施例中,从第一选择字段的LSB开始的4位(0001)可以指示将要执行缩放操作,而第五位和第六位(=01)可以指示可使用双线性插值技术来执行缩放操作。类似地,在一个实施例中,从第二选择字段的LSB开始的4位(0110)可以指示可执行肤色检测操作,而第五位和第六位(=01)可以指示可以使用色空间的概率分布技术来执行肤色检测操作。
在一个实施例中,性能管理逻辑160可以监视可用的资源,并可以基于可用的资源的量来逐部分恢复增强操作。在一个实施例中,性能管理逻辑160可以恢复增强操作以增强对用户的视频数据的展示。
图2中示出了性能管理逻辑160的一个实施例,该性能管理逻辑160可以控制增强逻辑140的操作。在一个实施例中,性能管理逻辑160可以包括接口210、帧估计器230、CPU监视逻辑250、和恢复逻辑260及控制逻辑290。在一个实施例中,可以使用一组软件指令来实现性能管理逻辑160。在其他实施例中,可以使用微控制器来实现性能逻辑160,而在另一个实施例中,性能管理逻辑160可以使用现场可编程门阵列(FPGA)来加以实现,或被实现为专用集成电路(ASIC)或其任一组合或任何此类类似方法。
在一个实施例中,接口210可以从增强逻辑140接收视频帧,并将视频帧提供给帧估计器230。在一个实施例中,接口210可以在接收到视频帧后向控制逻辑290发送信号。在一个实施例中,接口210可以从控制逻辑290接收控制信号,并将控制信号传送给增强逻辑140和/或给解码逻辑120。在一个实施例中,接口210可以执行转换以将性能管理逻辑160对接到解码逻辑120和增强逻辑140。
在一个实施例中,帧估计器230可以接收视频帧,并确定当前帧速率(CFR)、短期帧速率(y[n])和短期帧速率的导数(y'[n]),并将这些值提供给控制逻辑290。在一个实施例中,帧估计器230可以使用下面的方程(1)来确定当前帧速率(CFR):
CFR=(当前帧的帧数-T秒前接收的帧的帧数)/T……………………方程(1)
其中,“/”表示除法运算符,而“-”表示减法运算符。
在一个实施例中,帧估计器230可以使用在时刻“n”的所估计的帧速率(x[n])来确定短期帧速率平均数(y[n])。在一个实施例中,帧估计器230可以包括无限脉冲响应(IIR)滤波器以确定(y[n])。在一个实施例中,帧估计器230可以使用下面的方程(2)来确定(y[n]):
y[n]=0.4*x[n]+0.6*y[n-1]………………………………………………方程(2)
其中,“*”表示乘法运算符,而“+”表示加法运算符。
在一个实施例中,帧估计器230可以使用短期帧速率平均数(y[n])来确定短期帧速率平均数的导数。在一个实施例中,帧估计器230可以包括求平均值逻辑,其可以使用下面的方程(3)来确定(y'[n]):
y'[n]=(y[n]-y[n-1])/T………………………………………………方程(3)
其中,“/”表示除法运算符,而“-”表示减法运算符。
在一个实施例中,CPU监视逻辑250可以监视CPU,并确定是否将基于从控制逻辑290接收的“开始监视”信号来降低配置。在一个实施例中,CPU监视逻辑250可以开始对CPU使用率进行周期性的监视。在一个实施例中,如果短期帧速率平均数的导数(y'[n])达到负值,则可以接收“开始监视”信号。在一个实施例中,CPU监视逻辑250可以接收CPU使用率的单个采样(a[n]),并使用下面的方程(4)中所示的IIR滤波器来确定CPU使用率的短期帧速率平均数(s[n]):
s[n]=0.5*a[n]+0.5*s[n-1]………………………………………………方程(4)
在一个实施例中,CPU监视逻辑250可以将短期CPU使用率平均数(s[n])提供给控制逻辑290。
在一个实施例中,从控制逻辑290接收到“激活恢复”信号后,可以激活恢复逻辑260。在一个实施例中,恢复逻辑260可以从CPU监视逻辑250接收短期CPU使用率平均数(s[n]),并可以确定可用的资源。在一个实施例中,恢复逻辑260可以生成“恢复EO”信号,并将该恢复EO信号发送给控制逻辑290。在一个实施例中,恢复逻辑260可以比较s[n]的值和第二阈值,且如果s[n]比阈值低一个安全的容限,则恢复逻辑260可以开始生成“恢复EO”。在一个实施例中,信号中的EO部分可以指示将要恢复的增强操作。在一个实施例中,如果同时恢复所有或许多增强选项,则恢复逻辑260可以一个接一个地恢复增强操作以避免由于资源消耗方面的突增而导致CPU返回到饱和状态的可能性。
在一个实施例中,控制逻辑290可以从帧估计器230接收当前帧速率(CFR)、短期帧速率(y[n])和短期帧速率的导数(y'[n])。在一个实施例中,控制逻辑290可以比较短期帧速率平均数的导数(y'[n])与第一阈值,并可以生成“开始监视”信号。在一个实施例中,控制逻辑190可以检查(y'[n]),并且如果(y'[n])的值为负,则可以生成“开始监视”信号。
在一个实施例中,控制逻辑290可以接收短期CPU使用率平均数(s[n]),并且如果短期CPU使用率平均数(s[n])超过第二阈值,则生成“性能降低”信号。在一个实施例中,控制逻辑290可以确定能够被跳过的增强操作,并且还可以确定能够被执行的增强操作。在一个实施例中,控制逻辑290还可以确定能够用于执行选择的增强操作的技术。
在一个实施例中,控制逻辑290可以生成包括选择值的控制信号,并可以将控制信号发送给增强逻辑140。在一个实施例中,控制逻辑290可以确定跳过所有的增强操作。在另一个实施例中,控制逻辑290可以确定执行例如两种增强操作,诸如缩放操作和肤色检测操作。在一个实施例中,可以使用双线性插值来执行缩放操作,并可以使用色空间的概率分布技术来执行肤色检测。在一个实施例中,控制逻辑290可以生成控制信号,该控制信号具有被编码以表示所选择的增强选项的选择值。在一个实施例中,控制逻辑290可以迅速降低性能以匹配可用的CPU资源。
在一个实施例中,控制逻辑290在将“开始监视”信号发送给CPU监视逻辑250后,可以激活恢复逻辑260。在一个实施例中,控制逻辑250可以通过发送“激活恢复”信号来激活恢复逻辑260。在一个实施例中,控制逻辑290可以从恢复逻辑260接收“恢复EO”信号,并使得增强逻辑140恢复在“恢复EO”信号中所指示的增强操作。
图3中示出了性能管理逻辑160的一个实施例,其可以控制资源受限设备中的视频数据的处理。
在框310中,性能管理逻辑160可以接收帧。在一个实施例中,接口210在接收到帧后可以发送信号给控制逻辑290。
在框315中,控制逻辑290可以确定是否将要执行周期性的或所选择的帧速率估计,并且如果将要执行帧速率估计,则控制转到框320,而否则转到框340。
在框320中,帧估计器230可以估计当前帧速率(CFR)。在一个实施例中,帧估计器230可以使用上面的方程(1)来确定当前帧速率。
在框325中,帧估计器230可以估计短期帧速率(y[n])。在一个实施例中,帧估计器230可以使用上面的方程(2)来确定(y[n])。
在框330中,帧估计器230可以估计短期帧速率(y[n])的导数(y'[n])。在一个实施例中,帧估计器230可以使用上面的方程(3)来确定(y'[n])。
在框335中,控制逻辑290可以确定(y'[n])是否小于所述第一阈值,并且如果(y'[n])不小于第一阈值,则控制转到框340,而如果(y'[n])低于第一阈值则转到框370。
在框340中,控制逻辑290可以检查CPU监视是否是激活的,并且如果CPU监视是激活的则控制转到框375,而如果CPU监视不是激活的则转到框345。
在框345中,控制逻辑290可以检查配置是否变化,并且如果配置变化则控制转到框350,而否则控制返回。在一个实施例中,控制逻辑290可以响应于检测到配置变化而发送“激活恢复”信号给恢复逻辑260。
在框350中,恢复逻辑260响应于接收到激活恢复信号,可以检查资源是否可用,并且如果资源可用,则控制转到框355,而否则控制返回。
在框355中,恢复逻辑260可以检查恢复等待时间是否已过去,并且如果恢复时间已过去,则控制转到框360,而否则控制返回。
在框360中,控制逻辑260可以恢复第一增强操作,并为第二增强操作设置等待定时器。在一个实施例中,控制逻辑290可以响应于从恢复逻辑260接收到每个“恢复EO”信号,来一个接一个地恢复增强操作。
在框370中,在从控制逻辑290接收到“激活恢复”信号时,可以激活CPU监视逻辑250。
在框375中,CPU监视逻辑250可以使用方程(4)来确定短期CPU使用率平均数值(s[n]),并可以发送CPU使用率平均数值给控制逻辑290。
在框380中,控制逻辑290可以检查s[n]是否高于第二阈值,并且如果s[n]高于第二阈值,则控制转到框385,而否则转到框390。
在框385中,控制逻辑290可以使得视频处理的性能被降低。在一个实施例中,控制逻辑290可以使得全部或许多或很少的增强操作被跳过,并且还可以选择执行能够消耗较少资源的技术。
在框390中,控制逻辑290可以确定是否继续CPU监视,并且如果将继续CPU监视,则控制可以返回到CPU监视,而否则返回框395。在框395中,控制逻辑290可以去激活CPU监视。
参考图4,计算机系统400可以包括通用处理器402,其包括单指令多数据(SIMD)处理器和图形处理器单元(GPU)405。在一个实施例中,处理器402除了执行各种其它任务外还可以执行增强操作,或者在机器可读存储介质425中存储指令序列以提供增强操作。然而,还可以在存储器420中或任意其它适当的存储介质中存储指令序列。
在某些实施例中,虽然在图4中描绘了单独的图形处理器单元405,但是作为另一示例,图形处理器单元405可以用于执行增强操作。操作计算机系统400的处理器402可以是耦合到逻辑430的一个或多个处理器核。逻辑430可以耦合到一个或多个I/O设备460,该I/O设备460可以为计算机系统400提供接口。例如,在一个实施例中,逻辑430可以是芯片组逻辑。逻辑430耦合到存储器420,所述存储器420可以是任一种存储器,包括光学、磁性或半导体存储器。图形处理器单元405通过帧缓冲器耦合到显示器440。
在一个实施例中,可以在逻辑430内提供视频处理逻辑VPL410。在一个实施例中,如果VPL410怀疑CPU饱和状态,则VPL410可以监视CPU使用率状态。在一个实施例中,VPL410可以周期性地确定短期帧速率平均数的导数(y'[n])。在一个实施例中,如果(y'[n])小于第一阈值,则VPL410可以激活对CPU使用率的监视。在一个实施例中,如果短期平均CPU使用率值s[n]高于第二阈值,则VPL410可以降低视频性能。
在一个实施例中,VPL410可以监视可用的资源,并可以基于可用的资源的量逐部分恢复增强操作。在一个实施例中,VPL410可以恢复增强操作以增强向用户的视频数据的展示。
可以在各种硬件体系结构中实现本文所述的视频/图像处理技术。例如,可以在芯片组内集成图形功能。可替换地,可以使用分离的图形处理器。作为另一实施例,图形功能可以由包括多核处理器的通用处理器来实现,或被实现为存储在机器可读介质中的一组软件指令。

Claims (27)

1.一种用于处理视频数据的方法,包括:
估计处理多个视频帧的平均帧速率,
确定连续估计之间的所估计的平均帧速率的改变,
如果所估计的平均帧速率的改变低于第一阈值,则激活对处理器使用率的监视,
如果处理器使用率高于第二阈值,则降低所述多个视频帧的呈现性能,以及
在确定处理器资源可用后,逐步恢复性能。
2. 如权利要求1所述的方法,其中使用无限脉冲响应滤波器来确定所估计的平均帧速率。
3. 如权利要求1所述的方法,其中如果所估计的平均帧速率的改变低于第一阈值,则指示处理器饱和状态。
4. 如权利要求3所述的方法,其中如果所述处理器使用率高于第二阈值,则所述处理器资源不可以用来执行增强操作。
5. 如权利要求1所述的方法,其中在呈现所述多个视频帧之前,通过跳过对所述多个视频帧执行的增强操作来降低性能。
6. 如权利要求1所述的方法,其中在呈现所述多个视频帧之前,通过跳过对所述多个视频帧执行的增强操作的子集来降低性能。
7. 一种用于处理视频数据的装置,包括:
解码逻辑单元,其响应于接收到视频信号而生成多个视频帧,
耦合到所述解码逻辑单元的增强逻辑单元,其中所述增强逻辑单元将基于多个控制信号执行增强操作,以及
耦合到所述增强逻辑单元的性能管理逻辑单元,其中所述性能管理逻辑单元进一步包括:
帧估计器,其中所述帧估计器将估计处理多个视频帧的平均帧速率,并将确定连续估计的所估计的平均帧速率的改变,
耦合到所述帧估计器的控制逻辑单元,其中所述控制逻辑单元将:
在所估计的平均帧速率的改变低于第一阈值的情况下,生成第一信号来激活处理器使用率监视,
在处理器使用率高于第二阈值的情况下,生成第二信号来降低所述多个视频帧的呈现性能,
生成第三信号以确定处理器资源是否可用,以及
响应于接收到第四信号而生成第五信号以逐步恢复增强操作,其中如果处理器资源可用,则生成所述第四信号。
8. 如权利要求7所述的装置,其中所述帧估计器将使用无限脉冲响应滤波器来估计所述平均帧速率。
9. 如权利要求7所述的装置,进一步包括处理器监视逻辑单元,其中如果所估计的平均帧速率的改变低于第一阈值,则所述处理器监视逻辑单元将激活处理器使用率监视。
10. 如权利要求9所述的装置,其中如果所述处理器使用率高于第二阈值,则处理器资源不可用来执行增强操作。
11. 如权利要求7所述的装置,其中所述增强逻辑单元将响应于接收到第二信号而降低性能,其中在呈现所述多个视频帧之前,所述增强逻辑单元将通过跳过对所述多个视频帧执行的增强操作来降低性能。
12. 如权利要求7所述的装置,其中在呈现所述多个视频帧之前,所述增强逻辑单元将通过跳过对所述多个视频帧执行的增强操作的子集来降低性能。
13. 如权利要求7所述的装置,进一步包括恢复逻辑单元,其中如果处理器资源可用来执行增强操作,则所述恢复逻辑单元将生成第四信号。
14. 如权利要求13所述的装置,其中所述增强逻辑单元响应于接收到第五信号而执行增强操作。
15. 一种用于处理视频数据的装置,包括:
估计处理多个视频帧的平均帧速率的部件,
确定连续估计之间的所估计的平均帧速率的改变的部件,
如果所估计的平均帧速率的改变低于第一阈值,则激活对处理器使用率的监视的部件,
如果处理器使用率高于第二阈值,则降低所述多个视频帧的呈现性能的部件,以及
在确定处理器资源可用后,逐步恢复性能的部件。
16. 如权利要求15所述的装置,其中使用无限脉冲响应滤波器来确定所估计的平均帧速率。
17. 如权利要求15所述的装置,其中如果所估计的平均帧速率的改变低于第一阈值,则指示处理器饱和状态。
18. 如权利要求17所述的装置,其中如果所述处理器使用率高于第二阈值,则所述处理器资源不可以用来执行增强操作。
19. 如权利要求15所述的装置,其中在呈现所述多个视频帧之前,通过跳过对所述多个视频帧执行的增强操作来降低性能。
20. 如权利要求15所述的装置,其中在呈现所述多个视频帧之前,通过跳过对所述多个视频帧执行的增强操作的子集来降低性能。
21. 一种用于处理视频数据的系统,包括:
多个处理器,
耦合到所述多个处理器的逻辑单元,其中所述逻辑单元包括视频处理逻辑单元,以及
耦合到所述逻辑单元的多个输入-输出设备,
其中视频处理逻辑单元将响应于接收到视频信号而生成多个视频帧,并基于多个控制信号执行增强操作,其中视频处理逻辑单元将:
估计处理多个视频帧的平均帧速率,
确定连续估计的所估计的平均帧速率的改变,
在所估计的平均帧速率的改变低于第一阈值的情况下,生成第一信号以激活处理器使用率监视,
在处理器使用率高于第二阈值的情况下,生成第二信号以降低所述多个视频帧的呈现性能,
生成第三信号以确定处理器资源是否可用,以及
响应于接收到第四信号而生成第五信号以逐步恢复增强操作,其中如果所述处理器资源可用则生成所述第四信号。
22. 如权利要求21所述的系统,其中视频处理逻辑单元将利用无限脉冲响应滤波器来估计平均帧速率。
23. 如权利要求21所述的系统,其中如果所估计的平均帧速率的改变低于第一阈值,则所述视频处理逻辑单元将激活处理器使用率监视。
24. 如权利要求23所述的系统,其中如果所述处理器使用率高于第二阈值,则所述处理器资源不可用来执行增强操作。
25. 如权利要求21所述的系统,其中所述视频处理逻辑单元将响应于接收到第二信号而降低性能,其中在呈现所述多个视频帧之前,所述视频处理逻辑单元将通过跳过对所述多个视频帧执行的增强操作来降低性能。
26. 如权利要求25所述的系统,其中在呈现所述多个视频帧之前,所述视频处理逻辑单元将通过跳过对所述多个视频帧执行的增强操作的子集来降低性能。
27. 如权利要求21所述的系统,其中如果处理器资源可用来执行增强操作,则所述视频处理逻辑单元将生成第四信号,并将响应于接收到第五信号而执行增强操作。
CN200980139217.8A 2008-12-02 2009-11-23 用于处理视频数据的方法、装置和系统 Expired - Fee Related CN102171651B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/326654 2008-12-02
US12/326,654 US20100135417A1 (en) 2008-12-02 2008-12-02 Processing of video data in resource contrained devices
PCT/US2009/065487 WO2010065365A2 (en) 2008-12-02 2009-11-23 Processing of video data in resource contrained devices

Publications (2)

Publication Number Publication Date
CN102171651A CN102171651A (zh) 2011-08-31
CN102171651B true CN102171651B (zh) 2015-05-20

Family

ID=42222802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980139217.8A Expired - Fee Related CN102171651B (zh) 2008-12-02 2009-11-23 用于处理视频数据的方法、装置和系统

Country Status (4)

Country Link
US (1) US20100135417A1 (zh)
CN (1) CN102171651B (zh)
DE (1) DE112009002346T5 (zh)
WO (1) WO2010065365A2 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9183580B2 (en) * 2010-11-04 2015-11-10 Digimarc Corporation Methods and systems for resource management on portable devices
US8483286B2 (en) * 2010-10-27 2013-07-09 Cyberlink Corp. Batch processing of media content
KR20130108882A (ko) * 2012-03-26 2013-10-07 삼성전자주식회사 복수의 트랜스코딩 수행시 로드 밸런싱을 위한 스케줄링 장치 및 방법
US9311639B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods, apparatus and arrangements for device to device communication
CN104461520B (zh) * 2014-11-25 2018-04-03 广州酷狗计算机科技有限公司 动画的播放帧频调整方法及装置
CN106211511A (zh) * 2016-07-25 2016-12-07 青岛海信电器股份有限公司 跑马灯滚动速度的调整方法及显示装置
CN109361950B (zh) * 2018-11-27 2022-02-22 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备及存储介质
US11574273B2 (en) * 2020-12-21 2023-02-07 Sling TV L.L.C. Systems and methods for automated evaluation of digital services

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040184535A1 (en) * 1997-03-14 2004-09-23 Microsoft Corporation Motion video signal encoder and encoding method
US20080068517A1 (en) * 2006-09-19 2008-03-20 Funai Electric Co. Ltd. Liquid crystal panel, plasma display panel, and wide-screen liquid crystal television

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5832125A (en) * 1995-12-07 1998-11-03 Intel Corporation Bit rate control using short-term and long-term performance characterization
US6118817A (en) * 1997-03-14 2000-09-12 Microsoft Corporation Digital video signal encoder and encoding method having adjustable quantization
US6535238B1 (en) * 2001-10-23 2003-03-18 International Business Machines Corporation Method and apparatus for automatically scaling processor resource usage during video conferencing
US7281041B2 (en) * 2002-10-31 2007-10-09 Hewlett-Packard Development Company, L.P. Method and apparatus for providing a baselining and auto-thresholding framework
US7512658B2 (en) * 2004-02-26 2009-03-31 International Business Machines Corporation Providing a portion of an electronic mail message based upon a transfer rate, a message size, and a file format
US7519510B2 (en) * 2004-11-18 2009-04-14 International Business Machines Corporation Derivative performance counter mechanism
JP2009527175A (ja) * 2006-02-15 2009-07-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 表示される画像における圧縮アーティファクトの低減、エンコードパラメータの解析
KR100819404B1 (ko) * 2006-10-27 2008-04-04 삼성전자주식회사 휴대용 단말기에서 부화면 디코딩 방법 및 장치
US7715481B2 (en) * 2006-11-29 2010-05-11 Ipera Technology, Inc. System and method for allocation of resources for processing video
US8789052B2 (en) * 2007-03-28 2014-07-22 BlackBery Limited System and method for controlling processor usage according to user input
US8279946B2 (en) * 2007-11-23 2012-10-02 Research In Motion Limited System and method for providing a variable frame rate and adaptive frame skipping on a mobile device
US20090315886A1 (en) * 2008-06-19 2009-12-24 Honeywell International Inc. Method to prevent resource exhaustion while performing video rendering

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040184535A1 (en) * 1997-03-14 2004-09-23 Microsoft Corporation Motion video signal encoder and encoding method
US20080068517A1 (en) * 2006-09-19 2008-03-20 Funai Electric Co. Ltd. Liquid crystal panel, plasma display panel, and wide-screen liquid crystal television

Also Published As

Publication number Publication date
WO2010065365A2 (en) 2010-06-10
US20100135417A1 (en) 2010-06-03
WO2010065365A3 (en) 2010-08-26
CN102171651A (zh) 2011-08-31
DE112009002346T5 (de) 2012-06-14

Similar Documents

Publication Publication Date Title
CN102171651B (zh) 用于处理视频数据的方法、装置和系统
KR101097636B1 (ko) 데이터 스트림들의 인코딩시 최적 전력 이용
WO2016026245A1 (zh) 视频播放分辨率切换方法及系统
CN102457701B (zh) 图像显示处理方法及装置
CN112312161A (zh) 用于生成视频的方法、装置、电子设备及可读存储介质
KR20200011000A (ko) 증강 현실 프리뷰 및 위치 추적을 위한 장치 및 방법
CN115150610A (zh) 一种图像处理方法、装置及设备
CN106341575A (zh) 一种视频信号实时输出处理系统
CN115460458B (zh) 视频丢帧方法和设备
US8929447B2 (en) Image deblurring method using motion compensation
US8280181B2 (en) Efficient filtering of image data
CN101355646B (zh) 噪声消除装置及方法
CN107071326B (zh) 视频处理方法及装置
CN115297359A (zh) 多媒体数据传输方法、装置、电子设备及存储介质
WO2015160485A1 (en) Fallback detection in motion estimation
CN111467797B (zh) 游戏数据处理方法、装置、计算机存储介质与电子设备
CN114299014A (zh) 图像处理架构、方法、电子设备及存储介质
EP3352133B1 (en) An efficient patch-based method for video denoising
CN107222772A (zh) 一种实现字幕处理的方法及装置
JP5403784B2 (ja) 映像処理装置およびノイズ軽減方法
CN115035151B (zh) 梳状失真的检测方法、装置、计算机设备及存储介质
US11647153B1 (en) Computer-implemented method, device, and computer program product
CN116528040B (zh) 基于复眼智能相机的图像超分辨率重建方法、装置及相机
CN115661273B (zh) 运动矢量的预测方法、装置、电子设备及存储介质
US20230262250A1 (en) Video processing method and apparatus, electronic device, and storage medium

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150520

Termination date: 20181123

CF01 Termination of patent right due to non-payment of annual fee