CN1515111A - 显示视频帧的方法和系统 - Google Patents

Abstract

现在，连续媒体数据处理越来越多地通过可编程部件而非单功能专用部件来执行。为了适当处理此类数据，系统必须确保有足够的系统资源用于处理。本发明的方法提出视频序列的帧频的可缩放运动补偿上变频。通过为执行上变频(402)的算法计算适当的质量量度，本发明的方法可预测给定输入视频(406)时所需的资源。还预测输出视频序列的视觉质量。根据这些预测，该方法选择最佳算法来执行上变频，从而可实现系统(例如用于媒体处理的可编程平台)的最佳资源利用。

Description

显示视频帧的方法和系统

本发明涉及显示视频帧的方法，该方法包括：

计算视频信号的至少一个预定量度的第一步骤；

采用一种算法根据视频信号计算视频帧的第二步骤。

本发明还涉及显示视频帧的系统，该系统包括：

被设计为计算视频信号的至少一个预定量度的第一计算装置；

被设计为根据视频信号计算视频帧的第二计算装置。

上面提出的方法的实施例可见于文章“视频上变频人为产物的自适应全局隐藏”(Olukayode A.Ojo和Herman Schoemaker：IEEETrans.on CE，第47卷，第1期，2001年2月，第40-46页)。这里，公开了抑制因运动补偿人为产物而导致的图像劣化的方法。该方法估算全局图像劣化程度来确定所需的误差隐藏等级。执行运动补偿是因为用户电视机内例如从50Hz到100Hz的视频上变频。同样，60Hz隔行扫描的图像被转换为逐行扫描格式来消除行闪烁。还有一种转换，把每秒24个图片的电影素材转换为用于广播的另一种视频标准，而且在多媒体领域内，需要将视频图像从各种TV标准转换为不同的PC格式，反之亦然。该方法隐藏人为产物，具体为根据运动矢量质量以原始图片替代中间内插图片。运动矢量质量是根据输入视频信号来推导的。当运动矢量质量很低，即用户觉察到因例如存在光晕而导致的低质量时，则以更多的原始图片替代内插图片。当将运动补偿应用于在细部背景上移动的对象时会出现光晕或幻象。因为估算的运动场扩展到超过移动对象的边界，所以背景被以错误的运动矢量补偿，导致对象周围的光晕或幻象。但是，图片是以取决于可用资源的可能的最佳质量显示的。这样，那些资源就无法为可运行于系统中的其它应用所用。

本发明的一个目的是提供一种以改进的方式显示视频帧的方法。为了实现此目的，所述显示视频帧的方法的特征在于该方法还包括：

提供设计为根据视频信号计算视频帧的多种算法的第三步骤；

对于多种算法中的至少一种算法、根据视频信号的至少一种预定量度计算输出质量估算值的第四步骤；以及

选择和执行多种算法中的选定算法、以便显示视频帧的第五步骤。

通过在系统内对于被设计为根据视频信号计算视频帧的所有算法计算输出质量，可以选择执行提供最佳输出质量的算法。但是，此最佳输出质量可能不是这些算法可提供的绝对最佳输出质量，而可能还是用户所感觉的可接受输出质量。当系统提供稳定输出质量的显示视频帧时，用户就可感受到可接受的输出质量。为此，在视频信号的复杂性较长时期地变化时，如处于景物边界的情况下，应该启动质量等级变化。

在权利要求2中说明根据本发明的方法的一个实施例。通过从多种算法中选择提供最高输出质量的算法，所显示的视频帧可以提供基于输入视频信号可能实现的最高质量。

在权利要求3中说明根据本发明的方法的一个实施例。通过从多种算法中选择所需资源量最小的算法，基础系统可以更优化地使用资源。这样，可能的资源余量可以被重新分配给可能在系统中运行的其它应用。

在权利要求4中说明根据本发明的方法的一个实施例。通过选择在提供最佳输出质量时至多需要预定资源量的算法，可以在以可能的最高质量显示视频帧期间防止过多资源消耗。

在权利要求5中说明根据本发明的方法的一个实施例。通过选择至少提供预定输出质量而只需要最少资源量的算法，可以利用少量资源而提供可接受质量的显示视频帧。

在权利要求6中说明根据本发明的方法的一个实施例。通过选择至多需要预定资源量的算法，系统可以控制用于计算输出视频帧的资源量。

在权利要求7中说明根据本发明的方法的一个实施例。通过选择至少提供预定输出质量的算法，可以防止所显示的视频帧内过度的质量变化。

在权利要求8中说明根据本发明的方法的一个实施例。通过使量度基于视频信号内的运动估算，可以将现有技术的运动估算度量用于预测各个算法的输出质量。

在权利要求9中说明根据本发明的方法的一个实施例。在扫描频率上变频内，视输入视频信号内的运动而定，中间帧的输出质量可能会有显著差异。通过估算不同上变频算法的输出质量，可以选择为当前视频帧序列提供最稳定的输出质量的最佳算法。

此外，本发明的一个目的是提供一种以改进的方式显示视频帧的系统。为了实现此目的，此显示视频帧的系统的特征在于还包括：

算法库装置(810)，它被设计为提供多种算法，这些算法被设计为根据视频信号计算视频帧；

第三计算装置(808)，它被设计为对于多种算法中的至少一种算法、根据视频信号的至少一种预定量度计算输出质量估算值；以及

选择装置(810)，它被设计为选择和执行多种算法中的选定算法，以便显示视频帧。

通过以下附图所示的实施例来说明本发明：

图1说明视频序列的扫描频率上变频；

图2说明许多转换算法的视觉输出质量与输入序列运动的复杂性的相关性；

图3说明扫描频率上变频的标准算法；

图4说明根据本发明的可缩放算法的主要部分；

图5说明算法库中算法的与不同输入序列复杂性相关的预期视觉质量等级和资源需求；

图6说明根据本发明的方法的主要步骤；

图7说明与输入相关的处理；

图8以示意方式说明根据本发明的系统的实施例的最重要部分；

图9以示意方式说明包括根据本发明的系统的实施例的电视机；

图10以示意方式说明包括根据本发明的系统的实施例的机顶盒的最重要部分。

现在，连续媒体数据处理越来越多地通过可编程部件、而不是单功能专用部件来执行。为了适当地处理此类数据，系统必须确保有足够的系统资源用于处理。因为如CPU和内存之类的实时资源是有限的，所以可能无法为特定处理会话预留足够的系统资源。这限制了可以并行方式在系统中运行的处理会话或其它应用的数量。这些处理会话之一是输入视频流的处理。输入视频流可以通过能够提供不同输出质量的输出视频流的许多算法来处理。输出视频流的质量还与输入视频流的复杂性相关。当输入视频流的复杂性变化时，输出质量也会变化，这导致用户感觉输出视频流的质量较低。特别是当视频流引起用户注意时，更是如此。因此，恒定的输出视频流质量是所期望的。为了实现此目的，需要通过需要不同资源量的不同算法来处理不同的输入流。为了提供最高质量，可以将所有可用资源分配给该算法，但是这会减少可在系统中并行运行的应用的数量。

图1说明视频序列的扫描频率上变频，其中在现有图片之间计算中间图片，以便增加图片速率，例如从50Hz增至100Hz。有几种算法用于视频序列的扫描频率上变频。它们的范围是从低资源使用的简单算法，例如根据运动矢量仅从一个原始图片进行像素移位，到较复杂和高成本的算法，例如根据一个以上的运动矢量访问序列中多个原始图片中的较多像素以及采用非线性滤波器。各种算法的输出质量的差异变动非常大。再者，各个算法可以提供与输入序列中运动复杂性相关的不同输出质量。实际上，已经设计出较复杂的方法来专门处理具有复杂运动的输入序列。

图2说明许多转换算法的视觉输出质量与输入序列的运动复杂性的相关性。如果输入序列仅呈现简单的运动，例如刚性不透明对象无运动或缓慢平移运动，则这些算法将提供可比质量的内插图像，如图2中的方块所示。然后，所有算法A₀至A₃提供介于Q₂和Q₃之间的输出质量。在此情况中，可以显著减少资源占用，同时还达到所要求的输出质量。但是，图2中的圆圈说明，如果在输入序列中有大闭合面积的复杂运动，则仅可使用复杂算法才得达到一定的质量。这样，例如算法A₃提供介于Q₂和Q₃之间的输出质量，而A₀提供低于Q₀的输出质量。图2中的菱形说明低复杂性输入流所用的算法的输出质量，而三角形说明平均复杂性的输入流所用的算法的输出质量。

图3说明用于扫描频率上变频的标准算法。算法300包括两部分：运动估算块302和运动补偿块304。运动估算块302根据原始图片计算运动矢量场，这些运动矢量场供运动补偿块304用于计算中间图片。

图4说明根据本发明的可缩放算法400。可缩放算法400包括三块：运动估算块402是图3中的运动估算块302。算法库404替代了运动补偿块304，它包括多个输出质量和资源使用情况各不相同的运动补偿算法。第三块包括可缩放算法400的控制部分406。此控制部分406计算算法库中的每个算法的输出质量估算值，并确保满足资源需求以及在可能的情况下达到期望的质量。可以根据所接收的输入信号实时计算输出质量估算值。可缩放算法400从基础系统408接收至少两个新输入：算法可用的最大资源量s和期望的输出质量Q_des。这两个输入s和Q_des供控制部分406用于判断选择哪个算法来执行。整个可缩放算法400的职责是维持在资源限度以下，以便生成至少达到期望质量的输出并且尽可能使用最少资源。再者，控制部分406可以发出至少两个信号以与基础系统408通信。如果可以利用少于可用资源的资源来达到期望的质量，则发送“资源过剩”信号；如果利用所有可用资源都无法达到期望的质量，则发送“资源不足”信号。

图5说明算法库中算法的与不同输入序列复杂性相关的期望视觉质量等级和资源需求。与方块相连的曲线适用于具有非常高复杂性的输入序列；与三角形相连的曲线适用于具有高复杂性的输入序列；与圆圈相连的曲线适用于具有中等复杂性的输入序列；与菱形相连的曲线适用于低复杂性的输入序列。算法库404(参见图4)中包含的算法由A_l表示，l＝0，...，L。它们各自的资源使用量由R(A_l)表示。算法A_l的估算输出质量由质量数字Q_l表示，其中较低Q数字始终对应于较低的视觉质量。质量数字分两个步骤计算。第一，利用输入视频序列和运动矢量，计算与景物复杂性相关的一些量度，适合于帧频上变频。这些量度由M₁，...，M_k表示。根据这些量度，对于算法库中的每种算法，计算期望的输出质量Q_l(M₁，...，M_k)。对于固定的M₁，...，M_k，一对(R(A_l)，Q₁)，l＝0，...，L被称为质量映射，参见图5。因此，质量映射通过量度M₁，...，M_k而与景物复杂性相关。

可缩放算法的性能取决于Q数字对各个算法的主观感觉性能的描述的理想程度。为此，要求用户评价经本发明的多种上变频算法处理的多个输入序列。

此外，与执行上变频算法相比，计算Q函数可能成本较低，因为不需要执行相应算法来对其输出质量进行如下所述的估算。

为了使本发明的方法工作更快速，将算法按资源使用量排序：R(A₀)＜R(A₁)＜...＜R(A_L)，以及按输出质量排序：对于所有量度值M₁，...，M_k，Q₀(M₁，...，M_k)≤Q_l(M₁，...M_k)≤...≤Q_L(M₁，...，M_k)。假定：算法的资源使用量一般与视频输入不相关。但是，对于如下情况，本发明仍适用：在不同输入模式、即电影或视频的情况下，资源使用量可随视频输入而变。如果资源使用量与图像素材相关，则数字R(A_l)可视为实际资源需求的上限。可能违反资源使用量和输出质量的这些最佳排列次序，例如，成本低的帧重复有时可能优于采用高差错的运动矢量的成本高的上变频。可以容易地对下文提出的算法进行修改来解决这种情况，这种最佳排列次序并非必不可少。

图6说明根据本发明的方法的主要步骤。第一步骤S602是初始化步骤。在此第一步骤中，对方法提供输入参数。输入参数包括输入视频流、期望的质量等级Q_des以及资源等级s，它们表示可以使用的成本最高的上变频算法。在下一步骤S604中，根据输入视频流计算运动矢量。运动矢量的计算是基于采用两个图片的现有技术的基于块的运动估算器。这种估算器采用块度量来估计分配到块的运动矢量的适配质量。更具体地说，运动估算算法为图片的各个块从一小组候选者中选择矢量，从而产生关于块度量的最小误差。广泛采用的度量是“绝对差之和”(SAD)：

$\mathrm{SAD}(n,n,h,v)=\frac{1}{N_1{N}_2}{\mathrm{\Σ}}_{i=1}^{N_1}{\mathrm{\Σ}}_{j=1}^{N_2}|x(i,j,n)-x(i+h,j+v,n+1)|$

在上述公式中，x(i，j，n)是在位置(i，j)和时间n的帧的亮度值，而x(i+h，j+v，n+1)是按运动矢量m＝(h，v)所指示的在时间n+1的对应亮度值，以及N₁和N₂分别是该块的高度和宽度。

其它可以采用且计算成本非常低的度量有“坏块突发”(3B)度量，见于文章“视频上变频人为产物的自适应全局隐藏”(OlukayodeA.Ojo和Herman Schoemaker)。3B度量统计SAD在某个阈值K以上的、长度为L的水平方向上完整的序列的数量。

利用这些运动矢量和视频输入，误差量度m₁，...，M_k按上述方法计算。在步骤S606中，利用简单的线性仿射比例的变化来确定对于所有算法A₀，...，A_L的质量估算值Q₀，...，Q_L.例如，对各个算法使用不同的度量或对各个算法使用不同度量的组合，可以获得更精确的质量预测。要点在于，在矢量选择过程中，计算一些度量，并根据它们的值预测所考虑的每种上变频算法的视觉输出质量。这些质量估算值与景物内的运动复杂性高度相关。在步骤S608中，从成本最低的开始，对各算法进行考虑，判断它是否会产生至少期望的输出质量Q_des.如果它产生至少期望的输出质量，则执行步骤S610。在步骤S610中，将产生至少期望的输出质量的各算法的资源需求进行比较。此步骤S610产生数字l，表示A_l是产生期望的视觉质量的输出的成本最低的算法。下一个步骤S612将数字l与最大资源等级s进行比较。如果l等于s，则完成控制块。如果l小于s，则在步骤S614中控制部分向基础系统发出信号“资源过剩”。剩下的情况是l大于s，则发出信号“资源不足”，并在步骤S616将l重置为s。在最后一个步骤S618中，数字l被发送到算法库，从而执行相应的算法A_l。

为了以图形方式说明算法，注意，图6的阴影区中的所有质量映射(R_l，Q_l)都满足条件R(A_l)≤R(A_s)，表示它们都保持在可用资源s以下；以及满足条件Q_l≥Q_des，表示它们产生期望质量Q_des的输出。在这些条件下，选择使资源使用量最小的算法。如果阴影区中没有质量映射，则在步骤S510中选择在给定的资源限制s下提供最佳可能输出的映射。

图7说明与输入相关的处理。它说明一种算法在不同时间的资源需求。下面部分说明输出质量保持不变，而上面部分说明资源使用量随时间而变化，取决于输入视频流的复杂性：低、一般、非常低以及高。应该指出，在健壮系统中，质量等级不会频繁改变，也不会频繁地重新分配资源。为此，这种变化应该在运动复杂性变化了例如数十个图片左右的较长时段之处开始。因此，质量和资源变化应该在景物边界处开始。

此外，因为景物的复杂性可能随时间变化得非常慢，所以并非每帧一定要计算度量，这也节省了资源。

本发明的方法的所述实施例中的次序并非必须如此，本领域的技术人员可以在不背离本发明的概念的前提下更改步骤次序或采用线程模型、多处理器系统或多进程来同时执行这些步骤。

图8以示意方式说明本发明的系统的实施例的最重要部分。系统800包括CPU 802。该系统还可包括一个以上的处理器和协处理器。此外，该系统包括存储器804中的实时系统软件，它提供最大资源消耗和期望的质量等级，并且接收可能的资源过剩或资源不足，如上所述。存储器806包括根据输入流计算运动矢量并将这些矢量提供给存储器808的软件，而存储器808包括用于对算法库中存储的每个算法计算质量预测值的软件。存储器810提供对可以计算用于帧频上变频的中间图片的不同算法的访问。系统800以要作为计算机运行的应用程序来工作的软件或可运行软件的任何其它标准体系结构来实现。该系统可用于操作数字电视机814。该软件还可以从存储装置818中进行更新，存储装置818包括设置为执行本发明的方法的计算机程序产品。该存储装置由适当的读取装置读取，例如与系统800连接的CD读取器816。

图9以示意方式说明包括本发明的系统实施例的电视机910。这里，天线900接收电视信号。任何可以接收或再现电视信号的装置，诸如卫星天线、电缆、存储装置、因特网或以太网都可以替代天线900。接收器902接收信号。该信号可以是例如数字的、模拟的、RGB或YUV。除接收器902之外，电视机还包含可编程部件904，例如可编程集成电路。这种可编程部件包含根据本发明的系统906。电视屏幕908显示接收器902接收并由可编程部件904处理的图像。当用户要记录所接收的信号、例如电影时，根据本发明的系统906将所接收的信号记录在记录装置如DVD+RW、小型光盘或硬盘上。当用户要播放所记录的电影时，根据本发明的系统906从记录装置中取出相应的数据。

图10以示意方式说明包括本发明的系统实施例的机顶盒的最重要部分。这里，天线1000接收电视信号。天线可以是例如卫星天线、电缆、存储装置、因特网、以太网或任何可以接收电视信号的其它装置。机顶盒1002接收信号。该信号可以是例如数字的、模拟的、RGB或YUV。除机顶盒中包含的常见部分之外(此处未显示)，所述机顶盒还包含根据本发明的系统1004。当用户要记录所接收的信号、例如电影时，根据本发明的系统1004将所接收的信号记录在记录装置如DVD+RW、小型光盘或硬盘上。当用户要播放所记录的电影时，根据本发明的系统1004从记录装置中取出相应的数据。电视机1006可以显示由机顶盒1002根据接收信号生成的输出信号。

Claims (14)

1.一种显示视频帧的方法，所述方法包括：

第一步骤，计算视频信号的至少一种预定量度；

第二步骤，采用一种算法根据所述视频信号计算所述视频帧；

其特征在于所述方法还包括：

第三步骤，提供被设计为根据所述视频信号计算所述视频帧的多种算法；

第四步骤，根据所述视频信号的所述至少一种预定量度，对于所述多种算法中的每一种算法计算各个输出质量估算值；以及

第五步骤，选择所述多种算法中的一种算法并执行选定算法，以便显示所述视频帧。

2.如权利要求1所述的显示视频帧的方法，其特征在于：所述选定算法的输出质量估算值是所述各个输出质量估算值中最高的输出质量估算值。

3.如权利要求1所述的显示视频帧的方法，其特征在于：所述选定算法的资源需求是所述多种算法中的每一算法的各个资源需求中最低的资源需求。

4.如权利要求2所述的显示视频帧的方法，其特征在于：所述选定算法至多需要预定量的资源，以便提供所述选定算法的输出质量估算值。

5.如权利要求3所述的显示视频帧的方法，其特征在于：所述选定算法至少提供预定的输出质量估算值，同时需要所述选定算法的所述资源需求。

6.如权利要求1所述的显示视频帧的方法，其特征在于：所述选定算法至多需要基本上等于预定量的资源。

7.如权利要求1所述的显示视频帧的方法，其特征在于：所述选定算法的输出估算值至少基本上等于预定的输出质量。

8.如权利要求1所述的显示视频帧的方法，其特征在于：所述视频信号的预定量度是根据运动估算器的输出计算的，所述运动估算器将所述视频信号作为输入。

9.如权利要求1所述的显示视频帧的方法，其特征在于：所述算法执行扫描频率上变频。

10.一种显示视频帧的系统(800)，所述系统(800)包括：

第一计算装置(806)，被设计为计算视频信号的至少一种预定量度；

第二计算装置(808)，被设计为根据所述视频信号计算所述视频帧；

其特征在于所述方法还包括：

算法库装置(810)，被设计为提供多种算法，这些算法设计成根据所述视频信号计算所述视频帧；

第三计算装置(808)，被设计为根据所述视频信号的所述至少一种预定量度，对于所述多种算法中的至少一种算法计算输出质量估算值；以及

选择装置(810)，被设计为选择所述多种算法中的一种算法并执行选定算法，以便显示所述视频帧。

11.一种计算机程序产品，它被配置为执行如权利要求1至9中任一项所述的方法。

12.一种存储装置(818)，它包括如权利要求11所述的计算机程序产品。

13.一种电视机(910)，它包括用于接收视频信号的接收器(902)、用于运行处理所述视频信号的任务的可编程部件(904)、用于显示所处理的视频信号的显示屏幕(908)以及如权利要求10所述的系统。

14.一种机顶盒(1002)，它包括用于接收视频和/或音频流并将所述视频和/或音频流解码的接收器(1002)以及如权利要求10所述的系统。

Images