CN104871127A - 显示器间的差分等待时间的自动化测量 - Google Patents

Abstract

本发明涉及用于测量位于网络的端点处的显示器之间的差分等待时间的方法和系统，显示器由一个或多个渲染机器驱动并且具有用于在同一时间点刷新不同显示器上的图像的装置以及被适配成使得每个所显示的图像的内容仅能在先前显示的帧完成之后改变的装置。例如，所述显示器可以是帧锁定的且具有双缓冲交换锁定存储器操作。该方法或系统被适配成通过该网络向不同端点的显示器流传输测试图像。所述测试图像在所述显示器上显示。用诸如相机等图像记录设备记录在不同端点处显示的图像。任选地，可通过在解码前或在解码后在帧缓冲区(FIFO)级延迟具有较低等待时间的流来补偿该延迟。优选地，该系统或方法被适配成测量所述显示器之间的端到端差分等待时间并将其置于向量形式中。

Description

显示器间的差分等待时间的自动化测量

本发明涉及用于位于网络的端点处的显示器之间的差分等待时间的补偿和/或测量的方法或系统或系统组件，以及用于执行所述方法中的任一者的软件和用于存储所述软件的信号存储介质。

技术背景

在IP网络的端点处的不同渲染机器和显示器可显示不同的端到端等待时间。

典型的链由以下组件构成：

(1) 源

(2) 编码器

(3) 网络

(4) 解码器

(5) 渲染器

(6) 显示器

这种链中的每个硬件和/或软件组件一般可具有不同的处理时间段(处理等待时间)且这些处理时间段可随时间改变。而且，所应用的硬件和/或软件解决方案随时间演进，并且因此处理时间段可能改变。而且，该网络一般而言具有到不同端点的不同延迟，并且同样这一延迟可随时间改变(网络等待时间)。

用于对从源到目的地的数据流进行重新同步的解决方案是可能的，例如，如在RFC 3550中所公开的，只要数据可在数据处理框架内并且以高精确度(例如，<150ms)来控制。

通常，最后同步点可以恰好在解码之后(在软件解码器的情况下)或者恰好在解码之前(在硬件解码器的情况下)。如此，该解码、渲染和显示添加未知等待时间量，该未知等待时间量一般而言可在各不同端点之间不同。此等待时间一般而言可对于各端点不同，因为该等待时间依赖于具体硬件和/或软件实现。而且，此等待时间可对于每个端点随时间变化。

许多应用要求在不同端点处所显示的图像是“数据同步的”，即，各显示器必须在同一时间点显示同一帧。因此，能够以容易的方式测量不同的端到端等待时间并相应地进行补偿是重要的。在定期基础上进行这种重新校准是必要的，因为各端点的端到端等待时间可随时间改变。

在US 4,540,982中，用触发器和与门来实现多振荡器电路以硬件实现了延迟补偿。实际上，实现了同一频率的差分时钟生成器，即，两个时钟链，这两个时钟链可被相对相移。两个经移位的时钟被用来补偿电子电路中的所有种类的延迟。

在US 2007/0247470 A1中，描述了用于降低显示设备的等待时间的解决方案。控制器控制像素从帧缓冲区到显示模块的传输。控制器监视帧存储器的内容。在向显示模块的传输开始之前，缓冲区存储器中必须有最小数量的像素可用。此最小数量的像素取决于图像格式(例如，行的数量及刷新率)。在此解决方案中，控制器不等待直到帧存储器中有整个帧可用而是提前开始从帧存储器传输像素以降低显示设备所导致的等待时间。

发明内容

本发明的一方面是一种用于测量显示器之间的端到端差分等待时间并用于将其置于向量形式中以执行差分补偿的方法。所述向量被用来引导出队操作。

本发明在一个方面中涉及一种测量位于网络的端点处的显示器之间的差分等待时间的方法，所述显示器由一个或多个渲染机器驱动并且具有用于在同一时间点刷新不同显示器上的图像的装置以及被适配成使得每个所显示的图像的内容仅能在先前显示的帧完成之后改变的装置，例如，所述显示器是帧锁定的且具有双缓冲交换锁定存储器操作，所述方法包括：

通过所述网络向所述不同端点的显示器流传输测试图像，

测量所述显示器之间的端到端差分等待时间并将其置于向量形式中。

所述向量优选地被用来执行所述显示器处的延迟的差分补偿。

例如，所述向量被发送至所述显示器(例如被发送至帧缓冲区)以引导出队操作。所述帧缓冲区可以例如是FIFO。

该方法可包括在所述显示器上显示所述测试图像，以及用图像记录设备捕捉在不同端点处所显示的图像。

该图像记录设备可以例如是相机。

不要求相机与所述显示器同步。

根据本发明的一实施例，在延迟补偿之后执行测量算法。

本发明还提供一种用于测量位于网络的端点处的显示器之间的差分等待时间的显示单元，所述显示单元包括：

由一个或多个渲染机器驱动并具有用于在同一时间点刷新不同显示器上的图像的装置的显示器，

被适配成使得所显示的每个图像的内容仅能在先前显示的帧完成之后改变的装置，

用于从所述网络接收流传输的测试图像以及将这些图像提供给所述不同端点处的显示器的装置，以及

测量所述显示器之间的端到端差分等待时间并将其置于向量形式中。

该单元可被适配成使用所述向量来执行所述显示器处的延迟的差分补偿。

例如，该单元可被适配成向所述显示器(例如向所述帧缓冲区)发送向量。所述显示器可被适配成使用所述向量来引导出队操作。所述帧缓冲区可以例如是FIFO。

所述单元可包括用于用图像记录设备捕捉所述不同端点处所显示的图像的装置。

该图像记录设备可以例如是相机。

不要求相机与所述显示器同步。

根据本发明的一实施例，该单元被适配成在任选的延迟补偿之后执行测量算法。

在一个方面，本发明提供两个或更多个联网显示器之间的帧等待时间差的补偿。本发明的实施例包括用于测量该差分等待时间以及用于通过延迟具有较低等待时间的流来进行补偿的装置。该补偿可通过在解码前或在解码后在帧缓冲区(FIFO)级延迟具有较低等待时间的流来执行。

相应地，本发明的一方面是该单元被适配成测量显示器之间的差分等待时间并将其置于向量形式中以执行差分补偿。所述向量被用来引导出队操作。例如，所述向量被发送至所述显示器(例如被发送至帧缓冲区)以引导出队操作。所述帧缓冲区可以例如是FIFO。

在另一方面中，提供了一种测量位于网络的端点处的显示器之间的差分等待时间的系统，所述显示器由一个或多个渲染机器驱动并且具有用于在同一时间点刷新不同显示器上的图像的装置以及被适配成使得每个所显示的图像的内容仅能在先前显示的帧完成之后改变的装置，所述系统包括：

用于通过所述网络向所述不同端点处的显示器流传输测试图像的装置，以及

用于测量所述显示器之间的端到端差分等待时间并用于将其置于向量形式中的装置。

该系统可被适配成使用所述向量来执行所述显示器处的延迟的差分补偿。

例如，该系统可被适配成向所述显示器(例如向所述帧缓冲区)发送向量。所述显示器可被适配成使用所述向量来引导出队操作。所述帧缓冲区可以例如是FIFO。

所述系统可包括用于用图像记录设备捕捉所述不同端点处所显示的图像的装置。

该图像记录设备可以例如是相机。

不要求相机与所述显示器同步。

根据本发明的一实施例，该系统可被适配成在任选的延迟补偿之后执行测量算法。

本发明在又一个方面中涉及一种测量位于网络的端点处的显示器之间的差分等待时间的方法，所述显示器由一个或多个渲染机器驱动并且具有用于在同一时间点刷新不同显示器上的图像的装置以及被适配成使得每个所显示的图像的内容仅能在先前显示的帧完成之后改变的装置，例如，所述显示器是帧锁定的且具有双缓冲交换锁定存储器操作，所述方法包括：

通过所述网络向所述不同端点的显示器流传输测试图像。

在显示器上显示所述测试图像，以及

用图像记录设备捕捉所述不同端点处所显示的图像。

该图像记录设备可以例如是相机。

不要求相机与所述显示器同步。

根据本发明的一实施例，在任选的延迟补偿之后执行测量算法。

本发明的一方面是一种用于测量显示器之间的端到端差分等待时间并用于将其置于向量形式中以执行差分补偿的方法。所述向量被用来引导出队操作。例如，所述向量被发送至所述显示器(例如被发送至帧缓冲区)以引导出队操作。所述帧缓冲区可以例如是FIFO。

本发明还提供一种用于测量位于网络的端点处的显示器之间的差分等待时间的显示单元，所述显示单元包括：

由一个或多个渲染机器驱动并具有用于在同一时间点刷新不同显示器上的图像的装置的显示器，

被适配以使得所显示的每个图像的内容仅能在先前显示的帧完成之后改变的装置，

用于从所述网络接收流传输的测试图像以及将这些图像提供给所述不同端点处的显示器的装置，以及

用于用图像记录设备捕捉所述不同端点处所显示的图像的装置。

该图像记录设备可以例如是相机。

不要求相机与所述显示器同步。

根据本发明的一实施例，该单元被适配成在任选的延迟补偿之后执行测量算法。

在一个方面，本发明提供两个或更多个联网显示器之间的帧等待时间差的补偿。本发明的实施例包括用于测量该差分等待时间以及用于通过延迟具有较低等待时间的流来进行补偿的装置。该补偿可通过在解码前或在解码后在帧缓冲区(FIFO)级延迟具有较低等待时间的流来执行。

相应地，本发明的一方面是该单元被适配成测量显示器之间的差分等待时间并将其置于向量形式以执行差分补偿。所述向量被用来引导出队操作。例如，所述向量被发送至所述显示器(例如被发送至帧缓冲区)以引导出队操作。所述帧缓冲区可以例如是FIFO。

在又一方面中，提供一种测量位于网络的端点处的显示器之间的差分等待时间的系统，所述显示器由一个或多个渲染机器驱动并且具有用于在同一时间点刷新不同显示器上的图像的装置以及被适配成使得每个所显示的图像的内容仅能在先前显示的帧完成之后改变的装置，所述系统包括：

用于通过所述网络向所述不同端点的显示器流传输测试图像的装置，以及

用于用图像记录设备捕捉所述不同端点处所显示的图像的装置。

附图简述

图1示出可与本发明的各实施例中的任一者一起使用的4x 3个显示器的平铺显示器配置的示例。

图2示出本发明的一实施例，其中图像被流传输到显示器墙、图像被捕捉且提供带有对渲染器的反馈以用于等待时间补偿的测量系统。

图3示出本发明的更详细实施例，其具有网络和显示器和相机接口。

图4解说了显示器D_r和D_s之间的2T_d等待时间差示例。

图5解说了当显示器D_r和D_s之间存在2T_d等待时间差时的图像。

图6示出了垂直箭头与如在本发明的各实施例中使用的相机的积分时间的起始相对应。

图7示出了平铺的4乘3个显示器的示例的相机图像。

图8示出了显示器D_r和D_s之间的nT_d延迟。

图9示出了对于T_c＜T_d时的情况的情形。

图10示出了T_c＝T_d时的情况。

图11示出了当T_c＞T_d(即，过低的时间分辨率)时的情况。

图12示出了根据本发明的一实施例的帧缓冲区结构，其具有带有其控制器的FIFO、解码器、渲染器和显示器。

图13示出了根据本发明的一实施例的帧缓冲区结构，其具有在压缩域中的出队(dequeue)操作。

图14示出了根据本发明的一实施例的用于软件解码的数据路径1和用于硬件解码的数据路径2。

图15示出了根据本发明的一实施例的测量和延迟补偿过程和算法。

图16示出了6个数据路径的示例，其中g₁＝0，g₂＝0，g₃＝1，g₄＝3，g₅＝3，g₆＝1。

解说性实施例的详细描述

本发明的各方面涉及具有显示器的网络，由此在网络的端点处的不同渲染机器和显示器可显示出不同的端到端等待时间。

典型的链由以下组件构成：

数据源

编码器

网络

解码器

渲染器

显示器

本发明在其各实施例中包括适于通过网络将图像(诸如特定测试图像)流传输到不同端点处的显示器的方法和/或系统。优选地，所有显示器均由渲染机器驱动。优选地，提供了用于在同一时间点刷新不同显示器上的图像的装置以及被适配以使得每个所显示图像的内容可仅在先前显示的帧完成之后改变的装置。例如，渲染机器优选地是帧锁定的且具有双缓冲交换锁定存储器操作。这些特性对于数据同步是重要的。在不同端点处的显示器的图像被图像记录设备捕捉，相机是图像记录设备的一种可能性。相机不需要与/不与显示器同步。执行测量算法且可执行延迟补偿。

平铺显示配置和渲染机器

多个显示器(D₁，D₂，..，D_l-参见图1和2)，例如，投影仪和屏幕，诸如后投影显示器、固定格式显示器、CRT、LED、等离子、LCD、OLED显示器或类似显示器被安排在例如i乘j个显示器的矩阵结构中以形成高分辨率显示器墙(图1，图2中的10)。图像显示器10由一个或多个解码器和渲染机器6-9驱动。一个渲染机器可驱动显示器墙10的一个或多个显示器D_i。来自数据源3(诸如视频源S)的数据被例如经由编码器4以压缩、加密或原始格式通过网络5(诸如数据网络、广域网、局域网、包括RF或光诸如IR网络在内的无线网络、或有线网络)，特别是通过IP网络，被流传输到渲染机器6-9并在高分辨率显示器墙10上显示。平铺显示器墙是一示例。平铺或非平铺的任何显示器配置可与本发明的各实施例一起使用。视频源的插入区域一般而言将在若干显示器D₁，D₂，..，D_l上展开，由此形成一个逻辑视频插入。由于不同网络等待时间和/或处理等待时间或其他等待时间，所述显示器D₁，D₂，..，D_l中的一个或多个显示器上的图像可表现得具有不同时移。换言之，由于不同网络和处理等待时间，在同一时间点生成或捕捉的图像帧可在该显示器墙的各显示器上表现得具有不同时间延迟。

在本发明的各实施例中，提供了用于在同一时间点刷新不同显示器上的图像的装置以及被适配以使得每个所显示图像的内容可仅在先前显示的帧完成之后改变的装置。例如，在本发明的一方面中，解码器和渲染机器6-9优选地是帧锁定的，即，存在用于帧锁定的装置。这意味着，所有相关渲染机器和显示器群(例如，显示器墙10)的各显示器的同步信号(诸如垂直同步信号Vsync)具有完全相同的频率和相位。例如，可与本发明的任何实施例一起使用的一个实现系统或方法适于将一个渲染机器配置成向其他渲染机器中的每一个递送同步信号(诸如Vsync)的主渲染机器。可与本发明的任何实施例一起使用的另一系统或方法适于将每个渲染机器锁定到由外部同步信号生成器提供的外部同步信号(诸如Vsync)。该后一种实现被称为同步锁(genlock)。各渲染机器优选地具有双缓冲的且交换锁定的存储器操作。这些特征(例如，垂直同步和具有交换锁定的双缓冲存储器操作)保证了不同显示器上的图像在同一时间点被刷新而且所显示的每个图像的内容仅能在先前显示的帧完成之后改变，即，可提供用于在同一时间点刷新不同显示器上的图像的装置以及被适配以使得所显示的每个图像的内容仅能在先前显示的帧完成之后改变的装置。然而，在同一时间点捕捉或生成的来自源S的帧被示出为在各显示器上具有不同时间延迟是可能的，但是所述不同时间延迟将是该显示器的垂直时间段的整数倍。从而，尽管垂直同步和具有交换锁定的双缓冲操作是数据同步的先决条件，然而它们不能单独保证数据同步。

根据本发明的各实施例，提供一种方法和/或系统和/或包括软件的系统组件作为网络接口11(图3)，并且用于测量(例如，相机15和测量系统16)显示器墙10上的流传输的、处理的和显示的图像帧之间的不同端到端时间延迟。一旦测量了端到端时间延迟，本发明的各实施例提供用于补偿各时间延迟的差的方法和/或系统和/或包括软件的系统组件(等待时间补偿17-示意性地示出)。因此，可以保证数据同步。在图3中针对以太网100base IP网络示出图2的更详细版本。

测试图案

根据本发明的各实施例，图案(诸如测试图案)被从源S流传输到端点处的显示器，例如显示器墙。该测试图案应当被设计成用于延迟的所有确定。为了确定延迟，测试图案理想情况下应当具有该图像的当被渲染时对每个图像而言均相同的部分。该测试图案例如可以是具有m个垂直显示时段的历时的全白场。该全白场测试图案在所述显示器中的每个显示器上被渲染。该显示器的帧率(垂直同步频率)被表示为f_d，垂直显示时段因此是且因此该测试图案的历时是mT_d。

在图4和图5中，图4解说了显示器D_r和D_s之间的2T_d等待时间差示例。

图5示出了相关的图像。在t＝t₁处，D_r和D_s两者均为黑。在t＝t₂和t＝t₃处，被流传输的全白场在显示器D_r上是白，而在显示器D₃上仍旧为黑。在t＝t₄处，D_r和D₃两者均显示白图像。

图像记录设备

在本发明的各实施例中，光学记录装置(诸如相机)被用作测量系统的一部分。此设备优选地以帧每秒的速率捕捉由多个单独显示器(例如由整个显示器墙)所呈现的完整图像。该捕捉可以是如用相机光学地进行的，其中相机对整个墙10成像或者数据可从每个显示器被电子地读出并被组合成相机图像的电子版本(例如画布)。无论数据是电子地捕捉的还是通过将光信号转换为数字信号的相机捕捉的，对该数据的处理基本相同以使得在后面仅描述相机。然而应当理解，其他装置(诸如电子捕捉)可同样好地使用。电子捕捉设备可按与相机相同的方式操作，例如，具有积分时间和垂直时间段。任选地，该相机可关于各显示器异步地操作。因此为了简明仅对相机进行描述。相机的积分时间(也被称为电子快门时间)被表示为T_int。该相机的垂直时间段被表示为T_c。

必须满足以下条件：

(1)T_int＜＜T_c

(2)T_c＜T_d

显示系统可将其帧率f_d传达至测量系统，因此测量系统总是可调整其捕捉速率f_c以满足条件T_c＜T_d。假定差分等待时间为nT_d，其中n＝0,1,2,3,…p。白场测试图案的历时mT_d被选择以使得pT_d＜mT_d。

在图6和8到11所示的时间图中，垂直箭头与相机的积分时段的起始相对应(参见图6)。

显示器墙的图像被成像在该相机的成像系统中，例如，在该相机的传感器上。该显示器墙的每个小块(tile)因此被成像在该相机的成像系统的相邻区域i₁….i₁₂上，例如在该相机的传感器的相邻区域上(图7)。

差分端到端等待时间T_ΔL测量

已经解释了差分端到端等待时间(被表示为T_ΔL)是该显示器的垂直时间段的整数倍。

T_ΔL＝nT_d其中n＝0，1，２，...p且p＜m

现在考虑显示器D_r和D_s之间的延迟nT_d(图8)。显示器D_r和D_s的屏幕的中心中的显示器照度分别是L(D_r)和L(D_s)。该相机的积分时间(也被称为电子快门时间)被设置在例如。该相机被优选地适配以使得相机响应仅具有两种稳定状态或者换言之具有二元输出。这种相机产生二元图像。一种这样做的方式如下。D_r和D_s的图像被相机采样。L(D_r)和L(D_s)正导致相机中的图像相关的变化，例如，相机的某些位置中的电荷堆积C(D_r)和C(D_s)(例如相机的CCD传感器或CMOS传感器中的电荷堆积C(D_r)和C(D_s))。现在考虑C_r和D_s的图像的中心中的相机的响应，这分别是RC(D_r)和RC(D_s)。按以下方式调整相机设置：相机响应在积分时间T_int内达到饱和水平。如果这是不可能的，则可添加Schmitt触发器电路。我们因此具有了仅具有两种稳定状态或者换言之具有二元输出的相机响应。这些相机响应在下一相机帧的开始处在该相机的输出处可用。在此情况下相机响应显示了时间差Δ，所测量的时间差未必等于nT_d，但这不是问题。例如，该系统可被适配以使得端到端差分等待时间被调整直到消除该时间差为止。保证了如果nT_d≠0则Δ≠０，并且如果nT_d＝0则Δ＝0。

采样的时间分辨率取决于相机的采样频率和采样脉冲的宽度T_int。临界情形发生在n＝1时。在此情形中，至少一个采样脉冲位于时间段T_d中是必要的，因此必须满足条件T_c＜T_d。

图9示出了对于T_c＜T_d时的情况的情形。

图10示出了情况T_c＝T_d，而图11示出了对于T_c＜T_d的情况。

在本发明的各实施例中，提供了用于测量响应RC(D_i)(其中i＝1，２，..，n)之间的相对时间延迟的装置，其开始于通过采样信号S₂(t)对信号RC(D_i)的同时采样，所述采样信号具有以下性质：

(1)S₂(t)具有与相机采样信号完全相同的频率

(2)S₂(t)与相机采样信号同步

(3)S₂(t)相对于相机采样信号在时间上延迟

该采样以最短的等待时间并在时间mT_d期间在RC(D_i)的起始边缘之后发起。这导致具有二元元素的向量v₁，v₂v₃，...v_l。在这些向量中的每个向量中，省略最后一个样本值。每个向量中的元素的数量因此等于比值的整数部分减1：与相机响应相对应的一个或多个数据路径可具有最短等待时间且与该相机响应相对应的一个或多个数据路径可具有最长端到端等待时间。

算法和补偿

相机响应的向量与和显示图像D_i相对应的数据路径相对应。

从与具有最短端到端等待时间的数据路径相对应的RC(D_i)的采样得到的向量可被表示为：

来自具有等于T_d的延迟的显示器的相机响应将导致可被表示为下式的向量

来自具有等于2T_a的延迟的显示器的相机响应将导致被表示为下式的向量

一般而言，来自具有等于nT_d的延迟的显示器的相机响应将导致前n个元素等于0的向量。

提供了用于计算向量v_i(其中i＝1，2，3，...l)中的每一个的平方长度的装置。

向量的平方长度被计算并定义为： ${\left|\right|x\left|\right|}^2=x_1^2+x_2^2+...+x_n^2$

我们将“基准向量”称为v_ref，它是与具有最长端到端等待时间的数据路径相对应的向量。此基准向量具有最短长度：

min{||v_i||²，i＝1，2，3，..，l}＝||v_ref||²≥1

必须满足条件||v_ref||²≥1。在一个或多个向量为0向量的情况下，则端到端等待时间超出测试图案的历时。在这些情况下，必须增加测试图案的历时。

对于每个数据路径，所需补偿的量为：

(||v_i||²-||v_ref||²)T_d对于i＝1，２，３，...l

在此补偿之后，所述数据路径中的每一个将显示相同的端到端等待时间。

在情况

min{||v_i||²，i＝1，２，３，..，l}＝0

下，则测试图案的历时mT_d必须被增加，直到：

min{||v_i||²，i＝1，２，３，..，l}≥1

且测量必须被重启。

完整测量和补偿过程100在图15中示意性地描绘。该算法开始于步骤102。在步骤104中，将变量m设置为默认值。在步骤106中，一个或多个测试图案被流传输并在显示单元处被接收，所述显示单元包括显示器、测量系统和图像记录单元(例如参见图3)。测量系统在步骤108中测量所显示的图像的延迟。在步骤110中，决定一个或多个相机响应是否为0。如果是，则去往步骤112且m的值被增加且在步骤106之前重新进入该算法。如果否，则在步骤114中确定各向量的长度是否全部相等。如果是，则该过程终止。如果否，则在步骤116中将等待时间补偿发送到帧缓冲区控制器，之后该算法终止。

在一方面本发明包括可针对延迟来实现补偿。在一个实施例中，用于所述路径中的每个路径的解码器18和渲染器24之间的帧缓冲区20的出队控制被使用(参见图12)。帧缓冲区20可被组织为FIFO(先进先出)存储器结构，参见图12。帧缓冲区20可存储有限数量的(例如5个)帧。被解码的帧被入队到该FIIO(帧缓冲区20)而出队的帧被渲染(在24中)和显示(在26中)。

最慢数据路径和任何其他数据路径i之间的端到端等待时间的差为：

(||v_i||²-||v_ref||²)T_d对于i-1，２，３，...l

并且让我们表示

g_i＝(||v_i||²-||v_ref||²)对于i＝1，２，３，...l

本发明的各实施例的测量系统16优选地被适配成向控制器22中的每一个发送等待时间补偿的量。这可通过功能17提供，该功能可包括硬件和/或软件。例如，控制器22中的每一个优选地被适配成在时间g_iT_d期间等待将其下一帧出队到渲染器24。以下示例显示了对于g₁＝0，g₂＝０，g₃＝1，g₄＝３，g₅＝2，g₆＝１的帧缓冲区内容的演化。

同样重要的是，要注意，在渲染器-显示器部分的延迟中也存在差异的情况下则这部分差异延迟也将被补偿，因为测量系统在测量完整的端到端等待时间。

另外实施例

本发明的另一实施例是在解码之前(即，在压缩域中)将具有比与帧缓冲区(FIFO)中的基准向量相对应的流更低的等待时间的流的出队操作延迟。经压缩的帧与经解码的帧相比需要更少的存储器空间(例如，20分之一)。因此，可在压缩域中实现占据更少存储器空间的更大的帧缓冲区(FIFO)。这是低成本的解决方案，特别是在其中必须补偿大差分等待时间的情况下。图13示意性地示出了带解码器34及其自己的控制器32的经压缩的帧缓冲区30，其将解码器(经解压的)数据馈送到具有其自己的控制器22的帧缓冲区20并且从那里要在渲染器24中出队并在显示器26上显示。

补偿的另一实施例

本发明的另一实施例是一种异构处理方法或系统，其中多个流在一个物理控制器内被处理且其中该控制器内的数据遵循不同的数据路径。当一个控制器装备有例如硬件解码器(基于例如片上系统(SOC)或可编程硬件的硬件加速解码器)和软件解码器两者时情况是这样的。一个流随后被硬件解码器52(数据路径1，图14)解码，而另一流被软件解码器42(数据路径2，图14)解码。在实践中，硬件解码器52的等待时间通常低于软件解码器42中的等待时间。

一般而言，这两个流将需要不同的等待时间补偿。在此示例中，有可能在位置A或D和B或C处按照与先前实施例类似的方式来进行等待时间补偿。位置A和B是有吸引力的，因为用于经压缩帧的帧缓冲区(FIFO)的大小与用于经解码帧的帧缓冲区(FIFO)相比小得多。

当两个或更多个流被一个物理单元处理时，则测量被一个物理单元处理的这两个或更多个流中的每一个相对于显示器墙的其他显示器上的各流的全部帧的帧等待时间当然是必要的。这些测量可以如在每物理单元单个流但具有两个或更多连续测量或具有经适配的测试图案(其中各显示器上的区域被分配到每个流)的情况中那样进行。

在此示例中，一个数据流被发送至硬件解码器52，而另一流被发送至软件解码器42。硬件和软件解码器52、42一般具有不同的等待时间，但是各流朝向解码器的路径中的其他元件可能已经导致了这两个流的附加的不同等待时间。存在分别在解码器52、42之前和之后的帧缓冲区(FIFO)50、54、40、44。对于硬件解码器52，这是“FIFO经压缩帧流1”和“FIFO经解码帧流1”。对于软件解码器42，这是“FIFO经压缩帧流2”和“FIFO经解码帧流2”(图14)。

对于流1在“A”和“D”处且对于流2在“B”和“C”处将具有比与基准向量相对应的流更低的等待时间的流的出队操作延迟是可能的。用于数据路径1和2两者的经解码的帧随后通过总线60发送至存储器62，诸如GPU存储器，从那里其被显示。压缩域中的帧比解码域中的帧需要更少的存储器空间。因此，在压缩域中可实现占据更少存储器空间的更大的帧缓冲区(FIFO)。

示例

$\begin{array}{c}\left|\right|v_1|{|}^2=2\\ \left|\right|v_2|{|}^2=2\\ \left|\right|v_3|{|}^2=3\\ \left|\right|v_4|{|}^2=5\\ \left|\right|v_5|{|}^2=4\\ \left|\right|v_6|{|}^2=3\end{array}$ min{||v_i||²，i＝1，2，3，4，5，6}＝2对于i＝1和2

对于 $i=3:\left|\right|v_3|{|}^2-|\left|v_1\right|{|}^2=3-2=1\&DoubleRightArrow;$ 数据路径3必须以因子(||v₃||²-||v₁||²)T_d＝1T_d延迟

对于 $i=4:\left|\right|v_4|{|}^2-|\left|v_1\right|{|}^2=5-2=3\&DoubleRightArrow;$ 数据路径4必须以因子

(||v₄||²-||v₁||²)T_d＝3T_d延迟

对于 $i=5:\left|\right|v_5|{|}^2-|\left|v_1\right|{|}^{2}4-2=2\&DoubleRightArrow;$ 数据路径5必须以因子

(||v₅||²-||v₁||²)T_d＝2T_d延迟

对于 $i=6:\left|\right|v_5|{|}^2-|\left|v_1\right|{|}^2=3-2=1\&DoubleRightArrow;$ 数据路径6必须以因子

(||v₆||²-||v₁||²)T_d＝T_d延迟

因此：

g₁＝0，g₂＝0，g₃＝1，g₄＝3，g₅＝2，g₆＝1

本发明在其范围内包括提供计算机程序以与各实施例一起使用。软件可以使用于在处理引擎(诸如微处理器、FPGA以及更一般而言在基于计算机的系统中)中执行的计算机程序产品的形式。计算机程序产品可被存储在合适的信号存储装置中，诸如光盘(例如DVD、、CDROM)、磁盘(例如磁盘、硬盘驱动器)、固态存储器(例如闪存、USB棒)、磁带或类似装置。该计算机程序产品可包括被适配成当在处理引擎(诸如微处理器或FPGA)中执行时通过网络接收流传输测试图像的代码段。该计算机程序产品可包括被适配成将此类图像提供给显示器以及在显示器上提供测试图像的显示的代码段。该计算机程序产品可包括被适配成用图像记录设备捕捉不同端点处的所显示图像的代码段。

该计算机程序产品可包括被适配成操作显示器帧锁定并具有双缓冲交换锁定存储器操作的代码段。

该计算机程序产品可包括被适配成测量在显示器上显示的图像之间的延迟的代码段。

该计算机程序产品可包括被适配成测量所显示图像之间的端到对差分等待时间以及将其置于向量形式中的代码段。

该计算机程序产品可包括被适配成使用所述向量来执行显示器处的延迟的差分补偿的代码段。

该计算机程序产品可包括被适配成向显示器发送所述向量以引导出队操作的代码段。

该计算机程序产品可包括被适配成向帧缓冲区发送所述向量的代码段。

该计算机程序产品可包括被适配成例如向渲染单元或解码器提供延迟补偿的代码段。

尽管在附图和前面的描述中详细解说并描述了本发明，然而此类解说和描述应被认为是解说性或示例性而非约束性的；本发明不限于所公开的实施例。

通过研究附图、公开和所附权利要求，对所公开的实施例的其他变型可由实践所要求保护的发明的本领域技术人员理解并实施。在各权利要求中，不定冠词“一(“a”或“an”)”不排除复数。特定措施在相互不同的从属权利要求中引述这一纯粹事实不指示这些措施的组合不能被充分利用。权利要求中的任何参考标号不应被解释为限制其范围。

Claims (32)

1.一种测量位于网络的端点处的显示器之间的差分等待时间的方法，所述显示器由一个或多个渲染机器驱动并且具有用于在同一时间点刷新不同显示器上的图像的装置以及被适配成使得每个所显示的图像的内容仅能在先前显示的帧完成之后改变的装置，所述方法包括：

通过所述网络向所述不同端点的显示器流传输测试图像，以及测量所显示的图像之间的端到端差分等待时间并将其置于向量形式中。

2.如权利要求1所述的方法，其特征在于，进一步包括在所述显示器上显示所述测试图像，以及用图像记录设备捕捉在不同端点处所显示的图像。

3.一种测量位于网络的端点处的显示器之间的差分等待时间的方法，所述显示器由一个或多个渲染机器驱动并且具有用于在同一时间点刷新不同显示器上的图像的装置以及被适配成使得每个所显示的图像的内容仅能在先前显示的帧完成之后改变的装置，所述方法包括：

通过所述网络向所述不同端点的显示器流传输测试图像，

在所述显示器上显示所述测试图像，以及

用图像记录设备捕捉所述不同端点处所显示的图像。

4.如任何前述权利要求所述的方法，其特征在于，所述显示器被帧锁定地操作并且具有双缓冲交换锁定存储器操作。

5.如任何前述权利要求所述的方法，其特征在于，所述图像记录设备是相机。

6.如权利要求5所述的方法，其特征在于，所述相机不与所述显示器同步。

7.如权利要求3到6中任一项所述的方法，其特征在于，进一步包括测量在所述显示器上显示的图像之间的延迟。

8.如权利要求3到7中任一项所述的方法，其特征在于，进一步包括测量所显示的图像之间的端到端差分等待时间以及将其置于向量形式中。

9.如权利要求8所述的方法，其特征在于，所述向量被用来执行所述显示器处的延迟的差分补偿。

10.如权利要求9的方法，其特征在于，所述向量被发送至所述显示器以引导出队操作。

11.如权利要求8-10所述的方法，其特征在于，所述向量被发送至帧缓冲区。

12.一种测量位于网络的端点处的显示器之间的差分等待时间的系统，所述显示器由一个或多个渲染机器驱动并且具有用于在同一时间点刷新不同显示器上的图像的装置以及被适配成使得每个所显示的图像的内容仅能在先前显示的帧完成之后改变的装置，所述系统包括：

用于通过所述网络向所述不同端点的显示器流传输测试图像的装置，以及

用于测量所述显示器之间的端到端差分等待时间并用于将其置于向量形式中的装置。

13.如权利要求12所述的系统，其特征在于，进一步包括用于用图像记录设备捕捉所述不同端点处所显示的图像的装置。

14.一种测量位于网络的端点处的显示器之间的差分等待时间的系统，所述显示器由一个或多个渲染机器驱动并且具有用于在同一时间点刷新不同显示器上的图像的装置以及被适配成使得每个所显示的图像的内容仅能在先前显示的帧完成之后改变的装置，所述系统包括：

用于通过所述网络向所述不同端点的显示器流传输测试图像的装置，以及

用于用图像记录设备捕捉所述不同端点处所显示的图像的装置。

15.如权利要求12到14中任一项所述的系统，其特征在于，所述显示器被适配成帧锁定的并且具有双缓冲交换锁定存储器操作。

16.如权利要求12到15中任一项所述的系统，其特征在于，所述图像记录设备是相机。

17.如权利要求16所述的系统，其特征在于，所述相机不被适配成与所述显示器同步。

18.如权利要求14到17中任一项所述的系统，其特征在于，进一步包括用于测量在所述显示器上显示的图像之间的延迟的装置。

19.如权利要求12-18中任一项所述的系统，其特征在于，进一步包括用于延迟补偿的装置。

20.如权利要求14到18中任一项所述的系统，其特征在于，进一步包括用于测量所述显示器之间的端到端差分等待时间以及用于将其置于向量形式中的装置。

21.如权利要求20所述的系统，其特征在于，所述系统被适配成使用所述向量来执行所述显示器处的延迟的差分补偿。

22.如权利要求21的系统，其特征在于，所述显示器被适配成使用所述向量来引导出队操作。

23.如权利要求22所述的系统，其特征在于，所述向量被发送至帧缓冲区。

24.一种用于测量位于网络的端点处的显示器之间的差分等待时间的显示单元，所述显示单元包括：

由一个或多个渲染机器驱动并具有用于在同一时间点刷新不同显示器上的图像的显示器，

被适配以使得所显示的每个图像的内容仅能在先前显示的帧完成之后改变的装置，

用于从所述网络流传输的测试图像以及将这些图像提供给所述不同端点的显示器的装置，以及

测量所述显示器之间的端到端差分等待时间并用于将其置于向量形式中。

25.如权利要求24所述的单元，其特征在于，进一步包括用于用图像记录设备捕捉所述不同端点处所显示的图像的装置。

26.一种用于测量位于网络的端点处的显示器之间的差分等待时间的显示单元，所述显示单元包括：

由一个或多个渲染机器驱动并具有用于在同一时间点刷新不同显示器上的图像的显示器，

被适配以使得所显示的每个图像的内容仅能在先前显示的帧完成之后改变的装置，

用于从所述网络接收流传输的测试图像以及将这些图像提供给所述不同端点的显示器的装置，以及

用于用图像记录设备捕捉所述不同端点处所显示的图像的装置。

27.如权利要求24到26中任一项所述的单元，其特征在于，所述显示器被适配成帧锁定的且具有双缓冲交换锁定存储器操作。

28.如权利要求24到27中任一项所述的单元，其特征在于，所述图像记录设备是相机。

29.如权利要求28所述的单元，其特征在于，所述相机不被适配成与所述显示器同步。

30.如权利要求26到29中任一项所述的单元，其特征在于，进一步包括用于测量在所述显示器上显示的图像之间的延迟的装置。

31.如权利要求24-30中任一项所述的单元，其特征在于，进一步包括用于延迟补偿的装置。

32.一种用于实现根据权利要求12到23中任一项所述的系统或根据权利要求24到31中任一项所述的单元或根据权利要求1到11中任一项所述的方法的计算机程序产品。