CN107071396A - 用于测试视频系统的方法、装置和计算机程序产品 - Google Patents

Abstract

用于测试视频系统的方法、装置和计算机程序产品。本发明涉及测试视频传输系统的方法，其包括生成通过扫过某颜色范围其颜色变化的光信号。第一光学传感器不时地捕获光信号以根据被捕获的光信号生成帧。传输帧以被第二通信设备接收。将接收到的帧提供给第二通信设备的显示器以在显示器上重建帧。显示器显示的帧的颜色信息不时被第二光学传感器获得且连续的被重建的帧的颜色信息被比较以确定第一光学传感器的两个连续帧的捕获速率中的偏差、在第一光学传感器捕获帧和显示器显示所述帧之间的延迟、显示器显示的两个连续帧的显示速率中的偏差和/或帧的丢失。可以将音频信息用在视频等待时间、会话等待时间、视频和音频之间的同步及音频同步测量中。

Description

用于测试视频系统的方法、装置和计算机程序产品

技术领域

本发明涉及用于测试视频传输系统的方法。本发明还涉及用于测试视频传输系统的装置。本发明进一步涉及用于测试视频传输系统的计算机程序产品。

背景技术

已经开发了用于在不打开设备或将任何测量装备连接到设备的情况下测试具有显示器的设备的装置和方法。此类装置可以利用图像传感器捕获显示器的帧。然后分析捕获的帧信息以确定视频回放的质量。在一些方法中，将显示器的某区域用于显示帧指示符。帧指示符例如是方格，其被每隔一帧示出为白方格并且每隔一帧示出为黑方格。因此，可以不时地对该区域进行成像，其中可以基于变化的黑方格和白方格的频率来检测帧速率。然而，此类系统仅能够测试接收设备，而不能测试从发送设备到接收设备的传输路径。

因此，存在找到可以较可靠地执行视频捕获、传输和/或接收质量测量的改进的方法、系统和装置的需要。该方法还应该使得能够使用非常简单的测试装备。

在该上下文中，术语帧是要由显示器示出的以矩阵形式的视觉信息的一个集合。帧可以是视频内容的一部分，即帧序列中的一帧、图片等。术语掉帧或遗漏帧意味着帧序列中的由于捕获、传输、接收和/或显示中的错误而没有被显示器显示的帧。掉帧的原因可能是例如捕获设备不足够快、传输路径不具有足够的带宽或容易出错、接收设备或显示器的输入缓冲区已满、控制显示器的设备被其他同时的任务占用等。在本申请中也可以将帧称为图像。

发明内容

本发明的一个目的是提供用于测试视频传输系统及视频传输系统的装置的改进的方法和装置。在该上下文中，测试视频传输系统意味着例如测试视频捕获设备、传输系统、接收设备和/或用于回放视频的显示器的性能。

根据第一方面，提供了一种用于测试的方法，所述方法包括：

生成通过扫过某颜色范围其颜色变化的光信号；

由第一光学传感器不时地捕获光信号以根据被捕获的光信号生成帧；

由第一通信设备传输帧以被第二通信设备接收；

由第二通信设备接收所传输的帧中的一个或多个；

将接收到的帧提供给第二通信设备的显示器以在显示器上重建帧；

由第二光学传感器不时地获得由显示器显示的帧的颜色信息；

比较连续的被重建的帧的颜色信息以确定以下中的一个或多个：

第一光学传感器的两个连续帧的捕获速率中的偏差；

在由第一光学传感器捕获帧和由显示器显示所述帧之间的延迟；

由显示器显示的两个连续帧的显示速率中的偏差；

帧的丢失。

根据第二方面，提供了一种用于测试的系统，所述系统包括：

光信号生成设备，其被适配成生成通过扫过某颜色范围其颜色变化的光信号；

第一光学传感器，其被适配成不时地捕获光信号以根据被捕获的光信号生成帧；

第一通信设备，其被适配成传输帧以被第二通信设备接收；

第二通信设备，其包括用于接收所传输的帧中的一个或多个的接收机和用以在显示器上重建接收到的帧的显示器；

其中系统进一步包括：

第二光学传感器，其被适配成不时地获得由显示器显示的帧的颜色信息；

用于将连续的被重建的帧的颜色信息进行比较以确定以下中的一个或多个的部件：

第一光学传感器的两个连续帧的捕获速率中的偏差；

在由第一光学传感器捕获帧和由显示器显示所述帧之间的延迟；

由显示器显示的两个连续帧的显示速率中的偏差；

帧的丢失。

根据第三方面，提供了一种用于测试的装置，所述装置包括：

光学传感器，其被适配成获得由通信设备的显示器显示的帧的颜色信息，所述帧携带基于由捕获设备捕获的可变颜色的光信号形成的信息；以及

用于比较由通信设备重建和显示的连续帧的颜色信息以确定以下中的一个或多个的部件：

由显示器显示的两个连续帧的捕获速率中的偏差；

在捕获由显示器显示的帧和显示所述帧之间的延迟；

由显示器显示的两个连续帧的显示速率中的偏差；

帧的丢失。

根据第四方面，提供了一种用于测试的计算机程序产品，所述计算机程序产品包括一个或多个指令的一个或多个序列，其在被一个或多个处理器执行时使得装置或系统至少执行以下：

获得由通信设备的显示器显示的帧的颜色信息，所述帧携带基于由捕获设备捕获的可变颜色的光信号形成的信息；以及

比较由通信设备重建和显示的连续帧的颜色信息来确定以下中的一个或多个：

由显示器显示的两个连续帧的捕获速率中的偏差；

在捕获由显示器显示的帧和显示所述帧之间的延迟；

由显示器显示的两个连续帧的显示速率中的偏差；

帧的丢失。

在从属权利要求中定义了一些有利实施例。

通过本发明可以实现一些优点。例如，示例装备可以允许测量相机(camera)和显示器性能两者。因此可以检测一些常见的时间误差，诸如不均匀的相机捕获属性，即不均匀的每秒帧数(FPS)，其诸如例如由行为不当的自动曝光算法引起。这些误差可能显露为测量中的帧捕获间隔中的大变化。还可以检测传输中的掉帧，其诸如由缺少带宽引起。这可能显示为是正常的两倍长的捕获间隔。此外，可以检测不均匀的显示速率(以每秒帧数为单位)，其诸如由不足的处理器性能引起。这可能显露为帧显示间隔中的大变化。

根据实施例，可以在视频等待时间和音频同步测量中利用音频信息。例如，可以在发送音频标记的同时切换颜色循环方向。通过在帧改变检测器中使用相位角差的绝对值，其不被方向改变影响。然后可以确定颜色循环何时已经倒转并测量检测到的方向改变与接收到的音频蜂鸣声之间的时间差。该时间差可以揭示音频信号和视频信号之间的同步差(又名唇同步)。该布置还可以使得测量所谓的会话等待时间(又名口到耳等待时间或端到端等待时间)也成为可能，所述会话等待时间描述从传输音频(和视频)信息到在接收端处重建音频(和视频)信息所花费的时间。

附图说明

在下文中，将参考附图更详细地描述本发明，在所述附图中：

图1a是根据示例实施例的测量装备的概念图；

图1b是根据另一示例实施例的测量装备的概念图；

图2a图示了根据实施例的如灰度图像的色调的示例；

图2b图示了作为示例的关于由光信号生成设备生成的色调的帧捕获的一些时刻；

图2c图示了作为示例的根据实施例的用以生成色调的三个不同颜色的强度的波形；

图3a和3b示出了在两个设备之间使用视频通话的测量结果的示例；

图4a和4b示出了在两个设备之间使用视频通话的测量结果的另一示例；

图5a将根据示例实施例的控制设备描绘为简化框图；

图5b将根据示例实施例的测量设备描绘为简化框图；

图6图示了根据实施例的用于获得帧捕获和显示信息的装置的一些功能块；

图7a描绘了根据实施例的经标准化的颜色数据和稳定值，如其在时域中显现的那样；

图7b示出了与图7a相同的数据，但是绘制了来自多个循环的点并移除了时间分量；

图7c描绘了经标准化的颜色数据和稳定值，如其在时域中显现的那样，其中一些校准点被选择作为代表点；以及

图7d描绘了根据实施例的使用循环中的最近代表点及其两个邻居对样本的处理。

具体实施方式

在下文中，将描述一些示例实施例。图1a图示了根据示例实施例的测量装备的示例并且图5b是根据本发明的示例实施例的装置8的简化框图。该装备包括控制设备1，所述控制设备1被适配成控制光信号生成设备2生成连续地变化的光信号。该装备可以进一步包括捕获设备3，所述捕获设备3被适配成从由光信号生成设备2生成的光信号捕获帧。捕获设备3可以包括第一通信设备4，或者第一通信设备4可以与捕获设备3分离。第一通信设备4被适配成从捕获设备3接收帧信息并将帧信息传输到通信通道5。通信通道5可以是能够将帧信息从第一通信设备4传输到第二通信设备6的任何种类的通信系统。第二通信设备6被适配成接收由第一通信设备4经由通信通道5传输的帧信息。第二通信设备6还可以被适配成将接收到的帧信息提供给显示器7或显示器7可以是(未示出的)单独设备的部分。根据图1a的示例的测量装备还包括能够测量和分析由显示器7示出的帧信息的测量设备8。第一通信设备4和第二通信设备6也可以被分别称为传输设备4和接收设备6。

在下文中，更详细地描述图1a的测量装备的操作。在不限制本发明的范围的情况下，假定捕获设备3和第一通信设备4是同一装置的部分。在不限制本发明的范围的情况下，进一步假定显示器7是第二通信设备6的一部分。

控制设备1向光信号生成设备2生成变化的信号以生成根据预定方式改变颜色的光信号。作为示例，颜色的色调在测试期间连续地改变，使得某颜色范围在一个序列期间被光信号生成设备2扫过。该序列可以重复许多次。作为示例，颜色可以遵循RGB颜色模型(红-绿-蓝)的所谓的色调-饱和度-亮度(HSL)或者色调-饱和度-值(HSV)表示。根据这些表示，可以通过0°和360°之间的角值呈现不同的颜色。在这些表示中，值0°和360°意味着纯红色。为了根据RBG颜色模型产生不同的颜色，光信号生成设备2能够产生三个不同的光信号，即红、绿和蓝，并且单独地改变这些光信号的强度。因此，为了产生具有全强度的红色，仅生成红光，为了产生具有全强度的绿色，仅生成绿光，并且为了产生具有全强度的蓝色，仅生成蓝光。可以通过相应地调整红光、绿光和蓝光的亮度来生成其他颜色。图2a图示了如灰度图像的此类色调的示例。灰色的不同深浅图示了色调的不同颜色。

在实际实现中，线性地产生色调使得每个可能数量的不同颜色将被生成可能不是可能的。然而，生成色调的颜色使得色调的某数量的不同颜色将被生成可能是足够的。例如，可以将360°范围划分成360个步长(step)，其中每个接连的颜色可以与前一颜色相差1°，或者可以将360°范围划分成60个步长，其中每个接连的颜色可以与前一颜色相差6°，等等。换言之，光信号生成设备2可以生成使得每个接连的颜色与前一颜色相差大约一度的色调，其中可以由光信号生成设备2在一个序列期间一次一个地生成360个不同的颜色。在每两个连续的颜色相差大约6°的另一示例中，颜色的一个序列将包括60个不同颜色。在本申请中，由捕获设备3捕获的该光学颜色信息也被称为标记。

根据实施例，光信号生成设备2生成光信号，其中三个颜色红、绿和蓝的强度以使得三个颜色中的每个的最大(和最小)强度的相位角具有大约120°相位差的方式根据正弦波改变。例如，蓝色的相位滞后于红色的相位大约120°，并且绿色的相位滞后于蓝色的相位大约120°。图2c图示了根据实施例的用以生成色调的这三个不同颜色的强度的波形。红色分量的波形用标签20指示，蓝色分量的波形用标签22指示，并且绿色分量的波形用标签24指示。

捕获设备3可能能够具有固定的捕获速率，或者它可能能够例如根据可能的捕获速率的集合来设置捕获速率。作为示例，捕获速率可以是10fps(每秒帧数)、20fps、24fps、25fps、50fps或60fps。捕获速率可以被认为是预期捕获速率。

可以将由捕获设备3捕获的帧提供给捕获设备3中的应用，其中装备还可以测量应用的图像处理能力。应用可以例如是视频通话应用、视频会议应用、通过LTE的视频应用、WiFi端到端应用、多媒体消息传送应用等。

在下文中，将更详细地描述图1a的装备的操作。由控制设备1生成的变化的信号可以例如经由电缆11耦合到光信号生成设备2。基于该信号，光信号生成设备2生成改变其颜色使得整个色调将在一个序列期间被扫过的光信号。一个序列，其也可以被称为一个颜色循环，可以持续若干秒，诸如1s、2s、3s，或者可以短于一秒或长于3s。根据实施例，一个序列的长度使得该序列中的一个颜色的呈现时间短于捕获设备3的捕获速率。这可以确保由捕获设备3捕获的两个接连的帧将具有来自光信号生成设备2的不同颜色。作为非限制性示例，捕获设备3的捕获速率是20fps，其中光信号生成设备2应该比每秒20次更快地改变颜色。如果将由光信号生成设备2产生的色调分成360个不同的颜色，则那将意味着序列的长度将小于18秒(＝360/20)。然而，设置序列的长度短于18秒使得光信号生成设备2在捕获设备3的捕获速率内不止一次改变其颜色可以是有利的。

当捕获设备3捕获由光信号生成设备2产生的图像时，捕获设备3可以在其曝光时间上对颜色值求平均。该曝光时间可以是0和帧间隔之间的任何值。光信号生成设备2可能不知道曝光时间，并且曝光时间可能不可控。因此，不管在什么点处捕获颜色值，它们都应该是可解码的。图2c还图示了作为开始时刻23和停止时刻24的曝光时间，其中捕获设备3可以为三个颜色中的每个产生平均强度值。在图2c中，这些被图示为虚线：25代表红色，26代表蓝色，并且27代表绿色。

上面描述的基于正弦波的色调的生成可以提供一些优点。例如，在短间隔上对颜色值求平均可以给出接近于在间隔的中间处的瞬时值的值，并且至少一个颜色通道可以在任何时间足够迅速地改变。然而，这里应该注意，三相正弦波循环不是仅有的可能的波形，而可以是指定和生成最简单中的一个。

在显示器侧，帧改变的检测可以依赖于接连的帧之间的颜色差。颜色改变应大到足以可检测，但同时可能期望使得全颜色循环的长度最大化。较大的颜色循环长度可以允许以单一目标速度测量较大范围的相机帧速率。

图2b图示了作为示例的一些时刻，捕获设备3在所述一些时刻从由光信号生成设备2生成的光捕获帧。在图2b中用参考号码t_n、t_n+1、t_n+2、t_n+3来标注这些时刻中的一些。

可以将捕获设备3定位成使得捕获设备3的捕获元件(诸如(未示出的)相机)指向光信号生成设备2，使得捕获元件可以捕获关于由光信号生成设备2生成的光信号的图像，然后可以将其转换成要传输的帧。

第一通信设备4将被捕获的帧(由图像捕获设备3捕获的帧或由应用处理的帧)传输到传输通道5，所述传输通道5将它们转发到第二通信设备6以由显示器7显示。由捕获设备3捕获并随后由显示器7示出的帧包括在某位置处的光信号(色调的视觉信息)，或者整个帧可以示出同一颜色。测量设备8具有光学传感器8.6(例如，相机、CCD传感器、CMOS传感器等)，其能够基于颜色信号产生例如RBG信息。在理想系统中，当由信号生成设备2生成的颜色信号连续地经过色调(从0°到360°)时，光学传感器8.6也应该识别相同序列并产生相应的电信号。然而，在实际系统中，可能存在一些误差源，其可能轻微地影响光信号的再现的准确度。这些种类的误差在系统的操作期间可能不大大改变，其中实际测量应该不被此类误差影响，因为装备的目的不是测量系统能够多么准确地产生光信号的颜色，而是使用光信号作为帧改变的指示符。

在将被捕获的帧足够快地递送到接收端使得可以以某速率(其可以被认为是预期显示速率)显示接收到的帧的情况下，与正确的显示速率的偏差可以揭示接收设备6和/或显示器7可能不能足够快地再现帧以维持预期显示速率。

可以例如如下确定显示速率中的偏差。由测量设备8捕获由显示器7显示的视觉信息直到已经检测到视觉信息的颜色中的改变。然后，可以检测改变的时刻。该信息可以指示一帧的显示时间。可以继续捕获由显示器7显示的视觉信息直到已经检测到视觉信息的颜色中的另一改变。也可以检测该另一改变的时刻。另一改变的时刻可以指示另一帧的显示时间。因此，使用第二帧的显示时间和第一帧的显示时间之间的差，可以计算出实际显示速率。可以基于实际显示速率和预期显示速率之间的差来确定显示速率的偏差。

可以例如通过使用光纤9将由显示器7显示的信息或其部分传送到测量设备8。因此，光纤9的一端可以被定位在显示器7的表面附近或上，在将示出色调的位置处。根据实施例，整个显示器7可以示出色调，其中光纤9的一端可以被几乎定位在显示器7上的任何位置处。

光纤9的另一端耦合到可以经由其将光信号转发到光学传感器8.6的光纤插座8.7。

测量设备8可以测量和分析由显示器7示出的帧信息。测量设备8可以检测颜色标识符或整个屏幕的颜色何时改变并且使用该信息作为对由显示器示出的帧的改变的指示。因此，测量设备8还可以使用定时信息来确定帧改变的时刻。定时信息然后可以用于确定在帧的改变中是否存在变化。这些变化可以指示帧传输系统的一些部分不能一直在正确的时刻提供连续帧。

颜色标识符的颜色信息可以用于确定帧的捕获速率中的可能偏差。这可以例如以使得测量设备8知道颜色的预定序列和光信号生成设备2产生的光信号的步调的方式来执行。作为示例，让我们假定预期捕获速率是10fps(＝100ms)且由光信号生成设备2生成的颜色改变的步调是20ms，并且360个不同的颜色被生成，这将意味着360°范围被分成360个步长，其中每个接连的颜色应该与前一颜色相差1°。因此，两个连续地捕获的帧的颜色应该彼此相差大约5°。如果接收到的连续帧的颜色不同于预期的颜色，则可以假定实际捕获速率不同于预期值。因此，比较不同帧的经测量的颜色可以揭示捕获设备3的实际捕获速率。在图2b中，通过线c_n、c_n+1、c_n+2、c_n+3指示关于色调的实际捕获时刻的一些示例。

连续接收的帧的颜色信息还可以用于确定是否已经接收到每个被捕获的帧。如果掉了一个或多个帧，则两个连续接收的帧的颜色信息比预期相差得多。上面描述的示例和图2b的捕获时刻可以被用作阐明这一点的示例。例如，如果在时刻t_n和t_n+3捕获的帧已经被成功地接收且由显示器7显示，但是在时刻t_n+1和t_n+2捕获的帧尚未被接收到，则在时刻t_n捕获的帧和在时刻t_n+3捕获的帧的颜色相差大约15°。因此，因为其被假定仅相差大约5°，所以可以推断在系统的一些部分中掉了两个帧。

根据实施例，光学传感器8.6可以例如针对每个颜色产生指示被捕获的图像中的颜色的强度的信号。在理想情况下，光学传感器8.6将生成三个不同的信号，当使用正弦波时每个信号遵循图2c的颜色信号的波形。如果在每个坐标轴对应于一个特定颜色的三维坐标系中描绘这三个波形，则当被绘制在这三个维度上时，三相正弦在理想情况下将形成椭圆。然而，由于失真、非线性和其他可能的因素，由光学传感器8.6产生的信号可能不正确地对应于由光信号生成设备2生成的信号，其中显示器颜色响应可能使该椭圆既在形状上又在沿曲线的点的密度上失真。

图6图示了根据实施例的用于获得帧捕获和显示信息的装置的一些功能块。显示在显示器上的信息的亮度可能例如由于背光的亮度中的改变而变化。因此，可以对由光学传感器8.6产生的信号进行滤波(图6中的块601)以减少亮度变化的影响。此外，颜色数据602可以进一步被标准化，使得最小值和最大值位于某范围内和/或被缩放(块603)。滤波/标准化的输出可以是例如以某采样率(例如1kHz或另一适当值)的三个颜色值的流604。这些颜色值可以被转换成角值，使得它们位于完整的圆——即0°-360°(0-2π弧度)内。

如上面提及的那样，系统可能具有非线性和其他不准确源，其中可能期望校准系统以消除或至少减少此类不准确的影响。为了校准目的，系统可以使用许多测量结果来计算出实际色环在测量端处如何显现。测量结果可以是在三维坐标系中(在XYZ颜色域中)表示的颜色值。图7a描绘了由颜色转变检测器605给出的经标准化的颜色数据(线)和稳定值(圆点)，如其在时域中显现的那样。可以基于从颜色转变检测器605接收的稳定颜色值606来执行颜色循环定向607。这些值及其时间戳可以直接对应于显示器侧的帧。颜色循环定向块的功能是获得颜色值并根据它们来计算相位角。

颜色数据可以首先被观察为三维点的无序集合。为了校准的目的，可以丢弃帧的所有时间和顺序信息。该步骤依赖于颜色值沿着循环的均匀分布。图7b示出了与图7a相同的数据，但是绘制了来自多个循环的点并且移除了时间分量。现在，颜色循环的失真的椭圆形状变得显然。校准的一个目的是定义函数f：R³→[0……2π]，其将颜色值映射到沿着循环的相位角，即对循环进行定向。

可以如下实现循环定向。沿着循环以规则的间隔拾取点，并且例如通过使用和求解所谓的旅行推销员问题来获得近似循环的多边形。还可以计算接近于每个多边形点的校准点的密度，并且可以选取角值使得相位角与在循环的每个点处的密度成比例地增加。为了保持任务可行，可以定义循环的代表点的可管理数量。在实践中，多达24个点可以是可行的，作为表示准确度和所要求的校准时间之间的折衷。

因为已经将颜色数据标准化到三维坐标系的每个轴上的标称范围，所以当已经将颜色值标准化在范围-1000-1000内时，可以假定循环的周长近似是2πr＝2π1000≈6000。将其均匀地除以代表点的所选数量(在该示例中是24)，可以获得它们之间的平均距离，其在该示例中是250。对于每个传入的校准点，算法可以定位最接近的已经存在的代表点。如果距离大于计算出的平均距离(250)，则添加校准点本身作为新的代表点。否则，将校准点赋值给旧的代表点，并且通过小因子来调整点的位置。这样，代表点表示在附近的点的平均。在图7c中，代表点被图示为较大的圆点，并且其他校准点被图示为较小的圆点。

作为收集代表点的部分，可以保留落在每个代表点附近的校准样本的数量的计数。这给出了对点密度的估计。如果相位角的均匀分布被假定，则其给出了在该代表点附近的相位角的导数。

通过从0开始来合计点密度，并将结束值标准化成2π≈6.28，针对每个代表点可以获得两个相位角值：当循环进入该点附近时的角，以及当循环离开附近时的角。每个代表点的结束角等于下一个点的开始角。针对要处理的每个样本P，可以获得在循环中的最近代表点RP2及其两个邻居RP1、RP3，其中可以在段RP1、RP2和RP2、RP3上的中途计算出中间点M1、M2(图7d)。这些中间点M1、M2对应于代表点RP2的开始相位角和结束相位角。

输入点P的相位角α被计算为两个中途点M1和M2与它们相应的角α₁和α₂之间的线性插值：

帧改变检测器609将加时间戳的相位角当做输入并输出帧显示长度和捕获长度(例如以微秒为单位)。计算显示时间可以基于颜色转变检测器已经定位的帧改变点。

为了计算捕获时间，帧检测器609可以记录每个时间增量的平均相位角增量，即颜色循环的近似rad_per_s值。根据实施例，可能定义了可能的颜色循环速率的集合，并且帧检测器609可能知道这些值。因此，可以将所获得的平均颜色循环速率四舍五入到最近的已知循环速率值。可以将捕获长度计算为phase_angle_delta/rad_per_s并且为了进一步处理而从帧改变检测器609输出610。

根据实施例，图1a的布置还可以可适用于确定系统的等待时间。然而，控制设备1和测量设备8可能需要被同步，使得测量设备8能够推断由光信号生成设备2产生的光信号的相位。这可以被实现成例如使得控制设备1和测量设备8二者都能够访问时间基准资源，使得两个设备都知道挂钟时间。例如，控制设备1和测量设备8二者都可能能够从诸如GPS(全球定位系统)之类的的卫星定位系统接收星历信号，其中可以基于星历信号获得世界时间信息(日期和一天中的时间)。另一选项是经由互联网连接到提供世界时间信息的服务(例如连接到网络时间协议服务)。如果测量设备8还具有光信号生成设备2生成色调的某颜色(例如，对应于0°的颜色)的时间的信息，则测量设备8可能能够推断出它应该在显示器7上检测到包含该特定颜色的帧的时刻。在测量设备8实际上检测到此类帧的时刻与预期时刻之间的差揭示了捕获设备3和显示器7之间的等待时间(延迟)。然而，这里应该注意，如果等待时间长于颜色序列的长度，则所谓的混叠效应可能干扰等待时间确定。这是由于如下事实：如果系统将帧从传输端递送到接收端花费的时间比光信号生成设备扫过的全色调花费的时间更长，则显示器7不在前一颜色序列周期期间显示被捕获的帧直到下一个颜色序列周期已经在传输端处开始。这可以通过以下示例来阐明。让我们假定光信号生成设备2在时间t0产生对应于0°的颜色且颜色序列的一个周期可能花费10s。因此，10秒后将再次产生相同的颜色。如果传输和显示帧花费多于10秒，比如说12秒，则测量设备8可以推断出传输帧仅花费2秒，这在该示例中明显是不正确的。因此，在没有除世界时间信息之外的任何其他同步的情况下，可以检测到的最大等待时间可能不长于颜色序列的一个周期。

为了测量视频等待时间和音频同步，可以将时间标记合并到颜色波形。一个示例解决方案是在发送音频标记的同时切换颜色循环方向。通过在帧改变检测器中使用相位角差的绝对值，其不被方向改变影响。可以例如每5秒、每10秒或使用另一适当的间隔来执行方向切换。测量设备8然后可以确定颜色循环何时已经倒转，并测量检测到的方向改变与接收到的音频蜂鸣声之间的时间差。该时间差揭示了音频信号和视频信号之间的同步差(又名唇同步)。该布置使得测量所谓的会话等待时间(又名口到耳等待时间或端到端等待时间)也成为可能，所述会话等待时间描述了从传输音频(和可能传输视频)信息到在接收端处重建音频(和可能重建视频)信息所花费的时间。过长的等待时间可能使得会话过于困难。

现在提供图1a的装备的一些部分的一些非限制性示例。捕获设备3和第一通信设备4可以是例如具有相机的移动电话或个人计算机的部分。移动电话和/或个人计算机可能能够运行视频通话应用，其接收由相机捕获的帧并将该帧发送到通信通道。通信通道5可以包括无线网络(例如WLAN)、移动电话网络(例如GSM、GPRS、LTE)、互联网等。第二通信设备6也可以是具有相机的移动电话或个人计算机的部分。

根据实施例，不需要分离的控制设备1和测量设备8，而是可以将它们组合使得同一设备控制光信号生成设备2并在显示器7上执行涉及被重建的帧的任务。图1b描绘了此类布置的示例。换言之，测量设备8控制光信号生成设备2生成连续地变化的光信号，并从光学传感器获得关于光信号的信息。因此，测量设备8可以存储关于某光信号被生成的时刻的信息。测量设备8可以进一步存储关于相应的光信号被显示器7重建的时刻的信息。这些时刻之间的差指示捕获、传输、接收和重建光信号所花费的延迟。这可以指示通信通道5的等待时间，尽管时间差可能不直接揭示等待时间但可以包括由图像捕获设备3、第一通信设备4、第二通信设备6和显示器7引起的延迟。因此，该布置可能能够检测长于颜色序列的一个周期的等待时间，因为混叠效应可以被消除。

在该实施例中，测量设备8、光信号生成设备2、捕获设备3、第一通信设备4、第二通信设备6和显示器7可以位于彼此附近，例如在同一房间内，使得测量设备8能够访问光信号生成设备2和显示器7。第一通信设备4和第二通信设备6可以与相同的通信网络进行通信，或者与不同的网络进行通信，但以使得可以在第一通信设备4和第二通信设备6之间形成数据传输连接的方式。

另一方面，控制设备1和测量设备8可以是分离的设备，但是它们位于彼此附近使得控制设备1可以向测量设备8指示光信号生成设备2的实际相位。因此，该布置可能能够检测长于颜色序列的一个周期的等待时间，因为混叠效应可以被消除。

图3a和3b示出了在两个设备之间使用视频通话的测量结果的示例。在图3a中，将相机时间对显示时间描绘为图。线图示了颜色指示器的检测到的色调角，并且圆点图示了检测到的帧改变。在图3b中，x轴指示帧号并且y轴指示帧的显示时间。在该示例中，使用10fps帧速率建立通话，其中图像捕获设备3(即传输移动电话的相机)以相机的本机帧速率捕获帧并且视频通话应用挑选帧以产生10fps帧速率。可以看出，在检测到的帧号16和17之间存在较长的延迟。这可能是由于在传输或显示帧号17中的长延迟。

图4a和4b示出了在两个设备之间使用视频通话的测量结果的另一示例。在图4a中，将相机时间对显示时间描绘为图。线图示了颜色指示器的检测到的色调角，并且圆点图示了检测到的帧改变。在图4b中，x轴指示帧号并且y轴指示帧的显示时间。在该示例中，使用8fps帧速率建立通话，其中图像捕获设备3(即传输移动电话的相机)以相机的本机帧速率捕获帧并且视频通话应用挑选帧以产生8fps帧速率。可以看出，帧显示间隔的平均值是相当恒定的。这一点的一个原因可能是较慢的帧速率，其中系统可以有更多的时间用于处理每个帧。

根据实施例，在测试过程中也可以使用音频信号。例如，控制设备1生成可以在必要时由放大器1.11放大并且例如经由电缆12耦合到扬声器13的音频信号。如果控制器1.1(图5a)不能产生模拟信号而产生表示音频信号的数字信号，则由控制器生成的数字信号可能需要通过数字到模拟转换器1.12转换成模拟信号。扬声器可以例如位于与光信号生成设备相同的壳中，或者它可以在如图1a和1b中图示的分离的壳中。第一通信设备4的麦克风捕获音频信号，其中第一通信设备4将它们传输到通信网络5以递送到第二通信设备6。第二通信设备6也接收音频信号，并可以通过(未示出的)扬声器生成相应的可听信号。然而，音频信号可以被经由第二通信设备6的(未示出的)音频连接器捕获为电信号，并例如经由电缆10耦合到测量设备8以用于分析。在分析之前将接收到的模拟音频信号转换成数字形式可能是必要的。这可以例如通过模拟到数字转换器8.10(ADC)来执行。

可以例如以使得控制设备1与颜色序列同步地生成音频信号的方式来执行基于音频信号的分析。例如，每当颜色序列前进了6°，可以生成具有某频率的音调。测量设备8然后可以利用该信息来确定音频信号是否与视频帧同步。

图5a将根据示例实施例的控制设备1的一些细节描绘为简化框图。设备1包括被适配成控制控制设备1的操作中的至少一些的控制器1.1。还可能存在用于存储用于控制控制器1.1的操作的数据和/或计算机代码的存储器1.2。控制器1.1可以是诸如CPU(中央处理单元)或能够执行计算机代码的另一种装置之类的处理器。设备还可以具有用户接口1.3(UI)，其可以包括显示器1.4和键盘1.5或一些控制键。设备进一步包括向光信号生成设备2提供电信号的颜色控制输出端1.6。这些电信号可以是数字信号或模拟信号。作为示例，电信号包括某数量的位，其向光信号生成设备2指示要由三个不同颜色的led(发光二极管)生成的光的强度。因此，第一组8位可以指示红色的强度，第二组8位可以指示绿色的强度，并且第三组8位可以指示蓝色的强度。在该选项中，信号生成设备2可能需要转换器以将数字信号转换成用于led的适当的模拟信号。

根据实施例，控制设备1将三个模拟信号输出到光信号生成设备2，其中每个输出可以耦合到信号生成设备2的一个led。在该实施例中，由控制器1.1生成的数字颜色信息可以通过模拟/数字转换器1.9(DAC)转换成模拟信号。

可能存在滤波器1.10，其可以在模拟信号被输出到信号生成设备2之前使其平滑。

控制设备1可以进一步包括通信部件1.7以与诸如移动通信网络、无线LAN和/或互联网之类的通信网络进行通信。

根据实施例，代替通信部件1.7或者除了通信部件1.7之外，控制设备1可以包括卫星定位接收机1.8，其被适配成从卫星定位系统接收信号以例如为了同步目的而检索时间基准。

图5b将根据示例实施例的测量设备8的一些细节描绘为简化框图。设备8包括被适配成控制测量设备8的操作中的至少一些的控制器8.1。还可能存在用于存储用于控制控制器8.1的操作的数据和/或计算机代码的存储器8.2。控制器8.1可以是诸如CPU(中央处理单元)或能够执行计算机代码的另一类装置之类的处理器。设备还可以具有用户接口8.3，其可以包括显示器8.4和键盘8.5或一些控制键。设备进一步包括光学传感器8.6，其将光信号转换成数字形式并将这些数字信号提供给控制器8.1用于分析目的。换言之，光学传感器8.6起光/电转换器的作用。光学传感器8.6优选地能够生成能够指示检测到的光信号的颜色和强度的此类数字信号。例如，光学传感器8.6可以产生三个不同的数字信号，其中第一信号指示检测到的光信号的红色分量的亮度，第二信号指示检测到的光信号的绿色分量的亮度，并且第三信号指示检测到的光信号的蓝色分量的亮度。因此，这三个信号的组合可以揭示色调中的颜色的角值。然而，还可能存在将光信号转换成颜色表示的角的其他方式。

根据实施例，测量设备8可以包括用于可以经由其从显示器7拾取光信号并且将所述光信号馈送到光学传感器8.6的光纤10的连接器。

测量设备8可以进一步包括通信部件8.7以与诸如移动通信网络、无线LAN和/或互联网之类的通信网络进行通信。

根据实施例，代替通信部件8.7或除了通信部件8.7之外，测量设备8还可以包括卫星定位接收机8.8，其被适配成从卫星定位系统接收信号以例如为了同步目的而检索时间基准。

如上面提及的那样，同一装置可能能够执行控制设备1和测量设备8二者的操作，其中一些电路也可能对于两个操作而言是共同的。作为示例，一个控制器可能能够执行涉及色调生成和涉及所显示的颜色识别的任务。

上面描述的测量系统可以用于测试许多种系统和应用及其端到端性能。一些非限制性示例是视频通话、视频会议、通过LTE的视频、WiFi、多媒体消息传送、IP相机系统等。这里要提及的一些其他应用是用于车辆的不同种类的相机系统，诸如轿车、移动的工作机器、公共汽车、卡车等中的后备相机和其他相机。测量系统可以用于测量从相机到显示器的等待时间和/或帧捕获/显示速率等。

根据实施例，测量系统还可以用于基于由诸如数码相机、移动电话等的移动设备捕获和存储的视频来分析唇同步和/或帧捕获/显示速率。当设备离线时，该种测试和分析也是可能的。

应该注意，根据示例实施例，如果在两端处使用类似的装置，则测试布置也可以用于以相反的方式执行类似的测试。换言之，存在要由设备8控制的另一光信号生成设备2，其中第二通信设备6可以从光信号捕获帧并将其传输到第一通信设备4，并且设备1执行与图1a的布置中的测量设备8的测量操作类似的测量操作。

本发明不限于上面描述的实施例，而是可以在所附权利要求书的范围内被修改。

Claims (15)

1.一种用于测试的方法，包括：

生成通过扫过某颜色范围其颜色变化的光信号；

由第一光学传感器(3)不时地捕获光信号以根据被捕获的光信号生成帧；

由第一通信设备(4)传输帧以被第二通信设备(6)接收；

由第二通信设备(6)接收所传输的帧中的一个或多个；

将接收到的帧提供给第二通信设备(6)的显示器(7)以在显示器(7)上重建帧；

由第二光学传感器(8.6)不时地获得由显示器(7)显示的帧的颜色信息；

比较连续的被重建的帧的颜色信息以确定以下中的一个或多个：

第一光学传感器(3)的两个连续帧的捕获速率中的偏差；

由第一光学传感器(3)捕获帧和由显示器(7)显示所述帧之间的延迟；

由显示器(7)显示的两个连续帧的显示速率中的偏差；

帧的丢失。

2.根据权利要求1所述的方法，进一步包括：

改变光信号的颜色，使得光信号扫过色调的不同颜色，一个扫过形成颜色的一个序列；以及

周期性地重复所述序列。

3.根据权利要求1或2所述的方法，包括：

比光学传感器(3)的预期捕获速率更快地改变颜色。

4.根据权利要求1、2或3所述的方法，所述确定捕获速率中的偏差包括：

定义两个连续地显示的帧的颜色之间的差；以及

将所述差与预期差进行比较。

5.根据权利要求1至4中的任一个所述的方法，包括：

将色调内的颜色定义为角值。

6.根据权利要求1至5中的任一个所述的方法，所述确定延迟包括：

确定被捕获的帧的捕获时间；

确定被捕获的帧的颜色；

确定具有与被捕获的帧相同的颜色的被重建的帧的显示时间；以及

基于显示时间和捕获时间之间的差来确定偏差。

7.根据权利要求1至6中的任一个所述的方法，所述确定显示速率中的偏差包括：

捕获由显示器(7)显示的视觉信息，直到视觉信息的颜色中的改变已被检测到；

确定指示第一帧的显示时间的改变的时刻；

捕获由显示器(7)显示的视觉信息，直到视觉信息的颜色中的另一改变已被检测到；

确定指示第二帧的显示时间的另一改变的时刻；

使用第二帧的显示时间和第一帧的显示时间之间的差计算出实际显示速率；以及

基于实际显示速率和预期显示速率之间的差来确定显示速率的偏差。

8.根据权利要求1至7中的任一个所述的方法，进一步包括：

改变光信号的颜色的变化的方向和发送音频标记；

根据由显示器(7)显示的视觉信息来确定表示颜色的变化的方向改变的时刻的第一时刻；

确定表示音频标记已被接收的时刻的第二时刻；以及

使用第二时刻和第一时刻之间的时间差来确定视频等待时间、会话等待时间、视频和音频之间的同步以及音频同步中的至少一个。

9.一种用于测试的系统，包括：

光信号生成设备(2)，其被适配成生成通过扫过某颜色范围其颜色变化的光信号；

第一光学传感器(3)，其被适配成不时地捕获光信号以根据被捕获的光信号生成帧；

第一通信设备(4)，其被适配成传输帧以被第二通信设备(6)接收；

第二通信设备(6)，其包括用于接收所传输的帧中的一个或多个的部件和用于将接收到的帧提供给显示器(7)以在显示器(7)上重建接收到的帧的部件；

其中系统进一步包括：

第二光学传感器(8.6)，其被适配成不时地获得由显示器(7)显示的帧的颜色信息；

部件(8.1)，其用于比较连续的被重建的帧的颜色信息以确定以下中的一个或多个：

第一光学传感器(3)的两个连续帧的捕获速率中的偏差；

由第一光学传感器(3)捕获帧和由显示器(7)显示所述帧之间的延迟；

由显示器(7)显示的两个连续帧的显示速率中的偏差；

帧的丢失。

10.根据权利要求9所述的系统，包括：

用于生成变化的颜色的光信号的部件(2)。

11.根据权利要求10所述的系统，其中：

用于生成变化的颜色的光信号的所述部件(2)被适配成比捕获设备(3)的预期捕获速率更快地改变颜色。

12.根据权利要求9、10或11所述的系统，进一步包括：

用于改变光信号的颜色的变化的方向的部件；以及

用于与光信号的颜色的变化的方向的改变同步地发送音频标记的部件。

13.一种用于测试的装置，包括：

光学传感器(8.6)，其被适配成获得由通信设备的显示器(7)显示的帧的颜色信息，所述帧携带基于由捕获设备(3)捕获的可变颜色的光信号形成的信息；以及

部件(8.1)，其用于比较由通信设备重建和显示的连续帧的颜色信息以确定以下中的一个或多个：

由显示器(7)显示的两个连续帧的捕获速率中的偏差；

在捕获由显示器(7)显示的帧和显示所述帧之间的延迟；

由显示器(7)显示的两个连续帧的显示速率中的偏差；

帧的丢失。

14.根据权利要求13所述的装置，包括：

用于根据由显示器(7)显示的颜色信息来确定表示颜色的变化的方向改变的时刻的第一时刻的部件；

用于接收音频信号的部件；

用于检查接收到的音频信号以检测音频标记的部件；

用于确定表示音频标记已被接收的时刻的第二时刻的部件；以及

用于使用第二时刻和第一时刻之间的时间差来确定视频等待时间、会话等待时间、视频和音频之间的同步以及音频同步中的至少一个的部件。

15.一种用于测试的计算机程序产品，包括一个或多个指令的一个或多个序列，其在被一个或多个处理器执行时使得装置或系统至少执行以下：

获得由通信设备的显示器(7)显示的帧的颜色信息，所述帧携带基于由捕获设备(3)捕获的可变颜色的光信号形成的信息；以及

比较由通信设备重建和显示的连续帧的颜色信息来确定以下中的一个或多个：

由显示器(7)显示的两个连续帧的捕获速率中的偏差；

在捕获由显示器(7)显示的帧和显示所述帧之间的延迟；

由显示器(7)显示的两个连续帧的显示速率中的偏差；

帧的丢失。