CN101668223A

CN101668223A - 一种测量图像传输时延的方法

Info

Publication number: CN101668223A
Application number: CN200910092221A
Authority: CN
Inventors: 尚书林; 国辉; 王猛; 李林琳
Original assignee: Space Star Technology Co Ltd
Current assignee: Space Star Technology Co Ltd
Priority date: 2009-09-07
Filing date: 2009-09-07
Publication date: 2010-03-10
Anticipated expiration: 2029-09-07
Also published as: CN101668223B

Abstract

一种测量图像传输时延的方法，(1)将待测量源图像序列经过传输后生成时延图像序列；(2)采集所述的源图像序列和时延图像序列，采集的同时记录源图像序列和时延图像序列的每一帧图像的采集时间，并将采集的源图像序列和时延图像序列的每一帧图像分别进行缓存；(3)将缓存的源图像序列中某一帧图像与缓存的时延图像序列进行图像匹配，得到最佳匹配图像；(4)将上述最佳匹配图像的采集时间与源图像序列中该帧图像的采集时间相减，得到该帧图像的传输时延；(5)从缓存的源图像序列中另取一帧图像，重复步骤(3)～(4)，计算该帧图像的传输时延；(6)重复步骤(5)，将得到的多次传输时延取平均值作为该待测量图像的传输时延。

Description

一种测量图像传输时延的方法

技术领域

本发明涉及一种测量图像传输时延的方法，属于数字图像处理技术领域。

背景技术

图像经过有线或者无线网络传输后，往往会造成一定的时延。以数字图像为例，数字图像经过压缩、传输、解压缩后，在图像质量出现变化的同时，这个过程会产生一定量的时延。为测量时延的多少，一般有如下几种方法：

1.采用示波器来比较原始图像和传输后图像的电信号，通过测量群延时的方法来测量二者之间的时延的大小；

2.对于数字图像信号，通过标记特定图像序列来获取

中国专利申请号：200510130084，名称：一种测试图像时延的方法及其装置，采用在测试图像打时间戳的手段来测试图像序列在传输通道中所经历的时延。此种方法严重依赖于图像序列的内容。该发明中时延的计算是通过把图像上的不同时间戳相减来求取时延，因此，需要把其中涉及的不同处理设备中的时钟保持精确同步，显然这在一定程度上提高了该发明的实现难度。

美国专利申请号5,530,483，名称：DELAY DETECTOR APPARATUS ANDMETHOD FOR PLURAL IMAGE SEQUENCES。该专利详述了一种求取同一图像序列的延时版本与无延时版本之间时延的装置和方法。该专利首先分别在图像的延时版本和无延时版本上，以图像中心为中心的圆区域上采样，并在这些样本上进行相关操作，以决定图像延时版本和图像的无延时版本之间的最优匹配的图像帧。在计算出延时版本与某指定的无延时图像帧的最佳匹配图像帧之后，可以粗略地知道延时的帧数。更精细的延时测量是在考虑到各自的视频类型信号的已知的相应特征的基础上，通过增加帧到帧的瞬时延时测量来达到的。但是该专利中并没有给出精细的延时测量的方法。而根据延时帧数所得的延时长度，受图像的传输帧率影响，会有较大的测量误差(最大误差大约为连续两帧之间的间隔时间，以PAL制的每秒传输25帧为例，最大会有将近40ms的误差)，导致测量时延不准确。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种图像时延的准确实用的测量方法。

本发明的技术解决方案是：一种测量图像传输时延的方法，步骤如下：

(1)将待测量源图像序列经过传输后生成时延图像序列；

(2)采集所述的源图像序列和时延图像序列，采集的同时记录源图像序列和时延图像序列的每一帧图像的采集时间，并将采集的源图像序列和时延图像序列的每一帧图像分别进行缓存；

(3)将缓存的源图像序列中某一帧图像与缓存的时延图像序列中的每一帧图像进行图像匹配，得到该帧源图像的最佳匹配图像；

(4)将上述最佳匹配图像的采集时间与该帧源图像的采集时间相减，得到该帧源图像的传输时延；

(5)从缓存的源图像序列中另取一帧图像，重复步骤(3)～(4)，计算该帧源图像的传输时延；

(6)重复步骤(5)，将多次得到的传输时延取平均值作为所需测量的传输时延。

所述步骤(2)中的记录源图像序列和时延图像序列的每一帧图像的采集时间的计时精度不低于连续两帧图像之间的最小间隔时间。

所述步骤(3)中采用绝对值误差和算法，将源图像序列中某一帧图像与缓存的时延图像序列中的每一帧逐一进行比对，得到绝对值误差和与预设的阈值进行比较，小于预设阈值的最小的绝对值误差和对应的那帧时延图像，作为上述源图像序列中该帧图像的最佳匹配图像。

本发明与现有技术相比有益效果为：

(1)本发明实时采集源图像序列和时延图像序列，采集的同时记录图像采集时间，通过简单的图像匹配，找出最佳匹配图像，将最佳匹配图像与源图像序列相应帧采集时间相减，即可得到该帧图像的传输时延，整个测量过程不依靠特定的图像内容来测量图像传输的时延，因此具有一定的通用性。并且本发明不需要对传输之前对图像内容进行特殊处理，因此，降低了实现的复杂性。

(2)本发明采集图像的同时记录图像采集时间，记录源图像序列和时延图像序列的每一帧图像的采集时间的计时精度决定了时延的测量精度，计时精度越高，本方法测量误差越小，可以克服如下方法测量误差较大的缺点，如通过计算传输序列延时帧数，然后结合帧率来计算延时时间等方法，能够适用于不同设备精度要求的时延测量，本发明应用广泛、通用性强。

(3)本发明采用绝对值误差和算法进行图像匹配，将该算法与本发明方法进行有效的结合，在充分降低计算复杂度的同时，减小图像匹配时间，获得较好的匹配效果。

(4)本发明实现简单，非常适合于无线、有线视频图像传输等领域。

附图说明

图1为本发明测量数字图像传输时延装置的结构图；

图2为本发明方法流程图。

具体实施方式

实施例1

本实施例使用PC机来采样测试经过压缩传输解压缩设备的图像时延数据，下面结合实际设备对方法作进一步的说明。

(1)将待测量源图像序列经过传输后生成时延图像序列；

该装置用图像序列生成设备11作为图像源，该装置可以是一个相机或者是一台DVD播放机。图像序列生成设备11产生的源图像序列分别输入到图像压缩设备12的一个输入端和时延计算PC15；图像压缩设备12对输入的源图像序列信号进行压缩，以便于产生符合带宽、格式要求的压缩图像序列信号。该压缩图像序列信号经传输13后，图像解压缩设备14对接收到的压缩图像序列数据进行解压，得到时延图像序列，通过输出接口输出到时延计算PC15。

图像压缩设备12、图像解压缩设备14可以采用现有的一些公知设备实现，例如采用MPEG-4标准的压缩、解压缩设备，关于这些设备不是本发明的创新点，因此这里不进行详细的说明。关于传输13可以采用有线传输，也可以采用无线传输。

该时延计算PC15实时采集从两个输入端口输入的图像序列，并采用高精度计时器实时记录每一帧图像的输入时间，把所获取的图像序列进行缓存，缓存的大小与时延计算PC15的性能相关，当时延计算PC15的内存比较大时，可存储的图像帧数越多，则可测量的传输时延最大值越大。

关于高精度计时器可以采用时延计算PC15自带的计时器，本发明的测量精度与高精度计时器的精度有关。对于通常PAL、NTSC等制式而言，传输速率最高为60帧每秒。帧与帧之间的间隔为1000ms/60＝16ms。此时，对于计时精度的要求为不低于16毫秒，为了更精确，可以将计时精度要求为毫秒级，此时测量精度为毫秒级。

(3)时延计算PC15将缓存的源图像序列中某一帧图像与缓存的时延图像序列进行图像匹配，得到该帧图像的最佳匹配图像；

源图像序列中某一帧图像的选取一般来讲可以随意选取，但由于传输过程中存在时延，源图像序列缓存区中的最后几帧图像在时延图像序列缓存区中可能不存在相匹配的图像，因此，一般选取源图像序列缓存区中的前几帧图像进行匹配。

上述匹配计算可以采用基于相关系数匹配算法、均方差算法、残差平方和、绝对值误差和算法等；关于绝对值误差和在匹配过程中只采用加减法和求绝对值运算，计算复杂度很低，匹配时间短，实现匹配效果明显，非常适合应用在本发明图像的匹配过程。

本发明提到的采用绝对值误差和算法来进行图像匹配指的是：首先将需要比对的两幅数字图像对应位置的所有像素点值一一相减，并求取此差值的绝对值，然后把所有的绝对值进行累加，所得的和即为所需的绝对值误差和。把该绝对值误差和与预先设定的一个阈值相比较，如果该绝对值误差和大于等于此阈值，则说明该源图像明显与时延图像序列中所选的时延图像不匹配；如果该绝对值误差和小于此阈值，则说明该源图像有可能与所选的时延图像匹配。在所有可能与该源图像相匹配的时延图像中，选取绝对值误差和最小时所对应的时延图像，作为该帧源图像的最佳匹配图像。这里提到的阈值与图像压缩损失程度有关，当图像压缩损失较大时，则需要设定较大的阈值；当图像压缩损失较小时，则需要设定较小的阈值。

当应用绝对误差和算法在自动目标识别等领域时，由于所需要匹配识别图像中没有完全相同的内容，此时绝对误差和会很大，区分效果不明显，需要利用其它复杂算法来完成任务；而在本发明所应用的场合，对于两幅内容完全一样的图像，其中一幅图像由于压缩等原因中造成了一定损失的情况，此时，绝对误差和值会很小。因此，绝对误差和算法在本发明的图像匹配过程，有着很好的区分度，可以实现很好的匹配效果。

(4)将上述最佳匹配图像的采集时间与源图像序列中该帧图像的采集时间相减，得到该帧图像的传输时延；

(5)从缓存的源图像序列中另取一帧图像，重复步骤(3)～(4)，计算该帧图像的传输时延；

(6)重复步骤(5)，将得到的多次传输时延取平均值就是该图像序列经过压缩、传输、解压缩等过程所产生的传输时延，该结果可以在显示设备36上显示出来。

当时延计算PC15的两个输入端口输入的图像序列都为模拟信号时，需要利用时延计算PC15中的采集卡将输入的模拟信号转换成数字信号，此时，若采用采集卡进行采集，需要使用两个完全相同的采集卡。当时延计算PC15的源图像序列输入端口输入的为模拟信号，另一个输入端口输入的为数字信号时，最后传输时延结果应加上采集卡采集信号所用的时间；当时延计算PC15的源图像序列输入端口输入的为数字信号，另一个输入端口输入的为模拟信号时，最后传输时延结果应减去采集卡采集信号所用的时间；消除系统误差；采集卡采集信号所用的时间属于采集卡设备固有指标。

以PAL制的每秒传输25帧为例，采用US5,530,483专利最大会有将近40ms的误差；采用本发明方法，当上述计时精度达到毫秒级时，本发明误差仅有1ms，本发明误差可以达到更小，测量精度更高。

本发明实施例中使用PC机来采样测试经过压缩传输解压缩设备的图像时延数据，但本发明并不限于此，也可以用于使用专门的含有图像实时采集、实时高精度计时器、专用图像匹配模块等嵌入式单板系统，本发明的优选实施例和它们的改型已在本文予以详细介绍，但可以理解，本发明不限于所述的实施例及其改型，其它的改型和变化也可以由本领域的技术人员予以实现，而不会偏离权利要求书限定的精神和范围。

本方法已在某项目实践中得到验证，证明方法可行、可靠。本发明未作详细说明部分属本领域技术人员公知常识。

Claims

1、一种测量图像传输时延的方法，其特征在于步骤如下：

(1)将待测量源图像序列经过传输后生成时延图像序列；

2、根据权利要求1所述的一种测量图像传输时延的方法，其特征在于：所述步骤(2)中的记录源图像序列和时延图像序列的每一帧图像的采集时间的计时精度不低于连续两帧图像之间的最小间隔时间。

3、根据权利要求1所述的一种测量图像传输时延的方法，其特征在于：所述步骤(3)中采用绝对值误差和算法，将源图像序列中某一帧图像与缓存的时延图像序列中的每一帧逐一进行比对，得到绝对值误差和与预设的阈值进行比较，小于预设阈值的最小的绝对值误差和对应的那帧时延图像，作为上述源图像序列中该帧图像的最佳匹配图像。