CN110662019A - 用于评估网络上的视频传输的质量的方法和系统 - Google Patents

Abstract

公开了用于评估网络上的视频传输的质量的方法和系统。本发明涉及用于评估在传输侧和接收侧之间的网络上的视频传输的质量的方法，所述方法包括以下步骤：在接收侧处接收在传输侧处生成并且经由网络传输到接收侧的视频流，所述视频流由多个帧构成，所述多个帧中的至少一个帧包括合成创建的部分；在接收侧处通过将所接收的视频流与最初传输的视频流进行比较来分析从传输侧接收的视频流；以及在接收侧处生成并且输出针对所接收的视频流的质量得分。

Description

用于评估网络上的视频传输的质量的方法和系统

本发明涉及用于评估网络上的视频传输的质量的方法和系统。

视频是常见的网络应用，现今其被广泛地使用，例如用于视频会议等。然而，关于视频流送仍然存在许多挑战。例如，视频质量可能改变，特别是当视频流通过视频传输和处理系统时，从传输源到接收侧视频质量可能劣化，造成视频信号中的失真或者其它人为现象。

例如，在现有技术中，已知的是使用以太网传输视频流。然而，由于在视频数据包从发射机侧到接收机侧的传输期间的丢包，运动的表现可能劣化。例如，丢包可能仅影响正在被传输的帧的一部分或者甚至影响整个帧。在其中帧的一部分被影响的情况下，于是用户在视频序列中也将仅看到该帧的一部分。在其中整个帧被影响的情况下，于是在接收机侧将简单地不在视频序列中显示该帧。因此，用户感知将是冻结图像的感知，这取决于在传输期间丢包已经有多严重。

考虑到在上面描述的情况，评价并且保持视频质量是问题。即，仅考虑和评价在对于用户的视频序列中接收并且呈现的每个帧的质量是不够的，而是相反还要考虑和评价各帧关于彼此的关系，因为这种关系实际上创建了被呈现给用户或者观看视频的人的运动的感知。因此，首先，考虑到用户的运动感知，视频质量验证在现有技术应用中是有问题的。

虽然使用视频参考和被测试的视频来逐帧地测试比较两个视频文件是要被应用的简单测试，并且存在已经实现它的一些应用，但是这样的测试通常是离线执行的，并且必须记录要被测试的视频以用于以后的分析（将接收的视频与传输的视频进行比较）。然而，考虑该方法，它不能被“即时（on the fly）”地在线应用，即，不能在通信网络上传输和接收视频流的同时执行测试，因为接收机通常不具有关于发射机的足够信息以便执行如帧同步那样的简单任务，帧同步是针对逐帧比较的强制要求。

因此，本发明基于提供用于评估网络上的视频传输的质量的方法和系统的目的，所述方法和系统克服来自在上面讨论的现有技术的弊端。特别是，本发明基于提供能够即时地即在视频流的传输期间在线地测试传输质量的用于评估网络上的视频传输的质量的方法和系统的目的。

根据本发明，通过具有根据权利要求1所述的特征的用于评估网络上的视频传输的质量的方法以及具有根据权利要求13所述的特征的用于评估网络上的视频传输的质量的系统来解决所述目的。在相应的从属权利要求中指明本发明的优选实施例。

因此，提供一种用于评估在传输侧和接收侧之间的网络上的视频传输的质量的方法，所述方法包括以下步骤：

-在接收侧处接收在传输侧处生成并且经由网络传输到接收侧的视频流；

-通过将由接收侧接收的视频流与如在传输侧处传输的视频流进行比较来分析从传输侧接收的视频流，如最初传输的视频流对于接收侧是已知的；以及

-在接收侧处生成并且输出针对所接收的视频流的质量得分。

通过创新方法，可以在不必首先记录视频的情况下测试视频流传输的质量。相反，可能的是在视频流的包的不间断的在线传输期间“即时”评价传输的质量。即，根据创新方法，在传输侧上提供用于测试的参考视频，而不是在接收侧处提供并且比较参考视频，由此允许在传输期间进行在线质量评估。此外，可以关于观看视频的人的质量体验（QoE）来评价并且预测视频流的传输的质量。

根据优选的实施例，视频流包括多个帧，多个帧中的至少一个帧包括合成创建的部分，特别是，多个帧中的至少一个帧包括至少一个运动部分和静态部分。

根据另一优选的实施例，至少一个运动部分包括运动目标，并且静态部分包括静态背景，特别是包括预先限定的图像，所述预先限定的图像在视频流的多个帧中的每个帧中保持不变。

根据又一优选的实施例，至少一个运动部分是在预先限定的规则的基础上创建的，特别是，至少一个运动部分将遵从数学方程沿着被传输到接收侧的各帧的序列一帧一帧地改变其位置。例如，运动部分或者运动目标可以遵从正弦函数。

优选地，视频流的合成创建的部分在接收侧处是已知的，特别是，在接收侧处已知如下的数学方程：至少一个运动部分根据该数学方程而沿着各帧的序列改变其位置。

此外，至少一个运动部分可以实质上小于静态部分或者小于整个帧的大小。

如果在视频流的传输期间由传输侧生成视频流的合成创建的部分，则这也是有利的。

方法可以进一步包括准备视频流以用于在接收侧处进行显示的步骤。

进一步地，可以在准备用于显示的视频流的步骤之后执行分析视频流的步骤。

优选地，方法进一步包括在接收侧处显示视频流的步骤，并且其中在显示视频流的步骤之前执行分析视频流的步骤。

根据又一优选的实施例，针对数学方程的输入是多个帧中的至少一个帧的帧编号，并且其中数学方程的输出是运动目标的水平和竖向位置。如果在接收侧处经由媒体服务器从传输侧接收视频流，则这也是优选的。

此外，根据本发明，提供了用于评估在传输侧和接收侧之间的网络上的视频传输的质量的系统，该系统包括经由网络与彼此连接的传输部件和接收部件，并且被适配用于执行根据前述权利要求中的任何一个所述的方法。

根据优选的实施例，系统进一步包括被适配用于创建至少一个帧的视频流生成部件，所述至少一个帧包括合成创建的部分，特别是包括静态背景和运动目标，所述运动目标在帧中具有根据预先限定的数学方程的位置。

根据另一优选的实施例，系统在接收部件处进一步包括：

-预测单元，其被适配为预测运动目标在帧中的位置，

-检测单元，其被适配为检测运动目标在帧中的位置，以及

-质量评价单元，其被适配为评价由接收部件接收的视频流的质量。

在上面描述的创新方法和系统可以被应用于视频会议和视频会议系统。特别是，本发明提供用于在工作期间在线测试视频会议系统的测试框架，由此测试系统针对所传输的视频流创建质量得分，以便预测正在观看视频的人的QoE感知。所述视频测试系统和方法可以被应用于各种各样的场景，例如：其中发射机和接收机在客户端处的一对一端对端场景；例如用于测试会议中的中间媒体服务器（MS）表现的经由MS的一对多场景；或者预先测试（探测）大型会议会话或检测用于视频会议的合适的网络功能的场景。所述系统和方法在计算视频创建的基础上根据观看视频的人的感知而可应用在实际环境中。

将在下面关于附图进一步详细地描述本发明及其实施例。

图1示出根据本发明的实施例的用于评估视频传输的质量的系统；

图2示出根据本发明的另一实施例的用于评估视频传输的质量的系统；

图3示出根据本发明的实施例的人工创建的视频流的帧的示例；

图4示意性地示出用于创建在图3中示出的用于传输的帧的过程；

图5示出针对在数学上创建的运动目标路径的示例；

图6示出根据本发明的实施例的接收侧的配置。

图7示出图示劣化的视频流传输的检测的示图；以及

图8示出图示劣化的视频流传输的检测的另一示图。

图1示出根据本发明的实施例的用于评估视频传输的质量的系统1。这示出系统1的基本配置，系统1在传输侧2上包括被适配为创建人工视频流的人工视频流创建单元3，所述人工视频流包括人工生成的帧的序列，如将关于图3进一步详细描述的那样。人工视频流创建单元3在传输侧上向连接到作为通信网络的网络8的传输部件4（例如视频聊天系统发射机）提供人工创建的视频流。人工视频流创建单元3替代例如网络摄像机（未示出）将人工创建的视频流馈送到传输部件4，并且由此起到视频播放器的作用。视频流然后将以包的形式经由网络8传输并且在接收侧5处由例如作为视频聊天系统接收机的接收部件6接收。接收部件6然后对用于显示的所接收的视频流进行准备。然而，代替将这样准备的视频流发送到显示器以用于进行显示，接收部件6将其转发到接收侧5上的质量得分生成单元7，所述质量得分生成单元7关于传输质量分析所接收的视频流并且生成关于传输质量的质量得分作为输出。

图2示出根据本发明的另一实施例的用于评估视频传输的质量的系统1，其例如可以被用于如全体会议的广播视频传输。如在此可以看到的那样，在此由传输侧2上的人工视频流创建单元3人工创建的视频流被经由网络8由传输部件4传输到媒体服务器（MS）9而不是被直接传输到接收侧5。MS 9将从传输部件4接收的视频流广播到接收侧5上的多个接收部件6。如在上面概述的那样，每个接收部件6对从MS 9接收的用于显示的视频流进行准备，但是代替将这样准备的视频流发送到显示单元，每个接收部件6分别将这样准备的视频流转发到相应的质量得分生成单元8，以用于关于传输质量进行分析并且用于生成关于传输质量的质量得分作为输出。在该实施例中，测试焦点在负责用于广播视频流的MS 9上。

图3示意性地示出根据本发明的实施例的人工创建的视频流的帧的示例。如已经在上面描述的那样，传输部件3（参见图1和图2）创建人工视频。人工视频是在传输期间在数学上“即时”地创建的并且其输出模拟视频捕获设备，以便生成用于要被测试的系统的输入。要被传输的人工视频流包括帧10的序列，每个帧包括由如下构成的合成创建的部分12：作为静态视频背景的静态部分11，其是以数学方式限定的或者是通过图像参考限定的并且其将在帧10的序列上保持不变；以及至少一个运动部分13，其优选地是已知的图像，并且进一步优选地为实质上小于静态部分11或者整个视频帧大小。该运动部分13优选地是运动目标，在此也被称为参考目标。

由然后被传输到接收侧5的预先确定的帧10的序列构成的人工创建的视频流将如下述那样形成。静态部分11将在视频帧10的序列中的所有视频帧10上保持不变。运动部分13或者参考目标将使其位置在帧10的序列内一帧一帧地改变，位置改变遵从如下的数学方程：根据该数学方程，针对方程的输入是帧编号，并且方程的输出是运动部分13的水平和竖向位置（x，y）：

位置（x，y）=[方程1（帧编号），方程2（帧编号）]。

图4示意性地示出用于创建如在图3中示出的帧10的过程，帧10用于传输到在接收侧5上的接收部件6（参见图1、图2）。如可以看到的那样，帧组成由静态背景或者静态部分11以及参考目标或者运动部分13构成，参考目标或者运动部分13的位置是通过参考目标位置生成器块21利用数学方程限定的。这样组成的帧10被直接输出到接收侧5（图1）或者被经由MS 9间接地输出到接收侧5（参见图2）。

图5图示运动部分13沿着人工创建的视频流中的帧10的序列的运动，如在上面解释的那样，人工创建的视频流然后被传输到接收侧5上的接收部件6。在此，运动目标13的在数学上创建的路径14遵从如由虚线指示的正弦曲线。如可以看到的那样，在视频帧的序列中的第一视频帧10中，运动目标13具有关于x-y坐标的初始或者第一位置。在人工视频流的视频帧的序列中跟在第一视频帧10之后的第二视频帧10中，运动目标13已经在表示在测试序列中要被遵从的运动路径14的正弦曲线上略微向上运动。然后，在第三视频帧10中，运动目标13甚至已经在正弦曲线上进一步向上运动，并且依次类推。在序列的每个后续的帧10（在此未进一步图示）中，运动目标13将运动到在以数学方式创建的运动路径14上的进一步预先确定的位置。

如已经在上面概述的那样，形成人工视频流的这样创建的视频帧10的序列然后被传输到接收侧5，其中接收部件6对所接收的数据进行准备以用于呈现给观看者，所接收的数据可能包括错误或者可能是正确的（特别是，关于根据在数学上创建的路径运动目标13在一帧一帧中的期望的或者预测的x-y位置）。然而，代替将这样准备的视频流呈现在显示器上，这样准备的视频流被提供到质量得分生成单元7以便评价传输的质量。

图6示出根据本发明的实施例的针对接收侧5、特别是质量得分生成单元7的配置的流程图，质量得分生成单元7包括：帧计数器15，其用于对帧进行计数以便确定在被包括在人工视频流中的帧的序列中接收的帧的帧编号；初始化块16；提供了期望位置预测器单元17，其用于确定运动目标或者参考目标的对于在人工视频流的帧的序列中接收的下一帧而言的期望位置；参考目标初始位置检测器单元18，其用于在整个视频帧上检测运动目标；参考目标当前位置检测器单元19，其用于仅在已经由期望位置预测器单元17限定的区域中检测运动目标；波参考生成器单元20；波形比较器单元22；以及得分校准单元23。

由该图图示的过程如下。当处理开始时，初始化块16将只运行一遍，以便在参考目标中进行预处理，以便改进进一步的处理。然后，在那之后，通过将视频帧输入到算法来驱动整个处理。

要被完成的第一个过程是由帧计数器块15对输入帧进行计数。需要对输入帧进行计数，因为计数必须被用作为针对整个过程的“时钟”。帧计数器块15的结果将被用作为对于波参考生成器块20和期望位置预测器块17的输入。还将使用帧计数器块15的输出以便发现输入帧是否是第一帧。如果输入帧是第一帧，则其必须具有特殊的处理。

当第一帧到达时，得分生成单元7（参见图2）还不能知道运动目标或者参考的位置被期望处在何处，于是为了知道其位于何处，必须通过检查整个帧来继续进行处理以查找运动目标或者参考目标的位置。遍及整个帧查找运动目标或者参考目标的该过程是由参考目标初始位置检测器块18来完成的，所述参考目标初始位置检测器块18将生成初始轴、竖向位置和水平位置值作为输出，所述输出将被由波参考生成器块20和期望位置预测器块17用作为输入。参考目标初始位置检测器块18将只针对第一帧运行。

波参考生成器块20将使用运动目标或者参考目标在第一帧中的初始位置和来自帧计数器块15的帧编号作为输入来针对每个帧计算运动目标或者参考目标的位置。在波参考生成器块20中使用的方程必须与在图4中示出的来自人工视频流创建单元3的参考目标位置生成器块21中使用的方程相同。

波参考生成器块20的输出将是运动目标或者参考目标对于给定帧而言的竖向和水平位置。如果在传输期间没有发生质量问题，则它将表示所生成的运动波形。该输出将被波形比较器块22使用，以便在所传输的视频中没有发现质量问题的情况下具有完美的波应当是怎样的的参考。

当第一帧到达时，期望位置预测器块17将仅出于初始化目的使用来自参考目标初始位置检测器块18的输入。针对在第一帧之后的所有其它帧，位置预测器块17将使用来自参考目标当前位置检测器块19的输入。这样做是必须的，因为来自参考目标当前位置检测器块19的输入对于第一帧而言是不可用的，但是其对于所有其它帧而言是可用的。来自帧计数器块17的输出还将被期望位置预测器块17使用，以便知道它正在对哪个帧预测运动目标或者参考目标的位置。

期望位置预测器块17将使用与由波参考生成器块20和参考目标位置生成器块21使用的方程相同的方程，以便预测运动目标或者参考目标在下一帧中的期望位置。它将具有运动目标或者参考目标对于下一帧而言的期望位置的位置（竖向轴值和水平轴值）作为输出。该输出将被参考目标当前位置检测器块19使用。

当除了第一帧之外的下一帧到达时，参考目标当前位置检测器块19变为有效。它必须尝试在由期望位置预测器块17预测的位置周围找出运动目标或者参考目标。参考目标当前位置检测器块19的输出将被波形比较器块22使用，以便将表示运动目标的没有任何失真的波形的其它所提到的输入与实际传输的运动目标波形进行比较。

参考目标当前位置检测器块19的输出还将被用作为期望位置预测器块17的输入，因为期望位置预测器块17将需要该信息以便预测在下一帧中在何处查找运动目标或者参考目标。

波形比较器块22将进行对所有进入的波形—在此是来自参考目标当前位置检测器块19和波参考生成器块20的波形—的简单比较。通过皮尔逊相关方法（Pearsoncorrelation method）来比较这些波形，可以知道所传输的波形在多大程度上遵从参考波形。波形比较器块22的输出必须被得分校准块23处理，以便将所有的波形比较结果一起放进一个单个得分中。

在可选的实施例中，得分校准块23将不仅创建针对质量结果的最终得分，而且它还可以在每次波形之间的同步丢失时—这指示在该特定时间处已经发生了质量问题—生成事件。得分校准块23还可以生成列出所有帧的向量，其中将质量结果与最终得分质量结果一起进行标识。

图7示出图示对已经被在接收侧处接收并且已经被如在上面概述的那样分析的劣化的视频流传输的检测的示图。在此，可以看到在第二视频帧中，根本不能看到运动目标，并且因此不能检测到运动目标，这是CODEC压缩已经被改变的结果。在该情况下，所接收的视频流的劣化已经被认为是严重的，引起对于观看者而言的质量问题。

图8示出图示对劣化的视频流传输的检测的另一示图。在此，可以看到在接收侧处接收的视频流的第二帧中的运动目标并未如它应当已经从视频帧1到视频帧2那样运动，并且仍然在它在第一帧中具有的位置处被检测到。这是由于网络中的丢包；用户将把该所接收的视频流的序列感知为冻结的图像。作为结果，质量得分生成单元7（参见图1、图2）将减少得分质量结果，以便能够防止这样的事件。

在图7和图8这两者中，仅仅已经分别在各图的右手侧上图示了竖向波形的结果。如在上面描述的那样，对于分析而言，特别是关于图6，将还不得不将水平波形结果纳入考虑。在图7和图8中示出的两个示例中，所得到的正弦波形将被与完美的正弦波形进行比较，并且它们之间的差异将反映最终的质量结果。

进一步地，注意的是如果参考目标或运动目标以及静态目标或静态背景这两者都是以数学方式创建的，则在接收侧和传输侧之间在这方面不必进行任何数据交换，因为除了限定运动目标或者参考目标的运动路径的数学方程之外，在接收侧处不需要进一步的信息。

然而，如果静态部分（背景）和/或运动部分或者运动目标基于预先限定的图像，则接收部件将需要关于该预先限定的一个或多个图像的信息。

此外，还注意的是限定充当参考目标的运动目标或者运动部分的运动路径的数学方程对于接收侧（即接收部件）以及传输侧（即传输部件）来说必须总是已知的。

所传输的视频流的开始时间对于接收侧（即接收部件）来说不需要是已知的，因为接收侧将把所接收的视频流本身用于执行视频帧同步。

最后，注意的是在视频流传输期间的任何改变将在接收部件处的接收侧处示出影响。通过CODEC压缩、CODEC解压缩、尺寸确定等作出的改变将影响所接收的视频流，并且在上面描述的方法和系统将使得能够关于视频传输的质量来检测视频流和对视频流的评价。因此，将关于视频流的传输质量来检测并且评价如包记录、丢包和延迟等的人为现象。

参考标号：1用于评估视频传输的质量的系统，2传输侧3人工视频流创建单元，4传输部件，5接收侧，6接收部件，7质量得分生成单元，8网络，9媒体服务器（MS），10帧，11静态部分，12合成创建的部分，13运动部分，14运动部分的路径，15帧计数器，16初始化块，17期望位置预测器单元，18参考目标初始位置检测器单元，19参考目标当前位置检测器单元，20波参考生成器单元，21参考目标位置生成器单元，22波形比较器单元，23 得分校准单元。

Claims (15)

1.一种用于评估在传输侧（2）和接收侧（5）之间的网络（8）上的视频传输的质量的方法，所述方法包括以下步骤：

-在接收侧（5）处接收在传输侧（2）处生成并且经由网络（8）传输到接收侧（5）的视频流，

-通过将所接收的视频流与如最初传输的视频流进行比较来在接收侧（5）处分析从传输侧（2）接收的视频流，如最初传输的视频流对于接收侧是已知的，以及

-在接收侧（5）处生成并且输出针对所接收的视频流的质量得分。

2.根据权利要求1所述的方法，其中视频流包括多个帧（10），所述多个帧（10）中的至少一个帧（10）包括合成创建的部分（12），特别是，所述多个帧（10）中的至少一个帧（10）包括静态部分（11）以及至少一个运动部分（13）。

3.根据权利要求2所述的方法，其中所述至少一个运动部分（13）包括运动目标，并且其中静态部分（11）包括静态背景，特别是，包括预先限定的图像，预先限定的图像在视频流的所述多个帧（10）中的每个帧（10）中保持不变。

4.根据权利要求2或权利要求3中的任何一个所述的方法，其中所述至少一个运动部分（13）是在预先限定的规则的基础上创建的，特别是，所述至少一个运动目标（13）将遵从数学方程沿着被传输到接收侧（5）的各帧（10）的序列一帧一帧地改变其位置。

5.根据权利要求4所述的方法，其中视频流的合成创建的部分（12）在接收侧（5）处是已知的，特别是，在接收侧（5）处已知如下的数学方程：所述至少一个运动部分（13）根据该数学方程而沿着各帧（10）的序列改变其位置。

6.根据权利要求2至权利要求5中的任何一个所述的方法，其中所述至少一个运动部分（13）实质上小于静态部分（11）或者小于整个帧的大小。

7.根据前述权利要求中的任何一个所述的方法，其中在视频流的传输期间由传输侧（2）生成视频流的合成创建的部分（12）。

8.根据前述权利要求中的任何一个所述的方法，其中所述方法进一步包括准备视频流以用于在接收侧（5）处进行显示的步骤。

9.根据权利要求8所述的方法，其中在准备用于显示的视频流的步骤之后执行分析视频流的步骤。

10.根据前述权利要求中的任何一个所述的方法，其中所述方法进一步包括在接收侧（5）处显示视频流的步骤，并且其中在显示视频流的步骤之前执行分析视频流的步骤。

11.根据权利要求4至权利要求10中的任何一个所述的方法，其中针对数学方程的输入是所述多个帧（10）中的所述至少一个帧（10）的帧编号，并且其中数学方程的输出是运动目标（13）的水平和竖向位置。

12.根据前述权利要求中的任何一个所述的方法，其中在接收侧（5）处经由媒体服务器（9）从传输侧（2）接收视频流。

13.一种用于评估在传输侧（2）和接收侧（5）之间的网络（8）上的视频传输的质量的系统（1），所述系统（1）包括经由网络（8）与彼此连接的传输部件（4）和接收部件（6），并且被适配用于执行根据前述权利要求中的任何一个所述的方法。

14.根据权利要求13所述的系统（1），所述系统进一步包括被适配用于创建至少一个帧（10）的人工视频流创建单元（3），所述至少一个帧（10）包括合成创建的部分，特别是包括静态背景（11）和运动目标（13），运动目标（13）在帧（10）中具有根据预先限定的数学方程的位置。

15.根据权利要求14所述的系统（1），所述系统在接收部件（6）处进一步包括：

-预测单元（17），其被适配为预测运动目标（13）在帧（10）中的位置，

-检测单元（18），其被适配为检测运动目标（13）在帧（10）中的位置，以及

-质量得分生成单元（7），其被适配为评价由接收部件（6）接收的视频流的质量。

Images