CN113766217B - 视频延时的测试方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明涉及视频延时技术领域，具体涉及视频延时的测试方法、装置、电子设备及存储介质，所述方法包括获取目标视频，目标视频是在同一视频画面中显示终端画面以及参考画面，终端画面为终端播放的画面，终端播放的画面是第一图像采集设备采集参考画面并传输给终端的，参考画面包括至少两个交替变化的画面；对目标视频中的终端画面以及参考画面进行像素值分析，确定终端画面以及参考画面中发生相同画面事件的第一系统时间以及第二系统时间；基于第一系统时间以及第二系统时间的差值，确定视频延时的测试结果。在不引入秒表的概念的基础上，直接利用系统时间就可以确定出视频延时，能够保证测试结果的准确性。

Description

视频延时的测试方法、装置、电子设备及存储介质

技术领域

本发明涉及视频延时技术领域，具体涉及视频延时的测试方法、装置、电子设备及存储介质。

背景技术

在视频会议中，会议室的音视频从发送方抵达接收方需要经历采集、编码、传输、解码、播放这几个环节，每一个环节处理过程中必然会消耗一定的时间，这就造成了视频的延时。视频延时对于用户的使用体验影响较大，因此，在视频会议终端上市之前需要针对视频延时这一指标进行测试，以保证投入市场的视频会议终端能够满足用户的使用体验。

目前为了解决上述技术问题，针对视频延时进行测试的方法中，比较多的是在视频源画面中加入秒表画面，通过分别识别原始视频源以及最终呈现画面中的秒表时间，将两个时间相减，从而得到两者的时差。但是，由于显示器的技术限制，上述方法往往存在秒表画面模糊或者重影的问题。这样一来，无论是通过测试人员肉眼读取秒表数字，还是通过光学字符识别技术，都很难精准而快速地读取时间戳，从而导致基于识别出的实时时间进行视频延时测试的结果不准确。

发明内容

有鉴于此，本发明实施例提供了一种视频延时的测试方法、装置、电子设备及存储介质，以解决视频延时的测试准确性偏低的问题。

根据第一方面，本发明实施例提供了一种视频延时的测试方法，包括：

获取目标视频，所述目标视频是在同一视频画面中显示终端画面以及参考画面，所述终端画面为终端播放的画面，所述终端播放的画面是第一图像采集设备采集所述参考画面并传输给所述终端的，所述参考画面包括至少两个交替变化的画面；

对所述目标视频中的终端画面以及参考画面进行像素值分析，确定所述终端画面以及所述参考画面中发生相同画面事件的第一系统时间以及第二系统时间；

基于所述第一系统时间以及所述第二系统时间的差值，确定所述视频延时的测试结果。

本发明实施例提供的视频延时的测试方法，利用终端画面与参考画面发生同一画面事件的系统时间进行视频延时的测试，由于终端画面是通过第一图像采集设备采集的，在整个传输过程中能够表征音视频从发送方抵达接收方需要经历的采集、编码、传输、解码、播放这几个环节，直接利用系统时间就可以确定出视频延时，能够保证测试结果的准确性，从而可以在不引入秒表的概念的基础上更能反映整个视频会议系统的时差。

结合第一方面，在第一方面第一实施方式中，所述参考画面包括相邻视频图像帧强关联的第一类别画面，所述获取目标视频包括：

播放所述第一类别画面，以使得所述第一图像采集设备采集并传输给所述终端并在所述终端播放所述终端画面；

接收第二图像采集设备反馈的所述目标视频，所述参考画面与所述终端画面在同一画面中分屏显示，所述目标视频为所述第二图像采集设备采集所述分屏显示的画面得到的。

本发明实施例提供的视频延时的测试方法，由于参考画面与终端画面在同一画面中分屏显示的时差可以认为接近0，可以提高测试精度。

结合第一方面第一实施方式，在第一方面第二实施方式中，所述对所述目标视频中的终端画面以及参考画面进行像素值分析，确定所述终端画面以及所述参考画面中发生相同画面事件的第一系统时间以及第二系统时间包括：

分别监测所述终端画面的第一目标区域以及所述参考画面的第二目标区域中像素值的变化，以确定是否发生目标画面事件，所述第一目标区域与所述第二目标区域对应；

记录所述第一目标区域发生目标画面事件的第一系统时间以及所述第二目标区域发生所述目标画面事件的第二系统时间。

本发明实施例提供的视频延时的测试方法，利用对应的目标区域内像素点像素值的变化情况，确定目标画面事件的发生，可以简化目标画面事件的确定方式，准确得到对应的第一系统时间与第二系统时间。

结合第一方面第二实施方式，在第一方面第三实施方式中，所述参考画面包括白色区域画面与交替变化区域画面，所述交替变化区域画面包括交替变化的第一画面和第二画面。

本发明实施例提供的视频延时的测试方法，在参考画面中设置白色区域的作用是防止图像采集设备拍摄过程中因场景亮度变化过大导致大幅度的自动调节白平衡，白平衡的大幅度调整会导致采集到的图像颜色不稳定，从而对后续图像识别造成干扰。

结合第一方面第三实施方式，在第一方面第四实施方式中，所述第一目标区域以及所述第二目标区域设置在所述交替变化区域画面内，所述分别监测所述终端画面的第一目标区域以及所述参考画面的第二目标区域中像素值的变化，以确定是否发生目标画面事件，包括：

分别监测所述第一目标区域以及所述第二目标区域内像素值的变化是否满足所述第一画面与所述第二画面的切换；

当满足所述第一画面与所述第二画面的切换时，确定发生所述目标画面事件。

本发明实施例提供的视频延时的测试方法，将第一目标区域以及第二目标区域设置在交替变化区域画面内，能够排除画面自身像素值对测试结果的影响，提高了测试结果的可靠性。

结合第一方面，在第一方面第五实施方式中，所述参考画面包括相邻视频图像帧强关联的第一类别画面以及相邻视频图像帧无关联的第二类别画面，所述获取目标视频包括：

播放所述第一类别画面第一目标时长后关闭，再播放所述第二类别画面第二目标时长后关闭，再次播放所述第一类别画面，以形成所述参考画面；

记录所述参考画面中关闭所述第二类别画面的第三系统时间；

接收第二图像采集设备反馈的所述目标视频。

本发明实施例提供的视频延时的测试方法，依次播放第一类别画面、第二类别画面以及第一类别画面，以测试终端在会议画面变化极大时处理画面的速度以及在大场景结束后的恢复能力，拓展了视频时延测试的应用场景。

结合第一方面第五实施方式，在第一方面第六实施方式中，所述基于所述第一系统时间以及所述第二系统时间的差值，确定所述视频延时的测试结果，包括：

监测所述终端画面的第三目标区域中像素值的变化，以确定所述终端画面是否发生所述第一类别画面与所述第二类别画面的切换；

当所述终端画面发生所述第一类别画面与所述第二类别画面的切换时，记录第四系统时间；

利用所述第四系统时间与所述第三系统时间的差值，确定所述视频延时的极大值；

基于播放所述第二类别画面后播放所述第一类别画面时确定的所述第一系统时间与所述第二系统时间的差值，确定所述视频延时的测试结果。

本发明实施例提供的视频延时的测试方法，不同类别画面切换对应的系统时间确定大场景切换时视频会议系统的视频延时极大值，且利用播放第一类别画面时系统时间确定系统从大场景恢复的能力，从而为大场景下视频延时的测试提供了多方面的参考数据。

结合第一方面第六实施方式，在第一方面第七实施方式中，所述基于播放所述第二类别画面后播放所述第一类别画面时确定的所述第一系统时间与所述第二系统时间的差值，确定所述视频延时的测试结果，包括：

获取播放所述第二类别画面前播放所述第一类别画面时确定的所述第一系统时间与所述第二系统时间的第一差值；

获取播放所述第二类别画面后播放所述第一类别画面时确定的所述第一系统时间与所述第二系统时间的第二差值；

基于所述第一差值和所述第二差值的大小关系，确定所述第一类别画面与所述第二类别画面的切换场景的延时是否合格。

本发明实施例提供的视频延时的测试方法，通过第一差值与第二差值的大小关系，进行大场景切换延时是否合格的确定，可以提高确定结果的准确性。

根据第二方面，本发明实施例还提供了一种视频延时的测试装置，包括：

获取模块，用于获取目标视频，所述目标视频是在同一视频画面中显示终端画面以及参考画面，所述终端画面为终端播放的画面，所述终端播放的画面是第一图像采集设备采集所述参考画面并传输给所述终端的，所述参考画面包括至少两个交替变化的画面；

分析模块，用于对所述目标视频中的终端画面以及参考画面进行像素值分析，确定所述终端画面以及所述参考画面中发生相同画面事件的第一系统时间以及第二系统时间；

确定模块，用于基于所述第一系统时间以及所述第二系统时间的差值，确定所述视频延时的测试结果。

本发明实施例提供的视频延时的测试装置，利用终端画面与参考画面发生同一画面事件的系统时间进行视频延时的测试，由于终端画面是通过第一图像采集设备采集的，在整个传输过程中能够表征音视频从发送方抵达接收方需要经历的采集、编码、传输、解码、播放这几个环节，直接利用系统时间就可以确定出视频延时，能够保证测试结果的准确性，从而可以在不引入秒表的概念的基础上更能反映整个视频会议系统的时差。

根据第三方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的视频延时的测试方法。

根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的视频延时的测试方法。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例中视频延时的测试系统的结构图；

图2是根据本发明实施例的视频延时的测试方法的流程图；

图3a-图3b是根据本发明实施例的参考画面的示意图；

图4是根据本发明实施例的视频延时的测试方法的流程图；

图5是根据本发明实施例的分屏显示的示意图；

图6是根据本发明实施例的像素值分析的示意图；

图7是根据本发明实施例的视频延时的测试方法的流程图；

图8是根据本发明实施例的像素值分析的示意图；

图9是根据本发明实施例的像素值分析的示意图；

图10是根据本发明实施例的视频延时的测试的结构框图；

图11是本发明实施例提供的电子设备的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的视频延时的测试方法，是利用在同一画面中显示的参考画面以及终端画面，并基于系统时间对参考画面以及终端画面发生相同画面时间进行视频延时的计算，确定出视频延时的测试结果。其中，所述的视频延时的测试方法可以用于对视频会议系统的视频延时进行测试，具体地，音视频数据从发送方抵达接收方需要经历采集、编码、传输、解码、播放这几个环节。利用本发明实施例中所述的视频延时的测试方法，能够对整个环节的延时进行测试，保证测试结果的准确性。

所述的参考画面可以认为是会议发送方的画面，所述的终端画面可以认为是会议接收方播放的画面。若不存在延时，那么在同一时间，发送方与接收方播放的画面是同步的。然而，由于上述几个环节的存在，会带来一定的延时。因此，在视频会议终端出厂之前需要对视频延时这一指标进行测试，以保证投入市场的视频会议终端能够满足用户的使用体验。

具体地，在测试过程中，若想保证在同一画面中显示参考画面以及终端画面，就需要利用图像采集设备采集发送方播放的画面，并将其传输给接收方，在接收方进行播放。为下文描述方便，将用于播放参考画面的设备称之为PC端，所述的PC端具备数据处理与显示功能，例如，电脑；将用于播放终端画面的设备称之为终端。其中，可以将PC端与终端并排放置，利用图像采集设备在同一画面中采集PC端播放的参考画面以及终端播放的终端画面，再将采集到的目标视频发送给PC端进行处理。或者，也可以将PC端播放的参考画面输出至终端，在终端上利用分屏方式同时显示参考画面与终端画面。由于在PC端自带显示器上显示和在外置显示器上显示的时差小于终端本身的时差，因此不将这部分时差考虑在误差内。也就是说，在PC端显示参考画面，并没有明显比在外置显示器上显示更快一些，因此也可以将PC端的参考画面输出到外置显示器显示。将PC端的参考画面与终端画面在终端的同一个分屏显示器上显示，两者的画面大小一致，排列也有规律，更便于划分采样范围。

在本实施例的一个可选实施方式中，所搭建的测试系统如图1所示，包括PC端、第一图像采集设备、终端以及第二图像采集设备。其中，PC端用于播放参考画面，并将参考画面在终端的分屏画面中显示；第一图像采集设备用于采集PC端播放的参考画面对其进行编码后传输给终端；终端对接收到的数据进行解码显示。由此，即可在终端的同一个分屏画面中同时显示参考画面以及终端画面。第二图像采集设备采集终端播放的画面得到目标视频，并将目标视频发送给PC端；PC端利用系统时间对接收到的目标视频进行分析，以确定视频延时的测试结果。

当然，图1所示的测试系统仅仅是一种可行的实施方式。在其它实施例方式中可以使用其它方式获取目标视频，例如，终端仅显示终端画面，PC端显示参考画面，将PC端与终端按照一定的规律放置，使得第二图像采集设备能够在同一画面中采集到PC端播放的参考画面以及终端播放的终端画面。在其它实施方式中，第二图像采集设备可以是PC端自带的图像采集设备。

第一图像采集设备与第二图像采集设备具体可以根据实际需求进行相应的设置，在此对其具体类型并不做任何限制。例如，第一图像采集设备为摄像机，第二图像采集设备为120fps的高帧率USB摄像机。

进一步可选地，本发明实施例中所述的视频延时的测试方法的测试场景可以分为两种，一种是非大场景的测试，另一种是大场景的测试。其中，所述的非大场景指的是短时间内视频画面变化很小或者有很明显的规律性，前后帧之间关联性很强，这种情况下，终端编出的视频码流数据量就很小，对端解码就更轻松，也就能更快速、流畅地播放出来，延时就很小。大场景指的是视频图像帧中每一帧的前后两者都无关联，此时终端编码就非常费劲，也就更加耗时。或者也可以说，非大场景是正常情况下的视频画面，而大场景是视频画面发生剧烈抖动或场景变化较大时的视频画面。针对上述的非大场景以及大场景，本发明实施例中分别对进行测试，对于非大场景对应的视频延时的时差数据利用的是参考画面和终端画面中特定事件点的时间差得到；大场景对应的视频延时的时差数据是通过终端画面的特定事件点时间和程序控制大场景关闭的时间相减得到。具体将在下文中进行详细描述。

本发明实施例提供的视频延时测试系统，属于非接触式的测试系统，无需推送终端放开端口，也无需给终端码流、报文内注入额外的数据，可以测试任意一款视频会议终端。其中，测试用的视频可以通过终端自带摄像机拍摄的方式来给到终端，无需对终端进行直接视频信号输入，其测试结果更能反映整个视频会议系统的延时。

根据本发明实施例，提供了一种视频延时的测试方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中提供了一种视频延时的测试方法，可用于电子设备，电子设备可以是平板电脑、可穿戴设备或如图1中所示的PC端等。在本实施例中以PC端为例，图2是根据本发明实施例的视频延时的测试方法的流程图，如图2所示，该流程包括如下步骤：

S11，获取目标视频。

所述目标视频是在同一视频画面中显示终端画面以及参考画面，所述终端画面为终端播放的画面，所述终端播放的画面是第一图像采集设备采集所述参考画面并传输给所述终端的，所述参考画面包括至少两个交替变化的画面。

关于目标视频的来源具体请参见上文所述，在此并不赘述。参考画面也可以理解为至少两个画面的循环，例如，2个画面的循环，或3个画面的循环，具体可以根据实际需求进行相应的设置，在此对其并不做任何限定。具体地，可以将两张图片制作成一个gif图片作为参考画面，每一张图片持续显示0.5秒，然后显示另一张，如此循环交替，gif图片播放时可以视作一个小视频。

可选地，参考画面可以具备有如下属性：

(1)在参考画面中某块区域需要两种颜色交替出现，且交替频率固定。当然，也可以是三种或三种以上的颜色；以两色交替为例，两种颜色交替的区域，可以保证参考画面在发生形变的时候，也可以覆盖到采样位置，以使得利用同一个参考画面能够同时对单画面和三画面进行测试；

(2)在参考画面中具有一块颜色固定的区域，该区域的颜色可以是图像采集设备识别到的亮度较高的颜色，例如，白色。这样设置的目的是让参考画面保持在稳定的亮度状态下，避免图像采集设备拍摄时频繁自适应调整参考画面的亮度参数。

作为本实施例的一种可选实施方式，图3a以及图3b为参考画面中交替出现的两个画面。需要说明的是，图3a以及图3b为2种颜色，分别为白色和黑色，黑色为图3a以及图3b中的阴影区域，其余区域为白色。具体地，不同颜色的切换可能会带来显示器显示的图像亮度的突然改变，此时图像采集设备会根据改变后的图像亮度自动调整画面的亮度参数，会耗费一定时间，且画面的亮度参数调整还会导致识别到的颜色有一定的偏色不利于识别，以及图像采集设备调整亮度的过程可能会推迟颜色的成功识别，导致最终时差数据不准，因此，为了避免图像采集设备频繁自动调整画面的亮度参数，将图3a以及图3b中左侧A区域设置为白色，以使得参考画面在图3a及图3b之间切换过程中参考画面的整体亮度参数保持在一个比较稳定的状态下。

可选地，参考画面中切换的色块形状不一定是长条状，且颜色可以是任意被识别的颜色。例如，将白色部分替换成红色，黑色部分替换成蓝色。中间黑白交替的色块可以是圆形或者其他形状。在此对参考画面的颜色或形状并不做任何限制，具体可以根据实际情况进行相应的设置。

在本实施例中采用白色和黑色的原因在于：白色和黑色在任何常见的显示器上画面亮度保持稳定时，基本都不会偏色。而其他颜色，可能的偏色问题会导致识别率下降，甚至识别失败。其中，黑+白这样设计可以让测试环境对显示器的要求降低。而且，黑色和白色的识别对于计算机来说，计算量相对较小。图像采集设备所采集的画面数据，是由一个个像素组成的，每一个像素都是用三个参数来表示的，也就是RGB三个颜色的值，越接近黑色，三个值越小，即越接近(0，0，0)。相反，越接近白色，三个值越大，即越接近(255，255，255)。以白色为例，一张纯白色的图片经过显示器和摄像机拍摄，最终得到的数据很可能不是(255，255，255)，由于不可避免的误差，可能是(255，253，252)。所以想要判断显示器上的画面中的一个点是不是白色，采用的策略是判断该点的像素是否大于某个阈值，如是否大于(250，250，250)；黑色同理，判断是否小于某个阈值，如是否小于(5，5，5)。

除了纯黑色和纯白色，其它颜色的RGB值都是处于一定的范围内的。举个例子，它可能是需要计算机去判断第一个参数是否大于144且小于222，第二个参数是否大于100且小于200，等等。这样就需要在计算的时候，既计算是否大于又计算是否小于，而参考画面设置为黑色和白色切换的方案只需要计算“是否小于”或者“是否大于”，计算量只需要其它颜色计算量的一半。即，黑色、白色切换的方案只需要判断“是不是够大”或者“是不是够小”，其他颜色切换的方案，需要判断“是不是既够大又够小”。

进一步地，关于利用同一参考画面测试单屏三显，如图9所示，用户有时会希望在同一画面里，分别显示对端主流画面、对端辅流画面以及本地图像采集设备的画面。其中，辅流的意思就是主流之外的第二路画面，可以认为是和主流等价的，主流如何测试，辅流也一样测试。区别在于，辅流发送的时候，主流也必须发送，而主流可以单独发送。这种发送两路视频并且单屏多显的策略广泛地存在于各大视频会议厂商的产品中。

如图9所示，该画面左侧最大的画面是本地发送的主流或者辅流。右侧两个小画面，其中一个是对端本身的本地画面，另一个是本地发送的辅流或者主流，这两个画面因为分辨率小，终端在显示时处理的数据量较小，所以延迟很小。而且小画面不是用户的主要观看画面，所以测试时一般可以不用关注它们的延时量，测算的意义不大。基于此，本实施例中仅测试最大画面的时差。可以看到，尽管左侧的画面横向被压缩了，整个画面的长宽比发生了改变，但是总的画面的中心，依然被黑白切换的色块所覆盖到，即，测试人员可以用同一个gif图片，分别测试主流和辅流的延时。如果这个色块形状不是长条形，也应该是一种可以在长宽比发生如上改变的时候，也能够覆盖到采样区域的设计。

需要说明的是，当对非大场景进行测试时，在PC端可以循环播放交替变化的图像，以形成所述的参考画面；当对大场景进行测试时，在PC端可以先循环播放交替变化的图像，再播放一段时间的其他场景图像，再继续循环播放交替变化的图像，以形成所述的参考画面。

S12，对目标视频中的终端画面以及参考画面进行像素值分析，确定终端画面以及参考画面中发生相同画面事件的第一系统时间以及第二系统时间。

PC端获取到目标视频之后，对目标视频进行逐帧分析，具体地，对终端画面以及参考画面中像素点进行像素值分析。若发生画面事件，那么像素点像素值的变化情况相同，可以设置两个进程，进程1对终端画面进行像素值分析，进程2对参考画面进行像素值分析。PC端分别记录终端画面中发生目标画面事件的第一系统时间，以及参考画面中发生目标画面事件的第二系统时间。

其中，系统时间为PC端的系统时间，该时间可以从PC端的系统中获取到。例如，当进程1监测到终端画面发生目标画面事件，那么就获取当前的系统时间，将其记录为第一系统时间；当进程2监测到参考画面发生相同的特定画面时间，那么就获取当前的系统时间，将其记录为第二系统时间。

关于该步骤具体将在下文中进行详细描述。

S13，基于第一系统时间以及第二系统时间的差值，确定视频延时的测试结果。

当进行非大场景测试时，PC端可以利用第一系统时间与第二系统时间的差值，确定视频延时的测试结果；当进行大场景测试时，PC端除了需要计算第一系统时间与第二系统时间的差值，还需要计算PC端进行场景切换的系统时间与终端画面进行场景切换的系统时间的差值，以确定视频延时的极大值。

关于该步骤具体将在下文中进行详细描述。

本实施例提供的视频延时的测试方法，利用终端画面与参考画面发生同一画面事件的系统时间进行视频延时的测试，由于终端画面是通过第一图像采集设备采集的，在整个传输过程中能够表征音视频从发送方抵达接收方需要经历的采集、编码、传输、解码、播放这几个环节，直接利用系统时间就可以确定出视频延时，能够保证测试结果的准确性，可以在不引入秒表的概念的基础上更能反映整个视频会议系统的时差。

在本实施例中提供了一种视频延时的测试方法，可用于电子设备，如电脑、平板电脑等。以非大场景为例，即参考画面包括相邻视频帧强关联的第一类别画面，图4是根据本发明实施例的视频延时的测试方法的流程图，如图4所示，该流程包括如下步骤：

S21，获取目标视频。

所述目标视频是在同一视频画面中显示终端画面以及参考画面，所述终端画面为终端播放的画面，所述终端播放的画面是第一图像采集设备采集所述参考画面并传输给所述终端的，所述参考画面包括至少两个交替变化的画面。

例如，第一类别画面为图3a以及图3b交替变化的画面。以非大场景为例，所述参考画面包括白色区域画面与交替变化区域画面，所述交替变化区域画面包括交替变化的第一画面和第二画面。如图3a以及图3b所示，区域A为白色区域画面，区域B为交替变化区域画面。

在参考画面中设置白色区域的作用是防止图像采集设备拍摄过程中因场景亮度变化过大导致大幅度的自动调节白平衡，白平衡的大幅度调整会导致采集到的图像颜色不稳定，从而对后续图像识别造成干扰。

具体地，上述S21包括：

S211，播放第一类别画面，以使得第一图像采集设备采集并传输给终端并在终端播放终端画面。

例如，在PC端循环播放图3a以及图3b，在播放过程中第一图像采集设备采集PC端播放的画面，对其进行编码后传输给终端，终端对接收到的画面进行解码后播放。

进一步地，PC端将第一类别画面显示在终端。如图1所示，终端为二分屏显示画面，即PC端的参考画面以及终端的终端画面同时显示在同一个画面中。第二图像采集设备采集终端播放的画面，将其发送给PC端。

S212，接收第二图像采集设备反馈的目标视频。

其中，所述参考画面与所述终端画面在同一画面中分屏显示，所述目标视频为所述第二图像采集设备采集所述分屏显示的画面得到的。

如图5所示，终端为四分屏显示，分别为分屏画面1、分屏画面2、分屏画面3以及分屏画面4，各个分屏画面的位置分别为左上、左下、右上以及右下。在测试过程中，可以指定参考画面与终端画面在分屏显示中的位置，即告知PC端参考画面以及终端画面在第二图像采集设备视野内的位置关系，以便于PC端自动计算出对应位置的画面的中心点坐标。

S22，对目标视频中的终端画面以及参考画面进行像素值分析，确定终端画面以及参考画面中发生相同画面事件的第一系统时间以及第二系统时间。

具体地，上述S22包括：

S221，分别监测终端画面的第一目标区域以及参考画面的第二目标区域中像素值的变化，以确定是否发生目标画面事件。

其中，所述第一目标区域与所述第二目标区域对应。

如图6所示，目标区域为预先确定的，例如，在目标区域内包括9个像素点。相应地，在终端画面中具有第一目标区域，在参考画面的相同位置处具有第二目标区域。PC端对第一目标区域以及第二目标区域中像素点的像素值进行监测，以确定是否发生目标画面事件。

例如，采用图3a以及图3b的画面作为参考画面时，可以将目标区域设置在区域B中发生画面切换的区域。通过监测目标区域内像素点像素值的变化，即可确定是否发生目标画面事件。其中，由于切换是交替进行的，即目标画面事件可以分为两种：黑色到白色的切换，以及白色到黑色的切换。因此，分别将黑色到白色的切换定义为画面事件1，将白色到黑色的切换定义为画面事件2。PC端可以利用两条测算工作流，分别获得画面事件1以及画面事件2对应的系统的时间，两个画面事件所得到的时差结果被认为是具有同等效果的。

作为本实施例的一种可选实施方式，所述第一目标区域以及所述第二目标区域设置在所述交替变化区域画面内，上述S221可以包括：

(1)分别监测所述第一目标区域以及所述第二目标区域内像素值的变化是否满足第一画面与第二画面的切换。

(2)当满足第一画面与第二画面的切换时，确定发生目标画面事件。

以参考画面的目标区域由白色切换为黑色为例，在参考画面的几何中心点四周取8个像素作为采样点，加上该中心点共计9个采样点。9个采样点成3*3方阵排列，相邻的上下或者左右采样点均相互间隔5个像素。所有采样点初始状态均为0，当某一个采样点的像素在前后两帧画面中由黑色转为白色时，则切换该采样点的状态为1。同理对其余8个采样点进行分析，当9个采样点中至少有8个采样点的状态由0切换为1时，则认为参考画面发生了画面事件1，同时记录实时系统时间T0。同理，如果侦测到画面由白色转为黑色时，称为画面事件2。其中，直到侦测到画面事件2之前，T0将被锁死，不被再次更新。

对参考画面进行分析的同时，对终端画面进行分析，如果终端画面也出现了画面事件1，则记录系统时间T1。直到侦测到画面事件2之前，T1将被锁死，不被再次更新。

将第一目标区域以及第二目标区域设置在交替变化区域画面内，能够排除画面自身像素值对测试结果的影响，提高了测试结果的可靠性。

S222，记录第一目标区域发生目标画面事件的第一系统时间以及第二目标区域发生目标画面事件的第二系统时间。

S23，基于第一系统时间以及第二系统时间的差值，确定视频延时的测试结果。

在确定出系统时间T1之后，立即将T1减去T0，从而得到两个画面的时差。如果画面从白色转为黑色，也将被进行同样的记录。白黑切换和黑白切换所获得的时间会被分别相减，两条测算工作流互不影响，两者得出的时差结果被认为是具有同等效果的。

进一步地，如果T0更新n次之间均未发生T1的更新，则将在最终得到的时差数据的基础上加上参考画面的切换间隔*n得到矫正后的时差数据。例如，若参考画面的切换间隔为1000毫秒，在T1更新之前，T0更新了2次，T1减去T0的时差会是500毫秒，最终的时差数据，应是(T1-T0)+2*1000＝2500毫秒，那么终端的视频延时是2500毫秒。

可选地，在单一场景内，累计获得30个时差数据后，将抛弃其中最大值与最小值各一个，然后将剩余28个数据取均值作为最终时差数据。

本实施例提供的视频延时的测试方法，由于参考画面与终端画面分屏显示的时差可以认为接近0，可以提高测试精度。利用对应的目标区域内像素点像素值的变化情况，确定目标画面事件的发生，可以简化目标画面事件的确定方式，准确得到对应的第一系统时间与第二系统时间。

作为本实施例的一个具体实施方式，所述的视频延时的测试方法包括：

S101，建会。即，创建视频会议。

S102，PC端播放第一类别画面。

S103，第一图像采集设备采集PC端播放的第一类别画面。

S104，第一图像采集设备对采集到的第一类别画面进行编码并发送给终端。

S105，终端对接收到的内容进行解码，得到终端画面。

S106，终端输出显示参考画面以及终端画面。

S107，第二图像采集设备在同一画面中采集终端显示的参考画面以及终端画面，并将采集到的画面发送给PC端。

S108，PC端分析视频延时。其中，关于视频延时的具体分析过程请参见上述实施例中的S22-S23所述，在此不再赘述。

对于非大场景而言，视频延时的测试结果是由参考画面和终端画面的画面事件发生的时差来得到的时差数据。简单的说就是把两个显示器上黑色(或白色)画面切白色(或黑色)画面的系统时间都记下来，最后相减。该方法主要是为了考察终端在会议画面较为稳定和变化量较小的时候的性能。

在本实施例中提供了一种视频延时的测试方法，可用于电子设备，如电脑、平板电脑等，图7是根据本发明实施例的视频延时的测试方法的流程图，如图7所示，该流程包括如下步骤：

S31，获取目标视频。

所述目标视频是在同一视频画面中显示终端画面以及参考画面，所述终端画面为终端播放的画面，所述终端播放的画面是第一图像采集设备采集所述参考画面并传输给所述终端的，所述参考画面包括至少两个交替变化的画面。

其中，所述参考画面包括相邻视频图像帧强关联的第一类别画面以及相邻视频图像帧无关联的第二类别画面。例如，第一类别画面采用图3a与图3b交替变化，第二类别画面由12张互不相关的照片组成，照片内容涵盖人像、风景、静物等等。

具体地，上述S31包括：

S311，播放第一类别画面第一目标时长后关闭，再播放第二类别画面第二目标时长后关闭，再次播放第一类别画面，以形成参考画面。

具体地，当参考画面包括第一类别画面及第二类别画面时，PC端播放参考画面，具体为先播放第一类别画面，在播放第一目标时长后关闭，再播放第二目标时长的第二类别画面，在第二类别画面关闭后，接着再次播放第一类别画面。

S312，记录参考画面中关闭第二类别画面的第三系统时间。

在参考画面关闭第二类别画面时，PC端记录此时的系统时间，即所述的第三系统时间。

在PC端依次播放第一类别画面、第二类别画面以及第一类别画面的同时，第一图像采集设备采集PC端播放的画面，对其进行编码后发送给终端。终端在其显示器上播放参考画面以及终端画面，同时，第二图像采集设备采集终端播放的画面，并将其传输给PC端。

S313，接收第二图像采集设备反馈的目标视频。

S32，对目标视频中的终端画面以及参考画面进行像素值分析，确定终端画面以及参考画面中发生相同画面事件的第一系统时间以及第二系统时间。

关于该步骤请参见图4所示实施例的S22的描述，在此不再赘述。

此处需要说明的是，第一系统时间以及第二系统时间可以是PC端在播放第二类别画面前播放第一类别画面时，PC端记录的第一系统时间以及第二系统时间；也可以是在播放第二类别画面后再次播放第一类别画面时，PC端记录的第一系统时间以及第二系统时间。

S33，基于第一系统时间以及第二系统时间的差值，确定视频延时的测试结果。

对大场景的分析，是从两个方面进行的，分别为视频延时的极大值，以及会议系统从大场景中恢复的速度。具体地，上述S33包括：

S331，监测终端画面的第三目标区域中像素值的变化，以确定终端画面是否发生第一类别画面与第二类别画面的切换。

其中，终端播放第一图像采集设备发送过来的画面，形成终端画面。具体地，终端画面与参考画面对应，为依次播放第一类别画面、第二类别画面以及第一类别画面。

第三目标区域中像素值的变化，是用于确定终端画面什么时候从第二类别画面切换至第一类别画面。那么，第三目标区域就需要确定在图3b所示的区域B的无画面变化的区域。如图8所示，分析终端画面中第三目标区域的指定9个像素的颜色。该区域中心为终端画面几何中心点上方，距其三分之一终端画面高度的点。分别在该点四周取8个像素作为采样点，加上该中心点共计9个采样点。9个采样点成3*3方阵排列，相邻的上下或者左右采样点相互间隔5个像素。当第二类别画面结束后，会露出下层的黑白gif图片画面。当某一个采样点的像素在前后两帧画面中由非黑色转为纯黑色时，则记录该采样点的状态为1。同理对其余8个采样点进行分析。

S332，当终端画面发生第一类别画面与第二类别画面的切换时，记录第四系统时间。

继续沿用上例，当终端画面第三目标区域内的9个采样点中至少有8个状态为1时，则记录当下系统时间，即第四系统时间。

S333，利用第四系统时间与第三系统时间的差值，确定视频延时的极大值。

PC端计算第四系统时间与第三系统时间的差值，即得到大场景结束之后终端视频时延的极大值，以将其作为视频延时的参考量。

S334，基于播放第二类别画面后播放第一类别画面时确定的第一系统时间与第二系统时间的差值，确定视频延时的测试结果。

在确定会议系统从大场景中恢复的能力时，可以用发生大场景之前的视频延时，与发生大场景之后再恢复的视频延时进行比较确定。

作为本实施例的一种可选实施方式，上述S334包括：

(1)获取播放第二类别画面前播放第一类别画面时确定的第一系统时间与第二系统时间的第一差值。

第一差值的确定方式可以利用图4所示实施例确定出。

(2)获取播放第二类别画面后播放第一类别画面时确定的第一系统时间与第二系统时间的第二差值。

第二差值可以利用与得到第一差值相同的方法。例如，第二类别画面的播放过去3s之后，再次利用非大场景的方法，采集此时播放第一类别画面时的第一系统时间与第二系统时间，确定两者的差值，得到第二差值；通过第二差值与第一差值相比较从而观察终端从大场景中恢复的能力。

(3)基于第一差值与第二差值的大小关系，确定第一类别画面与第二类别画面的切换场景的延时是否合格。

例如，如果大场景过去3秒后，终端的延时数据依然大于无大场景时的130％，那程序将会记录该场景为“不合格”。

需要说明的是，上例仅仅是一种示意，具体的参数可以根据实际情况进行调整，在此对其并不做任何限定。

通过第一差值与第二差值的大小关系，进行大场景切换延时是否合格的确定，可以提高确定结果的准确性。

本实施例提供的视频延时的测试方法，分别播放第二类别画面以及第一类别画面，以测试终端在会议画面变化极大时处理画面的速度以及在大场景结束后的恢复能力，拓展了视频时延测试的应用场景。不同类别画面切换对应的系统时间确定大场景切换时视频会议系统的视频延时极大值，且利用播放第一类别画面时系统时间确定系统从大场景恢复的能力，从而为大场景下视频延时的测试提供了多方面的参考数据。

作为本实施例的一种可选实施方式，本发明实施例提供的视频延时的测试方法同样可以应用在单屏三显模式，即一个显示器上显示3个画面。即，这三个画面实际上是三路不同的画面，一个是这个终端的本地画面，一个是对面的主画面，一个是对面的另一路画面。由于在进行像素值分析时，是对参考画面以及终端画面的中心点附近进行像素点选取的，对于图9所示的单屏三显画面，由于画面的中心点仍然是落在左侧大画面中，因此，可以利用同一个参考画面对单屏单显模式以及单屏三显模式进行视频延时的测试，而不用做额外的采样点调节。

作为本实施例的一个具体实施方式，所述的视频延时的测试方法包括：

S201，建会。即，创建视频会议。

S202，PC端播放第一类别画面第一目标时长后关闭。

S203，PC端播放第二类别画面第二目标时长后关闭。

S204，PC端再次播放第一类别画面。

S205，第一图像采集设备采集PC端播放的画面。此处需要说明的是，S205是在S202-S204的整个过程中均需要执行。

S206，第一图像采集设备对采集到的画面进行编码并发送给终端。

S207，终端对接收到的内容进行解码，得到终端画面。

S208，终端输出显示参考画面以及终端画面。

S209，第二图像采集设备在同一画面中采集终端显示的参考画面以及终端画面作为目标视频，将目标视频反馈至PC端。

S210，PC端分析视频延时，其中，关于视频延时的具体分析过程请参见上述实施例中的S33所述，在此不再赘述。

对于大场景而言，在PC端分析视频延时的过程中，是让PC端记录自己是什么时候把第二类别画面给关掉的，然后再监测出终端画面中的第二类别画面是什么时候消失的。后者的时间减去前者的时间，就得到了终端处理大场景的时间。在大场景结束之后，即PC端再次播放第一类别画面之后，PC端利用与上述非大场景延时测试方法，确定出终端从大场景中恢复的能力。即，大场景视频延时的测试是为了考察终端在会议画面变化极大时处理画面的速度以及在大场景结束后的恢复能力。

在本实施例中还提供了一种视频延时的测试装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

本实施例提供一种视频延时的测试装置，如图10所示，包括：

获取模块41，用于获取目标视频，所述目标视频是在同一视频画面中显示终端画面以及参考画面，所述终端画面为终端播放的画面，所述终端播放的画面是第一图像采集设备采集所述参考画面并传输给所述终端的，所述参考画面包括至少两个交替变化的画面；

分析模块42，用于对所述目标视频中的终端画面以及参考画面进行像素值分析，确定所述终端画面以及所述参考画面中发生相同画面事件的第一系统时间以及第二系统时间；

确定模块43，用于基于所述第一系统时间以及所述第二系统时间的差值，确定所述视频延时的测试结果。

本实施例提供的视频延时的测试装置，利用终端画面与参考画面发生同一画面事件的系统时间进行视频延时的测试，由于终端画面是通过第一图像采集设备采集的，在整个传输过程中能够表征音视频从发送方抵达接收方需要经历的采集、编码、传输、解码、播放这几个环节，直接利用系统时间就可以确定出视频延时，能够保证测试结果的准确性，可以在不引入秒表的概念的基础上更能反映整个视频会议系统的时差。

本实施例中的视频延时的测试装置是以功能单元的形式来呈现，这里的单元是指ASIC电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。

上述各个模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。

本发明实施例还提供一种电子设备，具有上述图10所示的视频延时的测试装置。

请参阅图11，图11是本发明可选实施例提供的一种电子设备的结构示意图，如图11所示，该电子设备可以包括：至少一个处理器51，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口53，存储器54，至少一个通信总线52。其中，通信总线52用于实现这些组件之间的连接通信。其中，通信接口53可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口53还可以包括标准的有线接口、无线接口。存储器54可以是高速RAM存储器(Random Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器54可选的还可以是至少一个位于远离前述处理器51的存储装置。其中处理器51可以结合图10所描述的装置，存储器54中存储应用程序，且处理器51调用存储器54中存储的程序代码，以用于执行上述任一方法步骤。

其中，通信总线52可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线52可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器54可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器54还可以包括上述种类的存储器的组合。

其中，处理器51可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。

其中，处理器51还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。

可选地，存储器54还用于存储程序指令。处理器51可以调用程序指令，实现如本申请任一实施例中的视频延时的测试方法。

本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的视频延时的测试方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard DiskDrive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种视频延时的测试方法，其特征在于，包括：

获取目标视频，所述目标视频是在同一视频画面中显示终端画面以及参考画面，所述终端画面为终端播放的画面，所述终端播放的画面是第一图像采集设备采集所述参考画面并传输给所述终端的，所述参考画面包括至少两个交替变化的画面，其中，所述参考画面包括相邻视频图像帧强关联的第一类别画面，所述第一类别画面包括颜色固定的区域画面与交替变化区域画面，所述交替变化区域画面包括交替变化的第一画面和第二画面；

对所述目标视频中的终端画面以及参考画面进行像素值分析，确定所述终端画面以及所述参考画面中发生相同画面事件的第一系统时间以及第二系统时间；

基于所述第一系统时间以及所述第二系统时间的差值，确定所述视频延时的测试结果。

2.根据权利要求1所述的方法，其特征在于，所述获取目标视频包括：

播放所述第一类别画面，以使得所述第一图像采集设备采集并传输给所述终端并在所述终端播放所述终端画面；

接收第二图像采集设备反馈的所述目标视频，所述参考画面与所述终端画面在同一画面中分屏显示，所述目标视频为所述第二图像采集设备采集所述分屏显示的画面得到的。

3.根据权利要求2所述的方法，其特征在于，所述对所述目标视频中的终端画面以及参考画面进行像素值分析，确定所述终端画面以及所述参考画面中发生相同画面事件的第一系统时间以及第二系统时间包括：

分别监测所述终端画面的第一目标区域以及所述参考画面的第二目标区域中像素值的变化，以确定是否发生目标画面事件，所述第一目标区域与所述第二目标区域对应；

记录所述第一目标区域发生目标画面事件的第一系统时间以及所述第二目标区域发生所述目标画面事件的第二系统时间。

4.根据权利要求3所述的方法，其特征在于，所述颜色固定的区域画面为白色区域画面。

5.根据权利要求3所述的方法，其特征在于，所述第一目标区域以及所述第二目标区域设置在所述交替变化区域画面内，所述分别监测所述终端画面的第一目标区域以及所述参考画面的第二目标区域中像素值的变化，以确定是否发生目标画面事件，包括：

分别监测所述第一目标区域以及所述第二目标区域内像素值的变化是否满足所述第一画面与所述第二画面的切换；

当满足所述第一画面与所述第二画面的切换时，确定发生所述目标画面事件。

6.根据权利要求1所述的方法，其特征在于，所述参考画面还包括相邻视频图像帧无关联的第二类别画面，所述获取目标视频包括：

播放所述第一类别画面第一目标时长后关闭，再播放所述第二类别画面第二目标时长后关闭，再次播放所述第一类别画面，以形成所述参考画面；

记录所述参考画面中关闭所述第二类别画面的第三系统时间；

接收第二图像采集设备反馈的所述目标视频。

7.根据权利要求6所述的方法，其特征在于，所述基于所述第一系统时间以及所述第二系统时间的差值，确定所述视频延时的测试结果，包括：

监测所述终端画面的第三目标区域中像素值的变化，以确定所述终端画面是否发生所述第一类别画面与所述第二类别画面的切换；

当所述终端画面发生所述第一类别画面与所述第二类别画面的切换时，记录第四系统时间；

利用所述第四系统时间与所述第三系统时间的差值，确定所述视频延时的极大值；

基于播放所述第二类别画面后播放所述第一类别画面时确定的所述第一系统时间与所述第二系统时间的差值确定所述视频延时的测试结果。

8.根据权利要求7所述的方法，其特征在于，所述基于播放所述第二类别画面后播放所述第一类别画面时确定的所述第一系统时间与所述第二系统时间的差值确定所述视频延时的测试结果，包括：

获取播放所述第二类别画面前播放所述第一类别画面时确定的所述第一系统时间与所述第二系统时间的第一差值；

获取播放所述第二类别画面后播放所述第一类别画面时确定的所述第一系统时间与所述第二系统时间的第二差值；

基于所述第一差值和所述第二差值的大小关系，确定所述第一类别画面与所述第二类别画面的切换场景的延时是否合格。

9.一种电子设备，其特征在于，包括：

存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-8中任一项所述的视频延时的测试方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行权利要求1-8中任一项所述的视频延时的测试方法。