CN114745537A - 音画延迟测试方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请实施例公开了一种音画延迟测试方法、装置、电子设备和存储介质，通过被测试设备播放测试视频和测试音频；获取测试视频的至少一帧候选视频帧，以及获取测试音频对应的音频波形数据；对候选视频帧进行图像识别，以从候选视频帧中确定包含测试视频画面的目标视频帧；对音频波形数据进行波形识别，确定测试音频中的目标音频段，目标音频段与目标视频帧相对应；根据目标视频帧的第一播放时间和目标音频段的第二播放时间，计算得到被测试设备的音画延迟时间。本方案通过图像识别确定目标视频帧和通过波形识别确定目标音频段，根据相对应的目标视频帧与目标音频段的播放时间确定音画延迟时间，避免人为原因引起的误差，提高音画延迟测试的准确性。

Description

音画延迟测试方法、装置、电子设备和存储介质

技术领域

本申请涉及通信技术领域，具体涉及一种音画延迟测试方法、装置、电子设备和存储介质，其中，存储介质为计算机可读存储介质。

背景技术

在设备播放视频时，有时会出现音画延迟情况，即视频与音频没有同步播放，导致播放效果差，对于音画延迟时间的测试，通常是由人工对设备播放的视频用秒表等计时工具进行及时,或者通过人工对播放的视频每隔一段时间进行截图，根据截图来人工计算延迟时间的大小，由于每个人的视觉以及听觉的灵敏度不同，测试结果稳定性和精度低，所以测试结果的准确性低。

发明内容

本申请实施例提供一种音画延迟测试方法、装置、电子设备和存储介质，可以提高对音画延迟测试的准确性。

本申请实施例提供的一种音画延迟测试方法，包括：

通过被测试设备播放测试视频和测试音频；

获取所述测试视频的至少一帧候选视频帧，以及获取所述测试音频对应的音频波形数据；

对所述候选视频帧进行图像识别，以从所述候选视频帧中确定包含测试视频画面的目标视频帧；

对所述音频波形数据进行波形识别，确定所述测试音频中的目标音频段，所述目标音频段与所述目标视频帧相对应；

根据所述目标视频帧的第一播放时间和所述目标音频段的第二播放时间，计算得到所述被测试设备的音画延迟时间。

相应的，本申请实施例还提供的一种音画延迟测试装置，包括：

播放单元，用于通过被测试设备播放测试视频和测试音频；

获取单元，用于获取所述测试视频的至少一帧候选视频帧，以及获取所述测试音频对应的音频波形数据；

视频处理单元，用于对所述候选视频帧进行图像识别，以从所述候选视频帧中确定包含测试视频画面的目标视频帧；

波形识别单元，用于对所述音频波形数据进行波形识别，确定所述测试音频中的目标音频段，所述目标音频段与所述目标视频帧相对应；

时间计算单元，用于根据所述目标视频帧的第一播放时间和所述目标音频段的第二播放时间，计算得到所述被测试设备的音画延迟时间。

在一实施例中，所述获取单元，包括：

采集子单元，用于通过图像采集设备针对所述被测试设备进行音视频采集，得到采集音视频数据；

音频处理子单元，用于对所述采集音视频数据进行音频处理，得到所述被测试设备播放所述测试音频对应的音频波形数据；

视频帧获取子单元，用于对所述音视频数据进行视频帧获取处理，得到至少一帧所述候选视频帧。

在一实施例中，所述待测试视频画面包含识别对象，所述视频处理单元，包括：

对象识别子单元，用于针对所述每帧候选视频帧进行对象识别，确定所述候选视频帧是否包含所述识别对象；

确定子单元，用于将包含所述识别对象的候选视频帧确定为所述目标视频帧。

在一实施例中，所述视频处理单元，包括：

颜色值获取子单元，用于获取所述候选视频帧中每个像素的颜色值；

图像指标计算子单元，用于根据所述颜色值计算所述候选视频帧的图像指标；

目标视频帧确定子单元，用于将所述图像指标符合预设条件的候选视频帧确定为所述目标视频帧。

在一实施例中，所述目标视频帧包含多帧视频帧，所述音画延迟测试装置，还包括：

第一时间间隔计算单元，用于计算相邻两帧目标视频帧之间的第一测试时间间隔；

第一比较单元，用于对所述相邻两帧目标视频帧之间的第一预设时间间隔，和所述第一测试时间间隔进行比较，并根据比较结果确定所述被测试设备的视频丢帧情况。

在一实施例中，所述目标音频段包含多段，所述音画延迟测试装置，还包括：

第二时间间隔计算单元，用于计算相邻两段目标音频段之间的第二测试时间间隔；

第二比较单元，用于对所述相邻两段目标音频段之间的第二预设时间间隔，和所述第二测试时间进行比较，并根据比较结果确定所述被测试设备的音频丢帧情况。

在一实施例中，所述音画延迟测试装置，还包括：

原因确定单元，用于根据所述视频丢帧情况、所述音频丢帧情况以及所述音画延迟时间，确定所述被测试设备的延迟原因。

相应的，本申请实施例还提供的一种电子设备，包括存储器和处理器；所述存储器存储有计算机程序，所述处理器用于运行所述存储器内的计算机程序，以执行本申请实施例提供的任一种音画延迟测试方法。

相应的，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器加载以执行本申请实施例提供的任一种音画延迟测试方法。

本申请实施例通过被测试设备播放测试视频和测试音频；获取测试视频的至少一帧候选视频帧，以及获取测试音频对应的音频波形数据；对候选视频帧进行图像识别，以从候选视频帧中确定包含测试视频画面的目标视频帧；对音频波形数据进行波形识别，确定测试音频中的目标音频段，目标音频段与目标视频帧相对应；根据目标视频帧的第一播放时间和目标音频段的第二播放时间，计算得到被测试设备的音画延迟时间。

本方案通过图像识别确定测试视频中的目标视频帧，以及通过波形识别确定测试音频中的目标音频段，根据相对应的目标视频帧与目标音频段的播放时间的时间差，确定音画延迟时间，避免人为原因引起的误差，可以提高对被测试设备音画延迟测试的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的音画延迟测试方法的流程图；

图2是本申请实施例提供的音画延迟测试装置示意图；

图3是本申请实施例提供的终端的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供一种音画延迟测试方法、装置、电子设备和计算机可读存储介质。该音画延迟测试装置可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备。

其中，该终端可以包括手机、穿戴式智能设备、平板电脑、笔记本电脑、个人计算(PC，Personal Computer)、以及车载计算机等，该终端还可以是本申请实施例中的被测试设备。

其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。

以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。

本实施例将从音画延迟测试装置的角度进行描述，该音画延迟测试装置具体可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备。

本申请实施例提供的一种音画延迟测试方法，如图1所示，该音画延迟测试方法的具体流程可以如下：

101、通过被测试设备播放测试视频和测试音频。

其中，被测试设备可以是任意能够播放音视频的设备，例如，被测试设备可以是手机、电脑、平板电脑、笔记本电脑、个人计算(PC，Personal Computer)、投影仪以及车载计算机等终端。

其中，待测试视频可以是预设的视频，待测试视频中可以包括目标视频帧，目标视频帧可以用于显示测试视频画面的视频帧，测试视频画面可以是纯黑色画面或者是纯白色画面等，还可以是包含指定图案的画面。

其中，待测试音频可以是预设的音频，待测试视频中可以包含目标音频段，目标音频段可以用于播放爆破声等，测试视频画面和目标音频段一一对应，例如，如果被测试设备能够同时播放测试视频以及测试音频且不发生丢帧情况，被测试设备显示目标视频帧对应的测试视频画面时，会同时播放目标音频段。

比如，具体可以是测试视频和测试音频可以包含在一个音视频文件中，服务器或者终端将该音视频文件中发送给被测试设备，或者预先在被测试设备中预存该音视频文件。

通过被测试设备基于音视频文件播放测试视频和测试音频。

可选的，服务器或者终端将音视频文件发送给被测试设备，待测试终端可以实时对音视频文件进行解码播放，即被测试设备不一定要完整获取到完整音视频文件才能播放测试视频和测试音频。

102、获取测试视频的至少一帧候选视频帧，以及获取测试音频对应的音频波形数据。

比如，具体可以是通过在被测试设备播放测试视频和测试音频时，被测试设备定时进行屏幕截图，得到至少一帧候选视频帧，被测试设备对其播放的音频进行录音，得到录音数据，并根据录音数据得到测试音频对应的音频波形数据。

可选的，除了通过图像采集设备获取采集音视频数据之外，还可以通过待被测试设备进行在播放测试视频和测试音频时，进行屏幕录像，得到采集音视频数据。

可选的，可以通过测试设备获取被测试设备的至少一帧候选视频帧，具体可以是通过测试设备的图像采集设备对被测试设备进行音视频采集，得到采集音视频数据，通过对采集音视频数据进行处理，以得到至少一帧候选视频帧和音频波形数据，即步骤“获取测试视频的至少一帧候选视频帧，以及获取测试音频对应的音频波形数据”，具体可以包括：

通过图像采集设备针对被测试设备进行音视频采集，得到采集音视频数据；

对采集音视频数据进行音频处理，得到被测试设备播放测试音频对应的音频波形数据；

对音视频数据进行视频帧获取处理，得到至少一帧候选视频帧。

其中，图像采集设备可以是高速摄像、相机、摄像头等设备。

比如，具体可以是通过图像采集设备针对被测试设备进行音视频采集，例如，当测设设备携带有显示器时，对显示器进行音视频进行采集，当被测试设备为投影设备时，对其投影所在位置进行音视频采集。

通过图像采集设备进行音视频采集得到采集音视频数据，将音视频数据转化为数据化声音格式(Waveform Audio，wave)，得到被测试设备播放测试音频对应的音频波形数据。

以及根据一定的频率从音视频数据中获取视频帧，得到至少一帧候选视频帧。

103、对候选视频帧进行图像识别，以从候选视频帧中确定包含测试视频画面的目标视频帧。

比如，具体可以是测试视频画面可以是被测试设备显示的黑色、白色、红色或者是指定亮度等画面，测试视频画面还是包含识别对象的画面，例如，包含一个球状物体、一个圆圈、一只猪或者是一个人等的画面。可选的，测试设备/被测试设备可以显示测试页面，测试人员可以在测试页面中将本地的图片选中作为比较图像。

测试设备或者被测试设备基于该比较图像对候选视频帧进行图像识别，确定候选视频帧是否与比较图像匹配，例如，比较图像为一张黑色图像，则确定候选视频帧是否也为黑色图像，若是，则将该候选视频帧确定为目标视频帧；否则，该候选视频帧不为目标视频帧。若比较图像为包含有一个圆形图案的图像，则确定候选视频帧是否也包含相似的圆形图案，若是，则将该候选视频帧确定为目标视频帧；否则，该候选视频帧不为目标视频帧。

还可以通过比较候选视频帧与比较图像之间的相似度，将相似度大于阈值的候选视频帧作为目标视频帧。

可选的，测试页面还可以提供参数设置功能，例如，测试人员可以在测试页面输入采集帧率，以使得图像采集设备/被测试设备以该采集帧率获取候选视频帧和音频波形数据，通过在测试页面输入采集帧率可以兼容不同的测试视频和测试音频，提高测试的灵活性；当测试画面为包含识别对象的画面时，测试人员可以在测试页面输入识别对象的坐标位置，以提高测试设备/被测试设备从候选视频帧中识别到识别对象的能力。

在一实施例中，当测试视频画面可以是被测试设备显示的黑色、白色、红色或者是指定亮度等画面，步骤“对候选视频帧进行图像识别，以从候选视频帧中确定包含测试视频画面的目标视频帧”，具体可以包括：

获取候选视频帧中每个像素的颜色值；

根据颜色值计算候选视频帧的图像指标；

将图像指标符合预设条件的候选视频帧确定为目标视频帧。

其中，颜色是可以是RBG值，RGB值代表候选视频帧红、绿和蓝三个通道的颜色，颜色值也可以是HSL值，HSL值表示候选视频帧的色相、饱和度和亮度，具体可以根据测试视频画面确定。

比如，具体可以是当测试视频画面为特定颜色的画面时，可以获取候选视频帧中每个像素的RGB值，将候选视频帧每个像素点在不同通道下的颜色值进行平均计算，得到候选视频帧的RGB值，将该RGB值作为候选视频帧的图像指标。

当测试视频画面为指定亮度、饱和度或者色相的画面时，则获取候选视频帧的每个像素在对应的HSL通道下的颜色值，并根据每个像素的颜色值进行平均计算，得到候选视频帧的图像指标。

若图像指标符合预设条件，表示候选视频帧显示的画面为测试视频画面，将该候选视频帧确定为目标视频帧，则将候选视频帧确定为目标视频帧，比如，预设条件为特定颜色对应的RGB值，将图像指标与预设条件比较，若在一定误差范围内，则符合预设条件，将该候选视频帧确定为目标视频帧。

在另一实施例中，测试视频画面可以是包含识别对象的画面，例如，包含一个球状物体、一个圆圈、一只猪或者是一个人等的画面，步骤“对候选视频帧进行图像识别，以从候选视频帧中确定包含测试视频画面的目标视频帧”，具体可以包括：

针对每帧候选视频帧进行对象识别，确定候选视频帧是否包含识别对象；

将包含识别对象的候选视频帧确定为目标视频帧。

比如，具体可以是通过神经网络、或者模板匹配等方式对候选视频帧进行对象识别，确定候选视频帧是否包含了识别对象，若候选视频帧包含了识别对象，将该候选视频帧确定为目标视频帧。

可以理解的是，当被测试设备显示一次测试视频画面时，测试设备/被测试设备可以获取到多帧包含该测试视频画面的视频帧，可以将其中一帧视频帧作为与该测试视频画面对应的目标视频帧，例如，中间的一帧或者最后的一帧等，还可以将与上述比较图像之间相似度最高的视频帧作为目标视频帧。

104、对音频波形数据进行波形识别，得到测试音频中的目标音频段，目标音频段与目标视频帧相对应。

比如，具体可以是目标音频段为可以区别于测试音频中其他音频段的音频，例如，目标音频段为爆破声，目标音频段在音频波形数据可以对应与峰值，音频波形数据中识别峰值所在位置，即可确定目标音频段的时间。

105、根据目标视频帧的第一播放时间和目标音频段的第二播放时间，计算得到被测试设备的音画延迟时间。

比如，目标视频帧的第一播放时间可以表示被测试设备播放第一视频帧的时间，目标音频段的第二播放时间可以表示被测试设备播放目标音频段的时间，计算第一播放时间和第二播放时间的时间差，该时间差即为音画延迟时间。

音画延迟可能是由于被测试设备没有同时播放测试视频和测试音频导致的，也可能是由于丢帧导致测试视频和测试音频无法对齐的导致的，在一实施例中，测试视频包含了多帧目标视频帧，多帧目标视频帧以第一预设时间间隔分布在测试视频中，例如，测试视频分别在第1s、第2s、第3s等时间出现目标视频帧，可以根据测试得到的时间间隔与第一预设时间间隔比较，确定测试视频是否出现丢帧情况，即本申请提供的音画延迟测试方法具体还可以包括：

计算相邻两帧目标视频帧之间的第一测试时间间隔；

对相邻两帧目标视频帧之间的第一预设时间间隔，和第一测试时间间隔进行比较，并根据比较结果确定被测试设备的视频丢帧情况。

比如，具体可以是计算相邻两帧目标视频帧之间的第一测试时间间隔，并比较第一时间间隔和第二预设时间间隔，若第一测试时间间隔小于第一预设时间间隔，则相邻两帧目标视频帧之间发生丢帧情况，若第一测试时间间隔大于或者等于第一预设时间间隔，则相邻两帧目标视频帧之间没有发生丢帧情况，且当第一测试时间间隔大于第一预设时间间隔时，可以认为，被测试设备在视频解码过程出现问题，导致解码时间过长。

同理，可以测试相邻两段目标音频段之间的时间间隔，根据测试得到的时间间隔与预设的时间间隔进行比较，根据比较结果，可以确定测试音频的丢帧情况，即在一实施例中，本申请提供的音画延迟测试方法具体还可以包括：

计算相邻两段目标音频段之间的第二测试时间间隔；

对相邻两段目标音频段之间的第二预设时间间隔，和第二测试时间间隔进行比较，并根据比较结果确定被测试设备的音频丢帧情况。

其中，第二预设时间间隔可以是测试音频中，目标音频段出现的时间间隔，目标音频段可以是音频帧。第二测试时间间隔，为被测试设备播放测试音频时，目标音频段出现的时间间隔。

具体地，计算音频波形数据中相邻两个峰值之间的时间差，将该时间差作为第二测试时间间隔，并比较第二测试时间间隔和第二预设时间间隔，若第二测试时间间隔小于第二预设时间间隔，则相邻两段目标音频段之间发生丢帧情况，若第二测试时间间隔大于或者等于第二预设时间间隔，则相邻两段目标音频段之间没有发生丢帧情况，且当第二测试时间间隔大于第二预设时间间隔时，可以认为，被测试设备在音频解码过程出现问题，导致解码时间过长。

根据测试视频和测试音频的丢帧情况可以确定被测试设备音画延迟的原因，具体步骤可以包括：

根据视频丢帧情况、音频丢帧情况以及音画延迟时间，确定被测试设备的延迟原因。

比如，具体可以是若测试视频和测试音频均没有发生丢帧情况，且被测试设备发生了音画延迟(即音画时间不为零)，则造成被测试设备音画延迟主要有两种原因：其一是被测试设备没有同时开始播放测试视频和测试音频(第一测试时间间隔等于第一预设时间间隔，以及第二测试时间间隔等于第二预设时间间隔的情况)；其二是被测试设备的音频解码过程或者视频解码过程出现问题(第一测试时间间隔大于第一预设时间间隔，以及/或者第二测试时间间隔大于第二预设时间间隔)。

若测试视频和测试音频均没有发生丢帧情况，且被测试设备发生了音画延迟(即音画时间不为零)，则认为被测试设备的延迟原因为网络不稳定导致视频或者音频丢帧导致。

由上可知，本申请实施例通过被测试设备播放测试视频和测试音频；获取测试视频的至少一帧候选视频帧，以及获取测试音频对应的音频波形数据；对候选视频帧进行图像识别，以从候选视频帧中确定包含测试视频画面的目标视频帧；对音频波形数据进行波形识别，确定测试音频中的目标音频段，目标音频段与目标视频帧相对应；根据目标视频帧的第一播放时间和目标音频段的第二播放时间，计算得到被测试设备的音画延迟时间。

本方案通过图像识别确定测试视频中的目标视频帧，以及通过波形识别确定测试音频中的目标音频段，根据相对应的目标视频帧与目标音频段的播放时间的时间差，确定音画延迟时间，避免人为原因引起的误差，可以提高对被测试设备音画延迟测试的准确性。

为了便于更好地实施本申请实施例提供的音画延迟测试方法，在一实施例中还提供了一种音画延迟测试装置。其中名词的含义与上述音画延迟测试方法中相同，具体实现细节可以参考方法实施例中的说明。

该音画延迟测试装置具体可以集成在电子设备中，如图2所示，该音画延迟测试装置可以包括：播放单元301、获取单元302、视频处理单元303、波形识别单元304和时间计算单元305，具体如下：

(1)播放单元301：用于通过被测试设备播放测试视频和测试音频。

(2)获取单元302：用于获取测试视频的至少一帧候选视频帧，以及获取测试音频对应的音频波形数据。

在一实施例中，获取单元302包括采集子单元、音频处理子单元和视频帧获取子单元，具体地：

采集子单元：用于通过图像采集设备针对被测试设备进行音视频采集，得到采集音视频数据；

音频处理子单元：用于对采集音视频数据进行音频处理，得到被测试设备播放测试音频对应的音频波形数据；

视频帧获取子单元：用于对音视频数据进行视频帧获取处理，得到至少一帧候选视频帧。

(3)视频处理单元303：用于对候选视频帧进行图像识别，以从候选视频帧中确定包含测试视频画面的目标视频帧。

在一实施例中，待测试视频画面包含识别对象，视频处理单元303包括对象识别子单元和确定子单元，具体地：

对象识别子单元：用于针对每帧候选视频帧进行对象识别，确定候选视频帧是否包含识别对象；

确定子单元：用于将包含识别对象的候选视频帧确定为目标视频帧。

在一实施例中，视频处理单元303包括颜色值获取子单元、图像指标计算子单元和目标视频帧确定子单元，具体地：

颜色值获取子单元：用于获取候选视频帧中每个像素的颜色值；

图像指标计算子单元：用于根据颜色值计算候选视频帧的图像指标；

目标视频帧确定子单元：用于将图像指标符合预设条件的候选视频帧确定为目标视频帧。

(4)波形识别单元304：用于对音频波形数据进行波形识别，确定测试音频中的目标音频段，目标音频段与目标视频帧相对应。

(5)时间计算单元305：用于根据目标视频帧的第一播放时间和目标音频段的第二播放时间，计算得到被测试设备的音画延迟时间。

在一实施例中，目标视频帧包含多帧视频帧，音画延迟测试装置还包括第一时间间隔计算单元和第一比较单元，具体地：

第一时间间隔计算单元：用于计算相邻两帧目标视频帧之间的第一测试时间间隔；

第一比较单元：用于对相邻两帧目标视频帧之间的第一预设时间间隔，和第一测试时间间隔进行比较，并根据比较结果确定被测试设备的视频丢帧情况。

在一实施例中，目标音频段包含多段，音画延迟测试装置还包括第二时间间隔计算单元和第二比较单元，具体地：

第二时间间隔计算单元：用于计算相邻两段目标音频段之间的第二测试时间间隔；

第二比较单元：用于对相邻两段目标音频段之间的第二预设时间间隔，和第二测试时间进行比较，并根据比较结果确定被测试设备的音频丢帧情况。

在一实施例中，音画延迟测试装置还包括原因确定单元，具体地：

原因确定单元：用于根据视频丢帧情况、音频丢帧情况以及音画延迟时间，确定被测试设备的延迟原因。

由上可知，本申请实施例音画延迟测试装置的播放单元301通过被测试设备播放测试视频和测试音频；由获取单元302获取测试视频的至少一帧候选视频帧，以及获取测试音频对应的音频波形数据；通过视频处理单元303对候选视频帧进行图像识别，以从候选视频帧中确定包含测试视频画面的目标视频帧；通过波形识别单元304对音频波形数据进行波形识别，确定测试音频中的目标音频段，目标音频段与目标视频帧相对应；最后，通过时间计算单元305根据目标视频帧的第一播放时间和目标音频段的第二播放时间，计算得到被测试设备的音画延迟时间。

本方案通过图像识别确定测试视频中的目标视频帧，以及通过波形识别确定测试音频中的目标音频段，根据相对应的目标视频帧与目标音频段的播放时间的时间差，确定音画延迟时间，避免人为原因引起的误差，可以提高对被测试设备音画延迟测试的准确性。

本申请实施例还提供一种电子设备，该电子设备可以是终端，也可以是服务器，如图3所示，其示出了本申请实施例所涉及的电子设备的结构示意图，具体来讲：

该电子设备可以包括一个或者一个以上处理核心的处理器1001、一个或一个以上计算机可读存储介质的存储器1002、电源1003和输入单元1004等部件。本领域技术人员可以理解，图3中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器1001是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器1002内的软件程序和/或模块，以及调用存储在存储器1002内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器1001可包括一个或多个处理核心；优选的，处理器1001可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和计算机程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1001中。

存储器1002可用于存储软件程序以及模块，处理器1001通过运行存储在存储器1002的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器1002可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器1002可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器1002还可以包括存储器控制器，以提供处理器1001对存储器1002的访问。

电子设备还包括给各个部件供电的电源1003，优选的，电源1003可以通过电源管理系统与处理器1001逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源1003还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该电子设备还可包括输入单元1004，该输入单元1004可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器1001会按照如下的指令，将一个或一个以上的计算机程序的进程对应的可执行文件加载到存储器1002中，并由处理器1001来运行存储在存储器1002中的计算机程序，从而实现各种功能，如下：

通过被测试设备播放测试视频和测试音频；

获取测试视频的至少一帧候选视频帧，以及获取测试音频对应的音频波形数据；

对候选视频帧进行图像识别，以从候选视频帧中确定包含测试视频画面的目标视频帧；

对音频波形数据进行波形识别，确定测试音频中的目标音频段，目标音频段与目标视频帧相对应；

根据目标视频帧的第一播放时间和目标音频段的第二播放时间，计算得到被测试设备的音画延迟时间。

以上各个操作的具体实施可参见前面的实施例，在此不作赘述。

由上可知，本申请实施例的电子设备可以通过被测试设备播放测试视频和测试音频；获取测试视频的至少一帧候选视频帧，以及获取测试音频对应的音频波形数据；对候选视频帧进行图像识别，以从候选视频帧中确定包含测试视频画面的目标视频帧；对音频波形数据进行波形识别，确定测试音频中的目标音频段，目标音频段与目标视频帧相对应；根据目标视频帧的第一播放时间和目标音频段的第二播放时间，计算得到被测试设备的音画延迟时间。

本方案通过图像识别确定测试视频中的目标视频帧，以及通过波形识别确定测试音频中的目标音频段，根据相对应的目标视频帧与目标音频段的播放时间的时间差，确定音画延迟时间，避免人为原因引起的误差，可以提高对被测试设备音画延迟测试的准确性。

根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行上述实施例中各种可选实现方式中提供的方法。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过计算机程序来完成，或通过计算机程序控制相关的硬件来完成，该计算机程序可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，其中存储有计算机程序，该计算机程序，能够被处理器进行加载，以执行本申请实施例所提供的任一种音画延迟测试方法。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该计算机可读存储介质中所存储的计算机程序，可以执行本申请实施例所提供的任一种音画延迟测试方法，因此，可以实现本申请实施例所提供的任一种音画延迟测试方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种音画延迟测试方法、装置、电子设备和计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种音画延迟测试方法，其特征在于，包括：

通过被测试设备播放测试视频和测试音频；

获取所述测试视频的至少一帧候选视频帧，以及获取所述测试音频对应的音频波形数据；

对所述候选视频帧进行图像识别，以从所述候选视频帧中确定包含测试视频画面的目标视频帧；

对所述音频波形数据进行波形识别，确定所述测试音频中的目标音频段，所述目标音频段与所述目标视频帧相对应；

根据所述目标视频帧的第一播放时间和所述目标音频段的第二播放时间，计算得到所述被测试设备的音画延迟时间。

2.根据权利要求1所述的方法，其特征在于，所述获取所述测试视频的至少一帧候选视频帧，以及获取所述测试音频对应的音频波形数据，包括：

通过图像采集设备针对所述被测试设备进行音视频采集，得到采集音视频数据；

对所述采集音视频数据进行音频处理，得到所述被测试设备播放所述测试音频对应的音频波形数据；

对所述音视频数据进行视频帧获取处理，得到至少一帧所述候选视频帧。

3.根据权利要求1所述的方法，其特征在于，所述待测试视频画面包含识别对象，所述对所述候选视频帧进行图像识别，以从所述候选视频帧中确定包含测试视频画面的目标视频帧，包括：

针对所述每帧候选视频帧进行对象识别，确定所述候选视频帧是否包含所述识别对象；

将包含所述识别对象的候选视频帧确定为所述目标视频帧。

4.根据权利要求1所述的方法，其特征在于，所述对所述候选视频帧进行图像识别，以从所述候选视频帧中确定包含测试视频画面的目标视频帧，包括：

获取所述候选视频帧中每个像素的颜色值；

根据所述颜色值计算所述候选视频帧的图像指标；

将所述图像指标符合预设条件的候选视频帧确定为所述目标视频帧。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述目标视频帧包含多帧视频帧，所述方法还包括：

计算相邻两帧目标视频帧之间的第一测试时间间隔；

对所述相邻两帧目标视频帧之间的第一预设时间间隔，和所述第一测试时间间隔进行比较，并根据比较结果确定所述被测试设备的视频丢帧情况。

6.根据权利要求5所述的方法，其特征在于，所述目标音频段包含多段，所述方法还包括：

计算相邻两段目标音频段之间的第二测试时间间隔；

对所述相邻两段目标音频段之间的第二预设时间间隔，和所述第二测试时间进行比较，并根据比较结果确定所述被测试设备的音频丢帧情况。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

根据所述视频丢帧情况、所述音频丢帧情况以及所述音画延迟时间，确定所述被测试设备的延迟原因。

8.一种音画延迟测试装置，其特征在于，包括：

播放单元，用于通过被测试设备播放测试视频和测试音频；

获取单元，用于获取所述测试视频的至少一帧候选视频帧，以及获取所述测试音频对应的音频波形数据；

视频处理单元，用于对所述候选视频帧进行图像识别，以从所述候选视频帧中确定包含测试视频画面的目标视频帧；

音频处理单元，用于对所述音频波形数据进行波形识别，确定所述测试音频中的目标音频段，所述目标音频段与所述目标视频帧相对应；

时间计算单元，用于根据所述目标视频帧的第一播放时间和所述目标音频段的第二播放时间，计算得到所述被测试设备的音画延迟时间。

9.一种电子设备，其特征在于，包括存储器和处理器；所述存储器存储有计算机程序，所述处理器用于运行所述存储器内的计算机程序，以执行权利要求1至7任一项所述的音画延迟测试方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器加载，以执行权利要求1至7任一项所述的音画延迟测试方法。

Images