CN114760461B - 音视频通话业务用户体验测试方法及装置 - Google Patents

Abstract

本文涉及软件测试领域，提供了音视频通话业务用户体验测试方法及装置，将多个测试设备的音视频输入接口重定向到参考音视频播放设备，将多个测试设备的音视频输出接口重定向到音视频录制设备，方法包括：从测试设备中选择第一、第二测试设备；第一测试设备利用音视频通话APP向第二测试设备发起通话，通话接通后，将参考音视频播放设备中的参考音视频文件编码后得到的音视频流发送至第二测试设备；第二测试设备接收并解码音视频流，将解码得到的音视频文件录制于音视频录制设备中；根据录制的音视频文件及参考音视频文件，对音视频通话APP的音视频质量进行有参考评价。本文能够直观对用户关注的内容进行检测，实现测试的通用性及标准化。

Description

音视频通话业务用户体验测试方法及装置

技术领域

本文涉及测试领域，尤其涉及一种音视频通话业务用户体验测试方法及装置。

背景技术

基于移动互联网社交APP(如微信、FaceTime、Skype等)的OTT(Over the Top，指互联网公司越过运营商，发展基于开放互联网的各种视频及数据服务业务)音视频通话功能使用群体众多，现已经成为了人们主要的沟通方式之一。OTT音视频通话的通话质量是用户选择APP的主要依据，也是软件开发商、通信链路服务商等重点关注的方向。OTT音视频通话包含音视频采集、编码、压缩、传输、解码、播放等多个过程，实现原理较为复杂，且在每个环节均有多种方法和算法可供选择和优化。同时，由于OTT音视频通话的呈现方式极为多样，除公众网络中一对一的通话外，还包括了远程诊疗，一对多的网络直播、线上教学，多对多的网络会议，以及行业网络中的远程支持等应用场景。建立一种普适的OTT音视频通话质量的测量和评测方法，对于APP开发商和通信链路服务商来说非常重要。

现有技术中，绝大多数音视频通话业务的开发者，采用如下三种方式进行测试：

(1)基于APP自身实现原理流程实现业务质量的测试，例如，通过对OTT音视频通话底层信令和数据包传输的相关信息对业务质量进行评估。

(2)通过在交互协议中加入质量监测“探针”，直接在真实业务的交互中输出对业务质量的评估评判结果，例如，某APP开发商，可通过读取APP内预设的部分用于监控质量的变量。

(3)针对数据包传输的情况对当前的网络质量进行评判，并以此为依据进行编码压缩策略的调整，例如改变传输的分辨率/采样率、音频优先、对用户弹出“网络状态不佳”的提示等，对实际使用有较强的参考意义。

但上述方案存在如下技术缺陷：

(1)通用性不足。需要对软件底层的实现方案完全了解以实施该测试方案。这意味着，只有APP的开发方有能力针对自己的APP开发测试方案，用以对自身的算法进行优化。在这种情况下，用户或第三方评测机构无法针对APP的使用体验执行客观/量化的评测；也无法使用给定APP，以其为评价手段，对于业务开展相关的其他变量(例如通信网络质量)执行评测。

(2)不够直观。当前技术方案通过网络中的数据包传输情况，或在协议中预置的质量参数反应业务质量。实际用户在音视频通话中关注音视频畸变、清晰度、分辨率、卡顿等指标，二者维度不同，且映射关系复杂。很多APP包含了针对传输条件的恶化(例如，网络状态的恶化)的自适应机制，这些机制带来的用户体验的影响难以被直观的展现。

(3)难以实现合理的标准化测试。客观量化的用户体验评价往往建立在标准化评测的基础上，各APP开发企业利用实际的通话业务进行测试，其通话所处的环境、通话中的声音、画面各不相同，难以形成一致的测试条件。

发明内容

本文用于解决现有技术中音视频通话业务用户体验测试存在通用性差、不能展示用户真正关注的指标以及无法标准化的问题。

为了解决上述技术问题，本文的一方面提供一种音视频通话业务用户体验测试方法，将多个测试设备的音视频输入接口重定向到参考音视频播放设备，将多个测试设备的音视频输出接口重定向到音视频录制设备，所述测试方法包括：

从所述测试设备中选择第一测试设备及第二测试设备；

所述第一测试设备利用OTT音视频通话APP向所述第二测试设备发起OTT通话，所述第二测试设备通过OTT音视频通话APP接通后，所述第一测试设备将参考音视频播放设备中的参考音视频文件编码后得到的音视频流通过OTT音视频通话APP发送至第二测试设备；

所述第二测试设备通过OTT音视频通话APP接收并解码所述音视频流，将解码得到的音视频文件录制于所述音视频录制设备中；

根据所述音视频录制设备录制的音视频文件及所述参考音视频播放设备存储的参考音视频文件，对OTT音视频通话APP的音视频质量进行有参考评价。

作为本文的进一步实施例中，将多个测试设备的音视频输入接口重定向到参考音视频播放设备，将多个测试设备的音视频输出接口重定向到音视频录制设备，包括：

在多个测试设备的存储器中定制参考音视频播放设备，将各测试设备的音视频输入接口地址变更为各测试设备中音视频播放设备的地址，或各测试设备中的参考音视频播放设备连接至各测试设备的音视频输入接口上；

在多个测试设备的存储器中定制音视频录制设备，将各测试设备的音视频输出接口变更为各测试设备中音视频录制设备的地址，或将各测试设备中的参考音视频录制设备连接至各测试设备的音视频输出接口上。

作为本文的进一步实施例中，将多个测试设备的音视频输入接口重定向到参考音视频播放设备，将多个测试设备的音视频输出接口重定向到音视频录制设备，包括：

将多个测试设备的音视频输入接口连接至外置的参考音视频播放设备中；

将多个测试设备的音视频输出接口利用外置的音视频录制设备替换。

作为本文进一步实施例中，音视频通话业务用户体验测试方法还包括：

根据所述音视频录制设备录制的音视频文件，对OTT音视频通话APP的音视频质量进行无参考评价。

作为本文进一步实施例中，根据所述音视频录制设备录制的音视频文件，对OTT音视频通话APP的音视频质量进行无参考评价音视频录制设备，包括：

回放音视频录制设备录制的音视频文件；

根据音视频文件的回放情况，利用音视频质量无参考评价指标，确定OTT音视频通话APP的音视频质量。

作为本文进一步实施例中，所述音视频质量无参考评价指标包括：如下指标中的一个或多个音视频质量下降、卡顿、丢帧、音视频不同步。

作为本文进一步实施例中，所述第一测试设备播放参考音视频播放设备的音视频文件过程包括：

确定所述待测试场景；

若所述待测试场景为多次测试，则所述第一测试设备后台播放所述参考音视频播放设备中的音视频文件，待所述第二测试设备接通第一测试设备发送的OTT通话后记录所述音视频文件的播放时长；

若所述待测试场景为同步测试，则所述第二测试设备接通第一测试设备发送的OTT通话后，所述第一测试设备开始播放参考音视频播放设备的音视频文件，待所述OTT通话结束后，停止播放参考音视频播放设备的视频；

若所述待测试场景为长时间间隔测试，则在所述第一测试设备利用OTT音视频通话APP向所述第二测试设备发起OTT通话之前预定时长，所述第一测试设备开始播放参考音视频播放设备的音视频文件，其中，所述长时间间隔测试为测试时间间隔大于预定阈值的测试。

作为本文进一步实施例中，音视频通话业务用户体验测试方法还包括：

改变测试设备互联网接入方式，重复上述第一测试设备及第二测试设备进行通信的步骤。

作为本文进一步实施例中，所述第一测试设备及第二测试设备安装于路测套件工具中，由路测套件工具基于同步时钟控制第一测试设备发起待测试OTT音视频通话业务并播放参考音视频播放设备的视频，控制第二测试设备接收参考音视频播放设备播放的视频。

本文的又一方面，提供一种音视频通话业务用户体验测试装置包括：测试设备、音视频源播放设备及音视频录制设备；

所述测试设备中安装有OTT音视频通话APP，所述测试设备的音视频输入接口重定向到所述音视频源播放设备，所述测试设备的音视频输出接口重定向到音视频录制设备；

按照前述任一实施例所述方法执行测试过程。

本文提供的音视频通话业务用户体验测试方法及装置，通过将多个测试设备的音视频输入接口重定向到参考音视频播放设备，将多个测试设备的音视频输出接口重定向到音视频录制设备，从测试设备中选择第一测试设备及第二测试设备，由第一测试设备重定向的参考音视频播放设备播放参考音视频，并于通话接通后，将参考音视频文件编码后得到的音视频流发送至第二测试设备，由第二音视频录制设备重定向的音视频录制设备存储接收到的音视频文件，根据音视频录制设备录制的音视频文件参考音视频播放设备存储的参考音视频文件，对OTT音视频通话APP的音视频质量进行有参考评价，能够实现如下技术效果：(1)模拟真实音视频通话场景，通过存储本地播放音视频文件的方式，能够直观对用户关注的内容进行检测，提高用户体验；(2)无需对APP软件底层了解，适用各类音视频通话类测试，实现测试的通用性及标准化。

为让本文的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。

附图说明

为了更清楚地说明本文实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本文的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本文实施例音视频通话业务用户体验测试方法的一流程图；

图2A示出了本文实施例软件方式对测试设备音视频输入输出接口重定向过程的流程图；

图2B示出了本文实施例软件方式对测试设备音视频输入输出接口重定向时，数据流方向示意图；

图3A示出了本文实施例硬件方式对测试设备音视频输入输出接口重定向过程的流程图；

图3B示出了本文实施例硬件方式对测试设备音视频输入输出接口重定向时，数据流方向示意图；

图4示出了本文实施例OTT音视频通话APP的音视频质量无参考评价过程的流程图；

图5示出了本文实施例音视频通话业务用户体验测试方法的另一流程图；

图6示出了本文实施例第一测试设备播放参考音视频文件过程的流程图；

图7示出了本文实施例音视频通话业务用户体验测试装置的结构图。

附图符号说明：

211、音视频播放设备；

212、音视频录制设备；

221、音视频播放设备；

222、音视频录制设备；

701、测试设备；

702、音视频源播放设备；

703、音视频录制设备。

具体实施方式

下面将结合本文实施例中的附图，对本文实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本文一部分实施例，而不是全部的实施例。基于本文中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本文保护的范围。

需要说明的是，本文的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本文的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或装置产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行。

需要说明的是，本文的音视频通话业务用户体验测试方法及装置可用于任何OTT音视频通话APP的音视频通话业务用户体验测试，本文对具体测试对象不做限定。

需要说明的是，本申请所涉及的参考音视频文件、录制音视频文件，均为经用户授权或者经过各方充分授权的信息和数据。

本文一实施例中，提供一种音视频通话业务用户体验测试方法，用于解决现有技术中音视频通话业务用户体验测试存在通用性差、不能展示用户真正关注的指标以及无法标准化的问题，本实施例提供的音视频通话业务用户体验测试方法可由OTT音视频通话APP开发商评测，或由用户、第三方评测机构执行，具体的，预先在多个测试设备中安装OTT音视频通话APP，通过OTT音视频通话APP发起呼叫和接听，建立通话流程。将多个测试设备的音视频输入接口重定向到参考音视频播放设备，将多个测试设备的音视频输出接口重定向到音视频录制设备，如图1所示，音视频通话业务用户体验测试方法包括：

步骤101，从测试设备中选择第一测试设备及第二测试设备。

步骤102，第一测试设备利用OTT音视频通话APP向第二测试设备发起OTT通话，第二测试设备通过OTT音视频通话APP接通后，第一测试设备将播放的参考音视频播放设备中的参考音视频文件编码后得到的音视频流通过OTT音视频通话APP发送至第二测试设备。

步骤103，第二测试设备通过OTT音视频通话APP接收并解码音视频流，并解码得到的音视频文件录制于音视频录制设备中。

步骤104，根据音视频录制设备录制的音视频文件及参考音视频播放设备存储的参考音视频文件，对OTT音视频通话APP的音视频质量进行有参考评价。

详细的说，本文所述的测试设备包括但不限于手机、笔记本电脑、平板电脑以及行业应用音视频终端。测试设备所运行的操作系统包括但不限于安卓系统、苹果系统、鸿蒙系统、Linux系统和Windows系统。步骤101中的多个测试设备可以属于不同类型以及不同操作系统的测试设备，具体根据测试要求确定，本文对此不作限定。

参考音视频播放设备可以内置于测试设备中或设置于测试设备外，参考音视频播放设备中存储有参考音视频文件，参考音视频文件可根据测试要求确定具体内容。相应的，音视频录制设备可内置于测试设备中，也可设置于测试设备外。具体实施时，可根据实际测试需求，将一部分测试设备的音视频输入接口重定向到参考音视频播放设备，将另一部分测试设备的音视频输出接口重定向到音视频录制设备，还可将所有测试设备的音视频输入接口重定向到参考音视频播放设备，音视频输出接口重定向到音视频录制设备。完成重定向后，测试设备的音频输入为参考音视频文件中的音频(而非设备的麦克风)，视频输入为参考音视频文件中的视频(而非设备的摄像头)。测试设备的音频及视频输出为音视频录制设备。

步骤101中，可由测试用户根据实际测试需求选择第一测试设备及第二测试设备，或将实际测试需求编写为自动控制程序，由机械手等自动选择第一测试设备及第二测试设备。

步骤102中，OTT全称为Over the Top，指互联网公司越过运营商，发展基于开放互联网的各种视频及数据服务业务，OTT音视频通话APP为待测试音视频通话APP，可根据测试需求安装，OTT音视频通话APP可实现线上会议、线上教学、远程协助、远程诊疗等功能。其中，线上会议指利用互联网和/或移动互联网开展的会议，会议中与会各方的视频影响和语音均可被其他与会方接收到，例如腾讯会议、Zoom、钉钉等提供的线上会议业务。线上教学指利用互联网和/或移动互联网开展的教学活动，使用中，学生/教师侧可以接收到对方的语音、图像和视频信息。远程协助指利用互联网和/或移动互联网开展的远程协助行为，多见于行业应用中，由技术专家通过音视频反馈远程指导现场工程师解决问题，使用中，技术专家和现场工程师相互能够接收到对侧的语音、图像和视频信息。远程诊断指利用互联网和/或移动互联网开展的远程诊疗行为，由医生通过音视频信息远程对病人进行问诊和检查，使用中，医生和病人相互能够接收到对侧的语音、图像和视频信息。

具体的，OTT音视频通话APP(即OTT通话软件)为利用移动互联网越过运营商而开展的音视频通话服务，例如微信、FaceTime、Skype等应用提供的音视频通话业务。参考音视频文件的编码由OTT音视频通话APP实现，本文对其具体编码过程不做限定。

步骤103中，由第二测试设备中OTT音视频通话APP接收并解码音视频流，由音视频录制设备录制解码得到的音视频文件。具体实施时，第二测试设备解码得到的音视频也可以同时输出至第二测试设备中的显示屏及声卡，以供测试人员检查，让测试人员明确测试/流程正在正常进行或对当时的通话质量有一个大体判断。

步骤103实施时，可由第一测试设备或第二测试设备发出终止通话的请求，将第二测试设备存储至音视频录制设备的音视频作为录制文件。

步骤104中，所述有参考评价指以参考音视频文件为基准，定量计算接收视频各项指标相比原视频质量差异。

本实施例适用于一测试设备对应一测试设备、一测试设备对应多测试设备、多测试设备对应多测试设备等单向或双向的多种测试场景的测试，测试人员可根据需求选择测试场景。具体实施时，测试对象还可以是音视频混合的通话，也可以是单独的音频通话(无视频)，或单独的视频传输(无音频)。

本实施例通过将多个测试设备的音视频输入接口重定向到参考音视频播放设备，将多个测试设备的音视频输出接口重定向到音视频录制设备，从测试设备中选择第一测试设备及第二测试设备，由第一测试设备重定向的参考音视频播放设备播放参考音视频，并于通话接通后，将参考音视频文件编码后得到的音视频流发送至第二测试设备，由第二音视频录制设备重定向的音视频录制设备存储接收到的音视频文件，根据音视频录制设备录制的音视频文件及参考音视频播放设备存储的参考音视频文件，对OTT音视频通话APP的音视频质量进行有参考评价，能够实现如下技术效果：(1)模拟真实音视频通话场景，通过存储本地播放音视频文件的方式，能够直观对用户关注的内容进行检测，提高用户体验；(2)无需对APP软件底层了解，适用各类音视频通话类测试，实现测试的通用性及标准化。

本文一实施例中，如图2A及图2B(图2B仅给出了单向音视频流传输过程，实际中，音视频通话过程中，音视频流的采集/传输和播放可以是双向的)所示，将测试设备的音视频输入接口重定向到参考音视频播放设备，将测试设备的音视频输出接口重定向到音视频录制设备，包括：

步骤201，在测试设备的存储器(例如ROM)中定制存储参考音视频文件的音视频播放设备211，将测试设备的音视频输入接口地址变更为测试设备中音视频播放设备的地址。具体实施时，还可将各测试设备中的参考音视频播放设备211连接至各测试设备的音视频输入接口上。

其中，音视频输入接口包括摄像头/麦克风接口。定制的音视频播放设备211为测试设备中存储器的部分存储区域。具体实施时，可以在测试设备中安装参考音视频文件调用程序，以在测试设备中的OTT音视频通话APP发起通话请求时，由调用程序调用本地播放器将音视频播放设备中的参考音视频文件发送至OTT音视频通话APP的音视频输入接口。通过本步骤使得APP在调用摄像头/麦克风接口时会将音视频播放设备中的数据直接送到APP。

步骤202，在测试设备的存储器中定制音视频录制设备212，将测试设备的音视频输出接口变更为测试设备中内置的音视频录制设备的地址。具体实施时，还可将各测试设备中的参考音视频录制设备连接至各测试设备的音视频输出接口上。

其中，音视频输出接口包括扬声器和显示器。音视频录制设备212为测试设备中存储器的部分存储区域。具体实施时，可以在测试设备中安装录制程序，以在测试设备中的OTT音视频通话APP接收视频流后，由录制程序调用本地录屏工具对APP接收到的视频流进行录制，并将其存储至音视频录制设备中。

通过本步骤使得APP调用扬声器和显示器接口时会将解码得到的音视频直接录制至音视频录制设备中存储。

本实施例能够无需对测试设备进行硬件改动，通过软件配置的方式能够实现将测试设备的音视频输入接口重定向到参考音视频播放设备，将测试设备的音视频输出接口重定向到音视频录制设备。

本文一实施例中，考虑到存在部分操作系统不支持软件重定向，或软件重定向非常困难的情况，如图3A及图3B所示，本文还提供一种硬件重定向，将测试设备的音视频输入接口重定向到参考音视频播放设备，将测试设备的音视频输出接口重定向到音视频录制设备包括：

步骤301，将测试设备的音视频输入接口连接至外置的音视频播放设备221中，所述音视频播放设备存储有参考音视频文件。

具体的，音频的引入可以通过音频线/蓝牙等将音频输入连接到受控外置音视频播放设备的输出接口。视频的引入可拔掉测试设备中的摄像头，利用摄像头接口兼容的受控音视频播放设备直接插入至摄像头接口，这样，测试设备可以接收到视频，并认为视频是由测试设备自带的摄像头拍摄的。

具体实施时，可以在测试设备中安装参考音视频文件调用程序，以在测试设备中的OTT音视频通话APP发起通话请求时，由调用程序调用本地播放器将音视频播放设备中的参考音视频文件发送至OTT音视频通话APP的音视频输入接口。

步骤302，将测试设备的音视频输出接口利用外置的音视频录制设备222替换。

具体的，可将测试设备的音频线(例如耳机孔)引出到受控外置的音视频录制设备的输入接口(例如MIC或Line IN)，将测试设备中的显示器拔掉，利用标准兼容的排线替代之(例如外置显卡)，该排线连接至外置的音视频录制设备(例如带有HDMI数据采集卡的PC)上。

具体实施时，可以在测试设备中安装录制程序，以在测试设备中的OTT音视频通话APP接收视频流后，由录制程序调用本地录屏工具对APP接收到的视频流进行录制，并将其存储至音视频录制设备中。

本实施例通过硬件改动，通过硬件配置的方式能够实现将测试设备的音视频输入接口重定向到参考音视频播放设备，将测试设备的音视频输出接口重定向到音视频录制设备。

具体实施时，可根据需求(测试项目、测试设备改动难度等)确定选择哪种方式将测试设备的音视频输入接口重定向到参考音视频播放设备，将测试设备的音视频输出接口重定向到音视频录制设备，本文对此不作限定。

本文一实施例中，如图4所示，上述步骤104根据音视频录制设备录制的音视频文件，对OTT音视频通话APP的音视频质量进行无参考评价，包括：

步骤401，回放音视频录制设备录制的音视频文件。

步骤402，根据音视频文件的回放情况，利用音视频质量无参考评价指标，确定OTT音视频通话APP的音视频质量。其中，音视频质量无参考评价指标包括：如下指标中的一个或多个音视频质量下降、卡顿、丢帧、音视频不同步。

本文一实施例中，如图5所示，音视频通话业务用户体验测试方法除了包括上述步骤101至步骤104外，还包括：

步骤105，根据音视频录制设备录制的音视频文件，对OTT音视频通话APP的音视频质量进行无参考评价。

具体实施时，可通过回看音视频录制设备录制的音视频文件，对OTT音视频通话APP的音视频质量进行无参考评价。无参考评价指的是完全依据录制的音视频文件进行质量分析，定量计算图像/音频质量下降、卡顿、丢帧、音视频不同步等指标，这些指标的具体评价算法可参考现有技术，此处不再详述。本文一实施例中，如图6所示，第一测试设备播放参考音视频文件过程包括：

步骤601，确定待测试场景。

步骤602，根据待测试场景，确定参考音视频文件播放方式。实施时，待测试场景与参考音视频文件播放方式可以以映射关系的方式进行存储，具体的：

若待测试场景为持续多次测试，则无论音视频通话是否接通，第一测试设备一直后台播放参考音视频播放设备中的音视频文件，待第二测试设备接通第一测试设备发送的OTT通话后记录音视频文件的播放时长，通过记录音视频文件的播放时长可以确定第二测试设备接通OTT通话后音视频文件开始播放位置；

若待测试场景为同步测试，则第二测试设备接通第一测试设备发送的OTT通话后，第一测试设备开始播放参考音视频播放设备的音视频文件，待OTT通话结束后，停止播放参考音视频播放设备的视频；

若待测试场景为长时间间隔测试，则在第一测试设备利用OTT音视频通话APP向第二测试设备发起OTT通话之前预定时长(例如为一分钟，三十秒等，可根据实际情况进行设定)，第一测试设备开始播放参考音视频播放设备的音视频文件，其中，长时间间隔测试为测试时间间隔大于预定阈值(例如为每隔半小时、一小时等)的测试。该种方式能够节省测试设备电能。

本文一实施例中，为了实现OTT音视频通话APP的全面测试，还可改变测试设备互联网接入方式，重复上述第一测试设备及第二测试设备进行通信的步骤。其中，测试设备互联网接入方式包括WiFi接入、LTE网络、5G网络接入。

本文一实施例中，为了提高测试效率，减少人力浪费，可将第一测试设备及第二测试设备安装于路测套件工具中，由路测套件工具基于同步时钟控制第一测试设备发起待测试OTT音视频通话业务并播放参考音视频播放设备的视频，控制第二测试设备接收参考音视频播放设备播放的视频，以保证时间同步的准确性。

本文一实施例中，如图7所示，还提供一种音视频通话业务用户体验测试装置，包括：测试设备701、音视频源播放设备702及音视频录制设备703。

测试设备701中安装有OTT音视频通话APP，测试设备701的音视频输入接口重定向到音视频源播放设备702，测试设备701的音视频输出接口重定向到音视频录制设备703。

音视频源播放设备702用于存储及播放参考音视频；音视频录制设备703用于存储其它音视频通话业务用户体验测试装置发送的音视频文件。

按照前述任一实施例所述方法的方式实现音视频通话业务用户体验测试。

本文提供的音视频通话业务用户体验测试方法及装置能够实现如下技术效果：

(1)普适性

由于该测试机制的实现只需要针对测试终端本身进行改造，通过软件或硬件引出其音视频输入输出接口，而无需了解OTT音视频通话APP本身的原理和运作机制，因此理论上适用于所有OTT音视频通话APP音视频质量的测试，以及VoLTE(Voice over LTE，在LTE网络中通过运营商核心网中IMS进行的音视频通话)，VoNR(Voice over NR，在5G(NR)网络中通过运营商核心网中IMS进行的音视频通话)等音视频通话状态下的音视频质量测试。

(2)直观性

音视频的业务质量通过对实际录制音视频文件的分析得出，因此其结果反映了实际用户的业务体验，例如卡顿、分辨率下降、音画不同步等，并能够反应算法动态调整带来的参数，如分辨率/帧率的变化。

(3)标准化

由于本文所述方法/装置理论上适用于所有OTT音视频通话APP的测试，因此可以以特定音视频文件作为标准参考视频源执行测试，从而实现测试的标准化。

应理解，在本文的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本文实施例的实施过程构成任何限定。

还应理解，在本文实施例中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本文的范围。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本文所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本文实施例方案的目的。

另外，在本文各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本文的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本文各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本文中应用了具体实施例对本文的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本文的方法及其核心思想；同时，对于本领域的一般技术人员，依据本文的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本文的限制。

Claims (6)

1.一种音视频通话业务用户体验测试方法，其特征在于，将多个测试设备的音视频输入接口重定向到参考音视频播放设备，将多个测试设备的音视频输出接口重定向到音视频录制设备，所述测试方法包括：

从所述测试设备中选择第一测试设备及第二测试设备；

所述第一测试设备利用OTT音视频通话APP向所述第二测试设备发起OTT通话，所述第二测试设备通过OTT音视频通话APP接通后，所述第一测试设备将参考音视频播放设备中的参考音视频文件编码后得到的音视频流通过OTT音视频通话APP发送至第二测试设备；

所述第二测试设备通过OTT音视频通话APP接收并解码所述音视频流，将解码得到的音视频文件录制于所述音视频录制设备中；

根据所述音视频录制设备录制的音视频文件及所述参考音视频播放设备存储的参考音视频文件，对OTT音视频通话APP的音视频质量进行有参考评价；

根据所述音视频录制设备录制的音视频文件，对OTT音视频通话APP的音视频质量进行无参考评价，具体包括：回放音视频录制设备录制的音视频文件；根据音视频文件的回放情况，利用音视频质量无参考评价指标，确定OTT音视频通话APP的音视频质量；

其中，将多个测试设备的音视频输入接口重定向到参考音视频播放设备，将多个测试设备的音视频输出接口重定向到音视频录制设备，包括：

在多个测试设备的存储器中定制参考音视频播放设备，将各测试设备的音视频输入接口地址变更为各测试设备中音视频播放设备的地址或将各测试设备中的参考音视频播放设备连接至各测试设备的音视频输入接口上；

在多个测试设备的存储器中定制音视频录制设备，将各测试设备的音视频输出接口变更为各测试设备中音视频录制设备的地址或将各测试设备中的参考音视频录制设备连接至各测试设备的音视频输出接口上；

其中，所述第一测试设备播放参考音视频播放设备的音视频文件过程包括：

确定待测试场景；

若所述待测试场景为多次测试，则所述第一测试设备后台播放所述参考音视频播放设备中的音视频文件，待所述第二测试设备接通第一测试设备发送的OTT通话后记录所述音视频文件的播放时长；

若所述待测试场景为同步测试，则所述第二测试设备接通第一测试设备发送的OTT通话后，所述第一测试设备开始播放参考音视频播放设备的音视频文件，待所述OTT通话结束后，停止播放参考音视频播放设备的视频；

若所述待测试场景为长时间间隔测试，则在所述第一测试设备利用OTT音视频通话APP向所述第二测试设备发起OTT通话之前预定时长，所述第一测试设备开始播放参考音视频播放设备的音视频文件，其中，所述长时间间隔测试为测试时间间隔大于预定阈值的测试。

2.如权利要求1所述的音视频通话业务用户体验测试方法，其特征在于，将多个测试设备的音视频输入接口重定向到参考音视频播放设备，将多个测试设备的音视频输出接口重定向到音视频录制设备，包括：

将多个测试设备的音视频输入接口连接至外置的参考音视频播放设备中；

将多个测试设备的音视频输出接口利用外置的音视频录制设备替换。

3.如权利要求1所述的音视频通话业务用户体验测试方法，其特征在于，所述音视频质量无参考评价指标包括：如下指标中的一个或多个音视频质量下降、卡顿、丢帧、音视频不同步。

4.如权利要求1所述的音视频通话业务用户体验测试方法，其特征在于，还包括：

改变测试设备互联网接入方式，重复上述第一测试设备及第二测试设备进行通信的步骤。

5.如权利要求1所述的音视频通话业务用户体验测试方法，其特征在于，所述第一测试设备及第二测试设备安装于路测套件工具中，由路测套件工具基于同步时钟控制第一测试设备发起待测试OTT音视频通话业务并播放参考音视频播放设备的视频，控制第二测试设备接收参考音视频播放设备播放的视频。

6.一种音视频通话业务用户体验测试装置，其特征在于，包括：测试设备、音视频源播放设备及音视频录制设备；

所述测试设备中安装有OTT音视频通话APP，所述测试设备的音视频输入接口重定向到所述音视频源播放设备，所述测试设备的音视频输出接口重定向到音视频录制设备；

按照权利要求1至5任意一项所述方法执行测试过程。