CN110505352A - 通话质量测试方法、系统、计算机设备和计算机存储介质 - Google Patents

通话质量测试方法、系统、计算机设备和计算机存储介质 Download PDF

Info

Publication number
CN110505352A
CN110505352A CN201810471435.2A CN201810471435A CN110505352A CN 110505352 A CN110505352 A CN 110505352A CN 201810471435 A CN201810471435 A CN 201810471435A CN 110505352 A CN110505352 A CN 110505352A
Authority
CN
China
Prior art keywords
test
tested
application program
speaking
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810471435.2A
Other languages
English (en)
Other versions
CN110505352B (zh
Inventor
戴金龙
吴友宝
罗必达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810471435.2A priority Critical patent/CN110505352B/zh
Publication of CN110505352A publication Critical patent/CN110505352A/zh
Application granted granted Critical
Publication of CN110505352B publication Critical patent/CN110505352B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/22Arrangements for supervision, monitoring or testing
    • H04M3/2236Quality of speech transmission monitoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Abstract

本申请涉及一种通话质量测试的方法、系统、计算机设备和存储介质,通过用户上传待测试任务,待测试任务中包括待测试应用程序、所述待测试应用程序对应的驱动脚本、以及待测试项目,通过获取待测试任务,将待测试应用程序安装至通话测试终端,利用所述待测试应用程序对应的驱动脚本驱动待测试应用程序进行通话,根据待测试项目进行相应的测试获取测试数据,获得通话质量测试结果。大大简化用户通话质量测试的操作,提高了测试效率。

Description

通话质量测试方法、系统、计算机设备和计算机存储介质
技术领域
本申请涉及计算机技术领域,特别是涉及一种通话质量测试方法、系统、计算机设备和存储介质。
背景技术
随着网络技术的发展,网络通话如音视频通话等的应用日益广泛,音视频通话涵盖各种可能的涉及音/视频通信的领域,如双人音频/视频通话、多人音频/视频通话、互动直播、游戏语音等。为了能够提供更好的网络通话服务,如提高音视频通话的通话质量,通常需要对音视频通话的质量进行评测,通常需要针对不同场景下经过无损网络和各种损伤网络后得到的音频/视频进行分析,从而得到评测结果。目前的针对音视频通话的质量进行评测的技术,通常需要针对不同的测试指标使用不同的工具搭建不同的测试环境进行测试,效率低下。
发明内容
基于此,有必要针对上述技术问题,提供一种通话质量测试方法、系统、计算机设备和计算机存储介质。
一个实施例中,一种通话质量测试方法,包括:
获取待测试任务,所述待测试任务携带:待测试应用程序,与所述待测试应用程序对应的驱动脚本,以及待测试项目;
将所述待测试应用程序安装至各通话测试终端;
通过所述驱动脚本,驱动各所述通话测试终端之间通过所述待测试应用程序进行通话;
在各所述测试终端之间通过所述待测试应用程序通话的过程中,测试各所述待测试项目,获得所述待测试任务的通话质量测试结果。
在其中一个实施例中,一种通话质量测试系统,包括:通话质量测试平台,所述通话质量测试平台包括:测试主控设备,以及与所述测试主控设备连接的音频测试仪以及至少两个通话测试终端;
所述测试主控设备,用以获取待测试任务,所述待测试任务携带:待测试应用程序、与所述待测试应用程序对应的驱动脚本以及待测试项目;并将所述待测试应用程序安装至各所述通话测试终端,并通过所述驱动脚本,驱动各所述通话测试终端之间通过所述待测试应用程序进行通话;在各所述测试终端之间通过所述待测试应用程序通话的过程中,通过所述音频测试仪测试各所述待测试项目,获得所述待测试任务的通话质量测试结果。
在其中一个实施例中,一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时,实现如上所述的通话质量测试的方法的步骤。
在其中一个实施例中,一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现如上所述的通话质量测试的方法的步骤。
如上所述的实施例中的通话质量测试的方法、系统、计算机设备和存储介质,通过用户上传待测试任务,待测试任务中包括待测试应用程序、所述待测试应用程序对应的驱动脚本、以及待测试项目,通过获取待测试任务,将待测试应用程序安装至通话测试终端,利用所述待测试应用程序对应的驱动脚本驱动待测试应用程序进行通话,根据待测试项目进行相应的测试获取测试数据,获得通话质量测试结果,从而无需为不同的测试项目专门开发不同的测试环境,大大简化了对用户通话质量测试的操作,提高了测试效率。
附图说明
图1为一个实施例中的通话质量测试方法的应用环境图;
图2为一个实施例中的通话质量测试方法的流程示意图;
图3为另一个实施例中的通话质量测试方法的流程示意图;
图4为另一个实施例中的通话质量测试方法的流程示意图;
图5为另一个实施例中的通话质量测试方法的流程示意图;
图6为一个实施例的通话质量测试系统的结构示意图;
图7为一个实施例的通话质量测试系统的结构示意图;
图8为一个实施例的通话质量测试系统的应用环境示例示意图;
图9为一个应用示例的通话质量测试系统的结构示意图;
图10为一个应用示例中的通话质量测试系统的交互流程示意图;
图11为一个实施例的网络环境参数设置界面的示意图;
图12为一个实施例的待测试项目设置界面的示意图;
图13为一个应用示例的通话质量测试的测试结果的界面示意图;
图14一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
一个实施例中的本申请提供的通话质量测试的方法的应用环境如图1所示,该应用环境涉及终端101以及通话质量测试平台103。其中,用户通过终端101将需要测试的待测试应用程序上传至通话质量测试平台103,通话质量测试平台103完成通话质量的测试。其中,终端101可以是但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,只要能够实现建立通话质量测试任务即可。
其中,该应用环境还可以涉及测试平台服务器102,此时,用户通过终端101将需要测试的待测试应用程序上传至在测试平台服务器102,测试平台服务器102为待测试应用程序的测试创建待测试任务,通话质量测试平台103获取待测试任务,完成通话质量的测试。测试平台服务器102可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
参考图2所示,一个实施例中的通话质量测试方法,可应用于上述通话质量测试平台103,包括下述步骤S210至S260:
步骤S210,获取待测试任务,所述待测试任务携带:待测试应用程序,与所述待测试应用程序对应的驱动脚本,以及待测试项目。
其中,待测试应用程序是指需要测试其通话质量的应用程序,该待测试应用程序安装在终端设备(如移动终端、个人计算机、可穿戴式设备等各种可能的终端设备)之后,可以使得该终端设备可以通过该待测试应用程序,与其他安装有该待测试应用程序的终端设备进行通信。这样待测试应用程序可以是任何可以实现终端之间通话的程序,如即时通信应用程序、音/视频通话应用程序、直播应用程序、以及带有音/视频通话功能的各种应用程序(如游戏应用程序)。
驱动脚本类似于DOS操作系统中的批处理文件,它可以将不同的命令组合起来,并按确定的顺序自动连续地执行,用于驱动安装后的待测试应用程序。驱动脚本可以由提供该待测试应用程序的测试用户提供,具体获得驱动脚本的方式本实施例中不做具体限定。
待测试项目指在进行通话质量测试时,需要进行测试的待测试应用程序在通话时与通话质量有关的参数,这些参数可以是任何可以表征通话质量的参数,如:音频频谱、音质MOS分、音频时延、音频码率、视频帧率、视频卡顿率、视频时延、视频码率等,还可以是任何可能影响到通话质量的参数,如CPU占用率等。
在一个实施例中,该待测试任务还可以携带网络环境参数;该网络环境参数表征了待测试应用程序在进行通话质量测试时所处的网络环境,在不同网络环境参数的网络环境,可能会有不同的通话质量测试结果。从而通过网络环境参数的设置,可以测试待测试应用程序在不同的网络环境下的通话质量。
网络环境参数包含的具体参数,可以结合实际测试需要进行设置,在一些实施例中,网络环境参数可以包括下述各参数项中的至少一项或任意组合:无损环境标识、上行丢包、上行抖动、上行限速、上行时延、下行丢包、下行抖动、下行限速、下行时延、网络环境损伤时长。其中,无损环境标识,是指标识不需要对网络环境进行损伤。丢包时指数据包的数据传输过程中,因为传输而导致部分数据包被丢失。上行丢包和下行丢包分别指数据上行传输过程中和数据下行传输过程中的数据包丢失情况。抖动指数字信号的各个有效瞬时对其当时的理想位置的短期性偏离,上行抖动和下行抖动分别指数据上行传输过程中和数据下行传输过程中的信号抖动情况。限速是指对网络传输速度的限制,上行限速和下行限速分别指数据上行传输过程中和数据下行传输过程中的速度限制情况。时延指一个报文从一个网络的一端传送到另一个端所需要的时间,上行时延和下行时延分别指数据上行传输过程中和数据下行传输过程中的时延。在本实施例中,数据上行传输指通话测试发送方终端向通话测试接收方终端的传输时,则数据下行传输指通话测试接收方终端向通话测试发送方终端的传输。在数据上行传输指通话测试接收方终端向通话测试发送方终端的传输时,则数据下行传输指通话测试发送方终端向通话测试接收方终端的传输。
可以理解,在一个实施例中,该网络可以是有线连接网络,也可以是无线连接网络,这里的无线连接网络可以是通过GSM(Global System for Mobile Communications,全球移动通讯系统)、3G(3rdGeneration,第三代移动通信技术)、4G(第四代移动通信技术)等需要通过网络连接节点进行通信的网络,也可以是通过WiFi热点连接的WiFi网络,本实施例不做具体限定。
在一个实施中,可以基于用户上传的待测试应用程序、与所述待测试应用程序对应的驱动脚本及待测试项目生成待测试任务,并将生成的待测试任务添加至测试任务列表中。在需要进行测试时,例如通过测试排序在轮到对该待测试任务进行测试时,再获取该待测试任务进行测试。
据此,在一个实施例中,请参阅图3,在上述步骤S210的获取待测试任务之前,还包括步骤S2001至S2002:
步骤S2001,接收测试任务添加请求,所述测试任务添加请求携带:待测试应用程序,与所述待测试应用程序对应的驱动脚本,以及所述待测试项目。
其中,该测试任务添加请求可以由用户通过其使用的用户终端发出,例如可以通过用户终端上安装的浏览器或者其他的应用程序发出。一个实施例中,终端用户在访问基于本申请实施例方法的通话质量测试系统之后,会获得该通话质量测试系统返回的相关测试配置界面,并通过该相关测试配置界面上传待测试应用程序、待测试应用程序对应的驱动脚本,以及设置需要进行测试的待测试项目以及网络环境参数。
可以理解,对待测试应用程序、驱动脚本的上传,以及待测试项目以及网络环境参数的设置,可以同一个测试配置界面完成后再上传,也可以是在不同的测试配置界面进行处理,本实施例不做具体限定。例如,一个实施例中,终端用户可以通过其使用的终端,通过待测试程序上传界面上传待测试应用程序以及其驱动脚本后,通话质量测试系统向该用户终端返回网络环境参数设置界面,终端用户在该网络环境参数设置界面设置好网络环境参数后,显示待测试项目设置界面(可以是在网络环境参数设置完成后就显示,也可以是在网络环境参数设置完成后先上传至通话质量测试系统,基于通话质量测试系统的反馈显示待测试项目设置界面),终端用户可在该待测试项目设置界面设置待测试项目。可以理解,在该示例中,网络环境参数设置界面的待测试项目设置界面的顺序可以调换。本申请实施例方案接收到该待测试应用程序、待测试应用程序对应的驱动脚本以及网络环境参数和待测试项目后,可为其生成或将其打包为一个待测试任务。
步骤S120,将所述待测试任务添加至测试任务列表中。
其中,由于可能接收到一个或多个用户终端上传的多个待测试任务,这些待测试任务可以顺序进行测试,因此,可将待测试任务先添加至测试任务列表中。在上一个待测试任务完成后,或者空闲时,或者达到对新的待测试任务进行测试的其他条件时,再从测试任务列表中提取待测试任务进行测试。
步骤S220,将所述待测试应用程序安装至各通话测试终端。
其中,通话测试终端用于安装待测试应用程序,通过通话测试终端之间可基于待测试应用程序实现相互之间的通话。
在一个实施中,将所述待测试应用程序安装至各通话测试终端,可以包括:将所述待测试应用程序发送至各所述通话测试终端,以将所述待测试应用程序安装至各所述通话测试终端。
其中,在获得待测试任务后,可将待测试任务携带的待测试应用程序发送至通话测试终端,使通话测试终端安装待测试应用程序,以便于通话测试终端可以基于安装的待测试应用程序进行通话。
在一个实施中,所述通话测试终端包括:通话测试发送方终端和通话测试接收方终端。为了测试待测试应用程序的通话质量,需要有通话的发起方和通话的接收方,此时,可以通过通话测试发送方终端发起通话,通过通话测试接收方终端接收通话,其中,通话测试接收方终端可以只有一个,也可以是有两个以上的多个。在本申请的实施例中,是以通话接收方终端只有一个为例进行说明。
步骤S240,通过所述驱动脚本,驱动各所述通话测试终端之间通过所述待测试应用程序进行通话。
其中,在驱动各所述通话测试终端之间通过所述待测试应用程序进行通话之前,通话测试发送方终端和通话测试接收方终端需已经先连接上网络,或者是已经通过网络连接。其中,在待测试任务中携带了网络环境参数时,各自连接的网络可以是处于基于上述网络环境参数模拟的网络环境,其中,针对通话发送方和通话接收方的网络环境参数的值可以有所不同,即通话测试发送方终端与通话测试接收方终端可以处于不同的网络环境。将待测试应用程序安装在通话测试发送方终端和通话测试接收方终端后,可通过待测试任务中的驱动脚本控制通话测试发送方终端通过待测试应用程序发起通话,控制通话测试接收方终端接听通话,使通话测试发送方终端和通话测试接收方终端进行网络通话。
在一个实施例中,请参阅图4,在驱动各所述通话测试终端之间通过所述待测试应用程序进行通话时,还包括步骤S242至S244:
步骤S242,通过所述网络环境参数,模拟测试网络环境;
其中,可以根据待测试任务携带的网络环境参数模拟网络环境,通话测试发送方终端与通话测试接收方终端可以处于不同的网络环境,例如可以是使得通话测试发送方终端处于无损网络环境,而通话测试接收方终端处于有损网络环境,有损网络环境的网络损伤程度,则基于待测试任务携带的网络环境参数。
步骤S244,各所述通话测试终端通过所述待测试应用程序,经由模拟的所述测试网络环境进行通话。
一个实施例中,通话测试发送方终端与通话测试接收方终端可以均连接WiFi热点,通话测试发送方终端的待测试应用程序与通话测试接收方终端待测试应用程序通过各自连接的WiFi热点进行通话,实现数据传输。
步骤S260,在各所述测试终端之间通过所述待测试应用程序通话的过程中,测试各所述待测试项目,获得所述待测试任务的通话质量测试结果。
其中,测试主控设备通过获取待测试应用程序通话的过程中的各个参数信息,根据各个测试项目的相关计算方式得出各个测试项目结果参数,获得待测试任务的通话质量测试结果。
在一个实施例中,请参阅图5,在各所述测试终端之间通过所述待测试应用程序通话的过程中,测试各所述待测试项目,获得所述待测试任务的通话质量测试结果,包括步骤S261至S265:
步骤S261,向所述通话测试发送方终端发送预设通话数据,以使所述通话测试发送方终端通过所述待测试应用程序将所述预设通话数据发送至所述通话测试接收方终端,并获取所述通话测试发送方终端发送所述预设通话数据的发送方通话参数信息。
步骤S263,获取所述通话测试接收方终端接收所述预设通话数据的接收方通话参数信息。
步骤S265,基于所述发送方通话参数信息和所述接收方通话参数信息,确定所述通话质量测试结果。
一个实施例中,可以基于待测试项目中包含的各个测试项目,向通话测试发送方终端发送用于测试的预设通话数据,用预设通话数据模拟真实通话数据,将预设通话数据通过通话测试发送方终端的待测试应用程序发送至正在与其通话的通话测试接收方终端。
在一个实施例中,在所述待测试项目包括视频质量测试项目时,所述预设通话数据包括预设视频数据。
其中,待测试项目为视频质量测试项目时,向通话测试发送方终端发送用于测试的预设视频数据,通过预设视频数据模拟真实视频通话,预设视频数据会经由通话测试发送方终端的待测试应用程序,发送至正在与其视频通话的通话测试接收方终端。
在一个实施例中,所述视频质量测试项目包括下述各项中的至少一项:视频帧率、视频卡顿率、视频时延、视频码率、视频性能。
其中,视频帧率是指单位时间(如1秒)内传输的图片的帧数,可以通过通话测试发送方终端获得。帧率与画面流畅度有关,与画面流畅度成正比,帧率越大,画面越流畅,帧率越小,画面越有跳动感。
卡顿指播放时渲染的帧率太低(低于预设帧率),或者是在渲染完一帧之后,要超过预设时长才渲染下一帧。视频卡顿率可以基于检测到发生了卡顿的次数确定,可以在通话过程中基于对通话测试接收方终端的监测获取。
视频时延指视频从通话测试发送方终端传输到通话测试接收方终端所需要的时间。可以通过记录通话测试发送方终端发送预设视频数据的视频发送时间(可以是预设视频数据中被标记的视频帧的发送时间),并记录通话测试接收方终端接收到预设视频数据的视频接收时间(如可以是上述预设视频数据中被标记的视频帧的接收时间),并通过比较视频发送时间与视频接收时间获得该视频时延。
码率指数据传输时单位时间(如1秒)内传送的数据位数,一般来说,码率越高,数据的精度就越高。视频码率体现了视频的失真度,码率越高视频越清晰,码率越低则视频画面越粗糙。可以在通话过程中基于对通话测试接收方终端的监测获取视频码率。
视频性能指终端播放视频时的相关性能,如启动速度、加载速度、CPU(CentralProcessing Unit,中央处理器)占用信息、内存使用信息以及其他的相关信息等,可以在传输预设视频数据时,通过对测试发送方终端、测试接收方终端进行监测确定。
在一个实施例中,在所述待测试项目包括音频质量测试项目时,所述预设通话数据包括预设音频数据。
其中,待测试项目为音频质量测试项目时,向通话测试发送方终端发送用于测试的预设音频数据,通过预设音频数据模拟真实音频通话,预设音频数据经由通话测试发送方终端的待测试应用程序,发送至正在与其音频通话的通话测试接收方终端。
在一个实施例中,所述音频质量测试项目包括下述各项中的至少一项:音频频谱、音频MOS分、音频时延、音频性能、音频码率。
其中,音频频谱指音频的频率谱密度,即音频的频率的分布曲线。可以通过对通话测试发送方终端发送的预设音频数据、或者通话测试接收方终端接收的预设音频数据进行音频分析,获得该音频频谱。
音频MOS分表征了接收的音频的音频质量,一般与信号的强度、干扰情况、切换情况等有关,可以通过对通话测试接收方终端接收的预设音频数据进行检测分析,获得音频MOS分。
音频时延指音频从通话测试发送方终端传输到通话测试接收方终端所需要的时间。可以通过记录通话测试发送方终端发送预设音频数据的音频发送时间,并记录通话测试接收方终端接收到预设音频数据的音频接收时间,并通过比较音频发送时间与音频接收时间获得该音频时延。
音频性能指终端播放音频时的相关性能,如启动速度、加载速度、CPU(CentralProcessing Unit,中央处理器)占用信息、内存使用信息以及其他的相关信息等,可以在传输预设音频数据时,通过对测试发送方终端、测试接收方终端进行监测确定。
在一个实施例中,在所述待测试项目包括音视频同步项目时,所述预设通话数据包括关联的预设音频数据和预设视频数据。此时,所述待测试项目还可以包括上述视频质量测试项目和上述音频质量测试项目。
其中,待测试项目为音视频同步项目时,测试主控设备向通话测试发送方终端发送用于测试的关联的预设音频数据和预设视频数据,用关联的预设音频数据和预设视频数据模拟音视频同步的通话,将关联的预设音频数据和预设视频数据通过通话测试发送方终端的待测试应用程序发送至正在与其音视频同步通话的通话测试接收方终端。通过获取通话测试接收方终端接收到关联的预设音频数据和预设视频数据中的预设视频数据中被标记的视频帧的接收时间与预设音频数据中被标记的音频帧的接收时间之间的时间差。其中,对上述视频质量测试项目和上述音频质量测试项目的测试,可以与上述实施例中的相同。
其中,当待测试项目包括视频质量测试项目时,通话质量测试结果参数包括:视频帧率、视频卡顿率、视频时延、视频码率、视频性能。待测试项目包括音频质量测试项目时,通话质量测试结果参数包括:音频频谱、音频MOS分、音频时延、音频性能、音频码率。当待测试项目包括音视频同步项目时,通话质量测试结果参数包括:关联的预设音频数据和预设视频数据接收的时间差。
上述通话质量测试方法,通过用户上传待测试任务,待测试任务中包括待测试应用程序、所述待测试应用程序对应的驱动脚本、以及待测试项目,通过获取待测试任务,将待测试应用程序安装至通话测试终端,利用所述待测试应用程序对应的驱动脚本驱动待测试应用程序进行通话,根据待测试项目进行相应的测试获取测试数据,获得通话质量测试结果。大大简化用户通话质量测试的操作,提高了测试效率。
在一个实施例中,所述待测试任务还携带:测试总时长。从而在生成待测试任务后,还设置该待测试任务的测试总时长,从而合理地为各待测试任务分配测试时间,并可以基于各待测试任务确定测试策略。如在闲时,可对测试总时长大于预设时长阈值的待测试任务,在非闲时,对测试总时长小于预设时长阈值的待测试任务,以获得较为快速的测试响应。当然,也可以制定其他的测试策略。
在一个实施例中,在获得所述待测试任务的通话质量测试结果之后,还可以包括步骤:
向测试平台服务器返回所述通话质量测试结果,以使得所述测试平台服务器将所述通话质量测试结果存储至数据库。
从而通过将通话质量测试结果存储到数据库,可便于后续需要查询时,可以直接从数据库查询获得历史通话质量测试结果,且便于基于存储的通话质量测试结果生成检测报告。
在一个实施例中,在获得所述待测试任务的通话质量测试结果之后,还可以包括步骤:
向测试平台服务器返回所述通话质量测试结果,以使得所述测试平台服务器根据所述通话质量测试结果生成检测报告。
通过生成检测报告,可以直观地表述对待测试应用程序的通话质量测试结果。其中,生成的测试报告还可以反馈给用户终端,供用户终端的用户查看。
在一个实施例中,请参阅图13,在进行通话质量测试的过程中,可以定期或者在接收到用户终端的进度查询请求时,向用户终端反馈当前待测试任务的测试进度。其中,在反馈当前待测试任务的测试进度时,可以同时反馈已经测试获得的相关的通话质量测试结果。
上述通话质量测试方法,通过用户上传待测试任务,待测试任务中包括待测试应用程序、所述待测试应用程序对应的驱动脚本、以及待测试项目,通过获取待测试任务,将待测试应用程序安装至通话测试终端,利用所述待测试应用程序对应的驱动脚本驱动待测试应用程序进行通话,根据待测试项目进行相应的测试获取测试数据,获得通话质量测试结果。大大简化用户通话质量测试的操作,提高了测试效率。并且通过提供友好的测试平台服务器以及驱动脚本给测试人员使用,大大简化测试人员的操作;测试平台服务器会对提交的待测试任务进行排队,高效地利用测试资源。
在一个实施例中,请参阅图6,一种通话质量测试系统,包括:通话质量测试平台,所述通话质量测试平台包括:测试主控设备,以及与所述测试主控设备连接的音频测试仪以及至少两个通话测试终端。
其中,测试主控设备,用以获取待测试任务,giant待测试任务携带:待测试应用程序、与所述待测试应用程序对应的驱动脚本以及待测试项目;并将所述待测试应用程序安装至各所述通话测试终端,并通过所述驱动脚本,驱动各所述通话测试终端之间通过所述待测试应用程序进行通话;在各所述测试终端之间通过所述待测试应用程序通话的过程中,通过所述音频测试仪测试各所述待测试项目,获得所述待测试任务的通话质量测试结果。
其中,可以基于用户上传的待测试应用程序、与所述待测试应用程序对应的驱动脚本及待测试项目生成待测试任务,并将生成的待测试任务添加至测试任务列表中。在需要进行测试时,例如通过测试排序在轮到对该待测试任务进行测试时,测试主控设备再获取该待测试任务进行测试。
测试主控设备在获得待测试任务后,可将待测试任务携带的待测试应用程序发送至通话测试终端,使通话测试终端安装待测试应用程序,以便于通话测试终端可以基于安装的待测试应用程序进行通话。
测试主控设备在驱动各所述通话测试终端之间通过所述待测试应用程序进行通话之前,通话测试发送方终端和通话测试接收方终端需已经先连接上网络,或者是已经通过网络连接。
一个实施例中,测试主控设备可向所述通话测试发送方终端发送预设通话数据,以使所述通话测试发送方终端通过所述待测试应用程序将所述预设通话数据发送至所述通话测试接收方终端,并获取所述通话测试发送方终端发送所述预设通话数据的发送方通话参数信息。
一个实施例中,待测试项目可以包括视频质量测试项目。此时,测试主控设备向通话测试发送方终端发送用于测试的预设视频数据,通过预设视频数据模拟真实视频通话,预设视频数据会经由通话测试发送方终端的待测试应用程序,发送至正在与其视频通话的通话测试接收方终端。
一个实施例中,待测试项目包括音频质量测试项目。此时,测试主控设备通过音频测试仪将通话测试发送方终端发送用于测试的预设音频数据,通过预设音频数据模拟真实音频通话,预设音频数据经由通话测试发送方终端的待测试应用程序,发送至正在与其音频通话的通话测试接收方终端。音频测试仪获取通话时的通话测试发送方终端及通话测试接收方终端的预设音频数据。
一个实施例中,待测试项目包括音视频同步项目时,测试主控设备向通话测试发送方终端发送用于测试的关联的预设音频数据和预设视频数据,用关联的预设音频数据和预设视频数据模拟音视频同步的通话,将关联的预设音频数据和预设视频数据通过通话测试发送方终端的待测试应用程序发送至正在与其音视频同步通话的通话测试接收方终端。通过获取通话测试接收方终端接收到关联的预设音频数据和预设视频数据中的预设视频数据中被标记的视频帧的接收时间与预设音频数据中被标记的音频帧的接收时间之间的时间差。其中,对上述视频质量测试项目和上述音频质量测试项目的测试,可以与上述实施例中的相同。
测试主控设备通过获取待测试应用程序通话的过程中的各个参数信息,根据各个测试项目的相关计算方式得出各个测试项目结果参数,获得待测试任务的通话质量测试结果。
请参阅图7,在一个实施例中,该系统还可以包括测试平台服务器,用以接收测试任务添加请求,所述测试任务添加请求携带:待测试应用程序、与所述待测试应用程序对应的驱动脚本、以及所述待测试项目,并基于该测试任务添加请求将所述待测试任务添加至测试任务列表中。
此时,上述测试主控设备,从所述测试任务列表获取待测试任务。
其中,该测试任务添加请求可以由用户通过其使用的用户终端发出,例如可以通过用户终端上安装的浏览器或者其他的应用程序发出。一个实施例中,终端用户在访问基于本申请实施例方法的通话质量测试系统中测试平台服务器之后,会获得该通话质量测试系统中的测试平台服务器返回的相关测试配置界面,并通过该相关测试配置界面上传待测试应用程序、待测试应用程序对应的驱动脚本,以及设置需要进行测试的待测试项目以及网络环境参数。
可以理解,对待测试应用程序、驱动脚本的上传,以及待测试项目以及网络环境参数的设置,可以同一个测试配置界面完成后再上传,也可以是在不同的测试配置界面进行处理,本实施例不做具体限定。例如,一个实施例中,终端用户可以通过其使用的终端,通过待测试程序上传界面上传待测试应用程序以及其驱动脚本后,通话质量测试系统的测试平台服务器向该用户终端返回网络环境参数设置界面,终端用户在该网络环境参数设置界面设置好网络环境参数后,显示待测试项目设置界面(可以是在网络环境参数设置完成后就显示,也可以是在网络环境参数设置完成后先上传至测试平台服务器,基于测试平台服务器的反馈显示待测试项目设置界面),终端用户可在该待测试项目设置界面设置待测试项目。可以理解,在该示例中,网络环境参数设置界面的待测试项目设置界面的顺序可以调换。本申请实施例方案接收到该待测试应用程序、待测试应用程序对应的驱动脚本以及网络环境参数和待测试项目后,可为其生成或将其打包为一个待测试任务。
由于测试平台服务器可能接收到一个或多个用户终端上传的多个待测试任务,这些待测试任务可以顺序进行测试,因此,测试平台服务器可将待测试任务先添加至测试任务列表中。在上一个待测试任务完成后,或者空闲时,或者达到对新的待测试任务进行测试的其他条件时,通话质量测试平台的测试主控设备再从测试任务列表中提取待测试任务进行测试。
在一个实施例中,所述测试主控设备向测试平台服务器返回所述通话质量测试结果,所述测试平台服务器根据所述通话质量测试结果生成检测报告;
其中,从而通过将通话质量测试结果存储到数据库,可便于后续需要查询时,可以直接从数据库查询获得历史通话质量测试结果,且便于基于存储的通话质量测试结果生成检测报告。
在一个实施例中,所述测试主控设备向测试平台服务器返回所述通话质量测试结果,所述测试平台服务器将所述通话质量测试结果存储至数据库。
其中,通过生成检测报告,可以直观地表述对待测试应用程序的通话质量测试结果。其中,生成的测试报告还可以反馈给用户终端,供用户终端的用户查看。
在一个实施例中,所述通话测试终端包括:通话测试发送方终端和通话测试接收方终端。
其中,为了测试待测试应用程序的通话质量,需要有通话的发起方和通话的接收方,此时,可以通过通话测试发送方终端发起通话,通过通话测试接收方终端接收通话,其中,通话测试接收方终端可以只有一个,也可以是有两个以上的多个。在本申请的实施例中,是以通话接收方终端只有一个为例进行说明。
在一个实施例中,所述测试主控设备向所述通话测试发送方终端发送预设通话数据;
所述通话测试发送方终端通过安装的所述待测试应用程序将所述预设通话数据发送至所述通话测试接收方终端;
所述测试主控设备,通过所述音频测试仪获取所述通话测试发送方终端发送所述预设通话数据的发送方通话参数信息、以及所述通话测试接收方终端接收所述预设通话数据的接收方通话参数信息,并基于所述发送方通话参数信息和所述接收方通话参数信息,确定所述通话质量测试结果。
其中,可以基于待测试项目中包含的各个测试项目,测试主控设备向通话测试发送方终端发送用于测试的预设通话数据,用预设通话数据模拟真实通话数据,通话测试发送方终端的待测试应用程序将预设通话数据发送至正在与其通话的通话测试接收方终端。
在一个实施例中,在所述待测试项目包括视频质量测试项目时,所述预设通话数据包括预设视频数据。
其中,待测试项目为视频质量测试项目时,测试主控设备向通话测试发送方终端发送用于测试的预设视频数据,通过预设视频数据模拟真实视频通话,预设视频数据会经由通话测试发送方终端的待测试应用程序,发送至正在与其视频通话的通话测试接收方终端。所述视频质量测试项目包括下述各项中的至少一项:视频帧率、视频卡顿率、视频时延、视频码率、视频性能。
视频帧率是指单位时间(如1秒)内传输的图片的帧数,可以通过通话测试发送方终端获得。帧率与画面流畅度有关,与画面流畅度成正比,帧率越大,画面越流畅,帧率越小,画面越有跳动感。
卡顿指播放时渲染的帧率太低(低于预设帧率),或者是在渲染完一帧之后,要超过预设时长才渲染下一帧。视频卡顿率可以基于检测到发生了卡顿的次数确定,可以在通话过程中基于对通话测试接收方终端的监测获取。
视频时延指视频从通话测试发送方终端传输到通话测试接收方终端所需要的时间。可以通过记录通话测试发送方终端发送预设视频数据的视频发送时间(可以是预设视频数据中被标记的视频帧的发送时间),并记录通话测试接收方终端接收到预设视频数据的视频接收时间(如可以是上述预设视频数据中被标记的视频帧的接收时间),并通过比较视频发送时间与视频接收时间获得该视频时延。
码率指数据传输时单位时间(如1秒)内传送的数据位数,一般来说,码率越高,数据的精度就越高。视频码率体现了视频的失真度,码率越高视频越清晰,码率越低则视频画面越粗糙。可以在通话过程中基于对通话测试接收方终端的监测获取视频码率。
视频性能指终端播放视频时的相关性能,如启动速度、加载速度、CPU(CentralProcessing Unit,中央处理器)占用信息、内存使用信息以及其他的相关信息等,可以在传输预设视频数据时,通过对测试发送方终端、测试接收方终端进行监测确定。
在一个实施例中,在所述待测试项目包括音频质量测试项目时,所述预设通话数据包括预设音频数据。
其中,待测试项目为音频质量测试项目时,测试主控设备向通话测试发送方终端发送用于测试的预设音频数据,通过预设音频数据模拟真实音频通话,预设音频数据经由通话测试发送方终端的待测试应用程序,发送至正在与其音频通话的通话测试接收方终端。所述音频质量测试项目包括下述各项中的至少一项:音频频谱、音频MOS分、音频时延、音频性能、音频码率。
音频频谱指音频的频率谱密度,即音频的频率的分布曲线。可以通过对通话测试发送方终端发送的预设音频数据、或者通话测试接收方终端接收的预设音频数据进行音频分析,获得该音频频谱。
音频MOS分表征了接收的音频的音频质量,一般与信号的强度、干扰情况、切换情况等有关,可以通过对通话测试接收方终端接收的预设音频数据进行检测分析,获得音频MOS分。
音频时延指音频从通话测试发送方终端传输到通话测试接收方终端所需要的时间。可以通过记录通话测试发送方终端发送预设音频数据的音频发送时间,并记录通话测试接收方终端接收到预设音频数据的音频接收时间,并通过比较音频发送时间与音频接收时间获得该音频时延。
音频性能指终端播放音频时的相关性能,如启动速度、加载速度、CPU(CentralProcessing Unit,中央处理器)占用信息、内存使用信息以及其他的相关信息等,可以在传输预设音频数据时,通过对测试发送方终端、测试接收方终端进行监测确定。
在一个实施例中,在所述待测试项目包括音视频同步项目时,所述预设通话数据包括关联的预设音频数据和预设视频数据。此时,所述待测试项目还可以包括上述视频质量测试项目和上述音频质量测试项目。
其中,待测试项目为音视频同步项目时,测试主控设备向通话测试发送方终端发送用于测试的关联的预设音频数据和预设视频数据,用关联的预设音频数据和预设视频数据模拟音视频同步的通话,将关联的预设音频数据和预设视频数据通过通话测试发送方终端的待测试应用程序发送至正在与其音视频同步通话的通话测试接收方终端。通过获取通话测试接收方终端接收到关联的预设音频数据和预设视频数据中的预设视频数据中被标记的视频帧的接收时间与预设音频数据中被标记的音频帧的接收时间之间的时间差。其中,对上述视频质量测试项目和上述音频质量测试项目的测试,可以与上述实施例中的相同。
其中,当待测试项目包括视频质量测试项目时,通话质量测试结果参数包括:视频帧率、视频卡顿率、视频时延、视频码率、视频性能。待测试项目包括音频质量测试项目时,通话质量测试结果参数包括:音频频谱、音频MOS分、音频时延、音频性能、音频码率。当待测试项目包括音视频同步项目时,通话质量测试结果参数包括:关联的预设音频数据和预设视频数据接收的时间差。
在一个实施例中,所述通话质量测试平台还包括:与所述测试主控设备连接的视频时延测试设备。
此时,所述视频时延测试设备,在所述通话测试接收方终端接收到视频数据时,向所述音频测试仪收发送反馈信号。
其中,待测试项目为视频质量测试项目时,测试主控设备向通话测试发送方终端发送用于测试的预设视频数据,通过预设视频数据模拟真实视频通话,预设视频数据会经由通话测试发送方终端的待测试应用程序,发送至正在与其视频通话的通话测试接收方终端。视频时延测试设备检测通话测试接收方终端接收预设视频数据的时间,并记录通话测试接收方终端接收到预设视频数据的视频接收时间(如可以是上述预设视频数据中被标记的视频帧的接收时间),并将记录的通话测试接收方终端接收到预设视频数据的视频接收时间发送给测试主控设备。
在一个实施例中,所述视频时延测试设备包括光敏电阻盒子。
其中,将光敏电阻盒子可以与通话测试接收方终端紧邻设置,例如盖在通话测试接收方终端的屏幕上。由于预设的视频数据是黑白间隔的视频帧,当通话测试接收方终端接收到白色的视频帧时,光敏电阻盒子产生电信号,光敏电阻盒子将产生的电信号发送至测试主控设备,测试主控设备记载接收到电信号的时间,因此获取到通话测试接收方终端接收到预设视频数据中被标记的视频帧的接收时间。
在一个实施例中,所述通话质量测试平台还包括:与所述测试主控设备连接的网络损伤仪。此时,上述待测试任务还携带网络环境参数。网络损伤仪基于所述测试主控设备的控制,通过所述网络环境参数,模拟测试网络环境。
其中,测试主控设备可以根据待测试任务携带的网络环境参数控制网络损伤仪模拟网络环境,使得通话测试发送方终端与通话测试接收方终端可以处于不同的网络环境,例如可以是使得通话测试发送方终端处于无损网络环境,而通话测试接收方终端处于有损网络环境,有损网络环境的网络损伤程度,则基于待测试任务携带的网络环境参数。
上述通话质量测试系统,通过用户上传待测试任务,待测试任务中包括待测试应用程序、所述待测试应用程序对应的驱动脚本、以及待测试项目,通过获取待测试任务,将待测试应用程序安装至通话测试终端,利用所述待测试应用程序对应的驱动脚本驱动待测试应用程序进行通话,根据待测试项目进行相应的测试获取测试数据,获得通话质量测试结果。大大简化用户通话质量测试的操作,提高了测试效率。
在一个实施例中,本申请提供的通话质量测试的系统的应用环境如图8所示,用户通过用户终端将需要测试的待测试应用程序及驱动脚本上传至通话质量测试的系统,通话质量测试的系统完成通话质量的测试并反馈测试结果或测试报告。其中,终端101可以是但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,只要能够实现建立通话质量测试任务即可。
请参阅图9,一个实施例中的通话质量测试系统包括:Web服务器、数据库、测试主控设备、网络损伤仪、音频测试仪、光敏电阻盒子、手机A、手机B。其中,WEB服务器作为测试平台服务器,测试主控设备、网络损伤仪、音频测试仪、光敏电阻盒子、手机A以及手机B共同组成通话质量测试平台。测试主控设备通过Socket(一种通信机制)连接控制网络损伤仪,测试主控设备通过USB线控制作为通话测试发送方终端的手机A,以及作为通话测试接收方终端的手机B,测试主控设备通过音频线与光敏电阻盒子连接,用来测试视频时延。测试主控设备通过USB线控制音频测试仪,音频测试仪分别用音频线连接手机A和手机B,,Web服务器通过网络连接测试主控设备及数据库,还通过网络与用户终端连接。
用户通过用户终端上传的待测试应用程序、与所述待测试应用程序对应的驱动脚本及待测试项目至Web服务器,Web服务器将待测试应用程序、与所述待测试应用程序对应的驱动脚本及待测试项目打包生成待测试任务,并将生成的待测试任务添加至测试任务列表中。测试排序在轮到对该待测试任务进行测试时,测试主控设备从Web服务器获取该待测试任务进行测试。测试主控设备在获得待测试任务后,将待测试任务携带的待测试应用程序发送至手机A和手机B,测试主控设备根据待测试任务携带的网络环境参数控制网络损伤仪模拟网络环境,手机A连接Wifi-损伤,手机B连接Wifi-无损,使得手机A与手机B处于不同的网络环境。
待测试项目为视频质量测试项目时,测试主控设备向通话测试发送方终端发送用于测试的预设视频数据,通过预设视频数据模拟真实视频通话,预设视频数据会经由通话测试发送方终端的待测试应用程序,发送至正在与其视频通话的通话测试接收方终端。通过光敏电阻盒子检测通话测试接收方终端接收预设视频数据的时间,并记录通话测试接收方终端接收到预设视频数据的视频接收时间(如可以是上述预设视频数据中被标记的视频帧的接收时间),并将记录的通话测试接收方终端接收到预设视频数据的视频接收时间发送给测试主控设备。
待测试项目为音频质量测试项目时,测试主控设备通过音频测试仪向通话测试发送方终端发送用于测试的预设音频数据,通过预设音频数据模拟真实音频通话,预设音频数据经由通话测试发送方终端的待测试应用程序,发送至正在与其音频通话的通话测试接收方终端。音频测试仪获取通话时的通话测试发送方终端及通话测试接收方终端的预设音频数据,音频测试仪并通过Normad软件计算音频MOS分,并将分析的结果以及获取通话时的通话测试发送方终端及通话测试接收方终端的预设音频数据发送给测试主控设备。
测试主控设备根据测试任务,获取各个数据得到测试结果,并将结合发送给Web服务器,Web服务器将测试结果保存至数据库,并根据测试结果生产测试报告,Web服务器将测试报告发送至用户终端供用户查看。
其中,Web服务器可以基于Apache(Apache HTTP Server,一种开放源码的网页服务器)和Diango(一种开放源代码的Web应用框架)实现,基于Python编写,从而可以与音视频测试工具集(通话质量测试平台)的Python(脚本)接口有很好的衔接,在工具使用上大大降低开发成本。浏览器可以基于Element UI和vue.js(数据模型和控件元素双向绑定)实现,,简单易用,可以在实时显示测试数据这块简化开发工作。网络损伤仪可以模拟带宽限制、丢包、抖动、延时等网络模拟情况,可以通过使用Python封装接口,控制损伤Wifi的网络状况。测试主控设备与手机A和手机B通过USB线连接,不但起到充电作用,而且可以获取手机帧率、流量等信息;测试主控设备通过音频测试仪进行输入端音频样本的输入和采集输出端音频,通过音频测试仪中可以计算音频MOS分、分析音频频谱以及基于频谱特征对齐计算音频时延。
基于Apache+Django+Mysql搭建的一种音视频通话质量测试系统,可以为测试人员提供友好的交互界面,简单易用。音视频质量评测工具的封装,实现了自动化,减少人工投入;Web服务器提供排队机制,可高效地利用资源。通过用户上传待测试任务,待测试任务中包括待测试应用程序、所述待测试应用程序对应的驱动脚本、以及待测试项目,通过获取待测试任务,将待测试应用程序安装至通话测试终端,利用所述待测试应用程序对应的驱动脚本驱动待测试应用程序进行通话,根据待测试项目进行相应的测试获取测试数据,获得通话质量测试结果。大大简化用户通话质量测试的操作,提高了测试效率。
请参阅图10所示,基于如上实施例中的通话质量测试系统,在执行通话质量测试方法之前,用户使用通话质量测试系统提供的脚本API编写驱动脚本,通过用户终端上安装的浏览器发出测试任务添加请求,终端用户在访问基于本申请实施例方法的通话质量测试系统之后,获得该通话质量测试系统返回的相关测试配置界面,并通过该相关测试配置界面上传待测试应用程序及驱动脚本到Web服务器,待测试应用程序及待测试应用程序对应的驱动脚本上传后,用户终端相关测试配置界面显示网络环境参数设置界面(如图11所示)及待测试项目设置界面(如图12所示),用户在网络环境参数设置界面设置网络环境参数,待测试项目设置界面设置待测试项目,设置后将待测试应用程序及待测试应用程序对应的驱动脚本及设置测试项目及网络环境参数打包生成待测试任务。并加入测试队列,测试队列的任务会依次执行。
获取待测试任务,将待测试任务中的待测试应用程序发送至通话测试终端的通话测试发送方终端(手机A)和通话测试接收方终端(手机B),使通话测试发送方终端和通话测试接收方终端都安装待测试应用程序。根据网络环境参数控制网络损伤仪模拟网络环境,模拟通话时网络会出现的情况。通过调用测试任务中的驱动脚本控制通话测试发送方终端的待测试应用程序发起通话,控制通话测试接收方终端接听通话。
待测试项目为视频质量测试项目时,向通话测试发送方终端(手机A)发送用于测试的预设视频数据,用于预设视频数据模拟真实视频通话,将预设视频数据通过通话测试发送方终端(手机A)的待测试应用程序发送至正在与其视频通话的通话测试接收方终端(手机B)。视频质量测试项目包括:视频帧率、视频卡顿率、视频时延、视频码率、视频性能。
视频帧率是指单位时间(如1秒)内传输的图片的帧数,可以通过通话测试发送方终端获得。帧率与画面流畅度有关,与画面流畅度成正比,帧率越大,画面越流畅,帧率越小,画面越有跳动感。
卡顿指播放时渲染的帧率太低(低于预设帧率),或者是在渲染完一帧之后,要超过预设时长才渲染下一帧。视频卡顿率可以基于检测到发生了卡顿的次数确定,可以在通话过程中基于对通话测试接收方终端的监测获取。
视频时延指视频从通话测试发送方终端传输到通话测试接收方终端所需要的时间。可以通过记录通话测试发送方终端发送预设视频数据的视频发送时间(可以是预设视频数据中被标记的视频帧的发送时间),并记录通话测试接收方终端接收到预设视频数据的视频接收时间(如可以是上述预设视频数据中被标记的视频帧的接收时间),并通过比较视频发送时间与视频接收时间获得该视频时延。
码率指数据传输时单位时间(如1秒)内传送的数据位数,一般来说,码率越高,数据的精度就越高。视频码率体现了视频的失真度,码率越高视频越清晰,码率越低则视频画面越粗糙。可以在通话过程中基于对通话测试接收方终端的监测获取视频码率。
视频性能指终端播放视频时的相关性能,如启动速度、加载速度、CPU(CentralProcessing Unit,中央处理器)占用信息、内存使用信息以及其他的相关信息等,可以在传输预设视频数据时,通过对测试发送方终端、测试接收方终端进行监测确定。
待测试项目为音频质量测试项目时,通过音频测试仪发送用于测试的预设音频数据至通话测试发送方终端,用预设音频数据模拟真实音频通话,将预设音频数据通过通话测试发送方终端的待测试应用程序发送至正在与其音频通话的通话测试接收方终端。音频质量测试项目包括:音频频谱、音频MOS分、音频时延、音频性能、音频码率。
音频频谱指音频的频率谱密度,即音频的频率的分布曲线。可以通过对通话测试发送方终端发送的预设音频数据、或者通话测试接收方终端接收的预设音频数据进行音频分析,获得该音频频谱。
音频MOS分表征了接收的音频的音频质量,一般与信号的强度、干扰情况、切换情况等有关,可以通过对通话测试接收方终端接收的预设音频数据进行检测分析,获得音频MOS分。
音频时延指音频从通话测试发送方终端传输到通话测试接收方终端所需要的时间。可以通过记录通话测试发送方终端发送预设音频数据的音频发送时间,并记录通话测试接收方终端接收到预设音频数据的音频接收时间,并通过比较音频发送时间与音频接收时间获得该音频时延。
音频性能指终端播放音频时的相关性能,如启动速度、加载速度、CPU(CentralProcessing Unit,中央处理器)占用信息、内存使用信息以及其他的相关信息等,可以在传输预设音频数据时,通过对测试发送方终端、测试接收方终端进行监测确定。
根据待测试任务的待测试项目获取的相关测试数据,得出测试结果数据,并将测试结果数据发送至Web服务器,使Web服务器生成测试报告,并将测试结果数据保存至数据库,测试人员可以通过报告管理平台查询历史测试报告。
该通话质量测试方法,通过用户上传待测试任务,待测试任务中包括待测试应用程序、所述待测试应用程序对应的驱动脚本、以及待测试项目,通过获取待测试任务,将待测试应用程序安装至通话测试终端,利用所述待测试应用程序对应的驱动脚本驱动待测试应用程序进行通话,根据待测试项目进行相应的测试获取测试数据,获得通话质量测试结果。大大简化用户通话质量测试的操作,提高了测试效率。并且通过提供友好的测试平台服务器以及驱动脚本给测试人员使用,大大简化测试人员的操作;测试平台服务器会对提交的待测试任务进行排队,高效地利用测试资源。
在一个实施例中,一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述通话质量测试方法的步骤。
该计算机设备可以是终端,其内部结构图可以如图14所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种通话质量测试方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图14中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
据此,在一个实施例中,还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的通话质量测试方法的步骤。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种通话质量测试方法,所述方法包括:
获取待测试任务,所述待测试任务携带:待测试应用程序,与所述待测试应用程序对应的驱动脚本,以及待测试项目;
将所述待测试应用程序安装至各通话测试终端;
通过所述驱动脚本,驱动各所述通话测试终端之间通过所述待测试应用程序进行通话;
在各所述测试终端之间通过所述待测试应用程序通话的过程中,测试各所述待测试项目,获得所述待测试任务的通话质量测试结果。
2.根据权利要求1所述的方法,其特征在于,在获取待测试任务之前,还包括步骤:
接收测试任务添加请求,所述测试任务添加请求携带:待测试应用程序,与所述待测试应用程序对应的驱动脚本,以及所述待测试项目;
将所述待测试任务添加至测试任务列表中。
3.根据权利要求1所述的方法,其特征在于,将所述待测试应用程序安装至各通话测试终端,包括:
将所述待测试应用程序发送至各所述通话测试终端,以将所述待测试应用程序安装至各所述通话测试终端。
4.根据权利要求3所述的方法,其特征在于,所述通话测试终端包括:通话测试发送方终端和通话测试接收方终端。
5.根据权利要求4所述的方法,其特征在于,在各所述测试终端之间通过所述待测试应用程序通话的过程中,测试各所述待测试项目,获得所述待测试任务的通话质量测试结果,包括:
向所述通话测试发送方终端发送预设通话数据,以使所述通话测试发送方终端通过所述待测试应用程序将所述预设通话数据发送至所述通话测试接收方终端,并获取所述通话测试发送方终端发送所述预设通话数据的发送方通话参数信息;
获取所述通话测试接收方终端接收所述预设通话数据的接收方通话参数信息;
基于所述发送方通话参数信息和所述接收方通话参数信息,确定所述通话质量测试结果。
6.根据权利要求1至5任意一项所述的方法,其特征在于,所述待测试任务还携带:网络环境参数;
在驱动各所述通话测试终端之间通过所述待测试应用程序进行通话时,还包括步骤:
通过所述网络环境参数,模拟测试网络环境;
各所述通话测试终端通过所述待测试应用程序,经由模拟的所述测试网络环境进行通话。
7.根据权利要求1所述的方法,其特征在于,在获得所述待测试任务的通话质量测试结果之后,还包括下述各项中的至少一项:
向测试平台服务器返回所述通话质量测试结果,以使得所述测试平台服务器根据所述通话质量测试结果生成检测报告;
向测试平台服务器返回所述通话质量测试结果,以使得所述测试平台服务器将所述通话质量测试结果存储至数据库。
8.一种通话质量测试系统,包括:通话质量测试平台,所述通话质量测试平台包括:测试主控设备,以及与所述测试主控设备连接的音频测试仪以及至少两个通话测试终端;
所述测试主控设备,用以获取待测试任务,所述待测试任务携带:待测试应用程序、与所述待测试应用程序对应的驱动脚本以及待测试项目;并将所述待测试应用程序安装至各所述通话测试终端,并通过所述驱动脚本,驱动各所述通话测试终端之间通过所述待测试应用程序进行通话;在各所述测试终端之间通过所述待测试应用程序通话的过程中,通过所述音频测试仪测试各所述待测试项目,获得所述待测试任务的通话质量测试结果。
9.根据权利要求8所述的系统,其特征在于:
还包括测试平台服务器,用以接收测试任务添加请求,所述测试任务添加请求携带:待测试应用程序、与所述待测试应用程序对应的驱动脚本、以及所述待测试项目,并基于该测试任务添加请求将所述待测试任务添加至测试任务列表中;
所述测试主控设备,从所述测试任务列表获取待测试任务。
10.根据权利要求8所述的系统,其特征在于,所述通话测试终端包括:通话测试发送方终端和通话测试接收方终端。
11.根据权利要求10所述的系统,其特征在于,所述通话质量测试平台还包括:与所述测试主控设备连接的视频时延测试设备;
所述视频时延测试设备,在所述通话测试接收方终端接收到视频数据时,向所述音频测试仪收发送反馈信号。
12.根据权利要求11所述的系统,其特征在于,所述视频时延测试设备包括光敏电阻盒子。
13.根据权利要求8所述的系统,其特征在于,所述通话质量测试平台还包括:与所述测试主控设备连接的网络损伤仪;
所述待测试任务还携带网络环境参数;
所述网络损伤仪基于所述测试主控设备的控制,通过所述网络环境参数,模拟测试网络环境。
14.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201810471435.2A 2018-05-17 2018-05-17 通话质量测试方法、系统、计算机设备和计算机存储介质 Active CN110505352B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810471435.2A CN110505352B (zh) 2018-05-17 2018-05-17 通话质量测试方法、系统、计算机设备和计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810471435.2A CN110505352B (zh) 2018-05-17 2018-05-17 通话质量测试方法、系统、计算机设备和计算机存储介质

Publications (2)

Publication Number Publication Date
CN110505352A true CN110505352A (zh) 2019-11-26
CN110505352B CN110505352B (zh) 2021-09-24

Family

ID=68583769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810471435.2A Active CN110505352B (zh) 2018-05-17 2018-05-17 通话质量测试方法、系统、计算机设备和计算机存储介质

Country Status (1)

Country Link
CN (1) CN110505352B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112866682A (zh) * 2020-12-31 2021-05-28 百果园技术(新加坡)有限公司 音视频质量测评系统、方法、计算机设备及存储介质
CN113422860A (zh) * 2021-06-22 2021-09-21 广州绿怡信息科技有限公司 通话异常检测方法及装置

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101176366A (zh) * 2005-03-14 2008-05-07 高通股份有限公司 用于对无线装置进行产品验收测试的设备和方法
CN101199194A (zh) * 2005-04-21 2008-06-11 高通股份有限公司 用于在无线通信装置上监视语音质量的方法和设备
CN101754259A (zh) * 2009-12-08 2010-06-23 三维通信股份有限公司 Gsm话音质量自动拨测系统及方法
CN102938800A (zh) * 2012-11-07 2013-02-20 大唐移动通信设备有限公司 一种无线通信质量自动测试系统以及方法
CN103150250A (zh) * 2013-02-25 2013-06-12 用友软件股份有限公司 应用程序性能检测系统和应用程序性能检测方法
CN104572052A (zh) * 2013-10-21 2015-04-29 腾讯科技(深圳)有限公司 一种应用程序帧率的测量方法及装置
CN104679659A (zh) * 2015-03-24 2015-06-03 小米科技有限责任公司 应用程序的测试方法及装置、电子设备
CN104978261A (zh) * 2014-04-03 2015-10-14 腾讯科技(深圳)有限公司 应用程序的测试方法、装置及系统
CN105101237A (zh) * 2014-05-06 2015-11-25 中国移动通信集团浙江有限公司 一种通话质量拨测方法、服务器及自动拨测系统
CN105159833A (zh) * 2015-09-30 2015-12-16 努比亚技术有限公司 自动化测试装置及方法
US9288309B1 (en) * 2013-09-25 2016-03-15 Amazon Technologies, Inc. Quality-based phone routing
CN105515907A (zh) * 2015-12-10 2016-04-20 太仓市同维电子有限公司 一种pcm4测试系统及其测试方法
CN105794187A (zh) * 2013-11-15 2016-07-20 微软技术许可有限责任公司 预测通话品质
CN106504770A (zh) * 2016-10-17 2017-03-15 北京小米移动软件有限公司 通话质量的测试系统及测试方法、测试装置
CN107092555A (zh) * 2016-08-05 2017-08-25 北京小度信息科技有限公司 一种测试应用程序的方法及系统
CN107193728A (zh) * 2016-03-15 2017-09-22 展讯通信(天津)有限公司 移动终端自动化测试方法及装置
CN107329899A (zh) * 2017-07-04 2017-11-07 广州云测信息技术有限公司 一种应用程序兼容性测试方法和装置
CN107342876A (zh) * 2016-04-29 2017-11-10 展讯通信(上海)有限公司 移动终端视频通话质量的测试方法及系统
CN107688533A (zh) * 2017-07-25 2018-02-13 上海壹账通金融科技有限公司 应用程序测试方法、装置、计算机设备和存储介质
CN107885649A (zh) * 2016-09-29 2018-04-06 平安科技(深圳)有限公司 Ios应用程序的性能测试方法和装置

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101176366A (zh) * 2005-03-14 2008-05-07 高通股份有限公司 用于对无线装置进行产品验收测试的设备和方法
CN101199194A (zh) * 2005-04-21 2008-06-11 高通股份有限公司 用于在无线通信装置上监视语音质量的方法和设备
CN101754259A (zh) * 2009-12-08 2010-06-23 三维通信股份有限公司 Gsm话音质量自动拨测系统及方法
CN102938800A (zh) * 2012-11-07 2013-02-20 大唐移动通信设备有限公司 一种无线通信质量自动测试系统以及方法
CN103150250A (zh) * 2013-02-25 2013-06-12 用友软件股份有限公司 应用程序性能检测系统和应用程序性能检测方法
US9288309B1 (en) * 2013-09-25 2016-03-15 Amazon Technologies, Inc. Quality-based phone routing
CN104572052A (zh) * 2013-10-21 2015-04-29 腾讯科技(深圳)有限公司 一种应用程序帧率的测量方法及装置
CN105794187A (zh) * 2013-11-15 2016-07-20 微软技术许可有限责任公司 预测通话品质
CN104978261A (zh) * 2014-04-03 2015-10-14 腾讯科技(深圳)有限公司 应用程序的测试方法、装置及系统
CN105101237A (zh) * 2014-05-06 2015-11-25 中国移动通信集团浙江有限公司 一种通话质量拨测方法、服务器及自动拨测系统
CN104679659A (zh) * 2015-03-24 2015-06-03 小米科技有限责任公司 应用程序的测试方法及装置、电子设备
CN105159833A (zh) * 2015-09-30 2015-12-16 努比亚技术有限公司 自动化测试装置及方法
CN105515907A (zh) * 2015-12-10 2016-04-20 太仓市同维电子有限公司 一种pcm4测试系统及其测试方法
CN107193728A (zh) * 2016-03-15 2017-09-22 展讯通信(天津)有限公司 移动终端自动化测试方法及装置
CN107342876A (zh) * 2016-04-29 2017-11-10 展讯通信(上海)有限公司 移动终端视频通话质量的测试方法及系统
CN107092555A (zh) * 2016-08-05 2017-08-25 北京小度信息科技有限公司 一种测试应用程序的方法及系统
CN107885649A (zh) * 2016-09-29 2018-04-06 平安科技(深圳)有限公司 Ios应用程序的性能测试方法和装置
CN106504770A (zh) * 2016-10-17 2017-03-15 北京小米移动软件有限公司 通话质量的测试系统及测试方法、测试装置
CN107329899A (zh) * 2017-07-04 2017-11-07 广州云测信息技术有限公司 一种应用程序兼容性测试方法和装置
CN107688533A (zh) * 2017-07-25 2018-02-13 上海壹账通金融科技有限公司 应用程序测试方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
辛小秋: "NGN网络测试技术", 《电信网技术》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112866682A (zh) * 2020-12-31 2021-05-28 百果园技术(新加坡)有限公司 音视频质量测评系统、方法、计算机设备及存储介质
CN113422860A (zh) * 2021-06-22 2021-09-21 广州绿怡信息科技有限公司 通话异常检测方法及装置
CN113422860B (zh) * 2021-06-22 2024-01-09 广州绿怡信息科技有限公司 通话异常检测方法及装置

Also Published As

Publication number Publication date
CN110505352B (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
KR100948217B1 (ko) 무선 장치상에서 프로덕트 승인을 테스트하기 위한 장치 및방법
US9924386B2 (en) Method and system for wireless network optimization and remote control of mobile handset operation
CN106021095B (zh) 一种基于推送机制的Android应用自动化测试方法
CN111937006B (zh) 基于熵值来确定性能的系统
CN102340789B (zh) 拨测终端及拨测方法
CN106162700B (zh) 一种终端语音质量的测试方法、装置及终端
US11057787B2 (en) Method and test system for mobile network testing as well as prediction system
US10320650B2 (en) Testing a network using a communication device
CN106658545A (zh) 一种测试方法、移动终端及服务器
Siris et al. Mobile quality of experience: Recent advances and challenges
Cattoni et al. An end-to-end testing ecosystem for 5G
CN110505352A (zh) 通话质量测试方法、系统、计算机设备和计算机存储介质
CN108243033A (zh) 一种对视频质量进行打分的方法、云服务端和系统
CN109922484B (zh) 一种测试方法和测试装置
Baena et al. Video Streaming and Cloud Gaming services over 4G and 5G: a complete network and service metrics dataset
Díaz Zayas et al. QoE evaluation: the TRIANGLE testbed approach
Diaz et al. PerformNetworks: a testbed for exhaustive interoperability and performance analysis for mobile networks
Hosek et al. Mobile web QoE study for smartphones
Cattoni et al. An end-to-end testing ecosystem for 5G the TRIANGLE testing house test bed
Diaz et al. Obtaining models for realistic mobile network simulations using real traces
EP3391592B1 (en) Quality of experience monitoring system and method
Díaz Zayas et al. An end-to-end automation framework for mobile network testbeds
Wang et al. Impact of network scenarios on quality of experience using TRIANGLE testbed
CN108027634A (zh) 用户设备功耗监测和分析
Zayas et al. Triangle: 5G Applications and Devices Benchmarking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant