CN113411218B - 即时通信质量的评价方法、装置和电子设备 - Google Patents

Abstract

本发明提供了一种即时通信质量的评价方法、装置和电子设备，该方法包括：获取即时通信数据；进而根据即时通信数据，确定传输即时通信数据时，传输网络的网络质量参数和即时通信数据的数据质量参数；然后基于网络质量参数和数据质量参数，确定即时通信质量的评价结果。该方式综合考虑了传输即时通信数据的网络质量参数和即时通信数据的数据质量参数对即时通信质量的影响，相对于采用离线视频中仅通过视频画面进行质量评价的方式，该方式可以更好的对即时通信的网络和音视频等问题进行综合评价，提高了即时通信质量的质量评价的准确度。

Description

即时通信质量的评价方法、装置和电子设备

技术领域

本发明涉及数据处理技术领域，尤其是涉及一种即时通信质量的评价方法、装置和电子设备。

背景技术

随着直播连麦、实时通信等相关技术的发展，RTC(Real-Time Communication，即时通信)场景应用呈现爆炸式增长，比如直播带货、云游戏、直播教学等，因此，用户对即时通信的质量要求也越来越高。RTC从功能流程上来说，包含采集、编码、前后处理、传输、解码、缓冲、渲染等很多环节。在音视频采集、编码、传输等环节通常面临着很多质量损失，导致视音频质量较差，影响RTC场景通话质量，因此，需要有效评估RTC场景的通话质量，以提高用户体验。

相关技术中，通常采用对离线视频或者点播视频进行质量评价的方式对RTC场景的视音频通话进行质量评价，但是RTC场景的视音频为直播视频，与离线视频的通话感知质量有较大差别(例如，在直播场景中会因网络延迟等带来通话质量的降低，但在离线场景中网络延期却不作为重要的质量评价因素)，导致上述方式对RTC场景的视音频通话的质量评价效果较差。

发明内容

本发明的目的在于提供一种即时通信质量的评价方法、装置和电子设备，以提高RTC场景的视音频通话的质量评价效果。

第一方面，本发明提供了一种即时通信质量的评价方法，该方法包括：获取即时通信数据；其中，该即时通信数据包括：获取的指定时间段内的视频数据和音频数据；根据即时通信数据，确定传输即时通信数据时，传输网络的网络质量参数，确定即时通信数据的数据质量参数；基于网络质量参数和数据质量参数，确定即时通信质量的评价结果。

在可选的实施方式中，上述根据即时通信数据，确定传输即时通信数据时，传输网络的网络质量参数的步骤，包括：基于即时通信数据包含的视频数据和音频数据，确定传输即时通信数据时，传输网络的音频卡顿频率、视频卡顿频率和端到端网络延时率；根据音频卡顿频率、视频卡顿频率和端到端网络延时率，确定网络质量参数。

在可选的实施方式中，上述即时通信数据还包括音频数据和视频数据组成的多个数据包中每个数据包的传输时长；上述基于即时通信数据包含的视频数据和音频数据，确定传输即时通信数据时，传输网络的音频卡顿频率、视频卡顿频率和端到端网络延时率的步骤，包括：将音频数据卡顿的总时长与音频数据的时长的比值，确定为音频卡顿频率；其中，该音频数据卡顿的总时长由累计达到第一时长未接收音频的时长确定；将视频数据卡顿的总时长与视频数据的时长的比值，确定为视频卡顿频率；其中，该视频数据卡顿的总时长由累计达到第二时长未接收到视频的时长确定；将多个数据包中传输时长未超过第三时长的数据包的总时长，与多个数据包的总时长的比值，确定为端到端网络延时率。

在可选的实施方式中，上述根据音频卡顿频率、视频卡顿频率和端到端网络延时率，确定网络质量参数的步骤，包括：确定音频卡顿频率与第一权重的第一乘积；确定视频卡顿频率与第二权重的第二乘积；确定端到端网络延时率与第三权重的第三乘积；将第一乘积、第二乘积和第三乘积相加，得到网络质量参数。

在可选的实施方式中，上述根据即时通信数据，确定即时通信数据的数据质量参数的步骤，包括：对即时通信数据包含的音频数据进行质量评价，得到第一评价结果；对即时通信数据包含的视频数据进行质量评价，得到第二评价结果；将音频数据的时间戳和视频数据的时间戳同步的数量，与即时通信数据的时间戳的总数的比值，确定为第三评价结果；基于第一评价结果、第二评价结果和第三评价结果，确定即时通信数据的数据质量参数。

在可选的实施方式中，上述对即时通信数据包含的音频数据进行质量评价，得到第一评价结果；对即时通信数据包含的视频数据进行质量评价，得到第二评价结果的步骤，包括：将音频数据输入至预先训练完成的音频质量评价模型中，得到第一评价结果；将视频数据输入至预先训练完成的视频质量评价模型中，得到第二评价结果。

在可选的实施方式中，上述基于网络质量参数和数据质量参数，确定即时通信质量的评价结果的步骤，包括：将网络质量参数与第四权重相乘，得到第四乘积；将数据质量参数与第五权重相乘，得到第五乘积；将第四乘积与第五乘积的加和，确定为即时通信质量的评价结果。

第二方面，本发明提供了一种即时通信质量的评价装置，该装置包括：数据获取模块，用于获取即时通信数据；其中，即时通信数据包括：获取的指定时间段内的视频数据和音频数据；质量参数确定模块，用于根据即时通信数据，确定传输即时通信数据时，传输网络的网络质量参数，确定即时通信数据的数据质量参数；评价结果确定模块，用于基于网络质量参数和数据质量参数，确定即时通信质量的评价结果。

第三方面，本发明提供了一种电子设备，该电子设备包括处理器和存储器，该存储器存储有能够被处理器执行的机器可执行指令，该处理器执行机器可执行指令以实现上述即时通信质量的评价方法。

第四方面，本发明提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，该机器可执行指令促使处理器实现上述即时通信质量的评价方法。

本发明实施例带来了以下有益效果：

本发明提供的一种即时通信质量的评价方法、装置和电子设备，首先通过电子设备获取即时通信数据；该即时通信数据包括：获取的指定时间段内的视频数据和音频数据；进而根据即时通信数据，确定传输即时通信数据时，传输网络的网络质量参数，确定即时通信数据的数据质量参数；然后基于网络质量参数和数据质量参数，确定即时通信质量的评价结果。该方式综合考虑了传输即时通信数据的网络质量参数和即时通信数据的数据质量参数对即时通信质量的影响，相对于采用离线视频中仅通过视频画面进行质量评价的方式，该方式可以更好的对即时通信的网络和音视频等问题进行综合评价，提高了即时通信质量的质量评价的准确度。

本发明的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施方式，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种即时通信质量的评价方法的流程图；

图2为本发明实施例提供的另一种即时通信质量的评价方法的流程图；

图3为本发明实施例提供的另一种即时通信质量的评价方法的流程图；

图4为本发明实施例提供的一种即时通信质量的评价装置的结构示意图；

图5为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

RTC场景通话在音视频采集、编码、传输等环节通常面临着很多质量损失，例如，视频采集过程中的采集噪声，音频采集过程中的回音及杂音，音视频编码过程中产生的编码失真，网络抖动，网络延迟，网络丢包等产生的失真。低质量音视频会严重降低用户的通话感知质量，需要有效评估RTC场景的通话质量，以提高用户体验。

相关技术中，通常采用对离线视频或者点播视频进行质量评价的方式对RTC场景的视音频通话进行质量评价，但该方式大多是对视频画面本身进行质量评价，未考虑网络、音频、音视频协同等质量因素对最终质量的影响。一方面，离线视频与RTC场景的直播视频的通话感知质量有较大差别，比如视频某帧画面存在一定的噪声或模糊，很明显，在离线静态观看过程中，该失真视频帧对整体质量影响较大，然而在RTC直播场景中，某一帧的失真对视频质量整体影响较小；再比如，在直播场景中由于网络延迟等原因带来的通话质量降低，但在离线场景中网络延期却不作为重要的质量评价因素；另一方面，用户感知的通话质量不仅与视频画面本身有关，也与音频通话质量，以及音视频协同质量有关。因此，上述方式对RTC场景的视音频通话的质量评价效果较差。

基于上述问题，本发明实施例提供了一种即时通信质量的评价方法、装置和电子设备，该技术可以应用于RTC场景的视音频通话的质量监控场景中，例如，直播场景、云游戏场景等。为便于对本实施例进行理解，首先对本发明实施例所公开的一种即时通信质量的评价方法进行详细介绍，如图1所示，该方法包括如下具体步骤：

步骤S102，获取即时通信数据；该即时通信数据包括：获取的指定时间段内的视频数据和音频数据。

上述即时通信数据可以是从即时通信场景中获取到的数据，该数据包括指定时间段内的视频数据和音频数据；该即时通信场景可以是直播带货、云游戏、直播教学等实时通信场景；该指定时间段可以是一分钟、几分钟或者十几分钟等，在此不做具体限定。

步骤S104，根据上述即时通信数据，确定传输即时通信数据时，传输网络的网络质量参数，确定即时通信数据的数据质量参数。

在具体实现时，根据获取的即时通信数据所包含的视频数据和音频数据，可以确定出通信信道传输该即时通信数据时，传输网络的网络质量参数，还可以确定出即时通信数据的数据质量参数。其中，上述传输网络为传输即时通信数据的网络，该网络质量参数可以由传输过程中的音频卡顿时间、视频卡顿时间和网络延时等参数确定。上述数据质量参数可以包括音频质量评价分数、视频质量评价分数和音视频协同质量等。

步骤S106，基于网络质量参数和数据质量参数，确定即时通信质量的评价结果。

在具体实现时，可以将网络质量参数与数据质量参数的均值，确定为即时通信质量的评价结果；也可以将网络质量参数与数据质量参数的加和，确定为即时通信质量的评价结果；还可以将网络质量参数与数据质量参数与对应权重乘积的加和，确定为即时通信质量的评价结果；还可以根据用户需求基于网络质量参数和数据质量参数，确定即时通信质量的评价结果，在此不做具体限定。

本发明实施例提供的一种即时通信质量的评价方法，首先通过电子设备获取即时通信数据；该即时通信数据包括：获取的指定时间段内的视频数据和音频数据；进而根据即时通信数据，确定传输即时通信数据时，传输网络的网络质量参数，确定即时通信数据的数据质量参数；然后基于网络质量参数和数据质量参数，确定即时通信质量的评价结果。该方式综合考虑了传输即时通信数据的网络质量参数和即时通信数据的数据质量参数对即时通信质量的影响，相对于采用离线视频中仅通过视频画面进行质量评价的方式，该方式可以更好的对即时通信的网络和音视频等问题进行综合评价，提高了即时通信质量的质量评价的准确度。

本发明实施例还提供了另一种即时通信质量的评价方法，该方法在上述实施例方法的基础上实现；该方法重点描述根据即时通信数据，确定传输即时通信数据时，传输网络的网络质量参数的具体过程(通过下述步骤S204-S206实现)，以及基于网络质量参数和数据质量参数，确定即时通信质量的评价结果的具体过程(通过下述步骤S210-S212实现)，如图2所示，该方法包括如下具体步骤：

步骤S202，获取即时通信数据；该即时通信数据包括：获取的指定时间段内的视频数据和音频数据。

在具体实现时，即时通信的接收端可以获取到即时通信数据，并对即时通信质量进行评价。

步骤S204，基于即时通信数据包含的视频数据和音频数据，确定传输即时通信数据时，传输网络的音频卡顿频率、视频卡顿频率和端到端网络延时率。

在传输即时通信数据时，由于网络延时或者网络卡顿等，可能会引起音频卡顿、视频卡顿和端到端网络延时等。其中，针对音频卡顿，通常是将数据接收端累计达到第一时长未接收到音频的RTP(Real-time Transport Protocol，实时传送协议)数据包(可以理解为音频数据包)，记为一次音频卡顿；针对视频卡顿，通常是将数据接收端累计达到第二时长未接收到视频的RTP数据包(可以理解为视频数据包)，记为一次视频卡顿。上述第一时长和第二时长的具体数值可以根据研发需求设定，该第一时长和第二时长的具体数值可以相同也可以不同，例如，第一时长和第二时长设置为200ms，或者，第一时长设置为100ms，第二时长设置为150ms等。上述端到端网络延时通常是指即时通信数据从发送端到接收端的传输延时。

在具体实现时，上述即时通信数据还包括音频数据和视频数据组成的多个数据包中每个数据包的传输时长；上述步骤S204可以通过下述步骤10-12实现：

步骤10，将音频数据卡顿的总时长与音频数据的时长的比值，确定为音频卡顿频率；其中，音频数据卡顿的总时长由累计达到第一时长未接收音频的时长确定。

将接收端在指定时间段内，累计达到第一时长未接收到音频数据的时长的和，确定为音频数据卡顿的总时长，也可以理解为将指定时间段内每次音频卡顿的时长的和，确定为音频数据卡顿的总时长。上述音频数据的时长是指获取的指定时间内的即时通信数据中音频数据的总时长。

在具体实现时，为了以百分之制表示音频卡顿频率，也可以将指定时间内音频数据卡顿的总时长与音频数据的时长的比值乘以100％，确定为音频卡顿频率。

步骤11，将视频数据卡顿的总时长与视频数据的时长的比值，确定为视频卡顿频率；其中，视频数据卡顿的总时长由累计达到第二时长未接收到视频的时长确定。

将接收端在指定时间段内，累计达到第二时长未接收到视频数据的时长的和，确定为视频数据卡顿的总时长，也可以理解为将指定时间段内每次视频卡顿的时长的和，确定为视频数据卡顿的总时长。上述视频数据的时长是指获取的指定时间内的即时通信数据中视频数据的总时长。

在具体实现时，为了以百分制表示视频卡顿频率，也可以将指定时间段内视频数据卡顿的总时长与视频数据的时长的比值乘以100％，确定为视频卡顿频率。

步骤12，将多个数据包中传输时长未超过第三时长的数据包的总时长，与多个数据包的总时长的比值，确定为端到端网络延时率。

上述第三时长可以根据用户需求设定，例如，设置为300ms或者400ms等。具体地，端到端网络延时通常是指同一频道内用户A(相当于发送端)发出音视频报文(相当于视音频数据)到用户B(相当于接收端)接收到此音视频报文的时间间隔不超过第三时长，也即是该音视频报文的传输时长不超过第三时长。

在具体实现时，可以将接收端在指定时间段内，多个数据包中传输时长不超过第三时长的数据包的时长的总和，与多个数据包的总时长的比值确定为端到端网络延时率。其中，多个数据包的总时长是指获取的指定时间段内的即时通信数据中视音频数据的总时长。

在具体实现时，为了以百分之制表示端到端网络延时率，也可以将多个数据包中传输时长未超过第三时长的数据包的总时长，与多个数据包的总时长的比值乘以100％，确定为端到端网络延时率。

步骤S206，根据上述音频卡顿频率、视频卡顿频率和端到端网络延时率，确定网络质量参数。

在具体实现时，可以将音频卡顿频率、视频卡顿频率和端到端网络延时率的均值，确定为网络质量参数；也可以根据研发需求为每个数据量设置相应的权重，从而以音频卡顿频率、视频卡顿频率和端到端网络延时率与对应的权重的乘积的和，确定为网络质量参数。

在具体实现时，上述步骤S206可以通过下述步骤20-21实现：

步骤20，确定音频卡顿频率与第一权重的第一乘积；确定视频卡顿频率与第二权重的第二乘积；确定端到端网络延时率与第三权重的第三乘积。

上述第一权重、第二权重和第三权重的具体数值可以根据研发需求或者不同的应用场景设置，例如，将第一权重设置为1，将第二权重设置为2，将第三权重设置为1等；还可以将每个权重的取值范围都设置为0-1，且第一权重、第二权重和第三权重的加和为1。

步骤21，将第一乘积、第二乘积和第三乘积相加，得到网络质量参数。

在具体实现时，上述网络质量参数NQ，可以表示为：

NQ＝w11*NQA+w12*NQV+w13*NQT；

其中，w11、w12和w13分别表示为第一权重、第二权重和第三权重；NQA表示为音频卡顿率、NQV表示为视频卡顿率、NQT表示为端到端网络延时率。在实际应用中还可以将NQA、NQV和NQT的取值范围设置为0-100。

步骤S208，根据即时通信数据，确定即时通信数据的数据质量参数。

步骤S210，将网络质量参数与第四权重相乘，得到第四乘积；将数据质量参数与第五权重相乘，得到第五乘积。

上述第四权重和第五权重的具体数值可以根据研发需求或者不同的应用场景设置，例如，在云游戏场景中，网络质量参数对即时通信质量的影响比较大，可以将第四权重设置为较大值(例如，0.6)，将第五权重设置为较小值(例如，0.4)。在具体实现时，还可以将每个权重的取值范围都设置为0-1，且第四权重和第五权重的加和为1。

步骤S212，将第四乘积与第五乘积的加和，确定为即时通信质量的评价结果。

上述即时通信质量的评价方法，首先获取包含有指定时间段内的视频数据和音频数据即时通信数据；进而基于即时通信数据包含的视频数据和音频数据，确定传输即时通信数据时，传输网络的音频卡顿频率、视频卡顿频率和端到端网络延时率再根据音频卡顿频率、视频卡顿频率和端到端网络延时率，确定网络质量参数；然后根据即时通信数据，确定即时通信数据的数据质量参数；将网络质量参数与第四权重相乘，得到第四乘积；将数据质量参数与第五权重相乘，得到第五乘积，并将第四乘积与第五乘积的加和，确定为即时通信质量的评价结果。该方式通过结合音频卡顿频率、视频卡顿频率和端到端网络延时率确定网络质量参数，并通过网络质量参数和数据质量参数对通话质量进行综合质量评估，从而提高了即时通话质量的评价效果。

本发明实施例还提供了另一种即时通信质量的评价方法，该方法在上述实施例方法的基础上实现；该方法重点描述根据即时通信数据，确定即时通信数据的数据质量参数的具体过程(通过下述步骤S306-S310实现)，如图3所示，该方法包括如下具体步骤：

步骤S302，获取即时通信数据；该即时通信数据包括：获取的指定时间段内的视频数据和音频数据。

步骤S304，根据上述即时通信数据，确定传输即时通信数据时，传输网络的网络质量参数。

步骤S306，对即时通信数据包含的音频数据进行质量评价，得到第一评价结果；对即时通信数据包含的视频数据进行质量评价，得到第二评价结果。

在具体实现时，可以通过相关技术中提供的传统质量评价方法对视频数据和音频数据进行质量评价，得到第一评价结果和第二评价结果；还可以通过下述步骤30-31得到第一评价结果和第二评价结果：

步骤30，将音频数据输入至预先训练完成的音频质量评价模型中，得到第一评价结果。

上述音频质量评价模型预先通过音频质量标注的训练数据训练得到，该音频质量评价模型可以是神经网络模型或者深度学习模型等，该音频质量模型通常选用无参考音频质量评价模型。在具体实现时，将音频数据输入至完成的音频质量评价模型中，可以得到音频数据的质量评价分数，该质量评价分数也即是第一评价结果。

步骤31，将视频数据输入至预先训练完成的视频质量评价模型中，得到第二评价结果。

上述视频质量评价模型预先通过视频质量标注的训练数据训练得到，即将视频和对应标注的主观质量分数值输入到初始模型中，由初始模型自主学习视频质量到标注的分数值之间的映射，视频主观质量标注涉及到视频的清晰度、色彩、对比度、噪声等因素。该初始模型可以是神经网络模型或者深度学习模型等，该视频质量模型通常选用无参考视频质量评价模型。在具体实现时，将视频数据输入到视频质量评价模型中，可以得到视频数据的质量评价分数，该视频质量的分数也即是第二评价结果。

步骤S308，将音频数据的时间戳和视频数据的时间戳同步的数量，与即时通信数据的时间戳的总数的比值，确定为第三评价结果。

上述音频数据的时间戳和视频数据的时间戳同步，也可以理解为音视频协同。在具体实现时，音频数据和视频数据会分成一个一个数据包进行发送，且每个数据包均携带有一个时间戳，根据视频数据包和音频数据包对应的时间戳即可知道音频数据和视频数据是否同步。

步骤S310，基于第一评价结果、第二评价结果和第三评价结果，确定即时通信数据的数据质量参数。

在具体实现时，可以将第一评价结果、第二评价结果和第三评价结果的均值，确定为数据质量参数；也可以将第一评价结果、第二评价结果和第三评价结果与对应权重的乘积的和，确定为数据质量参数。

步骤S312，基于网络质量参数和数据质量参数，确定即时通信质量的评价结果。

在一些实施例中，可以将数据质量参数中第一评价结果称为音频质量评价结果，将第二评价结果称为视频质量评价结果，将第三评价结果称为音视频协同质量评价结果，从而将即时通信质量的评价结果PQ表示为：

PQ＝w1*NQ+w2*VQ+w3*AQ+w4*AVQ。

其中，w1、w2、w3和w4分别表示网络质量参数NQ、视频质量评价结果VQ、音频质量评价结果AQ和音视频协同质量评价结果AVQ对应的权重。在具体实现时，每个权重的取值范围为0-1，且权重和为1，权重大小可根据实际业务需要进行设置。比如，在教育直播场景中，音频质量评价结果对即时通信质量的影响较大，可适当增大音频质量评价结果在即时通信质量中的比重，w1、w2、w3、w4取值为0.2、0.2、0.4、0.2；在云游戏场景中，网络质量参数、视频质量评价结果、音频质量评价结果和音视频协同质量评价结果对于即时通信质量的影响都较大，则w1、w2、w3、w4取值为0.25、0.25、0.25、0.25。

上述即时通信质量的评价方法，该方式综合考虑网络、视频、音频、音视频协同对即时通信质量的影响，相比仅采用视频画面本身来度量通话感知质量的方法，该方式可以更好的对网络、音频等问题进行综合评价，从而提高即时通信质量评价的准确性。

针对于上述即时通信质量的评价方法的实施例，本发明实施例提供了一种即时通信质量的评价装置，如图4所示，该装置包括：

数据获取模块40，用于获取即时通信数据；其中，该即时通信数据包括：获取的指定时间段内的视频数据和音频数据。

质量参数确定模块41，用于根据即时通信数据，确定传输即时通信数据时，传输网络的网络质量参数，确定即时通信数据的数据质量参数。

评价结果确定模块42，用于基于网络质量参数和数据质量参数，确定即时通信质量的评价结果。

上述即时通信质量的评价装置，首先通过电子设备获取即时通信数据；该即时通信数据包括：获取的指定时间段内的视频数据和音频数据；进而根据即时通信数据，确定传输即时通信数据时，传输网络的网络质量参数，确定即时通信数据的数据质量参数；然后基于网络质量参数和数据质量参数，确定即时通信质量的评价结果。该方式综合考虑了传输即时通信数据的网络质量参数和即时通信数据的数据质量参数对即时通信质量的影响，相对于采用离线视频中仅通过视频画面进行质量评价的方式，该方式可以更好的对即时通信的网络和音视频等问题进行综合评价，提高了即时通信质量的质量评价的准确度。

进一步地，上述质量参数确定模块41，包括：频率确定模块，用于基于即时通信数据包含的视频数据和音频数据，确定传输即时通信数据时，传输网络的音频卡顿频率、视频卡顿频率和端到端网络延时率；参数确定模块，用于根据音频卡顿频率、视频卡顿频率和端到端网络延时率，确定网络质量参数。

具体地，上述即时通信数据还包括音频数据和视频数据组成的多个数据包中每个数据包的传输时长；上述频率确定模块，用于：将音频数据卡顿的总时长与音频数据的时长的比值，确定为音频卡顿频率；其中，该音频数据卡顿的总时长由累计达到第一时长未接收音频的时长确定；将视频数据卡顿的总时长与视频数据的时长的比值，确定为视频卡顿频率；其中，视频数据卡顿的总时长由累计达到第二时长未接收到视频的时长确定；将多个数据包中传输时长未超过第三时长的数据包的总时长，与多个数据包的总时长的比值，确定为端到端网络延时率。

在具体实现时，上述参数确定模块，用于：确定音频卡顿频率与第一权重的第一乘积；确定视频卡顿频率与第二权重的第二乘积；确定端到端网络延时率与第三权重的第三乘积；将第一乘积、第二乘积和第三乘积相加，得到网络质量参数。

进一步地，上述质量参数确定模块41，还用于：对即时通信数据包含的音频数据进行质量评价，得到第一评价结果；对即时通信数据包含的视频数据进行质量评价，得到第二评价结果；将音频数据的时间戳和视频数据的时间戳同步的数量，与即时通信数据的时间戳的总数的比值，确定为第三评价结果；基于第一评价结果、第二评价结果和第三评价结果，确定即时通信数据的数据质量参数。

在具体实现时，上述质量参数确定模块41，还用于：将音频数据输入至预先训练完成的音频质量评价模型中，得到第一评价结果；将视频数据输入至预先训练完成的视频质量评价模型中，得到第二评价结果。

进一步地，上述评价结果确定模块42，用于：将网络质量参数与第四权重相乘，得到第四乘积；将数据质量参数与第五权重相乘，得到第五乘积；将第四乘积与第五乘积的加和，确定为即时通信质量的评价结果。

本发明实施例所提供的即时通信质量的评价装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

本发明实施例还提供了一种电子设备，如图5所示，该电子设备包括处理器101和存储器100，该存储器100存储有能够被处理器101执行的机器可执行指令，该处理器101执行机器可执行指令以实现上述即时通信质量的评价方法。

进一步地，图5所示的电子设备还包括总线102和通信接口103，处理器101、通信接口103和存储器100通过总线102连接。

其中，存储器100可能包含高速随机存取存储器(RAM，RandomAccessMemory)，也可能还包括非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100，处理器101读取存储器100中的信息，结合其硬件完成前述实施例的方法的步骤。

本发明实施例还提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，该机器可执行指令促使处理器实现上述即时通信质量的评价方法，具体实现可参见方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (7)

1.一种即时通信质量的评价方法，其特征在于，所述方法包括：

获取即时通信数据；其中，所述即时通信数据包括：获取的指定时间段内的视频数据和音频数据；

根据所述即时通信数据，确定传输所述即时通信数据时，传输网络的网络质量参数，确定所述即时通信数据的数据质量参数；

基于所述网络质量参数和所述数据质量参数，确定即时通信质量的评价结果；

其中，所述根据所述即时通信数据，确定传输所述即时通信数据时，传输网络的网络质量参数的步骤，包括：

基于所述即时通信数据包含的视频数据和音频数据，确定传输所述即时通信数据时，传输网络的音频卡顿频率、视频卡顿频率和端到端网络延时率；

根据所述音频卡顿频率、所述视频卡顿频率和所述端到端网络延时率，确定所述网络质量参数；

根据所述即时通信数据，确定所述即时通信数据的数据质量参数的步骤，包括：

对所述即时通信数据包含的音频数据进行质量评价，得到第一评价结果；对所述即时通信数据包含的视频数据进行质量评价，得到第二评价结果；

将所述音频数据的时间戳和所述视频数据的时间戳同步的数量，与所述即时通信数据的时间戳的总数的比值，确定为第三评价结果；

基于所述第一评价结果、所述第二评价结果和所述第三评价结果，确定所述即时通信数据的数据质量参数；

其中，所述根据所述音频卡顿频率、所述视频卡顿频率和所述端到端网络延时率，确定所述网络质量参数的步骤，包括：

确定所述音频卡顿频率与第一权重的第一乘积；确定所述视频卡顿频率与第二权重的第二乘积；确定所述端到端网络延时率与第三权重的第三乘积；

将所述第一乘积、所述第二乘积和所述第三乘积相加，得到所述网络质量参数。

2.根据权利要求1所述的方法，其特征在于，所述即时通信数据还包括所述音频数据和所述视频数据组成的多个数据包中每个所述数据包的传输时长；

所述基于所述即时通信数据包含的视频数据和音频数据，确定传输所述即时通信数据时，传输网络的音频卡顿频率、视频卡顿频率和端到端网络延时率的步骤，包括：

将所述音频数据卡顿的总时长与所述音频数据的时长的比值，确定为所述音频卡顿频率；其中，所述音频数据卡顿的总时长由累计达到第一时长未接收音频的时长确定；

将所述视频数据卡顿的总时长与所述视频数据的时长的比值，确定为所述视频卡顿频率；其中，所述视频数据卡顿的总时长由累计达到第二时长未接收到视频的时长确定；

将所述多个数据包中传输时长未超过第三时长的数据包的总时长，与所述多个数据包的总时长的比值，确定为所述端到端网络延时率。

3.根据权利要求1所述的方法，其特征在于，所述对所述即时通信数据包含的音频数据进行质量评价，得到第一评价结果；对所述即时通信数据包含的视频数据进行质量评价，得到第二评价结果的步骤，包括：

将所述音频数据输入至预先训练完成的音频质量评价模型中，得到所述第一评价结果；

将所述视频数据输入至预先训练完成的视频质量评价模型中，得到所述第二评价结果。

4.根据权利要求1所述的方法，其特征在于，所述基于所述网络质量参数和所述数据质量参数，确定即时通信质量的评价结果的步骤，包括：

将所述网络质量参数与第四权重相乘，得到第四乘积；将所述数据质量参数与第五权重相乘，得到第五乘积；

将所述第四乘积与所述第五乘积的加和，确定为即时通信质量的评价结果。

5.一种即时通信质量的评价装置，其特征在于，所述装置包括：

数据获取模块，用于获取即时通信数据；其中，所述即时通信数据包括：获取的指定时间段内的视频数据和音频数据；

质量参数确定模块，用于根据所述即时通信数据，确定传输所述即时通信数据时，传输网络的网络质量参数，确定所述即时通信数据的数据质量参数；

评价结果确定模块，用于基于所述网络质量参数和所述数据质量参数，确定即时通信质量的评价结果；

其中，所述质量参数确定模块，还用于：

基于所述即时通信数据包含的视频数据和音频数据，确定传输所述即时通信数据时，传输网络的音频卡顿频率、视频卡顿频率和端到端网络延时率；

根据所述音频卡顿频率、所述视频卡顿频率和所述端到端网络延时率，确定所述网络质量参数；

以及，

对所述即时通信数据包含的音频数据进行质量评价，得到第一评价结果；对所述即时通信数据包含的视频数据进行质量评价，得到第二评价结果；

将所述音频数据的时间戳和所述视频数据的时间戳同步的数量，与所述即时通信数据的时间戳的总数的比值，确定为第三评价结果；

基于所述第一评价结果、所述第二评价结果和所述第三评价结果，确定所述即时通信数据的数据质量参数；

其中，所述质量参数确定模块中，所述根据所述音频卡顿频率、所述视频卡顿频率和所述端到端网络延时率，确定所述网络质量参数的步骤，包括：

确定所述音频卡顿频率与第一权重的第一乘积；确定所述视频卡顿频率与第二权重的第二乘积；确定所述端到端网络延时率与第三权重的第三乘积；将所述第一乘积、所述第二乘积和所述第三乘积相加，得到所述网络质量参数。

6.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1至4任一项所述的即时通信质量的评价方法。

7.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使处理器实现权利要求1至4任一项所述的即时通信质量的评价方法。

Images