CN110913213A - 视频质量评测处理的方法、装置及系统 - Google Patents

Abstract

本申请公开了一种视频质量评测处理的方法、装置及系统，属于网络技术领域。所述方法包括：向终端发送视频质量评测通知；持续接收所述终端发送的直播视频流；接收终端发送的在接收到所述视频质量评测通知后的预设时长内抓取的未编码视频帧和每个未编码视频帧对应的标识信息；在所述直播视频流中，获取每个标识信息对应的编码视频帧；基于每个标识信息对应的编码视频帧和未编码视频帧，进行视频质量评测处理。通过本申请实施例提供的方法，保证编码视频帧和未编码视频帧一一对应，再对视频质量进行评测处理，提高了视频质量评测结果的准确性。

Description

视频质量评测处理的方法、装置及系统

技术领域

本申请涉及网络技术领域，特别涉及一种视频质量评测处理的方法、装置及系统。

背景技术

视频质量评测是保障网络视频服务质量的关键技术之一，通过视频质量评测可以对直播视频的预处理、编码、传输以及解码等环节进行监控。可以采用有参考视频质量评测对视频质量进行评测。其中，有参考视频质量评测是指把未编码视频作为参考视频，与直播视频流的每一对应帧中的每一像素之间进行比较，得出视频质量。

相关技术中，有参考视频质量评测是假定编码视频帧与未编码视频帧已对齐条件下进行的，其中，对齐条件是指编码视频帧与未编码视频帧一一对应。例如，可以使用命令行工具，将未编码视频帧的视频数据，经过编码器编码，获得编码后的视频帧的视频数据，再将编码后的视频帧的视频数据与未编码视频帧的视频数据，一起输入到有参考视频质量评测算法中进行视频质量评测处理。在实际的直播视频流传输过程中，直播视频流中的编码视频帧并不总是和未编码视频对齐，导致视频质量评测结果的不准确。因此，亟需一种能够解决视频质量评测结果不准确的视频质量评测处理的方法。

发明内容

本申请实施例提供了一种视频质量评测处理的方法、装置及系统,能够解决视频质量评测结果不准确的问题。所述技术方案如下：

一方面，提供了一种视频质量评测处理的方法，所述方法包括：

向终端发送视频质量评测通知；

持续接收所述终端发送的直播视频流；

接收终端发送的在接收到所述视频质量评测通知后的预设时长内抓取的未编码视频帧和每个未编码视频帧对应的标识信息；

在所述直播视频流中，获取每个标识信息对应的编码视频帧；

基于每个标识信息对应的编码视频帧和未编码视频帧，进行视频质量评测处理。

在一种可能实现方式中，所述接收终端发送的在接收到所述视频质量评测通知后的预设时长内抓取的未编码视频帧和每个未编码视频帧对应的标识信息，包括：

接收终端通过丢包重传机制发送的文件，其中，所述文件中包括所述终端在接收到所述视频质量评测通知后的预设时长内抓取的未编码视频帧和每个未编码视频帧对应的标识信息。

一方面，提供了一种视频质量评测处理的方法，所述方法包括：

在直播过程中，接收服务器发送的视频质量评测通知；

持续向所述服务器发送直播视频流；

抓取在接收到所述视频质量评测通知后的预设时长内拍摄的未编码视频帧和每个未编码视频帧对应的标识信息；

将抓取的未编码视频帧和每个未编码视频帧对应的标识信息，发送至所述服务器。

在一种可能实现方式中，所述抓取在接收到所述视频质量评测通知后的预设时长内拍摄的未编码视频帧和每个未编码视频帧对应的标识信息，包括：

按照预设的抓取时间间隔，抓取在接收到所述视频质量评测通知后的预设时长内拍摄的未编码视频帧和每个未编码视频帧对应的标识信息；或者，

抓取在接收到所述视频质量评测通知后的预设时长内连续拍摄的未编码视频帧和每个未编码视频帧对应的标识信息。

在一种可能实现方式中，所述将抓取的未编码视频帧和每个未编码视频帧对应的标识信息，发送至所述服务器，包括：

将抓取的未编码视频帧和每个未编码视频帧对应的标识信息，打包成文件；

通过丢包重传机制，将所述文件发送至所述服务器。

在一种可能实现方式中，所述文件的文件名包括开始抓取未编码视频帧的时间和本地登录账户的账户标识。

另一方面，提供了一种视频质量评测处理的装置，所述装置包括：

发送模块，用于向终端发送视频质量评测通知；

第一接收模块，用于持续接收所述终端发送的直播视频流；

第二接收模块，用于接收终端发送的在接收到所述视频质量评测通知后的预设时长内抓取的未编码视频帧和每个未编码视频帧对应的标识信息；

获取模块，用于在所述直播视频流中，获取每个标识信息对应的编码视频帧；

处理模块，用于基于每个标识信息对应的编码视频帧和未编码视频帧，进行视频质量评测处理。

在一种可能实现方式中，所述第二接收模块用于：

接收终端通过丢包重传机制发送的文件，其中，所述文件中包括所述终端在接收到所述视频质量评测通知后的预设时长内抓取的未编码视频帧和每个未编码视频帧对应的标识信息。

另一方面，提供了一种视频质量评测处理的装置，所述装置包括：

接收模块，用于在直播过程中，接收服务器发送的视频质量评测通知；

第一发送模块，用于持续向所述服务器发送直播视频流；

抓取模块，用于抓取在接收到所述视频质量评测通知后的预设时长内拍摄的未编码视频帧和每个未编码视频帧对应的标识信息；

第二发送模块，用于将抓取的未编码视频帧和每个未编码视频帧对应的标识信息，发送至所述服务器。

在一种可能实现方式中，所述抓取模块用于：

用于按照预设的抓取时间间隔，抓取在接收到所述视频质量评测通知后的预设时长内拍摄的未编码视频帧和每个未编码视频帧对应的标识信息；或者，

用于抓取在接收到所述视频质量评测通知后的预设时长内连续拍摄的未编码视频帧和每个未编码视频帧对应的标识信息。

在一种可能实现方式中，所述第二发送模块用于：

将抓取的未编码视频帧和每个未编码视频帧对应的标识信息，打包成文件；

通过丢包重传机制，将所述文件发送至所述服务器。

在一种可能实现方式中，所述文件的文件名包括开始抓取未编码视频帧的时间和本地登录账户的账户标识。

再一方面，提供了一种视频质量评测处理的系统，所述系统包括服务器和终端，其中：

所述服务器，用于向所述终端发送视频质量评测通知；持续接收所述终端发送的直播视频流；接收终端发送的在接收到所述视频质量评测通知后的预设时长内抓取的未编码视频帧和每个未编码视频帧对应的标识信息；在所述直播视频流中，获取每个标识信息对应的编码视频帧；基于每个标识信息对应的编码视频帧和未编码视频帧，进行视频质量评测处理；

所述终端，用于在直播过程中，接收所述服务器发送的视频质量评测通知；持续向所述服务器发送直播视频流；抓取在接收到所述视频质量评测通知后的预设时长内拍摄的未编码视频帧和每个未编码视频帧对应的标识信息；将抓取的未编码视频帧和每个未编码视频帧对应的标识信息，发送至所述服务器。

再一方面，提供了一种计算机设备，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条指令，所述指令由所述一个或多个处理器加载并执行以实现所述视频质量评测处理的方法所执行的操作。

再一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现所述视频质量评测处理的方法所执行的操作。

本申请实施例提供的技术方案带来的有益效果是：服务器向终端发送视频质量评测通知，持续接收该终端发送的直播视频流，接收终端发送的在接收到该视频质量评测通知后的预设时长内抓取的未编码视频帧和每个未编码视频帧对应的标识信息，在该直播视频流中，获取每个标识信息对应的编码视频帧，基于每个标识信息对应的编码视频帧和未编码视频帧，进行视频质量评测处理。通过本申请实施例提供的方法，保证编码视频帧和未编码视频帧一一对应，再对视频质量进行评测处理，提高了视频质量评测结果的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种视频质量评测处理的方法的实施环境示意图；

图2是本申请实施例提供的一种视频质量评测处理的方法中服务器侧的流程图；

图3是本申请实施例提供的一种视频质量评测处理的方法中终端侧的流程图；

图4是本申请实施例提供的一种视频质量评测处理的方法中终端和服务器之间交互的流程图；

图5是本申请实施例提供的一种未编码视频帧和编码视频帧的示意图；

图6是本申请实施例提供的一种未编码视频帧和编码视频帧一一对应的示意图；

图7是本申请实施例提供的一种视频质量评测处理的装置结构示意图；

图8是本申请实施例提供的一种视频质量评测处理的装置结构示意图；

图9是本申请实施例提供的一种终端的结构示意图；

图10是本申请实施例提供的一种服务器的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

图1是本申请实施例提供的一种视频质量评测处理的方法的实施环境示意图。参见图1，该实施环境包括：终端101和服务器102。本申请提供的视频质量评测处理的方法可以应用在视频直播的场景下，具体的，该终端101可称为直播服务提供端，该服务器102可称为直播服务器。

直播服务提供端可以通过无线网络或有线网络与直播服务器建立通信。上述直播服务提供端可以是智能手机、台式计算机、平板电脑和膝上型便携计算机中的至少一种。直播服务提供端可以具备摄像头和扬声器等部件，也可以安装和运行有支持直播服务的应用程序。该应用程序可以是视频观看程序、社交应用程序、即时通讯应用程序、信息分享程序中的任意一种。

终端101可以泛指多个终端101中的一个，本实施例仅以一个终端101来举例说明。本领域技术人员可以知晓，上述终端101的数量可以更多或更少。比如上述终端101可以仅为几个，或者上述终端101为几十个或几百个，或者更多数量，本申请实施例对终端101的数量和设备类型不加以限定。

服务器102可以是终端101内安装和运行上述应用程序的后台直播服务器，具体的，该直播服务器可用于将直播服务提供端发送至该直播服务器102中的直播视频流，进行视频质量评测处理，为用户在观看直播视频时提供更好的体验。

该服务器102可以是一个单独的服务器也可以是一个服务器组，如果是单独的服务器，该服务器102可以负责下述方案中的所有处理，如果是服务器组，服务器组中的不同服务器分别可以负责下述方案中的不同处理，具体的处理分配情况可以由技术人员根据实际需求任意设置，此处不再赘述。

图2是本申请实施例提供的一种视频质量评测处理的方法中服务器侧的流程图。参见图2，该实施例包括：

201、向终端发送视频质量评测通知。

202、持续接收该终端发送的直播视频流。

203、接收终端发送的在接收到该视频质量评测通知后的预设时长内抓取的未编码视频帧和每个未编码视频帧对应的标识信息。

204、在该直播视频流中，获取每个标识信息对应的编码视频帧。

205、基于每个标识信息对应的编码视频帧和未编码视频帧，进行视频质量评测处理。

在一种可能实现方式中，该接收终端发送的在接收到该视频质量评测通知后的预设时长内抓取的未编码视频帧和每个未编码视频帧对应的标识信息，包括：

接收终端通过丢包重传机制发送的文件，其中，该文件中包括该终端在接收到该视频质量评测通知后的预设时长内抓取的未编码视频帧和每个未编码视频帧对应的标识信息。

上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。

图3是本申请实施例提供的一种视频质量评测处理的方法中终端侧的流程图。参见图3，该实施例包括：

301、在直播过程中，接收服务器发送的视频质量评测通知。

302、持续向该服务器发送直播视频流。

303、抓取在接收到该视频质量评测通知后的预设时长内拍摄的未编码视频帧和每个未编码视频帧对应的标识信息。

304、将抓取的未编码视频帧和每个未编码视频帧对应的标识信息，发送至该服务器。

在一种可能实现方式中，该抓取在接收到该视频质量评测通知后的预设时长内拍摄的未编码视频帧和每个未编码视频帧对应的标识信息，包括：

按照预设的抓取时间间隔，抓取在接收到该视频质量评测通知后的预设时长内拍摄的未编码视频帧和每个未编码视频帧对应的标识信息；或者，

抓取在接收到该视频质量评测通知后的预设时长内连续拍摄的未编码视频帧和每个未编码视频帧对应的标识信息。

在一种可能实现方式中，该将抓取的未编码视频帧和每个未编码视频帧对应的标识信息，发送至该服务器，包括：

将抓取的未编码视频帧和每个未编码视频帧对应的标识信息，打包成文件；

通过丢包重传机制，将该文件发送至该服务器。

在一种可能实现方式中，该文件的文件名包括开始抓取未编码视频帧的时间和本地登录账户的账户标识。

上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。

图4是本申请实施例提供的一种视频质量评测处理的方法中终端和服务器之间交互的流程图。参见图4，该实施例包括：

401、服务器向终端发送视频质量评测通知。

其中，影响视频质量的因素有很多种，在视频的预处理、编码、传输以及解码等过程中，都有可能存在着影响视频质量的因素。例如，视频在传输的过程中，由于网络拥塞造成的视频数据包丢包可能使得某些视频帧无法解码，从而导致解码后的视频不清晰甚至是出现马赛克等现象。视频传输时间的延迟会造成视频的抖动，即视频画面非正常播放，严重影响了视频质量。为给用户提供更好的视频观看体验，可以通过视频质量评测处理的方法对视频质量进行评测。视频质量评测的种类包括很多种，可以分为全参考视频质量评测、有参考视频质量评测以及无参考视频质量评测。全参考视频质量评测使用完整的未编码视频作为参考进行评测，而有参考视频质量评测使用部分未编码视频特征作为参考进行评测，无参考则仅仅使用用户得到的实际视频数据来评测视频质量。

在实施中，技术人员可以预先设置视频质量评测的相关程序，使服务器执行向终端发送视频质量评测通知的动作，技术人员也可以直接手动操作，使服务器执行向终端发送视频质量评测通知的动作。

在本申请实施例中，终端上可以安装和运行有支持直播服务的直播应用程序，用以实现视频直播功能。

例如，直播服务器向直播服务提供端发送携带有视频质量评测指令的通知。

402、在直播过程中，终端接收服务器发送的视频质量评测通知。

例如，在主播直播过程中，直播服务提供端会接收到直播服务器发送的视频质量评测通知。

403、终端持续向该服务器发送直播视频流。

其中，直播视频流是指主播拍摄的直播视频中的音视频数据，通过流传输协议进行封装，变成流数据，发送给服务器。终端向服务器发送直播视频流的过程可称为推流。

在实施中，终端在直播过程中会持续向该服务器发送直播视频流，终端对主播持续拍摄的直播视频进行采集，即转换为二进制的格式，将直播视频的视频采集成YUV420P(一种图像的平面格式，“Y”表示视频的明亮度；“U”和“V”表示视频的色度，用于指定像素的颜色)格式，将直播视频的音频采集成PCM(Pulse Code Modulation，脉冲编码调制，一种数字通信的编码方式)格式。终端对主播持续拍摄的直播视频进行采集后，可对其进行处理。例如，可以进行滤镜美颜、自定义打图标等处理。然后，可以使用H.264(一种数字视频压缩格式)等编码标准对该直播视频的视频进行压缩编码，使用AAC(Advanced Audio Coding，一种高级音频编码格式)对该直播视频的音频进行压缩编码，以去掉重复的空间区域等冗余信息。而后将压缩编码后的H.264和AAC封装在一起，可以打上时间戳，以避免音频和视频画面不同步。最终，该直播视频变成直播视频流，发送给服务器。其中，时间戳是指能表示一份数据在某个特定时间之前已经存在的、完整的以及可验证的数据，通常是一个字符序列，可唯一的标识某一刻的时间。

404、服务器持续接收该终端发送的直播视频流。

例如，在直播过程中，直播服务提供端会持续向直播服务器发送直播视频流前，同时，直播服务器也会持续接收直播服务提供端发送的直播视频流。

405、终端抓取在接收到该视频质量评测通知后的预设时长内拍摄的未编码视频帧和每个未编码视频帧对应的标识信息。

其中，预设时长可以是一段时间内，也可以是一段时间内的预设时间间隔，本申请实施例对此不做限定。未编码视频帧是指主播拍摄的原始直播视频中的视频帧，即原始未经处理的视频帧。标识信息可以指未编码视频帧的UUID(Universally UniqueIdentifier，通用唯一标识码)和SID(视频帧单元序列号)等。

在实施中，终端接收到视频质量评测通知后，根据预设时长和当前未编码视频帧的帧率，即按照一定的周期去抓取未编码视频帧，以便能够覆盖未编码视频中更多的场景变化内容。通过以下公式，计算需要抓取的未编码视频帧的帧数。

markFrame＝FPS*T

其中，markFrame表示未编码视频帧的帧数，FPS(Frames Per Second)表示每秒中填充视频图像的帧数，T表示为预设时长。

例如，可以将预设时长设置为3秒，当前未编码视频帧的帧率为30帧/秒，如果需要抓取的未编码视频帧总数为100帧，对于需要抓取的这100帧未编码视频帧，总共需要将近4秒的时间，连续抓取的时长仅有差不多4秒的时间，在将近4秒的时间内，未编码视频帧中场景变化内容较少，无法覆盖更多的场景变化内容。如果每秒抓取1帧，对于需要抓取的这100帧未编码视频帧，总共需要100秒，在这100秒内，未编码视频帧中场景变化内容较多，可以覆盖更多的场景变化内容。

在一种可能实现方式中，终端可以按照预设的抓取时间间隔，抓取在接收到该视频质量评测通知后的预设时长内拍摄的未编码视频帧和每个未编码视频帧对应的标识信息。

其中，该时间间隔在该预设时长的范围内。该时间间隔可以是5分钟，也可以是10分钟，本申请实施例对此不做限制。

例如，预设时长可以是1小时，预设的时间间隔可以是5分钟。终端在接收到该视频质量评测通知后的1小时内，每隔5分钟抓取拍摄的未编码视频帧和每个未编码视频帧对应的标识信息。

在另一种可能实现方式中，终端抓取在接收到该视频质量评测通知后的预设时长内连续拍摄的未编码视频帧和每个未编码视频帧对应的标识信息。

在实施中，终端对抓取到的每个未编码视频帧进行抓取标识信息的过程具体为：首先，在未编码视频帧描述补充信息视频帧数据的结构体中，以全局唯一生成的方式，记录每个未编码视频帧的UUID，该UUID可由时间戳、用户特征、随机数进行数字拼接，其中，时间戳可以由Unix时间戳(一种操作系统的时间戳)组成，例如，Unix时间戳可以为1514736000000，则它所对应的时间点为2018-01-01-0-0-0。用户特征是指主播在一段时间内的操作信息。随机数是依赖于终端和时间唯一编码生成的一个数值，以确保未编码视频帧在时间和空间上的唯一性。在未编码视频帧描述补充信息视频帧数据的结构体中，记录每个未编码视频帧的SID，其中，可以设置SID的初始值为零，每增加一个未编码视频帧，则SID自动增加一。然后，在对视频进行编码的过程中，可以将描述补充信息视频帧数据的结构体中记录的UUID和SID标识信息转换到SEI(附加增强信息)里存储，UUID和SID通过SEI与每个编码视频帧绑定在了一起。由于SEI与每个编码视频帧相伴随，即SEI与每个编码视频帧是一一对应的关系，若编码视频在编码、传输以及解码等环节中，发生视频帧丢失，则相伴随的SEI会被主动丢弃，同时存储在SEI里面的UUID和SID也会被主动丢弃。

其中，SEI可以对视频帧的相关信息进行辅助性的描述，例如，SEI可以描述视频帧所用编码器的具体参数信息、视频版权信息或视频帧内容生成过程中的剪辑时间信息等。

需要说明的是，UUID可以携带有上述提到的时间戳、用户特征、随机数信息外，SID可以携带有上述提到的视频帧单元序列号信息。本申请实施例提供的UUID和SID标识信息中还可以携带有未编码视频帧的标记开始时间和持续时长、直播房间号以及主播直播过程中所用的摄像头等硬件信息。

在一种可能实现方式中，将描述补充信息视频帧数据的结构体中记录的UUID和SID标识信息转换到SEI里存储，具体标记字段的过程可以为：SEI帧结构主要分为信息载荷前缀、信息载荷类型以及信息载荷尺寸三部分，其中，信息载荷是指视频帧结构中用于承载各种视频数据信息的部分。在信息载荷前缀中，第0-2位字段表示视频数据的时域信息，第3-8位字段保留给将来使用，第9-14位字段表示当前网络抽象层单元的类型，其中，网络抽象层单元类型是H.264编码格式的一部分。第15位字段是禁止位。在信息载荷中包括有效载荷，其中有效载荷用于承载有效视频数据信息的部分。在该有效载荷中，前缀主要由业务报文构成，在业务报文中可以存储着直播视频的相关信息，例如，在该业务报文中主要存储着四个字段，前两个字段用于存储UUID和SID标识信息，后两个字段分别用于存储描述代表主播身份的账号信息和用于存储记录未编码视频帧被标识的起始时间信息。

406、终端将抓取的未编码视频帧和每个未编码视频帧对应的标识信息，发送至该服务器。

在实施中,终端可以将抓取的未编码视频帧和每个未编码视频帧对应的标识信息，打包成文件，通过丢包重传机制，将该文件发送至该服务器。

其中，该文件是以.YUV(一种视频颜色编码方式)格式将抓取到的未编码视频帧和每个未编码视频帧对应的标识信息保存下来。需要特别说明的是，该文件中仅仅保存视频，不对音频进行保存。丢包重传机制是指由于网路不稳定等因素干扰下，数据在传输的过程中会发生数据包丢失，此时数据接受方可以向服务器发出请求，请求服务器重新发送指定的数据包。

例如，如果作为接收方的服务器没有成功接收到终端发送的所以视频数据包，即在传输的过程中，视频数据包会发生丢失，则服务器不会向终端回复一个ACK(Acknowledgecharacter，一种表示发送来的数据已确认接收的确认字符)数据，终端未接收到服务器发送的ACK数据时，则重新传输丢失的那个视频数据包。

在实施中，该文件的文件名包括开始抓取未编码视频帧的时间和本地登录账户的账户标识。

其中，本地登录账户的账户标识是指主播拍摄直播视频时所登录的账号。

在实施中，该文件的文件名还可以包括抓取未编码视频帧的持续时长、主播拍摄直播视频的直播房间号以及主播拍摄直播视频过程中所用的摄像头等硬件信息等。

407、服务器接收终端发送的在接收到该视频质量评测通知后的预设时长内抓取的未编码视频帧和每个未编码视频帧对应的标识信息。

在实施中，接收终端通过丢包重传机制发送的文件，其中，该文件中包括该终端在接收到该视频质量评测通知后的预设时长内抓取的未编码视频帧和每个未编码视频帧对应的标识信息。

例如，服务器接收到通过丢包重传机制发送的文件，在该文件中可以包括终端在接收到视频质量评测通知后的1小时内抓取的未编码视频帧和每个未编码视频帧对应的UUID和SID标识信息。

408、在该直播视频流中，服务器获取每个标识信息对应的编码视频帧。

在实施中，服务器通过UUID标识信息在直播视频流中找到UUID标识信息对应的编码视频序列，然后通过SID标识信息在该编码视频序列中找到SID标识信息对应的编码视频帧。

409、服务器基于每个标识信息对应的编码视频帧和未编码视频帧，进行视频质量评测处理。

在实施中，服务器将未编码视频帧的所在序列可记作∑P₀，将直播视频流的视频帧的所在序列可记作∑P₁，如图5所示，图5是本申请实施例提供的一种未编码视频帧和编码视频帧的示意图。根据获取的每个标识信息对应的未编码视频帧和编码视频帧，从∑P₀和∑P₁中将UUID和SID标识信息对应的未编码视频帧和编码视频帧分别提取出来，分别记作∑P′₀和∑P′₁。如图6所示，图6是本申请实施例提供的一种未编码视频帧和编码视频帧一一对应的示意图。提取出的未编码视频帧和编码视频帧是一一对应的，服务器可以将该未编码视频帧和编码视频帧输入到视频质量评测算法中，进行视频质量评测处理。

本申请实施例提供的技术方案带来的有益效果是：

向终端发送视频质量评测通知，持续接收该终端发送的直播视频流；接收终端发送的在接收到该视频质量评测通知后的预设时长内抓取的未编码视频帧和每个未编码视频帧对应的标识信息，在该直播视频流中，获取每个标识信息对应的编码视频帧，基于每个标识信息对应的编码视频帧和未编码视频帧，进行视频质量评测处理。通过本申请实施例提供的方法，保证编码视频帧和未编码视频帧一一对应，再对视频质量进行评测处理，提高了视频质量评测结果的准确性。

本申请实施例提供了一种视频质量评测处理的装置，该装置可以是上述实施例中的服务器，如图7所示，图7是一种视频质量评测处理的装置结构示意图，该装置包括：

发送模块701，用于向终端发送视频质量评测通知；

第一接收模块702，用于持续接收该终端发送的直播视频流；

第二接收模块703，用于接收终端发送的在接收到该视频质量评测通知后的预设时长内抓取的未编码视频帧和每个未编码视频帧对应的标识信息；

获取模块704，用于在该直播视频流中，获取每个标识信息对应的编码视频帧；

处理模块705，用于基于每个标识信息对应的编码视频帧和未编码视频帧，进行视频质量评测处理。

在一种可能实现方式中，该第二接收模块703用于：

接收终端通过丢包重传机制发送的文件，其中，该文件中包括该终端在接收到该视频质量评测通知后的预设时长内抓取的未编码视频帧和每个未编码视频帧对应的标识信息。

本申请实施例提供了一种视频质量评测处理的装置，该装置可以是上述实施例中的终端，如图8所示，图8是一种视频质量评测处理的装置结构示意图，该装置包括：

接收模块801，用于在直播过程中，接收服务器发送的视频质量评测通知；

第一发送模块802，用于持续向该服务器发送直播视频流；

抓取模块803，用于抓取在接收到该视频质量评测通知后的预设时长内拍摄的未编码视频帧和每个未编码视频帧对应的标识信息；

第二发送模块804，用于将抓取的未编码视频帧和每个未编码视频帧对应的标识信息，发送至该服务器。

在一种可能实现方式中，该抓取模块803用于：

用于按照预设的抓取时间间隔，抓取在接收到该视频质量评测通知后的预设时长内拍摄的未编码视频帧和每个未编码视频帧对应的标识信息；或者，

用于抓取在接收到该视频质量评测通知后的预设时长内连续拍摄的未编码视频帧和每个未编码视频帧对应的标识信息。

在一种可能实现方式中，该第二发送模块804用于：

将抓取的未编码视频帧和每个未编码视频帧对应的标识信息，打包成文件；

通过丢包重传机制，将该文件发送至该服务器。

在一种可能实现方式中，该文件的文件名包括开始抓取未编码视频帧的时间和本地登录账户的账户标识。

本申请实施例提供的技术方案带来的有益效果是：

向终端发送视频质量评测通知；持续接收该终端发送的直播视频流；接收终端发送的在接收到该视频质量评测通知后的预设时长内抓取的未编码视频帧和每个未编码视频帧对应的标识信息；在该直播视频流中，获取每个标识信息对应的编码视频帧；基于每个标识信息对应的编码视频帧和未编码视频帧，进行视频质量评测处理。通过本申请实施例提供的装置，保证编码视频帧和未编码视频帧一一对应，再对视频质量进行评测处理，提高了视频质量评测结果的准确性。

需要说明的是：上述实施例提供的视频质量评测处理的装置在视频质量评测处理时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的视频质量评测处理的装置与视频质量评测处理的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本申请实施例提供提供了一种视频质量评测处理的系统，该系统包括服务器和终端，其中：

该服务器，用于向该终端发送视频质量评测通知；持续接收该终端发送的直播视频流；接收终端发送的在接收到该视频质量评测通知后的预设时长内抓取的未编码视频帧和每个未编码视频帧对应的标识信息；在该直播视频流中，获取每个标识信息对应的编码视频帧；基于每个标识信息对应的编码视频帧和未编码视频帧，进行视频质量评测处理；

该终端，用于在直播过程中，接收该服务器发送的视频质量评测通知；持续向该服务器发送直播视频流；抓取在接收到该视频质量评测通知后的预设时长内拍摄的未编码视频帧和每个未编码视频帧对应的标识信息；将抓取的未编码视频帧和每个未编码视频帧对应的标识信息，发送至该服务器。

图9是本申请实施例提供的一种终端的结构示意图。该终端900可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端900还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端900包括有：处理器901和存储器902。

处理器901可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器901可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器901可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器901还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器902可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器902中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器901所执行以实现本申请中方法实施例提供的视频质量评测处理的方法。

在一些实施例中，终端900还可选包括有：外围设备接口903和至少一个外围设备。处理器901、存储器902和外围设备接口903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口903相连。具体地，外围设备包括：射频电路904、触摸显示屏905、摄像头906、音频电路907、定位组件908和电源909中的至少一种。

外围设备接口903可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器901和存储器902。在一些实施例中，处理器901、存储器902和外围设备接口903被集成在同一芯片或电路板上；在一些其他实施例中，处理器901、存储器902和外围设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路904用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路904包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路904可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路904还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏905用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时，显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时，显示屏905还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏905可以为一个，设置终端900的前面板；在另一些实施例中，显示屏905可以为至少两个，分别设置在终端900的不同表面或呈折叠设计；在再一些实施例中，显示屏905可以是柔性显示屏，设置在终端900的弯曲表面上或折叠面上。甚至，显示屏905还可以设置成非矩形的不规则图形，也即异形屏。显示屏905可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件906用于采集图像或视频。可选地，摄像头组件906包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器901进行处理，或者输入至射频电路904以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端900的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路907还可以包括耳机插孔。

定位组件908用于定位终端900的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件908可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。

电源909用于为终端900中的各个组件进行供电。电源909可以是交流电、直流电、一次性电池或可充电电池。当电源909包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端900还包括有一个或多个传感器910。该一个或多个传感器910包括但不限于：加速度传感器911、陀螺仪传感器912、压力传感器913、指纹传感器914、光学传感器915以及接近传感器916。

加速度传感器911可以检测以终端900建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器911可以用于检测重力加速度在三个坐标轴上的分量。处理器901可以根据加速度传感器911采集的重力加速度信号，控制触摸显示屏905以横向视图或纵向视图进行用户界面的显示。加速度传感器911还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器912可以检测终端900的机体方向及转动角度，陀螺仪传感器912可以与加速度传感器911协同采集用户对终端900的3D动作。处理器901根据陀螺仪传感器912采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器913可以设置在终端900的侧边框和/或触摸显示屏905的下层。当压力传感器913设置在终端900的侧边框时，可以检测用户对终端900的握持信号，由处理器901根据压力传感器913采集的握持信号进行左右手识别或快捷操作。当压力传感器913设置在触摸显示屏905的下层时，由处理器901根据用户对触摸显示屏905的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器914用于采集用户的指纹，由处理器901根据指纹传感器914采集到的指纹识别用户的身份，或者，由指纹传感器914根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器901授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器914可以被设置终端900的正面、背面或侧面。当终端900上设置有物理按键或厂商Logo时，指纹传感器914可以与物理按键或厂商Logo集成在一起。

光学传感器915用于采集环境光强度。在一个实施例中，处理器901可以根据光学传感器915采集的环境光强度，控制触摸显示屏905的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏905的显示亮度；当环境光强度较低时，调低触摸显示屏905的显示亮度。在另一个实施例中，处理器901还可以根据光学传感器915采集的环境光强度，动态调整摄像头组件906的拍摄参数。

接近传感器916，也称距离传感器，通常设置在终端900的前面板。接近传感器916用于采集用户与终端900的正面之间的距离。在一个实施例中，当接近传感器916检测到用户与终端900的正面之间的距离逐渐变小时，由处理器901控制触摸显示屏905从亮屏状态切换为息屏状态；当接近传感器916检测到用户与终端900的正面之间的距离逐渐变大时，由处理器901控制触摸显示屏905从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图9中示出的结构并不构成对终端900的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

图10是本申请实施例提供的一种服务器的结构示意图，该服务器1000可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processingunits，CPU)1001和一个或一个以上的存储器1002，其中，所述存储器1002中存储有至少一条指令，所述至少一条指令由所述处理器1001加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。

在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述实施例中视频质量评测处理的方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (13)

1.一种视频质量评测处理的方法，其特征在于，所述方法包括：

向终端发送视频质量评测通知；

持续接收所述终端发送的直播视频流；

接收终端发送的在接收到所述视频质量评测通知后的预设时长内抓取的未编码视频帧和每个未编码视频帧对应的标识信息；

在所述直播视频流中，获取每个标识信息对应的编码视频帧；

基于每个标识信息对应的编码视频帧和未编码视频帧，进行视频质量评测处理。

2.根据权利要求1所述的方法，其特征在于，所述接收终端发送的在接收到所述视频质量评测通知后的预设时长内抓取的未编码视频帧和每个未编码视频帧对应的标识信息，包括：

接收终端通过丢包重传机制发送的文件，其中，所述文件中包括所述终端在接收到所述视频质量评测通知后的预设时长内抓取的未编码视频帧和每个未编码视频帧对应的标识信息。

3.一种视频质量评测处理的方法，其特征在于，所述方法包括：

在直播过程中，接收服务器发送的视频质量评测通知；

持续向所述服务器发送直播视频流；

抓取在接收到所述视频质量评测通知后的预设时长内拍摄的未编码视频帧和每个未编码视频帧对应的标识信息；

将抓取的未编码视频帧和每个未编码视频帧对应的标识信息，发送至所述服务器。

4.根据权利要求3所述的方法，其特征在于，所述抓取在接收到所述视频质量评测通知后的预设时长内拍摄的未编码视频帧和每个未编码视频帧对应的标识信息，包括：

按照预设的抓取时间间隔，抓取在接收到所述视频质量评测通知后的预设时长内拍摄的未编码视频帧和每个未编码视频帧对应的标识信息；或者，

抓取在接收到所述视频质量评测通知后的预设时长内连续拍摄的未编码视频帧和每个未编码视频帧对应的标识信息。

5.根据权利要求3所述的方法，其特征在于，所述将抓取的未编码视频帧和每个未编码视频帧对应的标识信息，发送至所述服务器，包括：

将抓取的未编码视频帧和每个未编码视频帧对应的标识信息，打包成文件；

通过丢包重传机制，将所述文件发送至所述服务器。

6.根据权利要求5所述的方法，其特征在于，所述文件的文件名包括开始抓取未编码视频帧的时间和本地登录账户的账户标识。

7.一种视频质量评测处理的装置，其特征在于，所述装置包括：

发送模块，用于向终端发送视频质量评测通知；

第一接收模块，用于持续接收所述终端发送的直播视频流；

第二接收模块，用于接收终端发送的在接收到所述视频质量评测通知后的预设时长内抓取的未编码视频帧和每个未编码视频帧对应的标识信息；

获取模块，用于在所述直播视频流中，获取每个标识信息对应的编码视频帧；

处理模块，用于基于每个标识信息对应的编码视频帧和未编码视频帧，进行视频质量评测处理。

8.根据权利要求7所述的装置，其特征在于，所述第二接收模块用于：

接收终端通过丢包重传机制发送的文件，其中，所述文件中包括所述终端在接收到所述视频质量评测通知后的预设时长内抓取的未编码视频帧和每个未编码视频帧对应的标识信息。

9.一种视频质量评测处理的装置，其特征在于，所述装置包括：

接收模块，用于在直播过程中，接收服务器发送的视频质量评测通知；

第一发送模块，用于持续向所述服务器发送直播视频流；

抓取模块，用于抓取在接收到所述视频质量评测通知后的预设时长内拍摄的未编码视频帧和每个未编码视频帧对应的标识信息；

第二发送模块，用于将抓取的未编码视频帧和每个未编码视频帧对应的标识信息，发送至所述服务器。

10.根据权利要求9所述的装置，其特征在于，所述抓取模块用于：

用于按照预设的抓取时间间隔，抓取在接收到所述视频质量评测通知后的预设时长内拍摄的未编码视频帧和每个未编码视频帧对应的标识信息；或者，

用于抓取在接收到所述视频质量评测通知后的预设时长内连续拍摄的未编码视频帧和每个未编码视频帧对应的标识信息。

11.根据权利要求9所述的装置，其特征在于，所述第二发送模块用于：

将抓取的未编码视频帧和每个未编码视频帧对应的标识信息，打包成文件；

通过丢包重传机制，将所述文件发送至所述服务器。

12.根据权利要求11所述的装置，其特征在于，所述文件的文件名包括开始抓取未编码视频帧的时间和本地登录账户的账户标识。

13.一种视频质量评测处理的系统，其特征在于，所述系统包括服务器和终端，其中：

所述服务器，用于向所述终端发送视频质量评测通知；持续接收所述终端发送的直播视频流；接收终端发送的在接收到所述视频质量评测通知后的预设时长内抓取的未编码视频帧和每个未编码视频帧对应的标识信息；在所述直播视频流中，获取每个标识信息对应的编码视频帧；基于每个标识信息对应的编码视频帧和未编码视频帧，进行视频质量评测处理；

所述终端，用于在直播过程中，接收所述服务器发送的视频质量评测通知；持续向所述服务器发送直播视频流；抓取在接收到所述视频质量评测通知后的预设时长内拍摄的未编码视频帧和每个未编码视频帧对应的标识信息；将抓取的未编码视频帧和每个未编码视频帧对应的标识信息，发送至所述服务器。

Images