CN109413416A - 一种直播视频流转码质量监控的方法及装置 - Google Patents

Abstract

本发明公开了一种直播视频流转码质量监控的方法及装置，该方法包括获取直播的视频流，在直播的视频流的转码过程中，周期性地确定直播的视频流的PSNR均值，确定周期性地确定的视频流的PSNR均值是否大于预设阈值，若是，则发出告警信息。通过在直播的视频流的转码过程中，周期性地确定已经转码的视频流的PSNR均值，从而可以实现实时地输出视频流的PSNR均值，以实时地对视频转码质量进行监控，避免出现因转码结束才能输出PSNR均值，导致的视频质量问题无法及时处理的情况。

Description

一种直播视频流转码质量监控的方法及装置

技术领域

本发明实施例涉及直播视频技术领域，尤其涉及一种直播视频流转码质量监控的方法及装置。

背景技术

在直播时，一般推流上来的是一路具有相对较高分辨率和较高码率的视频流，而在拉流端往往是会有各种不同的分辨率、码率、帧率等需求，所以需要在服务端对源音视频流进行转码。

服务端对视频流进行转码时，一般使用FFMpeg(Fast Forward Moving PictureExperts Group，快速正向动态图像专家组)软件进行转码，使用的是X264视频编码器，可以对H264格式的视频流进行编码。

转码软件由于客户端需求及线上各种各样流兼容，会频繁更改代码升级版本，而由于一些代码会隐性地影响视频质量，靠人工手段较难测试出对视频的影响，目前X264视频编码器可以对视频流转码后的峰值信噪比(Peak Signal to Noise Ratio，PSNR)进行统计，来分析视频流转码的质量。但是X264视频编码器只能在转码结束后才进行PSNR信息输出，实时性较差，对重要直播场景不适用。

发明内容

本发明实施例提供一种直播视频流转码质量监控的方法及装置，用以实现实时地监控直播视频流的转码质量。

本发明实施例提供的一种直播视频流转码质量监控的方法，包括：

获取直播的视频流；

在所述直播的视频流的转码过程中，周期性地确定所述直播的视频流的PSNR均值；

确定所述周期性地确定的所述视频流的PSNR均值是否大于预设阈值，若是，则发出告警信息。

上述技术方案中，通过在直播的视频流的转码过程中，周期性地确定已经转码的视频流的PSNR均值，从而可以实现实时地输出视频流的PSNR均值，以实时地对视频转码质量进行监控，避免出现因转码结束才能输出PSNR均值，导致的视频质量问题无法及时处理的情况。

可选的，所述周期性地确定所述直播的视频流的PSNR均值，包括：

周期性地统计所述视频流编码的起始时刻到本周期的当前时刻的PSNR均值。

上述技术方案中，由于统计的是起始时刻到本周期的当前时刻的PSNR均值，可以准确的得到每个周期当前时刻的PSNR均值。

可选的，所述统计所述视频流编码的起始时刻到本周期的当前时刻的PSNR均值，包括：

统计所述视频流的各类型帧的编码起始时刻到本周期的当前时刻的PSNR累计值和各类型帧的编码起始时刻到本周期的当前时刻的时间累计值；

根据所述视频流的各类型帧的PSNR累计值和各类型帧的时间累计值，确定所述视频流编码的起始时刻到本周期的当前时刻的PSNR均值。

可选的，在所述周期性地确定所述直播的视频流的PSNR均值之后，还包括：

根据所述周期性地确定的所述视频流的PSNR均值，将所述直播的视频流的PSNR信息发送至统计服务器进行统计分析。

上述技术方案中，通过统计服务器对PSNR信息进行统计分析，可以实现对转码质量的原因进行排查。

可选的，所述PSNR信息包括视频流的PSNR均值、视频流的转码时间、视频流的转码输出域名和视频流的转码输出流名。

相应的，本发明实施例还提供了一种直播视频流转码质量监控的装置，该方法包括：

获取模块，用于获取直播的视频流；

处理模块，用于在所述直播的视频流的转码过程中，周期性地确定所述直播的视频流的PSNR均值；确定所述周期性地确定的所述视频流的PSNR均值是否大于预设阈值，若是，则发出告警信息。

可选的，所述处理模块具体用于：

周期性地统计所述视频流编码的起始时刻到本周期的当前时刻的PSNR均值。

可选的，所述处理模块具体用于：

统计所述视频流的各类型帧的编码起始时刻到本周期的当前时刻的PSNR累计值和各类型帧的编码起始时刻到本周期的当前时刻的时间累计值；

根据所述视频流的各类型帧的PSNR累计值和各类型帧的时间累计值，确定所述视频流编码的起始时刻到本周期的当前时刻的PSNR均值。

可选的，所述处理模块还用于：

在所述周期性地确定所述直播的视频流的PSNR均值之后，根据所述周期性地确定的所述视频流的PSNR均值，将所述直播的视频流的PSNR信息发送至统计服务器进行统计分析。

可选的，所述PSNR信息包括视频流的PSNR均值、视频流的转码时间、视频流的转码输出域名和视频流的转码输出流名。

相应的，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行上述直播视频流转码质量监控的方法。

相应的，本发明实施例还提供了一种计算设备，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述直播视频流转码质量监控的方法。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种系统架构的示意图；

图2为本发明实施例提供的一种直播客户端方法的流程示意图；

图3为本发明实施例提供的一种转码系统的示意图；

图4为本发明实施例提供的一种直播客户端装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1为本发明实施例提供的直播视频流转码质量监控的方法所适用的系统架构。参考图1所示，该系统架构可以为转码服务器100，包括处理器110、通信接口120和存储器130。

其中，通信接口120用于与直播客户端进行通信，从直播客户端拉流。

处理器110是服务器100的控制中心，利用各种接口和线路连接整个服务器100的各个部分，通过运行或执行存储在存储器130内的软件程序/或模块，以及调用存储在存储器130内的数据，执行服务器100的各种功能和处理数据。可选地，处理器110可以包括一个或多个处理单元。

存储器130可用于存储软件程序以及模块，处理器110通过运行存储在存储器130的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器130可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据业务处理所创建的数据等。此外，存储器130可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

需要说明的是，上述图1所示的结构仅是一种示例，本发明实施例对此不做限定。

基于上述描述，图2示例性的示出了本发明实施例提供的一种直播视频流转码质量监控的方法的流程，该流程可以由直播视频流转码质量监控的装置执行。

如图2所示，该流程具体包括：

步骤201，获取直播的视频流。

直播的视频流一般是由直播客户端先发送至cache服务器进行缓存，转码服务器会从cache服务器处进行拉流，来得到直播的视频流。当然，转码服务器也可以直接从直播客户端处拉流，来得到直播的视频流，然后对直播的视频流进行转码。

步骤202，在所述直播的视频流的转码过程中，周期性地确定所述直播的视频流的PSNR均值。

当转发服务器在对直播的视频流进行转码的过程中，通常使用FFMpeg进行转码，执行的是H264的编码标准。此时，FFMpeg中的X264视频编码器可以周期性地统计该直播的视频流的PSNR均值。具体统计的是从视频流编码的起始时刻到本周期的当前时刻的PSNR均值。该周期性地统计的周期可以依据经验设置。比如可以为1s、2s、5s等。

例如，统计周期可以设置为1s，则就是1s进行一次统计。但是在具体统计过程中，第一个周期统计的是从视频流编码的起始时刻0s到本周期1s的PSNR均值，第二个周期统计的是从视频流编码的起始时刻0s到本周期2s的PSNR均值，第三个周期统计的是从视频流编码的起始时刻0s到本周期3s的PSNR均值，依次类推。通过这种方式可以实时地统计出已经编码的视频流的PSNR均值，也可以说是实时地统计出已经转码的视频流的PSNR均值。

在统计视频流编码的起始时刻到本周期的当前时刻的PSNR均值时，具体的，需要统计视频流的各类型帧的编码起始时刻到本周期的当前时刻的PSNR累计值以及各类型帧的编码起始时刻到本周期的当前时刻的时间累计值，然后，再根据视频流的各类型帧的PSNR累计值和各类型帧的时间累计值，确定视频流编码的起始时刻到本周期的当前时刻的PSNR均值。

需要说明的是，H264是新一代的编码标准，以高压缩高质量和支持多种网络的流媒体传输著称，在H264协议里定义了三种帧，完整编码的帧叫I帧，参考之前的I帧生成的只包含差异部分编码的帧叫P帧，还有一种参考前后的帧编码的帧叫B帧。I帧又称为帧内编码帧，表示关键帧。P帧又称为前向预测编码帧。B帧又称为双向预测内插编码帧。也就是说，H264标准的编码中存在三种类型的帧，分别为I帧、P帧和B帧。

转码服务器需要对该I帧、P帧和B帧三种类型的帧的PSNR累计值分别进行统计，以及分别统计I帧、P帧和B帧三种类型的帧的时间累计值。然后将各类型帧的PSNR累计值除以各类型帧的时间累计值，就可以生成PSNR均值。

上述实时确定PSNR均值的过程，在具体实施时，可以通过更改X264视频编码器的代码来实现，使得编码的每帧都可以输出PSNR值，从而可以统计实时的PSNR均值。

举例来说，修改在每帧的编码结束的x264_encoder_frame_end的函数库中的代码，统计编码到当前I/P/B帧的duration(持续时间)之和，用于求平均PSNR值。

然后计算编码的起始时刻到当前时刻的PSNR累计值。

最后，计算各类型帧PSNR累计值除以各类型帧的时间累加值，生成PSNR均值。

另增加对外函数接口，取得PSNR均值，供引用库调用。

通过更改上述设置，在编码中任意一时刻，调用新增的对外函数接口，就可以得到编码到调用时刻的实时PSNR均值。如从0s开始编码，第5s调用函数得到的是0-5s之间的PSNR均值，第10s调用函数得到的是0-10s之间的PSNR均值。这样能更实时更准确地反映当前视频质量情况，而不用等到编码结束时才统计PSNR均值，提高了PSNR均值统计的实时性。

需要说明的是，本发明实施例还提供了另一种实时统计PSNR均值的方法，在编码器的每帧的编码结束的x264_encoder_frame_end的函数库中植入采集代码，通过采集代码采集视频流编码的每帧图像的均方误差，该均方误差为转码图像与原图像之间的均方误差。

当采集到每帧图像的均方误差后，根据每帧图像的均方误差以及公式(1)来确定每帧的PSNR值。

该公式(1)可以为：

其中，PSNR为峰值信噪比，MSE为均方误差。

通过上述公式(1)得到每帧的PSNR值后，统计各类型帧的编码的起始时刻到当前时刻的PSNR累计值，以及各类型帧的时间累加值。将各类型帧PSNR累计值除以各类型帧的时间累加值，生成PSNR均值。

上述实施例可以使用单独的PSNR均值确定模块，与编码器结合使用，也可以是位于FFMpeg内，或者是通过转码服务器的处理器来实现。本发明实施例对此不做限制。

当在周期性地确定直播的视频流的PSNR均值之后，转码服务器还可以根据该PSNR均值，将直播的视频流的PSNR信息发送至统计服务器进行统计分析。该PSNR信息可以包括视频流的PSNR均值、视频流的转码时间、视频流的转码输出域名和视频流的转码输出流名。在本发明实施例中，该PSNR信息仅是示例作用，具体内容不做限定。

在具体实施过程中，这里需要更改转码软件的源码，以实现周期性地输出PSNR信息。

举例来说，可以在转码软件内部创建一线程，该线程除非是转码结束，否则无限循环。循环内部执行：延时60s+x264_encoder_get_stat取得实时的PSNR均值+输出PSNR信息。

输出的PSNR信息的文件名称为psnr.log.xxxxxxx，其中xxxxxxx为秒级系统时间，目录固定放于/tmp/ffmpeg/psnr/下，输出文件格式为：域名及流名为ffmpeg输入命令解析出的转码输出域名、流名。

示意性地，输出的文本格式的示例可以为：

#Fields:％time_str％stream％psnr；

#Date:2018-07-16；

#Channel:ltc.lxdns.com；

22:01:00/live/zjw 28.89。

上述示例涉及的字段有：#Channel表示转码输出域名，#Data表示日期，％time_str表示时间，％stream表示转码输出流名，％psnr表示实时PSNR均值。

步骤203，确定所述周期性地确定的所述视频流的PSNR均值是否大于预设阈值，若是，则发出告警信息。

在上述步骤202中，得到视频流的PSNR均值之后，就可以实时地判断该视频流的PSNR均值是否大于一个预设阈值，如果大于，就会发出告警信息。该预设阈值可以依据经验设置，可以是一个范围值，超过一个范围就会发出告警信息。

可选的，在对版本进行对比测试时，可以固定几组测试视频及转码参数，而后对比不同版本每分钟的PSNR均值，如果PSNR均值相差过大，则认为版本异常，需要进一步排查确认。

为了更好地解释本发明的技术方案，下面将通过如图3所示的系统结构来描述整体流程。

如图3所示，转码服务器300上安装有FFMpeg(转码软件)310，该FFMpeg310使用X264编码器320对视频流进行转码。转码服务器300中的X264编码器320负责对直播的视频流进行编码，输出直播的视频流每分钟的PSNR均值。FFMpeg310读取到X264编码器输出的直播的视频流每分钟的PSNR均值后，输出该直播的视频流每分钟的PSNR信息。其中，该转码服务器300上还设有采集组件330，采集组件330每分钟扫描目录下有无新生成的psnr.log.xxxxxxx文件，有就采集走，并压缩发送给统计服务器400。

统计服务器400根据采集上来的PSNR信息里面的域名信息和时间段信息，做统计分析。

上述实施例表明，获取直播的视频流，在直播的视频流的转码过程中，周期性地确定直播的视频流的PSNR均值，确定周期性地确定的视频流的PSNR均值是否大于预设阈值，若是，则发出告警信息。通过在直播的视频流的转码过程中，周期性地确定已经转码的视频流的PSNR均值，从而可以实现实时地输出视频流的PSNR均值，以实时地对视频转码质量进行监控，避免出现因转码结束才能输出PSNR均值，导致的视频质量问题无法及时处理的情况。

基于相同的技术构思，图4示例性的示出了本发明实施例提供的一种直播视频流转码质量监控的装置，该装置可以执行直播视频流转码质量监控的流程。

如图4所示，该装置具体包括：

获取模块401，用于获取直播的视频流；

处理模块402，用于在所述直播的视频流的转码过程中，周期性地确定所述直播的视频流的PSNR均值；确定所述周期性地确定的所述视频流的PSNR均值是否大于预设阈值，若是，则发出告警信息。

可选的，所述处理模块402具体用于：

周期性地统计所述视频流编码的起始时刻到本周期的当前时刻的PSNR均值。

可选的，所述处理模块402具体用于：

统计所述视频流的各类型帧的编码起始时刻到本周期的当前时刻的PSNR累计值和各类型帧的编码起始时刻到本周期的当前时刻的时间累计值；

根据所述视频流的各类型帧的PSNR累计值和各类型帧的时间累计值，确定所述视频流编码的起始时刻到本周期的当前时刻的PSNR均值。

可选的，所述处理模块402还用于：

在所述周期性地确定所述直播的视频流的PSNR均值之后，根据所述周期性地确定的所述视频流的PSNR均值，将所述直播的视频流的PSNR信息发送至统计服务器进行统计分析。

可选的，所述PSNR信息包括视频流的PSNR均值、视频流的转码时间、视频流的转码输出域名和视频流的转码输出流名。

基于相同的技术构思，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行上述直播视频流转码质量监控的方法。

基于相同的技术构思，本发明实施例还提供了一种计算设备，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述直播视频流转码质量监控的方法。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种直播视频流转码质量监控的方法，其特征在于，该方法包括：

获取直播的视频流；

在所述直播的视频流的转码过程中，周期性地确定所述直播的视频流的峰值信噪比PSNR均值；

确定所述周期性地确定的所述视频流的PSNR均值是否大于预设阈值，若是，则发出告警信息。

2.根据权利要求1所述的方法，其特征在于，所述周期性地确定所述直播的视频流的PSNR均值，包括：

周期性地统计所述视频流编码的起始时刻到本周期的当前时刻的PSNR均值。

3.根据权利要求2所述的方法，其特征在于，所述统计所述视频流编码的起始时刻到本周期的当前时刻的PSNR均值，包括：

统计所述视频流的各类型帧的编码起始时刻到本周期的当前时刻的PSNR累计值和各类型帧的编码起始时刻到本周期的当前时刻的时间累计值；

根据所述视频流的各类型帧的PSNR累计值和各类型帧的时间累计值，确定所述视频流编码的起始时刻到本周期的当前时刻的PSNR均值。

4.根据权利要求1至3中任一项所述的方法，其特征在于，在所述周期性地确定所述直播的视频流的PSNR均值之后，还包括：

根据所述周期性地确定的所述视频流的PSNR均值，将所述直播的视频流的PSNR信息发送至统计服务器进行统计分析。

5.如权利要求4所述的方法，其特征在于，所述PSNR信息包括视频流的PSNR均值、视频流的转码时间、视频流的转码输出域名和视频流的转码输出流名。

6.一种直播视频流转码质量监控的装置，其特征在于，该方法包括：

获取模块，用于获取直播的视频流；

处理模块，用于在所述直播的视频流的转码过程中，周期性地确定所述直播的视频流的峰值信噪比PSNR均值；确定所述周期性地确定的所述视频流的PSNR均值是否大于预设阈值，若是，则发出告警信息。

7.根据权利要求6所述的装置，其特征在于，所述处理模块具体用于：

周期性地统计所述视频流编码的起始时刻到本周期的当前时刻的PSNR均值。

8.根据权利要求7所述的装置，其特征在于，所述处理模块具体用于：

统计所述视频流的各类型帧的编码起始时刻到本周期的当前时刻的PSNR累计值和各类型帧的编码起始时刻到本周期的当前时刻的时间累计值；

根据所述视频流的各类型帧的PSNR累计值和各类型帧的时间累计值，确定所述视频流编码的起始时刻到本周期的当前时刻的PSNR均值。

9.根据权利要求6至8中任一项所述的装置，其特征在于，所述处理模块还用于：

在所述周期性地确定所述直播的视频流的PSNR均值之后，根据所述周期性地确定的所述视频流的PSNR均值，将所述直播的视频流的PSNR信息发送至统计服务器进行统计分析。

10.如权利要求9所述的装置，其特征在于，所述PSNR信息包括视频流的PSNR均值、视频流的转码时间、视频流的转码输出域名和视频流的转码输出流名。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行如权利要求1至5中任一项所述的方法。

12.一种计算设备，其特征在于，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行如权利要求1至5中任一项所述的方法。