CN113542804B - 基于码流统计特征检测静帧序列的方法 - Google Patents

Abstract

本发明公开了一种基于码流统计特征检测静帧序列的方法，包括以下步骤：在封装层提取视频码流，进行码流解析，提取编码数据帧；对提取的编码数据帧进行过滤，除去包括编码压缩无关填充比特和帧头信息数据；统计每秒视频码率，记录平均码率，并且按照GOP统计，记录最近N个GOP内的I，P，B帧大小；根据视频码率变化判断是否静帧，若有效码率突然降低至第一阈值以下，且超过第一持续时间，则判断当前码流为静止帧序列；若有效码率突然降低至第一阈值百分比持续的时间没有达到第一持续时间，或者没有发生码率突然降低情况，则继续根据GOP结构判断是否静帧，首先判断近N个GOP帧结构是否一致。

Description

基于码流统计特征检测静帧序列的方法

技术领域

本发明属于音视频转码技术领域，具体涉及一种基于码流统计特征检测静帧序列的方法。

背景技术

在实时音视频处理系统中，经常会有各类故障发生，这需要相关系统能够处理各种异常的音视频码流，其中有一种故障为静帧故障。静帧故障一般由于前端信源中断，采集设备输出彩条，黑场等固定静帧，或者保持最后一帧输出模式，是一种比较常见的严重故障类型。由于采集设备输出仍然持续，信号未中断，编码器还是会持续进行编码，后端无法直接感知到前端信源已经出现中断。

针对上述静帧故障的问题，一般的处理方法是后端接入一套多画面系统，对所有输出码流进行解码，对其内容进行分析，从而判断是否是静止帧。该方法由于需要把接入码流进行解码，然后对图像进行分析，计算量较大，成本较高，不适合大规模的码流静止检测。

发明内容

针对以上问题，本发明提供一种基于码流统计特征检测静帧序列的方法，可以实现在不解码的视频的情况下，检测直播视频流是否出现静帧现象。

为解决上述技术问题，本发明采用如下的技术方案：

一种基于码流统计特征检测静帧序列的方法，包括以下步骤：

在封装层提取视频码流，进行码流解析，提取编码数据帧；

对提取的编码数据帧进行过滤，除去包括编码压缩无关填充比特和帧头信息数据；

统计每秒视频码率，记录平均码率，并且按照GOP统计，记录最近N个GOP内的I，P，B帧大小，其中N≥3；

根据视频码率变化判断是否静帧，若有效码率突然降低至第一阈值以下，且超过第一持续时间，则判断当前码流为静止帧序列；

若有效码率突然降低至第一阈值百分比持续的时间没有达到第一持续时间，或者没有发生码率突然降低情况，则继续根据GOP结构判断是否静帧，首先判断近N个GOP帧结构是否一致，如果一致，再判断近N个GOP码率大小是否接近，如果近N个GOP码率大小接近，判断B、P帧大小是否接近，且I帧大于M倍P帧大小，M≥10，若满足B、P帧大小接近和I帧大于M倍P帧大小且持续满足该条件达到第二持续时间，则判断该序列为静止帧序列。

优选地，第一阈值为5％。

优选地，第一持续时间为10秒。

优选地，第二持续时间为10秒。

采用本发明具有如下的有益效果：本发明可以实现在不解码的视频的情况下，检测直播视频流是否出现静帧现象。由于码流层分析计算量极小，相比传统在解码后再进行静帧检测方法，计算量降低显著，可以应用到流媒体服务器和流媒体网关中，在基本不影响原系统性能情况下，实现大规模输入源的静帧检测上报。

附图说明

图1为本发明实施例的基于码流统计特征检测静帧序列的方法的步骤流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明是基于视频编码码流的特征分析来判断是否出现静帧的。根据视频编码的特征，常见的视频编码都是基于GOP(Group of Pictures，画面组)方式，也就是图像以序列为单位进行组织，一个序列是一段图像编码后的数据流，以I帧开始，到下一个I帧结束。而整个视频则是由一系列的GOP前后连接组成。在视频编码序列中，主要有三种编码帧：I帧、P帧、B帧，具体地：

I帧即Intra-coded picture(帧内编码图像帧)，不参考其他图像帧，只利用本帧的信息进行编码。

P帧即Predictive-coded picture(预测编码图像帧)，利用之前的I帧或P帧，采用运动预测的方式进行帧间预测编码。

B帧即Bidirectionally predicted picture(双向预测编码图像帧)，提供最高的压缩比，它既需要之前的图像帧(I帧或P帧)，也需要后来的图像帧(P帧)，采用运动预测的方式进行帧间双向预测编码。

参照图1，所示为本发明实施例的基于码流统计特征检测静帧序列的方法的步骤流程图，包括以下步骤：

在封装层提取视频码流，进行码流解析，提取编码数据帧；该步骤主要在封装层进行处理，如从TS(Transport Stream，传输流)，RTP(Real-time Transport Protocol，实时传输协议)包等封装层，把视频码流提出出来。

对提取的编码数据帧进行过滤，除去包括编码压缩无关填充比特和帧头信息数据；填充比特为stuffing bits是编码时插入比特流中的比特串，在解码时应被丢弃。

统计每秒视频码率，记录平均码率，并且按照GOP统计，记录最近N个GOP内的I，P，B帧大小，其中N≥3；

根据视频码率变化判断是否静帧，若有效码率突然降低至第一阈值以下，且超过第一持续时间，则判断当前码流为静止帧序列。具体应用实例中，第一阈值为5％。第一持续时间为10秒。

若有效码率突然降低至第一阈值百分比持续的时间没有达到第一持续时间，或者没有发生码率突然降低情况，则继续根据GOP结构判断是否静帧，首先判断近N个GOP帧结构是否一致，如果一致，再判断近N个GOP码率大小是否接近，如果近N个GOP码率大小接近，判断B、P帧大小是否接近，且I帧大于M倍P帧大小，M≥10，若满足B、P帧大小接近和I帧大于M倍P帧大小且持续满足该条件达到第二持续时间，则判断该序列为静止帧序列。具体应用实例中，第二持续时间为10秒。

以上技术方案中，根据I帧，B帧，P帧的特点，I帧只参考自身，P帧参考之前I帧和P帧，B帧参考I帧和P帧。则输出码流中I帧大小取决于编码图像内部的复杂度，而B帧和P帧的编码优先采用帧间编码预测，如果B帧和P帧的图像与被参考帧图像相同，则B帧和P帧可以完全参考前序帧，所以编码输出帧可以很小，主要都是些残差和拷贝信息。可以得出，当视频序列变为静帧时，输出码流I帧较大，PB帧很小，且因为序列内所有帧相同，B帧参考前后帧和P帧只向前参考结果基本一致，所以PB帧大小接近。当一个静帧序列包含多个GOP的时候，因为静止序列不存在场景切换和图像内容变化，所以场景切换机制和B帧自适应等根据图像特征自适应变化都不生效，每个GOP的长度完全一致，GOP内的帧类型一致，且每帧大小基本一致。通过以上分析可以得出，视频序列中正常码流切换到静帧码流时，满足以下特性时即为静止帧：

(1)视频有效码率急剧下降(定质量，VBR模式下显著，或者黑场，彩条情况下IPB帧都很小)。

(2)视频序列内多个GOP帧结构一致，且GOP内总码率大小接近。

(3)I帧较大，PB帧非常小，PB帧大小接近。

通过以上方案实现的基于码流统计特征检测静帧序列的方法，根据视频编码特性，提炼出视频编码后帧序列特征，根据多个GOP编码帧数据的统计特性来判断是否是静止帧序列。基于码流来检测静帧，先对接入视频流进行解封装，得到的视频码流去掉跟编码图像不相关的冗余数据，得到真正跟编码图像相关的编码帧数据比特，然后主要根据码率骤降和编码帧GOP统计特性来判断是否静止帧，且通过一定的检测周期来提高判断的准确率。通过以上方法可以实现在不解码的视频的情况下，检测直播视频流是否出现静帧现象。由于码流层分析计算量极小，相比传统在解码后再进行静帧检测方法，计算量降低显著，可以应用到流媒体服务器和流媒体网关中，在基本不影响原系统性能情况下，实现大规模输入源的静帧检测上报。

应当理解，本文所述的示例性实施例是说明性的而非限制性的。尽管结合附图描述了本发明的一个或多个实施例，本领域普通技术人员应当理解，在不脱离通过所附权利要求所限定的本发明的精神和范围的情况下，可以做出各种形式和细节的改变。

Claims (2)

1.一种基于码流统计特征检测静帧序列的方法，其特征在于，包括以下步骤：

在封装层提取视频码流，进行码流解析，提取编码数据帧；

对提取的编码数据帧进行过滤，除去包括编码压缩无关填充比特和帧头信息数据；

统计每秒视频码率，记录平均码率，并且按照GOP统计，记录最近N个GOP内的I，P，B帧大小，其中N≥3；

根据视频码率变化判断是否静帧，若有效码率突然降低至第一阈值以下，且超过第一持续时间，则判断当前码流为静止帧序列；

若有效码率突然降低至第一阈值持续的时间没有达到第一持续时间，或者没有发生码率突然降低情况，则继续根据GOP结构判断是否静帧，首先判断近N个GOP帧结构是否一致，如果一致，再判断近N个GOP码率大小是否接近，如果近N个GOP码率大小接近，判断B、P帧大小是否接近，且I帧大于M倍P帧大小，M≥10，若满足B、P帧大小接近和I帧大于M倍P帧大小且持续满足该条件达到第二持续时间，则判断该序列为静止帧序列；

第一持续时间为10秒；第二持续时间为10秒。

2.如权利要求1所述的基于码流统计特征检测静帧序列的方法，其特征在于，第一阈值为5％。