CN113542804A - 基于码流统计特征检测静帧序列的方法 - Google Patents

基于码流统计特征检测静帧序列的方法 Download PDF

Info

Publication number
CN113542804A
CN113542804A CN202110781819.6A CN202110781819A CN113542804A CN 113542804 A CN113542804 A CN 113542804A CN 202110781819 A CN202110781819 A CN 202110781819A CN 113542804 A CN113542804 A CN 113542804A
Authority
CN
China
Prior art keywords
frame
code rate
frames
duration
static
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110781819.6A
Other languages
English (en)
Other versions
CN113542804B (zh
Inventor
石小明
王雪辉
孙伟涛
刘晶
刘国强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Arcvideo Technology Co ltd
Original Assignee
Hangzhou Arcvideo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Arcvideo Technology Co ltd filed Critical Hangzhou Arcvideo Technology Co ltd
Priority to CN202110781819.6A priority Critical patent/CN113542804B/zh
Publication of CN113542804A publication Critical patent/CN113542804A/zh
Application granted granted Critical
Publication of CN113542804B publication Critical patent/CN113542804B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于码流统计特征检测静帧序列的方法，包括以下步骤：在封装层提取视频码流，进行码流解析，提取编码数据帧；对提取的编码数据帧进行过滤，除去包括编码压缩无关填充比特和帧头信息数据；统计每秒视频码率，记录平均码率，并且按照GOP统计，记录最近N个GOP内的I，P，B帧大小；根据视频码率变化判断是否静帧，若有效码率突然降低至第一阈值以下，且超过第一持续时间，则判断当前码流为静止帧序列；若有效码率突然降低至第一阈值百分比持续的时间没有达到第一持续时间，或者没有发生码率突然降低情况，则继续根据GOP结构判断是否静帧，首先判断近N个GOP帧结构是否一致。

Description

基于码流统计特征检测静帧序列的方法
技术领域
本发明属于音视频转码技术领域，具体涉及一种基于码流统计特征检测静帧序列的方法。
背景技术
在实时音视频处理系统中，经常会有各类故障发生，这需要相关系统能够处理各种异常的音视频码流，其中有一种故障为静帧故障。静帧故障一般由于前端信源中断，采集设备输出彩条，黑场等固定静帧，或者保持最后一帧输出模式，是一种比较常见的严重故障类型。由于采集设备输出仍然持续，信号未中断，编码器还是会持续进行编码，后端无法直接感知到前端信源已经出现中断。
针对上述静帧故障的问题，一般的处理方法是后端接入一套多画面系统，对所有输出码流进行解码，对其内容进行分析，从而判断是否是静止帧。该方法由于需要把接入码流进行解码，然后对图像进行分析，计算量较大，成本较高，不适合大规模的码流静止检测。
发明内容
针对以上问题，本发明提供一种基于码流统计特征检测静帧序列的方法，可以实现在不解码的视频的情况下，检测直播视频流是否出现静帧现象。
为解决上述技术问题，本发明采用如下的技术方案：
一种基于码流统计特征检测静帧序列的方法，包括以下步骤：
在封装层提取视频码流，进行码流解析，提取编码数据帧；
对提取的编码数据帧进行过滤，除去包括编码压缩无关填充比特和帧头信息数据；
统计每秒视频码率，记录平均码率，并且按照GOP统计，记录最近N个GOP内的I，P，B帧大小，其中N≥3；
根据视频码率变化判断是否静帧，若有效码率突然降低至第一阈值以下，且超过第一持续时间，则判断当前码流为静止帧序列；
若有效码率突然降低至第一阈值百分比持续的时间没有达到第一持续时间，或者没有发生码率突然降低情况，则继续根据GOP结构判断是否静帧，首先判断近N个GOP帧结构是否一致，如果一致，再判断近N个GOP码率大小是否接近，如果近N个GOP码率大小接近，判断B、P帧大小是否接近，且I帧大于M倍P帧大小，M≥10，若满足B、P帧大小接近和I帧大于M倍P帧大小且持续满足该条件达到第二持续时间，则判断该序列为静止帧序列。
优选地，第一阈值为5％。
优选地，第一持续时间为10秒。
优选地，第二持续时间为10秒。
采用本发明具有如下的有益效果：本发明可以实现在不解码的视频的情况下，检测直播视频流是否出现静帧现象。由于码流层分析计算量极小，相比传统在解码后再进行静帧检测方法，计算量降低显著，可以应用到流媒体服务器和流媒体网关中，在基本不影响原系统性能情况下，实现大规模输入源的静帧检测上报。
附图说明
图1为本发明实施例的基于码流统计特征检测静帧序列的方法的步骤流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明是基于视频编码码流的特征分析来判断是否出现静帧的。根据视频编码的特征，常见的视频编码都是基于GOP(Group of Pictures，画面组)方式，也就是图像以序列为单位进行组织，一个序列是一段图像编码后的数据流，以I帧开始，到下一个I帧结束。而整个视频则是由一系列的GOP前后连接组成。在视频编码序列中，主要有三种编码帧：I帧、P帧、B帧，具体地：
I帧即Intra-coded picture(帧内编码图像帧)，不参考其他图像帧，只利用本帧的信息进行编码。
P帧即Predictive-coded picture(预测编码图像帧)，利用之前的I帧或P帧，采用运动预测的方式进行帧间预测编码。
B帧即Bidirectionally predicted picture(双向预测编码图像帧)，提供最高的压缩比，它既需要之前的图像帧(I帧或P帧)，也需要后来的图像帧(P帧)，采用运动预测的方式进行帧间双向预测编码。
参照图1，所示为本发明实施例的基于码流统计特征检测静帧序列的方法的步骤流程图，包括以下步骤：
在封装层提取视频码流，进行码流解析，提取编码数据帧；该步骤主要在封装层进行处理，如从TS(Transport Stream，传输流)，RTP(Real-time Transport Protocol，实时传输协议)包等封装层，把视频码流提出出来。
对提取的编码数据帧进行过滤，除去包括编码压缩无关填充比特和帧头信息数据；填充比特为stuffing bits是编码时插入比特流中的比特串，在解码时应被丢弃。
统计每秒视频码率，记录平均码率，并且按照GOP统计，记录最近N个GOP内的I，P，B帧大小，其中N≥3；
根据视频码率变化判断是否静帧，若有效码率突然降低至第一阈值以下，且超过第一持续时间，则判断当前码流为静止帧序列。具体应用实例中，第一阈值为5％。第一持续时间为10秒。
若有效码率突然降低至第一阈值百分比持续的时间没有达到第一持续时间，或者没有发生码率突然降低情况，则继续根据GOP结构判断是否静帧，首先判断近N个GOP帧结构是否一致，如果一致，再判断近N个GOP码率大小是否接近，如果近N个GOP码率大小接近，判断B、P帧大小是否接近，且I帧大于M倍P帧大小，M≥10，若满足B、P帧大小接近和I帧大于M倍P帧大小且持续满足该条件达到第二持续时间，则判断该序列为静止帧序列。具体应用实例中，第二持续时间为10秒。
以上技术方案中，根据I帧，B帧，P帧的特点，I帧只参考自身，P帧参考之前I帧和P帧，B帧参考I帧和P帧。则输出码流中I帧大小取决于编码图像内部的复杂度，而B帧和P帧的编码优先采用帧间编码预测，如果B帧和P帧的图像与被参考帧图像相同，则B帧和P帧可以完全参考前序帧，所以编码输出帧可以很小，主要都是些残差和拷贝信息。可以得出，当视频序列变为静帧时，输出码流I帧较大，PB帧很小，且因为序列内所有帧相同，B帧参考前后帧和P帧只向前参考结果基本一致，所以PB帧大小接近。当一个静帧序列包含多个GOP的时候，因为静止序列不存在场景切换和图像内容变化，所以场景切换机制和B帧自适应等根据图像特征自适应变化都不生效，每个GOP的长度完全一致，GOP内的帧类型一致，且每帧大小基本一致。通过以上分析可以得出，视频序列中正常码流切换到静帧码流时，满足以下特性时即为静止帧：
(1)视频有效码率急剧下降(定质量，VBR模式下显著，或者黑场，彩条情况下IPB帧都很小)。
(2)视频序列内多个GOP帧结构一致，且GOP内总码率大小接近。
(3)I帧较大，PB帧非常小，PB帧大小接近。
通过以上方案实现的基于码流统计特征检测静帧序列的方法，根据视频编码特性，提炼出视频编码后帧序列特征，根据多个GOP编码帧数据的统计特性来判断是否是静止帧序列。基于码流来检测静帧，先对接入视频流进行解封装，得到的视频码流去掉跟编码图像不相关的冗余数据，得到真正跟编码图像相关的编码帧数据比特，然后主要根据码率骤降和编码帧GOP统计特性来判断是否静止帧，且通过一定的检测周期来提高判断的准确率。通过以上方法可以实现在不解码的视频的情况下，检测直播视频流是否出现静帧现象。由于码流层分析计算量极小，相比传统在解码后再进行静帧检测方法，计算量降低显著，可以应用到流媒体服务器和流媒体网关中，在基本不影响原系统性能情况下，实现大规模输入源的静帧检测上报。
应当理解，本文所述的示例性实施例是说明性的而非限制性的。尽管结合附图描述了本发明的一个或多个实施例，本领域普通技术人员应当理解，在不脱离通过所附权利要求所限定的本发明的精神和范围的情况下，可以做出各种形式和细节的改变。

Claims (4)

1.一种基于码流统计特征检测静帧序列的方法，其特征在于，包括以下步骤：
在封装层提取视频码流，进行码流解析，提取编码数据帧；
对提取的编码数据帧进行过滤，除去包括编码压缩无关填充比特和帧头信息数据；
统计每秒视频码率，记录平均码率，并且按照GOP统计，记录最近N个GOP内的I，P，B帧大小，其中N≥3；
根据视频码率变化判断是否静帧，若有效码率突然降低至第一阈值以下，且超过第一持续时间，则判断当前码流为静止帧序列；
若有效码率突然降低至第一阈值百分比持续的时间没有达到第一持续时间，或者没有发生码率突然降低情况，则继续根据GOP结构判断是否静帧，首先判断近N个GOP帧结构是否一致，如果一致，再判断近N个GOP码率大小是否接近，如果近N个GOP码率大小接近，判断B、P帧大小是否接近，且I帧大于M倍P帧大小，M之10，若满足B、P帧大小接近和I帧大于M倍P帧大小且持续满足该条件达到第二持续时间，则判断该序列为静止帧序列。
2.如权利要求1所述的基于码流统计特征检测静帧序列的方法，其特征在于，第一阈值为5％。
3.如权利要求1所述的基于码流统计特征检测静帧序列的方法，其特征在于，第一持续时间为10秒。
4.如权利要求1所述的基于码流统计特征检测静帧序列的方法，其特征在于，第二持续时间为10秒。
CN202110781819.6A 2021-07-09 2021-07-09 基于码流统计特征检测静帧序列的方法 Active CN113542804B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110781819.6A CN113542804B (zh) 2021-07-09 2021-07-09 基于码流统计特征检测静帧序列的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110781819.6A CN113542804B (zh) 2021-07-09 2021-07-09 基于码流统计特征检测静帧序列的方法

Publications (2)

Publication Number Publication Date
CN113542804A true CN113542804A (zh) 2021-10-22
CN113542804B CN113542804B (zh) 2023-10-27

Family

ID=78098415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110781819.6A Active CN113542804B (zh) 2021-07-09 2021-07-09 基于码流统计特征检测静帧序列的方法

Country Status (1)

Country Link
CN (1) CN113542804B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116156209A (zh) * 2022-12-21 2023-05-23 上海幻电信息科技有限公司 直播流码率突变的检测方法、装置、存储介质及电子设备
CN116912596A (zh) * 2023-08-04 2023-10-20 无锡学院 一种多源数据归一化处理与融合的方法及系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010001614A1 (en) * 1998-03-20 2001-05-24 Charles E. Boice Adaptive encoding of a sequence of still frames or partially still frames within motion video
JP2003284077A (ja) * 2002-01-16 2003-10-03 Matsushita Electric Ind Co Ltd 画像符号化装置、画像符号化方法、及び画像符号化プログラム
US20070247549A1 (en) * 2004-11-01 2007-10-25 Jeong Se Y Method for Encoding/Decoding a Video Sequence Based on Hierarchical B-Picture Using Adaptively-Adjusted Gop Stucture
CN103747238A (zh) * 2013-02-20 2014-04-23 华为技术有限公司 视频静止失真程度评估方法和装置
WO2014114098A1 (zh) * 2013-01-23 2014-07-31 中兴通讯股份有限公司 终端侧时间域视频质量评价方法及装置
CN105578177A (zh) * 2015-12-15 2016-05-11 浙江广播电视集团 基于crc校验的视频静帧检测系统及方法
US20170289551A1 (en) * 2016-03-30 2017-10-05 Sony Interactive Entertainment Inc. Advanced picture quality oriented rate control for low-latency streaming applications
WO2018041680A1 (de) * 2016-08-30 2018-03-08 Opticom Dipl.-Ing. Michael Keyhl Gmbh Vorrichtung und verfahren zum bestimmen einer qualität eines mediadatenstroms
EP3376766A1 (en) * 2017-03-14 2018-09-19 Axis AB Method and encoder system for determining gop length for encoding video
CN110312163A (zh) * 2019-07-10 2019-10-08 湖南快乐阳光互动娱乐传媒有限公司 一种视频静帧检测方法及系统
US10778991B1 (en) * 2018-09-25 2020-09-15 Amazon Technologies, Inc. Adaptive group of pictures (GOP) encoding
CN112272297A (zh) * 2020-10-28 2021-01-26 上海科江电子信息技术有限公司 嵌入在解码器端的图像质量静止帧检测方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010001614A1 (en) * 1998-03-20 2001-05-24 Charles E. Boice Adaptive encoding of a sequence of still frames or partially still frames within motion video
JP2003284077A (ja) * 2002-01-16 2003-10-03 Matsushita Electric Ind Co Ltd 画像符号化装置、画像符号化方法、及び画像符号化プログラム
US20070247549A1 (en) * 2004-11-01 2007-10-25 Jeong Se Y Method for Encoding/Decoding a Video Sequence Based on Hierarchical B-Picture Using Adaptively-Adjusted Gop Stucture
WO2014114098A1 (zh) * 2013-01-23 2014-07-31 中兴通讯股份有限公司 终端侧时间域视频质量评价方法及装置
CN103747238A (zh) * 2013-02-20 2014-04-23 华为技术有限公司 视频静止失真程度评估方法和装置
CN105578177A (zh) * 2015-12-15 2016-05-11 浙江广播电视集团 基于crc校验的视频静帧检测系统及方法
US20170289551A1 (en) * 2016-03-30 2017-10-05 Sony Interactive Entertainment Inc. Advanced picture quality oriented rate control for low-latency streaming applications
WO2018041680A1 (de) * 2016-08-30 2018-03-08 Opticom Dipl.-Ing. Michael Keyhl Gmbh Vorrichtung und verfahren zum bestimmen einer qualität eines mediadatenstroms
EP3376766A1 (en) * 2017-03-14 2018-09-19 Axis AB Method and encoder system for determining gop length for encoding video
US10778991B1 (en) * 2018-09-25 2020-09-15 Amazon Technologies, Inc. Adaptive group of pictures (GOP) encoding
CN110312163A (zh) * 2019-07-10 2019-10-08 湖南快乐阳光互动娱乐传媒有限公司 一种视频静帧检测方法及系统
CN112272297A (zh) * 2020-10-28 2021-01-26 上海科江电子信息技术有限公司 嵌入在解码器端的图像质量静止帧检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116156209A (zh) * 2022-12-21 2023-05-23 上海幻电信息科技有限公司 直播流码率突变的检测方法、装置、存储介质及电子设备
CN116912596A (zh) * 2023-08-04 2023-10-20 无锡学院 一种多源数据归一化处理与融合的方法及系统
CN116912596B (zh) * 2023-08-04 2024-03-22 无锡学院 一种多源数据归一化处理与融合的方法及系统

Also Published As

Publication number Publication date
CN113542804B (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
US9521411B2 (en) Method and apparatus for encoder assisted-frame rate up conversion (EA-FRUC) for video compression
JP4943513B2 (ja) Ｉｐｔｖの低ビットレートのストリームを使用したビデオデータ損失回復システム
CN113542804B (zh) 基于码流统计特征检测静帧序列的方法
US9030565B2 (en) Method, apparatus, and system for evaluating video quality
CN107770538B (zh) 一种检测场景切换帧的方法、装置和系统
CN101742289B (zh) 视频码流压缩方法、系统及装置
TW200427335A (en) Picture coding method
EP2413535A1 (en) Method for estimating the type of the group of picture structure of a plurality of video frames in a video stream
WO2006008673A1 (en) A method and apparatus for decoding encoded data
CN112272297B (zh) 嵌入在解码器端的图像质量静止帧检测方法
Kang et al. The decision scheme of frame importance factor for video streaming system
CN107302523B (zh) 一种传输流丢包引起马赛克的解决方法
KR100827152B1 (ko) Ｎａｌ 유닛 에러 검출을 위한 효율적인 ｈ.264 복호 방법및 장치
CN110636387A (zh) 一种基于h．264网络视频传输系统
US11778219B2 (en) Method and system for live video streaming with integrated encoding and transmission semantics
Lu et al. Quality assessing of video over a packet network
CN112261404B (zh) 嵌入在解码器端的图像质量黑场检测方法
EP2888870B1 (en) Method and apparatus for detecting gradual transition picture in video bitstream
CN110677657B (zh) 一种用于内容自适应编码中的场景分段方法
Argyropoulos et al. Scene change detection in encrypted video bit streams
Gennari et al. Slice header reconstruction for H. 264/AVC robust decoders
Gao et al. A Low-Latency Video Transmission Scheme Based on Sliding-Window FEC
Wang et al. An adaptive H. 264 video protection scheme for video conferencing
TR2023014418A2 (tr) Sahne deği̇şi̇kli̇ği̇ algilayici si̇stem
Sood et al. Analysis of error resilience in h. 264 video using slice interleaving technique

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant