CN113852859A

CN113852859A - 一种针对非标格式视频流零拷贝脱壳的方法及系统

Info

Publication number: CN113852859A
Application number: CN202110964553.9A
Authority: CN
Inventors: 张向阳
Original assignee: Beijing Zhenguan Shuzhi Technology Co ltd
Current assignee: Beijing Zhenguan Shuzhi Technology Co ltd
Priority date: 2021-08-19
Filing date: 2021-08-19
Publication date: 2021-12-28

Abstract

本发明公开了一种针对非标格式视频流零拷贝脱壳的方法及系统，方法包括以下步骤：输入视频流，然后侦测视频格式，并匹配解析器，如果匹配成功，则进入下一步，如果匹配失败，则结束；解析视频流格式；重复上述步骤，输出裸帧数据；系统包括：脱壳模块、侦测模块、匹配模块和解析模块。本发明具有利用输入视频流的内存，从中标记出含有裸帧数据的内存块位置，重建组合成包含完整一帧数据的结构体，进行输出，实现视频流零拷贝脱壳的优点。

Description

一种针对非标格式视频流零拷贝脱壳的方法及系统

技术领域

本发明涉及视频解析领域，特别是涉及一种针对非标格式视频流零拷贝脱壳的方法及系统。

背景技术

现在视频流的脱壳常常采用并发多路视频脱壳的方法，并发多路视频脱壳方法的主要流程为首先将视频数据拷贝到输入缓存中，然后不断从输入缓存中取出视频数据拷贝到解析缓存中，并在解析缓存中进行帧数据解析，再将解析缓存中解析出的帧数据拷贝到输出缓存中，待解析出完整一帧后，输出该输出缓存用于保存裸帧数据。

并发多路视频脱壳方法中存在多个视频数据拷贝的环节以及多个视频数据缓存的环节，主要体现在视频数据通过输入拷贝放入到输入缓存中、视频数据从输入缓存中取出通过解析拷贝放入到解析缓存中、解析缓存解析出的帧数据通过输出帧拷贝放入到输出缓存中，这导致了三个方面的问题：

1、根据每秒内存拷贝的总量计算公式：

总量/秒(Mbps)＝码率(Mbps)*拷贝次数*并发路数

每秒内存拷贝的总量与拷贝次数和并发路数成正比关系，也就是说两者任意增加一个，拷贝的数据总量就增加一倍，CPU(中央处理器)消耗也就增加一倍，脱壳的效率也就降低了，而该方法中存在多个视频数据拷贝的环节，同时该方法的视频数据处理过程是流式的，连续不断的，CPU在不间断地拷贝数据，这也就导致了该方法的脱壳效率低，视频数据批量处理效果差。

2、该方法中存在多个视频数据缓存的环节，视频数据缓存的环节越多，数据处理的及时性就越差，处理的延时性也就越大，那么从数据输入到裸帧输出的时间延时就越大，这也就导致了该方法数据处理的及时性差，数据输出的延时性大。

3、根据内存的占用量计算公式：

内存占用量(MB)＝I帧大小(MB)*缓存个数*并发路数

内存占有量与缓存个数和并发路数成正比，而该方法中存在多个视频数据缓存的环节，当并发路数增加时，内存占用量也会同比增加，导致该方法在进行大量视频数据处理时，对内存要求很高。

为了解决上述技术问题，亟需一种降低CPU的消耗、脱壳延时以及内存占用，从而提高了脱壳效率的方法及系统。

发明内容

针对上述问题，本发明提供了一种针对非标格式视频流零拷贝脱壳的方法及系统，在脱壳过程中，没有对源码流进行缓存拷贝，也没有对输出的裸帧数据进行内存申请与拷贝，而是利用输入视频流的内存，从中标记出含有裸帧数据的内存块位置，重建组合成包含完整一帧数据的结构体，进行输出，实现视频流零拷贝脱壳。

本发明的技术方案是：

一方面，本发明提供了一种针对非标格式视频流零拷贝脱壳的方法，包括以下步骤：

S1、输入视频流，然后侦测视频格式，并匹配解析器，如果匹配成功，则进入步骤S2，如果匹配失败，则结束；

S2、解析视频流格式，包括：S21、分析视频流是否具有系统头，若有，则偏移系统头的位置后，进入步骤S22，若无，则直接进入步骤S22；

S22、分析视频头，偏移视频头的位置后，判断偏移后的位置是否超过输入视频流的结束位置，如果否，则解析视频头并获取视频头数据，如果是，则结束分析；

分析音频头，偏移音频头的位置后，判断偏移后的位置是否超过输入视频流的结束位置，如果否，则解析音频头并获取音频头数据，如果是，则结束分析；

分析私有头，偏移私有头的位置后，判断偏移后的位置是否超过输入视频流的结束位置，如果否，则解析私有头并获取私有头数据，如果是，则结束分析；

S23、解析视频帧数据：将视频帧的起始地址和长度记录到Chunk块中，然后偏移视频帧的长度，判断当前解析的位置是否超过输入视频流的结束位置，如果否，则结束该视频帧的解析并输出视频帧数据，如果是，则结束本次解析；

解析音频帧数据：将音频帧的起始地址和长度记录到Chunk块中，然后偏移音频帧的长度，判断当前解析的位置是否超过输入视频流的结束位置，如果否，则结束该音频帧的解析并输出音频帧数据，如果是，则结束本次解析；

解析私有帧数据：将私有帧的起始地址和长度记录到Chunk块中，然后偏移私有帧的长度，判断当前解析的位置是否超过输入视频流的结束位置，如果否，则结束该私有帧的解析并输出私有帧数据，如果是，则结束本次解析；

S3、重复步骤S2，输出裸帧数据。

本发明通过上述技术方案，消除了视频脱壳过程中的拷贝环节，有效地降低了内存数据的拷贝量，减少了脱壳过程中对CPU的消耗，提升了脱壳效率，同时消除了数据缓存环节，减少了数据流转过程，数据处理的及时性提高，且降低了从数据输入到裸帧数据输出的延时性，数据缓存环节的消除，减少了内存的申请占用，降低了对内存资源的消耗。

在进一步的技术方案中，在执行步骤S23前，先：

判断视频帧是否完整，如果是，则进行步骤S23，如果否，则选择解决方案。

本发明通过上述技术方案，解析视频之前对视频进行检测，防止因视频帧有缺陷导致解析出错。

在进一步的技术方案中，解决方案包括：

判断视频帧的缺失类型，如果视频帧缺少开始码，则将开始码记录在位于所述Chunk块之前的Chunk块中，如果视频帧为I帧，且缺少PPS和SPS时，则将起始地址和长度记录在位于所述Chunk块之前的Chunk块中。

本发明通过上述技术方案，提供了解决视频帧残缺的技术方案，确保解析器能顺利对输出视频流进行解析。

在进一步的技术方案中，步骤S1中，侦测视频格式的具体方法如下：

根据输入视频流的系统头，判断出输入视频流的封装格式类型。

本发明提供如何侦测视频格式，可以准确地判断出输入视频流的封装格式类型，以匹配相应的解析器。

在进一步的技术方案中，步骤S1中，匹配解析器的具体方法如下：

枚举所有解析器去匹配输入视频流。

本发明通过枚举解析器去匹配输入视频流，根据输入视频流的封装格式以匹配成功。

另一方面，本发明还提供了一种针对非标格式视频流零拷贝脱壳的系统，包括：

脱壳模块：用于输入视频流；

侦测模块：用于识别视频格式的类型；

匹配模块：用于选择符合视频格式类型的解析模块；

解析模块：用于解析视频格式，并输出裸帧数据。

本发明的有益效果是：

1、有效地降低了内存数据的拷贝量，减少了脱壳过程中对CPU的消耗，提升了脱壳效率；

2、数据缓存环节的消除，减少了数据流转过程，数据处理的及时性提高，降低了从数据输入到裸帧数据输出的延时性；

3、数据缓存环节的消除，减少了内存的申请占用，降低了对内存资源的消耗。

附图说明

图1是本发明实施例所述步骤S1-S3的流程图；

图2是本发明实施例所述步骤S2的流程图。

具体实施方式

下面结合附图对本发明的实施例作进一步说明。

实施例：

如图1所示，一种针对非标格式视频流零拷贝脱壳的方法，包括以下步骤：

步骤S2代码实现为(代码的各步骤含义已进行注释说明)：

//解析状态

enum PARSE_STATUS

{

PS_PADDING＝0, //初始状态，待填充

PS_SYSHEADER, //系统头

PS_VIDEOHEADER, //视频头

PS_AUDIOHEADER, //音频头

PS_PRIVATEHEADER, //私有头

PS_VIDEODATA, //视频头数据

PS_AUDIODATA, //音频头数据

PS_PRIVATEDATA, //私有头数据

}；

S2、解析视频流格式，如图2所示，包括：

S21、分析视频流是否具有系统头，并将分析状态标记为初始状态PS_PADDING，若有，则偏移系统头的位置后并标记为分析状态PS_SYSHEADER，进入步骤S22，若无，则直接进入步骤S22；

S22、分析视频头，偏移视频头的位置后并标记为PS_VIDEOHEADER，判断偏移后的位置是否超过输入视频流的结束位置，如果否，则解析视频头并获取视频头数据，如果是，则结束分析；

分析音频头，偏移音频头的位置后并标记为PS_AUDIOHEADER，判断偏移后的位置是否超过输入视频流的结束位置，如果否，则解析音频头并获取音频头数据，如果是，则结束分析；

分析私有头，偏移私有头的位置后并标记为PS_PRIVATEHEADER，判断偏移后的位置是否超过输入视频流的结束位置，如果否，则解析私有头并获取私有头数据，如果是，则结束分析；

S23、解析视频帧数据：将视频帧的起始地址和长度记录到Chunk块中，然后偏移视频帧的长度，判断当前解析的位置是否超过输入视频流的结束位置，如果否，则结束该视频帧的解析并输出视频帧数据，如果是，则结束本次解析，并将FrameTag.status＝ES_DATANOTENOUGHT，FrameTag.comsumedSize＝POS；

解析音频帧数据：将音频帧的起始地址和长度记录到Chunk块中，然后偏移音频帧的长度，判断当前解析的位置是否超过输入视频流的结束位置，如果否，则结束该音频帧的解析并输出音频帧数据，如果是，则结束本次解析，并将FrameTag.status＝ES_DATANOTENOUGHT，FrameTag.comsumedSize＝POS；

解析私有帧数据：将私有帧的起始地址和长度记录到Chunk块中，然后偏移私有帧的长度，判断当前解析的位置是否超过输入视频流的结束位置，如果否，则结束该私有帧的解析并输出私有帧数据，如果是，则结束本次解析，并将FrameTag.status＝ES_DATANOTENOUGHT，FrameTag.comsumedSize＝POS；

S3、重复步骤S2，当完整一帧数据提取完毕时，所有的chunk块的大小之和即为一帧的大小(frameSize)，同时记录下已分析过输入视频流的数据长度，即以消耗的数据大小(comsumedSize)，最后输出裸帧数据FrameTag，同时将分析状态标记为初始状态PS_PADDING。

根据步骤S1-S3，整个脱壳过程没有对输入的视频流进行内存拷贝或者缓存，分析过程也只是记录了帧数据的起始地址和长度，大大提高了脱壳效率。

本实施例中，视频头、音频头和私有头代表了非标文件的格式，由厂家定义，而视频头、音频头和私有头并不是视频原始流(编码器输出的)数据，方便厂家对不同(流格式、编码方式、不同设备产生的)视频流格式的解析；视频头(音频头和私有头与视频头同理)是对视频帧数据的封装，可以理解为视频帧TAG包，解析视频帧的过程，即为解析TAG包，偏移量的大小是在视频头中标记的，标记的方法通常有两种，一种是直接给出头的长度，比如前2字节代表头的长度，另一种是没有直接给出头长度，而是通过头数据掩码，按掩码来解析头数据的长度，掩码通常是由32位的DWORD代表，每一位代表一种数据，例如：掩码第1位代表数据类型，第2位代表时间戳，第3位代表同步点，等等。

本实施例中，分析视频帧、音频帧、私有数据的结束的条件是遇到下一个视频头、或音频头、或私有头。

本实施例中，Chunk块是指一帧中的一个片段或一部分的数据块。

本实施例中，通过上述技术方案，消除了视频脱壳过程中的拷贝环节，有效地降低了内存数据的拷贝量，减少了脱壳过程中对CPU的消耗，提升了脱壳效率，同时消除了数据缓存环节，减少了数据流转过程，数据处理的及时性提高，且降低了从数据输入到裸帧数据输出的延时性，数据缓存环节的消除，减少了内存的申请占用，降低了对内存资源的消耗。

在另外一个实施例中，在执行步骤S23前，先：

本实施例中，本发明通过上述技术方案，解析视频之前对视频帧进行检测，防止因视频帧的缺陷导致解析出错。

在另外一个实施例中，解决方案包括：

SPS为Sequence Paramater Set的缩写，又称作序列参数集，SPS中保存了一组编码视频序列(Coded video sequence)的全局参数，所谓的编码视频序列即原始视频的一帧一帧的像素数据经过编码之后的结构组成的序列，而每一帧的编码后数据所依赖的参数保存于图像参数集中；PPS为Picture Paramater Set的缩写，又称图像参数集；SPS和PPS很重要，通常作为解码器实例的初始化信息，丢失或错误，会导致解码过程错误；I帧又称为关键帧，它是帧内编码，不参考其他帧，通过它可以解码出一幅完整的图像。

本实施例中，提供了解决视频帧残缺的技术方案，确保解析器能顺利对输出视频流进行解析。

在另外一个实施例中，步骤S1中，侦测视频格式的具体方法如下：

本实施例中，提供如何侦测视频格式，可以准确地判断出输入视频流的封装格式类型，以匹配相应的解析器。

在另外一个实施例中，步骤S1中，匹配解析器的具体方法如下：

枚举所有解析器去匹配输入视频流。

本实施例中，枚举解析器去匹配输入视频流，根据输入视频流的封装格式以匹配成功。

在另外一个实施例中，一种针对非标格式视频流零拷贝脱壳的系统，包括：

脱壳模块：用于输入视频流；

侦测模块：用于识别视频格式的类型；

匹配模块：用于选择符合视频格式类型的解析模块；

解析模块：用于解析视频格式，并输出裸帧数据。

在另外一个实施例中，输出视频帧(音频帧、私有帧同理)结构体说明：

针对非标格式视频流的封装特点，需要灵活的帧结构体来兼容不同情况。

具体代码实现为(代码的各步骤含义已进行注释说明)：

//脱壳状态

enum EXTRACT_STATUS

{

ES_NONE＝0,

ES_ONEFRAME, //得到一帧数据

ES_DATANOTENOUGHT，//输入的数据不够

ES_NOSUPPORT, //不支持的格式

}；

//数据块

struct ChunkTag{

void*data； //数据块地址

int size； //数据块的大小

}；

//帧结构

struct FrameTag

{

EXTRACT_STATUS status；//脱壳状态

int frameSize； //帧大小

ChunkTag*arrChunks；//帧包含的数据块数组地址

int chunkSize； //数据块个数

int comsumedSize； //已消耗的数据大小

}；

在另外一个实施例中，FrameTag结构体说明：

status:表示脱壳状态，也即是对应脱壳三种结果。

1、脱壳出一帧数据，此时status＝ES_ONEFRAME。

2、输入的数据不够，不足矣脱壳出一帧数据，此时status＝ES_DATANOTENOUGHT。

3、不支持的数据格式，此时status＝ES_NOSUPPORT。

frameSize:表示一帧的大小，当且仅当status＝ES_ONEFRAME时，才有意义。

arrChunks:表示包含帧数据块的数组地址，当且仅当status＝ES_ONEFRAME时，才有意义。

chunkSize:表示arrChunks中数据块的个数，当且仅当status＝ES_ONEFRAME时，才有意义。

comsumedSize：表示本次输入已消耗掉的数据大小，不管有没有脱壳出帧，在下次输入数据时，都应去除掉该数据。

以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims

1.一种针对非标格式视频流零拷贝脱壳的方法，其特征在于，包括以下步骤：

S2、解析视频流格式，包括：

S21、分析视频流是否具有系统头，若有，则偏移系统头的位置后，进入步骤S22，若无，则直接进入步骤S22；

S3、重复步骤S2，输出裸帧数据。

2.根据权利要求1所述的一种针对非标格式视频流零拷贝脱壳的方法，其特征在于，在执行步骤S23前，先：

3.根据权利要求2所述的一种针对非标格式视频流零拷贝脱壳的方法，其特征在于，解决方案包括：

4.根据权利要求1所述的一种针对非标格式视频流零拷贝脱壳的方法，其特征在于，步骤S1中，侦测视频格式的具体方法如下：

5.根据权利要求1所述的一种针对非标格式视频流零拷贝脱壳的方法，其特征在于，步骤S1中，匹配解析器的具体方法如下：

枚举所有解析器去匹配输入视频流。

6.一种使用权利要求1-5任意一项所述方法的针对非标格式视频流零拷贝脱壳的系统，其特征在于，包括：

脱壳模块：用于输入视频流；

侦测模块：用于识别视频格式的类型；

匹配模块：用于选择符合视频格式类型的解析模块；

解析模块：用于解析视频格式，并输出裸帧数据。