CN105357570A - 一种基于帧分析的视频流分析方法及系统 - Google Patents

Abstract

本发明提供一种基于帧分析的视频流分析方法及系统，所述方法包括：从视频存储服务器接收视频流；将接收的视频流进行备份保存的同时将视频流发送至预设的缓冲列队；对从缓冲列队中读取的视频流进行解码后获取的解码数据进行保存标记；通过多个分析任务对解码数据进行视频帧分析处理；将分析处理出后获取的分析数据进行编码后输出到序号为I帧索引的编码文件中；对分析任务中的视频帧进行计数，当分析任务中的视频帧达到预设值时，结束该分析任务并获取该分析任务所对应的编码文件；根据编码文件的编码序号大小将各分析任务所的编码文件合成为一个整体文件。本发明可以解决现有的对视频流（录像）分析定位慢，分析速度与下载速度不匹配的问题。

Description

一种基于帧分析的视频流分析方法及系统

技术领域

本发明涉及图像技术领域，特别是涉及视频图像的检测和管理技术领域，具体为一种基于帧分析的视频流分析方法及系统。

背景技术

视频(Video)泛指将一系列静态影像以电信号的方式加以捕捉、纪录、处理、储存、传送与重现的各种技术。连续的图像变化每秒超过25帧(frame)画面以上时，根据视觉暂留原理，人眼无法辨别单幅的静态画面；看上去是平滑连续的视觉效果，这样连续的画面叫做视频。视频技术最早是为了电视系统而发展，但现在已经发展为各种不同的格式以利消费者将视频记录下来。网络技术的发达也促使视频的纪录片段以串流媒体的形式存在于因特网之上并可被电脑接收与播放。视频与电影属于不同的技术，后者是利用照相术将动态的影像捕捉为一系列的静态照片。

智能化安防技术随着科学技术的发展与进步和二十一世纪信息技术的腾飞已迈入了一个全新的领域，智能化安防技术与计算机之间的界限正在逐步消失。物联网技术的普及应用，使得城市的安防从过去简单的安全防护系统向城市综合化体系演变，城市的安防项目涵盖众多的领域，有街道社区、楼宇建筑、银行邮局、道路监控、机动车辆、警务人员、移动物体、船只等。特别是针对重要场所，如：机场、码头、水电气厂、桥梁大坝、河道、地铁等场所，引入物联网技术后可以通过无线移动、跟踪定位等手段建立全方位的立体防护。

随着社会保障体系的完善，智能安防和平安城市被人们熟知。然而在安防领域，数字化，智能化，网络化趋势愈加明显。这些技术在我们生活中都会遇到，商场的监控、智能报警系统等等。录像的存储和分析在一定程度上很好的诠释了网络化和数字化。通常录像存在于远端，设备或者服务器，首先要对录像进行下载，然而原有的录像未必能清楚的展现我们所需要的信息，此刻就需要针对相关的录像进行分析，快速定位到有用的信息。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于帧分析的视频流分析方法及系统，用于解决现有技术中对录像的分析定位慢和分析速度与下载速度不匹配的问题。

为实现上述目的及其他相关目的，本发明提供一种基于帧分析的视频流分析方法，所述基于帧分析的视频流分析方法包括以下步骤：从视频存储服务器接收视频流；将接收的所述视频流进行备份保存的同时还将所述视频流发送至预设的缓冲列队以待分析；从所述缓冲列队中读取所述视频流，对读取的所述视频流进行解码并将解码后获取的解码数据进行保存、标记；通过预建的多个分析任务对所述解码数据进行视频帧分析处理；将对所述视频帧分析处理出后获取的分析数据进行编码并将编码后的所述分析数据输出到序号为I帧索引的编码文件中；对所述分析任务中的视频帧进行计数，当所述分析任务中的视频帧达到预设值时，结束该分析任务并获取该分析任务所对应的编码文件；根据编码文件的编码序号大小将各分析任务所对应的编码文件合成为一个整体文件。

优选地，所述基于帧分析的视频流分析方法还包括：当所述缓冲队列中的中视频流中的帧大于缓冲容量阈值时，丢弃当前视频流中的P帧，保留当前视频流中的I帧。

优选地，在将所述视频流发送至缓冲列队之前，所述基于帧分析的视频流分析方法还包括：对所述视频流的帧类型进行分析和标记。

优选地，所述将解码后获取的解码数据进行保存、标记中：保存所述解码数据为YUV格式，标记所述解码数据中的帧类型并设置I帧间隔。

优选地，所述分析任务的数量至少为：N×M/1000，其中，N为分析一个视频帧所需的分析任务数量，M为解码一个视频帧所需的分析任务数量。

为实现上述目的，本发明还提供一种基于帧分析的视频流分析系统，所述基于帧分析的视频流分析系统包括：视频流接收模块，用于从视频存储服务器接收视频流；视频流处理模块，与所述视频流处理模块相连，用于将接收的所述视频流发送进行备份保存的同时还将所述视频流发送至预设的缓冲列队以待分析；备份保存模块，与所述视频流处理模块相连，用于对所述视频流进行备份保存；缓冲列队模块，与所述视频流接收模块相连，用于设置缓冲列队；读取解码模块，与所述缓冲列队模块相连，用于从所述缓冲列队中读取所述视频流，对读取的所述视频流进行解码并将解码后获取的解码数据进行保存、标记；分析处理模块，与所述读取解码模块相连，用于通过预建的多个分析任务对所述解码数据进行视频帧分析处理；编码模块，与所述分析处理模块相连，用于将对所述视频帧分析处理出后获取的分析数据进行编码并将编码后的所述分析数据输出到序号为I帧索引的编码文件中；合成模块，与所述编码模块相连，用于根据编码文件的编码序号大小将各分析任务所对应的编码文件合成为一个整体文件。

优选地，在所述缓冲列队模块中，当所述缓冲队列中的中视频流中的帧大于缓冲容量阈值时，丢弃当前视频流中的P帧，保留当前视频流中的I帧。

优选地，所述视频流处理模块还用于在将所述视频流发送至缓冲列队之前对所述视频流的帧类型进行分析和标记。

优选地，所述读取解码模块保存所述解码数据为YUV格式，标记所述解码数据中的帧类型并设置I帧间隔。

优选地，所述分析处理模块中建立的所述分析任务的数量至少为：N×M/1000，其中，N为分析一个视频帧所需的分析任务数量，M为解码一个视频帧所需的分析任务数量。

如上所述，本发明的一种基于帧分析的视频流分析方法及系统，具有以下有益效果：

1、本发明通过边备份保存视频流边通过多个分析任务对视频流进行分析，可以解决现有的对视频流(录像)录像的分析定位慢，分析速度与下载速度不匹配的问题，以便在需要的时候能实现录像视频同步下载和分析，节省了至少录像下载所需时间总长度。

2、在本发明中，当分析所需的时间远远大于解码所需的时间是，分多任务分析，可以节省至少任务总数-1的分析时间长度。

3、在本发明中，如果需要编码，编码比较耗时，分多任务编码可节省至少任务总数-1的编码总时间长度。

4、本发明很大可能提升了下载和分析的同步性，同时提升了分析的实时性。

附图说明

图1显示为本发明的基于帧分析的视频流分析方法的流程框架图。

图2显示为本发明的基于帧分析的视频流分析方法的流程示意图。

图3显示为本发明的基于帧分析的视频流分析方法的实施示意图。

图4显示为本发明的基于帧分析的视频流分析系统的结构示意图。

元件标号说明

1基于帧分析的视频流分析系统

11视频流接收模块

12视频流处理模块

13备份保存模块

14缓冲列队模块

15读取解码模块

16分析处理模块

17编码模块

18合成模块

S11～S17步骤

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

本实施例的目的在于提供一种基于帧分析的视频流分析方法及系统，用于解决现有技术中对录像的分析定位慢和分析速度与下载速度不匹配的问题。以下将详细阐述本实施例的一种基于帧分析的视频流分析方法及系统的原理及实施方式，使本领域技术人员不需要创造性劳动即可理解本实施例的一种基于帧分析的视频流分析方法及系统。

如图1所示，本实施例提供一种基于帧分析的视频流分析方法，边下载保存视频流，边将视频流发送至缓冲队列，经解码编码处理后，再通过多个分析任务进行视频流分析，分析任务结束后根据需要将分析结果保存。本实施例解决了现有方案中视频流分析耗时较长的问题，同时也为快速分析视频流提供了一种思路。具体地，如图2所示，所述基于帧分析的视频流分析方法包括以下步骤。

步骤S11，从视频存储服务器接收视频流。

步骤S12，将接收的所述视频流进行备份保存的同时还将所述视频流发送至预设的缓冲列队以待分析。

步骤S13，从所述缓冲列队中读取所述视频流，对读取的所述视频流进行解码并将解码后获取的解码数据进行保存、标记。

步骤S14，通过预建的多个分析任务对所述解码数据进行视频帧分析处理。

步骤S15，将对所述视频帧分析处理出后获取的分析数据进行编码并将编码后的所述分析数据输出到序号为I帧索引的编码文件中。

步骤S16，对所述分析任务中的视频帧进行计数，当所述分析任务中的视频帧达到预设值时，结束该分析任务并获取该分析任务所对应的编码文件。

步骤S17，据编码文件的编码序号大小将各分析任务所对应的编码文件合成为一个整体文件。

如图2和图3所示，以下对步骤S11至步骤S17进行详细说明。

步骤S11，从视频存储服务器接收视频流。在执行步骤S11之前，可进行一些常规的初始化配置，然后读取配置文件信息，例如，记录录像存储服务器相关信息、录像下载路径、分析结果是否编码保存等。然后创建录像下载线程，缓冲队列，解码线程，初始化线程池，创建N个分析任务，创建文件合成线程，同时初始化任务相关参数，视频的分辨率及当前帧类型，当前I帧索引，I帧间隔。

然后在具体执行步骤S11时，登陆视频存储服务器，开启视频下载，从视频存储服务器接收视频流。

步骤S12，将接收的所述视频流进行备份保存的同时还将所述视频流发送至预设的缓冲列队以待分析。

在本实施例中，也就说，在登陆视频存储服务器，开启视频下载，从视频存储服务器接收视频流时，将视频流的内容转发，一份用于保存，一份发送到缓冲用于分析处理。

在本实施例中，视频流发送到缓冲队列中的数据结构为：数据指针、数据大小、帧类型、I帧索引。

此外，在本实施例中，在将所述视频流发送至缓冲列队之前，所述基于帧分析的视频流分析方法还包括：对所述视频流的帧类型进行分析和标记。视频流的帧类型主要有I帧、P帧和B帧。在针对连续动态图像编码时，将连续若干幅图像分成P，B，I三种类型。I帧(Iframe)又称为内部画面(intrapicture)，I帧通常是每个GOP(MPEG所使用的一种视频压缩技术)的第一个帧，经过适度地压缩，做为随机访问的参考点，可以当成图像。P帧是I帧后面相隔1～2帧的编码帧。P帧由在它前面的P帧或者I帧预测而来，它比较与它前面的P帧或者I帧之间的相同信息或数据，也即考虑运动的特性进行帧间压缩。由于P帧是参考帧，它可能造成解码错误的扩散。

在本实施例中，在将所述视频流发送至缓冲列队之前，分析帧的类型：确定视频帧是I帧还是非I帧，当分析的时间远大于解码的时间时，将解码后的数据发送到不同的任务分析，节省时间。此处分析帧类型的目的是为分析之后的数据编码做准备，H264编码需要一个完成的参考帧序列。

在本实施例中，所述基于帧分析的视频流分析方法还包括：当所述缓冲队列中的中视频流中的帧大于缓冲容量阈值时，丢弃当前视频流中的P帧，保留当前视频流中的I帧。也就是说，在本实施例中，当缓冲队列较大时，会丢弃当前的P帧保留I帧，防止马赛克发生。

步骤S13，从所述缓冲列队中读取所述视频流，对读取的所述视频流进行解码并将解码后获取的解码数据进行保存、标记。解码线程从缓冲池中读取视频进行解码，将解码的数据保存成yuv格式，并标记帧类型，I帧间隔，以备分析用。

具体地，在本实施例中，所述将解码后获取的解码数据进行保存、标记中：保存所述解码数据为YUV格式，标记所述解码数据中的帧类型并设置I帧间隔，I帧间隔是两个I帧之间的帧数目，一般情况下，一个文件的I帧间隔是一致的。

在本实施例中，解码数据的数据结构为：Y数据指针，U数据指针，V数据指针，当前帧类型，当前I帧索引。

步骤S14，通过预建的多个分析任务对所述解码数据进行视频帧分析处理。

在本实施例中，所述分析任务的数量至少为：N×M/1000，其中，N为分析一个视频帧所需的分析任务数量，M为解码一个视频帧所需的分析任务数量，也就是说，假如分析一帧YUV需要N个分析任务，解码一帧需要M个分析任务，那么可以开启至少N×M/1000个分析任务。

具体地，在本实施例中，判断当前帧类型，如果为I帧，将数据送往空闲任务进行处理，如果为P帧或者B帧，将数据送往与之相同的I帧索引的任务进行处理，因264的编码需要一个完整的I帧序列方可进行，然后多个分析任务获取yuv数据进行分析。

步骤S15，将对所述视频帧分析处理出后获取的分析数据进行编码并将编码后的所述分析数据输出到序号为I帧索引的编码文件中。步骤S16，对所述分析任务中的视频帧进行计数，当所述分析任务中的视频帧达到预设值时，结束该分析任务并获取该分析任务所对应的编码文件。

步骤S15和步骤S16的过程如下：将对所述视频帧分析处理出后的分析数据进行编码并输出到序号为I帧索引的索引文件中，同时对分析任务中分析的帧进行计数，如果到达I帧间隔的大小，将编码的文件送往文件合成线程，此任务结束。

步骤S17，据编码文件的编码序号大小将各分析任务所对应的编码文件合成为一个整体文件。

在本实施例中，文件合成线程根据各编码文件名称，从小到大依次将各任务的编码文件组合成，每一轮合成必须完成N个文件的依次组合，中间不可跳跃，最终将分析后的编码文件合成为一个完整的264文件，其中，所述编码文件为名称为I帧索引为文件名的文件。

为实现上述基于帧分析的视频流分析方法，本实施例对应还提供一种基于帧分析的视频流分析系统，具体地，如图4所示，所述基于帧分析的视频流分析系统1包括：视频流接收模块11，视频流处理模块12，备份保存模块13，读取解码模块15，分析处理模块16，编码模块17以及合成模块18。

在本实施例中，所述视频流接收模块11用于从视频存储服务器接收视频流；在所述视频流接收模块11执行之前，可通过预支的初始化配置模块进行一些常规的初始化配置，然后读取配置文件信息，例如，记录录像存储服务器相关信息、录像下载路径、分析结果是否编码保存等。然后创建录像下载线程，缓冲队列，解码线程，初始化线程池，创建N个分析任务，创建文件合成线程，同时初始化任务相关参数，视频的分辨率及当前帧类型，当前I帧索引，I帧间隔。

然后，所述视频流接收模块11登陆视频存储服务器，开启视频下载，从视频存储服务器接收视频流。

在本实施例中，所述视频流处理模块12与所述视频流处理模块12相连，用于将接收的所述视频流发送进行备份保存的同时还将所述视频流发送至预设的缓冲列队以待分析。在本实施例中，也就说，所述视频流接收模块11在登陆视频存储服务器，开启视频下载，从视频存储服务器接收视频流时，所述视频流处理模块12将视频流的内容转发，一份用于保存，一份发送到缓冲用于分析处理。

在本实施例中，视频流发送到缓冲队列中的数据结构为：数据指针、数据大小、帧类型、I帧索引。

此外，在本实施例中，所述视频流处理模块12还用于在将所述视频流发送至缓冲列队之前对所述视频流的帧类型进行分析和标记。

在本实施例中，所述视频流处理模块12在将所述视频流发送至缓冲列队之前，分析帧的类型：确定视频帧是I帧还是非I帧，当分析的时间远大于解码的时间时，将解码后的数据发送到不同的任务分析，节省时间。此处分析帧类型的目的是为分析之后的数据编码做准备，H264编码需要一个完成的参考帧序列。

在本实施例中，所述备份保存模块13与所述视频流处理模块12相连，用于对所述视频流进行备份保存。所述缓冲列队模块14与所述视频流接收模块11相连，用于设置缓冲列队。

在本实施例中，在所述缓冲列队模块14中，当所述缓冲队列中的中视频流中的帧大于缓冲容量阈值时，丢弃当前视频流中的P帧，保留当前视频流中的I帧。也就是说，在本实施例中，当所述缓冲列队模块14中的缓冲队列较大时，会丢弃当前的P帧保留I帧，防止马赛克发生。

在本实施例中，所述读取解码模块15与所述缓冲列队模块14相连，用于从所述缓冲列队中读取所述视频流，对读取的所述视频流进行解码并将解码后获取的解码数据进行保存、标记；解码线程从缓冲池中读取视频进行解码，将解码的数据保存成yuv格式，并标记帧类型，I帧间隔，以备分析用。

具体地，在本实施例中，所述读取解码模块15保存所述解码数据为YUV格式，标记所述解码数据中的帧类型并设置I帧间隔，I帧间隔是两个I帧之间的帧数目，一般情况下，一个文件的I帧间隔是一致的。

在本实施例中，解码数据的数据结构为：Y数据指针，U数据指针，V数据指针，当前帧类型，当前I帧索引。

在本实施例中，所述分析处理模块16与所述读取解码模块15相连，用于通过预建的多个分析任务对所述解码数据进行视频帧分析处理；

在本实施例中，所述分析处理模块16中建立的所述分析任务的数量至少为：N×M/1000，其中，N为分析一个视频帧所需的分析任务数量，M为解码一个视频帧所需的分析任务数量，也就是说，假如分析一帧YUV需要N个分析任务，解码一帧需要M个分析任务，那么可以开启至少N×M/1000个分析任务。

具体地，在本实施例中，所述分析处理模块16判断当前帧类型，如果为I帧，将数据送往空闲任务进行处理，如果为P帧或者B帧，将数据送往与之相同的I帧索引的任务进行处理，因264的编码需要一个完整的I帧序列方可进行，然后多个分析任务获取yuv数据进行分析。

在本实施例中，所述编码模块17与所述分析处理模块16相连，用于将对所述视频帧分析处理出后获取的分析数据进行编码并将编码后的所述分析数据输出到序号为I帧索引的编码文件中。此外，本实施例中的基于帧分析的视频流分析系统1还包括计时获取模块，用于对所述分析任务中的视频帧进行计数，当所述分析任务中的视频帧达到预设值时，结束该分析任务并获取该分析任务所对应的编码文件。所述编码模块17将对所述视频帧分析处理出后的分析数据进行编码并输出到序号为I帧索引的索引文件中，同时所述计时获取模块对分析任务中分析的帧进行计数，如果到达I帧间隔的大小，将编码的文件送往文件合成线程，此任务结束。

在本实施例中，所述合成模块18与所述编码模块17相连，用于根据编码文件的编码序号大小将各分析任务所对应的编码文件合成为一个整体文件。在本实施例中，所述合成模块18利用文件合成线程根据各编码文件名称，从小到大依次将各任务的编码文件组合成，每一轮合成必须完成N个文件的依次组合，中间不可跳跃，最终将分析后的编码文件合成为一个完整的264文件，其中，所述编码文件为名称为I帧索引为文件名的文件。

综上所述，本发明通过边备份保存视频流边通过多个分析任务对视频流进行分析，可以解决现有的对视频流(录像)录像的分析定位慢，分析速度与下载速度不匹配的问题，以便在需要的时候能实现录像视频同步下载和分析，节省了至少录像下载所需时间总长度；在本发明中，当分析所需的时间远远大于解码所需的时间是，分多任务分析，可以节省至少任务总数-1的分析时间长度；在本发明中，如果需要编码，编码比较耗时，分多任务编码可节省至少任务总数-1的编码总时间长度；本发明很大可能提升了下载和分析的同步性，同时提升了分析的实时性。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种基于帧分析的视频流分析方法，其特征在于：所述基于帧分析的视频流分析方法包括以下步骤：

从视频存储服务器接收视频流；

将接收的所述视频流进行备份保存的同时还将所述视频流发送至预设的缓冲列队以待分析；

从所述缓冲列队中读取所述视频流，对读取的所述视频流进行解码并将解码后获取的解码数据进行保存、标记；

通过预建的多个分析任务对所述解码数据进行视频帧分析处理；

将对所述视频帧分析处理出后获取的分析数据进行编码并将编码后的所述分析数据输出到序号为I帧索引的编码文件中；

对所述分析任务中的视频帧进行计数，当所述分析任务中的视频帧达到预设值时，结束该分析任务并获取该分析任务所对应的编码文件；

根据编码文件的编码序号大小将各分析任务所对应的编码文件合成为一个整体文件。

2.根据权利要求1所述的基于帧分析的视频流分析方法，其特征在于：所述基于帧分析的视频流分析方法还包括：当所述缓冲队列中的中视频流中的帧大于缓冲容量阈值时，丢弃当前视频流中的P帧，保留当前视频流中的I帧。

3.根据权利要求1或2所述的基于帧分析的视频流分析方法，其特征在于：

在将所述视频流发送至缓冲列队之前，所述基于帧分析的视频流分析方法还包括：对所述视频流的帧类型进行分析和标记。

4.根据权利要求1所述的基于帧分析的视频流分析方法，其特征在于：所述将解码后获取的解码数据进行保存、标记中：保存所述解码数据为YUV格式，标记所述解码数据中的帧类型并设置I帧间隔。

5.根据权利要求1或4所述的基于帧分析的视频流分析方法，其特征在于：所述分析任务的数量至少为：

N×M/1000

其中，N为分析一个视频帧所需的分析任务数量，M为解码一个视频帧所需的分析任务数量。

6.一种基于帧分析的视频流分析系统，其特征在于：所述基于帧分析的视频流分析系统包括：

视频流接收模块，用于从视频存储服务器接收视频流；

视频流处理模块，与所述视频流处理模块相连，用于将接收的所述视频流发送进行备份保存的同时还将所述视频流发送至预设的缓冲列队以待分析；

备份保存模块，与所述视频流处理模块相连，用于对所述视频流进行备份保存；

缓冲列队模块，与所述视频流接收模块相连，用于设置缓冲列队；

读取解码模块，与所述缓冲列队模块相连，用于从所述缓冲列队中读取所述视频流，对读取的所述视频流进行解码并将解码后获取的解码数据进行保存、标记；

分析处理模块，与所述读取解码模块相连，用于通过预建的多个分析任务对所述解码数据进行视频帧分析处理；

编码模块，与所述分析处理模块相连，用于将对所述视频帧分析处理出后获取的分析数据进行编码并将编码后的所述分析数据输出到序号为I帧索引的编码文件中；

合成模块，与所述编码模块相连，用于根据编码文件的编码序号大小将各分析任务所对应的编码文件合成为一个整体文件。

7.根据权利要求6所述的基于帧分析的视频流分析系统，其特征在于：在所述缓冲列队模块中，当所述缓冲队列中的中视频流中的帧大于缓冲容量阈值时，丢弃当前视频流中的P帧，保留当前视频流中的I帧。

8.根据权利要求6或7所述的基于帧分析的视频流分析系统，其特征在于：所述视频流处理模块还用于在将所述视频流发送至缓冲列队之前对所述视频流的帧类型进行分析和标记。

9.根据权利要求6所述的基于帧分析的视频流分析系统，其特征在于：所述读取解码模块保存所述解码数据为YUV格式，标记所述解码数据中的帧类型并设置I帧间隔。

10.根据权利要求6或9所述的基于帧分析的视频流分析系统，其特征在于：所述分析处理模块中建立的所述分析任务的数量至少为：

N×M/1000

其中，N为分析一个视频帧所需的分析任务数量，M为解码一个视频帧所需的分析任务数量。