CN114125396A - 视频监控方法、装置、计算机设备及介质 - Google Patents

Abstract

本发明公开了一种视频监控方法、装置、计算机设备及介质，所述方法包括：通过对实时视频流进行解析，得到事件流和码流，将事件流推送到边缘节点设备，通过边缘节点设备对事件流进行特征提取，得到中间结果；将中间结果发送给物联网平台，通过物联网平台进行事件识别，得到事件识别结果；将码流推送到视频监控平台，通过视频监控平台进行关键帧图像提取，得到目标图像；将事件识别结果和目标图像推送至应用层管理设备，采用本发明可以提高视频监控中实时视频流处理效率。

Description

视频监控方法、装置、计算机设备及介质

技术领域

本发明涉及公共安全领域，尤其涉及一种视频监控方法、装置、计算机设备及介质。

背景技术

随着社会经济的快速发展，公共场合安全越来越受到重视，现有方式中，主要通过摄像头采集实时视频流，进而将实时视频流通过国标视频流通道传输给后台视频监控平台进行处理，在摄像设备较多(视频流采集源头较多)时，监控视频平台处理效率较低，容易导致一些危及公共安全的事件延迟预警。

发明内容

本发明实施例提供一种视频监控方法、装置、计算机设备和存储介质，以提高实时视频流的监控效率。

为了解决上述技术问题，本申请实施例提供一种视频监控方法，包括：

对实时视频流进行解析，得到事件流和码流；

将所述事件流推送到边缘节点设备，通过边缘节点设备对事件流进行特征提取，得到中间结果；

将所述中间结果发送给物联网平台，通过所述物联网平台进行事件识别，得到事件识别结果；

将码流推送到视频监控平台，通过视频监控平台进行关键帧图像提取，得到目标图像；

将所述事件识别结果和所述目标图像推送至应用层管理设备。

可选地，在所述获取实时视频流进行解析，得到事件流和码流之前，所述方法还包括：

采用双摄像头获取实时视频流，所述双摄像头包括普通摄像头和AI摄像头。

可选地，所述通过边缘节点设备对事件流进行特征提取，得到中间结果包括：

对所述事件流进行类型识别，得到所述事件流对应的类别信息；

基于所述类别信息，从预设的算法模型集合中选取目标算法模型；

采用所述目标算法模型对所述事件流进行特征提取，得到所述中间结果。

可选地，在所述采用所述目标算法模型对所述事件流进行特征提取，得到所述中间结果之后，所述方法还包括：

将所述事件流作为所述目标算法模型的数据源；

采用所述数据源和所述中间结果，对所述目标算法模型进行训练优化，得到优化后的目标算法模型。

为了解决上述技术问题，本申请实施例还提供一种视频监控装置，包括：

视频流解析模块，用于对实时视频流进行解析，得到事件流和码流；

特征提取模块，用于将所述事件流推送到边缘节点设备，通过边缘节点设备对事件流进行特征提取，得到中间结果；

事件识别模块，用于将所述中间结果发送给物联网平台，通过所述物联网平台进行事件识别，得到事件识别结果；

关键帧提取模块，用于将码流推送到视频监控平台，通过视频监控平台进行关键帧图像提取，得到目标图像；

信息推送模块，用于将所述事件识别结果和目标图像推送至应用层管理设备。

可选地，所述视频监控装置还包括：

视频流采集模块，用于采用双摄像头获取实时视频流，所述双摄像头包括普通摄像头和AI摄像头。

可选地，所述特征提取模块包括：

类别识别单元，用于对所述事件流进行类型识别，得到所述事件流对应的类别信息；

模型选取单元，用于基于所述类别信息，从预设的算法模型集合中选取目标算法模型；

特征提取单元，用于采用所述目标算法模型对所述事件流进行特征提取，得到所述中间结果。

可选地，所述视频监控装置还包括：

数据源确定模块，用于将所述事件流作为所述目标算法模型的数据源；

模型优化模块，用于采用所述数据源和所述中间结果，对所述目标算法模型进行训练优化，得到优化后的目标算法模型。

为了解决上述技术问题，本申请实施例还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述视频监控方法的步骤。

为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述视频监控方法的步骤。

本发明实施例提供的视频监控方法、装置、计算机设备及存储介质，本实施例中，通过对实时视频流进行解析，得到事件流和码流，将事件流推送到边缘节点设备，通过边缘节点设备对事件流进行特征提取，得到中间结果；将中间结果发送给物联网平台，通过物联网平台进行事件识别，得到事件识别结果；将码流推送到视频监控平台，通过视频监控平台进行关键帧图像提取，得到目标图像；将事件识别结果和目标图像推送至应用层管理设备，实现对监控视频的快速处理，有利于应用层根据事件识别结果和目标图像进行快速决策，提高视频监控图像的处理效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请可以应用于其中的示例性系统架构图；

图2是本申请的视频监控方法的一个实施例的流程图；

图3是根据本申请的视频监控装置的一个实施例的结构示意图；

图4是根据本申请的计算机设备的一个实施例的结构示意图。

具体实施方式

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture E界面显示perts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureE界面显示perts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。

需要说明的是，本申请实施例所提供的视频监控方法由服务器执行，相应地，视频监控装置设置于服务器中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器，本申请实施例中的终端设备101、102、103具体可以对应的是实际生产中的应用系统。

请参阅图2，图2示出本发明实施例提供的一种视频监控方法，以该方法应用在图1中的服务端为例进行说明，详述如下：

S201：对实时视频流进行解析，得到事件流和码流。

在一具体实施方式中，在获取实时视频流进行解析，得到事件流和码流之前，方法还包括：

采用双摄像头获取实时视频流，双摄像头包括普通摄像头和AI摄像头。

本实施例中，AI摄像头可以获取码流和事件，码流是视频流和音频流，事件例如外人闯入、摄像头上线、摄像头下线等。

需要说明的是，本实施例中的AI摄像头和普通摄像头，具体可以是多个分布式的摄像头。

其中，事件流也叫数据流。数据流最初是通信领域使用的概念，代表传输中所使用的信息的数字编码信号序列。然而，我们所提到的数据流概念与此不同。这里提到的数据流具有以下两个特点能够持续产生大量的数据这类数据最早出现与传统的银行和股票交易领域，也在互联网监控、无线通信网等领域出现、需要以近实时的方式对更新数据流进行复杂分析如趋势分析、预测、监控等。事件流处理是数据流处理的一个子集，是一种特定的数据流处理。

S202：将事件流推送到边缘节点设备，通过边缘节点设备对事件流进行特征提取，得到中间结果。

本实施例中，在本地平台上增加一个边缘节点硬件设备，边缘节点具体可以是小机型计算机或者嵌入式计算平台，该平台包含通用的计算容器，并且，在边缘节点中存储一些程序，这些程序会跟摄像头发生关系，可以直接接收AI摄像头发出的视频流和事件流，接收之后，智能化把AI摄像头传输的事件流和码流进行拆分，将事件进行特征提取后传输给物联网平台，码流(视频码流和音频码流)发往监控视频平台，有利于快速进行事件识别。

另外，在本地将多个AI摄像头得到的视频码流，通过本地平台(边缘节点)计算单元(AI算法)进行处理，获得远远多于单个摄像头的数据。

在一具体实施方式中，通过边缘节点设备对事件流进行特征提取，得到中间结果包括：

对事件流进行类型识别，得到事件流对应的类别信息；

基于类别信息，从预设的算法模型集合中选取目标算法模型；

采用目标算法模型对事件流进行特征提取，得到中间结果。

在一具体实施方式中，在采用目标算法模型对事件流进行特征提取，得到中间结果之后，方法还包括：

将事件流作为目标算法模型的数据源；

采用数据源和中间结果，对目标算法模型进行训练优化，得到优化后的目标算法模型。

S203：将中间结果发送给物联网平台，通过物联网平台进行事件识别，得到事件识别结果。

S204：将码流推送到视频监控平台，通过视频监控平台进行关键帧图像提取，得到目标图像。

S205：将事件识别结果和目标图像推送至应用层管理设备。

本实施例中，通过对实时视频流进行解析，得到事件流和码流，将事件流推送到边缘节点设备，通过边缘节点设备对事件流进行特征提取，得到中间结果；将中间结果发送给物联网平台，通过物联网平台进行事件识别，得到事件识别结果；将码流推送到视频监控平台，通过视频监控平台进行关键帧图像提取，得到目标图像；将事件识别结果和目标图像推送至应用层管理设备，实现对监控视频的快速处理，有利于应用层根据事件识别结果和目标图像进行快速决策，提高视频监控图像的处理效率。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

图3示出与上述实施例视频监控方法一一对应的视频监控装置的原理框图。如图3所示，该视频监控装置包括视频流解析模块31、特征提取模块32、事件识别模块33、关键帧提取模块34和信息推送模块35。各功能模块详细说明如下：

视频流解析模块31，用于对实时视频流进行解析，得到事件流和码流；

特征提取模块32，用于将事件流推送到边缘节点设备，通过边缘节点设备对事件流进行特征提取，得到中间结果；

事件识别模块33，用于将中间结果发送给物联网平台，通过物联网平台进行事件识别，得到事件识别结果；

关键帧提取模块34，用于将码流推送到视频监控平台，通过视频监控平台进行关键帧图像提取，得到目标图像；

信息推送模块35，用于将事件识别结果和目标图像推送至应用层管理设备。

可选地，视频监控装置还包括：

视频流采集模块，用于采用双摄像头获取实时视频流，双摄像头包括普通摄像头和AI摄像头。

可选地，特征提取模块32包括：

类别识别单元，用于对事件流进行类型识别，得到事件流对应的类别信息；

模型选取单元，用于基于类别信息，从预设的算法模型集合中选取目标算法模型；

特征提取单元，用于采用目标算法模型对事件流进行特征提取，得到中间结果。

可选地，视频监控装置还包括：

数据源确定模块，用于将事件流作为目标算法模型的数据源；

模型优化模块，用于采用数据源和中间结果，对目标算法模型进行训练优化，得到优化后的目标算法模型。

关于视频监控装置的具体限定可以参见上文中对于视频监控方法的限定，在此不再赘述。上述视频监控装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。

所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件连接存储器41、处理器42、网络接口43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或D界面显示存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例视频监控的程序代码等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的程序代码或者处理数据，例如运行电子文件的控制的程序代码。

所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。

本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有界面显示程序，所述界面显示程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的视频监控方法的步骤。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种视频监控方法，其特征在于，所述视频监控方法包括：

对实时视频流进行解析，得到事件流和码流；

将所述事件流推送到边缘节点设备，通过边缘节点设备对事件流进行特征提取，得到中间结果；

将所述中间结果发送给物联网平台，通过所述物联网平台进行事件识别，得到事件识别结果；

将码流推送到视频监控平台，通过视频监控平台进行关键帧图像提取，得到目标图像；

将所述事件识别结果和所述目标图像推送至应用层管理设备。

2.如权利要求1所述的视频监控方法，其特征在于，在所述获取实时视频流进行解析，得到事件流和码流之前，所述方法还包括：

采用双摄像头获取实时视频流，所述双摄像头包括普通摄像头和AI摄像头。

3.如权利要求1所述的视频监控方法，其特征在于，所述通过边缘节点设备对事件流进行特征提取，得到中间结果包括：

对所述事件流进行类型识别，得到所述事件流对应的类别信息；

基于所述类别信息，从预设的算法模型集合中选取目标算法模型；

采用所述目标算法模型对所述事件流进行特征提取，得到所述中间结果。

4.如权利要求3所述的视频监控方法，其特征在于，在所述采用所述目标算法模型对所述事件流进行特征提取，得到所述中间结果之后，所述方法还包括：

将所述事件流作为所述目标算法模型的数据源；

采用所述数据源和所述中间结果，对所述目标算法模型进行训练优化，得到优化后的目标算法模型。

5.一种视频监控装置，其特征在于，所述视频监控装置包括：

视频流解析模块，用于对实时视频流进行解析，得到事件流和码流；

特征提取模块，用于将所述事件流推送到边缘节点设备，通过边缘节点设备对事件流进行特征提取，得到中间结果；

事件识别模块，用于将所述中间结果发送给物联网平台，通过所述物联网平台进行事件识别，得到事件识别结果；

关键帧提取模块，用于将码流推送到视频监控平台，通过视频监控平台进行关键帧图像提取，得到目标图像；

信息推送模块，用于将所述事件识别结果和目标图像推送至应用层管理设备。

6.如权利要求5所述的视频监控装置，其特征在于，所述视频监控装置还包括：

视频流采集模块，用于采用双摄像头获取实时视频流，所述双摄像头包括普通摄像头和AI摄像头。

7.如权利要求5所述的视频监控装置，其特征在于，所述特征提取模块包括：

类别识别单元，用于对所述事件流进行类型识别，得到所述事件流对应的类别信息；

模型选取单元，用于基于所述类别信息，从预设的算法模型集合中选取目标算法模型；

特征提取单元，用于采用所述目标算法模型对所述事件流进行特征提取，得到所述中间结果。

8.如权利要求5所述的视频监控装置，其特征在于，所述视频监控装置还包括：

数据源确定模块，用于将所述事件流作为所述目标算法模型的数据源；

模型优化模块，用于采用所述数据源和所述中间结果，对所述目标算法模型进行训练优化，得到优化后的目标算法模型。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述的视频监控方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的视频监控方法。

Images