CN108401140A - 一种基于多层视觉处理的智能视频监控系统和方法 - Google Patents

Abstract

本发明提供一种基于多层视觉处理的智能视频监控系统和方法，其包括：变化检测层，提取视频输入源内图像缓存区的每帧图像并使用变化检测算法对其进行变化区域检测，得到变化区域出现的位置信息；目标检测追踪层，结合变化检测层的检测结果和视频输入源内的每一帧图像数据，对已检测到的目标进行持续追踪并输出检测追踪结果；目标识别层，判断目标是否存在，通过目标识别算法将其识别出来并将该目标的相关信息输出至目标信息存储器进行保存。该监控系统和方法解决了现有监控系统在监控时效率较低，成本较高而且运算量很大的瓶颈；适用的场景范围更广。

Description

一种基于多层视觉处理的智能视频监控系统和方法

技术领域

本发明涉及安防技术领域，尤其涉及一种基于多层视觉处理的智能视频监控系统和方法。

背景技术

随着社会生活及生产中对可控性和安全性要求的提高，监控摄像的覆盖和普及越来越广泛。对于仅能提供视频存储和回放功能的传统视频监控系统而言，要保证全天候的监控通常需要专门的监控人员持续观看视频，或者在需要调取以往视频并查找相关内容时，常需要全程回放来进行搜索。

随着计算机视觉的高速发展，尤其是近年来计算机深度学习技术的发展，使得各类计算机在执行视觉任务时的准确性能得到了大幅度的提升。相应地，融入了计算机视觉技术的智能视频监控，能够显著提高监控效率，降低监控成本，具有广泛的研究意义和应用前景。

基于深度学习的计算机视觉算法为了达到优秀的准确度需要复杂而庞大的模型，计算复杂度随之增加。在一些计算能力受限的应用场景下，算法的实时性难以保证。当前广泛的监控摄像覆盖也亟需减小计算机在视觉运算时的运行开销和设备损耗。

发明内容

本发明所要解决的技术问题在于，提供一种基于多层视觉处理的智能视频监控系统和方法，将视频监控任务分解为多层视觉任务，有效地解决了目前监控任务运算量大，设备损耗严重的问题。

为了解决上述技术问题，本发明提供一种基于多层视觉处理的智能视频监控系统，可包括：

变化检测层，提取视频输入源内图像缓存区的每帧图像并使用变化检测算法对其进行变化区域检测，得到变化区域出现的位置信息；

目标检测追踪层，结合所述变化检测层的检测结果和所述视频输入源内的每一帧图像数据，对已检测到的目标进行持续追踪并输出检测追踪结果；

目标识别层，判断所述目标检测追踪层输出的所述检测追踪结果所对应的目标是否存在，通过目标识别算法将其识别出来并将该目标的相关信息输出至目标信息存储器进行保存。

在可选的实施例中，所述视频输入源为各类摄像设备拍摄到的多帧视频图像。

本发明的另一方面，提供一种基于多层视觉处理的智能视频监控方法，包括以下的步骤：

步骤S1、监控设备进行实时拍摄，拍摄到多帧视频图像；

步骤S2、所述监控设备在拍摄的同时，将所述多帧视频图像传输至其内部的图像缓存区进行缓存；

步骤S3、所述智能视频监系统的变化检测层实时提取图像缓存区内的多帧视频图像，并使用变化检测算法对多帧视频图像内的每一帧图像进行变化区域检测；所述变化检测层每检测完一帧图像便会将其检测到的结果上传至目标检测追踪层；

步骤S4、所述目标检测追踪层对所述变化检测层检测出的变化区域结果进行目标检测，同时还对已检测到的目标进行持续的跟踪，在跟踪检测目标的同时也持续提取图像缓存区的每一帧图像进行实时追踪和分析比较，并将检测追踪的结果进行汇总；

步骤S5、所有的汇总结果均上传至目标识别层进行目标识别工作，并输出目标识别的结果和目标相关信息；

步骤S6、目标信息存储器对识别出的目标信息进行存储，以便后续调出相关的信息进行分析。

在可选的实施例中，所述变化检测算法包括单时相分类比较法、时序分析法、监督变化检测法、算术运算法、GIS集成法以及高级模型法。

在可选的实施例中，所述步骤S4分为以下几个小步骤进行：

S4-1、所述目标检测追踪层读取每一帧图像，若已存在需要追踪的目标时，便会使用目标追踪算法实时更新各追踪目标在当前帧的位置区域；若在当前帧位置不存在需要追踪的目标则继续执行S4-2；

S4-2、所述目标检测追踪层根据所述变化检测层提供的计算结果和当前帧图像为依据，判断目前帧内是否存在目标潜在区域，其判断的方式为：情况一、变化检测层没有检测到变化区域，则不存在目标潜在区域；情况二、不存在已有目标区域，则全部变化区域为目标潜在区域；情况三、将变化区域与已有目标区域进行比较，存在所述变化区域不包含于所述目标区域内，则将所述变化区域视为目标潜在区域；根据判断结果，如果存在目标潜在区域，则继续执行S4-3，否则直接跳转去执行S4-5汇总结果；

S4-3、对目标潜在区域执行目标检测算法，以确定是否检测出新的目标；

S4-4、对S4-3中的检测结果进行判断，如果检测到新的目标，则将其添加为新的追踪目标转回到S4-1中使用目标追踪算法进行追踪，并将当前帧的目标追踪结果进行汇总；如果判断到结果为没有检测到目标，则直接进行S4-5的目标检测追踪结果的汇总工作；

S4-5、汇总对所有目标的检测追踪结果。

综上可知，本发明实施例的有益效果在于：本发明的基于多层视觉处理的智能视频监控系统和方法，一方面，解决了现有监控系统在监控时效率较低，成本较高而且运算量很大的瓶颈；一方面，在某些场景下由于目前很多算法过于复杂而无法实现，而使用该方法则可以实现准确监控。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一种基于多层视觉处理的智能视频监控系统的一个实施例的功能结构示意图。

图2是本发明一种基于多层视觉处理的智能视频监控方法的一个实施例的工作流程图。

具体实施方式

以下各实施例的说明是参考附图，用以示例本发明可以用以实施的特定实施例。

本发明的实施例提供一种基于多层视觉处理的智能视频监控系统，如图1所示，其可包括：

变化检测层2，提取视频输入源1内图像缓存区的每帧图像并使用变化检测算法对其进行变化区域检测，得到变化区域出现的位置信息；

目标检测追踪层3，结合变化检测层2的检测结果和视频输入源1内的每一帧图像数据，对已检测到的目标进行持续追踪并输出检测追踪结果；

目标识别层4，判断目标检测追踪层3输出的检测追踪结果所对应的目标是否存在，通过目标识别算法将其识别出来并将该目标的相关信息输出至目标信息存储器5进行保存。

进一步，该视频输入源1可为各类摄像设备的实时监控图像或者各类已拍摄到视频文件，只要将其接入进该智能视频监控系统，就可以进行相应的分析和运算了。

进一步，该智能视频监系统的使用方法，如图2所示的工作流程所示：

步骤S1、监控设备（如摄像头）进行实时拍摄，拍摄到多帧视频图像。

步骤S2、监控设备在拍摄的同时，将多帧视频图像传输至其内部的图像缓存区进行缓存。

步骤S3、该智能视频监系统的变化检测层实时提取图像缓存区内的多帧视频图像，并使用变化检测算法对其多帧视频图像内的每一帧图像进行变化区域检测；该变化检测层每检测完一帧图像便会将其检测到的结果上传至目标检测追踪层。该变化检测层所用到的变化检测算法可为现有的多种算法，例如，单时相分类比较法、时序分析法、监督变化检测法、算术运算法、GIS集成法以及高级模型法等。

步骤S4、目标检测追踪层对变化检测层检测出的变化区域结果进行目标检测，同时还对已检测到的目标进行持续的跟踪，当然在跟踪检测目标的同时也需要持续提取图像缓存区的每一帧图像进行实时追踪和分析比较。该步骤S4可分为以下几步进行：

S4-1、目标检测追踪层读取每一帧图像，若已存在需要追踪的目标时，便会使用目标追踪算法实时更新各追踪目标在当前帧的位置区域；若在当前帧位置不存在需要追踪的目标则继续执行S4-2；

S4-2、目标检测追踪层根据变化检测层提供的计算结果和当前帧图像为依据，判断目前帧内是否存在目标潜在区域（即不包含已有目标的位置区域），其判断的方式为：（1）如果变化检测层没有检测到变化区域，则不存在目标潜在区域；（2）如果不存在已有目标区域，则全部变化区域为目标潜在区域；（3）将变化区域与已有目标区域进行比较，存在变化区域不包含于目标区域，则将该变化区域视为目标潜在区域。根据判断结果，如果存在目标潜在区域，则继续执行S4-3，否则直接跳转去执行S4-5汇总结果。

S4-3、对目标潜在区域执行目标检测算法，例如现有的sppnet，fast rcnn，fasterrcnn，yolo，densebox，ssd，yolo2，rfcn，mask rcnn都是基于深度学习的目标检测算法，以确定是否检测出新的目标。

S4-4、对S4-3中的检测结果进行判断，如果检测到新的目标，则将其添加为新的追踪目标转回到S4-1中使用目标追踪算法进行追踪，并将当前帧的目标追踪结果进行汇总。如果判断到结果为没有检测到目标，则直接进行S4-5的目标检测追踪结果的汇总工作。

S4-5、汇总对所有目标的检测追踪结果。

步骤S5、以上步骤S4-5中所有的汇总结果均需要上传至目标识别层进行目标识别工作。如果目标识别层判断当前帧存在该目标，则会执行目标识别算法并将识别到的目标信息传输至目标信息存储器进行存储。如果判断当前帧不存在目标，则该目标识别层会等待下一帧图像进行识别工作。

步骤S6、目标信息存储器对识别出的目标信息进行存储，以便后续调出相关的信息进行分析。

通过上述说明可知，本发明的有益效果在于：本发明的基于多层视觉处理的智能视频监控系统和方法，一方面，解决了现有监控系统在监控时效率较低，成本较高而且运算量很大的瓶颈；一方面，在某些场景下由于目前很多算法过于复杂而无法实现，而使用该方法则可以实现准确监控。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (5)

1.一种基于多层视觉处理的智能视频监控系统，其特征在于，包括以下的功能模块：

变化检测层，提取视频输入源内图像缓存区的每帧图像并使用变化检测算法对其进行变化区域检测，得到变化区域出现的位置信息；

目标检测追踪层，结合所述变化检测层的检测结果和所述视频输入源内的每一帧图像数据，对已检测到的目标进行持续追踪并输出检测追踪结果；

目标识别层，判断所述目标检测追踪层输出的所述检测追踪结果所对应的目标是否存在，通过目标识别算法将其识别出来并将该目标的相关信息输出至目标信息存储器进行保存。

2.根据权利要求1所述的基于多层视觉处理的智能视频监控系统，其特征在于，所述视频输入源为各类摄像设备拍摄到的多帧视频图像。

3.一种基于多层视觉处理的智能视频监控方法，其特征在于，包括以下的步骤：

步骤S1、监控设备进行实时拍摄，拍摄到多帧视频图像；

步骤S2、所述监控设备在拍摄的同时，将所述多帧视频图像传输至其内部的图像缓存区进行缓存；

步骤S3、所述智能视频监系统的变化检测层实时提取图像缓存区内的多帧视频图像，并使用变化检测算法对多帧视频图像内的每一帧图像进行变化区域检测；所述变化检测层每检测完一帧图像便会将其检测到的结果上传至目标检测追踪层；

步骤S4、所述目标检测追踪层对所述变化检测层检测出的变化区域结果进行目标检测，同时还对已检测到的目标进行持续的跟踪，在跟踪检测目标的同时也持续提取图像缓存区的每一帧图像进行实时追踪和分析比较，并将检测追踪的结果进行汇总；

步骤S5、所有的汇总结果均上传至目标识别层进行目标识别工作，并输出目标识别的结果和目标相关信息；

步骤S6、目标信息存储器对识别出的目标信息进行存储，以便后续调出相关的信息进行分析。

4.根据权利要求3所述的基于多层视觉处理的智能视频监控方法，其特征在于，所述变化检测算法包括单时相分类比较法、时序分析法、监督变化检测法、算术运算法、GIS集成法以及高级模型法。

5.根据权利要求3所述的基于多层视觉处理的智能视频监控方法，其特征在于，所述步骤S4分为以下几个小步骤进行：

S4-1、所述目标检测追踪层读取每一帧图像，若已存在需要追踪的目标时，便会使用目标追踪算法实时更新各追踪目标在当前帧的位置区域；若在当前帧位置不存在需要追踪的目标则继续执行S4-2；

S4-2、所述目标检测追踪层根据所述变化检测层提供的计算结果和当前帧图像为依据，判断目前帧内是否存在目标潜在区域，其判断的方式为：情况一、变化检测层没有检测到变化区域，则不存在目标潜在区域；情况二、不存在已有目标区域，则全部变化区域为目标潜在区域；情况三、将变化区域与已有目标区域进行比较，存在所述变化区域不包含于所述目标区域内，则将所述变化区域视为目标潜在区域；根据判断结果，如果存在目标潜在区域，则继续执行S4-3，否则直接跳转去执行S4-5汇总结果；

S4-3、对目标潜在区域执行目标检测算法，以确定是否检测出新的目标；

S4-4、对S4-3中的检测结果进行判断，如果检测到新的目标，则将其添加为新的追踪目标转回到S4-1中使用目标追踪算法进行追踪，并将当前帧的目标追踪结果进行汇总；如果判断到结果为没有检测到目标，则直接进行S4-5的目标检测追踪结果的汇总工作；

S4-5、汇总对所有目标的检测追踪结果。