CN107454364B - 一种视频监控领域的分布式实时图像采集与处理系统 - Google Patents

Abstract

本发明公开了一种视频监控领域的分布式实时图像采集与处理系统，系统包含数据采集与警报模块、分布式实时计算模块和web服务器三个模块。其中，数据采集与警报模块负责采集图像信息与警报，分布式实时计算模块负责从自己的缓冲区中读取数据采集与警报模块抓取的图像信息，然后传输到具有机器学习和深度学习功能的计算机集群进行处理，web服务器模块监控数据采集与警报模块和分布式实时计算模块的计算机集群，还可以实时显示和回放数据采集与警报模块采集的监控视频。数据采集与警报模块包含树莓派、摄像头和报警器，具体的功能通过heartbeat等子模块实现。本发明的数据采集与警报模块可以即插即用，仅仅需要简单的配置，有效减少了工作人员的工作量。

Description

一种视频监控领域的分布式实时图像采集与处理系统

技术领域

本发明属于专门适用于智能监控的数据处理系统，主要用于基于视频监控的安全监测，具体涉及一种视频监控领域的分布式实时图像采集与处理系统。

背景技术

随着物联网技术的普及应用，促使城市的安防从过去简单的安全防护系统向城市综合化体系演变，城市的安防项目涵盖众多的领域，有街道社区、楼宇建筑、银行邮局、道路监控、机动车辆、警务人员、移动物体、船只等。特别是针对重要场所，如：机场、码头、水电气厂、桥梁大坝、河道、地铁等场所，引入物联网技术后可以通过无线移动、跟踪定位等手段建立全方位的立体防护。兼顾了整体城市管理系统、环保监测系统、交通管理系统、应急指挥系统等应用的综合体系。特别是车联网的兴起，在公共交通管理上、车辆事故处理上、车辆偷盗防范上可以更加快捷准确的跟踪定位处理。还可以随时随地的通过车辆获取更加精准的灾难事故信息、道路流量信息、车辆位置信息、公共设施安全信息、气象信息等等信息来源。

智能化安防行业的发展已经取得了瞩目的成就，随着企业和住宅小区需求的凸现，数字化智能安防当前面临新的发展契机。由于数字化智能安防行业的特殊性，国家对智能安防产业的发展一直都给予政策上的鼓励。近年来，为了解决企业和住宅小区的安全防范问题，建设部、公安部两部先后签署公布了多个相关文件，以强化企业和住宅小区的智能化安全防范设施，国内智能安防行业未来的发展前景十分广阔。

智能监控能用最短的时间从视频中获取有用的反馈信息，反应快速，可以实现毫秒级时间的报警。同时具有强大的数据检索能力和分析能力，能够提供快速检索、查询等操作，并做相应的日志记录，为后期分析节省了大量的时间。可以协助人工及时发现画面中容易忽略的细节内容，如人员的滞留，物品的丢失，区域的入侵等。最后人工智能还可以对不同种类的数据进行分析、碰撞，分析潜在的联系，抽取其中的有价值的信息，并形成可视化结果予以呈现。

智慧城市建设是视频监控技术应用的重要领域，在智慧城市的蓝图中，城市中的每一个物体都是一个信息体，使得人们可以与之交互，可以遥控、遥视、遥感，仅仅依靠传统的人工方式已无法高效利用已建的视频监控资源。随着社会需求和技术的发展，视频监控逐步和物联网、互联网相结合，并在大数据、云计算技术的帮助下，基于计算机视觉的安全检测正朝着大联网、高清和智能的方向发展。随着政策实施的推进，视频监控控点位覆盖率逐步上升，业务的应用也更加复杂。视频识别计算量大，随着高清化和视频图像源的增多，单个节点的计算机会越来越满足住不了计算的要求，因此需要多节点来并行计算。

现有技术中，已经有不少分布式视频监控的专利文献，如公告号为CN102186064B、名称为“分布式视频监控系统及监控方法”的发明专利公开了一种分布式视频监控设备，该分布式视频监控设备包括若干个包含优先级的前端设备和至少一个后端服务器，前端设备采集图像并对所述图像进行运动目标检测，当检测到运动目标时，将检测到运动目标的图像选择性地发送给某一后端服务器，并赋予所述检测到运动目标的图像与所述前端设备自身优先级相同的优先级；后端服务器按照接收到的各个检测到运动目标的图像的优先级的高低顺序对各个检测到运动目标的图像依次处理。但该系统的缺点是前端设备存在优先级，结构复杂，会影响到系统处理的实时性。而且因为结构复杂，比较适合大型厂矿企业内部的使用，对实施的对象有一定的限制。

发明内容

本发明的目的是针对单个节点视频监控存在的计算能力不足、无法满足实时性要求高的场合、视频监控控点位覆盖率低等缺点，提出一种能够克服上述缺点的分布式实时图像采集与处理系统。

为此目的，本发明提出的技术方案为一种视频监控领域的分布式实时图像采集与处理系统，系统包含数据采集与警报模块、分布式实时计算模块和web服务器模块，数据采集与警报模块负责采集图像信息与警报，分布式实时计算模块负责从自己的缓冲区中读取数据采集与警报模块抓取的图像信息，然后传输到具有机器学习和深度学习功能的计算机集群进行处理，web服务器模块监控数据采集与警报模块和分布式实时计算模块的计算机集群，还可以实时显示和回放数据采集与警报模块采集的监控视频。

进一步，上述数据采集与警报模块包含树莓派、摄像头和报警器，具体的功能通过以下的子模块实现：

(1)heartbeat

树莓派处于运行状态时，heartbeat会定时向web服务器模块发送心跳信息，心跳信息中包括了树莓派的基本运行状态，以及当前系统的检测结果，web服务器模块通过数据可视化处理将数据采集状态进行实时显示，管理员用户可以通过这些状态信息实时监控；

(2)imageData

负责对从摄像头读取的信息进行加密，然后发送到分布式实时计算模块缓冲区，为后续图像数据处理做好准备；

(3)howl

howl警报模块主要是用来发出安全警报信号，当分布式实时计算模块的计算机集群识别出有需要发出安全警报的情况，会向数据采集与警报模块发出安全警报信息；

(4)WatchDog

摄像头通电以后WatchDog会自动启动，定时检查SimpleDispatcher是否处在运行状态，如果SimpleDispatcher未运行，WatchDog会尝试去启动SimpleDispatcher；

(5)SimpleDispatcher

SimpleDispatcher收到安全警报后会通知howl模块立即发出警报声音。

上述分布式实时计算模块采用分布式集群计算，计算引擎采用实时流处理引擎Spark。

上述web服务器模块提供管理员用户的监控界面，实现用户登录、显示图像采集模块的实时状态、显示实时监控到的画面、显示检测到的结果。

本发明还进一步提出一种利用上述视频监控领域的分布式实时图像采集与处理系统进行实时图像采集与处理的方法，具体包含以下步骤：

(1)图像采集模块把图像信息发送到固定的缓冲区；

(2)分布式实时计算模块的计算机集群从缓冲区中读取图像信息，并把计算识别任务分发到计算机集群中，进行计算识别。

(3)计算完成后，图像信息有三个流向，分别为：

3.1.如果有检测出问题，将立刻发送一个警报信息给数据采集与警报模块，该模块收到信息后将发出安全警报，管理员可以根据警报信息做出相应措施；

3.2.Web服务器端，管理员可以使用web浏览器观察到实时画面，同时也可以在管理界面进行回放，单独查看不符合安全行为的图像截图；

3.3.图像信息持久化到磁盘留作备份，用户可以通过浏览器访问Web服务器，查看到图像采集模块的信息，分布式实时计算模块的计算机集群的状态，同时也可以查看历史信息以及打印报表；

(4)结束。

与现有技术相比，本发明的有益效果在于：

1，本发明的数据采集与警报模块仅仅需要简单的配置就可以即插即用。

2，随着数据增多，实时计算节点可以根据需要动态添加，这样在运行时即使有个别计算节点发生故障，整个系统仍然能够正常稳定运行。

3，整个系统运行以后，如果发现感兴趣的画面时系统会自动报警，并记录当时的画面，不需要工作人员过多的参与，工作人员只需根据报警信息做好相关的防范措施即可，大大减少了工作人员的工作量。

附图说明

图1为系统的整体框架原理示意图。

图2为数据采集与警报模块的示意图。

图3为分布式实时计算模块的示意图。

图4为Web服务器模块的示意图。

图5系统的运行流程图。

具体实施方式

现结合附图和具体实施例对本发明做进一步详细的说明。

现提供本发明的一个具体实施例：整个系统分为三个模块，分别是数据采集与警报模块，分布式实时计算模块，和web服务器模块。实时计算模块采用分布式集群计算，计算引擎采用实时流处理引擎Spark。作为优选，整个计算模块运行于Mesos集群之上，易于容错与扩展，具有很大的实用价值。

1.数据采集与警报模块：

由若干树莓派(Raspberry Pi)、摄像头和报警器构成，负责采集图像信息与警报。各个模块之间的通信采用socket长连接，该模块由SimpleDispatcher控制，SimpleDispatcher是该模块信息的出入口，负责r和其他模块进行信息通信，SimpleDispatcher控制着heartbeat、imageData、howl。心跳信息与采集到的图像由SimpleDispatcher转发到其他模块；当接收到报警信息时，SimpleDispatcher会把相应的信号发送给howl。该模块的具体设计如下：

(1)heartbeat

树莓派运行起来时，heartbeat会定时向webServer发送心跳信息，心跳信息中包括了树莓派的基本运行状态，以及当前系统的检测结果，例如摄像头状态信息和当前树莓派的CPU温度，通过数据可视化，将数据采集状态实时显示在web界面，管理员用户可以通过这些状态信息实时监控，当采集系统将要遇到不正常状态时可以提前预知并采取相应的措施。

(2)imageData

此部分是整个系统信息来源的最前沿，信息从摄像头读取以后进行简单加密，通过长连接发送到Mesos集群的缓冲区，为后续图像数据处理做好准备。

(3)howl

howl警报模块主要是用来发出安全警报信号。当Mesos识别出有需要发出安全警报的情况，会向数据采集与警报模块发出安全警报信息，SimpleDispatcher收到安全警报后会通知howl模块立即发出警报声音。

(4)WatchDog

另外还有一个WatchDog模块，它会随摄像头通电以后自动启动，定时检查SimpleDispatcher是否处在运行状态，如果SimpleDispatcher未在运行，WatchDog会尝试去启动这部分代码。

2.分布式实时计算模块：

由Mesos集群构成，负责从缓冲区中读取图像信息把任务分发给集群进行计算。在整个集群中运行着相关的机器学习和深度学习算法；

3.Web服务器模块：

功能有：监控数据采集模块和Mesos集群、实时显示监控视频、回放监控。

这个部分主要是管理员用户的监控界面。在这个界面中，主要提供如下功能：用户登录，显示图像采集模块的实时状态，显示实时监控到的画面，显示检测到的结果。

数据库采用Mysql，本系统共有两张表，一张是用户表，用于记录登录用户的基本信息。第二张表为记录检测结果的信息表，用户可以通过该表来查看到检测的结果，并根据表中的记录来打印相应的记录报表。

首先，图像采集模块会把图像信息发送到固定的缓冲区。

接着Mesos集群会从缓冲区中读取图像信息，并把计算识别任务分发到集群中，进行计算识别。

计算完成后，图像信息有三个流向，分别为：

1.如果有检测出问题，将立刻发送一个警报信息给警报模块，该模块收到信息后将发出安全警报，管理员可以根据警报信息做出相应措施；

2.Web服务器端，管理员可以使用web浏览器观察到实时画面，同时也可以在管理界面进行回放，单独查看不符合安全行为的图像截图；

3.图像信息持久化到磁盘留作备份。

用户可以通过浏览器访问Web服务器，查看到图像采集模块的信息，Mesos集群状态，同时也可以查看历史信息以及打印报表。

需要说明的是，以上情景下的实施方式只是本发明的优选方式，在不违背本发明的精神的前提下所做的任何变形都属于本发明的保护范围。

Claims (1)

1.一种视频监控领域的分布式实时图像采集与处理系统，其特征在于系统包含分别是数据采集与警报模块、分布式实时计算模块和web服务器模块，数据采集与警报模块负责采集图像信息与警报，分布式实时计算模块负责从自己的缓冲区中读取数据采集与警报模块抓取的图像信息，然后传输到具有机器学习和深度学习功能的计算机集群进行处理，web服务器模块监控数据采集与警报模块和分布式实时计算模块的计算机集群，还可以实时显示和回放数据采集与警报模块采集的监控视频，所述数据采集与警报模块包含树莓派、摄像头和报警器，具体的功能通过以下的子模块实现：

(1)heartbeat

树莓派处于运行状态时，heartbeat会定时向web服务器模块发送心跳信息，心跳信息中包括了树莓派的基本运行状态，以及当前系统的检测结果，web服务器模块通过数据可视化处理将数据采集状态进行实时显示，管理员用户可以通过这些状态信息实时监控；

(2)imageData

负责对从摄像头读取的信息进行加密，然后发送到分布式实时计算模块缓冲区，为后续图像数据处理做好准备；

(3)howl

howl警报模块主要是用来发出安全警报信号，当分布式实时计算模块的计算机集群识别出有需要发出安全警报的情况，会向数据采集与警报模块发出安全警报信息；

(4)WatchDog

摄像头通电以后WatchDog会自动启动，定时检查SimpleDispatcher是否处在运行状态，如果SimpleDispatcher未运行，WatchDog会尝试去启动SimpleDispatcher；

(5)SimpleDispatcher

SimpleDispatcher收到安全警报后会通知howl模块立即发出警报声音。

Images