CN112312081B - 动火场景智能监控方法及系统 - Google Patents

Abstract

本申请公开了一种动火场景智能监控方法，该动火场景智能监控方法包括摄像头实时监测动火场景获取场景视频，主控器获取场景视频，并将场景视频转换为视频数据；其中，主控器集成在电连接摄像头的主板上，并与摄像头通信连接，主控器将视频数据解码为图片数据并使用模型识别图片数据得到识别目标并确定识别目标的位置，主控器依据识别目标的位置向客户端发送报警信息。以使利用实际场景中获取的视频数据，进行视频分析模型在线训练，实现了在保障数据安全的前提下，持续优化视频分析准确率，以解决施工管理难题。

Description

动火场景智能监控方法及系统

技术领域

本公开涉及防火技术领域，尤其涉及一种动火场景智能监控方法及系统。

背景技术

随着我国经济的持续发展，人民生活水平的不断提高，施工企业员工以及全社会都对施工企业生产经营过程中的安全生产管理水平提出了越来越高的要求。现有的视频监控的精准性主要在于基于IP网络的智能综合管理系统，在提供控制、传输和存储等基础上，具有智能分析的特点，但是准确率低。

发明内容

有鉴于此，本公开提出了一种动火场景智能监控方法，包括：

摄像头实时监测动火场景获取场景视频；

所述主控器获取所述场景视频，并将所述场景视频转换为视频数据；其中，所述主控器集成在电连接所述摄像头的主板上，并与所述摄像头通信连接；

所述主控器将所述视频数据解码为图片数据并使用模型识别所述图片数据得到识别目标并确定所述识别目标的位置；

所述主控器依据所述识别目标的位置向客户端发送报警信息。

在一种可能的实现方式中，所述主控器将所述场景视频转化为视频数据包括：

所述主控器将所述场景视频通过流媒体服务器转化为视频流；

所述主控器从所述流媒体服务器拉去所述视频流得到视频数据。

在一种可能的实现方式中，所述流媒体服务器使用nginx-rtmp搭建。

在一种可能的实现方式中，将所述场景视频通过流媒体服务器转化为视频流时和在从所述流媒体服务器拉去所述视频流时均使用ffmpeg。

在一种可能的实现方式中，所述视频流的格式为rtmp视频流。

在一种可能的实现方式中，使用模型识别所述图片数据得到识别目标包括：

使用模型的主干网提取所述图片数据中的物体；

将所述物体进行分类得到多个物体类别；

从各所述物体类别中选取所述识别目标。

在一种可能的实现方式中，使用模型确定所述识别目标的位置包括：

使用模型的分支对所述识别目标的包围盒进行回归；

计算所述包围盒的中心点得到所述识别目标的位置。

在一种可能的实现方式中，依据所述识别目标的位置向客户端发送报警信息时，使用socket通信。

在一种可能的实现方式中，所述模型为MobileNet_ssd网络模型。

根据本公开的另一方面，提供了一种动火场景监控系统，其特征在于，包括摄像头、MCU控制器和主控器，能够实现前面任一所述的方法；

所述MCU控制器和所述摄像头均与所述主控器电连接；

所述主控器用于将所述场景视频转化为视频数据；

将所述视频数据解码为图片数据；

使用模型识别所述图片数据得到识别目标并确定所述识别目标的位置；

依据所述识别目标的位置向客户端发送报警信息。

根据本公开的另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现前面任一所述的方法。

通过摄像头实时监测动火场景获取场景视频，主控器获取场景视频，并将场景视频转换为视频数据；其中，主控器集成在电连接摄像头的主板上，并与摄像头通信连接，主控器将视频数据解码为图片数据并使用模型识别图片数据得到识别目标并确定识别目标的位置，主控器依据识别目标的位置向客户端发送报警信息。以使利用实际场景中获取的视频数据，进行视频分析模型在线训练，实现了在保障数据安全的前提下，持续优化视频分析准确率，以解决施工管理难题。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。

图1示出本公开实施例的动火场景智能监控方法的流程图；

图2示出本公开实施例的动火场景监控系统的结构示意图；

图3示出本公开实施例的动火场景监控系统的模块图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

图1示出根据本公开一实施例的动火场景智能监控方法的流程图。如图1所示，该动火场景智能监控方法包括：

步骤S100，摄像头实时监测动火场景获取场景视频，步骤S200，主控器获取场景视频，并将场景视频转换为视频数据；其中，主控器集成在电连接摄像头的主板上，并与摄像头通信连接，步骤S300，主控器将视频数据解码为图片数据并使用模型识别图片数据得到识别目标并确定识别目标的位置，步骤S400，主控器依据识别目标的位置向客户端发送报警信息。

通过摄像头实时监测动火场景获取场景视频，主控器获取场景视频，并将场景视频转换为视频数据；其中，主控器集成在电连接摄像头的主板上，并与摄像头通信连接，主控器将视频数据解码为图片数据并使用模型识别图片数据得到识别目标并确定识别目标的位置，主控器依据识别目标的位置向客户端发送报警信息。以使利用实际场景中获取的视频数据，进行视频分析模型在线训练，实现了在保障数据安全的前提下，持续优化视频分析准确率，以解决施工管理难题。

需要说明的是，在执行本公开的动火场景智能监控方法前，还需要搭建流媒体服务器，其中，流媒体服务器为nginx-rtmp流媒体服务器，可以使用本领域的常规技术手段，此处不再进行赘述。

具体的，参见图1，步骤S100，摄像头实时监测动火场景获取场景视频。

在一种可能额的实现方式中，摄像头为LED红外摄像头，通过夜视和补光功能防止部分光照环境引起的监控画面不佳，摄像头布置在在天然气处理站，摄像头进行实时拍摄，以监测动火场景并获取实时的场景视频。

进一步的，参见图1，执行步骤S200，主控器获取场景视频，并将场景视频转换为视频数据；其中，主控器集成在电连接摄像头的主板上，并与摄像头通信连接。

在一种可能的实现方式中，在摄像头拍摄到场景视频后，将场景视频传输到主控器中，在主控器从摄像机中获取原始视频数据后，使用ffmpeg将原始视频数据转换成视频流，使用ffmpeg拉取视频流得到视频数据。其中，视频流为rtmp视频流。举例来说，在天然气处理站，部署一个摄像机，通过摄像机监控动火场景中的各个物体，首先，获取摄像机中的原始视频数据，通过ffmpeg将从摄像机获取到的原始视频数据实时转换为rtmp视频流，接着将rtmp视频流推送到预先搭建的流媒体服务器，即nginx-rtmp流媒体服务器，再从nginx-rtmp流媒体服务器中使用ffmpeg拉取rtmp视频流，即得到了视频数据。

进一步的，参见图1，执行步骤S300，主控器将视频数据解码为图片数据并使用模型识别图片数据得到识别目标并确定识别目标的位置。

在一种可能的实现方式中，在获取到视频数据的时候，需要对视频数据进行转换，得到图片数据，以使方便后续的处理，举例来说，在天然气处理站，部署一个摄像机，通过摄像机监控动火场景中的各个物体，首先，获取摄像机中的原始视频数据，通过ffmpeg将从摄像机获取到的原始视频数据实时转换为rtmp视频流，接着将rtmp视频流推送到预先搭建的流媒体服务器，即nginx-rtmp流媒体服务器，再从nginx-rtmp流媒体服务器中使用ffmpeg拉取rtmp视频流，即得到了视频数据并将rtmp视频流解码成图片数据，示例性的，可以以一定间隔，截取视频中的帧，将视频中的帧转化为图片格式，其中图片格式包括多种格式。

进一步的，首先使用模型识别图片数据得到识别目标，其中使用模型识别图片数据得到识别目标包括：使用模型的主干网提取图片数据中的物体，将物体进行分类得到多个物体类别，从各物体类别中选取识别目标。进一步的，使用模型确定识别目标的位置包括：使用模型的分支对识别目标的包围盒进行回归，计算包围盒的中心点得到识别目标的位置。举例来说，从nginx-rtmp流媒体服务器中使用ffmpeg拉取rtmp视频流，得到了视频数据并将rtmp视频流解码成图片数据，使用模型识别图片数据，示例性的，模型为神经网络模型(CNN)，具体的，模型为MobileNet_ssd轻量级网络模型。其中，使用神经网络模型的主干网(backbone)提取图片数据中的特征，依据提取到的特征对图片数据进行分类，得到多个类别的图片数据，仅依据人工设置的目标类别从多个类别的图片数据中进行选取识别目标，其中，图片数据还包括其中的物体的包围盒，接着对确定为识别目标的图片数据中物体的包围盒(boundingbox)进行回归，得到各个包围盒的中心点，包围盒的中心点即为该包围盒对应的物体的位置。示例性的，预先设置人类别的物体为识别目标，在工人进入动火场景中，摄像机获取到实时视频，获取摄像机中的原始视频数据，通过ffmpeg将从摄像机获取到的原始视频数据实时转换为rtmp视频流，接着将rtmp视频流推送到预先搭建的流媒体服务器，从nginx-rtmp流媒体服务器中使用ffmpeg拉取rtmp视频流，得到了工人进入动火场景的视频数据，并将rtmp视频流解码成图片数据，使用MobileNet_ssd轻量级网络模型识别图片数据，其中，MobileNet_ssd轻量级网络模型的主干网提取图片数据中的人物模型特征，依据人物模型特征提取到人类别，接着获取到人类别的包围盒，对包围盒进行回归，得到包围盒的中心点，进一步得到人物的位置。

需要说明的是，在实时获取视频数据，使用模型进行物体识别及定位时，可以对模型进一步进行训练，以提高模型的识别准确率。实现了在保障数据安全的前提下，持续优化视频分析准确率，以解决施工管理难题。

进一步的，参见图1，执行步骤S400，主控器依据识别目标的位置向客户端发送报警信息。

在一种可能的实现方式中，根据各个类别的几何特征判断动火作业区域内物与环境的不安全状态、人的不安全行为是否符合作业规范特征，若满足异常行为报警信号并达到报警阈值，则会发出相应的报警信号，其中，在依据识别目标的位置向客户端发送报警信息时，使用socket通信。举例来说，报警阈值之一为人物模型与危险位置之间的距离，客户端为手机中与动火场景智能监控方法对应的应用程序(APP)，在工人进入摄像头的监控范围内时，即开始识别工人的行为，示例性的，在获取到工人的位置时，通过计算工人与危险位置之间的距离，若判断到计算到的距离大于设定的阈值，则不向客户端发出报警信息，若计算到的距离小于或等于设定的阈值，则向手机客户端通过socket发送报警信息，提示工作人员做出反应，以便能及时发现并控制火情，达到初期阶段就能进行动火安全控制的目的。

需要说明的是，尽管以上述各个步骤作为示例介绍了动火场景智能监控方法如上，但本领域技术人员能够理解，本公开应不限于此。事实上，用户完全可根据个人喜好和/或实际应用场景灵活设定动火场景智能监控方法，只要达到所需即可。

这样，通过摄像头实时监测动火场景获取场景视频，主控器获取场景视频，并将场景视频转换为视频数据；其中，主控器集成在电连接摄像头的主板上，并与摄像头通信连接，主控器将视频数据解码为图片数据并使用模型识别图片数据得到识别目标并确定识别目标的位置，主控器依据识别目标的位置向客户端发送报警信息。以使利用实际场景中获取的视频数据，进行视频分析模型在线训练，实现了在保障数据安全的前提下，持续优化视频分析准确率，以解决施工管理难题。

进一步的，根据本公开的另一方面，还提供了一种动火场景监控系统100。由于本公开实施例的动火场景监控系统100的工作原理与本公开实施例的动火场景智能监控方法的原理相同或相似，因此重复之处不再赘述。图2示出根据本公开一实施例的动动火场景监控系统100的主体结构示意图。如图2所示，该动动火场景监控系统100包括：

外壳110、烟雾传感器111、摄像头120、MCU控制器112和主控器113，烟雾传感器111、MCU控制器112和主控器113均安装在外壳110的内腔中，MCU控制器112和摄像头120均与主控器113电连接，烟雾传感器111与MCU控制器112电连接，外壳110的前面板的顶端开设有圆孔，摄像头120穿设在圆孔中，外壳110设置有电源接口130和传输接口140，外壳110的底面板上开设有安装孔，外壳110适用于通过安装孔与安装板螺接。

通过外壳110、烟雾传感器111、摄像头120、MCU控制器112和主控器113，烟雾传感器111、MCU控制器112和主控器113均安装在外壳110的内腔中，MCU控制器112和摄像头120均与主控器113电连接，烟雾传感器111与MCU控制器112电连接，外壳110的前面板的顶端开设有圆孔，摄像头120穿设在圆孔中，外壳110设置有电源接口130和传输接口140，外壳110的底面板上开设有安装孔，外壳110适用于通过安装孔与安装板螺接。以使本公开的实施例的动动火场景监控系统100能够灵活、迅速的移动，可以方便各类各类环境和硬件的搭载，提高施工环境下适应能力。

具体的，参见图2，在一种可能的实现方式中，还包括无线通信模块、四合一传感器115和温湿度传感器114，无线通信模块、四合一传感器115和温湿度传感器114均与主控器113电连接。示例性的，无线通信模块为WIFI，通过摄像头120、四合一传感器115和温湿度传感器114以及烟雾传感器111进行研究动火作业区域内物与环境的不安全状态、人的不安全行为实时监测，可以清晰地捕捉到目标图像，再进行特征提取，并对其进行高效分析，根据几何累积等特征是否符合作业规范特征，若满足异常行为报警信号并达到报警阈值，则会发出相应的报警信号，提示工作人员做出反应，以便能及时发现并控制火情，达到初期阶段就能进行动火安全控制的目的，其中，四合一传感器115可以进行氧气，可燃气体，一氧化碳，硫化氢的检测，然后通过WIFI进行数据传输，可以将报警信息发送到管理端，还可以将视频数据进行实时发送到管理端进行查看，另外的，温湿度传感器114进行辅助的判断，当发生火灾危险时，利用温湿度传感器114对空气中的湿度变化以及温度的变化进行监控，可以及时发送报警信息，对控制火情的效率提升很大。

需要说明的是，上述实施例其中涉及软件部分的捕捉图像，特征提取，分析判断等方法可以使用本领域的常规技术手段实现。

进一步的，参见图2，在一种可能的实现方式中，外壳110包括屏幕150，屏幕150安装在外壳110的前面板上，屏幕150位于摄像头120的下方。示例性的，屏幕150为可触控式屏幕150，通过屏幕150可以对本公开的动动火场景监控系统100进行一系列的设置，以达到匹配各种使用场景，这种方式方便并且简单，在任何场景均适用。进一步的，摄像头120还可以使用LED红外摄像头，通过夜视和补光功能防止部分光照环境引起的监控画面不佳。

进一步的，参见图2，在一种可能的实现方式中，外壳110上安装有音箱160，音箱160安装在外壳110的前面板上，音箱160安装在屏幕150的下方且音箱160与主控板113电连接，示例性的，当遇到危险情况时，通过主控器113进行判断并发送报警信号到音箱160以使音箱160进行声音告警，以达到对周围在场人员进行警示的作用。

进一步的，参见图3，还包括摄像头转动电机116和电机驱动板117，摄像头转动电机116的转轴与摄像头120固定连接，摄像头转动电机116与电机驱动板117电连接，电机驱动板117与主控板113点连接。其中，摄像头转动电机116可以将摄像头进行上下方向的拍摄，增加多角度拍摄方位，可以使得监控范围增加。具体的，外壳110包括摄像头的安装壳，安装壳上开设有圆孔，摄像头120卡接在圆孔中，安装壳和外壳110活动连接，摄像头转动电机116的转轴从安装壳的侧面延伸至内部与摄像头120固定连接，通过电机驱动板117控制摄像头转动电机116的转轴进行转动，以使摄像头120进行俯仰转动。

进一步的，参见图3，在一种可能的实现方式中，外壳110的底部上设置有系统开关170，系统开关170与主控器113电连接，开关用于启动或关闭主控器113，当不使用设备时，可以通过按钮对系统进行关闭，可以达到省电和方便运输的目的。

进一步的，参见图2，在一种可能的实现方式中，外壳110上设置有警报灯180，警报灯180安装在外壳110的前面板上，警报灯180与MCU控制器112电连接，警报灯180的个数为两个，两个警报灯180分别设置在摄像头120的两侧。示例性的，当遇到危险情况时，通过MCU控制器112发出信号以使警报灯180进行闪烁，以达到对周围在场人员进行警示的作用，同时，配合音箱160进行实时声光告警纠正和制止违章行为。另外，MCU控制器112还可以与风扇电连接，控制风扇对壳体110的内腔进行散热。

进一步的，参见图2，在一种可能的实现方式中，传输接口140和电源接口130位于外壳110的第一侧面板，传输接口140包括USB接口和RJ45网口，另外的，主控器113配置有存储器，存储器用于保存数据。其中，RJ45网口的作用同无线通信模块的作用相同，可以将报警信息发送到管理端，还可以将视频数据进行实时发送到管理端进行查看，在方便使用有线连接的时候，可以使用RJ45网口插接网线进行数据传输，增加数据传输的稳定性，还可以通过存储模块对数据进行记录和保存，避免数据因为网络不稳定的情况造成数据丢失。

进一步的，参见图3，在一种可能的实现方式中，为保证主控器113及其中系统的稳定运行，外壳110包括第一散热孔组、第二散热孔组和第三散热孔组，第一散热孔组位于外壳110的第一侧面板，第二散热孔组位于外壳110的第二侧面板，第三散热孔组位于外壳110的顶面板，设置的散热孔组一方面可以使动动火场景监控系统100内的空气更好的进行流动，以使快速散热，另一方面可以使烟雾传感器111和温湿度传感器114接触到外部的空气，进行正常的工作，示例性的，烟雾传感器111和温湿度传感器114安装在外壳110的第一侧面板内，朝向第一散热孔组，可对空气中的成分进行实时准确的检测。

动动火场景监控系统在另一种可能的实现方式中，外壳110的顶面板上安装有提手190，用于提拉动动火场景监控系统100。示例性的，在取下本公开的动动火场景监控系统100时，方便进行提拉，可以方便移动。进一步的，安装孔的规格为多种，多个安装孔中，尺寸相同的安装孔呈阵列式结构排布在外壳110的底面板上，且安装孔包括M10螺纹孔和1/4螺纹孔，可以适应不同种类的安装板，以适应多种场景。

需要说明的是，尽管以上述各个实施例作为示例介绍了本公开的动动火场景监控系统100如上，但本领域技术人员能够理解，本公开应不限于此。事实上，用户完全可根据个人喜好和/或实际应用场景灵活设定动动火场景监控系统100，只要达到所需功能即可。

这样，通过外壳110、烟雾传感器111、摄像头120、MCU控制器112和主控器113，烟雾传感器111、MCU控制器112和主控器113均安装在外壳110的内腔中，MCU控制器112和摄像头120均与主控器113电连接，烟雾传感器111与MCU控制器112电连接，外壳110的前面板的顶端开设有圆孔，摄像头120穿设在圆孔中，外壳110设置有电源接口130和传输接口140，外壳110的底面板上开设有安装孔，外壳110适用于通过安装孔与安装板螺接。以使本公开的实施例的动动火场景监控系统100能够灵活、迅速的移动，可以方便各类各类环境和硬件的搭载，提高施工环境下适应能力。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (9)

1.一种动火场景智能监控方法，其特征在于，用于对工人进入动火场景后的监控，包括：

摄像头实时监测动火场景获取场景视频；

主控器获取所述场景视频，并将所述场景视频转换为视频数据；其中，所述主控器集成在电连接所述摄像头的主板上，并与所述摄像头通信连接；

所述主控器将所述视频数据解码为图片数据并使用模型识别所述图片数据得到识别目标并确定所述识别目标的位置；

所述主控器依据所述识别目标的位置向客户端发送报警信息；

其中，使用模型识别所述图片数据得到识别目标包括：

使用模型的主干网提取所述图片数据中的物体；

将所述物体进行分类得到多个物体类别；

从各所述物体类别中选取所述识别目标；

其中，主控器依据识别目标的位置向客户端发送报警信息时，通过以下方式进行：

根据各个物体类别的几何特征判断动火作业区域内物与环境的不安全状态和/或人的不安全行为是否符合作业规范特征，若满足异常行为报警信号并达到报警阈值，则会发出相应的报警信号。

2.根据权利要求1所述的方法，其特征在于，所述主控器搭建有流媒体服务器；其中，所述主控器将所述场景视频转化为视频数据时，通过所述流媒体服务器转化为视频流；并从所述流媒体服务器拉去所述视频流得到视频数据。

3.根据权利要求2所述的方法，其特征在于，所述流媒体服务器使用nginx-rtmp搭建。

4.根据权利要求2所述的方法，其特征在于，将所述场景视频通过流媒体服务器转化为视频流时和在从所述流媒体服务器拉去所述视频流时均使用ffmpeg。

5.根据权利要求2所述的方法，其特征在于，所述视频流的格式为rtmp视频流。

6.根据权利要求1所述的方法，其特征在于，所述主控器将所述视频数据解码为图片数据并使用模型识别所述图片数据得到识别目标并确定所述识别目标的位置，包括：

使用模型的分支对所述识别目标的包围盒进行回归；

计算所述包围盒的中心点得到所述识别目标的位置。

7.根据权利要求1所述的方法，其特征在于，依据所述识别目标的位置向客户端发送报警信息时，使用socket通信。

8.根据权利要求1—5任一项所述的方法，其特征在于，所述模型为MobileNet_ssd网络模型。

9.一种动火场景监控系统，其特征在于，用于对工人进入动火场景后的监控，包括摄像头、MCU控制器和主控器，能够实现权利要求1至8任一项所述的方法；

所述MCU控制器和所述摄像头均与所述主控器电连接；

所述主控器用于将所述场景视频转化为视频数据；

将所述视频数据解码为图片数据；

使用模型识别所述图片数据得到识别目标并确定所述识别目标的位置；

依据所述识别目标的位置向客户端发送报警信息；

其中，使用模型识别所述图片数据得到识别目标包括：

使用模型的主干网提取所述图片数据中的物体；

将所述物体进行分类得到多个物体类别；

从各所述物体类别中选取所述识别目标；

其中，主控器依据识别目标的位置向客户端发送报警信息时，通过以下方式进行：

根据各个物体类别的几何特征判断动火作业区域内物与环境的不安全状态和/或人的不安全行为是否符合作业规范特征，若满足异常行为报警信号并达到报警阈值，则会发出相应的报警信号。

Images