CN107403158A - 一种人员在岗视频识别方法及智能用户信息传输装置 - Google Patents

Abstract

本发明公开了一种人员在岗视频识别方法及智能用户信息传输装置，首先截取视频流，获取图像帧序列；对背景进行建模并提取差异化区域；人体目标活动区域由一组图像矩形框组成，假设从图像运动区域提取出的矩形包围框集合为M，将矩形包围框M_i与活动区域R_i中的矩形框进行重叠率计算，通过逐个计算即可得到最终的识别区域矩形框集合S，对集合S中每个待识别区域矩形框S_i进行缩放，然后采用在岗识别算法对待识别区域进行逐区域识别，判断每个区域内是否有人。本发明提供人员在岗视频识别系统接口，可通过视频分析算法识别消防值班员的在岗情况。本发明提供远程配置接口，可通过联网消防监控中心实现远程的软件更新和设置配置。

Description

一种人员在岗视频识别方法及智能用户信息传输装置

技术领域

本发明涉及一种城市远程消防监控设备技术，尤其涉及的是一种人员在岗视频识别方法及智能用户信息传输装置。

背景技术

随着社会经济快速发展和城市化的不断推进，人口聚集程度越来越高，企业规模越来越大，高层和大型建筑越来越多，城市火灾隐患也在日益增多，火灾的发生会带来无比巨大的人员伤亡和经济损失，消防安全工作日益重要。目前很多建筑安装了火灾自动报警系统，可在一定程度上做到火灾预警。但是由人员疏忽和报警设备故障，误报漏报的现象时有发生，造成火情延误，火势蔓延，产生了巨大的人身和财产损失。因此，利用物联网远程监控实现精准、实时、有效的城市远程消防系统是保障人民生命和财产安全，社会繁荣稳定的社会需求。用户信息传输装置是城市远程消防监控的核心设备，用于将从消防报警主机和物联网传输装置中信号进行采集和传输。

发明内容

本发明的目的在于克服现有技术的不足，提供了一种人员在岗视频识别方法及智能用户信息传输装置，能够实现消防建筑设施、物联监测以及人员查岗信息采集等用户信息传输功能。

本发明是通过以下技术方案实现的，本发明的一种人员在岗视频识别方法，包括以下步骤：

(1)截取视频流，获取图像帧序列；

(2)对背景进行建模并提取差异化区域；

(3)人体目标活动区域由一组图像矩形框组成，假设活动区域集合为R＝{R₁,R₂,...,R_n}，R_i＝(x_i,y_i,w_i,h_i)分别表示矩形框的左上角坐标x、y和宽高度w、h，假设从图像运动区域提取出的矩形包围框集合为M，M＝{M₁,M₂,...,M_n}；

(4)将i个矩形包围框M_i与活动区域中R_i的矩形框进行重叠率计算，重叠率d计算方法如下：

M_i∩R_i为两矩形相交区域面积，M_i∪R_i为两矩形所覆盖区域面积；如果d超过阈值则判定当前区域M_i为待识别区域进行保留，否则该区域不识别；

(5)通过逐个计算即可得到最终的识别区域矩形框S＝{S₁,S₂,...,S_n}；

(6)对每个待识别区域矩形框S进行缩放，然后对待识别区域进行逐逐区域识别，判断每个区域内是否有人，如果有人，则判定为当前监控室内人员在岗，如果所有的S中都没有检测到人，则判定当前监控室内人员脱岗。

作为本发明的优选方式之一，所述步骤(4)中，阈值为0.3。

所述步骤(2)中，采用高斯背景建模提取视频运动区域，并结合人可能出现的图像区域提取出运动目标。

一种使用所述的人员在岗视频识别方法的智能用户信息传输装置，所述传输装置包括用于接入监控视频的视频接入模块和用于在岗视频识别的主CPU。

所述传输装置还包括分别与主CPU通信的TCP/IP通信模块、FTP通信模块、存储模块、触摸控制模块、身份识别模块和视频接入模块；

所述TCP/IP通信模块和FTP通信模块用于与物联网监控中心进行通信，所述存储模块用于存储视频信息，所述触摸控制模块用于接入液晶屏，所述身份识别模块用于读取用户身份证数据。

所述传输装置还包括从CPU，以及分别与从CPU相连的权限锁、按键输入、状态灯指示、可扩展RS232/485接口、433MHz无线通讯和主备电监测；

所述权限锁用于设置使用者权限，所述按键输入用于按键操作，所述状态灯指示用于显示电源、网络、本机状态以及相关消防事件，所述可扩展RS232/485接口用于连接并监测自动消防报警控制器，所述433MHz无线通讯用于连接物联监控接入单元，所述主备电监测用于电源监测，所述从CPU与主CPU通过USB转串口转换器连接。

采用双CPU模式，能够胜任中等规模以上消防用户的需求；本发明提供了人员在岗视频识别系统接口，可通过视频分析算法识别消防值班员的在岗情况，并将信息实时上传到远端的消防控制中心，实现值班人员在岗的自动识别；本发明提供良好的用户交互软件接口，可展示消防建筑设施、物联监测等消防监测信息，并具备相关配置功能；本发明提供远程配置接口，可通过联网消防监控中心实现远程的软件更新和设备配置。

本发明相比现有技术具有以下优点：本发明通过主CPU和从CPU配合工作，实现采集自动消防报警器信息，物联网单元信息和重点消防设施视频信息采集并传输至消防物联网监控中心，实现对分散建筑内各类消防设施设备的集中监控。具有事前预防和实时处理的主动消防水平能力。本发明提供人员在岗视频识别系统接口，可通过视频分析算法识别消防值班员的在岗情况。本发明提供远程配置接口，可通过联网消防监控中心实现远程的软件更新和设置配置。

附图说明

图1是本发明智能用户信息传输装置的结构示意图；

图2是在岗视频识别的流程图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本实施例的传输装置包括主CPU和从CPU，分别与主CPU通信的TCP/IP通信模块、FTP通信模块、存储模块、触摸控制模块、身份识别模块和视频接入模块；

所述TCP/IP通信模块和FTP通信模块用于与物联网监控中心进行通信，所述存储模块用于存储视频信息，所述触摸控制模块用于接入液晶屏，所述身份识别模块用于读取用户身份证数据，所述视频接入模块用以采集重点消防设施视频信息，包括1路10/100/1000Base-T以太网接口，所述以太网接口可同时调用16路720P监控视频。

以及分别与从CPU相连的权限锁、按键输入、状态灯指示、可扩展RS232/485接口、433MHz无线通讯和主备电监测；

所述权限锁用于设置使用者权限，所述按键输入用于按键操作，所述状态灯指示用于显示电源、网络、本机状态以及相关消防事件，所述可扩展RS232/485接口有四个，每个都可以连接一台自动消防报警控制器，每个RS232/485接口可连接60个物联监测接入单元。

所述每个433MHz无线通讯都可以连接60个物联监控接入单元，所述主备电监测用于电源监测，所述从CPU与主CPU通过USB转串口转换器连接。

从CPU可以通过RS485总线(有线连接)或433MHz无线通信(无线连接)采集消防建筑设施信息和各物联单元监测信息并反馈给主CPU；主CPU通过视频接入模块采集人员在岗监测视频信息。主CPU再将上述采集信息通过TCP/IP通信模块传输给物联网监控中心进行实时监测。

主CPU接有触摸控制模块，用户通过触摸高清触摸显示屏查看消防系统状态总览，消防事件，系统组态及设置信息。实现了对消防值班人员的在岗管理。系统设置具备配置重置、网络配置、上传/下载配置信息、系统时间同步、检查更新软件、在岗人员录入等功能，可以便捷进行系统的设置。

主CPU通过视频流截取图片，并通过背景建模提取差异化区域，通过在岗识别算法获得人员是否在岗的检查结果，实现了对消防值班人员的在岗管理。

主CPU接有身份识别模块，用户将身份证放入身份证读取装置后，身份识别模块自动读取用户身份证信息并存储。

从CPU将一部分信息如电源状态，网络状态，本机状态，消防事件等信息通过状态指示灯输出，显示在前面板。用户可以通过按键输入完成手动报警，确认虚警，消音，自检，复位和查岗应答的动作。

如图2所示，主CPU进行人员在岗视频识别的方法如下：

(1)截取视频流，获取图像帧序列；

(2)采用高斯背景建模提取视频运动区域，能够通过调整学习率，自主学习视频目标中的场景变化，并提取出当前运动目标，高斯背景建模算法的输入图像尺寸(size)、历史帧数(hisotry_num)、变化阈值(var_threshold)、学习率(learn_rate)均可根据实际应用场景进行调整，本实施例中，可以设定size＝(720,576)，hisotry_num＝20，var_threshold＝10，learn_rate＝0.01。

待识别区域预提取：由于监控室内置有办公桌椅和监控仪器设备，所以实际上人的活动区域有限，为降低算法运算量，将非人员活动区域排除在外。然后结合对运动目标区域和人的活动区域进行求与操作，可以得到待识别区域；

(3)人体目标活动区域由一组图像矩形框组成，假设活动区域集合为R＝{R₁,R₂,...,R_n}，R_i＝(x_i,y_i,w_i,h_i)分别表示矩形框的左上角坐标x、y和宽高度w、h，假设从图像运动区域提取出的矩形包围框集合为M，M＝{M₁,M₂,...,M_n}；

(4)将i个矩形包围框M_i与活动区域中R_i的矩形框进行重叠率计算，重叠率d计算方法如下：

M_i∩R_i为两矩形相交区域面积，M_i∪R_i为两矩形所覆盖区域面积；如果d超过阈值则判定当前区域M_i为待识别区域，进行保留，否则该区域不识别；

(5)通过逐个计算即可得到最终的识别区域矩形框S＝{S₁,S₂,...,S_n}；

(6)对每个待识别区域矩形框S进行缩放，然后采用在岗识别算法对待识别区域进行逐区域识别，判断每个区域内是否有人，如果有人，则判定为当前监控室内人员在岗，如果所有的S中都没有检测到人，则判定当前监控室内人员脱岗。

具体来说，在岗识别算法采用了卷积神经网络进行目标识别。为提高系统的检测效率，首先通过人工采集大量的目标场景图片，将其分为室内仪器设备、窗户、办公桌椅、照明设施、衣物、柜子、人等多个类别，然后对卷积神经网络模型进行训练优化，得到最终目标检测模型。本实施例所采用的图像分类模型是GoogleNet，采用的深度学习框架(平台)是Caffe。在输入图片后，通过卷积神经网络的运算能够直接得到以上所列各分类的预测分值，作为类别判别依据。

对每个待识别区域进行缩放，缩放到在岗识别算法所需要的输入图片尺寸(224*224)。然后采用在岗识别算法对待识别区域进行逐区域识别，判断每个区域内是否有人。如果有人，则判定为当前监控室内人员在岗，如果没有检测到人，则判定当前监控室内人员脱岗。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种人员在岗视频识别方法，其特征在于，包括以下步骤：

(1)截取视频流，获取图像帧序列；

(2)对背景进行建模并提取差异化区域；

(3)人体目标活动区域由一组图像矩形框组成，假设活动区域集合为R＝{R₁,R₂,...,R_n}，R_i＝(x_i,y_i,w_i,h_i)分别表示矩形框的左上角坐标x、y和宽高度w、h，假设从图像运动区域提取出的矩形包围框集合为M，M＝{M₁,M₂,...,M_n}；

(4)将i个矩形包围框M_i与活动区域中R_i的矩形框进行重叠率计算，重叠率d计算方法如下：

<mrow> <mi>d</mi> <mo>=</mo> <mfrac> <mrow> <msub> <mi>M</mi> <mi>i</mi> </msub> <mo>&amp;cap;</mo> <msub> <mi>R</mi> <mi>i</mi> </msub> </mrow> <mrow> <msub> <mi>M</mi> <mi>i</mi> </msub> <mo>&amp;cup;</mo> <msub> <mi>R</mi> <mi>i</mi> </msub> </mrow> </mfrac> </mrow>

M_i∩R_i为两矩形相交区域面积，M_i∪R_i为两矩形所覆盖区域面积；如果d超过阈值则判定当前区域M_i为待识别区域，进行保留，否则该区域不识别；

(5)通过逐个计算即可得到最终的识别区域矩形框S＝{S₁,S₂,...,S_n}；

(6)对每个待识别区域矩形框S进行缩放，然后对待识别区域进行逐区域识别，判断每个区域内是否有人，如果有人，则判定为当前监控室内人员在岗，如果所有的S中都没有检测到人，则判定当前监控室内人员脱岗。

2.根据权利要求1所述的一种人员在岗视频识别方法，其特征在于，所述步骤(4)中，阈值为0.3。

3.根据权利要求1所述的一种人员在岗视频识别方法，其特征在于，所述步骤(2)中，采用高斯背景建模提取视频运动区域，并结合人可能出现的图像区域提取出运动目标。

4.一种使用如权利要求1所述的人员在岗视频识别方法的智能用户信息传输装置，其特征在于，所述传输装置包括用于接入监控视频的视频接入模块和用于在岗视频识别的主CPU。

5.根据权利要求4所述的智能用户信息传输装置，其特征在于，所述传输装置还包括分别与主CPU通信的TCP/IP通信模块、FTP通信模块、存储模块、触摸控制模块、身份识别模块和视频接入模块；

所述TCP/IP通信模块和FTP通信模块用于与物联网监控中心进行通信，所述存储模块用于存储视频信息，所述触摸控制模块用于接入液晶屏，所述身份识别模块用于读取用户身份证数据。

6.根据权利要求5所述的智能用户信息传输装置，其特征在于，所述传输装置还包括从CPU，以及分别与从CPU相连的权限锁、按键输入、状态灯指示、可扩展RS232/485接口、433MHz无线通讯和主备电监测；

所述权限锁用于设置使用者权限，所述按键输入用于按键操作，所述状态灯指示用于显示电源、网络、本机状态以及相关消防事件，所述可扩展RS232/485接口用于连接并监测自动消防报警控制器，所述433MHz无线通讯用于连接物联监控接入单元，所述主备电监测用于电源监测，所述从CPU与主CPU通过USB转串口转换器连接。