CN110996067A - 基于深度学习的高危作业环境下的人员安全实时智能视频监控系统 - Google Patents

基于深度学习的高危作业环境下的人员安全实时智能视频监控系统 Download PDF

Info

Publication number
CN110996067A
CN110996067A CN201911317072.8A CN201911317072A CN110996067A CN 110996067 A CN110996067 A CN 110996067A CN 201911317072 A CN201911317072 A CN 201911317072A CN 110996067 A CN110996067 A CN 110996067A
Authority
CN
China
Prior art keywords
personnel
real
time
early warning
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911317072.8A
Other languages
English (en)
Inventor
代勇
化青龙
李伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Rongzhi Aike Intelligent Technology Co Ltd
Original Assignee
Harbin Rongzhi Aike Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Rongzhi Aike Intelligent Technology Co Ltd filed Critical Harbin Rongzhi Aike Intelligent Technology Co Ltd
Priority to CN201911317072.8A priority Critical patent/CN110996067A/zh
Publication of CN110996067A publication Critical patent/CN110996067A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed circuit television systems, i.e. systems in which the signal is not broadcast
    • H04N7/181Closed circuit television systems, i.e. systems in which the signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal operating condition and not elsewhere provided for
    • G08B21/18Status alarms
    • G08B21/24Reminder alarms, e.g. anti-loss alarms
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources

Abstract

基于深度学习的工业人员安全实时智能视频监控系统。本发明包括人员自动识别系统、人员自动定位系统、实时智能预警系统、多种存储方案和智能管理平台五个子系统;摄像头将实时视频流输入到人员自动识别系统,系统识别出人员后再进行人员定位,并将定位信息发送到实时智能预警系统,实时智能预警系统进行声光报警与设备联动闭锁,同时云端或本地端多种存储方案存储关键预警信息,智能管理平台可进行监管区域、监管时间设置与报警信息查询检索。该系统可实现工业背景下的人员安全实时预警,主动预防事故发生,提供安全保障。符合实际需求,实施方便,易于推广应用。

Description

基于深度学习的高危作业环境下的人员安全实时智能视频监 控系统
技术领域
本发明涉及图像处理、深度学习与电气控制,属于工业安全领域。
背景技术
目前,为保障各类高危工作环境下得工业安全生产,企业常常采用视频监控方式作为安全监督与监管手段手段之一。虽然为24小时监控,但安全监管水平与视频监控值守人员注意力强相关,现有的视频监控系统存在着值守人员容易疲劳导致注意力分散、值守人员工作态度消极懈怠、危险识别不准确、响应滞后等缺点。
随着人工智能、机器视觉技术、模式识别技术的快速发展,智能视频监控技术已经应用于民用和军事领域,如智慧城市建设、公共安全管理以及军事建设等。深度学习与实时图像识别技术相结合的实时目标检测方法在应用于工业生产领域高危作业环境下的人员位置监测与安全保障时,针对现有视频监控系统所获取的实时视频流进行图像识别与分析,对作业人员所处位置进行实时监测,有效地降低作业人员安全事故的发生概率,提高安全管理水平,有较高的实用性。
发明内容
本发明实现高危作业环境下人员安全实时智能视频监控的技术方案,其目的是提高目前作业人员安全管理水平和监控力度。
为了实现上述发明目的,本发明采取的技术方案如下:
根据摄像头多路的视频流按照视频读取、视频转码、视频解析、图像预处理和人员识别的步骤进行处理,利用深度学习的Faster R-CNN算法实现人员识别。识别出现场人员后将图片输入到人员自动定位系统,检测出人员所在位置,并按照在智能管理平台预设的监管区域发送不同等级的智能预警。预警系统进行声光报警与设备联动闭锁的同时,人员自动定位系统将报警信息、监控画面存储在本地端或云端,生成报警日志,用于查询检索,分析查证。用户可根据自己的条件、日期、类别、报警内容、紧急程度进行数据的增删改查。
Faster R-CNN目标检测的四个步骤为:候选区域生成、特征提取、分类器分类和回归器回归,全部由神经网络完成,并且可以全部在GPU上运行,实现了端到端的操作;如图3所示,由RPN候选框提取模块和Fast R-CNN检测模块组成,两个模块共享特征;Faster R-CNN算法的训练流程:将输入的图像经过CNN特征提取后,RPN生成约300个regionproposals送入ROI Pooling层;Faster RCNN模块通过共享上述卷积层,特征提取获得feature maps;利用softmax分类器进行分类;bounding box回归器回归,进行位置调整。
优选地,人员自动识别系统处理视频的步骤:通过摄像头IP地址,利用TCP/IP协议实时读取多路视频流;将其转码为统一视频格式后分帧解析;将解析后的图片进行降噪、细节平滑、HDR压缩、去雾、增亮等操作;利用训练好的识别模型进行人员识别和处理;人员自动识别系统基于深度学习的Faster R-CNN算法,识别是否有人员进入,保证监控值守人员注意力集中。
优选地,人员自动定位系统基于人员定位算法,可以根据智能管理平台提供的监管区域信息判断现场人员位置,并进行监管区域闯入预警报警信号实时发送。
优选地,智能预警系统的等级包括:告警、预警、报警三种级别;若是告警等级,则通过警铃提醒监控值守人员注意;若是预警等级,则通过警铃和警灯提醒监控值守人员注意;若是报警等级,则通过警铃和警灯提醒监控值守人员注意,且通过PLC对设备进行联动闭锁,保障人员安全。
优选地,智能管理平台可设置动态不规则多监管区域:自定义多个安全区、预警区、危险区等监管区域,提供给人员自动定位系统做人员所处区域判别;监管时间设置,自定义工作时间、休息时间,基于深度学习的高危作业环境下的人员安全实时智能视频监控系统严格按照时间执行任务,在监管时间内正常工作,在维修维护等休息时间内,分析结果但不做任何报警提示;报警信息查询检索管理,是指系统自动记录每一次预警、报警信息内容,包括报警类别、时间、报警内容、紧急程度。报警信息为事故追踪、现场决策提供数据支撑。
本发明和现有技术相比,具有如下有益效果:
传统视频监控虽然也是24小时实时监控,但是监管水平与值守人员注意力强相关,值守人员容易疲劳导致注意力分散,甚至值守人员存在消极懈怠不负责的工作态度,这是传统监控系统的主要缺点。
本发明的基于深度学习的高危作业环境下的人员安全实时智能视频监控系统,对现场人员进行实时定位,判断现场人员所处位置,并进行智能预警加强工业生产监控监管力度,缩短事故应急处理时间,一定程度地降低安全事故率,同时提升信息化管理能力,促使现场安防向智慧监管方向发展。
附图说明
图1是基于深度学习的高危作业环境下的人员安全实时智能视频监控系统的系统构架及其连接方式结构图;
图2是基于深度学习的高危作业环境下的人员安全实时智能视频监控系统的系统实现原理示意图;
图3是基于深度学习的高危作业环境下的人员安全实时智能视频监控系统的Faster R-CNN训练流程图。
具体实施方式
为使本发明的目的、技术方案和有益效果更加清楚明了,下面结合附图对本发明进行说明。
图1示出了根据本发明基于深度学习的高危作业环境下的人员安全实时智能视频监控系统基于深度学习的高危作业环境下的人员安全实时智能视频监控系统的系统构架及其连接方式示意图。系统设备包括摄像头、路由器、硬盘录像机、显示器、配置计算机、本地端/云端服务器、算法服务器、联动闭锁装置、警铃、警灯。具体连接方式为:路由器通过网线与多路摄像头、硬盘录像机连接,将获取视频存储于硬盘中;硬盘录像机通过VGA线与显示器连接,显示实时监控画面;同时路由器与算法服务器通过网线或无线网连接,将多路实时视频流传送到算法服务器,算法服务器进行人员识别与人员定位处理;算法服务器通过RS232总线与联动闭锁装置连接,将人员位置信息发送到联动闭锁装置,同时算法服务器与本地端/云端服务器通过网线或无线网连接以存储报警信息;将联动闭锁装置通过PLC控制线与警灯、警铃、设备连接,设置声光报警与设备急停;最后将配置计算机通过网线或无线网与本地端/云端服务器连接,监管区域设置、监管时间设置和报警信息查询检索管理。
优选地,算法服务器进行人员识别与人员定位处理,是基于深度学习的Faster R-CNN算法进行对照训练好的识别模型具体实现;同时自动定位系统检测出人员所在区域进行实时智能预警处理。
优选地,联动闭锁装置与警灯、警铃、设备通过PLC控制线连接,实时智能预警系统分为以下三个等级:若是告警等级,则通过警铃提醒监控值守人员注意;若是预警等级,则通过警铃和警灯提醒监控值守人员注意;若是报警等级,则通过警铃和警灯提醒监控值守人员注意,且通过PLC对设备进行联动闭锁,保障人员安全。
通过以上描述可知,本发明通过视频监控系统获取的实时视频流,对现场人员进行实时定位,判断现场人员所处位置,并进行智能预警。如果现场人员越过隔离区进入危险区,实时智能预警系统将以最快地速度控制设备停止运转,大幅度缩短事故应急处理时间。因此,本系统将加强工业生产监控监管力度,并能一定程度地降低安全事故率。
在图2中,基于深度学习的高危作业环境下的人员安全实时智能视频监控系统的实现原理主要包含智能预警与智能管理两部分:
(1)智能预警
摄像头多路视频流经视频转码、视频解析与图像预处理后,输入到基于深度学习的人员识别算法中,识别算法利用云端/本地端存储的模型库,进行人员识别;人员识别后,将识别后的图像输入到人员定位算法中,人员定位算法检测出人员所处位置,并利用云端/本地端存储的监管区域信息,判断出人员所处区域属性,并将人员定位信息分别发送到智能预警系统与存储系统;智能预警系统接收到人员定位信息进行声光报警及设备联动闭锁;存储系统将人员定位信息生成报警日志,并存储在云端或本地端,再将视频进行显示;
(2)智能管理
智能管理部分包含四大功能:动态监管时间设置、动态不规则监管区域设置、报警信息查询处理、便捷导入模型库。其中动态监管时间设置功能可自定义工作时间、休息时间,并将监管时间信息存储在云端或本地端数据库,在监管时间内系统正常工作,在维修维护等休息时间内,分析结果但不做任何报警提示;动态不规则监管区域设置功能可自定义多个安全区、预警区、危险区等监管区域,并将监管区域信息存储在云端或本地端数据库,提供给基于深度学习的人员识别算法做人员所处区域判别;报警信息查询处理功能使用户可以根据自己的条件进行数据的增删改查;便捷导入模型库功能使用户可以通过智能管理平台将基于深度学习的人员识别算法所需的模型库存储在云端或本地端数据库。
通过以上描述可知,本发明利用图像处理技术、深度学习技术,实时识别、定位人体目标,云端或本地端存储关键预警、报警信息,智能管理平台可动态设置监管区域、设置监管时间、查询检索报警日志,是传统安防向智慧安防发展的转折点。

Claims (10)

1.基于深度学习的工业人员安全实时智能视频监控系统,包括人员自动识别系统、人员自动定位系统、实时智能预警系统、存储系统、智能管理平台,其特征是:人员自动识别系统将智能视频监控系统中接收的多路摄像头实时视频流进行处理后,传送到人员自动定位系统智能定位现场人员,再将人员定位信息传到实时智能预警系统进行声光报警与设备联动闭锁,同时存储系统在云端或本地端存储关键预警、报警信息,智能管理平台根据存储系统的信息管理人员自动识别系统和人员定位系统。
2.根据权利要求1所述的基于深度学习的工业人员安全实时智能视频监控系统,其特征在于,人员自动识别系统接收多路摄像头实时视频流,实时识别现场是否有人员进入。
3.根据权利要求1所述的基于深度学习的工业人员安全实时智能视频监控系统,其特征在于,人员自动定位系统智能定位现场人员,及监管区域闯入预警报警信号实时发送。
4.根据权利要求1所述的基于深度学习的工业人员安全实时智能视频监控系统,其特征在于,实时智能预警系统自定义预警报警级别分别进行声光报警与设备联动闭锁。
5.根据权利要求1所述的基于深度学习的工业人员安全实时智能视频监控系统,其特征在于,存储系统在云端或本地端存储关键预警、报警信息,并用于查询检索,分析查证。
6.根据权利要求1所述的基于深度学习的工业人员安全实时智能视频监控系统,其特征在于,智能管理平台自定义监管区域:包括安全区、预警区、危险区;智能管理平台设置自定义监管时间:包括工作时间、休息时间;智能管理平台实现报警信息查询检索管理。
7.根据权利要求2所述的基于深度学习的工业人员安全实时智能视频监控系统,其特征在于,自动识别系统基于深度学习的Faster R-CNN算法进行现场人员自动识别。
8.根据权利要求3所述的基于深度学习的工业人员安全实时智能视频监控系统,其特征在于,人员自动定位系统基于人员定位算法,根据智能管理平台提供的监管区域信息判断现场人员位置,并进行监管区域闯入预警报警信号实时发送。
9.根据权利要求4所述的基于深度学习的工业人员安全实时智能视频监控系统,其特征在于,实时智能预警系统通过PLC与声光报警装置及设备进行联动闭锁。
10.根据权利要求6所述的基于深度学习的工业人员安全实时智能视频监控系统,其特征在于,智能管理平台实现动态的、不规则的、多区域的监管区域设置。
CN201911317072.8A 2019-12-19 2019-12-19 基于深度学习的高危作业环境下的人员安全实时智能视频监控系统 Pending CN110996067A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911317072.8A CN110996067A (zh) 2019-12-19 2019-12-19 基于深度学习的高危作业环境下的人员安全实时智能视频监控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911317072.8A CN110996067A (zh) 2019-12-19 2019-12-19 基于深度学习的高危作业环境下的人员安全实时智能视频监控系统

Publications (1)

Publication Number Publication Date
CN110996067A true CN110996067A (zh) 2020-04-10

Family

ID=70062998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911317072.8A Pending CN110996067A (zh) 2019-12-19 2019-12-19 基于深度学习的高危作业环境下的人员安全实时智能视频监控系统

Country Status (1)

Country Link
CN (1) CN110996067A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111586354A (zh) * 2020-04-28 2020-08-25 上海市保安服务(集团)有限公司 侦查系统
CN111640282A (zh) * 2020-05-29 2020-09-08 北京潞电电气设备有限公司 一种配电室内人员安全距离监测方法、系统及装置
CN111698418A (zh) * 2020-04-17 2020-09-22 广州市讯思视控科技有限公司 基于深度学习组态云平台的工业智能相机系统
CN112191353A (zh) * 2020-10-09 2021-01-08 北京北矿智能科技有限公司 一种用于提升碎石机作业区域安全性的装置及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647559A (zh) * 2018-03-21 2018-10-12 四川弘和通讯有限公司 一种基于深度学习的危险物识别方法
CN109922310A (zh) * 2019-01-24 2019-06-21 北京明略软件系统有限公司 目标对象的监控方法、装置及系统
US10373323B1 (en) * 2019-01-29 2019-08-06 StradVision, Inc. Method and device for merging object detection information detected by each of object detectors corresponding to each camera nearby for the purpose of collaborative driving by using V2X-enabled applications, sensor fusion via multiple vehicles
CN110428522A (zh) * 2019-07-24 2019-11-08 青岛联合创智科技有限公司 一种智慧新城的智能安防系统
KR20190136515A (ko) * 2018-05-31 2019-12-10 주식회사 비젼하이텍 차량 인식 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647559A (zh) * 2018-03-21 2018-10-12 四川弘和通讯有限公司 一种基于深度学习的危险物识别方法
KR20190136515A (ko) * 2018-05-31 2019-12-10 주식회사 비젼하이텍 차량 인식 장치
CN109922310A (zh) * 2019-01-24 2019-06-21 北京明略软件系统有限公司 目标对象的监控方法、装置及系统
US10373323B1 (en) * 2019-01-29 2019-08-06 StradVision, Inc. Method and device for merging object detection information detected by each of object detectors corresponding to each camera nearby for the purpose of collaborative driving by using V2X-enabled applications, sensor fusion via multiple vehicles
CN110428522A (zh) * 2019-07-24 2019-11-08 青岛联合创智科技有限公司 一种智慧新城的智能安防系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111698418A (zh) * 2020-04-17 2020-09-22 广州市讯思视控科技有限公司 基于深度学习组态云平台的工业智能相机系统
CN111586354A (zh) * 2020-04-28 2020-08-25 上海市保安服务(集团)有限公司 侦查系统
CN111640282A (zh) * 2020-05-29 2020-09-08 北京潞电电气设备有限公司 一种配电室内人员安全距离监测方法、系统及装置
CN112191353A (zh) * 2020-10-09 2021-01-08 北京北矿智能科技有限公司 一种用于提升碎石机作业区域安全性的装置及方法

Similar Documents

Publication Publication Date Title
CN110996067A (zh) 基于深度学习的高危作业环境下的人员安全实时智能视频监控系统
CN100446043C (zh) 基于生物传感和图像信息融合的视频安防监控方法
CN106205143A (zh) 智能卡口联网系统
CN108389359B (zh) 一种基于深度学习的城市火灾报警方法
CN204375138U (zh) 基于人流密度识别技术的智能预警系统
CN106761928A (zh) 一种煤矿安全监控系统的数据采集方法及装置
CN109660761A (zh) 基于ssd的皮带通廊复杂环境人员识别与报警系统及方法
CN109614906A (zh) 一种基于深度学习的安防系统及安防报警方法
Huang et al. Detection algorithm of safety helmet wearing based on deep learning
CN111080878A (zh) 一种基于人工智能的施工现场安全监控方法及其装置
CN207399404U (zh) 一种循迹监控系统
KR20150031059A (ko) 패턴 인식 기술에 의한 범죄 예방 폐쇄 회로 티비 장치 개선
EA038293B1 (ru) Способ и система выявления тревожных событий при взаимодействии с устройством самообслуживания
CN203276305U (zh) 一种基于云视觉的智能步态识别装置
Cai et al. Multistage analysis of abnormal human behavior in complex scenes
CN211184122U (zh) 铁路作业安全防控和大客流预警联动的智能视频分析系统
CN111131771B (zh) 一种视频监控系统
CN110533889B (zh) 一种敏感区域电子设备监测定位装置与方法
CN112804493A (zh) 一种电力工程施工用智能监控系统
Zhang A Study on the Campus Public Safety Monitoring System Based on Intelligent Vision
CN112580470A (zh) 城市视觉感知方法、装置、电子设备和存储介质
CN113489943A (zh) 一种基于私有云平台的视频监控系统
CN112188164A (zh) 一种基于ai视觉的违规行为实时监测系统及方法
CN111553264A (zh) 一种适用于中小学生的校园非安全行为检测及预警方法
CN113505704A (zh) 图像识别的人员安全侦测方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination