CN114140503A - 基于深度学习的配电网危险区域识别装置及方法 - Google Patents
基于深度学习的配电网危险区域识别装置及方法 Download PDFInfo
- Publication number
- CN114140503A CN114140503A CN202111237297.XA CN202111237297A CN114140503A CN 114140503 A CN114140503 A CN 114140503A CN 202111237297 A CN202111237297 A CN 202111237297A CN 114140503 A CN114140503 A CN 114140503A
- Authority
- CN
- China
- Prior art keywords
- area
- module
- computer
- image
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
Abstract
本发明公开了基于深度学习的配电网危险区域识别装置及方法，涉及配电网安全管理技术领域；装置包括获得标注区域模块、获得标注视频图像模块、获得预处理图像模块、获得人员区域模块和判断是否进入警戒区域模块共五个程序模块，方法包括S1获得标注区域、S2获得标注视频图像、S3获得预处理图像、S4获得人员区域、S5判断是否进入警戒区域、S6判断是否远离危险区域和S7判断是否进入危险区域，其通过获得标注区域模块、获得标注视频图像模块、获得预处理图像模块、获得人员区域模块和判断是否进入警戒区域模块等，及时发现人员进入配电网警戒区域，警戒区域为虚拟的，无需要占用现场空间，节约了物资能源，效率更高，效果更好。
Description
技术领域
本发明涉及配电网安全管理技术领域，尤其涉及一种基于深度学习的配电网危险区域识别装置及方法。
背景技术
为了保证配电网工程安全开展以及施工人员的人生安全，需要对配电网危险区域进行实施有效的监测，防止施工人员进入危险区域，从而危害自身安全。
目前，为了保障配电网施工人员人生安全，对危险区域的监控主要方式是以人工监控视频为主，这种人工监控方法效率低下、遇到突发情况处理不及时、难以同时监控多场景、难以做到全天候监控。并且由于背景混杂、光照条件差等外界因素，利用传统的特征提取方法，如LBP特征，很难准确地对监控视频中的施工人员进行检测。因此，如何实时有效地对配电网危险区域进行监控，以代替人工监控，进而避免发生安全事故是本领域技术人员亟需解决的技术问题。
以双目摄像头AND危险区为检索词进行检索，获得现有技术方案，其中两篇分析如下：
申请公布号为CN 113255520 A，名称为基于双目视觉和深度学习的车辆避障方法与电子设备，以下简称对比文件1。
使用深度学习和深度图的信息融合摒除深度图中的可行驶区域部分，通过三维映射后压缩到二维平面生成鸟瞰障碍散点图，再通过欧式距离变换以及设置自适应阈值生成安全行驶区域，并使用动态窗口法规划出合理的路径，相较于传统方法，规划出的路径更加安全可靠，对小目标、低高度的障碍发现效果更显著，可以更好区分路面的可行驶性，路面摒除的鲁棒性更强，参见对比文件1说明书第[0055]段。
解决了双目深度只能选取很小的上下视场角，或需要多个双目摄像头纵向配合滤除地面进行避障的问题，降低了成本；解决了深度学习分割结果召回率较低导致鸟瞰障碍散点图中存在实际安全路面的问题；解决了纯视觉自动驾驶解决方案在传感器尽可能少的情况下的鸟瞰视角路径规划的地图生成问题，并改进适配了一种效果较好的路径规划方法，参见对比文件1说明书第[0056]段。
深度信息的融合确定可行驶区域相比于使用纯深度学习分割路面的方案路面分割结果召回率更高；相比于利用高度排除地面区域的视觉建图方案有更强的鲁棒性，可以区分人行道等高度差异不明显的地形，将不可行驶地面纳入障碍范畴；相比于只取正前方以上区域的视觉建图方案增加了低矮障碍的检测能力，参见对比文件1说明书第[0057]段。
对比文件1的问题：只解决了发现人员的技术问题，没有涉及发现危险区域的技术问题。
申请公布号为CN 112613668 A，名称为基于人工智能的景区危险区域管控方法，以下简称对比文件2。
所述危险区域标识包括竖立于地面的警告牌和铺设于地面的警示线，参见对比文件2说明书第[0010]段。
将时空与或图引入目标活动预测领域。首先通过分析景区危险区域的视频中游客和危险区域标识的空间位置关系生成空间与或图模型；其次对空间与或图模型进行活动状态提取，获得包括游客和危险区域标识各关注目标的子活动标签集，实现景区危险区域的视频的高级语义提取；然后将子活动标签集作为预先得到的时间与或图模型的输入，通过时间与或图的时间语法来得到被关注游客下一个子活动的预测，参见对比文件2说明书第[0032]段。
对比文件2的问题：采用实物危险区域标识的使用效果较差。在地面上设置警告牌形成危险区域标识，制作警告牌需要消耗资源，安装需要占用空间；在地面上设置警示线形成危险区域标识，使用时间长了警示线易脱落，无法起到警示作用；如果遭到人为破坏移走危险区域标识，无法实现危险区域识别。
现有技术问题及思考：
如何解决识别人员进入配电网警戒区域或者危险区域的技术问题。
发明内容
本发明所要解决的技术问题是提供一种基于深度学习的配电网危险区域识别装置及方法，解决识别人员进入配电网警戒区域的技术问题。
为解决上述技术问题，本发明所采取的技术方案是：一种基于深度学习的配电网危险区域识别装置包括获得标注区域模块、获得标注视频图像模块、获得预处理图像模块、获得人员区域模块和判断是否进入警戒区域模块共五个程序模块，获得标注区域模块，用于计算机获得视频图像，允许操作人员根据需要通过计算机在视频图像上标注警戒区域或危险区域并获得标注区域；获得标注视频图像模块，用于计算机将获得的视频图像与标注区域结合并获得标注视频图像；获得预处理图像模块，用于计算机从标注视频图像中抽取并获得帧图像，对帧图像进行预处理并获得预处理图像；获得人员区域模块，用于计算机通过目标检测算法从预处理图像中获得人员区域；判断是否进入警戒区域模块，用于计算机将人员区域与警戒区域对比，获得人员区域位于警戒区域内或外。
进一步的技术方案在于：获得标注区域模块，还用于摄像头获得现场的视频图像并发送至计算机；获得预处理图像模块，还用于计算机对帧图像进行灰度化、图像放大、图像增强并获得预处理图像；在获得人员区域模块中，人员区域为人员的三维边界框；判断是否进入警戒区域模块，还用于当人员区域位于警戒区域外时，执行获得标注视频图像模块。
进一步的技术方案在于：还包括判断是否远离危险区域模块、判断是否进入危险区域模块和播报模块三个程序模块，判断是否进入警戒区域模块，还用于当人员区域位于警戒区域内时，执行判断是否远离危险区域模块；判断是否远离危险区域模块，用于计算机获得一段时间的人员区域，通过轨迹预测算法获得人员接近或者远离危险区域，当人员远离危险区域，执行获得标注视频图像模块；当人员接近危险区域，生成预警信息并对外发送，执行判断是否进入危险区域模块；判断是否进入危险区域模块，用于计算机将人员区域与危险区域对比，当人员区域位于危险区域外时，执行判断是否远离危险区域模块；当人员区域位于危险区域内时，生成告警信息并对外发送，执行播报模块；播报模块，用于播放器接收到预警信息或者告警信息并进行播报。
进一步的技术方案在于：还包括摄像头、播放器和计算机，所述摄像头与计算机连接并通信，所述计算机与播放器连接并通信，在获得标注区域模块中，危险区域和警戒区域均为三维边界框；在获得人员区域模块中，目标检测算法为YOLO3D、Deep3Dbox或者Mono3D目标检测算法。
进一步的技术方案在于：在获得预处理图像模块中，对帧图像进行灰度化，采用加权平均法；图像放大，采用最近邻插值法；图像增强，采用直方图均衡化。
进一步的技术方案在于：在判断是否远离危险区域模块中，轨迹预测算法是通过卡尔曼滤波和LSTM算法进行人员跟踪以及轨迹预测的，将人员区域输入卡尔曼滤波器，以运动特征代替表现特征完成目标相似度计算，采用匈牙利算法完成目标匹配，以三维边界框的形式输出跟踪目标，通过LSTM算法对人员未来5秒的轨迹进行预测。
一种基于深度学习的配电网危险区域识别方法，基于摄像头和计算机，所述摄像头与计算机连接并通信，包括如下步骤：S1获得标注区域，摄像头获得现场的视频图像并发送至计算机，计算机接收到视频图像，允许操作人员根据需要通过计算机在视频图像上标注警戒区域和危险区域并获得标注区域；S2获得标注视频图像，计算机将获得的视频图像与标注区域结合并获得标注视频图像；S3获得预处理图像，计算机对标注视频图像进行帧图像抽取获得帧图像，计算机对帧图像进行预处理并获得预处理图像；S4获得人员区域，计算机通过目标检测算法从预处理图像中获得人员区域；S5判断是否进入警戒区域，计算机将人员区域与警戒区域对比，当人员区域位于警戒区域外时，执行步骤S2；当人员区域位于警戒区域内时，执行步骤S6；S6判断是否远离危险区域，计算机获得一段时间的人员区域，通过轨迹预测算法获得人员接近或者远离危险区域，当人员远离危险区域，执行步骤S2；当人员接近危险区域，生成预警信息并对外发送，执行步骤S7；S7判断是否进入危险区域，计算机将人员区域与危险区域对比，当人员区域位于危险区域外时，执行步骤S6；当人员区域位于危险区域内时，生成告警信息并对外发送。
进一步的技术方案在于：还包括如下步骤，S8播报，播放器接收到预警信息或者告警信息并进行播报；在步骤S1中，危险区域和警戒区域均为三维边界框；在步骤S3中，对帧图像进行预处理包括灰度化、图像放大和图像增强，对帧图像进行灰度化，采用加权平均法；图像放大，采用最近邻插值法；图像增强，采用直方图均衡化；在步骤S4中，人员区域为人员的三维边界框，目标检测算法为YOLO3D、Deep3Dbox或者Mono3D目标检测算法；在步骤S7中，轨迹预测算法是通过卡尔曼滤波和LSTM算法进行人员跟踪以及轨迹预测的，将人员区域输入卡尔曼滤波器，以运动特征代替表现特征完成目标相似度计算，采用匈牙利算法完成目标匹配，以三维边界框的形式输出跟踪目标，通过LSTM算法对人员未来5秒的轨迹进行预测。
一种基于深度学习的配电网危险区域识别装置包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，计算机程序包括获得标注区域模块、获得标注视频图像模块、获得预处理图像模块、获得人员区域模块和判断是否进入警戒区域模块，所述处理器执行计算机程序时实现上述相应的步骤。
一种基于深度学习的配电网危险区域识别装置为计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，计算机程序包括获得标注区域模块、获得标注视频图像模块、获得预处理图像模块、获得人员区域模块和判断是否进入警戒区域模块，所述计算机程序被处理器执行时实现上述相应的步骤。
采用上述技术方案所产生的有益效果在于：
一种基于深度学习的配电网危险区域识别装置包括获得标注区域模块、获得标注视频图像模块、获得预处理图像模块、获得人员区域模块和判断是否进入警戒区域模块共五个程序模块，获得标注区域模块，用于计算机获得视频图像，允许操作人员根据需要通过计算机在视频图像上标注警戒区域或危险区域并获得标注区域；获得标注视频图像模块，用于计算机将获得的视频图像与标注区域结合并获得标注视频图像；获得预处理图像模块，用于计算机从标注视频图像中抽取并获得帧图像，对帧图像进行预处理并获得预处理图像；获得人员区域模块，用于计算机通过目标检测算法从预处理图像中获得人员区域；判断是否进入警戒区域模块，用于计算机将人员区域与警戒区域对比，获得人员区域位于警戒区域内或外。该技术方案，其通过获得标注区域模块、获得标注视频图像模块、获得预处理图像模块、获得人员区域模块和判断是否进入警戒区域模块等，及时发现人员进入配电网警戒区域，警戒区域为虚拟的，无需要占用现场空间，节约了物资能源，效率更高，效果更好。
一种基于深度学习的配电网危险区域识别方法，基于摄像头和计算机，所述摄像头与计算机连接并通信，包括如下步骤：S1获得标注区域，摄像头获得现场的视频图像并发送至计算机，计算机接收到视频图像，允许操作人员根据需要通过计算机在视频图像上标注警戒区域和危险区域并获得标注区域；S2获得标注视频图像，计算机将获得的视频图像与标注区域结合并获得标注视频图像；S3获得预处理图像，计算机对标注视频图像进行帧图像抽取获得帧图像，计算机对帧图像进行预处理并获得预处理图像；S4获得人员区域，计算机通过目标检测算法从预处理图像中获得人员区域；S5判断是否进入警戒区域，计算机将人员区域与警戒区域对比，当人员区域位于警戒区域外时，执行步骤S2；当人员区域位于警戒区域内时，执行步骤S6；S6判断是否远离危险区域，计算机获得一段时间的人员区域，通过轨迹预测算法获得人员接近或者远离危险区域，当人员远离危险区域，执行步骤S2；当人员接近危险区域，生成预警信息并对外发送，执行步骤S7；S7判断是否进入危险区域，计算机将人员区域与危险区域对比，当人员区域位于危险区域外时，执行步骤S6；当人员区域位于危险区域内时，生成告警信息并对外发送。该技术方案，其通过步骤S1至步骤S7等，及时发现人员进入配电网警戒区域或者危险区域，警戒区域和危险区域为虚拟的，无需要占用现场空间，节约了物资能源，效率更高，效果更好。
一种基于深度学习的配电网危险区域识别装置包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，计算机程序包括获得标注区域模块、获得标注视频图像模块、获得预处理图像模块、获得人员区域模块和判断是否进入警戒区域模块，所述处理器执行计算机程序时实现上述相应的步骤。其通过获得标注区域模块、获得标注视频图像模块、获得预处理图像模块、获得人员区域模块和判断是否进入警戒区域模块等，及时发现人员进入配电网警戒区域，警戒区域为虚拟的，无需要占用现场空间，节约了物资能源，效率更高，效果更好。
一种基于深度学习的配电网危险区域识别装置为计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，计算机程序包括获得标注区域模块、获得标注视频图像模块、获得预处理图像模块、获得人员区域模块和判断是否进入警戒区域模块，所述计算机程序被处理器执行时实现上述相应的步骤。其通过获得标注区域模块、获得标注视频图像模块、获得预处理图像模块、获得人员区域模块和判断是否进入警戒区域模块等，及时发现人员进入配电网警戒区域，警戒区域为虚拟的，无需要占用现场空间，节约了物资能源，效率更高，效果更好。
详见具体实施方式部分描述。
附图说明
图1是本发明实施例1的原理框图；
图2是本发明实施例2的流程图；
图3是本发明实施例3的原理框图；
图4是本发明实施例4的原理框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本申请，但是本申请还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施例的限制。
实施例1：
如图1所示，本发明公开了一种基于深度学习的配电网危险区域识别装置包括摄像头、播放器和计算机以及获得标注区域模块、获得标注视频图像模块、获得预处理图像模块、获得人员区域模块、判断是否进入警戒区域模块、判断是否远离危险区域模块、判断是否进入危险区域模块和播报模块共八个程序模块，所述摄像头固定安装在现场用于获得现场的视频图像，摄像头与计算机连接并通信，所述播放器固定安装在现场用于播放语音提醒施工人员注意安全，计算机与播放器连接并通信。
获得标注区域模块，用于摄像头获得现场的视频图像并发送至计算机，计算机接收到视频图像，允许操作人员根据需要通过计算机在视频图像上标注警戒区域和危险区域并获得标注区域。
在获得标注区域模块中，危险区域是指根据实际管理需求，禁止人员进入的区域；警戒区域是指危险区域周围1米左右的范围；系统管理员使用计算机的鼠标、键盘和显示器设置勾画出危险区域和警戒区域并存于计算机的存储器上。危险区域和警戒区域均为三维边界框。
获得标注视频图像模块，用于计算机将获得的视频图像与标注区域结合并获得标注视频图像。
获得预处理图像模块，用于计算机对标注视频图像进行帧图像抽取获得帧图像，计算机对帧图像进行灰度化、图像放大、图像增强并获得预处理图像。
在获得预处理图像模块中，对帧图像进行灰度化，采用加权平均法；图像放大，采用最近邻插值法；图像增强，采用直方图均衡化。
获得人员区域模块，用于计算机通过目标检测算法从预处理图像中获得人员区域，人员区域为人员的三维边界框。
在获得人员区域模块中，目标检测算法为YOLO3D、Deep3Dbox或者Mono3D目标检测算法。
判断是否进入警戒区域模块，用于计算机将人员区域与警戒区域对比，当人员区域位于警戒区域外时，执行获得标注视频图像模块；当人员区域位于警戒区域内时，执行判断是否远离危险区域模块。
判断是否远离危险区域模块，用于计算机获得一段时间的人员区域，通过轨迹预测算法获得人员接近或者远离危险区域，当人员远离危险区域，执行获得标注视频图像模块；当人员接近危险区域，生成预警信息并对外发送，执行判断是否进入危险区域模块。
在判断是否远离危险区域模块中，轨迹预测算法是通过卡尔曼滤波和LSTM算法进行人员跟踪以及轨迹预测的，将人员区域输入卡尔曼滤波器，以运动特征代替表现特征完成目标相似度计算，采用匈牙利算法完成目标匹配，以三维边界框的形式输出跟踪目标，通过LSTM算法对人员未来5秒的轨迹进行预测。
判断是否进入危险区域模块，用于计算机将人员区域与危险区域对比，当人员区域位于危险区域外时，执行判断是否远离危险区域模块；当人员区域位于危险区域内时，生成告警信息并对外发送，执行播报模块。
播报模块，用于播放器接收到预警信息或者告警信息并进行播报。
其中，摄像头为双目摄像头，摄像头、播放器和计算机以及相应的通信连接技术为现有技术在此不再赘述。
实施例2：
如图2所示，本发明公开了一种基于深度学习的配电网危险区域识别方法，基于实施例1的装置，包括如下步骤：
S1获得标注区域
摄像头获得现场的视频图像并发送至计算机，计算机接收到视频图像，允许操作人员根据需要通过计算机在视频图像上标注警戒区域和危险区域并获得标注区域。
其中，危险区域是指根据实际管理需求，禁止人员进入的区域；警戒区域是指危险区域周围1米左右的范围；系统管理员使用计算机的鼠标、键盘和显示器设置勾画出危险区域和警戒区域并存于计算机的存储器上。
危险区域和警戒区域均为三维边界框。
S2获得标注视频图像
计算机将获得的视频图像与标注区域结合并获得标注视频图像。
S3获得预处理图像
计算机对标注视频图像进行帧图像抽取获得帧图像，计算机对帧图像进行灰度化、图像放大、图像增强并获得预处理图像。
对帧图像进行灰度化，采用加权平均法；图像放大，采用最近邻插值法；图像增强，采用直方图均衡化。
S4获得人员区域
计算机通过目标检测算法从预处理图像中获得人员区域，人员区域为人员的三维边界框。
目标检测算法为YOLO3D、Deep3Dbox或者Mono3D目标检测算法。
S5判断是否进入警戒区域
计算机将人员区域与警戒区域对比，当人员区域位于警戒区域外时，执行步骤S2；当人员区域位于警戒区域内时，执行步骤S6。
S6判断是否远离危险区域
计算机获得一段时间的人员区域，通过轨迹预测算法获得人员接近或者远离危险区域，当人员远离危险区域，执行步骤S2；当人员接近危险区域，生成预警信息并对外发送，执行步骤S7。
轨迹预测算法是通过卡尔曼滤波和LSTM算法进行人员跟踪以及轨迹预测的，将人员区域输入卡尔曼滤波器，以运动特征代替表现特征完成目标相似度计算，采用匈牙利算法完成目标匹配，以三维边界框的形式输出跟踪目标，通过LSTM算法对人员未来5秒的轨迹进行预测。
S7判断是否进入危险区域
计算机将人员区域与危险区域对比，当人员区域位于危险区域外时，执行步骤S6；当人员区域位于危险区域内时，生成告警信息并对外发送，执行步骤S8。
S8播报
播放器接收到预警信息或者告警信息并进行播报。
实施例3：
如图3所示，本发明公开了一种基于深度学习的配电网危险区域识别装置包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，所述处理器执行计算机程序时实现实施例2的步骤。
实施例4：
如图4所示，本发明公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现实施例2中的步骤。
本申请的构思：
结合摄像头的视频图像，通过在计算机中设置警戒区域或危险区域，以便及时发现人员进入警戒区域或危险区域，相应的发出告警信息，提高了工作的安全性。所述警戒区域或危险区域为虚拟的，无需要占用现场空间，节约了物资能源，效率更高，效果更好。
技术方案说明：
在配电网危险区域附近安装双目监控摄像头作为视频采集单元，得到原始图像信息，双目监控摄像头既可以采集实时监控的RGB图像信息，又可以得到图像深度。
对像进行灰度化，优选的，选用加权平均法，得到较合理的灰度图像。
对图像进行放大处理，优选的，选用最近邻插值。
通过直方图均衡化经过上述处理后的图像进行图像增强，从而得到最终的监控图像信息。其目的是要改善图像的视觉效果，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，加强识别效果。
根据实际管理需求，系统管理员对危险区域以及警戒区域的范围使用LabelHub进行人工标注，标注形状为三维边界框；其中危险区域是指根据实际管理需求，禁止人员进入的区域。
通过YOLO3D、Deep3Dbox、Mono3D等任意一种目标检测算法对图像中的施工人员进行目标检测，得到施工人员的三维边界框坐标，并实时更新施工人员的三维边界框坐标。
通过计算施工人员的三维边界框的坐标的中点坐标，判断该坐标是否位于警戒区域或者危险区域内。
具体计算中点坐标是否包含在警戒区域的范围的三维边界框坐标内的方法如下：
检测得到施工人员位置的三维边界框坐标如下：
(x0,y0,z0),(x0,y0,z1),(x0,y1,z0),(x0,y1,z1),(x1,y0,z0),(x1,y0,z1),(x1,y1,z0),(x1,y1,z1)。
用(x,y,z)表示施工人员的三维边界框坐标的中点坐标，其中x＝(x0+x1)/2，y＝(y0+y1)/2，z＝(z0+z1)/2；警戒区域的范围的边界框坐标范围为P1，若
则判定施工人员在警戒区域的范围内，否则判定施工人员在安全区域；
若施工人员不在警戒区域的范围内，则计算机通过卷积神经网络剔除掉在安全区域的施工人员。
目标跟踪与预测算法：
若施工人员在警戒区域的范围内，则计算机通过卡尔曼滤波以及LSTM进行目标跟踪以及轨迹预测：计算机利用目标检测模型的检测结果完成卡尔曼滤波器的初始化与更新，以运动特征代替表现特征完成目标相似度计算，然后计算机利用匈牙利算法完成目标匹配，以三维边界框的形式输出跟踪目标，最后计算机通过LSTM算法对施工人员未来5秒的轨迹进行预测。
计算机通过预测的轨迹来判断施工人员是否远离危险区域。
具体的判断方式为：LSTM预测施工人员未来5秒的行进轨迹，得到终点的三维坐标(x’,y’,z’)。
危险区域的三维边界框坐标范围为P2，若
则判定施工人员的行进轨迹是朝向危险区域的。
计算机实时更新施工人员的三维边界框坐标，计算机通过上述方法计算施工人员的三维边界框坐标的中点坐标是否包含于危险区域的三维边界框坐标范围内来判断施工人员是否进入危险区域。
若施工人员的行进轨迹是朝向危险区域的，则通过安装在双目监控摄像头下方的扩音喇叭对该施工人员进行语音预警。
当施工人员的三维边界框包含于危险区域的三维边界框坐标范围内，即
则判定配电网危险区域内有施工人员，通过安装在双目监控摄像头下方的扩音喇叭对施工人员进行报警。
本申请保密运行一段时间后，现场技术人员反馈的有益之处在于：
1、可以对配电网的危险区域进行实时监控，提高了效率，减少了人工监控的成本，降低了事故发生的概率。
2、通过计算施工人员的三维边界框坐标的中点坐标是否包含于危险区域附近的范围的三维边界框坐标内来判断施工人员是否在危险区域附近的范围；若是，则使用卡尔曼滤波以及LSTM对施工人员进行跟踪、预测；若不是，则不对其进行跟踪、预测。此方法避免跟踪、预测安全区域的施工人员的行进轨迹，优化了跟踪过程，提高了跟踪效率。
目前，本发明的技术方案已经进行了中试，即产品在大规模量产前的较小规模试验；中试完成后，在小范围内开展了用户使用调研，调研结果表明用户满意度较高；现在已开始着手准备产品正式投产进行产业化(包括知识产权风险预警调研)。
Claims (10)
1.一种基于深度学习的配电网危险区域识别装置，其特征在于：包括获得标注区域模块、获得标注视频图像模块、获得预处理图像模块、获得人员区域模块和判断是否进入警戒区域模块共五个程序模块，获得标注区域模块，用于计算机获得视频图像，允许操作人员根据需要通过计算机在视频图像上标注警戒区域或危险区域并获得标注区域；获得标注视频图像模块，用于计算机将获得的视频图像与标注区域结合并获得标注视频图像；获得预处理图像模块，用于计算机从标注视频图像中抽取并获得帧图像，对帧图像进行预处理并获得预处理图像；获得人员区域模块，用于计算机通过目标检测算法从预处理图像中获得人员区域；判断是否进入警戒区域模块，用于计算机将人员区域与警戒区域对比，获得人员区域位于警戒区域内或外。
2.根据权利要求1所述的基于深度学习的配电网危险区域识别装置，其特征在于：获得标注区域模块，还用于摄像头获得现场的视频图像并发送至计算机；获得预处理图像模块，还用于计算机对帧图像进行灰度化、图像放大、图像增强并获得预处理图像；在获得人员区域模块中，人员区域为人员的三维边界框；判断是否进入警戒区域模块，还用于当人员区域位于警戒区域外时，执行获得标注视频图像模块。
3.根据权利要求2所述的基于深度学习的配电网危险区域识别装置，其特征在于：还包括判断是否远离危险区域模块、判断是否进入危险区域模块和播报模块三个程序模块，判断是否进入警戒区域模块，还用于当人员区域位于警戒区域内时，执行判断是否远离危险区域模块；判断是否远离危险区域模块，用于计算机获得一段时间的人员区域，通过轨迹预测算法获得人员接近或者远离危险区域，当人员远离危险区域，执行获得标注视频图像模块；当人员接近危险区域，生成预警信息并对外发送，执行判断是否进入危险区域模块；判断是否进入危险区域模块，用于计算机将人员区域与危险区域对比，当人员区域位于危险区域外时，执行判断是否远离危险区域模块；当人员区域位于危险区域内时，生成告警信息并对外发送，执行播报模块；播报模块，用于播放器接收到预警信息或者告警信息并进行播报。
4.根据权利要求1所述的基于深度学习的配电网危险区域识别装置，其特征在于：还包括摄像头、播放器和计算机，所述摄像头与计算机连接并通信，所述计算机与播放器连接并通信，在获得标注区域模块中，危险区域和警戒区域均为三维边界框；在获得人员区域模块中，目标检测算法为YOLO3D、Deep3Dbox或者Mono3D目标检测算法。
5.根据权利要求2所述的基于深度学习的配电网危险区域识别装置，其特征在于：在获得预处理图像模块中，对帧图像进行灰度化，采用加权平均法；图像放大，采用最近邻插值法；图像增强，采用直方图均衡化。
6.根据权利要求3所述的基于深度学习的配电网危险区域识别装置，其特征在于：在判断是否远离危险区域模块中，轨迹预测算法是通过卡尔曼滤波和LSTM算法进行人员跟踪以及轨迹预测的，将人员区域输入卡尔曼滤波器，以运动特征代替表现特征完成目标相似度计算，采用匈牙利算法完成目标匹配，以三维边界框的形式输出跟踪目标，通过LSTM算法对人员未来5秒的轨迹进行预测。
7.一种基于深度学习的配电网危险区域识别方法，其特征在于：基于摄像头和计算机，所述摄像头与计算机连接并通信，包括如下步骤：
S1获得标注区域，摄像头获得现场的视频图像并发送至计算机，计算机接收到视频图像，允许操作人员根据需要通过计算机在视频图像上标注警戒区域和危险区域并获得标注区域；
S2获得标注视频图像，计算机将获得的视频图像与标注区域结合并获得标注视频图像；
S3获得预处理图像，计算机对标注视频图像进行帧图像抽取获得帧图像，计算机对帧图像进行预处理并获得预处理图像；
S4获得人员区域，计算机通过目标检测算法从预处理图像中获得人员区域；
S5判断是否进入警戒区域，计算机将人员区域与警戒区域对比，当人员区域位于警戒区域外时，执行步骤S2；当人员区域位于警戒区域内时，执行步骤S6；
S6判断是否远离危险区域，计算机获得一段时间的人员区域，通过轨迹预测算法获得人员接近或者远离危险区域，当人员远离危险区域，执行步骤S2；当人员接近危险区域，生成预警信息并对外发送，执行步骤S7；
S7判断是否进入危险区域，计算机将人员区域与危险区域对比，当人员区域位于危险区域外时，执行步骤S6；当人员区域位于危险区域内时，生成告警信息并对外发送。
8.根据权利要求7所述的基于深度学习的配电网危险区域识别方法，其特征在于：还包括如下步骤，
S8播报，播放器接收到预警信息或者告警信息并进行播报；
在步骤S1中，危险区域和警戒区域均为三维边界框；
在步骤S3中，对帧图像进行预处理包括灰度化、图像放大和图像增强，对帧图像进行灰度化，采用加权平均法；图像放大，采用最近邻插值法；图像增强，采用直方图均衡化；
在步骤S4中，人员区域为人员的三维边界框，目标检测算法为YOLO3D、Deep3Dbox或者Mono3D目标检测算法；
在步骤S7中，轨迹预测算法是通过卡尔曼滤波和LSTM算法进行人员跟踪以及轨迹预测的，将人员区域输入卡尔曼滤波器，以运动特征代替表现特征完成目标相似度计算，采用匈牙利算法完成目标匹配，以三维边界框的形式输出跟踪目标，通过LSTM算法对人员未来5秒的轨迹进行预测。
9.一种基于深度学习的配电网危险区域识别装置，其特征在于：包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，计算机程序包括获得标注区域模块、获得标注视频图像模块、获得预处理图像模块、获得人员区域模块和判断是否进入警戒区域模块，所述处理器执行计算机程序时实现权利要求7中的步骤。
10.一种基于深度学习的配电网危险区域识别装置，其特征在于：装置为计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，计算机程序包括获得标注区域模块、获得标注视频图像模块、获得预处理图像模块、获得人员区域模块和判断是否进入警戒区域模块，所述计算机程序被处理器执行时实现权利要求7中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111237297.XA CN114140503A (zh) | 2021-10-21 | 2021-10-21 | 基于深度学习的配电网危险区域识别装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111237297.XA CN114140503A (zh) | 2021-10-21 | 2021-10-21 | 基于深度学习的配电网危险区域识别装置及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114140503A true CN114140503A (zh) | 2022-03-04 |
Family
ID=80394729
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111237297.XA Pending CN114140503A (zh) | 2021-10-21 | 2021-10-21 | 基于深度学习的配电网危险区域识别装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114140503A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114973569A (zh) * | 2022-05-16 | 2022-08-30 | 国网天津市电力公司 | 一种基于遥视系统的周界扰动告警方法及系统 |
| CN115082545A (zh) * | 2022-06-08 | 2022-09-20 | 国网黑龙江省电力有限公司大庆供电公司 | 应用于电力现场的安全系统 |
| CN115761573A (zh) * | 2022-10-26 | 2023-03-07 | 燕山大学 | 港口危险区域入侵检测方法 |
| CN116311361A (zh) * | 2023-03-02 | 2023-06-23 | 北京化工大学 | 一种基于像素级标注的危险源室内工作人员定位方法 |
| CN117437599A (zh) * | 2023-12-18 | 2024-01-23 | 暗物智能科技(广州)有限公司 | 面向监控场景的行人异常事件检测方法和系统 |
-
2021
- 2021-10-21 CN CN202111237297.XA patent/CN114140503A/zh active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114973569A (zh) * | 2022-05-16 | 2022-08-30 | 国网天津市电力公司 | 一种基于遥视系统的周界扰动告警方法及系统 |
| CN115082545A (zh) * | 2022-06-08 | 2022-09-20 | 国网黑龙江省电力有限公司大庆供电公司 | 应用于电力现场的安全系统 |
| CN115082545B (zh) * | 2022-06-08 | 2023-02-07 | 国网黑龙江省电力有限公司大庆供电公司 | 应用于电力现场的安全系统 |
| CN115761573A (zh) * | 2022-10-26 | 2023-03-07 | 燕山大学 | 港口危险区域入侵检测方法 |
| CN116311361A (zh) * | 2023-03-02 | 2023-06-23 | 北京化工大学 | 一种基于像素级标注的危险源室内工作人员定位方法 |
| CN116311361B (zh) * | 2023-03-02 | 2023-09-15 | 北京化工大学 | 一种基于像素级标注的危险源室内工作人员定位方法 |
| CN117437599A (zh) * | 2023-12-18 | 2024-01-23 | 暗物智能科技(广州)有限公司 | 面向监控场景的行人异常事件检测方法和系统 |
| CN117437599B (zh) * | 2023-12-18 | 2024-04-19 | 暗物智能科技(广州)有限公司 | 面向监控场景的行人异常事件检测方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114140503A (zh) | 基于深度学习的配电网危险区域识别装置及方法 | |
| CN110688992B (zh) | 交通信号识别方法、装置、车辆导航设备和无人驾驶车辆 | |
| CN110532889B (zh) | 基于旋翼无人飞行器和YOLOv3的轨道异物检测方法 | |
| Vandapel et al. | Natural terrain classification using 3-d ladar data | |
| CN108460416A (zh) | 一种基于三维激光雷达的结构化道路可行域提取方法 | |
| KR102122859B1 (ko) | 교통 영상감시시스템의 멀티 표적 추적 방법 | |
| CN107380163A (zh) | 基于磁导航的汽车智能报警预测系统及其方法 | |
| CN111611853A (zh) | 一种传感信息融合方法、装置及存储介质 | |
| CN107578012A (zh) | 一种基于聚类算法选择敏感区域的驾驶辅助系统 | |
| CN110852179B (zh) | 基于视频监控平台的可疑人员入侵的检测方法 | |
| CN115272425B (zh) | 一种基于三维点云的铁路工地区域入侵检测方法及系统 | |
| CN112967283A (zh) | 基于双目摄像头的目标识别方法、系统、设备及存储介质 | |
| Iloie et al. | UV disparity based obstacle detection and pedestrian classification in urban traffic scenarios | |
| CN106529404A (zh) | 基于摄像原理的无人驾驶汽车对路面标志线的识别方法 | |
| CN115083088A (zh) | 铁路周界入侵预警方法 | |
| CN113409252A (zh) | 一种架空输电线路巡检机器人障碍物检测方法 | |
| CN113093746A (zh) | 作业机械环境感知方法、装置、系统及作业机械 | |
| Yang et al. | On-road collision warning based on multiple FOE segmentation using a dashboard camera | |
| WO2011036661A1 (en) | System and method for long-range surveillance of a scene and alerting of predetermined unusual activity | |
| CN116373910A (zh) | 一种自动驾驶辅助方法及系统 | |
| CN113721615B (zh) | 一种基于机器视觉的海航路径规划方法及系统 | |
| CN115984770A (zh) | 一种基于图像识别的换流站远程监控方法 | |
| CN113569801B (zh) | 一种配电施工现场带电设备及其带电区域识别方法及装置 | |
| CN115546738A (zh) | 一种铁轨异物检测方法 | |
| CN114758326A (zh) | 一种交通岗位工作行为状态实时检测系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |