CN111461080A - 一种基于图像的智能围栏搭建和识别方法 - Google Patents

一种基于图像的智能围栏搭建和识别方法 Download PDF

Info

Publication number
CN111461080A
CN111461080A CN202010417587.1A CN202010417587A CN111461080A CN 111461080 A CN111461080 A CN 111461080A CN 202010417587 A CN202010417587 A CN 202010417587A CN 111461080 A CN111461080 A CN 111461080A
Authority
CN
China
Prior art keywords
fence
coordinates
image
points
markers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010417587.1A
Other languages
English (en)
Other versions
CN111461080B (zh
Inventor
戴华冠
张俊
孔陈祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Jiangsu Electric Power Co Ltd
Jiangsu Electric Power Information Technology Co Ltd
Original Assignee
State Grid Jiangsu Electric Power Co Ltd
Jiangsu Electric Power Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Jiangsu Electric Power Co Ltd, Jiangsu Electric Power Information Technology Co Ltd filed Critical State Grid Jiangsu Electric Power Co Ltd
Priority to CN202010417587.1A priority Critical patent/CN111461080B/zh
Publication of CN111461080A publication Critical patent/CN111461080A/zh
Application granted granted Critical
Publication of CN111461080B publication Critical patent/CN111461080B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像的智能围栏搭建和识别方法，利用深度神经网络检测围栏和人物；深度神经网络通过分析图片信息，实时检测出图像中围栏和人物所在位置，并已矩形框的形式记录；以围栏坐标为顶点，构建封闭的违禁区域，检测是否有人闯入；分析围栏坐标相对信息，检查自身是否出现异常。本发明通过深度神经网络技术识别围栏，根据其在图像上的坐标，构建违禁区域，并实时分析异常围栏的状态。

Description

一种基于图像的智能围栏搭建和识别方法
技术领域
本发明应用于对生产作业环境的智能管理领域，具体说是一种基于图像的智能围栏搭建和识别方法。
背景技术
在安全生产工作中，围栏起到隔离的作用，阻止人员进入不应该进入的区域，因此需要划定一个区域用来指示当前需要隔离的区域。另外还需要起到报警作用，提示工作人员赶往现场处理情况，因而产生了电子围栏，它需要感应到有人进入并向工作人员报警。
当前使用的电子围栏，一般由红外感应的柱状栏杆组成，这种设备需要成对使用，利用红外线的收发来判断是否有东西进入其范围，它的缺点是首先需要两两对应，调节红外收发器的匹配，其次无法区分是否是人进入违禁区(只要有东西碰到感应线就报警)。
发明内容
本发明的目的是提供一种基于图像的智能围栏搭建和识别方法，利用最新的深度学习计算机视觉技术，解决传统智能围栏在搭建和维护问题上的一些缺陷，构建一个高精度和高鲁棒性的图像算法解决方案。
本发明的目的通过以下技术方案实现：
一种基于图像的智能围栏搭建和识别方法，其特征在于：结合深度神经网络检测围栏的图像位置坐标；通过将这些坐标组合成一个封闭的违禁区域，用于识别是否有人闯入；通过围栏坐标点的相对信息，检查自身是否出现异常；
利用深度神经网络检测围栏和人物；深度神经网络通过分析图片信息，实时检测出图像中围栏和人物所在位置，并已矩形框的形式记录；以围栏坐标为顶点，构建封闭的违禁区域，检测是否有人闯入；分析围栏坐标相对信息，检查自身是否出现异常。
本发明包含以下几点重要步骤：
首先，定义围栏标识物，利用深度神经网络对图像进行目标检测，找到图像中围栏标识物的位置；
其次，构建封闭区域。以围栏标识物为顶点，构建封闭区域形成违禁区。通过比对人体的坐标位置是否在违禁区内，触发报警条件。
最后，维护违禁区域。一般违禁区为多边形，多以四边形或五边形存在，并且一条边上有多个标识物组成。以不同颜色的标识物来表示边，通过分析标识物是否存在离群点，来判断标识物是否被移动。
本发明利用图像识别的方式，便捷的通过围栏标识组成违禁区，通过图像识别出围栏标识物，将标识物连接成闭合区域，达到搭建违禁区的目的。为了进一步保证违禁区域的稳定，需要实时检测围栏标识物是否发生移动，导致违禁区域的破坏。
附图说明
图1本发明目标检测流程示意图。
图2本发明中射线法示意图。
图3本发明中违禁区域组成示意图。
具体实施方式
一种基于图像的智能围栏搭建和识别方法，结合深度神经网络检测围栏的图像位置坐标；通过将这些坐标组合成一个封闭的违禁区域，用于识别是否有人闯入；通过围栏坐标点的相对信息，检查自身是否出现异常。具体如下：
1)标识物的检测
在图像目标检测任务中，基于深度学习的方法已被证明优于传统的检测方法。效果较好的目标检测框架有Faster R-CNN，YOLO，Mask R-CNN，RetinaNet等。本方案采用的YOLOv3检测框架保证了算法运行的速度，满足实时性需求，同时也能获得较准确的检测结果。将不同颜色的标识物当成多个类别进行目标检测，通过标注的5000张图片进行训练，达到标识物的图像检测任务。流程图见图1.
通过检测算法获的不同颜色的标识物中心坐标:[p1(x1,y1)，p2(x2,y2)，p3(x3,y3)……]。
2)违禁区域闯入
通过1)获得了一组标识物坐标点，这组点记录在数组Points中，表示如下：
Points[(x1,y1),(x2,y2),(x3,y3),(x4,y4),(x5,y5),(x6,y6),(x7,y7),(x8,y8)……]
人物的坐标可以用Pr(xr,yr)表示。
那么违禁区域闯入就变成了判断点Pr是否在Points这个多边形中。
此问题一般通过射线法来判断点Pr是否在Points多边形中。
射线法(Ray casting algorithm)是一种判断点是否在多边形内部的一种简单方法。即从该点做一条射线，计算它跟多边形边界的交点个数，如果交点个数为奇数，那么点在多边形内部，否则点在多边形外部。如图2.
3)违禁区域维护
通常违禁区域有四边形组成，每条边我们使用不同颜色的标识物组成，顶点由一种特定颜色的标识物组成，如图3显示。
分别提取不同边上的标识物作为参考点，通过最小二乘法拟合直线，
最小二乘拟合其方程系数。
斜截式：y＝kx+b
根据最小二乘原理，误差平方和最小，得误差函数：f＝∑ni＝1(yi-k*xi-b))2＝0
中极值定理可知，误差方程一阶导数等于0处取得极值，因此分别对其关于k和b求导，解k,b值使得误差函数取最小值。

Claims (2)

1.一种基于图像的智能围栏搭建和识别方法，其特征在于：结合深度神经网络检测围栏的图像位置坐标；通过将这些坐标组合成一个封闭的违禁区域，用于识别是否有人闯入；通过围栏坐标点的相对信息，检查自身是否出现异常。
2.根据权利要求1所述的基于图像的智能围栏搭建和识别方法，其特征在于：利用深度神经网络检测围栏和人物；深度神经网络通过分析图片信息，实时检测出图像中围栏和人物所在位置，并已矩形框的形式记录；以围栏坐标为顶点，构建封闭的违禁区域，检测是否有人闯入；分析围栏坐标相对信息，检查自身是否出现异常；具体如下：
1)标识物的检测
在图像目标检测任务中，采用YOLOv3检测框架保证算法运行的速度，满足实时性需求，同时也能获得较准确的检测结果；将不同颜色的标识物当成多个类别进行目标检测，通过标注的5000张图片进行训练，达到标识物的图像检测任务；
通过检测算法获的不同颜色的标识物中心坐标:[p1(x1,y1)，p2(x2,y2)，p3(x3,y3)……]。
2)违禁区域闯入
通过1)获得了一组标识物坐标点，这组点记录在数组Points中，表示如下：
Points[(x1,y1),(x2,y2),(x3,y3),(x4,y4),(x5,y5),(x6,y6),(x7,y7),(x8,y8)……]
人物的坐标可以用Pr(xr,yr)表示；
那么违禁区域闯入就变成了判断点Pr是否在Points这个多边形中；
通过射线法来判断点Pr是否在Points多边形中；即从该点做一条射线，计算它跟多边形边界的交点个数，如果交点个数为奇数，那么点在多边形内部，否则点在多边形外部；
3)违禁区域维护
违禁区域有四边形组成，每条边使用不同颜色的标识物组成，顶点由一种特定颜色的标识物组成；分别提取不同边上的标识物作为参考点，通过最小二乘法拟合直线；最小二乘拟合其方程系数；
斜截式：y＝kx+b
根据最小二乘原理，误差平方和最小，得误差函数：f＝∑ni＝1(yi-k*xi-b))2＝0中极值定理可知，误差方程一阶导数等于0处取得极值，因此分别对其关于k和b求导，解k,b值使得误差函数取最小值。
CN202010417587.1A 2020-05-18 2020-05-18 一种基于图像的智能围栏搭建和识别方法 Active CN111461080B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010417587.1A CN111461080B (zh) 2020-05-18 2020-05-18 一种基于图像的智能围栏搭建和识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010417587.1A CN111461080B (zh) 2020-05-18 2020-05-18 一种基于图像的智能围栏搭建和识别方法

Publications (2)

Publication Number Publication Date
CN111461080A true CN111461080A (zh) 2020-07-28
CN111461080B CN111461080B (zh) 2022-02-18

Family

ID=71680350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010417587.1A Active CN111461080B (zh) 2020-05-18 2020-05-18 一种基于图像的智能围栏搭建和识别方法

Country Status (1)

Country Link
CN (1) CN111461080B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112417946A (zh) * 2020-09-17 2021-02-26 国网天津静海供电有限公司 电力施工现场指定区域的越界检测方法及系统
CN113065562A (zh) * 2021-03-23 2021-07-02 北京工业大学 一种基于语义分割网络的作物垄行提取及主导航线选取方法
CN113255533A (zh) * 2021-05-31 2021-08-13 中再云图技术有限公司 一种禁区闯入行为识别方法，存储装置及服务器
CN117197757A (zh) * 2023-11-07 2023-12-08 华雁智能科技(集团)股份有限公司 变电站禁区闯入监测方法、系统及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150141045A1 (en) * 2013-11-21 2015-05-21 Telecommunication Systems, Inc. Geofence
CN107911793A (zh) * 2017-10-30 2018-04-13 东南大学 一种无人机任意图形禁飞区识别导航系统
CN111144232A (zh) * 2019-12-09 2020-05-12 国网智能科技股份有限公司 基于智能视频监控的变电站电子围栏监测方法、存储介质及设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150141045A1 (en) * 2013-11-21 2015-05-21 Telecommunication Systems, Inc. Geofence
CN107911793A (zh) * 2017-10-30 2018-04-13 东南大学 一种无人机任意图形禁飞区识别导航系统
CN111144232A (zh) * 2019-12-09 2020-05-12 国网智能科技股份有限公司 基于智能视频监控的变电站电子围栏监测方法、存储介质及设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112417946A (zh) * 2020-09-17 2021-02-26 国网天津静海供电有限公司 电力施工现场指定区域的越界检测方法及系统
CN113065562A (zh) * 2021-03-23 2021-07-02 北京工业大学 一种基于语义分割网络的作物垄行提取及主导航线选取方法
CN113065562B (zh) * 2021-03-23 2024-04-02 北京工业大学 一种基于语义分割网络的作物垄行提取及主导航线选取方法
CN113255533A (zh) * 2021-05-31 2021-08-13 中再云图技术有限公司 一种禁区闯入行为识别方法，存储装置及服务器
CN117197757A (zh) * 2023-11-07 2023-12-08 华雁智能科技(集团)股份有限公司 变电站禁区闯入监测方法、系统及电子设备
CN117197757B (zh) * 2023-11-07 2024-01-23 华雁智能科技(集团)股份有限公司 变电站禁区闯入监测方法、系统及电子设备

Also Published As

Publication number Publication date
CN111461080B (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
CN111461080B (zh) 一种基于图像的智能围栏搭建和识别方法
JP4970195B2 (ja) 人物追跡システム、人物追跡装置および人物追跡プログラム
CN110263686A (zh) 一种基于深度学习的施工工地图像安全帽检测方法
Yang et al. Robust door detection in unfamiliar environments by combining edge and corner features
CN106295551A (zh) 一种基于视频分析的人员安全帽佩戴情况实时检测方法
CN104318578A (zh) 一种视频图像分析方法及系统
US11917333B2 (en) Systems and methods for personnel location at a drilling site
CN112669497A (zh) 基于立体视觉技术的人行通道感知系统及方法
CN103473950A (zh) 一种停车场车位监控方法
CN112016528B (zh) 行为识别方法、装置、电子设备及可读存储介质
CN208675549U (zh) 一种电子围栏管理系统
CN112183472A (zh) 一种基于改进RetinaNet的试验现场人员是否穿着工作服检测方法
WO2019220589A1 (ja) 映像解析装置、映像解析方法、及びプログラム
CN111314671B (zh) 一种地下管廊人员定位方法
CN112434545A (zh) 一种智能场所管理方法及系统
WO2020167155A1 (ru) Способ и система выявления тревожных событий при взаимодействии с устройством самообслуживания
CN206301417U (zh) 一种闸机
CN113044694B (zh) 基于深度神经网络的工地电梯人数统计系统及方法
CN112560727A (zh) 一种基于人工智能的起重机越线安全预警方法和装置
CN115346170A (zh) 一种燃气设施区域的智能监控方法及装置
CN111274888B (zh) 一种基于可穿戴移动眼镜的安全帽及工作服智能识别方法
CN204791055U (zh) 一种基于双目视觉的监狱人数统计装置
CN113709672A (zh) 基于ar的巡检系统及其巡检方法
CN110909606A (zh) 基于深度学习的变电站人员行为检测方法
CN116978152B (zh) 一种基于射频识别技术的无感安全监控方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant