CN109214390B - 基于机器视觉原理的栅栏状态检测方法及系统 - Google Patents

基于机器视觉原理的栅栏状态检测方法及系统 Download PDF

Info

Publication number
CN109214390B
CN109214390B CN201710515852.8A CN201710515852A CN109214390B CN 109214390 B CN109214390 B CN 109214390B CN 201710515852 A CN201710515852 A CN 201710515852A CN 109214390 B CN109214390 B CN 109214390B
Authority
CN
China
Prior art keywords
fence
image
continuing
warning
extracting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710515852.8A
Other languages
English (en)
Other versions
CN109214390A (zh
Inventor
季昆玉
贾俊
陆杰
侯卫东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CERTUSNET CORP
Taizhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Original Assignee
CERTUSNET CORP
Taizhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CERTUSNET CORP, Taizhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd filed Critical CERTUSNET CORP
Priority to CN201710515852.8A priority Critical patent/CN109214390B/zh
Publication of CN109214390A publication Critical patent/CN109214390A/zh
Application granted granted Critical
Publication of CN109214390B publication Critical patent/CN109214390B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Abstract

本发明涉及一种基于机器视觉原理的栅栏状态检测方法及系统，所述的方法包括以下步骤：(1)分别提取栅栏正常摆放的图像和栅栏倒下的图像的纹理特征向量并保存；(2)统计当前监控图像中的栅栏特有的警示颜色块的数量，如果数量少于设定的阈值，则继续步骤(4)，否则提取当前图像的纹理特征向量；(3)将该当前的栅栏图像纹理向量与保存的纹理特征向量进行比较，如果比较结果为栅栏摆放不正常，则继续步骤(4)，否则，继续步骤(2)；(4)发出告警提示。采用该基于机器视觉原理的栅栏状态检测方法及系统，不仅能节省人力成本，而且让原来的视频监控系统具有智能识别功能，从而将值班人员从长期紧盯屏幕的紧张状态中解脱出来，运行速度快，能保障告警的及时性，能严格杜绝安全隐患，具有广泛的应用范围。

Description

基于机器视觉原理的栅栏状态检测方法及系统
技术领域
本发明涉及计算机软件技术领域，尤其涉及机器视觉技术领域，具体是指一种基于机器视觉原理的栅栏状态检测方法及系统。
背景技术
在许多施工场合，比如电力设施维修、燃气管道维修、自来水管道维修、道路桥梁维修等过程中，必须放置安全警示栅栏将施工场地隔离开来，以警示非相关人员远离施工场地，从而避免引起安全事故。
如何检测安全警示栅栏处于正常的放置状态，尤其是不能缺失或倒地，这个是各个施工单位都必须要解决的问题。目前施工单位采取的最简单的检测方法就是定期进行人工巡逻施工现场，再进一步高效的方法就是通过远程视频监控，在视频监控屏幕上观看施工区域。
对安全警示栅栏状态的检测，人工巡逻检测方法需要投入大量的人力成本，而且不能及时发现状态改变，这种方法存在安全隐患；远程视频监控方法，也需要投入人力成本，而且监控人员长期盯注屏幕观看会产生视觉疲劳，在时效上也存在一定的安全隐患。
发明内容
本发明的目的是克服了上述现有技术的缺点，提供了一种能够基于机器视觉原理实现栅栏状态检测的方法及系统。
为了实现上述目的，本发明具有如下构成：
该基于机器视觉原理的栅栏状态检测方法，包括以下步骤：
(1)分别提取栅栏正常摆放的图像和栅栏倒下的图像的纹理特征向量并保存；
(2)统计当前监控图像中的栅栏特有的警示颜色块的数量，如果数量少于设定的阈值，则继续步骤(4)，否则提取当前图像的纹理特征向量；
(3)将该当前的栅栏图像纹理向量与保存的纹理特征向量进行比较，如果比较结果为栅栏摆放不正常，则继续步骤(4)，否则，继续步骤(2)；
(4)发出告警提示。
较佳地，所述的步骤(1)具体包括以下步骤：
(1-1)从监控场景中选取一幅典型栅栏正常摆放的图像和一幅典型的栅栏倒下的图像；
(1-2)提取所述的栅栏正常摆放的图像的纹理特征向量并保存为V_nor，并提取所述的栅栏倒下的图像的纹理特征向量并保存为V_abn。
更佳地，所述的步骤(1-2)具体包括以下步骤：
(1-2-1)求出警示颜色特征灰度图像中每个连通区域的中心点，计算中心点数量并记为N；
(1-2-2)分别以N个中心点为中心，画出针对HOG特征的N个正方形统计区域；
(1-2-3)分别求出所述的N个正方形统计区域的HOG特征向量；
(1-2-4)根据K-Means算法将所述的HOG特征向量归为三个类别，并去除一个区域数量最少的类别。
更佳地，所述的步骤(2)具体包括以下步骤：
(2-1)从视频监控系统中实时输入一帧监控图像；
(2-2)检测所述的监控图像中是否含有足够量的警示颜色块，如果是，则继续步骤(2-3)，否则，继续步骤(4)；
(2-3)提取所述的监控图像的纹理特征向量，记为V_rel。
更进一步地，所述的检测所述的监控图像中是否含有足够量的警示颜色块，具体包括以下步骤：
(2-2-1)从所述的监控图像中提取警示特征图像；
(2-2-2)将所述的警示特征图像转换为警示灰度图像；
(2-2-3)对所述的特征灰度图像进行连通域分析，消除孤立的和含极少警示颜色的小区域点；
(2-2-4)计算含警示颜色区域的数量n，并判断n是否大于一预设阈值。
更进一步地，所述的步骤(3)具体包括以下步骤：
(3-1)计算V_nor与V_rel的差别，记为E_nor，并计算V_abn与V_rel的差别，记为E_abn；
(3-2)判断E_nor是否大于Th1并且E_abn小于Th2，如果是，则栅栏为倒下状态，继续步骤(4)，否则，栅栏为正常状态，继续步骤(2)，其中，Th1为正常状态门限值，Th2为倒下状态门限值。
更进一步地，所述的步骤(3-1)具体包括以下步骤：
(3-1-1)分别计算两幅图像的HOG特征向量的均方误差，并即为E(i)，i＝1、2；
(3-1-2)对所述的均方误差取平均值。
还包括一种基于机器视觉原理的栅栏状态检测系统，包括：
摄像头，用于拍摄栅栏监控图像；
栅栏状态检测程序，所述的栅栏状态检测程序在运行时对从所述的摄像头拍摄的栅栏监控图像进行如下步骤处理：
(1)分别提取栅栏正常摆放的图像和栅栏倒下的图像的纹理特征向量并保存；
(2)统计当前监控图像中的栅栏特有的警示颜色块的数量，如果数量少于设定的阈值，则继续步骤(4)，否则提取当前图像的纹理特征向量；
(3)将该当前的栅栏图像纹理向量与保存的纹理特征向量进行比较，如果比较结果为栅栏摆放不正常，则继续步骤(4)，否则，继续步骤(2)；
(4)发出告警提示。
较佳地，所述的步骤(1)具体包括以下步骤：
(1-1)从监控场景中选取一幅典型栅栏正常摆放的图像和一幅典型的栅栏倒下的图像；
(1-2)提取所述的栅栏正常摆放的图像的纹理特征向量并保存为V_nor，并提取所述的栅栏倒下的图像的纹理特征向量并保存为V_abn。
更佳地，所述的步骤(1-2)具体包括以下步骤：
(1-2-1)求出警示颜色特征灰度图像中每个连通区域的中心点，计算中心点数量并记为N；
(1-2-2)分别以N个中心点为中心，画出针对HOG特征的N个正方形统计区域；
(1-2-3)分别求出所述的N个正方形统计区域的HOG特征向量；
(1-2-4)根据K-Means算法将所述的HOG特征向量归为三个类别，并去除一个区域数量最少的类别。
更佳地，步骤(2)具体包括以下步骤：
(2-1)从视频监控系统中实时输入一帧监控图像；
(2-2)检测所述的监控图像中是否含有足够量的警示颜色块，如果是，则继续步骤(2-3)，否则，继续步骤(4)；
(2-3)提取所述的监控图像的纹理特征向量，记为V_rel。
更进一步地，所述的检测所述的监控图像中是否含有足够量的警示颜色块，具体包括以下步骤：
(2-2-1)从所述的监控图像中提取警示特征图像；
(2-2-2)将所述的警示特征图像转换为警示灰度图像；
(2-2-3)对所述的特征灰度图像进行连通域分析，消除孤立的和含极少警示颜色的小区域点；
(2-2-4)计算含警示颜色区域的数量n，并判断n是否大于一预设阈值。
更进一步地，步骤(3)具体包括以下步骤：
(3-1)计算V_nor与V_rel的差别，记为E_nor，并计算V_abn与V_rel的差别，记为E_abn；
(3-2)判断E_nor是否大于Th1并且E_abn小于Th2，如果是，则栅栏为倒下状态，继续步骤(4)，否则，栅栏为正常状态，继续步骤(2)，其中，Th1为正常状态门限值，Th2为倒下状态门限值。
更进一步地，所述的步骤(3-1)具体包括以下步骤：
(3-1-1)分别计算两幅图像的HOG特征向量的均方误差，并即为E(i)，i＝1、2；
(3-1-2)对所述的均方误差取平均值。
采用了该发明中的基于机器视觉原理的栅栏状态检测方法及系统，基于先进的机器视觉技术，不仅能节省人力成本，而且让原来的视频监控系统具有智能识别功能，从而将值班人员从长期紧盯屏幕的紧张状态中解脱出来，智能图像识别算法在保证精度的情况下运行速度快，能保障告警的及时性，能严格杜绝安全隐患；还能应用于电力设施维修、燃气管道维修、自来水管道维修、道路桥梁施工维修等场合，具有广泛的应用范围。
附图说明
图1为本发明的基于机器视觉原理的栅栏状态检测方法的流程示意图。
图2为本发明的基于机器视觉原理的栅栏状态检测方法及系统的正常栅栏的示例图像。
图3为本发明的基于机器视觉原理的栅栏状态检测方法及系统的提取栅栏警示颜色的示例图像。
图4为本发明的基于机器视觉原理的栅栏状态检测方法及系统的栅栏倒下的示例图像。
图5为本发明的基于机器视觉原理的栅栏状态检测方法及系统的栅栏正常状态下的HOG特征的分类的示例图像。
图6为本发明的基于机器视觉原理的栅栏状态检测方法及系统的栅栏倒下状态下的HOG特征的分类的示例图像。
具体实施方式
为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。
该基于机器视觉原理的栅栏状态检测方法，包括以下步骤：
(1)分别提取栅栏正常摆放的图像和栅栏倒下的图像的纹理特征向量并保存；
(2)统计当前监控图像中的栅栏特有的警示颜色块的数量，如果数量少于设定的阈值，则继续步骤(4)，否则提取当前图像的纹理特征向量；
(3)将该当前的栅栏图像纹理向量与保存的纹理特征向量进行比较，如果比较结果为栅栏摆放不正常，则继续步骤(4)，否则，继续步骤(2)；
(4)发出告警提示。
在一种较佳的实施方式中，所述的步骤(1)具体包括以下步骤：
(1-1)从监控场景中选取一幅典型栅栏正常摆放的图像和一幅典型的栅栏倒下的图像；
(1-2)提取所述的栅栏正常摆放的图像的纹理特征向量并保存为V_nor，并提取所述的栅栏倒下的图像的纹理特征向量并保存为V_abn。
在一种更佳的实施方式中，所述的步骤(1-2)具体包括以下步骤：
(1-2-1)求出警示颜色特征灰度图像中每个连通区域的中心点，计算中心点数量并记为N；
(1-2-2)分别以N个中心点为中心，画出针对HOG特征的N个正方形统计区域；
(1-2-3)分别求出所述的N个正方形统计区域的HOG特征向量；
(1-2-4)根据K-Means算法将所述的HOG特征向量归为三个类别，并去除一个区域数量最少的类别。
在一种更佳的实施方式中，所述的步骤(2)具体包括以下步骤：
(2-1)从视频监控系统中实时输入一帧监控图像；
(2-2)检测所述的监控图像中是否含有足够量的警示颜色块，如果是，则继续步骤(2-3)，否则，继续步骤(4)；
(2-3)提取所述的监控图像的纹理特征向量，记为V_rel。
在一种更进一步的实施方式中，所述的检测所述的监控图像中是否含有足够量的警示颜色块，具体包括以下步骤：
(2-2-1)从所述的监控图像中提取警示特征图像；
(2-2-2)将所述的警示特征图像转换为警示灰度图像；
(2-2-3)对所述的特征灰度图像进行连通域分析，消除孤立的和含极少警示颜色的小区域点；
(2-2-4)计算含警示颜色区域的数量n，并判断n是否大于一预设阈值。
在一种更进一步的实施方式中，所述的步骤(3)具体包括以下步骤：
(3-1)计算V_nor与V_rel的差别，记为E_nor，并计算V_abn与V_rel的差别，记为E_abn；
(3-2)判断E_nor是否大于Th1并且E_abn小于Th2，如果是，则栅栏为倒下状态，继续步骤(4)，否则，栅栏为正常状态，继续步骤(2)，其中，Th1为正常状态门限值，Th2为倒下状态门限值。
在一种更进一步的实施方式中，所述的步骤(3-1)具体包括以下步骤：
(3-1-1)分别计算两幅图像的HOG特征向量的均方误差，并即为E(i)，i＝1、2；
(3-1-2)对所述的均方误差取平均值。
还包括一种基于机器视觉原理的栅栏状态检测系统，包括：
摄像头，用于拍摄栅栏监控图像；
栅栏状态检测程序，所述的栅栏状态检测程序在运行时对从所述的摄像头拍摄的栅栏监控图像进行如下步骤处理：
(1)分别提取栅栏正常摆放的图像和栅栏倒下的图像的纹理特征向量并保存；
(2)统计当前监控图像中的栅栏特有的警示颜色块的数量，如果数量少于设定的阈值，则继续步骤(4)，否则提取当前图像的纹理特征向量；
(3)将该当前的栅栏图像纹理向量与保存的纹理特征向量进行比较，如果比较结果为栅栏正常摆放不正常，则继续步骤(4)，否则，继续步骤(2)；
(4)发出告警提示。
在一种较佳的实施方式中，所述的步骤(1)具体包括以下步骤：
(1-1)从监控场景中选取一幅典型栅栏正常摆放的图像和一幅典型的栅栏倒下的图像；
(1-2)提取所述的栅栏正常摆放的图像的纹理特征向量并保存为V_nor，并提取所述的栅栏倒下的图像的纹理特征向量并保存为V_abn。
在一种更佳的实施方式中，所述的步骤(1-2)具体包括以下步骤：
(1-2-1)求出警示颜色特征灰度图像中每个连通区域的中心点，计算中心点数量并记为N；
(1-2-2)分别以N个中心点为中心，画出针对HOG特征的N个正方形统计区域；
(1-2-3)分别求出所述的N个正方形统计区域的HOG特征向量；
(1-2-4)根据K-Means算法将所述的HOG特征向量归为三个类别，并去除一个区域数量最少的类别。
在一种更佳的实施方式中，步骤(2)具体包括以下步骤：
(2-1)从视频监控系统中实时输入一帧监控图像；
(2-2)检测所述的监控图像中是否含有足够量的警示颜色块，如果是，则继续步骤(2-3)，否则，继续步骤(4)；
(2-3)提取所述的监控图像的纹理特征向量，记为V_rel。
在一种更进一步的实施方式中，所述的检测所述的监控图像中是否含有足够量的警示颜色块，具体包括以下步骤：
(2-2-1)从所述的监控图像中提取警示特征图像；
(2-2-2)将所述的警示特征图像转换为警示灰度图像；
(2-2-3)对所述的特征灰度图像进行连通域分析，消除孤立的和含极少警示颜色的小区域点；
(2-2-4)计算含警示颜色区域的数量n，并判断n是否大于一预设阈值。
在一种更进一步的实施方式中，步骤(3)具体包括以下步骤：
(3-1)计算V_nor与V_rel的差别，记为E_nor，并计算V_abn与V_rel的差别，记为E_abn；
(3-2)判断E_nor是否大于Th1并且E_abn小于Th2，如果是，则栅栏为倒下状态，继续步骤(4)，否则，栅栏为正常状态，继续步骤(2)，其中，Th1为正常状态门限值，Th2为倒下状态门限值。
在一种更进一步的实施方式中，所述的步骤(3-1)具体包括以下步骤：
(3-1-1)分别计算两幅图像的HOG特征向量的均方误差，并即为E(i)，i＝1、2；
(3-1-2)对所述的均方误差取平均值。
本发明利用施工现场的视频监控，在远程监控服务器中，安装视频图像分析告警软件，基于机器视觉技术，对获取的现场实时视频图像进行智能分析判断，实时检测出安全警示栅栏的缺失和倒地状态，向值班人员或相关施工人员发出告警提示信号。
本发明的基本思路就是从输入的图像中提取纹理特征，分析图像中是否存在栅栏不同状态下特有的纹理特征，从而判别出监控区域栅栏的即时状态。
首先详细描述一下如何统计一帧图像中栅栏特有的警示颜色块的数量：
步骤一，施工安全警示栅栏通常都会有显著的警示颜色，比如在电力设施维修场景中其隔离栅栏带有显著的警示颜色：红色(图中表示为亮度次亮)，如图2所示。通过常规的图像处理技术可以提取出仅含有警示颜色的图像，如图3所示即为将图2中的警示颜色单独取出生成的警示特征图像。
步骤二，将警示特征图像转换为警示灰度图像。
步骤三，对警示特征灰度图像进行连通域分析，消除孤立的和含极少警示颜色的小区域点。
步骤四，计算含警示颜色区域的数量n。
方向梯度直方图(HOG)特征是通过计算和统计图像局部区域的梯度方向直方图来构成的特征，栅栏正常状态和倒下状态的警示颜色特征灰度图像的HOG特征具有显著的差异，而且其HOG特征对图像几何和光学的形变具有很好的不变性，因此HOG特征非常适合作为安全警示栅栏图像的典型纹理特征。
其次，详细描述一下如何提取安全警示栅栏图像的典型纹理特征：
步骤一，求出警示颜色特征灰度图像中每个连通区域的中心点，中心点数量也为警示颜色区域的数量n。
步骤二，分别以n个中心点为中心，画出针对HOG特征的n个正方形统计区域。
步骤三，分别求出n个正方形统计区域的HOG特征向量。
步骤四，将n个HOG特征向量，按照K-Means算法归为3个类别。
步骤五，去掉一个区域数量最少的类别，这样保留2个类别的HOG特征向量。
最后详细描述一下如何进行2幅图像的HOG特征向量比较：
步骤一，针对2类HOG特征向量，分别计算2幅图像的HOG特征向量的均方误差E(i)，i＝1、2。
步骤二，取2个均方误差的平均值作为2幅图像的HOG特征向量的误差E。
在一种更具体的实施方式中：如图1所示，101模块：
1)分别提取img_nor和img_abn的警示颜色(红色(图中表示为亮度次亮))图像。
2)将两个警示颜色图像转换为灰度图像。
3)分别求出警示颜色特征灰度图像中每个连通区域的中心点，中心点数量也为警示颜色区域的数量n。
4)对两幅图像分别以n个中心点为中心，画出针对HOG特征的n个正方形统计区域。
5)对两幅图像分别求出n个正方形统计区域的HOG特征向量，记为V_nor和V_abn。
6)对两幅图像分别将n个HOG特征向量，按照K-Means算法进行聚类分析归为3个类别，如图5所示为栅栏摆放正常状态图像的HOG特征的分类图，3种颜色代表3种HOG特征分类；如图6所示为栅栏倒下状态图像的HOG特征的分类图，3种颜色代表3种HOG特征分类。
7)对两幅图像分别去掉一个区域数量最少的类别，这样保留2个类别的HOG特征向量，如图5所示，则去掉红色的类别；如图6所示，则去掉蓝色的类别，这样保存好分类好的两幅图像的V_nor和V_abn。
如图1所示，103模块，从变电站视频监控系统中实时输入最新一幅施工区域的监控图像img_rel。
如图1所示，104模块：
1)从img_rel中提取警示颜色图像。
2)将警示颜色图像转换为灰度图像。
3)对警示灰度图像进行8邻域连通域分析，消除孤立的和含极少警示颜色的小区域点。
4)计算连通区域的数量n。
5)当n<20时，进入到模块105；否则进入模块106，其中，20为一预设数值，可以根据实际情况调整。
如图1所示，105模块，此时判断监控区域栅栏处于缺失状态，同时向相关值班或施工人员发出告警提示信号。
如图1所示，106模块，和102模块类似，提取img_rel的HOG特征向量，并分为3类，再去掉一个区域数量最少的类别，这样保留2个类别的HOG特征向量，img_rel的HOG特征向量记为V_rel。
如图1所示，107模块：
1)针对V_rel的2类HOG特征向量，分别计算与V_nor的2类HOG特征向量的均方误差，误差最小的说明是同类别的比较。
2)取同类别比较的2个均方误差的平均值作为2幅图像的HOG特征向量的误差E_nor。
3)同样方法计算出V_rel和V_abn的误差E_abn。
如图1所示，108模块，当E_nor>Th1，而且E_abn<Th2时，说明当前图像的特征与栅栏摆放正常状态图像的特征差别大，而与栅栏倒下状态图像的特征差别小，则进入到110模块，判断监控区域栅栏处于倒下状态；否则进入到109模块，判断监控区域栅栏处于正常状态。其中Th1和Th2是判断的门限值，通过测试经验值获取。
如图1所示，109模块，判断电力施工监控区域的警示栅栏处于正常放置状态。
如图1所示，110模块，判断电力施工监控区域的警示栅栏处于倒下状态，同时向相关值班或施工人员发出告警提示信号。
采用了该发明中的基于机器视觉原理的栅栏状态检测方法及系统，基于先进的机器视觉技术，不仅能节省人力成本，而且让原来的视频监控系统具有智能识别功能，从而将值班人员从长期紧盯屏幕的紧张状态中解脱出来，智能图像识别算法在保证精度的情况下运行速度快，能保障告警的及时性，能严格杜绝安全隐患；还能应用于电力设施维修、燃气管道维修、自来水管道维修、道路桥梁施工维修等场合，具有广泛的应用范围。
在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (10)

1.一种基于机器视觉原理的栅栏状态检测方法，其特征在于，所述的方法包括以下步骤：
(1)分别提取栅栏正常摆放的图像和栅栏倒下的图像的纹理特征向量并保存；
(2)统计当前监控图像中的栅栏特有的警示颜色块的数量，如果数量少于设定的阈值，则继续步骤(4)，否则提取当前图像的纹理特征向量；
(3)将该当前的栅栏图像纹理向量与保存的纹理特征向量进行比较，如果比较结果为栅栏摆放不正常，则继续步骤(4)，否则，继续步骤(2)；
(4)发出告警提示；
所述的步骤(1)具体包括以下步骤：
(1-1)从监控场景中选取一幅典型栅栏正常摆放的图像和一幅典型的栅栏倒下的图像；
(1-2)提取所述的栅栏正常摆放的图像的纹理特征向量并保存为V_nor，并提取所述的栅栏倒下的图像的纹理特征向量并保存为V_abn；
所述的步骤(1-2)具体包括以下步骤：
(1-2-1)求出警示颜色特征灰度图像中每个连通区域的中心点，计算中心点数量并记为N；
(1-2-2)分别以N个中心点为中心，画出针对HOG特征的N个正方形统计区域；
(1-2-3)分别求出所述的N个正方形统计区域的HOG特征向量；
(1-2-4)根据K-Means算法将所述的HOG特征向量归为三个类别，并去除一个区域数量最少的类别。
2.根据权利要求1所述的基于机器视觉原理的栅栏状态检测方法，其特征在于，所述的步骤(2)具体包括以下步骤：
(2-1)从视频监控系统中实时输入一帧监控图像；
(2-2)检测所述的监控图像中是否含有足够量的警示颜色块，如果是，则继续步骤(2-3)，否则，继续步骤(4)；
(2-3)提取所述的监控图像的纹理特征向量，记为V_rel。
3.根据权利要求2所述的基于机器视觉原理的栅栏状态检测方法，其特征在于，所述的检测所述的监控图像中是否含有足够量的警示颜色块，具体包括以下步骤：
(2-2-1)从所述的监控图像中提取警示特征图像；
(2-2-2)将所述的警示特征图像转换为警示灰度图像；
(2-2-3)对所述的特征灰度图像进行连通域分析，消除孤立的和含极少警示颜色的小区域点；
(2-2-4)计算含警示颜色区域的数量n，并判断n是否大于一预设阈值。
4.根据权利要求2所述的基于机器视觉原理的栅栏状态检测方法，其特征在于，所述的步骤(3)具体包括以下步骤：
(3-1)计算V_nor与V_rel的差别，记为E_nor，并计算V_abn与V_rel的差别，记为E_abn；
(3-2)判断E_nor是否大于Th1并且E_abn小于Th2，如果是，则栅栏为倒下状态，继续步骤(4)，否则，栅栏为正常状态，继续步骤(2)，其中，Th1为正常状态门限值，Th2为倒下状态门限值。
5.根据权利要求4所述的基于机器视觉原理的栅栏状态检测方法，其特征在于，所述的步骤(3-1)具体包括以下步骤：
(3-1-1)分别计算两幅图像的HOG特征向量的均方误差，并记为E(i)，i＝1、2；
(3-1-2)对所述的均方误差取平均值。
6.一种基于机器视觉原理的栅栏状态检测系统，其特征在于，所述的系统包括：
摄像头，用于拍摄栅栏监控图像；
栅栏状态检测程序，所述的栅栏状态检测程序在运行时对从所述的摄像头拍摄的栅栏监控图像进行如下步骤处理：
(1)分别提取栅栏正常摆放的图像和栅栏倒下的图像的纹理特征向量并保存；
(2)统计当前监控图像中的栅栏特有的警示颜色块的数量，如果数量少于设定的阈值，则继续步骤(4)，否则提取当前图像的纹理特征向量；
(3)将该当前的栅栏图像纹理向量与保存的纹理特征向量进行比较，如果比较结果为栅栏摆放不正常，则继续步骤(4)，否则，继续步骤(2)；
(4)发出告警提示；
所述的步骤(1)具体包括以下步骤：
(1-1)从监控场景中选取一幅典型栅栏正常摆放的图像和一幅典型的栅栏倒下的图像；
(1-2)提取所述的栅栏正常摆放的图像的纹理特征向量并保存为V_nor，并提取所述的栅栏倒下的图像的纹理特征向量并保存为V_abn；
所述的步骤(1-2)具体包括以下步骤：
(1-2-1)求出警示颜色特征灰度图像中每个连通区域的中心点，计算中心点数量并记为N；
(1-2-2)分别以N个中心点为中心，画出针对HOG特征的N个正方形统计区域；
(1-2-3)分别求出所述的N个正方形统计区域的HOG特征向量；
(1-2-4)根据K-Means算法将所述的HOG特征向量归为三个类别，并去除一个区域数量最少的类别。
7.根据权利要求6所述的基于机器视觉原理的栅栏状态检测系统，其特征在于，步骤(2)具体包括以下步骤：
(2-1)从视频监控系统中实时输入一帧监控图像；
(2-2)检测所述的监控图像中是否含有足够量的警示颜色块，如果是，则继续步骤(2-3)，否则，继续步骤(4)；
(2-3)提取所述的监控图像的纹理特征向量，记为V_rel。
8.根据权利要求7所述的基于机器视觉原理的栅栏状态检测系统，其特征在于，所述的检测所述的监控图像中是否含有足够量的警示颜色块，具体包括以下步骤：
(2-2-1)从所述的监控图像中提取警示特征图像；
(2-2-2)将所述的警示特征图像转换为警示灰度图像；
(2-2-3)对所述的特征灰度图像进行连通域分析，消除孤立的和含极少警示颜色的小区域点；
(2-2-4)计算含警示颜色区域的数量n，并判断n是否大于一预设阈值。
9.根据权利要求7所述的基于机器视觉原理的栅栏状态检测系统，其特征在于，步骤(3)具体包括以下步骤：
(3-1)计算V_nor与V_rel的差别，记为E_nor，并计算V_abn与V_rel的差别，记为E_abn；
(3-2)判断E_nor是否大于Th1并且E_abn小于Th2，如果是，则栅栏为倒下状态，继续步骤(4)，否则，栅栏为正常状态，继续步骤(2)，其中，Th1为正常状态门限值，Th2为倒下状态门限值。
10.根据权利要求9所述的基于机器视觉原理的栅栏状态检测系统，其特征在于，所述的步骤(3-1)具体包括以下步骤：
(3-1-1)分别计算两幅图像的HOG特征向量的均方误差，并记 为E(i)，i＝1、2；
(3-1-2)对所述的均方误差取平均值。
CN201710515852.8A 2017-06-29 2017-06-29 基于机器视觉原理的栅栏状态检测方法及系统 Active CN109214390B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710515852.8A CN109214390B (zh) 2017-06-29 2017-06-29 基于机器视觉原理的栅栏状态检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710515852.8A CN109214390B (zh) 2017-06-29 2017-06-29 基于机器视觉原理的栅栏状态检测方法及系统

Publications (2)

Publication Number Publication Date
CN109214390A CN109214390A (zh) 2019-01-15
CN109214390B true CN109214390B (zh) 2022-02-08

Family

ID=64960682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710515852.8A Active CN109214390B (zh) 2017-06-29 2017-06-29 基于机器视觉原理的栅栏状态检测方法及系统

Country Status (1)

Country Link
CN (1) CN109214390B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102446390A (zh) * 2011-03-16 2012-05-09 上海市电力公司 一种对输电线路附近监控区域进行安全检测、预警的方法和系统
CN103020611A (zh) * 2012-12-30 2013-04-03 信帧电子技术（北京）有限公司 检测打架行为的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102446390A (zh) * 2011-03-16 2012-05-09 上海市电力公司 一种对输电线路附近监控区域进行安全检测、预警的方法和系统
CN103020611A (zh) * 2012-12-30 2013-04-03 信帧电子技术（北京）有限公司 检测打架行为的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于嵌入式机器视觉信息采集系统的设计与实现;杨欣宇等;《科学技术与工程》;20160430;第16卷(第12期);全文 *
基于机器视觉的栅栏自动喷漆系统设计;陈波等;《电子设计工程》;20150331;第23卷(第06期);全文 *

Also Published As

Publication number Publication date
CN109214390A (zh) 2019-01-15

Similar Documents

Publication Publication Date Title
CN107679471B (zh) 基于视频监控平台的室内人员空岗检测方法
CN110414320B (zh) 一种安全生产监管的方法及系统
CN111783744A (zh) 一种操作现场安全防护检测方法及装置
CN111814686A (zh) 一种基于视觉的输电线路识别及异物入侵在线检测方法
CN110765848A (zh) 基于人工智能图像处理算法的化工厂人员安全保障系统及预警方法
CN104994334A (zh) 基于实时视频的变电站自动监控方法
CN108009574B (zh) 一种轨道扣件检测方法
CN113192038B (zh) 基于深度学习的已有火焰环境中异常烟火识别监测方法
CN113469654B (zh) 一种基于智能算法融合的变电站多层次安全管控系统
CN116110012B (zh) 用于智慧工地的危险违规动作识别方法及系统
CN112163572A (zh) 识别对象的方法和装置
Supreeth et al. An approach towards efficient detection and recognition of traffic signs in videos using neural networks
CN111178424A (zh) 一种石油化工生产现场安全合规性实时检测系统及方法
CN113192037A (zh) 一种皮带机监测方法、系统、介质及电子终端
CN109345787A (zh) 一种基于智能图像识别技术的输电线路防外损监控报警系统
CN116012762A (zh) 一种针对电力设备的交通路口视频影像分析方法及系统
CN115512134A (zh) 快件堆积异常预警方法、装置、设备及存储介质
CN111524121A (zh) 一种基于机器视觉技术的路桥病害自动检测方法
CN115082850A (zh) 基于计算机视觉的模板支架安全风险识别方法
CN102496030B (zh) 电力监测系统中危险目标的识别方法及装置
CN114155472A (zh) 厂区场景临空面防护设备异常状态检测方法、装置和设备
CN113392754A (zh) 一种基于yolov5行人检测算法减少行人误检测率的方法
CN109214390B (zh) 基于机器视觉原理的栅栏状态检测方法及系统
CN116682162A (zh) 一种基于实时视频流的机器人人员检测算法
CN112232235A (zh) 基于5g的智慧工厂远程监控方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant