CN109271828A - 基于深度学习的施工隔离栅栏状态智能检测的方法及系统 - Google Patents
基于深度学习的施工隔离栅栏状态智能检测的方法及系统 Download PDFInfo
- Publication number
- CN109271828A CN109271828A CN201710579428.XA CN201710579428A CN109271828A CN 109271828 A CN109271828 A CN 109271828A CN 201710579428 A CN201710579428 A CN 201710579428A CN 109271828 A CN109271828 A CN 109271828A
- Authority
- CN
- China
- Prior art keywords
- construction
- sample
- segregator barriers
- image
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于深度学习技术实现施工隔离栅栏状态智能检测的方法及系统，包括、从视频监控系统中获取实时图像作为监控图像、建立针对所述的施工隔离栅栏状态进行分类的深度神经网络模型、对施工隔离栅栏进行监控处理操作、对监控图像进行归类并进行状态分类判断、针对所述的施工隔离栅栏发现异常状态启动告警。采用该基于深度学习技术实现施工隔离栅栏状态智能检测的方法及系统，能精确区分施工栅栏正常放置状态与非正常放置状态。当训练好深度神经网络模型后，对施工隔离栅栏的分类检测仅仅需要非迭代的前向运算，能满足实时检测的要求。本发明提供的施工隔离栅栏状态的智能检测方法运行速度快、检测精度高，因此能保障告警的及时性，能严格防范施工的安全隐患。
Description
技术领域
本发明涉及施工安全防范领域，尤其涉及智能监测领域，具体是指一种基于深度学习技术的实现施工隔离栅栏状态的智能检测的方法及系统。
背景技术
在一些维修施工过程中，通常要放置施工隔离栅栏将施工场地隔离开来，以警示非相关人员远离施工场地，从而避免引起安全事故。
在施工场地如果忘记放置施工隔离栅栏或施工隔离栅栏处于倒地状态，都可能会引起其他值班人员或非相关施工人员闯入施工禁地，极端情况下会引起非常严重的伤亡事故。因此对施工隔离栅栏状态异常检测是施工过程中非常重要的一个环节。
依靠人工24小时现场值班看守或远程紧盯屏幕值班看守已经不是一个高效的解决方法。随着图像处理技术和机器视觉技术的发展和应用推广，近年来利用基于机器视觉技术的智能视频分析系统已经应用到视频异常事件检测中。但由于在的视频监控系统中，摄像头的监控景深、光照条件、监控视角往往不是固定不变的，在这种监控情况下基于机器视觉技术的智能视频分析系统对安全隔离栅栏状态的检测往往精度不高，对异常状态的判断会存在很多误判或漏判，对的日常运转还是存在安全隐患。
发明内容
本发明的目的是克服了上述现有技术的缺点，提供了一种能够基于深度学习技术实现施工隔离栅栏状态智能检测的方法及系统。
为了实现上述目的，本发明的能够基于深度学习技术实现施工隔离栅栏状态智能检测的方法及系统如下：
该基于深度学习技术实现施工隔离栅栏状态智能检测的方法，其主要特点是，包括以下步骤：
(1)从视频监控系统中获取实时图像作为监控图像；
(2)建立针对所述的施工隔离栅栏状态进行分类的深度神经网络模型；
(3)对所述的施工隔离栅栏进行监控处理操作；
(4)对所述的监控图像进行归类并进行状态分类判断，如果所述的监控图像中所述的隔离栅栏状态正常，则返回上述步骤(3)，否则继续步骤(5)；
(5)针对所述的施工隔离栅栏发现异常状态启动告警。
较佳地，所述的步骤(1)具体包括以下步骤：
(11)将摄像头调整到施工区域；
(12)从监控视频流中实时截取每帧所述的实时图像作为监控图像。
较佳地，所述的步骤(2)具体包括以下步骤：
(21)收集所述的施工隔离栅栏放置状态的所述的监控图像作为样本图像，并对所述的样本图像进行分类，分为正常放置状态下的样本图像和非正常放置状态下的样本图像；
(22)建立专用于所述的施工隔离栅栏的所述的样本图像各个状态分类的深度神经网络模型，并初始化各神经元之间的连接参数；
(23)将所述的施工隔离栅栏的监控图像的训练和验证样本输入到所述的深度神经网络模型进行迭代训练；
(24)当对所述的验证样本分类精度达到系统预设的阈值或训练达到系统预设的迭代次数后，结束所述的深度神经网络模型的训练；
(25)取训练结束后验证误差最小的一次训练参数作为最后结果，保存该次相应的深度神经网络各神经元之间的连接参数作为最终的所述的施工隔离栅栏状态分类的所述的深度神经网络模型。
更佳地，所述的步骤(21)具体包括：
收集所述的施工隔离栅栏所述的正常放置状态下的样本图像，并将此状态的图像标注为第一类别；
收集所述的施工隔离栅栏缺失状态下的样本图像，并将此状态的图像标注为第二类别；
收集所述的施工隔离栅栏倒下状态下的样本图像，并将此状态的图像标注为第三类别；
其中，各类别中的样本都不少于2000幅图像，而且属于同一类别中的图像需要覆盖有不同视角、不同尺度、不同光照、不同程度遮挡条件下的监控图像样本。
更佳地，所述的步骤(22)中所述的深度神经网络模型的输入为与所述的样本图像采集分类的种类数量相同的通道的彩色图像，且该样本图像的分辨率不低于256像素×256像素；该深度神经网络模型的输出为与所述的样本图像采集分类的种类数量相同的分类，表示将所述的输入图像分类为所述的施工隔离栅栏的各个状态所对应的各个分类。
更佳地，所述的深度神经网络模型的输入输出样本图像各分为3类。
更佳地，所述的深度神经网络模型的中间层采用多层卷积神经网络。更佳地，所述的步骤(23)，包括以下步骤：
(231)将所述的施工隔离栅栏的监控图像的训练和验证样本输入到专门的所述的深度神经网络模型进行迭代训练；
(232)从收集的样本图像中随机抽取小于30％的样本作为验证样本，抽取验证样本采样后的剩余量的样本作为训练样本输入到所述的深度神经网络模型的输入层；
(233)经过前向运算得到输出结果，将输出结果与实际值的误差进行反向传播BP算法运算，更新各神经元之间的连接参数。
更进一步地，所述的步骤(232)中，从收集的所述的样本图像中随机抽取20％的样本作为验证样本，抽取80％的所述的样本作为训练样本。
较佳地，所述的步骤(3)具体包括以下步骤：
(31)针对视频监控系统中的每一个摄像头均建立相应的施工隔离栅栏状态分类的所述的深度神经网络模型；
(32)将所述的监控图像输入到所述的深度神经网络模型。
较佳地，所述的步骤(4)具体包括以下步骤：
(41)对所述的输入到所述的深度神经网络模型的所述的监控图像，进行一次前向运算；
(42)输出所述的监控图像的栅栏状态的分类结果，若分类结果为隔离栅栏状态正常状态，则返回上述步骤(3)，否则继续步骤(5)。
本发明还涉及一种基于深度学习技术实现施工隔离栅栏状态智能检测的系统，其主要特点是，包括：摄像头，用于拍摄栅栏监控图像；
栅栏状态检测程序，所述的栅栏状态检测程序在运行时对从所述的摄像头拍摄的栅栏监控图像进行如下步骤处理：
(1)从视频监控系统中获取实时图像作为监控图像；
(2)建立针对所述的施工隔离栅栏状态进行分类的深度神经网络模型；
(3)对所述的施工隔离栅栏进行监控处理操作；
(4)对所述的监控图像进行归类并进行状态分类判断，如果所述的监控图像中所述的隔离栅栏状态正常，则返回上述步骤(3)，否则继续步骤(5)；
(5)针对所述的施工隔离栅栏发现异常状态启动告警。
较佳地，所述的步骤(1)具体包括以下步骤：
(11)将摄像头调整到施工区域；
(12)从监控视频流中实时截取每帧所述的实时图像作为监控图像。
较佳地，所述的步骤(2)具体包括以下步骤：
(21)收集所述的施工隔离栅栏放置状态的所述的监控图像作为样本图像，并对所述的样本图像进行分类，分为正常放置状态下的样本图像和非正常放置状态下的样本图像；
(22)建立专用于所述的施工隔离栅栏的所述的样本图像各个状态分类的深度神经网络模型，并初始化各神经元之间的连接参数；
(23)将所述的施工隔离栅栏的监控图像的训练和验证样本输入到所述的深度神经网络模型进行迭代训练；
(24)当对所述的验证样本分类精度达到系统预设的阈值或训练达到系统预设的迭代次数后，结束所述的深度神经网络模型的训练；
(25)取训练结束后验证误差最小的一次训练参数作为最后结果，保存该次相应的深度神经网络各神经元之间的连接参数作为最终的所述的施工隔离栅栏状态分类的所述的深度神经网络模型。
更佳地，所述的步骤(21)具体包括：
收集所述的施工隔离栅栏所述的正常放置状态下的样本图像，并将此状态的图像标注为第一类别；
收集所述的施工隔离栅栏缺失状态下的样本图像，并将此状态的图像标注为第二类别；
收集所述的施工隔离栅栏倒下状态下的样本图像，并将此状态的图像标注为第三类别；
其中，各类别中的样本都不少于2000幅图像，而且属于同一类别中的图像需要覆盖不同视角、不同尺度、不同光照、不同程度遮挡条件下的监控图像样本。
更佳地，所述的步骤(22)中所述的深度神经网络模型的输入为与所述的样本图像采集分类的种类数量相同的通道的彩色图像，且该样本图像的分辨率不低于256像素×256像素；该深度神经网络模型的输出为与所述的样本图像采集分类的种类数量相同的分类，表示将所述的输入图像分类为所述的施工隔离栅栏的各个状态所对应的各个分类。
更进一步地，，所述的深度神经网络模型的输入输出样本图像各分为3类。
更进一步地，所述的深度神经网络模型的中间层采用多层卷积神经网络。
更佳地，所述的步骤(23)，包括以下步骤：
(231)将所述的施工隔离栅栏的监控图像的训练和验证样本输入到专门的所述的深度神经网络模型进行迭代训练；
(232)从收集的样本图像中随机抽取小于30％的样本作为验证样本，抽取验证样本采样后的剩余量的样本作为训练样本输入到所述的深度神经网络模型的输入层；
(233)经过前向运算得到输出结果，将输出结果与实际值的误差进行反向传播BP算法运算，更新各神经元之间的连接参数。
更进一步地，所述的步骤(232)中，从收集的所述的样本图像中随机抽取20％的样本作为验证样本，抽取80％的所述的样本作为训练样本。
较佳地，所述的步骤(3)具体包括以下步骤：
(31)针对视频监控系统中的每一个摄像头均建立相应的施工隔离栅栏状态分类的所述的深度神经网络模型；
(32)将所述的监控图像输入到深度神经网络模型。
较佳地，所述的步骤(4)具体包括以下步骤：
(41)对所述的输入到所述的深度神经网络模型的所述的监控实时图像，进行一次前向运算；
(42)输出所述的监控图像的栅栏状态的分类结果，若分类结果为隔离栅栏状态正常状态则返回上述步骤(3)，否则继续步骤(5)。
采用了该发明中的基于深度学习技术实现施工隔离栅栏状态智能检测的方法及系统，利用施工场地内的视频监控系统获取实时图像并将实时图像作为监控图像，将所述的监控图像输入到专门针对施工隔离栅栏状态分类的深度神经网络模型，通过前向运算输出对所述的监控图像的分类，如果所述的监控图像属于栅栏状态异常分类，则向报警装置发送启动报警信号，其中深度神经网络模型是通过大量的监控现场分类样本图像监督学习获取。本发明提供的基于深度学习技术实现施工隔离栅栏状态智能检测的方法及系统，基于深度学习技术，其深度神经网络具有表征图像细节特征的能力，对图像缩放、目标物的远近、目标物的交叠、光照条件、视角变化等情形不敏感，能精确区分变电站内栅栏正常放置状态、栅栏缺失状态和栅栏倒下状态。当训练好深度神经网络模型后，对施工隔离栅栏的分类检测仅仅需要非迭代的前向运算，能满足实时检测的要求。本发明提供的基于深度学习技术实现施工隔离栅栏状态智能检测的方法及系统运行速度快、检测精度高，因此能保障告警的及时性，能严格防范施工场地的安全隐患。
附图说明
图1为本发明的基于深度学习技术实现施工隔离栅栏状态智能检测方法的流程示意图。
图2为本发明的基于深度学习技术实现施工隔离栅栏状态智能检测方法的施工隔离栅栏分类的深度神经网络模型建立过程示意图
图3为本发明的基于深度学习技术实现施工隔离栅栏状态智能检测方法及系统的正常栅栏的示例图像
图4为本发明的基于深度学习技术实现施工隔离栅栏状态智能检测方法及系统的施工隔离栅栏缺失状态下的示例图像。
图5为本发明的基于深度学习技术实现施工隔离栅栏状态智能检测方法及系统的施工隔离栅栏倒下状态下的示例图像。
具体实施方式
为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。
该基于深度学习技术实现施工隔离栅栏状态智能检测的方法，包括以下步骤：
(1)从视频监控系统中获取实时图像作为监控图像；
(2)建立针对所述的施工隔离栅栏状态进行分类的深度神经网络模型；
(3)对所述的施工隔离栅栏进行监控处理操作；
(4)对所述的监控图像进行归类并进行状态分类判断，如果所述的监控图像中所述的隔离栅栏状态正常，则返回上述步骤(3)，否则继续步骤(5)；
(5)针对所述的施工隔离栅栏发现异常状态启动告警。
在一种较佳地实施方式中，所述的步骤(1)具体包括以下步骤：
(11)将摄像头调整到施工区域；
(12)从监控视频流中实时截取每帧所述的实时图像作为监控图像。
在一种较佳地实施方式中，所述的步骤(2)具体包括以下步骤：
(21)收集所述的施工隔离栅栏放置状态的所述的监控图像作为样本图像，并对所述的样本图像进行分类，分为正常放置状态下的样本图像和非正常放置状态下的样本图像；
(22)建立专用于所述的施工隔离栅栏的所述的样本图像各个状态分类的深度神经网络模型，并初始化各神经元之间的连接参数；
(23)将所述的施工隔离栅栏的监控图像的训练和验证样本输入到所述的深度神经网络模型进行迭代训练；
(24)当对所述的验证样本分类精度达到系统预设的阈值或训练达到系统预设的迭代次数后，结束所述的深度神经网络模型的训练；
(25)取训练结束后验证误差最小的一次训练参数作为最后结果，保存该次相应的深度神经网络各神经元之间的连接参数作为最终的所述的施工隔离栅栏状态分类的所述的深度神经网络模型。
在一种更佳的实施方式中，所述的步骤(21)具体包括：
收集所述的施工隔离栅栏所述的正常放置状态下的样本图像，并将此状态的图像标注为第一类别；
收集所述的施工隔离栅栏缺失状态下的样本图像，并将此状态的图像标注为第二类别；
收集所述的施工隔离栅栏倒下状态下的样本图像，并将此状态的图像标注为第三类别；
其中，各类别中的样本都不少于2000幅图像，而且属于同一类别中的图像需要覆盖不同视角、不同尺度、不同光照、不同程度遮挡条件下的监控图像样本。
在一种更佳的实施方式中，所述的步骤(22)中所述的深度神经网络模型的输入为与所述的样本图像采集分类的种类数量相同的通道的彩色图像，且该样本图像的分辨率不低于256像素×256像素；该深度神经网络模型的输出为与所述的样本图像采集分类的种类数量相同的分类，表示将所述的输入图像分类为所述的施工隔离栅栏的各个状态所对应的各个分类。
在一种更进一步的实施方式中，所述的深度神经网络模型的输入输出样本图像各分为3类。
在一种更进一步的实施方式中，所述的深度神经网络模型的中间层采用多层卷积神经网络。
在一种更佳地实施方式中，所述的步骤(22)中所述的深度神经网络模型的输入为与所述的样本图像采集分类的种类数量相同的通道的彩色图像，且该样本图像的分辨率不低于256像素×256像素；该深度神经网络模型的输出为与所述的样本图像采集分类的种类数量相同的分类，表示将所述的输入图像分类为所述的施工隔离栅栏的各个状态所对应的各个分类。
在一种更进一步地实施方式中，所述的深度神经网络模型的输入输出样本图像各分为3类。
在一种更进一步地实施方式中，所述的深度神经网络模型的中间层采用多层卷积神经网络。
在一种更佳地实施方式中，所述的步骤(23)，包括以下步骤：
(231)将所述的施工隔离栅栏的监控图像的训练和验证样本输入到专门的所述的深度神经网络模型进行迭代训练；
(232)从收集的样本图像中随机抽取小于30％的样本作为验证样本，抽取验证样本采样后的剩余量的样本作为训练样本输入到所述的深度神经网络模型的输入层；
(233)经过前向运算得到输出结果，将输出结果与实际值的误差进行反向传播BP算法运算，更新各神经元之间的连接参数。
在一种更进一步地实施方式中，所述的步骤(232)中，从收集的所述的样本图像中随机抽取20％的样本作为验证样本，抽取80％的所述的样本作为训练样本。
在一种较佳地实施方式中，所述的步骤(3)具体包括以下步骤：
(31)针对视频监控系统中的每一个摄像头均建立相应的施工隔离栅栏状态分类的所述的深度神经网络模型；
(32)将所述的监控图像输入到所述的深度神经网络模型。
在一种较佳地实施方式中，所述的步骤(4)具体包括以下步骤：
(41)对所述的输入到所述的深度神经网络模型的所述的监控图像，进行一次前向运算；
(42)输出所述的监控图像的栅栏状态的分类结果，若分类结果为隔离栅栏状态正常状态，则返回上述步骤(3)，否则继续步骤(5)。
还包括一种基于深度学习技术实现施工隔离栅栏状态智能检测的系统，包括：
摄像头，用于拍摄栅栏监控图像；
栅栏状态检测程序，所述的栅栏状态检测程序在运行时对从所述的摄像头拍摄的栅栏监控图像进行如下步骤处理：
(1)从视频监控系统中获取实时图像作为监控图像；
(2)建立针对所述的施工隔离栅栏状态进行分类的深度神经网络模型；
(3)对所述的施工隔离栅栏进行监控处理操作；
(4)对所述的监控图像进行归类并进行状态分类判断，如果所述的监控图像中所述的隔离栅栏状态正常，则返回上述步骤(3)，否则继续步骤(5)；
(5)针对所述的施工隔离栅栏发现异常状态启动告警。
在一种较佳地实施方式中，所述的步骤(1)具体包括以下步骤：
(11)将摄像头调整到施工区域；
(12)从监控视频流中实时截取每帧所述的实时图像作为监控图像。
在一种较佳地实施方式中，所述的步骤(2)具体包括以下步骤：
(21)收集所述的施工隔离栅栏放置状态的所述的监控图像作为样本图像，并对所述的样本图像进行分类，分为正常放置状态下的样本图像和非正常放置状态下的样本图像；
(22)建立专用于所述的施工隔离栅栏的所述的样本图像各个状态分类的深度神经网络模型，并初始化各神经元之间的连接参数；
(23)将所述的施工隔离栅栏的监控图像的训练和验证样本输入到所述的深度神经网络模型进行迭代训练；
(24)当对所述的验证样本分类精度达到系统预设的阈值或训练达到系统预设的迭代次数后，结束所述的深度神经网络模型的训练；
(25)取训练结束后验证误差最小的一次训练参数作为最后结果，保存该次相应的深度神经网络各神经元之间的连接参数作为最终的所述的施工隔离栅栏状态分类的所述的深度神经网络模型。
在一种更佳的实施方式中，所述的步骤(21)具体包括：
收集所述的施工隔离栅栏所述的正常放置状态下的样本图像，并将此状态的图像标注为第一类别；
收集所述的施工隔离栅栏缺失状态下的样本图像，并将此状态的图像标注为第二类别；
收集所述的施工隔离栅栏倒下状态下的样本图像，并将此状态的图像标注为第三类别；
其中，各类别中的样本都不少于2000幅图像，而且属于同一类别中的图像需要覆盖不同视角、不同尺度、不同光照、不同程度遮挡条件下的监控图像样本。
在一种更佳的实施方式中，所述的步骤(22)中所述的深度神经网络模型的输入为与所述的样本图像采集分类的种类数量相同的通道的彩色图像，且该样本图像的分辨率不低于256像素×256像素；该深度神经网络模型的输出为与所述的样本图像采集分类的种类数量相同的分类，表示将所述的输入图像分类为所述的施工隔离栅栏的各个状态所对应的各个分类。
在一种更进一步的实施方式中，所述的深度神经网络模型的输入输出样本图像各分为3类。
在一种更进一步的实施方式中，所述的深度神经网络模型的中间层采用多层卷积神经网络。
在一种更佳地实施方式中，所述的步骤(22)中所述的深度神经网络模型的输入为与所述的样本图像采集分类的种类数量相同的通道的彩色图像，且该样本图像的分辨率不低于256像素×256像素；该深度神经网络模型的输出为与所述的样本图像采集分类的种类数量相同的分类，表示将所述的输入图像分类为所述的施工隔离栅栏的各个状态所对应的各个分类。
在一种更进一步地实施方式中，所述的深度神经网络模型的输入输出样本图像各分为3类。
在一种更进一步地实施方式中，所述的深度神经网络模型的中间层采用多层卷积神经网络。
在一种更佳地实施方式中，所述的步骤(23)，包括以下步骤：
(231)将所述的施工隔离栅栏的监控图像的训练和验证样本输入到专门的所述的深度神经网络模型进行迭代训练；
(232)从收集的样本图像中随机抽取小于30％的样本作为验证样本，抽取验证样本采样后的剩余量的样本作为训练样本输入到所述的深度神经网络模型的输入层；
(233)经过前向运算得到输出结果，将输出结果与实际值的误差进行反向传播BP算法运算，更新各神经元之间的连接参数。
在一种更进一步地实施方式中，所述的步骤(232)中，从收集的所述的样本图像中随机抽取20％的样本作为验证样本，抽取80％的所述的样本作为训练样本。
在一种较佳地实施方式中，所述的步骤(3)具体包括以下步骤：
(31)针对视频监控系统中的每一个摄像头均建立相应的施工隔离栅栏状态分类的所述的深度神经网络模型；
(32)将所述的监控图像输入到所述的深度神经网络模型。
在一种较佳地实施方式中，所述的步骤(4)具体包括以下步骤：
(41)对所述的输入到所述的深度神经网络模型的所述的监控图像，进行一次前向运算；
(42)输出所述的监控图像的栅栏状态的分类结果，若分类结果为隔离栅栏状态正常状态，则返回上述步骤(3)，否则继续步骤(5)。
在实际使用当中，请参阅图1所示，该图为本发明的基于深度学习技术实现施工隔离栅栏状态智能检测方法的流程示意图，它包含4个部分。第一部分101就是从变电站视频监控系统中获取实时图像的功能模块；第二部分102就是一个针对变电站施工警示栅栏状态进行分类的深度神经网络模型；第三部分103就是对监控图像进行分类的功能模块；第四部分104就是针对变电站施工警示栅栏发现异常状态时启动告警的装置。
下面针对以上4个部分详细描述一下基于深度学习技术实现施工隔离栅栏状态智能检测方法。
第一部分如图1中的101模块，从变电站视频监控系统中获取施工区域的实时图像，这里摄像头可以通过控制云台手工调整到施工区域，也可以预先标定施工区域的坐标，通过自动控制云台，让摄像头自动转至施工区域，然后从监控视频流中实时截取每帧图像。这部分可以通过常用技术手段获取施工区域的实时图像。
第二部分如图1中的102模块，它是一个针对变电站施工隔离栅栏状态进行分类的深度神经网络模型。如何得到栅栏状态分类的深度神经网络模型是本发明的重点。如图2所示为变电站警示栅栏分类的深度神经网络模型建立过程示意图。
图2为本发明的基于深度学习技术实现施工隔离栅栏状态智能检测方法的施工隔离栅栏分类的深度神经网络模型建立过程示意图。
如图2中的201模块，收集变电站内警示栅栏正常放置状态下的样本图像，并将此状态的图像标注为1类别；收集变电站内警示栅栏缺失状态下的样本图像，并将此状态的图像标注为2类别；收集变电站内警示栅栏倒下状态下的样本图像，并将此状态的图像标注为3类别。3类样本都不少于2000幅图像，而且同一类图像中需要覆盖有不同视角、不同尺度、不同光照、不同程度遮挡等条件下的图像样本。
如图2中的202模块，建立专门用于变电站施工隔离栅栏图像3个状态分类的深度神经网络架构，并初始化各神经元之间的连接参数。此深度神经网络的输入为3通道彩色图像，图像分辨率不低于256像素×256像素。此深度神经网络的输出为3个分类，表示将输入图像分类为警示栅栏的3个状态。此深度神经网络的中间层采用非常适合图像识别分类的多层卷积神经网络。
如图2中的203模块，将变电站图像的训练和验证样本输入到专门的深度神经网络架构进行迭代训练。从201模块中收集的3类样本图像中随机抽取20％的样本作为验证样本，抽取80％的样本作为训练样本输入到深度神经网络的输入层。经过前向运算得到输出结果，将输出结果与实际值的误差进行反向传播(BP)算法运算，更新各神经元之间的连接参数。
如图2中的204模块，当对验证图像分类精度达到一定阈值或训练达到一定迭代次数后，结束深度神经网络的训练。
如图2中的205模块，当训练结束后，取验证误差最小的那次训练参数作为最后结果，保存那次的深度神经网络各神经元之间的连接参数作为最终的变电站施工隔离栅栏状态分类的深度神经网络模型。
第三部分如图1中的103模块，变电站视频监控系统中的每一个摄像头都可以建立一个栅栏状态分类的深度神经网络模型，有了预先建好的模型后，只要将监控实时图像输入到深度神经网络模型，通过一次前向运算，即可实时输出一个栅栏状态的分类结果。
第四部分如图1中的104模块，如果在第三模块中输出的分类为2类或3类，即检测到当前图像为栅栏缺失或栅栏倒下图像，则启动告警装置，告警装置可以是告警广播、可以是拨出告警电话、可以是发出告警短信或微信等。
采用了该发明中的基于深度学习技术实现施工隔离栅栏状态智能检测的方法及系统，利用施工场地内的视频监控系统获取实时图像并将实时图像作为监控图像，将所述的监控图像输入到专门针对施工隔离栅栏状态分类的深度神经网络模型，通过前向运算输出对所述的监控图像的分类，如果所述的监控图像属于栅栏状态异常分类，则向报警装置发送启动报警信号，其中深度神经网络模型是通过大量的监控现场分类样本图像监督学习获取。本发明提供的基于深度学习技术实现施工隔离栅栏状态智能检测的方法及系统，基于深度学习技术，其深度神经网络具有表征图像细节特征的能力，对图像缩放、目标物的远近、目标物的交叠、光照条件、视角变化等情形不敏感，能精确区分变电站内栅栏正常放置状态、栅栏缺失状态和栅栏倒下状态。当训练好深度神经网络模型后，对变电站施工隔离栅栏的分类检测仅仅需要非迭代的前向运算，能满足实时检测的要求。本发明提供的基于深度学习技术实现施工隔离栅栏状态智能检测的方法及系统运行速度快、检测精度高，因此能保障告警的及时性，能严格防范电网变电站施工的安全隐患。
在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。
Claims (22)
1.一种基于深度学习技术实现施工隔离栅栏状态智能检测的方法，其特征在于，所述的方法包括以下步骤：
(1)从视频监控系统中获取实时图像作为监控图像；
(2)建立针对所述的施工隔离栅栏状态进行分类的深度神经网络模型；
(3)对所述的施工隔离栅栏进行监控处理操作；
(4)对所述的监控图像进行归类并进行状态分类判断，如果所述的监控图像中所述的隔离栅栏状态正常，则返回上述步骤(3)，否则继续步骤(5)；
(5)针对所述的施工隔离栅栏发现异常状态启动告警。
2.根据权利要求1所述的基于深度学习技术实现施工隔离栅栏状态智能检测的方法，其特征在于，所述的步骤(1)具体包括以下步骤：
(11)将摄像头调整到施工区域；
(12)从监控视频流中实时截取每帧所述的实时图像作为监控图像。
3.根据权利要求1所述的基于深度学习技术实现施工隔离栅栏状态智能检测的方法，其特征在于，所述的步骤(2)具体包括以下步骤：
(21)收集所述的施工隔离栅栏放置状态的所述的监控图像作为样本图像，并对所述的样本图像进行分类，分为正常放置状态下的样本图像和非正常放置状态下的样本图像；
(22)建立专用于所述的施工隔离栅栏的所述的样本图像各个状态分类的深度神经网络模型，并初始化各神经元之间的连接参数；
(23)将所述的施工隔离栅栏的监控图像的训练和验证样本输入到所述的深度神经网络模型进行迭代训练；
(24)当对所述的验证样本分类精度达到系统预设的阈值或训练达到系统预设的迭代次数后，结束所述的深度神经网络模型的训练；
(25)取训练结束后验证误差最小的一次训练参数作为最后结果，保存该次相应的深度神经网络各神经元之间的连接参数作为最终的所述的施工隔离栅栏状态分类的所述的深度神经网络模型。
4.根据权利要求3所述的基于深度学习技术实现施工隔离栅栏状态智能检测的方法，其特征在于，所述的步骤(21)具体包括：
收集所述的施工隔离栅栏所述的正常放置状态下的样本图像，并将此状态的图像标注为第一类别；
收集所述的施工隔离栅栏缺失状态下的样本图像，并将此状态的图像标注为第二类别；
收集所述的施工隔离栅栏倒下状态下的样本图像，并将此状态的图像标注为第三类别；
其中，各类别中的样本都不少于2000幅图像，而且属于同一类别中的图像需要覆盖不同视角、不同尺度、不同光照、不同程度遮挡条件下的监控图像样本。
5.根据权利要求3所述的基于深度学习技术实现施工隔离栅栏状态智能检测的方法，其特征在于，所述的步骤(22)中所述的深度神经网络模型的输入为与所述的样本图像采集分类的种类数量相同的通道的彩色图像，且该样本图像的分辨率不低于256像素×256像素；该深度神经网络模型的输出为与所述的样本图像采集分类的种类数量相同的分类，表示将所述的输入图像分类为所述的施工隔离栅栏的各个状态所对应的各个分类。
6.根据权利要求5所述的基于深度学习技术实现施工隔离栅栏状态智能检测的方法，其特征在于，所述的深度神经网络模型的输入输出样本图像各分为3类。
7.根据权利要求3或5中任一项所述的基于深度学习技术实现施工隔离栅栏状态智能检测的方法，其特征在于，所述的深度神经网络模型的中间层采用多层卷积神经网络。
8.根据权利要求3所述的基于深度学习技术实现施工隔离栅栏状态智能检测的方法，其特征在于，所述的步骤(23)，包括以下步骤：
(231)将所述的施工隔离栅栏的监控图像的训练和验证样本输入到专门的所述的深度神经网络模型进行迭代训练；
(232)从收集的样本图像中随机抽取小于30％的样本作为验证样本，抽取验证样本采样后的剩余量的样本作为训练样本输入到所述的深度神经网络模型的输入层；
(233)经过前向运算得到输出结果，将输出结果与实际值的误差进行反向传播BP算法运算，更新各神经元之间的连接参数。
9.根据权利要求8所述的基于深度学习技术实现施工隔离栅栏状态智能检测的方法，其特征在于，所述的步骤(232)中，从收集的所述的样本图像中随机抽取20％的样本作为验证样本，抽取80％的所述的样本作为训练样本。
10.根据权利要求1所述的基于深度学习技术实现施工隔离栅栏状态智能检测的方法，其特征在于，所述的步骤(3)具体包括以下步骤：
(31)针对视频监控系统中的每一个摄像头均建立相应的施工隔离栅栏状态分类的所述的深度神经网络模型；
(32)将所述的监控图像输入到所述的深度神经网络模型。
11.根据权利要求1所述的基于深度学习技术实现施工隔离栅栏状态智能检测的方法，其特征在于，所述的步骤(4)具体包括以下步骤：
(41)对所述的输入到所述的深度神经网络模型的所述的监控图像，进行一次前向运算；
(42)输出所述的监控图像的栅栏状态的分类结果，若分类结果为隔离栅栏状态正常状态，则返回上述步骤(3)，否则继续步骤(5)。
12.一种基于深度学习技术实现施工隔离栅栏状态智能检测的系统，其特征在于，所述系统包括：
摄像头，用于拍摄栅栏监控图像；
栅栏状态检测程序，所述的栅栏状态检测程序在运行时对从所述的摄像头拍摄的栅栏监控图像进行如下步骤处理：
(1)从视频监控系统中获取实时图像作为监控图像；
(2)建立针对所述的施工隔离栅栏状态进行分类的深度神经网络模型；
(3)对所述的施工隔离栅栏进行监控处理操作；
(4)对所述的监控图像进行归类并进行状态分类判断，如果所述的监控图像中所述的隔离栅栏状态正常，则返回上述步骤(3)，否则继续步骤(5)；
(5)针对所述的施工隔离栅栏发现异常状态启动告警。
13.根据权利要求12所述的基于深度学习技术实现施工隔离栅栏状态智能检测的系统，其特征在于，所述的步骤(1)具体包括以下步骤：
(11)将摄像头调整到施工区域；
(12)从监控视频流中实时截取每帧所述的实时图像作为监控图像。
14.根据权利要求12所述的基于深度学习技术实现施工隔离栅栏状态智能检测的系统，其特征在于，所述的步骤(2)具体包括以下步骤：
(21)收集所述的施工隔离栅栏放置状态的所述的监控图像作为样本图像，并对所述的样本图像进行分类，分为正常放置状态下的样本图像和非正常放置状态下的样本图像；
(22)建立专用于所述的施工隔离栅栏的所述的样本图像各个状态分类的深度神经网络模型，并初始化各神经元之间的连接参数；
(23)将所述的施工隔离栅栏的监控图像的训练和验证样本输入到所述的深度神经网络模型进行迭代训练；
(24)当对所述的验证样本分类精度达到系统预设的阈值或训练达到系统预设的迭代次数后，结束所述的深度神经网络模型的训练；
(25)取训练结束后验证误差最小的一次训练参数作为最后结果，保存该次相应的深度神经网络各神经元之间的连接参数作为最终的所述的施工隔离栅栏状态分类的所述的深度神经网络模型。
15.根据权利要求14所述的基于深度学习技术实现施工隔离栅栏状态智能检测的系统，其特征在于，所述的步骤(21)具体包括：
收集所述的施工隔离栅栏所述的正常放置状态下的样本图像，并将此状态的图像标注为第一类别；
收集所述的施工隔离栅栏缺失状态下的样本图像，并将此状态的图像标注为第二类别；
收集所述的施工隔离栅栏倒下状态下的样本图像，并将此状态的图像标注为第三类别；
其中，各类别中的样本都不少于2000幅图像，而且属于同一类别中的图像需要覆盖不同视角、不同尺度、不同光照、不同程度遮挡条件下的监控图像样本。
16.根据权利要求14所述的基于深度学习技术实现施工隔离栅栏状态智能检测的系统，其特征在于，所述的步骤(22)中所述的深度神经网络模型的输入为与所述的样本图像采集分类的种类数量相同的通道的彩色图像，且该样本图像的分辨率不低于256像素×256像素；该深度神经网络模型的输出为与所述的样本图像采集分类的种类数量相同的分类，表示将所述的输入图像分类为所述的施工隔离栅栏的各个状态所对应的各个分类。
17.根据权利要求16所述的基于深度学习技术实现施工隔离栅栏状态智能检测的系统，其特征在于，所述的深度神经网络模型的输入输出样本图像各分为3类。
18.根据权利要求14或16中所述的基于深度学习技术实现施工隔离栅栏状态智能检测的系统，其特征在于，所述的深度神经网络模型的中间层采用多层卷积神经网络。
19.根据权利要求14所述的基于深度学习技术实现施工隔离栅栏状态智能检测的系统，其特征在于，所述的步骤(23)，包括以下步骤：
(231)将所述的施工隔离栅栏的监控图像的训练和验证样本输入到专门的所述的深度神经网络模型进行迭代训练；
(232)从收集的样本图像中随机抽取小于30％的样本作为验证样本，抽取验证样本采样后的剩余量的样本作为训练样本输入到所述的深度神经网络模型的输入层；
(233)经过前向运算得到输出结果，将输出结果与实际值的误差进行反向传播BP算法运算，更新各神经元之间的连接参数。
20.根据权利要求19所述的基于深度学习技术实现施工隔离栅栏状态智能检测的系统，其特征在于，所述的步骤(232)中，从收集的所述的样本图像中随机抽取20％的样本作为验证样本，抽取80％的所述的样本作为训练样本。
21.根据权利要求12所述的基于深度学习技术实现施工隔离栅栏状态智能检测的系统，其特征在于，所述的步骤(3)具体包括以下步骤：
(31)针对视频监控系统中的每一个摄像头均建立相应的施工隔离栅栏状态分类的所述的深度神经网络模型；
(32)将所述的监控图像输入到深度神经网络模型。
22.根据权利要求12所述的基于深度学习技术实现施工隔离栅栏状态智能检测的系统，其特征在于，所述的步骤(4)具体包括以下步骤：
(41)对所述的输入到所述的深度神经网络模型的所述的监控实时图像，进行一次前向运算；
(42)输出所述的监控图像的栅栏状态的分类结果，若分类结果为隔离栅栏状态正常状态则返回上述步骤(3)，否则继续步骤(5)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710579428.XA CN109271828A (zh) | 2017-07-17 | 2017-07-17 | 基于深度学习的施工隔离栅栏状态智能检测的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710579428.XA CN109271828A (zh) | 2017-07-17 | 2017-07-17 | 基于深度学习的施工隔离栅栏状态智能检测的方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109271828A true CN109271828A (zh) | 2019-01-25 |
Family
ID=65147607
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710579428.XA Withdrawn CN109271828A (zh) | 2017-07-17 | 2017-07-17 | 基于深度学习的施工隔离栅栏状态智能检测的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109271828A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110751081A (zh) * | 2019-10-17 | 2020-02-04 | 河南四建工程有限公司 | 基于机器视觉的施工安全监控方法及装置 |
| CN111241900A (zh) * | 2019-04-12 | 2020-06-05 | 泰州阿法光电科技有限公司 | 交通环境现场维护方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104316341A (zh) * | 2014-11-17 | 2015-01-28 | 金陵科技学院 | 一种基于bp神经网络的地下结构损伤识别方法 |
| CN105787510A (zh) * | 2016-02-26 | 2016-07-20 | 华东理工大学 | 基于深度学习实现地铁场景分类的系统及方法 |
| CN106226050A (zh) * | 2016-07-15 | 2016-12-14 | 北京航空航天大学 | 一种tfds故障自动识别方法 |
| CN106778740A (zh) * | 2016-12-06 | 2017-05-31 | 北京航空航天大学 | 一种基于深度学习的tfds非故障图像检测方法 |
-
2017
- 2017-07-17 CN CN201710579428.XA patent/CN109271828A/zh not_active Withdrawn
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104316341A (zh) * | 2014-11-17 | 2015-01-28 | 金陵科技学院 | 一种基于bp神经网络的地下结构损伤识别方法 |
| CN105787510A (zh) * | 2016-02-26 | 2016-07-20 | 华东理工大学 | 基于深度学习实现地铁场景分类的系统及方法 |
| CN106226050A (zh) * | 2016-07-15 | 2016-12-14 | 北京航空航天大学 | 一种tfds故障自动识别方法 |
| CN106778740A (zh) * | 2016-12-06 | 2017-05-31 | 北京航空航天大学 | 一种基于深度学习的tfds非故障图像检测方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111241900A (zh) * | 2019-04-12 | 2020-06-05 | 泰州阿法光电科技有限公司 | 交通环境现场维护方法 |
| CN110751081A (zh) * | 2019-10-17 | 2020-02-04 | 河南四建工程有限公司 | 基于机器视觉的施工安全监控方法及装置 |
| CN110751081B (zh) * | 2019-10-17 | 2022-01-28 | 河南四建工程有限公司 | 基于机器视觉的施工安全监控方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109980781B (zh) | 一种变电站智能监控系统 | |
| CN106412501B (zh) | 一种视频的施工安全行为智能监控系统及其监控方法 | |
| CN102842211B (zh) | 一种基于图像识别的输电线路防外力监控预警系统及方法 | |
| CN103065121B (zh) | 基于视频人脸分析的火车司机状态监控方法及装置 | |
| CN101751744A (zh) | 一种烟雾检测和预警方法 | |
| CN110889339B (zh) | 基于头肩检测的危险区域分级预警方法与系统 | |
| CN110807460B (zh) | 一种基于图像识别的变电站智能巡视系统及其应用方法 | |
| CN104599427A (zh) | 一种用于公路隧道的智能图像型火灾报警系统 | |
| CN106454331A (zh) | 视频信号质量检测系统及方法 | |
| CN107656986A (zh) | 微观缺陷整合预警方法及装置 | |
| CN105208325A (zh) | 基于图像定点抓拍及比对分析的国土资源监控预警方法 | |
| CN109389146A (zh) | 基于神经网络图像分类算法的设备状态反馈方法及系统 | |
| CN106650822A (zh) | 病虫害识别方法及装置 | |
| CN110188617A (zh) | 一种机房智能监控方法及系统 | |
| CN113177614A (zh) | 一种城市轨道交通供电开关柜图像识别系统及方法 | |
| CN109271828A (zh) | 基于深度学习的施工隔离栅栏状态智能检测的方法及系统 | |
| CN113191273A (zh) | 基于神经网络的油田井场视频目标检测与识别方法及系统 | |
| CN109345787A (zh) | 一种基于智能图像识别技术的输电线路防外损监控报警系统 | |
| CN116012762A (zh) | 一种针对电力设备的交通路口视频影像分析方法及系统 | |
| CN117370919B (zh) | 污水处理设备远程监控系统 | |
| CN104574729A (zh) | 一种报警方法、装置及系统 | |
| CN111652128B (zh) | 一种高空电力作业安全监测方法、系统和存储装置 | |
| CN117768610A (zh) | 基于多目标识别的高速铁路周界入侵风险监测方法及系统 | |
| CN110023949B (zh) | 用于鸟的自动监视的系统及有关的使用方法 | |
| CN101609580A (zh) | 银行自助设备智能保护方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190125 |