CN112613454A - 一种电力基建施工现场违章识别方法及系统 - Google Patents

一种电力基建施工现场违章识别方法及系统 Download PDF

Info

Publication number
CN112613454A
CN112613454A CN202011601491.7A CN202011601491A CN112613454A CN 112613454 A CN112613454 A CN 112613454A CN 202011601491 A CN202011601491 A CN 202011601491A CN 112613454 A CN112613454 A CN 112613454A
Authority
CN
China
Prior art keywords
violation
network
construction site
equipment
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011601491.7A
Other languages
English (en)
Inventor
张映晖
王晓燕
柴沛
张利民
韩鹏凯
张�廷
尹东
李睿
杨博
聂文昭
翟乐
刘锋
张�成
于青涛
许志健
王佳科
李乐蒙
付振虎
郭玉新
高兴强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Shandong Electric Power Co Construction Co
State Grid Corp of China SGCC
Original Assignee
State Grid Shandong Electric Power Co Construction Co
State Grid Corp of China SGCC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Shandong Electric Power Co Construction Co, State Grid Corp of China SGCC filed Critical State Grid Shandong Electric Power Co Construction Co
Priority to CN202011601491.7A priority Critical patent/CN112613454A/zh
Publication of CN112613454A publication Critical patent/CN112613454A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063114—Status monitoring or status determination for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本公开提供了一种电力基建施工现场违章识别方法及系统，获取电力基建施工现场视频帧图像数据；利用第一神经网络模型对视频帧图像进行设备特征提取，得到设备特征图；根据得到的设备特征图，利用预设候选区域生成网络得到多种尺度和宽高比的特征候选区域；利用预设分类回归网络，根据得到的设备特征图和特征候选区域，得到设备识别结果，根据设备识别结果进行现场违章判断；本公开采用人工智能深度学习算法实现了对电力基建施工现场各类违章的快速识别，提高了违章操作的智能识别效率和准确率。

Description

一种电力基建施工现场违章识别方法及系统
技术领域
本公开涉及电力工程技术领域，特别涉及一种电力基建施工现场违章识别方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术，并不必然构成现有技术。
随着社会经济的飞速发展及技术发展，电力基建施工不断，传统运检模式仍以大量人力投入为主，信息获取方式传统、来源单一，较多依靠电话和现场勘察等人工方式获取设备相关信息，单一人工作业的精益化程度陷入瓶颈，无法充分满足未来的精益化管理要求。
发明人发现，输变电设备规模逐年增长，设备种类越来越多，管控要求也越来越细，生产运检现场对安全管控要求高、责任重，专业化程度高，工作量大。运检作业前仅能通过图纸等纸张物理承载方式进行相关的作业施工方案的讨论与研究，需通过现场踏勘校核并建立可信的场景还原。由于缺乏可靠的高精度空间三维实景做技术支撑，对危险区域缺乏准确识别与划分的手段。在大型工机具进场的流程管控方面，对摆放位置和高度限制条件等方面缺乏精确评估的措施和推演展示工具，容易造成安全隐患。同时，随着电网建设与改造工程开工，作业现场点多面广，施工队伍众多，安全风险管控压力日渐增大。
从主观角度来说，由于个人的业务素质、安全意识、追求便捷性等原因，容易造成习惯性违章；客观的方面来说，由于人员繁多，作业人员构成较为复杂，运行人员数量不够等问题，导致作业过程中的执行、监管的力度不到位，从而容易加剧安全风险；变电站巡视中涉及的设置种类、设备参数、设备状态，种类繁多，依靠完全人工的巡视方式会带来巨大的工作量，同时不可避免的会出现各种纰漏，并进而带来较大的安全隐患。
发明内容
为了解决现有技术的不足，本公开提供了一种电力基建施工现场违章识别方法及系统，采用人工智能深度学习算法实现了对电力基建施工现场各类违章的快速识别，提高了违章操作的智能识别效率和准确率，进而引导施工建设队伍快速开展安全防护，能够降低基建安全管理工作人员的劳动强度，缩短违章识别管理周期，促进电力基建安全管理模式向智能运检模式转变。
为了实现上述目的，本公开采用如下技术方案：
本公开第一方面提供了一种电力基建施工现场违章识别方法。
一种电力基建施工现场违章识别方法，包括以下步骤：
获取电力基建施工现场视频帧图像数据；
利用第一神经网络模型对视频帧图像进行设备特征提取，得到设备特征图；
根据得到的设备特征图，利用预设候选区域生成网络得到多种尺度和宽高比的特征候选区域；
利用预设分类回归网络，根据得到的设备特征图和特征候选区域，得到设备识别结果，根据设备识别结果进行现场违章判断。
作为可能的一些实现方式，第一神经网络模型为Faster-RCNN神经网络时，预设候选区域生成网络采用卷积神经网络，包括：
使用一个滑动窗口在特征图上进行滑动，将滑动窗口经过的每个位置上的特征映射成一个多维的特征向量；
将每个特征向量输入到两个全连接层当中，一个全连接层用于输出多2N个分数，另一个全连接层用于输出2N个修正参数；
为每个滑动窗口位置定义N个基准矩形框，得到每个滑动窗口位置的修正参数之后，利用修正参数对基准矩形框进行修正，每个基准矩形框分别对应4个修正参数；
每个滑动窗口位置得到N个候选区域，2N个分数为候选区域的评分，每个候选区域对应2个分数，分别代表该候选区域内包含和不包含待测目标的可能性。
作为可能的一些实现方式，分类回归网络以特征图和候选区域为输入，输出候选区域对应各类别的置信度和用于对候选区域进行修正的修正参数，根据置信度判断是否存在违章，包括：
利用ROI pooling层将候选区域所包含的特征池化成大小和形状相同的特征图；
利用两个全连接层对特征图进行特征映射；
再利用两个全连接层分别输出候选区域对应各个类别的分数和修正参数；
利用Softmax层将分数进行归一化，得到候选区域对应各个类别的置信度。
作为可能的一些实现方式，采用四步交替方式进行网络模型的训练，包括：
利用ImageNet预训练模型，初始化候选区域生成子网的特征提取网络，对候选区域生成子网其余的层采用零均值，标准差为0.01的高斯分布随机初始化，然后对候选区域生成子网进行微调，训练结束后，保存训练样本对应的候选区域；
利用ImageNet预训练模型，初始化分类回归子网的特征提取网络和分类回归网络前两个全连接层，对分类回归子网其余的层采用零均值，标准差为0.01的高斯分布随机初始化，然后利用上一步保存的训练样本候选区域对分类回归子网进行微调；
利用上一步训练出来的网络参数初始化整个网络，保持特征提取网络和分类回归网络参数不变，然后对候选区域生成网络进行微调；
利用上一步训练出来的网络参数初始化整个网络，保持特征提取网络和候选区域生成网络参数不变，然后对分类回归网络进行微调。
本公开第二方面提供了一种电力基建施工现场违章识别系统。
一种电力基建施工现场违章识别系统，包括：
数据获取模块，被配置为：获取电力基建施工现场视频帧图像数据；
特征提取模块，被配置为：利用第一神经网络模型对视频帧图像进行设备特征提取，得到设备特征图；
候选区域获取模块，被配置为：根据得到的设备特征图，利用预设候选区域生成网络得到多种尺度和宽高比的特征候选区域；
违章识别模块，被配置为：利用预设分类回归网络，根据得到的设备特征图和特征候选区域，得到设备识别结果，根据设备识别结果进行现场违章判断。
本公开第三方面提供了一种电力基建施工现场违章管控辅助系统。
一种电力基建施工现场违章管控辅助系统，包括智能视频监控采集终端、智能移动监控平台和远程监控中心；
智能视频监控采集终端包括视频数据智能分析单元和视频违章存储单元，视频数据智能分析单元用于利用本公开第一方面所述的电力基建施工现场违章识别方法对视频图像进行视频数据对比分析、违章特征识别和违章确认；
视频违章存储单元用于对违章结果进行告警信息和违章日志存储，并通过网络通讯传输单元将视频数据、识别结果与告警信息上传到智能移动监控平台；
智能移动监控平台包括权限管理模块、实时监控模块、违章回查模块、违章考核模块和违章日志统计分析模块，并将智能移动监控平台中的数据上传到远程监控中心进行保存。
作为可能的一些实现方式，远程监控中心直接调取视频数据，执行本公开第一方面所述的电力基建施工现场违章识别方法进行违章远程识别。
作为可能的一些实现方式，如果在预设时间内，现场违章未消除，远程监控中心调取视频数据，执行本公开第一方面所述的电力基建施工现场违章识别方法进行违章远程识别，并生成响应指令给智能移动监控平台或者外置电子设备。
作为可能的一些实现方式，权限管理模块用于为对作业人员进行身份验证，监督是否存在违规替代作业人员。
作为可能的一些实现方式，实时监控模块用于为根据获得的智能视频监控采集终端数据，对作业人员的操作步骤和行为进行实时监控。
作为可能的一些实现方式，违章回查模块用于为对识别的违章操作步骤和行为进行回查，再次进行确认。
本公开第四方面提供了一种本公开第三方面所述的电力基建施工现场违章管控辅助系统的工作方法，包括以下步骤：
现场作业人员利用智能移动监控平台接收电子操作票，并在操作前在智能移动监控平台上进行身份验证，操作过程利用智能视频监控采集终端进行操作过程视频的采集；
智能视频监控采集终端实时采集基建施工现场的各类监控摄像头视频数据，进行视频数据的对比分析、违章特征识别、违章确认、违章告警及违章日志存储，实现作业全过程的智能安全监控；
智能视频监控采集终端实时将视频数据、识别结果与告警信息上传到智能移动监控平台，智能移动监控平台实时将数据上传到远程监控中心。
本公开第五方面提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本公开第一方面所述的电力基建施工现场违章识别方法中的步骤。
本公开第六方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开第一方面所述的电力基建施工现场违章识别方法中的步骤。
与现有技术相比，本公开的有益效果是：
1、本公开所述的方法、系统、介质或电子设备，采用人工智能深度学习算法实现了对电力基建施工现场各类违章的快速识别，可提高违章操作的智能识别效率和准确率，进而引导施工建设队伍快速开展安全防护，能够降低基建安全管理工作人员的劳动强度，缩短违章识别管理周期，促进电力基建安全管理模式向智能运检模式转变。
2、本公开所述的方法、系统、介质或电子设备，构建基于深度学习的违章识别模型，先利用一个卷积神经网络对设备的待测图像进行特征提取，生成特征图，接着利用一个候选区域生成网络对一次设备特征图进行处理并输出多种尺度和宽高比的一次设备特征候选区域，最后利用一个分类回归网络根据候选区域内的特征进行判别输出，极大的提高了违章识别的精度。
3、本公开了所述的远程监控中心具有自动违章识别算法，既可以接收到现场监控设备的告警信息，又能直接调取视频数据进行远程识别，如果在规定时间内，现场违章未消除，远程监控中心可以调取视频进行分析查看并作出相应的响应指示，可大幅降低现场安全检查人员和监控值班人员工作压力，提高现场查禁违章的效率和专业深度。
本公开附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1为本公开实施例1提供的Faster RCNN算法流程示意图。
图2为本公开实施例1提供的Faster R-CNN算法的网络结构示意图。
图3为本公开实施例1提供的ZF-Net网络结构图。
图4为本公开实施例1提供的候选区域生成网络示意图。
图5为本公开实施例1提供的候选区域生成网络的结构图。
图6为本公开实施例1提供的分类回归网络的结构图。
图7为本公开实施例1提供的候选区域生成子网和分类回归子网示意图。
图8为本公开实施例1提供的未绑扎安全带、未佩戴安全帽的识别结果示意图。
图9为本公开实施例1提供的吊钩保险装置缺失的识别结果示意图。
图10为本公开实施例3提供的电力基建施工现场违章管控辅助系统的架构图。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
实施例1：
本公开实施例1提供了一种电力基建施工现场违章识别方法，对获得的原始视频素材进行样本特征信息分析处理，加入人工先验知识和图像识别结果，通过特征提取、分类器模型训练和验证，实现了违规操作行为的智能判定。
具体的，包括以下内容：
S1：样本数据分类处理及样本标记
在电力基建施工现场采集图像视频数据样本，对照样本库，按照制定的样本标注规则，利用计算机自动进行样本标注，相比于传统的人工标注方式，显著了提高工作效率；样本库分为电力现场作业人员、电力设备、安全帽、绝缘手套等多种类型，搜集正常操作、违章操作等典型样本。
S2：基于深度学习的违章识别模型构建
深度学习中的深层次神经网络可以对目标特征进行自动提取，所提取的特征质量远远超过传统人工特征，使得深度学习取得了传统机器学习无法比拟的成就。在具体实现中，图像识别算法先利用一个卷积神经网络对设备的待测图像进行特征提取，生成特征图，接着利用一个候选区域生成网络(Region Proposal Network，RPN)对一次设备特征图进行处理并输出多种尺度和宽高比的一次设备特征候选区域，最后利用一个分类回归网络根据候选区域内的特征进行判别输出。如图1和图2所示，为Faster RCNN算法流程图和结构示意图。
对巡视图像识别模型集中的三个网络：特征提取网络、候选区域生成网络和分类回归网络，以及一次设备巡视图像识别算法的训练方法进行详细阐述。
S2.1：设备特征提取
基于Faster-RCNN的一次设备巡视图像识别算法的特征提取网络是一个卷积神经网络，该特征提取网络是可以替换的，可以根据不同的一次设备应用场景选择合适的网络作为算法的特征提取网络。
训练数据的数量是决定网络性能的关键性因素，训练数据越多，训练出来的网络性能越好；相反，如果训练数据的数量过少，即便使用非常优秀的网络结构，训练出来的网络性能也不会好。因此在深度学习中，算法研究人员通常把在海量数据中训练好的网络应用到自己的网络中，然后利用自己的数据对该网络进行微调以提高网络性能。
Image Net分类数据集包含约120万张训练图像，共分为1000个不同类别，利用该数据集训练出来的模型具有优秀的特征提取能力，因此Faster R-CNN算法使用ImageNet预训练模型作为特征提取网络。
ZF-Net是Faster R-CNN算法中一种常用的特征提取网络，其网络结构如图3所示。conv1至conv5代表卷积层，ReLU代表激活层，LRN代表局部响应归一化层，pooling代表池化层。filters代表卷积核个数(通道数)，kernel size代表卷积核大小，stride代表滑动步长，pad代表特征图边缘扩充像素点个数。
在ZF-Net中，使用Re LU函数作为激活函数，相对于Sigmoid函数，Re LU函数在深度学习神经网络中表现更出色。与Sigmoid函数相比，ReLU函数在反向传导过程中计算量少，同时使用ReLU作为激活函数时，部分神经元输出将为0，使得神经网络具有稀疏性，减少了参数之间的相互依赖关系，抑制过拟合问题。并且使用ReLU作为激活函数的神经网络收敛速度较快。
S2.2：候选区域生成
候选区域，就是设备图像中可能包含待测目标的区域，可以利用图像中的边缘、纹理和颜色等信息来获得。生成候选区域相当于目标的粗检测过程，目的在于减轻后面分类网络的压力，以保证在选取较少检测窗口的情况下，保持较高的检测精度。
在基于Faster-RCNN的一次设备巡视图像识别算法中，候选区域生成网络是一个卷积神经网络，该网络以特征提取网络输出的特征图作为输入，输出多种尺度和宽高比的矩形候选区域。
如图4所示，为候选区域生成网络的示意图，该网络首先使用一个滑动窗口在特征图上进行滑动，将滑动窗口经过的每个位置上的特征映射成一个256维(选用ZF-Net作为特征提取网络时为256维，选用其它网络作为特征提取网络时，该值会有变化)的特征向量；
然后将每个特征向量输入到两个全连接层当中，一个全连接层输出2×9＝18个分数，另一个全连接层输出4×9＝36个修正参数。
算法为每个滑动窗口位置定义了9个基准矩形框(锚点)，得到每个滑动窗口位置的修正参数之后，利用修正参数对基准矩形框进行修正，每个基准矩形框分别对应4个修正参数，最后每个滑动窗口位置得到9个候选区域。上述18个分数为候选区域的评分，每个候选区域对应2个分数，分别代表该候选区域内包含和不包含待测目标的可能性。
如图5所示，为候选区域生成网络的具体网络结构。候选区域生成网络首先用一个卷积核大小为3×3的卷积层对特征图进行卷积操作生成特征向量，接着用两个卷积核大小为1×1的卷积层模拟两个全连接层，然后输出候选区域的分数和修正参数，最后利用Softmax层对分数进行归一化，从而得到候选区域内是否包含待测目标的置信度。
在目标检测中，待测目标形态大小各异，如果统一以相同大小的窗口进行检测，必然会影响检测效果，降低检测精度，因此Faster R-CNN算法为每个滑动窗口位置配置了9个基准矩形框来适配各种目标。这9个基准矩形框分别对应面积为1282，2562，5122像素的尺度，以及1:1，1:2，2:1的宽高比。获取修正参数之后，利用修正参数对基准矩形框进行修正，从而使得最终生成的候选区域更加适配待测目标。
S2.3：分类回归网络
获得候选区域之后，便要对候选区域进行分类回归操作。在一次设备巡视图像识别算法中，分类回归网络以特征提取网络输出的特征图和候选区域生成网络输出的候选区域为输入，输出候选区域对应各类别的置信度和修正参数。修正参数用于对候选区域进行修正，修正原理与公式描述的基准矩形框修正原理相同。
如图6所示，为分类回归网络的结构图，由于候选区域大小、形状各不相同，分类回归网络首先使用一个ROI pooling层将候选区域所包含的特征池化成大小、形状相同的特征图，接着使用两个全连接层fc6、fc7对特征图进行特征映射，然后使用全连接层fc/cls、fc/bbox_reg分别输出候选区域对应各个类别的分数和修正参数，最后使用Softmax层将分数进行归一化，从而得到候选区域对应各个类别的置信度。
分类回归网络的前两个全连接层fc6、fc7与特征提取网络选用的Image Net预训练模型的前两个全连接层结构相同，训练时需要使用相对应的Image Net预训练模型对全连接层fc6、fc7进行初始化。
S2.4：训练方法
巡视图像识别算法的采用四步交替的训练算法，算法将整个网络分割成图7中虚线框所代表的两个子网：候选区域生成子网和分类回归子网。
如下所示为四步交替的训练方法的具体训练步骤：
①利用ImageNet预训练模型初始化候选区域生成子网的特征提取网络，对候选区域生成子网其余的层采用零均值，标准差为0.01的高斯分布随机初始化，然后对候选区域生成子网进行微调(fine-tune)；训练结束后，保存训练样本对应的候选区域；
②利用ImageNet预训练模型初始化分类回归子网的特征提取网络和分类回归网络前两个全连接层，对分类回归子网其余的层采用零均值，标准差为0.01的高斯分布随机初始化，然后利用步骤一保存的训练样本候选区域对分类回归子网进行微调(至此，候选区域生成网络和分类回归网络仍没有共享特征提取网络)；
③利用步骤二训练出来的网络参数初始化整个网络，保持特征提取网络和分类回归网络参数不变，然后对候选区域生成网络进行微调(至此，候选区域生成网络和分类回归网络开始共享特征提取网络)；
④利用步骤三训练出来的网络参数初始化整个网络，保持特征提取网络和候选区域生成网络参数不变，然后对分类回归网络进行微调。
系统在智能变电站进行了现场实测。图8展示了对未绑扎安全带、未佩戴安全帽的识别结果，图9展示了对吊钩保险装置缺失的违章行为的识别结果。
实施例2：
本公开实施例2提供了一种电力基建施工现场违章识别系统，包括：
数据获取模块，被配置为：获取电力基建施工现场视频帧图像数据；
特征提取模块，被配置为：利用第一神经网络模型对视频帧图像进行设备特征提取，得到设备特征图；
候选区域获取模块，被配置为：根据得到的设备特征图，利用预设候选区域生成网络得到多种尺度和宽高比的特征候选区域；
违章识别模块，被配置为：利用预设分类回归网络，根据得到的设备特征图和特征候选区域，得到设备识别结果，根据设备识别结果进行现场违章判断。
所述系统的工作方法与实施例1提供的电力基建施工现场违章识别方法相同，这里不再赘述。
实施例3：
本公开实施例3提供了一种电力基建施工现场违章管控辅助系统，如图10所示，系统的整体架构分为三个层次：智能视频监控采集终端、智能移动监控平台和远程监控中心。
智能视频监控采集终端部署在基建现场，采用便携式设计，不需要额外增加新的视频监控设备，内部集成了视频数据智能分析单元和视频违章存储单元，其中，所述视频数据智能分析单元用于对视频图像进行视频数据对比分析、违章特征识别、违章确认；所述视频违章存储单元用于对违章结果进行告警、违章日志存储，并通过4G、5G等网络通讯传输单元将视频数据、识别结果与告警信息上传到智能移动监控平台。
智能移动监控平台包括权限管理模块、实时监控模块、违章回查模块、违章考核模块、违章日志统计分析模块。同时，可以将智能移动监控平台中的数据接入到远程监控中心。
所述权限管理模块用于为对作业人员进行身份验证，监督是否存在违规替代作业人员；所述实时监控模块用于为根据获得的智能视频监控采集终端数据，对作业人员的操作步骤和行为进行实时监控；所述违章回查模块用于为对识别的违章操作步骤和行为进行回查，再次进行确认。
远程监控中心具有自动违章识别算法，既可以接收到现场监控设备的告警信息，又能直接调取视频数据进行远程识别，如果在规定时间内，现场违章未消除，远程监控中心可以调取视频进行分析查看并作出相应的响应指示。
基于上述系统的工作方法，包括以下步骤：
现场作业人员布置好智能视频监控采集终端，并利用智能移动监控平台进行权限管理，合法登记身份证后，接收电子操作票，操作过程利用智能视频监控采集终端进行操作过程视频的采集；
利用智能视频监控采集终端实时采集基建施工现场的各类监控摄像头视频数据，集成了实施例1所述的方法，实现视频数据对比分析、违章特征识别、违章确认、违章告警及违章日志存储。
实施例4：
本公开实施例4提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本公开实施例1所述的电力基建施工现场违章识别方法中的步骤。
实施例5：
本公开实施例5提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例1所述的电力基建施工现场违章识别方法中的步骤。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种电力基建施工现场违章识别方法，其特征在于：包括以下步骤：
获取电力基建施工现场视频帧图像数据；
利用第一神经网络模型对视频帧图像进行设备特征提取，得到设备特征图；
根据得到的设备特征图，利用预设候选区域生成网络得到多种尺度和宽高比的特征候选区域；
利用预设分类回归网络，根据得到的设备特征图和特征候选区域，得到设备识别结果，根据设备识别结果进行现场违章判断。
2.如权利要求1所述的电力基建施工现场违章识别方法，其特征在于：
第一神经网络模型为Faster-RCNN神经网络时，预设候选区域生成网络采用卷积神经网络，包括：
使用一个滑动窗口在特征图上进行滑动，将滑动窗口经过的每个位置上的特征映射成一个多维的特征向量；
将每个特征向量输入到两个全连接层当中，一个全连接层用于输出多2N个分数，另一个全连接层用于输出2N个修正参数；
为每个滑动窗口位置定义N个基准矩形框，得到每个滑动窗口位置的修正参数之后，利用修正参数对基准矩形框进行修正，每个基准矩形框分别对应4个修正参数；
每个滑动窗口位置得到N个候选区域，2N个分数为候选区域的评分，每个候选区域对应2个分数，分别代表该候选区域内包含和不包含待测目标的可能性。
3.如权利要求1所述的电力基建施工现场违章识别方法，其特征在于：
分类回归网络以特征图和候选区域为输入，输出候选区域对应各类别的置信度和用于对候选区域进行修正的修正参数，根据置信度判断是否存在违章，包括：
利用ROI pooling层将候选区域所包含的特征池化成大小和形状相同的特征图；
利用两个全连接层对特征图进行特征映射；
再利用两个全连接层分别输出候选区域对应各个类别的分数和修正参数；
利用Softmax层将分数进行归一化，得到候选区域对应各个类别的置信度。
4.如权利要求1所述的电力基建施工现场违章识别方法，其特征在于：
采用四步交替方式进行网络模型的训练，包括：
利用ImageNet预训练模型，初始化候选区域生成子网的特征提取网络，对候选区域生成子网其余的层采用零均值，标准差为0.01的高斯分布随机初始化，然后对候选区域生成子网进行微调，训练结束后，保存训练样本对应的候选区域；
利用ImageNet预训练模型，初始化分类回归子网的特征提取网络和分类回归网络前两个全连接层，对分类回归子网其余的层采用零均值，标准差为0.01的高斯分布随机初始化，然后利用上一步保存的训练样本候选区域对分类回归子网进行微调；
利用上一步训练出来的网络参数初始化整个网络，保持特征提取网络和分类回归网络参数不变，然后对候选区域生成网络进行微调；
利用上一步训练出来的网络参数初始化整个网络，保持特征提取网络和候选区域生成网络参数不变，然后对分类回归网络进行微调。
5.一种电力基建施工现场违章识别系统，其特征在于：包括：
数据获取模块，被配置为：获取电力基建施工现场视频帧图像数据；
特征提取模块，被配置为：利用第一神经网络模型对视频帧图像进行设备特征提取，得到设备特征图；
候选区域获取模块，被配置为：根据得到的设备特征图，利用预设候选区域生成网络得到多种尺度和宽高比的特征候选区域；
违章识别模块，被配置为：利用预设分类回归网络，根据得到的设备特征图和特征候选区域，得到设备识别结果，根据设备识别结果进行现场违章判断。
6.一种电力基建施工现场违章管控辅助系统，其特征在于：包括智能视频监控采集终端、智能移动监控平台和远程监控中心；
智能视频监控采集终端包括视频数据智能分析单元和视频违章存储单元，视频数据智能分析单元用于利用权力要求1-4任一项所述的电力基建施工现场违章识别方法对视频图像进行视频数据对比分析、违章特征识别和违章确认；
视频违章存储单元用于对违章结果进行告警信息和违章日志存储，并通过网络通讯传输单元将视频数据、识别结果与告警信息上传到智能移动监控平台；
智能移动监控平台包括权限管理模块、实时监控模块、违章回查模块、违章考核模块和违章日志统计分析模块，并将智能移动监控平台中的数据上传到远程监控中心进行保存。
7.如权利要求6所述的电力基建施工现场违章管控辅助系统，其特征在于：
远程监控中心直接调取视频数据，执行权利要求1-4任一项所述的电力基建施工现场违章识别方法进行违章远程识别；
或者，
如果在预设时间内，现场违章未消除，远程监控中心调取视频数据，执行权利要求1-4任一项所述的电力基建施工现场违章识别方法进行违章远程识别，并生成响应指令给智能移动监控平台或者外置电子设备；
或者，
权限管理模块用于为对作业人员进行身份验证，监督是否存在违规替代作业人员；
或者，
实时监控模块用于为根据获得的智能视频监控采集终端数据，对作业人员的操作步骤和行为进行实时监控；
或者，
违章回查模块用于为对识别的违章操作步骤和行为进行回查，再次进行确认。
8.一种权利要求6或7所述的电力基建施工现场违章管控辅助系统的工作方法，包括以下步骤：
现场作业人员利用智能移动监控平台接收电子操作票，并在操作前在智能移动监控平台上进行身份验证，操作过程利用智能视频监控采集终端进行操作过程视频的采集；
智能视频监控采集终端实时采集基建施工现场的各类监控摄像头视频数据，进行视频数据的对比分析、违章特征识别、违章确认、违章告警及违章日志存储，实现作业全过程的智能安全监控；
智能视频监控采集终端实时将视频数据、识别结果与告警信息上传到智能移动监控平台，智能移动监控平台实时将数据上传到远程监控中心。
9.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-4任一项所述的电力基建施工现场违章识别方法中的步骤。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4任一项所述的电力基建施工现场违章识别方法中的步骤。
CN202011601491.7A 2020-12-29 2020-12-29 一种电力基建施工现场违章识别方法及系统 Pending CN112613454A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011601491.7A CN112613454A (zh) 2020-12-29 2020-12-29 一种电力基建施工现场违章识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011601491.7A CN112613454A (zh) 2020-12-29 2020-12-29 一种电力基建施工现场违章识别方法及系统

Publications (1)

Publication Number Publication Date
CN112613454A true CN112613454A (zh) 2021-04-06

Family

ID=75249057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011601491.7A Pending CN112613454A (zh) 2020-12-29 2020-12-29 一种电力基建施工现场违章识别方法及系统

Country Status (1)

Country Link
CN (1) CN112613454A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052125A (zh) * 2021-04-09 2021-06-29 内蒙古科电数据服务有限公司 一种施工现场违章图像识别告警方法
CN113469950A (zh) * 2021-06-08 2021-10-01 海南电网有限责任公司电力科学研究院 一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法
CN113762229A (zh) * 2021-11-10 2021-12-07 山东天亚达新材料科技有限公司 一种建筑场地内建筑器材的智能识别方法及系统
CN113792642A (zh) * 2021-09-08 2021-12-14 江苏省工程勘测研究院有限责任公司 一种基于智能化技术的河湖生态治理数据处理方法及系统
CN114973684A (zh) * 2022-07-25 2022-08-30 深圳联和智慧科技有限公司 一种建筑工地定点监控方法及系统
CN115454138A (zh) * 2022-10-11 2022-12-09 众芯汉创（北京）科技有限公司 一种基于无人机图像识别技术的施工违章判定方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107666594A (zh) * 2017-09-18 2018-02-06 广东电网有限责任公司东莞供电局 一种视频监控实时监测违章作业的方法
CN108052881A (zh) * 2017-11-30 2018-05-18 华中科技大学 一种实时检测施工现场图像中多类实体对象的方法及设备
CN110674772A (zh) * 2019-09-29 2020-01-10 国家电网有限公司技术学院分公司 电力作业现场智能安全管控辅助系统及方法
CN110738127A (zh) * 2019-09-19 2020-01-31 福建师范大学福清分校 基于无监督深度学习神经网络算法的安全帽识别方法
CN110769195A (zh) * 2019-10-14 2020-02-07 国网河北省电力有限公司衡水供电分公司 输电线路施工现场违章智能监控识别系统
CN110826514A (zh) * 2019-11-13 2020-02-21 国网青海省电力公司海东供电公司 一种基于深度学习的施工现场违章智能识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107666594A (zh) * 2017-09-18 2018-02-06 广东电网有限责任公司东莞供电局 一种视频监控实时监测违章作业的方法
CN108052881A (zh) * 2017-11-30 2018-05-18 华中科技大学 一种实时检测施工现场图像中多类实体对象的方法及设备
CN110738127A (zh) * 2019-09-19 2020-01-31 福建师范大学福清分校 基于无监督深度学习神经网络算法的安全帽识别方法
CN110674772A (zh) * 2019-09-29 2020-01-10 国家电网有限公司技术学院分公司 电力作业现场智能安全管控辅助系统及方法
CN110769195A (zh) * 2019-10-14 2020-02-07 国网河北省电力有限公司衡水供电分公司 输电线路施工现场违章智能监控识别系统
CN110826514A (zh) * 2019-11-13 2020-02-21 国网青海省电力公司海东供电公司 一种基于深度学习的施工现场违章智能识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHAOQING REN 等: "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", 《ARXIV》 *
YANKEEWANN: "基于ZF网络的Faster RCNN网络结构详解（非常详细版）", 《HTTPS://BLOG.CSDN.NET/SEVEN_YEAR_PROMISE/ARTICLE/DETAILS/60954553》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052125A (zh) * 2021-04-09 2021-06-29 内蒙古科电数据服务有限公司 一种施工现场违章图像识别告警方法
CN113052125B (zh) * 2021-04-09 2022-10-28 内蒙古科电数据服务有限公司 一种施工现场违章图像识别告警方法
CN113469950A (zh) * 2021-06-08 2021-10-01 海南电网有限责任公司电力科学研究院 一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法
CN113792642A (zh) * 2021-09-08 2021-12-14 江苏省工程勘测研究院有限责任公司 一种基于智能化技术的河湖生态治理数据处理方法及系统
CN113762229A (zh) * 2021-11-10 2021-12-07 山东天亚达新材料科技有限公司 一种建筑场地内建筑器材的智能识别方法及系统
CN114973684A (zh) * 2022-07-25 2022-08-30 深圳联和智慧科技有限公司 一种建筑工地定点监控方法及系统
CN114973684B (zh) * 2022-07-25 2022-10-14 深圳联和智慧科技有限公司 一种建筑工地定点监控方法及系统
CN115454138A (zh) * 2022-10-11 2022-12-09 众芯汉创（北京）科技有限公司 一种基于无人机图像识别技术的施工违章判定方法和系统
CN115454138B (zh) * 2022-10-11 2023-04-18 众芯汉创（北京）科技有限公司 一种基于无人机图像识别技术的施工违章判定方法和系统

Similar Documents

Publication Publication Date Title
CN112613454A (zh) 一种电力基建施工现场违章识别方法及系统
CN110399905B (zh) 施工场景中安全帽佩戴情况的检测及描述方法
WO2021000524A1 (zh) 孔位保护门检测方法、装置、计算机设备和存储介质
CN109858367B (zh) 工人通过支撑不安全行为的视觉自动化检测方法及系统
CN110826514A (zh) 一种基于深度学习的施工现场违章智能识别方法
CN109635875A (zh) 一种基于深度学习的端到端网口检测方法
CN111598040A (zh) 一种建筑工人身份识别及安全帽佩戴检测方法及系统
CN109580004A (zh) 一种温度检测方法及装置
CN111401418A (zh) 一种基于改进Faster r-cnn的员工着装规范检测方法
CN116188475B (zh) 一种外观缺陷自动光学检测的智慧控制方法、系统及介质
CN103034838A (zh) 一种基于图像特征的特种车辆仪表类型识别与标定方法
CN106846313A (zh) 工件表面缺陷检测方法和装置
CN110909657A (zh) 一种隧道表观病害图像识别的方法
CN111209958A (zh) 基于深度学习的变电站设备检测方法及装置
CN113658174A (zh) 基于深度学习和图像处理算法的微核组学图像检测方法
CN110057820B (zh) 在线检测氯化氢合成炉氯氢配比的方法、系统及存储介质
CN115171045A (zh) 一种基于yolo的电网作业现场违章识别方法及终端
CN116311081B (zh) 一种基于图像识别的医学实验室监控图像分析方法和系统
CN116310842B (zh) 基于遥感图像的土壤盐碱区域识别划分方法
CN116884192A (zh) 一种电力生产作业风险预警方法、系统和设备
CN115965625A (zh) 一种基于视觉识别的仪表检测装置及其检测方法
CN115995056A (zh) 一种基于深度学习的桥梁病害自动识别方法
CN116416523A (zh) 一种基于机器学习的水稻生长阶段的识别系统和方法
CN113591508B (zh) 基于人工智能目标识别的条码解码方法、装置及存储介质
CN115273009A (zh) 基于深度学习的道路裂纹检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination