CN111428617A - 一种基于视频图像的配网违规检修行为的识别方法和系统 - Google Patents
一种基于视频图像的配网违规检修行为的识别方法和系统 Download PDFInfo
- Publication number
- CN111428617A CN111428617A CN202010201224.4A CN202010201224A CN111428617A CN 111428617 A CN111428617 A CN 111428617A CN 202010201224 A CN202010201224 A CN 202010201224A CN 111428617 A CN111428617 A CN 111428617A
- Authority
- CN
- China
- Prior art keywords
- video image
- overhaul
- intelligent
- image data
- analysis server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012423 maintenance Methods 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000006399 behavior Effects 0.000 claims abstract description 156
- 238000010191 image analysis Methods 0.000 claims abstract description 112
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 46
- 238000004458 analytical method Methods 0.000 claims abstract description 21
- 239000013598 vector Substances 0.000 claims description 38
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 8
- 230000033228 biological regulation Effects 0.000 claims description 6
- 238000009434 installation Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- HSFWRNGVRCDJHI-UHFFFAOYSA-N alpha-acetylene Natural products C#C HSFWRNGVRCDJHI-UHFFFAOYSA-N 0.000 claims description 5
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 5
- 230000004888 barrier function Effects 0.000 claims description 5
- 125000002534 ethynyl group Chemical group [H]C#C* 0.000 claims description 5
- 229910052760 oxygen Inorganic materials 0.000 claims description 5
- 239000001301 oxygen Substances 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000007635 classification algorithm Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 6
- 238000003384 imaging method Methods 0.000 abstract description 2
- 230000002349 favourable effect Effects 0.000 abstract 2
- 238000010586 diagram Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Economics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Alarm Systems (AREA)
Abstract
本发明实施例公开了一种基于视频图像的配网违规检修行为的识别方法和系统。该方法包括：可移动设备实时获取检修现场的视频图像数据，并将视频图像数据发送至智能图像分析服务器；智能图像分析服务器采用图像智能分析算法对视频图像数据进行识别，并判断是否存在预设违规检修行为；若判定存在预设违规检修行为，则智能图像分析服务器发送报警信息至安全监督管理平台。本发明实施例提供的技术方案能够实现配网检修过程的实时监控和违规检修行为的主动预警，有利于提高配网检修过程中工作人员的安全保障和设备的安全性，同时有利于实现对违规检修行为进行规范化管理。
Description
技术领域
本发明实施例涉及图像识别技术领域，尤其涉及一种基于视频图像的配网违规检修行为的识别方法和系统。
背景技术
配网的检修工作是保证变电站正常使用的基础。由于配网的工作强度较大，在检修工作中容易出现较多的问题，因此，在检修过程中遵守电力安全规章制度具有重大的意义。
当前配网设备的维护作业方式大部分为人工维护作业，由于配网检修人员的违规检修行为在电力行业生产工作中一直广泛存在，面对安全意识薄弱的作业者，运行值班人员无法全程现场监督，以此而引发的各类事故也占有较大比重。现行防范配网违规检修行为，主要是从管工作现场，管作业人员入手，强调安全规范，进行安全监督，然而由于人力调用的限制以及安全规范强调无法很好地降低人员违规检修行为。
发明内容
本发明实施例提供一种基于视频图像的配网违规检修行为的识别方法和系统，以对检修工作人员进行有效监督，有利于提高工作人员的安全性。
第一方面，本发明实施例提供了一种基于视频图像的配网违规检修行为的识别方法，包括：
可移动设备实时获取检修现场的视频图像数据，并将所述视频图像数据发送至智能图像分析服务器；
所述智能图像分析服务器采用图像智能分析算法对所述视频图像数据进行识别，并判断是否存在预设违规检修行为；
若判定存在所述预设违规检修行为，则所述智能图像分析服务器发送报警信息至安全监督管理平台。
可选的，所述智能图像分析服务器采用图像智能分析算法对所述视频图像数据进行识别，并判断是否存在预设违规检修行为包括：
所述智能图像分析服务器采用SSD网络模型算法实时识别所述视频图像数据中是否存在预设违规检修行为，其中，所述预设违规检修行为包括工作人员未按要求着装、未经许可动火行为和超范围工作行为。
可选的，所述智能图像分析服务器采用SSD网络模型算法实时识别所述视频图像数据中是否存在预设违规检修行为包括：
所述智能图像分析服务器采集所述视频图像数据的每一帧视频数据，并对所述视频数据进行密集抽样；
所述智能图像分析服务器采用候选框对所述密集抽样后的视频数据进行特征提取，以确定所述视频图像数据中是否存在预设违规检修行为。
可选的，所述智能图像分析服务器采用图像智能分析算法对所述视频图像数据进行识别，并判断是否存在预设违规检修行为还包括：
所述智能图像分析服务器采用身份识别算法识别所述视频图像数据中是否存在预设违规检修行为，其中，所述预设违规检修行为包括工作人员的身份不匹配以及工作负责人未在检修现场。
可选的，所述智能图像分析服务器采用图像智能分析算法对所述视频图像数据进行识别，并判断是否存在预设违规检修行为还包括：
所述智能图像分析服务器采用深度卷积神经网络算法识别所述视频图像数据中是否存在预设违规检修行为，所述预设违规检修行为包括在工作过程中改变接地线装设点、移动安全遮拦和违规拆除指示牌。
可选的，所述智能图像分析服务器采用深度卷积神经网络算法识别所述视频图像数据中是否存在预设违规检修行为包括：
所述智能图像分析服务器通过卷积层识别所述视频图像数据，并输出第一特征向量；
所述智能图像分析服务器通过池化层识别所述第一特征向量，输出第二特征向量；
所述智能图像分析服务器将所述视频图像数据中所有的第二特征向量进行汇总、分类，输出识别结果，并根据所述识别结果判定所述视频图像数据中是否存在预设违规检修行为。
可选的，所述智能图像分析服务器采用图像智能分析算法对所述视频图像数据进行识别，并判断是否存在预设违规检修行为还包括：
所述智能图像分析服务器通过分类算法识别所述视频图像数据中是否存在预设违规检修行为，所述预设违规检修行为包括工作现场无灭火器、氧气瓶和/或乙炔瓶。
第二方面，本发明实施例还提供了一种基于视频图像的配网违规检修行为的识别系统，该系统包括：
可移动设备，用于实时获取检修现场的视频图像数据，并将所述视频图像数据发送至智能图像分析服务器；
智能图像分析服务器，用于采用图像智能分析算法对所述视频图像数据进行识别，并判断是否存在预设违规检修行为；
若判定存在所述预设违规检修行为，则所述智能图像分析服务器发送报警信息至安全监督管理平台。
可选的，所述可移动设备包括移动机器人。
可选的，所述可移动设备上搭载高清摄像机。
本发明实施例通过可移动设备实时获取检修现场的视频图像数据，并将视频图像发送至智能图像分析服务器，智能图像分析服务器采用智能分析算法对检修工作人员在检修过程中的违规检修行为进行识别，若识别出工作人员存在违规检修行为，则智能图像分析服务器发送报警信息至安全监督管理平台，实现主动报警。本发明实施例提供的技术方案，基于可移动设备以及智能图像分析服务器对工作人员的违规检修行为进行识别，能够实现配网检修过程的实时监控和违规检修行为的主动预警，有利于提高配网检修过程中工作人员的安全保障和设备的安全性，同时有利于实现对违规检修行为进行规范化管理。
附图说明
图1为本发明实施例一提供的一种基于视频图像的配网违规检修行为的识别方法的流程图；
图2为本发明实施例二提供的一种基于视频图像的配网违规检修行为的识别方法的流程图；
图3为本发明实施例二提供的一种智能图像分析服务器采用SSD网络模型算法实时识别视频图像数据中是否存在预设违规检修行为的具体方法的流程图；
图4为本发明实施例三提供的一种基于视频图像的配网违规检修行为的识别方法的流程图；
图5为本发明实施例四提供的一种基于视频图像的配网违规检修行为的识别方法的流程图；
图6为本发明实施例四提供的一种智能图像分析服务器采用深度卷积神经网络算法识别视频图像数据中是否存在预设违规检修行为的具体方法的流程图；
图7为本发明实施例五提供的一种基于视频图像的配网违规检修行为的识别方法的流程图；
图8为本发明实施例六提供的一种基于视频图像的配网违规检修行为的识别系统的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种基于视频图像的配网违规检修行为的识别方法的流程图，该方法可以由基于视频图像的配网违规检修行为的识别装置来执行，该装置可以由硬件和/或软件实现。典型地，该装置可以配置在服务器端，用于对检修工作过程中工作人员的违规检修行为进行识别。参考图1，本发明实施例提供的基于视频图像的配网违规检修行为的识别方法包括：
步骤110、可移动设备实时获取检修现场的视频图像数据，并将视频图像数据发送至智能图像分析服务器。
具体地，配网设备检修时保证配网正常运行的主要手段，能够确保电力系统的安全性和可靠性。在实际检修工作中，通常是由工作人员进行现场检修，一般情况下检修现场的范围比较大，采用人工的方式不能对检修工作人员的实时有效监督。可移动设备具有较高的灵活性，通过可移动设备对检修现场进行摄像，以获取检修现场的视频图像数据，视频图像数据包括检修工作人员的行为举止和现场设备状态等数据。例如，可移动设备可以是可移动机器人等能够灵活移动的设备，可移动设备通过搭载高清摄像机，能够实时获取到检修现场的视频图像数据，并将获取到的视频图像数据发送至智能图像分析服务器，以供智能图像分析服务器对视频数据进行分析识别。智能图像分析服务器可以设置在可移动设备中，也可以设置在监控端，
步骤120、智能图像分析服务器采用图像智能分析算法对视频图像数据进行识别，并判断是否存在预设违规检修行为。
具体地，智能图像分析服务器能够实时捕捉可移动设备发送的视频图像，自动分析视频图像数据的内容，能够检测视频图像中的目标，将目标的行为状态与预设检修行为进行比较，对拍摄区域内的视频周界不明人员的闯入、设备移动或丢失等行为进行主动预警。其中，预设违规检修行为可以包括违反电力安全工作规程的一系列行为，如：检修工作人员未佩戴安全帽、工作负责人未在检修现场、在工作过程中改变接地线装设点、移动安全遮拦以及工作现场无灭火器等。智能图像分析服务器可以根据不同类型的预设违规检修行为采用相应的图像智能分析算法进行识别，以提高智能图像分析服务器的识别效率。智能图像分析服务器接收到可移动设备采集到的检修现场的视频图像数据后，采用智能分析算法对视频图像数据进行识别，视频图像数据可以包括视频图像中工作人员和现场设备的状态。智能图像分析服务器根据识别出的视频图像数据结合电力安全工作规程对视频图像中的预设违规检修行为进行判断，以确定实时获取到的视频图像数据中是否存在预设违规检修行为。
步骤130、若判定存在预设违规检修行为，则智能图像分析服务器发送报警信息至安全监督管理平台。
具体地，智能图像分析服务器对获取到的视频图像数据进行识别后，通过与电力安全工作规程进行比较，若确定获取到的视频图像数据中存在预设违规检修行为，则智能图像分析服务器相安全监督管理平台发送报警信息，以实现对检修现场的实时监督，同时还可以将报警信息发送至相关检修工作人员，提醒检修工作人员存在预设违规检修行为，有利于保障配网检修过程中的人身安全和设备财产安全。示例性的，在实际检修过程中，可移动设备实时拍摄检修现场的视频图像，并将获取到的视频图像数据发送至智能图像分析服务器，智能图像分析服务器通过智能分析算法对视频图像数据进行识别，若在视频图像数据中识别到检修工作人员未佩戴安全帽，则智能图像分析服务器向安全监督管理平台发送报警信息，并提醒工作人员未佩戴安全帽。
本发明实施例通过可移动设备实时获取检修现场的视频图像数据，并将视频图像发送至智能图像分析服务器，智能图像分析服务器采用智能分析算法对检修工作人员在检修过程中的违规检修行为进行识别，若识别出工作人员存在违规检修行为，则智能图像分析服务器发送报警信息至安全监督管理平台，实现主动报警。本发明实施例提供的技术方案，基于可移动设备以及智能图像分析服务器对工作人员的违规检修行为进行识别，能够实现配网检修过程的实时监控和违规检修行为的主动预警，有利于提高配网检修过程中工作人员的安全保障和设备的安全性，同时有利于实现对违规检修行为进行规范化管理。
实施例二
图2为本发明实施例二提供的一种基于视频图像的配网违规检修行为的识别方法的流程图。在上述实施例的基础上，参考图2，本发明实施例提供的基于视频图像的配网违规检修行为的识别方法包括：
步骤210、可移动设备实时获取检修现场的视频图像数据，并将视频图像数据发送至智能图像分析服务器。
步骤220、智能图像分析服务器采用SSD网络模型算法实时识别视频图像数据中是否存在预设违规检修行为，其中，预设违规检修行为包括工作人员未按要求着装、未经许可动火行为和超范围工作行为。
具体地，SSD网络模型算法以VGG16网络结构作为基础，是一种使用单个深度神经网络来检测图像中的对象的方法，基于前馈卷积网络，使用应用于特征图的小卷积核进行特征提取，然后进行非极大值抑制得到最终的检测结果。智能图像分析服务器针对接收到的视频图像数据进行不同尺度的特征图提取，其中小尺度的特征图用来检测识别视频图像数据中的较大目标，而大尺度的特征图用来检测识别视频图像数据中较小的目标。得到特征图后，采用卷积层对特征图进行特征提取，此时，仅需要采用小卷积核就能提取到相应的特征，能够快速识别出结果，且识别精度高。预设违规检修行为包括工作人员未按要求着装、未经许可动火行为和超范围工作行为，其中工作人员未按要求着装包括工作人员未佩戴安全帽、穿短袖短裤或袖口裤管扎起的行为等。示例性的，如需识别视频图像数据中的工作人员是否佩戴安全帽，则通过不同尺度的候选框对视频图像数据进行特征图提取，使用小卷积核在特征图上进行特征提取，如提取工作人员、安全帽等特征。提取到的特征经分类器分类识别后，每一个小卷积核所提取到的特征都会形成一个分数，通过非极大值抑制的方法抑制分数最高的小卷积核和分数最低的小卷积核提取的特征，以得到工作人员是否佩戴安全帽的数据。
步骤230、若判定存在预设违规检修行为，则智能图像分析服务器发送报警信息至安全监督管理平台。
可选的，图3为本发明实施例二提供的一种智能图像分析服务器采用SSD网络模型算法实时识别视频图像数据中是否存在预设违规检修行为的具体方法的流程图，在上述实施例的基础上，参考图3，步骤220具体包括：
步骤221、智能图像分析服务器采集视频图像数据的每一帧视频数据，并对视频数据进行密集抽样。
具体地，可移动设备获取到检修现场的视频图像数据后，将获取到的视频图像数据发送到智能图像分析服务器上，智能图像分析服务器采集接收到的视频图像数据的每一帧视频数据，在每一帧的视频数据的候选区域内通过VGG16网络架构的卷积层提取视频数据中的特征向量，多个卷积层提取出的多个特征向量构成特征图，该特征图的大小与特征向量的空间排列以及卷积层的数量有关。然后采用预定大小的滑动窗口(小卷积核)在特征图上进行密集滑动，得到与滑动窗口同样大小的特征向量，则与滑动窗口同样大小的特征向量就可以预测候选区域内特征向量的位置。示例性的，采用VGG16网络架构的前5个卷积层从采集到的视频数据中提取2*1大小的特征向量，则形成的特征图的大小为2*1*5，再通过3*3*5大小的滑动窗口在特征图上进行密集滑动，每次密集滑动都会得到3*3*5大小的特征向量，即可通过多个3*3*5的特征向量在候选区确定出整个特征的具体位置。
步骤222、智能图像分析服务器采用候选框对密集抽样后的视频数据进行特征提取，以确定视频图像数据中是否存在预设违规检修行为。
具体地，得到多个与滑动窗口同样大小的特征向量后，将多个与滑动窗口同样大小的特征向量进行训练，选取一定长宽比例的候选框对训练后的特征向量进行拼接组合，以提取出最终的视频图像数据。然后，智能图像分析服务器根据识别出的视频图像数据与电力安全规程进行比较，以确定获取到的视频图像数据中是否存在预设违规检修行为。
本发明实施例通过可移动设备实时获取检修现场的视频图像数据，并将视频图像发送至智能图像分析服务器，智能图像分析服务器采用SSD网络模型算法对检修工作人员在检修过程中出现的未佩戴安全帽、穿短袖短裤或袖口裤管扎起、未经许可动火和超范围工作等行为进行识别，若识别出工作人员存在预设违规检修行为，则智能图像分析服务器发送报警信息至安全监督管理平台，实现主动报警。本发明实施例提供的技术方案，基于可移动设备以及智能图像分析服务器对工作人员的违规检修行为进行识别，能够实现配网检修过程的实时监控和违规检修行为的主动预警，有利于提高配网检修过程中工作人员的安全保障和设备的安全性，同时有利于实现对违规检修行为进行规范化管理。
实施例三
图4为本发明实施例三提供的一种基于视频图像的配网违规检修行为的识别方法的流程图。在上述实施例的基础上，参考图4，本发明实施例提供的基于视频图像的配网违规检修行为的识别方法包括：
步骤310、可移动设备实时获取检修现场的视频图像数据，并将视频图像数据发送至智能图像分析服务器。
步骤320、智能图像分析服务器采用身份识别算法识别视频图像数据中是否存在预设违规检修行为，其中，违规检修行为包括工作人员的身份不匹配以及工作负责人未在检修现场。
具体地，针对检修工作人员的身份不匹配以及工作负责人未在检修现场的预设违规检修行为，可以直接采用身份识别算法对获取到的视频图像数据进行识别。示例性的，可以采用人脸识别技术对检修现场的工作人员进行身份认证，通过采集工作人员的面部特征信息，并与存储在智能图像分析服务器上样本库的人员脸部图像进行比对，从而确定检修现场工作人员的身份。同时还可以识别出相关检修负责人是否在检修现场。
步骤330、若判定存在预设违规检修行为，则智能图像分析服务器发送报警信息至安全监督管理平台。
实施例四
图5为本发明实施例四提供的一种基于视频图像的配网违规检修行为的识别方法的流程图。在上述实施例的基础上，参考图5，本发明实施例提供的基于视频图像的配网违规检修行为的识别方法包括：
步骤410、可移动设备实时获取检修现场的视频图像数据，并将视频图像数据发送至智能图像分析服务器。
步骤420、智能图像分析服务器采用深度卷积神经网络算法识别视频图像数据中是否存在预设违规检修行为，预设违规检修行为包括在工作过程中改变接地线装设点、移动安全遮拦和违规拆除指示牌。
具体地，在配网实际检修过程中，检修现场的环境通常比较复杂，可移动设备获取到的视频图像数据存在很大的背景干扰。检修工作人员在检修现场的一些细小行为可能无法被准确识别出来，如在工作过程中改变接地线装设点。深度卷积神经网络算法是一种多阶段全局可训练的人工神经网络模型，可以经过少量的预处理，甚至是在原始视频图像数据中学习到高阶特征。通过深度卷积神经网络算法能够识别出获取到的视频图像中检修工作人员在检修过程中改变接地线装设点、移动安全遮拦和违规拆除指示牌等预设违规检修行为。
步骤430、若判定存在预设违规检修行为，则智能图像分析服务器发送报警信息至安全监督管理平台。
可选的，图6为本发明实施例四提供的一种智能图像分析服务器采用深度卷积神经网络算法识别视频图像数据中是否存在预设违规检修行为的具体方法的流程图。在上述实施例的基础上，参考图6，步骤420具体包括：
步骤421、智能图像分析服务器通过卷积层识别视频图像数据，并输出第一特征向量。
具体地，可移动设备获取到检修现场的视频图像数据后，将视频图像数据发送至智能图像分析服务器进行识别，智能图像分析服务器采用深度卷积神经网络算法识别获取到的视频图像数据中是否存在预设违规检修行为。卷积层是特征提取层，用来从获取到的视频图像数据中提取第一特征向量，第一特征向量为卷积层通过卷积核得到视频图像数据中的局部小区域的特征。示例性的，在获取到的视频图像数据中预设候选区域，假设候选区域为5*5的图像，通过采用一个3*3的卷积核在5*5的图像进行密集抽样，得到3*3的卷积结果，该卷积结果就是第一特征向量。当然可以通过设置多个卷积核，得到视频图像数据中部位的局部特征。其中，得到的第一特征向量能够描述视频图像数据中的底层特征，若检修工作人员的边缘轮廓。
步骤422、智能图像分析服务器通过池化层识别第一特征向量，输出第二特征向量。
具体地，通过卷积层得到第一特征向量后，有池化层对第一特征向量进行下采样，能够有效降低第一特征向量的维度，避免过拟合的现象。池化层为特征映射层，用于降低视频图像数据的维度。在第一特征向量的基础上，得到的第二特征向量仍然能够描述获取到的图像视频数据。
步骤423、智能图像分析服务器将视频图像数据中所有的第二特征向量进行汇总、分类，输出识别结果，并根据所述识别结果判定所述视频图像数据中是否存在预设违规检修行为。
具体地，将得到的第二特征向量再次进行卷积、下采样，将不同特征的底层进行组合，得到更上一层的高级特征，最终通过构造多层的神经网络得到多个层级的组合，输出获取到的视频图像数据的结果。例如，经过多个卷积核卷积出的第一特征向量能够描述的视频图像包括工作人员、变压器以及周围设备，则通过池化层进行第一特征向量映射后输出第二特征向量，多个第二特征向量描述的视频图像包括工作人员和接地点的位置。则智能图像分析服务器通过接地点的位置就可以识别出所获取到的视频图像数据中心检修工作人员是否将接地线的位置更改了，然后智能图像分析服务器通过比对电力安全规程，以确定获取到的视频图像数据中检修工作人员是否存在预设违规检修行为。
本发明实施例提供的技术方案能够在复杂的环境背景下，通过深度卷积神经网络算法对智能图像分析服务器接收到的视频图像数据进行识别，经过少量的预处理就可以学习到视频图像中的高阶特征，减少了智能图像分析服务器的计算量，从而有利于快速识别出视频图像数据中的预设违规检修行为。
实施例五
图7为本发明实施例五提供的一种基于视频图像的配网违规检修行为的识别方法的流程图。在上述实施例的基础上，参考图7，本发明实施例提供的基于视频图像的配网违规检修行为的识别方法包括：
步骤510、可移动设备实时获取检修现场的视频图像数据，并将视频图像数据发送至智能图像分析服务器。
步骤520、智能图像分析服务器通过分类算法识别视频图像数据中是否存在预设违规检修行为，预设违规检修行为包括工作现场无灭火器、氧气瓶和/或乙炔瓶。
具体地，在实际检修现场需要设置灭火器来预防火灾，设置氧气瓶和/或乙炔瓶用来焊接金属，且灭火器等装置一般设置在较为明显的地方，因此，可以通过简单的图像分类算法就能直接识别出获取到的视频图像数据中是否存在无灭火器、氧气瓶和/或乙炔瓶等预设违规检修行为，能够减少算法的运行时间。
步骤530、若判定存在预设违规检修行为，则智能图像分析服务器发送报警信息至安全监督管理平台。
本发明实施例通过可移动设备实时获取检修现场的视频图像数据，并将视频图像发送至智能图像分析服务器，智能图像分析服务器采用智能分析算法对检修工作人员在检修过程中的违规检修行为进行识别，若识别出工作人员存在违规检修行为，则智能图像分析服务器发送报警信息至安全监督管理平台，实现主动报警。本发明实施例提供的技术方案，基于可移动设备以及智能图像分析服务器对工作人员的违规检修行为进行识别，能够实现配网检修过程的实时监控和违规检修行为的主动预警，有利于提高配网检修过程中工作人员的安全保障和设备的安全性，同时有利于实现对违规检修行为进行规范化管理。
实施例六
图8为本发明实施例六提供的一种基于视频图像的配网违规检修行为的识别系统的结构示意图。在上述实施例的基础上，参考图8，本发明实施例提供的基于视频图像的配网违规检修行为的识别系统包括：
可移动设备81，用于实时获取检修现场的视频图像数据，并将视频图像数据发送至智能图像分析服务器；
智能图像分析服务器82，用于采用图像智能分析算法对视频图像数据进行识别，并判断是否存在预设违规检修行为；
若判定存在预设违规检修行为，则智能图像分析服务器发送报警信息至安全监督管理平台。
具体地，本发明实施例提供的基于视频图像的配网违规检修行为的识别系统能够执行上述任意实施例所提供的基于视频图像的配网违规检修行为的识别方法，因此本实施例提供的基于视频图像的配网违规检修行为的识别系统具备上述实施例中所描述的有益效果。
可选的，在上述实施例的基础上，所述可移动设备包括移动机器人，但不限制与移动机器人，在其他实施例中还可以为无人机。在可移动设备上搭载高清摄像机，能够实时对检修现场进行拍摄，以实时获取视频图像数据。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种基于视频图像的配网违规检修行为的识别方法，其特征在于，包括：
可移动设备实时获取检修现场的视频图像数据，并将所述视频图像数据发送至智能图像分析服务器；
所述智能图像分析服务器采用图像智能分析算法对所述视频图像数据进行识别，并判断是否存在预设违规检修行为；
若判定存在所述预设违规检修行为，则所述智能图像分析服务器发送报警信息至安全监督管理平台。
2.根据权利要求1所述的基于视频图像的配网违规检修行为的识别方法，其特征在于，所述智能图像分析服务器采用图像智能分析算法对所述视频图像数据进行识别，并判断是否存在预设违规检修行为包括：
所述智能图像分析服务器采用SSD网络模型算法实时识别所述视频图像数据中是否存在预设违规检修行为，其中，所述预设违规检修行为包括工作人员未按要求着装、未经许可动火行为和超范围工作行为。
3.根据权利要求2所述的基于视频图像的配网违规检修行为的识别方法，其特征在于，所述智能图像分析服务器采用SSD网络模型算法实时识别所述视频图像数据中是否存在预设违规检修行为包括：
所述智能图像分析服务器采集所述视频图像数据的每一帧视频数据，并对所述视频数据进行密集抽样；
所述智能图像分析服务器采用候选框对所述密集抽样后的视频数据进行特征提取，以确定所述视频图像数据中是否存在预设违规检修行为。
4.根据权利要求1所述的基于视频图像的配网违规检修行为的识别方法，其特征在于，所述智能图像分析服务器采用图像智能分析算法对所述视频图像数据进行识别，并判断是否存在预设违规检修行为还包括：
所述智能图像分析服务器采用身份识别算法识别所述视频图像数据中是否存在预设违规检修行为，其中，所述违规检修行为包括工作人员的身份不匹配以及工作负责人未在检修现场。
5.根据权利要求1所述的基于视频图像的配网违规检修行为的识别方法，其特征在于，所述智能图像分析服务器采用图像智能分析算法对所述视频图像数据进行识别，并判断是否存在预设违规检修行为还包括：
所述智能图像分析服务器采用深度卷积神经网络算法识别所述视频图像数据中是否存在预设违规检修行为，所述预设违规检修行为包括在工作过程中改变接地线装设点、移动安全遮拦和违规拆除指示牌。
6.根据权利要求5所述的基于视频图像的配网违规检修行为的识别方法，其特征在于，所述智能图像分析服务器采用深度卷积神经网络算法识别所述视频图像数据中是否存在预设违规检修行为包括：
所述智能图像分析服务器通过卷积层识别所述视频图像数据，并输出第一特征向量；
所述智能图像分析服务器通过池化层识别所述第一特征向量，输出第二特征向量；
所述智能图像分析服务器将所述视频图像数据中所有的第二特征向量进行汇总、分类，输出识别结果，并根据所述识别结果判定所述视频图像数据中是否存在预设违规检修行为。
7.根据权利要求1所述的基于视频图像的配网违规检修行为的识别方法，其特征在于，所述智能图像分析服务器采用图像智能分析算法对所述视频图像数据进行识别，并判断是否存在预设违规检修行为还包括：
所述智能图像分析服务器通过分类算法识别所述视频图像数据中是否存在预设违规检修行为，所述预设违规检修行为包括工作现场无灭火器、氧气瓶和/或乙炔瓶。
8.一种基于视频图像的配网违规检修行为的识别系统，其特征在于，包括：
可移动设备，用于实时获取检修现场的视频图像数据，并将所述视频图像数据发送至智能图像分析服务器；
智能图像分析服务器，用于采用图像智能分析算法对所述视频图像数据进行识别，并判断是否存在预设违规检修行为；
若判定存在所述预设违规检修行为，则所述智能图像分析服务器发送报警信息至安全监督管理平台。
9.根据权利要求8所述的基于视频图像的配网违规检修行为的识别系统，其特征在于，所述可移动设备包括移动机器人。
10.根据权利要求8所述的基于视频图像的配网违规检修行为的识别系统，其特征在于，所述可移动设备上搭载高清摄像机。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010201224.4A CN111428617A (zh) | 2020-03-20 | 2020-03-20 | 一种基于视频图像的配网违规检修行为的识别方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010201224.4A CN111428617A (zh) | 2020-03-20 | 2020-03-20 | 一种基于视频图像的配网违规检修行为的识别方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111428617A true CN111428617A (zh) | 2020-07-17 |
Family
ID=71548317
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010201224.4A Pending CN111428617A (zh) | 2020-03-20 | 2020-03-20 | 一种基于视频图像的配网违规检修行为的识别方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111428617A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111860419A (zh) * | 2020-07-29 | 2020-10-30 | 广东智媒云图科技股份有限公司 | 电力检修过程中合规检测的方法、电子设备及存储介质 |
| CN112215567A (zh) * | 2020-09-28 | 2021-01-12 | 上海鸢安智能科技有限公司 | 生产流程合规检查方法及系统、存储介质及终端 |
| CN112418717A (zh) * | 2020-12-07 | 2021-02-26 | 国网山东省电力公司经济技术研究院 | 基于人工智能的工程现场人员行为预警方法和系统 |
| CN112419091A (zh) * | 2020-11-26 | 2021-02-26 | 武汉大学 | 知识图谱驱动的配电网现场作业视频智能安全管控方法 |
| CN112435003A (zh) * | 2020-11-19 | 2021-03-02 | 康佳集团股份有限公司 | 一种规范操作的控制方法、生产管理平台及存储介质 |
| CN112766129A (zh) * | 2021-01-12 | 2021-05-07 | 云南电网有限责任公司电力科学研究院 | 一种电网工作人员行为实时监测方法及装置 |
| CN112769908A (zh) * | 2020-12-29 | 2021-05-07 | 煤炭科学研究总院 | 协同控制方法、装置及电子设备 |
| CN113887952A (zh) * | 2021-09-30 | 2022-01-04 | 深圳市万睿智能科技有限公司 | 一种智慧工地安全检测管理方法、装置及相关介质 |
| CN114660987A (zh) * | 2022-03-24 | 2022-06-24 | 中煤科工集团重庆智慧城市科技研究院有限公司 | 箱式变电站的远程诊断系统 |
| CN115567690A (zh) * | 2022-09-22 | 2023-01-03 | 国网山东省电力公司莒县供电公司 | 一种自动识别现场作业危险点的智慧监控系统 |
| CN117115755A (zh) * | 2023-10-23 | 2023-11-24 | 科曼智能科技有限公司 | 一种基于图像识别电力作业现场违章监控报警识别系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160109874A1 (en) * | 2014-10-17 | 2016-04-21 | Hydril Usa Distribution, Llc | High Pressure Blowout Preventer System |
| CN107122472A (zh) * | 2017-05-02 | 2017-09-01 | 杭州泰指尚科技有限公司 | 大规模非结构化数据提取方法、其系统、分布式数据管理平台 |
| CN108174165A (zh) * | 2018-01-17 | 2018-06-15 | 重庆览辉信息技术有限公司 | 电力安全作业及运维智能监管系统及方法 |
| CN110599735A (zh) * | 2019-07-31 | 2019-12-20 | 国网浙江省电力有限公司杭州供电公司 | 一种基于变电站作业违章行为智能识别的告警方法 |
-
2020
- 2020-03-20 CN CN202010201224.4A patent/CN111428617A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160109874A1 (en) * | 2014-10-17 | 2016-04-21 | Hydril Usa Distribution, Llc | High Pressure Blowout Preventer System |
| CN107122472A (zh) * | 2017-05-02 | 2017-09-01 | 杭州泰指尚科技有限公司 | 大规模非结构化数据提取方法、其系统、分布式数据管理平台 |
| CN108174165A (zh) * | 2018-01-17 | 2018-06-15 | 重庆览辉信息技术有限公司 | 电力安全作业及运维智能监管系统及方法 |
| CN110599735A (zh) * | 2019-07-31 | 2019-12-20 | 国网浙江省电力有限公司杭州供电公司 | 一种基于变电站作业违章行为智能识别的告警方法 |
Non-Patent Citations (2)
| Title |
|---|
| 2289424: "中国南方电网有限责任公司现场作业违章扣分管理办法(试行)", pages 1 - 19 * |
| 中国华电集团公司: "火力发电机组检修全过程安全管理规范", vol. 1, 中国传媒大学出版社, pages: 182 - 183 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111860419A (zh) * | 2020-07-29 | 2020-10-30 | 广东智媒云图科技股份有限公司 | 电力检修过程中合规检测的方法、电子设备及存储介质 |
| CN112215567A (zh) * | 2020-09-28 | 2021-01-12 | 上海鸢安智能科技有限公司 | 生产流程合规检查方法及系统、存储介质及终端 |
| CN112435003A (zh) * | 2020-11-19 | 2021-03-02 | 康佳集团股份有限公司 | 一种规范操作的控制方法、生产管理平台及存储介质 |
| CN112419091B (zh) * | 2020-11-26 | 2022-07-08 | 武汉大学 | 知识图谱驱动的配电网现场作业视频智能安全管控方法 |
| CN112419091A (zh) * | 2020-11-26 | 2021-02-26 | 武汉大学 | 知识图谱驱动的配电网现场作业视频智能安全管控方法 |
| CN112418717A (zh) * | 2020-12-07 | 2021-02-26 | 国网山东省电力公司经济技术研究院 | 基于人工智能的工程现场人员行为预警方法和系统 |
| CN112769908A (zh) * | 2020-12-29 | 2021-05-07 | 煤炭科学研究总院 | 协同控制方法、装置及电子设备 |
| CN112766129A (zh) * | 2021-01-12 | 2021-05-07 | 云南电网有限责任公司电力科学研究院 | 一种电网工作人员行为实时监测方法及装置 |
| CN113887952A (zh) * | 2021-09-30 | 2022-01-04 | 深圳市万睿智能科技有限公司 | 一种智慧工地安全检测管理方法、装置及相关介质 |
| CN114660987A (zh) * | 2022-03-24 | 2022-06-24 | 中煤科工集团重庆智慧城市科技研究院有限公司 | 箱式变电站的远程诊断系统 |
| CN115567690A (zh) * | 2022-09-22 | 2023-01-03 | 国网山东省电力公司莒县供电公司 | 一种自动识别现场作业危险点的智慧监控系统 |
| CN117115755A (zh) * | 2023-10-23 | 2023-11-24 | 科曼智能科技有限公司 | 一种基于图像识别电力作业现场违章监控报警识别系统 |
| CN117115755B (zh) * | 2023-10-23 | 2024-01-23 | 科曼智能科技有限公司 | 一种基于图像识别电力作业现场违章监控报警识别系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111428617A (zh) | 一种基于视频图像的配网违规检修行为的识别方法和系统 | |
| CN111898514B (zh) | 一种基于目标检测与动作识别的多目标视觉监管方法 | |
| CN110765848A (zh) | 基于人工智能图像处理算法的化工厂人员安全保障系统及预警方法 | |
| CN111062373A (zh) | 一种基于深度学习的吊装过程危险识别方法及系统 | |
| CN116189305B (zh) | 一种基于神经网络模型嵌入的人员危险动作识别方法 | |
| CN112798979A (zh) | 基于深度学习技术的变电站接地线状态检测系统及方法 | |
| CN113506416A (zh) | 一种基于智能视觉分析的工程异常预警方法及系统 | |
| CN113191273A (zh) | 基于神经网络的油田井场视频目标检测与识别方法及系统 | |
| CN109345787A (zh) | 一种基于智能图像识别技术的输电线路防外损监控报警系统 | |
| Jin et al. | Glove detection system based on VGG-16 network | |
| Li et al. | Application research of artificial intelligent technology in substation inspection tour | |
| CN114387662A (zh) | 煤矿井下人员不安全行为识别方法 | |
| CN114792405A (zh) | 一种架空线路防异物入侵监测方法 | |
| CN114387665A (zh) | 一种基于便携布控球的登高无人扶梯识别系统 | |
| CN112541656A (zh) | 一种具有风险隐患预测能力的智能安防集成平台 | |
| CN116778657A (zh) | 一种智能识别入侵行为的方法及系统 | |
| CN113762115B (zh) | 一种基于关键点检测的配网作业人员行为检测方法 | |
| CN115880641A (zh) | 一种基于机器视觉的工人不安全行为自动检测方法和装置 | |
| CN115346170A (zh) | 一种燃气设施区域的智能监控方法及装置 | |
| CN114332736A (zh) | 一种电力场所消防安全风险分析方法及系统 | |
| CN113780224A (zh) | 一种变电站无人化巡视方法及系统 | |
| CN113297976A (zh) | 一种基于深度学习的基站入侵检测方法和系统 | |
| CN117864897B (zh) | 一种基于视觉识别的电梯轿顶人员防护方法及系统 | |
| Jin et al. | YOLO-ESCA: A high-performance safety helmet standard wearing behavior detection model based on improved YOLOv5 | |
| CN117911953A (zh) | 一种人工智能电力作业风险监管识别系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200717 |