CN111652128B - 一种高空电力作业安全监测方法、系统和存储装置 - Google Patents

一种高空电力作业安全监测方法、系统和存储装置 Download PDF

Info

Publication number
CN111652128B
CN111652128B CN202010491245.4A CN202010491245A CN111652128B CN 111652128 B CN111652128 B CN 111652128B CN 202010491245 A CN202010491245 A CN 202010491245A CN 111652128 B CN111652128 B CN 111652128B
Authority
CN
China
Prior art keywords
detection frame
detection
human body
frame
glove
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010491245.4A
Other languages
English (en)
Other versions
CN111652128A (zh
Inventor
任馨怡
王枫
许志龙
朱建宝
马青山
孙玉玮
陈宇
俞鑫春
邓伟超
叶超
张斌
吴登春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong Huayuan Technology Development Co ltd
Nantong Power Supply Co Of State Grid Jiangsu Electric Power Co
Zhejiang Dahua Technology Co Ltd
Original Assignee
Nantong Huayuan Technology Development Co ltd
Nantong Power Supply Co Of State Grid Jiangsu Electric Power Co
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong Huayuan Technology Development Co ltd, Nantong Power Supply Co Of State Grid Jiangsu Electric Power Co, Zhejiang Dahua Technology Co Ltd filed Critical Nantong Huayuan Technology Development Co ltd
Priority to CN202010491245.4A priority Critical patent/CN111652128B/zh
Publication of CN111652128A publication Critical patent/CN111652128A/zh
Application granted granted Critical
Publication of CN111652128B publication Critical patent/CN111652128B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04SSYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种高空电力作业安全监测方法、系统和存储装置,该安全监测方法包括:获取监控设备拍摄的作业现场图像数据;将图像数据送入卷积神经网络进行多类别目标检测,在图像数据上依据卷积神经网络预先训练学习的分类类别,生成相应的目标检测框;建立目标检测框之间的绑定关系;提取已绑定的目标检测框内的感兴趣区域,并送入相应的分类网络进行预设特征检测,输出感兴趣区域内检测结果的置信度,进而判断作业人员是否存在预设特征中的违规行为。通过上述方式,本申请能够提高安全监测的效率和准确度。

Description

一种高空电力作业安全监测方法、系统和存储装置
技术领域
本申请涉及电力作业监测技术领域,特别是涉及一种高空电力作业安全监测方法、系统和存储装置。
背景技术
随着电力需求的不断增长,加快电力设施的建设升级以及加强电力设施的维护保养变得日益重要。
作业人员在高空进行电力作业时,通常由安全监管人员进行巡查,在巡查过程中观察并提醒作业人员不符合规范之处,在提醒作业人员纠正违规操作之后还要进行纸质单的记录,这无疑消耗了大量的人力和时间成本,并且安全监管人员进行巡查时难免会遗漏部分违规操作,因此人工巡查的效率和准确度都相对低下。
发明内容
本申请主要解决的技术问题是提供一种高空电力作业安全监测方法、系统和存储装置,能够实现对电力作业现场的自动化监测,提高安全监测的效率和准确度。
为解决上述技术问题,本申请第一方面提供了一种高空电力作业安全监测方法,包括:获取监控设备拍摄的作业现场图像数据;将所述图像数据送入卷积神经网络进行多类别目标检测,在所述图像数据上依据所述卷积神经网络预先训练学习的分类类别,生成相应的目标检测框;建立所述目标检测框之间的绑定关系;提取已绑定的所述目标检测框内的感兴趣区域,并送入相应的分类网络进行预设特征检测,输出所述感兴趣区域内检测结果的置信度,进而判断作业人员是否存在所述预设特征中的违规行为。
其中,所述获取监控设备拍摄的作业现场图像数据的步骤,包括:获取设置在所述作业现场的监控设备拍摄的视频数据,抽取所述视频数据中的单帧图像,生成所述图像数据。
其中,所述将所述图像数据送入卷积神经网络进行多类别目标检测,在所述图像数据上依据所述卷积神经网络预先训练学习的分类类别,生成相应的目标检测框的步骤,包括:预先将学习图像送入所述卷积神经网络,以训练所述卷积神经网络将所述学习图像至少分为人体、手套和电线杆三类,进而使所述卷积神经网络对送入的图像数据进行分类;将所述图像数据送入所述神经网络进行多类别目标检测,进而在所述图像数据上生成人体检测框、手套检测框和电线杆检测框。
其中,所述建立所述目标检测框之间的绑定关系的步骤,包括:判断所述人体检测框和所述电线杆检测框之间是否存在交并比,若存在则将所述人体检测框和所述电线杆检测框绑定;查找与所述人体检测框存在交并比的手套检测框,将所述人体检测框和所述与所述人体检测框存在交并比的手套检测框绑定。
其中,所述提取已绑定的所述目标检测框内的感兴趣区域,并送入相应的分类网络进行预设特征检测,输出所述感兴趣区域内检测结果的置信度,进而判断作业人员是否存在所述预设特征中的违规行为的步骤,包括:提取所述人体检测框内的感兴趣区域和所述手套检测框内的感兴趣区域,将所述人体检测框内的感兴趣区域和所述手套检测框内的感兴趣区域,分别送入相应的分类网络进行预设特征检测;输出所述人体检测框的多个检测结果的置信度和所述手套检测框的多个检测结果的置信度,选取所述人体检测框的多个检测结果中置信度最高的检测结果作为所述人体检测框的检测结果,选取所述手套检测框的多个检测结果中置信度最高的检测结果作为所述手套检测框的检测结果;判断所述人体检测框的检测结果和所述手套检测框的检测结果中是否存在所述预设特征中的违规行为。
为解决上述技术问题,本申请第二方面提供了一种高空电力作业安全监测系统,包括:监控设备,所述监控设备设置在所述高空电力作业的作业现场,以获取作业人员操作时的视频数据;服务器,所述服务器用于获取所述监控设备拍摄的视频数据,抽取所述视频数据中的单帧图像,生成图像数据;将所述图像数据送入卷积神经网络进行多类别目标检测,在所述图像数据上依据所述卷积神经网络预先训练学习的分类类别,生成相应的目标检测框;建立所述目标检测框之间的绑定关系;提取已绑定的所述目标检测框内的感兴趣区域,并送入相应的分类网络进行预设特征检测,输出所述感兴趣区域内检测结果的置信度,进而判断作业人员是否存在所述预设特征中的违规行为。
为解决上述技术问题,本申请第三方面提供了一种具有存储功能的装置,其上存储有程序数据,所述程序数据被处理器执行以实现上述第一方面的方法。
本申请的有益效果是:利用监控设备代替了人工巡查,收集监控设备拍摄的高空电力作业现场的图像数据,利用卷积神经网络对图像数据进行分析,判断作业人员是否存在违规行为。由于监控设备不间断拍摄不会遗漏任何出现违规操作时的图像数据,只需要拍摄到作业现场的监控视频后即可藉由卷积神经网络分析出作业人员是否存在违规行为,提高作业现场安全监测的效率和准确度。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。其中:
图1是本申请高空电力作业安全监测方法一实施方式的流程示意图;
图2是是本申请高空电力作业安全监测方法另一实施方式的流程示意图;
图3是是运用图2中高空电力作业安全监测方法处理的一图像数据的结构示意图;
图4是图3中人体检测框的感兴趣区域;
图5是图3中手套检测框的感兴趣区域;
图6是是本申请高空电力作业安全监测系统一实施方式的结构示意图;
图7是是本申请具有存储功能的装置一实施方式的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。
请参阅图1,图1是本申请高空电力作业安全监测方法一实施方式的流程示意图,该方法包括:
步骤S100:获取监控设备拍摄的作业现场图像数据。
具体地,上述步骤S100中,服务器获取监控设备拍摄的高空电力作业现场的视频数据,由于视频帧是一种实时数字图像,进而服务器可获得高空电力作业现场的图像数据。其中,监控设备设置于作业现场的预定位置上,且监控设备可根据作业现场的情况预先设置转动角度,进而每台监控设备可间隔第一时间,对每一监控设备视场角范围内的电力设备进行轮流拍摄,可以理解的是,该第一时间的时间间隔较短如:2s,以免违规操作不被抓拍到。对于高空电力作业现场还可设置不同高度阈值,在监控设备视场角范围内,每台监控设备负责一段高度范围内的视频拍摄。在其他实施例中,也可对每一高压变电装置设置相对应的监控设备,进而不间断地对作业现场进行拍摄。
步骤S200:将图像数据送入卷积神经网络进行多类别目标检测,在图像数据上依据卷积神经网络预先训练学习的分类类别,生成相应的目标检测框。
具体地,上述步骤S200中,卷积神经网络在经过预先的训练学习后可以将输入的图像中的特征进行识别,并将图像中的特征进行分类,并将图像中相应的特征归入相应的类别,服务器将从监控设备处获取的图像数据送入卷积神经网络进行多类别目标检测,卷积神经网络将图像数据内的特征进行分类,进而根据分类结果生成与各类别对应的目标检测框。
步骤S300:建立目标检测框之间的绑定关系。
具体地,上述步骤S300中,在生成相应的目标检测框后,服务器可根据预设的绑定规则,如两目标检测框之间是否存在相交或包含的关系,在具备上述关系后则将两目标检测框之间绑定。
步骤S400:提取已绑定的目标检测框内的感兴趣区域,并送入相应的分类网络进行预设特征检测,输出感兴趣区域内检测结果的置信度,进而判断作业人员是否存在预设特征中的违规行为。
具体地,上述步骤S400中,服务器在已生成绑定关系的目标检测框中提取感兴趣区域(Region Of Interest,ROI),将不同目标检测框内的感兴趣区域送入对应的分类网络,该分类网络为经过预先训练学习,每个检测框对应的分类网络已预先训练学习过如何判断相应分类内,图像上哪些行为特征图像信息属于违规行为,哪些行为特征属于非违规行为,进而判断出该帧图像上的作业人员是否存在违规行为,若存在则进行报警提醒。
本实施例所提供的高空电力作业安全监测方法,利用监控设备代替了人工巡查,收集监控设备拍摄的高空电力作业现场的图像数据,利用卷积神经网络对图像数据进行分析,判断作业人员是否存在违规行为。由于监控设备不间断拍摄不会遗漏任何出现违规操作时的图像数据,只需要拍摄到作业现场的监控视频后即可藉由卷积神经网络分析出作业人员是否存在违规行为,提高作业现场安全监测的效率和准确度。
进一步地,请参阅图2,图2是本申请高空电力作业安全监测方法另一实施方式的流程示意图,本实施例是在上述实施例的基础上所做的进一步拓展,为更好地理解本实施例所提供的高空电力作业安全监测方法,本实施例将结合图3来进一步说明,图3是运用图2中高空电力作业安全监测方法处理的一图像数据的结构示意图,该方法包括:
步骤S101:获取设置在作业现场的监控设备拍摄的视频数据,抽取视频数据中的单帧图像,生成图像数据。
具体地,上述步骤S101中,服务器获取监控设备拍摄的视频数据后,对视频数据进行抽帧处理,在服务器处理能力允许的情况下可抽取视频数据中的每一帧图像数据进行分析,或者为减轻服务器的处理负担,可设置第二时间,如1s或2s,服务器对获取的视频数据每间隔第二时间后抽取视频数据中的单帧图像,生成如图3中所示的图像数据,因此利用监控设备代替人工巡查可进一步提高监测效率,对视频数据进行抽帧处理即可获得图像数据,并且该图像数据还可进一步存档,省去人工使用纸质单记录,减少人为记录偏差,提高记录结果的准确性。
步骤S201:将图像数据送入神经网络进行多类别目标检测,进而在图像数据上生成人体检测框、手套检测框和电线杆检测框。
在设计本实施例的高空电力作业安全监测方法时,还具体包括在服务器端预先将学习图像送入卷积神经网络,以训练卷积神经网络将学习图像至少分为人体、手套和电线杆三类,进而使卷积神经网络对送入的图像数据进行分类。因此,在上述步骤S201中如图3中所示的图像数据被送入卷积神经网络进行多类别目标检测时,卷积神经网络会将图3划分为人体、手套和电线杆三类,进而会在图3上生成人体检测框10、手套检测框20和电线杆检测框30。
在其他实施例中,还可在卷积神经网络预先训练学习阶段,训练卷积神经网络将学习图像分为人体、手套、头盔、脚扣和电线杆五类,进而被送入卷积神经网络的图像数据上会生成除上述三种检测框之外的头盔检测框和脚扣检测框。可以理解的是,针对需要检测的图像特征,可预先对卷积神经网络进行训练学习,学习所需的分类,提高此后对需要分析的图像数据分类的准确性,而卷积神经网络在不断的学习和使用过程中也将进一步提高自己识别判断的可信度。
步骤S301:判断人体检测框和电线杆检测框之间是否存在交并比。
步骤S302:将人体检测框和电线杆检测框绑定。
具体地,上述步骤S301中,服务器将对图3中人体检测框10和电线杆检测框30进行判断,判断二者之间是否存在交并比(Intersection Over Union,IOU),即检测当前图像上的作业人员是否已经爬上电线杆进行高空电力作业。若人体检测框10和电线杆检测框30之间存在交并比,则将人体检测框10和电线杆检测框30绑定,即将当前的作业人员与该电线杆绑定。若人体检测框10和电线杆检测框30之间不存在交并比则返回步骤S101,对下一单帧图像进行上述处理步骤。若人体检测框10和电线杆检测框30之间存在交并比,则进入步骤302。通过判断人体检测框10与电线杆检测框30之间是否存在交并比,可迅速判断当前分析的图像数据上电线杆上是否有人在作业,如果没有则迅速进行下一张图像数据的分析,提高分析的效率。
步骤S303:查找与人体检测框存在交并比的手套检测框,将人体检测框和与该人体检测框存在交并比的手套检测框绑定。
具体地,上述步骤S303中,对于已经与电线杆检测框30绑定的人体检测框10,服务器将在该人体检测框10内查找与该人体检测框10存在交并比的手套检测框20,并将该手套检测框20与该人体检测框10绑定。在实际作业过程中,作业现场同一电线杆上可能不止一名作业人员,导致与电线杆检测框30存在交并比的人体检测框10不止一个,进而会生成多个手套检测框20,为了对不同作业人员是否存在违规行为做判断时减少误判,进而将每个作业人员对应的人体检测框10与其存在交并比的手套检测框20绑定,以提高作业人员人体和手部手套对应的准确率,降低误报的概率。
步骤S401:提取人体检测框内的感兴趣区域和手套检测框内的感兴趣区域,将人体检测框内的感兴趣区域和手套检测框内的感兴趣区域,分别送入相应的分类网络进行预设特征检测。
具体地,上述步骤S401中,服务器将进一步提取人体检测框10内和手套检测框20内的感兴趣区域,得到如图4所示的人体检测框10内的感兴趣区域和如图5所示的手套检测框20内的感兴趣区域,进而将人体检测框10内的感兴趣区域送入二分类分类网络,将手套检测框20内的感兴趣区域送入三分类分类网络,上述二分类分类网络经过预先训练学习,能够判断输入的图像上的人体是否穿戴安全带,二分类分类网络中的预设特征包括穿戴安全带和未穿戴安全带,其中未穿戴安全带属于违规行为,上述三分类分类网络经过预先训练学习,能够判断输入的图像上的手部是否穿戴手套、所穿戴的手套是否为绝缘手套,三分类分类网络的预设特征包括穿戴绝缘手套、未穿戴手套和穿戴非绝缘手套,其中未穿戴手套和穿戴非绝缘手套属于违规行为。通过提取感兴趣区域的方式,截取检测框内图像上相对重要的特征信息输入分类网络,进一步减少干扰因素,提高分类网络检测结果的准确性。
步骤S402:输出人体检测框的多个检测结果的置信度和手套检测框的多个检测结果的置信度,选取人体检测框的多个检测结果中置信度最高的检测结果作为人体检测框的检测结果,选取手套检测框的多个检测结果中置信度最高的检测结果作为手套检测框的检测结果。
具体地,上述步骤S402中,人体检测框10的多个检测结果包括作业人员穿戴安全带的置信度和未穿戴安全带的置信度,手套检测框20的多个检测结果作业人员穿戴绝缘手套的置信度、穿戴非绝缘手套的置信度和未穿戴手套的置信度。进而在人体检测框10的检测结果中选择置信度最高的结果作为人体检测框10最终的检测结果,在手套检测框20的检测结果中选择置信度最高的结果作为手套检测框20最终的检测结果。通过输出检测结果的置信度,选择置信度最高的结果,提高了检测结果的可靠性和准确性。
步骤S403:判断人体检测框的检测结果和手套检测框的检测结果中是否存在预设特征中的违规行为。
具体地,上述步骤S403中,人体检测框10的最终检测结果为未穿戴安全带和/或手套检测框20的最终检测结果为未穿戴手套,以及人体检测框10的最终检测结果为未穿戴安全带和/或手套检测框20的最终检测结果为穿戴非绝缘手套都属于违规行为。若存在上述任一违规行为,则将存在违规行为的该帧图像上传至图像接收设备,并将该帧图像存储至存储器上存档以便之后查阅,上述图像接收设备可为控制室的显示屏或安全监管人员的手机或平板等设备,此处不做具体限定。
可选地,在安全监管人员接收到图像的同时还可使用告警提示音、闪屏、弹窗中至少一种方式进行报警,以提示安全监管人员通过监控设备远程提醒作业人员立即停止违规行为。在其他实施例中,还可在监控设备上预先安装蜂鸣器或提前录制告警语音,在检测到违规行为后,及时触发蜂鸣器或播放告警语音,提醒作业人员及时停止违规行为。
本实施例所提供的高空电力作业安全监测方法,对监控设备拍摄的视频进行抽帧处理得到图像,在图像上生成目标检测框并截取感兴趣区域送入分类网络分析出作业人员是否穿戴安全带、是否穿戴绝缘手套。只需要拍摄清晰的视频即可分析出作业人员是否违规操作并及时提醒,提高了安全监测的效率,降低了安全监测所付出的人力和时间成本。
请参阅图6,图6是本申请高空电力作业安全监测系统一实施方式的结构示意图,该高空电力作业安全监测系统50包括:监控设备500和服务器502。其中,监控设备500设置在高空电力作业的作业现场,以获取作业人员操作时的视频数据。服务器502用于获取监控设备500拍摄的视频数据,抽取视频数据中的单帧图像,生成图像数据;将图像数据送入卷积神经网络进行多类别目标检测,在图像数据上依据卷积神经网络预先训练学习的分类类别,生成相应的目标检测框;建立目标检测框之间的绑定关系;提取已绑定的目标检测框内的感兴趣区域,并送入相应的分类网络进行预设特征检测,输出感兴趣区域内检测结果的置信度,进而判断作业人员是否存在预设特征中的违规行为。利用监控设备500在作业现场采集视频数据,代替安全监管人员进行现场巡查,藉由服务器502分析作业人员是否存在违规行为,提高了安全巡查分析违规行为的效率,扩大了安全巡查覆盖的范围。
具体地,监控设备500可为网络摄像机但本申请对此不作限定,并且监控设备500的位置和数量可根据作业现场的具体情况而设定。
在一具体应用场景中,在高度较高的电力设备的顶部选取多个预置位,将监控设备500设置在预置位上,并根据其他电力设备的位置,设置监控设备500的转动角度,以使作业现场内的所有电力设备被监控设备500的视场角覆盖,进而确保作业现场被完全监控。
在另一具体应用场景中,服务器502还用于预先将学习图像送入卷积神经网络,以训练卷积神经网络将学习图像至少分为人体、手套和电线杆三类,进而使卷积神经网络对送入的图像数据进行分类,在卷积神经网络预先学会对图像数据的分类后,服务器502接收到图像数据并将图像数据送入神经网络进行多类别目标检测,进而在图像数据上生成人体检测框、手套检测框和电线杆检测框。服务器502根据需要检测的图像特征,可预先对卷积神经网络进行训练学习,通过不断的学习和实际应用,提高此后对需要监测的图像数据分类的准确性。
进一步地,服务器502用于判断人体检测框和电线杆检测框之间是否存在交并比,若存在则将人体检测框和电线杆检测框绑定,查找与人体检测框存在交并比的手套检测框,将人体检测框和与人体检测框存在交并比的手套检测框绑定。利用服务器502迅速判断人体检测框与电线杆检测框之间是否存在交并比,进而判断当前图像上的电线杆上是否有作业人员,然后进一步将作业人员的手套检测框与对应的作业人员绑定,提高分析的效率。
在又一具体应用场景中,请继续参阅图6,安全监测系统50还包括图像接收设备504。该图像接收设备504用于接收服务器502上传的图像数据。
进一步地,服务器502用于提取人体检测框内的感兴趣区域和手套检测框内的感兴趣区域,将人体检测框内的感兴趣区域和手套检测框内的感兴趣区域,分别送入相应的分类网络进行预设特征检测。服务器502输出人体检测框的多个检测结果的置信度和手套检测框的多个检测结果的置信度,进而选取人体检测框的多个检测结果中置信度最高的检测结果作为人体检测框的检测结果,选取手套检测框的多个检测结果中置信度最高的检测结果作为手套检测框的检测结果。服务器502判断人体检测框的检测结果和手套检测框的检测结果中是否存在预设特征中的违规行为,若存在则将检测到违规行为的该帧图像上传图像接收设备504并报警。
具体地,服务器502将人体检测框内的感兴趣区域送入人体检测框对应的分类网络,进而输出作业人员穿戴安全带和未穿戴安全带的两种预设特征的检测结果及其对应的置信度。服务器502将手套检测框内的感兴趣区域送入手套检测框对应的分类网络,进而输出作业人员穿戴绝缘手套、穿戴非绝缘手套和未穿戴手套三种预设特征的检测结果及其对应的置信度。服务器502在人体检测框和手套检测框各自的检测结果中选取置信度最高的检测结果,作为人体检测框和手套检测框输出的检测结果,若检测结果中包含任一违规行为,则将该帧图像上传至图像接收设备504,以提醒安全监管人员当前作业人员存在违规行为,进而安全监管人员可第一时间通过监控设备500提醒作业人员停止违规行为,进而一位安全监管人员可负责多个作业现场的安全提醒工作,节约人力成本的同时还提高了安全监测的准确性。
本实施例所提供的高空电力作业安全监测系统50,利用监控设备500在作业现场采集视频数据,代替安全监管人员进行现场巡查,藉由服务器502分析作业人员是否存在违规行为,若存在则上报给安全监管人员处的图像接收设备504,减少了安全监管人员的工作量,节约了人力成本且提高了安全巡查的效率和全面性。
请参阅图7,图7是本申请具有存储功能的装置一实施方式的结构示意图,其中,具有存储功能的装置60存储有程序600,程序600在被处理器执行时,用于实现上述实施例中高空电力作业安全监测方法中的步骤,相关内容的详细说明请参见上述方法部分,在此不再赘叙。
具有存储功能的装置60可以是服务端、U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的装置。
以上所述仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (8)

1.一种高空电力作业安全监测方法,其特征在于,所述安全监测方法包括:
获取监控设备拍摄的作业现场图像数据;
将所述图像数据送入卷积神经网络进行多类别目标检测,在所述图像数据上依据所述卷积神经网络预先训练学习的分类类别,生成相应的目标检测框;其中,所述将所述图像数据送入卷积神经网络进行多类别目标检测,在所述图像数据上依据所述卷积神经网络预先训练学习的分类类别,生成相应的目标检测框的步骤,包括:
预先将学习图像送入所述卷积神经网络,以训练所述卷积神经网络将所述学习图像至少分为人体、手套和电线杆三类,进而使所述卷积神经网络对送入的图像数据进行分类;
将所述图像数据送入所述神经网络进行多类别目标检测,进而在所述图像数据上生成人体检测框、手套检测框和电线杆检测框;
建立所述目标检测框之间的绑定关系;其中,所述目标检测框至少包括所述人体检测框、所述手套检测框和所述电线杆检测框;
提取已绑定的所述目标检测框内的感兴趣区域,并送入相应的分类网络进行预设特征检测,输出所述感兴趣区域内检测结果的置信度,进而判断作业人员是否存在所述预设特征中的违规行为。
2.根据权利要求1所述的安全监测方法,其特征在于,所述获取监控设备拍摄的作业现场图像数据的步骤,包括:
获取设置在所述作业现场的监控设备拍摄的视频数据,抽取所述视频数据中的单帧图像,生成所述图像数据。
3.根据权利要求1所述的安全监测方法,其特征在于,所述建立所述目标检测框之间的绑定关系的步骤,包括:
判断所述人体检测框和所述电线杆检测框之间是否存在交并比,若存在则将所述人体检测框和所述电线杆检测框绑定;
查找与所述人体检测框存在交并比的手套检测框,将所述人体检测框和所述与所述人体检测框存在交并比的手套检测框绑定。
4.根据权利要求1所述的安全监测方法,其特征在于,所述提取已绑定的所述目标检测框内的感兴趣区域,并送入相应的分类网络进行预设特征检测,输出所述感兴趣区域内检测结果的置信度,进而判断作业人员是否存在所述预设特征中的违规行为的步骤,包括:
提取所述人体检测框内的感兴趣区域和所述手套检测框内的感兴趣区域,将所述人体检测框内的感兴趣区域和所述手套检测框内的感兴趣区域息,分别送入相应的分类网络进行预设特征检测;
输出所述人体检测框的多个检测结果的置信度和所述手套检测框的多个检测结果的置信度,选取所述人体检测框的多个检测结果中置信度最高的检测结果作为所述人体检测框的检测结果,选取所述手套检测框的多个检测结果中置信度最高的检测结果作为所述手套检测框的检测结果;
判断所述人体检测框的检测结果和所述手套检测框的检测结果中是否存在所述预设特征中的违规行为。
5.一种高空电力作业安全监测系统,其特征在于,所述安全监测系统包括:
监控设备,所述监控设备设置在所述高空电力作业的作业现场,以获取作业人员操作时的视频数据;
服务器,所述服务器用于获取所述监控设备拍摄的视频数据,抽取所述视频数据中的单帧图像,生成图像数据;将所述图像数据送入卷积神经网络进行多类别目标检测,在所述图像数据上依据所述卷积神经网络预先训练学习的分类类别,生成相应的目标检测框;其中,所述服务器进一步用于预先将学习图像送入所述卷积神经网络,以训练所述卷积神经网络将所述学习图像至少分为人体、手套和电线杆三类,进而使所述卷积神经网络对送入的图像数据进行分类;将所述图像数据送入所述神经网络进行多类别目标检测,进而在所述图像数据上生成人体检测框、手套检测框和电线杆检测框;建立所述目标检测框之间的绑定关系;其中,所述目标检测框至少包括所述人体检测框、所述手套检测框和所述电线杆检测框;提取已绑定的所述目标检测框内的感兴趣区域,并送入相应的分类网络进行预设特征检测,输出所述感兴趣区域内检测结果的置信度,进而判断作业人员是否存在所述预设特征中的违规行为。
6.根据权利要求5所述的安全监测系统,其特征在于,
所述服务器进一步用于判断所述人体检测框和所述电线杆检测框之间是否存在交并比,若存在则将所述人体检测框和所述电线杆检测框绑定;
查找与所述人体检测框存在交并比的手套检测框,将所述人体检测框和所述与所述人体检测框存在交并比的手套检测框绑定。
7.根据权利要求5所述的安全监测系统,其特征在于,
所述安全监测系统还包括图像接收设备,所述图像接收设备用于接收所述服务器上传的图像数据;
所述服务器进一步用于提取所述人体检测框内的感兴趣区域和所述手套检测框内的感兴趣区域,将所述人体检测框内的感兴趣区域和所述手套检测框内的感兴趣区域,分别送入相应的分类网络进行预设特征检测;
输出所述人体检测框的多个检测结果的置信度和所述手套检测框的多个检测结果的置信度,选取所述人体检测框的多个检测结果中置信度最高的检测结果作为所述人体检测框的检测结果,选取所述手套检测框的多个检测结果中置信度最高的检测结果作为所述手套检测框的检测结果;
判断所述人体检测框的检测结果和所述手套检测框的检测结果中是否存在所述预设特征中的违规行为,若存在则将检测到违规行为的该帧图像上传所述图像接收设备并报警。
8.一种具有存储功能的装置,其上存储有程序数据,其特征在于,
所述程序数据被处理器执行以实现如权利要求1-4任意一项所述的方法。
CN202010491245.4A 2020-06-02 2020-06-02 一种高空电力作业安全监测方法、系统和存储装置 Active CN111652128B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010491245.4A CN111652128B (zh) 2020-06-02 2020-06-02 一种高空电力作业安全监测方法、系统和存储装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010491245.4A CN111652128B (zh) 2020-06-02 2020-06-02 一种高空电力作业安全监测方法、系统和存储装置

Publications (2)

Publication Number Publication Date
CN111652128A CN111652128A (zh) 2020-09-11
CN111652128B true CN111652128B (zh) 2023-09-01

Family

ID=72349955

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010491245.4A Active CN111652128B (zh) 2020-06-02 2020-06-02 一种高空电力作业安全监测方法、系统和存储装置

Country Status (1)

Country Link
CN (1) CN111652128B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347916B (zh) * 2020-11-05 2023-11-17 安徽继远软件有限公司 基于视频图像分析的电力现场作业安全监控方法及装置
CN114779505B (zh) * 2022-03-30 2023-04-21 绵阳惠科光电科技有限公司 显示面板、显示装置及绑定检测方法
CN116994331A (zh) * 2023-06-02 2023-11-03 国网山东省电力公司邹城市供电公司 一种配电网违规作业检测方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145789A (zh) * 2018-08-09 2019-01-04 炜呈智能电力科技(杭州)有限公司 供电系统安全作业保障方法及系统
CN109447168A (zh) * 2018-11-05 2019-03-08 江苏德劭信息科技有限公司 一种基于深度特征和视频目标检测的安全帽佩戴检测方法
CN109803583A (zh) * 2017-08-10 2019-05-24 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备
CN109871730A (zh) * 2017-12-05 2019-06-11 杭州海康威视数字技术股份有限公司 一种目标识别方法、装置及监控设备
CN110188724A (zh) * 2019-06-05 2019-08-30 中冶赛迪重庆信息技术有限公司 基于深度学习的安全帽定位与颜色识别的方法及系统
US10474930B1 (en) * 2018-10-05 2019-11-12 StradVision, Inc. Learning method and testing method for monitoring blind spot of vehicle, and learning device and testing device using the same
CN111566661A (zh) * 2018-01-30 2020-08-21 赫尔实验室有限公司 基于中心凹检测和上下文过滤的神经形态视觉活动分类系统和方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106027931B (zh) * 2016-04-14 2018-03-16 平安科技(深圳)有限公司 视频录制方法及服务器
AU2017279806B2 (en) * 2017-05-29 2023-10-12 Saltor Pty Ltd Method and system for abnormality detection
US20190095764A1 (en) * 2017-09-26 2019-03-28 Panton, Inc. Method and system for determining objects depicted in images
US11216954B2 (en) * 2018-04-18 2022-01-04 Tg-17, Inc. Systems and methods for real-time adjustment of neural networks for autonomous tracking and localization of moving subject

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109803583A (zh) * 2017-08-10 2019-05-24 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备
CN109871730A (zh) * 2017-12-05 2019-06-11 杭州海康威视数字技术股份有限公司 一种目标识别方法、装置及监控设备
CN111566661A (zh) * 2018-01-30 2020-08-21 赫尔实验室有限公司 基于中心凹检测和上下文过滤的神经形态视觉活动分类系统和方法
CN109145789A (zh) * 2018-08-09 2019-01-04 炜呈智能电力科技(杭州)有限公司 供电系统安全作业保障方法及系统
US10474930B1 (en) * 2018-10-05 2019-11-12 StradVision, Inc. Learning method and testing method for monitoring blind spot of vehicle, and learning device and testing device using the same
CN109447168A (zh) * 2018-11-05 2019-03-08 江苏德劭信息科技有限公司 一种基于深度特征和视频目标检测的安全帽佩戴检测方法
CN110188724A (zh) * 2019-06-05 2019-08-30 中冶赛迪重庆信息技术有限公司 基于深度学习的安全帽定位与颜色识别的方法及系统

Also Published As

Publication number Publication date
CN111652128A (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
CN111652128B (zh) 一种高空电力作业安全监测方法、系统和存储装置
CN109300471B (zh) 融合声音采集识别的场区智能视频监控方法、装置及系统
CN111967400B (zh) 一种基于人工智能的校园安全监测预警管理系统
CN211293956U (zh) 基于ai的施工现场异常行为人的识别和告警系统
CN108319926A (zh) 一种工地现场的安全帽佩戴检测系统及检测方法
CN106412501A (zh) 一种视频的施工安全行为智能监控系统及其监控方法
CN110889339B (zh) 基于头肩检测的危险区域分级预警方法与系统
CN110516529A (zh) 一种基于深度学习图像处理的投喂检测方法和系统
CN111223263A (zh) 一种全自动综合型火灾预警响应系统
CN111539313A (zh) 考试作弊行为检测方法及系统
CN112163572A (zh) 识别对象的方法和装置
CN115223105B (zh) 基于大数据的风险信息监控分析方法及系统
CN112112629A (zh) 一种钻井作业过程中的安全业务管理系统和方法
CN113269039A (zh) 一种在岗人员行为识别方法和系统
CN111860187A (zh) 一种高精度的佩戴口罩识别方法及系统
CN116416281A (zh) 一种粮库ai视频监管分析方法及系统
CN104574729A (zh) 一种报警方法、装置及系统
CN113627321A (zh) 基于人工智能的图像识别方法、装置及计算机设备
CN115190277B (zh) 施工区域的安全监控方法、装置、设备及存储介质
CN115953815A (zh) 基建现场的监测方法及装置
CN114973326A (zh) 跌倒预警方法、装置、设备及可读存储介质
KR20210096754A (ko) 디지털 안전보건환경 산업 특화용 이미지 학습 모델을 이용한 안전관리 방법 및 시스템
CN116665419B (zh) 电力生产作业中基于ai分析的故障智能预警系统及方法
CN116630752B (zh) 基于ai算法的施工现场目标对象识别方法及装置
CN116579609B (zh) 一种基于巡检过程中的违规操作分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant