CN115471865A - 作业现场数字化安全管控方法、装置、设备和存储介质 - Google Patents

作业现场数字化安全管控方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN115471865A
CN115471865A CN202211001140.1A CN202211001140A CN115471865A CN 115471865 A CN115471865 A CN 115471865A CN 202211001140 A CN202211001140 A CN 202211001140A CN 115471865 A CN115471865 A CN 115471865A
Authority
CN
China
Prior art keywords
target
image data
violation
video image
safety control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211001140.1A
Other languages
English (en)
Inventor
窦国贤
陶俊
杨彬彬
毛舒乐
吴小华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Jiyuan Software Co Ltd
Original Assignee
Anhui Jiyuan Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Jiyuan Software Co Ltd filed Critical Anhui Jiyuan Software Co Ltd
Priority to CN202211001140.1A priority Critical patent/CN115471865A/zh
Publication of CN115471865A publication Critical patent/CN115471865A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及电力电网技术领域，具体涉及一种作业现场数字化安全管控方法、装置、设备和存储介质。该方法实时获取现场作业视频图像数据，对视频图像数据预处理，得到目标图像数据；基于深度神经网络模型对载入的含有不同种类目标图片数据进行训练，配合边缘摄像机中的AI芯片算力，对所述目标图像数据实时分析，识别和定位出目标图像数据中不同种类的多目标区域；对比后判断是否出现违章，若出现违章情况则生成报警逻辑信号告警，反馈给作业管理终端，并在实时获取现场作业视频图像数据中框选并标注对应的单个目标的目标区域。有利于现场作业关键环节的人员安全管控和违章判定，进而实现违章行为上报和违章行为告警语音播报等应用。

Description

作业现场数字化安全管控方法、装置、设备和存储介质
技术领域
本发明涉及电力电网技术领域，尤其涉及一种作业现场数字化安全管控方法、装置、设备和存储介质。
背景技术
随着供电和配电等电力设施的不断建设，电网运维、建设作业任务繁重，每周作业项目高峰期近3万个，现场人员超过40万人，现场数量多、作业人员多、专业配合多，各类安全风险和事故隐患交织叠加，安全管控难度大，传统安全管控方式和能力跟不上新形势发展的要求，对安全科技创新提出更高要求。
为进一步加强安全生产管控，在电力电网安全监督领域提出了安全生产风险管控平台建设，并将反违章智能监督作为作业安全智能化管控子任务中的重点建设内容。目的是通过推进人工智能基础支撑能力建设，开展现场作业安全管控典型业务应用验证工作，完成现场违章智能识别、作业人员行为分析能力组件与应用在生产环境的试运行。
但是，如何通过加强新技术研究和应用，实现违章智能识别是提高安全监控效率、有效查纠现场违章的重要手段，对真正实现作业全过程安全管控具有重要意义。然而，由于实际作业场景的复杂性和不确定性，采用现场视频监控等方式的安全监控难以满足作业现场管控需求，导致视频图像采集面临着诸多不可控因素，这对人员的行为估计带来了挑战。目前的研究大多还停留在对单目标的离线行为分析阶段，并且对视频流的分析效率低下，难以做到实时检测，而现作业场景通常存在多个目标同时作业的情况，需要对离线分析网络和推理策略进行优化、重构，以满足在线多目标变电运维人员行为识别需求。
发明内容
为解决作业现场数字化安全管控难度大、复杂繁琐且效率低下的问题，本发明提供了一种作业现场数字化安全管控方法、装置、设备和存储介质。
为实现上述目的，本发明实施例提供了如下的技术方案：
第一方面，在本发明提供的一个实施例中，提供了一种作业现场数字化安全管控方法，应用于现场作业多目标人员违章行为识别，该方法包括：
实时获取现场作业视频图像数据，对视频图像数据预处理，得到目标图像数据；
基于深度神经网络模型对载入的含有不同种类目标图片数据进行训练，配合边缘摄像机中的AI芯片算力，对所述目标图像数据实时分析，识别和定位出目标图像数据中不同种类的多目标区域；
在所述目标图像数据中标记处多目标区域，并依据单个目标的类别与标准数据库对比，判断是否出现违章，若出现违章情况则生成报警逻辑信号告警，并反馈给作业管理终端；
基于违章情况在实时获取现场作业视频图像数据中框选并标注对应的单个目标的目标区域。
可选的，所述对所述目标图像数据实时分析，识别和定位出目标图像数据中不同种类的多目标区域，识别类型包括作业车辆识别、烟火识别、安全帽识别、人脸识别以及违章作业行为识别；
所述作业车辆识别为对作业车辆类型、车身颜色、车牌号码、驾驶人进行识别分析；基于深度神经网络模型，使用大量不同种类的车辆图片数据进行训练，配合边缘摄像机申的AI芯片的算力，能够实时分析视频，并准确识别并定位出视频画面申的6种不同的交通车辆，适用场景包括各种复杂的交通场景，针对不同环境拥有较强的鲁棒性。
所述烟火识别为对作业现场环境烟火进行识别，算法结合深度神经网络模型，采用大规模的烟雾火焰图片数据进行识别训练。首先获取疑似火焰的区域，再使用神经网络模型进行识别，对火焰烟雾图像的检出率高，鲁棒性强，能够拥有较好的实时性。
所述安全帽识别为监督作业人员自觉正确佩戴安全帽，使用大量不同种类的佩戴安全帽图片数据进行训练，能够精确的定位为个出现在画面中的人，并且判断是否佩戴安全帽以及佩戴安全帽的颜色。可以根据佩戴安全帽的信息制定报警逻辑，出现危险区域不佩戴安全帽的情；兄能够马上告警，反馈给作业管理人员，及时规范工地的安全事项。
所述人脸识别为根据实时获取的人脸特征信息判断待检测的目标是否存在于人脸数据库中，进行作业现场身份验证以及身份信息检索，所述人脸识别包括人脸数据库导入、人脸检测、人脸对比。人脸识别功能基于深度神经网络，使用在庞大人脸数据集上进行预训练的模型，然后在私有数据集上进行再训练，使得抓拍的入了可以与特定的数据库申的人脸进行对比。
所述违章作业行为识别为对作业工人违反规定进入禁区或违反操作规范作业进行识别，神经网络模型采用大规模的行人图片、视频数据进行识别训练。同时将算法部署到边缘摄像机中，利用边缘计算装置中的AI芯片进行分析推理。能够就地实时得捕捉到违反规章制度的作业行为，并在捕捉到的第时间发出警告，将违章行为发生的时间、地点通过照片的形式进行上报，使得违章行为能够第时间得到纠正。
所述识别类型包括还包括异物入侵识别，支持对区域内的入侵物体识别分析；异物入侵识别包括两个阶段，异物检测、异物识别。异物检测采用传统自研算法和深度神经网络模型结合的方式，采用视频帧差检测出入侵的异物，再使用深度神经网络对于入侵的异物进行识别。
所述识别类型包括还包括姿态识别，支持对图像或视频中的人体骨骼关键点位置识别分析；所述姿态识别为人体姿态识别，采用检测和提取的方式，检测监控画面当中出现人体，并使用深度神经网络进行提取骨路关键点。当组2个骨陪关键点的置信度都超过定数值，且其中个骨髓点还与其他骨髓点相连，则将相应的骨髓添加至提取结果中。
当对人体目标识别时，人体目标属性识别指对于人的属性识别，包括：体貌特征(身高、体重)，穿着(上衣类型及颜色、裤子类型及颜色、是否背包和持物)，人脸(年龄、性别、人种、是否戴眼镜、头发类型颜色等)，动作识别(骨骼识别，跑、跳、走等)。
可选的，基于深度神经网络模型对载入的含有不同种类目标图片数据进行训练，配合边缘摄像机中的AI芯片算力，包括：
基于视觉的违章行为分析与识别，从载入的采集视频图像序列中检测、分割和跟踪运动目标并对目标行为进行分析与理解，学习和识别人体行为；
对采集视频图像序列进行识别训练后采用测试数据集进行测试，获取基于深度学习的多目标行为识别模型。
可选的，所述作业现场数字化安全管控方法在实时获取现场作业视频图像数据时，还包括单目标跟踪和多目标跟踪；
所述单目标跟踪为提取现场作业视频图像数据中的目标和背景信息用来训练分类器，目标从图像序列背景中分离出来，得到当前帧的目标位置；其中，提取现场作业视频图像数据中的目标和背景信息时判别的分类器采用机器学习策略，训练中分类器根据背景信息区分现场作业视频图像数据中的前景和背景。
所述多目标跟踪利用外观特征的相似性进行现场作业视频图像数据中相邻帧之间或者预测目标和观测目标之间的关联。
可选的，识别和定位出目标图像数据中不同种类的多目标区域时，还包括获取目标在作业现场的实际位置并定位，对作业现场目标定位采用WIFI、蓝牙、RFID、UWB、ZigBee定位中的一种或多种。
可选的，获取基于深度学习的多目标行为识别模型时，深度学习的多目标行为识别模型采用AutoEncoder自动编码器，基于Faster R-CNN模型在非监督数据上建立多层神经网络。
第二方面，在本发明提供的另一个实施例中，提供了一种作业现场数字化安全管控系统，包括：
数据获取模块，用于实时获取现场作业视频图像数据，对视频图像数据预处理，得到目标图像数据；
目标识别模块，用于基于深度神经网络模型对载入的含有不同种类目标图片数据进行训练，配合边缘摄像机中的AI芯片算力，对所述目标图像数据实时分析，识别和定位出目标图像数据中不同种类的多目标区域；
违章比对模块，用于在所述目标图像数据中标记处多目标区域，并依据单个目标的类别与标准数据库对比，判断是否出现违章，若出现违章情况则生成报警逻辑信号告警，并反馈给作业管理终端；
违章标注模块，用于基于违章情况在实时获取现场作业视频图像数据中框选并标注对应的单个目标的目标区域。
作为本发明的进一步方案，还包括目标跟踪模块，所述目标跟踪模块用于进行单目标跟踪和多目标跟踪。
第三方面，在本发明提供的又一个实施例中，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器加载并执行所述计算机程序时实现作业现场数字化安全管控方法的步骤。
第四方面，在本发明提供的再一个实施例中，提供了一种存储介质，存储有计算机程序，所述计算机程序被处理器加载并执行时实现所述作业现场数字化安全管控方法的步骤。
本发明提供的技术方案，具有如下有益效果：
本发明提供的作业现场数字化安全管控方法、装置、设备和存储介质，实时获取现场作业视频图像数据，对视频图像数据预处理，得到目标图像数据；基于深度神经网络模型对载入的含有不同种类目标图片数据进行训练，配合边缘摄像机中的AI芯片算力，对所述目标图像数据实时分析，识别和定位出目标图像数据中不同种类的多目标区域；对比后判断是否出现违章，若出现违章情况则生成报警逻辑信号告警，反馈给作业管理终端，并在实时获取现场作业视频图像数据中框选并标注对应的单个目标的目标区域。
本发明通过现场的安全管控智能终端在工作许可、交底、实施、终结等现场作业关键环节的人员安全管控和违章判定，进而实现违章行为上报和违章行为告警语音播报等应用；结合现场情况，开展现场验证，并在验证的成果基础上，持续完善适用不同作业现场的智能终端解决方案，推进现场部署应用的便捷化、智能化水平，同步扩大推广实施范围。有利于实地部署智能终端，搭载违章识别、人脸识别等算法，配置电子围栏、智能安全帽、移动布控球等智能安全工器具，整合汇总现场各类信息，并与后台数据有效对接，通过实际场景，验证智能终端对现场安全管控的能力和效果，并结合试点情况不断改进提升；还可以根据现场应用反馈结果，通过扩展边缘计算装置接入设备、升级智能终端软硬件、优化算法模型等途径，不断提升智能终端安全管控的易用性与有效性，满足作业现场应用需求。
本发明的这些方面或其他方面在以下实施例的描述中会更加简明易懂。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。在附图中：
图1为本发明一个实施例的一种作业现场数字化安全管控方法的流程图。
图2为本发明一个实施例的一种作业现场数字化安全管控方法中深度学习方法的流程图。
图3为本发明一个实施例的一种作业现场数字化安全管控系统的系统框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
应当理解，为了便于清楚描述本发明实施例的技术方案，在本发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
还应当进理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
由于目前对实现违章智能识别是提高安全监控效率、有效查纠现场违章的研究大多还停留在对单目标的离线行为分析阶段，并且对视频流的分析效率低下，难以做到实时检测，而现作业场景通常存在多个目标同时作业的情况，需要对离线分析网络和推理策略进行优化、重构，以满足在线多目标变电运维人员行为识别需求。
针对作业现场数字化安全管控难度大、复杂繁琐且效率低下的问题，本发明提供了一种作业现场数字化安全管控方法、装置、设备和存储介质。本发明以“数字新基建”建设为契机，积极响应电力电网建设数字化电网的迫切需求，充分整合接入现场作业可利用的各类智能终端，并紧密围绕一线班组生产作业场景，构建安监业务现场管控的违章管控要点清单，结合现场工作实际，创造性的提出建设安监业务违章判定规则库和算法模型库，将安监管理要求和现场作业的业务要求进行深度融合和统一。
具体地，下面结合附图，对本发明实施例作进一步阐述。
请参阅图1，图1是本发明实施例提供的一种作业现场数字化安全管控方法的流程图，如图1所示，该作业现场数字化安全管控方法包括步骤S10至步骤S40。
S10、实时获取现场作业视频图像数据，对视频图像数据预处理，得到目标图像数据；
S20、基于深度神经网络模型对载入的含有不同种类目标图片数据进行训练，配合边缘摄像机中的AI芯片算力，对所述目标图像数据实时分析，识别和定位出目标图像数据中不同种类的多目标区域；
S30、在所述目标图像数据中标记处多目标区域，并依据单个目标的类别与标准数据库对比，判断是否出现违章，若出现违章情况则生成报警逻辑信号告警，并反馈给作业管理终端；
S40、基于违章情况在实时获取现场作业视频图像数据中框选并标注对应的单个目标的目标区域。
在获取用户应用端的应用配置请求时，本发明实施例的执行主体是执行作业现场数字化安全管控方法的现场作业管理后台终端设备，该设备可以是PC、便携计算机、移动终端等具有显示和处理功能的设备。
在一些实施例中，所述对所述目标图像数据实时分析，识别和定位出目标图像数据中不同种类的多目标区域，识别类型包括作业车辆识别、烟火识别、安全帽识别、人脸识别以及违章作业行为识别；
所述作业车辆识别为对作业车辆类型、车身颜色、车牌号码、驾驶人进行识别分析；所述烟火识别为对作业现场环境烟火进行识别；所述安全帽识别为监督作业人员自觉正确佩戴安全帽；所述人脸识别为根据实时获取的人脸特征信息判断待检测的目标是否存在于人脸数据库中，进行作业现场身份验证以及身份信息检索；所述违章作业行为识别为对作业工人违反规定进入禁区或违反操作规范作业进行识别。
在一些实施例中，基于深度神经网络模型对载入的含有不同种类目标图片数据进行训练，配合边缘摄像机中的AI芯片算力，包括：
基于视觉的违章行为分析与识别，从载入的采集视频图像序列中检测、分割和跟踪运动目标并对目标行为进行分析与理解，学习和识别人体行为；
对采集视频图像序列进行识别训练后采用测试数据集进行测试，获取基于深度学习的多目标行为识别模型。
其中，参见图2所示，深度学习方法的流程由如下6个过程组成，数据载入与数据预处理->网络构建->分类函数与loss定义->优化器定义->训练与验证过程->测试过程。
在一些实施例中，基于深度学习方法开发出多种人员动作行为识别算法，如：绝缘手头/安全帽佩戴识别算法、工装识别算法、接地线识别算法、宣读工作票流程识别算法等，合边缘计算技术以及容器编排技术，通过边缘物联平台，实现云边协同，软件定义摄像机，可整合作业现场移动布控球、智能安全帽等各类视频信号，对作业现场进行全方位智能监控。
在一些实施例中，所述作业现场数字化安全管控方法在实时获取现场作业视频图像数据时，还包括单目标跟踪和多目标跟踪；
所述单目标跟踪为提取现场作业视频图像数据中的目标和背景信息用来训练分类器，目标从图像序列背景中分离出来，得到当前帧的目标位置；其中，提取现场作业视频图像数据中的目标和背景信息时判别的分类器采用机器学习策略，训练中分类器根据背景信息区分现场作业视频图像数据中的前景和背景。
所述多目标跟踪利用外观特征的相似性进行现场作业视频图像数据中相邻帧之间或者预测目标和观测目标之间的关联。
在一些实施例中，识别和定位出目标图像数据中不同种类的多目标区域时，还包括获取目标在作业现场的实际位置并定位，对作业现场目标定位采用WIFI、蓝牙、RFID、UWB、ZigBee定位中的一种或多种。
由于作业现场定位可以按照使用场景的不同划分为室内定位和室外定位两大类。因此，可以采用WIFI、蓝牙、RFID、UWB、ZigBe等技术在作业现场部署定位基站，其中，采用不同的定位技术时，WIFI需要部署AP，蓝牙要部署蓝牙基站或者iBeacon，RFID需要部署RFIDReader。定位的距离都是相对比较近的，而精度不同。
示例性的，采用WIFI定位技术时，当作业现场在室内时，利用至少3个AP，通过三角定位算法，计算出无线终端(手机等)的地理位置；当作业现场在室外时，则利用多个AP的信号到达无线终端的时间差，计算无线终端的地理位置。
其中，利用Wi-Fi基站信息，定位出手机当前所处的经纬度信息，定位精度比较粗，即：定位的是Wi-Fi基站的位置信息。因此，WIFI定位应用于作业现场时，部署简单，对精度要求不高的场合，WIFI的数据传输网络建设完毕后就可以通过假设定位引擎服务来开通WIFI定位功能。另外，成本低廉，WIFI的芯片模组较低，已经在10元左右，WIFI基站和AP的价格都是百元以内，而且可以数据传输和定位的功能，所以能够满足低成本大规模扩展的需要，可利用手机终端，省略了终端部署的成本。
示例性的，蓝牙定位时，采用RSSI(接收信号强度指示)和基于定位指纹，或者两者结合的方式，或者与WIFI相结合实用，蓝牙的功耗要低于WIFI，通过部署一张专用的定位的网络对系统的可靠性而言要比兼顾数据传输和定位的WIFI网络要健壮，稳定性更好。
示例性的,采用UWB定位时，具有实时定位和精确定位的双重优点，定位的延迟时间远远小于蓝牙定位、WIFI定位等其他的室内定位技术。精度可以达到10cm左右，在本发明的实施例中，UWB定位是室内高精度定位的首选。
而且，高带宽，不需要使用传统通信体制中的载波，而是通过发送和接收具有纳秒或微秒级以下的极窄脉冲来传输数据，从而具有3.1～
10.6GHz量级的带宽。
示例性的，在本实施例中，ZigBee定位技术则是通过若干个待定位的盲节点和一个已知位置的参考节点与网关之间形成组网，每个微小的盲节点之间相互协调通信以实现全部定位。在作业现场应用时，具有低功耗/可组网、价格低，适用面广的有点，Zigbee网络主要是为工业现场自动化控制数据传输而建立，简单，使用方便，可靠，价格低廉。
在一些实施例中，获取基于深度学习的多目标行为识别模型时，深度学习的多目标行为识别模型采用AutoEncoder自动编码器，基于Faster R-CNN模型在非监督数据上建立多层神经网络。
其中，在非监督数据上建立多层神经网络时，分为两步，一是每次训练一层网络，二是调优，方法是：首先逐层构建单层神经元，这样每次都是训练一个单层网络。当所有层训练完后，Hinton使用wake-sleep算法进行调优。Wake-Sleep算法分为醒(wake)和睡(sleep)两个部分。
其中，wake阶段：认知过程，通过外界的特征和向上的权重(认知权重)产生每一层的抽象表示(结点状态)，并且使用梯度下降修改层间的下行权重(生成权重)。sleep阶段：生成过程，通过顶层表示和向下权重，生成底层的状态，同时修改层间向上的权重。
在本发明的一些实施例中，深度学习的常用模型还包括Sparse AutoEncoder稀疏自动编码器、DenoisingAutoEncoders降噪自动编码器；Sparse Coding稀疏编码；Restricted Boltzmann Machine(RBM)限制波尔兹曼机；Deep Belief Networks深信度网络；Convolutional Neural Networks卷积神经网。
在一些实施例中，作业现场数字化安全管控方法实施时，采用移动布控球、智能安全帽、UWB/北斗电子围栏、智能接地线、近电感应装置等智能终端在工作许可、交底、实施、终结等现场作业关键环节的人员安全管控和违章判定，进而实现违章行为上报和违章行为告警语音播报等应用。
结合现场情况，开展现场验证，并在验证的成果基础上，持续完善适用不同作业现场的智能终端解决方案，推进现场部署应用的便捷化、智能化水平，同步扩大推广实施范围。
根据选取的输电、变电、配电、基建等专业典型作业场景，实地部署智能终端，搭载违章识别、人脸识别等算法，配置电子围栏、智能安全帽、移动布控球等智能安全工器具，整合汇总现场各类信息，并与后台数据有效对接，通过实际场景，验证智能终端对现场安全管控的能力和效果，并结合试点情况不断改进提升。
应该理解的是，上述虽然是按照某一顺序描述的，但是这些步骤并不是必然按照上述顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，本实施例的一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
参见图3所示，本发明的一个实施例提供一种作业现场数字化安全管控系统，该系统包括数据获取模块100、目标识别模块200、违章比对模块300和违章标注模块400。
在本发明实施例中，所述数据获取模块100用于实时获取现场作业视频图像数据，对视频图像数据预处理，得到目标图像数据。
在本发明实施例中，所述目标识别模块200用于基于深度神经网络模型对载入的含有不同种类目标图片数据进行训练，配合边缘摄像机中的AI芯片算力，对所述目标图像数据实时分析，识别和定位出目标图像数据中不同种类的多目标区域。
在本发明实施例中，所述违章比对模块300用于在所述目标图像数据中标记处多目标区域，并依据单个目标的类别与标准数据库对比，判断是否出现违章，若出现违章情况则生成报警逻辑信号告警，并反馈给作业管理终端。
在本发明的实施例中，所述违章标注模块400用于基于违章情况在实时获取现场作业视频图像数据中框选并标注对应的单个目标的目标区域。
在本发明实施例中，所述作业现场数字化安全管控系统，还包括目标跟踪模块，所述目标跟踪模块用于进行单目标跟踪和多目标跟踪。
需要特别说明的是，作业现场数字化安全管控系统进行执行如前述实施例的一种作业现场数字化安全管控方法，因此，本实施例中对作业现场数字化安全管控方法不再详细介绍。
在一个实施例中，在本发明的实施例中还提供了一种计算机设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行所述的作业现场数字化安全管控方法，该处理器执行指令时实现上述各方法实施例中的步骤：
实时获取现场作业视频图像数据，对视频图像数据预处理，得到目标图像数据；
基于深度神经网络模型对载入的含有不同种类目标图片数据进行训练，配合边缘摄像机中的AI芯片算力，对所述目标图像数据实时分析，识别和定位出目标图像数据中不同种类的多目标区域；
在所述目标图像数据中标记处多目标区域，并依据单个目标的类别与标准数据库对比，判断是否出现违章，若出现违章情况则生成报警逻辑信号告警，并反馈给作业管理终端；
基于违章情况在实时获取现场作业视频图像数据中框选并标注对应的单个目标的目标区域。
在上下文中所称“计算机设备”，也称为“电脑”，是指可以通过运行预定程序或指令来执行数值计算和/或逻辑计算等预定处理过程的智能电子设备，其可以包括处理器与存储器，由处理器执行在存储器中预存的存续指令来执行预定处理过程，或是由ASIC、FPGA、DSP等硬件执行预定处理过程，或是由上述二者组合来实现。计算机设备包括但不限于服务器、个人电脑、笔记本电脑、平板电脑、智能手机等。
所述计算机设备包括用户设备与网络设备。其中，所述用户设备包括但不限于电脑、智能手机、PDA等；所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。其中，所述计算机设备可单独运行来实现本发明，也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本发明。其中，所述计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。
在本发明的一个实施例中还提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤：
实时获取现场作业视频图像数据，对视频图像数据预处理，得到目标图像数据；
基于深度神经网络模型对载入的含有不同种类目标图片数据进行训练，配合边缘摄像机中的AI芯片算力，对所述目标图像数据实时分析，识别和定位出目标图像数据中不同种类的多目标区域；
在所述目标图像数据中标记处多目标区域，并依据单个目标的类别与标准数据库对比，判断是否出现违章，若出现违章情况则生成报警逻辑信号告警，并反馈给作业管理终端；
基于违章情况在实时获取现场作业视频图像数据中框选并标注对应的单个目标的目标区域。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。
综上所述，本发明提供的作业现场数字化安全管控方法、装置、设备和存储介质，实时获取现场作业视频图像数据，对视频图像数据预处理，得到目标图像数据；基于深度神经网络模型对载入的含有不同种类目标图片数据进行训练，配合边缘摄像机中的AI芯片算力，对所述目标图像数据实时分析，识别和定位出目标图像数据中不同种类的多目标区域；对比后判断是否出现违章，若出现违章情况则生成报警逻辑信号告警，反馈给作业管理终端，并在实时获取现场作业视频图像数据中框选并标注对应的单个目标的目标区域。
本发明通过现场的安全管控智能终端在工作许可、交底、实施、终结等现场作业关键环节的人员安全管控和违章判定，进而实现违章行为上报和违章行为告警语音播报等应用；结合现场情况，开展现场验证，并在验证的成果基础上，持续完善适用不同作业现场的智能终端解决方案，推进现场部署应用的便捷化、智能化水平，同步扩大推广实施范围。有利于实地部署智能终端，搭载违章识别、人脸识别等算法，配置电子围栏、智能安全帽、移动布控球等智能安全工器具，整合汇总现场各类信息，并与后台数据有效对接，通过实际场景，验证智能终端对现场安全管控的能力和效果，并结合试点情况不断改进提升；还可以根据现场应用反馈结果，通过扩展边缘计算装置接入设备、升级智能终端软硬件、优化算法模型等途径，不断提升智能终端安全管控的易用性与有效性，满足作业现场应用需求。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种作业现场数字化安全管控方法，其特征在于，应用于现场作业多目标人员违章行为识别，该方法包括：
实时获取现场作业视频图像数据，对视频图像数据预处理，得到目标图像数据；
基于深度神经网络模型对载入的含有不同种类目标图片数据进行训练，配合边缘摄像机中的AI芯片算力，对所述目标图像数据实时分析，识别和定位出目标图像数据中不同种类的多目标区域；
在所述目标图像数据中标记处多目标区域，并依据单个目标的类别与标准数据库对比，判断是否出现违章，若出现违章情况则生成报警逻辑信号告警，并反馈给作业管理终端；
基于违章情况在实时获取现场作业视频图像数据中框选并标注对应的单个目标的目标区域。
2.如权利要求1所述的作业现场数字化安全管控方法，其特征在于，所述对所述目标图像数据实时分析，识别和定位出目标图像数据中不同种类的多目标区域，识别类型包括作业车辆识别、烟火识别、安全帽识别、人脸识别以及违章作业行为识别；
所述作业车辆识别为对作业车辆类型、车身颜色、车牌号码、驾驶人进行识别分析；所述烟火识别为对作业现场环境烟火进行识别；所述安全帽识别为监督作业人员自觉正确佩戴安全帽；所述人脸识别为根据实时获取的人脸特征信息判断待检测的目标是否存在于人脸数据库中，进行作业现场身份验证以及身份信息检索；所述违章作业行为识别为对作业工人违反规定进入禁区或违反操作规范作业进行识别。
3.如权利要求1所述的作业现场数字化安全管控方法，其特征在于，基于深度神经网络模型对载入的含有不同种类目标图片数据进行训练，配合边缘摄像机中的AI芯片算力，包括：
基于视觉的违章行为分析与识别，从载入的采集视频图像序列中检测、分割和跟踪运动目标并对目标行为进行分析与理解，学习和识别人体行为；
对采集视频图像序列进行识别训练后采用测试数据集进行测试，获取基于深度学习的多目标行为识别模型。
4.如权利要求3所述的作业现场数字化安全管控方法，其特征在于，所述作业现场数字化安全管控方法在实时获取现场作业视频图像数据时，还包括单目标跟踪和多目标跟踪；
所述单目标跟踪为提取现场作业视频图像数据中的目标和背景信息用来训练分类器，目标从图像序列背景中分离出来，得到当前帧的目标位置；其中，提取现场作业视频图像数据中的目标和背景信息时判别的分类器采用机器学习策略，训练中分类器根据背景信息区分现场作业视频图像数据中的前景和背景；
所述多目标跟踪利用外观特征的相似性进行现场作业视频图像数据中相邻帧之间或者预测目标和观测目标之间的关联。
5.如权利要求4所述的作业现场数字化安全管控方法，其特征在于，识别和定位出目标图像数据中不同种类的多目标区域时，还包括获取目标在作业现场的实际位置并定位，对作业现场目标定位采用WIFI、蓝牙、RFID、UWB、ZigBee定位中的一种或多种。
6.如权利要求3所述的作业现场数字化安全管控方法，其特征在于，获取基于深度学习的多目标行为识别模型时，深度学习的多目标行为识别模型采用AutoEncoder自动编码器，基于Faster R-CNN模型在非监督数据上建立多层神经网络。
7.一种作业现场数字化安全管控系统，其特征在于，包括：
数据获取模块，用于实时获取现场作业视频图像数据，对视频图像数据预处理，得到目标图像数据；
目标识别模块，用于基于深度神经网络模型对载入的含有不同种类目标图片数据进行训练，配合边缘摄像机中的AI芯片算力，对所述目标图像数据实时分析，识别和定位出目标图像数据中不同种类的多目标区域；
违章比对模块，用于在所述目标图像数据中标记处多目标区域，并依据单个目标的类别与标准数据库对比，判断是否出现违章，若出现违章情况则生成报警逻辑信号告警，并反馈给作业管理终端；
违章标注模块，用于基于违章情况在实时获取现场作业视频图像数据中框选并标注对应的单个目标的目标区域。
8.如权利要求7所述的作业现场数字化安全管控系统，其特征在于，目标跟踪模块，所述目标跟踪模块用于进行单目标跟踪和多目标跟踪。
9.一种计算机设备，其特征在于，所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的作业现场数字化安全管控程序，其中所述作业现场数字化安全管控程序被所述处理器执行时，实现如权利要求1至6中任一项所述的作业现场数字化安全管控方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有作业现场数字化安全管控程序，其中所述作业现场数字化安全管控程序被处理器执行时，实现如权利要求1至6中任一项所述的作业现场数字化安全管控方法的步骤。
CN202211001140.1A 2022-08-19 2022-08-19 作业现场数字化安全管控方法、装置、设备和存储介质 Pending CN115471865A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211001140.1A CN115471865A (zh) 2022-08-19 2022-08-19 作业现场数字化安全管控方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211001140.1A CN115471865A (zh) 2022-08-19 2022-08-19 作业现场数字化安全管控方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN115471865A true CN115471865A (zh) 2022-12-13

Family

ID=84367964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211001140.1A Pending CN115471865A (zh) 2022-08-19 2022-08-19 作业现场数字化安全管控方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN115471865A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116958903A (zh) * 2023-08-01 2023-10-27 浙江迈新科技股份有限公司 多联动安全管控机制下的智慧工厂安全监管方法
CN117197726A (zh) * 2023-11-07 2023-12-08 四川三思德科技有限公司 一种重点人员精准化管控系统及方法
CN117690166A (zh) * 2024-02-02 2024-03-12 湖北世纪森源电气集团有限公司 一种电力控制柜的安防监测方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116958903A (zh) * 2023-08-01 2023-10-27 浙江迈新科技股份有限公司 多联动安全管控机制下的智慧工厂安全监管方法
CN117197726A (zh) * 2023-11-07 2023-12-08 四川三思德科技有限公司 一种重点人员精准化管控系统及方法
CN117197726B (zh) * 2023-11-07 2024-02-09 四川三思德科技有限公司 一种重点人员精准化管控系统及方法
CN117690166A (zh) * 2024-02-02 2024-03-12 湖北世纪森源电气集团有限公司 一种电力控制柜的安防监测方法及系统
CN117690166B (zh) * 2024-02-02 2024-04-16 湖北世纪森源电气集团有限公司 一种电力控制柜的安防监测方法及系统

Similar Documents

Publication Publication Date Title
CN115471865A (zh) 作业现场数字化安全管控方法、装置、设备和存储介质
CN110807385B (zh) 目标检测方法、装置、电子设备及存储介质
CN107330396B (zh) 一种基于多属性和多策略融合学习的行人再识别方法
US10691950B2 (en) Activity recognition method and system
JP6905850B2 (ja) 画像処理システム、撮像装置、学習モデル作成方法、情報処理装置
CN109461106A (zh) 一种多维信息感知处理方法
CN109325429B (zh) 一种关联特征数据的方法、装置、存储介质及终端
CN109766755B (zh) 人脸识别方法及相关产品
CN106951889A (zh) 井下高危区域动目标监测和管理系统
CN110414400B (zh) 一种施工现场安全帽穿戴自动检测方法及系统
CN111291589A (zh) 信息的关联分析方法及装置、储存介质、电子装置
CN112785798A (zh) 面向电力变电站工程建设项目施工人员的行为分析方法
CN109523574B (zh) 一种行走轨迹预测方法和电子设备
Cao et al. CNN-based intelligent safety surveillance in green IoT applications
CN111160175A (zh) 智能行人违章行为管理方法及相关产品
CN110135476A (zh) 一种个人安全装备的检测方法、装置、设备及系统
CN112396658A (zh) 一种基于视频的室内人员定位方法及定位系统
CN111382808A (zh) 一种车辆检测处理方法及装置
CN102254394A (zh) 一种基于视频差异分析的输电线路杆塔防盗监控方法
CN110909195A (zh) 基于区块链的图片标注方法、装置及存储介质、服务器
CN116664359A (zh) 一种基于多传感融合的智能火情预警决策系统及方法
CN116846059A (zh) 一种用于电网巡检和监控的边缘检测系统
CN107966678B (zh) 基于信号数据筛选的定位方法、电子装置及存储介质
CN113627326A (zh) 一种基于可穿戴设备和人体骨架的行为识别方法
CN114758286B (zh) 基于工作票事件的边缘智能安全监测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination