CN112507945B - 作业人员行为管控方法、装置、电子设备及存储介质 - Google Patents
作业人员行为管控方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112507945B CN112507945B CN202011505670.0A CN202011505670A CN112507945B CN 112507945 B CN112507945 B CN 112507945B CN 202011505670 A CN202011505670 A CN 202011505670A CN 112507945 B CN112507945 B CN 112507945B
- Authority
- CN
- China
- Prior art keywords
- voice information
- judging whether
- operator
- mobilenet
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000012549 training Methods 0.000 claims description 48
- 230000006399 behavior Effects 0.000 claims description 33
- 238000012360 testing method Methods 0.000 claims description 18
- 238000003062 neural network model Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 5
- 238000007726 management method Methods 0.000 claims 3
- 230000008569 process Effects 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 description 7
- 238000010276 construction Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供了一种作业人员行为管控方法、装置、电子设备及存储介质，其方法包括：S1：接收作业人员复诵的语音信息，语音信息为操作票记载的操作任务的当前操作步骤；S2：识别语音信息，判断操作步骤是否包括要求穿戴绝缘手套的信息，若是，则执行步骤S3；若否，则执行步骤S4；S3，通过实时作业视频，判断作业人员是否穿戴绝缘手套，若否，则发出手套穿戴指令；S4：在完成当前操作步骤后，判断是否存在未完成的下一项操作步骤，若是，则执行步骤S1；若否，则发出完成任务指令。建立一种针对作业人员的操作行为管控方法，针对作业人员的绝缘手套佩戴情况进行严格管控，避免作业人员在操作过程中发生触电事故，从而确保作业人员的人身安全。
Description
技术领域
本发明属于行为管理的领域，尤其涉及一种作业人员行为管控方法、装置、电子设备及存储介质。
背景技术
根据电力安全规程的相关要求，电气操作任务需要提前填写操作票，操作票中完整列出作业过程执行的全部操作步骤。作业人员在执行操作步骤之前，需要对操作步骤进行复诵，以确保监护人和操作人已经明确下一项操作内容。
对于操作票记录的规定动作的复诵，现阶段是通过录音和图像的方式，在作业完成后进行复查，并不能起到在操作过程中进行管控的作用，面对一种特殊的情况，如需要作业人员执行验电和接地等任务时，假如任务要求作业人员佩戴相应电压等级的绝缘手套，作业人员没有按要求佩戴，而又没有一种措施能对作业人员不按要求佩戴绝缘手套的行为进行管控，那么作业人员会面临触电风险。
因此，建立一种针对作业人员的绝缘手套佩戴情况的管控方法，对于确保作业人员的人身安全具有十分重大的意义。
发明内容
本发明提供了一种作业人员行为管控方法、装置、电子设备及存储介质，用于监督作业人员在执行验电和接地等需要佩戴绝缘手套的任务过程中，按照规定佩戴绝缘手套，从而确保作业人员的人身安全。
第一方面，本发明提供的一种作业人员行为管控方法，所述方法包括如下步骤：
S1：接收作业人员复诵的语音信息，所述语音信息为操作票记载的操作任务的当前操作步骤；
S2：识别所述语音信息，判断所述操作步骤是否包括要求穿戴绝缘手套的信息，若是，则执行步骤S3；若否，则执行步骤S4；
S3：获取实时作业视频，基于所述实时作业视频，判断所述作业人员是否穿戴绝缘手套，若否，则发出手套穿戴指令；
S4：在完成所述操作步骤后，判断是否存在未完成的下一项操作步骤，若是，则执行步骤S1；若否，则发出完成任务指令。
可选地，在所述步骤S2之前，还包括：
S11：获取电子操作票，所述电子操作票记载所述操作步骤的文字信息；
S12：识别所述语音信息，并判断所述语音信息与所述文字信息的内容是否一致，若否，则执行步骤S13；若是，则执行步骤S2；
S13：发出语音信息错误指令，并返回执行步骤S1。
可选地，所述S2包括：
S21，通过所述语音信息，判断所述操作步骤是否涉及预先设定的关键字信息，若是，则执行步骤S22，若否，则执行步骤S4；
S22，从所述语音信息中识别操作任务的对象的电压等级；
S23，通过所述语音信息，判断所述操作步骤是否要求穿戴符合所述电压等级的绝缘手套，若是，则执行步骤S3；若否，则执行步骤S4。
可选地，所述S3包括：
S31，从所述实时作业视频中抽取帧图像，得到待识别作业图像；
S32，将所述待识别作业图像输入预先训练的目标神经网络模型，判断所述工作人员手部是否裸露，若是，则发出手套穿戴指令；
S33，将所述待识别作业图像输入预先训练的目标神经网络模型，判断所述工作人员是否穿戴正确电压等级的绝缘手套；若否，则发出穿戴错误指令，并执行步骤S31；若是，则执行步骤S4。
可选地，所述预先训练的神经网络模型为MobileNet模型，所述训练步骤包括：
从预先准备的图片样本库中分别筛选低压绝缘手套、中压绝缘手套、高压绝缘手套和无绝缘手套的图片样本，并分别标注为低压、中压、高压、无的样本类型；
采用80％的标注后的图片样本形成训练样本，以及采用20％的标注后的图片样本形成测试样本；
基于所述训练样本和测试样本，训练生成目标MobileNet网络模型。
可选地，基于所述训练样本和测试样本，训练生成所述目标MobileNet网络模型，包括：
将所述训练样本输入所述MobileNet网络模型，得到MobileNet模型参数；
基于当前的MobileNet模型参数，将所述测试样本输入MobileNet网络模型，得到训练误差；
基于所述训练误差，对当前的MobileNet模型参数进行调整，以得到使训练误差最小的最优的网络参数，并采用所述最优的网络参数生成所述目标MobileNet网络模型。
可选地，将所述训练样本输入所述MobileNet网络模型，得到MobileNet模型参数，包括：
将所有所述训练样本转换为对应的二进制格式数据；
将所述二进制格式数据依次输入所述MobileNet网络模型，生成MobileNet模型参数。
第二方面，本发明还提供了一种作业人员行为管控装置，所述装置包括：
接收模块，用于接收作业人员复诵的语音信息，所述语音信息为所述操作票记载的操作任务的当前操作步骤；
识别模块，用于识别所述语音信息，判断所述操作步骤是否要求穿戴绝缘手套，若是，则执行第一判断模块；若否，则执行第二判断模块；
所述第一判断模块，用于获取实时作业视频，基于所述实时作业视频，判断所述作业人员是否穿戴所述绝缘手套，若否，则发出手套穿戴指令；
所述第二判断模块，用于在完成所述操作步骤后，判断是否存在未完成的下一项操作步骤，若是，则执行所述接收模块；若否，则发出完成任务指令。
可选地，所述装置还包括：
获取模块，用于获取电子操作票，所述电子操作票记载所述操作步骤的文字信息；
一致性确定模块，用于识别所述语音信息，并判断所述语音信息与所述文字信息的内容是否一致，若否，则执行错误指令发出模块；若是，则执行识别模块；
错误指令发出模块，用于发出语音信息错误指令，并返回执行所述接收模块。
可选地，所述识别模块包括：
第一判断子模块，用于通过所述语音信息，判断所述操作步骤是否涉及预先设定的关键字信息，若是，则执行电压等级识别子模块，若否，则执行所述第二判断模块；
所述电压等级识别子模块，用于从所述语音信息中识别操作任务的对象的电压等级；
第二判断子模块，用于通过所述语音信息，判断所述操作步骤是否要求穿戴符合所述电压等级的绝缘手套，若是，则执行所述第一判断子模块；若否，则执行所述第二判断模块。
可选地，所述第一判断模块包括：
帧图像抽取子模块，用于从所述实时作业视频中抽取帧图像，得到待识别作业图像；
手部细节判断子模块，用于通过所述待识别作业图像，判断所述工作人员手部是否裸露，若是，则发出手套穿戴指令；
穿戴细节判断子模块，用于将所述待识别作业图像输入预先训练的目标神经网络模型，判断所述工作人员是否穿戴正确电压等级的绝缘手套；若否，则发出穿戴错误指令，若是则执行所述第二判断模块。
可选地，所述装置还包括：网络构建模块；所述预先训练的神经网络模型为MobileNet模型；所述网络构建模块包括：
样本获取子模块，用于从预先准备的图片样本库中分别筛选低压绝缘手套、中压绝缘手套、高压绝缘手套和无绝缘手套的图片样本，并分别标注为低压、中压、高压、无的样本类型；
样本分类子模块，用于采用80％的标注后的图片样本形成训练样本，以及采用20％的标注后的图片样本形成测试样本；
模型构建子模块，用于基于所述训练样本和测试样本，训练生成目标MobileNet网络模型。
可选地，所述模型构建子模块包括：
生成单元，用于将所述训练样本输入所述MobileNet网络模型，得到MobileNet模型参数；
误差确定单元，用于基于当前的MobileNet模型参数，将所述测试样本输入MobileNet网络模型，得到训练误差；
模型生成单元，用于基于所述训练误差，对当前的MobileNet模型参数进行调整，以得到使训练误差最小的最优的网络参数，并采用所述最优的网络参数生成所述目标MobileNet网络模型。
可选地，所述生成单元包括：
转换子单元，用于将所有所述训练样本转换为对应的二进制格式数据；
模型参数生成子单元，用于将所述二进制格式数据依次输入所述MobileNet网络模型，生成MobileNet模型参数。
第三方面，本发明提供一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。
第四方面，本发明提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
从以上技术方案可以看出，本发明具有以下优点：
本发明提供了一种作业人员行为管控方法、装置、设备及存储介质，通过S1：接收作业人员复诵的语音信息，所述语音信息为所述操作票记载的操作任务的当前操作步骤；S2：识别所述语音信息，判断所述操作步骤是否要求穿戴绝缘手套，若是，则执行步骤S3；若否，则执行步骤S4；S3，通过实时作业视频，基于所述实时作业视频，判断所述作业人员是否穿戴所述绝缘手套，若否，则发出手套穿戴指令，并执行步骤S4；若是，则执行步骤S4；S4：在完成所述操作步骤后，判断是否存在未完成的下一项操作步骤，若是，则执行步骤S1；若否，则发出完成任务指令。建立一种针对作业人员的操作行为管控方法，针对作业人员的绝缘手套佩戴情况进行严格管控，避免作业人员在操作过程中发生触电事故，从而确保作业人员的人身安全。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图；
图1为本发明的一种作业人员行为管控方法实施例一的步骤流程图；
图2为本发明的一种作业人员行为管控方法实施例一在步骤S102之前的一个可选实施例的步骤流程图；
图3为本发明的一种作业人员行为管控方法实施例二的步骤流程图；
图4为本发明的低压绝缘手套示意图；
图5为本发明的中压绝缘手套示意图；
图6为本发明的高压绝缘手套示意图；
图7为本发明的一种作业人员行为管控方法实施例二在步骤S207的一个可选实施例的步骤流程图；
图8为本发明的一种作业人员行为管控方法实施例二的监管装置结构示意图；
图9为本发明的一种作业人员行为管控装置实施例的结构框图。
具体实施方式
本发明实施例提供了一种作业人员行为管控方法、装置、电子设备及存储介质，用于监督作业人员在执行验电和接地等需要配戴绝缘手套的任务过程中，按照规定佩戴绝缘手套，从而确保作业人员的人身安全。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例一，请参阅图1，图1为本发明的一种作业人员行为管控方法实施例一的步骤流程图，具体包括如下步骤：
S101：接收作业人员复诵的语音信息，所述语音信息为操作票记载的操作任务的当前操作步骤；
S102：识别所述语音信息，判断所述操作步骤是否包括要求穿戴绝缘手套的信息，若是，则执行步骤S103；若否，则执行步骤S104；
请参阅图2，图2为本发明的一种作业人员行为管控方法实施例一在步骤S102之前的一个可选实施例的步骤流程图，在一个可选实施例中，在步骤S102之前，还包括：
S1011：获取电子操作票，所述电子操作票记载所述操作步骤的文字信息；
S1012：识别所述语音信息，并判断所述语音信息与所述文字信息的内容是否一致，若否，则执行步骤S1013；若是，则执行步骤S102；
S1013：发出语音信息错误指令，并返回执行步骤S101。
在具体实现中，首先识别作业人员在作业之前复诵的操作票上所记载的当前操作步骤语音信息，并对其进行识别，将识别得到的文字信息和操作票上所记录的文字信息内容进行比对，确定两者的一致性。
S103，获取实时作业视频，基于所述实时作业视频，判断所述作业人员是否穿戴绝缘手套，若否，则发出手套穿戴指令；
S104：在完成所述操作步骤后，判断是否存在未完成的下一项操作步骤，若是，则执行步骤S101；若否，则发出完成任务指令。
本发明实施例提供了一种作业人员行为管控方法，通过S1：接收作业人员复诵的语音信息，语音信息为操作票记载的操作任务的当前操作步骤；S2：识别语音信息，判断操作步骤是否包括要求穿戴绝缘手套的信息，若是，则执行步骤S3；若否，则执行步骤S4；S3，通过实时作业视频，基于所述实时作业视频，判断作业人员是否穿戴绝缘手套，若否，则发出手套穿戴指令；S4：在完成当前操作步骤后，判断是否存在未完成的下一项操作步骤，若是，则执行步骤S1；若否，则发出完成任务指令。建立一种针对作业人员的操作行为管控方法，针对作业人员的绝缘手套佩戴情况进行严格管控，避免作业人员在操作过程中发生触电事故，从而确保作业人员的人身安全。
实施例二，请参阅图3，图3为本发明的一种作业人员行为管控方法实施例二的步骤流程图，具体包括如下步骤：
S201，从预先准备的图片样本库中分别筛选低压绝缘手套、中压绝缘手套、高压绝缘手套和无绝缘手套的图片样本，并分别标注为低压、中压、高压、无的样本类型；
S202，采用80％的标注后的图片样本形成训练样本，以及采用20％的标注后的图片样本形成测试样本；
图片样本库采集的具体实现中，为明显区分低压绝缘手套、中压绝缘手套、高压绝缘手套，预先以人工粘贴的方式，将不同数量的反光材质横条粘贴到绝缘手套表面，如图4-6所示，图4为本发明的低压绝缘手套示意图，图5为本发明的中压绝缘手套示意图，图6为本发明的高压绝缘手套示意图。实际作业前，也需要按此要求，对绝缘手套进行预先处理。图片样本库采集也可以是直接获取不同电压等级的绝缘手套拍摄得到，本发明在此不作限制。
S203，将所述训练样本输入所述MobileNet网络模型，得到MobileNet模型参数；
需要说明的是，MobileNet属于轻量化神经网络，与深度神经网络模型相比，可以在移动端或嵌入式平台等更小存储空间和更小功耗的情况下完成图像分类、物体检测等机器视觉任务。
S204，基于当前的MobileNet模型参数，将所述测试样本输入MobileNet网络模型，得到训练误差；
在一个可选实施例中，将所述训练样本输入所述MobileNet网络模型，得到MobileNet模型参数，包括：
将所有所述训练样本转换为对应的二进制格式数据；
将所述二进制格式数据依次输入所述MobileNet网络模型，生成MobileNet模型参数。
在本发明实施例中，将所有的训练样本全部转化为二进制格式数据，然后输入到MobileNet网络模型当中，得到每个二进制格式数据对应的分类结果。
S205，基于所述训练误差，对当前的MobileNet模型参数进行调整，以得到使训练误差最小的最优的网络参数，并采用所述最优的网络参数生成所述目标MobileNet网络模型；
S206：接收作业人员复诵的语音信息，所述语音信息为所述操作票记载的操作任务的当前操作步骤；
S207：识别所述语音信息，判断所述操作步骤是否包括要求穿戴绝缘手套的信息，若是，则执行步骤S208；若否，则执行步骤S211；
请参阅图7，图7为本发明的一种作业人员行为管控方法实施例二在步骤S207的一个可选实施例的步骤流程图，在一个可选实施例中，所述S207包括：
S2071，通过所述语音信息，判断所述操作步骤是否涉及预先设定的关键字信息，若是，则执行步骤S2072，若否，则执行步骤S211；
S2072，从所述语音信息中识别操作任务的对象的电压等级；
S2073，通过所述语音信息，判断所述操作步骤是否要求穿戴符合所述电压等级的绝缘手套，若是，则执行步骤S208；若否，则执行步骤S211。
在本发明实施例中，识别语音信息中是否涉及“验电”和“接地”等关键词，若涉及则继续从语音信息中识别操作任务的对象的具体电压等级，在判断出操作任务的具体操作步骤中要求穿戴负荷电压等级的绝缘手套的情况下，执行步骤S208。
S208，从实时作业视频中抽取帧图像，得到待识别作业图像；
请参阅图8，图8为本发明的一种作业人员行为管控方法实施例二的监管装置结构示意图，其中1为处理器，2为存储器，3为总线，4为外围设备接口，5为射频电路，6为摄像头组件，7为音频组件，8为定位组件，以及9为电源。当外围设备接口4全部链接，且电源9接通后，处理器1开始运作，执行存储器2所存储的程序，对摄像头组件6和音频组件7所采集并存入存储器2的视频信息和音频信息进行处理，并协调各组件功能的调度，射频电路5与外部进行信息交互，从外部系统获取电子操作票，并将定位组件8采集的定位信息，以及处理器1处理的结果信息送给外部系统，此外，总线3是各部件传输信息的公共通信干线，用来传输数据、数据地址和控制信号。
在本发明实施例中，在作业人员的安全帽上配置有图8的监管装置。通过该监管装置，以作业人员的第一视角获取作业现场的具体情况，更容易清晰地获取作业人员手部的图像。
S209，将所述待识别作业图像输入目标MobileNet网络模型，判断所述工作人员手部是否裸露，若是，则发出手套穿戴指令；
S210，将所述待识别作业图像输入目标MobileNet网络模型，判断所述工作人员是否穿戴正确电压等级的绝缘手套；若否，则发出穿戴错误指令，并执行步骤S208；若是，则执行步骤S211；
S211：在完成所述操作步骤后，判断是否存在未完成的下一项操作步骤，若是，则执行步骤S206；若否，则发出完成任务指令。
本发明提供了一种作业人员行为管控方法，通过S1：接收作业人员复诵的语音信息，语音信息为操作票记载的操作任务的当前操作步骤；S2：识别语音信息，判断操作步骤是否包括要求穿戴绝缘手套的信息，若是，则执行步骤S3；若否，则执行步骤S4；S3，通过实时作业视频，基于所述实时作业视频，判断作业人员是否穿戴绝缘手套，若否，则发出手套穿戴指令；S4：在完成操作任务后，判断是否存在未完成的下一项操作步骤，若是，则执行步骤S1；若否，则发出完成任务指令。建立一种针对作业人员的操作行为管控方法，针对作业人员的绝缘手套佩戴情况进行严格管控，避免作业人员在操作过程中发生触电事故，从而确保作业人员的人身安全。建立一种针对作业人员的操作行为管控方法，针对作业人员的绝缘手套佩戴情况进行严格管控，避免作业人员在操作过程中发生触电事故，从而确保作业人员的人身安全。
请参阅图9，示出了一种作业人员行为管控装置实施例的结构框图，
接收模块101，用于接收作业人员复诵的语音信息，所述语音信息为所述操作票记载的操作任务的当前操作步骤；
识别模块102，用于识别所述语音信息，判断所述操作步骤是否要求穿戴绝缘手套，若是，则执行第一判断模块103；若否，则执行第二判断模块104；
所述第一判断模块103，用于通过实时作业视频，基于所述实时作业视频，判断所述作业人员是否穿戴所述绝缘手套，若否，则发出手套穿戴指令；
所述第二判断模块104，用于在完成所述操作步骤后，判断是否存在未完成的下一项操作步骤，若是，则执行所述接收模块101；若否，则发出完成任务指令。
在一个可选实施例中，所述装置还包括：
获取模块，用于获取电子操作票，所述电子操作票记载所述操作步骤的文字信息；
一致性确定模块，用于识别所述语音信息，并判断所述语音信息与所述文字信息的内容是否一致，若否，则执行错误指令发出模块；若是，则执行识别模块102；
错误指令发出模块，用于发出语音信息错误指令，并返回执行所述接收模块101。
在一个可选实施例中，所述识别模块102包括：
第一判断子模块，用于通过所述语音信息，判断所述操作步骤是否涉及预先设定的关键字信息，若是，则执行电压等级识别子模块，若否，则执行所述第二判断模块104；
所述电压等级识别子模块，用于从所述语音信息中识别操作任务的对象的电压等级；
第二判断子模块，用于通过所述语音信息，判断所述操作步骤是否要求穿戴符合所述电压等级的绝缘手套，若是，则执行所述第一判断子模块；若否，则执行所述第二判断模块104。
在一个可选实施例中，所述装置还包括：网络构建模块；所述预先训练的神经网络模型为MobileNet模型；所述网络构建模块包括：
样本获取子模块，用于从预先准备的图片样本库中分别筛选低压绝缘手套、中压绝缘手套、高压绝缘手套和无绝缘手套的图片样本，并分别标注为低压、中压、高压、无的样本类型；
样本分类子模块，用于采用80％的标注后的图片样本形成训练样本，以及采用20％的标注后的图片样本形成测试样本；
模型构建子模块，用于基于所述训练样本和测试样本，训练生成目标MobileNet网络模型。
可选地，所述第一判断模块103包括：
帧图像抽取子模块，用于从实时作业视频中抽取帧图像，得到待识别作业图像；
手部细节判断子模块，用于通过所述待识别作业图像，判断所述工作人员手部是否裸露，若是，则发出手套穿戴指令；
穿戴细节判断子模块，用于将所述待识别作业图像输入预先训练的目标神经网络模型，判断所述工作人员是否穿戴正确电压等级的绝缘手套；若否，则发出穿戴错误指令，若是则执行所述第二判断模块104。
在一个可选实施例中，所述模型构建子模块包括：
生成单元，用于将所述训练样本输入所述MobileNet网络模型，得到MobileNet模型参数；
误差确定单元，用于基于当前的MobileNet模型参数，将所述测试样本输入MobileNet网络模型，得到训练误差；
模型生成单元，用于基于所述训练误差，对当前的MobileNet模型参数进行调整，以得到使训练误差最小的最优的网络参数，并采用所述最优的网络参数生成所述目标MobileNet网络模型。
在一个可选实施例中，所述生成单元包括：
转换子单元，用于将所有所述训练样本转换为对应的二进制格式数据；
模型参数生成子单元，用于将所述二进制格式数据依次输入所述MobileNet网络模型，生成MobileNet模型参数。
本发明实施例还提供了一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述任一实施例所述的作业人员行为管控方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被所述处理器执行时实现如上述任一实施例所述的作业人员管控方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种作业人员行为管控方法，其特征在于，包括：
S1：接收作业人员复诵的语音信息，所述语音信息为操作票记载的操作任务的当前操作步骤；
S2：识别所述语音信息，判断所述操作步骤是否包括要求穿戴绝缘手套的信息，若是，则执行步骤S3；若否，则执行步骤S4；
S3：获取实时作业视频，基于所述实时作业视频，判断所述作业人员是否穿戴绝缘手套，若否，则发出手套穿戴指令；
S4：在完成所述操作步骤后，判断是否存在未完成的下一项操作步骤，若是，则执行步骤S1；若否，则发出完成任务指令；
所述S2包括：
S21，通过所述语音信息，判断所述操作步骤是否涉及预先设定的关键字信息，若是，则执行步骤S22，若否，则执行步骤S4；
S22，从所述语音信息中识别操作任务的对象的电压等级；
S23，通过所述语音信息，判断所述操作步骤是否要求穿戴符合所述电压等级的绝缘手套，若是，则执行步骤S3；若否，则执行步骤S4。
2.根据权利要求1所述的作业人员行为管控方法，其特征在于，在所述步骤S2之前，还包括：
S11：获取电子操作票，所述电子操作票记载所述操作步骤的文字信息；
S12：识别所述语音信息，并判断所述语音信息与所述文字信息的内容是否一致，若否，则执行步骤S13；若是，则执行步骤S2；
S13：发出语音信息错误指令，并返回执行步骤S1。
3.根据权利要求1或2所述的作业人员行为管控方法，其特征在于，所述S3包括：
S31，从所述实时作业视频中抽取帧图像，得到待识别作业图像；
S32，将所述待识别作业图像输入预先训练的目标神经网络模型，判断所述作业人员手部是否裸露，若是，则发出手套穿戴指令；
S33，将所述待识别作业图像输入预先训练的目标神经网络模型，判断所述作业人员是否穿戴正确电压等级的绝缘手套；若否，则发出穿戴错误指令，并执行步骤S31；若是，则执行步骤S4。
4.根据权利要求3所述的作业人员行为管控方法，其特征在于，所述预先训练的神经网络模型为MobileNet模型，所述训练步骤包括：
从预先准备的图片样本库中分别筛选低压绝缘手套、中压绝缘手套、高压绝缘手套和无绝缘手套的图片样本，并分别标注为低压、中压、高压、无的样本类型；
采用80%的标注后的图片样本形成训练样本，以及采用20%的标注后的图片样本形成测试样本；
基于所述训练样本和测试样本，训练生成目标MobileNet网络模型。
5.根据权利要求4所述的作业人员行为管控方法，其特征在于，基于所述训练样本和测试样本，训练生成目标MobileNet网络模型，包括：
将所述训练样本输入所述MobileNet网络模型，得到MobileNet模型参数；
基于当前的MobileNet模型参数，将所述测试样本输入MobileNet网络模型，得到训练误差；
基于所述训练误差，对当前的MobileNet模型参数进行调整，以得到使训练误差最小的最优的网络参数，并采用所述最优的网络参数生成所述目标MobileNet网络模型。
6.根据权利要求5所述的作业人员行为管控方法，其特征在于，将所述训练样本输入所述MobileNet网络模型，得到MobileNet模型参数，包括：
将所有所述训练样本转换为对应的二进制格式数据；
将所述二进制格式数据依次输入所述MobileNet网络模型，生成MobileNet模型参数。
7.一种作业人员行为管控装置，其特征在于，包括：
接收模块，用于接收作业人员复诵的语音信息，所述语音信息为操作票记载的操作任务的当前操作步骤；
识别模块，用于识别所述语音信息，判断所述操作步骤是否要求穿戴绝缘手套，若是，则执行第一判断模块；若否，则执行第二判断模块；
所述第一判断模块，用于获取实时作业视频，基于所述实时作业视频，判断所述作业人员是否穿戴绝缘手套，若否，则发出手套穿戴指令；
所述第二判断模块，用于在完成所述操作步骤后，判断是否存在未完成的下一项操作步骤，若是，则执行所述接收模块；若否，则发出完成任务指令；
所述识别模块包括：
第一判断子模块，用于通过所述语音信息，判断所述操作步骤是否涉及预先设定的关键字信息，若是，则执行电压等级识别子模块，若否，则执行所述第二判断模块；
所述电压等级识别子模块，用于从所述语音信息中识别操作任务的对象的电压等级；
第二判断子模块，用于通过所述语音信息，判断所述操作步骤是否要求穿戴符合所述电压等级的绝缘手套，若是，则执行所述第一判断子模块；若否，则执行所述第二判断模块。
8.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-6任一项所述的方法。
9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011505670.0A CN112507945B (zh) | 2020-12-18 | 2020-12-18 | 作业人员行为管控方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011505670.0A CN112507945B (zh) | 2020-12-18 | 2020-12-18 | 作业人员行为管控方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112507945A CN112507945A (zh) | 2021-03-16 |
| CN112507945B true CN112507945B (zh) | 2021-12-21 |
Family
ID=74921740
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011505670.0A Active CN112507945B (zh) | 2020-12-18 | 2020-12-18 | 作业人员行为管控方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112507945B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113297914B (zh) * | 2021-04-26 | 2023-04-18 | 云南电网有限责任公司信息中心 | 一种配网现场作业验电动作识别方法 |
| CN117590167B (zh) * | 2023-11-20 | 2024-05-10 | 安徽轩轾科技有限公司 | 一种应用于光储充检的绝缘检测系统 |
| CN117907730B (zh) * | 2024-03-19 | 2024-05-17 | 昆明市官渡区职业高级中学 | 新能源汽车维修防触电监控系统及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108900000A (zh) * | 2018-07-20 | 2018-11-27 | 北京百度网讯科技有限公司 | 电气倒闸监控方法、装置、设备及计算机可读介质 |
| CN109598351A (zh) * | 2018-11-23 | 2019-04-09 | 国网湖北省电力有限公司孝感供电公司 | 用于变电站设备运检的安全预警管控系统及方法 |
| CN110188345A (zh) * | 2019-04-28 | 2019-08-30 | 北京科东电力控制系统有限责任公司 | 一种电力操作票的智能识别方法与装置 |
| CN111554284A (zh) * | 2020-04-24 | 2020-08-18 | 广东电网有限责任公司东莞供电局 | 一种倒闸操作监控方法、装置、设备及存储介质 |
| CN111881751A (zh) * | 2020-06-24 | 2020-11-03 | 浙江浙能电力股份有限公司萧山发电厂 | 一种电气操作票单兵智能监护系统及方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102867276B (zh) * | 2012-08-14 | 2015-10-28 | 北京用尚科技有限公司 | 基于电力业务系统的交互式控制方法 |
| CN108974050B (zh) * | 2018-08-08 | 2020-09-11 | 珠海长园共创软件技术有限公司 | 一种用于轨道交通车辆检修的智能安全管控方法和系统 |
| CN110321809A (zh) * | 2019-06-13 | 2019-10-11 | 国电南瑞科技股份有限公司 | 一种基于深度学习的变电站作业现场监测方法及装置 |
| CN110674772B (zh) * | 2019-09-29 | 2022-08-05 | 国家电网有限公司技术学院分公司 | 电力作业现场智能安全管控辅助系统及方法 |
| CN111652046A (zh) * | 2020-04-17 | 2020-09-11 | 济南浪潮高新科技投资发展有限公司 | 基于深度学习的安全穿戴检测方法、设备及系统 |
-
2020
- 2020-12-18 CN CN202011505670.0A patent/CN112507945B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108900000A (zh) * | 2018-07-20 | 2018-11-27 | 北京百度网讯科技有限公司 | 电气倒闸监控方法、装置、设备及计算机可读介质 |
| CN109598351A (zh) * | 2018-11-23 | 2019-04-09 | 国网湖北省电力有限公司孝感供电公司 | 用于变电站设备运检的安全预警管控系统及方法 |
| CN110188345A (zh) * | 2019-04-28 | 2019-08-30 | 北京科东电力控制系统有限责任公司 | 一种电力操作票的智能识别方法与装置 |
| CN111554284A (zh) * | 2020-04-24 | 2020-08-18 | 广东电网有限责任公司东莞供电局 | 一种倒闸操作监控方法、装置、设备及存储介质 |
| CN111881751A (zh) * | 2020-06-24 | 2020-11-03 | 浙江浙能电力股份有限公司萧山发电厂 | 一种电气操作票单兵智能监护系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112507945A (zh) | 2021-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112507945B (zh) | 作业人员行为管控方法、装置、电子设备及存储介质 | |
| CN110221145B (zh) | 电力设备故障诊断方法、装置及终端设备 | |
| KR102399425B1 (ko) | 데이터 라벨링 전처리, 분배 및 검수 시스템 | |
| CN107193376A (zh) | 一种基于虚拟现实的电力设备培训方法及装置 | |
| CN109672583A (zh) | 网络监控方法、设备、存储介质及装置 | |
| CN108347698B (zh) | 一种线上线下活动轨迹分析方法、装置及系统 | |
| CN108234659B (zh) | 数据处理方法、装置及系统 | |
| CN111062504A (zh) | 一种基于ar技术的智能配电站运维系统及方法 | |
| CN111581417A (zh) | 配电房施工人员的身份识别方法、终端、系统及存储介质 | |
| CN112418717A (zh) | 基于人工智能的工程现场人员行为预警方法和系统 | |
| CN111949795A (zh) | 工单自动分类方法及装置 | |
| CN112016465A (zh) | 场景识别方法、装置和系统 | |
| CN107943570A (zh) | 应用管理方法、装置、存储介质及电子设备 | |
| CN112906552A (zh) | 一种基于计算机视觉的巡检方法、装置和电子设备 | |
| CN110442059B (zh) | 被控设备拓展方法、装置及控制设备 | |
| CN109701196B (zh) | 可移动模块化智慧消防执勤保障装备及相关产品 | |
| CN114880422B (zh) | 基于机器人流程自动化的兴趣点信息处理方法、相关装置 | |
| CN112328937B (zh) | 信息投放方法及装置 | |
| CN115527004A (zh) | 模型减面方法和装置、计算机可读存储介质、电子设备 | |
| CN112561276B (zh) | 作业操作风险演示方法及装置、存储介质、电子装置 | |
| CN110213667B (zh) | 在线视频交互的网络保障方法、系统、设备及存储介质 | |
| CN108960441A (zh) | 一种终端回收设备的控制方法、设备及存储介质 | |
| CN115186842B (zh) | 一种管理云平台 | |
| CN113790647B (zh) | 电子雷管施工信息的边缘计算起爆器及其控制方法 | |
| CN113435648A (zh) | 产能预测方法、装置、电子设备、及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |