CN115907554A - 一种适用于计量采集运维仿真培训的自动评判方法 - Google Patents

一种适用于计量采集运维仿真培训的自动评判方法 Download PDF

Info

Publication number
CN115907554A
CN115907554A CN202211612244.6A CN202211612244A CN115907554A CN 115907554 A CN115907554 A CN 115907554A CN 202211612244 A CN202211612244 A CN 202211612244A CN 115907554 A CN115907554 A CN 115907554A
Authority
CN
China
Prior art keywords
action
training
violation
student
actions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211612244.6A
Other languages
English (en)
Inventor
毛建利
饶烜攀
余忠建
王江涛
王珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Huagang Intelligent Technology Co ltd
Original Assignee
Hangzhou Huagang Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Huagang Intelligent Technology Co ltd filed Critical Hangzhou Huagang Intelligent Technology Co ltd
Priority to CN202211612244.6A priority Critical patent/CN115907554A/zh
Publication of CN115907554A publication Critical patent/CN115907554A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04SSYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明公开了一种适用于计量采集运维仿真培训的自动评判方法,包括使用OpenPose对培训过程中的特定动作建立特征数据样本库,所述特征数据样本库的主要数据内容为各动作的骨骼节点坐标信息,根据特征数据样本库训练得到动作模板库,利用OpenPose对摄像头视频进行人体姿态识别,当动作识别匹配上动作模板库中的动作时,进行动作违规逻辑判断,若判定为违规,将当前视频帧和违规信息进行关联保存,同时配合声光告警,违规动作存档等方式来提醒学员在培训过程中注意安全,培训结束时根据评分规则自动给出评分,再通过线下回放、违规动作查看等方式加强学员的培训效果。

Description

一种适用于计量采集运维仿真培训的自动评判方法
技术领域
本发明涉及姿态识别技术领域,特别涉及一种适用于计量采集运维仿真培训的自动评判方法。
背景技术
随着智能电网的建设,用电信息采集终端、智能电能表广泛投入使用,巨量的设备数量、多种多样的设备类型及多样化的技术方案给现场运维人员带来极大挑战,同时电力设备都是带电运行,并且现场环境复杂多变,其运维工作有一定的危险性,为保证工作人员的安全,现场作业必须满足安全规范要求,为此电力公司建设了基于用电信息采集系统的计量采集运维仿真培训系统,针对用电信息采集系统智能化管理及现场运行的安全要求,通过模拟仿真现场作业环境以及现场电网环境干扰进行培训,来提高一线人员的业务水平及安全意识。
计量采集运维仿真培训系统通过模拟仿真现场作业各类干扰环境及设备故障现象,给学员以身临其境的培训效果,大大提升了培训效率。在培训结束之后需要通过培训考核的方式检验培训效果,这就涉及到对学员的实操过程进行评分,评分主要包括两个部分,一是过程的合规性(安全工作规范),二是结果的正确性,正确性这部分根据学员的提交结果进行评分,很容易实现,合规性部分的自动评分还未有实现案例,当前培训过程中对学员操作的合规性监督存在较大的局限性,只能通过教练在旁观看、口头警告的方式实现,并且违规动作也无法实时捕捉记录,学员也没法回放训练过程。这样学员的培训效果就会受影响,教练需要实时关注学员操作的合规性,这对教练的专注力要求极高,一时疏忽就可能错漏掉一些关键信息。
发明内容
针对现有技术存在的不足,本发明的目的在于提供一种适用于计量采集运维仿真培训的自动评判方法,旨在解决现有技术中通过教练观察来评判学员操作合规性存在较大局限性的问题。
本发明的上述技术目的是通过以下技术方案得以实现的:
一方面,本申请实施例提供了一种适用于计量采集运维仿真培训的自动评判方法,步骤包括:
步骤1、学员在培训场地上进行实机操作时,通过在培训场地设置的摄像头对学员所在区域进行拍摄,获取学员操作视频并保存;
步骤2、针对学员操作视频的一帧图像进行人体姿态识别,并将识别出的姿态与动作模板库中预设数量的姿态进行匹配,所述预设数量的姿态中的每一个对应于学员操作的一个预设动作;若匹配成功,获取该匹配对应的一个预设动作并保存;
步骤3、根据该预设动作和预设的动作违规判断逻辑判断学员是否违规;
步骤4、若违规,发出告警信号,同时将当前视频帧和违规信息关联保存。
优选地,在步骤1中,所述摄像头包括分别部署在培训场所的左右两侧的两个摄像头,针对两个摄像头获取的视频分别保存并分别进行步骤2所述的操作。
优选地,所述步骤2包括如下子步骤:
S21.姿态识别:每500毫秒从视频中截取一张图像并利用OpenPose进行人体姿态识别,当识别到人体姿态Pt时,记录下人体姿态Pt的25个骨骼节点坐标,同时记录姿态Pt与图像的对应关系。
S22.动作匹配:在创建动作模板库时,我们得到一个姿态库P={P1,P2,P3,P4,...,Pn},n表示模板库中的姿态数,Pi表示某一动作的骨骼节点坐标集,当视频中识别出姿态Pt之后与姿态库中的姿态数据依次进行比较,比对结果以马氏距离进行度量,对于Pt与Pi两个姿态之间的相似度公式定义为:
其中M为需要训练学习的度量矩阵,可以在创建动作模板库的过程中通过学习训练获取,Pt,Pi分别为待匹配姿态和模块库中姿态的骨骼节点坐标集,为姿态Pt,Pi之间的距离,也就是两者的相似程度,越小表示姿态Pt,Pi越相似,通过给设置阈值Th,来判断Pt,Pi为两个姿态是否匹配上,当<Th时,判定Pt,Pi为两个相同的姿态,则Pt就是模板库中的动作Pi
S23.结果记录:当匹配上动作模板库中的动作时,将该动作加入到该学员的培训动作链中,然后进行动作违规逻辑判断,若判定为违规,将当前视频帧与违规信息进行关联保存。
优选地,步骤S22中创建动作模板库从而得到度量矩阵M和姿态库P的训练过程如下:
S221、生成特征数据样本库,首先使用OpenPose,对培训过程中的特定动作建立特征数据样本库,所述特征数据样本库的主要数据内容为各动作的骨骼节点坐标信息。例如,在培训过程中,根据安全性相关规定,操作员需要穿戴绝缘手套进行操作,触碰装置之前必须进行验电,培训内容中某些操作必须断电操作等,因此特征数据样本库至少包括以下动作:1)穿戴绝缘手套;2)停电;3)验电;4)触碰装置;5)复电。针对每个动作从多个角度采集视频进而使用OpenPose得到该动作对应的多个姿态数据,每个姿态数据即作为该动作的一个特征数据样本。
S222、对于每个动作从特征数据样本库中选取超过30个正样本,同时选取超过20个负样本,负样本中混入一些与正样本相似的姿态数据,从而增加训练结果的鲁棒性,将这些样本数据作为学习训练的样本,通过LMNN算法得到度量矩阵M和姿态库P。
优选地,所述步骤3中根据该预设动作和预设的动作违规判断逻辑判断学员是否违规具体包括:
S31、根据该预设动作获取动作违规判断逻辑,每个动作均对应有相应的动作违规判断逻辑,该预设动作分为违规动作、判定定位动作和安全规范动作,所述违规动作的动作违规判断逻辑为动作本身是否符合安全操作规范,所述判定定位动作的动作违规判断逻辑为该动作与之前能与安全规范动作匹配的预设数量的学员操作动作之间的操作顺序是否符合安全操作规范;
S32、如果学员操作动作与违规动作匹配则判断该动作本身不符合安全操作规范;
S33、如果学员操作动作与判定定位动作匹配则通过保存的该学员的培训动作链获取该动作之前预设数量的操作动作;
S34、判断该动作之前的动作是否包含预设数量的与安全规范动作匹配的操作动作。
S35、返回根据所述动作违规判断逻辑得到的判断结果。
优选地,所述步骤4中,所述将当前视频帧和违规信息关联保存包括:学员操作动作与违规动作匹配时,将该违规动作相关信息作为违规信息与当前视频帧关联保存;学员未在进行判定定位动作前完成与安全规范动作匹配的操作动作时,将未能匹配的安全规范动作相关信息作为违规信息与当前视频帧关联保存。
可选地,所述方法还包括:
步骤5、根据预设学员的查询请求,回放该培训中该预设学员的完整操作视频,并查看系统记录的违规动作。
步骤6、学员操作结束后,对该学员的整个培训过程进行评分。
所述评分分为三个部分:故障排查、故障处理、安全规范。其中故障排查、故障处理、安全规范均包括一个或多个项,每一项的分值在培训方案中设置,三个部分在总评分中占有不同的权重,其中故障排查项根据学员掌机提交的结果进行评分,故障处理项由仿真装置上送的故障状态的消缺情况来进行评分,而安全规范项得分通过违规动作判定的结果来评分,得到三个部分的评分后,以预设权重进行综合评估后得到学员最终评分。
一种适用于计量采集运维仿真培训的自动评判系统,结构如图所示,包括仿真装置、两个摄像头、录像机、培训管理子模块、数据库、培训回放模块、培训用掌机。
其中所述摄像头从两个不同的角度对学员的操作过程进行视频记录,所述录像机保存摄像头记录的视频,学员使用所述培训用掌机提交故障排查项的排查结果。
所述培训管理子模块包括:视频监控模块、动作识别模块、违规动作判断及记录模块、仿真装置控制模块、自动评分模块,在视频实时监控过程中,所述动作识别模块对视频中的人体姿态进行识别,与已定义好的动作模板库进行匹配,当所述动作识别匹配上动作模板库中的动作时,将该动作发送到违规动作判断及记录模块进行动作违规逻辑判断,当被判定为违规时,所述违规动作判断及记录模块将当前视频帧与违规信息关联保存到关系数据库中;所述自动评分模块根据所述培训用掌机提交的结果、所述仿真装置的设备故障状态消缺情况以及所述违规动作判断及记录模块记录的结果对整个培训过程进行打分;仿真装置控制模块控制所述仿真装置,并能够获取所述仿真装置的故障状态消缺情况。
所述培训回放模块包括:视频回放、违规动作查看,学员在所述培训回放模块查看培训记录,回放该培训的完整录像,并查看系统记录的违规动作。
一种电子设备,包括:包括处理器和存储器,所述存储器中存储有计算机程序,所述计算机程序由所述处理器加载并执行以实现上述适用于计量采集运维仿真培训的自动评判方法。
一种计算机可读存储介质,所述存储介质中存储有计算机程序,所述计算机程序由处理器加载并执行以实现上述适用于计量采集运维仿真培训的自动评判方法。
综上所述,本发明对比于现有技术的有益效果为:通过视频监控及人体姿态识别技术来自动记录学员的整个培训过程并监控学员培训过程中的动作合规性,同时配合声光告警,违规动作存档等方式来提醒学员在培训过程中注意安全,培训结束时根据评分规则自动给出评分,再通过线下回放、违规动作查看等方式加强学员的培训效果。
附图说明
通过参考附图阅读下文的详细描述,本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本发明的若干实施方式,其中:
图1为一种适用于计量采集运维仿真培训的自动评判方法流程示意图;
图2为姿态匹配过程示意示意图;
图3为骨骼节点坐标学员动作违规判断方法示意图;
图4为姿态匹配过程示意图;
图5为动作违规判断逻辑判断方法示意图;
图6为评分规则表;
图7为一种适用于计量采集运维仿真培训的自动评判系统结构图。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解,给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明,而并非以任何方式限制本发明的范围。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。说明书中的“实施例”或“实施方式”既可表示一个实施例或一种实施方式,也可表示一些实施例或一些实施方式的情况。
本领域技术人员知道,本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此,本公开可以具体实现为以下形式,即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等),或者硬件和软件结合的形式。
需要说明的是,附图中的任何元素数量均用于示例而非限制,以及任何命名都仅用于区分,而不具有任何限制含义。
下面对本发明中所涉及的技术术语进行简单描述,以便相关人员更好的理解本方案:
OpenPose人体姿态识别项目是美国卡耐基梅隆大学(CMU)基于卷积神经网络和监督学习并以Caffe为框架开发的开源库,可以实现人体动作、面部表情、手指运动等姿态估计。
本发明旨在利用基于视觉的人体姿态识别技术,对培训中的特有动作进行训练识别,并将此动作识别算法应用到计量采集运维仿真培训中,仿真培训系统通过视频实时监测以及动作的前后逻辑,自动判断学员在培训过程中是否出现违反电力安全工作规程的操作,在出现违规动作时自动保存图片,并以声光告警的形式提示学员、教员,并以此为依据给出整个培训过程的评分,培训后学员可以回看培训过程录像,违规动作查看等方式加强学员的培训效果。
根据本发明的一实施方式,提出一种适用于计量采集运维仿真培训的自动评判方法,流程如图1所示,包括:
步骤1、学员在培训场地上进行实机操作时,通过在培训场地设置的摄像头对学员所在区域进行拍摄,获取学员操作视频并保存;
步骤2、针对学员操作视频的一帧图像进行人体姿态识别,并将识别出的姿态与动作模板库中预设数量的姿态进行匹配,所述预设数量的姿态中的每一个对应于学员操作的一个预设动作;若匹配成功,获取该匹配对应的一个预设动作并保存;
步骤3、根据该预设动作和预设的动作违规判断逻辑判断学员是否违规;
步骤4、若违规,发出告警信号,同时将当前视频帧和违规信息关联保存。
具体地,在步骤1中,所述摄像头包括分别部署在培训场所的左右两侧的两个摄像头,针对两个摄像头获取的视频分别保存并分别进行步骤2所述的操作。
具体地,所述步骤2如图2所示包括如下子步骤:
S21.姿态识别:每隔预设时间从视频中截取一张图像并利用OpenPose进行人体姿态识别,每500毫秒从视频中截取一张图像并进行人体姿态识别,当识别到人体姿态Pt时,记录下人体姿态Pt的25个骨骼节点坐标,如图3所示,同时记录姿态Pt与图像的对应关系。
S22.动作匹配:在创建动作模板库时,我们得到一个姿态库P={P1,P2,P3,P4,...,Pn},n表示模板库中的姿态数,Pi表示某一动作的骨骼节点坐标集;当视频中识别出姿态Pt之后与姿态库中的姿态依次进行比较,比对结果以马氏距离进行度量,对于Pt与Pi两个姿态之间的相似度公式定义为:
其中M为需要训练学习的度量矩阵,可以在创建动作模板库的过程中通过学习训练获取,Pt,Pi分别为待匹配姿态和模块库中姿态的骨骼节点坐标集,为姿态Pt,Pi之间的距离,也就是两者的相似程度,越小表示姿态Pt,Pi越相似,通过给设置阈值N,来判断Pt,Pi为两个姿态是否匹配上,当<N时,判定Pt,Pi为两个相同的姿态,则Pt就是模板库中的动作Pi
S23.结果记录:当匹配上动作模板库中的动作时,将该动作加入到该学员的培训动作链中,然后进行动作违规逻辑判断,若判定为违规,将当前视频帧与违规信息进行关联保存。
具体地,步骤S22中创建动作模板库从而得到度量矩阵M和姿态库P的训练过程如图4所示,包括:
S221、生成特征数据样本库,首先使用OpenPose,对培训过程中的特定动作建立特征数据样本库,所述特征数据样本库的主要数据内容为各动作的骨骼节点坐标信息。例如,在培训过程中,根据安全性相关规定,操作员需要穿戴绝缘手套进行操作,触碰装置之前必须进行验电,培训内容中某些操作必须断电操作等,因此特征数据样本库至少包括以下动作:1)穿戴绝缘手套;2)停电;3)验电;4)触碰装置;5)复电。针对每个动作从多个角度采集视频进而使用OpenPose得到该动作对应的多个姿态数据,每个姿态数据即作为该动作的一个特征数据样本。
S222、对于每个动作从特征数据样本库中选取超过30个正样本,同时选取超过20个负样本,负样本中混入一些与正样本相似的姿态数据,从而增加训练结果的鲁棒性。将这些样本数据作为学习训练的样本,通过LMNN算法得到度量矩阵M和姿态库P。
具体地,所述步骤3中根据该预设动作通过预设的动作违规判断逻辑判断学员是否违规步骤如图5所示,具体包括:
S31、根据该预设动作获取动作违规判断逻辑,每个动作均对应有相应的动作违规判断逻辑,该预设动作分为违规动作、判定定位动作和安全规范动作,其中所述违规动作无法保证包括所有违规操作姿态,仅作为违规判断参考,所述违规动作的动作违规判断逻辑为动作本身是否符合安全操作规范,所述判定定位动作的动作违规判断逻辑为该动作与之前能与安全规范动作匹配的预设数量的学员操作动作之间的操作顺序是否符合安全操作规范;
S32、如果学员操作动作与违规动作匹配则判断该动作本身不符合安全操作规范;
S33、如果学员操作动作与判定定位动作匹配则通过保存的该学员的培训动作链获取该动作之前预设数量的操作动作;
S34、判断该动作之前的动作是否包含预设数量的与安全规范动作匹配的操作动作。
根据电力安全工作规程,在配电线路和设备上工作,保证安全的技术措施包括:穿戴绝缘手套,停电,验电,然后才能触碰设备,所以在识别到学员触碰设备的动作后,需要查询之前是否已经采取了保证安全的技术措施,只要在触碰设备之前,没有出现穿戴绝缘手套、停电、验电等动作,那么触碰设备的动作就算违规动作。
S35、返回根据所述动作违规判断逻辑得到的判断结果。
具体地,所述步骤4中,所述告警信号包括声光告警信号。
所述将当前视频帧和违规信息关联保存包括:学员操作动作与违规动作匹配时,将该违规动作相关信息作为违规信息与当前视频帧关联保存;例如,违规信息为“未正确佩戴绝缘手套”;学员未在进行判定定位动作前完成与安全规范动作匹配的操作动作时,将未能匹配的安全规范动作相关信息作为违规信息与当前视频帧关联保存,例如,违规信息为“触碰设备前未戴绝缘手套”。
根据本申请的又一实施例,所述方法还包括:
步骤5、根据预设学员的查询请求,回放该培训中该预设学员的完整操作视频,并查看系统记录的违规动作。
根据本申请的再一实施例,所述方法还包括:
步骤6、学员操作结束后,对该学员的整个培训过程进行评分。
评分分为三个部分:故障排查、故障处理、安全规范。其中故障排查、故障处理每一项的分值在培训方案中设置,三个部分在总评分中占有不同的权重;其中每个故障排查项根据学员掌机提交的结果进行评分,每个故障处理项由仿真装置上送的故障状态情况进行评分,而每个安全规范项通过违规动作判定的结果来评分;得到三个部分的评分后,以预设权重进行综合评估后得到学员最终评分。
根据本发明的又一实施方式,提出一种适用于计量采集运维仿真培训的自动评判系统,结构如图7所示,包括仿真装置(1)、两个摄像头(2)、录像机(3)、培训管理子模块(4)、数据库(5)、培训回放模块(6)、培训用掌机(7);
其中所述摄像头(2)从两个不同的角度对学员的操作过程进行视频记录,所述录像机(3)保存摄像头记录的视频,学员使用所述培训用掌机(7)提交故障排查项的排查结果。
所述培训管理子模块(4)包括:视频监控模块(41)、动作识别模块(43)、违规动作判断及记录模块(45)、仿真装置控制模块(44)、自动评分模块(46),在视频实时监控过程中,所述动作识别模块(43)对视频中的人体姿态进行识别,与已定义好的动作模板库进行匹配,当所述动作识别(43)匹配上动作模板库中的动作时,将该动作发送到违规动作判断及记录模块(45)进行动作违规逻辑判断,当被判定为违规时,所述违规动作判断及记录模块(45)将当前视频帧与违规信息关联保存到关系数据库中;所述自动评分模块(46)根据所述培训用掌机(7)提交的结果、所述仿真装置(1)的设备故障状态消缺情况以及所述违规动作判断及记录模块记录(45)的结果对整个培训过程进行打分;仿真装置控制模块(44)控制所述仿真装置(1),并能够获取所述仿真装置的故障状态消缺情况。
所述培训回放模块(6)包括:视频回放(61)、违规动作查看(62),学员在所述培训回放模块(6)查看培训记录,回放该培训的完整录像,并查看系统记录的违规动作。
根据本发明的又一实施方式,提供一种电子设备,所述电子设备包括处理器和存储器,所述存储器中存储有计算机程序,所述计算机程序由所述处理器加载并执行以实现上述适用于计量采集运维仿真培训的自动评判方法。
根据本发明的又一实施方法,提供一种计算机可读存储介质,所述存储介质中存储有计算机程序,所述计算机程序由处理器加载并执行以实现上述适用于计量采集运维仿真培训的自动评判方法。
以上所述仅是本发明的示范性实施方式,而非用于限制本发明的保护范围,本发明的保护范围由所附的权利要求确定。

Claims (10)

1.一种适用于计量采集运维仿真培训的自动评判方法,其特征在于,步骤包括:
步骤1、学员在培训场地上进行实机操作时,通过在培训场地设置的摄像头对学员所在区域进行拍摄,获取学员操作视频并保存;
步骤2、针对学员操作视频的一帧图像进行人体姿态识别,并将识别出的姿态与动作模板库中预设数量的姿态进行匹配,所述预设数量的姿态中的每一个对应于学员操作的一个预设动作;若匹配成功,获取该匹配对应的一个预设动作并保存;
步骤3、根据该预设动作和预设的动作违规判断逻辑判断学员是否违规;
步骤4、若违规,发出告警信号,同时将当前视频帧和违规信息关联保存。
2.根据权利要求1所述的一种适用于计量采集运维仿真培训的自动评判方法,其特征在于,在步骤1中,所述摄像头包括分别部署在培训场所的左右两侧的两个摄像头,针对两个摄像头获取的视频分别保存并分别进行步骤2所述的操作。
3.根据权利要求1所述的一种适用于计量采集运维仿真培训的自动评判方法,其特征在于,所述步骤2包括如下子步骤:
S21.姿态识别:每隔预设时间从视频中截取一张图像并利用OpenPose进行人体姿态识别,当识别到人体姿态Pt时,记录下人体姿态Pt的25个骨骼节点坐标,同时记录姿态Pt与图像的对应关系;
S22.动作匹配:在创建动作模板库时,我们得到一个姿态库P={P1,P2,P3,P4,...,Pn},n表示模板库中的姿态数,Pi表示某一动作的骨骼节点坐标集;当视频中识别出姿态Pt之后与姿态库中的姿态数据依次进行比较,比对结果以马氏距离进行度量,对于Pt与Pi两个姿态之间的相似度公式定义为:
其中M为需要训练学习的度量矩阵,可以在创建动作模板库的过程中通过学习训练获取,Pt,Pi分别为待匹配姿态和模块库中姿态的骨骼节点坐标集,为姿态Pt,Pi之间的距离,也就是两者的相似程度,越小表示姿态Pt,Pi越相似,通过给设置阈值Th,来判断Pt,Pi为两个姿态是否匹配上,当<Th时,判定Pt,Pi为两个相同的姿态,则Pt就是模板库中的动作Pi
S23.结果记录:当匹配上动作模板库中的动作时,将该动作加入到该学员的培训动作链中,然后进行动作违规逻辑判断,若判定为违规,将当前视频帧与违规信息进行关联保存。
4.根据权利要求1所述的一种适用于计量采集运维仿真培训的自动评判方法,其特征在于,所述步骤3中根据该预设动作和预设的动作违规判断逻辑判断学员是否违规具体包括:
S31、根据该预设动作获取动作违规判断逻辑,每个动作均对应有相应的动作违规判断逻辑,该预设动作分为违规动作、判定定位动作和安全规范动作,所述违规动作的动作违规判断逻辑为动作本身是否符合安全操作规范,所述判定定位动作的动作违规判断逻辑为该动作与之前能与安全规范动作匹配的预设数量的学员操作动作之间的操作顺序是否符合安全操作规范;
S32、如果学员操作动作与违规动作匹配则判断该动作本身不符合安全操作规范;
S33、如果学员操作动作与判定定位动作匹配则通过保存的该学员的培训动作链获取该动作之前预设数量的操作动作;
S34、判断该动作之前的动作是否包含预设数量的与安全规范动作匹配的操作动作;
S35、返回根据所述动作违规判断逻辑得到的判断结果。
5.根据权利要求1所述的一种适用于计量采集运维仿真培训的自动评判方法,其特征在于,所述步骤4中,所述将当前视频帧和违规信息关联保存包括:学员操作动作与违规动作匹配时,将违规动作相关信息作为违规信息与当前视频帧关联保存;学员未在进行判定定位动作前完成与安全规范动作匹配的操作动作时,将未能匹配的安全规范动作相关信息作为违规信息与当前视频帧关联保存。
6.根据权利要求1所述的一种适用于计量采集运维仿真培训的自动评判方法,其特征在于,所述方法还包括:
步骤5、根据预设学员的查询请求,回放该培训中该预设学员的完整操作视频,并查看系统记录的违规动作。
7.根据权利要求1所述的一种适用于计量采集运维仿真培训的自动评判方法,其特征在于,所述方法还包括:步骤6、学员操作结束后,对该学员的整个培训过程进行评分;所述评分分为三个部分:故障排查、故障处理、安全规范,其中故障排查、故障处理、安全规范均包括一个或多个项,每一项的分值在培训方案中设置,三个部分在总评分中占有不同的权重;其中每个故障排查项根据学员掌机提交的结果进行评分,每个故障处理项由仿真装置上送的故障状态消缺情况进行评分,而每个安全规范项通过违规动作判定的结果来评分;得到三个部分的评分后,以预设权重进行综合评估后得到学员最终评分。
8.一种适用于计量采集运维仿真培训的自动评判系统,其特征在于,包括仿真装置、两个摄像头、录像机、培训管理子模块、数据库、培训回放模块、培训用掌机;
所述摄像头从两个不同的角度对学员的操作过程进行视频记录,所述录像机保存摄像头记录的视频,所述学员使用所述培训用掌机提交故障排查项的排查结果;
所述培训管理子模块包括:视频监控模块、动作识别模块、违规动作判断及记录模块、仿真装置控制模块、自动评分模块,在视频实时监控过程中,所述动作识别模块对视频中的人体姿态进行识别,与已定义好的动作模板库进行匹配,当所述动作识别匹配上动作模板库中的动作时,将该动作发送到违规动作判断及记录模块进行动作违规逻辑判断,当被判定为违规时,所述违规动作判断及记录模块将当前视频帧与违规信息关联保存;所述自动评分模块根据所述培训用掌机提交的结果、所述仿真装置的设备故障状态消缺情况以及所述违规动作判断及记录模块记录的结果对整个培训过程进行打分;仿真装置控制控制所述仿真装置并获取所述仿真装置的设备故障状态消缺情况;
所述培训回放模块包括:视频回放、违规动作查看,学员在所述培训回放模块查看培训记录,回放该培训的完整录像,并查看系统记录的违规动作。
9.一种电子设备,其特征在于,包括:包括处理器和存储器,所述存储器中存储有计算机程序,所述计算机程序由所述处理器加载并执行以实现权利要求1-7任一项所述的适用于计量采集运维仿真培训的自动评判方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质中存储有计算机程序,所述计算机程序由处理器加载并执行以实现权利要求1-7任一项所述的适用于计量采集运维仿真培训的自动评判方法。
CN202211612244.6A 2022-12-15 2022-12-15 一种适用于计量采集运维仿真培训的自动评判方法 Pending CN115907554A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211612244.6A CN115907554A (zh) 2022-12-15 2022-12-15 一种适用于计量采集运维仿真培训的自动评判方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211612244.6A CN115907554A (zh) 2022-12-15 2022-12-15 一种适用于计量采集运维仿真培训的自动评判方法

Publications (1)

Publication Number Publication Date
CN115907554A true CN115907554A (zh) 2023-04-04

Family

ID=86480549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211612244.6A Pending CN115907554A (zh) 2022-12-15 2022-12-15 一种适用于计量采集运维仿真培训的自动评判方法

Country Status (1)

Country Link
CN (1) CN115907554A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116386394A (zh) * 2023-06-02 2023-07-04 国网安徽省电力有限公司超高压分公司 一种基于理论与实操的电力培训模拟系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116386394A (zh) * 2023-06-02 2023-07-04 国网安徽省电力有限公司超高压分公司 一种基于理论与实操的电力培训模拟系统

Similar Documents

Publication Publication Date Title
Hu et al. Research on abnormal behavior detection of online examination based on image information
CN110992763A (zh) 基于虚拟现实进行科目二的教学方法
CN108399376A (zh) 学生课堂学习兴趣智能分析方法及系统
CN108665754A (zh) 基于虚拟现实的户外安全演练方法及系统
CN110909722A (zh) 基于目标动作检测的防作弊摄像头
CN115907554A (zh) 一种适用于计量采集运维仿真培训的自动评判方法
CN109934182A (zh) 对象行为分析方法、装置、电子设备及计算机存储介质
CN110379036A (zh) 变电站智能巡检识别方法、系统、装置及存储介质
CN115937928A (zh) 基于多视觉特征融合的学习状态监测方法及系统
CN115205764A (zh) 基于机器视觉的在线学习专注度监测方法、系统及介质
CN117492814A (zh) 生产运维变更方法及装置
CN112818796A (zh) 一种适用于在线监考场景下的智能姿态判别方法和存储设备
Jiang et al. A classroom concentration model based on computer vision
CN109841140A (zh) 示教器及其操作方法、计算装置和计算机可读介质
CN111507555B (zh) 人体状态检测方法、课堂教学质量的评价方法及相关装置
Cheng Video-based Student Classroom Classroom Behavior State Analysis
Liu et al. Gesture recognition based on Kinect
Niu et al. Improved YOLOv5 for skeleton-based classroom behavior recognition
CN111223341A (zh) 一种基于虚拟化的教学实训智能评价的检验方法及系统
Chen et al. Kinect-based behavior measurement in group discussion
CN114255509A (zh) 一种基于OpenPose的学生监督辅助工具
CN115271621A (zh) 一种校园体育健康综合管理平台
Zhai Research on 3D modeling and detection methods of wrong actions in sports
Huang et al. Deep Learning Based a Novel Method of Classroom Behavior Recognition
Lai et al. Detection method of students' classroom learning behaviour based on parallel classification algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication