CN116343343B - 一种基于云边端架构的起重机吊运指挥动作智能测评方法 - Google Patents

一种基于云边端架构的起重机吊运指挥动作智能测评方法 Download PDF

Info

Publication number
CN116343343B
CN116343343B CN202310626679.4A CN202310626679A CN116343343B CN 116343343 B CN116343343 B CN 116343343B CN 202310626679 A CN202310626679 A CN 202310626679A CN 116343343 B CN116343343 B CN 116343343B
Authority
CN
China
Prior art keywords
action
evaluation
video
data
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310626679.4A
Other languages
English (en)
Other versions
CN116343343A (zh
Inventor
徐晓滨
刘汉枫
张泽辉
侯平智
何宏
陈博洋
游世学
王海泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202310626679.4A priority Critical patent/CN116343343B/zh
Publication of CN116343343A publication Critical patent/CN116343343A/zh
Application granted granted Critical
Publication of CN116343343B publication Critical patent/CN116343343B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种基于云边端架构的起重机吊运指挥动作智能测评方法，通过终端设备对考生整个测评过程进行视频录制，描绘出考生的人体骨架图像进行保存；使用指挥动作识别模型对人体骨架的视频进行识别检测，再对识别出的动作名称、每一动作对应信度值、帧数数据进行处理，筛选出某几个动作的特定信度值及其对应的帧和信度信息显示在原骨架视频中；计算测评过程的动作准确率、保存错误动作片段，制作测评结果报告。本发明可以实现云边端技术的协同，减少上传的数据量，提高测试效率。并且可以自动化完成起重吊运指挥动作评测的全部过程，提高待测评人员的行为正确性与规范性。

Description

一种基于云边端架构的起重机吊运指挥动作智能测评方法
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于云边端架构的起重机吊运指挥动作智能测评方法。
背景技术
在现有技术中，起重吊运指挥动作的评测方式是通过人为去判断，每新增一个待测评人员，就需要对其各个科目进行评测，这样的工作量是巨大的且人工进行会非常吃力，以至于影响最后的评测结果的准确性。同时，人体姿态识别算法、目标检测算法在处理图片、视频时会占用不少的算力资源，进而使得数据处理效率大打折扣或是增加算力上的成本投入。利用计算机技术，基于工业互联网的云边端协同架构，为实现数据驱动的起重吊运指挥动作测评算法创造了条件。
发明内容
为了克服上述问题，本发明的目的是提供基于云边端架构的起重机吊运指挥动作智能测评方法，，能够对特定起重吊运背景下待测评人员的考试动作进行测评分析和记录。同时提供了实现该方法的系统。
根据本发明的第1方面，提供了一种基于云边端架构的起重机吊运指挥动作智能测评方法，所述方法包括以下步骤：
步骤S1、视频采集及人体骨架识别，即通过终端设备对考生整个测评过程进行视频录制，再对所述视频中的考生进行检测，并在视频中描绘出考生的人体骨架图像，再将含人体骨架的视频以及识别出的人体骨架坐标数据保存；
步骤S2、指挥动作测评，对步骤S1保存的人体骨架的视频进行识别检测，再对识别出的动作名称Ni、每一动作对应信度值Ci、帧数数据Fh进行处理，筛选出具有特定信度值Cth的某几个动作，将其对应的帧和信度信息显示在原人体骨架视频中，并保存；
步骤S3、计算步骤S2指挥动作测评过程的动作准确率Acc、保存错误动作帧Fwh，制作测评结果报告。
其中，所述步骤S1具体包括以下步骤：
步骤S11、实时检测是否有考生需要进行测评；
步骤S12、检测到测评需求，系统下发测评任务要求；
步骤S13、待考生准备完毕开始测评时，终端设备对考生整个测评过程进行录制，并将视频信息保存；
步骤S14、检测视频首帧是否出现人体，如是，则对视频进行识别检测，如否，则视频无效不进行检测；
步骤S15、接收识别检测指令后，算法将视频逐帧划分为图片信息，并对每一帧对应的图片中的人体关键点信息进行检测，根据关键点将图片中的人体骨架描绘出来，再将含人体骨架的图片信息按帧顺序制作成视频，同时，将人体骨架坐标数据保存；该人体骨架坐标数据为人体的位置、帧数数据。
其中，所述步骤S2具体包括以下步骤：
步骤S21、根据起重吊运指挥动作标准，由人员完整、正确复现并制作为数据集，对数据集数据进行预处理，包括：数据增强、像素变换、添加噪声和扰动；接下来，使用深度学习网络技术构建指挥动作识别模型并进行迭代训练,可以根据公式（1）对数据集进行缩放来增强数据，根据公式（2）对数据集添加椒盐噪声；
X=f x *x
Y=f y *y（1）
其中，（x,y）为原图坐标信息,(f x ,f y )为缩放因子；
A=I+N（2）
其中，I为原始图像矩阵，N为椒盐噪声矩阵，A为添加噪声后的图像矩阵；
步骤S22、通过Mhformer人体骨架识别算法将人体骨架视频逐帧划分为图片信息，根据指挥动作识别模型对每一帧中的骨架动作进行识别，将识别得到的动作名称Ni及其相应信度值Ci数据与其所在帧数一一对应保存；
步骤S23、将在测评过程中预先规定的某一动作作为标志动作Sj，将每两个标志动作间的动作作为考生的测评动作Tk；
步骤S24、根据任务要求选取每一个标志动作和测评动作区间中特定信度值Cth的一帧，将每一个动作的特定信度对应帧数FCth、动作名称Ni、特定信度值Cth保存；
步骤S25、根据所保存的数据，在每一个特定信度值Cth对应帧的图片中标记出动作名称Ni、信度值Ci信息，其余非特定信度值帧则不显示动作名称信息，再按帧顺序将图片制成总测评视频Video保存。
其中，所述步骤S3具体包括以下步骤：
步骤S31、读取指挥动作测评模块所保存数据，对比系统下发的测评任务要求计算动作准确率Acc，可以基于公式（3）算出动作准确率；
L 1 =C 1 /C*100%（3）
其中，c1为指挥动作测评模块所评测出的正确动作个数，c为任务要求所做的动作个数；
步骤S32、对比测评任务要求后，将错误动作对应图片信息进行图形化展示，便于指导人员提出指导意见；
步骤步骤S33、将总测评视频Video、动作准确率Acc、错误动作图片帧Fwh、指导意见信息制作成评测报告，方便考生后期学习改正；
根据本发明的第2方面，提供了一种基于云边端架构的起重机吊运指挥动作智能测评系统，所述系统包括视频采集（端）及人体骨架识别（边）模块、指挥动作测评模块（边）和评测结果报告模块（云），
所述视频采集（端）及人体骨架识别（边）模块用于根据评测需求，获取评测动作视频流信息并使用人体姿态识别算法检测所述测评动作视频、识别人体的骨架，保存识别信息；
所述指挥动作测评模块用于对上述人体骨架信息使用目标检测算法进行识别并对识别信息中的动作及其信度数据进行处理，将每一标志动作Sj、测评动作Tk的特定信度值Cth标记并显示在所述视频中；
所述评测结果报告模块用于在云端整合数据处理的结果对相关信息进行可视化，并制作测评结果报告。
其中，所述视频采集及人体骨架识别模块包括：检测单元、任务指定与录制单元、判断单元和执行单元，所述检测单元，用于检测是否有考生需要进行测评；所述任务指定与录制单元，用于向考生下发测评任务要求，并对考生的评测过程进行视频录制；所述判断单元，用于判断所述视频信息是否识别到人体，如是，则进入执行单元，如否，则视频无效不进入执行单元；所述执行单元，用于检测人体各关键点并在录制的视频中绘出人体骨架，再将人体关键点信息以及含有人体骨架的视频数据保存。
其中，所述指挥动作测评模块包括：指挥动作识别模型、执行单元和数据处理单元，所述指挥动作识别模型，是使用深度学习网络技术所构建的起重吊运正确指挥动作数据集；所述执行单元，采用目标检测算法对所获取的视频内容进行识别并对各动作进行标记区分；所述数据处理单元，用于处理识别到的动作及其信度数据，择取某一动作为标志动作Sj，以标志动作Sj将整体数据划分为i段，标志动作间即为所述测评动作Tk，再根据任务需求获取每一动作区间的特定信度值Cth作为最后的显示内容显示在所述视频中。以上起重吊运正确指挥动作数据集，是根据起重吊运指挥动作标准（如国家标准）并由人员完整复现的正确动作制作成数据集。
其中，所述评测结果报告模块包括：读取单元和数据整合单元，所述读取单元，用于读取所述指挥动作测评模块的评测数据，进行分析；所述数据整合单元，用于将总评测结果的视频信息、测评动作准确率Acc和错误动作指正及建议均通过图形化展示，生成评测报告，便于考生学习改正。
本发明的优点在于：通过本发明提供的方案可以自动化完成起重吊运指挥动作的评测，从多方面且客观的考核待测评人员的行为正确性与规范性，提升了评测结果的可信度；通过本发明提供的方案可以实现云边端技术的协同，减少上传的数据量，提高通信效率，为企业在对人员考核测评工作方面节约了大量成本；通过本发明提供的方案可以自动化完成起重吊运指挥动作评测的全部过程，无需人员参与，在整个过程中节省了大量时间；通过本发明提供的方案与人工评测相比，自动化程度高，评测对人员的能力要求非常低，无经验人员就可以操作，节省了人力资源；在评测效率上会是人工评测以成倍的提升，有很大的价值；通过本发明提供的方案可解决很多重复性评测内容，无需担心评测的内容过于庞大，并输出评测报告，提高测试效率。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1是本发明系统原理框图；
图2是本发明视频采集及人体骨架识别模块的流程图；
图3是本发明指挥动作测评模块的流程图；
图4是本发明评测结果报告模块的流程图；
图5是本发明方法的流程示意图。
具体实施方式
下面将结合附图对本发明技术方案做进一步说明。
请参见图1，是本发明提供的一种基于云边端架构的起重机吊运指挥动作智能测评系统的系统原理框图。
本发明一种基于云边端架构的起重机吊运指挥动作智能测评系统，包括视频采集及人体骨架识别模块、指挥动作测评模块和评测结果报告模块，所述视频采集及人体骨架识别模块包括：检测单元、任务指定与录制单元、判断单元和执行单元，该视频采集及人体骨架识别模块负责根据评测需求，向考生下发测评任务要求，对考生的评测过程进行视频录制，并判断所述视频信息是否识别到人体，如是，则进入执行单元，如否，则视频无效不进入执行单元，再用人体骨架识别算法检测人体各关键点并在录制的视频中绘出人体骨架，再将人体关键点信息以及含有人体骨架的视频等数据保存至云端。所述指挥动作测评模块包括：指挥动作识别模型、执行单元和数据处理单元，该指挥动作测评模块负责使用指挥动作识别模型对所获取的视频内容进行识别并对各动作进行标记区分，并将识别出的动作类型、动作对应信度等数据进行处理，择取某一动作为标志动作Sj，以标志动作Sj将整体数据划分为i段，标志动作间即为所述测评动作Tk，再以筛选算法获取每一动作区间的特定信度作为最后的显示内容显示在所述视频中；指挥动作识别模型所使用的数据集主要从这些途径获取：通过收集标准化起重吊运指挥动作视频作为数据集，还可以通过不同身高、体型的人去做动作并录制成视频，作为数据集。所述评测结果报告模块包括：读取单元和数据整合单元，该评测结果报告模块负责读取所述指挥动作测评模块的评测数据，进行分析，并将总评测结果的视频信息、测评动作准确率Acc和错误动作指正及建议均通过图形化展示，生成评测报告，便于评测人员调取以及给出指导意见，也利于被测评人员后期学习改正。
请参见图2，是本发明提供的一种基于云边端架构的起重机吊运指挥动作智能测评系统的视频采集及人体骨架识别模块流程图，其工作流程如下：
1、实时检测是否由人员需要进行测评。
2、检测待测评人员是否需要进行测试。
3、当需要进行测试时，系统设置所测试科目类型并根据科目数量规定测试时间，然后下发测试任务要求，摄像头录制测试过程并保存视频。
4、检测视频首帧是否有人员出现。
5、当检测到人员时，使用Mhformer人体骨架识别算法对所述视频进行检测，检测并绘制出每一帧图片中的人体骨架，比如：检测一段视频时，算法逐帧将视频转换为图片，再对每张图片中的人体关键点进行检测并保存相关位置信息（比如肩膀、肘关节、膝盖等在图片中的坐标信息），并连接各关键点绘制出图片中人体的基本骨架，再将含人体骨架的图片信息按帧顺序转为识别后视频保存，并传至下一模块。
6、若无人员需要进行测评，就等待。
7、首帧若无人员出现，系统发出警告指示是否有数据传输错误。
请参见图3，是本发明提供的一种基于云边端架构的起重机吊运指挥动作智能测评系统的指挥动作测评模块流程图，其工作流程如下：
1、使用指挥动作识别模型对视频采集及人体骨架识别模块保存的识别后视频进行目标检测。
2、通过Yolov5目标检测算法对视频中的骨架动作进行识别检测，框出每一帧中的人体骨架并输出该骨架此时对应的动作名称Ni、置信度等数据（比如某帧中人体骨架以立正姿势站立，算法框出整个人体骨架再赋予其对应动作名称以及其与标准动作的相似度（置信度）等数据）。
3、处理动作名称Ni、置信度等数据，选择某一动作为标志动作Sj（比如每一个动作完成被测评人员会以立正姿势过渡，则选择立正姿势为标志动作），则每两个标志动作间的动作即为被测评人员所做的测评动作Tk（比如被测评人员正在做匀速起升动作，则该测评动作名称标签识别为匀速起升T7，测评动作包括但不限于匀速起升、紧急停止、驶离指挥人员等）。
4、标志动作、测评动作都会持续一定的时间，在帧数上表现为某一帧数区间对应一个动作（比如10至20帧对应标志动作，21至35对应测评动作，36至55对应标志动作），按照任务需求筛选出特定信度值Cth（比如使用最大值算法对每一个帧数区间的信度值进行筛选，筛选出这一区间内置信度最大值）对应的帧数及其相关动作名称Ni等信息进行记录保存。
5、根据特定信度值Cth对应的数据对上一模块的视频信息进行再处理，仅保留特定信度值Cth对应帧数的各类信息（比如人体框、动作名称、置信度等），其余帧仅显示骨架，再将处理视频保存为总测评视频Video。
6、指挥动作识别模型由深度学习网络技术构建，训练数据集包括在不同工业环境下不同人员所做的每一个标准动作的图片信息。
请参见图4，是本发明提供的一种基于云边端架构的起重机吊运指挥动作智能测评系统的评测结果报告模块流程图：
1、整合指挥动作测评模块的评测数据，进行分析，筛选出的特定信度值Cth（比如最大值）对应帧动作作为该动作的最优状态与视频采集模块下发的测试任务要求进行对比并计算准确率（比如任务要求动作顺序为12345，实际识别测评动作顺序为12354，那么准确率即为60%），再将错误动作进行图形化展示。
2、总测评视频Video、测评准确率Acc、错误动作，都以图形化展示，再结合评测人员的指导意见（比如某一错误动作是因为手的角度不对，则会指出）生成测评报告供被测评人员学习改正。
请参见图5，是本发明提供的一种基于云边端架构的起重机吊运指挥动作智能测评方法流程图，包括以下步骤：
步骤S1、视频采集及人体骨架识别，即通过终端设备对考生整个测评过程进行视频录制，再对所述视频中的考生进行检测，并在视频中描绘出考生的人体骨架图像，再将含人体骨架的视频以及识别出的人体骨架坐标数据保存；
步骤S2、指挥动作测评，即使用指挥动作识别模型对步骤S1保存的人体骨架的视频进行识别检测，再对识别出的动作名称Ni、每一动作对应信度值Ci、帧数数据Fh进行处理，筛选出具有特定信度值Cth的某几个动作，将其对应的帧和信度信息显示在原人体骨架视频中，并保存；
步骤S3、计算步骤S2指挥动作测评过程的动作准确率Acc、保存错误动作帧Fwh，制作测评结果报告。
所述步骤S1进一步具体包括以下步骤：
步骤S11、实时检测是否有考生需要进行测评；
步骤S12、检测到测评需求，系统下发测评任务要求；
步骤S13、待考生准备完毕开始测评时，终端设备对考生整个测评过程进行录制，并将视频信息保存；
步骤S14、检测视频首帧是否出现人体，如是，则对视频进行识别检测，如否，则视频无效不进行检测；
步骤S15、接收识别检测指令后，算法将视频逐帧划分为图片信息，并对每一帧对应的图片中的人体关键点信息进行检测，根据关键点将图片中的人体骨架描绘出来，再将含人体骨架的图片信息按帧顺序制作成视频，同时，将人体骨架坐标数据保存；该人体骨架坐标数据为人体的位置、帧数数据。
所述步骤S2进一步具体包括以下步骤：
步骤S21、根据起重吊运指挥动作标准，由人员完整、正确复现并制作为数据集，对数据集数据进行预处理，包括：数据增强、像素变换、添加噪声和扰动；接下来，使用深度学习网络技术构建指挥动作识别模型并进行迭代训练,可以根据公式（1）对数据集进行缩放来增强数据，根据公式（2）对数据集添加椒盐噪声；
X=f x *x
Y=f y *y（1）
其中，（x,y）为原图坐标信息,(f x ,f y )为缩放因子；
A=I+N（2）
其中，I为原始图像矩阵，N为椒盐噪声矩阵，A为添加噪声后的图像矩阵；
步骤S22、通过Mhformer人体骨架识别算法将人体骨架视频逐帧划分为图片信息，根据指挥动作识别模型对每一帧中的骨架动作进行识别，将识别得到的动作名称Ni及其相应信度值Ci数据与其所在帧数一一对应保存；
步骤S23、将在测评过程中预先规定的某一动作作为标志动作Sj，将每两个标志动作间的动作作为考生的测评动作Tk；
步骤S24、根据任务要求选取每一个标志动作和测评动作区间中特定信度值Cth的一帧，将每一个动作的特定信度对应帧数FCth、动作名称Ni、特定信度值Cth保存；
步骤S25、根据所保存的数据，在每一个特定信度值Cth对应帧的图片中标记出动作名称Ni、信度值Ci信息，其余非特定信度值帧则不显示动作名称信息，再按帧顺序将图片制成总测评视频Video保存。
所述步骤S3进一步具体包括以下步骤：
步骤S31、读取指挥动作测评模块所保存数据，对比系统下发的测评任务要求计算动作准确率Acc，可以基于公式（3）算出动作准确率；所述的系统下发的测评任务要求为以上步骤S12所述的系统下发测评任务要求。
L 1 =C 1 /C*100%（3）
其中，c1为指挥动作测评模块所评测出的正确动作个数，c为任务要求所做的动作个数；
步骤S32、对比测评任务要求后，将错误动作对应图片信息进行图形化展示，便于指导人员提出指导意见；
步骤S33、将总测评视频Video、动作准确率Acc、错误动作图片帧Fwh、指导意见等信息制作成评测报告，方便考生后期学习改正。
下面结合具体实施例对本发明具体应用场景作进一步说明：
场景一：
云端检测到考生A需要进行测试后开始创建测试任务：测试科目为对选定起重吊运指挥动作进行考核，系统从国家标准的起重吊运指挥动作中依次选择紧急停止、指示垂直距离、驶向指挥人员三个动作对考生A进行测评，设定时间为3分钟，将测试任务下发至考生A并开始测试，经视频采集（端）及人体骨架识别模块（边）录制视频并获取人体基本骨架后将相关信息传输至边缘端的指挥动作测评模块进行起重机吊运指挥动作的识别以及数据的处理，经上述方法检测得到三个标签依次为紧急停止、指示垂直距离、驶向指挥人员并附有对应置信度、置信度最大时对应的图片等数据，经云端的评测结果报告模块的整合与分析，考生A的测评准确率为100%，评测人员可根据图片信息对其提出指导意见，系统汇总所有信息后制成测评报告保存于云端数据库，方便考生A学习改正。
场景二：
云端检测到考生B需要进行测试后开始创建测试任务：测试科目为定点吊装指挥动作考核，系统设定动作顺序为操作开始、匀速起升、慢速下降、结束指令，规定测试时间为4分钟，并将测试任务下发至考生B，经上述测评方法检测得到四个标签依次为操作开始、匀速起升、匀速下降、结束指令，并附有对应置信度、置信度最大时对应的图片等数据，则考生B的测评准确率即为75%，评测人员可根据图片信息对其提出指导意见并根据实际情况优化其操作流程，系统汇总所有信息后制成测评报告并保存于云端数据库，方便考生B学习改正。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，（例如，软盘、硬盘、磁带）、光介质（例如，DVD)、或者半导体介质(例如固态硬盘SolidStateDisk(SSD))等。
以上所述仅是本说明书实施例的具体实施方式，通过该实施方式对本发明技术方案做进一步说明，以使本领域技术人员对本发明的技术构思的理解，其涉及到的未做明确公开说明的方法及术语，如算法等，均可通过本领域常规技术实现，对其不做特定限制。应当指出，对于本技术领域的普通技术人员来说，在不脱离本说明书实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本说明书实施例的保护范围。

Claims (8)

1.一种基于云边端架构的起重机吊运指挥动作智能测评方法，其特征在于，包括以下步骤：
步骤S1、视频采集及人体骨架识别，即通过终端设备对考生整个测评过程进行视频录制，再对所述视频中的考生进行检测，并在视频中描绘出考生的人体骨架图像，再将含人体骨架的视频以及识别出的人体骨架坐标数据保存；
步骤S2、指挥动作测评，对步骤S1保存的人体骨架的视频进行识别检测，再对识别出的动作名称Ni、每一动作对应信度值Ci、帧数Fh进行处理，筛选出具有特定信度值Cth的某几个动作，将其对应的帧和信度信息显示在原人体骨架视频中，并保存；
步骤S3、计算步骤S2指挥动作测评过程的动作准确率Acc、保存错误动作帧Fwh，制作测评结果报告；
其中步骤S2包括以下步骤：
步骤S21、根据起重吊运指挥动作标准，由人员完整、正确复现并制作为数据集，对数据集数据进行预处理，包括：数据增强、像素变换、添加噪声和扰动；接下来，使用深度学习网络技术构建指挥动作识别模型并进行迭代训练；
步骤S22、通过Mhformer人体骨架识别算法将人体骨架视频逐帧划分为图片信息，根据指挥动作识别模型对每一帧中的骨架动作进行识别，将识别得到的动作名称Ni及其相应信度值Ci数据与其所在帧数一一对应保存；
步骤S23、将在测评过程中预先规定的某一动作作为标志动作Sj，将每两个标志动作间的动作作为考生的测评动作Tk；
步骤S24、根据任务要求选取每一个标志动作和测评动作区间中特定信度值Cth的一帧，将每一个动作的特定信度对应帧数FCth、动作名称Ni、特定信度值Cth保存；
步骤S25、根据所保存的数据，在每一个特定信度值Cth对应帧的图片中标记出动作名称Ni、信度值Ci信息，其余非特定信度值帧则不显示动作名称信息，再按帧顺序将图片制成总测评视频Video保存。
2.根据权利要求1所述的一种基于云边端架构的起重机吊运指挥动作智能测评方法，其特征在于：所述步骤S1包括以下步骤：
步骤S11、实时检测是否有考生需要进行测评；
步骤S12、检测到测评需求，系统下发测评任务要求；
步骤S13、待考生准备完毕开始测评时，终端设备对考生整个测评过程进行录制，并将视频信息保存；
步骤S14、检测视频首帧是否出现人体，如是，则对视频进行识别检测，如否，则视频无效不进行检测；
步骤S15、接收识别检测指令后，算法将视频逐帧划分为图片信息，并对每一帧对应的图片中的人体关键点信息进行检测，根据关键点将图片中的人体骨架描绘出来，再将含人体骨架的图片信息按帧顺序制作成视频，同时，将人体骨架坐标数据保存；该人体骨架坐标数据为人体的位置、帧数数据。
3.根据权利要求1所述的一种基于云边端架构的起重机吊运指挥动作智能测评方法，其特征在于：所述步骤S3包括以下步骤：
步骤S31、读取指挥动作测评模块所保存数据，对比系统下发的测评任务要求计算动作准确率Acc；
步骤S32、对比测评任务要求后，将错误动作对应图片信息进行图形化展示，便于指导人员提出指导意见；
步骤S33、将总测评视频Video、动作准确率Acc、错误动作图片帧Fwh、指导意见信息制作成评测报告，方便考生后期学习改正；
其中，系统下发的测评任务要求为权利要求2中步骤S12所述的系统下发测评任务要求。
4.根据权利要求1所述的一种基于云边端架构的起重机吊运指挥动作智能测评方法，其特征在于：特定信度值Cth是对每一个帧数区间的信度值Ci进行筛选得出的这一区间内置信度最大值。
5.一种实现权利要求1-4任一项方法的基于云边端架构的起重机吊运指挥动作智能测评系统，其特征在于：所述系统包括视频采集及人体骨架识别模块、指挥动作测评模块和评测结果报告模块，
所述视频采集及人体骨架识别模块用于根据评测需求，获取评测动作视频流信息并使用人体姿态识别算法检测所述测评动作视频、识别人体的骨架，保存识别信息；
所述指挥动作测评模块用于对所述人体骨架信息使用目标检测算法进行识别并对识别信息中的动作及其信度数据进行处理，将每一标志动作Sj、测评动作Tk的特定信度值Cth标记并显示在所述视频中；
所述评测结果报告模块用于在云端整合数据处理的结果对相关信息进行可视化，并制作测评结果报告。
6.根据权利要求5所述的一种基于云边端架构的起重机吊运指挥动作智能测评系统，其特征在于：所述视频采集及人体骨架识别模块包括：检测单元、任务指定与录制单元、判断单元和执行单元，所述检测单元，用于检测是否有考生需要进行测评；所述任务指定与录制单元，用于向考生下发测评任务要求，并对考生的评测过程进行视频录制；所述判断单元，用于判断所述视频信息是否识别到人体，如是，则进入执行单元，如否，则视频无效不进入执行单元；所述执行单元，用于检测人体各关键点并在录制的视频中绘出人体骨架，再将人体关键点信息以及含有人体骨架的视频数据保存。
7.根据权利要求5所述的一种基于云边端架构的起重机吊运指挥动作智能测评系统，其特征在于：所述指挥动作测评模块包括：指挥动作识别模型、执行单元和数据处理单元，所述指挥动作识别模型，是使用深度学习网络技术所构建的起重吊运正确指挥动作数据集；所述执行单元，采用目标检测算法对所获取的视频内容进行识别并对各动作进行标记区分；所述数据处理单元，用于处理识别到的动作及其信度数据，择取某一动作为标志动作Sj，以标志动作Sj将整体数据划分为若干段，标志动作间即为所述测评动作，再根据任务需求获取每一动作区间的特定信度值Cth作为最后的显示内容显示在所述视频中。
8.根据权利要求5所述的一种基于云边端架构的起重机吊运指挥动作智能测评系统，其特征在于：所述评测结果报告模块包括：读取单元和数据整合单元，所述读取单元，用于读取所述指挥动作测评模块的评测数据，进行分析；所述数据整合单元，用于将总评测结果的视频信息Video、测评动作准确率Acc和错误动作指正及建议均通过图形化展示，生成评测报告。
CN202310626679.4A 2023-05-31 2023-05-31 一种基于云边端架构的起重机吊运指挥动作智能测评方法 Active CN116343343B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310626679.4A CN116343343B (zh) 2023-05-31 2023-05-31 一种基于云边端架构的起重机吊运指挥动作智能测评方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310626679.4A CN116343343B (zh) 2023-05-31 2023-05-31 一种基于云边端架构的起重机吊运指挥动作智能测评方法

Publications (2)

Publication Number Publication Date
CN116343343A CN116343343A (zh) 2023-06-27
CN116343343B true CN116343343B (zh) 2023-07-25

Family

ID=86893413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310626679.4A Active CN116343343B (zh) 2023-05-31 2023-05-31 一种基于云边端架构的起重机吊运指挥动作智能测评方法

Country Status (1)

Country Link
CN (1) CN116343343B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860274A (zh) * 2020-07-14 2020-10-30 清华大学 基于头部朝向与上半身骨架特征的交警指挥手势识别方法
WO2022022368A1 (zh) * 2020-07-28 2022-02-03 宁波环视信息科技有限公司 基于深度学习的监所行为规范检测装置及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110292036A1 (en) * 2010-05-31 2011-12-01 Primesense Ltd. Depth sensor with application interface

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860274A (zh) * 2020-07-14 2020-10-30 清华大学 基于头部朝向与上半身骨架特征的交警指挥手势识别方法
WO2022022368A1 (zh) * 2020-07-28 2022-02-03 宁波环视信息科技有限公司 基于深度学习的监所行为规范检测装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
军队研究生招生复试心理素质测评系统的编制及信效度检验;宁淑娥;魏刚;付俊波;赵丹;于玲玲;;解放军预防医学杂志(第11期);全文 *

Also Published As

Publication number Publication date
CN116343343A (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
CN111680551B (zh) 监控牲畜数量的方法、装置、计算机设备及存储介质
CN111260325A (zh) 基于bim的桥梁施工进度管理系统
WO2019174009A1 (zh) 一种机房管理方法及动环系统
CN110049121B (zh) 一种基于增强现实技术的数据中心巡检系统
CN113628079A (zh) 评分方法、装置、电子设备及可读介质
CN112070135A (zh) 电力设备图像检测方法、装置、电力设备及存储介质
CN109873979A (zh) 一种基于摄像头的静态图像差异比对方法及装置
CN104077568A (zh) 一种高精度的驾驶员行为识别与监控方法及系统
CN113011280A (zh) 人员接触距离的检测方法、装置、计算机设备和存储介质
CN112309566A (zh) 影像智能识别与医学智能推理的远程自动诊断系统及方法
CN115713256A (zh) 医学培训考核评价方法、装置、电子设备及存储介质
CN112613569A (zh) 图像识别方法、图像分类模型的训练方法及装置
CN112349057A (zh) 基于深度学习的室内烟雾和火灾检测方法
CN113688817A (zh) 一种自动巡检的仪表识别方法及识别系统
CN112153320B (zh) 一种物品尺寸的测量方法、装置、电子设备和存储介质
CN116343343B (zh) 一种基于云边端架构的起重机吊运指挥动作智能测评方法
CN113191362A (zh) 一种变电设备油渗漏缺陷检测装置及方法
CN111047731A (zh) 一种基于ar技术的电信机房巡检方法及系统
CN111124862B (zh) 智能设备性能测试方法、装置及智能设备
CN112347889B (zh) 一种变电站作业行为辨识方法及装置
CN114140879A (zh) 基于多头级联注意网络与时间卷积网络的行为识别方法及装置
CN112416233A (zh) 一种数字孪生虚拟空间信息交互系统
CN117726992B (zh) 护理技能培训辅助系统及方法
CN113033331A (zh) 一种智能考场监控系统以及监控方法
CN117455126B (zh) 一种泛在实训教学和考评管理系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant