CN116090999A - 一种基于影像ai及元宇宙的培训考试系统 - Google Patents
一种基于影像ai及元宇宙的培训考试系统 Download PDFInfo
- Publication number
- CN116090999A CN116090999A CN202310102273.6A CN202310102273A CN116090999A CN 116090999 A CN116090999 A CN 116090999A CN 202310102273 A CN202310102273 A CN 202310102273A CN 116090999 A CN116090999 A CN 116090999A
- Authority
- CN
- China
- Prior art keywords
- training
- examination
- universe
- module
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 72
- 230000009471 action Effects 0.000 claims abstract description 36
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 21
- 230000000474 nursing effect Effects 0.000 claims abstract description 17
- 230000003993 interaction Effects 0.000 claims abstract description 7
- 238000004891 communication Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 21
- 238000012360 testing method Methods 0.000 claims description 21
- 230000033001 locomotion Effects 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 13
- 210000003414 extremity Anatomy 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 8
- 238000012552 review Methods 0.000 claims description 7
- 210000002683 foot Anatomy 0.000 claims description 6
- 210000003128 head Anatomy 0.000 claims description 6
- 230000014509 gene expression Effects 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000007726 management method Methods 0.000 claims description 4
- 206010011985 Decubitus ulcer Diseases 0.000 claims description 3
- 208000004210 Pressure Ulcer Diseases 0.000 claims description 3
- 210000003423 ankle Anatomy 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims description 3
- 210000001217 buttock Anatomy 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 210000002310 elbow joint Anatomy 0.000 claims description 3
- 210000004709 eyebrow Anatomy 0.000 claims description 3
- 230000001815 facial effect Effects 0.000 claims description 3
- 210000003127 knee Anatomy 0.000 claims description 3
- 210000000629 knee joint Anatomy 0.000 claims description 3
- 210000000697 sensory organ Anatomy 0.000 claims description 3
- 210000000323 shoulder joint Anatomy 0.000 claims description 3
- 208000019116 sleep disease Diseases 0.000 claims description 3
- 208000020685 sleep-wake disease Diseases 0.000 claims description 3
- 210000003813 thumb Anatomy 0.000 claims description 3
- 238000009528 vital sign measurement Methods 0.000 claims description 3
- 210000000707 wrist Anatomy 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 abstract description 2
- 230000000903 blocking effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 241000219112 Cucumis Species 0.000 description 1
- 235000015510 Cucumis melo subsp melo Nutrition 0.000 description 1
- FJJCIZWZNKZHII-UHFFFAOYSA-N [4,6-bis(cyanoamino)-1,3,5-triazin-2-yl]cyanamide Chemical compound N#CNC1=NC(NC#N)=NC(NC#N)=N1 FJJCIZWZNKZHII-UHFFFAOYSA-N 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 210000003811 finger Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
- G06Q50/2057—Career enhancement or continuing education service
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Tourism & Hospitality (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Marketing (AREA)
- Entrepreneurship & Innovation (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Operations Research (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于影像AI及元宇宙的培训考试系统，主要分为学员端、元宇宙培训考试系统、培训老师端三个方面，学员端包括元宇宙接入模块、基于影像AI的实时动作识别、训练考试模块、学习计划模块，元宇宙培训考试系统包括元宇宙培训空间、沟通交互模块、训练考试打分及复核模块，培训老师端包括元宇宙接入培训模块、学员管理模块、考试复核模块。本发明通过应用影像AI技术及元宇宙空间来解决远程培训中存在的问题，通过AI影像及相关算法实现了护理员远程自主考试的功能，可提高培训的效率及培训的覆盖地域，并且通过元宇宙空间，可提高培训的实时效果，老师及学员可实时互动，并且老师可实时纠正学员的错误动作。
Description
技术领域
本发明属于护理培训技术领域，特别是涉及一种基于影像AI及元宇宙的培训考试系统。
背景技术
养老护理员作为新兴职业，将伴随全球老龄化社会的到来，呈现需求大于供给的总趋势。但不可忽视的现状是从业人员素质低、收入低，导致整体水平低。因此，一些有远见的部门及机构非常重视养老护理员的培训工作，不断提高服务质量。目前线上化的护理培训系统，主要通过线上视频学习，线下进行模拟及考试的方式。
目前市面上存在一些用于养老护理员的培训考试系统，如中国专利网上公开了一种基于公众平台的护理岗位培训考核系统，其公开号为CN109473181A，这种现有的培训考核系统虽然可对养老护理员进行培训和考试，但是存在一些不足：
(1)模拟训练及考试，必须到现场由人工进行评判及指导，效率比较低，同时一般培训中心在公司总部，跨城市培训时有很大障碍；
(2)对于护理培训，视频方式进行学习效果有限，难以进行相应的互动。
因此，针对以上问题，本发明提供的一种基于影像AI及元宇宙的培训考试系统具有重要意义。
发明内容
本发明提供了一种基于影像AI及元宇宙的培训考试系统，解决了以上问题。
为解决上述技术问题，本发明是通过以下技术方案实现的：
本发明的一种基于影像AI及元宇宙的培训考试系统，主要分为以下三个方面：
一、学员端，具体包括：
(1)元宇宙接入模块
(2)基于影像AI的实时动作识别
(3)训练考试模块
(4)学习计划模块
二、元宇宙培训考试系统，具体包括：
(1)元宇宙培训空间
(2)沟通交互模块
(3)训练考试打分及复核模块
三、培训老师端，具体包括：
(1)元宇宙接入培训模块
(2)学员管理模块
(3)考试复核模块。
进一步地，对于元宇宙培训考试系统方面的训练考试打分及复核模块，
其中的计算考试打分算法根据现有资源建立有以下系统：
①实操考试科目系统
②实操考试过程采集存储系统
③匿名评价系统
④智能打分系统
⑤复查系统。
进一步地，对于实操考试科目系统，建立以下各考试子系统：
1)生命体征测量实操考试
2)压疮换药实操考试
3)特殊老人口腔护理实操考试
4)鼻饲法实操考试
5)照护睡眠障碍的老人入睡实操考试
6)协助偏瘫老人穿脱衣训练实操考试。
进一步地，对于实操考试过程采集存储系统，该系统采集学员从进门护理到结束护理出门整个影像数据，具体包括：
1)服务态度采集，主要采集进门面带微笑，步速平稳，来到被服务对象面前是否打招呼问候，服务结束是否询问被服务对象感受，离开是否有规范的结束动作；
2)专业实操采集，主要采集流程是否规范，动作是否娴熟，操作是否专业；
3)被服务对象微表情，肢体动作采集，主要采集被服务对象眉头是舒展还是紧皱，嘴角有无上扬，脸上是面带笑容还是怒容，是否摇头点头，是否大拇指称赞。
进一步地，对于智能打分系统，其算法主要包括以下方面：
①使用openpose姿态估计算法计算实操子动作向量角
②用Pearson相似度计算各实操子动作得分
③使用评分矩阵算法计算实操考试加权分。
进一步地，对于使用openpose姿态估计算法计算实操子动作向量角，根据人体结构和技能操作特征，将关节分成不同的组，并分配不同的权重，I-V权重由低到高，具体为：
I：面部五官，主要采集服务态度，被服务对象的微表情
II：躯干关节，包括肩关节，脊椎和臀部，他们可以采集身体的位移，连接身体和四肢
III：一级关节，包括肘关节和膝关节，包含大量关于四肢动作信息，相对于躯干关节有更重要的作用
IV：二级关节，包括手腕和脚踝，手腕和踝关节比肘关节和膝关节延伸的更长，更容易判定操作细节
V：三级关节，包括右手，右臀，右脚，左手，左臀，左脚，技能操作更多的是靠这些关节的精细动作。
本发明相对于现有技术包括有以下有益效果：
(1)本发明应用影像AI技术及元宇宙空间，来解决远程培训中存在的问题，通过影像AI自动识别，学员在任意地点都可进行模拟，由影像AI进行动作识别，以及运用标准比对算法进行动作打分，告知学员护理动作是否正确以及是否有改善空间。同时对于部分学员考试，也可以使用该系统进行，有影像AI识别计算分数，人工进行快速复核，来判定考试是否通过；
(2)本发明使用unity开发的元宇宙培训空间，在元宇宙内进行互动式培训，学员之间也进行互相的学习，通过影像AI对学员人体动作进行识别，投射到元宇宙空间，培训老师可直接看到所有学员的动作是否正确，以及进行实时的指导，同时学员与学员之间也可进行互相的学习。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种基于影像AI及元宇宙的培训考试系统的系统模块及交互框架结构图；
图2为本发明的一种基于影像AI及元宇宙的培训考试系统中实操考试科目及时间表；
图3为本发明的一种基于影像AI及元宇宙的培训考试系统中实操考试的流程框图；
图4为本发明的一种基于影像AI及元宇宙的培训考试系统中Openpose实时姿态监测估计算法的网络结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“相对”、“一端”、“内部”、“横向”、“端部”、“两端”、“两侧”、“正面”、“一端面”、“另一端面”指示方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的组件或元件必须具有特定的方位，以特定的方位构造和操作，因此不能理解为对本发明的限制。
请参阅图1-4所示，本发明的一种基于影像AI及元宇宙的培训考试系统，主要分为以下三个方面：
一、学员端，具体包括：
(1)元宇宙接入模块：支持手机端或PC端进行元宇宙接入，通过摄像头识别人体映射到元宇宙空间内
(2)基于影像AI的实时动作识别：使用openpose进行实时动作识别，计算关键点位，以识别使用者当前的动作
(3)训练考试模块：在摄像头下进行考试，影像AI进行实时判定，后台根据识别到的动作与标准对应进行对应，以判定分数
(4)学习计划模块：老师与学员共同制定学习计划的模块，同时按学习情况安排相关考试
二、元宇宙培训考试系统，具体包括：
(1)元宇宙培训空间：基于unity开发，支持老师和学员的实体进行投射到该空间，以便进行直观的教学互动
(2)沟通交互模块
(3)训练考试打分及复核模块
三、培训老师端，具体包括：
(1)元宇宙接入培训模块
(2)学员管理模块：可在培训过程中使用该功能，对学员进行实时的管理查询。也可进行相关统计查询及报表操作
(3)考试复核模块。
其中，对于元宇宙培训考试系统方面的训练考试打分及复核模块，其中的计算考试打分算法根据现有资源建立有以下系统：
①实操考试科目系统：学员可在考试系统自主选择实操项目
②实操考试过程采集存储系统：实操过程中，通过影像，采集学员服务态度，实操技术动作，被服务对象微表情及肢体动作
③匿名评价系统：实操考试后，被服务对象对学员匿名打分，具体为：
学员服务结束，被服务对象会收到服务反馈链接，打开链接对护理人员进行匿名评价，若被服务对象不会操作，则由后勤管理人员人工过来咨询，记录并上传系统
④智能打分系统：根据采集的影像数据，智能打分，并结合匿名打分情况，综合出具详细考试分析报告，并归档留存，具体为：
后台根据采集系统采集的影像资料，细化出每一项的得分，如计算手指，手臂，躯干等角度，并与规范动作角度比对，根据误差给出分数，然后再结合服务态度，被服务对象的微表情及肢体动作，通过矩阵算法，给出最终的评分
⑤复查系统：若学员对评分有疑问，可申请复查，评分可由具有权限的老师修改，具体为：
如果学员对实操考试评分有疑问，可以线上申请复查，后台人员收到复查申请后会将申请转交给指定的老师，专业老师可以据此查看报告及录像，给出最终的评分；
复查系统老师肉眼查看，主观给分，以上智能打分系统是标准动作跟拍到的影像动作做对比，角度相差越大，分越低。
其中，对于实操考试科目系统，建立以下各考试子系统：
1)生命体征测量实操考试
2)压疮换药实操考试
3)特殊老人口腔护理实操考试
4)鼻饲法实操考试
5)照护睡眠障碍的老人入睡实操考试
6)协助偏瘫老人穿脱衣训练实操考试
如图2的实操考试科目及时间表，考试时间及被服务对象由后勤管理人员根据被服务对象以及服务时间上传，考生可在本系统查看可供选择的考试科目及时间，自主选择考试项目，在被服务对象需求的服务时间前半小时，若没有考生选择该考试项目，则自动停止本场考试并通知后勤管理人员安排非考生进行护理。
其中，对于实操考试过程采集存储系统，该系统采集学员从进门护理到结束护理出门整个影像数据，具体包括：
1)服务态度采集，主要采集进门面带微笑，步速平稳，来到被服务对象面前是否打招呼问候，服务结束是否询问被服务对象感受，离开是否有规范的结束动作；
2)专业实操采集，主要采集流程是否规范，动作是否娴熟，操作是否专业；
3)被服务对象微表情，肢体动作采集，主要采集被服务对象眉头是舒展还是紧皱，嘴角有无上扬，脸上是面带笑容还是怒容，是否摇头点头，是否大拇指称赞。
图3是PV操作图，P表示通过，V表示释放，Sn，S1，S2是信号量，PV是一对操作，初始值Sn＝n表示n个考试项目，可以n个学员同时开始考试，初始值S1＝S2＝0表示阻塞等待；
以上两个流程图分别用左边-流程图1(指说明书附图3中位于左侧的流程图)，右边-流程图2(指说明书附图3中位于右侧的流程图)表示，
流程图1：
后勤管理人员增加考试项目进程------初始P(Sn)表示有n个考试项目在进行，n减少一个，直到n＝0，则阻塞，不再接受新的考试学员-----创建实操考试项目及考试时间------V(S1)表示释放一个考试项目，触发流程图2的阻塞等待1-------P(S2)初始值为0，阻塞等待2------流程图2释放一场考试资源，继续往下执行------V(Sn)表示释放一个考试项目，n增加一个，P(Sn)不为0，又可以接受学员考试，如此循环；
流程图2：
护理员实操考试进程-------P(S1)初始值为0，所以阻塞等待1，-----流程图1触发阻塞等待1，此时有一个考试进程，继续往下执行-----实操考试-----V(S2)触发流程图1的阻塞等待2，释放一场考试资源-------继续循环第一步。
其中，对于智能打分系统，其算法主要包括以下方面：
①使用openpose姿态估计算法计算实操子动作向量角
Openpose实时姿态监测估计算法是由卡内基梅隆大学的一个团队最先提出的。此算法使用一种叫做人体关键点亲和域的方法连接人体关键点，如图4分支1的S1代表一组关键点，分支2的L1代表连接这些关键点的亲和向量。重复此步，可以得到一个所有2D关键点的集合S和关键点相关度的向量L，再根据相关度连接将得到一个近似度高的棍型图。所采用的数据集是COCO和MPI，并且收集了学员不同操作动作并与计算机相关联，既能监测人体，也能感知到周围环境中的信息
如图4的网络结构图：
S＝(S1，S2，…Sj)，表示heatmap，j表示要检测的关节数
L＝(L1，L2，…Lc)，表示vectormap，c表示要检测的关节对数
网络阶段1接收的输入特征是F，然后经过分支1和分支2网络的处理后分别得到S1和L1，从阶段2开始，阶段t网络的输入包括三部分，St-1，Lt-1，F，每个阶段网络的输入为：
②用Pearson相似度计算各实操子动作得分
Pearson相似度描述了两个向量(标准动作向量，实操动作向量)在一条线上的线性关系，我们用u表示实操动作向量和v表示标准动作向量，令Iu和Iv分别表示u和v中存在评分值的项目集合，Ru，i和Rv，i分别表示u和v对项目i的评分值，Ru和Rv分别表示u和v的平均评分值，则Person相似度PCC_sim(u，v)的计算方法如下式：
即：实操子动作得分为PCC_sim(u，v)
③使用评分矩阵算法计算实操考试加权分
首先将需要参与的评分数据转化为一张二维矩阵，这张矩阵中有两个维度，一个是实操子动作考试得分，一个是子动作评分权重，构成一个考试评分矩阵；
将考试评分矩阵分解为“实操子动作得分-隐类”和“隐类-子动作评分权重”，使用隐含的特征值来联系实操子动作得分和子动作评分权重，如下式所示，C表示实操考试子动作的个数，需要在对原始评分矩阵学习之前通过人工设定，可以将矩阵看做实操子动作得分对隐类的评分度，将视为子动作评分权重与隐类的近似度矩阵。通过这种方式，可以得到一个新的评分矩阵，并且矩阵中所有空缺的评分都在学习的过程中被填充，这些填充值就是该模型给出的预测评分值。由此，获得矩阵评分和。
即实操考试加权得分为C(p，q)。
其中，对于使用openpose姿态估计算法计算实操子动作向量角，根据人体结构和技能操作特征，将关节分成不同的组，并分配不同的权重，I-V权重由低到高，具体为：
I：面部五官，主要采集服务态度，被服务对象的微表情
II：躯干关节，包括肩关节，脊椎和臀部，他们可以采集身体的位移，连接身体和四肢
III：一级关节，包括肘关节和膝关节，包含大量关于四肢动作信息，相对于躯干关节有更重要的作用
IV：二级关节，包括手腕和脚踝，手腕和踝关节比肘关节和膝关节延伸的更长，更容易判定操作细节
V：三级关节，包括右手，右臀，右脚，左手，左臀，左脚，技能操作更多的是靠这些关节的精细动作。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和效物的限制。
Claims (6)
1.一种基于影像AI及元宇宙的培训考试系统，其特征在于，主要分为以下三个方面：
一、学员端，具体包括：
(1)元宇宙接入模块
(2)基于影像AI的实时动作识别
(3)训练考试模块
(4)学习计划模块
二、元宇宙培训考试系统，具体包括：
(1)元宇宙培训空间
(2)沟通交互模块
(3)训练考试打分及复核模块
三、培训老师端，具体包括：
(1)元宇宙接入培训模块
(2)学员管理模块
(3)考试复核模块。
2.根据权利要求1所述的一种基于影像AI及元宇宙的培训考试系统，其特征在于，对于元宇宙培训考试系统方面的训练考试打分及复核模块，其中的计算考试打分算法根据现有资源建立有以下系统：
①实操考试科目系统
②实操考试过程采集存储系统
③匿名评价系统
④智能打分系统
⑤复查系统。
3.根据权利要求2所述的一种基于影像AI及元宇宙的培训考试系统，其特征在于，对于实操考试科目系统，建立以下各考试子系统：
1)生命体征测量实操考试
2)压疮换药实操考试
3)特殊老人口腔护理实操考试
4)鼻饲法实操考试
5)照护睡眠障碍的老人入睡实操考试
6)协助偏瘫老人穿脱衣训练实操考试。
4.根据权利要求2所述的一种基于影像AI及元宇宙的培训考试系统，其特征在于，对于实操考试过程采集存储系统，该系统采集学员从进门护理到结束护理出门整个影像数据，具体包括：
1)服务态度采集，主要采集进门面带微笑，步速平稳，来到被服务对象面前是否打招呼问候，服务结束是否询问被服务对象感受，离开是否有规范的结束动作；
2)专业实操采集，主要采集流程是否规范，动作是否娴熟，操作是否专业；
3)被服务对象微表情，肢体动作采集，主要采集被服务对象眉头是舒展还是紧皱，嘴角有无上扬，脸上是面带笑容还是怒容，是否摇头点头，是否大拇指称赞。
5.根据权利要求2所述的一种基于影像AI及元宇宙的培训考试系统，其特征在于，对于智能打分系统，其算法主要包括以下方面：
①使用openpose姿态估计算法计算实操子动作向量角
②用Pearson相似度计算各实操子动作得分
③使用评分矩阵算法计算实操考试加权分。
6.根据权利要求5所述的一种基于影像AI及元宇宙的培训考试系统，其特征在于，对于使用openpose姿态估计算法计算实操子动作向量角，根据人体结构和技能操作特征，将关节分成不同的组，并分配不同的权重，I-V权重由低到高，具体为：
I：面部五官，主要采集服务态度，被服务对象的微表情
II：躯干关节，包括肩关节，脊椎和臀部，他们可以采集身体的位移，连接身体和四肢
III：一级关节，包括肘关节和膝关节，包含大量关于四肢动作信息，相对于躯干关节有更重要的作用
IV：二级关节，包括手腕和脚踝，手腕和踝关节比肘关节和膝关节延伸的更长，更容易判定操作细节
V：三级关节，包括右手，右臀，右脚，左手，左臀，左脚，技能操作更多的是靠这些关节的精细动作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310102273.6A CN116090999A (zh) | 2023-02-10 | 2023-02-10 | 一种基于影像ai及元宇宙的培训考试系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310102273.6A CN116090999A (zh) | 2023-02-10 | 2023-02-10 | 一种基于影像ai及元宇宙的培训考试系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116090999A true CN116090999A (zh) | 2023-05-09 |
Family
ID=86213814
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310102273.6A Pending CN116090999A (zh) | 2023-02-10 | 2023-02-10 | 一种基于影像ai及元宇宙的培训考试系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116090999A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117711234A (zh) * | 2024-02-01 | 2024-03-15 | 南昌菱形信息技术有限公司 | 一种基于元宇宙技术的职业教育实训系统及方法 |
-
2023
- 2023-02-10 CN CN202310102273.6A patent/CN116090999A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117711234A (zh) * | 2024-02-01 | 2024-03-15 | 南昌菱形信息技术有限公司 | 一种基于元宇宙技术的职业教育实训系统及方法 |
| CN117711234B (zh) * | 2024-02-01 | 2024-04-19 | 南昌菱形信息技术有限公司 | 一种基于元宇宙技术的职业教育实训系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN206431875U (zh) | 基于增强现实的医学解剖辅助教学系统 | |
| CN112861624A (zh) | 一种人体姿态检测方法、系统、存储介质、设备及终端 | |
| CN110349667A (zh) | 结合调查问卷及多模态范式行为数据分析的孤独症评估系统 | |
| CN113706960B (zh) | 一种基于vr技术的护理操作练习平台及使用方法 | |
| CN114327060B (zh) | 一种基于ai助手的虚拟教学系统的工作方法 | |
| CN111915460B (zh) | 基于ai视觉的实验考试智能评分系统 | |
| CN107845300B (zh) | 一种实时监控的安全考试系统 | |
| CN110930804A (zh) | 一种基于云平台的临床医学教育系统 | |
| CN116090999A (zh) | 一种基于影像ai及元宇宙的培训考试系统 | |
| CN115083628B (zh) | 一种基于中医望诊客观化的医教协同系统 | |
| CN107818707B (zh) | 一种自动出题的考试系统 | |
| Dimitriadou et al. | Using Student Action Recognition to Enhance the Efficiency of Tele-education. | |
| CN114446109A (zh) | 多功能交互式推拿教学系统 | |
| CN110192860A (zh) | 一种面向网络信息认知的脑成像智能测试分析方法及系统 | |
| Wang et al. | Student physical fitness test system and test data analysis system based on computer vision | |
| CN107967660B (zh) | 一种自动面部识别的安全考试系统 | |
| CN116502923A (zh) | 虚拟仿真教学实训平台的仿真方法及系统 | |
| CN115966003A (zh) | 一种基于情绪识别的学习者线上学习效率评估系统 | |
| CN111047935A (zh) | 运动康复智能交互式教学培训系统 | |
| Beacon et al. | Assessing the suitability of Kinect for measuring the impact of a week-long Feldenkrais method workshop on pianists’ posture and movement | |
| CN113641856A (zh) | 用于输出信息的方法和装置 | |
| CN111985793A (zh) | 一种学生网上评教方法 | |
| Pourebadi et al. | Stroke modeling and synthesis for robotic and virtual patient simulators | |
| CN107818531B (zh) | 一种安全考试系统 | |
| Ye et al. | An action analysis algorithm for teachers based on human pose estimation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |