CN115909839B - 一种基于vr技术的医学教育培训考核系统及方法 - Google Patents
一种基于vr技术的医学教育培训考核系统及方法 Download PDFInfo
- Publication number
- CN115909839B CN115909839B CN202211352727.7A CN202211352727A CN115909839B CN 115909839 B CN115909839 B CN 115909839B CN 202211352727 A CN202211352727 A CN 202211352727A CN 115909839 B CN115909839 B CN 115909839B
- Authority
- CN
- China
- Prior art keywords
- assessment
- action
- personnel
- layer
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000005516 engineering process Methods 0.000 title claims abstract description 34
- 230000009471 action Effects 0.000 claims abstract description 149
- 230000008569 process Effects 0.000 claims abstract description 23
- 238000003062 neural network model Methods 0.000 claims abstract description 13
- 238000012790 confirmation Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 230000005540 biological transmission Effects 0.000 claims description 16
- 230000009977 dual effect Effects 0.000 claims description 10
- 238000005304 joining Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 8
- 230000003993 interaction Effects 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000035945 sensitivity Effects 0.000 claims description 2
- 230000002452 interceptive effect Effects 0.000 abstract description 13
- 230000000694 effects Effects 0.000 abstract description 11
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004088 simulation Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000011112 process operation Methods 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000474 nursing effect Effects 0.000 description 2
- 230000003238 somatosensory effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Medical Treatment And Welfare Office Work (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及医学教育培训考核技术领域,具体公开了一种基于VR技术的医学教育培训考核系统及方法。获取医学教育培训考核现场的场景信息,构建医学教育培训考核场景模型,参加考核人员输入个人信息到医学教育培训考核系统进行身份确认,采集参加考核人员的肢体动作信息并进行预处理;构建动作识别神经网络模型,根据参加考核人员的动作捕捉点坐标识别动作指令,根据参加考核人员在考核过程中的操作给出参考分值,最终由评分人员根据动作参数、参考分值和经验给出参加考核人员的考核分数。解决了现有技术不能满足使用者的交互体验感,无法精确识别参加考核人员的动作指令及参数,无法对参加考核人员进行准确的线上评估,教学培训效果不佳的问题。
Description
技术领域
本发明涉及医学教育培训考核技术领域,尤其涉及一种基于VR技术的医学教育培训考核系统及方法。
背景技术
传统的医学操作练习主要是通过临床带教老师实际演练或是通过视频教学的方式来让学生学习,在模拟人或是道具上反复练习。大部分需要采取线上教学的方式,临床带教老师在拍摄视频时根据操作的不同,需要用到大型重型设备或是模拟人,有时也需要使用部分一次性耗材;实操演练可能会缺少部分耗材或设备物品,每次演练结束都需要先将上一次演练的物品还原,非常耗时耗力,而且老师也无法进行实际评价,训练效果难以保证。
中国专利公开号CN107808555A,公开了一种基于云计算的交互式增强现实医学培训考核系统,包括医学培训模块,医学培训模块包括培训材料数据库、关键字输入模块、查询模块、选取模块、第一显示模块和加载模块;关键字输入模块接收医学关键字;查询模块查询与医学关键字匹配的医学培训材料;第一显示模块显示匹配的医学培训材料;选取模块供用户从显示的医学培训材料中选取目标医学培训材料并显示;加载模块获取显示的目标医学培训材料信息,基于增强现实技术从云端调取互动内容并加载至显示的目标医学培训材料信息上;本发明能够方便地观看医学培训材料,且考核人员的操作动作可以与标准的操作动作进行比对,及时发现自己的操作动作是否合格,有利于操作技能的提升。
但在实现上述申请实施例的技术方案的过程中,发现上述技术至少存在如下问题:现有技术构建的系统模型较为单一,采用的仿真模型同步性较差,不能满足使用者的交互体验感,无法精确识别参加考核人员的动作指令及动作参数,因此无法对参加考核人员进行准确的线上评估,教学培训效果不佳。
发明内容
本发明通过提供一种基于VR技术的医学教育培训考核系统及方法,解决了现有技术构建的系统模型较为单一,采用的仿真模型同步性较差,不能满足使用者的交互体验感,无法精确识别参加考核人员的动作指令及动作参数,因此无法对参加考核人员进行准确的线上评估,教学培训效果不佳的问题。提高了使用者的交互体验感,精确采集用户一套完整的动作并提高动作识别准确度,实现高效线上考核。
本发明具体包括以下技术方案:
一种基于VR技术的医学教育培训考核系统,包括以下部分:
场景信息采集模块、场景构建模块、接口模块、数据库、人员管理模块、人员确认模块、动作捕捉模块、指令输出模块、智能通讯模块、显示控制模块和考核评分模块;
所述动作捕捉模块,用于采集参加考核人员的肢体动作信息,动作捕捉模块将信息通过数据传输的方式发送给指令输出模块;
所述指令输出模块,用于对参加考核人员的肢体动作信息进行预处理,使所有参加考核人员的动作坐标时刻数量均为标准时刻数量,并构建动作识别神经网络模型,根据参加考核人员的动作捕捉点坐标识别动作指令,指令输出模块将信息通过数据传输的方式发送给显示控制模块和数据库;
所述考核评分模块,用于根据参加考核人员在考核过程中的操作进行评分,给出一个参考分值,考核评分模块将信息通过数据传输的方式发送给显示控制模块、数据库。
一种基于VR技术的医学教育培训考核方法,包括以下步骤:
步骤S1、获取医学教育培训考核现场的场景信息,构建医学教育培训考核场景模型,参加考核人员输入个人信息到医学教育培训考核系统进行身份确认,采集参加考核人员的肢体动作信息并进行预处理;
步骤S2、构建动作识别神经网络模型,根据参加考核人员的动作捕捉点坐标识别动作指令,根据参加考核人员在考核过程中的操作给出参考分值,最终由评分人员根据动作参数、参考分值和经验给出参加考核人员的考核分数。
进一步,所述步骤S1具体包括:
预先设立固定的开始和结束时刻的肢体状态,即参加考核人员在进行操作的开始和结束时均需做指定的动作,从而获取到完成一组操作动作的全过程动作坐标;设定标准的时刻数量和动作阈值;针对操作动作的时刻数量比标准时刻多的参加考核人员的动作坐标,去除相邻两个时刻动作坐标差值小于动作阈值的时刻下的动作坐标;针对操作动作的时刻数量比标准时刻少的参加考核人员的动作坐标,从当前参加考核人员的所有动作坐标中选取相邻两个时刻动作坐标差值最大的两个动作坐标,根据均值法插入动作坐标,从而使所有参加考核人员的动作坐标时刻数量均为标准时刻数量。
进一步,所述步骤S2具体包括:
构建动作识别神经网络模型,通过输入N个时刻的动作捕捉点坐标,进行深度学习,输出对应的预设肢体动作信息或“动作指令不存在”信号。
进一步,所述步骤S2具体包括:
输入层将IP1传输给感受层,感受层将N个时刻中的动作事件数据进行累加,所述动作事件数据为pj表示动作极性,j∈[0,N-1],当第j时刻动作捕捉点的坐标与j-1时刻动作捕捉点的坐标差值大于预设的差值阈值,则 pj=1;否则,pj=-1;动作识别神经网络通过下述公式计算感受层的输出:
其中,IP2表示感受层的输出,a表示常数。
进一步,所述步骤S2具体包括:
动作识别神经网络包括输入层、感受层、特征层、双激活层和输出层。
进一步,所述步骤S2具体包括:
在参加考核人员进行考核的过程中,将参加考核人员在进行每个动作时的动作参数发送给显示控制模块,由交互设备进行采集;显示控制模块将动作参数和标准动作参数显示给评分人员,考核评分模块根据参加考核人员在考核过程中的操作进行评分,给出一个参考分值;最终由评分人员根据动作参数、参考分值和经验给出参加考核人员的考核分数。
本发明至少具有如下技术效果或优点:
1、构建医学教育培训考核场景模型,为参加考核人员提供真实度高的考核场景,有利于满足使用者的交互体验感;通过交互设备采集参加考核人员的动作信息,预先设立固定的开始和结束时刻的肢体状态,获取到完成一组操作动作的全过程动作坐标;设定标准的时刻数量和动作阈值,使所有参加考核人员的动作坐标时刻数量均为标准时刻数量,确保VR考核的精确度,为后续考核分析提供基础。
2、基于VR技术对医学教育培训进行考核,对医学人员进行实时训练和线上考核评估,提高教学效果;通过传感器技术、物联网技术和虚拟现实技术等多种技术的融合,获取肢体动作信息,通过动作识别神经网络模型处理进行指令识别,以识别目标动作的指令信息,提高了动作识别的准确性,能够更精确的判定学员的操作情况,提高系统考核的效率。
3、本发明的技术方案能够有效解决现有技术构建的系统模型较为单一,采用的仿真模型同步性较差,不能满足使用者的交互体验感,无法精确识别参加考核人员的动作指令及动作参数,因此无法对参加考核人员进行准确的线上评估,教学培训效果不佳的问题。
附图说明
图1为本发明所述的一种基于VR技术的医学教育培训考核系统结构图;
图2为本发明所述的一种基于VR技术的医学教育培训考核方法流程图。
具体实施方式
本申请实施例通过提供一种基于VR技术的医学教育培训考核系统及方法,解决了现有技术构建的系统模型较为单一,采用的仿真模型同步性较差,不能满足使用者的交互体验感,无法精确识别参加考核人员的动作指令及动作参数,因此无法对参加考核人员进行准确的线上评估,教学培训效果不佳的问题。
本申请实施例总体思路如下:
构建医学教育培训考核场景模型,为参加考核人员提供真实度高的考核场景,有利于满足使用者的交互体验感;通过交互设备采集参加考核人员的动作信息,预先设立固定的开始和结束时刻的肢体状态,获取到完成一组操作动作的全过程动作坐标;设定标准的时刻数量和动作阈值,使所有参加考核人员的动作坐标时刻数量均为标准时刻数量,确保VR考核的精确度,为后续考核分析提供基础;基于VR技术对医学教育培训进行考核,对医学人员进行实时训练和线上考核评估,提高教学效果;通过传感器技术、物联网技术和虚拟现实技术等多种技术的融合,获取肢体动作信息,通过动作识别神经网络模型处理进行指令识别,以识别目标动作的指令信息,提高了动作识别的准确性,能够更精确的判定学员的操作情况,提高系统考核的效率。
为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
参照附图1,本发明所述的一种基于VR技术的医学教育培训考核系统包括以下部分:
场景信息采集模块010、场景构建模块020、接口模块030、数据库040、人员管理模块050、人员确认模块060、动作捕捉模块070、指令输出模块080、智能通讯模块090、显示控制模块100和考核评分模块110。
所述场景信息采集模块010,用于采集医学教育培训考核现场的场景信息,所述场景信息包括考核相关的医疗器械影像信息、音频信息、位置信息、环境信息和仿真人体信息,场景信息采集模块010将信息通过数据传输的方式发送给场景构建模块020;
所述场景构建模块020,用于根据场景信息结合三维制作软件进行三维重构,得到医学教育培训考核场景模型,场景构建模块020将信息通过数据传输的方式发送给数据库040和显示控制模块100;
所述接口模块030,用于接收管理人员上传的理论知识、医学教育培训中涉及到的过程操作图谱(例如护理过程操作图谱)、病例集以及标准化操作视频等知识信息,同时还需预设标准操作的肢体动作信息和肢体动作信息所对应的指令下的场景变化信息,以及参加考核人员的个人信息,接口模块030将信息通过数据传输的方式发送给数据库040;
所述数据库040,用于存储医学教育培训考核系统中的所有数据;
所述人员管理模块050,用于参加考核人员输入个人信息,人员管理模块 050将信息通过数据传输的方式发送给人员确认模块060;
所述人员确认模块060,用于对当前参加考核人员的个人信息进行处理,确认是参加考核的人员,并发送准备考试指令,人员确认模块060将信息通过数据传输的方式发送给显示控制模块100和数据库040;
所述动作捕捉模块070,用于采集参加考核人员的肢体动作信息,动作捕捉模块070将信息通过数据传输的方式发送给指令输出模块080;
所述指令输出模块080,用于对参加考核人员的肢体动作信息进行预处理,使所有参加考核人员的动作坐标时刻数量均为标准时刻数量,并构建动作识别神经网络模型,根据参加考核人员的动作捕捉点坐标识别动作指令,指令输出模块 080将信息通过数据传输的方式发送给显示控制模块100和数据库040;
所述智能通讯模块090,用于为VR头显、遥控手柄、交互设备、显示屏、智能移动通讯终端等设备与中央处理器之间进行信号互传,智能通讯模块090 将信息通过数据传输的方式发送给显示控制模块100、动作捕捉模块070;
所述显示控制模块100,用于从数据库040中获取对应科目的医学教育培训考核模型信息,将医学教育培训考核虚拟场景展示到VR头显中供当前参加考核人员查看;显示控制模块100用于根据动作指令,从数据库040中调取不同肢体动作对应的场景变化信息,实时改变VR头显中的场景信息;同时,显示控制模块100还将医学教育培训考核的实时过程向未考核人员进行展示;显示控制模块 100将信息通过数据传输的方式发送给智能通讯模块090、数据库040;
所述考核评分模块110,用于根据参加考核人员在考核过程中的操作进行评分,给出一个参考分值,考核评分模块110将信息通过数据传输的方式发送给显示控制模块100、数据库040。
参照附图2,本发明所述的一种基于VR技术的医学教育培训考核方法包括以下步骤:
S1、获取医学教育培训考核现场的场景信息,构建医学教育培训考核场景模型,参加考核人员输入个人信息到医学教育培训考核系统进行身份确认,采集参加考核人员的肢体动作信息并进行预处理;
参加考核人员通过佩戴VR头显(虚拟现实头戴式显示设备),借助遥控手柄、交互设备、显示屏、智能移动通讯终端等设备进行医学教育培训的考试。所述VR头显可以实时显示画面、传递音效,模拟人眼真实看到的场景,达到沉浸式效果;所述遥控手柄用于考核时进行操作;所述交互设备包括体感装备、定位器、传感器、摄像头、扫描仪等,所述体感装备用于穿戴在参加考核人员肢体上,交互设备用于获取参加考核人员的肢体动作;所述显示屏为未考核人员的第一视角场景;所述智能移动通讯终端可以实时传递通讯信号。
场景信息采集模块010采集医学教育培训考核现场的场景信息,所述场景信息包括考核相关的医疗器械影像信息、音频信息、位置信息、环境信息和仿真人体信息。场景构建模块020根据场景信息结合三维制作软件进行三维重构,得到医学教育培训考核场景模型,存储到数据库040中。
具体的,VR场景模型构建方式有多,比如通用建模软件构建,目前现有应用场景大多都是用3DS Max软件构建的场景。另外,也可以通过真实场景构建方式,及全景拍摄方式。通过现场拍摄医学教育培训考核场地的现实场景,然后通过软件美化,形成基本的场景现实。
接口模块030接收管理人员上传的理论知识、医学教育培训中涉及到的过程操作图谱(例如护理过程操作图谱)、病例集以及标准化操作视频等知识信息,同时还需预设标准操作的肢体动作信息和肢体动作信息所对应的指令下的场景变化信息,以及参加考核人员的个人信息,均存储到数据库040中。所述参加考核人员的个人信息至少包括人员姓名、考核科目等信息。
参加考核人员通过人员管理模块050输入个人信息到医学教育培训考核系统,系统通过人员确认模块060对当前参加考核人员的个人信息进行处理,确认是参加考核的人员,发送准备考试指令。当参加考核人员佩戴VR头显并通过遥控手柄进行校准后,人员确认模块060还获取当前参加考核人员需要进行考核的科目,显示控制模块100从数据库040中获取对应科目的医学教育培训考核模型信息,将医学教育培训考核虚拟场景展示到VR头显中供当前参加考核人员查看。
参加考核人员在考核过程中,动作捕捉模块070采集参加考核人员的肢体动作信息,指令输出模块080结合遥控手柄的信号对参加考核人员的动作信息进行识别。设立共有m个动作捕捉点,即参加考核人员肢体上的m处位置,记录参加考核人员m个动作捕捉点的初始坐标为对于任意一个动作捕捉点的初始坐标 分别表示动作捕捉点在x、 y、z轴上的坐标指。
获取参加考核人员m个动作捕捉点在不同时刻的位置坐标,根据一个时段内的坐标集所得到的当前参加考核人员的动作信息判定是否符合数据库040中存储的预设标准操作的肢体动作信息。
进一步,由于不同的动作所需要的时间不同,不同人员完成同一动作所需要的时间也不同,因此,预先设立固定的开始和结束时刻的肢体状态,即参加考核人员在进行操作的开始和结束时均需做指定的动作,从而获取到完成一组操作动作的全过程动作坐标。由于不同参加考核人员完成这组操作动作所采集到的时刻数不同,因此需要设定标准的时刻数量和动作阈值;针对操作动作的时刻数量比标准时刻多的参加考核人员的动作坐标,去除相邻两个时刻动作坐标差值小于动作阈值的时刻下的动作坐标;针对操作动作的时刻数量比标准时刻少的参加考核人员的动作坐标,从当前参加考核人员的所有动作坐标中选取相邻两个时刻动作坐标差值最大的两个动作坐标,根据均值法插入动作坐标,从而使所有参加考核人员的动作坐标时刻数量均为标准时刻数量。
S2、构建动作识别神经网络模型,根据参加考核人员的动作捕捉点坐标识别动作指令,根据参加考核人员在考核过程中的操作给出参考分值,最终由评分人员根据动作参数、参考分值和经验给出参加考核人员的考核分数。
指令输出模块080结合遥控手柄的信号对参加考核人员的动作信息进行识别,具体识别方法包括以下步骤:
构建动作识别神经网络模型,通过输入N个时刻的动作捕捉点坐标,进行深度学习,输出对应的预设肢体动作信息或“动作指令不存在”信号。所述动作识别神经网络包括输入层、感受层、特征层、双激活层和输出层。
一些实施例中,所述动作识别神经网络模型的输入数据为:
其中,IP1表示输入层的输入信息。输入层将IP1传输给感受层,感受层将N个时刻中的动作事件数据进行累加,所述动作事件数据为pj表示动作极性,j∈[0,N-1],当第h时刻动作捕捉点的坐标与h-1时刻动作捕捉点的坐标差值大于预设的差值阈值,则pj=1;否则,pj=-1。
一些实施例中,动作识别神经网络通过下述公式计算感受层的输出:
其中,IP2表示感受层的输出,a表示常数。感受层将IP2传输给特征层,特征层根据感受层对动作极性的判定,从中选出坐标特征,设立坐标阈值,从所有动作坐标极性中选取符合阈值的动作坐标,作为坐标特征,特征层将选取的坐标特征传递给双激活层。
一些实施例中,双激活层是一个两层的共享全连接层,双激活层的具体计算为:
其中,IP4表示双激活层的输出,表示激活函数,ω1和ω2是双激活层的权重,IP3表示特征层的输出,/>表示特征层输出的均值,即坐标特征的均值。双激活层将IP4传递给输出层,由输出层输出结果。
指令输出模块080结合遥控手柄的信号输出动作指令;所述遥控手柄的操作信号由智能通讯模块090获取,并发送给指令输出模块080。显示控制模块100 根据动作指令,从数据库040中调取不同肢体动作对应的场景变化信息,并实时改变VR头显中的场景信息;同时,显示控制模块100还将医学教育培训考核的实时过程向未考核人员进行展示。
在参加考核人员进行考核的过程中,动作捕捉模块070还将参加考核人员在进行每个动作时的动作参数发送给显示控制模块100;所述动作参数包括力度、角度、敏感度等,由交互设备进行采集。
显示控制模块100将动作参数和标准动作参数显示给评分人员,考核评分模块110根据参加考核人员在考核过程中的操作进行评分,给出一个参考分值,所述参考分值的计算公式为:
G=∑ω×s+d+g(t)+δ
其中,G表示参考分值,ω表示不同动作参数的权重,s表示动作参数精确度评分,d表示动作识别难度评分,动作识别难度越高,表示参加考核人员的动作越不标准,评分越低;g(t)表示完成每项操作所需时间的评分,δ表示最终完成度评分。
最终由评分人员根据动作参数、参考分值和经验给出参加考核人员的考核分数。
综上所述,便完成了本发明所述的一种基于VR技术的医学教育培训考核系统及方法。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (5)
1.一种基于VR技术的医学教育培训考核方法,其特征在于,包括以下步骤:
步骤S1、获取医学教育培训考核现场的场景信息,构建医学教育培训考核场景模型,参加考核人员输入个人信息到医学教育培训考核系统进行身份确认,采集参加考核人员的肢体动作信息并进行预处理;
步骤S2、构建动作识别神经网络模型,根据参加考核人员的动作捕捉点坐标识别动作指令,根据参加考核人员在考核过程中的操作给出参考分值,最终由评分人员根据动作参数、参考分值和经验给出参加考核人员的考核分数;所述动作识别神经网络包括输入层、感受层、特征层、双激活层和输出层;输入层将IP1传输给感受层,所述IP1表示输入层的输入信息,感受层将N个时刻中的动作事件数据进行累加,所述动作事件数据为pj表示动作极性,/>当第j时刻动作捕捉点的坐标与j-1时刻动作捕捉点的坐标差值大于预设的差值阈值,则pj=1;否则,pj=-1;动作识别神经网络通过下述公式计算感受层的输出:
其中,IP2表示感受层的输出,a表示常数;
感受层将IP2传输给特征层,特征层根据感受层对动作极性的判定,从中选出坐标特征,设立坐标阈值,从所有动作坐标极性中选取符合阈值的动作坐标,作为坐标特征,特征层将选取的坐标特征传递给双激活层;
双激活层是一个两层的共享全连接层,双激活层的具体计算为:
其中,IP4表示双激活层的输出,表示激活函数,ω1和ω2是双激活层的权重,IP3表示特征层的输出,/>表示特征层输出的均值,即坐标特征的均值;双激活层将IP4传递给输出层,由输出层输出结果;
所述动作参数包括力度、角度、敏感度。
2.如权利要求1所述的一种基于VR技术的医学教育培训考核方法,其特征在于,所述步骤S1具体包括:
预先设立固定的开始和结束时刻的肢体状态,即参加考核人员在进行操作的开始和结束时均需做指定的动作,从而获取到完成一组操作动作的全过程动作坐标;设定标准的时刻数量和动作阈值;针对操作动作的时刻数量比标准时刻多的参加考核人员的动作坐标,去除相邻两个时刻动作坐标差值小于动作阈值的时刻下的动作坐标;针对操作动作的时刻数量比标准时刻少的参加考核人员的动作坐标,从当前参加考核人员的所有动作坐标中选取相邻两个时刻动作坐标差值最大的两个动作坐标,根据均值法插入动作坐标,从而使所有参加考核人员的动作坐标时刻数量均为标准时刻数量。
3.如权利要求1所述的一种基于VR技术的医学教育培训考核方法,其特征在于,所述步骤S2具体包括:
构建动作识别神经网络模型,通过输入N个时刻的动作捕捉点坐标,进行深度学习,输出对应的预设肢体动作信息或“动作指令不存在”信号。
4.如权利要求1所述的一种基于VR技术的医学教育培训考核方法,其特征在于,所述步骤S2具体包括:
在参加考核人员进行考核的过程中,将参加考核人员在进行每个动作时的动作参数发送给显示控制模块,由交互设备进行采集;显示控制模块将动作参数和标准动作参数显示给评分人员,考核评分模块根据参加考核人员在考核过程中的操作进行评分,给出一个参考分值;最终由评分人员根据动作参数、参考分值和经验给出参加考核人员的考核分数。
5.一种基于VR技术的医学教育培训考核系统,用于实现如权利要求1所述的一种基于VR技术的医学教育培训考核方法,其特征在于,包括以下部分:
场景信息采集模块、场景构建模块、接口模块、数据库、人员管理模块、人员确认模块、动作捕捉模块、指令输出模块、智能通讯模块、显示控制模块和考核评分模块;
所述动作捕捉模块,用于采集参加考核人员的肢体动作信息,动作捕捉模块将信息通过数据传输的方式发送给指令输出模块;通过传感器技术、物联网技术和虚拟现实技术的多种技术的融合,获取肢体动作信息;
所述指令输出模块,用于对参加考核人员的肢体动作信息进行预处理,使所有参加考核人员的动作坐标时刻数量均为标准时刻数量,并构建动作识别神经网络模型,根据参加考核人员的动作捕捉点坐标识别动作指令,指令输出模块将信息通过数据传输的方式发送给显示控制模块和数据库;
所述考核评分模块,用于根据参加考核人员在考核过程中的操作进行评分,给出一个参考分值,考核评分模块将信息通过数据传输的方式发送给显示控制模块、数据库。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211352727.7A CN115909839B (zh) | 2022-10-31 | 2022-10-31 | 一种基于vr技术的医学教育培训考核系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211352727.7A CN115909839B (zh) | 2022-10-31 | 2022-10-31 | 一种基于vr技术的医学教育培训考核系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115909839A CN115909839A (zh) | 2023-04-04 |
CN115909839B true CN115909839B (zh) | 2024-01-23 |
Family
ID=86489026
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211352727.7A Active CN115909839B (zh) | 2022-10-31 | 2022-10-31 | 一种基于vr技术的医学教育培训考核系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115909839B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117037558B (zh) * | 2023-08-11 | 2024-05-14 | 武汉蓝海科创技术有限公司 | 一种大型复杂设备维修过程的交互式学习训练考核系统 |
CN117854341A (zh) * | 2023-12-07 | 2024-04-09 | 广东工业大学 | 一种基于虚拟现实技术的全科规培医患沟通培训考核方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101621434B1 (ko) * | 2015-10-14 | 2016-05-17 | 주식회사 한빛파워 | 원자력 발전소 교육 훈련용 모의제어반 발전운전원 운전오류 경보시스템 및 원자력 발전소 모의제어반 교육 훈련 방법 |
CN107369352A (zh) * | 2017-09-11 | 2017-11-21 | 北京天蔚中医药发展促进中心 | 智能精准中医技能培训考核系统 |
CN108492661A (zh) * | 2018-04-02 | 2018-09-04 | 四川中烟工业有限责任公司 | 一种三维虚拟实验培训系统 |
CN112233515A (zh) * | 2020-10-12 | 2021-01-15 | 萱闱(北京)生物科技有限公司 | 一种应用于医生cpr考核的无人值考和智能评分方法 |
CN113706960A (zh) * | 2021-08-29 | 2021-11-26 | 华中科技大学同济医学院附属协和医院 | 一种基于vr技术的护理操作练习平台及使用方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110189638A1 (en) * | 2010-02-03 | 2011-08-04 | ImplementHIT | System and method for learning assessment |
-
2022
- 2022-10-31 CN CN202211352727.7A patent/CN115909839B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101621434B1 (ko) * | 2015-10-14 | 2016-05-17 | 주식회사 한빛파워 | 원자력 발전소 교육 훈련용 모의제어반 발전운전원 운전오류 경보시스템 및 원자력 발전소 모의제어반 교육 훈련 방법 |
CN107369352A (zh) * | 2017-09-11 | 2017-11-21 | 北京天蔚中医药发展促进中心 | 智能精准中医技能培训考核系统 |
CN108492661A (zh) * | 2018-04-02 | 2018-09-04 | 四川中烟工业有限责任公司 | 一种三维虚拟实验培训系统 |
CN112233515A (zh) * | 2020-10-12 | 2021-01-15 | 萱闱(北京)生物科技有限公司 | 一种应用于医生cpr考核的无人值考和智能评分方法 |
CN113706960A (zh) * | 2021-08-29 | 2021-11-26 | 华中科技大学同济医学院附属协和医院 | 一种基于vr技术的护理操作练习平台及使用方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115909839A (zh) | 2023-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115909839B (zh) | 一种基于vr技术的医学教育培训考核系统及方法 | |
CN113706960B (zh) | 一种基于vr技术的护理操作练习平台及使用方法 | |
US10672288B2 (en) | Augmented and virtual reality simulator for professional and educational training | |
CN206431875U (zh) | 基于增强现实的医学解剖辅助教学系统 | |
CN105788390A (zh) | 基于增强现实的医学解剖辅助教学系统 | |
CN110349667A (zh) | 结合调查问卷及多模态范式行为数据分析的孤独症评估系统 | |
CN112614399A (zh) | 一种基于虚拟现实的舞蹈教学设备及其教学方法 | |
CN104200417A (zh) | 基于云计算的康复训练系统 | |
CN114022512A (zh) | 运动辅助方法、装置及介质 | |
CN112289434A (zh) | 基于vr的医疗培训模拟方法、装置、设备及存储介质 | |
CN114998983A (zh) | 一种基于增强现实技术和姿态识别技术的肢体康复方法 | |
CN114446109B (zh) | 多功能交互式推拿教学系统 | |
WO2023077660A1 (zh) | 基于混合现实的太极拳训练方法及系统、设备及存储介质 | |
CN116611969B (zh) | 传统武术智能学习与评分系统 | |
CN116502923B (zh) | 虚拟仿真教学实训平台的仿真方法及系统 | |
CN114832349B (zh) | 元宇宙游泳教学辅助系统及其使用方法 | |
CN116090999A (zh) | 一种基于影像ai及元宇宙的培训考试系统 | |
CN116099181A (zh) | 基于元宇宙下的上肢力量训练辅助系统及其使用方法 | |
CN111310655A (zh) | 基于关键帧和组合注意力模型的人体动作识别方法和系统 | |
CN215875885U (zh) | 一种基于vr技术的沉浸式抗压力心理训练系统 | |
CN111047935A (zh) | 运动康复智能交互式教学培训系统 | |
CN115530814A (zh) | 一种基于视觉姿态检测及计算机深度学习的儿童运动康复训练方法 | |
CN115576427A (zh) | 一种基于xr的多人在线直播及系统 | |
CN115690895A (zh) | 基于人体骨骼点检测的多人运动检测方法及装置 | |
Palanimeera et al. | Yoga posture recognition by learning spatial-temporal feature with deep learning techniques |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |