CN115035767A - 一种基于ar和拟人化模型的脊柱手术教学培训系统 - Google Patents
一种基于ar和拟人化模型的脊柱手术教学培训系统 Download PDFInfo
- Publication number
- CN115035767A CN115035767A CN202210736907.9A CN202210736907A CN115035767A CN 115035767 A CN115035767 A CN 115035767A CN 202210736907 A CN202210736907 A CN 202210736907A CN 115035767 A CN115035767 A CN 115035767A
- Authority
- CN
- China
- Prior art keywords
- model
- teaching
- evaluation
- training
- anthropomorphic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 106
- 238000011156 evaluation Methods 0.000 claims abstract description 110
- 230000003993 interaction Effects 0.000 claims abstract description 36
- 238000001356 surgical procedure Methods 0.000 claims abstract description 34
- 230000003190 augmentative effect Effects 0.000 claims abstract description 23
- 238000013210 evaluation model Methods 0.000 claims abstract description 16
- 230000002452 interceptive effect Effects 0.000 claims abstract description 15
- 230000002159 abnormal effect Effects 0.000 claims abstract description 7
- 238000013079 data visualisation Methods 0.000 claims abstract description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 64
- 210000001519 tissue Anatomy 0.000 claims description 37
- 210000000988 bone and bone Anatomy 0.000 claims description 32
- 239000011159 matrix material Substances 0.000 claims description 30
- 238000000034 method Methods 0.000 claims description 28
- 230000001054 cortical effect Effects 0.000 claims description 21
- 238000004088 simulation Methods 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 17
- 239000003550 marker Substances 0.000 claims description 16
- 230000008520 organization Effects 0.000 claims description 14
- 210000004204 blood vessel Anatomy 0.000 claims description 13
- 230000033001 locomotion Effects 0.000 claims description 13
- 210000003205 muscle Anatomy 0.000 claims description 13
- 239000000463 material Substances 0.000 claims description 11
- 210000001032 spinal nerve Anatomy 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 9
- 238000010146 3D printing Methods 0.000 claims description 8
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 8
- 210000005036 nerve Anatomy 0.000 claims description 7
- 210000003484 anatomy Anatomy 0.000 claims description 5
- 210000003041 ligament Anatomy 0.000 claims description 5
- 230000004424 eye movement Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000037182 bone density Effects 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 239000007788 liquid Substances 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 230000001537 neural effect Effects 0.000 claims description 3
- 230000001575 pathological effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000002594 fluoroscopy Methods 0.000 claims 1
- 238000003780 insertion Methods 0.000 claims 1
- 230000037431 insertion Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 11
- 230000035515 penetration Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 239000011347 resin Substances 0.000 description 4
- 229920005989 resin Polymers 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000013013 elastic material Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000012255 powdered metal Substances 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 208000013860 rhabdoid tumor of the kidney Diseases 0.000 description 1
- 239000000741 silica gel Substances 0.000 description 1
- 229910002027 silica gel Inorganic materials 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Human Computer Interaction (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种基于AR和拟人化模型的脊柱手术教学培训系统，该系统通过实操训练平台模拟手术教学培训的物理环境，满足培训者手术实操训练，实时自动化采集手术操作客观数据；手术技能考核评价模块将采集的客观数据，通过考核评价模型对手术操作技能进行评价，对异常数据实时报警、反馈和扣分，通过云存储和数据可视化长期跟踪手术教学培训情况；通过手术教学培训增强现实交互模块在实操训练平台上实时叠加显示手术教学培训内容及引导信息、操作反馈信息和考核评价信息。本发明提供培训者实时自主交互教学引导，具有逼真的视觉与力反馈，自动化定量考核评价其手术操作技能水平并长期跟踪，降低脊柱手术培训成本，缩短脊柱手术培训周期。
Description
技术领域
本发明涉及医疗培训领域，尤其涉及一种基于AR和拟人化模型的脊柱手术教学培训系统。
背景技术
医学模拟教育正成为医疗培训领域行之有效的方法，传统医疗培训采用尸体、动物、教学模拟器具等进行脊柱手术教学培训，尸体和动物存在成本高、数量少、储存难和伦理等问题，而现有教学模拟器具与人体在真实感方面差异较大，其加工制作缺乏定制化要求。随着新兴技术的发展，现代医学模拟教育广泛采用计算机、VR、AR、MR、3D打印、传感器等技术来弥补传统教学培训的缺点，相关系统有实物仿真模型培训系统、虚拟仿真培训系统和虚实结合仿真培训系统。
增强现实(AR)技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。随着微软HoloLens2混合现实头戴式显示器的发布，AR技术在医学培训领域中的应用越来越广泛，相较于传统媒介，AR眼镜能提供沉浸式的教学互动体验。
3D打印技术(3DP)即快速成型技术的一种，又称增材制造，它是一种以数字模型文件为基础，运用粉末状金属或塑料等可粘合材料，通过逐层打印的方式来构造物体的技术。3D打印技术通过改变材料及其颜色、硬度、刚性，能模拟人体不同组织结构及其力学触感，包括骨组织皮质松质骨、神经、血管、皮肤、肌肉等。3D打印技术因其可定制化、可实现复杂结构、快速复制等特点正深度应用于拟人化医疗模型制作。
现有的脊柱手术培训系统中，实物仿真模型培训系统缺少互动式教学体验和定量的手术考核评价方法；虚拟仿真培训系统缺少真实的力反馈；由于脊柱外科手术对精度与真实力反馈的高要求，两者虚实结合是一种可行的方案，而国内外的虚实结合仿真培训系统一般只包括骨组织和虚拟仿真平台，逼真度一般，缺少教学互动与自主交互学习体验，缺少自动化的定量考核评价方法，无法长期跟踪评价培训者手术操作技能水平。
发明内容
本发明的目的在于提供一种基于AR和拟人化模型的脊柱手术教学培训系统，能够对培训者进行真实有效的手术教学培训，实时教学引导，提供逼真的力反馈和训练场景，增加手术动手操作机会，对其手术操作技能水平进行自动化定量的考核评价并长期跟踪，降低脊柱手术培训成本，缩短脊柱手术培训周期。
本发明解决其技术问题所采用的技术方案是：
一种基于AR和拟人化模型的脊柱手术教学培训系统，包括：实操训练平台、手术技能考核评价模块和手术教学培训增强现实交互模块。实操训练平台模拟手术教学培训的物理环境，培训者使用手术器械在拟人化模型上模拟手术操作过程，实时采集手术器械与拟人化模型的位姿数据，并监测拟人化模型的压力数据；手术技能考核评价模块将实操训练平台采集的实物位姿数据与虚拟模型进行匹配，通过考核评价模型对手术操作技能进行评价，对异常数据实时报警、反馈和扣分，通过云存储和数据可视化长期跟踪手术教学培训情况；手术教学培训增强现实交互模块在实操训练平台上实时叠加显示手术教学培训内容及引导信息、操作反馈信息和考核评价信息，培训者查看这些信息调整手术操作以提升自身手术操作技能水平。
所述实操训练平台，包括：HoloLens2头盔、拟人化模型、手术操作台、手术器械、定位标记物及其参考支架、双目相机、水压传感器及其连接管道、PC机。HoloLens2头盔由培训者佩戴；拟人化模型固定在手术操作台上，可快速拆卸更换，并在其上面安装定位标记物；手术器械安装定位标记物及其参考支架后由培训者使用在拟人化模型上进行手术模拟操作；双目相机固定在手术操作台上并将相机视野聚焦到拟人化模型上，保证手术器械操作落在双目相机视野范围内，由电缆连接至PC机，通过双目追踪定位软件实时追踪定位拟人化模型和手术器械的位姿数据；水压传感器通过连接管道连接至拟人化模型椎管神经模块实时监测压力数据；PC机无线传输采集到的数据至HoloLens2搭载的手术教学培训增强现实交互模块和手术技能考核评价模块。
所述拟人化模型包括以下人体组织模块：皮肤、肌肉、脊椎骨、椎间盘、韧带、椎管神经和血管。人体组织模块由实际患者的CT数据重建三维数字模型，采用模拟不同人体组织力反馈的材质3D打印等比例制作，并以人体组织的实际构成与排列方式进行组装，这些模块在手术操作损耗后可快速更换；脊椎骨模块基于不同年龄患者实际的骨质密度和结构，通过参数化设计建立分层的疏松多孔的脊椎骨模型，模拟骨皮质和骨松质的双层力学结构特性；椎管神经模块内部中空并填充有色液体。
所述手术技能考核评价模块包括：位姿转换算法、考核评价模型、反馈单元和操作结果统计单元。手术技能考核评价模块将实操训练平台采集的手术器械与拟人化模型的位姿数据，借助位姿转换算法转换位姿数据后赋予相应的虚拟模型，将手术器械与拟人化模型的相对位置关系与虚拟模型进行匹配，通过考核评价模型对手术操作技能水平进行评估，并通过反馈单元实时报警、反馈和扣分；最后通过操作结果统计单元，对考核评价模型的结果进行统计、记录、可视化呈现，并通过无线传输保存到云端数据库。
所述位姿转换算法，包括以下步骤：
步骤1：定位标记物安装在拟人化模型(12)、手术器械(14)上，双目相机追踪定位标记物位姿数据，然后以此为其实物物体坐标系；
步骤2：根据上述实物物体坐标系与拟人化模型(12)、手术器械(14)的相对位置和方向，将拟人化模型(12)与手术器械(14)的三维数字模型物体坐标系设置为与实物物体坐标系相同的位置和方向，导入生成等比虚拟模型；
步骤3：将双目相机追踪定位到的拟人化模型(12)与手术器械(14)位姿数据进行左右手坐标系转换，并赋予虚拟模型，即可实现其在双目相机坐标系下的实物位置运动，与虚拟空间坐标系下的虚拟模型位置运动一一匹配；
步骤4：拟人化模型(12)虚拟模型需固定在适合培训者查看的位置和方向，因此以拟人化模型(12)的虚拟模型物体坐标系为基准，手术器械(14)虚拟模型相对位置转换关系为：
其中，T为相对位置关系转换矩阵；
为拟人化模型(12)的虚拟模型4×4位姿矩阵，t1为其位置坐标，R1为其3×3旋转矩阵；
为手术器械(14)虚拟模型4×4位姿矩阵，t2为其位置坐标，R2为其3×3旋转矩阵。
步骤5：将拟人化模型(12)的虚拟模型固定在适合的位置，求得手术器械(14)虚拟模型在拟人化模型(12)的虚拟模型物体坐标系下新的位姿数据后赋予手术器械(14)虚拟模型，以匹配虚拟模型的相对位置运动：
其中，T为步骤3所得相对位置关系转换矩阵；
为拟人化模型(12)的虚拟模型固定位置4×4位姿矩阵，t11为其位置坐标，R11为其3×3旋转矩阵；
为手术器械(14)虚拟模型新的相对位置4×4位姿矩阵，t21为其位置坐标，R21为其3×3旋转矩阵。所述考核评价模型，包括三个算法和两个评价指标。三个算法为：手术操作安全性评估算法、手术操作整体规范性评估算法和空间位姿评估算法；两个评价指标为：操作正确性和精确性。手术操作安全性评估算法主要评估手术操作过程中的安全性；手术操作整体规范性评估算法主要评估整体手术操作的规范性；空间位姿评估算法主要评估手术操作与标准操作的拟合程度。安全性及规范性评估表征为操作正确性，针对错误的和不符合规范的操作进行扣分，满分为100分，及格分数为60分，低于60分视为操作不合格。手术操作与标准操作的拟合程度表征为操作精确性，以优、良、中、差进行评级，在手术操作正确性的前提下对手术操作精确性进行评估。
所述手术操作安全性评估算法，包括：判断手术器械是否误入不同人体组织模块和判断椎弓根螺钉突破脊椎皮质骨的程度。基于物体边界碰撞检测原理，判断手术器械虚拟模型与拟人化模型的虚拟模型中不该碰撞的人体组织模块发生碰撞即为误入操作；通过椎弓根螺钉虚拟模型与脊椎骨等比放大不同距离外壳的虚拟模型发生碰撞，判断突破脊椎皮质骨的程度。
误入操作以碰撞的人体组织类别为扣分基准，具体如下：
当发生碰撞组织模块为“肌肉”，即误入肌肉，操作正确性指标扣除5分；
当发生碰撞组织模块为“椎间盘”，即误入椎间盘，操作正确性指标扣除20分；
当发生碰撞组织模块为“神经”，即误入神经，操作正确性指标扣除50分；
当发生碰撞组织模块为“血管”，即误入血管，操作正确性指标扣除50分；
突破脊椎皮质骨的程度以突破的距离为扣分基准，采用Gertzbein评级标准，具体如下：
突破皮质骨小于2毫米，操作正确性指标扣除5分；
突破皮质骨大于2毫米而小于4毫米，操作正确性指标扣除20分；
突破皮质骨大于4毫米，操作正确性指标扣除50分。
所述手术操作整体规范性评估算法，评估手术操作完成后的手术操作流程和透视次数是否符合规范，其中，手术操作流程为不同手术器械虚拟模型与人体组织模块虚拟模型的碰撞顺序，透视次数为操作时培训者控制显示模拟透视影像图的次数，不符合规范则进行扣分，规则具体如下：
当手术操作流程与常规流程不符时，操作正确性指标扣除10分；
透视次数5至8次，操作正确性指标扣除10分；
透视次数9至12次，操作正确性指标扣除20分；
透视次数大于12次，操作正确性指标扣除50分。所述空间位姿评估算法，包括三个维度：进钉点评估算法、进钉角度评估算法和进钉深度评估算法。进钉点评估算法评估当前进钉点与参考进钉点的位置拟合程度；进钉角度评估算法评估当前进钉角度与参考进钉角度的拟合程度；进钉深度评估当前进钉深度与参考进钉深度的拟合程度。
所述进钉点评估算法，通过物体边界碰撞检测原理，将手术器械虚拟模型尖端与脊椎骨虚拟模型的首个接触点作为“当前进钉点”，“参考进钉点”通过椎弓根置钉采用的“人字嵴法”、“中点法”确认，通过计算当前进钉点与参考进钉点空间坐标的欧氏距离，对其进钉点的操作精确性进行评级：
当距离小于4毫米，操作精确性评级为优；
当距离大于4毫米而小于8毫米，操作精确性评级为良；
当距离大于8毫米而小于12毫米，操作精确性评级为中；
当距离大于12毫米，操作精确性评级为差；所述进钉角度评估算法，将“当前进钉角度”定义为椎弓根螺钉在水平面投影的中心轴与矢状轴的夹角，“参考进钉角度”基于不同节段脊椎骨的结构进行设定，通过计算当前进钉角度与参考进钉角度之间的角度差，对其进钉角度的操作精确性进行评级：
当角度差小于2°，操作精确性评级为优；
当角度差大于2°而小于5°，操作精确性评级为良；
当角度差大于5°而小于8°，操作精确性评级为中；
当角度差大于8°，操作精确性评级为差；
所述进钉深度评估算法，将椎弓根螺钉在水平面投影的尖端点投影到矢状轴，其尖端投影点到椎体后端的距离即为“当前进钉深度”，“参考进钉深度”占椎体前后径长度的比值为80％，通过计算当前进钉深度与参考进钉深度所占椎体前后径长度的比值的差，对其进钉深度的操作精确性进行评级：
当深度占比差值小于2.5％，操作精确性评级为优；
当深度占比差值大于2.5％而小于5％，操作精确性评级为良；
当深度占比差值大于5％而小于10％，操作精确性评级为中；
当深度占比差值大于10％，操作精确性评级为差；
所述反馈单元，将操作正确性评价异常数据和扣分信息，显示在手术教学培训增强现实交互模块中的全息影像交互程序中，实时通过语音、文本和图像的形式进行报警反馈，并将其得分统计结果和具体的错误类型传递到结果统计单元；将操作精确性评价中的数据，通过语音、文本、图像的形式反应在手术教学培训增强现实交互模块中的全息影像交互程序中，并将其结果信息传递到结果统计单元。
所述操作结果统计单元，包括：单次手术操作结果记录和整体手术操作结果记录。单次手术操作结果记录包括操作时长、手术流程记录、透视次数记录、模拟透视影像结果图、操作正确性评价的得分与扣分点记录和操作精确性评价中各评估维度的评级记录；整体手术操作结果记录为历次手术操作结果记录统计后的数据，包括：平均操作时长、平均透视次数、所有单次手术操作记录的操作正确性评价的得分与各个扣分点的平均值、所有单次手术操作记录的操作精确性评价中各评估维度的平均评级。单次手术操作结果记录和整体手术操作结果记录均储存于云端数据库中。
所述手术教学培训增强现实交互模块，包括：教学数据和全息影像交互程序。教学数据包括虚拟人体解剖模型、拟人化模型的虚拟模型、手术器械虚拟模型、手术操作教学引导文字信息与图像信息，手术操作演示动画；全息影像交互程序将教学数据以一定的教学流程进行展示叠加显示在实操训练平台，培训者通过眼动、语音、手势交互方式与虚拟对象进行自主操作互动学习。
所述全息影像交互程序，包括：基础知识教学、手术虚拟教学和手术实操教学功能。基础知识教学，包括相关手术器械与病理解剖模型的全息影像讲解与演示；手术虚拟教学，包括相关手术操作动作要领与动画的全息影像讲解与演示，以及虚拟手术器械操作反馈训练；手术实操教学，将全息影像与实操训练平台叠加显示，实时进行教学引导、操作反馈和考核评价结果反馈，通过Vuforia图像识别将教学引导信息和手术操作演示动画叠加在拟人化模型对应的操作区域。
本发明具有以下有益效果及优点：
1.本发明基于3D打印的拟人化模型为培训者提供逼真的视觉和力反馈，能还原不同年龄患者实际病例的人体组织结构，脊椎骨模块可快速更换，成本可控且远远低于尸体、动物等，满足高频次多人次的教学培训；
2.本发明基于自动化采集的手术操作客观数据，能对培训者手术操作技能水平进行定量考核评价并长期跟踪，满足高精度要求。
3.本发明基于增强现实技术为培训者提供沉浸式自主交互学习的教学培训场景，呈现手术教学培训内容和引导信息，并实时反馈手术操作信息和考核评价信息，教学互动性强；
4.本发明的使用要求环境简单，在常规实验室或教室就能进行，能够显著提升脊柱外科手术教学培训效率。
附图说明
图1是本发明的系统结构图；
图2是拟人化模型的结构图；
图3是考核评价模型评估算法示意图；
图中编号分别代表，
1.实操训练平台，2.手术技能考核评价模块，3.手术教学培训增强现实交互模块；11.HoloLens2头盔，12.拟人化模型，13.手术操作台，14.手术器械，15.定位标记物及其参考支架，16.双目相机，17.水压传感器，18.PC机；21.位姿转换算法，22.考核评价模型，23.反馈单元，24.操作结果统计单元，25.云端数据库；31.教学数据，32.全息影像交互程序；121.皮肤，122.肌肉，123.脊椎骨，124.椎间盘，125.韧带，126.椎管神经，127.血管；221.脊椎骨等比放大不同距离外壳，222.当前进钉点，223.参考进钉点，224.当前进钉角度，225.参考进钉角度，226.当前进钉深度，227.参考进钉深度。
具体实施方式
下面结合附图及实例对本发明做进一步的详细说明。
如图1所示，一种基于AR和拟人化模型的脊柱手术教学培训系统，包括：实操训练平台1、手术技能考核评价模块2和手术教学培训增强现实交互模块3。实操训练平台1模拟手术教学培训的物理环境，培训者使用手术器械14在拟人化模型12上模拟手术操作过程，实时采集手术器械14与拟人化模型12的位姿数据，并监测拟人化模型12的压力数据；手术技能考核评价模块2将实操训练平台1采集的实物位姿数据与虚拟模型进行匹配，通过考核评价模型22对手术操作技能进行评价，对异常数据实时报警、反馈和扣分，通过云存储和数据可视化长期跟踪手术教学培训情况；手术教学培训增强现实交互模块3在实操训练平台1上实时叠加显示手术教学培训内容及引导信息、操作反馈信息和考核评价信息，培训者查看这些信息调整手术操作以提升自身手术操作技能水平。
所述实操训练平台1，包括：HoloLens2头盔11、拟人化模型12、手术操作台13、手术器械14、定位标记物及其参考支架15、双目相机16、水压传感器及其连接管道17、PC机18。HoloLens2头盔11由培训者佩戴；拟人化模型12固定在手术操作台13上，提供真实的视觉和触觉反馈，可快速拆卸更换，并在其上面安装定位标记物15；手术器械14安装定位标记物及其参考支架15后由培训者使用在拟人化模型12上进行手术模拟操作；双目相机16固定在手术操作台13上并将相机视野聚焦到拟人化模型12上，保证手术器械14操作落在双目相机视野范围内，由电缆连接至PC机18，通过双目追踪定位软件实时追踪定位拟人化模型12和手术器械14的位姿数据；水压传感器17通过连接管道连接至拟人化模型12椎管神经模块126实时监测压力数据，压力数据骤降表明刺破椎管神经模块126；PC机18使用UDP无线传输采集到的数据至HoloLens2头盔11搭载的手术教学培训增强现实交互模块3和手术技能考核评价模块2。
优选地，手术操作台13可调节升降，模拟手术台的可调节升降，提供不同培训者合适的高度。
具体地，定位标记物安装在参考支架上15，参考支架与手术器械14作用端进行装配。
具体地，双目相机16实时追踪定位包括以下步骤：
步骤1：通过双目视觉测距原理确定多个定位标记物特征点在双目相机16坐标系下的三维坐标信息；
步骤2：通过3个定位标记物特征点分别构成向量并垂直放置，以两垂直向量的基向量分别为X轴和Y轴，其交点为目标物体坐标系原点，以XY轴所构成平面的法向量为Z轴，通过右手定则确定方向，即可表征目标物体在双目相机16坐标系下的位姿数据。
进一步地，定位标记物15所构成的坐标系Z轴分别与手术器械14中心轴方向、拟人化模型12装配坐标系保持一致，以减少计算量。
如图2所示，所述拟人化模型12包括以下人体组织模块：皮肤121、肌肉122、脊椎骨123、椎间盘124、韧带125、椎管神经126和血管127。人体组织模块由实际患者的C T数据重建三维数字模型，采用模拟不同人体组织力反馈的材质3D打印等比例制作，并以人体组织的实际构成与排列方式进行组装，这些模块在手术操作损耗后可快速更换；脊椎骨模块123基于不同年龄患者实际的骨质密度和结构，通过参数化设计建立分层的疏松多孔的脊椎骨模型，模拟骨皮质和骨松质的双层力学结构特性；椎管神经模块126内部中空并填充有色液体；进一步地，血管模块127可连接到循环水泵模拟血流。
具体地，脊椎骨模块123基于所建立的数字模型使用PLA材料3D打印，成本可控且较低；肌肉模块122采用柔性树脂材料实心3D打印，用于承载脊椎骨模块123；皮肤121采用较软的柔性树脂材料实心3D打印，覆盖在肌肉122之上；韧带125采用柔性树脂材料实心3D打印，放置在脊椎骨123之上；椎间盘124采用软弹性材料实心3D打印，连接不同脊椎骨123；椎管神经模块126采用较软的柔性树脂材料空心3D打印，壁厚为1-2毫米；血管模块127采用40度硅胶空心3D打印，壁厚为1-2毫米。
所述手术技能考核评价模块2包括：位姿转换算法21、考核评价模型22、反馈单元23和操作结果统计单元24。手术技能考核评价模块2将实操训练平台1采集的手术器械14与拟人化模型12的位姿数据，借助位姿转换算法21转换位姿数据后赋予相应的虚拟模型，将手术器械14与拟人化模型12的相对位置关系与虚拟模型进行匹配，通过考核评价模型22对手术操作技能水平进行评估，并通过反馈单元23实时报警、反馈和扣分；最后通过操作结果统计单元24，对考核评价模型的结果进行统计、记录、可视化呈现，并通过无线传输保存到云端数据库25。
具体地，手术技能考核评价模块2由HoloLens2搭载，使用Unity3D进行开发实现。
所述位姿转换算法21，包括以下步骤：
步骤1：定位标记物安装在拟人化模型12、手术器械14上，双目相机追踪定位标记物位姿数据，然后以此为其实物物体坐标系；
步骤2：根据上述实物物体坐标系与拟人化模型12、手术器械14的相对位置和方向，将拟人化模型12与手术器械14的三维数字模型物体坐标系设置为与实物物体坐标系相同的位置和方向，导入生成等比虚拟模型；
步骤3：将双目相机追踪定位到的拟人化模型12与手术器械14位姿数据进行左右手坐标系转换，并赋予虚拟模型，即可实现其在双目相机坐标系下的实物位置运动，与虚拟空间坐标系下的虚拟模型位置运动一一匹配；
步骤4：拟人化模型12虚拟模型需固定在适合培训者查看的位置和方向，因此以拟人化模型12的虚拟模型物体坐标系为基准，手术器械14虚拟模型相对位置转换关系为：
其中，T为相对位置关系转换矩阵；
为拟人化模型12的虚拟模型4×4位姿矩阵，t1为其位置坐标，R1为其3×3旋转矩阵；
为手术器械14虚拟模型4×4位姿矩阵，t2为其位置坐标，R2为其3×3旋转矩阵。
步骤5：将拟人化模型12的虚拟模型固定在适合的位置，求得手术器械14虚拟模型在拟人化模型12的虚拟模型物体坐标系下新的位姿数据后赋予手术器械14虚拟模型，以匹配虚拟模型的相对位置运动：
其中，T为步骤3所得相对位置关系转换矩阵；
为拟人化模型12的虚拟模型固定位置4×4位姿矩阵，t11为其位置坐标，R11为其3×3旋转矩阵；
为手术器械14虚拟模型新的相对位置4×4位姿矩阵，t21为其位置坐标，R21为其3×3旋转矩阵。所述考核评价模型22，包括三个算法和两个评价指标。三个算法为：手术操作安全性评估算法、手术操作整体规范性评估算法和空间位姿评估算法；两个评价指标为：操作正确性和精确性。手术操作安全性评估算法主要评估手术操作过程中的安全性；手术操作整体规范性评估算法主要评估整体手术操作的规范性；空间位姿评估算法主要评估手术操作与标准操作的拟合程度。安全性及规范性评估表征为操作正确性，针对错误的和不符合规范的操作进行扣分，满分为100分，及格分数为60分，低于60分视为操作不合格。手术操作与标准操作的拟合程度表征为操作精确性，以优、良、中、差进行评级，在手术操作正确性的前提下对手术操作精确性进行评估。
所述手术操作安全性评估算法，包括：判断手术器械14是否误入不同人体组织模块和判断椎弓根螺钉突破脊椎皮质骨的程度。基于物体边界碰撞检测原理，判断手术器械14虚拟模型与拟人化模型12的虚拟模型中不该碰撞的人体组织模块发生碰撞即为误入操作；通过椎弓根螺钉虚拟模型与脊椎骨等比放大不同距离外壳221的虚拟模型发生碰撞，判断突破脊椎皮质骨的程度，如图3所示。
具体地，物体边界碰撞检测基于Unity3D的物理引擎开发，以虚拟模型的MeshColl ider为判断边界，将手术器械14虚拟模型挂载Rigidbody并设置为触发器，监听碰撞检测事件及其所碰撞的对象名称，判断手术误入操作的类型或突破脊椎皮质骨的程度。
误入操作以碰撞的人体组织类别为扣分基准，具体如下：
当发生碰撞组织模块为“肌肉”，即误入肌肉122，操作正确性指标扣除5分；
当发生碰撞组织模块为“椎间盘”，即误入椎间盘124，操作正确性指标扣除20分；
当发生碰撞组织模块为“神经”，即误入神经126，操作正确性指标扣除50分；
当发生碰撞组织模块为“血管”，即误入血管127，操作正确性指标扣除50分；
突破脊椎皮质骨的程度以突破的距离为扣分基准，采用Gertzbein评级标准，具体如下：
突破皮质骨小于2毫米，操作正确性指标扣除5分；
突破皮质骨大于2毫米而小于4毫米，操作正确性指标扣除20分；
突破皮质骨大于4毫米，操作正确性指标扣除50分。
所述手术操作整体规范性评估算法，评估手术操作完成后的手术操作流程和透视次数是否符合规范，其中，手术操作流程为不同手术器械14虚拟模型与人体组织模块虚拟模型的碰撞顺序，同样采用物体边界碰撞检测，手术操作完成后与标准流程进行对比；透视次数为操作时培训者控制显示模拟透视影像图的次数，手术操作完成后进行对比评估；不符合规范则进行扣分，规则具体如下：
当手术操作流程与常规流程不符时，操作正确性指标扣除10分；
透视次数5至8次，操作正确性指标扣除10分；
透视次数9至12次，操作正确性指标扣除20分；
透视次数大于12次，操作正确性指标扣除50分。所述空间位姿评估算法，包括三个维度：进钉点评估算法、进钉角度评估算法和进钉深度评估算法。进钉点评估算法评估当前进钉点与参考进钉点的位置拟合程度；进钉角度评估算法评估当前进钉角度与参考进钉角度的拟合程度；进钉深度评估当前进钉深度与参考进钉深度的拟合程度。
所述进钉点评估算法，通过物体边界碰撞检测原理，将手术器械14虚拟模型尖端与脊椎骨123虚拟模型的首个接触点作为“当前进钉点”222，“参考进钉点”223通过椎弓根置钉采用的“人字嵴法”或“中点法”确认，如图3所示，通过计算当前进钉点222与参考进钉点223空间坐标的欧氏距离，对其进钉点的操作精确性进行评级：
当距离小于4毫米，操作精确性评级为优；
当距离大于4毫米而小于8毫米，操作精确性评级为良；
当距离大于8毫米而小于12毫米，操作精确性评级为中；
当距离大于12毫米，操作精确性评级为差；所述进钉角度评估算法，将“当前进钉角度”224定义为椎弓根螺钉在水平面投影的中心轴与矢状轴的夹角，“参考进钉角度”225基于不同节段脊椎骨的结构进行设定，如图3所示，通过计算当前进钉角度224与参考进钉角度225之间的角度差，对其进钉角度的操作精确性进行评级：
当角度差小于2°，操作精确性评级为优；
当角度差大于2°而小于5°，操作精确性评级为良；
当角度差大于5°而小于8°，操作精确性评级为中；
当角度差大于8°，操作精确性评级为差；
所述进钉深度评估算法，将椎弓根螺钉在水平面投影的尖端点投影到矢状轴，其尖端投影点到椎体后端的距离即为“当前进钉深度”226，“参考进钉深度”227占椎体前后径长度的比值为80％，如图3所示，通过计算当前进钉深度226与参考进钉深度227所占椎体前后径长度的比值的差，对其进钉深度的操作精确性进行评级：
当深度占比差值小于2.5％，操作精确性评级为优；
当深度占比差值大于2.5％而小于5％，操作精确性评级为良；
当深度占比差值大于5％而小于10％，操作精确性评级为中；
当深度占比差值大于10％，操作精确性评级为差；
所述反馈单元23，将操作正确性评价异常数据和扣分信息，显示在手术教学培训增强现实交互模块3中的全息影像交互程序32中，实时通过语音、文本和图像的形式进行报警反馈，并将其得分统计结果和具体的错误类型传递到结果统计单元24；将操作精确性评价中的数据，通过语音、文本、图像的形式反应在手术教学培训增强现实交互模块3中的全息影像交互程序32中，并将其结果信息传递到结果统计单元24。
具体地，得分信息通过文本显示为100分扣除后的分数，低于80分则变为黄色显示，低于60分则变为红色显示。报警反馈信息包括时间、手术流程阶段、所使用手术器械、错误类型及扣分信息、操作精确性评级，通过红色文本显示并语音播报。
所述操作结果统计单元24，包括：单次手术操作结果记录和整体手术操作结果记录。单次手术操作结果记录包括操作时长、手术流程记录、透视次数记录、模拟透视影像结果图、操作正确性评价的得分与扣分点记录和操作精确性评价中各评估维度的评级记录；整体手术操作结果记录为历次手术操作结果记录统计后的数据，包括：平均操作时长、平均透视次数、所有单次手术操作记录的操作正确性评价的得分与各个扣分点的平均值、所有单次手术操作记录的操作精确性评价中各评估维度的平均评级。单次手术操作结果记录和整体手术操作结果记录均储存于云端数据库中25，直接或通过可视化软件间接调取数据。
所述手术教学培训增强现实交互模块3，包括：教学数据31和全息影像交互程序32。教学数据31包括虚拟人体解剖模型、拟人化模型12的虚拟模型、手术器械14虚拟模型、手术操作教学引导文字信息与图像信息，手术操作演示动画；全息影像交互程序32将教学数据以一定的教学流程进行展示叠加显示在实操训练平台1，培训者通过眼动、语音、手势交互方式与虚拟对象进行自主操作互动学习。
具体地，手术教学培训增强现实交互模块3由HoloLens2搭载，使用Unity3D及MRTK工具包进行开发实现。
所述全息影像交互程序32，包括：基础知识教学、手术虚拟教学和手术实操教学功能。基础知识教学，包括相关手术器械与病理解剖模型的全息影像讲解与演示；手术虚拟教学，包括相关手术操作动作要领与动画的全息影像讲解与演示，以及虚拟手术器械操作反馈训练；手术实操教学，将全息影像与实操训练平台叠加显示，实时进行教学引导、操作反馈和考核评价反馈，通过Vuforia图像识别将教学引导信息和手术操作演示动画叠加在拟人化模型12对应的操作区域，实时显示操作反馈信息(包括：虚拟手术器械相对拟人化模型的位置运动、模拟透视影像图、椎管神经模块压力数据)和考核评价信息(包括：操作时长、手术流程、透视次数、报警扣分信息和考核评价结果)，通过语音播报手术教学内容和报警扣分信息。
进一步地，培训者使用眼动、语音、手势交互控制切换不同手术教学流程步骤、放大缩小移动虚拟模型、播放演示动画、控制显示隐藏人体组织模块虚拟模型和模拟透视影像图、抓取虚拟手术器械14模型进行虚拟操作反馈训练。
具体地，语音播报由文字转语音功能实现。
所述模拟透视影像图为虚拟AR正交相机拍摄的正位、侧位、轴位方向手术器械14虚拟模型与拟人化模型12的虚拟模型相对位置图，其中脊椎骨123虚拟模型赋予半透明边缘高光材质，其余组织部位虚拟模型赋予透明材质。
Claims (10)
1.一种基于AR和拟人化模型的脊柱手术教学培训系统，其特征在于，包括：实操训练平台(1)、手术技能考核评价模块(2)和手术教学培训增强现实交互模块(3)，实操训练平台(1)模拟手术教学培训的物理环境，培训者在实操训练平台(1)上模拟手术操作过程，实时采集手术器械(14)与拟人化模型(12)的位姿数据，并监测拟人化模型(12)的压力数据；手术技能考核评价模块(2)将实操训练平台(1)采集的实物位姿数据与虚拟模型进行匹配，通过考核评价模型(22)对手术操作技能进行评价，对异常数据实时报警、反馈和扣分，通过云存储和数据可视化长期跟踪手术教学培训情况；手术教学培训增强现实交互模块(3)在实操训练平台(1)上实时叠加显示手术教学培训内容及引导信息、操作反馈信息和考核评价信息。
2.根据权利要求1所述的一种基于AR和拟人化模型的脊柱手术教学培训系统，其特征在于，所述实操训练平台(1)，包括：HoloLens2头盔(11)、拟人化模型(12)、手术操作台(13)、手术器械(14)、定位标记物及其参考支架(15)、双目相机(16)、水压传感器及其连接管道(17)、PC机(18)，HoloLens2头盔(11)由培训者佩戴；拟人化模型(12)固定在手术操作台(13)上，可快速拆卸更换，并在其上面安装定位标记物(15)；手术器械(14)安装定位标记物及其参考支架(15)后由培训者使用在拟人化模型(12)上进行手术模拟操作；双目相机(16)固定在手术操作台(13)上并将相机视野聚焦到拟人化模型上，保证手术器械(14)操作落在双目相机视野范围内，由电缆连接至PC机，通过双目追踪定位软件实时追踪定位拟人化模型(12)和手术器械(14)的位姿数据；水压传感器通过连接管道连接(17)至拟人化模型(12)椎管神经模块(12)实时监测压力数据；PC机(18)无线传输采集到的数据至HoloLens2搭载的手术技能考核评价模块(2)和手术教学培训增强现实交互模块(3)。
3.根据权利要求2所述的一种基于AR和拟人化模型的脊柱手术教学培训系统，其特征在于，拟人化模型(12)包括以下人体组织模块：皮肤(121)、肌肉(122)、脊椎骨(123)、椎间盘(124)、韧带(125)、椎管神经(126)和血管(127)，人体组织模块由实际患者的CT数据重建三维数字模型，采用可模拟不同人体组织力反馈的材质通过3D打印工艺比例制作，并以人体组织的实际构成与排列方式进行组装，这些模块在手术操作损耗后可快速更换；脊椎骨模块(123)基于不同年龄患者实际的骨质密度和结构，通过参数化设计建立分层的疏松多孔的脊椎骨模型，模拟骨皮质和骨松质的双层力学结构特性；椎管神经模块(126)内部中空并填充液体。
4.根据权利要求1所述的一种基于AR和拟人化模型的脊柱手术教学培训系统，其特征在于，所述手术技能考核评价模块(2)包括：位姿转换算法(21)、考核评价模型(22)、反馈单元(23)和操作结果统计单元(24)，手术技能考核评价模块(2)将实操训练平台(1)采集的手术器械(14)与拟人化模型(12)的位姿数据，借助位姿转换算法(21)转换位姿数据后赋予相应的虚拟模型，将手术器械(14)与拟人化模型(12)的相对位置关系与虚拟模型进行匹配，通过考核评价模型(22)对手术操作技能水平进行评估，并通过反馈单元(23)实时报警、反馈和扣分；最后通过操作结果统计单元(24)，对考核评价模型(22)的结果进行统计、记录、可视化呈现，并通过无线传输保存到云端数据库(25)。
5.根据权利要求4所述的一种基于AR和拟人化模型的脊柱手术教学培训系统，其特征在于，所述位姿转换算法(21)，包括以下步骤：
步骤1：定位标记物安装在拟人化模型(12)、手术器械(14)上，双目相机追踪定位标记物位姿数据，然后以此为其实物物体坐标系；
步骤2：根据上述实物物体坐标系与拟人化模型(12)、手术器械(14)的相对位置和方向，将拟人化模型(12)与手术器械(14)的三维数字模型物体坐标系设置为与实物物体坐标系相同的位置和方向，导入生成等比虚拟模型；
步骤3：将双目相机追踪定位到的拟人化模型(12)与手术器械(14)位姿数据进行左右手坐标系转换，并赋予虚拟模型，即可实现其在双目相机坐标系下的实物位置运动，与虚拟空间坐标系下的虚拟模型位置运动一一匹配；
步骤4：拟人化模型(12)虚拟模型需固定在适合培训者查看的位置和方向，因此以拟人化模型(12)的虚拟模型物体坐标系为基准，手术器械(14)虚拟模型相对位置转换关系为：
其中，T为相对位置关系转换矩阵；
为拟人化模型(12)的虚拟模型4×4位姿矩阵，t1为其位置坐标，R1为其3×3旋转矩阵；
为手术器械(14)虚拟模型4×4位姿矩阵，t2为其位置坐标，R2为其3×3旋转矩阵；
步骤5：将拟人化模型(12)的虚拟模型固定在适合的位置，求得手术器械(14)虚拟模型在拟人化模型(12)的虚拟模型物体坐标系下新的位姿数据后赋予手术器械(14)虚拟模型，以匹配虚拟模型的相对位置运动：
其中，T为步骤3所得相对位置关系转换矩阵；
为拟人化模型(12)的虚拟模型固定位置4×4位姿矩阵，t11为其位置坐标，R11为其3×3旋转矩阵；
为手术器械(14)虚拟模型新的相对位置4×4位姿矩阵，t21为其位置坐标，R21为其3×3旋转矩阵。
6.根据权利要求1所述的一种基于AR和拟人化模型的脊柱手术教学培训系统，其特征在于，所述考核评价模型(22)包括三个算法和两个评价指标，三个算法为：手术操作安全性评估算法、手术操作整体规范性评估算法和空间位姿评估算法；两个评价指标为：操作正确性和精确性，手术操作安全性评估算法主要评估手术操作过程中的安全性；手术操作整体规范性评估算法主要评估整体手术操作的规范性；空间位姿评估算法主要评估手术操作与标准操作的拟合程度，安全性及规范性评估表征为操作正确性，针对错误的和不符合规范的操作进行扣分，满分为100分，及格分数为60分，低于60分视为操作不合格，手术操作与标准操作的拟合程度表征为操作精确性，以优、良、中、差进行评级，在手术操作正确性的前提下对手术操作精确性进行评估，手术操作安全性评估算法，包括：判断手术器械(14)是否误入不同人体组织模块和判断椎弓根螺钉突破脊椎皮质骨的程度，基于物体边界碰撞检测原理，判断手术器械(14)虚拟模型与拟人化模型(12)的虚拟模型中不该碰撞的人体组织模块发生碰撞即为误入操作；通过椎弓根螺钉虚拟模型与脊椎骨(123)等比放大不同距离外壳的虚拟模型(221)发生碰撞，判断突破脊椎皮质骨的程度；
误入操作以碰撞的人体组织类别为扣分基准，具体如下：
当发生碰撞组织模块为“肌肉”，即误入肌肉(122)，操作正确性指标扣除5分；
当发生碰撞组织模块为“椎间盘”，即误入椎间盘(124)，操作正确性指标扣除20分；
当发生碰撞组织模块为“神经”，即误入神经(126)，操作正确性指标扣除50分；
当发生碰撞组织模块为“血管”，即误入血管(127)，操作正确性指标扣除50分；
突破脊椎皮质骨的程度以突破的距离为扣分基准，采用Gertzbein评级标准，具体如下：
突破皮质骨小于2毫米，操作正确性指标扣除5分；
突破皮质骨大于2毫米而小于4毫米，操作正确性指标扣除20分；
突破皮质骨大于4毫米，操作正确性指标扣除50分。
7.根据权利要求6所述的一种基于AR和拟人化模型的脊柱手术教学培训系统，其特征在于，所述手术操作整体规范性评估算法，评估手术操作完成后的手术操作流程和透视次数是否符合规范，其中，手术操作流程为不同手术器械(14)虚拟模型与人体组织模块虚拟模型的碰撞顺序，透视次数为培训者操作控制显示模拟透视影像图的次数，不符合规范则进行扣分，规则具体如下：
当手术操作流程与常规流程不符时，操作正确性指标扣除10分；
透视次数5至8次，操作正确性指标扣除10分；
透视次数9至12次，操作正确性指标扣除20分；
透视次数大于12次，操作正确性指标扣除50分，
所述空间位姿评估算法，包括三个维度：进钉点评估算法、进钉角度评估算法和进钉深度评估算法，进钉点评估算法评估当前进钉点与参考进钉点的位置拟合程度；进钉角度评估算法评估当前进钉角度与参考进钉角度的拟合程度；进钉深度评估当前进钉深度与参考进钉深度的拟合程度；
所述进钉点评估算法，通过物体边界碰撞检测原理，将手术器械(14)虚拟模型尖端与脊椎骨(123)虚拟模型的首个接触点作为当前进钉点(222)，参考进钉点(223)通过椎弓根置钉采用的人字嵴法、中点法确认，通过计算当前进钉点与参考进钉点空间坐标的欧氏距离，对其进钉点的操作精确性进行评级：
当距离小于4毫米，操作精确性评级为优；
当距离大于4毫米而小于8毫米，操作精确性评级为良；
当距离大于8毫米而小于12毫米，操作精确性评级为中；
当距离大于12毫米，操作精确性评级为差；
所述进钉角度评估算法，将当前进钉角度(224)定义为椎弓根螺钉在水平面投影的中心轴与矢状轴的夹角，参考进钉角度(225)基于不同节段脊椎骨的结构进行设定，通过计算当前进钉角度与参考进钉角度之间的角度差，对其进钉角度的操作精确性进行评级：
当角度差小于2°，操作精确性评级为优；
当角度差大于2°而小于5°，操作精确性评级为良；
当角度差大于5°而小于8°，操作精确性评级为中；
当角度差大于8°，操作精确性评级为差；
所述进钉深度评估算法，将椎弓根螺钉在水平面投影的尖端点投影到矢状轴，其尖端投影点到椎体后端的距离即为当前进钉深度(226)，参考进钉深度(227)占椎体前后径长度的比值为80％，通过计算当前进钉深度与参考进钉深度所占椎体前后径长度的比值的差，对其进钉深度的操作精确性进行评级：
当深度占比差值小于2.5％，操作精确性评级为优；
当深度占比差值大于2.5％而小于5％，操作精确性评级为良；
当深度占比差值大于5％而小于10％，操作精确性评级为中；
当深度占比差值大于10％，操作精确性评级为差。
8.根据权利要求4所述的一种基于AR和拟人化模型的脊柱手术教学培训系统，其特征在于，所述反馈单元(23)，将操作正确性评价异常数据和扣分信息，显示在手术教学培训增强现实交互模块(3)中的全息影像交互程序(32)中，实时通过语音、文本和图像的形式进行报警反馈，并将其得分统计结果和具体的错误类型传递到结果统计单元(24)；将操作精确性评价中的数据，通过语音、文本、图像的形式反应在手术教学培训增强现实交互模块(3)中的全息影像交互程序(32)中，并将其结果信息传递到结果统计单元(24)；
所述操作结果统计单元(24)，包括：单次手术操作结果记录和整体手术操作结果记录，单次手术操作结果记录包括操作时长、手术流程记录、透视次数记录、模拟透视影像结果图、操作正确性评价的得分与扣分点记录和操作精确性评价中各评估维度的评级记录；整体手术操作结果记录为历次手术操作结果记录统计后的数据，包括：平均操作时长、平均透视次数、所有单次手术操作记录的操作正确性评价的得分与各个扣分点的平均值、所有单次手术操作记录的操作精确性评价中各评估维度的平均评级，单次手术操作结果记录和整体手术操作结果记录均储存于云端数据库(25)中。
9.根据权利要求1所述的一种基于AR和拟人化模型的脊柱手术教学培训系统，其特征在于，所述手术教学培训增强现实交互模块(3)，包括：教学数据(31)和全息影像交互程序(32)，教学数据(31)包括虚拟人体解剖模型、拟人化模型(12)的虚拟模型、手术器械(14)虚拟模型、手术操作教学引导文字信息与图像信息，手术操作演示动画；全息影像交互程序(32)将教学数据以一定的教学流程进行展示叠加显示在实操训练平台(1)，培训者通过眼动、语音、手势交互方式与虚拟对象进行自主操作互动学习。
10.根据权利要求9所述的一种基于AR和拟人化模型的脊柱手术教学培训系统，其特征在于，所述全息影像交互程序(32)，包括：基础知识教学、手术虚拟教学和手术实操教学功能，基础知识教学，包括相关手术器械与病理解剖模型的全息影像讲解与演示；手术虚拟教学，包括相关手术操作动作要领与动画的全息影像讲解与演示，以及虚拟手术器械操作反馈训练；手术实操教学，将全息影像与实操训练平台叠加显示，实时进行教学引导、操作反馈和考核评价结果反馈，通过Vuforia图像识别将教学引导信息和手术操作演示动画叠加在拟人化模型(12)对应的操作区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210736907.9A CN115035767B (zh) | 2022-06-27 | 2022-06-27 | 一种基于ar和拟人化模型的脊柱手术教学培训系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210736907.9A CN115035767B (zh) | 2022-06-27 | 2022-06-27 | 一种基于ar和拟人化模型的脊柱手术教学培训系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115035767A true CN115035767A (zh) | 2022-09-09 |
| CN115035767B CN115035767B (zh) | 2023-06-09 |
Family
ID=83127157
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210736907.9A Active CN115035767B (zh) | 2022-06-27 | 2022-06-27 | 一种基于ar和拟人化模型的脊柱手术教学培训系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115035767B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115472055A (zh) * | 2022-09-21 | 2022-12-13 | 南开大学 | 一种虚实结合力回馈虚拟仿真教学系统 |
| CN117160029A (zh) * | 2023-08-31 | 2023-12-05 | 江西格如灵科技股份有限公司 | 一种vr手柄检测方法及系统 |
| CN117689508A (zh) * | 2023-12-19 | 2024-03-12 | 杭州露电数字科技集团有限公司 | 基于mr设备的智能助教方法及系统 |
| WO2024092955A1 (zh) * | 2022-11-04 | 2024-05-10 | 深圳先进技术研究院 | 医学培训考核评价方法、装置、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102779452A (zh) * | 2012-06-28 | 2012-11-14 | 天津正展昌电子科技有限公司 | 微创手术培训考评方法 |
| CN105788390A (zh) * | 2016-04-29 | 2016-07-20 | 吉林医药学院 | 基于增强现实的医学解剖辅助教学系统 |
| CN109658772A (zh) * | 2019-02-11 | 2019-04-19 | 三峡大学 | 一种基于虚拟现实的手术培训与考核方法 |
| CN111369875A (zh) * | 2020-04-15 | 2020-07-03 | 云南电网有限责任公司带电作业分公司 | 一种基于vr技术的输电线路人工仿真巡检培训方法及系统 |
| CN111613122A (zh) * | 2020-05-19 | 2020-09-01 | 威爱医疗科技(中山)有限公司 | 虚实融合的血管介入手术模拟系统 |
| CN113554912A (zh) * | 2021-07-09 | 2021-10-26 | 中国人民解放军总医院第一医学中心 | 基于混合现实技术的种植手术培训系统 |
-
2022
- 2022-06-27 CN CN202210736907.9A patent/CN115035767B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102779452A (zh) * | 2012-06-28 | 2012-11-14 | 天津正展昌电子科技有限公司 | 微创手术培训考评方法 |
| CN105788390A (zh) * | 2016-04-29 | 2016-07-20 | 吉林医药学院 | 基于增强现实的医学解剖辅助教学系统 |
| CN109658772A (zh) * | 2019-02-11 | 2019-04-19 | 三峡大学 | 一种基于虚拟现实的手术培训与考核方法 |
| CN111369875A (zh) * | 2020-04-15 | 2020-07-03 | 云南电网有限责任公司带电作业分公司 | 一种基于vr技术的输电线路人工仿真巡检培训方法及系统 |
| CN111613122A (zh) * | 2020-05-19 | 2020-09-01 | 威爱医疗科技(中山)有限公司 | 虚实融合的血管介入手术模拟系统 |
| CN113554912A (zh) * | 2021-07-09 | 2021-10-26 | 中国人民解放军总医院第一医学中心 | 基于混合现实技术的种植手术培训系统 |
Non-Patent Citations (1)
| Title |
|---|
| 汪祥; 陈柏; 鞠锋, 机器人辅助腹腔镜手术中的视觉测量方法研究, vol. 39, no. 9, pages 60 - 65 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115472055A (zh) * | 2022-09-21 | 2022-12-13 | 南开大学 | 一种虚实结合力回馈虚拟仿真教学系统 |
| WO2024092955A1 (zh) * | 2022-11-04 | 2024-05-10 | 深圳先进技术研究院 | 医学培训考核评价方法、装置、电子设备及存储介质 |
| CN117160029A (zh) * | 2023-08-31 | 2023-12-05 | 江西格如灵科技股份有限公司 | 一种vr手柄检测方法及系统 |
| CN117689508A (zh) * | 2023-12-19 | 2024-03-12 | 杭州露电数字科技集团有限公司 | 基于mr设备的智能助教方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115035767B (zh) | 2023-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115035767B (zh) | 一种基于ar和拟人化模型的脊柱手术教学培训系统 | |
| Condino et al. | How to build a patient‐specific hybrid simulator for orthopaedic open surgery: benefits and limits of mixed‐reality using the Microsoft HoloLens | |
| Morris et al. | Visuohaptic simulation of bone surgery for training and evaluation | |
| Ruikar et al. | A systematic review on orthopedic simulators for psycho-motor skill and surgical procedure training | |
| CN107111894B (zh) | 用于专业和教育训练的增强或虚拟现实模拟器 | |
| Sutherland et al. | An augmented reality haptic training simulator for spinal needle procedures | |
| US9396669B2 (en) | Surgical procedure capture, modelling, and editing interactive playback | |
| US20120219937A1 (en) | Haptic needle as part of medical training simulator | |
| US20120058457A1 (en) | Multimodal Ultrasound Training System | |
| US20030031993A1 (en) | Medical examination teaching and measurement system | |
| Wheeler et al. | Interactive computer-based simulator for training in blade navigation and targeting in myringotomy | |
| Messier et al. | An Interactive 3D Virtual Anatomy Puzzle for Learning and Simulation-Initial Demonstration and Evaluation. | |
| Luboz et al. | ImaGiNe Seldinger: first simulator for Seldinger technique and angiography training | |
| CN113703574A (zh) | 一种基于5g的vr医疗学习方法及系统 | |
| Soto et al. | AR stereoscopic 3D human eye examination app | |
| Mu et al. | Augmented reality simulator for ultrasound-guided percutaneous renal access | |
| Milcent et al. | Construct validity and experience of using a low-cost arthroscopic knee surgery simulator | |
| KR20200081540A (ko) | 가상현실 기반의 정형외과 시뮬레이터의 수술 평가 시스템 | |
| Wagner et al. | Intraocular surgery on a virtual eye | |
| KR20200080534A (ko) | 가상현실 기반 이비인후과 및 신경외과 시뮬레이터의 수술 평가 시스템 | |
| Pangestu et al. | Comparison Analysis of Usability Using Controllers and Hand Tracking in Virtual Reality Gamelan (Sharon) Based On User Experience | |
| Hostettler et al. | A cost effective simulator for education of ultrasound image interpretation and probe manipulation | |
| Van Nguyen et al. | Preliminary evaluation of a virtual needle insertion training system | |
| Henshall et al. | Towards a high fidelity simulation of the kidney biopsy procedure | |
| Benyahia et al. | Designing the user interface of a virtual needle insertion trainer |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |