CN113554912A - 基于混合现实技术的种植手术培训系统 - Google Patents

Abstract

本发明公开了一种基于混合现实技术的种植手术培训系统及培训方法，所述系统包括示教演示单元100、培训操作单元200和培训评价单元300，所述示教演示单元100通过示教者在种植手术操作系统进行操作，将操作场景实时传输给培训者；所述培训操作单元200为培训者进行操作训练，并将操作训练过程实时传输给示教者；所述培训评价单元300用于评估术前规划路径与培训者实际植入路径的差别，以及评估术中培训者的体位和操作姿势，以量化培训者的培训质量。本发明提供的基于混合现实技术的种植手术培训系统，能够有效实现口腔种植手术操作过程中影像的实时显示，增强培训者在操作过程中真实的体验感，有助于医生在实际种植手术前进行模拟规划。

Description

基于混合现实技术的种植手术培训系统

技术领域

本发明涉及口腔手术教学培训仪器技术领域，具体涉及一种基于混合现实技术的口腔种植手术培训系统及培训方法。

背景技术

20世纪60年代发现的骨结合理论开启了应用口腔种植技术修复牙列缺损的新纪元。随着半个多世纪的发展，口腔种植技术已成为牙齿修复的常规技术，在临床中得到了普遍的应用。

种植技术成功实施的关键在于医师的操作，但是与对口腔种植的需求相比，国内口腔种植临床教学相对滞后。长久以来，口腔种植主要依靠继续教育进行，目前的培训主要依赖于种植厂家以学习班的形式主导种植技术培训，在培训的过程中也主要依赖于讲师示教、学员观看、在立体模型上操作等方式进行。但是，这种操作与实际的临床操作差别较大。观摩时，由于口腔操作空间有限，学员常常无法直观地感受到培训者所处的真实种植环境；而既往的立体模型往往又与实际操作过程中患者的体位、张口度、颌骨解剖形态存在差异，这些都会造成新手种植学员的植入路径及植入位置不理想，教学效果不佳；特别是随着种植技术的发展，类似于上颌窦提升、穿颧种植、截骨术、骨劈开、骨增量、无牙颌“All on X”、软组织增量等复杂种植手术操作技术出现，现有的种植教学模型及培训方式更加远远不能满足对于复杂种植手术培训和模拟训练的需求。

种植学员在临床操作技术尚不熟练的情况下实施种植手术，会造成种植体脱落、邻牙损伤、下唇麻木、颌骨吸收和上颌窦感染等症状的可能性大大增加，造成患者机体损伤和心理障碍。因此在口腔种植临床操作的培训中尽可能的模拟临床操作实际情况，不仅是口腔种植专业学术领域提高我国口腔种植整体技术水平的必要条件，也是满足国内口腔种植医疗市场的内在要求。

近年来，混合现实技术发展迅速，其是一种将计算机模拟形成的“虚拟世界”信息与真实世界信息“无缝”集成的新技术。混合现实技术将计算机生成的虚拟物体和真实环境实时地叠加到同一个画面或者空间，使虚拟物体和真实环境同时存在，被人类感官所感知，从而达到超越现实的感官体验。现有技术中将混合现实技术应用于外科手术的导航中和模拟培训系统中，具体地，通过医学影像技术，获得病人组织器官解剖信息，经软件重建为虚拟的三维模型，之后，应用混合技术在手术中将重建的病人个体化的三维模型通过设备叠加到手术者的手术视野相应位置，使得术者具有类似透视眼的能力，能透视皮肤“看见”皮下各器官、血管、肌肉、骨骼等的分布、走行，从而提高手术成功率，降低手术风险。但是，目前存在的一些基于虚拟技术的手术培训系统，其真实感均不强，难以模拟实际患者颌面系统解剖结构，示教者和培训者之间缺乏互动，特别是尚无基于混合现实技术的口腔种植手术操作培训系统。

因此，亟需提供一种基于混合现实技术的种植手术培训系统，能够实现口腔种植手术操作过程中影像的实时显示，增强培训者在操作过程中真实的体验感，使其获得现实环境中难以体验到的有效信息，以提高术者的操作技能、有效提升种植手术的成功率。

发明内容

为了克服上述问题，本发明人进行了锐意研究，设计出一种基于混合现实技术的种植手术培训系统，该系统可以将虚拟信息在示教者和培训者之间传递，有助于示教者更好的指导每位培训者的规范操作。示教者和培训者使用的种植手术操作系统通过将CBCT及面部三维扫描的临床患者颌面骨骼、牙齿和软组织影像以及仿头模的图像信息在图像匹配定位系统中实时融合，重建种植区域颌面区域牙槽骨、牙齿、下颌神经管、上颌窦及窦壁内血管等硬组织、软组织的三维影像，并将融合后的图像传递到混合现实目镜中，使医生具有“透视功能”，从而让操作者更加清晰直观地了解患者种植部位解剖结构，而且将种植手术相关器械的操作端的实时情况模拟并融合到软硬组织的解剖结构中，提高种植精度和成功率，通过“实时转播，实时指导”的教学新方式，使示教者更好地指导每位培训者的规范操作，为更加精准化、个性化的口腔教学奠定基础，从而完成了本发明。

具体来说，本发明的目的在于提供以下方面：

第一方面，提供一种基于混合现实技术的种植手术培训系统，所述系统包括示教演示单元100、培训操作单元200和培训评价单元300，

所述示教演示单元100通过示教者在种植手术操作系统进行操作，将操作场景实时传输给培训者；

所述培训操作单元200为培训者进行操作训练，并将操作训练过程实时传输给示教者；

所述培训评价单元300用于评估术前规划路径和培训者实际植入路径的差别；以及评价培训者的临床体位及临床姿势和仿头模的体位，以量化评价培训者操作流程的质量。

第二方面，提供一种基于混合现实技术的种植手术培训方法，优选采用上述基于混合现实技术的种植手术培训系统实现，包括以下步骤：

步骤1，示教者在主位仿真头颅模型上利用通过基于混合现实技术的种植手术培训系统进行种植操作教学演示；

步骤2，培训者通过基于混合现实技术的种植手术培训系统可以在分位上根据不同的临床教学需求，选择不同体位、牙位、解剖结构的仿真头颅模型，使其能够反映不同颌面部解剖结构和生理功能，并利用混合现实技术进行操作训练；

步骤3，根据术前规划路径和培训者实际植入的路径，以及操作的姿势和体位进行评价。本发明所具有的有益效果包括：

(1)本发明提供的基于混合现实技术的种植手术培训系统，能够实现口腔种植手术操作过程中影像的实时显示，增强培训者在操作过程中真实的体验感，使其获得现实环境中难以体验到的有效信息以提高术者的操作技能，有效提高种植手术的学习效果及成功率；

(2)本发明提供的基于混合现实技术的种植手术培训系统，能够在复杂手术术前模拟真实种植手术的操作流程，使术者熟悉操作流程，提升真实手术的成功率；

(3)本发明提供的基于混合现实技术的种植手术培训系统，示教者能够精准指导培训者，并可对培训者的培训质量进行有效量化评估，显著提高培训效率；

(4)本发明提供的基于混合现实技术的种植手术培训方法，可以将虚拟信息在示教者和培训者之间传递，有助于示教者更好的指导每位培训者的规范操作。

附图说明

图1示出根据本发明一种优选实施方式的基于混合现实技术的种植手术培训系统的组成示意图；

图2示出根据本发明一种优选实施方式的种植手术操作系统的组成示意图。

附图标号说明：

100-示教演示单元；

200-培训操作单元；

300-培训评价单元；

1-数据录入单元；

2-仿真头颅模型单元；

3-图像匹配定位追踪单元；

4-混合现实目镜单元；

5-手术路径规划单元；

6-中心处理单元；

7-力反馈单元；

8-声控单元；

9-远程教学单元。

具体实施方式

下面通过附图和实施方式对本发明进一步详细说明。通过这些说明，本发明的特点和优点将变得更为清楚明确。其中，尽管在附图中示出了实施方式的各种方面，但是除非特别指出，不必按比例绘制附图。

混合现实技术既包含了“增强现实”又包含了“增强虚拟”，可以将真实世界和虚拟世界混合在一起，进而产生出新的可视化环境，环境中同时包含了物理实体与虚拟信息。同增强现实技术相比，混合现实并不是虚拟和现实的单纯叠加，而是在虚拟和现实之间真正搭建起一座桥梁，使得两者之间的信息能够实时交换和互动。其结合了虚拟现实与增强现实的优势，是增强现实技术的进一步发展，通过在现实环境中引入虚拟环境，在现实世界与虚拟世界之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。

因此，本发明提供了一种基于混合现实技术的种植手术培训系统，如图1所示，所述系统包括示教演示单元100、培训操作单元200和培训评价单元300，

所述示教演示单元100通过示教者在种植手术操作系统进行操作，将操作场景实时传输给培训者；

培训者通过所述培训操作单元200进行操作训练，并将操作训练过程实时传输给示教者和其他观摩人员；

所述培训评价单元300用于评价培训者的培训质量。

其中，所述操作场景包括整体操作场景和口内局部操作场景，具体地，除实时场景外，还可将预先使用3D摄像机录制的操作场景储存在种植手术操作系统中，以便教学时直接在系统中播放。

所述评价培训者的培训质量包括评估术前规划路径、评估培训者实际植入路径与规划路径的差别并进行系统评分，

对培训者的临床体位、操作姿势以及仿真头颅模型的体位进行评价以量化培训者的操作流程、培训质量，

通过操作后视频回放使培训者对照反思，查找自身操作流程的不足。

根据本发明一种优选的实施方式，如图2所示，所述种植手术操作系统包括数据录入单元1、仿真头颅模型单元2、图像匹配定位追踪单元3、混合现实目镜单元4、手术路径规划单元5、中心处理单元6、力反馈单元7，声控单元8及远程教学单元9。

在进一步优选的实施方式中，所述数据录入单元1用于将术前的CBCT及面部或口内扫描影像进行三维重建，并将采集的数据信息导入中心处理单元6。

在本发明中，所述采集的数据信息包括：(i)术前的标准化模型或患者个性化的颅颌面部CBCT影像、面部及口内扫描数据、下颌运动轨迹等一系列口颌系统解剖及功能的数字化信息；(ii)术中的标准化模型或患者个性化颅颌面部及种植手术相关器械等操作场景的实时数字化信息和三维立体形态；操作者的坐姿、操作体位及患者的体位；(iii)术后的标准化模型或患者个性化的颅颌面部CBCT影像、面部及口内扫描数据、下颌运动轨迹、最终种植体和修复体等一系列数字化信息。

其中，通过临床CBCT扫描系统或其他CT扫描系统(如螺旋CT)采集得到DICOM格式数据，该图像数据包括临床患者的颌面骨骼、牙齿和软组织影像、种植体和修复体的影像等。

优选地，面部及口内扫描数据可以通过面部扫描仪和口内扫描仪等获得；下颌运动轨迹可以通过数字牙合架、面部扫描仪等获得；操作者的坐姿、操作体位及患者的体位可以通过3D摄像机等获得。

在更进一步优选的实施方式中，所述数据录入单元1包括计算机系统、CT系统、扫描仪系统和数字化面弓系统，上述系统采集的数据信息在中央处理单元6中进行运算处理，进行融合和匹配。

根据本发明一种优选的实施方式，所述仿真头颅模型单元2 包括标准仿真头颅模型、个性化定制头颅模型和虚拟头颅模型，

所述仿真头颅模型单元2与数据录入单元1为通信连接，与中心处理单元6为通信连接。

其中，所述标准仿真头颅模型是指一种模拟临床真实操作环境的口腔教学工具；它包括连接在操作椅上的头颈部仿真模型、颊面部软组织、带有可替换的人造牙的上下颌,模型可随意调整转动,模拟真人的头颈活动,还可模仿开闭颌运动，可根据不同牙位的缺失情况进行分类设计。

优选地，采用数据录入单元1采集的数字化信息生成个性化定制头颅模型和虚拟头颅模型。

其中，个性化定制头颅模型根据术前采集的数字化信息(包括CBCT影像学信息，数字化口扫信息，数字化面扫信息等)通过3D打印生成(亦称：3D打印个性化定制头颅模型)；虚拟头颅模型根据术前采集的上述数字化信息，虚拟模拟标准化及个性化口颌系统的解剖形态及功能而生成。

更优选地，上述三种形式的仿真头颅模型均可包括不同骨质、骨量，牙列及软组织情况，重要的神经、血管及上颌窦等临床解剖结构。

在进一步优选的实施方式中，所述仿真头颅模型单元2与通过数据录入单元1采集的图像信息在中心处理单元6的运算处理下进行融合匹配。

在本发明中，所述仿真头颅模型单元2可以模拟临床实际，调整患者体位、张口度等，通过与3D打印的个性化颌骨模型数据进行匹配，可以形成不同临床患者的个性化的仿真头颅模型。

优选地，所述仿真头颅模型单元还可以分为示教者使用的主位头颅模型和培训者使用的分位头颅模型，以分别供给示教演示单元和培训操作单元使用，其中，仿真头颅模型的体位和口腔的操作过程影像信息均可以在操作单元中实时传输显示。

根据本发明一种优选的实施方式，所述图像匹配定位追踪单元3与仿真头颅模型2通过无线连接，

所述图像匹配定位追踪单元3包括种植操作器械定位追踪装置、仿真头颅模型定位追踪装置和操作者体位及姿势定位追踪装置。

优选地，所述种植操作器械定位追踪装置、仿真头颅模型定位追踪装置和操作者体位及姿势定位追踪装置，均可采用被动式红外反射装置、主动式红外反射装置、可见光反射装置或电磁装置等导航技术实现，

所述种植操作器械定位追踪装置、仿真头颅模型定位追踪装置和操作者体位及姿势定位追踪装置，分布固定在操作器械、仿真头颅模型和操作者的身体上，优选采用刚性连接，以实现精准定位追踪。

在进一步优选的实施方式中，所述种植操作器械定位追踪装置设置在相关种植器械的表面上；

所述仿真头颅模型定位追踪装置设置在仿真头颅模型的上颌、下颌、面颊和躯干区域；

所述操作者体位及姿势定位追踪装置设置在操作者的头、四肢或躯干上。

根据本发明一种优选的实施方式，所述图像匹配定位追踪单元3还包括导航定位追踪装置，

该装置设置于仿真头颅模型单元2的操作区域上端，以与种植操作器械定位追踪装置、仿真头颅模型定位追踪装置和操作者体位及姿势定位追踪装置进行实时位置数据信号的识别和传输。

优选地，所述导航定位追踪装置将数据信号传输至中心处理单元6，通过中心处理单元的运算处理，将种植操作器械的位置、仿真头颅模型的体位及操作者的体位和姿势的空间位置实时配准，进行定位和追踪。

在进一步优选的实施方式中，所述导航定位追踪装置可以为红外线定位摄像头、光学定位摄像头或电磁感应设备，

所述导航定位追踪装置与种植操作器械定位追踪装置、仿真头颅模型定位追踪装置和操作者体位及姿势定位追踪装置相互匹配。

在本发明中，通过联合图像匹配定位追踪单元3提供的位置信息和数据录入单元1中3D摄像机实时采集的图像数据，对术区软硬组织状况、手术器械情况和操作者、仿头模的体位情况实时建模，使术前规划设计的种植位置、种植路径、种植流程和操作体位与真实的手术得到配准。

在本发明中，所述图像匹配定位追踪单元3与数据录入单元 1可以通过中心处理单元6通信连接。

根据本发明一种优选的实施方式，所述操作单元包括混合现实目镜单元4和手术路径规划单元5，

其中，所述混合现实目镜单元4与图像匹配定位追踪单元3 通过无线连接，以接收匹配、配准、融合处理后的图像信息。

优选地，所述混合现实目镜单元具有多个终端，包括示教者目镜和培训者目镜，培训操作单元的混合现实目镜为培训者目镜，具有多个，分别与示教者目镜通过无线进行连接，以进行数据的传输和共享。

在本发明中，所述图像匹配定位追踪单元可以在术中识别预先录入系统内的多种型号种植体和配套种植器械的三维结构，并在术中操作时以三维虚拟影像的形式实时显示；

也可以在术中识别操作者的体位及操作位置信息，并通过实时数据传输系统的无线信号发射和接收装置(如：路由器等)将操作者的虚拟影像信息传递至系统内其他混合现实目镜终端；

还可以在术中识别仿真头颅模型的体位信息，并通过实时数据传输系统将操作者的虚拟影像信息传递至系统内其他混合现实目镜终端。

在本发明中，图像匹配定位追踪单元通过种植操作器械定位追踪装置、仿真头颅模型定位追踪转装置和操作者体位及姿势定位追踪装置，能够将操作器械的虚拟影像、颌面部软硬组织的虚拟影像和操作者的影像进行整合，使佩戴混合现实目镜终端的个体，均能身临其境的体会到口腔种植手术的操作流程细节。

更优选地，所述混合现实目镜单元4与数据录入单元1和仿真头颅模型单元2均为无线连接，

所述混合现实目镜单元4与中心处理单元6为无线连接。

其中，所述混合现实目镜单元佩戴在操作者头部，通过目镜，操作者可以实时观察到重建的术区情况和种植器械在口腔内软硬组织中进入的深度和方向。

在本发明中，所述混合现实目镜优选可以采用(如：微软HoloLens、联想晨星NewG2、Magic Leap One、Nreal Light MR 等)目镜。

在进一步优选的实施方式中，在所述混合现实目镜单元4 上还设置有麦克风和音箱，使得操作者可以通过麦克风将语音指令传送到声控单元8进行语音操控。

具体地，操作者通过麦克风将语音指令传递至中心处理单元，再由中心处理单元对声控单元进行语音操控。

根据本发明一种优选的实施方式，所述手术路径规划单元5 用于在术前规划软组织、骨组织的手术操作流程及种植体植入的规格、位置、方向和角度；

所述手术路径规划单元5与数据录入单元1和仿真头颅模型单元2均为无线连接。

优选地，所述手术路径规划单元5可以识别和选定上颌窦、下颌神经管、血管等重要毗邻解剖结构，模拟临床实际对种植区域骨质宽度、深度进行选点、划线、长度和角度的测量；

可以模拟上颌窦提升、骨劈开、骨增量、截骨术、穿颧种植术等复杂手术；

还可以模拟黏膜切开、缝合、牙周组织移植等复杂软组织手术。

在进一步优选的实施方式中，所述手术路径规划单元5通过电脑显示屏终端或混合现实目镜终端进行实时交互设计，优选为软件规划设计客户端。

在更进一步优选的实施方式中，所述手术路径规划单元5 预先录入有多种型号系统的种植体、各种手术操作器械的三维结构，以在种植手术设计时进行选择。

在本发明中，优选可以在规划手术路径的同时模拟上部修复基台、修复体的设计，实现以修复学为导向的种植设计理念；

还可以在规划手术路径的同时模拟种植周围牙龈、黏膜等软组织和种植体的接触方式，设计种植体周围的龈沟深度，实现以生物学为导向的种植设计理念。

根据本发明一种优选的实施方式，所述中心处理单元6用于在术前植入路径规划，在术中对图像进行实时配准融合和数据传输，在术后进行种植精度分析和操作评价。

其中，所述中心处理单元6能够在术前植入路径规划，通过客户端的手术操作路径规划软件，模拟规划出可视化路径，在种植手术实施的过程中将规划路径的虚拟影像重叠在术区或将配准融合的虚拟手术操作影像通过混合现实目镜投射在术区周围，使操作者可以同时看到虚拟的和真实的手术器械以及软硬组织的形态和位置，指导术者精准的操作；同时能够在术后对操作者的种植精度进行分析和操作评价。

在进一步优选的实施方式中，所述中心处理单元6为高性能计算机服务器，具备能够处理大量的复杂数据信息的能力。

其中，所述高性能计算机服务器可以采用如：戴尔PowerEdge T640塔式服务器、联想ST558服务器等。

在本发明中，通过手术路径规划单元5、图像匹配定位追踪单元3和中心处理单元6的相互作用，有利于在手术实施过程中更加清晰直观地了解患者种植部位的解剖结构、了解手术操作的标准流程。

在本发明中，根据各种数字化信息生成的虚拟三维影像可以与术中仿真头颅模型表面影像进行精准的融合，使操作者能够在操作过程中“透视”地观察到真实的软硬组织结构。

具体地，通过中心处理单元6的运算处理，仿真头颅模型单元2的图像与数据录入单元1重建的图像在图像匹配定位追踪单元3中进行实时配准融合，并将融合后的图像传递至混合现实目镜4中。

根据本发明一种优选的实施方式，所述反馈控制单元包括力反馈单元7、声控单元8和远程教学单元9。

优选地，所述力反馈单元7与种植操作器械通过机械臂或无线连接，以在示教和培训操作过程中模拟现实中的手术过程，增强操作者的现实体验感。

其中，当力反馈单元7通过机械臂与种植操作器械连接时，可以实时反馈操作时接触、切割、钻孔或缝合等过程中的触感，机械臂上的操作器械可以由操作者自由移动，并可以在示教者操作时将力反馈的触感实时传递给种植培训系统内的其他操作者。

在进一步优选的实施方式中，所述力反馈单元7采用无线方式与种植操作器械连接。

优选地，所述力反馈单元可以为力反馈手套。当操作者佩戴无线力反馈手套时，可以将操作时的触感通过无线力反馈手套传递给操作者，与机械臂力反馈设备相比，无线力反馈能够使操作者的操作更为流畅和便捷。

在本发明中，所述力反馈单元7除提供模拟现实的力反馈触觉信息之外，还能够在操作过程中模拟现实手术中下钻、上颌窦提升、截骨术、骨劈开等骨修整及骨切割过程中的操作声音、质地和手感，模拟触碰到黏膜、牙龈、神经血管束的质地和手感，模拟牙龈、黏膜的切开、翻瓣、松解、缝合过程，以最大限度的模拟临床种植手术操作情景。

根据本发明一种优选的实施方式，所述声控单元8用于对培训者进行语音控制，以便于实时指导和讲解；

所述声控单元8与仿真头颅模型单元2为无线通信连接，与中心处理单元6为无线通信连接。

优选地，所述声控单元8与混合现实目镜单元4为无线通信连接。

更优选地，所述声控单元8包括LD3320、LD3322、ReSpeaker等AI智能语音识别装置等声音分析装置，中兴ZXV、华为VPM，Jabra Sprak750麦克风等声音采集装置；新科Z1A、SAST S4、JBL S50等声音播放装置。

在本发明中，如前所述，在混合现实目镜单元4上设置有麦克风和音箱，使得操作者可以通过麦克风将语音指令传送到中心处理单元，进而中心处理单元将语音指令通过声控单元的音箱传输给培训者，使得示教者和培训者可以通过声控单元在操作培训过中进行实时语音操作互动。

在进一步优选的实施方式中，所述声控单元8中预先输入有语音识别词，使得在手术实施过程中，示教者和培训者能够对虚拟图像进行移动、旋转、缩放，以及对手术流程的进度进行实时控制。

其中，所述语音识别词包括上、下、左、右、偏颊、偏舌、偏近中、偏远中等方位词，包括放大、缩小、旋转等运动指示词，以及包括开始、暂停、终止、结束等进度指示词。

在更进一步优选的实施方式中，所述声控单元8还设置有远程启停模块，能够实时对培训者的操作进行启动和停止，以便于实时指导。

其中，所述远程启停模块采用LD3320、LD3322、ReSpeaker等AI智能语音识别装置。

根据本发明一种优选的实施方式，所述远程教学单元9与中心处理单元6为无线通信连接，其使得示教者和培训者的互动学习不受地理空间条件限制。

优选地，所述远程教学单元9采用有线或无线信号传输装置，通过卫星、互联网或5G网络进行高速数据(图像、声音等信息数据)传输。

更优选的，远程教学单元9采用中兴通讯ZXMP S200、华为 5G CPE Pro等。

根据本发明一种优选的实施方式，所述示教演示单元为主机位，培训操作单元为分位，

所述培训操作单元200包括多个分位操作训练系统，其中，任一分位均可成为主机位，即成为示教演示单元。

优选地，所述分位操作训练系统的混合现实目镜为培训者目镜，其具有多个，分别与示教者的混合现实目镜通过无线连接，进行信号传输。

其中，示教者在主位头颅模型上利用混合现实技术进行操作，此操作场景可以实时传输至若干分位的培训者混合现实目镜中，培训者通过佩戴混合现实目镜可以身临其境的在术者的角度体验整个种植手术的全过程。

在本发明中，培训者可以在各自的分位操作训练系统内选择不同体位、不同牙位、不同解剖结构的患者仿真头颅模型进行操作训练，这一过程可以实时传输到位于主位的示教者混合现实目镜内，使示教者可以清楚地观察到每个培训者的操作流程和体位及姿势是否规范，并随时指正。

在进一步优选的实施方式中，所述培训者的操作训练过程通过图像匹配定位追踪单元、数据录入单元将位置信息和图像信息进行实时采集，经过中心处理单元的运算处理，生成虚拟影像传输至示教者的混合现实目镜中。

根据本发明一种优选的实施方式，所述培训评价单元300 通过图形分析软件系统评估术前规划路径和实际植入路径的差别。

优选地，通过比较规划和实际植入种植体的DICOM数据或 STL数据，对种植体的植入角度、植入位移的偏差进行量化评估。

在本发明中，所述培训评价单元300通过预先植入的种植规划标准、指南和专家共识，以及实际多位种植专家和医生的设计，同时通过不断的录入新的规划设计，通过机器学习和人工智能的方式对种植体的规划路径进行评估。

具体为：评估通过中心处理单元的运算及机器学习和人工智能方式生成的理想种植体规划路径和操作者实际规划的路径之间的差别。

优选地，所述培训评价单元300通过预先存储在系统内的标准操作者体位、标准操作流程与实际操作体位和流程进行比较评估。

其中，预先存储的标准操作体位和操作流程可以通过不断的收集专家经验和用机器学习和人工智能的技术不断更新。

本发明所述的基于混合现实技术的种植手术培训系统，可以将虚拟信息在示教者和培训者之间传递，有助于示教者更好的指导每位培训者的规范操作。利用本发明所述的培训系统，可以使参加种植培训的医生和学生获得真实的临床体验，有效地提升口腔种植的培训水平。

本发明还提供了一种基于混合现实技术的种植手术培训方法，优选采用上述基于混合现实技术的种植手术培训系统实现，包括以下步骤：

步骤1，示教者在主位仿真头颅模型上通过基于混合现实技术的种植手术培训系统进行种植操作教学演示。

其中，步骤1包括以下子步骤：

步骤1-1，模拟标准化及个性化口颌系统的解剖形态及功能。

优选地，通过数据录入单元，将采集的标准头颅模型信息、 3D打印个性化定制头颅模型或虚拟头颅模型，根据术前采集的数字化信息(CBCT影像学信息，数字化口扫信息，数字化面扫信息等)，模拟标准化及个性化口颌系统的解剖形态及功能。

步骤1-2，模拟可视化路径，将手术流程和路径配准融合至手术区。

其中，基于术前仿真头颅模型单元的颌面部数字化信息，进行手术流程及植入路径规划，模拟出可视化路径，并将手术流程和路径配准融合至术区。

步骤1-3，示教者进行种植操作教学演示。

优选地，将融合重建后的种植区域三维影像传输至混合现实目镜单元，示教者进行手术操作演示。

在本发明中，示教者在种植手术操作过程中，能够清晰看到术前规划流程、种植体规划路径和种植器械的位置，便于进行精准化操作。

步骤2，培训者在分位上选择不同的仿真头颅模型进行操作训练。

其中，培训者通过基于混合现实技术的种植手术培训系统可以在分位上根据不同的临床教学需求，选择能够反映不同颌面部解剖结构和生理功能的仿真头颅模型进行操作训练。

优选地，培训者通过混合现实目镜在示教操作流程影像的指导下进行手术操作练习。

更优选地，培训者和示教者可以实时互动，示教者可以实时观察培训者的操作流程并进行实时互动指导。

其中，培训者的操作训练过程可以传输至示教者的混合现实目镜，使示教者能够清晰的观察到每个培训者的操作是否规范，并可以通过声控单元的进行语音操控，对培训者的操作过程随时指正。

步骤3，根据术前规划路径，对培训者的实际植入路径以及操作的姿势和体位进行评价。

优选地，步骤3包括如下子步骤：

步骤3-1，将术前种植规划路径传输至混合现实目镜及中心处理单元，进行种植体植入规划路径的评估。

其中，优选通过中心处理单元的评价模块进行植入规划路径的评估。

所述评价模块，参考如：宿玉成,袁苏.口腔种植学[M]. 人民卫生出版社,2014.；Resnik,JB Suzuki,Bronstein D.Resnik,R.(2020).Misch's Contemporary ImplantDentistry E-Book.Mosby.2020.等著述的标准，先形成标准化评价指标，如种植手术流程规范、种植体规划路径、操作姿势和体位等，与实际操作流程、种植体规划路径、操作姿势和体位等进行对照比较，量化评分。

步骤3-2，将种植后的种植区域三维影像传输至混合现实目镜及中心处理单元，进行种植体植入精度的评估。

其中，优选通过中心处理单元的精度模块进行植入规划路径的评估。精度模块采用例如开源的MIMICS、Geomagic、GOM 等开源软件，进行精度比较。

步骤3-3，将种植手术操作过程的影像传输至混合现实目镜及中心处理单元，通过显示终端回放操作过程，中心处理单元通过分析操作过程影像，智能评估操作过程。

本发明提供的种植手术培训方法，操作简单方便，有利于增强培训者在操作过程中真实的体验感，有效地提升种植手术的培训效果及成功率。

实施例

以下通过具体实例进一步描述本发明，不过这些实例仅仅是范例性的，并不对本发明的保护范围构成任何限制。

实施例1

本实施例采用如下基于混合现实技术的种植手术培训系统进行种植手术培训：

其中，示教演示单元和培训操作单元中的数据录入单元包括CBCT扫描仪、面扫仪、口扫仪、3D摄像机和电子牙合架，通过CBCT扫描仪扫描患者颌面部软硬组织采集得到DICOM格式数据，具体包括临床患者的颌面骨骼、牙齿和软组织影像、种植体和修复体等影像信息；通过面扫仪获得临床患者的颌面部解剖结构等STL格式的影像信息；通过口扫仪获得临床患者的口腔内STL格式的影像信息；通过3D摄像机获得操作者、仿头模和操作器械的STL格式的三维图像信息。

通过患者颌面部的DICOM数据和面扫、口扫的STL格式数据制作成仿真头颅模型，通过调整仿头模的体位、张口度等，模拟临床实际；

基于术前仿真头颅模型颌面部数字化信息，利用手术流程规划软件客户端，在显示屏终端或者混合现实目镜终端在进行种植手术的操作流程规划、种植体植入路径规划，模拟出可视化的手术操作流程和可视化植体植入路径，并将路径配准融合至术区；

图像匹配定位追踪单元设置的导航定位追踪装置位于仿真头颅模型操作区域上端，可以实时与种植操作器械、仿真头颅模型和操作者上的定位追踪装置进行位置数据信号的识别和传输；

然后导航定位追踪装置将数据信号传输至中心处理单元6 (戴尔PowerEdge T640塔式服务器)，通过中心处理单元的运算处理，实时将种植操作器械、仿真头颅模型的体位和操作者的体位和姿势的空间位置实时配准，进行定位和追踪；

其中，导航定位追踪装置采用红外线定位摄像头，位于操作器械定位装置、仿真头颅模型和操作者上的定位追踪装置上装有红外反射球或嵌有红外反射涂层；红外定位摄像头和红外反射球可以相互识别传递红外信号，能够对标记的器械、仿头模和操作者进行的位置进行实时追踪导航。

通过联合导航定位追踪单元提供的位置信息和数据采集单元中3D摄像机实时采集的图像数据，对术区软硬组织状况、手术器械情况和操作者、仿头模的体位情况实时建模，使术前规划设计的种植位置、种植路径、种植流程和操作体位与真实的手术得到融合配准。

操作者在操作时通过佩戴混合现实目镜终端，观察到先前规划的手术流程和种植体植入路径的虚拟图像，并和仿真头颅模型融合配准；操作者可以在仿真头颅模型中“透视”地观察到颌面部深部的解剖形态和操作器械在口腔内的三维形态、位置和深度，使得操作者按照先前的规划流程进行种植手术的操作训练。

在进行示教培训教学演示时，示教者的操作流程可以通过数据采集单元中的摄像机和导航定位追踪装置中的红外线定位摄像头实时追踪，并将局部口腔内的操作虚拟影像和整体操作影像实时传输给培训者；培训者佩戴混合现实目镜接收到虚拟的操作流程影像，此影像可以和培训者分位的仿头模配准融合，使培训者身临其境的感受到示教者的操作流程和细节。

培训者进行种植操作训练时，其操作流程的虚拟影像可以传输至系统内的示教者和其他培训者等佩戴了混合现实终端的个体，方便示教者对培训者的操作进行实时指导。

当操作者佩戴无线力反馈手套时，其手术操作的过程，如软硬组织的切割、钻孔、劈开，上颌窦提升等操作均可以通过力反馈单元对操作者进行实时反馈，最大程度地模拟手术操作中的真实触感。

通过声控单元的麦克风进行语音操控，对培训者的操作过程随时指正。

远程教学单元9采用中兴通讯ZXMP S200，通过互联网进行高速数据传输，以便示教者和培训者不受地理空间条件限制身临其境的进行互动学习。

培训评估单元300将术前种植规划路径传输至混合现实目镜及中心处理单元规划评价模块进行种植体植入规划路径的评估；将种植后的种植区域三维影像传输至混合现实目镜及中心处理单元精度模块进行种植体植入精度的评估。

培训评估单元还可以将种植手术操作过程的影像传输至混合现实目镜及中心处理单元，通过混合现实目镜等显示终端回放手术操作过程影像，通过中心处理单元智能评估培训者的操作姿势、操作体位、操作流程。

以上结合了优选的实施方式对本发明进行了说明，不过这些实施方式仅是范例性的，仅起到说明性的作用。在此基础上，可以对本发明进行多种替换和改进，这些均落入本发明的保护范围内。

Claims (9)

1.一种基于混合现实技术的种植手术培训系统，其特征在于，所述系统包括示教演示单元100、培训操作单元200和培训评价单元300，

所述示教演示单元100通过示教者在种植手术操作系统进行操作，将操作场景实时传输给培训者，所述操作场景既包括整体操作场景，又包括口内局部操作场景；除实时场景外，还可将事先使用3D摄像机录制的操作场景储存在手术系统中，以便教学时直接在系统中播放；

所述培训操作单元200为培训者进行操作训练，并将操作训练过程实时传输给示教者和系统内其他培训者；

所述培训评价单元300用于评估术前规划路径和培训者实际植入路径的差别；并通过实时传输的导航图像识别系统对培训者的临床体位及临床姿势进行评价以量化培训者的培训质量；通过操作后视频回放评价系统使培训者对照反思，查找自身操作流程的不足。

2.根据权利要求1所述的系统，其特征在于，所述种植手术操作系统包括数据录入单元1、仿真头颅模型单元2、图像匹配定位追踪单元3、混合现实目镜单元4、手术路径规划单元5、中心处理单元6、力反馈单元7，声控单元8及远程教学单元9。

3.根据权利要求2所述的系统，其中，数据录入单元1用于录入以下数据信息导入中心处理单元6：

(1)术前的标准化模型或患者个性化颅颌面部CBCT影像、面部及口内扫描数据、下颌运动轨迹等一系列口颌系统解剖及功能的数字化信息；

(2)术中的标准化模型或患者个性化颅颌面部及种植手术相关器械等操作场景的实时数字化位置信息和三维立体形态；操作者的坐姿、操作体位及仿头模的体位；

(3)术后的标准化模型或患者个性化的颅颌面部CBCT影像、面部及口内扫描数据、下颌运动轨迹、最终种植体和修复体等一系列数字化信息；

所述仿真头颅模型2包括以下几种形式：

(1)标准仿真头颅模型；

(2)3D打印个性化定制头颅模型，根据术前采集的数字化信息(CBCT影像学信息，数字化口扫信息，数字化面扫信息等)；

(3)虚拟头颅模型，根据术前采集的数字化信息(CBCT影像学信息，数字化口扫信息，数字化面扫信息等)，虚拟模拟标准化及个性化口颌系统的解剖形态及功能；

手术路径规划单元5与仿真头颅模型2电性或无线连接，以用于数据传输，所述手术路径规划单元5可以在术前规划软组织、骨组织的手术操作流程及种植体植入的规格、位置、方向和角度；

图像匹配定位追踪单元3可以识别以下位置信息：

(1)术中可以识别预先录入系统内的多种型号种植体和配套种植器械的三维结构，能够在术中操作时以虚拟影像的形式实时显示；

(2)术中可以识别操作者的体位及操作位置信息，并通过实时数据传输系统将操作者的虚拟影像信息传递至系统内其他目镜终端；

(3)术中可以识别仿真头颅模型的体位信息，并通过实时数据传输系统将操作者的虚拟影像信息传递至系统内其他目镜终端；

所述中心处理单元6用于术前数据录入单元1的数据信息处理、植入路径规划；术中图像实时配准融合和数据传输；术后种植精度分析和操作评价；通过中心处理单元6的运算处理，仿真头颅模型单元2的图像与数据录入单元1重建的图像在图像匹配定位追踪单元3中进行实时配准融合，并将融合后的图像传递至混合现实目镜4中。

4.根据权利要求2所述的系统，其特征在于，所述图像匹配定位单元3包括种植操作器械定位装置、仿真头颅模型定位装置和操作者体位及姿势定位装置，

其中，所述操作器械定位追踪装置可设置在种植相关器械的表面上；

所述仿真头颅模型定位追踪装置可设置在仿真头颅模型的上颌、下颌、面颊和躯干区域；

所述操作者体位及姿势定位追踪装置可设置在操作者的头、四肢或躯干上。

5.根据权利要求2所述的系统，其特征在于，所述种植手术操作系统还包括力反馈单元7，以在示教和操作过程中模拟现实操作过程中的上颌窦提升术、骨劈开术、截骨术等骨修整及骨切割过程中质地和手感；模拟触碰到黏膜、牙龈、神经血管束的质地和手感；模拟牙龈、黏膜的切开、翻瓣、松解、缝合过程；

所述种植手术操作培训系统还包括声控单元8，能够实时对培训者进行语音控制，以便于实时指导和讲解；

所述种植手术操作系统还包括远程教学单元9，以便示教者和培训者不受地理空间条件限制身临其境的进行互动学习；

所述混合现实目镜4与图像匹配定位追踪单元3为无线连接，以将图像匹配单元融合的图像实时传输至混合现实目镜中。

6.一种基于混合现实技术的种植手术培训方法，包括以下步骤：

步骤1，示教者在主位仿真头颅模型上通过基于混合现实技术的种植手术培训系统进行种植操作教学演示；

步骤2，培训者通过基于混合现实技术的种植手术培训系统可以在分位上根据不同的临床教学需求，选择能够反映不同颌面部解剖结构和生理功能的仿真头颅模型进行操作训练；

步骤3，根据术前规划路径和培训者实际植入的路径以及操作的坐姿和体位进行评价。

7.根据权利要求6所述的方法，其特征在于，步骤1包括以下子步骤：

步骤1-1，通过数据录入单元1将采集的标准头颅模型信息、3D打印个性化定制头颅模型、虚拟头颅模型，根据术前采集的数字化信息(CBCT影像学信息，数字化口扫信息，数字化面扫信息等)，模拟标准化及个性化口颌系统的解剖形态及功能；

步骤1-2，基于术前仿真头颅模型颌面部数字化信息，进行手术操作流程及种植体植入路径规划，模拟出可视化手术过程及路径，并将过程和路径配准融合至术区；

步骤1-3，将融合重建后的种植区域三维影像传输至混合现实目镜，示教者进行手术操作演示。

8.根据权利要求6所述的方法，其特征在于，步骤2包括以下子步骤：

步骤2-1，通过数据录入单元将采集的标准头颅模型信息、3D打印个性化定制头颅模型、虚拟头颅模型，根据术前采集的数字化信息(CBCT影像学信息，数字化口扫信息，数字化面扫信息等)，模拟标准化及个性化口颌系统的解剖形态及功能；

步骤2-2，将融合重建后的种植区域三维影像传输至混合现实目镜，培训者可以在分位上通过混合现实目镜观察到示教者的操作过程；

步骤2-3，培训者可以通过混合现实目镜在示教操作流程的影像信息指导下进行手术操作练习；

步骤2-4，培训者和示教者能够实时互动，示教者可以实时观察培训者的操作流程并进行实时指导。

9.根据权利要求6所述的方法，其特征在于，步骤3包括以下子步骤：

步骤3-1，将术前种植规划路径传输至混合现实目镜4及中心处理单元6的规划评价模块进行种植体植入规划路径的评估；

步骤3-2，将种植后的种植区域三维影像传输至混合现实目镜4及中心处理单元6的精度模块进行种植体植入精度的评估；

步骤3-3，将种植手术操作过程的影像传输至混合现实目镜4及中心处理单元6，通过混合现实目镜能够回放自身操作过程，中心处理单元能够智能评估操作过程，培训者可以在分位上通过混合现实目镜观察到示教者的操作过程；

步骤2-3，培训者可以通过混合现实目镜在示教操作流程的影像信息指导下进行手术操作练习；

步骤2-4，培训者和示教者能够实时互动，示教者可以实时观察培训者的操作流程并进行实时指导。

Images