CN115798291A - 虚拟现实种植牙力反馈磨钻计算装置与方法 - Google Patents
虚拟现实种植牙力反馈磨钻计算装置与方法 Download PDFInfo
- Publication number
- CN115798291A CN115798291A CN202211496247.8A CN202211496247A CN115798291A CN 115798291 A CN115798291 A CN 115798291A CN 202211496247 A CN202211496247 A CN 202211496247A CN 115798291 A CN115798291 A CN 115798291A
- Authority
- CN
- China
- Prior art keywords
- force feedback
- module
- virtual reality
- dental implant
- drill
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
虚拟现实种植牙力反馈磨钻计算装置与方法，其包括：三维建模模块，先针得到目标病人的CT图，再根据半自动的阈值分割生成对应的解剖学模型；挖孔渲染模块，预先设定渲染的纹理，再识别到被碰撞的物体，并沿着手术工具的形状，在其表面进行三角面片的的模型的实时生成与删除；碰撞检测与力反馈模块，首先判断组织与真实物理模型之间在哪里发生碰撞，获取碰撞点的位置与各类物理信息，将获取的物理信息与网格形变信息整合，计算出应该作用与力反馈上的数值信息，以供用户实时的感受到相应的力觉感受；综合评估模块，根据操作人员的金标准标志点的偏移角度与距离计算，综合操作的时间给到最终的评分，记录评分并与数据库中的数据相比较。
Description
技术领域
本发明涉及医学图像处理的技术领域，尤其涉及一种虚拟现实种植牙力反馈磨钻计算装置，以及虚拟现实种植牙力反馈磨钻计算装置的使用方法。
背景技术
虚拟现实医疗培训技术已经逐渐成熟，并在多种手术术士中得到运用，其主要目的是为医生提供真实的、沉浸式的、无风险的手术训练环境，缩短医生的学习周期。随着生物医学的发展，众多医学工具得以运用，人们也越来越重视口腔安全的发展，其中种植牙已经成为了一种普及的医学术式，然而对这种较复杂器械的培训，往往需要大量的训练和长时间的熟悉过程去掌握他，而技能未磨练成熟的医学生在临床上的练习会有许多伦理问题，且训练的数量受制于病例的数量，因此虚拟现实技术扶持下的腹腔穿刺仿真技术逐渐走进人们的视野，在免于医学伦理的前提下，缩短医生的培训周期。
因此本产品专注带力反馈的种植牙仿真教学培训，众所周知，种植牙的过程中，各种磨钻工具一直是重点，例如球钻、先锋钻、扩孔钻等等，传统的磨钻工具使用基于三角面片模型的网格位移，或者四面体模型的网格碰撞消失来实现，这样的方法对于挖孔的贴图难以多样化的自定义改变，本方法通过在手术工具的周围实时生成跟工具轮廓相似的网格来处理挖孔问题，可以随意添加不同形式的渲染纹理。且不需要对模型进行预处理编辑，具有更好的便捷性。
中国专利201810766286.2制作了一种虚拟种植牙手术培训系统，其中包括与本发明类似的组织变形单元、手术工具单元、力反馈单元等，但是其使用的切割渲染任然是常规的顶点重新构造的方式；其次，例如中国专利202110497776.9制作一种基于AR技术的牙齿种植手术训练系统及方法，其中的手术工具使用虚拟三维模型，而本发明使用虚拟三维模型与等比例3d真实模型相对应的方式进行，增加了手术仿真的真实性；另外例如专利20191077662.2制作了一种视觉-触觉融合增强现实口腔手术技能训练模拟器，需要在CBCT数据生成之后构建虚拟口腔的空间匹配等操作，需要较多的操作手术前的处理。
发明内容
为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种虚拟现实种植牙力反馈磨钻计算装置，其能够整合真实手术过程中的关键点，并针对性的构建高精度具有高精度解剖学特征的虚拟模型，结合与真实手术工具一比一的力反馈设备，实现虚拟视觉，真实触感相互结合的高度沉浸式的虚拟仿真手术演练。
本发明的技术方案是：这种虚拟现实种植牙力反馈磨钻计算装置，其包括：
三维建模模块，先针得到目标病人的CT图，再根据半自动的阈值分割生成对应的解剖学模型；
挖孔渲染模块，预先设定渲染的纹理，再识别到被碰撞的物体，并沿着手术工具的形状，在其表面进行三角面片的的模型的实时生成与删除；
碰撞检测与力反馈模块，首先判断组织与真实物理模型之间在哪里发生碰撞，获取碰撞点的位置与各类物理信息，将获取的物理信息与网格形变信息整合，计算出应该作用与力反馈上的数值信息，以供用户实时的感受到相应的力觉感受；
综合评估模块，根据操作人员的金标准标志点的偏移角度与距离计算，综合操作的时间给到最终的评分，记录评分并与数据库中的数据相比较。
本发明通过整理手术的实施操作关键步骤与重点，将人体生物模型的力学特性变成虚拟的仿真物理模型，然后使用力反馈设备进行虚拟手术作业，因此能够整合真实手术过程中的关键点，并针对性的构建高精度具有高精度解剖学特征的虚拟模型，结合与真实手术工具一比一的力反馈设备，实现虚拟视觉，真实触感相互结合的高度沉浸式的虚拟仿真手术演练。
还提供了虚拟现实种植牙力反馈磨钻计算装置的使用方法，操作顺序为：术前规划、术中操作、术后评估三个步骤，具体的步骤包括：
(1)打开软件，输入登陆账号密码，进行金标准选择，或自定义金标准位置和要求；
(2)点击球钻，使用球钻进行标志开始点的定位磨骨；
(3)点击测深针，进行测量判断角度位置是否合适；
(4)点击先锋钻进行第二次磨骨；
(4)测深针进行第二次判断；
(5)选择3.5mm、4.0mm、或4.8mm扩孔钻；
(6)测深针；
(7)成型钻进行通道的成型；
(8)功丝钻打出螺纹,并用棉球进行止血操作；
(9)植入螺体且使用虚拟固定扳手和螺丝刀进行固定；
(10)完成后对人员最终固定的牙齿与金标准的角度和位置偏差以及使用时间以及误触其他组织次数来判断人员分数，给出评论结果。
附图说明
图1是根据本发明的虚拟现实种植牙力反馈磨钻计算装置的示意图。
具体实施方式
如图1所示，这种虚拟现实种植牙力反馈磨钻计算装置，其包括：
三维建模模块，先针得到目标病人的CT图，再根据半自动的阈值分割生成对应的解剖学模型；
挖孔渲染模块，预先设定渲染的纹理，再识别到被碰撞的物体，并沿着手术工具的形状，在其表面进行三角面片的的模型的实时生成与删除；
碰撞检测与力反馈模块，首先判断组织与真实物理模型之间在哪里发生碰撞，获取碰撞点的位置与各类物理信息，将获取的物理信息与网格形变信息整合，计算出应该作用与力反馈上的数值信息，以供用户实时的感受到相应的力觉感受；
综合评估模块，根据操作人员的金标准标志点的偏移角度与距离计算，综合操作的时间给到最终的评分，记录评分并与数据库中的数据相比较。
本发明通过整理手术的实施操作关键步骤与重点，将人体生物模型的力学特性变成虚拟的仿真物理模型，然后使用力反馈设备进行虚拟手术作业，因此能够整合真实手术过程中的关键点，并针对性的构建高精度具有高精度解剖学特征的虚拟模型，结合与真实手术工具一比一的力反馈设备，实现虚拟视觉，真实触感相互结合的高度沉浸式的虚拟仿真手术演练。
优选地，所述碰撞检测与力反馈模块的外设工具，根据不同的需求进行激光3d打印定制、拆解、组装，使得该设备适用于多种不同的手术工具与术式。
优选地，所述综合评估模块中，通过医生对操作的需求，自定义评分机制，来形成一套完整课程的培训体系。
优选地，所述三维建模模块定制与添加所有可视化的器官的颜色、形状、纹理、光照阴影。
优选地，该装置的可视化模块与物理碰撞模块相互纠缠，位置相互约束。
优选地，该装置的虚拟仿真模型都是三角面片模型。
优选地，该装置的模块都整合进Unity3D平台进行处理。
优选地，力反馈具体体现在使用不同的磨钻工具钻孔时的效果。
还提供了虚拟现实种植牙力反馈磨钻计算装置的使用方法，操作顺序为：术前规划、术中操作、术后评估三个步骤，具体的步骤包括：
(1)打开软件，输入登陆账号密码，进行金标准选择，或自定义金标准位置和要求；
(2)点击球钻，使用球钻进行标志开始点的定位磨骨；
(3)点击测深针，进行测量判断角度位置是否合适；
(4)点击先锋钻进行第二次磨骨；
(4)测深针进行第二次判断；
(5)选择3.5mm、4.0mm、或4.8mm扩孔钻；
(6)测深针；
(7)成型钻进行通道的成型；
(8)功丝钻打出螺纹,并用棉球进行止血操作；
(9)植入螺体且使用虚拟固定扳手和螺丝刀进行固定；
(10)完成后对人员最终固定的牙齿与金标准的角度和位置偏差以及使用时间以及误触其他组织次数来判断人员分数，给出评论结果。
以下更详细地说明本发明的内容。
这种无预处理模型的虚拟现实种植牙力反馈装置，其包括：三维建模模块，先获得病患的CT图像，基于半自动话的阈值分割得到初步的有生理学特征的三维虚拟面片模型；挖孔渲染模块，可以理解为是一种绘图工具，只不过是绘制三角面片模型，预先确定好纹理样式的前提下，可以实时的对任何物体的表面进行绘制，绘制的同时会删除其碰到的原物体的三角面片，同时生成新的三角面片，如此不停的生成与删除，来达到对挖孔效果的仿真；碰撞检测与力反馈模块，遍历检测获取手术工具与器官组织的碰撞点位置信息，计算不同时刻的速度、力、阻尼等物理信息，传输给力反馈装置，以供用户实时感受到模型的力学性状；术后评估模块，先标记金标准的世界位置和角度，或者选择系统的默认金标准，术中操作人员需要通过各种磨钻工具进行操作，且不断的用测深针进行校准，最终根据实际种植点与提前标志点的差距及操作时间来综合进行评分。
下面进一步描述所诉虚拟手术仿真装置各个模块的功能与作用：
三维模型建模模块，可用dicom格式的CT(电子计算机断层扫描图像)数据或MRI(magnetic resonance imaging)进行建模，其中CT数据设置层厚1.00mm进行拍摄，对象为目标为腹腔，并储存为DICOM格式。
接着，基于MITK(开源的医学成像交互工具包medical imaging toolki t)类库，根据不同组织的灰度范围不同进行阈值筛选与分割，得到初步模型之后，基于专业医生的意见针对关键部位进行网格细化，对不关键部位进行网格删减、并采用拉伸、旋转等方法，使最终模型符合生理学结构特点，并最后保存为stl格式的三角面片文件。
挖孔渲染模块，主要完成对模型的磨钻功能的模拟，首先设定渲染纹理，其次设定被碰撞的物体，当碰撞检测到碰撞到被碰撞物体的三角面片时，删除其面片，然后在同一位置生成之前设定纹理的面片，重新计算UV连接各个顶点这一过程一般会在第一帧完成，此时模型表面与手术工具碰撞的部位已经变成想要的模型。接着下一帧开始，就在工具周围生成符合工具轮廓的面片网格群，且距离可以任意设定，例如0.01cm.于是从第二帧开始，雏形的孔洞就已经形成，该孔洞的渲染贴图是继承其碰到的被碰撞物体的贴图样式，，每生成一个新的网格面片群的同时，都要通过垂直坐标轴的高低判断，只保留最高的网格面片且只有一个网格面片群在系统中，这样就不会有重叠或者重复。
进一步的，在本实施例中，建立的牙齿模型，包括颌骨、神经、血管、牙齿等结构都是通过Unity3D的资源库提供的渲染图进行贴图，可以任意调整其纹理和透明度。
碰撞检测与力反馈模块，用于判断虚拟手术器械与虚拟模型之间的碰撞位置以及碰撞物理参数，以便指导模型形变与力反馈的值的输入。
具体的，虚拟手术器械模型是根据真实的手术器械模型1比1进行3d打印建模制作的母体，其中的碰撞检测模型是给予AABB算法进行判断是否碰撞的，在程序运行的每一帧(每0.02秒一帧)中，循环检测手术工具与物理模型的碰撞点，获取其碰撞点信息，值得一提的是，为了解决穿模问题，所有器械的碰撞检测盒制作皆大于本身直径0.1毫米。获得某一时刻某些点的碰撞速度，方向，力大小，动量等信息后，将数值输入力反馈模型，来完成对力反馈的物理模拟。
进一步地，力反馈设备模块使用3D-system的Touch笔设备，能够模拟震动，弹力等各类基础力觉，这种设备能够帮助用户从触觉上感受到虚拟环境中的物体，其通过usb借口与计算机连接，并安装开源的OpenHaptics驱动工具包，使用3D-system的Touch设备作为母版，根据不同的手术工具改良其外观。
进一步地，在获取到CT数据之后，将其堆叠进系统与虚拟的模型进行一比一的位置匹配，接着在虚拟超神探头的前端绑定一个平面，平面能够获取与他重合的对应位置的像素点信息，并进行复制，这样就使得当这个平面切到超声生成的堆叠体的时候，平面能获得不同角度的超声切片图，最后将此切片图上传到UI界面。
术后评估模块，主要是在获取术前规划的定位信息之后，储存定位，且在与手术模拟中的操作进行对比匹配，通过时间，位置偏差，角度偏差，误触累计来计算出最终的评分。
如图所示上述力反馈设备可以根据不同的需求对外观进行设计，改装其硬件外设，制作与真实外科手术工具一致的力反馈外设。
进一步的，在本实施例中，碰撞检测的虚拟工具与真实工具一一对应，且可以悬着包括，球钻、先锋钻、扩孔钻、成型钻、攻丝钻、测深针、固定扳手等工具。
在本申请的一些实施例中，可以对模型及其场景进行颜色、纹理、光照进行渲染，并在模型进行形变或位移时进行实时的更新。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。
Claims (9)
1.虚拟现实种植牙力反馈磨钻计算装置，其特征在于：其包括：
三维建模模块，先针得到目标病人的CT图，再根据半自动的阈值分割生成对应的解剖学模型；
挖孔渲染模块，预先设定渲染的纹理，再识别到被碰撞的物体，并沿着手术工具的形状，在其表面进行三角面片的的模型的实时生成与删除；
碰撞检测与力反馈模块，首先判断组织与真实物理模型之间在哪里发生碰撞，获取碰撞点的位置与各类物理信息，将获取的物理信息与网格形变信息整合，计算出应该作用与力反馈上的数值信息，以供用户实时的感受到相应的力觉感受；
综合评估模块，根据操作人员的金标准标志点的偏移角度与距离计算，综合操作的时间给到最终的评分，记录评分并与数据库中的数据相比较。
2.根据权利要求1所述的虚拟现实种植牙力反馈磨钻计算装置，其特征在于：所述碰撞检测与力反馈模块的外设工具，根据不同的需求进行激光3d打印定制、拆解、组装，使得该设备适用于多种不同的手术工具与术式。
3.根据权利要求2所述的虚拟现实种植牙力反馈磨钻计算装置，其特征在于：所述综合评估模块中，通过医生对操作的需求，自定义评分机制，来形成一套完整课程的培训体系。
4.根据权利要求3所述的虚拟现实种植牙力反馈磨钻计算装置，其特征在于：所述三维建模模块定制与添加所有可视化的器官的颜色、形状、纹理、光照阴影。
5.根据权利要求4所述的虚拟现实种植牙力反馈磨钻计算装置，其特征在于：该装置的可视化模块与物理碰撞模块相互纠缠，位置相互约束。
6.根据权利要求5所述的虚拟现实种植牙力反馈磨钻计算装置，其特征在于：该装置的虚拟仿真模型都是三角面片模型。
7.根据权利要求6所述的虚拟现实种植牙力反馈磨钻计算装置，其特征在于：该装置的模块都整合进Unity3D平台进行处理。
8.根据权利要求7所述的虚拟现实种植牙力反馈磨钻计算装置，其特征在于：力反馈具体体现在使用不同的磨钻工具钻孔时的效果。
9.根据权利要求8所述的虚拟现实种植牙力反馈磨钻计算装置的方法，其特征在于：操作顺序为：术前规划、术中操作、术后评估三个步骤，具体的步骤包括：
(1)打开软件，输入登陆账号密码，进行金标准选择，或自定义金标准位置和要求；
(2)点击球钻，使用球钻进行标志开始点的定位磨骨；
(3)点击测深针，进行测量判断角度位置是否合适；
(4)点击先锋钻进行第二次磨骨；
(4)测深针进行第二次判断；
(5)选择3.5mm、4.0mm、或4.8mm扩孔钻；
(6)测深针；
(7)成型钻进行通道的成型；
(8)功丝钻打出螺纹,并用棉球进行止血操作；
(9)植入螺体且使用虚拟固定扳手和螺丝刀进行固定；
(10)完成后对人员最终固定的牙齿与金标准的角度和位置偏差以及使用时间以及误触其他组织次数来判断人员分数，给出评论结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211496247.8A CN115798291A (zh) | 2022-11-24 | 2022-11-24 | 虚拟现实种植牙力反馈磨钻计算装置与方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211496247.8A CN115798291A (zh) | 2022-11-24 | 2022-11-24 | 虚拟现实种植牙力反馈磨钻计算装置与方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115798291A true CN115798291A (zh) | 2023-03-14 |
Family
ID=85441903
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211496247.8A Pending CN115798291A (zh) | 2022-11-24 | 2022-11-24 | 虚拟现实种植牙力反馈磨钻计算装置与方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115798291A (zh) |
-
2022
- 2022-11-24 CN CN202211496247.8A patent/CN115798291A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103999129B (zh) | 用于生成骨板设计的技术 | |
| Wang et al. | iDental: a haptic-based dental simulator and its preliminary user evaluation | |
| US9183764B2 (en) | Method for manufacturing three-dimensional molded model and support tool for medical treatment, medical training, research, and education | |
| US9694539B2 (en) | Endodontic treatment simulation system | |
| CN106821496B (zh) | 一种经皮椎间孔镜手术精准规划系统及方法 | |
| JP6974879B2 (ja) | 歯科シミュレーション用のモデル生成 | |
| KR20160004862A (ko) | 환자맞춤형 치아교정 모의시술과 이를 통한 시뮬레이션 및 치아 교정장치 또는 치아교정 시술유도장치 제작방법 | |
| CN109118834A (zh) | 一种虚拟种植牙手术训练系统 | |
| CN113035038A (zh) | 一种虚拟骨科手术练习系统及模拟训练方法 | |
| CN110236673A (zh) | 一种基于数据库的双侧颌骨缺损重建术前设计方法及装置 | |
| Tai et al. | A high-immersive medical training platform using direct intraoperative data | |
| CN115457008A (zh) | 腹腔实时穿刺虚拟仿真培训方法及装置 | |
| CN115798291A (zh) | 虚拟现实种植牙力反馈磨钻计算装置与方法 | |
| Marras et al. | Virtual dental patient: a system for virtual teeth drilling | |
| KR20200080534A (ko) | 가상현실 기반 이비인후과 및 신경외과 시뮬레이터의 수술 평가 시스템 | |
| Scharver et al. | Pre-surgical cranial implant design using the PARIS/spl trade/prototype | |
| Show et al. | Haptics: The virtual reality in periodontics | |
| CN117316393B (zh) | 一种精度调整的方法、装置、设备、介质和程序产品 | |
| Amini | USING VISUALIZATION AND MODELLING TO IMPROVE PRE-SURGICAL DECISION-MAKING IN BREAST RECONSTRUCTION SURGERY | |
| KR20240022746A (ko) | 수술 시뮬레이션을 제공하는 방법 및 장치 | |
| CN117770950A (zh) | 一种耳廓模型的构建和定位系统及方法 | |
| TW201325564A (zh) | 口腔內手術導引治療及訓練之方法 | |
| CN115222887A (zh) | 一种基于容貌的颅颌面骨骼手术规划的设计方法 | |
| CN115454254A (zh) | 内窥镜引导下的经鼻腔虚拟仿真手术方法及装置 | |
| Noborio et al. | Development of Human Interface Software in Our Dental Surgical System Based on Mixed Reality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |