CN112451070A - 一种基于HoloLens的游离腓骨瓣重建颌骨系统 - Google Patents

一种基于HoloLens的游离腓骨瓣重建颌骨系统 Download PDF

Info

Publication number
CN112451070A
CN112451070A CN202011104092.XA CN202011104092A CN112451070A CN 112451070 A CN112451070 A CN 112451070A CN 202011104092 A CN202011104092 A CN 202011104092A CN 112451070 A CN112451070 A CN 112451070A
Authority
CN
China
Prior art keywords
fibula
hololens
module
jaw bone
reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011104092.XA
Other languages
English (en)
Inventor
张韬
孟凡皓
朱智慧
张小辉
张朔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Original Assignee
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking Union Medical College Hospital Chinese Academy of Medical Sciences filed Critical Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Priority to CN202011104092.XA priority Critical patent/CN112451070A/zh
Publication of CN112451070A publication Critical patent/CN112451070A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/56—Surgical instruments or methods for treatment of bones or joints; Devices specially adapted therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/56—Surgical instruments or methods for treatment of bones or joints; Devices specially adapted therefor
    • A61B2017/568—Surgical instruments or methods for treatment of bones or joints; Devices specially adapted therefor produced with shape and dimensions specific for an individual patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Robotics (AREA)
  • Surgical Instruments (AREA)

Abstract

一种基于HoloLens的游离腓骨瓣重建颌骨系统，包括HoloLens和XBOX手柄，HoloLens内安装有重建软件，重建软件内集成有XBOX控制模块，重建软件的安装包括重建出患者完整的颌骨模拟模型和腓骨模拟模型、对病变颌骨部分进行模拟切除，确定出最佳截骨路径、根据截骨路径模拟出与病变颌骨形状最为接近的腓骨模拟模型、将重建好的方案导入Unity3D项目并打包安装到HoloLens内，本发明利用XBOX手柄控制重建软件中的腓骨虚拟图像，通过移动、旋转、调整透明度帮助医生将虚拟图像调整到视野中并患者腓骨的位置重合，从而能精确的确定患者腓骨的截骨位置，省略了传统游离腓骨瓣重建颌骨术前需要制作3D打印导板的环节，减轻了术者的经济负担。

Description

一种基于HoloLens的游离腓骨瓣重建颌骨系统
技术领域
本发明涉及医疗领域，特别是一种基于HoloLens的游离腓骨瓣重建颌骨系统。
背景技术
近年来，由于生长发育问题、交通事故和面部肿瘤等因素引起的颌骨缺损和畸形病例呈不断上升趋势，针对这一病症，目前国内大部分医院的口腔颌面外科医生在实施这类手术的方法是，通过患者所拍摄的CT，观察出病变的区域并通过专业医学软件重建三维模型并制定相应的手术方案，再切取人体中的正常骨骼来重建颌骨，在选取骨骼的时候，腓骨因其骨量充足，厚度适宜，能为后期种植修复提供良好基础；且腓骨具有双重血供，易成活；腓动静脉解剖位置恒定直径较粗，易吻合等优点，因此，腓骨成为重建颌骨的优选骨骼。
为实现精准的下颌骨重建，在游离腓骨瓣重建颌骨术前需要进行虚拟手术方案设计，之后根据虚拟手术方案制利用3D打印技术制作出截骨导板，医生在3D打印导板的指导下完成手术，但3D打印不仅耗时较长，而且费用较高，导致患者的经济负担加重。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于HoloLens的游离腓骨瓣重建颌骨系统，以解决上述技术背景中所提出的问题。
本发明的目的是通过以下技术方案来实现的：
一种基于HoloLens的游离腓骨瓣重建颌骨系统，包括HoloLens和XBOX手柄，所述HoloLens与XBOX手柄连接，HoloLens内安装有重建软件，所述重建软件内集成有XBOX 控制模块，其中，重建软件的安装包括以下步骤：
S1、利用CT扫描设备对颌骨病变的患者进行头部CT及双下肢CTA检查，并将扫描的影像学资料的DICOM数据导入医用软件重建出完整的颌骨模拟模型和腓骨模拟模型；
S2、利用3D软件对颌骨模拟模型和腓骨模拟模型进行处理，对颌骨病变部分进行模拟切除，确定出最佳截骨方案；
S3、选取距离踝关节6-8cm的近心端腓骨段，调整长度及角度，根据截骨路径模拟切割出与病变颌骨形状最为接近的腓骨模拟模型；
S4、将重建好的方案导入Unity3D项目并打包安装到HoloLens内。
所述XBOX控制模块包括旋转模块、移动模块、透明模块以及消失模块；
所述移动模块包括快速移动模块和精确移动模块，所述快速移动模块和精确移动模块分别用于HoloLens中腓骨虚拟图像的快速移动和精确移动；
所述旋转模块包括快速旋转模块和精确旋转模块，所述快速旋转模块和精确旋转模块分别用于HoloLens中腓骨虚拟图像的快速旋转和精确旋转；
所述透明模块用于将HoloLens中腓骨虚拟图像设置为透明状态；
所述消失模块用于将旋转模块和移动模块设置为消失状态。
进一步的，在步骤S2中，所述3D软件为3dsMax。
进一步的，所述HoloLens与XBOX手柄之间的连接方式为蓝牙连接。
本发明的有益效果是：本发明将游离腓骨瓣重建颌骨的术前方案导入重建软件，借助 HoloLens混合现实技术将手术方案呈现在眼前，利用XBOX手柄控制重建软件中的腓骨虚拟图像，通过移动、旋转、调整透明度帮助医生将虚拟图像调整到视野中并患者腓骨的位置重合，从而能精确的确定患者腓骨的截骨位置和角度，省略了传统游离腓骨瓣重建颌骨术前需要制作3D打印导板的环节，不仅缩短了手术时间，而且减轻了患者的经济负担。
附图说明
图1为本发明的组成框图；
图2为本发明XBOX控制模块的组成框图；
图3为本发明重建软件的安装流程框图；
图4为本发明HoloLens中虚拟腓骨的移动示意图；
图5为本发明HoloLens中虚拟腓骨的旋转示意图；
图6为本发明HoloLens中虚拟腓骨的透明示意图；
图7为本发明HoloLens中旋转和移动按钮的消失示意图。
图中，1-HoloLens，2-XBOX手柄，3-重建软件，4-XBOX控制模块，41-旋转模块，42-移动模块，43-透明模块，44-消失模块，411-快速旋转模块，412-精确旋转模块，421-快速移动模块，422-精确移动模块。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
实施例：
一种基于HoloLens的游离腓骨瓣重建颌骨系统，请参阅附图1所示，包括HoloLens1和 XBOX手柄2，所述HoloLens1与XBOX手柄2连接，HoloLens1内安装有重建软件3，所述重建软件3内集成有XBOX控制模块4，其中，参阅附图3所示，重建软件3的安装包括以下步骤：
S1、利用CT扫描设备对颌骨病变的患者进行头部CT及双下肢CTA检查，并将扫描的影像学资料的DICOM数据导入医用软件重建出完整的颌骨模拟模型和腓骨模拟模型；
S2、利用3D软件对颌骨模拟模型和腓骨模拟模型进行处理，对颌骨病变部分进行模拟切除，确定出最佳截骨方案；
S3、选取距离踝关节6-8cm的近心端腓骨段，调整长度及角度，根据截骨路径模拟切割出与病变颌骨形状最为接近的腓骨模拟模型；
S4、将重建好的方案导入Unity3D项目并打包安装到HoloLens内。
更具体的，请参阅附图2所示，XBOX控制模块4包括旋转模块41、移动模块42、透明模块43以及消失模块44；
所述移动模块42包括快速移动模块421和精确移动模块422，所述快速移动模块421 和精确移动模块422分别用于HoloLens中腓骨虚拟图像的快速移动和精确移动；
所述旋转模块41包括快速旋转模块411和精确旋转模块412，所述快速旋转模块411 和精确旋转模块412分别用于HoloLens中腓骨虚拟图像的快速旋转和精确旋转；
所述透明模块43用于将HoloLens中腓骨虚拟图像设置为透明状态；
所述消失模块44用于将旋转模块41和移动模块42设置为消失状态。
上述实施例中，作为优选，在步骤S2中，所述3D软件为3dsMax。
上述实施例中，作为优选，所述HoloLens与XBOX手柄2之间的连接方式为蓝牙连接。
本发明在实施过程中，术者通过戴上HoloLens，HoloLens将重建软件3中的虚拟腓骨图像呈现在医生眼前，更具体的，为满足术中需求，即实现虚拟腓骨与真实腓骨的完全重合，本发明在重建软件中设置有移动模块，移动模块还包括快速移动模块和精确移动模块，具体的，请参阅附图4所示：如果需要在HoloLens虚拟空间中快速的移动虚拟腓骨，可以使用光标选中腓骨，然后用手势整体拖动整根腓骨，虚拟腓骨图像就会跟随术者的手势在空间中移动，这中操作方式适用于刚打开应用软件，虚拟腓骨的初始位置距离真实腓骨较远的情况，进一步的，当虚拟腓骨移动到合适位置时，术者可以通过手势操作拖动腓骨下方左右两侧的十字光标在空间中移动，左右两侧的十字光标的位置代表虚拟腓骨的预设位置，当十字光标移动到满意的位置后，点击“ok”图标，虚拟腓骨就会自动到达该位置。
更进一步的，为更精准的实现虚拟腓骨与真实腓骨重合，本发明在重建软件中设置有旋转模块，旋转旋转模块还包括快速转动模块和精确转动模块，具体的，请参阅附图5所示：术者直接使用手势拖动滚轮，虚拟腓骨就会随术者的手势拖动而旋转，旋转的角度随术者手势的幅度改变，旋转的方向根据术者手势移动的方向而定，向上拖动即代表虚拟腓骨向外旋转，向下拖动即代表虚拟腓骨向内(向术者)旋转，当虚拟腓骨转动到合适位置使，术者通过手势操作，点击滚轮左侧的精确转动按钮，点击上下两颗按钮一次分别可以实现虚拟腓骨“逆时针”或“顺时针”旋转1°，精确旋转可以实现虚拟腓骨和真实腓骨重合后的精细调节，有助于实现虚拟腓骨图像与真实腓骨的完全重合。
更进一步的，虚拟腓骨图像与真实腓骨完全重叠后，根据虚拟图像中的截骨线来指导术者对真实腓骨进行截骨、塑形，但虚拟图像的亮度与色彩会在一定程度上遮挡医生的视线，给准确的截骨带来难度，因此本发明在重建软件中设置有透明模块，具体的，请参阅附图6 所示：术者通过使用手势操作点击“透明”按钮，可以使中间部分的虚拟腓骨图像变成透明，利于术者完成描画手术方案和截骨。
更进一步的，在术者将虚拟腓骨与真实腓骨完全重合后，为使各功能按钮不影响医生术中的截骨操作，因此本发明还在重建软件中设置有消失模块，可以选择让功能按钮消失，具体的，请参阅附图7所示：将光标选中选择“X”按钮，使用手势点击该按钮，旋转和移动等功能按钮都会消失，将光标选中左下的“十字”按钮，使用手势操作点击该按钮，旋转和移动等功能按钮将会重新出现。
综上，本发明提供的一种基于HoloLens的游离腓骨瓣重建颌骨系统，本发明将游离腓骨瓣重建颌骨的术前方案做成重建软件，借助HoloLens混合现实技术将手术方案呈现在眼前，利用XBOX手柄控制重建软件中的腓骨虚拟图像，通过移动、旋转、调整透明度帮助医生将虚拟图像调整到视野中并与患者腓骨的位置重合，从而能精确的确定患者腓骨的切割位置，省去了传统游离腓骨瓣重建颌骨术前需要制作3D打印导板的环节，不仅缩短了手术时间，而且减轻了患者的经济负担，适合推广使用。
以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (3)

1.一种基于HoloLens的游离腓骨瓣重建颌骨系统，包括HoloLens和XBOX手柄，所述HoloLens与XBOX手柄连接，其特征在于，HoloLens内安装有重建软件，所述重建软件内集成有XBOX控制模块，其中，重建软件的安装包括以下步骤：
S1、利用CT扫描设备对颌骨病变的患者进行头部CT及双下肢CTA检查，并将扫描的影像学资料的DICOM数据导入医用软件重建出完整的颌骨模拟模型和腓骨模拟模型；
S2、利用3D软件对颌骨模拟模型和腓骨模拟模型进行处理，对颌骨病变部分进行模拟切除，确定出最佳截骨方案；
S3、选取距离踝关节6-8cm的近心端腓骨段，调整长度及角度，根据截骨路径模拟切割出与病变颌骨形状最为接近的腓骨模拟模型；
S4、将重建好的方案导入Unity3D项目并打包安装到HoloLens内。
所述XBOX控制模块包括旋转模块、移动模块、透明模块以及消失模块；
所述移动模块包括快速移动模块和精确移动模块，所述快速移动模块和精确移动模块分别用于HoloLens中腓骨虚拟图像的快速移动和精确移动；
所述旋转模块包括快速旋转模块和精确旋转模块，所述快速旋转模块和精确旋转模块分别用于HoloLens中腓骨虚拟图像的快速旋转和精确旋转；
所述透明模块用于将HoloLens中腓骨虚拟图像设置为透明状态；
所述消失模块用于将旋转模块和移动模块设置为消失状态。
2.根据权利要求1所述的一种基于HoloLens的游离腓骨瓣重建颌骨系统，其特征在于，在步骤S2中，所述3D软件为3dsMax。
3.根据权利要求1所述的一种基于HoloLens的游离腓骨瓣重建颌骨系统，其特征在于，所述HoloLens与XBOX手柄之间的连接方式为蓝牙连接。
CN202011104092.XA 2020-10-15 2020-10-15 一种基于HoloLens的游离腓骨瓣重建颌骨系统 Pending CN112451070A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011104092.XA CN112451070A (zh) 2020-10-15 2020-10-15 一种基于HoloLens的游离腓骨瓣重建颌骨系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011104092.XA CN112451070A (zh) 2020-10-15 2020-10-15 一种基于HoloLens的游离腓骨瓣重建颌骨系统

Publications (1)

Publication Number Publication Date
CN112451070A true CN112451070A (zh) 2021-03-09

Family

ID=74833145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011104092.XA Pending CN112451070A (zh) 2020-10-15 2020-10-15 一种基于HoloLens的游离腓骨瓣重建颌骨系统

Country Status (1)

Country Link
CN (1) CN112451070A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113855234A (zh) * 2021-11-05 2021-12-31 黄睿明 一种用于修复下颌骨缺损的腓骨自动重建方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273668A (zh) * 2017-05-27 2017-10-20 江苏嘉纳宝医疗科技有限公司 一种基于虚拟现实技术的医疗辅助诊断方法和系统
CN107296650A (zh) * 2017-06-01 2017-10-27 西安电子科技大学 基于虚拟现实和增强现实的智能手术辅助系统
CN107822690A (zh) * 2012-05-25 2018-03-23 外科手术室公司 具有不用手的控制的混合图像/场景再现器
CN111281536A (zh) * 2020-04-03 2020-06-16 中国医学科学院北京协和医院 一种可截断腓骨重建颌骨缺损模型及其制作方法和应用
CN111880652A (zh) * 2020-07-16 2020-11-03 北京悉见科技有限公司 用于移动ar对象位置的方法、装置及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107822690A (zh) * 2012-05-25 2018-03-23 外科手术室公司 具有不用手的控制的混合图像/场景再现器
CN107273668A (zh) * 2017-05-27 2017-10-20 江苏嘉纳宝医疗科技有限公司 一种基于虚拟现实技术的医疗辅助诊断方法和系统
CN107296650A (zh) * 2017-06-01 2017-10-27 西安电子科技大学 基于虚拟现实和增强现实的智能手术辅助系统
CN111281536A (zh) * 2020-04-03 2020-06-16 中国医学科学院北京协和医院 一种可截断腓骨重建颌骨缺损模型及其制作方法和应用
CN111880652A (zh) * 2020-07-16 2020-11-03 北京悉见科技有限公司 用于移动ar对象位置的方法、装置及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113855234A (zh) * 2021-11-05 2021-12-31 黄睿明 一种用于修复下颌骨缺损的腓骨自动重建方法
CN113855234B (zh) * 2021-11-05 2024-02-23 黄睿明 一种用于修复下颌骨缺损的腓骨自动重建方法

Similar Documents

Publication Publication Date Title
Jain et al. 3-Dimensional accuracy of dynamic navigation technology in locating calcified canals
Somogyi‐Ganss et al. Accuracy of a novel prototype dynamic computer‐assisted surgery system
Ganz Presurgical planning with CT-derived fabrication of surgical guides
Ozan et al. Correlation between bone density and angular deviation of implants placed using CT-generated surgical guides
JP6275158B2 (ja) 腎除神経用のデジタル定規及びレチクル
JP2015519108A (ja) 口腔内手術中の補助ガイド方法
JP6329171B2 (ja) 位置付けツール
TWI548403B (zh) 植牙植體路徑規劃方法及系統
Zhu et al. Does intraoperative navigation improve the accuracy of mandibular angle osteotomy: Comparison between augmented reality navigation, individualised templates and free-hand techniques
CN105852956A (zh) 一种颈椎椎弓根螺钉进钉导向模板及制备方法
CN108670447B (zh) 牙根管内实时导航系统及方法
KR20190105098A (ko) 치과 진료 실습 장치 및 치과 진료 실습 시스템
CN112885436B (zh) 一种基于增强现实三维成像的牙科手术实时辅助系统
CN107616839A (zh) 一种基于3d打印重建的皮瓣穿支动脉定位方法
Zhang et al. Functional reconstruction of mandibular segment defects with individual preformed reconstruction plate and computed tomographic angiography-aided iliac crest flap
CN112451070A (zh) 一种基于HoloLens的游离腓骨瓣重建颌骨系统
Liu et al. A mixed reality-based navigation method for dental implant navigation method: A pilot study
EP2044903A2 (en) Method for making surgical guides and six degrees-of-freedom pointing device
CN109935313A (zh) 三维可视化和混合现实的医学应用
CN106667555B (zh) 一种医用骶神经穿刺定位导引系统
Martinho et al. Current applications of dynamic navigation system in endodontics: a scoping review
TW201225022A (en) Intergrated method of adapting guide-navigation systems and bio-prosthesis fabrication for dental implantation
Chen et al. Analysis of the accuracy of a dynamic navigation system in endodontic microsurgery: A prospective case series study
Wang et al. Evaluation of in vivo digital root reconstruction based on anatomical characteristics of the periodontal ligament using cone beam computed tomography
Dong et al. Application of an effective marker‐less augmented reality image guidance method in dental implant surgery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210309

RJ01 Rejection of invention patent application after publication