CN114587657B - 一种基于混合现实技术的口腔种植辅助导航方法及系统 - Google Patents
一种基于混合现实技术的口腔种植辅助导航方法及系统 Download PDFInfo
- Publication number
- CN114587657B CN114587657B CN202210115253.8A CN202210115253A CN114587657B CN 114587657 B CN114587657 B CN 114587657B CN 202210115253 A CN202210115253 A CN 202210115253A CN 114587657 B CN114587657 B CN 114587657B
- Authority
- CN
- China
- Prior art keywords
- marker
- coordinate
- coordinate system
- implant
- under
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002513 implantation Methods 0.000 title claims abstract description 30
- 238000005516 engineering process Methods 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 title claims abstract description 21
- 239000003550 marker Substances 0.000 claims abstract description 102
- 239000007943 implant Substances 0.000 claims abstract description 82
- 239000011521 glass Substances 0.000 claims abstract description 22
- 210000000214 mouth Anatomy 0.000 claims abstract description 21
- 238000012544 monitoring process Methods 0.000 claims abstract description 13
- 238000006243 chemical reaction Methods 0.000 claims description 32
- 210000004086 maxillary sinus Anatomy 0.000 claims description 29
- 210000002698 mandibular nerve Anatomy 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000011161 development Methods 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 210000000988 bone and bone Anatomy 0.000 description 6
- 206010061218 Inflammation Diseases 0.000 description 3
- 230000004054 inflammatory process Effects 0.000 description 3
- 210000004373 mandible Anatomy 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 210000002050 maxilla Anatomy 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 208000016607 Mandibular Nerve injury Diseases 0.000 description 1
- 206010044048 Tooth missing Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 210000001909 alveolar process Anatomy 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000037182 bone density Effects 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000035876 healing Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000004746 tooth root Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C8/00—Means to be fixed to the jaw-bone for consolidating natural teeth or for fixing dental prostheses thereon; Dental implants; Implanting tools
- A61C8/0089—Implanting tools or instruments
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C19/00—Dental auxiliary appliances
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Engineering & Computer Science (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Robotics (AREA)
- Pathology (AREA)
- Dentistry (AREA)
- Epidemiology (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Gynecology & Obstetrics (AREA)
- Radiology & Medical Imaging (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
Abstract
本发明涉及口腔种植技术领域，特别涉及一种基于混合现实技术的口腔种植辅助导航方法及系统。所述辅助导航方法包括：构建患者口腔AR显示模型；对所述第一标志物和第二标志物进行实时扫描，生成第一标志物图像和第二标志物图像，虚拟图像与现实口内环境融合；基于双目视觉slam算法，计算得到AR显示模型和种植体在投影坐标系下的坐标位置；实时监测种植体与AR显示模型的相对位置，提示种植导航规划路径。本发明基于混合现实技术，将口腔内环境通过AR眼镜技术进行展示，便于医生进行手术。并且系统应用了双目相机和双目视觉slam算法，提高了监测和导航精度，确保治疗的可靠性、安全性。
Description
技术领域
本发明属于口腔种植技术领域，特别涉及一种基于混合现实技术的口腔种植辅助导航方法及系统。
背景技术
口腔种植是指通过外科手术的方式，将口腔种植体植入人体缺牙部位的上下颌骨内，待其手术伤口愈合后，在其上部安装修复假牙的装置。口腔种植区域在牙槽骨上，分为上颌骨下缘、下颌骨的上缘镶嵌牙根的部位。上、下颌骨的牙槽突部分，由骨皮质、骨松质和固有牙槽骨构成。
上颌骨体内的有一个锥形空腔，即上颌窦。上颌后牙的牙根都位于上颌窦底下方，且与上颌窦底距离较近，部分区域牙根尖端仅有薄薄的骨板与上颌窦隔开。由于上颌窦区域牙根与上颌窦距离近，所以牙源性的炎症极易波及上颌窦，引起上颌窦炎症。下颌神经管是下颌骨内骨松质间的骨密度管道，起自下颌小舌上方的下颌孔，沿着下颌升支舌侧向下前行至下颌体部，向前行走于根尖下方，前行中渐靠近颊侧骨板，至颏孔穿出，呈S型，在垂直轴呈凸向前下方的弧形。在种植手术很可能会出现的下颌神经损伤的情况。
因此，在种植手术中，需要非常高的种植精度，防止种植体错位，引起的下颌神经损伤或者引起上颌窦炎症。
发明内容
针对上述问题，本发明提供了一种基于混合现实技术的口腔种植辅助导航方法，所述辅助导航方法包括：
在患者牙齿上预装第一标志物，在种植手机上预装第二标志物；
构建患者口腔AR显示模型，识别并对AR显示模型中上颌窦和/或下颌神经管进行标记；
对所述第一标志物和第二标志物进行实时扫描，生成第一标志物图像和第二标志物图像；
基于双目视觉slam算法，分别对第一标志物图像和第二标志物图像进行计算处理，得到第一标志物和第二标志物在双目相机坐标系下的坐标位置；
将AR显示模型和第一标志物进行配准，通过第一标志物在双目相机坐标系下的坐标位置，计算得到AR显示模型在双目相机坐标系下的坐标位置；
通过第二标志物在双目相机坐标系下的坐标位置，计算得到种植手机上的种植体在双目相机坐标系下的坐标位置；
通过预设转换关系，将AR显示模型和种植体在双目相机坐标系下的坐标位置，分别转换为AR显示模型和种植体在投影坐标系下的坐标位置；
实时监测并提示种植体与AR显示模型的相对位置。
进一步的，所述构建患者口腔的AR显示模型包括：
获取患者口腔内的CT影像数据，并通过植体设计软件，根据CT影像数据制作出种植体术前规划模型文件；
基于所述种植体术前规划模型文件，通过模型制作软件，制作得到患者口腔的AR显示模型。
进一步的，所述种植体术前规划模型文件采用stl格式；
所述植体设计软件采用MIMICS软件、Amira软件、Avizo软件、ORS Visual软件中的一种；
所述模型制作软件采用Unity实时内容开发平台。
进一步的，所述识别并对AR显示模型中上颌窦和/或下颌神经管进行标记，包括：
基于AI深度学习算法和图像识别算法，建立口腔结构识别模型；
根据口腔结构识别模型，对AR显示模型进行分析，识别出上颌窦和/或下颌神经管的位置，并进行颜色标记。
进一步的，在所述AR显示模型上，对应标记出第一标志物所在位置，记为第一标志物的标记点。
进一步的，所述计算得到AR显示模型在双目相机坐标系下的坐标位置，包括：
获取第一标志物在双目相机坐标系下的坐标位置；
将AR显示模型中第一标志物的标记点，与第一标志物重叠匹配，得到AR显示模型中各区域在双目相机坐标系下的坐标位置。
进一步的，所述预设的转换关系，包括：
将目标物在双目相机坐标系下的坐标位置，通过第一坐标转换关系，转换为目标物在世界坐标系下的坐标位置；
将目标物在世界坐标系下的坐标位置，通过第二坐标转换关系，转换为目标物在投影坐标系下的坐标位置。
进一步的，所述AR显示模型在投影坐标系下的坐标位置，包括但不限于种植区域、上颌窦和下颌神经管在投影坐标系下的坐标位置。
进一步的，所述实时监测并提示种植体与AR显示模型的相对位置包括：
实时获取种植体和AR显示模型在投影坐标系下的坐标位置；
当种植体的坐标位置与种植区域的坐标位置重合，发出提示音；
当种植体的坐标位置与上颌窦或下颌神经管的坐标位置接近时，发出警报音。
本发明还提供了一种基于混合现实技术的口腔种植辅助导航系统，所述辅助导航系统包括：双目相机、处理器和AR眼镜；所述处理器包括模型构建模块、坐标计算模块和坐标转换模块；
所述双目相机，用于对牙齿上的第一标志物和种植手机上的第二标志物进行扫描，实时生成第一标志物图像和第二标志物图像；
所述模型构建模块用于构建患者口腔AR显示模型，识别并对AR显示模型中上颌窦和/或下颌神经管进行标记；
所述坐标计算模块，用于获取第一标志物图像和第二标志物图像；应用双目视觉slam算法，分别对第一标志物图像和第二标志物图像进行计算处理，得到第一标志物和第二标志物在双目相机坐标系下的坐标位置；将AR显示模型和第一标志物进行配准，通过第一标志物在双目相机坐标系下的坐标位置，计算得到AR显示模型在双目相机坐标系下的坐标位置；通过第二标志物在双目相机坐标系下的坐标位置，计算得到种植手机上的种植体在双目相机坐标系下的坐标位置；
所述坐标转换模块，用于通过预设转换关系，将AR显示模型和种植体在双目相机坐标系下的坐标位置，分别转换为AR显示模型和种植体在投影坐标系下的坐标位置；
所述AR眼镜，用于实时监测并提示种植体与AR显示模型的相对位置。
本发明的有益效果是：本发明基于混合现实技术，将口腔内环境通过AR眼镜技术进行展示，便于医生进行手术。并且系统应用了双目相机和双目视觉slam算法，提高了监测和导航精度，确保治疗的可靠性、安全性。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例的一种基于混合现实技术的口腔种植辅助导航方法的流程示意图；
图2示出了本发明实施例的对CT影像数据中种植区域和上颌窦和/或下颌神经管所在位置进行识别标记的流程示意图；
图3示出了本发明实施例的一种基于混合现实技术的口腔种植辅助导航系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种基于混合现实技术的口腔种植辅助导航方法，如图1所示，所述辅助导航方法包括：
在患者牙齿上预装第一标志物，在种植手机上预装第二标志物；
获取患者口腔内的CT影像数据，对CT影像数据中种植区域和上颌窦和/或下颌神经管所在位置进行识别标记；
根据CT影像数据，制作得到患者口腔的AR显示模型；
对牙齿上的第一标志物和种植手机上的第二标志物进行实时扫描，生成第一标志物图像和第二标志物图像；
基于双目视觉slam算法，分别对第一标志物图像和第二标志物图像进行计算处理，得到第一标志物和第二标志物在双目相机坐标系下的坐标位置；
将AR显示模型和第一标志物进行配准，通过第一标志物在双目相机坐标系下的坐标位置，计算得到AR显示模型在双目相机坐标系下的坐标位置；
通过第二标志物在双目相机坐标系下的坐标位置，计算得到种植手机上的种植体在双目相机坐标系下的坐标位置；
通过预设转换关系，将AR显示模型和种植体在双目相机坐标系下的坐标位置，分别转换为AR显示模型和种植体在投影坐标系下的坐标位置；
实时监测种植体与AR显示模型的相对位置，生成并提示种植导航规划路径。
本发明基于混合现实技术，通过AR技术对口腔内环境进行清楚展示，并且通过双目视觉slam算法，实时监测种植体与种植区域的位置，提高了辅助导航的精度，降低了手术风险。
进一步的，所述对CT影像数据中种植区域和上颌窦和/或下颌神经管所在位置进行识别标记，包括：
基于AI深度学习算法和图像识别算法，建立口腔结构识别模型；
根据口腔结构识别模型，对CT影像数据进行分析，识别出种植区域和上颌窦和/或下颌神经管的位置，并进行颜色标记。
需要说明的是，在所述CT影像数据和生成的AR显示模型上，均对应标记出了第一标志物所在位置，记为第一标志物的标记点；也对应标记出了种植区域和上颌窦和/或下颌神经管的位置。
具体的，所述制作患者口腔的AR显示模型包括：
通过植体设计软件，将CT影像数据制作为种植术前规划模型文件；
通过模型制作软件，根据种植术前规划模型文件，制作得到患者口腔的AR显示模型。
示例性的，所述种植体术前规划模型文件可采用stl格式；所述植体设计软件可采用但不限于MIMICS软件、Amira软件、Avizo软件、ORS Visual软件中的一种；所述模型制作软件可采用Unity实时内容开发平台。
具体的，所述双目相机安装在AR眼镜上，在进行空腔种植操作时，主持医生可佩戴所述AR眼镜。
进一步的，所述计算得到AR显示模型在双目相机坐标系下的坐标位置，包括：
获取第一标志物在双目相机坐标系下的坐标位置；
将AR显示模型中第一标志物的标记点，与第一标志物重叠匹配，得到AR显示模型中各区域在双目相机坐标系下的坐标位置。
具体的，所述AR显示模型中各区域在双目相机坐标系下的坐标位置，包括但不限于AR显示模型中的种植区域、上颌窦和下颌神经管在双目相机坐标系下的坐标位置。
进一步的，所述预设的转换关系，包括：
将目标物在双目相机坐标系下的坐标位置，通过第一坐标转换关系，转换为目标物在世界坐标系下的坐标位置；
将目标物在世界坐标系下的坐标位置，通过第二坐标转换关系，转换为目标物在投影坐标系下的坐标位置。
具体的，所述双目相机坐标系是指：在由双目相机构建视野空间中，设立的坐标系。双目相机在捕捉到目标物后，即可确定目标物在双目相机构建的坐标系中的坐标位置，即可知道目标物相对于双目相机的位置。
所述世界坐标系是指：在现实空间中设立的坐标系。所述通过第一坐标转换关系，转换为目标物在世界坐标系下的坐标位置是指：由于双目相机存在于现实空间中，因此双目相机在现实空间中的位置是可以确定的，根据双目相机的位置可推导出目标物在现实空间中的位置，即可确定目标物在现实世界坐标系下的坐标位置。
所述投影坐标系是指：在由AR眼镜构建的视野空间中，设立的坐标系。所述通过第二坐标转换关系，转换为目标物在投影坐标系下的坐标位置是指：由于AR眼镜构建的视野空间，是基于现实空间构建的，仅存在坐标系原点区别。因此，在确定两个坐标系原点的情况下，可根据目标物在现实世界坐标系下的坐标位置，推导出目标物在投影坐标系中的坐标位置。
示例性的，通过预设的第一坐标转换关系，将AR显示模型在双目相机坐标系下的坐标位置，转换为AR显示模型在世界坐标系下的坐标位置；
通过预设的第二坐标转换关系，将AR显示模型在世界坐标系下的坐标位置转换为AR显示模型在投影坐标系下的坐标位置。
需要说明的是，本发明提供的辅助导航方法中，通过第一标志物图像和/或第二标志物图像，获取AR显示模型和/或种植体在投影坐标系下的坐标位置的过程，不限于上述方式，也可进行顺序调整。
例如，应用双目视觉slam算法，对第一标志物图像进行计算处理，得到第一标志物在双目相机坐标系下的坐标位置；通过预设的第一坐标转换关系，将第一标志物在双目相机坐标系下的坐标位置，转换为第一标志物在世界坐标系下的坐标位置；通过第一标志物匹配，对AR显示模型进行配准，获取AR显示模型在世界坐标系下的坐标位置；通过预设的第二坐标转换关系，将AR显示模型在世界坐标系下的坐标位置，转换为AR显示模型在投影坐标系下的坐标位置。
具体的，所述AR显示模型在投影坐标系下的坐标位置，包括但不限于种植区域、上颌窦和下颌神经管在投影坐标系下的坐标位置。
进一步的，所述实时监测种植体与AR显示模型的相对位置，生成并提示种植导航规划路径包括：
实时获取种植体和AR显示模型在投影坐标系下的坐标位置；
根据种植体与种植区域在投影坐标系下的坐标位置，生成种植导航规划路径，并在AR眼镜中进行显示提示；
当种植体与种植区域在投影坐标系下的坐标位置重合，即种植体到达种植区域，发出提示音；
当种植体与上颌窦或下颌神经管在投影坐标系下的坐标位置接近时，即种植体偏离种植区域，发出警报音。
需要说明的是，此处提到的两者坐标位置接近，可通过设置距离阈值实现，此处不做赘述。
另外，所述种植体和AR显示模型均可在AR眼镜构建的视野空间中显示，医生可通过AR眼镜中显示的场景，进行手术操作。
通过对患者口腔内结构进行AR显示，确保口腔环境无死角，提高了手术的精准度和安全性。
在上述辅助导航方法的基础上，本发明实施例还提供了一种基于混合现实技术的口腔种植辅助导航系统，如图2所示，所述辅助导航系统包括：双目相机、处理器和AR眼镜，用于执行上述辅助导航系统；所述双目相机安装在AR眼镜上，且双目相机和AR眼镜均和处理器连接。
所述双目相机，用于对牙齿上的第一标志物和种植手机上的第二标志物进行扫描，实时生成第一标志物图像和第二标志物图像。
所述处理器包括模型构建模块、坐标计算模块和坐标转换模块。
所述模型构建模块，用于获取患者口腔内的CT影像数据，对CT影像数据中种植区域和上颌窦和/或下颌神经管所在位置进行识别标记；根据CT影像数据，制作得到患者口腔AR显示模型；
所述坐标计算模块，用于获取第一标志物图像和第二标志物图像；应用双目视觉slam算法，分别对第一标志物图像和第二标志物图像进行计算处理，得到第一标志物和第二标志物在双目相机坐标系下的坐标位置；将AR显示模型和第一标志物进行配准，通过第一标志物在双目相机坐标系下的坐标位置，计算得到AR显示模型在双目相机坐标系下的坐标位置；通过第二标志物在双目相机坐标系下的坐标位置，计算得到种植手机上的种植体在双目相机坐标系下的坐标位置；
所述坐标转换模块，用于通过预设转换关系，将AR显示模型和种植体在双目相机坐标系下的坐标位置，分别转换为AR显示模型和种植体在投影坐标系下的坐标位置；
所述AR眼镜，用于实时监测种植体与AR显示模型的相对位置，生成并提示种植导航规划路径。
需要说明的是，所述AR眼镜还用于获取并显示AR显示模型。
具体的，所述模型构建模块中封装有植体设计软件和模型制作软件，以及口腔结构识别模型。
示例性的，所述种植体术前规划模型文件可采用stl格式；所述植体设计软件可采用但不限于MIMICS软件、Amira软件、Avizo软件、ORS Visual软件中的一种；所述模型制作软件可采用Unity实时内容开发平台；所述口腔结构识别模型基于AI深度学习算法和图像识别算法构建。
本发明基于混合现实技术，将口腔内环境通过AR眼镜进行展示，便于医生进行手术。并且系统应用了双目相机和双目视觉slam算法，提高了监测精度，确保导航的准确性、可靠性。
尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种基于混合现实技术的口腔种植辅助导航方法，其特征在于，所述辅助导航方法包括：
在患者牙齿上预装第一标志物，在种植手机上预装第二标志物；
获取患者口腔内的CT影像数据，对CT影像数据中种植区域和上颌窦和/或下颌神经管所在位置进行识别标记；
根据CT影像数据，制作得到患者口腔的AR显示模型；
对所述第一标志物和第二标志物进行实时扫描，生成第一标志物图像和第二标志物图像；
基于双目视觉slam算法，分别对第一标志物图像和第二标志物图像进行计算处理，得到第一标志物和第二标志物在双目相机坐标系下的坐标位置；
将AR显示模型和第一标志物进行配准，通过第一标志物在双目相机坐标系下的坐标位置，计算得到AR显示模型在双目相机坐标系下的坐标位置；
通过第二标志物在双目相机坐标系下的坐标位置，计算得到种植手机上的种植体在双目相机坐标系下的坐标位置；
通过预设转换关系，将AR显示模型和种植体在双目相机坐标系下的坐标位置，分别转换为AR显示模型和种植体在投影坐标系下的坐标位置；其中，所述预设的转换关系，包括：将目标物在双目相机坐标系下的坐标位置，通过第一坐标转换关系，转换为目标物在世界坐标系下的坐标位置；将目标物在世界坐标系下的坐标位置，通过第二坐标转换关系，转换为目标物在投影坐标系下的坐标位置；
实时监测种植体与AR显示模型的相对位置，生成并提示种植导航规划路径。
2.根据权利要求1所述的一种基于混合现实技术的口腔种植辅助导航方法，其特征在于，所述对CT影像数据中种植区域和上颌窦和/或下颌神经管所在位置进行识别标记，包括：
基于AI深度学习算法和图像识别算法，建立口腔结构识别模型；
根据口腔结构识别模型，对CT影像数据进行分析，识别出种植区域和上颌窦和/或下颌神经管的位置，并进行颜色标记。
3.根据权利要求1所述的一种基于混合现实技术的口腔种植辅助导航方法，其特征在于，所述制作患者口腔的AR显示模型包括：
通过植体设计软件，将CT影像数据制作为种植术前规划模型文件；
通过模型制作软件，根据种植术前规划模型文件，制作得到患者口腔的AR显示模型。
4.根据权利要求3所述的一种基于混合现实技术的口腔种植辅助导航方法，其特征在于，所述种植体术前规划模型文件采用stl格式；
所述植体设计软件采用MIMICS软件、Amira软件、Avizo软件、ORS Visual软件中的一种；
所述模型制作软件采用Unity实时内容开发平台。
5.根据权利要求2所述的一种基于混合现实技术的口腔种植辅助导航方法，其特征在于，在所述AR显示模型上，对应标记出第一标志物所在位置，记为第一标志物的标记点。
6.根据权利要求5所述的一种基于混合现实技术的口腔种植辅助导航方法，其特征在于，所述计算得到AR显示模型在双目相机坐标系下的坐标位置，包括：
获取第一标志物在双目相机坐标系下的坐标位置；
将AR显示模型中第一标志物的标记点，与第一标志物重叠匹配，得到AR显示模型中各区域在双目相机坐标系下的坐标位置。
7.根据权利要求1-6中任一所述的一种基于混合现实技术的口腔种植辅助导航方法，其特征在于，所述AR显示模型在投影坐标系下的坐标位置，包括种植区域、上颌窦和下颌神经管在投影坐标系下的坐标位置。
8.根据权利要求1中任一所述的一种基于混合现实技术的口腔种植辅助导航方法，其特征在于，所述实时监测种植体与AR显示模型的相对位置，提示种植导航规划路径包括：
实时获取种植体和AR显示模型在投影坐标系下的坐标位置；
根据种植体与种植区域在投影坐标系下的坐标位置，生成种植导航规划路径，并在AR眼镜中进行显示提示；
当种植体与种植区域在投影坐标系下的坐标位置重合，发出提示音；
当种植体与上颌窦或下颌神经管在投影坐标系下的坐标位置接近时，发出警报音。
9.一种基于混合现实技术的口腔种植辅助导航系统，其特征在于，所述辅助导航系统包括：双目相机、处理器和AR眼镜；所述双目相机安装在AR眼镜上，且双目相机和AR眼镜均和处理器连接；所述处理器包括模型构建模块、坐标计算模块和坐标转换模块；
所述双目相机，用于对牙齿上的第一标志物和种植手机上的第二标志物进行扫描，实时生成第一标志物图像和第二标志物图像；
所述模型构建模块，用于获取患者口腔内的CT影像数据，对CT影像数据中种植区域和上颌窦和/或下颌神经管所在位置进行识别标记；根据CT影像数据，制作得到患者口腔AR显示模型；
所述坐标计算模块，用于获取第一标志物图像和第二标志物图像；应用双目视觉slam算法，分别对第一标志物图像和第二标志物图像进行计算处理，得到第一标志物和第二标志物在双目相机坐标系下的坐标位置；将AR显示模型和第一标志物进行配准，通过第一标志物在双目相机坐标系下的坐标位置，计算得到AR显示模型在双目相机坐标系下的坐标位置；通过第二标志物在双目相机坐标系下的坐标位置，计算得到种植手机上的种植体在双目相机坐标系下的坐标位置；
所述坐标转换模块，用于通过预设转换关系，将AR显示模型和种植体在双目相机坐标系下的坐标位置，分别转换为AR显示模型和种植体在投影坐标系下的坐标位置；其中，所述预设的转换关系，包括：将目标物在双目相机坐标系下的坐标位置，通过第一坐标转换关系，转换为目标物在世界坐标系下的坐标位置；将目标物在世界坐标系下的坐标位置，通过第二坐标转换关系，转换为目标物在投影坐标系下的坐标位置；
所述AR眼镜，用于实时监测种植体与AR显示模型的相对位置，生成并提示种植导航规划路径。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210115253.8A CN114587657B (zh) | 2022-02-06 | 2022-02-06 | 一种基于混合现实技术的口腔种植辅助导航方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210115253.8A CN114587657B (zh) | 2022-02-06 | 2022-02-06 | 一种基于混合现实技术的口腔种植辅助导航方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114587657A CN114587657A (zh) | 2022-06-07 |
| CN114587657B true CN114587657B (zh) | 2024-05-31 |
Family
ID=81806261
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210115253.8A Active CN114587657B (zh) | 2022-02-06 | 2022-02-06 | 一种基于混合现实技术的口腔种植辅助导航方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114587657B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115624384B (zh) * | 2022-10-18 | 2024-03-22 | 方田医创(成都)科技有限公司 | 基于混合现实技术的手术辅助导航系统、方法和存储介质 |
| CN115778544B (zh) * | 2022-12-05 | 2024-02-27 | 方田医创(成都)科技有限公司 | 基于混合现实的手术导航精度指示系统、方法和存储介质 |
| CN117731439B (zh) * | 2023-12-28 | 2024-10-01 | 中国人民解放军联勤保障部队第九〇四医院 | 一种口腔种植定位方法和系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9495783B1 (en) * | 2012-07-25 | 2016-11-15 | Sri International | Augmented reality vision system for tracking and geolocating objects of interest |
| CN107374729A (zh) * | 2017-08-21 | 2017-11-24 | 上海霖晏医疗科技有限公司 | 基于ar技术的手术导航系统及方法 |
| CN108742898A (zh) * | 2018-06-12 | 2018-11-06 | 中国人民解放军总医院 | 基于混合现实的口腔种植导航系统 |
| CN109512514A (zh) * | 2018-12-07 | 2019-03-26 | 陈玩君 | 一种混合现实骨科微创手术导航系统及使用方法 |
| CN110353806A (zh) * | 2019-06-18 | 2019-10-22 | 北京航空航天大学 | 用于微创全膝关节置换手术的增强现实导航方法及系统 |
| CN111297501A (zh) * | 2020-02-17 | 2020-06-19 | 北京牡丹电子集团有限责任公司 | 一种口腔种植手术增强现实导航方法和系统 |
| CN111728697A (zh) * | 2020-07-21 | 2020-10-02 | 中国科学技术大学 | 一种基于头戴式三维增强现实设备的手术训练和导航装置 |
| CN112545649A (zh) * | 2020-12-02 | 2021-03-26 | 中国科学院自动化研究所 | 基于混合现实的股骨头髓芯减压手术导航实现系统 |
| CN112972027A (zh) * | 2021-03-15 | 2021-06-18 | 四川大学 | 一种利用混合现实技术的正畸微种植体植入定位方法 |
| EP3858280A1 (en) * | 2020-01-29 | 2021-08-04 | Erasmus University Rotterdam Medical Center | Surgical navigation system with augmented reality device |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112584760B (zh) * | 2019-04-29 | 2024-08-06 | 上海联影医疗科技股份有限公司 | 用于对象摆位和图像引导手术的系统和方法 |
| CA3142148A1 (en) * | 2019-05-29 | 2020-12-03 | Stephen B. Murphy | Systems and methods for utilizing augmented reality in surgery |
| TWI741359B (zh) * | 2019-08-30 | 2021-10-01 | 國立中央大學 | 與手術導航系統整合之混合實境系統 |
-
2022
- 2022-02-06 CN CN202210115253.8A patent/CN114587657B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9495783B1 (en) * | 2012-07-25 | 2016-11-15 | Sri International | Augmented reality vision system for tracking and geolocating objects of interest |
| CN107374729A (zh) * | 2017-08-21 | 2017-11-24 | 上海霖晏医疗科技有限公司 | 基于ar技术的手术导航系统及方法 |
| CN108742898A (zh) * | 2018-06-12 | 2018-11-06 | 中国人民解放军总医院 | 基于混合现实的口腔种植导航系统 |
| CN109512514A (zh) * | 2018-12-07 | 2019-03-26 | 陈玩君 | 一种混合现实骨科微创手术导航系统及使用方法 |
| CN110353806A (zh) * | 2019-06-18 | 2019-10-22 | 北京航空航天大学 | 用于微创全膝关节置换手术的增强现实导航方法及系统 |
| EP3858280A1 (en) * | 2020-01-29 | 2021-08-04 | Erasmus University Rotterdam Medical Center | Surgical navigation system with augmented reality device |
| CN111297501A (zh) * | 2020-02-17 | 2020-06-19 | 北京牡丹电子集团有限责任公司 | 一种口腔种植手术增强现实导航方法和系统 |
| CN111728697A (zh) * | 2020-07-21 | 2020-10-02 | 中国科学技术大学 | 一种基于头戴式三维增强现实设备的手术训练和导航装置 |
| CN112545649A (zh) * | 2020-12-02 | 2021-03-26 | 中国科学院自动化研究所 | 基于混合现实的股骨头髓芯减压手术导航实现系统 |
| CN112972027A (zh) * | 2021-03-15 | 2021-06-18 | 四川大学 | 一种利用混合现实技术的正畸微种植体植入定位方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114587657A (zh) | 2022-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114587657B (zh) | 一种基于混合现实技术的口腔种植辅助导航方法及系统 | |
| KR101687821B1 (ko) | 증강현실을 이용한 치과 수술 방법 | |
| US11229503B2 (en) | Implant surgery guiding method | |
| US20140234804A1 (en) | Assisted Guidance and Navigation Method in Intraoral Surgery | |
| CN111407443A (zh) | 一种用于口腔种植机器人的精确定位及智能导航方法 | |
| US20170231718A1 (en) | System and Method for Guiding Medical Instruments | |
| KR101474098B1 (ko) | 파노라마 엑스선 장치 및 파노라마 이미징을 위한 이미징될 층의 위치 설정 | |
| CN112972027A (zh) | 一种利用混合现实技术的正畸微种植体植入定位方法 | |
| CN112885436B (zh) | 一种基于增强现实三维成像的牙科手术实时辅助系统 | |
| CN113855287B (zh) | 一种带评估种植精度的口腔种植手术机器人及控制方法 | |
| EP4026513A1 (en) | Treatment support system and alignment device | |
| KR20210121093A (ko) | 시술지원시스템, 처리장치 및 플레이트 | |
| CN116737031A (zh) | 一种基于混合现实的牙根信息可视化系统及方法 | |
| CN113133802A (zh) | 一种基于机器学习的骨手术线自动定点方法 | |
| CN111931843A (zh) | 一种基于图像处理的监控牙齿位置的方法 | |
| CN112545650A (zh) | 一种用于牙科的导航定位方法及系统 | |
| CN114176806B (zh) | 一种正畸种植支抗植入导板及其制作方法 | |
| CN217090890U (zh) | 一种无牙颌导航装置 | |
| RU2739116C1 (ru) | Способ позиционирования скуловых имплантов и лазерный указатель, используемый в способе | |
| CN112969414B (zh) | 用于准备x射线图像的方法，用于拍摄x射线图像的方法，用于数据处理的设备，计算机程序产品，介质和x射线机器 | |
| KR102532524B1 (ko) | 가상환경의 가상 치아 발치 실습 시스템 및 방법 | |
| CN115714842A (zh) | 一种基于ar眼镜的自动化口腔种植手术记录的方法 | |
| CN117731439B (zh) | 一种口腔种植定位方法和系统 | |
| CN113317872B (zh) | 一种口内切口的下颌骨手术空间建模方法 | |
| KR102657538B1 (ko) | Ai 기술을 활용한 치과 치료 시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |