CN115714842B - 一种基于ar眼镜的自动化口腔种植手术记录的方法 - Google Patents

一种基于ar眼镜的自动化口腔种植手术记录的方法 Download PDF

Info

Publication number
CN115714842B
CN115714842B CN202211410672.0A CN202211410672A CN115714842B CN 115714842 B CN115714842 B CN 115714842B CN 202211410672 A CN202211410672 A CN 202211410672A CN 115714842 B CN115714842 B CN 115714842B
Authority
CN
China
Prior art keywords
patient
implant
teeth
glasses
recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211410672.0A
Other languages
English (en)
Other versions
CN115714842A (zh
Inventor
邹多宏
施旭
廖寅秀
朱明�
王子硕
王建华
杨驰
林瓊
张志愿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xvisio Technology Corp
Ninth Peoples Hospital Shanghai Jiaotong University School of Medicine
Original Assignee
Xvisio Technology Corp
Ninth Peoples Hospital Shanghai Jiaotong University School of Medicine
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xvisio Technology Corp, Ninth Peoples Hospital Shanghai Jiaotong University School of Medicine filed Critical Xvisio Technology Corp
Priority to CN202211410672.0A priority Critical patent/CN115714842B/zh
Publication of CN115714842A publication Critical patent/CN115714842A/zh
Application granted granted Critical
Publication of CN115714842B publication Critical patent/CN115714842B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Dental Prosthetics (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

本申请公开了一种基于AR眼镜的自动化口腔种植手术记录的方法,其特征在于,包括以下步骤,步骤一、制作患者牙齿的AR显示模型;步骤二、在AR显示模型上对种植位点进行标记;步骤三、在患者牙齿上预装标记物,口腔种植手术开始;步骤四、通过双目视觉slam算法识别标记物的空间位置;步骤五、将患者牙齿的AR显示模型与患者牙齿的实际空间位置重叠显示;步骤六、对手术关键工具进行扫描,获取手术关键工具的空间位置,判断是否进入手术关键阶段,若进入手术关键阶段则进行录像或拍照记录;步骤七、从患者牙齿上摘下标记物,口腔种植手术结束。本申请提供的方法实现手术关键阶段的自动化记录,整个过程无需医生进行任何操作,避免影响医生的手术状态。

Description

一种基于AR眼镜的自动化口腔种植手术记录的方法
技术领域
本申请涉及一种基于AR眼镜的自动化口腔种植手术记录的方法,属于手术自动化记录技术领域。
背景技术
口腔种植手术一般是指在口腔内种植人造牙齿,在传统口腔种植手术中,遇到特定手术阶段,医生需要拍照或者录像进行记录以便进行实时比较或者后期讨论评判使用,CN109274914A中提出利用具有摄像功能的AR眼镜进行记录,但遇到特定手术阶段时,仍然需要医生通过语音或者手势的方式发出指令控制AR眼镜进行记录。由于在手术过程中,手术状态是动态的、连续的、稍纵即逝的,如果医生需要分心去操纵AR眼镜,一方面有可能因为迟延导致AR眼镜错过记录有价值的瞬间,另一方面有可能打断医生的手术过程,导致降低手术质量。
发明内容
本申请要解决的技术问题是如何基于AR眼镜实现自动化记录口腔种植手术的特定手术阶段。
为了解决上述技术问题,本申请的技术方案是提供了一种基于AR眼镜的自动化口腔种植手术记录的方法,其特征在于,包括以下步骤,
步骤一、获取患者口腔的CT影像数据,制作患者牙齿的AR显示模型;
步骤二、在AR显示模型上对种植位点进行标记得到标记后的AR显示模型;
步骤三、在患者牙槽骨上预装标记物,医生佩戴AR眼镜,通过AR眼镜的双目相机识别到标记物时判断口腔种植手术开始;
步骤四、通过双目视觉slam算法识别标记物的空间位置;
步骤五、根据标记物与患者牙齿的相对位置关系,计算得到患者牙齿的实际空间位置,在AR眼镜的显示模组中将患者牙齿的AR显示模型与患者牙齿的实际空间位置重叠显示;
步骤六、口腔种植手术过程中,通过AR眼镜的双目相机对手术关键工具进行扫描,获取手术关键工具的空间位置,通过判断手术关键工具与患者牙齿的位置关系判断是否进入手术关键阶段,若进入手术关键阶段则进行录像或拍照记录;
步骤七、双目相机识别到医生从患者牙齿上摘下标记物,则判断口腔种植手术结束,保存记录的手术关键阶段。
优选的,所述手术关键工具为攻丝钻,所述手术关键阶段为制备种植窝,所述步骤六具体包括:
S6.1双目相机获取手术视野内图像;
S6.2持续将图像输入经过训练的神经网络用于识别攻丝钻;
S6.3神经网络识别到攻丝钻后,基于双目视觉slam算法识别攻丝钻的空间位置;
S6.4计算攻丝钻与患者牙齿的距离,当距离小于阈值d时判断进入手术关键阶段,开始录像;
S6.5双目视觉slam算法持续跟踪攻丝钻,当判断攻丝钻离开患者牙齿距离超过阈值D一段时间t后,判断手术关键阶段结束,结束录像。
优选的,所述手术关键工具为种植体,所述手术关键阶段为种植体植入,所述步骤六具体包括:
S6.1双目相机获取手术视野内图像;
S6.2持续将图像输入经过训练的神经网络用于识别种植体;
S6.3神经网络识别到种植体后,基于双目视觉slam算法识别种植体的空间位置;
S6.4计算种植体与患者种植位点的距离,当距离小于阈值d时判断进入手术关键阶段,开始录像;
S6.5双目视觉slam算法持续跟踪种植体,当判断种植体颈部与患者龈缘高度保持一致一段时间t后,判断手术关键阶段结束,结束录像。
进一步的,所述步骤三还包括在AR显示模型上对牙神经、血管、髁孔上颌窦进行标记。
更进一步的,所述步骤六中,进行录像时,同时将标记后的AR显示模型录制进影像中。
本申请优点在于,通过在患者牙齿上装标记物,利用双目相机识别标记物判断口腔种植手术的开始与结束;口腔种植手术过程中,通过标记物与种植体的相对位置关系,在AR眼镜的显示模组上将AR显示模型与患者口腔的实际空间位置重叠显示,医生透过显示模组同时观察实际患者牙齿和患者牙齿的AR显示模型,从而利用AR显示模型上标记的种植位点辅助医生进行口腔种植手术;同时,利用双目相机对手术关键工具进行识别,判断是否进入手术关键阶段,若进入手术关键阶段则进行录像或拍照记录,从而实现手术关键阶段的自动化记录,整个记录过程无需医生进行任何操作,避免影响医生的手术状态,帮助维持手术过程的连续性,同时记录下来的手术关键阶段可以用于术后的分析、教学等,也可以用于手术质量评价,同时提供关键证据规避医疗纠纷。
附图说明
图1为实施例中提供的基于AR眼镜的自动化口腔种植手术记录的方法流程图。
具体实施方式
为使本申请更明显易懂,兹以优选实施例,并配合附图作详细说明如下。
实施例
本实施例提供一种基于AR眼镜的自动化口腔种植手术记录的方法,本实施例采用的AR眼镜除用于AR显示的显示模组外,至少还要包括用于视觉采集的双目相机、用于计算的处理器和用于储存的存储模组,使用时医生佩戴AR眼镜,显示模组用于AR显示,双目相机用于视觉采集,处理器用于执行双目视觉slam算法以及神经网络算法等;
具体的,参见图1,该方法包括:
步骤一、获取患者口腔的CT影像数据,制作患者牙齿的AR显示模型;
步骤二、在AR显示模型上对种植位点进行标记得到标记后的AR显示模型;
步骤三、在患者牙槽骨上预装标记物,医生佩戴AR眼镜,通过AR眼镜的双目相机识别到标记物时判断口腔种植手术开始;
步骤四、通过双目视觉slam算法识别标记物的空间位置;
步骤五、根据标记物与患者牙齿的相对位置关系,计算得到患者牙齿的实际空间位置,在AR眼镜的显示模组中将患者牙齿的AR显示模型与患者牙齿的实际空间位置重叠显示;
步骤六、口腔种植手术过程中,通过AR眼镜的双目相机对手术关键工具进行扫描,获取手术关键工具的空间位置,通过判断手术关键工具与患者牙齿的位置关系判断是否进入手术关键阶段,若进入手术关键阶段则进行录像或拍照记录;
步骤七、双目相机识别到医生从患者牙齿上摘下标记物,则判断口腔种植手术结束,保存记录的手术关键阶段。
上述方法,通过在患者牙齿上装标记物,利用双目相机识别标记物判断口腔种植手术的开始与结束;口腔种植手术过程中,通过标记物与患者牙齿的相对位置关系,在AR眼镜的显示模组上将AR显示模型与患者牙齿的实际空间位置重叠显示,医生透过显示模组同时观察实际患者牙齿和患者牙齿的AR显示模型,从而利用AR显示模型上标记的牙齿根管口位置辅助医生进行口腔种植手术;同时,利用双目相机对手术关键工具进行识别,判断是否进入手术关键阶段,若进入手术关键阶段则进行录像或拍照记录,从而实现手术关键阶段的自动化记录,整个记录过程无需医生进行任何操作,避免影响医生的手术状态,帮助维持手术过程的连续性,同时记录下来的手术关键阶段可以用于术后的分析、教学等,也可以用于手术质量评价,同时提供关键证据规避医疗纠纷。
整个口腔种植手术主要有以下阶段:医生通过口腔的CT影像数据以及AR显示模型确定好最佳的种植角度和位置,为手术奠定基础;然后切开牙槽嵴,剥离切口两侧黏骨膜瓣,充分暴露种植区域骨面,修整牙槽骨,去净表面粘连的软组织、残留的肉芽组织和过锐的骨尖;继而通过攻丝钻在牙槽骨上制备种植窝,形成螺纹形状;最后旋入种植体,安装覆盖螺丝或愈合帽,缝合创口,一期手术结束。其中,主要涉及的手术关键工具有攻丝钻,用于在牙槽骨上制备种植窝,种植体,装入种植窝中充当人工牙根;主要涉及的手术关键阶段有,一、攻丝钻在牙槽骨上制备种植窝,整个过程需要录像以便后期教学与质量检查;二、种植体植入种植窝,植入过程需要录像,记录种植体与牙神经、血管、髁孔上颌窦等重点区域的距离,确保种植体未侵害牙神经、血管、髁孔上颌窦等重点区域,便于后期质量检查并提供关键证据规避医疗纠纷。
基于上述手术关键阶段和手术关键工具,在优选的实施方式中,本实施例提供的基于AR眼镜的自动化口腔种植手术记录的方法,步骤六具体包括以下步骤:
S6.1双目相机获取手术视野内图像;
S6.2持续将图像输入经过训练的神经网络用于识别攻丝钻(或种植体);
S6.3神经网络识别到攻丝钻(或种植体)后,基于双目视觉slam算法识别攻丝钻(或种植体)的空间位置;
S6.4计算攻丝钻与患者牙齿(或种植体与患者种植位点)的距离,当距离小于阈值d时判断进入手术关键阶段,开始录像;
S6.5双目视觉slam算法持续跟踪攻丝钻(或种植体),当判断攻丝钻离开患者牙齿距离超过阈值D(或种植体颈部与患者龈缘高度保持一致)一段时间t后,判断手术关键阶段结束,结束录像。
本实施例中,选取阈值d为1cm,阈值D为20cm,时间t为20s;
在优选的实施方式中,为清晰展示口腔种植手术与牙神经、血管、髁孔上颌窦等重点区域的干涉关系,所述步骤三还包括在AR显示模型上对牙神经、血管、髁孔上颌窦进行标记;步骤六中,进行录像时,同时将标记后的AR显示模型录制进影像中。
本实施例还提供了一种基于AR眼镜的自动化口腔种植手术记录的系统,包括用于AR显示的显示模组、用于视觉采集的双目相机、用于计算的处理器和用于储存的存储模组。
双目相机安装在AR眼镜上,用于对手术视野进行视觉采集并实现录像或拍照。
处理器内执行双目视觉slam算法以及神经网络算法,神经网络算法包括训练好的神经网络,用于对手术关键工具进行识别,双目视觉slam算法获取识别后的手术关键工具的空间位置。
存储模组对录制的影像进行存储,在优选的实施方式中,本系统还包括通信模块,将录制好的影像传输至终端或者服务器。
在优选的实施方式中,所述处理器为计算机系统或者内置在AR眼镜中的处理器芯片。
以上所述仅为本发明的较佳实施例,并不用于限制本发明,凡在本发明的精神和原则之内所做的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于AR眼镜的自动化口腔种植手术记录的方法,其特征在于,包括以下步骤,
步骤一、获取患者口腔的CT影像数据,制作患者牙齿的AR显示模型;
步骤二、在AR显示模型上对种植位点进行标记得到标记后的AR显示模型;
步骤三、在患者牙槽骨上预装标记物,医生佩戴AR眼镜,通过AR眼镜的双目相机识别到标记物时判断口腔种植手术开始;
步骤四、通过双目视觉slam算法识别标记物的空间位置;
步骤五、根据标记物与患者牙齿的相对位置关系,计算得到患者牙齿的实际空间位置,在AR眼镜的显示模组中将患者牙齿的AR显示模型与患者牙齿的实际空间位置重叠显示;
步骤六、口腔种植手术过程中,通过AR眼镜的双目相机对手术关键工具进行扫描,获取手术关键工具的空间位置,通过判断手术关键工具与患者牙齿的位置关系判断是否进入手术关键阶段,若进入手术关键阶段则进行录像或拍照记录;
步骤七、双目相机识别到医生从患者牙齿上摘下标记物,则判断口腔种植手术结束,保存记录的手术关键阶段。
2.如权利要求1所述的一种基于AR眼镜的自动化口腔种植手术记录的方法,其特征在于,所述手术关键工具为攻丝钻,所述手术关键阶段为制备种植窝。
3.如权利要求2所述的一种基于AR眼镜的自动化口腔种植手术记录的方法,其特征在于,所述步骤六具体包括:
S6.1双目相机获取手术视野内图像;
S6.2持续将图像输入经过训练的神经网络用于识别攻丝钻;
S6.3神经网络识别到攻丝钻后,基于双目视觉slam算法识别攻丝钻的空间位置;
S6.4计算攻丝钻与患者牙齿的距离,当距离小于阈值d时判断进入手术关键阶段,开始录像;
S6.5双目视觉slam算法持续跟踪攻丝钻,当判断攻丝钻离开患者牙齿距离超过阈值D一段时间t后,判断手术关键阶段结束,结束录像。
4.如权利要求1所述的一种基于AR眼镜的自动化口腔种植手术记录的方法,其特征在于,所述手术关键工具为种植体,所述手术关键阶段为种植体植入。
5.如权利要求4所述的一种基于AR眼镜的自动化口腔种植手术记录的方法,其特征在于,所述步骤六具体包括:
S6.1双目相机获取手术视野内图像;
S6.2持续将图像输入经过训练的神经网络用于识别种植体;
S6.3神经网络识别到种植体后,基于双目视觉slam算法识别种植体的空间位置;
S6.4计算种植体与患者种植位点的距离,当距离小于阈值d时判断进入手术关键阶段,开始录像;
S6.5双目视觉slam算法持续跟踪种植体,当判断种植体颈部与患者龈缘高度保持一致一段时间t后,判断手术关键阶段结束,结束录像。
6.如权利要求5所述的一种基于AR眼镜的自动化口腔种植手术记录的方法,其特征在于,所述步骤三还包括在AR显示模型上对牙神经、血管、髁孔上颌窦进行标记。
7.如权利要求3或6所述的一种基于AR眼镜的自动化口腔种植手术记录的方法,其特征在于,所述步骤六中,进行录像时,同时将标记后的AR显示模型录制进影像中。
CN202211410672.0A 2022-11-11 2022-11-11 一种基于ar眼镜的自动化口腔种植手术记录的方法 Active CN115714842B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211410672.0A CN115714842B (zh) 2022-11-11 2022-11-11 一种基于ar眼镜的自动化口腔种植手术记录的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211410672.0A CN115714842B (zh) 2022-11-11 2022-11-11 一种基于ar眼镜的自动化口腔种植手术记录的方法

Publications (2)

Publication Number Publication Date
CN115714842A CN115714842A (zh) 2023-02-24
CN115714842B true CN115714842B (zh) 2024-05-17

Family

ID=85232794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211410672.0A Active CN115714842B (zh) 2022-11-11 2022-11-11 一种基于ar眼镜的自动化口腔种植手术记录的方法

Country Status (1)

Country Link
CN (1) CN115714842B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013034764A (ja) * 2011-08-10 2013-02-21 Akira Takebayashi サージカルガイド装置及びドリルの位置決め方法
KR20190000488A (ko) * 2017-06-23 2019-01-03 동의대학교 산학협력단 구강 모니터링 치경
CN109171604A (zh) * 2018-08-05 2019-01-11 广州高通影像技术有限公司 一种有ar功能的智能内窥镜操作系统
CN109274914A (zh) * 2018-11-06 2019-01-25 北京智能决策医疗科技有限公司 一种基于ar眼镜的自动化手术记录整理的方法及系统
CN112738443A (zh) * 2021-01-07 2021-04-30 浙江德维迪亚数字科技有限公司 一种基于ar眼镜的智能化现场记录用交互系统
CN112885436A (zh) * 2021-02-25 2021-06-01 刘春煦 一种基于增强现实三维成像的牙科手术实时辅助系统
CN114554179A (zh) * 2022-02-24 2022-05-27 北京蜂巢世纪科技有限公司 基于目标模型的自动拍摄方法、系统、终端及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10108617B2 (en) * 2013-10-30 2018-10-23 Texas Instruments Incorporated Using audio cues to improve object retrieval in video

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013034764A (ja) * 2011-08-10 2013-02-21 Akira Takebayashi サージカルガイド装置及びドリルの位置決め方法
KR20190000488A (ko) * 2017-06-23 2019-01-03 동의대학교 산학협력단 구강 모니터링 치경
CN109171604A (zh) * 2018-08-05 2019-01-11 广州高通影像技术有限公司 一种有ar功能的智能内窥镜操作系统
CN109274914A (zh) * 2018-11-06 2019-01-25 北京智能决策医疗科技有限公司 一种基于ar眼镜的自动化手术记录整理的方法及系统
CN112738443A (zh) * 2021-01-07 2021-04-30 浙江德维迪亚数字科技有限公司 一种基于ar眼镜的智能化现场记录用交互系统
CN112885436A (zh) * 2021-02-25 2021-06-01 刘春煦 一种基于增强现实三维成像的牙科手术实时辅助系统
CN114554179A (zh) * 2022-02-24 2022-05-27 北京蜂巢世纪科技有限公司 基于目标模型的自动拍摄方法、系统、终端及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
An Offline Framework for Handling Automatic Passenger Counting Raw Data;Benedetto Barabino等;《IEEE》;20141231;全文 *
基于数字相机和时间心理视觉调制的增强现实技术;卢晓勇;游斌;林瑜;陈木生;;计算机应用;20170810(第08期);全文 *
虚拟现实、增强现实和混合现实技术在胸壁肿瘤切除及重建手术治疗中的应用;汤轶;肖高明;陈跃军;吴冠宇;王志刚;;中华胸部外科电子杂志;20180528(第02期);全文 *
陆晓东等.AR眼镜在应急救援中的应用.《玻璃搪瓷与眼镜》.全文. *

Also Published As

Publication number Publication date
CN115714842A (zh) 2023-02-24

Similar Documents

Publication Publication Date Title
CN107205795B (zh) 用于牙外科手术的机器人装置
CN111407443A (zh) 一种用于口腔种植机器人的精确定位及智能导航方法
Fortin et al. Computer-assisted dental implant surgery using computed tomography
US20140234804A1 (en) Assisted Guidance and Navigation Method in Intraoral Surgery
CN107582193A (zh) 一种用于口腔种植手术的智能机器人系统
CN108210098A (zh) 基于增强现实的人机协作机器人种牙方法及人机协作机器人种牙系统
US20110136077A1 (en) Method for making a dental prosthesis and related surgical guide
JP3820403B2 (ja) 人工歯根埋入位置特定装置、コンピュータプログラム及び記録媒体
JP2013034764A (ja) サージカルガイド装置及びドリルの位置決め方法
US10952824B2 (en) Multi-piece abutment and digital method for preparation of a dental implant surgical site for the promotion of a desired emergent sulcus
CN112972027A (zh) 一种利用混合现实技术的正畸微种植体植入定位方法
KR20160136330A (ko) 통합된 수술 계획 및 임플란트 준비를 위한 수술 로봇 시스템 및 관련 방법
TW201434445A (zh) 植牙植體路徑規劃方法及系統
CN114587657B (zh) 一种基于混合现实技术的口腔种植辅助导航方法及系统
CN109276334A (zh) 口腔种植装置、导航系统及种植教学方法
CN115714842B (zh) 一种基于ar眼镜的自动化口腔种植手术记录的方法
CN216854897U (zh) 种植导板
CN110495959A (zh) 一种智能医疗美牙种牙方法及辅助诊断设备
CN113133802B (zh) 一种基于机器学习的骨手术线自动定点方法
RU2739116C1 (ru) Способ позиционирования скуловых имплантов и лазерный указатель, используемый в способе
CN108335733A (zh) 提取ct数据的方法及其在制定种植计划中的应用
CN207477566U (zh) 一种口腔种植导航定位装置
CN113143457A (zh) 基于mr头戴设备的颌面手术辅助系统及方法
JP7197852B1 (ja) 歯科治療用のオステオトーム、穴形成器具、テストポスト、ストッパーエクステンション、歯根膜ガード、水流チューブ
JP7162388B1 (ja) 歯科治療用のオステオトーム、穴形成器具、テストポスト、ストッパーエクステンション、歯根膜ガード、水流チューブ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant