CN111297501B - 一种口腔种植手术增强现实导航方法和系统 - Google Patents

Abstract

本发明涉及一种口腔种植手术增强现实导航方法和系统，口腔医师通过佩戴AR眼镜后，将待导航虚拟信息以虚实结合的方式投影在AR眼镜上，以三维形式直接在术区对位显示，符合人类自然视觉信息获取习惯，口腔医师不需要在脑海中实时进行屏幕二维图像和患者口内情况的拼合，辅助口腔医师进行高精度地口腔种植手术，风险低，且无需使用种植导板、有创标志钉等，不会对患者造成损伤且不存在种植导板加工误差和体积过大等问题。

Description

一种口腔种植手术增强现实导航方法和系统

技术领域

本发明涉及口腔种植手术领域，尤其涉及基于视觉SLAM技术的口腔种植手术增强现实导航方法和系统。

背景技术

精准医疗和智能医疗是近年国际医疗设备领域的主要发展方向。过去数十年间，医疗设备上的许多重大技术突破都发生在诊断性影像学上，比如超声波、乳腺X线摄影、CT、MRI等技术的应用。这些技术让医生们能够在行医过程中更好的通过图像来诊断和治疗。目前，医学影像能够做到即时诊断。然而，在医疗设备向着精准医疗和智能医疗迅速变革的同时，图像呈现的形式却基本和上世纪50年代没有区别。视觉数据依然通过2D的平面显示屏来呈现，迫使医生或者护士在操作的过程中必须将病人身上的视线挪开。同时，这些图像也不是从观看者的角度来展示的，更多的是从设备本身：医生们必须用想象力和技巧来理解这些图像，同时还要在手术过程中将这些图像投射在病人的身上。最后，不同类型的视觉数据是分开呈现的，因此医生也必须要用额外的精力来更好的将多种图像融合在一起，这种技巧需要多年的练习和实践。

在口腔医疗领域，通常情况下只会有1个医生和1个护士负责整个操作，而病人的生理情况经常很不稳定。口腔手术房间并不是专门设计的，尤其是牵涉到医学影像的设备。医生在追踪不同的图像和数据显示屏的过程中，非常容易错过和病人体征相关的关键信息。目前，在口腔种植手术中，多采用种植导板，该技术存在的问题包括：使用有创标志钉，患者难以接受；导航图像显示方式为在计算机屏幕上的二维截面显示方式，术者必须实时关注屏幕上种植机导航参数显示，不仅需要在脑海中实时进行屏幕二维图像和患者口内情况的拼合，而且无法同时关注术区及患者的术中反应，存在一定的风险等。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供了一种口腔种植手术增强现实导航方法。

本发明的一种口腔种植手术增强现实导航方法的技术方案如下：

通过设置在AR眼镜上的单目相机获取口腔内环境的图像，并对所述图像应用SLAM算法，得到口内实景以及所述口内实景在单目相机坐标系下的第一位姿；

将所述口内实景在世界坐标系下的第五位姿与待导航虚拟信息配准，得到所述待导航虚拟信息在世界坐标系下的第二位姿；

通过预设坐标转换关系将所述第一位姿、所述第二位姿处理和所述第五位姿后，得到所述待导航虚拟信息在投影主观坐标系下的第三位姿，并将所述第三位姿投射在所述AR眼镜上。

本发明的一种口腔种植手术增强现实导航方法的有益效果如下：

口腔医师通过佩戴AR眼镜后，将待导航虚拟信息以虚实结合的方式投影在AR眼镜上，以三维形式直接在术区对位显示，符合人类自然视觉信息获取习惯，口腔医师不需要在脑海中实时进行屏幕二维图像和患者口内情况的拼合，辅助口腔医师进行高精度地口腔种植手术，风险低，且无需使用种植导板、有创标志钉等，不会对患者造成损伤且不存在种植导板加工误差和体积过大等问题。

在上述方案的基础上，本发明的一种口腔种植手术增强现实导航方法还可以做如下改进。

进一步，所述通过预设坐标转换关系将所述第一位姿、所述第二位姿和所述第五位姿处理后，得到所述待导航虚拟信息在投影主观坐标系下的第三位姿，包括：

根据所述单目相机坐标系与眼镜坐标系之间的第一转换关系对所述第一位姿进行转换后，得到所述口内实景在眼镜坐标系下的第四位姿；

根据所述眼镜坐标系和所述世界坐标系之间的第二转换关系对所述第四位姿进行转换后，得到所述第五位姿；

并根据所述第二转换关系对所述第二位姿进行转换后，得到所述待导航虚拟信息在所述眼镜坐标系下的第六位姿；

根据所述投影主观坐标系和所述眼镜坐标系之间的第三转换关系对所述第六位姿进行转换后，得到所述待导航虚拟信息在所述投影主观坐标系下的第三位姿。

采用上述进一步方案的有益效果是：阐述得到待导航虚拟信息在投影主观坐标系下的第三位姿的过程。

进一步，还包括：在场景三维传感器上建立所述世界坐标系，所述场景三维传感器包括两台固定基线的工业相机；

在所述AR眼镜上设置定位标记，对所述定位标记建立所述眼镜坐标系，获取定位标记在所述眼镜坐标系的第一定位标记三维坐标；

通过两个工业相机分别获取两张具有定位标记的现实图像；

将所述两张具有定位标记的现实图像通过预设算法进行处理后，得到两个定位标记在世界坐标系中的第二定位标记三维坐标；

根据所述第一定位标记三维坐标和所述第二定位标记三维坐标得到所述眼镜坐标系和所述世界坐标系之间的第二转换关系。

采用上述进一步方案的有益效果是：阐述得到眼镜坐标系和世界坐标系之间的第二转换关系的过程。

进一步，还包括：利用所述场景三维传感器获取平面靶标在世界坐标系下的第一平面靶标位姿，所述平面靶标位于标定场景中，利用所述单目相机获取所述平面靶标在单目相机坐标系下的第二平面靶标位姿，根据所述第一平面靶标位姿和所述第二平面靶标位姿得到眼镜单目相机坐标系与世界坐标系之间的第四转换关系；

利用所述第二转换关系和所述第四转换关系得到单目相机坐标系与眼镜坐标系之间的第一转换关系。

采用上述进一步方案的有益效果是：通过在标定场景中放置平面靶标，得到单目相机坐标系与眼镜坐标系之间的第一转换关系。

进一步，还包括：将所述AR眼镜在投影主观坐标系下的视频中心点与所述平面靶标重合时的位置确定为所述AR眼镜的初始位置；

在初始位置，获得所述平面靶标在投影主观坐标系下的第三平面靶标位姿，并通过场景三维传感器获取所述平面靶标在世界坐标系下的第四平面靶标位姿，根据所述第三平面靶标位姿和所述第四平面靶标位姿得到眼镜投影主观坐标系和世界坐标系的第五转换关系；

利用所述第二转换关系和所述第五转换关系得到所述投影主观坐标系和所述眼镜坐标系之间的第三转换关系。

采用上述进一步方案的有益效果是：阐述得到投影主观坐标系和眼镜坐标系之间的第三转换关系的过程。

本发明的一种口腔种植手术增强现实导航系统的技术方案如下：

包括处理器、AR眼镜；

在所述AR眼镜上设置单目相机，通过所述单目相机获取口腔内环境的图像，并通过所述处理器对所述图像应用SLAM算法，得到口内实景以及所述口内实景在单目相机坐标系下的第一位姿；

所述处理器对所述口内实景在世界坐标系下的第五位姿与待导航虚拟信息配准，得到所述待导航虚拟信息在世界坐标系下的第二位姿；

所述处理器还通过预设坐标转换关系将所述第一位姿、所述第二位姿和所述第五位姿处理后，得到所述待导航虚拟信息在投影主观坐标系下的第三位姿，并将所述第三位姿投射在所述AR眼镜上。

本发明的一种口腔种植手术增强现实导航系统的有益效果如下：

口腔医师通过佩戴AR眼镜后，将待导航虚拟信息以虚实结合的方式投影在AR眼镜上，以三维形式直接在术区对位显示，符合人类自然视觉信息获取习惯，口腔医师不需要在脑海中实时进行屏幕二维图像和患者口内情况的拼合，辅助口腔医师进行高精度地口腔种植手术，风险低，且无需使用种植导板、有创标志钉等，不会对患者造成损伤且不存在种植导板加工误差和体积过大等问题。

在上述方案的基础上，本发明的一种口腔种植手术增强现实导航系统还可以做如下改进。

进一步，所述处理器通过预设坐标转换关系将所述第一位姿、所述第二位姿和所述第五位姿处理后，得到所述待导航虚拟信息在投影主观坐标系下的第三位姿，包括：

根据所述单目相机坐标系与眼镜坐标系之间的第一转换关系对所述第一位姿进行转换后，得到所述口内实景在眼镜坐标系下的第四位姿；

根据所述眼镜坐标系和所述世界坐标系之间的第二转换关系对所述第四位姿进行转换后，得到所述第五位姿；

并根据所述第二转换关系对所述第二位姿进行转换后，得到所述待导航虚拟信息在所述眼镜坐标系下的第六位姿；

根据所述投影主观坐标系和所述眼镜坐标系之间的第三转换关系对所述第六位姿进行转换后，得到所述待导航虚拟信息在所述投影主观坐标系下的第三位姿。

采用上述进一步方案的有益效果是：阐述得到待导航虚拟信息在投影主观坐标系下的第三位姿的过程。

进一步，还包括场景三维传感器，在所述场景三维传感器上建立所述世界坐标系，所述场景三维传感器包括两台固定基线的工业相机；

在所述AR眼镜上设置定位标记，对所述定位标记建立所述眼镜坐标系，获取定位标记在所述眼镜坐标系的第一定位标记三维坐标；

通过两个工业相机分别获取两张具有定位标记的现实图像；

所述处理器将所述两张具有定位标记的现实图像通过预设算法进行处理后，得到两个定位标记在世界坐标系中的第二定位标记三维坐标；

所述处理器还根据所述第一定位标记三维坐标和所述第二定位标记三维坐标得到所述眼镜坐标系和所述世界坐标系之间的第二转换关系。

采用上述进一步方案的有益效果是：阐述得到眼镜坐标系和世界坐标系之间的第二转换关系的过程。

进一步，在标定场景中放置平面靶标，所述处理器利用所述场景三维传感器所获取的所述平面靶标在世界坐标系下的第一平面靶标位姿，利用所述单目相机获取所述平面靶标在单目相机坐标系下的第二平面靶标位姿，根据所述第一平面靶标位姿和所述第二平面靶标位姿得到眼镜单目相机坐标系与世界坐标系的第四转换关系；

所述处理器利用所述第二转换关系和所述第四转换关系得到单目相机坐标系与眼镜坐标系之间的第一转换关系。

采用上述进一步方案的有益效果是：通过在标定场景中放置平面靶标，得到单目相机坐标系与眼镜坐标系之间的第一转换关系。

进一步，将所述AR眼镜在投影主观坐标系下的视频中心点与所述平面靶标重合时的位置确定为所述AR眼镜的初始位置；

在初始位置，所述处理器获得所述平面靶标在投影主观坐标系下的第三平面靶标位姿，并通过场景三维传感器获取所述平面靶标在世界坐标系下的第四平面靶标位姿，根据所述第三平面靶标位姿和所述第四平面靶标位姿得到眼镜投影主观坐标系和世界坐标系之间的第五转换关系；

所述处理器利用所述第二转换关系和所述第五转换关系得到所述投影主观坐标系和所述眼镜坐标系之间的第三转换关系。

采用上述进一步方案的有益效果是：阐述得到投影主观坐标系和眼镜坐标系之间的第三转换关系的过程。

附图说明

图1为本发明实施例的一种口腔种植手术增强现实导航方法的流程示意图；

图2为获取待导航虚拟信息在投影主观坐标系下的第三位姿的流程示意图；

图3为获取眼镜坐标系和世界坐标系之间的第二转换关系的流程示意图；

图4为获取单目相机坐标系与眼镜坐标系之间的第一转换关系的流程示意图；

图5为获取投影主观坐标系和眼镜坐标系之间的第三转换关系的流程示意图；

图6为本发明实施例的一种口腔种植手术增强现实导航系统的结构示意图。

具体实施方式

如图1所示，本发明实施例的一种口腔种植手术增强现实导航方法，包括如下步骤：

S1、通过设置在AR眼镜上的单目相机获取口腔内环境的图像，并对图像应用SLAM算法，得到口内实景以及口内实景在单目相机坐标系下的第一位姿；

S2、将口内实景在世界坐标系下的第五位姿与待导航虚拟信息配准，得到待导航虚拟信息在世界坐标系下的第二位姿；

S3、通过预设坐标转换关系将第一位姿、第二位姿和所述第五位姿处理后，得到待导航虚拟信息在投影主观坐标系下的第三位姿，并将第三位姿投射在AR眼镜上。

口腔医师通过佩戴AR眼镜后，将待导航虚拟信息以虚实结合的方式投影在AR眼镜上，以三维形式直接在术区对位显示，符合人类自然视觉信息获取习惯，口腔医师不需要在脑海中实时进行屏幕二维图像和患者口内情况的拼合，辅助口腔医师进行高精度地口腔种植手术，风险低，且无需使用种植导板、有创标志钉等，不会对患者造成损伤且不存在种植导板加工误差和体积过大等问题。

其中，口腔医师通过AR眼镜能直接看到由口内实景的实像和待导航虚拟信息所形成的虚像相结合后的术区，也就是将实像和虚像以三维形式实时高精度呈现于术区，给于医师较高手术灵活性，有助于让医生专注于患者本身，从而提升手术相关的质量和安全程度，以及减少成本。

而且，口腔医师在进行口腔种植手术的过程中，通过对口内实景与待导航虚拟信息进行配准，以及通过预设坐标转换关系将第一位姿和第二位姿处理，能有效解决术者头部在定位追踪过程中对口腔内术区遮挡、不同三维空间匹配精度低、需要额外复杂设备辅助完成手术器械实时跟踪等问题。

其中，口内实景可理解为：三维点云数据或二维图像数据，位姿相应理解为三维点云数据中三维坐标点或二维图像数据中二维坐标点，单目相机坐标系的原点可设置在单目相机上或AR眼镜上，世界坐标系的原点并无特殊要求。

其中，待导航虚拟信息为CT扫描设备或口内扫描设备对患者口腔内进行分析后，所得到的口腔种植的导航信息，例如CBCT数据、口内扫描数据/模型扫描数据、面部扫描数据等多源三维形貌信息等。

通过下述例子对本申请的技术方案进行详细阐述，如将在左下三的位置上进行种植，其待导航虚拟信息可为左下三的具体位置。种植的深度等信息，假设待导航虚拟信息为一个虚拟凹坑，该虚拟凹坑会显示在VR眼镜上，口腔医师通过佩戴VR眼镜后，可在患者的口腔内的坐下三位置看到这个凹坑，然后根据这个凹坑对患者进行口腔种植手术。

也就是说，佩戴AR眼镜的口腔医师将看到待导航虚拟信息的三维或二维虚拟图像和患者实际口内环境即虚实结合的场景画面，在术中实时追踪与导航，即医生在使用肉眼观察到患者口内环境的实际场景的同时，还可以观察到AR眼镜显示屏投影在医生眼中的待导航虚拟信息的三维或二维虚拟图像。

其中，可选用当前市场中常见的任意一款AR眼镜，只需满足AR眼镜上可装置有一台单目相机即可。

其中，SLAM算法为基于单目相机的视觉SLAM算法。该算法的实现途径较多，可以根据导航精度、速度以及处理器的计算能力进行选择，该算法为计算机视觉领域技术人员熟知的技术，此处不再赘述。

较优地，如图2所示，在上述技术方案中，S3中，通过预设坐标转换关系将第一位姿、第二位姿和第五位姿处理后，得到待导航虚拟信息在投影主观坐标系下的第三位姿，包括：

S30、根据单目相机坐标系与眼镜坐标系之间的第一转换关系对第一位姿进行转换后，得到口内实景在眼镜坐标系下的第四位姿；

S31、根据眼镜坐标系和世界坐标系之间的第二转换关系对第四位姿进行转换后，得到第五位姿；

S32、并根据第二转换关系对第二位姿进行转换后，得到待导航虚拟信息在眼镜坐标系下的第六位姿；

S33、根据投影主观坐标系和眼镜坐标系之间的第三转换关系对第六位姿进行转换后，得到待导航虚拟信息在投影主观坐标系下的第三位姿。

较优地，在上述技术方案中，还包括：在场景三维传感器上建立世界坐标系，场景三维传感器包括两台固定基线的工业相机；

其中，如图3所示，获取眼镜坐标系和世界坐标系之间的第二转换关系的过程，包括：

S310、在AR眼镜上设置定位标记，对所述定位标记建立所述眼镜坐标系，获取定位标记在所述眼镜坐标系的第一定位标记三维坐标，具体地：

在口腔种植手术中，在AR眼镜的外侧粘贴定位标记如圆形标志点或设置标志球，通过粘贴好的圆形标志或标志球，建立眼镜坐标系，眼镜坐标系的原点可以为任意一个圆形标志的圆心或标志球的球心，也可根据实际情况进行眼镜坐标系的原点的选取。

S311、通过两个工业相机分别获取两张具有定位标记的现实图像；

两个工业相机的分辨率需达到150万像素以上，刷新帧频需达到30帧/秒以上。两个工业相机的镜头的分辨率需和工业相机匹配，镜头焦距由场景尺寸等因素共同决定，且场景三维传感器还可包括工业相机的电源等配套周边电路，且场景三维传感器可通过三脚架或者其他固定装置固定，可以按照不同的工程习惯将世界坐标系建立在大场景三维传感器的不同位置上。

S312、将所述两张具有定位标记的现实图像通过预设算法进行处理后，得到两个定位标记在世界坐标系中的第二定位标记三维坐标；

S313、根据第一定位标记三维坐标和第二定位标记三维坐标得到眼镜坐标系和世界坐标系之间的第二转换关系。

其中，S312中的预设算法具体为：

S3120、利用预先标定完成的两个工业相机的内外参数，对两张具有定位标记的中间现实图像进行去镜头畸变与立体矫正，得到两张具有定位标记的第一中间现实图像；

S3121、利用边缘检测算子对两张具有定位标记的中间现实图像进行边缘提取，分别得到两张具有定位标记的第二中间现实图像；

S3122、并利用椭圆最小二乘拟合方法分别从两张具有定位标记的第二中间现实图像中提取定位标记的圆心；

S3123、根据两个圆心的视差计算出两个定位标记在世界坐标系中的第二定位标记三维坐标。

其中，如图4所示，获取得到单目相机坐标系与眼镜坐标系之间的第一转换关系的过程，包括：

S300、利用场景三维传感器获取平面靶标在世界坐标系下的第一平面靶标位姿，所述平面靶标位于标定场景中；

S301、利用单目相机获取平面靶标在单目相机坐标系下的第二平面靶标位姿，根据第一平面靶标位姿和第二平面靶标位姿得到眼镜单目相机坐标系与世界坐标系的第四转换关系；

S302、利用第二转换关系和第四转换关系得到单目相机坐标系与眼镜坐标系之间的第一转换关系，也就是说，利用每帧拍摄时获取到的眼镜坐标系与世界坐标系之间的第二转换关系和和单目相机坐标系与世界坐标系之间的第四转换关系，可以得到AR眼镜单目相机坐标系和AR眼镜坐标系之间的固定位姿转换关系。其中，各坐标系之间的转换算法为计算机视觉领域技术人员熟知的技术，此处不再赘述。

其中，S300具体包括：

S3000、在此标定过程中，AR眼镜上粘贴的圆形标志(或标志球)和测量过程中粘贴的圆形标志(或标志球)保持一致，由标定人员佩戴AR眼镜，并在标定场景中放置一片平面靶标；

S3001、单目相机对标定场景中的平面靶标进行拍摄，获取平面靶标在单目相机坐标系下的第二平面靶标位姿；

S3002、同时控制场景三维传感器的两台工业相机对标定场景中的平面靶标进行拍摄，获取每帧拍摄时眼镜坐标系与世界坐标系的第二转换关系；

S3003、标定人员佩戴AR眼镜移动位置继续拍摄，重复此过程10-20次。利用场景三维传感器获取的平面靶标图像可以计算平面靶标在世界坐标系下的第一平面靶标位姿；

S3004、根据第一平面靶标位姿和第二平面靶标位姿得到眼镜单目相机坐标系与世界坐标系的第四转换关系。

其中，如图5所示，获取投影主观坐标系和眼镜坐标系之间的第三转换关系的过程，包括：

S330、将AR眼镜在投影主观坐标系下的视频中心点与平面靶标重合时的位置确定为AR眼镜的初始位置；

S331、在初始位置，获得平面靶标在投影主观坐标系下的第三平面靶标位姿，并通过场景三维传感器获取平面靶标在世界坐标系下的第四平面靶标位姿，根据第三平面靶标位姿和第四平面靶标位姿得到眼镜投影主观坐标系和世界坐标系的第五转换关系；

S332、利用第二转换关系和第五转换关系得到投影主观坐标系和眼镜坐标系之间的第三转换关系。

其中，S330具体包括：

S3300、在此标定过程中，AR眼镜上粘贴的圆形标志(或标志球)和测量过程中粘贴的圆形标志(或标志球)保持一致，由标定人员佩戴AR眼镜，并在标定场景中放置一片平面靶标；

S3301、标定人员佩戴AR眼镜。标定人员通过移动头部与身体姿态，将AR眼镜在投影主观坐标系下的视频中心点与实际的标定场景中的平面靶标重合。

其中，S331具体包括：

S3310、在二者重合时控制场景三维传感器的两台工业相机进行拍摄，根据两台工业相机所拍摄的图像数据可以计算出每一帧拍摄时眼镜坐标系与世界坐标系的第二变换关系；

S3311、标定人员佩戴AR眼镜继续变换姿态，并在AR眼镜在投影主观坐标系下的视频中心点与实际的标定场景中的平面靶标再次重合时进行再次拍摄并获取，并重复此过程5-8次。利用多次拍摄的图像数据如姿态信息以及平面靶标-视频中心重合的几何约束，可以获得每帧靶标拍摄时，投影主观坐标系和世界坐标系之间的第五转换关系。

在另外一实施例中，可将各坐标系之间的转换算法进行融合后形成单一的三维数据处理与实时定位算法，进一步简化了应用本申请的一种口腔种植手术增强现实导航方法的操作。

在上述各实施例中，虽然对步骤进行进行了编号S1、S2等，但只是本申请给出的具体实施例，本领域的技术人员可根据实际情况对调整S1、S2等的执行顺序，此也在本发明的保护范围内。

如图6所示，本发明实施例的一种口腔种植手术增强现实导航系统200，包括处理器210、AR眼镜220；

在AR眼镜220上设置单目相机，通过单目相机获取口腔内环境的图像，并通过处理器210对图像应用SLAM算法，得到口内实景以及口内实景在单目相机坐标系下的第一位姿；

处理器210对口内实景在世界坐标系下的第五位姿与待导航虚拟信息配准后，得到待导航虚拟信息在世界坐标系下的第二位姿；

处理器210还通过预设坐标转换关系将第一位姿、第二位姿和第五位姿处理后，得到待导航虚拟信息在投影主观坐标系下的第三位姿，并将第三位姿投射在AR眼镜220上。

口腔医师通过佩戴AR眼镜220后，将待导航虚拟信息以虚实结合的方式投影在AR眼镜220上，以三维形式直接在术区对位显示，符合人类自然视觉信息获取习惯，口腔医师不需要在脑海中实时进行屏幕二维图像和患者口内情况的拼合，辅助口腔医师进行高精度地口腔种植手术，风险低，且无需使用种植导板、有创标志钉等，不会对患者造成损伤且不存在种植导板加工误差和体积过大等问题。

其中，处理器210，可以为任意品牌的电脑，中控主机的配置至少为：英特尔i5处理器、8G内存、，GTX 1050的显卡，或配置超过此水平即可。

较优地，在上述技术方案中，处理器210通过预设坐标转换关系将第一位姿、第二位姿和第五位姿处理后，得到待导航虚拟信息在投影主观坐标系下的第三位姿，包括：

根据单目相机坐标系与眼镜坐标系之间的第一转换关系对第一位姿进行转换后，得到口内实景在眼镜坐标系下的第四位姿；

根据眼镜坐标系和世界坐标系之间的第二转换关系对第四位姿进行转换后，得到第五位姿；

并根据第二转换关系对第二位姿进行转换后，得到待导航虚拟信息在眼镜坐标系下的第六位姿；

根据投影主观坐标系和眼镜坐标系之间的第三转换关系对第六位姿进行转换后，得到待导航虚拟信息在投影主观坐标系下的第三位姿。

较优地，在上述技术方案中，还包括场景三维传感器，在场景三维传感器上建立世界坐标系，场景三维传感器包括两台固定基线的工业相机；

在AR眼镜220上设置定位标记，对所述定位标记建立所述眼镜坐标系，获取定位标记在所述眼镜坐标系的第一定位标记三维坐标；

通过两个工业相机分别获取两张具有定位标记的现实图像；

所述处理器将所述两张具有定位标记的现实图像通过预设算法进行处理后，得到两个定位标记在世界坐标系中的第二定位标记三维坐标；

处理器210还根据第一定位标记三维坐标和第二定位标记三维坐标得到眼镜坐标系和世界坐标系之间的第二转换关系。

较优地，在上述技术方案中，在标定场景中放置平面靶标，处理器210利用场景三维传感器所获取的平面靶标在世界坐标系下的第一平面靶标位姿，利用单目相机获取平面靶标在单目相机坐标系下的第二平面靶标位姿，根据第一平面靶标位姿和第二平面靶标位姿得到眼镜单目相机坐标系与世界坐标系之间的第四转换关系；

处理器210利用第二转换关系和第四转换关系得到单目相机坐标系与眼镜坐标系之间的第一转换关系。

较优地，在上述技术方案中，将AR眼镜220在投影主观坐标系下的视频中心点与平面靶标重合时的位置确定为AR眼镜220的初始位置；

在初始位置，处理器210获得平面靶标在投影主观坐标系下的第三平面靶标位姿，并通过场景三维传感器获取平面靶标在世界坐标系下的第四平面靶标位姿，根据第三平面靶标位姿和第四平面靶标位姿得到眼镜投影主观坐标系和世界坐标系的第五转换关系；

处理器210利用第二转换关系和第五转换关系得到投影主观坐标系和眼镜坐标系之间的第三转换关系。

上述关于本发明的一种口腔种植手术增强现实导航系统200中的各参数和各个单元模块实现相应功能的步骤，可参考上文中关于一种口腔种植手术增强现实导航方法的实施例中的各参数和步骤，在此不做赘述。

在本发明中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种口腔种植手术增强现实导航方法，其特征在于，包括：

通过设置在AR眼镜上的单目相机获取口腔内环境的图像，并对所述图像应用SLAM算法，得到口内实景以及所述口内实景在单目相机坐标系下的第一位姿；

将所述口内实景在世界坐标系下的第五位姿与待导航虚拟信息配准，得到所述待导航虚拟信息在世界坐标系下的第二位姿；

通过预设坐标转换关系将所述第一位姿、所述第二位姿和所述第五位姿处理后，得到所述待导航虚拟信息在投影主观坐标系下的第三位姿，并将所述第三位姿投射在所述AR眼镜上；

所述通过预设坐标转换关系将所述第一位姿、所述第二位姿和所述第五位姿处理后，得到所述待导航虚拟信息在投影主观坐标系下的第三位姿，包括：

根据所述单目相机坐标系与眼镜坐标系之间的第一转换关系对所述第一位姿进行转换后，得到所述口内实景在眼镜坐标系下的第四位姿；

根据所述眼镜坐标系和所述世界坐标系之间的第二转换关系对所述第四位姿进行转换后，得到所述第五位姿；

并根据所述第二转换关系对所述第二位姿进行转换后，得到所述待导航虚拟信息在所述眼镜坐标系下的第六位姿；

根据所述投影主观坐标系和所述眼镜坐标系之间的第三转换关系对所述第六位姿进行转换后，得到所述待导航虚拟信息在所述投影主观坐标系下的第三位姿；

还包括：

在场景三维传感器上建立所述世界坐标系，所述场景三维传感器包括两台固定基线的工业相机；

在所述AR眼镜上设置定位标记，对所述定位标记建立所述眼镜坐标系，获取定位标记在所述眼镜坐标系的第一定位标记三维坐标；

通过两个工业相机分别获取两张具有定位标记的现实图像；

将所述两张具有定位标记的现实图像通过预设算法进行处理后，得到两个定位标记在世界坐标系中的第二定位标记三维坐标；

根据所述第一定位标记三维坐标和所述第二定位标记三维坐标得到所述眼镜坐标系和所述世界坐标系之间的第二转换关系。

2.根据权利要求1所述的一种口腔种植手术增强现实导航方法，其特征在于，还包括：

利用所述场景三维传感器获取平面靶标在世界坐标系下的第一平面靶标位姿，所述平面靶标位于标定场景中；

利用所述单目相机获取所述平面靶标在单目相机坐标系下的第二平面靶标位姿；

根据所述第一平面靶标位姿和所述第二平面靶标位姿得到眼镜单目相机坐标系与世界坐标系之间的第四转换关系；

利用所述第二转换关系和所述第四转换关系得到单目相机坐标系与眼镜坐标系之间的第一转换关系。

3.根据权利要求2所述的一种口腔种植手术增强现实导航方法，其特征在于，还包括：

将所述AR眼镜在投影主观坐标系下的视频中心点与所述平面靶标重合时的位置确定为所述AR眼镜的初始位置；

在初始位置，获得所述平面靶标在投影主观坐标系下的第三平面靶标位姿，并通过场景三维传感器获取所述平面靶标在世界坐标系下的第四平面靶标位姿，根据所述第三平面靶标位姿和所述第四平面靶标位姿得到眼镜投影主观坐标系和世界坐标系的第五转换关系；

利用所述第二转换关系和所述第五转换关系得到所述投影主观坐标系和所述眼镜坐标系之间的第三转换关系。

4.一种口腔种植手术增强现实导航系统，其特征在于，包括处理器、AR眼镜；

在所述AR眼镜上设置单目相机，通过所述单目相机获取口腔内环境的图像，并通过所述处理器对所述图像应用SLAM算法，得到口内实景以及所述口内实景在单目相机坐标系下的第一位姿；

所述处理器对所述口内实景在世界坐标系下的第五位姿与待导航虚拟信息配准，得到所述待导航虚拟信息在世界坐标系下的第二位姿；

所述处理器还通过预设坐标转换关系将所述第一位姿、所述第二位姿和所述第五位姿处理后，得到所述待导航虚拟信息在投影主观坐标系下的第三位姿，并将所述第三位姿投射在所述AR眼镜上；

所述处理器通过预设坐标转换关系将所述第一位姿、所述第二位姿和所述第五位姿处理后，得到所述待导航虚拟信息在投影主观坐标系下的第三位姿，包括：

根据所述单目相机坐标系与眼镜坐标系之间的第一转换关系对所述第一位姿进行转换后，得到所述口内实景在眼镜坐标系下的第四位姿；

根据所述眼镜坐标系和所述世界坐标系之间的第二转换关系对所述第四位姿进行转换后，得到所述第五位姿；

并根据所述第二转换关系对所述第二位姿进行转换后，得到所述待导航虚拟信息在所述眼镜坐标系下的第六位姿；

根据所述投影主观坐标系和所述眼镜坐标系之间的第三转换关系对所述第六位姿进行转换后，得到所述待导航虚拟信息在所述投影主观坐标系下的第三位姿；

还包括场景三维传感器，在所述场景三维传感器上建立所述世界坐标系，所述场景三维传感器包括两台固定基线的工业相机；

在所述AR眼镜上设置定位标记，对所述定位标记建立所述眼镜坐标系，获取定位标记在所述眼镜坐标系的第一定位标记三维坐标；

通过两个工业相机分别获取两张具有定位标记的现实图像；

所述处理器将所述两张具有定位标记的现实图像通过预设算法进行处理后，得到两个定位标记在世界坐标系中的第二定位标记三维坐标；

所述处理器还根据所述第一定位标记三维坐标和所述第二定位标记三维坐标得到所述眼镜坐标系和所述世界坐标系之间的第二转换关系。

5.根据权利要求4所述的一种口腔种植手术增强现实导航系统，其特征在于，在标定场景中放置平面靶标，所述处理器利用所述场景三维传感器所获取的所述平面靶标在世界坐标系下的第一平面靶标位姿，利用所述单目相机获取所述平面靶标在单目相机坐标系下的第二平面靶标位姿，根据所述第一平面靶标位姿和所述第二平面靶标位姿得到眼镜单目相机坐标系与世界坐标系之间的第四转换关系；

所述处理器利用所述第二转换关系和所述第四转换关系得到单目相机坐标系与眼镜坐标系之间的第一转换关系。

6.根据权利要求5所述的一种口腔种植手术增强现实导航系统，其特征在于，将所述AR眼镜在投影主观坐标系下的视频中心点与所述平面靶标重合时的位置确定为所述AR眼镜的初始位置；

在初始位置，所述处理器获得所述平面靶标在投影主观坐标系下的第三平面靶标位姿，并通过场景三维传感器获取所述平面靶标在世界坐标系下的第四平面靶标位姿，根据所述第三平面靶标位姿和所述第四平面靶标位姿得到眼镜投影主观坐标系和世界坐标系的第五转换关系；

所述处理器利用所述第二转换关系和所述第五转换关系得到所述投影主观坐标系和所述眼镜坐标系之间的第三转换关系。

Images