CN109700550A - 一种用于牙科手术的增强现实方法及装置 - Google Patents
一种用于牙科手术的增强现实方法及装置 Download PDFInfo
- Publication number
- CN109700550A CN109700550A CN201910060460.6A CN201910060460A CN109700550A CN 109700550 A CN109700550 A CN 109700550A CN 201910060460 A CN201910060460 A CN 201910060460A CN 109700550 A CN109700550 A CN 109700550A
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- coordinate
- matrix
- transformation matrix
- visual indicia
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C8/00—Means to be fixed to the jaw-bone for consolidating natural teeth or for fixing dental prostheses thereon; Dental implants; Implanting tools
Abstract
本发明实施例公开一种用于牙科手术的增强现实方法及装置。其中，所述方法包括：获取第一视觉标记和第二视觉标记的位置和姿态；根据第一视觉标记和第二视觉标记的位置和姿态，获得第二坐标系与第一坐标系之间的变换矩阵；根据待定位对象在虚拟坐标系下的坐标集合、虚拟坐标系与第二坐标系之间的变换矩阵以及第二坐标系与第一坐标系之间的变换矩阵，获得待定位对象在第一坐标系下的坐标集合；根据待定位对象在第一坐标系下的坐标集合和第一坐标系到像素坐标系的投影矩阵，获得待定位对象的像素坐标集合，并根据像素坐标集合在二维图像上显示待定位对象。本发明实施例提供的用于牙科手术的增强现实方法及装置，提高了对待定位对象的定位精度。
Description
技术领域
本发明实施例涉及医疗机器人技术领域，具体涉及一种用于牙科手术的增强现实方法及装置。
背景技术
近年来，随着口腔种植技术在临床中的推广，以及人们对口腔健康要求的提高，越来越多的患者选择对缺失牙进行种植修复治疗。
口腔种牙手术需要在狭小空间内进行精密操作，由于口腔的操作空间狭小，对于种牙的位置很难直接观察进行操作，对于种牙位置的定位依赖于医生的经验，导致对种植体的定位不够准确，容易造成种植手术的失败。
因此，如何提出一种用于牙科手术的增强现实方法，能够提高种植体的定位精度，成为业界亟待解决的重要课题。
发明内容
针对现有技术中的缺陷，本发明实施例提供一种用于牙科手术的增强现实方法及装置。
一方面，本发明实施例提出一种用于牙科手术的增强现实方法，包括：
获取第一视觉标记的位置和姿态以及第二视觉标记的位置和姿态；其中，所述第一视觉标记与种植手机对应，所述第二视觉标记与口腔颌骨对应；
根据所述第一视觉标记的位置和姿态以及所述第二视觉标记的位置和姿态，获得基于所述第二视觉标记建立的第二坐标系与基于所述第一视觉标记建立的第一坐标系之间的变换矩阵；
根据待定位对象在虚拟坐标系下的坐标集合、所述虚拟坐标系与所述第二坐标系之间的变换矩阵以及所述第二坐标系与所述第一坐标系之间的变换矩阵，获得所述待定位对象在所述第一坐标系下的坐标集合；其中，所述虚拟坐标系与所述第二坐标系之间的变换矩阵是预先获得的；
根据所述待定位对象在所述第一坐标系下的坐标集合和所述第一坐标系到所述种植手机的内窥镜对应的像素坐标系的投影矩阵，获得所述待定位对象在所述像素坐标系下的像素坐标集合，并根据所述像素坐标集合在所述内窥镜对应的二维图像上显示所述待定位对象；所述投影矩阵是预先获得的。
另一方面，本发明实施例提供一种用于牙科手术的增强现实装置，包括：
获取单元，用于获取第一视觉标记的位置和姿态和第二视觉标记的位置和姿态；其中，所述第一视觉标记与种植手机对应，所述第二视觉标记与口腔颌骨对应；
第一获得单元，用于根据所述第一视觉标记的位置和姿态和所述第二视觉标记的位置和姿态，获得基于所述第二视觉标记建立的第二坐标系与基于所述第一视觉标记建立的第一坐标系之间的变换矩阵；
第二获得单元，用于根据待定位对象在虚拟坐标系下的坐标集合、所述虚拟坐标系与所述第二坐标系之间的变换矩阵以及所述第二坐标系与所述第一坐标系之间的变换矩阵，获得所述待定位对象在所述第一坐标系下的坐标集合；其中，所述虚拟坐标系与所述第二坐标系之间的变换矩阵是预先获得的；
显示单元，用于根据所述待定位对象在所述第一坐标系下的坐标集合和所述第一坐标系到所述种植手机的内窥镜对应的像素坐标系的投影矩阵，获得所述待定位对象在所述像素坐标系下的像素坐标集合，并根据所述像素坐标集合在所述内窥镜对应的二维图像上显示所述待定位对象；所述投影矩阵是预先获得的。
再一方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施例所述的用于牙科手术的增强现实方法的步骤。
又一方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一实施例所述的用于牙科手术的增强现实方法的步骤。
本发明实施例提供的用于牙科手术的增强现实方法及装置，由于能够获取第一视觉标记的位置和姿态以及第二视觉标记的位置和姿态，然后根据第一视觉标记的位置和姿态以及第二视觉标记的位置和姿态，获得基于第二视觉标记建立的第二坐标系与基于第一视觉标记建立的第一坐标系之间的变换矩阵，根据待定位对象在虚拟坐标系下的坐标集合、虚拟坐标系与第二坐标系之间的变换矩阵以及第二坐标系与第一坐标系之间的变换矩阵，获得待定位对象在第一坐标系下的坐标集合，再根据待定位对象在第一坐标系下的坐标集合、第一坐标系到种植手机的内窥镜对应的像素坐标系的投影矩阵，获得待定位对象在像素坐标系下的像素坐标集合，并根据像素坐标集合在内窥镜对应的二维图像上显示待定位对象，提高了牙科手术中对待定位对象的定位精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的用于牙科手术的增强现实方法的流程示意图；
图2为本发明一实施例提供的摄像机标定的示意图；
图3为本发明另一实施例提供的用于牙科手术的增强现实方法的流程示意图；
图4为本发明一实施例提供的用于牙科手术的增强现实装置的结构示意图；
图5为本发明另一实施例提供的用于牙科手术的增强现实装置的结构示意图；
图6为本发明一实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
随着计算机软硬件技术的不断发展，增强现实技术(Augmented Reality，简称AR)受到日益广泛的关注，并且已经在许多行业发挥了重要作用，显示出巨大的潜力。增强现实技术是一种可以实时地计算摄像机拍摄的影像的位置及角度并加上相应图像的技术，不仅展现了真实世界的信息，而且将虚拟世界的信息同时显示出来，能够将真实世界的信息和虚拟世界的信息相互补充和叠加。本发明实施例提供的用于牙科手术的增强现实方法，能够扩展牙科手术中的观察范围，提高了对需要进行牙科手术的部位的定位准确性。
图1为本发明一实施例提供的用于牙科手术的增强现实方法的流程示意图，如图1所示，本发明实施例提供的用于牙科手术的增强现实方法，包括：
S101、获取第一视觉标记的位置和姿态以及第二视觉标记的位置和姿态；其中，所述第一视觉标记与种植手机对应，所述第二视觉标记与口腔颌骨对应；
具体地，在本发明实施例中采用带内窥镜的种植手机，所述内窥镜设置在种植手机的头部，可以伸入患者口腔内部，在所述内窥镜的光源照射下，所述内窥镜安装的摄像机可以拍摄患者的口腔，获得患者口腔的二维图像。在进行牙科手术时，用于牙科手术的增强现实装置(以下简称增强现实装置)可以通过导航手术中常用的光学或电磁导航仪器实时追踪第一视觉标记和第二视觉标记，从而获得所述第一视觉标记的位置和姿态以及所述第二视觉标记的位置和姿态。其中，所述第一视觉标记与种植手机对应，可以在所述种植手机上设置第一视觉标记，所述第一视觉标记包括至少三个第一视觉标记点，所述至少三个第一视觉标记点不在一条直线上，所述第一视觉标记可以设置在所述种植手机的马达端；所述第二视觉标记与口腔颌骨对应，所述第二视觉标记包括至少三个第二视觉标记点，所述至少三个第二视觉标记点不在一条直线上，可以将所述第二视觉标记设置在牙托板上或者植入所述患者的牙槽突或颌骨。所述第一视觉标记和所述第二视觉标记的具体安装位置和安装方式，根据实际经验进行选择，本发明实施例不做限定。
S102、根据所述第一视觉标记的位置和姿态以及所述第二视觉标记的位置和姿态，获得基于所述第二视觉标记建立的第二坐标系与基于所述第一视觉标记建立的第一坐标系之间的变换矩阵；
具体地，所述增强现实装置在获得所述第一视觉标记的位置和姿态以及所述第二视觉标记的位置和姿态之后，可以通过光学或电磁导航仪器基于所述第一视觉标记的位置和姿态以及所述第二视觉标记的位置和姿态，获得第二坐标系与第一坐标系之间的变换矩阵，所述第二坐标系是通过光学或电磁导航仪器基于所述第二视觉标记建立的三维坐标系，所述第一坐标系是通过光学或电磁导航仪器基于所述第一视觉标记建立的三维坐标系。所述第二坐标系与所述第一坐标系之间的变换矩阵用于将所述第二坐标系下的坐标转换成所述第一坐标系下的坐标。
S103、根据待定位对象在虚拟坐标系下的坐标集合、所述虚拟坐标系与所述第二坐标系之间的变换矩阵以及所述第二坐标系与所述第一坐标系之间的变换矩阵，获得所述待定位对象在所述第一坐标系下的坐标集合；其中，所述虚拟坐标系与所述第二坐标系之间的变换矩阵是预先获得的；
具体地，在牙科手术之前可以基于CT扫描数据重建患者口腔的三维模型，并在辅助设计软件中建立待定位对象的三维模型，然后预先规划所述待定位对象的三维模型在患者口腔的三维模型中的位置、角度和深度，所述待定位对象包括但不限于种植体、临时牙冠等。虚拟坐标系为所述待定位对象的三维模型所属的三维坐标系，为了能够在所述内窥镜的二维视野中获得所述待定位对象的位置，需要将所述待定位对象的三维模型映射到所述内窥镜的二维视野中，待定位对象在虚拟坐标系下的坐标集合即所述待定位对象的三维模型在所述虚拟坐标系下对应的坐标，根据实际需要可以设置所述待定位对象在虚拟坐标系下的坐标集合为所述待定位对象的三维模型的外轮廓对应的坐标，所述待定位对象在所述虚拟坐标系下的坐标集合可以预先设定。所述增强现实装置可以根据所述待定位对象在虚拟坐标系下的坐标集合、所述虚拟坐标系与所述第二坐标系之间的变换矩阵以及所述第二坐标系与所述第一坐标系之间的变换矩阵，获得所述待定位对象在所述第一坐标系下的坐标集合。其中，所述虚拟坐标系与所述第二坐标系之间的变换矩阵是预先获得的。
例如，对于所述待定位对象在虚拟坐标系下的坐标集合中的每一个坐标a，所述增强现实装置可以根据坐标a和所述虚拟坐标系与所述第二坐标系之间的变换矩阵，获得坐标a在所述第二坐标系下的坐标b，再根据坐标b和所述第二坐标系与所述第一坐标系之间的变换矩阵，获得坐标b在所述第一坐标系下的坐标c，从而可以得到所述待定位对象在所述第一坐标系下的坐标集合。
在进行牙科手术前，在所述患者口腔的三维模型中包括的牙齿模型上选择至少三个特征点，并获取所述至少三个特征点在所述虚拟坐标系下的坐标。在设置完成所述第二视觉标记之后，在现实中利用光学导航仪器的探针获取与所述至少三个特征点在所述患者牙齿上各自对应的真实点在所述第二坐标系下的坐标，根据所述至少三个特征点在虚拟坐标系下的坐标和所述至少三个真实点的在第二坐标系下的坐标，可以获得所述虚拟坐标系与所述第二坐标系之间的变换矩阵。其中，所述特征点根据实际经验进行选取，本发明实施例不做限定。
S104、根据所述待定位对象在所述第一坐标系下的坐标集合和所述第一坐标系到所述种植手机的内窥镜对应的像素坐标系的投影矩阵，获得所述待定位对象在所述像素坐标系下的像素坐标集合，并根据所述像素坐标集合在所述内窥镜对应的二维图像上显示所述待定位对象；其中，所述内窥镜设置在所述种植手机上；所述投影矩阵是预先获得的。
具体地，所述增强现实装置获得所述待定位对象在所述第一坐标系下的坐标集合之后，可以根据所述待定位对象在所述第一坐标系下的坐标集合、所述第一坐标系到内窥镜对应的像素坐标系的投影矩阵，获得所述待定位对象在所述像素坐标系下的像素坐标集合，所述待定位对象在所述第一坐标系下的坐标集合中的每一个坐标对应一个所述像素坐标集合中的一个像素坐标。所述增强现实装置在获得所述像素坐标集合之后，可以根据所述像素坐标集合在所述内窥镜对应的二维图像上显示所述待定位对象，从而将所述待定位对象的三维模型映射到所述内窥镜的二维视野中，所述内窥镜对应的二维图像即通过所述内窥镜的摄像机拍摄获得二维图像。其中，所述像素坐标系是所述内窥镜的摄像机拍摄获得二维图像对应的二维坐标系；所述投影矩阵是预先获得的。
本发明实施例提供的用于牙科手术的增强现实方法，由于能够获取第一视觉标记的位置和姿态以及第二视觉标记的位置和姿态，然后根据第一视觉标记的位置和姿态以及第二视觉标记的位置和姿态，获得基于第二视觉标记建立的第二坐标系与基于第一视觉标记建立的第一坐标系之间的变换矩阵，根据待定位对象在虚拟坐标系下的坐标集合、虚拟坐标系与第二坐标系之间的变换矩阵以及第二坐标系与第一坐标系之间的变换矩阵，获得待定位对象在第一坐标系下的坐标集合，再根据待定位对象在第一坐标系下的坐标集合、第一坐标系到种植手机的内窥镜对应的像素坐标系的投影矩阵，获得待定位对象在像素坐标系下的像素坐标集合，并根据像素坐标集合在内窥镜对应的二维图像上显示待定位对象，提高了牙科手术中对待定位对象的定位精度。
在上述各实施例的基础上，进一步地，获得所述投影矩阵包括：
根据所述内窥镜的摄像机的内参矩阵、第三坐标系与所述第一坐标之间的变换矩阵以及所述内窥镜的摄像机的外参矩阵，获得所述投影矩阵；其中，所述第三坐标系与所述第一坐标系之间的变换矩阵是预先获得的。
具体地，所述内窥镜的摄像机的内参矩阵为M1，所述内窥镜的摄像机的外参矩阵为M2，第三坐标系与所述第一坐标之间的变换矩阵为那么所述投影矩阵其中，所述第三坐标系与所述第一坐标系之间的变换矩阵是预先获得的，可以用于将所述第三坐标系下的坐标转换成所述第一坐标系下的坐标；所述摄像机的内参矩阵和外参矩阵可以通过张正友标定法获得。在本发明实施例中，所述摄像机的内参矩阵是指所述摄像机的内部参数所构成的矩阵，所述摄像机的外参矩阵是指所述摄像机相对于所述第三坐标系的外部参数构成的矩阵。
所述摄像机的像素坐标系下的坐标(u，v)与所述第一坐标系下的坐标(X1，Y1，Z1)存在如下关系：
其中，Zc为所述像素坐标(u，v)在垂直于像素坐标系方向上对应的坐标值，M1为所述摄像机的内参矩阵，M′2为所述摄像机相对于所述第一坐标系的外部参数构成的矩阵。基于坐标变换可以获得所以
在上述各实施例的基础上，进一步地，根据张正友标定法获得所述摄像机的内参矩阵和外参矩阵。
具体地，所述摄像机的内参矩阵和外参矩阵可以根据张正友标定法获得。
例如，图2为本发明一实施例提供的摄像机标定的示意图，如图2所示，种植手机1的头部设置内窥镜，种植手机1的马达端上设置所述第一视觉标记，所述第一视觉标记包括三个第一视觉标记点2，标定板3为平板，标定板3上设置黑白相间的棋盘格图案，在标定板3上设置所述第三视觉标记，所述第三视觉标记包括三个第三视觉标记点4，基于所述第三视觉标记建立的坐标系为第三坐标系。标定板3与种植手机1的内窥镜相对，所述内窥镜的摄像机能够拍摄到所述棋盘格图案，所述棋盘格图案上的每个方格的尺寸都相等，并且所述棋盘格图案上的每个特征点在所述第三坐标系下的坐标可以通过精确测量获得，所述特征点是指所述棋盘格图案上黑白相间的角点。所述摄像机的像素坐标系下的坐标(u，v)与所述第三坐标系下的坐标(X3，Y3，Z3)存在如下关系：
其中，Zc为所述像素坐标(u，v)在垂直于像素坐标系方向上对应的坐标值，M1为所述摄像机的内参矩阵，M2为所述摄像机的外参矩阵。
令M3称为所述第三坐标系到所述像素坐标系的投影矩阵，mij为投影矩阵M中的元素，i和j为正整数，i小于或者等于3，j小于或者等于4。将M3带入到式(2)中，可以获得如下表达式：
获取6个以上所述特征点在所述第三坐标系下的坐标，6个以上所述特征点在所述像素坐标系下对应的坐标可以通过图像处理领域中的技术方法准确获得，如Harris角点检测算法或Shi-Tomasi角点检测算法等。通过式(3)可以获得三个线性方程，将Zc消除之后，可以获得两个关于mij的线性方程，基于6个以上所述特征点在所述第二坐标系下的坐标，6个以上所述特征点在所述像素坐标系下对应的坐标以及最小二乘法，求解两个关于mij的线性方程可以计算出M3中每个元素的值，再将M3分解即可获得M1和M2，即获得了所述摄像机的内参矩阵和外参矩阵。
在上述各实施例的基础上，进一步地，获得所述第三坐标系与所述第一坐标系之间的变换矩阵包括：
获取第三视觉标记的位置和姿态，以及所述第一视觉标记的位置和姿态；其中，所述第三视觉标记与标定板对应，所述标定板用于对所述摄像机进行标定；
根据所述第三视觉标记的位置和姿态，以及所述第一视觉标记的位置和姿态，获得所述第三坐标系与所述第一坐标系之间的变换矩阵；其中，基于所述第三视觉标记建立的坐标系为所述第三坐标系。
具体地，如图2所示，在用标定板3对所述内窥镜的摄像机进行标定的时候，可以通过所述光学或电磁导航仪器获取第三视觉标记的位置和姿态，以及所述第一视觉标记的位置和姿态。其中，所述第三视觉标记与标定板对应，可以将所述第三视觉标记设置在所述标定板上。通过所述光学或电磁导航仪器基于所述第三视觉标记的位置和姿态以及所述第一视觉标记的位置和姿态，可以获得所述第三坐标系与所述第一坐标系之间的变换矩阵。其中，基于所述第三视觉标记建立的坐标系为所述第三坐标系。
图3为本发明另一实施例提供的用于牙科手术的增强现实方法的流程示意图，如图3所示，在上述各实施例的基础上，进一步地，所述根据待定位对象在虚拟坐标系下的坐标集合、所述虚拟坐标系与所述第二坐标系之间的变换矩阵以及所述第二坐标系与所述第一坐标系之间的变换矩阵，获得所述待定位对象在所述第一坐标系下的坐标集合包括：
S1031、根据所述待定位对象在所述虚拟坐标系下的坐标集合以及所述虚拟坐标系与所述第二坐标系之间的变换矩阵，获得所述待定位对象在所述第二坐标系下的坐标集合；
具体地，对于所述待定位对象在所述虚拟坐标系下的坐标集合中的每个坐标，所述增强现实装置可以根据所述待定位对象在所述虚拟坐标系下的坐标集合中的每个坐标以及所述虚拟坐标系与所述第二坐标系之间的变换矩阵，获得所述待定位对象在所述虚拟坐标系下的坐标集合中的每个坐标在所述第二坐标系下的对应的坐标，所述待定位对象在所述虚拟坐标系下的坐标集合中的各个坐标在所述第二坐标系下的对应的坐标构成了所述待定位对象在所述第二坐标系下的坐标集合。
例如，所述待定位对象在所述虚拟坐标系下的坐标集合中的一个坐标为(X0，Y0，Z0)，所述虚拟坐标系与所述第二坐标系之间的变换矩阵为M02，那么所述待定位对象在所述虚拟坐标系下的坐标集合中的一个坐标(X0，Y0，Z0)在所述第二坐标系下对应的坐标(X2，Y2，Z2)T＝M02(X0，Y0，Z0)T。
S1032、根据所述待定位对象在所述第二坐标系下的坐标集合以及所述第二坐标系与所述第一坐标系之间的变换矩阵，获得所述待定位对象在所述第一坐标系下的坐标集合。
具体地，对于所述待定位对象在所述第二坐标系下的坐标集合中的每个坐标，所述增强现实装置可以根据所述待定位对象在所述第二坐标系下的坐标集合中的每个坐标以及所述第二坐标系与所述第一坐标系之间的变换矩阵，获得所述待定位对象在所述第二坐标系下的坐标集合中的每个坐标在所述第一坐标系下的对应的坐标，所述待定位对象在所述第二坐标系下的坐标集合中的各个坐标在所述第一坐标系下的对应的坐标构成了所述待定位对象在所述第一坐标系下的坐标集合。
例如，所述待定位对象在所述第二坐标系下的坐标集合中的一个坐标为(X2，Y2，Z2)，所述第二坐标系与所述第一坐标系之间的变换矩阵为M21，那么所述待定位对象在所述第二坐标系下的坐标集合中的一个坐标(X2，Y2，Z2)在所述第一坐标系下对应的坐标(X1，Y1，Z1)T＝M21(X2，Y2，Z2)T。
在上述各实施例的基础上，进一步地，所述根据所述待定位对象在所述第一坐标系下的坐标集合、所述第一坐标系到所述种植手机的内窥镜对应的像素坐标系的投影矩阵，获得所述待定位对象在所述像素坐标系下的像素坐标集合包括：
根据公式计算获得所述待定位对象在所述像素坐标系下的像素坐标集合中的像素坐标(u，v)，其中，Zc为所述像素坐标(u，v)在垂直于像素坐标系方向上对应的坐标值，M为所述投影矩阵，(X1，Y1，Z1)为所述待定位对象在所述第一坐标系下的坐标集合中的坐标。
具体地，M为一个3x4的矩阵，由公式可以得到三个线性方程，由于(X1，Y1，Z1)和投影矩阵M中每个元素的值都可以获得，利用三个线性方程将Zc消去，即可求解出u和v，从而得到像素坐标(u，v)。
图4为本发明一实施例提供的用于牙科手术的增强现实装置的结构示意图，如图4所示，本发明实施例提供的牙科手术的增强现实装置，包括获取单元401、第一获得单元402、第二获得单元403和显示单元404，其中：
获取单元401用于获取第一视觉标记的位置和姿态和第二视觉标记的位置和姿态；其中，所述第一视觉标记与种植手机对应，所述第二视觉标记与口腔颌骨对应；第一获得单元402用于根据所述第一视觉标记的位置和姿态和所述第二视觉标记的位置和姿态，获得基于所述第二视觉标记建立的第二坐标系与基于所述第一视觉标记建立的第一坐标系之间的变换矩阵；第二获得单元403用于根据待定位对象在虚拟坐标系下的坐标集合、所述虚拟坐标系与所述第二坐标系之间的变换矩阵以及所述第二坐标系与所述第一坐标系之间的变换矩阵，获得所述待定位对象在所述第一坐标系下的坐标集合；其中，所述虚拟坐标系与所述第二坐标系之间的变换矩阵是预先获得的；显示单元404用于根据所述待定位对象在所述第一坐标系下的坐标集合、所述第一坐标系到内窥镜对应的像素坐标系的投影矩阵，获得所述待定位对象在所述像素坐标系下的像素坐标集合，并根据所述像素坐标集合在所述内窥镜对应的二维图像上显示所述待定位对象；其中，所述投影矩阵是预先获得的。
具体地，在本发明实施例中采用带内窥镜的种植手机，所述内窥镜设置在种植手机的头部，可以伸入患者口腔内部，在所述内窥镜的光源照射下，所述内窥镜安装的摄像机可以拍摄患者的口腔，获得患者口腔的二维图像。在进行牙科手术时，获取单元401可以通过导航手术中常用的光学或电磁导航仪器实时追踪第一视觉标记和第二视觉标记，从而获得所述第一视觉标记的位置和姿态以及所述第二视觉标记的位置和姿态。其中，所述第一视觉标记与种植手机对应，可以在所述种植手机上设置第一视觉标记，所述第一视觉标记包括至少三个第一视觉标记点，所述至少三个第一视觉标记点不在一条直线上，所述第一视觉标记可以设置在所述种植手机的马达端；所述第二视觉标记与口腔颌骨对应，所述第二视觉标记包括至少三个第二视觉标记点，所述至少三个第二视觉标记点不在一条直线上，可以将所述第二视觉标记设置在牙托板上或者植入所述患者的牙槽突或颌骨。所述第一视觉标记和所述第二视觉标记的具体安装位置和安装方式，根据实际经验进行选择，本发明实施例不做限定。
在获得所述第一视觉标记的位置和姿态以及所述第二视觉标记的位置和姿态之后，第一获得单元402可以通过光学或电磁导航仪器基于所述第一视觉标记的位置和姿态以及所述第二视觉标记的位置和姿态，获得第二坐标系与第一坐标系之间的变换矩阵，所述第二坐标系是通过光学或电磁导航仪器基于所述第二视觉标记建立的三维坐标系，所述第一坐标系是通过光学或电磁导航仪器基于所述第一视觉标记建立的三维坐标系。所述第二坐标系与所述第一坐标系之间的变换矩阵用于将所述第二坐标系下的坐标转换成所述第一坐标系下的坐标。
在牙科手术之前可以基于CT扫描数据重建患者口腔的三维模型，并在辅助设计软件中建立待定位对象的三维模型，然后预先规划所述待定位对象的三维模型在患者口腔的三维模型中的位置、角度和深度，所述待定位对象包括但不限于种植体、临时牙冠等。虚拟坐标系为所述待定位对象的三维模型所属的三维坐标系，为了能够在所述内窥镜的二维视野中获得所述待定位对象的位置，需要将所述待定位对象的三维模型映射到所述内窥镜的二维视野中，待定位对象在虚拟坐标系下的坐标集合即所述待定位对象的三维模型在所述虚拟坐标系下对应的坐标，根据实际需要可以设置所述待定位对象在虚拟坐标系下的坐标集合为所述待定位对象的三维模型的外轮廓对应的坐标，所述待定位对象在所述虚拟坐标系下的坐标集合可以预先设定。第二获得单元403可以根据所述待定位对象在虚拟坐标系下的坐标集合、所述虚拟坐标系与所述第二坐标系之间的变换矩阵以及所述第二坐标系与所述第一坐标系之间的变换矩阵，获得所述待定位对象在所述第一坐标系下的坐标集合。其中，所述虚拟坐标系与所述第二坐标系之间的变换矩阵是预先获得的。
获得所述待定位对象在所述第一坐标系下的坐标集合之后，显示单元404可以根据所述待定位对象在所述第一坐标系下的坐标集合、所述第一坐标系到内窥镜对应的像素坐标系的投影矩阵，获得所述待定位对象在所述像素坐标系下的像素坐标集合，所述待定位对象在所述第一坐标系下的坐标集合中的每一个坐标对应一个所述像素坐标集合中的一个像素坐标。显示单元404在获得所述像素坐标集合之后，可以根据所述像素坐标集合在所述内窥镜对应的二维图像上显示所述待定位对象，从而将所述待定位对象的三维模型映射到所述内窥镜的二维视野中，所述内窥镜对应的二维图像即通过所述内窥镜的摄像机拍摄获得二维图像。其中，所述像素坐标系是所述内窥镜的摄像机拍摄获得二维图像对应的二维坐标系；所述投影矩阵是预先获得的。
本发明实施例提供的用于牙科手术的增强现实装置，由于能够获取第一视觉标记的位置和姿态以及第二视觉标记的位置和姿态，然后根据第一视觉标记的位置和姿态以及第二视觉标记的位置和姿态，获得基于第二视觉标记建立的第二坐标系与基于第一视觉标记建立的第一坐标系之间的变换矩阵，根据待定位对象在虚拟坐标系下的坐标集合、虚拟坐标系与第二坐标系之间的变换矩阵以及第二坐标系与第一坐标系之间的变换矩阵，获得待定位对象在第一坐标系下的坐标集合，再根据待定位对象在第一坐标系下的坐标集合、第一坐标系到种植手机的内窥镜对应的像素坐标系的投影矩阵，获得待定位对象在像素坐标系下的像素坐标集合，并根据像素坐标集合在内窥镜对应的二维图像上显示待定位对象，提高了牙科手术中对待定位对象的定位精度。
图5为本发明另一实施例提供的用于牙科手术的增强现实装置的结构示意图，如图5所示，在上述各实施例的基础上，进一步地，在上述各实施例的基础上，进一步地，本发明实施例提供的用于牙科手术的增强现实装置还包括第三获得单元405，其中：
第三获得单元405用于根据所述内窥镜的摄像机的内参矩阵、所述第二坐标系与所述第一坐标之间的变换矩阵以及所述内窥镜的摄像机的外参矩阵，获得所述投影矩阵；其中，所述第二坐标系与所述第一坐标系之间的变换矩阵是预先获得的。
具体地，第三获得单元405获得所述内窥镜的摄像机的内参矩阵为M1，所述内窥镜的摄像机的外参矩阵为M2，第三坐标系与所述第一坐标之间的变换矩阵为那么可以得到所述投影矩阵其中，所述第三坐标系与所述第一坐标系之间的变换矩阵是预先获得的，可以用于将所述第三坐标系下的坐标转换成所述第一坐标系下的坐标；所述摄像机的内参矩阵和外参矩阵可以通过张正友标定法获得。在本发明实施例中，所述摄像机的内参矩阵是指所述摄像机的内部参数所构成的矩阵，所述摄像机的外参矩阵是指所述摄像机相对于所述第一坐标系的外部参数构成的矩阵。
本发明实施例提供的装置的实施例具体可以用于执行上述各方法实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。
图6为本发明一实施例提供的电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行如下方法：获取第一视觉标记的位置和姿态以及第二视觉标记的位置和姿态；其中，所述第一视觉标记与种植手机对应，所述第二视觉标记与口腔颌骨对应；根据所述第一视觉标记的位置和姿态以及所述第二视觉标记的位置和姿态，获得基于所述第二视觉标记建立的第二坐标系与基于所述第一视觉标记建立的第一坐标系之间的变换矩阵；根据待定位对象在虚拟坐标系下的坐标集合、所述虚拟坐标系与所述第二坐标系之间的变换矩阵以及所述第二坐标系与所述第一坐标系之间的变换矩阵，获得所述待定位对象在所述第一坐标系下的坐标集合；其中，所述虚拟坐标系与所述第二坐标系之间的变换矩阵是预先获得的；根据所述待定位对象在所述第一坐标系下的坐标集合和所述第一坐标系到所述种植手机的内窥镜对应的像素坐标系的投影矩阵，获得所述待定位对象在所述像素坐标系下的像素坐标集合，并根据所述像素坐标集合在所述内窥镜对应的二维图像上显示所述待定位对象；所述投影矩阵是预先获得的。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：获取第一视觉标记的位置和姿态以及第二视觉标记的位置和姿态；其中，所述第一视觉标记与种植手机对应，所述第二视觉标记与口腔颌骨对应；根据所述第一视觉标记的位置和姿态以及所述第二视觉标记的位置和姿态，获得基于所述第二视觉标记建立的第二坐标系与基于所述第一视觉标记建立的第一坐标系之间的变换矩阵；根据待定位对象在虚拟坐标系下的坐标集合、所述虚拟坐标系与所述第二坐标系之间的变换矩阵以及所述第二坐标系与所述第一坐标系之间的变换矩阵，获得所述待定位对象在所述第一坐标系下的坐标集合；其中，所述虚拟坐标系与所述第二坐标系之间的变换矩阵是预先获得的；根据所述待定位对象在所述第一坐标系下的坐标集合和所述第一坐标系到所述种植手机的内窥镜对应的像素坐标系的投影矩阵，获得所述待定位对象在所述像素坐标系下的像素坐标集合，并根据所述像素坐标集合在所述内窥镜对应的二维图像上显示所述待定位对象；所述投影矩阵是预先获得的。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行上述各方法实施例所提供的方法，例如包括：获取第一视觉标记的位置和姿态以及第二视觉标记的位置和姿态；其中，所述第一视觉标记与种植手机对应，所述第二视觉标记与口腔颌骨对应；根据所述第一视觉标记的位置和姿态以及所述第二视觉标记的位置和姿态，获得基于所述第二视觉标记建立的第二坐标系与基于所述第一视觉标记建立的第一坐标系之间的变换矩阵；根据待定位对象在虚拟坐标系下的坐标集合、所述虚拟坐标系与所述第二坐标系之间的变换矩阵以及所述第二坐标系与所述第一坐标系之间的变换矩阵，获得所述待定位对象在所述第一坐标系下的坐标集合；其中，所述虚拟坐标系与所述第二坐标系之间的变换矩阵是预先获得的；根据所述待定位对象在所述第一坐标系下的坐标集合和所述第一坐标系到所述种植手机的内窥镜对应的像素坐标系的投影矩阵，获得所述待定位对象在所述像素坐标系下的像素坐标集合，并根据所述像素坐标集合在所述内窥镜对应的二维图像上显示所述待定位对象；所述投影矩阵是预先获得的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种用于牙科手术的增强现实方法，其特征在于，包括：
获取第一视觉标记的位置和姿态以及第二视觉标记的位置和姿态；其中，所述第一视觉标记与种植手机对应，所述第二视觉标记与口腔颌骨对应；
根据所述第一视觉标记的位置和姿态以及所述第二视觉标记的位置和姿态，获得基于所述第二视觉标记建立的第二坐标系与基于所述第一视觉标记建立的第一坐标系之间的变换矩阵；
根据待定位对象在虚拟坐标系下的坐标集合、所述虚拟坐标系与所述第二坐标系之间的变换矩阵以及所述第二坐标系与所述第一坐标系之间的变换矩阵，获得所述待定位对象在所述第一坐标系下的坐标集合；其中，所述虚拟坐标系与所述第二坐标系之间的变换矩阵是预先获得的；
根据所述待定位对象在所述第一坐标系下的坐标集合和所述第一坐标系到所述种植手机的内窥镜对应的像素坐标系的投影矩阵，获得所述待定位对象在所述像素坐标系下的像素坐标集合，并根据所述像素坐标集合在所述内窥镜对应的二维图像上显示所述待定位对象；所述投影矩阵是预先获得的。
2.根据权利要求1所述的方法，其特征在于，获得所述投影矩阵包括：
根据所述内窥镜的摄像机的内参矩阵、第三坐标系与所述第一坐标之间的变换矩阵以及所述内窥镜的摄像机的外参矩阵，获得所述投影矩阵；其中，所述第三坐标系与所述第一坐标系之间的变换矩阵是预先获得的。
3.根据权利要求2所述的方法，其特征在于，根据张正友标定法获得所述摄像机的内参矩阵和外参矩阵。
4.根据权利要求2所述的方法，其特征在于，获得所述第三坐标系与所述第一坐标系之间的变换矩阵包括：
获取第三视觉标记的位置和所述第一视觉标记的位置和姿态；其中，所述第三视觉标记与标定板对应，所述标定板用于对所述摄像机进行标定；
根据所述第三视觉标记的位置和所述第一视觉标记的位置和姿态，获得所述第三坐标系与所述第一坐标系之间的变换矩阵；其中，基于所述第三视觉标记建立的坐标系为所述第三坐标系。
5.根据权利要求1所述的方法，其特征在于，所述根据待定位对象在虚拟坐标系下的坐标集合、所述虚拟坐标系与所述第二坐标系之间的变换矩阵以及所述第二坐标系与所述第一坐标系之间的变换矩阵，获得所述待定位对象在所述第一坐标系下的坐标集合包括：
根据所述待定位对象在所述虚拟坐标系下的坐标集合以及所述虚拟坐标系与所述第二坐标系之间的变换矩阵，获得所述待定位对象在所述第二坐标系下的坐标集合；
根据所述待定位对象在所述第二坐标系下的坐标集合以及所述第二坐标系与所述第一坐标系之间的变换矩阵，获得所述待定位对象在所述第一坐标系下的坐标集合。
6.根据权利要求1至5任一项所述的方法，其特征在于，根据所述待定位对象在所述第一坐标系下的坐标集合和所述第一坐标系到所述种植手机的内窥镜对应的像素坐标系的投影矩阵，获得所述待定位对象在所述像素坐标系下的像素坐标集合包括：
根据公式计算获得所述待定位对象在所述像素坐标系下的像素坐标集合中的像素坐标(u，v)，其中，Zc为所述像素坐标(u，v)在垂直于像素坐标系方向上对应的坐标值，M为所述投影矩阵，(X1，Y1，Z1)为所述待定位对象在所述第一坐标系下的坐标集合中的坐标。
7.一种用于牙科手术的增强现实装置，其特征在于，包括：
获取单元，用于获取第一视觉标记的位置和姿态和第二视觉标记的位置和姿态；其中，所述第一视觉标记与种植手机对应，所述第二视觉标记与口腔颌骨对应；
第一获得单元，用于根据所述第一视觉标记的位置和姿态和所述第二视觉标记的位置和姿态，获得基于所述第二视觉标记建立的第二坐标系与基于所述第一视觉标记建立的第一坐标系之间的变换矩阵；
第二获得单元，用于根据待定位对象在虚拟坐标系下的坐标集合、所述虚拟坐标系与所述第二坐标系之间的变换矩阵以及所述第二坐标系与所述第一坐标系之间的变换矩阵，获得所述待定位对象在所述第一坐标系下的坐标集合；其中，所述虚拟坐标系与所述第二坐标系之间的变换矩阵是预先获得的；
显示单元，用于根据所述待定位对象在所述第一坐标系下的坐标集合和所述第一坐标系到所述种植手机的内窥镜对应的像素坐标系的投影矩阵，获得所述待定位对象在所述像素坐标系下的像素坐标集合，并根据所述像素坐标集合在所述内窥镜对应的二维图像上显示所述待定位对象；所述投影矩阵是预先获得的。
8.根据权利要求7所述的装置，其特征在于，还包括第三获得单元：
所述第三获得单元用于根据所述内窥镜的摄像机的内参矩阵、所述第二坐标系与所述第一坐标之间的变换矩阵以及所述内窥镜的摄像机的外参矩阵，获得所述投影矩阵；其中，所述第二坐标系与所述第一坐标系之间的变换矩阵是预先获得的。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述的用于牙科手术的增强现实方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述的用于牙科手术的增强现实方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910060460.6A CN109700550B (zh) | 2019-01-22 | 2019-01-22 | 一种用于牙科手术的增强现实方法及装置 |
| PCT/CN2019/084455 WO2020151119A1 (zh) | 2019-01-22 | 2019-04-26 | 一种用于牙科手术的增强现实方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910060460.6A CN109700550B (zh) | 2019-01-22 | 2019-01-22 | 一种用于牙科手术的增强现实方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109700550A true CN109700550A (zh) | 2019-05-03 |
| CN109700550B CN109700550B (zh) | 2020-06-26 |
Family
ID=66262538
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910060460.6A Active CN109700550B (zh) | 2019-01-22 | 2019-01-22 | 一种用于牙科手术的增强现实方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109700550B (zh) |
| WO (1) | WO2020151119A1 (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111162840A (zh) * | 2020-04-02 | 2020-05-15 | 北京外号信息技术有限公司 | 用于设置光通信装置周围的虚拟对象的方法和系统 |
| CN111297501A (zh) * | 2020-02-17 | 2020-06-19 | 北京牡丹电子集团有限责任公司 | 一种口腔种植手术增强现实导航方法和系统 |
| CN111445453A (zh) * | 2020-03-25 | 2020-07-24 | 森兰信息科技（上海）有限公司 | 摄像机获取的琴键图像的偏移判断方法、系统、介质及装置 |
| CN112037314A (zh) * | 2020-08-31 | 2020-12-04 | 北京市商汤科技开发有限公司 | 图像显示方法、装置、显示设备及计算机可读存储介质 |
| CN112168392A (zh) * | 2020-10-21 | 2021-01-05 | 雅客智慧（北京）科技有限公司 | 牙科导航手术配准方法及系统 |
| WO2021003995A1 (zh) * | 2019-07-09 | 2021-01-14 | 苏州迪凯尔医疗科技有限公司 | 根尖外科手术的导航方法、装置、电子设备和存储介质 |
| WO2021032178A1 (zh) * | 2019-08-22 | 2021-02-25 | 北京众绘虚拟现实技术研究院有限公司 | 一种视觉-触觉融合的增强现实口腔手术技能训练模拟器 |
| CN112885436A (zh) * | 2021-02-25 | 2021-06-01 | 刘春煦 | 一种基于增强现实三维成像的牙科手术实时辅助系统 |
| CN113440281A (zh) * | 2021-07-21 | 2021-09-28 | 雅客智慧（北京）科技有限公司 | 手术路径规划方法、装置及自动植牙系统 |
| CN114521962A (zh) * | 2022-04-24 | 2022-05-24 | 杭州柳叶刀机器人有限公司 | 手术机器人轨迹跟踪方法、装置、机器人及存储介质 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112972027A (zh) * | 2021-03-15 | 2021-06-18 | 四川大学 | 一种利用混合现实技术的正畸微种植体植入定位方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010259497A (ja) * | 2009-04-30 | 2010-11-18 | Osaka Univ | 網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムおよびシミュレーションイメージの重ね合わせ方法 |
| CN107822720A (zh) * | 2017-10-26 | 2018-03-23 | 上海杰达齿科制作有限公司 | 齿科钻头、种植导板及其使用方法 |
| CN108399638A (zh) * | 2018-02-08 | 2018-08-14 | 重庆爱奇艺智能科技有限公司 | 一种基于标记的增强现实交互方法、装置及电子设备 |
| CN108742898A (zh) * | 2018-06-12 | 2018-11-06 | 中国人民解放军总医院 | 基于混合现实的口腔种植导航系统 |
| CN208114666U (zh) * | 2018-01-16 | 2018-11-20 | 浙江工业大学 | 基于增强现实的人机协作机器人种牙系统 |
| CN109035414A (zh) * | 2018-06-20 | 2018-12-18 | 深圳大学 | 增强现实手术图像的生成方法、装置、设备及存储介质 |
| CN109077822A (zh) * | 2018-06-22 | 2018-12-25 | 雅客智慧（北京）科技有限公司 | 一种基于视觉测量的牙科种植手机标定系统及方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106560163B (zh) * | 2015-09-30 | 2019-11-29 | 合肥美亚光电技术股份有限公司 | 手术导航系统及手术导航系统的配准方法 |
| EP3380911A1 (en) * | 2015-11-25 | 2018-10-03 | trinamiX GmbH | Detector for optically detecting at least one object |
| CN108784832A (zh) * | 2017-04-26 | 2018-11-13 | 中国科学院沈阳自动化研究所 | 一种脊柱微创手术增强现实导航方法 |
| US11229496B2 (en) * | 2017-06-22 | 2022-01-25 | Navlab Holdings Ii, Llc | Systems and methods of providing assistance to a surgeon for minimizing errors during a surgical procedure |
| US11589933B2 (en) * | 2017-06-29 | 2023-02-28 | Ix Innovation Llc | Guiding a robotic surgical system to perform a surgical procedure |
| CN108433834A (zh) * | 2018-04-09 | 2018-08-24 | 上海术凯机器人有限公司 | 一种牙科种植钻针配准装置和方法 |
| CN108742876A (zh) * | 2018-08-02 | 2018-11-06 | 雅客智慧（北京）科技有限公司 | 一种手术导航装置 |
-
2019
- 2019-01-22 CN CN201910060460.6A patent/CN109700550B/zh active Active
- 2019-04-26 WO PCT/CN2019/084455 patent/WO2020151119A1/zh active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010259497A (ja) * | 2009-04-30 | 2010-11-18 | Osaka Univ | 網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムおよびシミュレーションイメージの重ね合わせ方法 |
| CN107822720A (zh) * | 2017-10-26 | 2018-03-23 | 上海杰达齿科制作有限公司 | 齿科钻头、种植导板及其使用方法 |
| CN208114666U (zh) * | 2018-01-16 | 2018-11-20 | 浙江工业大学 | 基于增强现实的人机协作机器人种牙系统 |
| CN108399638A (zh) * | 2018-02-08 | 2018-08-14 | 重庆爱奇艺智能科技有限公司 | 一种基于标记的增强现实交互方法、装置及电子设备 |
| CN108742898A (zh) * | 2018-06-12 | 2018-11-06 | 中国人民解放军总医院 | 基于混合现实的口腔种植导航系统 |
| CN109035414A (zh) * | 2018-06-20 | 2018-12-18 | 深圳大学 | 增强现实手术图像的生成方法、装置、设备及存储介质 |
| CN109077822A (zh) * | 2018-06-22 | 2018-12-25 | 雅客智慧（北京）科技有限公司 | 一种基于视觉测量的牙科种植手机标定系统及方法 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021003995A1 (zh) * | 2019-07-09 | 2021-01-14 | 苏州迪凯尔医疗科技有限公司 | 根尖外科手术的导航方法、装置、电子设备和存储介质 |
| WO2021032178A1 (zh) * | 2019-08-22 | 2021-02-25 | 北京众绘虚拟现实技术研究院有限公司 | 一种视觉-触觉融合的增强现实口腔手术技能训练模拟器 |
| US11386799B1 (en) | 2019-08-22 | 2022-07-12 | Beijing Unidraw Vr Technology Researech Institute Co., Ltd | Vision-haptics fused augmented reality simulator for dental surgical skill training |
| CN111297501A (zh) * | 2020-02-17 | 2020-06-19 | 北京牡丹电子集团有限责任公司 | 一种口腔种植手术增强现实导航方法和系统 |
| CN111445453A (zh) * | 2020-03-25 | 2020-07-24 | 森兰信息科技（上海）有限公司 | 摄像机获取的琴键图像的偏移判断方法、系统、介质及装置 |
| CN111162840A (zh) * | 2020-04-02 | 2020-05-15 | 北京外号信息技术有限公司 | 用于设置光通信装置周围的虚拟对象的方法和系统 |
| CN112037314A (zh) * | 2020-08-31 | 2020-12-04 | 北京市商汤科技开发有限公司 | 图像显示方法、装置、显示设备及计算机可读存储介质 |
| CN112168392A (zh) * | 2020-10-21 | 2021-01-05 | 雅客智慧（北京）科技有限公司 | 牙科导航手术配准方法及系统 |
| CN112885436A (zh) * | 2021-02-25 | 2021-06-01 | 刘春煦 | 一种基于增强现实三维成像的牙科手术实时辅助系统 |
| CN112885436B (zh) * | 2021-02-25 | 2021-11-30 | 刘春煦 | 一种基于增强现实三维成像的牙科手术实时辅助系统 |
| CN113440281A (zh) * | 2021-07-21 | 2021-09-28 | 雅客智慧（北京）科技有限公司 | 手术路径规划方法、装置及自动植牙系统 |
| CN113440281B (zh) * | 2021-07-21 | 2022-07-26 | 雅客智慧（北京）科技有限公司 | 手术路径规划方法、装置及自动植牙系统 |
| CN114521962A (zh) * | 2022-04-24 | 2022-05-24 | 杭州柳叶刀机器人有限公司 | 手术机器人轨迹跟踪方法、装置、机器人及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020151119A1 (zh) | 2020-07-30 |
| CN109700550B (zh) | 2020-06-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109700550A (zh) | 一种用于牙科手术的增强现实方法及装置 | |
| Wang et al. | Augmented reality navigation with automatic marker-free image registration using 3-D image overlay for dental surgery | |
| CN108961326B (zh) | 一种用于种牙手术视觉导航的配准方法及电子设备 | |
| McJunkin et al. | Development of a mixed reality platform for lateral skull base anatomy | |
| EP2677938B1 (en) | Space carving in 3d data acquisition | |
| CN109785374A (zh) | 一种牙科增强现实手术导航的自动实时无标记图像配准方法 | |
| CN107529968A (zh) | 用于观察口腔内部的装置 | |
| Jiang et al. | Registration technology of augmented reality in oral medicine: A review | |
| WO2009089126A1 (en) | Three-dimensional model refinement | |
| CN105096372A (zh) | 视频数据和三维模型数据的同步视图 | |
| US20210379406A1 (en) | Research and development of augmented reality in radiotherapy | |
| CN109938842B (zh) | 面部外科手术定位导航方法及装置 | |
| CN106251284B (zh) | 基于牙套的医学图像配准方法 | |
| US8704827B2 (en) | Cumulative buffering for surface imaging | |
| CN110215285A (zh) | 手术导航的纠偏方法及系统 | |
| US10582992B2 (en) | Method for determining a mapping of the contacts and/or distances between the maxillary and mandibular arches of a patient | |
| CN105982722A (zh) | 一种数字化骨骼手术修复方法和系统 | |
| CN108175535A (zh) | 一种基于微透镜阵列的牙科三维扫描仪 | |
| KR20100058031A (ko) | 안면 영상 촬영장치 | |
| CN111658142A (zh) | 一种基于mr的病灶全息导航方法及系统 | |
| Wang et al. | Real-time marker-free patient registration and image-based navigation using stereovision for dental surgery | |
| Li et al. | A vision-based navigation system with markerless image registration and position-sensing localization for oral and maxillofacial surgery | |
| EP3471656B1 (en) | Dental restoration assessment and manufacturing using virtual model | |
| CN110478042A (zh) | 一种基于人工智能技术的介入手术导航装置 | |
| CN110310328A (zh) | 混合现实操作配准方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |