CN110353806A - 用于微创全膝关节置换手术的增强现实导航方法及系统 - Google Patents

Abstract

本发明公开了一种用于微创全膝关节置换手术的增强现实导航方法及系统，其中，方法包括：获取HoloLens应用程序对应虚拟空间的世界坐标系与现实场景的坐标系之间的第一关系；将术中膝关节点云和预设的三维模型点云按照空间变换匹配，得到术前医学图像空间坐标系和双目相机坐标系的第二关系；根据第一关系和第二关系将虚拟股骨、胫骨模型及对应的手术导板模型叠加到HoloLens视野下，实现增强现实导航。该方法可实现HoloLens虚拟空间坐标系的半自动化标定，并结合图像配准技术将虚拟膝关节解剖模型及虚拟手术导板模型准确叠加至对应真实患部位置，从而可以为医生提供直观准确的术中图像引导。

Description

用于微创全膝关节置换手术的增强现实导航方法及系统

技术领域

本发明涉及微创外科手术技术领域，特别涉及一种用于微创全膝关节置换手术的增强现实导航方法及系统。

背景技术

膝关节置换术，是将衬垫磨损的膝关节面切除，换上由金属、聚乙烯等材料制成的关节面，以达到解除患者疼痛、改善膝关节功能等目的。TKA(Total Knee Arthroplasty，全膝关节置换术)是目前治疗膝关节疾病的重要途径。膝关节结构复杂，手术空间狭小，周围存在重要的血管和神经，传统开放式手术易造成大出血及多种并发症。与之相反，MIS-TKA(Minimally Invasive Total Knee Arthroplasty，微创全膝关节置换术)以其创口小等优势而逐渐成为TKA手术的主流发展趋势。

但是，微创全膝关节置换术由于术野狭小，对于医生的经验技巧要求较高，易造成置入假体对线偏离，进而导致磨损、偏心负荷等问题，影响患者术后行动并缩短假体寿命。目前骨科微创手术中常采用关节镜或CT等图像引导手段辅助医生完成手术，但对于MIS-TKA手术，都或多或少存在手术环境感知有限，定位不便或引入辐射等问题。增强现实导航可以为医生提供术中引导，有效解决手术视野狭小，难以获取患部定位信息的问题，同时避免了辐射伤害。

鉴于骨科手术的特殊性，目前对于骨科手术的增强现实导航的研究，一般采用基于光学透视的增强现实导航方法，但受限于相关硬件技术的发展，对基于光学透视的术中增强现实导航技术的研究仍处于起步阶段。目前最先进的基于光学透视的增强现实设备是微软的HoloLens混合现实眼镜，现有与手术应用相关的对于此类增强现实导航的研究几乎全部基于HoloLens。使用HoloLens进行术中增强现实导航，需要解决的核心问题是如何将虚拟场景空间、术中现实场景空间与术前图像空间统一起来，以便将来自患者术前CT/MRI扫描的虚拟解剖模型以准确的位置和姿态叠加到佩戴HoloLens的医生的视野下。

现有研究主要分为三类：其一是直接将虚拟模型显示在患者体外仅供医生参考，在实际临床应用中意义不大；其二是通过HoloLens提供的语音、手势等交互功能，在视野下手动调整虚拟模型的位姿直至与手术部位重合，但此方法操作不便，耗时较多，显示精度上也难以保证；其三是通过HoloLens上的网络摄像头获取图像，利用单目视觉及图像识别技术确定坐标系之间的关系，但由于网络摄像头获取的图像与佩戴HoloLens的人看见的虚实场景的相对位置并不相同，最终的增强现实效果虽然在网络摄像头获取的图像中是正确的，但是在HoloLens的佩戴者看来虚拟模型和实际患部位置存在一定的偏差。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种用于微创全膝关节置换手术的增强现实导航方法。

本发明的另一个目的在于提出一种用于微创全膝关节置换手术的增强现实导航系统。

为达到上述目的，本发明一方面实施例提出了一种用于微创全膝关节置换手术的增强现实导航方法，包括：步骤S1：获取HoloLens应用程序对应虚拟空间的世界坐标系与现实场景的坐标系之间的第一关系；步骤S2：将术中膝关节点云和术前通过CT扫描获得的三维模型点云按照空间变换匹配，得到术前医学图像空间坐标系和双目相机坐标系的第二关系；步骤S3：根据所述第一关系和所述第二关系将虚拟股骨、胫骨模型及对应的手术导板模型叠加到HoloLens视野下，实现增强现实导航。

本发明实施例的用于微创全膝关节置换手术的增强现实导航方法，可实现HoloLens虚拟空间坐标系的半自动化标定，并结合图像配准技术将虚拟膝关节解剖模型及虚拟手术导板模型准确叠加至对应真实患部位置，实现增强现实导航，从而可以为医生提供直观准确的术中图像引导。

另外，根据本发明上述实施例的用于微创全膝关节置换手术的增强现实导航方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述步骤S1包括：采用双目相机和视觉标记物辅助标定HoloLens虚拟场景空间坐标系。

进一步地，在本发明的一个实施例中，所述步骤S1进一步包括：固定所述双目相机，并将所述HoloLens置于所述双目相机的视野下；采集标记物坐标系相对于相机坐标系的位姿，并采集所述HoloLens应用程序的虚拟场景世界坐标系相对于HoloLens自身坐标系的位姿，以得到多组位姿数据；根据所述多组位姿数据得到所述双目相机坐标系相对于虚拟场景世界坐标系的位姿关系，以得到所述虚拟空间的世界坐标系与所述现实场景的坐标系之间的第一关系。

进一步地，在本发明的一个实施例中，所述步骤S2包括：将视觉探针和第一视觉标记物及第二视觉标记物辅助采集点云，其中，所述第一视觉标记物及所述第二视觉标记物被分别固定于股骨和胫骨上，以得到所述术中膝关节点云；采用随机采样一致配准算法结合迭代最近点算法完成配准。

进一步地，在本发明的一个实施例中，所述虚拟股骨在所述虚拟场景空间世界坐标系下的位姿的计算公式为：

其中，是双目相机坐标系相对于虚拟空间的世界坐标系的位姿关系，是股骨上的第一视觉标记物坐标系相对于双目相机坐标系的位姿，是CT坐标系相对于第一视觉标记物坐标系的位姿，P_CT是所述虚拟股骨在CT坐标系下的位姿。

为达到上述目的，本发明另一方面实施例提出了一种用于微创全膝关节置换手术的增强现实导航系统，包括：获取模块，用于获取HoloLens应用程序对应虚拟空间的世界坐标系与现实场景的坐标系之间的第一关系；匹配模块，用于将术中膝关节点云和术前通过CT扫描获得的三维模型点云按照空间变换匹配，得到术前医学图像空间坐标系和双目相机坐标系的第二关系；叠加模块，用于根据所述第一关系和所述第二关系将虚拟股骨、胫骨模型及对应的手术导板模型叠加到HoloLens视野下，实现增强现实导航。

本发明实施例的用于微创全膝关节置换手术的增强现实导航系统，可实现HoloLens虚拟空间坐标系的半自动化标定，并结合图像配准技术将虚拟膝关节解剖模型及虚拟手术导板模型准确叠加至对应真实患部位置，实现增强现实导航，从而可以为医生提供直观准确的术中图像引导。

另外，根据本发明上述实施例的用于微创全膝关节置换手术的增强现实导航系统还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述获取模块进一步用于采用双目相机和视觉标记物辅助标定HoloLens虚拟场景空间坐标系。

进一步地，在本发明的一个实施例中，所述获取模块进一步用于固定所述双目相机，并将所述HoloLens置于所述双目相机的视野下，并采集标记物坐标系相对于相机坐标系的位姿，并采集所述HoloLens应用程序的虚拟场景世界坐标系相对于HoloLens自身坐标系的位姿，以得到多组位姿数据，根据所述多组位姿数据得到所述双目相机坐标系相对于虚拟场景世界坐标系的位姿关系，以得到所述虚拟空间的世界坐标系与所述现实场景的坐标系之间的第一关系。

进一步地，在本发明的一个实施例中，所述匹配模块进一步用于将视觉探针和第一视觉标记物及第二视觉标记物辅助采集点云，其中，所述第一视觉标记物及所述第二视觉标记物被分别固定于股骨和胫骨上，以得到所述术中膝关节点云，并采用随机采样一致配准算法结合迭代最近点算法完成配准。

进一步地，在本发明的一个实施例中，所述虚拟股骨在所述虚拟场景空间世界坐标系下的位姿的计算公式为：

其中，是双目相机坐标系相对于虚拟空间的世界坐标系的位姿关系，是股骨上的第一视觉标记物坐标系相对于双目相机坐标系的位姿，是CT坐标系相对于第一视觉标记物坐标系的位姿，P_CT是所述虚拟股骨在CT坐标系下的位姿。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的用于微创全膝关节置换手术的增强现实导航方法的流程图；

图2为根据本发明一个实施例的标记物被固定于HoloLens上的示意图；

图3为根据本发明一个实施例的各坐标系及坐标系间转化关系示意图；

图4为根据本发明一个实施例的采集点云示意图；

图5为根据本发明一个示例采集点云示意图；

图6为根据本发明一个实施例的点云渲染示意图；

图7为根据本发明一个实施例的配准结果示意图；

图8为根据本发明一个实施例的坐标系关系示意图；

图9为根据本发明一个实施例的增强现实显示效果示意图；

图10为根据本发明一个实施例的用于微创全膝关节置换手术的增强现实导航系统的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的用于微创全膝关节置换手术的增强现实导航方法及系统，首先将参照附图描述根据本发明实施例提出的用于微创全膝关节置换手术的增强现实导航方法。

图1是本发明一个实施例的用于微创全膝关节置换手术的增强现实导航方法的流程图。

如图1所示，该用于微创全膝关节置换手术的增强现实导航方法包括以下步骤：

步骤S1：获取HoloLens应用程序对应虚拟空间的世界坐标系与现实场景的坐标系之间的第一关系。

可以理解的是，步骤S1主要用于HoloLens标定，其中，本发明实施例可以通过一定的手段获得HoloLens应用程序对应虚拟空间的世界坐标系C_HG与现实场景的坐标系C_C之间的关系，从而实现HoloLens标定。需要说明的是，现实场景的坐标系C_C实际由双目相机坐标系表征。

另外，HoloLens应用程序为用户开发并安装在HoloLens中的软件，类似于手机的APP(Application，应用程序)。在HoloLens应用程序启动后，自动创建HoloLens应用程序对应的虚拟空间的世界坐标系，并且该坐标系会一直存在直到用户关闭应用程序。本发明实施例还可以通过微软官方提供的程序接口显示一个虚拟模型，其中，虚拟模型可以在距离世界坐标系C_HG原点一定距离的位置、且相对于坐标轴方向以一定姿态显示。

举例而言，HoloLens应用程序置入一个立方体模型，并设定立方体模型的位置是(1m,1m,1m)，则打开应用程序之后，立方体模型在虚拟世界坐标系下的位置为(1m,1m,1m)；同样，可以在虚拟场景空间世界坐标系中设置立方体模型旋转姿态。由于往往并不知道虚拟场景空间世界坐标系与现实场景的坐标系之间的关系，也不知道在虚拟模型在现实场景中显示时会呈现何种姿态，因此，往往难以在准确的在现实场景中显示虚拟模型。而本发明实施例可以有效解决该问题，通过获取虚拟模型与现实中的物体(比如，双目相机)之间的坐标系关系，从而只需要获取在现实中哪个位置、何种姿态下显示虚拟模型，便可以将需要在现实显示虚拟模型的坐标信息转化到虚拟场景空间的世界坐标系下，进而以准确的位姿显示虚拟模型。

进一步地，在本发明的一个实施例中，步骤S1包括：采用双目相机和视觉标记物辅助标定HoloLens虚拟场景空间坐标系。

可以理解的是，HoloLens除了包括虚拟空间世界坐标系外，还包括用于表征其自身位姿的局部坐标系C_HL，双目相机的位姿随着HoloLens的移动和旋转而改变，其中，HoloLens的移动和旋转可以被双目相机内部的传感器感知到。本发明实施例的方法可以采用双目相机和视觉标记物辅助标定HoloLens虚拟场景空间坐标系。如图2所示，标记物固定于HoloLens上，其中，标记物中含有几个黑白相间、且易于识别的X角点。

进一步地，在本发明的一个实施例中，步骤S1进一步包括：固定双目相机，并将HoloLens置于双目相机的视野下；采集标记物坐标系相对于相机坐标系的位姿，并采集HoloLens应用程序的虚拟场景世界坐标系相对于HoloLens自身坐标系的位姿，以得到多组位姿数据；根据多组位姿数据得到双目相机坐标系相对于虚拟场景世界坐标系的位姿关系，以得到虚拟空间的世界坐标系与现实场景的坐标系之间的第一关系。

可以理解的是，本发明实施例可以通过双目相机获取图片并识别图片中的X角点，可以根据双目视觉计算出角点在双目相机坐标系中的三维坐标信息(这些可以是在个人计算机中完成的，计算机与双目相机连接，实时处理相机抓取的图片)，进而计算出标记物坐标系(记为C_HM)相对于相机坐标系的位姿，该相对位姿记为其中，标记物坐标系可以由4个角点定义，角点连成的四边形的重心为标记物坐标系原点，当然也可以采用别的方式定义，在此不做具体限定。

具体而言，标定步骤如下：首先，固定双目相机，将HoloLens置于双目相机视野下，保证上面的标记物同时处于两个镜头的视野之内。采集此时标记物坐标系相对于相机坐标系的位姿。与此同时，通过个人计算机和HoloLens之间的无线网络通信，采集HoloLens应用程序的虚拟场景世界坐标系相对于HoloLens自身坐标系的位姿，记为改变HoloLens的位置和姿态，重复以上步骤，采集多组位姿数据。最终需要得到的是双目相机坐标系相对于虚拟场景世界坐标系的位姿关系，记为相关的位姿关系展示在图3中，并可以用等式描述为：

其中，和分别是第i组和第j组中的和同理。采用类似机器人手眼标定的方法可以求得的最小二乘解。

步骤S2：将术中膝关节点云和术前通过CT扫描获得的三维模型点云按照空间变换匹配，得到术前医学图像空间坐标系和双目相机坐标系的第二关系。

可以理解的是，步骤S2主要用于膝关节表面点云配准，增强现实导航所使用的虚拟模型来自于术前CT/MRI扫描，为了准确显示虚拟膝关节模型，还需要通过图像配准获得术前医学图像空间坐标系C_CT和双目相机坐标系C_Cp的关系。其中，配准是指将术中膝关节点云和术前扫描并处理获得的三维模型点云按照一定的空间变换匹配起来。

进一步地，在本发明的一个实施例中，步骤S2包括：将视觉探针和第一视觉标记物及第二视觉标记物辅助采集点云，其中，第一视觉标记物及第二视觉标记物被分别固定于股骨和胫骨上，以得到术中膝关节点云；采用随机采样一致配准算法结合迭代最近点算法完成配准。

具体而言，(1)术中膝关节表面点云获取

全膝关节置换是对股骨和胫骨分别进行切骨和置入假体的手术，因此对于股骨和胫骨需要分别做配准。本发明实施例的方法采用一个视觉探针和两个视觉标记物辅助采集点云，如图4所示，两个标记物被分别固定于股骨和胫骨上。

以股骨为例，结合图5说明采集表面点云的过程：通过预先的注册，可以在双目相机识别到探针后计算出探针针尖点的三维坐标信息。在双目相机视野下，使用探针针尖贴在靠近关节部分的股骨表面上划动，计算机不断计算并记录每一帧相机抓取的图片中探针针尖点(也即股骨表面上的点)在股骨上标记物坐标系下的三维坐标信息。当探针在预先计划的区域划动完毕后即获得了所需的点云信息。在计算机程序中使用OpenGL渲染的点云如图6所示。

(2)点云配准

由于股骨是刚性的，因此采用刚性配准算法即可。SAC-IA(Sample ConsensusInitial Alignment，采用随机采样一致配准算法)结合传统ICP(Iterative ClosestPoint，迭代最近点算法)完成配准。

需要说明的是，在刚性配准中，最经典的算法就是ICP算法，但是ICP依赖于良好的初始位姿估计，也就是说，需要给ICP算法一个良好的输入才能实现刚性配准，比如，在初始位姿估计时，需要初始时两个点云的位姿非常接近，如果初始时两个点云的位姿不是非常接近，则容易使得ICP算法陷入局部最优，从而导致非常坏的结果，进而难以完成刚性配准。因此，往往不直接使用ICP算法，而是使用ICP算法的变种，或者ICP结合其他算法一起使用，本领域技术人员可以根据实际情况选择，在此不做具体限定。为了实现刚性配准，本发明实施例通过SAC-IA进行粗配准，由于粗配准之后可以得到一个比较好的初始位姿估计，因此，本发明实施例再通过ICP算法即可以实现刚性配准。

由于术中划取的点云规模比较小，本发明实施例以划取的点云作为源点云，术前获得的点云作为目标点云，即，对术中获取的点云做空间变换，将点云变换到与术前CT扫描获得的点云近乎一致的位置。SAC-IA算法首先提取源点云中点的三维法线信息，并使用FPFH(Fast Point Feature Histogram，快速点特征直方图)特征，然后对目标点云做相同的处理。通过在目标点云中寻找与在源点云中选取的一些点的FPFH特征近似的点，获得匹配的点对，并计算出点对间的最小二乘变换作为配准结果。然后，将此结果作为ICP算法的初始位姿估计，使用ICP算法继续迭代至收敛，获得的结果即为最终的配准变换结果。配准结果示意图7所示，其中，白色为术中划取的点云，黑色为患者术前CT扫描后经过图像分割等处理得到的三维模型，左边为股骨，右边为胫骨。

步骤S3：根据第一关系和第二关系将虚拟股骨、胫骨模型及对应的手术导板模型叠加到HoloLens视野下，实现增强现实导航。

可以理解的是，步骤S3主要用于增强现实显示，在获得坐标系之间的关系后，虚拟股骨，胫骨模型及它们对应的手术导板模型就可以叠加到HoloLens视野下。仍然以股骨为例说明：记股骨上标记物坐标系为C_FM。记最终配准结果，即C_FM相对于C_CT的位姿为相关的坐标系关系如图8所示。

那么虚拟股骨模型在虚拟场景空间世界坐标系下的位姿表示P_HG可通过下式计算：

其中，是双目相机坐标系相对于虚拟空间的世界坐标系的位姿关系，是股骨上的第一视觉标记物坐标系相对于双目相机坐标系的位姿，是上述配准结果的逆，表示CT坐标系相对于第一视觉标记物坐标系的位姿，P_CT是虚拟股骨模型在CT坐标系下的位姿，若以矩阵表示则为单位矩阵。将计算出的位姿通过无线网络通信从个人计算机发送给HoloLens，就可以利用这个位姿信息完成最终的增强现实显示效果，效果示意图如9所示。

根据本发明实施例提出的用于微创全膝关节置换手术的增强现实导航方法，可实现HoloLens虚拟空间坐标系的半自动化标定，并结合图像配准技术将虚拟膝关节解剖模型及虚拟手术导板模型准确叠加至对应真实患部位置，实现增强现实导航，从而可以为医生提供直观准确的术中图像引导。

其次参照附图描述根据本发明实施例提出的用于微创全膝关节置换手术的增强现实导航系统。

图10是本发明一个实施例的用于微创全膝关节置换手术的增强现实导航系统的结构示意图。

如图10所示，该用于微创全膝关节置换手术的增强现实导航系统10包括：获取模块100、匹配模块200和叠加模块300。

其中，获取模块100用于获取HoloLens应用程序对应虚拟空间的世界坐标系与现实场景的坐标系之间的第一关系。匹配模块200用于将术中膝关节点云和术前通过CT扫描获得的三维模型点云按照空间变换匹配，得到术前医学图像空间坐标系和双目相机坐标系的第二关系。叠加模块300用于根据第一关系和第二关系将虚拟股骨、胫骨模型及对应的手术导板模型叠加到HoloLens视野下，实现增强现实导航。本发明实施例的系统10可实现HoloLens虚拟空间坐标系的半自动化标定，并结合图像配准技术将虚拟膝关节解剖模型及虚拟手术导板模型准确叠加至对应真实患部位置，从而可以为医生提供直观准确的术中图像引导。

进一步地，在本发明的一个实施例中，获取模块100进一步用于采用双目相机和视觉标记物辅助标定HoloLens虚拟场景空间坐标系。

进一步地，在本发明的一个实施例中，获取模块100进一步用于固定双目相机，并将HoloLens置于双目相机的视野下，并采集标记物坐标系相对于相机坐标系的位姿，并采集HoloLens应用程序的虚拟场景世界坐标系相对于HoloLens自身坐标系的位姿，以得到多组位姿数据，根据多组位姿数据得到双目相机坐标系相对于虚拟场景世界坐标系的位姿关系，以得到虚拟空间的世界坐标系与现实场景的坐标系之间的第一关系。

进一步地，在本发明的一个实施例中，匹配模块200进一步用于将视觉探针和第一视觉标记物及第二视觉标记物辅助采集点云，其中，第一视觉标记物及第二视觉标记物被分别固定于股骨和胫骨上，以得到术中膝关节点云，并采用随机采样一致配准算法结合迭代最近点算法完成配准。

进一步地，在本发明的一个实施例中，虚拟股骨在虚拟场景空间世界坐标系下的位姿的计算公式为：

其中，是双目相机坐标系相对于虚拟空间的世界坐标系的位姿关系，是股骨上的第一视觉标记物坐标系相对于双目相机坐标系的位姿，是CT坐标系相对于第一视觉标记物坐标系的位姿，P_CT是所述虚拟股骨在CT坐标系下的位姿。

需要说明的是，前述对用于微创全膝关节置换手术的增强现实导航方法实施例的解释说明也适用于该实施例的用于微创全膝关节置换手术的增强现实导航系统，此处不再赘述。

根据本发明实施例的用于微创全膝关节置换手术的增强现实导航系统，可实现HoloLens虚拟空间坐标系的半自动化标定，并结合图像配准技术将虚拟膝关节解剖模型及虚拟手术导板模型准确叠加至对应真实患部位置，实现增强现实导航，从而可以为医生提供直观准确的术中图像引导。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种用于微创全膝关节置换手术的增强现实导航方法，其特征在于，包括：

步骤S1：获取HoloLens应用程序对应虚拟空间的世界坐标系与现实场景的坐标系之间的第一关系；

步骤S2：将术中膝关节点云和术前通过CT扫描获得的三维模型点云按照空间变换匹配，得到术前医学图像空间坐标系和双目相机坐标系的第二关系；以及

步骤S3：根据所述第一关系和所述第二关系将虚拟股骨、胫骨模型及对应的手术导板模型叠加到HoloLens视野下，实现增强现实导航。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1包括：

采用双目相机和视觉标记物辅助标定HoloLens虚拟场景空间坐标系。

3.根据权利要求2所述的方法，其特征在于，所述步骤S1进一步包括：

固定所述双目相机，并将所述HoloLens置于所述双目相机的视野下；

采集标记物坐标系相对于相机坐标系的位姿，并采集所述HoloLens应用程序的虚拟场景世界坐标系相对于HoloLens自身坐标系的位姿，以得到多组位姿数据；

根据所述多组位姿数据得到所述双目相机坐标系相对于虚拟场景世界坐标系的位姿关系，以得到所述虚拟空间的世界坐标系与所述现实场景的坐标系之间的第一关系。

4.根据权利要求1所述的方法，其特征在于，所述步骤S2包括：

将视觉探针和第一视觉标记物及第二视觉标记物辅助采集点云，其中，所述第一视觉标记物及所述第二视觉标记物被分别固定于股骨和胫骨上，以得到所述术中膝关节点云；

采用随机采样一致配准算法结合迭代最近点算法完成配准。

5.根据权利要求1所述的方法，其特征在于，所述虚拟股骨在所述虚拟场景空间世界坐标系下的位姿的计算公式为：

其中，是双目相机坐标系相对于虚拟空间的世界坐标系的位姿关系，是股骨上的第一视觉标记物坐标系相对于双目相机坐标系的位姿，是CT坐标系相对于第一视觉标记物坐标系的位姿，P_CT是所述虚拟股骨在CT坐标系下的位姿。

6.一种用于微创全膝关节置换手术的增强现实导航系统，其特征在于，包括：

获取模块，用于获取HoloLens应用程序对应虚拟空间的世界坐标系与现实场景的坐标系之间的第一关系；

匹配模块，用于将术中膝关节点云和术前通过CT扫描获得的三维模型点云按照空间变换匹配，得到术前医学图像空间坐标系和双目相机坐标系的第二关系；以及

叠加模块，用于根据所述第一关系和所述第二关系将虚拟股骨、胫骨模型及对应的手术导板模型叠加到HoloLens视野下，实现增强现实导航。

7.根据权利要求6所述的系统，其特征在于，所述获取模块进一步用于采用双目相机和视觉标记物辅助标定HoloLens虚拟场景空间坐标系。

8.根据权利要求7所述的系统，其特征在于，所述获取模块进一步用于固定所述双目相机，并将所述HoloLens置于所述双目相机的视野下，并采集标记物坐标系相对于相机坐标系的位姿，并采集所述HoloLens应用程序的虚拟场景世界坐标系相对于HoloLens自身坐标系的位姿，以得到多组位姿数据，根据所述多组位姿数据得到所述双目相机坐标系相对于虚拟场景世界坐标系的位姿关系，以得到所述虚拟空间的世界坐标系与所述现实场景的坐标系之间的第一关系。

9.根据权利要求6所述的系统，其特征在于，所述匹配模块进一步用于将视觉探针和第一视觉标记物及第二视觉标记物辅助采集点云，其中，所述第一视觉标记物及所述第二视觉标记物被分别固定于股骨和胫骨上，以得到所述术中膝关节点云，并采用随机采样一致配准算法结合迭代最近点算法完成配准。

10.根据权利要求6所述的系统，其特征在于，所述虚拟股骨在所述虚拟场景空间世界坐标系下的位姿的计算公式为：

其中，是双目相机坐标系相对于虚拟空间的世界坐标系的位姿关系，是股骨上的第一视觉标记物坐标系相对于双目相机坐标系的位姿，是CT坐标系相对于第一视觉标记物坐标系的位姿，P_CT是所述虚拟股骨在CT坐标系下的位姿。