CN104434313A - 一种腹部外科手术导航方法及系统 - Google Patents

Abstract

本发明适用于通信领域，提供了一种腹部外科手术导航方法，包括：对术前采集到带标记点信息的CT或MR图像利用第一预设算法自动提取标记点以得到术前图像空间的标记点点集信息；术中通过影像获取设备获取病人手术区域的RGB图像以及深度图像；借助深度图像将二维标记点坐标信息转化为三维坐标以得到术中物理空间的标记点点集信息；将得到的术前图像空间的标记点点集和术中物理空间的标记点点集做点对匹配运算；应用注册所得的图像空间与物理空间的变换结果，开始实时导航过程。本发明还提供了一种腹部外科手术导航系统。本发明所提供的腹部外科手术导航方法及系统能提高腹部手术导航精度与腹部手术的安全性。

Description

一种腹部外科手术导航方法及系统

技术领域

本发明涉及通信领域，尤其涉及一种腹部外科手术导航方法及系统。

背景技术

传统的基于标记点的外科手术导航系统在术前和术中标记点的选取时需要人工干预，所选取的标记点具有很强的主观性与不稳定性，不同的操作者所选取的结果不尽相同，同一操作者在不同时刻所得的结果也不尽一致，人工干预也可能导致标记点选取的潜在错误，这些对最终的注册结果影响非常显著，并直接影响到导航的精度。假如外科医生对注册结果不满意，需要重新注册时，术前和术中所有的标记点需要重新选取，即注册过程没有可回溯性与重复性。另一方面，如果在手术过程中，病人手术区域发生移动或者变形时，在这之前的注册结果就会失效，导航系统要正确定位则需重新注册，整个手术导航过程繁琐、耗时，不利于手术导航的正常进行。此外，在腹部手术的导航过程中，人体腹部的腹式呼吸运动导致粘贴于腹部表面的标记点并非静止不动，标记点的位置会随着腹部的运动而变化。

因此，亟需设计一种全新的腹部外科手术导航方法及系统，从而可以提高腹部手术导航精度以及腹部手术的安全性。

发明内容

有鉴于此，本发明实施例的目的在于提供一种腹部外科手术导航方法及系统，旨在解决现有技术中基于标记点的腹部外科手术导航方法及系统的精准度不够的问题。

本发明实施例是这样实现的，一种腹部外科手术导航方法，包括：

对术前采集到带标记点信息的CT或MR图像利用第一预设算法自动提取标记点以得到术前图像空间的标记点点集信息；

术中通过影像获取设备获取病人手术区域的RGB图像以及深度图像，并采用第二预设算法获取所述RGB图像的二维标记点坐标信息；

借助所述深度图像将所述二维标记点坐标信息转化为三维坐标以得到术中物理空间的标记点点集信息；

将得到的所述术前图像空间的标记点点集和所述术中物理空间的标记点点集做点对匹配运算，以得到图像空间与物理空间的变换结果并完成注册过程；

应用注册所得的图像空间与物理空间的变换结果，开始实时导航过程。

优选的，在所述对术前采集到带标记点信息的CT或MR图像利用第一预设算法自动提取标记点以得到术前图像空间的标记点点集信息的步骤之前，所述方法还包括：

在病人待手术区域的腹部体表上贴上多个标记点后，对病人进行CT或MR扫描以采集带标记点信息的CT或MR图像。

优选的，所述第一预设算法具体为结合区域生长算法及高斯曲率对术前采集的带标记点信息的CT或MR图像作标记点自动提取，得到术前图像空间的标记点点集信息。

优选的，所述第二预设算法具体为术中采用深度相机获取手术区域的RGB图像以及深度图像，根据标记点在RGB三个分量上的值的比率获取RGB图像的二维标记点坐标信息，借助深度图像，可将二维标记点坐标信息转化为三维坐标，得到术中物理空间的标记点点集信息。

优选的，所述影像获取设备具体为深度相机。

优选的，所述RGB图像的二维标记点坐标信息具体位于所述影像获取设备坐标系下，其中，在所述术中通过影像获取设备获取病人手术区域的RGB图像以及深度图像，并采用第二预设算法获取所述RGB图像的二维标记点坐标信息的步骤之后，所述方法还包括：

将所述影像获取设备坐标系下的所述二维标记点的坐标变换到空间定位系统坐标系下。

优选的，所述将所述影像获取设备坐标系下的所述二维标记点的坐标变换到空间定位系统坐标系下的步骤具体包括：

将所述影像获取设备坐标系下的所述二维标记点的坐标P_{ToF_i}通过以下公式变换到空间定位系统下：

P_{Tracker_i}=T_ToF2Tracker·P_{ToF_i}；

其中，所述影像获取设备坐标系下的所述二维标记点的坐标记为P_{ToF_i}，空间定位系统坐标系与所述影像获取设备坐标系之间的空间变换记为T_ToF2Tracker，变换后的所述空间定位系统坐标系下的坐标点记为P_{Tracker_i}。

优选的，获取空间定位系统坐标系与所述影像获取设备坐标系之间的空间变换T_ToF2Tracker的步骤具体包括：

在所述影像获取设备固定一个可以被所述空间定位系统识别的参考帧工具；

通过以下公式获取空间定位系统坐标系与所述影像获取设备坐标系之间的空间变换T_ToF2Tracker，即T_ToF2Tracker=T_ToF2Ref·T_Ref2Tracker；

其中，通过所述空间定位系统实时捕获所述参考帧工具的空间位置信息记为T_Ref2Tracker，所述影像获取设备与所述参考帧工具之间的相对位置信息记为T_ToF2Ref。

优选的，所述应用注册所得的图像空间与物理空间的变换结果，开始实时导航过程的步骤具体包括：

通过以下公式：P_I=T·P_T，将手术器械的空间坐标从所述空间定位系统的物理空间变换到图像空间；

其中，所述空间定位系统的手术器械的空间坐标是相对于所述空间定位系统本身的，记为P_T，手术器械在变换后的所述图像空间的虚拟位置记为P_I，所述空间定位系统坐标系与所述图像空间坐标系之间的空间变换记为T。

另一方面，本发明还提供一种腹部外科手术导航系统，所述系统包括：

点集获取模块，用于对术前采集到带标记点信息的CT或MR图像利用第一预设算法自动提取标记点以得到术前图像空间的标记点点集信息；

坐标获取模块，用于术中通过影像获取设备获取病人手术区域的RGB图像以及深度图像，并采用第二预设算法获取所述RGB图像的二维标记点坐标信息；

坐标转换模块，用于借助所述深度图像将所述二维标记点坐标信息转化为三维坐标以得到术中物理空间的标记点点集信息；

注册模块，用于将得到的所述术前图像空间的标记点点集和所述术中物理空间的标记点点集做点对匹配运算，以得到图像空间与物理空间的变换结果并完成注册过程；

导航模块，用于应用注册所得的图像空间与物理空间的变换结果，开始实时导航过程。

优选的，所述系统还包括：

扫描模块，用于在病人待手术区域的腹部体表上贴上多个标记点后，对病人进行CT或MR扫描以采集带标记点信息的CT或MR图像。

优选的，所述第一预设算法具体为结合区域生长算法及高斯曲率对术前采集的带标记点信息的CT或MR图像作标记点自动提取，得到术前图像空间的标记点点集信息。

优选的，所述第二预设算法具体为术中采用深度相机获取手术区域的RGB图像以及深度图像，根据标记点在RGB三个分量上的值的比率获取RGB图像的二维标记点坐标信息，借助深度图像，可将二维标记点坐标信息转化为三维坐标，得到术中物理空间的标记点点集信息。

优选的，所述影像获取设备具体为深度相机。

优选的，所述坐标转换模块，还用于将所述影像获取设备坐标系下的所述二维标记点的坐标变换到空间定位系统坐标系下。

优选的，所述坐标转换模块，还具体用于将所述影像获取设备坐标系下的所述二维标记点的坐标P_{ToF_i}通过以下公式变换到空间定位系统下：

P_{Tracker_i}=T_ToF2Tracker·P_{ToF_i}；

其中，所述影像获取设备坐标系下的所述二维标记点的坐标记为P_{ToF_i}，空间定位系统坐标系与所述影像获取设备坐标系之间的空间变换记为T_ToF2Tracker，变换后的所述空间定位系统坐标系下的坐标点记为P_{Tracker_i}。

优选的，所述坐标转换模块，还具体用于在所述影像获取设备固定一个可以被所述空间定位系统识别的参考帧工具，并通过以下公式获取空间定位系统坐标系与所述影像获取设备坐标系之间的空间变换T_ToF2Tracker，即T_ToF2Tracker=T_ToF2Ref·T_Ref2Tracker；

其中，通过所述空间定位系统实时捕获所述参考帧工具的空间位置信息记为T_Ref2Tracker，所述影像获取设备与所述参考帧工具之间的相对位置信息记为T_ToF2Ref。

优选的，所述导航模块，具体用于通过以下公式：P_I=T·P_T，将手术器械的空间坐标从所述空间定位系统的物理空间变换到图像空间；

其中，所述空间定位系统的手术器械的空间坐标是相对于所述空间定位系统本身的，记为P_T，手术器械在变换后的所述图像空间的虚拟位置记为P_I，所述空间定位系统坐标系与所述图像空间坐标系之间的空间变换记为T。

在本发明实施例中，本发明提供的技术方案，通过引入了影像获取设备（例如深度相机）的应用，提出一种全新的腹部外科手术导航系统自动注册的方法。应用本发明方法，可以有效简化腹部手术导航过程，克服腹部手术导航过程中需要人工干预标记点选取所带来的操作上的不便以及潜在错误会导致注册结果误差过大的问题，进而实现整个手术导航过程的自动化注册。即使当病人体位发生移动或者腹部手术区域有变形、腹部呼吸运动的情况时，利用本发明方法，可以实现可回溯性与重复性的注册步骤，导航系统可以实时展示手术过程中腹部脏器等软组织在不同呼吸相位的导航定位误差，外科医生可以根据实时显示的注册误差，选择最小注册误差时刻进行手术操作。使用本发明提供的技术方案可以使得整个过程自动完成，无需人工干预，从而提高手术导航精度与手术的安全性，让外科医生准确、快速地完成手术操作。

附图说明

图1为本发明一实施方式中腹部外科手术导航方法流程图；

图2为本发明一实施方式中腹部外科手术导航系统结构示意图；

图3为本发明一实施方式中通过本发明的方法所实现的自动注册腹部手术导航系统的总体框架示意图；

图4为本发明一实施方式中将深度相机坐标系下的标记点坐标变换为空间定位系统坐标系下的标记点坐标的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明具体实施方式提供了一种腹部外科手术导航方法，主要包括如下步骤：

S11、对术前采集到带标记点信息的CT或MR图像利用第一预设算法自动提取标记点以得到术前图像空间的标记点点集信息；

S12、术中通过影像获取设备获取病人手术区域的RGB图像以及深度图像，并采用第二预设算法获取所述RGB图像的二维标记点坐标信息；

S13、借助所述深度图像将所述二维标记点坐标信息转化为三维坐标以得到术中物理空间的标记点点集信息；

S14、将得到的所述术前图像空间的标记点点集和所述术中物理空间的标记点点集做点对匹配运算，以得到图像空间与物理空间的变换结果并完成注册过程；

S15、应用注册所得的图像空间与物理空间的变换结果，开始实时导航过程。

本发明所提供的一种腹部外科手术导航方法，通过引入了影像获取设备（例如深度相机）的应用，提出一种全新的腹部外科手术导航系统自动注册的方法。应用本发明方法，可以有效简化腹部外科手术导航过程，克服腹部外科手术导航过程中需要人工干预标记点选取所带来的操作上的不便以及潜在错误会导致注册结果误差过大的问题，进而实现整个手术导航过程的自动化注册。即使当病人体位发生移动或者腹部手术区域有变形情况、腹部呼吸运动的时，利用本发明方法，可以实现可回溯性与重复性的注册步骤，导航系统可以实时展示手术过程中腹部脏器等软组织在不同呼吸相位的导航定位误差，外科医生可以根据实时显示的注册误差，选择最小注册误差时刻进行手术操作。使用本发明提供的技术方案可以使得整个过程自动完成，无需人工干预，从而提高手术导航精度与手术的安全性，让外科医生准确、快速地完成手术操作。

以下将对本发明所提供的一种腹部外科手术导航方法进行详细说明。

请参阅图1，为本发明一实施方式中腹部外科手术导航方法流程图。

在步骤S11中，对术前采集到带标记点信息的CT或MR图像利用第一预设算法自动提取标记点以得到术前图像空间的标记点点集信息。

在本实施方式中，在步骤S11之前，本发明实施方式中的腹部外科手术导航方法还包括：在病人待手术区域的腹部体表上贴上多个标记点后，对病人进行CT或MR扫描以采集带标记点信息的CT或MR图像。

在本实施方式中，第一预设算法可以为结合区域生长算法及高斯曲率对术前采集的带标记点信息的CT或MR图像作标记点自动提取，得到术前图像空间的标记点点集信息。

在步骤S12中，术中通过影像获取设备获取病人手术区域的RGB图像以及深度图像，并采用第二预设算法获取所述RGB图像的二维标记点坐标信息。

在本实施方式中，所述影像获取设备具体为深度相机，如美国微软公司生产的Sensor。在本实施方式中，所述RGB图像的二维标记点坐标信息具体位于所述影像获取设备坐标系下，

在本实施方式中，病人在进行CT或MR扫描之后，保持标记点点集在体表上的位置不变，利用影像获取设备（例如Sensor）获取病人体表上标记点点集的二维彩色信息及深度信息，例如RGB图像以及深度图像，根据影像获取设备（例如Sensor）获取的图像信息计算影像获取设备（例如Sensor）坐标系统下标记点集的空间位置，计算所采用的第二预设算法通常为术中采用深度相机(如Sensor)获取手术区域的RGB图像以及深度图像，根据标记点在RGB三个分量上的值的比率获取RGB图像的二维标记点坐标信息，借助深度图像，可将二维标记点坐标信息转化为三维坐标，得到术中物理空间的标记点点集信息。

在本实施方式中，步骤S12所得的所述RGB图像的二维标记点坐标信息是相对于影像获取设备坐标系的，由于手术过程中手术器械的空间坐标信息是相对于空间定位系统的，因此，需要将步骤S12所得的所述RGB图像的二维标记点坐标信息变换到空间定位系统坐标下，这个过程的实施可由以下步骤完成。

在本实施方式中，在步骤S12之后，本发明实施方式中的腹部外科手术导航方法还包括：将所述影像获取设备坐标系下的所述二维标记点的坐标变换到空间定位系统坐标系下。

在本实施方式中，所述将所述影像获取设备坐标系下的所述二维标记点的坐标变换到空间定位系统坐标系下的步骤具体包括：

将所述影像获取设备坐标系下的所述二维标记点的坐标P_{ToF_i}通过以下公式变换到空间定位系统下：

P_{Tracker_i}=T_ToF2Tracker·P_{ToF_i}；

其中，所述影像获取设备坐标系下的所述二维标记点的坐标记为P_{ToF_i}，空间定位系统坐标系与所述影像获取设备坐标系之间的空间变换记为T_ToF2Tracker，变换后的所述空间定位系统坐标系下的坐标点记为P_{Tracker_i}。其中，i=1，2，…n,n表示所提取的标记点的个数。

在本实施方式中，获取空间定位系统坐标系与所述影像获取设备坐标系之间的空间变换T_ToF2Tracker的步骤具体包括：

在所述影像获取设备固定一个可以被所述空间定位系统识别的参考帧工具；

通过以下公式获取空间定位系统坐标系与所述影像获取设备坐标系之间的空间变换T_ToF2Tracker，即T_ToF2Tracker=T_ToF2Ref·T_Ref2Tracker；

其中，通过所述空间定位系统实时捕获所述参考帧工具的空间位置信息记为T_Ref2Tracker，所述影像获取设备与所述参考帧工具之间的相对位置信息记为T_ToF2Ref。

举例来说，图4为本发明一实施方式中将深度相机坐标系下的标记点坐标变换为空间定位系统坐标系下的标记点坐标的示意图。

如图4所示，首先在深度相机上固定一个参考帧工具，参考帧工具是可被空间定位系统识别的，其空间位置信息可通过空间定位系统实时捕获，即图4中的T_Ref2Tracker已知。需要确定的是空间定位系统坐标系与深度相机坐标系间的空间变换T_ToF2Tracker，一旦空间定位系统与深度相机之间的空间位置确定以后，变换T_ToF2Tracker的值就是固定的。但是如果深度相机与空间定位系统间的相对位置发生变化时，则T_ToF2Tracker的值也随之改变，而腹部外科手术导航过程中，要保证空间定位系统与深度相机之间的位置不变，几乎是不可能的事情，难免需要调整两者间的相对位置，以获取最佳的术中导航数据。考虑图4中的T_ToF2Tracker、T_Ref2Tracker和T_ToF2Ref这三个量刚好组成了一个闭合环路，因此可以用T_Ref2Tracker与T_ToF2Ref的乘积来代替T_ToF2Tracker实现把标记点从深度相机坐标空间变换到定位系统坐标空间。即：

T_ToF2Tracker=T_ToF2Ref·T_Ref2Tracker

上式中的T_Ref2Tracker可以通过空间定位系统实时获取，因此空间定位系统与深度相机之间的相对位置发生变化时，该值也能反映出来；T_ToF2Ref表示深度相机与参考帧坐标系之间空间变换，在实际操作中，保证深度相机与参考帧之间的相对位置固定不变，而这是很容易做到的，只要把参考帧固定在深度相机上即可，因此T_ToF2Ref的值只要计算一次。

考虑图4中的P_Tracker、P_ToF和T_ToF2Tracker所组合的闭合回路，在某一时刻，固定图4所示的定位系统、深度相机、标记点及参考帧之间的位置，利用空间定位系统的定位工具可以选取若干标记点（例如选取的标记点不少于3个）在空间定位系统坐标系下的坐标值，标记点在空间定位系统坐标下的点集记为P_Tracker’；同样，借助深度相机也可以获取到上述标记点在深度相机坐标系下的坐标值，标记点在深度相机坐标下的点集记为P_ToF’。获得同一组标记点在不同的坐标空间里的点集P_Tracker’和P_ToF’后，利用最小二乘法就可以确定出某一时刻空间定位系统与深度相机之间的变换T_ToF2Tracker。然后把T_ToF2Tracker的值代入T_ToF2Tracker=T_ToF2Ref·T_Ref2Tracker公式中求出变换T_ToF2Ref为：

T_ToF2Ref=T_Ref2Tracker ^-1·T_ToF2Tracker。

由于深度相机与参考帧工具之间的位置是保持不变的，因此，在某一时刻里计算所得的变换T_ToF2Ref的值是保持不变的。一旦利用标记点的自动提取算法提取出标记点在深度相机坐标系下的坐标值P_ToF以后，利用以下关系式，就可以变换到定位系统坐标空间：

P_Tracker=T_Ref2Tracker·T_ToF2Ref·P_ToF。

请继续参阅图1，在步骤S13中，借助所述深度图像将所述二维标记点坐标信息转化为三维坐标以得到术中物理空间的标记点点集信息。

在步骤S14中，将得到的所述术前图像空间的标记点点集和所述术中物理空间的标记点点集做点对匹配运算，以得到图像空间与物理空间的变换结果并完成注册过程。

在本实施方式中，由步骤S11已经自动提取出图像空间的标记点点集，记为P_Image；由步骤S12可以自动提取出标记点在深度相机坐标空间下的标记点点集，记为P_ToF，并将P_ToF变换至定位系统坐标空间，记定位系统坐标空间（即物理空间）的标记点点集为P_Tracker。外科手术导航注册的最终目的就是要确定图像空间与物理空间之间的坐标变换关系，利用点集P_Image和P_Tracker可以确定图像空间与物理空间之间的变换关系T，至此即可完成外科手术导航注册的过程。

在步骤S15中，应用注册所得的图像空间与物理空间的变换结果，开始实时导航过程。

在本实施方式中，所述应用注册所得的图像空间与物理空间的变换结果，开始实时导航过程的步骤具体包括：

通过以下公式：P_I=T·P_T，将手术器械的空间坐标从所述空间定位系统的物理空间变换到图像空间；

其中，所述空间定位系统的手术器械的空间坐标是相对于所述空间定位系统本身的，记为P_T，手术器械在变换后的所述图像空间的虚拟位置记为P_I，所述空间定位系统坐标系与所述图像空间坐标系之间的空间变换记为T。

本发明所提供的一种腹部外科手术导航方法，通过引入了影像获取设备（例如深度相机）的应用，提出一种全新的腹部外科手术导航系统自动注册的方法。应用本发明方法，可以有效简化腹部手术导航过程，克服腹部手术导航过程中需要人工干预标记点选取所带来的操作上的不便以及潜在错误会导致注册结果误差过大的问题，进而实现整个手术导航过程的自动化注册。即使当病人体位发生移动或者手术区域有变形情况时，利用本发明方法，可以实现可回溯性与重复性的注册步骤，导航系统可以实时展示手术过程中腹部脏器等软组织在不同呼吸相位的导航定位误差，外科医生可以根据实时显示的注册误差，选择最小注册误差时刻进行手术操作。使用本发明提供的技术方案可以使得整个过程自动完成，无需人工干预，从而提高手术导航精度与手术的安全性，让外科医生准确、快速地完成手术操作。

本发明具体实施方式还提供一种腹部外科手术导航系统10，主要包括：

点集获取模块101，用于对术前采集到带标记点信息的CT或MR图像利用第一预设算法自动提取标记点以得到术前图像空间的标记点点集信息；

坐标获取模块102，用于术中通过影像获取设备获取病人手术区域的RGB图像以及深度图像，并采用第二预设算法获取所述RGB图像的二维标记点坐标信息；

坐标转换模块103，用于借助所述深度图像将所述二维标记点坐标信息转化为三维坐标以得到术中物理空间的标记点点集信息；

注册模块104，用于将得到的所述术前图像空间的标记点点集和所述术中物理空间的标记点点集做点对匹配运算，以得到图像空间与物理空间的变换结果并完成注册过程；

导航模块105，用于应用注册所得的图像空间与物理空间的变换结果，开始实时导航过程。

本发明所提供的一种腹部外科手术导航系统10，通过引入了影像获取设备（例如深度相机）的应用，提出一种全新的腹部外科手术导航系统自动注册的方法。应用本发明方法，可以有效简化腹部手术导航过程，克服腹部手术导航过程中需要人工干预标记点选取所带来的操作上的不便以及潜在错误会导致注册结果误差过大的问题，进而实现整个手术导航过程的自动化注册。即使当病人体位发生移动或者手术区域有变形情况时，利用本发明方法，可以实现可回溯性与重复性的注册步骤，导航系统可以实时展示手术过程中腹部脏器等软组织在不同呼吸相位的导航定位误差，外科医生可以根据实时显示的注册误差，选择最小注册误差时刻进行手术操作。使用本发明提供的技术方案可以使得整个过程自动完成，无需人工干预，从而提高手术导航精度与手术的安全性，让外科医生准确、快速地完成手术操作。

以下将对本发明所提供的一种腹部外科手术导航系统10进行详细说明。

请参阅图2，所示为本发明一实施方式中腹部外科手术导航系统10的结构示意图。在本实施方式中，腹部外科手术导航系统10包括点集获取模块101、坐标获取模块102、坐标转换模块103、注册模块104以及导航模块105。

点集获取模块101，用于对术前采集到带标记点信息的CT或MR图像利用第一预设算法自动提取标记点以得到术前图像空间的标记点点集信息。

在本实施方式中，腹部外科手术导航系统10还包括扫描模块（图中未示出）。扫描模块，用于在病人待手术区域的腹部体表上贴上多个标记点后，对病人进行CT或MR扫描以采集带标记点信息的CT或MR图像。

在本实施方式中，第一预设算法可以为结合区域生长算法及高斯曲率对术前采集的带标记点信息的CT或MR图像作标记点自动提取，得到术前图像空间的标记点点集信息。

坐标获取模块102，用于术中通过影像获取设备获取病人手术区域的RGB图像以及深度图像，并采用第二预设算法获取所述RGB图像的二维标记点坐标信息。

在本实施方式中，所述影像获取设备具体为深度相机，如美国微软公司生产的Sensor。在本实施方式中，所述RGB图像的二维标记点坐标信息具体位于所述影像获取设备坐标系下，

在本实施方式中，病人在进行CT或MR扫描之后，保持标记点点集在体表上的位置不变，利用影像获取设备（例如Sensor）获取病人体表上标记点点集的二维彩色信息及深度信息，例如RGB图像以及深度图像，根据影像获取设备（例如Sensor）获取的图像信息计算影像获取设备（例如Sensor）坐标系统下标记点集的空间位置，计算所采用的第二预设算法通常为术中采用深度相机(如Sensor)获取手术区域的RGB图像以及深度图像，根据标记点在RGB三个分量上的值的比率获取RGB图像的二维标记点坐标信息，借助深度图像，可将二维标记点坐标信息转化为三维坐标，得到术中物理空间的标记点点集信息。

在本实施方式中，所得的所述RGB图像的二维标记点坐标信息是相对于影像获取设备坐标系的，由于手术过程中手术器械的空间坐标信息是相对于空间定位系统的，因此，需要将所得的所述RGB图像的二维标记点坐标信息变换到空间定位系统坐标下，这个过程的实施可由以下步骤完成。

在本实施方式中，坐标转换模块102，还用于将所述影像获取设备坐标系下的所述二维标记点的坐标变换到空间定位系统坐标系下。

在本实施方式中，坐标转换模块102，还用于将所述影像获取设备坐标系下的所述二维标记点的坐标P_{ToF_i}通过以下公式变换到空间定位系统下：

P_{Tracker_i}=T_ToF2Tracker·P_{ToF_i}；

其中，所述影像获取设备坐标系下的所述二维标记点的坐标记为P_{ToF_i}，空间定位系统坐标系与所述影像获取设备坐标系之间的空间变换记为T_ToF2Tracker，变换后的所述空间定位系统坐标系下的坐标点记为P_{Tracker_i}。其中，i=1，2，…n,n表示所提取的标记点的个数。

在本实施方式中，坐标转换模块102，还具体用于在所述影像获取设备固定一个可以被所述空间定位系统识别的参考帧工具；通过以下公式获取空间定位系统坐标系与所述影像获取设备坐标系之间的空间变换T_ToF2Tracker，即T_ToF2Tracker=T_ToF2Ref·T_Ref2Tracker；

其中，通过所述空间定位系统实时捕获所述参考帧工具的空间位置信息记为T_Ref2Tracker，所述影像获取设备与所述参考帧工具之间的相对位置信息记为T_ToF2Ref。

坐标转换模块103，用于借助所述深度图像将所述二维标记点坐标信息转化为三维坐标以得到术中物理空间的标记点点集信息；

注册模块104，用于将得到的所述术前图像空间的标记点点集和所述术中物理空间的标记点点集做点对匹配运算，以得到图像空间与物理空间的变换结果并完成注册过程；

在本实施方式中，由点集获取模块101已经自动提取出图像空间的标记点点集，记为P_Image；由坐标转换模块102可以自动提取出标记点在深度相机坐标空间下的标记点点集，记为P_ToF，并将P_ToF变换至定位系统坐标空间，记定位系统坐标空间（即物理空间）的标记点点集为P_Tracker。外科手术导航注册的最终目的就是要确定图像空间与物理空间之间的坐标变换关系，利用点集P_Image和P_Tracker可以确定图像空间与物理空间之间的变换关系T，至此即可完成外科手术导航注册的过程。

导航模块105，用于应用注册所得的图像空间与物理空间的变换结果，开始实时导航过程。

在本实施方式中，所述应用注册所得的图像空间与物理空间的变换结果，开始实时导航过程的步骤具体包括：

通过以下公式：P_I=T·P_T，将手术器械的空间坐标从所述空间定位系统的物理空间变换到图像空间；

其中，所述空间定位系统的手术器械的空间坐标是相对于所述空间定位系统本身的，记为P_T，手术器械在变换后的所述图像空间的虚拟位置记为P_I，所述空间定位系统坐标系与所述图像空间坐标系之间的空间变换记为T。

本发明所提供的一种腹部外科手术导航系统10，通过引入了影像获取设备（例如深度相机）的应用，提出一种全新的腹部外科手术导航系统自动注册的方法。应用本发明方法，可以有效简化腹部手术导航过程，克服腹部手术导航过程中需要人工干预标记点选取所带来的操作上的不便以及潜在错误会导致注册结果误差过大的问题，进而实现整个手术导航过程的自动化注册。即使当病人体位发生移动或者手术区域有变形情况时，利用本发明方法，可以实现可回溯性与重复性的注册步骤，导航系统可以实时展示手术过程中腹部脏器等软组织在不同呼吸相位的导航定位误差，外科医生可以根据实时显示的注册误差，选择最小注册误差时刻进行手术操作。使用本发明提供的技术方案可以使得整个过程自动完成，无需人工干预，从而提高手术导航精度与手术的安全性，让外科医生准确、快速地完成手术操作。

在本发明实施例中，本发明提供的技术方案，通过引入了影像获取设备（例如深度相机）的应用，提出一种全新的腹部外科手术导航系统自动注册的方法。应用本发明方法，可以有效简化腹部手术导航过程，克服腹部手术导航过程中需要人工干预标记点选取所带来的操作上的不便以及潜在错误会导致注册结果误差过大的问题，进而实现整个腹部手术导航过程的自动化注册。即使当病人体位发生移动或者手术区域有变形情况时，利用本发明方法，可以实现可回溯性与重复性的注册步骤，导航系统可以实时展示手术过程中腹部脏器等软组织在不同呼吸相位的导航定位误差，外科医生可以根据实时显示的注册误差，选择最小注册误差时刻进行手术操作。使用本发明提供的技术方案可以使得整个过程自动完成，无需人工干预，从而提高手术导航精度与手术的安全性，让外科医生准确、快速地完成手术操作。

值得注意的是，上述实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘或光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (18)

1.一种腹部外科手术导航方法，其特征在于，所述方法包括：

对术前采集到带标记点信息的CT或MR图像利用第一预设算法自动提取标记点以得到术前图像空间的标记点点集信息；

术中通过影像获取设备获取病人手术区域的RGB图像以及深度图像，并采用第二预设算法获取所述RGB图像的二维标记点坐标信息；

借助所述深度图像将所述二维标记点坐标信息转化为三维坐标以得到术中物理空间的标记点点集信息；

将得到的所述术前图像空间的标记点点集和所述术中物理空间的标记点点集做点对匹配运算，以得到图像空间与物理空间的变换结果并完成注册过程；

应用注册所得的图像空间与物理空间的变换结果，开始实时导航过程。

2.如权利要求1所述的腹部外科手术导航方法，其特征在于，在所述对术前采集到带标记点信息的CT或MR图像利用第一预设算法自动提取标记点以得到术前图像空间的标记点点集信息的步骤之前，所述方法还包括：

在病人待手术区域的腹部体表上贴上多个标记点后，对病人进行CT或MR扫描以采集带标记点信息的CT或MR图像。

3.如权利要求1所述的腹部外科手术导航方法，其特征在于，所述第一预设算法具体为结合区域生长算法及高斯曲率对术前采集的带标记点信息的CT或MR图像作标记点自动提取，得到术前图像空间的标记点点集信息。

4.如权利要求1所述的腹部外科手术导航方法，其特征在于，所述第二预设算法具体为术中采用深度相机获取手术区域的RGB图像以及深度图像，根据标记点在RGB三个分量上的值的比率获取RGB图像的二维标记点坐标信息，借助深度图像，可将二维标记点坐标信息转化为三维坐标，得到术中物理空间的标记点点集信息。

5.如权利要求1所述的腹部外科手术导航方法，其特征在于，所述影像获取设备具体为深度相机。

6.如权利要求1所述的腹部外科手术导航方法，其特征在于，所述RGB图像的二维标记点坐标信息具体位于所述影像获取设备坐标系下，其中，在所述术中通过影像获取设备获取病人手术区域的RGB图像以及深度图像，并采用第二预设算法获取所述RGB图像的二维标记点坐标信息的步骤之后，所述方法还包括：

将所述影像获取设备坐标系下的所述二维标记点的坐标变换到空间定位系统坐标系下。

7.如权利要求6所述的腹部外科手术导航方法，其特征在于，所述将所述影像获取设备坐标系下的所述二维标记点的坐标变换到空间定位系统坐标系下的步骤具体包括：

将所述影像获取设备坐标系下的所述二维标记点的坐标P_{ToF_i}通过以下公式变换到空间定位系统下：

P_{Tracker_i}=T_ToF2Tracker·P_{ToF_i}；

其中，所述影像获取设备坐标系下的所述二维标记点的坐标记为P_{ToF_i}，空间定位系统坐标系与所述影像获取设备坐标系之间的空间变换记为T_ToF2Tracker，变换后的所述空间定位系统坐标系下的坐标点记为P_{Tracker_i}。

8.如权利要求7所述的腹部外科手术导航方法，其特征在于，获取空间定位系统坐标系与所述影像获取设备坐标系之间的空间变换T_ToF2Tracker的步骤具体包括：

在所述影像获取设备固定一个可以被所述空间定位系统识别的参考帧工具；

通过以下公式获取空间定位系统坐标系与所述影像获取设备坐标系之间的空间变换T_ToF2Tracker，即T_ToF2Tracker=T_ToF2Ref·T_Ref2Tracker；

其中，通过所述空间定位系统实时捕获所述参考帧工具的空间位置信息记为T_Ref2Tracker，所述影像获取设备与所述参考帧工具之间的相对位置信息记为T_ToF2Ref。

9.如权利要求8所述的腹部外科手术导航方法，其特征在于，所述应用注册所得的图像空间与物理空间的变换结果，开始实时导航过程的步骤具体包括：

通过以下公式：P_I=T·P_T，将手术器械的空间坐标从所述空间定位系统的物理空间变换到图像空间；

其中，所述空间定位系统的手术器械的空间坐标是相对于所述空间定位系统本身的，记为P_T，手术器械在变换后的所述图像空间的虚拟位置记为P_I，所述空间定位系统坐标系与图像空间坐标系之间的空间变换记为T。

10.一种腹部外科手术导航系统，其特征在于，所述系统包括：

点集获取模块，用于对术前采集到带标记点信息的CT或MR图像利用第一预设算法自动提取标记点以得到术前图像空间的标记点点集信息；

坐标获取模块，用于术中通过影像获取设备获取病人手术区域的RGB图像以及深度图像，并采用第二预设算法获取所述RGB图像的二维标记点坐标信息；

坐标转换模块，用于借助所述深度图像将所述二维标记点坐标信息转化为三维坐标以得到术中物理空间的标记点点集信息；

注册模块，用于将得到的所述术前图像空间的标记点点集和所述术中物理空间的标记点点集做点对匹配运算，以得到图像空间与物理空间的变换结果并完成注册过程；

导航模块，用于应用注册所得的图像空间与物理空间的变换结果，开始实时导航过程。

11.如权利要求10所述的腹部外科手术导航系统，其特征在于，所述系统还包括：

扫描模块，用于在病人待手术区域的腹部体表上贴上多个标记点后，对病人进行CT或MR扫描以采集带标记点信息的CT或MR图像。

12.如权利要求10所述的腹部外科手术导航系统，其特征在于，所述第一预设算法具体为结合区域生长算法及高斯曲率对术前采集的带标记点信息的CT或MR图像作标记点自动提取，得到术前图像空间的标记点点集信息。

13.如权利要求10所述的腹部外科手术导航系统，其特征在于，所述第二预设算法具体为术中采用深度相机获取手术区域的RGB图像以及深度图像，根据标记点在RGB三个分量上的值的比率获取RGB图像的二维标记点坐标信息，借助深度图像，可将二维标记点坐标信息转化为三维坐标，得到术中物理空间的标记点点集信息。

14.如权利要求10所述的腹部外科手术导航系统，其特征在于，所述影像获取设备具体为深度相机。

15.如权利要求10所述的腹部外科手术导航系统，其特征在于，

所述坐标转换模块，还用于将所述影像获取设备坐标系下的所述二维标记点的坐标变换到空间定位系统坐标系下。

16.如权利要求15所述的腹部外科手术导航系统，其特征在于，

所述坐标转换模块，还具体用于将所述影像获取设备坐标系下的所述二维标记点的坐标P_{ToF_i}通过以下公式变换到空间定位系统下：

P_{Tracker_i}=T_ToF2Tracker·P_{ToF_i}；

其中，所述影像获取设备坐标系下的所述二维标记点的坐标记为P_{ToF_i}，空间定位系统坐标系与所述影像获取设备坐标系之间的空间变换记为T_ToF2Tracker，变换后的所述空间定位系统坐标系下的坐标点记为P_{Tracker_i}。

17.如权利要求16所述的腹部外科手术导航系统，其特征在于，

所述坐标转换模块，还具体用于在所述影像获取设备固定一个可以被所述空间定位系统识别的参考帧工具，并通过以下公式获取空间定位系统坐标系与所述影像获取设备坐标系之间的空间变换T_ToF2Tracker，即T_ToF2Tracker=T_ToF2Ref·T_Ref2Tracker；

其中，通过所述空间定位系统实时捕获所述参考帧工具的空间位置信息记为T_Ref2Tracker，所述影像获取设备与所述参考帧工具之间的相对位置信息记为T_ToF2Ref。

18.如权利要求17所述的腹部外科手术导航系统，其特征在于，

所述导航模块，具体用于通过以下公式：P_I=T·P_T，将手术器械的空间坐标从所述空间定位系统的物理空间变换到图像空间；

其中，所述空间定位系统的手术器械的空间坐标是相对于所述空间定位系统本身的，记为P_T，手术器械在变换后的所述图像空间的虚拟位置记为P_I，所述空间定位系统坐标系与所述图像空间坐标系之间的空间变换记为T。