CN106344152B - 腹部外科手术导航配准方法及系统 - Google Patents

Abstract

本发明提供一种腹部外科手术导航配准方法，包括：获取手术区域的术前CT图像，并从所述术前CT图像中提取手术区域的术前表面数据；获取手术区域的术中RGB‑D图像，并从所述术中RGB‑D图像中提取手术区域的术中表面数据；计算所述术前表面数据和所述术中表面数据之间的索引关系，并根据所述索引关系计算所述术前CT图像与所述术中RGB‑D图像之间的第一空间变换T₁，并根据所述第一空间变换T₁计算术中物理空间与术前图像空间之间的第二空间变换T₂；根据所述第二空间变换T₂，将穿刺工具在所述术中物理空间中的坐标变换至所述术前图像空间之中，开始导航过程。本发明还提供一种腹部外科手术导航配准系统。所述腹部外科手术导航配准方法可实现整个手术导航过程的自动化配准。

Description

腹部外科手术导航配准方法及系统

技术领域

本发明涉及医学图像处理领域，尤其涉及一种腹部外科手术导航配准方法及系统。

背景技术

配准过程是手术导航一个至关重要的步骤，它的主要作用是将术前图像空间与术中物理空间统一起来。手术导航过程中，手术器械等物理空间下的物体通过配准过程所计算的空间变换，即可在术前图像空间中实时显示，手术器械与人体解剖结构之间的相对位置亦可在计算机屏幕上实时展现。

在传统的手术导航中，如神经外科手术导航系统，一般需要在术前和术中人工干预选取标记点，然后将这两组标记点做最小二乘运算，求取术前图像空间与术中物理空间之间的空间变换。由于人工选取标记点具有很强的主观性与不稳定性，不同的操作者选取的结果不尽相同，同一操作者在不同的时刻所得的结果也不一样，从而导致误差过大，影响导航系统最终的精度；手术过程中如果病人手术区域发生形变时，也会影响到配准精度；另一方面，人工干预选取标记点也使得外科手术导航过程复杂繁琐。

发明内容

本发明提供一种腹部外科手术导航配准方法，在手术导航过程中无须粘贴外部标记点，从而可以避免标记点选取所带来的操作上的不便以及手动选取标记点的潜在错误会导致配准结果误差过大的问题，实现整个手术导航过程的自动化配准。

另，本发明还提供一种应用所述方法的腹部外科手术导航配准系统。

一种腹部外科手术导航配准方法，包括：

获取手术区域的术前CT图像，并从所述术前CT图像中提取手术区域的术前表面数据；

获取手术区域的术中RGB-D图像，并从所述术中RGB-D图像中提取手术区域的术中表面数据；

建立所述术前表面数据和所述术中表面数据之间的索引关系，并根据所述索引关系，计算所述术前CT图像与所述术中RGB-D图像之间的第一空间变换T₁，并根据所述第一空间变换T₁，计算术中物理空间与术前图像空间之间的第二空间变换T₂；

根据所述第二空间变换T₂，将穿刺工具在所述术中物理空间中的坐标变换至所述术前图像空间之中，开始导航过程。

其中，所述获取手术区域的术前CT图像之后，还包括：

在所述术前CT图像上选取穿刺的入口点和目标靶点，所述入口点和目标靶点的连线形成穿刺路径。

其中，所述在所述术前CT图像上选取穿刺的入口点和目标靶点，包括：

通过手动选取所述入口点；

通过自动分割算法从所述术前CT图像中分割出病变区，并计算所述病变区的质点位置为所述目标靶点。

其中，所述从所述术前CT图像中提取手术区域的术前表面数据，包括：

采用区域增长算法对所述术前CT图像进行分割处理，提取出所述术前CT图像的腹部区域表面；

根据所述术前CT图像在人体矢状面方向的索引值对所述腹部区域表面进行分割处理，提取出腹部表面手术区域，并清除所述腹部表面手术区域之外的冗余像素。

其中，所述提取出腹部表面手术区域之后，还包括：

将所述提取出的腹部表面手术区域投影到冠状面方向，生成术前二维投影图像；

提取所述术前二维投影图像的轮廓，并重构形成术前二维形状图像，进而由所述术前二维形状图像提取所述术前表面数据。

其中，所述术中RGB-D图像包括RGB图像和深度图像，则所述从所述术中RGB-D图像中提取手术区域的术中表面数据，包括：

采用分水岭算法对所述RGB图像进行分割处理，提取出标签图像；

采用阈值法对所述深度图像进行分割处理，提取出阈值图像；

将所述阈值图像作为模板与所述标签图像进行与操作，获得初始ROI模板图像；

将所述初始ROI模板图像作为种子，采用区域增长算法对所述深度图像进行再分割处理，获得最终ROI模板图像。

其中，所述获得最终ROI模板图像后，还包括对所述最终ROI模板图像进行旋转调整，所述旋转调整包括：

对所述最终ROI模板图像进行分割处理，提取出ROI轮廓；

计算所述ROI轮廓的质心与所述ROI轮廓上每个点的距离，并按升序排列；

分别对排列两端各3％的距离取平均值，并分别标记为最小距离和最大距离，所述最小距离、最大距离及所述质心共同定义出一个矩形区域；

将所述最终ROI模板图像与所述矩形区域进行配准处理，获得调整后的ROI模板图像，并由所述调整后的ROI模版图像生成所述术中表面数据。

其中，所述由所述调整后的ROI模版图像生成所述术中表面数据，包括：

以所述最小距离与所述最大距离分别作为术中二维形状图像矩形区域的宽和长，并保持术中二维形状图像的质心位置与所述术前二维形状图像的质心位置一致，得到术中二维形状图像；

由所述术中二维形状图像提取所述术中表面数据。

其中，所述建立所述术前表面数据和所述术中表面数据之间的索引关系，并根据所述索引关系，计算所述术前CT图像与所述术中RGB-D图像之间的第一空间变换T₁，包括：

对所述术前二维形状图像和所述术中二维形状图像进行配准处理，以建立所述术前表面数据和所述术中表面数据之间的索引关系；

根据所述索引关系，搜索所述术前CT图像和所述术中RGB-D图像上的对应点；

根据所述对应点，采用最小二乘匹配算法计算所述术前CT图像与所述术中RGB-D图像之间的第一空间变换T₁。

其中，所述术前图像空间包括二维图像索引坐标系，所述术中物理空间包括定位系统坐标系、深度相机坐标系及相机工具坐标系，所述定位系统坐标系与所述二维图像索引坐标系之间的变换关系记为T_Tracker2Img变换，所述定位系统坐标系与所述深度相机坐标系之间的变换关系记为T_Tracker2ToF变换，所述二维图像索引坐标系与所述深度相机坐标系之间的变换关系记为T_Img2ToF变换，所述深度相机坐标系与所述相机工具坐标系之间的变换关系记为T_ToF2Ref变换，所述相机工具坐标系与所述定位系统坐标系之间的变换关系记为T_Ref2Tracker变换。

其中，所述T_Tracker2Img变换、T_Img2ToF变换及T_Tracker2ToF变换构成闭环结构，并满足关系式：T_Img2ToF·T_Tracker2Img·T_Tracker2ToF ^-1＝I；所述T_Tracker2ToF变换、T_Ref2Tracker变换及T_ToF2Ref变换构成闭环结构，并满足关系式：T_ToF2Ref·T_Tracker2ToF·T_Ref2Tracker＝I，其中，I为单位矩阵。

其中，所述二维图像索引坐标系与所述深度相机坐标系之间的T_Img2ToF变换形成所述第一空间变换T₁；所述定位系统坐标系与所述二维图像索引坐标系之间的T_Tracker2Img变换形成所述第二空间变换T₂；所述T_Ref2Tracker变换由所述定位系统实时捕获。

其中，所述根据所述第一空间变换T₁，计算术前图像空间与术中物理空间之间的第二空间变换T₂，包括：

选定某一时刻，固定所述定位系统、深度相机和相机工具之间的空间位置；

从所述定位系统坐标系中选取至少三个标记点，形成第一点集P_Tracker'；

通过所述深度相机获取所述第一点集P_Tracker'在所述深度相机坐标系中的坐标，形成的第二点集P_ToF'；

通过最小二乘法计算在所述选定时刻下的所述定位系统坐标系与所述深度相机坐标系之间的T_Tracker2ToF变换；

由关系式T_ToF2Ref＝T_Ref2Tracker ^-1·T_Tracker2ToF ^-1计算所述深度相机坐标系与所述相机工具坐标系之间的T_ToF2Ref变换；

由关系式P_Tracker＝T_Ref2Tracker·T_ToF2Ref·P_ToF将所述深度相机获取的任一标记点P_ToF变换至所述定位系统坐标系中，从而获得所述定位系统坐标系与所述深度相机坐标系之间的T_Tracker2ToF变换；

根据所述关系式T_Img2ToF·T_Tracker2Img·T_Tracker2ToF ^-1＝I及所述第一空间变换T₁，计算所述第二空间变换T₂为：T₂＝T_Tracker2Img＝T_Tracker2ToF ^-1·T₁。

其中，所述根据所述第二空间变换T₂，将穿刺工具在所述术中物理空间中的坐标变换至所述术前图像空间之中，包括：

将所述定位系统获取的所述穿刺工具在所述物理空间中的坐标记为P_T，将所述穿刺工具在所述术前图像空间中的坐标记为P_I；

通过关系式P_I＝T₂·P_T将所述穿刺工具在所述术中物理空间中的坐标变换至所述术前图像空间之中。

一种腹部外科手术导航配准系统，包括：

第一表面数据提取模块：用于获取手术区域的术前CT图像，并从所述术前CT图像中提取手术区域的术前表面数据；

第二表面数据提取模块：用于获取手术区域的术中RGB-D图像，并从所述术中RGB-D图像中提取手术区域的术中表面数据；

配准模块：用于建立所述术前表面数据和所述术中表面数据之间的索引关系，并根据所述索引关系，计算所述术前CT图像与所述术中RGB-D图像之间的第一空间变换T₁，并根据所述第一空间变换T₁，计算术中物理空间与术前图像空间之间的第二空间变换T₂；

导航模块：用于根据所述第二空间变换T₂，将穿刺工具在所述术中物理空间中的坐标变换至所述术前图像空间之中，开始导航过程。

其中，所述第一表面数据提取模块还用于：

采用区域增长算法对所述术前CT图像进行分割处理，提取出所述术前CT图像的腹部区域表面；

根据所述术前CT图像在人体矢状面方向的索引值对所述腹部区域表面进行分割处理，提取出腹部表面手术区域，并清除所述腹部表面手术区域之外的冗余像素。

其中，所述第一表面数据提取模块还用于：

将所述提取出的腹部表面手术区域投影到冠状面方向，生成术前二维投影图像；

提取所述术前二维投影图像的轮廓，并重构形成术前二维形状图像，进而由所述术前二维形状图像提取所述术前表面数据。

其中，所述术中RGB-D图像包括RGB图像和深度图像，所述第二表面数据提取模块还用于：

采用分水岭算法对所述RGB图像进行分割处理，提取出标签图像；

采用阈值法对所述深度图像进行分割处理，提取出阈值图像；

将所述阈值图像作为模板与所述标签图像进行与操作，获得初始ROI模板图像；

将所述初始ROI模板图像作为种子，采用区域增长算法对所述深度图像进行再分割处理，获得最终ROI模板图像。

其中，所述第二表面数据提取模块还用于对所述最终ROI模板图像进行旋转调整，所述旋转调整包括：

对所述最终ROI模板图像进行分割处理，提取出ROI轮廓；

计算所述ROI轮廓的质心与所述ROI轮廓上每个点的距离，并按升序排列；

分别对排列两端各3％的距离取平均值，并分别标记为最小距离和最大距离，所述最小距离、最大距离及所述质心共同定义出一个矩形区域；

将所述最终ROI模板图像与所述矩形区域进行配准处理，获得调整后的ROI模板图像，并由所述调整后的ROI模版图像生成所述术中表面数据。

其中，所述由所述调整后的ROI模版图像生成所述术中表面数据，包括：

以所述最小距离与所述最大距离分别作为术中二维形状图像矩形区域的宽和长，并保持术中二维形状图像的质心位置与所述术前二维形状图像的质心位置一致，得到术中二维形状图像；

由所述术中二维形状图像提取所述术中表面数据。

其中，所述配准模块还用于：

对所述术前二维形状图像和所述术中二维形状图像进行配准处理，以建立所述术前表面数据和所述术中表面数据之间的索引关系；

根据所述索引关系，搜索所述术前CT图像和所述术中RGB-D图像上的对应点；

根据所述对应点，采用最小二乘匹配算法计算所述术前CT图像与所述术中RGB-D图像之间的第一空间变换T₁。

其中，所述术前图像空间包括二维图像索引坐标系，所述术中物理空间包括定位系统坐标系、深度相机坐标系及相机工具坐标系，所述定位系统坐标系与所述二维图像索引坐标系之间的变换关系记为T_Tracker2Img变换，所述定位系统坐标系与所述深度相机坐标系之间的变换关系记为T_Tracker2ToF变换，所述二维图像索引坐标系与所述深度相机坐标系之间的变换关系记为T_Img2ToF变换，所述深度相机坐标系与所述相机工具坐标系之间的变换关系记为T_ToF2Ref变换，所述相机工具坐标系与所述定位系统坐标系之间的变换关系记为T_Ref2Tracker变换。

其中，所述T_Tracker2Img变换、T_Img2ToF变换及T_Tracker2ToF变换构成闭环结构，并满足关系式：T_Img2ToF·T_Tracker2Img·T_Tracker2ToF ^-1＝I；所述T_Tracker2ToF变换、T_Ref2Tracker变换及T_ToF2Ref变换构成闭环结构，并满足关系式：T_ToF2Ref·T_Tracker2ToF·T_Ref2Tracker＝I，其中，I为单位矩阵。

其中，所述二维图像索引坐标系与所述深度相机坐标系之间的T_Img2ToF变换形成所述第一空间变换T₁；所述定位系统坐标系与所述二维图像索引坐标系之间的T_Tracker2Img变换形成所述第二空间变换T₂；所述T_Ref2Tracker变换由所述定位系统实时捕获。

其中，在选定某一时刻，并固定所述定位系统、深度相机和相机工具之间的空间位置的条件下，从所述定位系统坐标系中选取至少三个标记点，形成第一点集P_Tracker'，则所述配准模块还用于：

通过所述深度相机获取所述第一点集P_Tracker'在所述深度相机坐标系中的坐标，形成的第二点集P_ToF'；

通过最小二乘法计算在所述选定时刻下的所述定位系统坐标系与所述深度相机坐标系之间的T_Tracker2ToF变换；

由关系式T_ToF2Ref＝T_Ref2Tracker ^-1·T_Tracker2ToF ^-1计算所述深度相机坐标系与所述相机工具坐标系之间的T_ToF2Ref变换；

由关系式P_Tracker＝T_Ref2Tracker·T_ToF2Ref·P_ToF将所述深度相机获取的任一标记点P_ToF变换至所述定位系统坐标系中，从而获得所述定位系统坐标系与所述深度相机坐标系之间的T_Tracker2ToF变换；

根据所述关系式T_Img2ToF·T_Tracker2Img·T_Tracker2ToF ^-1＝I及所述第一空间变换T₁，计算所述第二空间变换T₂为：T₂＝T_Tracker2Img＝T_Tracker2ToF ^-1·T₁。

其中，所述导航模块还用于：

将所述定位系统获取的所述穿刺工具在所述物理空间中的坐标记为P_T，将所述穿刺工具在所述术前图像空间中的坐标记为P_I；

通过关系式P_I＝T₂·P_T将所述穿刺工具在所述术中物理空间中的坐标变换至所述术前图像空间之中。

所述腹部外科手术导航配准方法可以有效简化手术导航过程，在手术导航的整个过程中无须粘贴外部标记点，从而可以避免标记点选取所带来的操作上的不便以及手动选点的潜在错误会导致配准结果误差过大的问题，实现整个手术导航过程的自动化配准。另外，应用所述腹部外科手术导航配准系统还可缩短手术导航操作的时间，最大化地减少人工干预，增强系统的易用性，提高手术导航精度与手术的安全性，让外科医生精准、快速地完成手术操作。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的腹部外科手术导航配准方法的流程示意图。

图2是本发明实施例的腹部外科手术导航配准方法的空间变换示意图。

图3是应用图1所示方法的腹部外科手术导航工作流程示意图。

图4是本发明实施例的腹部外科手术导航配准系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明实施例提供一种腹部外科手术导航配准方法，通过在腹部外科手术导航系统中引入深度相机，利用深度相机(如

深度相机)获取腹部表面手术区域的术中RGB-D图像，得到腹部表面手术区域的深度信息，并重建形成术中表面数据；另一方面，利用计算机断层扫描(Computed Tomography，CT)设备获取腹部表面手术区域的术前CT图像，并从中提取出相应的术前表面数据。将所述术前表面数据与所述术中表面数据做配准，计算得到术前图像空间与术中物理空间之间的空间变换，进而在手术过程中将手术器械(如穿刺工具)在术中物理空间中的坐标变换至术前图像空间坐标系中，并实在计算机屏幕上实时显示图像空间中虚拟手术器械与病人解剖结构之间的相对位置关系，以引导医生进行腹部外科手术，提升手术过程导航的精准度及安全性。

所述腹部外科手术导航配准方法包括：

步骤S101：获取手术区域的术前计算机断层扫描(Computed Tomography，CT)图像，并从所述术前CT图像中提取手术区域的术前表面数据；

步骤S102：获取手术区域的术中RGB-D图像，并从所述术中RGB-D图像中提取手术区域的术中表面数据；

步骤S103：建立所述术前表面数据和所述术中表面数据之间的索引关系，并根据所述索引关系，计算所述术前CT图像与所述术中RGB-D图像之间的第一空间变换T₁，并根据所述第一空间变换T₁，计算术中物理空间与术前图像空间之间的第二空间变换T₂；

步骤S104：根据所述第二空间变换T₂，将穿刺工具在所述术中物理空间中的坐标变换至所述术前图像空间之中，开始导航过程。

其中，所述获取手术区域的术前CT图像之后，还包括：

在所述术前CT图像上选取穿刺的入口点和目标靶点，所述入口点和目标靶点的连线形成穿刺路径。所述在所述术前CT图像上选取穿刺的入口点和目标靶点，包括：

通过手动选取所述入口点；

通过自动分割算法从所述术前CT图像中分割出病变区，并计算所述病变区的质点位置为所述目标靶点。

其中，所述从所述术前CT图像中提取手术区域的术前表面数据，包括：

采用区域增长算法对所述术前CT图像进行分割处理，提取出所述术前CT图像的腹部区域表面；

根据所述术前CT图像在人体矢状面方向的索引值对所述腹部区域表面进行分割处理，提取出腹部表面手术区域，并清除所述腹部表面手术区域之外的冗余像素。其中，所述矢状面为将人体分为左右两部分的面，所述CT图像在人体矢状面方向的索引值定义出所述手术区域。

其中，所述提取出腹部表面手术区域之后，还包括：

将所述提取出的腹部表面手术区域投影到冠状面方向，生成术前二维投影图像；其中，所述冠状面为将人体纵切为前后两部分的断面。

提取所述术前二维投影图像的轮廓，并重构形成术前二维形状图像，进而由所述术前二维形状图像提取所述术前表面数据。其中，所述术前二维图像是指包含术前二维投影图像矩形区域的二维切片图像。

其中，所述术中RGB-D图像包括RGB图像和深度图像，则所述从所述术中RGB-D图像中提取手术区域的术中表面数据，包括：

采用分水岭算法对所述RGB图像进行分割处理，提取出标签图像；

采用阈值法对所述深度图像进行分割处理，提取出阈值图像；

将所述阈值图像作为模板与所述标签图像进行与操作，获得初始感兴趣区域(Region of Interest，ROI)模板图像；

将所述初始ROI模板图像作为种子，采用区域增长算法对所述深度图像进行再分割处理，获得最终ROI模板图像。

具体地，首先采用分水岭算法(本实施例中采用医学图像处理软件包ITK里的类itkMorphologicalWatershedImageFilter)对所述RGB图像做分割，得到标签图像；同时采用阈值的方法(以

深度相机的坐标原点至腹部表面的距离作为阈值)对所述深度图像做分割，得出阈值图像。然后将所述阈值图像作为模板与从所述RGB图像中分割后得到的标签图像做与操作，获得初始ROI模板图像。该初始ROI模板图像可能会因为分割算法的欠分割等原因而出现空洞的现象。最后再将所述初始ROI模板图像作为种子，以

深度相机的坐标原点至腹部表面的距离为阈值，采用区域增长算法，对所述深度图像再做分割操作，得出最终ROI模板图像。

其中，所述获得最终ROI模板图像后，还包括对所述最终ROI模板图像进行旋转调整，所述旋转调整包括：

对所述最终ROI模板图像进行分割处理，提取出ROI轮廓；

计算所述ROI轮廓的质心与所述ROI轮廓上每个点的距离，并按升序排列；

分别对排列两端各3％的距离取平均值，并分别标记为最小距离和最大距离，所述最小距离、最大距离及所述质心共同定义出一个矩形区域；

将所述最终ROI模板图像与所述矩形区域进行配准处理，获得调整后的ROI模板图像，并由所述调整后的ROI模版图像生成所述术中表面数据。

具体地，首先从所述最终ROI模板图像中分割出ROI轮廓；然后计算所述ROI轮廓的质心与ROI轮廓上每个点的距离，并做升序排列，分别对排序后序列两端各3％的距离数据取平均值，并分别标记为最小距离和最大距离，所述最小距离、最大距离及所述质心共同定义了一个矩形区域；最后将所述ROI模板图像与该矩形区域做配准，求得调整后的ROI模板图像。将调整后的ROI模板图像变换至三维坐标系时，所述

深度相机所获取的所述深度图像的噪声可以采用双边滤波器(本实施例中，采用ITK里的类itkBilateralImageFilter)进行滤波处理。

其中，所述由所述调整后的ROI模版图像生成所述术中表面数据，包括：

以由所述ROI轮廓生成的所述最小距离与所述最大距离分别作为术中二维形状图像矩形区域的宽和长，并保持质心位置与所述术前二维形状图像的质心位置一致，得到术中二维形状图像，进而由所述术中二维形状图像提取所述术中表面数据。其中，所述术中二维形状图像与所述术前二维形状图像的像素间隔相同。

其中，所述建立所述术前表面数据和所述术中表面数据之间的索引关系，并根据所述索引关系，计算所述术前CT图像与所述术中RGB-D图像之间的第一空间变换T₁，包括：

对所述术前二维形状图像和所述术中二维形状图像进行配准处理，以建立所述术前表面数据和所述术中表面数据之间的索引关系；

根据所述索引关系，搜索所述术前CT图像和所述术中RGB-D图像上的对应点；

根据所述对应点，采用最小二乘匹配算法计算所述术前CT图像与所述术中RGB-D图像之间的第一空间变换T₁。

具体地，要搜索所述术前CT图像和所述术中RGB-D图像的对应点，需要先将所述术前二维形状图像和所述术中二维形状图像做配准，在本实施例中，采用ITK里的类itkScaleTransform来计算所述术前二维形状图像和所述术中二维形状图像之间的空间变换，建立术前CT图像与术中RGB-D图像间的矩形区域的图像索引对应关系，即所述术前表面数据和所述术中表面数据之间的索引关系。由于三维坐标系与二维图像索引坐标系之间的对应关系已经建立，所以可以将这个对应关系映射到三维坐标系中，求得术前CT图像与术中RGB-D图像(即

深度相机坐标系)之间的第一空间变换T₁。在本实施例中，采用最小二乘匹配算法(如ITK里的类itkLandmarkBasedTransformInitializer或者VTK里的类vtkIterativeClosestPointTransform)计算所述术前CT图像与所述术中RGB-D图像之间的第一空间变换T₁。

请参阅图2，所述腹部外科手术导航系统包括定位系统、深度相机、相机工具及术前图像，它们间的空间变换如图2所示。其中，所述定位系统为光学或电磁定位系统，其用于实时捕获手术器械在物理空间的位置信息；所述深度相机为

深度相机，其用于获取所述术中RGB-D图像；所述相机工具为固定于所述深度相机上的参考帧，所述相机工具可被所述定位系统识别，从而通过所述定位系统即可获取所述相机工具在物理空间的位置信息；所述术前图像为通过计算机断层扫描设备获取的腹部表面手术区域的术前CT图像。

所述术前图像空间包括二维图像索引坐标系，所述术中物理空间包括定位系统坐标系、深度相机坐标系及相机工具坐标系，所述定位系统坐标系与所述二维图像索引坐标系之间的变换关系记为T_Tracker2Img变换，所述定位系统坐标系与所述深度相机坐标系之间的变换关系记为T_Tracker2ToF变换，所述二维图像索引坐标系与所述深度相机坐标系之间的变换关系记为T_Img2ToF变换，所述深度相机坐标系与所述相机工具坐标系之间的变换关系记为T_ToF2Ref变换，所述相机工具坐标系与所述定位系统坐标系之间的变换关系记为T_Ref2Tracker变换。

其中，所述T_Tracker2Img变换、T_Img2ToF变换及T_Tracker2ToF变换构成闭环结构，并满足关系式：T_Img2ToF·T_Tracker2Img·T_Tracker2ToF ^-1＝I；所述T_Tracker2ToF变换、T_Ref2Tracker变换及T_ToF2Ref变换构成闭环结构，并满足关系式：T_ToF2Ref·T_Tracker2ToF·T_Ref2Tracker＝I，其中，I为单位矩阵。所述二维图像索引坐标系与所述深度相机坐标系之间的T_Img2ToF变换形成所述第一空间变换T₁；所述定位系统坐标系与所述二维图像索引坐标系之间的T_Tracker2Img变换形成所述第二空间变换T₂；所述T_Ref2Tracker变换由所述定位系统实时捕获。

其中，所述根据所述第一空间变换T₁，计算术前图像空间与术中物理空间之间的第二空间变换T₂，包括：

选定某一时刻，固定所述定位系统、深度相机和相机工具之间的空间位置；

从所述定位系统坐标系中选取至少三个标记点，形成第一点集P_Tracker'；

通过所述深度相机获取所述第一点集P_Tracker'在所述深度相机坐标系中的坐标，形成的第二点集P_ToF'；

通过最小二乘法计算在所述选定时刻下的所述定位系统坐标系与所述深度相机坐标系之间的T_Tracker2ToF变换；

由关系式T_ToF2Ref＝T_Ref2Tracker ^-1·T_Tracker2ToF ^-1计算所述深度相机坐标系与所述相机工具坐标系之间的T_ToF2Ref变换；

由关系式P_Tracker＝T_Ref2Tracker·T_ToF2Ref·P_ToF将所述深度相机获取的任一标记点P_ToF变换至所述定位系统坐标系中，从而获得所述定位系统坐标系与所述深度相机坐标系之间的T_Tracker2ToF变换；

根据所述关系式T_Img2ToF·T_Tracker2Img·T_Tracker2ToF ^-1＝I及所述第一空间变换T₁，计算所述第二空间变换T₂为：T₂＝T_Tracker2Img＝T_Tracker2ToF ^-1·T₁。

具体地，手术导航配准的最终目的是要计算图2中的T_Tracker2Img变换，即术中物理空间与术前图像空间之间的第二空间变换T₂。由于T_Tracker2ToF变换、T_Img2ToF变换及T_Tracker2Img变换三者刚好构成一个闭环结构，因此，只要求得T_Tracker2ToF变换和T_Img2ToF变换即可得出T_Tracker2Img变换，而由对应点搜索的内容可以求得变换T_Img2ToF，因此问题就转化为求T_Tracker2ToF变换。

进一步地，所述T_Tracker2ToF变换可以通过如下的方法得到：首先在深度相机上固定一个相机工具，如参考帧工具，该参考帧工具是可被定位系统识别的，其空间位置信息可通过所述定位系统实时捕获，即图2中的T_Ref2Tracker变换已知。因此，需要确定的是定位系统坐标系与深度相机坐标系间的T_Tracker2ToF变换，而一旦定位系统与深度相机之间的空间位置确定以后，T_Tracker2ToF变换的值就是固定的。但是如果深度相机与定位系统间的相对位置发生变化时，则T_Tracker2ToF变换的值也随之改变，而外科手术导航过程中，要保证定位系统与深度相机之间的位置不变，几乎是不可能的事情，难免需要调整两者间的相对位置，以获取最佳的术中导航数据。

进一步地，考虑图2中的T_Tracker2ToF变换、T_Ref2Tracker变换和T_ToF2Ref变换，这三个变换刚好组成了一个闭环结构，因此可以用T_Ref2Tracker变换与T_ToF2Ref变换的乘积来代替T_Tracker2ToF变换，从而把标记点从深度相机坐标系变换到定位系统坐标系中。即：

T_Tracker2ToF ^-1＝T_Ref2Tracker·T_ToF2Ref (1)

上式中的T_Ref2Tracker变换可以通过定位系统实时获取，因此定位系统与深度相机之间的相对位置发生变化时，该值也能反映出来；T_ToF2Ref变换表示深度相机坐标系与参考帧坐标系之间空间变换，在实际操作中，保证深度相机与参考帧之间的相对位置固定不变，而这是很容易做到的，只要把参考帧固定在深度相机上即可，因此T_ToF2Ref变换的值只要计算一次即可。

进一步地，由于所述T_Tracker2ToF变换、T_Ref2Tracker变换及T_ToF2Ref变换构成闭环结构，并满足关系式：T_ToF2Ref·T_Tracker2ToF·T_Ref2Tracker＝I。所述T_ToF2Ref变换可以通过如下的方法得到：在某一时刻，固定所述定位系统、深度相机和相机工具之间的空间位置；从所述定位系统坐标系中选取至少三个标记点，形成第一点集P_Tracker'；通过所述深度相机获取所述第一点集P_Tracker'在所述深度相机坐标系中的坐标，形成的第二点集P_ToF'；然后通过最小二乘法计算在所述选定时刻下的所述定位系统坐标系与所述深度相机坐标系之间的T_Tracker2ToF变换；把T_Tracker2ToF变换代入(1)式中，可以求出T_ToF2Ref变换为：T_ToF2Ref＝T_Ref2Tracker ^-1·T_Tracker2ToF ^-1。

由于深度相机与参考帧工具之间的位置是保持不变的，因此，在任一时刻里计算所得的T_ToF2Ref变换是保持不变的。因此，在任一时刻下，通过深度相机所获取的深度相机坐标系中任一标记点的坐标P_ToF，可由如下公式变换至所述定位系统坐标系中：P_Tracker＝T_Ref2Tracker·T_ToF2Ref·P_ToF，从而获得所述定位系统坐标系与所述深度相机坐标系之间的T_Tracker2ToF变换T_Tracker2ToF＝T_ToF2Ref ^-1·T_Ref2Tracker ^-1。

进一步地，根据所述闭环结构所满足的关系式T_Img2ToF·T_Tracker2Img·T_Tracker2ToF ^-1＝I以及所述第一空间变换T₁＝T_Img2ToF，即可计算所述第二空间变换T₂为：T₂＝T_Tracker2Img＝T_Tracker2ToF ^-1·T₁＝T_Img2ToF ^-1·T_ToF2Ref ^-1·T_Ref2Tracker ^-1。

其中，所述根据所述第二空间变换T₂，将穿刺工具在所述术中物理空间中的坐标变换至所述术前图像空间之中，包括：

将所述定位系统获取的所述穿刺工具在所述物理空间中的坐标记为P_T，将所述穿刺工具在所述术前图像空间中的坐标记为P_I；

通过关系式P_I＝T₂·P_T将所述穿刺工具在所述术中物理空间中的坐标变换至所述术前图像空间之中，开始导航过程。

在本实施例中，通过对所述腹部外科手术导航配准方法进行人体模型穿刺实验验证，实验结果误差如表1所示。

其中，TPE为目标定位误差，TRE为目标配准误差，UE为用户误差，SRE为表面配准误差；Mean为误差均值，SD为误差标准差，Median为误差中位数，Min为误差最小值，Max为误差最大值。

表1 人体模型穿刺实验结果误差

实验结果表明，所述腹部外科手术导航配准方法在引入深度相机以后可避免手工干预标记点选取时的潜在错误，缩短外科手术配准所用的时间，简化导航手术操作流程，且导航配准过程具有可重复性。

请参阅图3，图3所示为应用所述腹部外科手术导航配准方法的腹部外科手术导航工作流程示意图。所述的腹部外科手术导航工作流程包括：

步骤S301：术前计划；

步骤S302：配准；

步骤S303：跟踪；

步骤S304：导航。

其中，所述术前计划步骤进一步包括子步骤术前CT图像扫描、肿瘤分割及穿刺路径规划。具体地，所述术前CT图像扫描用于获取手术区域的术前CT图像，所述肿瘤分割用于从所述术前CT图像中分割出肿瘤区域，所述穿刺路径规划包括在所述术前CT图像上选取穿刺的入口点和目标靶点，所述入口点和目标靶点的连线形成穿刺路径。其中，通过自动分割算法从所述术前CT图像中分割出肿瘤区域，所述入口点通过手动选取，所述目标靶点为所述肿瘤区域的质点。

其中，所述配准步骤进一步包括子步骤术前表面数据提取、术中表面数据提取及配准空间变换计算。具体地，所述术前表面数据提取用于获取手术区域的术前表面数据，所述术中表面数据提取用于获取手术区域的术中表面数据，所述配准空间变换计算过程即为本发明所述腹部外科手术导航配准方法中计算所述第二空间变换T₂的过程，此处不再赘述。

其中，所述跟踪步骤进一步包括子步骤穿刺工具校准及穿刺工具实时跟踪。具体地，所述穿刺工具校准用于将穿刺工具上的定位跟踪工具的坐标转移到所述穿刺工具的针尖，从而在手术导航过程中可通过所述定位系统直接读取所述穿刺工具的针尖在定位系统坐标系中的坐标值，以实现所述穿刺工具的实时跟踪。

其中，所述导航步骤进一步包括子步骤入口点定位、穿刺工具方向调整及穿刺。具体地，在导航开始前，首先将所述穿刺工具定位至腹部表面的穿刺入口点处，并调整穿刺工具的针体方向，使得穿刺工具的针体方向与穿刺路径的方向一致，然后开始穿刺及导航过程。

请参阅图4，本发明实施例还提供一种腹部外科手术导航配准系统400，包括：

第一表面数据提取模块401：用于获取手术区域的术前CT图像，并从所述术前CT图像中提取手术区域的术前表面数据；

第二表面数据提取模块403：用于获取手术区域的术中RGB-D图像，并从所述术中RGB-D图像中提取手术区域的术中表面数据；

配准模块405：用于建立所述术前表面数据和所述术中表面数据之间的索引关系，并根据所述索引关系，计算所述术前CT图像与所述术中RGB-D图像之间的第一空间变换T₁，并根据所述第一空间变换T₁，计算术中物理空间与术前图像空间之间的第二空间变换T₂；

导航模块407：用于根据所述第二空间变换T₂，将穿刺工具在所述术中物理空间中的坐标变换至所述术前图像空间之中，开始导航过程。

其中，所述第一表面数据提取模块401还用于：

采用区域增长算法对所述术前CT图像进行分割处理，提取出所述术前CT图像的腹部区域表面；

根据所述术前CT图像在人体矢状面方向的索引值对所述腹部区域表面进行分割处理，提取出腹部表面手术区域，并清除所述腹部表面手术区域之外的冗余像素。其中，所述矢状面为将人体分为左右两部分的面，所述CT图像在人体矢状面方向的索引值定义出所述手术区域。

其中，所述第一表面数据提取模块401还用于：

将所述提取出的腹部表面手术区域投影到冠状面方向，生成术前二维投影图像；其中，所述冠状面为将人体纵切为前后两部分的断面。

提取所述术前二维投影图像的轮廓，并重构形成术前二维形状图像，进由所述术前二维形状图像提取所述术前表面数据。其中，所述术前二维图像是指包含术前二维投影图像矩形区域的二维切片图像。

其中，所述术中RGB-D图像包括RGB图像和深度图像，所述第二表面数据提取模块403还用于：

采用分水岭算法对所述RGB图像进行分割处理，提取出标签图像；

采用阈值法对所述深度图像进行分割处理，提取出阈值图像；

将所述阈值图像作为模板与所述标签图像进行与操作，获得初始ROI模板图像；

将所述初始ROI模板图像作为种子，采用区域增长算法对所述深度图像进行再分割处理，获得最终ROI模板图像。

其中，所述第二表面数据提取模块403还用于对所述最终ROI模板图像进行旋转调整，所述旋转调整包括：

对所述最终ROI模板图像进行分割处理，提取出ROI轮廓；

计算所述ROI轮廓的质心与所述ROI轮廓上每个点的距离，并按升序排列；

分别对排列两端各3％的距离取平均值，并分别标记为最小距离和最大距离，所述最小距离、最大距离及所述质心共同定义出一个矩形区域；

将所述最终ROI模板图像与所述矩形区域进行配准处理，获得调整后的ROI模板图像，并由所述调整后的ROI模版图像生成所述术中表面数据。

其中，所述由所述调整后的ROI模版图像生成所述术中表面数据，包括：

以由所述ROI轮廓生成的所述最小距离与所述最大距离分别作为术中二维形状图像矩形区域的宽和长，并保持质心位置与所述术前二维形状图像的质心位置一致，得到术中二维形状图像，进而由所述术中二维形状图像提取所述术中表面数据。其中，所述术中二维形状图像与所述术前二维形状图像的像素间隔相同。

其中，所述配准模块405还用于：

对所述术前二维形状图像和所述术中二维形状图像进行配准处理，以建立所述术前表面数据和所述术中表面数据之间的索引关系；

根据所述索引关系，搜索所述术前CT图像和所述术中RGB-D图像上的对应点；

根据所述对应点，采用最小二乘匹配算法计算所述术前CT图像与所述术中RGB-D图像之间的第一空间变换T₁。

其中，所述术前图像空间包括二维图像索引坐标系，所述术中物理空间包括定位系统坐标系、深度相机坐标系及相机工具坐标系，所述定位系统坐标系与所述二维图像索引坐标系之间的变换关系记为T_Tracker2Img变换，所述定位系统坐标系与所述深度相机坐标系之间的变换关系记为T_Tracker2ToF变换，所述二维图像索引坐标系与所述深度相机坐标系之间的变换关系记为T_Img2ToF变换，所述深度相机坐标系与所述相机工具坐标系之间的变换关系记为T_ToF2Ref变换，所述相机工具坐标系与所述定位系统坐标系之间的变换关系记为T_Ref2Tracker变换。

其中，所述T_Tracker2Img变换、T_Img2ToF变换及T_Tracker2ToF变换构成闭环结构，并满足关系式：T_Img2ToF·T_Tracker2Img·T_Tracker2ToF ^-1＝I；所述T_Tracker2ToF变换、T_Ref2Tracker变换及T_ToF2Ref变换构成闭环结构，并满足关系式：T_ToF2Ref·T_Tracker2ToF·T_Ref2Tracker＝I，其中，I为单位矩阵。

其中，所述二维图像索引坐标系与所述深度相机坐标系之间的T_Img2ToF变换形成所述第一空间变换T₁；所述定位系统坐标系与所述二维图像索引坐标系之间的T_Tracker2Img变换形成所述第二空间变换T₂；所述T_Ref2Tracker变换由所述定位系统实时捕获。

其中，在选定某一时刻，并固定所述定位系统、深度相机和相机工具之间的空间位置的条件下，从所述定位系统坐标系中选取至少三个标记点，形成第一点集P_Tracker'，则所述配准模块405还用于：

通过所述深度相机获取所述第一点集P_Tracker'在所述深度相机坐标系中的坐标，形成的第二点集P_ToF'；

通过最小二乘法计算在所述选定时刻下的所述定位系统坐标系与所述深度相机坐标系之间的T_Tracker2ToF变换；

由关系式T_ToF2Ref＝T_Ref2Tracker ^-1·T_Tracker2ToF ^-1计算所述深度相机坐标系与所述相机工具坐标系之间的T_ToF2Ref变换；

由关系式P_Tracker＝T_Ref2Tracker·T_ToF2Ref·P_ToF将所述深度相机获取的任一标记点P_ToF变换至所述定位系统坐标系中，从而获得所述定位系统坐标系与所述深度相机坐标系之间的T_Tracker2ToF变换；

根据所述关系式T_Img2ToF·T_Tracker2Img·T_Tracker2ToF ^-1＝I及所述第一空间变换T₁，计算所述第二空间变换T₂为：T₂＝T_Tracker2Img＝T_Tracker2ToF ^-1·T₁。

其中，所述导航模块407还用于：

将所述定位系统获取的所述穿刺工具在所述物理空间中的坐标记为P_T，将所述穿刺工具在所述术前图像空间中的坐标记为P_I；

通过关系式P_I＝T₂·P_T将所述穿刺工具在所述术中物理空间中的坐标变换至所述术前图像空间之中。

可以理解，所述腹部外科手术导航配准系统400各模块的功能可参照图1所示方法实施例中相应的表述，在此不再赘述。

所述腹部外科手术导航配准方法通过深度相机的应用，可以有效简化手术导航过程，在手术导航的整个过程中无须粘贴外部标记点，从而可以避免标记点选取所带来的操作上的不便以及手动选点的潜在错误会导致配准结果误差过大的问题，实现整个手术导航过程的自动化配准。另外，应用本发明方法还可缩短手术导航操作的时间，最大化地减少人工干预，增强手术导航系统的易用性，提高手术导航精度与手术的安全性，让外科医生精准、快速地完成手术操作。

以上所揭露的仅为本发明的较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (11)

1.一种腹部外科手术导航配准系统，其特征在于，所述系统包括：

第一表面数据提取模块：用于获取手术区域的术前CT图像，并从所述术前CT图像中提取手术区域的术前表面数据；

第二表面数据提取模块：用于获取手术区域的术中RGB-D图像，并从所述术中RGB-D图像中提取手术区域的术中表面数据；

配准模块：用于建立所述术前表面数据和所述术中表面数据之间的索引关系，并根据所述索引关系，计算所述术前CT图像与所述术中RGB-D图像之间的第一空间变换T₁，并根据所述第一空间变换T₁，计算术中物理空间与术前图像空间之间的第二空间变换T₂；

导航模块：用于根据所述第二空间变换T₂，将穿刺工具在所述术中物理空间中的坐标变换至所述术前图像空间之中，开始导航过程，其中，所述第一表面数据提取模块还用于：

采用区域增长算法对所述术前CT图像进行分割处理，提取出所述术前CT图像的腹部区域表面；

根据所述术前CT图像在人体矢状面方向的索引值对所述腹部区域表面进行分割处理，提取出腹部表面手术区域，并清除所述腹部表面手术区域之外的冗余像素。

2.如权利要求1所述的腹部外科手术导航配准系统，其特征在于，所述第一表面数据提取模块还用于：

将所述提取出的腹部表面手术区域投影到冠状面方向，生成术前二维投影图像；

提取所述术前二维投影图像的轮廓，并重构形成术前二维形状图像，进而由所述术前二维形状图像提取所述术前表面数据。

3.如权利要求2所述的腹部外科手术导航配准系统，其特征在于，所述术中RGB-D图像包括RGB图像和深度图像，所述第二表面数据提取模块还用于：

采用分水岭算法对所述RGB图像进行分割处理，提取出标签图像；

采用阈值法对所述深度图像进行分割处理，提取出阈值图像；

将所述阈值图像作为模板与所述标签图像进行与操作，获得初始ROI模板图像；

将所述初始ROI模板图像作为种子，采用区域增长算法对所述深度图像进行再分割处理，获得最终ROI模板图像。

4.如权利要求3所述的腹部外科手术导航配准系统，其特征在于，所述第二表面数据提取模块还用于对所述最终ROI模板图像进行旋转调整，所述旋转调整包括：

对所述最终ROI模板图像进行分割处理，提取出ROI轮廓；

计算所述ROI轮廓的质心与所述ROI轮廓上每个点的距离，并按升序排列；

分别对排列两端各3％的距离取平均值，并分别标记为最小距离和最大距离，所述最小距离、最大距离及所述质心共同定义出一个矩形区域；

将所述最终ROI模板图像与所述矩形区域进行配准处理，获得调整后的ROI模板图像，并由所述调整后的ROI模版图像生成所述术中表面数据。

5.如权利要求4所述的腹部外科手术导航配准系统，其特征在于，所述由所述调整后的ROI模版图像生成所述术中表面数据，包括：

以所述最小距离与所述最大距离分别作为术中二维形状图像矩形区域的宽和长，并保持术中二维形状图像的质心位置与所述术前二维形状图像的质心位置一致，得到术中二维形状图像；

由所述术中二维形状图像提取所述术中表面数据。

6.如权利要求5所述的腹部外科手术导航配准系统，其特征在于，所述配准模块还用于：

对所述术前二维形状图像和所述术中二维形状图像进行配准处理，以建立所述术前表面数据和所述术中表面数据之间的索引关系；

根据所述索引关系，搜索所述术前CT图像和所述术中RGB-D图像上的对应点；

根据所述对应点，采用最小二乘匹配算法计算所述术前CT图像与所述术中RGB-D图像之间的第一空间变换T₁。

7.如权利要求6所述的腹部外科手术导航配准系统，其特征在于，所述术前图像空间包括二维图像索引坐标系，所述术中物理空间包括定位系统坐标系、深度相机坐标系及相机工具坐标系，所述定位系统坐标系与所述二维图像索引坐标系之间的变换关系记为T_Tracker2Img变换，所述定位系统坐标系与所述深度相机坐标系之间的变换关系记为T_Tracker2ToF变换，所述二维图像索引坐标系与所述深度相机坐标系之间的变换关系记为T_Img2ToF变换，所述深度相机坐标系与所述相机工具坐标系之间的变换关系记为T_ToF2Ref变换，所述相机工具坐标系与所述定位系统坐标系之间的变换关系记为T_Ref2Tracker变换。

8.如权利要求7所述的腹部外科手术导航配准系统，其特征在于，所述T_Tracker2Img变换、T_Img2ToF变换及T_Tracker2ToF变换构成闭环结构，并满足关系式：T_Img2ToF·T_Tracker2Img·T_Tracker2ToF ^-1＝I；所述T_Tracker2ToF变换、T_Ref2Tracker变换及T_ToF2Ref变换构成闭环结构，并满足关系式：T_ToF2Ref·T_Tracker2ToF·T_Ref2Tracker＝I，其中，I为单位矩阵。

9.如权利要求8所述的腹部外科手术导航配准系统，其特征在于，所述二维图像索引坐标系与所述深度相机坐标系之间的T_Img2ToF变换形成所述第一空间变换T₁；所述定位系统坐标系与所述二维图像索引坐标系之间的T_Tracker2Img变换形成所述第二空间变换T₂；所述T_Ref2Tracker变换由所述定位系统实时捕获。

10.如权利要9所述的腹部外科手术导航配准系统，其特征在于，在选定某一时刻，并固定所述定位系统、深度相机和相机工具之间的空间位置的条件下，从所述定位系统坐标系中选取至少三个标记点，形成第一点集P_Tracker'，则所述配准模块还用于：

通过所述深度相机获取所述第一点集P_Tracker'在所述深度相机坐标系中的坐标，形成的第二点集P_ToF'；

通过最小二乘法计算在所述选定时刻下的所述定位系统坐标系与所述深度相机坐标系之间的T_Tracker2ToF变换；

由关系式T_ToF2Ref＝T_Ref2Tracker ^-1·T_Tracker2ToF ^-1计算所述深度相机坐标系与所述相机工具坐标系之间的T_ToF2Ref变换；

由关系式P_Tracker＝T_Ref2Tracker·T_ToF2Ref·P_ToF将所述深度相机获取的任一标记点P_ToF变换至所述定位系统坐标系中，从而获得所述定位系统坐标系与所述深度相机坐标系之间的T_Tracker2ToF变换；

根据所述关系式T_Img2ToF·T_Tracker2Img·T_Tracker2ToF ^-1＝I及所述第一空间变换T₁，计算所述第二空间变换T₂为：T₂＝T_Tracker2Img＝T_Tracker2ToF ^-1·T₁。

11.如权利要求10所述的腹部外科手术导航配准系统，其特征在于，所述导航模块还用于：

将所述定位系统获取的所述穿刺工具在所述物理空间中的坐标记为P_T，将所述穿刺工具在所述术前图像空间中的坐标记为P_I；

通过关系式P_I＝T₂·P_T将所述穿刺工具在所述术中物理空间中的坐标变换至所述术前图像空间之中。

Images