CN103948432A - 术中立体内窥视频与超声图像增强现实算法 - Google Patents

Abstract

一种术中立体内窥视频与超声图像增强现实算法，用以对待测部位进行多模态的图像配准，所述术中立体内窥视频与超声图像增强现实算法至少包括如下步骤：获取第一图像及所述第一图像的空间位置信息；获取第二图像及所述第二图像的空间位置信息；及将所述第一图像及所述第二图像进行叠加融合，生成第三图像。本发明实施例提供的术中立体内窥视频与超声图像增强现实算法，通过将实时的超声图像与立体内窥镜图像融合在一起，减少了手术过程中不同模态图像的融合过程，潜在的提高了手术效率。

Description

术中立体内窥视频与超声图像增强现实算法

技术领域

本发明涉及医学成像领域，尤其涉及一种术中立体内窥视频与超声图像增强现实算法。

背景技术

图像引导外科(image-guided surgery，IGS)或手术导航(Surgical Navigation)是近些年迅速发展的微创外科(Minimally Invasive Surgery,MIS)技术之一。IGS技术运用多种医学成像设备为手术治疗制定有效的治疗方案、实施术中导航，可有效降低手术的创伤并提高治疗的精度。随着生物医学领域技术进步发展，从微创检测设备发展到无创检测设备，如内窥镜、超声，核磁，计算机断层扫描(Computed Tomography，CT)等设备，越来越多的成像设备出现，实现了不同模态的医学成像，从不同角度反映了人体信息。多模态图像引导外科(multimodalimage-guided surgery，MIS)把术中图像与术前图像进行融合，或者省略掉术前成像，其可为医生提供了更多的辅助信息。因此，MIS是近年来IGS领域的研究热点之一。

IGS的应用给外科手术带来了极大的便利，但其仍有不足，比如医生在手术中不得不一边看人体组织的3D显示，一边将3D显示与病人真实的解剖组织进行对应。近年来增强现实(Augmented Reality，AR)技术的出现，为IGS带来了更直观的方法。现有的腹腔镜手术的AR可视化方案，大多是把术前医学图像，如磁共振图像(Magnetic Resonance Imaging，MRI)、CT图像等医学图像，通过图像配准方法叠加到术中的内窥镜视频中。然而，现有的配准方法，如基于术前CT图像器官形变模型的实时非刚性配准方法，并不能反映气腹时器官的解剖学变化。此外还有其他的配准方法，但它们都存在缺陷，如：术前图像无法正确准确地描述手术时形变的解剖学结构；图像-视频配准主要是刚性，而软组织器官变形在整个手术过程中是非刚性的；手动或半自动带来的主观的配准误差。因此，上述配准方法都无法实现在手术过程中不同模态图像的融合，导致手术效率和成功率，无法满足使用要求。

发明内容

针对上述问题，本发明的目的在于提供一种术中立体内窥视频与超声图像增强现实算法，其通过将实时的超声图像与立体内窥镜图像融合在一起，不但实现了手术过程中不同模态图像的融合，而且提高了手术效率和成功率。

为了解决上述技术问题，本发明提供了一种术中立体内窥视频与超声图像增强现实算法，用以对待测部位进行多模态的图像配准，所述术中立体内窥视频与超声图像增强现实算法至少包括如下步骤：

获取第一图像及所述第一图像的空间位置信息；

获取第二图像及所述第二图像的空间位置信息；及

将所述第一图像及所述第二图像进行叠加融合，生成第三图像。

其中，所述第一图像为超声图像。

其中，所述获取第一图像及所述第一图像的空间位置信息，包括:

利用超声探头扫描标定模板，进行超声图像的标定；

利用所述超声探头扫描所述待测部位，以获得所述待测部位对应的第一图像；及

根据所述第一图像，构建出第一超声图像及第二超声图像，以获得所述第一超声图像及第二超声图像的空间位置信息。

其中，所述超声图像的标定包括：

通过变换矩阵，获取所述标定模板上的点与所述超声图像上的点的对应关系。

其中，所述获取第二图像及所述第二图像的空间位置信息，包括：

获取第二图像，所述第二图像包括左通道图像及右通道图像；及

计算所述左通道图像及右通道图像的空间位置信息。

其中，所述第一超声图像具有与所述左通道图像相同的偏振方向，所述第二超声图像具有与所述右通道图像相同的偏振方向。

其中，所述第一图像与所述第二图像叠加融合时，所述第一超声图像与所述左通道图像进行叠加融合，所述第二超声图像与所述右通道图像进行叠加融合。

其中，在将所述第一图像及所述第二图像进行融和，以生成第三图像之后，还包括：

将所述第三图像处理生成3D格式图像信号流，并传输至立体显示器。

其中，在对所述第三图像进行打包格式化并处理生成三维格式图像信号流，并传输至立体显示器之后，还包括：

在立体显示器上显示所述3D格式图像信号流，以处理并生成所需的图像。

其中，所述第二图像为立体内窥镜图像。

本发明实施例提供的术中立体内窥视频与超声图像增强现实算法，通过将所述超声探头10扫描获得的第一图像及所述立体内窥镜扫描获得的第二图像进行处理后叠加融合在一起并形成第三图像，所述第三图像经打包格式化并处理生成三维格式的图像信号流后，在所述立体显示器上显示出来，所述第三图像同时包括了所述第一图像及第二图像的信息，从而达到了增强现实的目的。本发明实施例提供的术中立体内窥视频与超声图像增强现实算法，所述超声图像及立体内窥镜图像都是实时的，因而能及时反应所述待测部位的准确信息，从而提高了手术的效率和精度。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的术中立体内窥视频与超声图像增强现实算法的流程示意图。

图2是腹腔镜系统的坐标变换示意图。

图3(a)至图3(c)是将所述第一图像与所述第二图像融合得到第三图像的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明实施例提供一种术中立体内窥视频与超声图像增强现实算法，用以对待测部位进行多模态的图像配准，以获得具有增强现实效果的图像信息。该术中立体内窥视频与超声图像增强现实算法至少包括如下步骤。

S101，获取第一图像及所述第一图像的空间位置信息。

请一并参阅图2，在本发明的实施例中，所述第一图像可为超声图像，所述步骤S101包括：

首先，利用超声探头扫描标定模板，进行超声图像的标定；

在本发明实施例中，可利用腹腔镜系统进行图像的采集和配准，所述图像可为但并不限于超声图像或立体内窥图像。所述腹腔镜系统包括超声探头10、标定模板20及定位跟踪器30，所述超声探头10在对所述待测部位，如人体或其他动物内部的器官，如肺、肝或其他器官，进行扫描前，需先利用所述标定模板20进行超声图像标定。其中，所述标定模板可为带有固定间距图案阵列的平板，如带有等间距实心圆阵列图案的平板或带有国际象棋盘图案的平板等，其可用以校正镜头畸变、确定物理尺寸和像素间的换算关系以及确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系。在本发明实施例中，通过所述超声探头10拍摄所述标定模板20、经过标定算法的计算，所述腹腔将系统可以获得所述超声探头10的几何模型和位置信息，从而得到高精度的测量和重建结果。

具体为，所述腹腔镜系统包括4个坐标系，分别为所述标定模板20的坐标系M(坐标原点为O_M)，所述定位跟踪器30的坐标系C(坐标原点为O_C)、所述超声探头10的坐标系D(坐标原点为O_D)及超声图像的坐标系I(坐标原点为O_I)。其中，所述坐标系C到所述坐标系M的变换矩阵为T_CM，所述坐标系D到所述坐标系C的变换矩阵为T_DC，所述坐标系I到所述坐标系D的变换矩阵为T_ID。所述超声探头10发射超声声束至所述标定模板20并生成超声图像，超声声束平面与所述标定模板20的坐标系M三个坐标轴分别交于点F、G、H(与所述坐标系Ｍ的X轴交于点F，与所述坐标系Ｍ的Y轴交于点G，与所述坐标系Ｍ的Z轴交于点H)。

在超声图像的标定过程中，所述坐标系M与所述坐标系C保持固定不变，所述超声探头10通过移动扫描所述标定模板20，在采集超声图像时，同步采集所述超声探头10在所述坐标系C中的位置信息，从而获得所述变换矩阵T_DC。此后，所述腹腔镜系统求解所述超声图像的坐标系I与所述超声探头的坐标系D的变换矩阵T_ID，并根据解析几何原理，获得所述坐标系C到所述标定模板20的坐标系M的变换矩阵T_CM，如此，即可获得所述标定模板20上的任意一点的空间位置P_M(i)与超声图像上的点的位置P_I(i)的对应关系：P_M(i)＝T_CM T_DCT_IDP_I(i)。

其次，利用所述超声探头10扫描所述待测部位，以获得所述待测部位对应的第一图像；

最后，根据所述第一图像，构建出第一超声图像及第二超声图像，以获得所述第一超声图像及第二超声图像的空间位置信息。

在本发明实施例中，在所述超声探头10获取所述待测部位的超声图像及空间位置信息后，所述腹腔镜系统根据立体视觉成像原理，对所述第一图像进行处理后，构建出具有视差和景深信息的第一超声图像及第二超声图像。具体为，对于在手术过程中实时采集的第一图像I_u，根据立体视觉成像原理，如可采用圆偏振技术，对所述第一图像I_u进行偏振处理后，分别得到偏振后的第一超声图像I_uL(对应于人的左眼)和第二超声图像I_uR(对应于人的右眼)，其中，所述第一超声图像I_uL与所述第二超声图像I_uR具有不同的偏振方向，且较佳地，所述第一超声图像I_uL与所述第二超声图像I_uR的偏振方向互相垂直。根据上述得到的变换矩阵T_CM、T_DC及T_ID，将所述第一超声图像I_uL和第二超声图像I_uR变换到所述标定模板20的坐标系M下，得到I_uL’＝T_CM T_DC T_ID I_uL及I_uR’＝T_CM T_DC T_IDI_uR，如此，即可获得所述第一超声图像及所述第二超声图像的空间位置信息。

S102，获取第二图像及所述第二图像的空间位置信息。

首先，获取第二图像，所述第二图像包括左通道图像及右通道图像；

在本发明的实施例中，所述腹腔镜系统还包括立体内窥镜，所述第二图像可为立体内窥镜图像，其可通过所述立体内窥镜对所述待测部位进行扫描获得。所述立体内窥镜包括手柄及两个摄像装置，所述摄像装置固定于所述手柄上，所述手柄可靠近所述待测部位，并通过两个摄像装置对所述待测部位进行拍摄，所述的两个摄像装置拍摄获得两路图像信号并经所述立体内窥镜同步、偏振处理后生成左通道图像I_eL(对应于人的左眼)及右通道图像I_eR(对应于人的右眼)。其中，所述左通道图像I_eL具有与所述第一超声图像I_uL相同的偏振方向，所述右通道图像I_eR具有与所述第二超声图像I_uR相同的偏振方向。

然后，计算所述左通道图像及右通道图像的空间位置信息。

在本发明的实施例中，所述腹腔镜系统根据所述立体内窥镜的光学系数，如所述立体内窥镜的光学放大倍数、成像焦距、偏正系数等，分别计算所述左通道图像I_eL及所述右通道图像I_eR对所述两个摄像装置的空间变换关系，如所述腹腔镜系统可根据所述两个摄像装置的中心位置点与所述立体内窥镜的手柄空间位置变换矩阵，分别得到所述左通道图像I_eL及所述右通道图像I_eR位置信息。此后，所述腹腔镜系统将所述左视频通道图像I_eL及所述右视频通道图像I_eR转换到所述坐标系M中，以获得I_eL’及I_eR’，从而获得所述左通道图像及所述右通道图像的空间位置信息。

S103，将所述第一图像及所述第二图像进行叠加融合，生成第三图像。

在本发明的实施例中，所述第一图像及所述第二图像的采集和处理过程是同步的，即步骤S101及S102是同时进行的，因而保证在同一时刻采集到的第一图像及第二图像可以进行叠加融合。所述定位跟踪器30定位跟踪所述第一图像及第二图像的空间位置信息，所述腹腔镜系统采用基于现场可编程门阵列(Field－Programmable Gate Array，FPGA)的高速图像处理技术分别对空间变换后的第二图像的左通道图像I_eL’及右通道图像I_eR’与对应的空间变换后的第一超声图像I_uL’及第二超声图像I_uR’进行叠加融合并生成两路图像，如将I_uL’与I_eL’进行融合叠加及将I_uR’与I_eR’进行融合叠加，并将叠加后的两路图像进行合并得到所述第三图像，其中，所述第三图像上同时包括了立体内窥镜图像信息及超声图像信息。如图3(a)至图3(c)所示，图3(a)为利用所述立体内窥镜获得的第二图像的示意图，图3(b)为利用所述超声探头10获得的所述第一图像的示意图，图3(c)为所述第一图像与所述第二图像融合叠加后得到的第三图像示意图，从图3(c)中可以看出，所述第三图像同时包括了所述第一图像及所述第二图像的图像信息。

S104，将所述第三图像处理生成3D格式图像信号流，并传输至立体显示器。

在本发明的实施例中，通过叠加融合所述第一图像及所述第二图像生成所述第三图像后，所述腹腔镜系统对所述第三图像进行打包格式化处理，从而生成立体显示器能够接收的3D格式图像信号流，并通过高速串行总线传输至所述立体显示器进行显示。

需要说明的是，所述立体显示器显示的视频信号被人眼接收时，人眼需先佩戴相应的偏振设备，如偏振眼镜，其中，所述偏振眼镜的左镜片与右镜片的偏振不同，如所述左镜片具有与经偏光设备处理后的I_eL’和I_uL’组成的混合光相同的偏振方向，所述右镜片具有与经偏光设备处理后的I_eR’和I_uR’组成的混合光相同的偏振方向。如此，所述立体显示器显示视频信号时，所述I_eL’和I_uL’组成的混合光可进入人眼的左眼而无法进入人眼的右眼，所述I_eR’和I_uR’组成的混合光可进入所述人眼的右眼而无法进入人眼的左眼，从而形成3D的视觉效果。

S105，在立体显示器上显示所述3D格式图像信号流，以处理并生成所需的图像。

具体为，在本发明的实施例中，所述立体显示器接收所述3D格式图像信号流，并将其转换为相应的图像后显示出来以检验3D显示效果；所述腹腔镜系统根据图像的显示画质等情况评估增强现实的效果，并对不足的地方，如图像的空间位置没有匹配好或匹配效果不佳等问题，进行调整或修改，通过优化算法设计，获得更清晰及更高精度的图像。

可以理解的是，在本发明的其他实施例中，所述腹腔镜系统融合的图像还可为正电子发射型计算机断层显像(Positron Emission Computed Tomography，PET)、MRI、CT图像、超声图像、立体内窥镜图像等医学图像，所述腹腔镜系统选择任意的两种医学图像的组合或多种医学图像的组合，通过图像叠加和配准原理，将两者或多种模态的图像进行叠加融合，从而从各个角度获取待测部位的信息，以指导医生进行手术操作。

综上所述，本发明实施例提供的术中立体内窥视频与超声图像增强现实算法，所述腹腔镜系统通过将所述超声探头10扫描获得的第一图像及所述立体内窥镜扫描获得的第二图像转换并处理成对应于人左眼和右眼的两路图像后，再分别叠加融合在一起并形成第三图像。所述第三图像经打包格式化并处理生成3D格式的图像信号流后，在所述立体显示器上显示出来，所述第三图像同时包括了所述第一图像及第二图像的信息，从而达到了增强现实的目的。本发明实施例提供的术中立体内窥视频与超声图像增强现实算法，所述超声图像及立体内窥镜图像都是实时的，因而能及时反应所述待测部位的准确信息，从而提高了手术过程的效率和精度。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种术中立体内窥视频与超声图像增强现实算法，用以对待测部位进行多模态的图像配准，其特征在于，所述术中立体内窥视频与超声图像增强现实算法至少包括如下步骤：

获取第一图像及所述第一图像的空间位置信息；

获取第二图像及所述第二图像的空间位置信息；及

将所述第一图像及所述第二图像进行叠加融合，生成第三图像。

2.根据权利要求1所述的算法，其特征在于，所述第一图像为超声图像。

3.根据权利要求2所述的算法，其特征在于，所述获取第一图像及所述第一图像的空间位置信息，包括:

利用超声探头扫描标定模板，进行超声图像的标定；

利用所述超声探头扫描所述待测部位，以获得所述待测部位对应的第一图像；及

根据所述第一图像，构建出第一超声图像及第二超声图像，以获得所述第一超声图像及第二超声图像的空间位置信息。

4.根据权利要求3所述的算法，其特征在于，所述超声图像的标定包括：

通过变换矩阵，获取所述标定模板上的点与所述超声图像上的点的对应关系。

5.根据权利要求3所述的算法，其特征在于，所述获取第二图像及所述第二图像的空间位置信息，包括：

获取第二图像，所述第二图像包括左通道图像及右通道图像；及

计算所述左通道图像及右通道图像的空间位置信息。

6.根据权利要求5所述的算法，其特征在于，所述第一超声图像具有与所述左通道图像相同的偏振方向，所述第二超声图像具有与所述右通道图像相同的偏振方向。

7.根据权利要求5所述的算法，其特征在于，所述第一图像与所述第二图像叠加融合时，所述第一超声图像与所述左通道图像进行叠加融合，所述第二超声图像与所述右通道图像进行叠加融合。

8.根据权利要求1所述的算法，其特征在于，在将所述第一图像及所述第二图像进行融和，以生成第三图像之后，还包括：

将所述第三图像处理生成3D格式图像信号流，并传输至立体显示器。

9.根据权利要求8所述的算法，其特征在于，在对所述第三图像进行打包格式化并处理生成三维格式图像信号流，并传输至立体显示器之后，还包括：

在立体显示器上显示所述3D格式图像信号流，以处理并生成所需的图像。

10.根据权利要求1所述的算法，其特征在于，所述第二图像为立体内窥镜图像。