CN101214142B - 一种基于多光谱图像的医学手术导航跟踪装置 - Google Patents

Abstract

一种基于多光谱图像的医学手术导航跟踪装置，该装置包括被跟踪的手持设备和固定安装的由双摄像机组构成的跟踪设备。所述手持装置包括：手术器械本身，以及用于跟踪的多个发光点；所述跟踪设备包括：两个双摄像机组。每个摄像机组包括两个摄像机，分别通过带宽不同的带通滤光片，并通过一片半透半反玻璃；数据处理单元，与上述双摄像机组相耦合，用于对采集到的图像进行分析处理，以确定该手持装置的位置和姿态。本专利通过双摄像机组采集不同光谱的图像，过滤一般发光体对跟踪系统的干扰，实现对手持装置的实时位姿计算，以实现手术导航中对手术器械跟踪的需要。

Description

一种基于多光谱图像的医学手术导航跟踪装置

技术领域

本发明涉及一种光学跟踪系统。本发明尤其是涉及一种用于手术导航的，基于多光谱图像的主动光学式跟踪定位装置。

背景技术

手术导航系统的设计原理源自GPS全球卫星定位系统。但由于无线电波在手术室中容易造成或者易受到干扰，1988年由美国美敦力枢法模·丹历有限公司发明的全球第一台红外线光学手术导航系统Stealth Station(r)解决了这一问题。它的设计原理是现代影像技术、立体定向技术与先进的计算机技术有机结合的成果。定位器是手术导航的基础，它利用空间位置传感器确定手术区域中解剖结构或外部标记点的空间坐标，从而达到理解和识别目标，帮助外科医生确定手术器械的位置，充分利用多模医学图像进行术导航的目的。通过对位置传感器确定的坐标空间和术前多模医学图像空间的配准，导航系统可以将术前重建所得的虚拟数据与术中实际空间位置的数据联系起来，这样可以消除医生凭主观判断将多模医学图像与实际手术过程相匹配时可能引起的误差，减小了手术的复杂性和危险性并缩短了手术时间。根据采用的位置传感器的不同，可将立体定位方法分为机械式定位法，超声波定位法，磁电式定位法和光学定位法。在几种定位器中，超声定位器对环境的要求比较苛刻，已基本不采用。尽管电磁式电位器造价低并具有一定的优点，但实际采用时须考虑环境影响的每个因素。即使采用非铁磁性材料(如不锈钢等)，这些材料在经过磨、削等机械加工后，其性能会发生很大的变化，这样要达到相同的性价比其造价并不低。因此在实际中它的使用并不占主导地位，通常是作为一种辅助方法以弥补其它方法的不足。目前在临床普遍采用的是机械式或光学定位器。就精度而言，两者都能满足要求，其中光学定位器精度更高。

光学定位器又分为主动光学定位器和被动光学定位器。主动光学定位器通常将一组红外发光二极管集成在某刚体上，发光管按特定的顺序发射脉冲，摄像机接受信号，根据发光二极管的发光顺序和在敏感元件上的位置确定发光管的空间位置，从而推知刚体的空间位置。主动光学定位器具有精度高、算法简单可靠等优点。被动式光学立体定位器基于立体视觉原理。将被观察目标连接在刚体上，匹配来自至少两个视频图像的对应点，然后重建这些点的空间三维坐标，从而建立被观察物体的三维形状。被动光学定位器定位方法的动态性能比主动光学定位器好。但这类系统一般对硬件的要求比较高，其精度受视频图像分辨力和标定问题等的限制。另外环境光与摄像机视野内的金属物体的存在会在图像上产生伪像，这会导致错误数据的产生。

红外光学跟踪装置一般都包含下几个重要组成部分：主动/被动红外标志点，摄像机，红外滤光片和处理器。在系统运行时，主动/被动红外标志点产生红外特征，摄像机拍摄标志点的图像并通过红外滤光片对入射光线进行过滤。最终得到的图像由处理器进行处理，并且综合分析一台或多台摄像机采集到的图像从而计算出红外标志点的三维位置。

在这种系统中的一个核心器件是红外滤光片，正是由于使用了红外滤光片对入射摄像机的光线进行过滤，才使得后续的图像处理工作能够顺利进行。现有的红外光学跟踪系统中所使用的红外滤光片一般是高通滤波片或带通滤波片。这种滤光片能够有效地过滤掉非兴趣波段的入射光线。

如果在跟踪环境中存在某个全波段的发光体(如钨丝灯等高温发光的设备)，由于其发射的光谱范围很广，往往涵盖了红外跟踪系统的红外波段，仅仅通过现有的单片滤光片的方式无法有效地对其进行过滤，这样就造成了错误的数据。另外由于红外跟踪系统拍摄图像中的标志点一般都仅仅是单独的光斑，所以通过图像处理对上述错误数据进行过滤是非常困难的。这导致红外光学跟踪系统对于跟踪环境有比较严格的要求，大大限制了这种系统在某些场合的应用。

发明内容

为了克服现有光学手术导航系统使用时的环境限制，本发明利用多光谱图像过滤掉背景干扰点，从而实时精确的跟踪到主动红外标志点，采用双摄像机立体定位技术达到对手术器械实时跟踪定位的目的。

本发明的技术方案是：使用两组CCD摄像机，其中每组摄像机包括一个镜头前加红外滤光片的摄像机和一个可见光谱摄像机，对同一场景实时拍摄，提取主动红外标志点的位置。每组摄像机确定跟踪标志点的原理是：背景环境干扰光源通常为手术室内白炽光照明，其光谱成分为全光谱，即使存在反光物质，反射的也是全光谱的白炽光，由于加了红外滤光片的摄像机只能允许特定红外光谱的光线通过，所以对手术器械上的红外标志点和环境干扰光点都有响应，而普通可见光摄像机对有全光谱成分的干扰点又响应，对红外标志点无响应。所以，先分别把两个摄像机拍摄的同一场景图像二值化，然后进行叠加配准，在同一位置两幅图都出现亮点的位置即为干扰点；否则，则为要跟踪的手术器械上的标志点。然后，根据摄像机确定的两组标志点二维位置信息，采用基于双目视觉的立体定位技术确定标志点的三维位置，达到对手术器械的跟踪定位目的。叠加配准采用硬件配准方式，设计了每组中两摄像机成90度夹角摆放，中间加45度摆放的半透半反镜的方式，确保两个摄像机跟踪范围及角度的一致。

附图说明

图1为本发明所述一种基于多光谱图像的医学手术导航跟踪装置示意图；

图2是手持装置的示意图；

图3是跟踪装置示意图；

图4是跟踪装置中图像采集装置的示意图；

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合附图，对本发明做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

本发明的核心内容是，使用双摄像机配合具有不同通带的滤光片同时获取目标的图像，以得到目标的不同光谱范围的图像。并根据目标在不同光谱的发光特性对目标进行区分，最终去处干扰跟踪的一些非感兴趣目标的图像。

下面结合附图对本发明做进一步说明。

首先请参照图1，本发明所述的种基于多光谱图像的医学手术导航跟踪装置主要分为两个部分：手持装置1和跟踪装置2，手持装置1一般是经过改造，安装标志点的医疗手术器械，跟踪装置2实时采集持装置1的多光谱图像，通过对图像的分析，过滤掉环境中的非感兴趣物体，最终计算并输出手持装置1的位置和姿态。

其中，请参照图2，手持装置的主体一般是现有的某种手术器械4，在手术器械4上安装有多个跟踪用的主动标志点3，这些主动标志点向外发送特定光谱的光线，并且多个主动标志点3之间排列形成某种可识别的空间形状。图2中示意其中的一种排列方式：三个主动标志点3形成一条线段，中间的点位于线段总长度的1/3处。

再请参照图3，跟踪装置2主要包括两个组成部分，图像采集装置5和数据处理装置12。其中图像采集装置5实现对手持装置1的多光图图像的获取，他包含两个双摄像机组6。双摄像机组6由五个部分组成，带通滤光片A7，带通滤光片B8，半透半反玻璃9，摄像机A10，摄像机B11。这些组件之间的安装关系请参考图3，摄像机A10，摄像机B11光轴位于同一平面内且相互垂直，半透半反玻璃9中心位于摄像机A10，摄像机B11光轴的交点上，与两个光轴的夹角都是45度。摄像机A10直接透过半透半反玻璃9拍摄图像，摄像机B11经过半反半透玻璃9的反射拍摄图像，这样使得摄像机A10，摄像机B11能够从同一位置拍摄某一物体的图像。带通滤光片A7，带通滤光片B8分别能够使得两个不同光谱范围的光线通过，使得其他光谱范围的光线被过滤掉。所以通过带通滤光片A7和带通滤光片B8的过滤作用，以及摄像机A10，摄像机B11可以获取到同一个目标的不同光谱范围的图像。进一步讲，带通滤光片A7使得主动标志点3所发射的光能够通过，带通滤光片B8使得主动标志点3所发射的光不能够通过。所以在摄像机A10图像上能够得到主动标志点3，而在摄像机A10图像上不能够得到主动标志点3。而对于一般的发光体，由于其发光光谱与带通滤光片A和带通滤光片B的通过范围不相匹配，所以这些发光体会在摄像机A10和摄像机B11的图像上同时出现，依次可以将它们过滤掉。

数据处理单元12与红外图像采集装置5相耦合，主要包括预处理单元12.1、与该预处理单元相连的过滤单元12.2与该过滤单元相连的计算单元12.3以及用于输出数据的输出单元12.4，该数据处理单元12用于对红外图像采集装置5传输来的图像进行分析处理，提取出每个主动标志点3在图像中的位置，并根据这些标志点来使用基于双摄像机的位置估计算法，如三角测量法等计算手持装置1的位置和姿态。

根据对本发明的上述描述，将本发明的的装置应用于手术导航，能够有效的过滤掉环境中的其他发光物体对于系统的干扰。

以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于多光谱图像的医学手术导航跟踪装置，该装置包括：

手持装置，包括多个主动标志点，作为被跟踪的物体；

多光谱图像采集装置，用于接收多个主动标志点发射的特定光谱范围的光线，采集多光谱图像；

数据处理单元，与上述多光谱图像采集装置相耦合，用于对多光谱图像采集装置传输的图像进行分析处理，以确定手持装置的位置和姿态；

其特征在于，所述多光谱图像采集装置包括两个双摄像机组，每个双摄像机组是由两个摄像机、两个光谱透过范围不同的滤光片和一块半透半反玻璃组成的系统，所述两个摄像机成90度夹角摆放，所述半透半反玻璃摆放在所述两个摄像机之间与所述两个摄像机夹角为45度。

2.根据权利要求1所述的装置，其特征在于，所述主动标志点发射的光线波长在可见光或红外光的光谱范围之内。

3.根据权利要求1所述的装置，其特征在于，所述数据处理单元包括：

预处理单元，用于对多光谱图像采集装置传输的图像进行二值化和搜索连通区域；

过滤单元，与上述预处理单元相连，用于根据每个主动标志点的尺寸和形状、以及在不同光谱图像中是否出现对上述连通区域进行过滤，以确定每一个主动标志点的编号；

计算单元，与上述过滤单元相连，用于根据上述主动标志点的位置计算手持装置的指向方向；

输出单元，与上述计算单元相连，实现数据输出接口的功能。

Images