CN105828703B - 基于标记的工具跟踪 - Google Patents

Abstract

一种眼科手术工具具有位于所述眼科手术工具的远端部分的标记。将所述眼科手术工具的所述远端部分连同所述标记插入到眼睛中，以在所述眼睛中执行手术。一种成像装置捕获所述眼睛的基底的图像，包含所述眼科手术工具的所述远端部分的图像。一种图像处理器处理所捕获图像，来从所捕获图像识别和提取所述标记。所述标记在可见光或红外光范围或其它光谱范围内具有高对比度特征。因此，所述图像处理器可从所捕获图像识别和提取所述标记。可基于所述标记产生指示符，并用所述基底的所捕获或经处理的图像来覆盖所述指示符，并向用户显示，从而向所述用户指示手术信息。

Description

基于标记的工具跟踪

背景

本文所公开的装置、系统和方法通常涉及基于标记的工具跟踪，且更明确地说，涉及被配置来在眼科手术中执行基于标记的工具跟踪的装置、系统和方法。

在眼科手术期间，可将例如手术成像探针、手术钳、手术剪、手术玻璃体切除探针等手术工具插入到眼睛中，来在眼睛中执行各种手术。通常，在眼科手术期间，将手术工具的远端部分插入到眼睛中。因此，眼睛的围绕手术工具的远尖端的区域是外科医生的所关注区。为了实现有引导的手术治疗，例如针对内界膜(ILM)剥离的手术中光学相干断层成像术(OCT)，使用自动工具尖端跟踪来高效地封闭反馈环路，以允许OCT引擎定位扫描目标区域。另外，为了在手术期间提供实时反馈，可将有用的手术数据覆盖到外科医生的当前所关注区域。当外科医生移动插入到眼睛中的手术工具的远端部分时，所关注区域可相应地移位。因此，可使用自动工具跟踪来定位所关注区域，以调整手术数据覆盖，因此外科医生可看到它，而无需将视线从当前所关注区域移开。

有三种常规技术用于一般目标跟踪。第一种技术是基于运动的目标跟踪。基于运动的目标跟踪可用于自动化监视。基于运动的目标跟踪可使用图像处理算法，例如背景减法、帧差法以及光学流来跟踪目标。然而，基于运动的目标跟踪算法需要准静止背景，且可能不适合背景可能不断变化的眼科手术中的工具跟踪。

用于一般目标跟踪的第二种技术是基于区的目标跟踪。基于区的目标跟踪可用于跟踪简单的目标。在基于区的目标跟踪中，离线或在第一帧期间预选目标模板。对于后续帧，在整个视野中搜索所述模板，且将与所述模板具有最大相似性的位置识别为所述目标。然而，基于区的目标跟踪对目标姿态变化和局部照明改变敏感，且可能不适合工具的照明和定向变化较大的眼科手术中的工具跟踪。

用于一般目标跟踪的第三种技术是基于特征的目标跟踪。基于特征的目标跟踪可在整个视野中提取并搜索目标的独特特征，例如轮廓、边缘、形状、色彩、隅角/关注点等，来用于目标检测。然而，在基于特征的跟踪算法中，需要对环境和目标姿态变化不敏感且对目标来说独特的高对比度特征。由于大多数手术工具并不拥有高对比度内在特征，因此基于特征得目标跟踪无法提供合适的结果。

在玻璃体视网膜手术中，照明条件对于工具跟踪来说可能成为挑战。可将内腔照明器插入到眼睛中来进行照明。因为内腔照明器可在手术期间移动，因此照明条件在图像帧之间可能变化很大，且正被照明的基底区域的图像可能随时间变化很大。基于运动的和基于区的目标跟踪技术在不一致照明条件下可能难以实施。另外，对于从一侧照明的单个照明器，来自手术工具的阴影假影以及镜面反射可能增加工具跟踪的复杂性。此外，为了通过摄像机捕获基底图像，成像光从眼睛的光束路径可经过多个光学元件和介质，例如眼睛玻璃体、老化的晶状体、眼角膜，以及双目间接眼底显微镜(BIOM)晶状体。成像光的光束路径中的这些光学元件可使图像品质进一步降级，并减小对比度。因此，可能难以提取各种手术工具的内在特征来实现实时工具跟踪。

本公开是有关解决现有技术的缺点中的一个或多个的装置、系统和方法。

发明内容

在一个示例性方面中，本公开是有关眼科手术工具跟踪系统。所述眼科手术工具跟踪系统可包含：眼科手术工具，其具有被配置来插入到眼睛中的远端部分，标记位于所述眼科手术工具的所述远端部分处；以及工具位置检测系统，其被配置来通过检测所述标记而确定眼科手术工具的远端部分在眼睛中的位置。

所述工具位置检测系统可包含：光源，其被配置来将光引入到眼睛中；成像装置，其被配置来捕获眼睛连同插入到眼睛中的眼科手术工具的远端部分的图像；处理器；以及显示器。所述处理器被配置来处理所捕获图像以识别所述标记，产生指示手术数据的指示符，所述手术数据例如为手术工具的位置、手术工具的定向、图像、手术设置参数，将所述指示符覆盖在所捕获图像或经处理的图像上。所述显示器被配置来显示覆盖有指示符的所捕获图像或经处理的图像。在另一示例性方面中，本公开是有关一种用于跟踪插入到眼睛中的眼科手术工具的方法。所述方法可包含：将成像光引入到眼睛中；捕获所述眼睛连同插入到眼睛中的眼科手术工具的远端部分的图像；以及通过检测眼科手术工具的远端部分处的标记，来确定眼科手术工具的远端部分在眼睛中的位置。

在一些方面中，确定远端部分的位置可包含：处理所捕获图像以识别所述标记；产生指示手术数据的指示符，所述手术数据例如为手术工具的位置、手术工具的定向、图像、手术设置参数；将所述指示符覆盖在所捕获图像或经处理的图像上；以及在显示器上显示覆盖有指示符的所捕获图像或经处理的图像。

将理解，前面的一般描述和下面的详细描述两者本质上均为示例性和阐释性的，且意在提供对本公开的理解，而不限制本公开的范围。在这点上，本领域的技术人员从以下详细描述将明白本公开的额外方面、特征和优点。

附图说明

附图说明本文所公开的装置和方法的实施方案，并连同描述一起，用来阐释本公开的原理。

图1示出根据与本公开的原理一致的方面的示例性眼科手术工具跟踪系统的示意图。

图2示出根据与本公开的原理一致的方面的示例性手术工具的远端部分。

图3示出根据与本公开的原理一致的方面的一标记和各种类型的标记的透视图。

图4是示出根据与本公开的原理一致的方面的用于工具跟踪的方法的流程图。

图5示出根据与本公开的原理一致的方面的眼科手术期间的基底的图像。

具体实施方式

为了促进对本公开原理的理解的目的，现在将参考图中所示出的实施方案，且将使用特定语言来描述所述实施方案。然而，将理解，无意限制本公开的范围。完全预期对所描述的系统、装置和方法的任何更改和进一步修改，以及本公开的原理的任何进一步应用，因为本公开本领域的技术人员正常会想到。明确地说，完全预期相对于一个实施方案而描述的系统、装置和/或方法可与相对于本公开的其它实施方案而描述的特征、组件和/或步骤组合。然而，为了简明起见，将不分别描述这些组合的许多重复。为了简单，在一些例子中，在图式中始终使用相同参考数字来指代相同或相似部分。

本文所描述的装置、系统和方法提供一种眼科手术工具跟踪系统，其包含眼科手术工具，其中标记位于所述眼科手术工具的远端部分。当将眼科手术工具的远端部分连同所述标记插入到眼睛中时，所述系统跟踪所述标记的位置，来在眼睛中执行手术。光源，例如内腔照明器，可将光引入到眼睛的基底中。所述光可反射离开眼睛的基底以及眼科手术工具的远端部分。所述系统的成像装置可接收反射的光，来捕获眼睛的基底和眼科手术工具的远端部分的图像。

所述系统还可包含图像处理器，其可处理所捕获的图像来从所捕获的图像识别和提取标记。所述标记可在可见光或红外光范围或其它光谱范围内具有高对比度特征。因此，所述图像处理器可从所捕获图像识别和提取所述标记。可使用所述标记的位置来产生指示手术数据的指示符，所述手术数据例如为手术工具的位置、手术工具的定向、图像、手术设置参数。接着用基底的所捕获图像或经处理的图像来覆盖所述指示符，并向用户显示。通过使用以上标记的眼科手术工具跟踪系统，可在眼科手术期间实施稳健的工具跟踪，因为高对比度标记对在眼科手术中频繁发生的照明变化或阴影假影较不敏感。另外，所述系统可实时地指示手术数据，例如手术工具的存在、位置和定向；图像；手术设置参数，来在眼睛中的眼科外科手术期间帮助外科医生。

图1示出相对于待治疗的眼睛101安置的示例性眼科手术工具跟踪系统，通常表示为100。眼睛101包含巩膜102、角膜104、前腔106和后腔108。说明囊袋110在后腔108中。眼睛101进一步包含视网膜112。眼科手术工具130可用来在眼睛101中执行手术。可将眼科手术工具130的大小和形状设计成由外科医生抓握，并伸出到患者的眼睛101中。

眼科手术工具130可包含近端部分148和远端部分144。可将近端部分148的大小和形状设计成由用户手握。举例来说，近端部分148可界定把手，其大小和形状设计成由用户的单手抓握。在使用中，用户可通过操纵近端部分148来控制远端部分144的位置。眼科手术工具130的远端部分144可包含标记114。所述标记可在可见光或红外线光谱或可由眼科手术工具跟踪系统100的成像装置124检测的其它光谱范围内具有高对比度特征。

眼科手术工具跟踪系统100还可包含光源122，例如内腔照明器。光源122可具有远端部分，其被配置来插入到眼睛101中。光源122的远尖端可发射成像光，其可照明眼睛101的基底。基底是眼睛101的内部表面，且可包含视网膜112。来自光源122的成像光可从基底和眼科手术工具130的远端部分144反射。反射的成像光可经过囊袋110、前腔106、角膜104，且由被配置来捕获眼睛101的基底图像的成像装置124接收。晶状体132和134可提供于眼睛101与成像装置124之间，来接收来自基底的经反射成像光，并将成像光引导到成像装置124。

在一些实施方案中，成像装置124可包含一个或多个摄像机，其被配置来捕获基底的图像。所述摄像机可捕获可见光谱、红外线光谱或其它光谱范围内的图像。举例来说，成像装置124可包含在可见光谱中捕获基底的图像的摄像机和在红外线光谱中捕获基底附近的红外线标记114的红外线图像的摄像机中的任一者或两者。

眼科手术工具跟踪系统100还可包含图像处理器126。图像处理器126可接收成像装置124所捕获的图像帧，并对所述图像帧执行各种图像处理。明确地说，图像处理器126可对图像帧执行图像分析，以从图像帧识别和提取标记114的图像。另外，图像处理器126可产生指示符，并将所述指示符覆盖在基底的图像或经处理的图像上。所述指示符可包含手术数据，例如标记114在基底的图像中的位置和定向、眼科手术工具130的远尖端146的位置和定向、图像、手术设置参数。所覆盖的图像接着可由显示器128向用户显示。

成像装置124、图像处理器126和显示器128可在分开的外壳中实施，所述外壳通信地彼此耦合，或耦合在共用控制台或外壳内。用户接口136可与显示器128和/或图像处理器126相关联。用户接口可包含例如键盘、鼠标、控制杆、触摸屏、眼睛跟踪装置、语音辨识装置、示意动作控制模块、刻度盘和/或按钮，以及其它输入装置。用户可在用户接口136处输入所要的指令或参数，来控制成像装置124拍摄眼睛101的图像。在眼科手术期间，外科医生可在显示器128上审查基底的图像和/或所覆盖的指示符，来使手术以及眼科手术工具130的远尖端146在基底的各个部分内的相对位置可视化。

图2是眼科手术工具130的远端部分144的放大视图。一个或多个标记114可位于远端部分144处。明确地说，可将标记114绕贴在眼科手术工具130的远端部分，使得甚至在旋转眼科手术工具130时，也能在所有方向上看到标记114。标记114可为接合到眼科手术工具130的标签或打印贴花纸。标记114可用合成材料(例如塑料)形成。因此，标记114可不在生物学组织中恶化。另外，标记114可为生物相容的，且并不干涉生物学组织或与之反应。在一些实施方案中，可将标记114刻在眼科手术工具130的外表面上。因此，标记114可为刻在眼科手术工具130的外表面上的一层漆。在一些实施方案中，可将标记114嵌入眼科手术工具130的壁中。另外，标记114在可见、红外线或其它光谱中可具有高对比度特征。高对比度特征可为可与基底中的色彩或图案区分开的色彩或图案。举例来说，高对比度色彩可为绿色，其通常并不在眼睛的基底中出现。值得注意的是，标记114不应增加手术工具的大小。

图3示出标记114的各种实例。标记114可具有环形带状形状，其被配置来绕贴在眼科手术工具130的远端部分144周围。标记114可具有内表面116和外表面118。内表面116可具有粘合剂，且被配置来粘合或接合到眼科手术工具130的外表面。眼科手术工具130的远端部分144的外表面可具有周向凹槽，其被配置来容纳所述环形带状标记114。因此，标记114可紧紧地配合在周向凹槽中。标记114的外表面118可具有被配置来将标记114从基底图像中的其它元素区分开的色彩或图案。

一个或多个标记114可用于眼科手术工具130。标记114可由生物相容和/或合成材料(例如无菌塑料)形成。在一些实施方案中，标记114可为刻在眼科手术工具130的远端部分144的外表面上的一层漆。标记114可彼此重叠，或彼此分开。标记114可具有一个或多个高对比度色彩。举例来说，标记114可具有绿色，其并不出现在典型的基底图像中。因此，绿色标记114可从基底图像中的其它元素区分开。

标记114可具有各种色彩、纹理或光谱对比度。明确地说，标记114可包含可识别眼科手术工具130的定向和角度的图案。举例来说，如图3中所示，标记114a可具有纯高对比度色彩。当将环形带状标记114a切开时，标记114a可为纯色的带状物。在另一实例中，标记114b可具有可将标记114b从背景基底图像区分开的纹理图案。示例性标记114c可包含被配置来反射或发射红外光的红外色彩。还可使用具有各种光谱吸收率/发射率的标记114。

标记114可包含字母、数字、条形码、图案、符号或图片。示例性标记114d可包含字母。如图3中所示，假定标记114d在眼科手术工具130的远端部分144周围绕贴360度，字母“A”可位于零度位置附近，且字母“E”可位于360度位置附近。字母“B”、“C”和“D”可位于“A”与“E”之间的相应位置处。因此，基于字母的定向，可确定标记114d的旋转位置，间接地确定眼科手术工具130的旋转位置。示例性标记114e可包含数字“1”到“5”。类似地，数字可指示眼科手术工具130的旋转位置。另外，字母或数字的定向还可指示眼科手术工具130的倾斜角度。举例来说，数字或字母可相对于眼科手术工具130的远尖端146定向，使得数字或字母的地步面向远尖端146。因此，基于数字或字母的定向，可确定远尖端146的倾斜角度。

示例性标记114f可包含条形码或条纹。条纹的方向可指示眼科手术工具130的倾斜角度。另外，条纹的数目可变化来指示标记114f的旋转位置，且间接地指示眼科手术工具130的旋转位置。标记114g具有各种点图案。点的数目可指示标记114f的旋转位置，且点的对准可指示标记114f的倾斜角度。还可在标记114上使用其它符号。举例来说，可在标记114h和114i的不同旋转位置处使用各种符号，例如形状或非字符符号，来指示旋转位置。另外，可使用图片来指示标记114j的旋转和倾斜位置。还可在标记114上使用可指示眼科手术工具130的定向位置的其它图案或符号。

图4是示出用于跟踪插入眼睛101中的眼科手术工具130的方法400的流程图。如上文所述，光源122可将成像光引入到眼睛101的基底中。从基底反射的成像光可由晶状体132和134引导，并由成像装置124接收。在402处，成像装置124可捕获基底的图像。明确地说，成像装置124可捕获图像的帧来形成视频。可将每一图像帧转发到图像处理器126，以供处理或分析。

在404处，图像处理器126可对图像帧执行对比度和特征增强处理。举例来说，图像处理器126可以红-绿-蓝(RGB)格式接收所述图像帧。在404处，图像处理器126可将RGB格式图像帧转换到色调-饱和度-值(HSV)空间中。在406处，在已增强图像帧来显出对比度和特征之后，图像处理器126可确定标记114的第一阶估计掩模。举例来说，基于标记114的预定色彩，图像处理器126可将准则应用于HSV图像帧的色调和饱和度通道，其可将标记114从背景分开，以便显出并估计标记114的图像。

在408处，图像处理器126可从图像帧提取标记114的图像。举例来说，图像处理器126可实施斑点检测来检测图像帧中的标记114的边界。斑点可为图像帧的区，其中一些性质，例如色彩和亮度，大致恒定。图像处理器126可搜索图像帧中具有大致恒定性质的区来检测斑点。因此，图像处理器126可寻找标记114的边界，并从图像帧提取标记114。

在410处，图像处理器126可分析从图像帧所提取的标记114的形状和定向。基于预定图案和色彩，图像处理器126可确定标记114在图像帧中的定向。举例来说，如果标记114具有条纹，那么图像处理器126可基于条纹的定向和方向来确定标记114的定向。

在412处，图像处理器126可确定眼科手术工具130的远尖端146的位置和定向。明确地说，基于标记114的位置和定向，图像处理器126可确定眼科手术工具130的远尖端146的位置和定向。举例来说，标记114可定位成距眼科手术工具130的远尖端146预定距离，且可具有指示眼科手术工具130的指向的图案，例如条纹或箭头。因此，基于标记114的位置和图案，图像处理器126可确定眼科手术工具的远尖端146的位置，以及眼科手术工具的指向或定向。

在414处，图像处理器126可显示并覆盖指示符，以指示眼科手术工具130的远尖端146或用于手术引导的其它手术数据。举例来说，图像处理器126可产生指示符，例如对话框、圆形、星形或箭头，并在眼科手术工具130的远尖端146的位置处将指示符覆盖到图像帧中。另外，所述指示符可指示眼科手术工具130的定向，例如，指向角度。举例来说，箭头可用作指示符来指示眼科手术工具130的指向。另外，指示符还可包含图像，例如视网膜112的区的OCT图像，或手术设置参数，例如玻璃体切除探针的切割速度。显示器128可显示覆盖有所述指示符的图像帧。

图5示出眼科手术期间的基底图像500。基底图像500可经显示或经处理，且在显示器128上显示。如基底图像500中所示，将眼科手术工具130的远端部分144插入到眼睛101中。远端部分144可具有标记114。在图像处理器126提取标记图像并确定标记114的位置和定向之后，图像处理器126可产生指示符502、504和506，并将其覆盖到基底图像中。

指示符502可为位于标记114上方或基底图像500中的手术工具130的位置处的点。因此，指示符502可实时地指示标记114的位置或手术工具130的位置。指示符504可为位于标记114上或邻近标记114的箭头。指示符504的箭头可指示眼科手术工具130的定向或指向位置。指示符506可为位于标记114处或邻近标记114的文本或图像。所述指示符可包含眼科手术工具的名称或描述。所述指示符还可包含诊断信息、手术状态、警告或其它信息。举例来说，指示符可包含商标名称、识别和/或功能描述。在图5中所示的实例，指示符506具有文本：“爱尔康(Alcon)”，以指示眼科手术工具的名称商标。在一些实施方案中，例如温度、流率、每分钟转速(RPM)速度、压力等手术参数可包括在指示符506中，来向用户提供额外信息。在其它实施方案中，来自其它成像形态(例如光学相干断层成像术(OCT)、荧光素血管造影术(FA)等)的待检查的组织的图像可包括在指示符506中，来向用户提供额外引导。

党显示图像帧时，图像处理器126可对每一图像帧执行方法400，以连续地实时跟踪眼科手术工具130的远尖端146的位置和定向。因此，显示器128可在基底的实时视频中显示指示符502、504和506，以跟踪眼科手术工具130的远尖端146的位置和移动。因此，外科医生可检视显示器128，来使眼科手术工具130在手术期间在眼睛101中的移动可视化。

可应用上述系统和方法来使用被配置来在红外光谱中捕获图像的成像装置124来跟踪红外标记114。另外，具有OCT功能的手术工具130可使用上述系统和方法来跟踪眼睛101的正由OCT手术探针130成像的在OCT手术探针130的远尖端146的区域周围的区域。

在一些实施方案中，指示符可包含眼科手术工具130的识别或参数。举例来说，指示符可识别眼科手术工具130是具有某一液体流率、压力和温度的灌水工具。通过显示这些参数，外科医生可保持跟踪眼科手术工具130的操作，而不将视线从显示器128移开。

本领域的技术人员将了解，本公开所包含的实施方案不限于上文所述的特定示例性实施方案。在这方面，尽管已示出并描述例示性实施方案，前面的公开内容中预期较广范围的修改、变化和取代。应理解，可在不脱离本公开的范围的情况下，对前面的内容作出此类变化。因此，广泛并以与本公开一致的方式来解释所附权利要求书是适当的。

Claims (15)

1.一种眼科手术工具跟踪系统，其包括：

眼科手术工具，其包括被配置来插入到眼睛中的远端部分；

标记，其位于所述眼科手术工具的所述远端部分处，该标记包括图案；以及

工具位置检测系统，其包括：

光源，其被配置来将成像光引入到所述眼睛的基底中，该光源被配置为被插入到所述眼睛中；

成像装置，其位于所述眼睛的外部并被配置来接收从所述基底反射的所述成像光，并捕获所述基底连同插入到所述眼睛中的所述眼科手术工具的所述远端部分的图像；以及

处理器，其被配置来基于所述图案来确定所述标记在所述基底的所捕获图像中的位置和定向，其中，所述标记在所捕获图像中的定向指示所述眼科手术工具的远端部分的定向。

2.如权利要求1所述的眼科手术工具跟踪系统，其中所述处理器被配置来：

处理所捕获图像来识别所述标记；

产生指示手术数据的指示符；以及

将所述指示符覆盖到显示器。

3.如权利要求1所述的眼科手术工具跟踪系统，其中所述标记在可见光范围内具有一个或多个高对比度特征。

4.如权利要求1所述的眼科手术工具跟踪系统，其中所述标记是粘附到所述眼科手术工具的贴花纸。

5.如权利要求1所述的眼科手术工具跟踪系统，其中所述标记刻在表面上或嵌入到所述眼科手术工具的壁中。

6.如权利要求1所述的眼科手术工具跟踪系统，其中所述光源被布置在与所述眼科手术工具不同的第二手术工具上。

7.如权利要求1所述的眼科手术工具跟踪系统，其中所述标记在红外范围或其它光谱范围内具有高对比度特征。

8.如权利要求2所述的眼科手术工具跟踪系统，其中所述处理器进一步被配置来通过以下步骤而识别所捕获图像中的所述标记：

对所捕获图像执行对比度和特征增强处理；

估计所述标记在经增强图像中的图像；

从经增强图像提取所述标记的所述图像；以及

从所述标记的所述图像确定所述标记的形状、位置和定向。

9.如权利要求2所述的眼科手术工具跟踪系统，其中所述手术数据包含所述眼科手术工具的位置、所述眼科手术工具的定向、图像、手术设置参数中的一个或多个。

10.如权利要求2所述的眼科手术工具跟踪系统，

其中所述成像装置被配置来捕获所述眼睛的视频，且

其中所述处理器被配置来实时连续地产生和覆盖所述指示符。

11.一种眼科手术工具，其包括：

远端部分，其被配置来插入到眼睛中；以及

标记，其安置在所述远端部分处，且被配置成反射由被插入到所述眼睛中的光源引入的成像光并由定位在所述眼睛的外部的成像装置捕获，其中所述标记包含由所述成像装置捕获的图案，该图案指示所述眼科手术工具的远尖端的定向和位置。

12.如权利要求11所述的眼科手术工具，其中所述标记在可见光范围内具有一个或多个高对比度特征。

13.如权利要求11所述的眼科手术工具，其中所述标记是附接到所述眼科手术工具的贴花纸。

14.如权利要求11所述的眼科手术工具，其中所述标记刻在表面上或嵌入到所述眼科手术工具的壁中。

15.如权利要求11所述的眼科手术工具，其中所述标记在红外范围或其它光谱范围内具有高对比度特征。